KR101861245B1 - Movement detection system and method for multi sensor cctv panorama video - Google Patents

Movement detection system and method for multi sensor cctv panorama video Download PDF

Info

Publication number
KR101861245B1
KR101861245B1 KR1020170169650A KR20170169650A KR101861245B1 KR 101861245 B1 KR101861245 B1 KR 101861245B1 KR 1020170169650 A KR1020170169650 A KR 1020170169650A KR 20170169650 A KR20170169650 A KR 20170169650A KR 101861245 B1 KR101861245 B1 KR 101861245B1
Authority
KR
South Korea
Prior art keywords
image
motion
candidate region
scale
scaled
Prior art date
Application number
KR1020170169650A
Other languages
Korean (ko)
Inventor
유대걸
우상원
Original Assignee
(주)엠더블유스토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엠더블유스토리 filed Critical (주)엠더블유스토리
Application granted granted Critical
Publication of KR101861245B1 publication Critical patent/KR101861245B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

According to the present invention, a system for detecting the movement of a multi-sensor CCTV video comprises: a camera; a video collection unit to collect a video photographed by the camera; a video scale up/down unit to scale down and scale up the video collected by the video collection unit; and a movement detection unit to detect a movement in the video scaled down by the video scale up/down unit. The video scale up/down unit scales down the video to a set magnification (1/x^n) in n steps. The movement detection unit detects a candidate area in the video scaled down to the set magnification. The video scale up/down unit scales up the candidate area in n steps. The movement detection unit performs movement detection in the candidate area in each step to additionally detect a candidate area in each step to select a final candidate area. The movement detection unit detects a movement in the final candidate area of the original video.

Description

멀티 센서 ＣＣＴＶ 파노라마 영상에서 움직임 검출 시스템 및 방법{MOVEMENT DETECTION SYSTEM AND METHOD FOR MULTI SENSOR CCTV PANORAMA VIDEO}TECHNICAL FIELD [0001] The present invention relates to a motion detection system and method in a multi-sensor CCTV panoramic image,

본 발명은 멀티센서 CCTV 파노라마 영상에서 움직임을 검출하는 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for detecting motion in a multi-sensor CCTV panoramic image.

지능형 영상보안은 영상감시 장치인 CCTV 시스템이 지속적으로 확산되면서 교통관제 시스템, 범죄예방 시스템, 재난방지 시스템 등 매우 다양한 분야로 파급되고 있다.As CCTV system, which is a video surveillance system, is continuously spreading, intelligent video security is spreading in various fields such as traffic control system, crime prevention system, and disaster prevention system.

CCTV의 기능 또한 주변 상황을 감시하고 CCTV 관리자가 직접 영상을 모니터링하고 분석하는 단순형 CCTV에서 최근에는 사람과 사물, 행위 등을 자동으로 식별하는 네트워크 기반의 지능형(intelligent) CCTV로 발전하고 있다.CCTV function is also developing as a network-based intelligent CCTV that monitors the surrounding situation and CCTV manager directly monitors and analyzes video in a simple CCTV system, which automatically identifies people, objects and actions.

한편, 멀티센서 CCTV 카메라를 이용함으로써, 관측에 필요한 카메라의 수를 줄이고 사용자에게 파노라마 영상을 제공하는 이점이 있다.On the other hand, by using a multi-sensor CCTV camera, there is an advantage of reducing the number of cameras required for observation and providing a panoramic image to the user.

이에 고화질의 파노라마 영상을 제공하기 위한 영상 왜곡 보정이나 컬러 정합 등의 영상처리 기술과 입력 영상의 훼손 및 움직임 감지 통보 기술의 개발이 필요하다.Therefore, it is necessary to develop image processing techniques such as image distortion correction and color matching to provide high - quality panoramic images, and a technique of notifying input image degradation and motion detection.

또한, CCTV 영상에 의해 개인의 행동이 무분별하게 촬영, 저장, 유통되면서, 사생활 침해에 대한 논란이 있으나 범죄 예방 및 해결 효율성 측면이 강조되고 있으므로, 개인 식별 정보의 유출을 방지하기 위한 영상의 암호화 및 복호화 기술 개발이 중요하다.In addition, since CCTV images capture, store and distribute individual actions indiscriminately, there is controversy about privacy invasion, but emphasis is placed on the efficiency of crime prevention and resolution. Therefore, Development of decryption technology is important.

우리나라는 범죄 예방과 객체 식별, 시설물 보호 등을 위해 세계에서 가장 많은 수의 CCTV가 설치되어 있지만, 지능형 CCTV의 개발 및 보급은 제자리걸음을 걷고 있는 상황으로 지능형 CCTV의 활성화, 사회 안전을 위해서 더욱 필요로 하다.Korea has installed the largest number of CCTVs in the world for crime prevention, object identification, and facility protection. However, the development and dissemination of intelligent CCTVs are in the process of being pushed forward. It is a.

대한민국 공개 특허 제10-2014-0056856호Korean Patent Publication No. 10-2014-0056856 대한민국 공개 특허 제10-2010-0035616호Korean Patent Publication No. 10-2010-0035616

본 발명은 멀티센서 CCTV 파노라마 영상의 감시영역 내에서 움직임을 감지하는 시스템 및 방법을 제공하는 것을 목적으로 한다. 특히, 멀티센서 CCTV 파노라마 영상과 같이 고화질, 고용량의 이미지에서 실시간 움직임 검출을 가능하게 하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a system and method for detecting motion within a surveillance region of a multi-sensor CCTV panorama image. Particularly, it aims to enable real-time motion detection in a high-quality and high-capacity image like a multi-sensor CCTV panorama image.

본 발명의 실시예에 따르면, According to an embodiment of the present invention,

카메라;camera;

상기 카메라 촬영 영상을 수집하는 영상수집부;An image collecting unit for collecting the camera photographed image;

상기 영상수집부에서 수집된 영상을 스케일 다운하고 스케일 업하는 영상 스케일업/다운부; 및An image scale up / down unit for scaling down and scaling up the image collected by the image collection unit; And

영상 스케일업/다운부에서 스케일 다운한 영상에서 움직임을 검출하는 움직임검출부를 포함하고,And a motion detector for detecting motion in an image scaled down in an image scale up / down part,

상기 영상 스케일업/다운부는 영상을 설정 배율(1/xn)로 n차에 걸쳐 스케일 다운하고, 상기 움직임검출부는 상기 설정 배율로 스케일 다운된 영상에서 움직임을 검출하여 움직임 후보 영역을 검출하고, 상기 영상 스케일업/다운부에 의해 n차에 걸쳐 스케일 다운된 이미지 각각의 움직임 후보 영역에서 움직임 검출을 수행하여 각 차수별 움직임 후보 영역을 추가로 검출하여 최종 후보 영역을 선정하고, 상기 움직임 검출부는 원본 영상의 최종 후보영역에서 움직임을 검출하는 멀티센서 CCTV 영상의 움직임 검출 시스템을 제공한다.Wherein the image scale up / down unit scales down the image by an n-order by a set magnification (1 / x n ), the motion detector detects motion in a scaled-down image at the set magnification, Wherein the motion estimation unit further performs motion detection in each motion candidate region of each of the scaled-down images through n-th order by the image scale up / down unit to further detect a motion candidate region of each order to select a final candidate region, A motion detection system for a multi-sensor CCTV image detecting motion in a final candidate region of an image is provided.

상기 카메라는 복수개의 센서를 포함하고,Wherein the camera comprises a plurality of sensors,

상기 영상수집부는 복수개의 센서로부터 영상을 수집하고, The image collecting unit collects images from a plurality of sensors,

상기 수집된 영상이 결합하여 파노라마 영상을 생성하여, 파노라마 영상으로부터 움직임을 검출하는 것을 특징으로 한다.The collected images are combined to generate a panoramic image, and motion is detected from the panoramic image.

상기 수집된 영상을 비디오 선명화, 영상 왜곡 보정, 및 색 보정 처리하는 영상보정부를 추가로 포함하는 것을 특징으로 한다.And an image correction unit for performing video sharpening, image distortion correction, and color correction on the collected image.

본 발명의 다른 실시예에 따르면,According to another embodiment of the present invention,

a) 카메라로부터 이미지를 수집하는 단계;a) collecting an image from a camera;

b) 상기 이미지를 설정 배율(1/xn)까지 n 차에 걸쳐 스케일 다운하는 단계;b) scaling down the image over a n-order to a set magnification (1 / x n );

c) 상기 설정 배율로 스케일 다운된 상기 이미지에서 움직임 영역을 검출하여, 검출된 움직임 영역을 제1 후보 영역으로 선정하는 단계;c) detecting a motion region in the image scaled down by the set magnification and selecting the detected motion region as a first candidate region;

d) 상기 c) 단계의 상기 제1 후보 영역을 상기 이미지를 1차 스케일 업하는 단계;d) scaling up said image in said first candidate region of step c);

e) 상기 d) 단계에서, 1차 스케일 업된 영상 중 상기 제1 후보영역에서 움직임 검출을 실시하여, 제2 후보 영역을 선정하는 단계; e) performing motion detection in the first candidate region of the first scaled up image and selecting a second candidate region in the step d);

f) 상기 d) 단계 및 상기 e) 단계를 스케일 업 된 영상이 상기 b) 단계의 스케일 다운 전 영상의 스케일이 도달할 때까지 실시하는 단계; 및f) performing steps d) and e) until the scale-up image reaches the scale-down pre-image of step b); And

g) 최종 스케일 업된 영상의 최종 후보 영역에서 움직임을 검출하는 단계를 포함하는 멀티센서 CCTV 영상의 움직임 검출 방법을 제공한다.and g) detecting motion in a final candidate region of the final scaled up image.

상기 a) 단계에서 상기 카메라는 복수개의 이미지 센서를 포함하고, In the step a), the camera includes a plurality of image sensors,

a-1) 수집된 복수개의 이미지 각각을 영상왜곡 보정 및 컬러 정합을 실하는 단계를 추가로 포함하는 것을 특징으로 한다.a-1) performing image distortion correction and color matching on each of the plurality of collected images.

상기 a-1) 단계에서 보정 및 컬러 정합된 상기 이미지를 결합하여 고화질 파노라마 영상을 완성하는 단계를 추가로 포함하는 것을 특징으로 한다.And combining the corrected and color-matched images in step (a-1) to complete a high-quality panoramic image.

본 발명의 다른 실시예에 따르면,According to another embodiment of the present invention,

비일시적 컴퓨터 판독가능 기록 매체로서, 상기 비일시적 컴퓨터 판독가능 기록 매체에는 프로그램이 기록되며, 상기 프로그램은, 처리 능력을 갖는 디바이스 상에서 실행될 때, 멀티센서 CCTV 영상프레임에서 움직임을 검출하는 방법을 구현하기 위한 프로그램이며, 상기 방법은,A non-transitory computer readable recording medium having recorded thereon a program that when executed on a device having processing capability, embodies a method of detecting motion in a multi-sensor CCTV video frame, The method comprising the steps of:

a) 카메라로부터 이미지를 수집하는 단계;a) collecting an image from a camera;

b) 상기 이미지를 설정 배율까지 스케일 다운하는 단계;b) scaling down the image to a set magnification;

c) 최종 배율로 스케일 다운된 상기 이미지에서 움직임 영역을 검출하여, 검출된 움직임 영역을 제1 후보 영역으로 선정하는 단계;c) detecting a motion region in the image scaled down at a final magnification and selecting the detected motion region as a first candidate region;

d) 상기 c) 단계의 상기 이미지를 1차 스케일 업하는 단계;d) scaling up the image of step c) first;

e) 상기 d) 단계에서, 1차 스케일 업된 영상 중 상기 제1 후보영역에서 움직임 검출을 실시하여, 제2 후보 영역을 선정하는 단계; e) performing motion detection in the first candidate region of the first scaled up image and selecting a second candidate region in the step d);

f) 상기 d) 단계 및 상기 e) 단계를 스케일 업 된 영상이 상기 b) 단계의 스케일 다운 전 영상의 스케일이 도달할 때까지 실시하는 단계; 및f) performing steps d) and e) until the scale-up image reaches the scale-down pre-image of step b); And

g) 최종 스케일 업된 영상의 최종 후보 영역에서 움직임을 검출하는 단계를 포함하는 비일시적 컴퓨터 판독가능 기록매체를 제공한다.g) detecting motion in a final candidate region of the last scaled up image.

본 발명의 다른 실시예에 따르면 상기 컴퓨터 판독 가능한 기록 매체를 실행하는 처리 능력을 갖는 디바이스를 제공한다.According to another embodiment of the present invention, there is provided a device having a processing capability for executing the computer-readable recording medium.

본 발명의 다른 실시예에 따르면,According to another embodiment of the present invention,

카메라;camera;

상기 카메라 촬영 영상을 수집하는 영상수집부;An image collecting unit for collecting the camera photographed image;

상기 영상수집부에서 수집된 영상을 스케일 다운하고 스케일 업하는 영상 스케일업/다운부; 및An image scale up / down unit for scaling down and scaling up the image collected by the image collection unit; And

상기 영상 스케일업/다운부에서 스케일 다운한 영상에서 움직임을 검출하는 움직임검출부를 포함하고,And a motion detector for detecting motion in an image scaled down in the image scale up / down unit,

상기 영상 스케일업/다운부는 영상을 설정 배율로 스케일 다운하고, 움직임검출부는 설정 배율로 스케일 다운된 영상에서 후보 영역을 검출하고, 상기 영상 스케일업/다운부는 스케일 다운된 영상을 N차에 걸쳐 스케일 업하고, 각 차수 별로 후보 영역에서 움직임 검출을 수행하여 후보 영역을 추가로 검출하고, 상기 영상 스케일업/다운부가 스케일 다운 전 사이즈로 영상을 스케일 업하면, 상기 움직임검출부는 최종 후보영역에서 움직임을 검출하는 멀티센서 CCTV 영상의 움직임 검출 시스템을 제공한다.Wherein the image scale up / down unit scales down the image by a set scale factor, the motion detector detects a candidate area in the image scaled down by the set scale factor, and the image scale up / down unit scales the scaled- The motion detector detects a candidate region by performing motion detection in the candidate region for each order, and when the image scale up / down portion scales up the image to a size before the scale down, the motion detector detects motion in the final candidate region The present invention provides a motion detection system for a multi-sensor CCTV image.

본 발명의 다른 실시예에 따르면,According to another embodiment of the present invention,

카메라;camera;

상기 카메라 촬영 영상을 수집하는 영상수집부;An image collecting unit for collecting the camera photographed image;

상기 영상수집부에서 수집된 영상을 스케일 다운하고 스케일 업하는 영상 스케일업/다운부; 및An image scale up / down unit for scaling down and scaling up the image collected by the image collection unit; And

상기 영상 스케일업/다운부에서 스케일 다운한 영상에서 움직임을 검출하는 움직임검출부를 포함하고,And a motion detector for detecting motion in an image scaled down in the image scale up / down unit,

상기 영상 스케일업/다운부는 영상을 설정 배율로 스케일 다운하고, 상기 움직임검출부는 설정 배율로 스케일 다운된 영상에서 움직임 후보 영역을 검출하고, 상기 영상 스케일업/다운부는 스케일 다운된 영상에서 상기 움직임 후보 영역을 N차에 걸쳐 스케일 업하고, 상기 움직임검출부는 각 차수 별로 후보 영역에서 움직임 검출을 수행하여 후보 영역을 추가로 검출하고, 상기 영상 스케일업/다운부가 스케일 다운 전 사이즈로 영상을 스케일 업하면, 상기 움직임검출부는 최종 후보영역에서 움직임을 검출하는 멀티센서 CCTV 영상의 움직임 검출 시스템을 제공한다.Wherein the image scale up / down unit scales down the image by a set magnification, the motion detector detects a motion candidate area in an image scaled down by a set magnification, and the image scale up / down unit scales down the motion candidate And the motion detector further detects a candidate region by performing motion detection in a candidate region for each order, and when the image scale up / down portion scales up the image to a size before the scale down , And the motion detection unit provides a motion detection system of a multi-sensor CCTV image for detecting motion in a final candidate region.

본 발명의 다른 실시예에 따르면,According to another embodiment of the present invention,

a) 카메라로부터 이미지를 수집하여 영상을 생성하는 단계;a) collecting an image from a camera and generating an image;

b) 상기 영상을 설정 배율(1/xn)까지 n 차에 걸쳐 스케일 다운하는 단계;b) scaling down the image to a set magnification (1 / x n ) over an n-th order;

c) 상기 설정 배율로 스케일 다운된 상기 이미지를 움직임 검출 프로세싱하여, 검출된 움직임 영역을 제1 움직임 후보 영역으로 선정하는 단계;c) performing motion detection processing on the image scaled down by the set magnification, and selecting the detected motion region as a first motion candidate region;

d) 상기 b) 단계에서 1/xn -1로 스케일 다운된 영상에서 상기 제1 움직임 후보 영역을 움직임 검출 프로세싱하는 단계;d) performing motion detection processing on the first motion candidate region in the image scaled down to 1 / x n -1 in step b);

e) 상기 d) 단계에서, 검출된 움직임 영역을 제2 움직임 후보 영역으로 선정하는 단계; e) selecting the detected motion region as a second motion candidate region in step d);

f) 상기 d) 단계 및 상기 e) 단계를 상기 b) 단계의 1차 스케일 다운된 영상에서 최종 움직임 후보 영역을 선정할 때까지 실시하는 단계; 및f) performing the steps d) and e) until the final motion candidate region is selected from the primary scaled-down image of the step b); And

g) 스케일 다운 전 영상에서 상기 최종 후보 영역을 움직임 검출 프로세싱하여 움직임을 검출하는 단계를 포함하는 멀티센서 CCTV 영상의 움직임 검출 방법.g) detecting movement of the final candidate region in the pre-scaled down image to detect motion.

센서 CCTV 영상프레임에서 움직임을 검출하는 방법을 구현하기 위한 프로그램이며, 상기 방법은,A program for implementing a method of detecting motion in a sensor CCTV video frame,

a) 카메라로부터 이미지를 수집하여 영상을 생성하는 단계;a) collecting an image from a camera and generating an image;

b) 상기 영상을 설정 배율(1/xn)까지 n 차에 걸쳐 스케일 다운하는 단계;b) scaling down the image to a set magnification (1 / x n ) over an n-th order;

c) 상기 설정 배율로 스케일 다운된 상기 이미지를 움직임 검출 프로세싱하여, 검출된 움직임 영역을 제1 움직임 후보 영역으로 선정하는 단계;c) performing motion detection processing on the image scaled down by the set magnification, and selecting the detected motion region as a first motion candidate region;

d) 상기 c) 단계에서 제1 움직임 후보 영역을 스케일업하여 움직임 검출 프로세싱하는 단계;d) scaling up the first motion candidate region and performing motion detection processing in the step c);

e) 상기 d) 단계에서, 검출된 움직임 영역을 제2 움직임 후보 영역으로 선정하는 단계; e) selecting the detected motion region as a second motion candidate region in step d);

f) 상기 d) 단계 및 상기 e) 단계를 움직임 후보 영역이 1/x 배율이 될 때까지 반복하여 최종 움직임 후보 영역을 선정하는 단계; 및f) selecting a final motion candidate region by repeating the steps d) and e) until the motion candidate region becomes 1 / x magnification; And

g) 스케일 다운 전 영상에서 상기 최종 후보 영역을 움직임 검출 프로세싱하여 움직임을 검출하는 단계를 포함하는 비일시적 컴퓨터 판독가능 기록 매체를 제공한다.and g) motion detection processing the motion vector of the final candidate region in the pre-scaled down image to detect motion.

본 발명에 따르면, 5M 급 이상의 고해상도 멀티센서를 지원하는 CCTV의 파노라마 영상의 감시영역 내에서 움직임 및 침입을 보다 효과적이고 보다 효율적으로 검출할 수 있는 멀티센서 CCTV 영상의 움직임 검출 시스템, 방법, 컴퓨터 프로그램을 제공할 수 있다.According to the present invention, there is provided a multi-sensor CCTV image motion detection system, method, and computer program product capable of more effectively and efficiently detecting motion and intrusion within a surveillance region of a panoramic image of a CCTV supporting a high resolution multi- Can be provided.

본 발명에 따르면, 처리 용량이 큰 고해상도 멀티센서를 지원하는 CCTV 파노라마 영상에서 움직임 검출 시 영상 전체에서 움직임 검출 프로세스를 수행하지 않고도 효과적으로 움직임 검출을 수행하여 실시간 움직임 검출을 가능하게 하고, 검출 시간, 자원을 절약할 수 있도록 한다.According to the present invention, it is possible to perform real-time motion detection by performing motion detection effectively without performing a motion detection process on a whole image in motion detection in a CCTV panorama image supporting a high-resolution multi-sensor having a large processing capacity, .

도 1 은 본 발명의 일 실시예에 따른 움직임 검출 시스템을 개략적으로 나타낸 블럭도이다.
도 2 는 본 발명의 일 실시예에 따른 움직임 검출 시스템에 사용되는 멀티센서 CCTV와 촬영된 이미지를 나타낸 도면이다.
도 3 은 영상의 크기를 비교하여 나타낸 도면이다.
도 4 은 본 발명의 일 실시예에 따른 움직임 검출 방법을 나타낸 흐름도이다.
도 5 은 도 4에 도시된 움직임 검출 방법에서 파노라마 영상 완성 과정을 나타낸 도면이다.
도 6 은 도 4에 도시된 움직임 검출 방법에 이용되는 옵티컬 플로우 LUCAS & KANADE 방법을 설명하기 위한 도면이다.
도 7 은 영상의 스케일 업다운 과정을 설명하는 도면이다.1 is a block diagram schematically illustrating a motion detection system according to an embodiment of the present invention.
2 is a view showing a multi-sensor CCTV and a photographed image used in a motion detection system according to an embodiment of the present invention.
FIG. 3 is a diagram showing the comparison of the sizes of images.
4 is a flowchart illustrating a motion detection method according to an embodiment of the present invention.
FIG. 5 is a view illustrating a panorama image completion process in the motion detection method shown in FIG.
FIG. 6 is a diagram for explaining an optical flow LUCAS & KANADE method used in the motion detection method shown in FIG.
7 is a view for explaining a scale up / down process of an image.

지능형 영상보안은 영상감시 장치인 CCTV 시스템이 지속적으로 확산되면서 교통관제 시스템, 범죄예방 시스템, 재난방지 시스템 등 매우 다양한 분야로 파급되고 있다. CCTV의 기능 또한 주변 상황을 감시하고 CCTV 관리자가 직접 영상을 모니터링하고 분석하는 단순형 CCTV에서 최근에는 사람과 사물, 행위 등을 자동으로 식별하는 네트워크 기반의 지능형(intelligent) CCTV로 발전하고 있다. 한편, 멀티센서 CCTV 카메라를 이용함으로써, 관측에 필요한 카메라의 수를 줄이고 사용자에게 파노라마 영상을 제공하는 이점이 있다. As CCTV system, which is a video surveillance system, is continuously spreading, intelligent video security is spreading in various fields such as traffic control system, crime prevention system, and disaster prevention system. CCTV function is also developing as a network-based intelligent CCTV that monitors the surrounding situation and CCTV manager directly monitors and analyzes video in a simple CCTV system, which automatically identifies people, objects and actions. On the other hand, by using a multi-sensor CCTV camera, there is an advantage of reducing the number of cameras required for observation and providing a panoramic image to the user.

지능형 영상보안 기술에는 배경 영역 분리 기술, 객체 식별 기술, 객체 추적 기술 및 사전 정의된 규칙을 기반으로 이벤트를 탐지하는 이벤트 탐지 기술을 포함한다. 배경 영역 분리 기술은 입력되는 영상에서 관심이 있는 전경 영역과 그 외의 배경 영역을 구분하여 활성 객체를 탐지하는 과정으로 초기에서 주로 이전 영상과 현재 영상의 밝기 차이를 계산하여 분리하는 방법이 사용된다. 하지만, 최근에는 배경 영역에 대한 특성 정보를 가우시안 또는 가우시안 믹스처 모델(GMM: Gaussian Mixture Model) 등을 사용하여 정교하게 모델링한 후, 전경 영역과 배경 영역을 구분하는 방법들이 많이 사용된다. 객체 식별 기술은 배경 영역에서 전경 영역으로 판단한 객체 중에서 탐지된 물체가 사람인지 사물인지 여부를 구분하는 과정으로 현재 지능형 영상분석 기술은 사람, 동물, 자동차 등을 주로 구분하고 있다. 객체 추적 기술은 연속되는 영상에서 식별된 객체의 이동경로를 찾는 과정으로, 칼만 필터, 파티클 필터, CAMSHIFT(Continuously Adaptive Mean Shift) 등의 다양한 알고리즘을 바탕으로 추적하는 물체의 특징을 정의하는 방법, 추적하는 알고리즘의 조합 방법 등에 따라서 많은 방법들이 사용되고 있다. 이벤트 탐지 단계에서는 객체의 식별 정보 및 객체의 이동 정보를 바탕으로 보안 관리자가 정의한 규칙을 위반하는지 여부를 판단하여 이벤트를 탐지하고, 탐지된 정보를 메타 데이터 형태로 VMS(Video Management System)나 기타의 다른 보안 관리 서버로 전송하게 된다.Intelligent video security technologies include background region separation techniques, object identification techniques, object tracking techniques, and event detection techniques to detect events based on predefined rules. The background region separation technique is a process of detecting an active object by distinguishing an interested foreground region and a background region from an input image, and a method of calculating brightness difference between a previous image and a current image is used initially. However, in recent years, methods for delineating the background information by using a Gaussian or Gaussian Mixture Model (GMM), and then distinguishing the foreground region and the background region are widely used. The object identification technique distinguishes whether a detected object is a human or an object among the objects judged as a foreground area in the background area. Currently, the intelligent image analysis technique mainly distinguishes people, animals, and automobiles. The object tracking technology is a process of finding the movement path of an identified object in a continuous image. It is a method of defining characteristics of a tracking object based on various algorithms such as Kalman filter, particle filter and CAMSHIFT (Continuously Adaptive Mean Shift) Many algorithms are used depending on the combination of algorithms. In the event detection step, an event is detected by determining whether the rule defined by the security manager is violated based on the object identification information and the movement information of the object, and the detected information is recorded in the form of metadata in the form of a video management system (VMS) To another security management server.

도 1 은 본 발명의 일 실시예에 따른 움직임 검출 시스템을 개략적으로 나타낸 블럭도이다. 도시되는 바와 같이 본 발명의 실시예에 따른 움직임 검출 시스템(100)은 IP 카메라(110), 영상수집부(120), 영상보정부(130), 영상 스케일업/다운부(140), 움직임 검출부(150), 및 영상프로세싱부(160)를 포함한다. 움직임 검출 시스템은 FPGA, ASIC, 마이크로컨트롤러, PLD 또는 이와 같은 프로세서와 같은 하드웨어 디바이스 상에 구현될 수 있다. 1 is a block diagram schematically illustrating a motion detection system according to an embodiment of the present invention. The motion detection system 100 according to the embodiment of the present invention includes an IP camera 110, an image collection unit 120, an image correction unit 130, an image scale up / down unit 140, (150), and an image processing unit (160). The motion detection system may be implemented on a hardware device such as an FPGA, ASIC, microcontroller, PLD, or the like.

IP 카메라(110)(또는 네트워크 카메라)는 멀티센서 CCTV에 포함되는 복수의 카메라가 될 수 있다. 카메라(110)는 이미지 시퀀스들을 발생시키고 이미지 시퀀스들로부터의 이미지 데이터를 네트워크를 통해 영상수집부(120)에 전달할 수 있는 임의의 디지털 카메라일 수 있다. 본 명세서에서 "비디오"는 모션 픽쳐에 제한되는 것 뿐만 아니라 시간 시퀀스에서 캡쳐된 정지 프레임들 또한 포함한다. 카메라(110)는 도시되지 않았지만, 렌즈 시스템, 이미지 센서, 이미지 프로세싱 모듈, 이미지/비디오 인코더. 메모리, 네트워크 인터페이스, CPU 등을 포함할 수 있다. 이미지 정보는 MPEG1, MPEG2, MPEG4, H.264, JPEG, M-JPEG, 비트맵 등으로 인코딩될 수 있다. 도 2는 멀티센서 CCTV 및 복수의 센서에서 촬영된 이미지를 처리 없이 결합한 상태를 나타낸 도면이다. CCTV 내에 3개 이상의 이미지 센서를 포함하여 180°파노라마 뷰를 제공할 수 있게 된다. 멀티센서 CCTV는 5M 급 복수개의 멀티 센서를 포함하는 IP 카메라와 영상 저장을 위한 네트워크 비디오 리코더(Network Video Recorder), 영상 모니터링을 위한 카메라 스테이션, 네트워크 연결을 위한 PoE(Power of Ethernet) 스위치로 구현될 수 있다.The IP camera 110 (or network camera) may be a plurality of cameras included in the multi-sensor CCTV. The camera 110 may be any digital camera capable of generating image sequences and transferring image data from the image sequences to the image acquisition unit 120 via the network. As used herein, "video" includes not only motion pictures but also still frames captured in a time sequence. The camera 110 is not shown, but may be a lens system, an image sensor, an image processing module, an image / video encoder. Memory, network interface, CPU, and the like. The image information may be encoded in MPEG1, MPEG2, MPEG4, H.264, JPEG, M-JPEG, bitmap, or the like. FIG. 2 is a view showing a state in which a multi-sensor CCTV and images photographed by a plurality of sensors are combined without processing. It is possible to provide a 180 ° panoramic view including three or more image sensors within the CCTV. The multi-sensor CCTV is implemented as an IP camera including a plurality of 5M multi sensors, a network video recorder for video storage, a camera station for video monitoring, and a PoE (Power of Ethernet) switch for network connection .

영상수집부(120)는 복수 개의 카메라(110) 이미지 센서로부터 입력되는 이미지 데이터를 수집한다. 도 3 은 영상의 크기를 비교하여 설명하기 위한 도면으로, SD, HD, FHD, CCTV, UHD 각각의 해상도를 나타낸다. 해상도는 SD 급 부터 HD, FHD, UHD 등이 있고, 가로와 세로의 픽셀 수로 표기한다. 따라서, SD의 해상도는 345,600(720 x 480)개의 픽셀로 이루어져 있다. 본 발명의 실시예에 사용되는 CCTV는 2,560 x 1,920 급 이미지 센서를 사용하는 것이 바람직하다. 따라서, 3개의 센서로부터 이미지를 수집하면 7,680 x 1,920 해상도의 이미지를 획득하게 된다.The image collecting unit 120 collects image data input from a plurality of camera 110 image sensors. FIG. 3 is a view for explaining and comparing the sizes of images, and shows resolutions of SD, HD, FHD, CCTV, and UHD, respectively. Resolution is from SD to HD, FHD, UHD, etc., and it is expressed in the number of pixels in width and height. Therefore, the SD resolution is composed of 345,600 (720 x 480) pixels. The CCTV used in the embodiment of the present invention preferably uses a 2,560 x 1,920 image sensor. Therefore, when an image is collected from three sensors, an image of 7,680 x 1,920 resolution is obtained.

영상보정부(130)는 비디오 선명화, 영상 왜곡 보정, 색 보정 등을 수행한다. 즉, 영상보정부(130)는 캘리브레이션 패턴을 이용하여 카메라 내부 파라미터를 추출하여 방사 왜곡의 기하학적 왜곡을 보정하고, SIFT, SURF 등의 특징점, 유사도 비교 후 자동 밝기 조절(AE) 및 자동 색보정(AWB)을 실시한다. 즉, 영상보정부(130)는 영상수집부(120)에서 수집된 복수개의 이미지 센서로부터 입력되는 이미지를 영상 왜곡 보정 및 컬러 정합을 실시하여 하나의 파노라마 영상으로 완성한다. 파노라마 영상 컬러 정합은 3개의 광각 카메라로부터 입력된 3개의 영상 각각을 평면각으로 보정 후 한 개의 파노라마 컬러 영상으로 정합하는 정확도를 말한다. 고화질 파노라마 영상을 위한 영상 왜곡 보정을 위하여, 캘리브레이션(calibration) 패턴을 이용한 카메라 캘리브레이션을 통해 영상 왜곡을 발생시키는 카메라 내부 요인의 파라미터 자동추출하고, 광각 CCTV 카메라 사용으로 인한 방사왜곡(radial distortion)의 기하학적 왜곡을 보정하고, 고화질 파노라마 영상을 위한 컬러 정합을 달성한다. 4개 이상의 영상 특징점을 이용하여 호모그래피 변환 행렬을 구한 후 이를 이용한 영상 정합 기술 개발하는 것이 바람직하다. 자동 밝기 조절(AE) 및 자동 색보정(AWB) 등을 고려한 정합 부분의 명암 및 색상 차이를 부드럽게 만들어주는 영상블렌딩이 가능해 진다.The image correction unit 130 performs video sharpening, image distortion correction, color correction, and the like. That is, the image correcting unit 130 corrects the geometric distortion of the radial distortion by extracting the camera internal parameters using the calibration pattern, and calculates the characteristic points of SIFT, SURF, and the like using the automatic brightness control (AE) AWB). That is, the image correcting unit 130 performs image distortion correction and color matching on the images input from the plurality of image sensors collected by the image collecting unit 120 to complete one panorama image. The panoramic image color matching refers to the accuracy of correcting each of the three images input from the three wide angle cameras to a plane angle and then matching them to one panorama color image. In order to correct the image distortion for high-quality panoramic images, the parameters of the internal factors of the camera which cause image distortion are automatically extracted by the camera calibration using the calibration pattern, and the geometry of the radial distortion due to the use of the wide angle CCTV camera Correct distortion, and achieve color matching for high-quality panoramic images. It is desirable to develop a homography transformation matrix using a homography transformation matrix using at least four image feature points. It enables image blending which softens the contrast and color difference of matching part considering automatic brightness control (AE) and automatic color correction (AWB).

영상 스케일업/다운부(140)는 영상보정부(130)에서 완성된 파노라마 영상을 N회 스케일 다운시키고, 스케일 다운된 영상에서 움직임 검출 프로세스를 진행한 후 영상을 N회 스케일 업 시킨다. 예를 들어, 5M급(2,560x1,920) 이미지 센서 3개일 경우, 영상 수집 후, 파노라마 영상의 경우, 7,680x1,920 사이즈가 된다. 영상 스케일업/다운부(140)는 7,680x1,920 사이즈의 이미지를 예를 들어 1/4로 스케일 다운하여 움직임을 검출할 경우, 1/2 스케일 다운을 2회 수행하여, 1/4 스케일 다운된 1,920x480 = 921,600 사이즈의 이미지에서 움직임 검출 프로세스가 완료하면, 3,840x960 = 3,686,400 사이즈로 스케일 업하고, 3,840x960 = 3,686,400 사이즈의 이미지 중 1차 움직임 검출 프로세스에서 검출된 움직임 후보 영역에서 움직임 검출 프로세스가 수행된 후, 7,680*1,920 = 14,745,600 사이즈로 스케일 업을 실시한다.The image scale up / down unit 140 scales down the panorama image completed in the image correction unit 130 N times, scales up the image N times after performing the motion detection process on the scaled down image. For example, in the case of three 5M (2,560x1,920) image sensors, the size of the panoramic image is 7,680x1,920 after image acquisition. The image scale up / down unit 140 scales down an image of 7,680x1,920 size to 1/4, for example, to detect a motion, performs 1/2 scaling down twice, When the motion detection process is completed in the image having the size of 1,920x480 = 921,600, the motion detection process in the motion candidate region detected in the primary motion detection process among 3,840x960 = 3,686,400 size images is scaled up to 3,840x960 = 3,686,400 And then scaled up to 7,680 * 1,920 = 14,745,600.

다른 실시예에 따르면, 영상 스케일업/다운부(140)는 완성된 파노라마 영상을 N차에 걸쳐 스케일 다운시키고, 설정된 최소 스케일의 영상을 움직임 검출 프로세싱하여 움직임 후보 영역을 N회 스케일업 하며 움직임 후보 영역만 움직임 검출 프로세싱하여 필요한 자원 및 시간을 절약할 수 있다.According to another embodiment, the image scale up / down unit 140 scales down the completed panorama image over the N-th order, performs motion detection processing on the set minimum scale image, scales up the motion candidate region N times, Only the area can be motion detection processed to save the necessary resources and time.

다른 실시예에 따르면, 영상 스케일/업다운부(140)는 완성된 파노라마 영상을 N차에 걸쳐 스케일 다운시키고, 움직임 검출부(150)가 영상 스케일/업다운부(140)가 N차에 걸쳐 스케일 다운한 영상들에서 움직임 후보 영역을 검출 선정할 수 있도록 한다. According to another embodiment, the image scale / up-down unit 140 scales down the completed panorama image over the N-th order, and when the motion detector 150 detects that the image scale / up-down unit 140 scales down The motion candidate region can be detected and selected from the images.

움직임 검출부(150)는 1/xn 배율로 스케일 다운된 영상에서 움직임 검출 프로세스를 진행하여, 움직임 후보 영역을 추출하고, 영상 스케일업/다운부(140)에 의해 한 단계 스케일 업된 영상 중 움직임 후보 영역에서 다음 움직임 후보 영역을 추출하고, 영상 스케일업/다운부(140)에 의해 원 영상 사이즈로 스케일 업된 영상 중 전 단계에서 검출된 움직임 후보 영역에서 움직임 검출을 실시한다. The motion detector 150 extracts a motion candidate region by performing a motion detection process on an image scaled down at a magnification of 1 / x n , extracts a motion candidate from the image scaled up by the image scale up / down unit 140 And performs motion detection in the motion candidate region detected in the previous step of the image scaled up to the original image size by the image scale up /

다른 실시예에 따르면, 움직임 검출부(150)는 설정된 최소 스케일의 영상(N차 스케일 다운 영상, 1/xn 배율로 스케일 다운된 영상)을 움직임 검출 프로세싱하여 움직임 후보 영역을 선정한 후, N-1차 스케일 다운 영상 중 움직임 후보 영역에서 움직임 검출 프로세싱하여 다음 움직임 후보 영역 선정하는 단계를 반복하여, 각차의 스케일 다운된 영상들에서 움직임 후보 영역을 선정, 1차 스케일 다운 영상에서 최종 움직임 후보 영역을 선정하고, 스케일 다운되지 않은 원본 영상의 최종 움직임 후보 영역에서 움직임 검출 프로세싱하여 움직임을 검출할 수 있도록 한다.According to another embodiment, the motion detector 150 performs motion detection processing on an image having a set minimum scale (N-th scale down image, scaled down with 1 / x n scale) to select a motion candidate region, A step of selecting a next motion candidate region by performing motion detection processing in a motion candidate region in a secondary scale-down image is repeated to select a motion candidate region in each of the scaled down images, and a final motion candidate region is selected from the primary scale- And motion detection processing is performed in the final motion candidate region of the original image that has not been scaled down so that motion can be detected.

다른 실시예에 따르면, 움직임 검출부(150)는 설정된 최소 스케일의 영상(N차 스케일 다운 영상, 1/xn 배율로 스케일 다운된 영상)을 움직임 검출 프로세싱하여 움직임 후보 영역을 선정한 후, 영상 스케일업/다운부(140)가 스케일 업 시킨 움직임 후보 영역에서 움직임 검출을 수행하여, 최종 움직임 후보 영역에서 움직임 검출을 수행하여 원본 영역에서 움직임을 검출할 수 있다.According to another embodiment, the motion detector 150 performs a motion detection processing on an image of a set minimum scale (N-order scale-down image, an image scaled down at 1 / x n magnification) to select a motion candidate region, / Down unit 140 scans up the motion candidate region and performs motion detection in the final motion candidate region to detect motion in the original region.

움직임 검출부(150)는 Optical Flow Lucas & Kanade Method를 사용하여 움직임을 검출하는 것이 바람직하다. 그러나 이에 제한되지 않고, 기존 히스토그램 방식(meanshift, camshift), 차영상 방법, 블록정합 방법 등 다양한 움직임 검출 프로세스를 실시할 수 있다.The motion detector 150 preferably detects motion using an Optical Flow Lucas & Kanade Method. However, the present invention is not limited to this, and various motion detection processes such as a conventional histogram method (camshift), a difference image method, and a block matching method can be performed.

영상프로세싱부(160)는 움직임 검출이 된 최종 영상에서 움직임을 팔로우하거나, 별도의 표시 등 설정된 처리를 하는 장치이다. 영상프로세싱부(160)는 움직임을 팔로우하여 별도의 표시가 디스플레이되도록 할 수 있다.The image processing unit 160 is a device for following a motion in a final motion-detected image, or performing a process such as a separate display or the like. The image processing unit 160 may follow the motion so that a separate display is displayed.

도 4는 본 발명의 일 실시예에 따른 움직임 검출 방법을 나타낸 흐름도이다. 도시되는 바와 같이, 먼저, 멀티센서 CCTV의 카메라로부터 이미지를 수집한다(S11). S11단계에서 수집된 이미지의 영상왜곡 보정 및 컬러 정합을 실시한다(S12). 보정 및 컬러 정합된 이미지를 결합하여 고화질 파노라마 영상을 완성한다(S13). 파노라마 영상을 스케일 다운한다(S14). 설정된 배율까지 스케일 다운을 실시한다(S15). 최종 배율로 스케일 다운된 영상에서 움직임 영역을 검출하여(S16), 검출된 움직임 영역을 제1 후보 영역(d1)으로 설정한다(S17). 스케일 다운된 영상을 1차 스케일 업한다(S18). 1차 스케일업된 영상 중 제1 후보영역(d1)에서 움직임 검출을 실시하여, 제2 후보 영역(d2)을 선정한다(S19, 20). S20 단계의 영상을 2차 스케일 업한 후(S21), 제2 후보 영역(d2)에서 움직임을 검출한다(S22).4 is a flowchart illustrating a motion detection method according to an embodiment of the present invention. As shown, an image is first collected from the camera of the multi-sensor CCTV (S11). Image distortion correction and color matching of the image collected in step S11 are performed (S12). The corrected and color-matched images are combined to complete a high-quality panoramic image (S13). The panorama image is scaled down (S14). Scaling down to a set magnification is performed (S15). A motion region is detected from the scaled-down image at a final magnification (S16), and the detected motion region is set as a first candidate region (d1) (S17). The scaled-down image is first scaled up (S18). Motion detection is performed on the first candidate region d1 of the images scaled up first, and the second candidate region d2 is selected (S19, 20). After the image of step S20 is scaled up (S21), motion is detected in the second candidate area (d2) (S22).

즉, 본 발명의 실시예에 따르면, 멀티센서 파노라마 영상을 설정된 배율로 사이즈 다운하고, 최종 사이즈 다운된 영상 전체에서 움직임 검출을 실시하여 움직임 후보 영역을 선정한 후, 사이즈 다운된 영상을 N차에 걸쳐 사이즈 업하며 사이즈업된 영상 중 움직임 후보 영역에서만 움직임 검출을 N차에 걸쳐 실시하여 움직임 검출을 수행해야 하는 전체 픽셀수를 획기적으로 감소시킬 수 있게 된다.That is, according to the embodiment of the present invention, the multi-sensor panorama image is downsized at a predetermined magnification, motion detection is performed on the entire image that has been downsized, motion candidate regions are selected, It is possible to drastically reduce the total number of pixels required to perform motion detection by performing motion detection over the N-th order only in the motion candidate region among the enlarged and enlarged images.

본 발명의 다른 실시예에 따르면, S14 단계에서 파노라마 영상을 N차에 걸쳐 스케일 다운하는 단계를 수행하고, 최종 스케일다운된 영상에서 움직임 영역을 검출하여 제1 후보 영역(d1)을 설정하는 단계를 수행하고, 제1 후보 영역(d1)을 스케일업하여 스케일업된 제1 후보 영역(d1)에서 움직임을 검출하여 그 다음 후보 영역 d2 선정하는 단계를 수행한다. 1/x 배율까지 후보 영역을 스케일 업하여 최종 후보 영역을 설정하는 단계를 수행한 후, 스케일 다운되지 않은 원본 영상의 최종 후보 영역을 움직임 검출 프로세싱하여 파노라마 영상에서 움직임을 검출할 수 있다.According to another embodiment of the present invention, the step of scaling down the panorama image through the N-th step is performed in step S14, and the first candidate region d1 is set by detecting the motion region in the final scaled-down image , Scans up the first candidate region (d1), detects motion in the first candidate region (d1) scaled up, and selects the next candidate region (d2). Scaling up the candidate region up to 1 / x magnification to set the final candidate region, and then motion detection processing the final candidate region of the original image that has not been scaled down to detect motion in the panoramic image.

또한, 본 발명의 다른 실시예에 따르면, S14 단계에서 파노라마 영상을 N차에 걸쳐 스케일 다운하는 단계를 수행하고, 최종 스케일다운된 영상에서 움직임 영역을 검출하여 제1 후보 영역(d1)을 설정하는 단계를 수행하고, S14 단계에서 스케일다운된 N개의 스케일 다운된 영상의 움직임 후보 영역에서 움직임 검출 프로세싱을 실시하여 그 다음 움직임 후보 영역을 선정한다. 즉, N-1차 스케일 다운 영상의 제1 후보 영역에서 움직임 검출 프로세스를 수행하여 제2 후보 영역을 검출하고, N-2차 스케일 다운 영상의 제2 후보 영역에서 움직임 검출 프로세스를 수행하여 제3 후보 영역을 검출한다. 이 과정을 반복하여 1차 스케일 다운 영상에서 최종 후보 영역을 검출하고, 스케일 다운되지 않은 원본 영상의 최종 후보 영역을 움직임 검출 프로세싱하여 파노라마 영상에서 움직임을 검출하게 되는 것이다.According to another embodiment of the present invention, the step of scaling down the panorama image through the N-th step is performed in step S14, and the first candidate area d1 is set by detecting the motion area in the last scaled-down image And performs motion detection processing on the motion candidate regions of the N scaled down images scaled down in step S14 to select the next motion candidate region. That is, the motion estimation process is performed in the first candidate region of the N-1 th scale-down image to detect the second candidate region, and the motion estimation process is performed in the second candidate region of the N- The candidate region is detected. This process is repeated to detect the final candidate region in the primary scale-down image, motion detection processing the final candidate region of the original image that has not been scaled down, and detect motion in the panoramic image.

도 5는 도 4에 도시된 움직임 검출 방법에서 파노라마 영상 완성 과정을 나타낸 도면이다. 110은 CCTV 카메라를 나타낸다. CCTV 카메라 내에 복수개의 IP 카메라(110)가 포함되어 180°파노라마 뷰를 제공할 수 있게 된다. 복수개의 센서로부터 검출된 이미지를 수집하고(S11), 수집된 이미지 들 사이에서 영상왜곡 보정 및 컬러 정합을 실시한 후(S13), 결합하여 파노라마 영상을 완성한다(S13). 멀티센서 영상으로부터 완성된 파노라마 영상은 각 카메라의 해상도 X 카메라 개수 만큼 픽셀 수가 증가하여 처리해야할 데이터 용량이 증가하게 된다. 따라서 고화질 영상을 처리할 경우 처리 자원의 소모 및 시간이 막대하게 소요되어 실시간 처리가 어렵게 된다.5 is a view illustrating a panorama image completion process in the motion detection method shown in FIG. 110 denotes a CCTV camera. A plurality of IP cameras 110 may be included in the CCTV camera to provide a 180 ° panoramic view. After the images detected from the plurality of sensors are collected (S11), image distortion correction and color matching are performed between the collected images (S13), and the combined panoramic images are completed (S13). In the panoramic image composed of multi-sensor images, the number of pixels is increased by the number of resolution X cameras of each camera, and the data capacity to be processed is increased. Therefore, when processing a high-quality image, it takes a long time to consume processing resources and it becomes difficult to process in real time.

도 6 은 도 4에 도시된 움직임 검출 방법에 이용되는 옵티컬 플로우 LUCAS & KANADE 방법을 설명하기 위한 도면이다. 도시되는 바와 같이, 현재 프레임과 다음 프레임을 X축, Y축, t축(시간) 방향으로 미분하여 달성된다. Optical flow의 대표적인 알고리즘인 Lucas-Kanade 알고리즘을 이용하여 움직임을 자동 감지하여 입력영상의 감시영역 내 움직임 검출을 가능하게 한다. 이는 영상의 연속하는 두 프레임 간의 차이를 통해 움직임을 추정하는 대표적인 방법으로 명도를 서서히 변화시켜 영상에서 발생하는 움직임의 방향과 속도를 벡터로 나타내는 방식이다. Optical flow 방식의 경우 사람 등과 같이 형태가 변하는 경우 기존 히스토그램 방식(meanshift, camshift)이 더 뛰어난 경우가 있기 때문에 두 방식의 장점을 잘 결합하는 것이 바람직하다.FIG. 6 is a diagram for explaining an optical flow LUCAS & KANADE method used in the motion detection method shown in FIG. As shown, this is accomplished by differentiating the current frame and the next frame in the X, Y, and t-axis (time) directions. Motion detection is automatically detected by Lucas-Kanade algorithm, which is a typical algorithm of optical flow, to enable motion detection within the surveillance area of the input image. This is a typical method for estimating motion through a difference between two consecutive frames of an image, in which the direction and speed of a motion generated in an image are expressed as a vector by gradually changing the brightness. In the case of optical flow method, it is desirable to combine the merits of the two methods because the existing histogram method (meanshift, camshift) is better when the shape changes like a human being.

상기 방법은 예를 들어, 컴퓨터 판독 가능한 매체상에 저장되는 컴퓨터 판독 가능한 명령들의 형태로 컴퓨터 프로그램으로 구현될 수 있다.The method may be embodied in a computer program in the form of computer-readable instructions stored on, for example, a computer-readable medium.

본 발명의 실시예에 따르면, 파노라마 영상 컬러 정합은 보정율 90% 이상, 움직임 감지 기술은 감지율 99.0% 이상, 이미지 처리 프레임 수가 15 fp/초 이상 달성될 수 있다. 또한, 도 7을 예로 들어 설명하면, 5M급(2,560x1,920) 이미지 센서 3개일 경우, 영상 수집 후, 파노라마 영상의 경우, 7,680x1,920 사이즈가 된다. 예를 들어, 1/4로 스케일 다운하여 움직임을 검출할 경우, 1/2 스케일 다운을 2회 수행하여, 1/4 스케일 다운된 1,920x480 = 921,600 사이즈의 이미지에서 움직임 검출하여, 움직임이 검출된 영역이 도 7의 (b)의 사각형 영역(d1)일 경우, 1/2로 1단계 스케일업된 영상 중에서 d1 영역에서만 움직임 검출 프로세스를 실시한다. 따라서, 전체 3,686,400 사이즈 대신 55,648 사이즈에 대해서만 움직임 검출을 하므로 연산용량 및 속도가 막대하게 감소된다. d1 영역에 대하여 움직임 검출 프로세스를 실시하여 검출된 움직임 후보 영역은 도 7의 (c)의 사각형 영역(d2)가 되면, d2 영역에 대하여 최종 움직임 검출 프로세스를 실시한다. d2 영역은 206,080으로 전체 14,745,600 사이즈 대신 206,080 사이즈의 영상에 대해서만 움직임 검출 프로세스를 수행하게 되므로 연산에 필요한 자원을 막대하게 절약할 수 있을 뿐만 아니라, 연산 속도를 향상시키고, 초고화질 파노라마 영상에서도 실시간 움직임 검출을 가능하게 한다. 도 7의 실시예에서, 파노라마 영상인 7,680*1,920 = 14,745,600 사이즈에 대한 움직임 검출 대신, 본 발명의 실시예에 따라 움직임 검출을 할 경우, (a) 단계에서 921,600, (b) 단계에서 d1 영역 55,648, (c) 단계에서 d2 영역 206,080 픽셀에서 움직임 검출을 수행하므로 전체 1,183,328 픽셀에서만 움직임 검출을 수행하면 된다. 따라서, 원 파노라마 영상의 약 8.2%로 움직임 검출 대상 픽셀이 막대하게 감소하게 된다. According to the embodiment of the present invention, the panorama image color matching can be achieved with a correction rate of 90% or more, motion detection technology with a detection rate of 99.0% or more, and an image processing frame number of 15 fps / second or more. In the case of three 5M (2,560x1,920) image sensors, the size of the panoramic image is 7,680x1,920 after the image is collected. For example, when a motion is detected by scaling down to 1/4, a 1/2 scaling down is performed twice to detect a motion in an image having a size of 1,920x480 = 921,600 which is 1/4 scaled down, When the area is the rectangular area d1 in FIG. 7 (b), the motion detection process is performed only in the area d1 in the image scaled up by one-half. Therefore, since the motion detection is performed only for the 55,648 size instead of the entire 3,686,400 size, the calculation capacity and the speed are drastically reduced. When the detected motion candidate region is the rectangular region d2 in Fig. 7C, the motion detection process is performed on the d1 region, and the final motion detection process is performed on the d2 region. d2 region is 206,080, the motion detection process is performed only for the image of 206,080 size instead of the entire 14,745,600 size. Accordingly, resources required for calculation can be saved enormously, and the computation speed can be improved. In addition, . In the embodiment of FIG. 7, when motion detection is performed according to the embodiment of the present invention instead of the motion detection for the size of 7,680 * 1,920 = 14,745,600, which is the panoramic image, the d1 area 55,648 , motion detection is performed at 206,080 pixels in the d2 area in step (c), so that motion detection can be performed only at 1,183,328 pixels in total. Therefore, the motion detection target pixel is drastically reduced to about 8.2% of the original panorama image.

본 발명의 실시예에 따른 움직임 감지 시스템은, 보안구역에 대한 실시간 출입통제 시스템에 활용 가능, 교통위반 및 교통사고 식별을 위한 교통관제 시스템에 활용 가능, 범죄자 용모 및 범죄행위 식별을 위한 범죄예방 시스템에 활용 가능, 방화 및 테러행위 식별을 통한 재난방지 시스템에 활용 가능, 어린이집/유치원 등 가혹행위 감시 시스템에 활용 가능하다.The motion detection system according to an embodiment of the present invention can be applied to a real-time access control system for a security zone, applicable to a traffic control system for traffic violation and traffic accident identification, a crime prevention system for identifying criminals and criminal behavior It can be applied to disaster prevention system through identification of fire and terrorism act, and it can be applied to a child abuse / kindergarten, etc.

Claims (12)

삭제delete 삭제delete 삭제delete a) 카메라로부터 이미지를 수집하는 단계;
b) 상기 이미지를 설정 배율(1/xn)까지 n 차에 걸쳐 스케일 다운하는 단계;
c) 상기 설정 배율로 스케일 다운된 상기 이미지에서 움직임 영역을 검출하여, 검출된 움직임 영역을 제1 후보 영역으로 선정하는 단계;
d) 상기 c) 단계의 상기 제1 후보 영역을 상기 이미지를 1차 스케일 업하는 단계;
e) 상기 d) 단계에서, 1차 스케일 업된 영상 중 상기 제1 후보영역에서 움직임 검출을 실시하여, 제2 후보 영역을 선정하는 단계;
f) 상기 d) 단계 및 상기 e) 단계를 스케일 업 된 영상이 상기 b) 단계의 스케일 다운 전 영상의 스케일이 도달할 때까지 실시하는 단계; 및
g) 최종 스케일 업된 영상의 최종 후보 영역에서 움직임을 검출하는 단계를 포함하는 멀티센서 CCTV 영상의 움직임 검출 방법.a) collecting an image from a camera;
b) scaling down the image over a n-order to a set magnification (1 / x n );
c) detecting a motion region in the image scaled down by the set magnification and selecting the detected motion region as a first candidate region;
d) scaling up said image in said first candidate region of step c);
e) performing motion detection in the first candidate region of the first scaled up image and selecting a second candidate region in the step d);
f) performing steps d) and e) until the scale-up image reaches the scale-down pre-image of step b); And
g) detecting motion in a final candidate region of the last scaled up image. 제 4 항에 있어서,
상기 a) 단계에서 상기 카메라는 복수개의 이미지 센서를 포함하고,
a-1) 수집된 복수개의 이미지 각각을 영상왜곡 보정 및 컬러 정합을 실하는 단계를 추가로 포함하는 멀티센서 CCTV 영상의 움직임 검출 방법.5. The method of claim 4,
In the step a), the camera includes a plurality of image sensors,
A method of detecting motion of a multi-sensor CCTV image, the method comprising: a-1) performing image distortion correction and color matching on each of a plurality of collected images. 제 5 항에 있어서,
상기 a-1) 단계에서 보정 및 컬러 정합된 상기 이미지를 결합하여 고화질 파노라마 영상을 완성하는 단계를 추가로 포함하는 멀티센서 CCTV 영상의 움직임 검출 방법.6. The method of claim 5,
And combining the corrected and color-matched images in step (a-1) to complete a high-quality panoramic image. 비일시적 컴퓨터 판독가능 기록 매체로서, 상기 비일시적 컴퓨터 판독가능 기록 매체에는 프로그램이 기록되며, 상기 프로그램은, 처리 능력을 갖는 디바이스 상에서 실행될 때, 멀티센서 CCTV 영상프레임에서 움직임을 검출하는 방법을 구현하기 위한 프로그램이며, 상기 방법은,
a) 카메라로부터 이미지를 수집하는 단계;
b) 상기 이미지를 설정 배율까지 스케일 다운하는 단계;
c) 최종 배율로 스케일 다운된 상기 이미지에서 움직임 영역을 검출하여, 검출된 움직임 영역을 제1 후보 영역으로 선정하는 단계;
d) 상기 c) 단계의 상기 이미지를 1차 스케일 업하는 단계;
e) 상기 d) 단계에서, 1차 스케일 업된 영상 중 상기 제1 후보영역에서 움직임 검출을 실시하여, 제2 후보 영역을 선정하는 단계;
f) 상기 d) 단계 및 상기 e) 단계를 스케일 업 된 영상이 상기 b) 단계의 스케일 다운 전 영상의 스케일이 도달할 때까지 실시하는 단계; 및
g) 최종 스케일 업된 영상의 최종 후보 영역에서 움직임을 검출하는 단계를 포함하는 비일시적 컴퓨터 판독가능 기록매체.A non-transitory computer readable recording medium having recorded thereon a program that when executed on a device having processing capability, embodies a method of detecting motion in a multi-sensor CCTV video frame, The method comprising the steps of:
a) collecting an image from a camera;
b) scaling down the image to a set magnification;
c) detecting a motion region in the image scaled down at a final magnification and selecting the detected motion region as a first candidate region;
d) scaling up the image of step c) first;
e) performing motion detection in the first candidate region of the first scaled up image and selecting a second candidate region in the step d);
f) performing steps d) and e) until the scale-up image reaches the scale-down pre-image of step b); And
g) detecting motion in a final candidate region of the last scaled-up image. 제7항에 따른 컴퓨터 판독 가능한 기록 매체를 실행하는 처리 능력을 갖는 디바이스.A device having processing capability to execute the computer-readable recording medium according to claim 7. 카메라;
상기 카메라 촬영 영상을 수집하는 영상수집부;
상기 영상수집부에서 수집된 영상을 스케일 다운하고 스케일 업하는 영상 스케일업/다운부; 및
상기 영상 스케일업/다운부에서 스케일 다운한 영상에서 움직임을 검출하는 움직임검출부를 포함하고,
상기 영상 스케일업/다운부는 영상을 설정 배율로 스케일 다운하고, 움직임검출부는 설정 배율로 스케일 다운된 영상에서 후보 영역을 검출하고, 상기 영상 스케일업/다운부는 스케일 다운된 영상을 N차에 걸쳐 스케일 업하고, 각 차수 별로 후보 영역에서 움직임 검출을 수행하여 후보 영역을 추가로 검출하고, 상기 영상 스케일업/다운부가 스케일 다운 전 사이즈로 영상을 스케일 업하면, 상기 움직임검출부는 최종 후보영역에서 움직임을 검출하는 멀티센서 CCTV 영상의 움직임 검출 시스템.camera;
An image collecting unit for collecting the camera photographed image;
An image scale up / down unit for scaling down and scaling up the image collected by the image collection unit; And
And a motion detector for detecting motion in an image scaled down in the image scale up / down unit,
Wherein the image scale up / down unit scales down the image by a set scale factor, the motion detector detects a candidate area in the image scaled down by the set scale factor, and the image scale up / down unit scales the scaled- The motion detector detects a candidate region by performing motion detection in the candidate region for each order, and when the image scale up / down portion scales up the image to a size before the scale down, the motion detector detects motion in the final candidate region Detection of multi-sensor CCTV video motion detection system. 카메라;
상기 카메라 촬영 영상을 수집하는 영상수집부;
상기 영상수집부에서 수집된 영상을 스케일 다운하고 스케일 업하는 영상 스케일업/다운부; 및
상기 영상 스케일업/다운부에서 스케일 다운한 영상에서 움직임을 검출하는 움직임검출부를 포함하고,
상기 영상 스케일업/다운부는 영상을 설정 배율로 스케일 다운하고, 상기 움직임검출부는 설정 배율로 스케일 다운된 영상에서 움직임 후보 영역을 검출하고, 상기 영상 스케일업/다운부는 스케일 다운된 영상에서 상기 움직임 후보 영역을 N차에 걸쳐 스케일 업하고, 상기 움직임검출부는 각 차수 별로 후보 영역에서 움직임 검출을 수행하여 후보 영역을 추가로 검출하고, 상기 영상 스케일업/다운부가 스케일 다운 전 사이즈로 영상을 스케일 업하면, 상기 움직임검출부는 최종 후보영역에서 움직임을 검출하는 멀티센서 CCTV 영상의 움직임 검출 시스템.camera;
An image collecting unit for collecting the camera photographed image;
An image scale up / down unit for scaling down and scaling up the image collected by the image collection unit; And
And a motion detector for detecting motion in an image scaled down in the image scale up / down unit,
Wherein the image scale up / down unit scales down the image by a set magnification, the motion detector detects a motion candidate area in an image scaled down by a set magnification, and the image scale up / down unit scales down the motion candidate And the motion detector further detects a candidate region by performing motion detection in a candidate region for each order, and when the image scale up / down portion scales up the image to a size before the scale down And the motion detection unit detects motion in a final candidate region. a) 카메라로부터 이미지를 수집하여 영상을 생성하는 단계;
b) 상기 영상을 설정 배율(1/xn)까지 n 차에 걸쳐 스케일 다운하는 단계;
c) 상기 설정 배율로 스케일 다운된 상기 이미지를 움직임 검출 프로세싱하여, 검출된 움직임 영역을 제1 움직임 후보 영역으로 선정하는 단계;
d) 상기 b) 단계에서 1/xn -1로 스케일 다운된 영상에서 상기 제1 움직임 후보 영역을 움직임 검출 프로세싱하는 단계;
e) 상기 d) 단계에서, 검출된 움직임 영역을 제2 움직임 후보 영역으로 선정하는 단계;
f) 상기 d) 단계 및 상기 e) 단계를 상기 b) 단계의 1차 스케일 다운된 영상에서 최종 움직임 후보 영역을 선정할 때까지 실시하는 단계; 및
g) 스케일 다운 전 영상에서 상기 최종 후보 영역을 움직임 검출 프로세싱하여 움직임을 검출하는 단계를 포함하는 멀티센서 CCTV 영상의 움직임 검출 방법.a) collecting an image from a camera and generating an image;
b) scaling down the image to a set magnification (1 / x n ) over an n-th order;
c) performing motion detection processing on the image scaled down by the set magnification, and selecting the detected motion region as a first motion candidate region;
d) performing motion detection processing on the first motion candidate region in the image scaled down to 1 / x n -1 in step b);
e) selecting the detected motion region as a second motion candidate region in step d);
f) performing the steps d) and e) until the final motion candidate region is selected from the primary scaled-down image of the step b); And
g) detecting movement of the final candidate region in the pre-scaled down image to detect motion. 비일시적 컴퓨터 판독가능 기록 매체로서, 상기 비일시적 컴퓨터 판독가능 기록 매체에는 프로그램이 기록되며, 상기 프로그램은, 처리 능력을 갖는 디바이스 상에서 실행될 때, 멀티센서 CCTV 영상프레임에서 움직임을 검출하는 방법을 구현하기 위한 프로그램이며, 상기 방법은,
a) 카메라로부터 이미지를 수집하여 영상을 생성하는 단계;
b) 상기 영상을 설정 배율(1/xn)까지 n 차에 걸쳐 스케일 다운하는 단계;
c) 상기 설정 배율로 스케일 다운된 상기 이미지를 움직임 검출 프로세싱하여, 검출된 움직임 영역을 제1 움직임 후보 영역으로 선정하는 단계;
d) 상기 c) 단계에서 제1 움직임 후보 영역을 스케일업하여 움직임 검출 프로세싱하는 단계;
e) 상기 d) 단계에서, 검출된 움직임 영역을 제2 움직임 후보 영역으로 선정하는 단계;
f) 상기 d) 단계 및 상기 e) 단계를 움직임 후보 영역이 1/x 배율이 될 때까지 반복하여 최종 움직임 후보 영역을 선정하는 단계; 및
g) 스케일 다운 전 영상에서 상기 최종 후보 영역을 움직임 검출 프로세싱하여 움직임을 검출하는 단계를 포함하는 비일시적 컴퓨터 판독가능 기록 매체.A non-transitory computer readable recording medium having recorded thereon a program that when executed on a device having processing capability, embodies a method of detecting motion in a multi-sensor CCTV video frame, The method comprising the steps of:
a) collecting an image from a camera and generating an image;
b) scaling down the image to a set magnification (1 / x n ) over an n-th order;
c) performing motion detection processing on the image scaled down by the set magnification, and selecting the detected motion region as a first motion candidate region;
d) scaling up the first motion candidate region and performing motion detection processing in the step c);
e) selecting the detected motion region as a second motion candidate region in step d);
f) selecting a final motion candidate region by repeating the steps d) and e) until the motion candidate region becomes 1 / x magnification; And
g) motion detecting and processing the final candidate region in the pre-scaled down image to detect motion.
KR1020170169650A 2017-11-15 2017-12-11 Movement detection system and method for multi sensor cctv panorama video KR101861245B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170152099 2017-11-15
KR20170152099 2017-11-15

Publications (1)

Publication Number Publication Date
KR101861245B1 true KR101861245B1 (en) 2018-05-25

Family

ID=62299237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170169650A KR101861245B1 (en) 2017-11-15 2017-12-11 Movement detection system and method for multi sensor cctv panorama video

Country Status (1)

Country Link
KR (1) KR101861245B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200059680A (en) 2018-11-21 2020-05-29 부경대학교 산학협력단 Apparatus and method for generating three dimensional image automatically
KR102127276B1 (en) * 2018-12-11 2020-06-26 주식회사 인텔리빅스 The System and Method for Panoramic Video Surveillance with Multiple High-Resolution Video Cameras
KR20210072285A (en) * 2019-12-09 2021-06-17 한국건설기술연구원 System for analyzing cctv image information for occupancy realtime monitoring, and method for the same
KR20210086829A (en) * 2019-12-30 2021-07-09 한국남부발전 주식회사 Smart cctv control and warning system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009193421A (en) * 2008-02-15 2009-08-27 Sony Corp Image processing device, camera device, image processing method, and program
KR20110090098A (en) * 2010-02-02 2011-08-10 삼성전자주식회사 Apparatus for processing digital image and thereof method
JP2012034024A (en) * 2010-07-28 2012-02-16 Canon Inc Image processor, image processing method, and program
KR20130064556A (en) * 2011-12-08 2013-06-18 에스케이텔레콤 주식회사 Apparatus and method for face detection using multi detection
JP2013161241A (en) * 2012-02-03 2013-08-19 Toyota Motor Corp Object recognition device and object recognition method
KR20170001869A (en) * 2015-06-26 2017-01-05 서울과학기술대학교 산학협력단 Security surveillance apparatus and method using pattern analysis in omni-directional camera images
KR20170100319A (en) * 2016-02-25 2017-09-04 한국전자통신연구원 Realtime fire sensing method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009193421A (en) * 2008-02-15 2009-08-27 Sony Corp Image processing device, camera device, image processing method, and program
KR20110090098A (en) * 2010-02-02 2011-08-10 삼성전자주식회사 Apparatus for processing digital image and thereof method
JP2012034024A (en) * 2010-07-28 2012-02-16 Canon Inc Image processor, image processing method, and program
KR20130064556A (en) * 2011-12-08 2013-06-18 에스케이텔레콤 주식회사 Apparatus and method for face detection using multi detection
JP2013161241A (en) * 2012-02-03 2013-08-19 Toyota Motor Corp Object recognition device and object recognition method
KR20170001869A (en) * 2015-06-26 2017-01-05 서울과학기술대학교 산학협력단 Security surveillance apparatus and method using pattern analysis in omni-directional camera images
KR20170100319A (en) * 2016-02-25 2017-09-04 한국전자통신연구원 Realtime fire sensing method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200059680A (en) 2018-11-21 2020-05-29 부경대학교 산학협력단 Apparatus and method for generating three dimensional image automatically
KR102127276B1 (en) * 2018-12-11 2020-06-26 주식회사 인텔리빅스 The System and Method for Panoramic Video Surveillance with Multiple High-Resolution Video Cameras
KR20210072285A (en) * 2019-12-09 2021-06-17 한국건설기술연구원 System for analyzing cctv image information for occupancy realtime monitoring, and method for the same
KR102300640B1 (en) * 2019-12-09 2021-09-10 한국건설기술연구원 System for analyzing cctv image information for occupancy realtime monitoring, and method for the same
KR20210086829A (en) * 2019-12-30 2021-07-09 한국남부발전 주식회사 Smart cctv control and warning system
KR102315371B1 (en) * 2019-12-30 2021-10-21 한국남부발전 주식회사 Smart cctv control and warning system

Similar Documents

Publication Publication Date Title
KR101861245B1 (en) Movement detection system and method for multi sensor cctv panorama video
US9905031B2 (en) Method and related apparatus for capturing and processing image data
Kang et al. Real-time video tracking using PTZ cameras
EP3024227B1 (en) Image processing apparatus and image processing method
JP4870803B2 (en) Video motion detection method
US9619696B2 (en) Duplicate reduction for face detection
TWI554099B (en) Method and camera for determining an image adjustment parameter
CN108665476B (en) Pedestrian tracking method and electronic equipment
US11037308B2 (en) Intelligent method for viewing surveillance videos with improved efficiency
EP3425590B1 (en) Image processing apparatus, image processing method, and storage medium
TW200818915A (en) Automatic extraction of secondary video streams
JP4764172B2 (en) Method for detecting moving object candidate by image processing, moving object detecting method for detecting moving object from moving object candidate, moving object detecting apparatus, and moving object detecting program
US9466095B2 (en) Image stabilizing method and apparatus
KR102159954B1 (en) Method for establishing region of interest in intelligent video analytics and video analysis apparatus using the same
JP2004282535A (en) Device for adjusting angle of field
EP2975552A2 (en) Entropy-reducing low pass filter for face detection
Kumar et al. Real time target tracking with pan tilt zoom camera
CN109685062B (en) Target detection method, device, equipment and storage medium
JP5247338B2 (en) Image processing apparatus and image processing method
US11044399B2 (en) Video surveillance system
US9392146B2 (en) Apparatus and method for extracting object
KR102080456B1 (en) method of controlling object tracking of PTZ camera by use of syntax data in compressed video
KR101846006B1 (en) Movement sensing system and method for multi sensor cctv panorama video
KR20140134505A (en) Method for tracking image object
Singh et al. Fpga-based smart camera system for real-time automated video surveillance

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant