WO2018030658A1 - 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법 - Google Patents

재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법 Download PDF

Info

Publication number
WO2018030658A1
WO2018030658A1 PCT/KR2017/007620 KR2017007620W WO2018030658A1 WO 2018030658 A1 WO2018030658 A1 WO 2018030658A1 KR 2017007620 W KR2017007620 W KR 2017007620W WO 2018030658 A1 WO2018030658 A1 WO 2018030658A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
moving object
cctv
moving
reduced
Prior art date
Application number
PCT/KR2017/007620
Other languages
English (en)
French (fr)
Inventor
이성진
김태우
Original Assignee
이노뎁 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이노뎁 주식회사 filed Critical 이노뎁 주식회사
Publication of WO2018030658A1 publication Critical patent/WO2018030658A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals

Definitions

  • the present invention generally relates to a technique for detecting a moving object through image processing from stored images provided from a plurality of CCTVs.
  • the present invention is to apply the image restructuring to the pre-processing step for the CCTV stored image to significantly reduce the amount of the image data to be processed image, and then to analyze the image for the re-structured stored image as a post-processing step.
  • the present invention relates to a technology for assisting a control agent in efficiently searching for an object of interest in a control center by detecting a moving object and extracting and providing metadata of the moving object.
  • CCTV CCTV
  • a large number of cameras eg CCTV
  • CCTVs have been installed to prevent crime and to provide evidence of criminal investigations.
  • approximately 5 million CCTVs are installed in Korea, photographing the surroundings once every 5.5 seconds at intervals of 14.2 meters.
  • the images of CCTVs installed in this way are transferred to a control system such as a police station or an integrated control center, and the monitoring personnel perform crime prevention activities through monitoring.
  • control manpower As there is a limit to expanding the control manpower as a way to solve this problem, it analyzes CCTV images through image processing technology and detects only the objects (interested objects) of interest to the control manpower and provides them separately. There is a high interest in this intelligent control system.
  • control centers are provided with video footage from thousands of CCTVs.
  • a heavy algorithm that is, object identification and object context recognition algorithm
  • an image analysis server is very high performance or Or there was a difficulty to be prepared a large number, due to the lack of full-scale use.
  • An object of the present invention is to provide a technique for detecting a moving object through image processing from stored images provided from a plurality of CCTV.
  • an object of the present invention is to significantly reduce the amount of image data subject to image processing by applying image restructuring to the pre-processing step for CCTV stored image, and then through image analysis of the re-structured stored image as a post-processing step.
  • the control center By detecting the moving object and extracting and providing the metadata of the moving object, the control center provides a technology to assist the control personnel to efficiently search for the object of interest.
  • the present invention provides a method for detecting a moving object included in a CCTV stored image by performing a restructured image processing on the CCTV stored image, the first obtaining N divided images of the CCTV stored image; step; A second step of reducing and resizing each of the divided images to obtain N reduced divided images; A third step of merging the N reduced images into a single frame to obtain a reduced merged image; And a fourth step of identifying a moving object included in the reduced merged image by performing image analysis on the reduced merged image.
  • the first step may include obtaining an original image of a preset amount of time of the CCTV stored image; And dividing an original image to obtain the N divided images.
  • the present invention may also include a fifth step of collecting meta information related to an exposure attribute of a moving object in a reduced merged image, which is performed after the fourth step; A sixth step of identifying a frame ('movement identification original frame') of the original image on which the moving object is identified based on the meta information; A seventh step of identifying an exposure area ('moving object area') of the moving object in the original frame of the moving identification by inversely mapping an identification position of the moving object in the reduced merged image at a resizing ratio; And an eighth step of acquiring a snapshot of the moving object by cutting out the moving object region from the moving identification original frame.
  • the meta information may include one or more of the size and location of the moving object, the generation point and the extinction point, the moving speed, the moving distance, the moving path, and the dwell time.
  • the present invention compares the collected meta-information, which is performed between the fifth and seventh stages, with a predetermined threshold condition to distinguish the previously identified moving object into a meaningful moving object and a meaningless moving object.
  • the method may further include filtering the moving object.
  • the present invention may further include a ninth step of providing a snapshot of the moving object to the control agent visually from the original image, which is performed after the seventh step.
  • a ninth step of providing a snapshot of the moving object to the control agent visually from the original image which is performed after the seventh step.
  • an object snapshot may be displayed in a separate area from the original image on the screen of the control system.
  • the computer-readable non-volatile recording medium is a computer program recorded for executing the moving object detection method of the CCTV stored image through the restructured image processing.
  • the present invention by analyzing the CCTV stored image at a very high speed compared to the prior art to detect the moving object contained in the image and extract and provide the metadata for the moving object by taking a plurality of images taken from the CCTV In the control center that has to manage a large number of CCTV video recording, there is an advantage that the control personnel can efficiently search for objects of interest.
  • FIG. 1 is a view conceptually showing a CCTV storage image analysis processing system according to the present invention.
  • FIG. 2 is a view showing an example of a reduced resized image in the present invention.
  • FIG 3 is a view showing an example of an image merged into a single frame in the present invention.
  • FIG. 5 is a block diagram showing the internal functional configuration of the CCTV storage image analysis processing system according to the present invention.
  • Figure 6 is a flow chart showing the overall process of the moving object detection method of CCTV stored image according to the present invention.
  • FIG. 7 is a diagram conceptually illustrating an example of detecting a moving object in a CCTV stored image according to the present invention.
  • FIG. 1 is a view conceptually showing a CCTV storage image analysis processing system according to the present invention.
  • image data photographed by a plurality of CCTV cameras 110 and 120 is collected and stored by the image management server 200.
  • the image preprocessor 300 significantly reduces the amount of image data by applying image restructuring by image segmentation and merging to the stored image.
  • the image analysis engine 400 detects the moving object through image analysis on the image restructured stored image, extracts metadata related to the exposure attribute of the moving object, and generates a snapshot of the moving object.
  • control agent is helped to efficiently search for the object of interest from the vast CCTV stored image in the control center.
  • the present invention can be preferably used as a technique for assisting the search for an object of interest (eg, a criminal suspect, a missing child) in a CCTV stored image.
  • an object of interest eg, a criminal suspect, a missing child
  • the inventors devised the following matters.
  • the object of interest generally appears in the form of moving objects rather than stationary objects in CCTV images. Therefore, the moving object is identified from the CCTV video.
  • high quality images are not necessary to identify moving objects in the image. Therefore, even if the image analysis is performed in a state in which the resolution of the original image is lowered and the image size of each frame is reduced, it is sufficient to identify the moving object. Through this, there is an advantage that can significantly improve the processing speed of the image analysis.
  • the moving object obtains and stores a high-quality snapshot from the original image and provides it to the control personnel.
  • the meta information related to the exposure attribute of the mobile object is collected and the meaningless information is filtered out of the mobile object identification result using the meta information.
  • the analysis is performed with all the frames to be analyzed because it is a stored image.
  • a preprocessing process is performed by reducing and resizing each divided image to low quality and merging these N frames into one frame.
  • the image data of the image analysis target can be greatly reduced, and thus the time required for image analysis can be greatly reduced.
  • the technique adopted in the conventional video analysis system to identify the object of interest in CCTV stored image is to adopt a very complicated algorithm such as object identification and object context recognition, and especially the high quality image provides reliable results. Derived.
  • the present invention is a result of adopting a light algorithm that primarily finds only the moving object, and can analyze the low quality image and can perform very high speed while yielding the same result as the high quality case.
  • the disadvantage of the approach of finding only moving objects can be compensated for by using meta information and snapshots.
  • the CCTV cameras 110 and 120 provide the captured image to the image management server 200 and the image management server 200 stores these CCTV images.
  • the image preprocessing unit 300 obtains a CCTV stored image to be subjected to image analysis for detecting a moving object from these CCTV images.
  • the CCTV video is displayed as X hours, which can be a day long or a few seconds long.
  • the control agent may select the stored image of the analysis target or the stored image may be automatically selected without the intervention of the control agent by the operation setting of the image analysis software.
  • the image preprocessor 300 divides the CCTV stored image into N to generate N divided images corresponding to approximately (X / N) hours.
  • the CCTV stored image is divided into N equal parts at the same time interval.
  • the image preprocessor 300 it is possible to be configured to provide N different CCTV stored images to the image preprocessor 300. That is, it is also possible to configure the video preprocessing unit 300 to generate six 10-minute divided images by dividing one 1-hour CCTV video into six equal parts, and storing 10-minute CCTV video from six CCTV cameras. It is also possible to configure the present invention such that six are provided to the image preprocessor 300. Even in the latter case, since the respective images are separated when compared with the reduced merged image, these are referred to as split images in the present specification.
  • the former configuration of dividing one CCTV stored image by N is more preferable because the result of subsequent image analysis will be good because the file attributes and image characteristics of the divided images are uniform.
  • the image preprocessing unit 300 performs a process of resizing to a low quality image having a small size by reducing the resolution of each of the N divided images. That is, for each frame image of the divided image having a high resolution, the resolution is lowered to reduce the image size, and the resized images are concatenated to generate a reduced sized image that is a low quality image of a small size.
  • FIG. 2 illustrates a concept of resizing a high quality original image (1920 * 1088) constituting each frame of the original image to 1/64 by a low quality reduced image (240 * 136).
  • N reduction images are obtained by applying such reduction resizing to each of the N divided images. Similar to the divided image, the reduced divided image corresponds to (X / N) time amount.
  • the image preprocessor 300 merges the N reduced images into a single frame to obtain a reduced merged image.
  • N small-quality images of small size constituting the N divided images into a single frame to form a reduced merged image as shown in FIG. 3 illustrates an example of merging four images of a small size 240 * 136 to form a single frame image of a larger size 480 * 272.
  • FIG. 4 is a diagram conceptually illustrating a process of generating a reduced merged image in the present invention.
  • each reduced image is composed of a series of frame images over time, in which N images of the same order provided from the N reduced images are merged into a single frame as shown in FIG. 3.
  • N images of the same order provided from the N reduced images are merged into a single frame as shown in FIG. 3.
  • the image analysis engine 400 identifies one or more moving objects (ie, moving objects) by performing image analysis on the reduced merged image generated by the image preprocessor 300.
  • moving objects ie, moving objects
  • Many techniques for identifying a blob-shaped moving object through image analysis have been proposed in the related art, and the present invention is not related to the moving object identification algorithm itself, and thus a detailed description thereof will be omitted.
  • the number of frames reduced to (1 / N) and the size of individual images also decreased compared to the X-hour original image generated by the CCTV cameras 110 and 120 (the image size in the previous example) Is reduced from 1920 * 1088 to 480 * 272)
  • Image analysis process for moving object identification can be performed much faster than in the prior art.
  • the image analysis engine 400 extracts meta information related to the exposure attribute for each of the identified moving objects.
  • meta-information includes the size and location of the moving object, the creation point and the extinction point, the moving speed, the moving distance, the moving path, and the dwell time.
  • Such meta information may be well utilized for filtering the mobile object as information related to the exposed attribute of the identified mobile object. As long as it seems to move in a blob form, it will be identified as a moving object, so it will contain a lot of nonsensical information, such as a leaf swaying in the wind.
  • the control system In order for the control system to effectively search for a specific object of interest, it is necessary to appropriately lower the number of moving objects corresponding to candidates of the object of interest. To this end, in the present invention, it is preferable to filter out meaningless information among the mobile objects identified above, and the meta information related to the exposure attribute of the mobile object may be usefully used in the filtering process of the mobile object.
  • the image analysis engine 400 obtains a snapshot of the moving object (hereinafter, referred to as an object snapshot).
  • the object snapshot can be well utilized, for example, by the control agent to visually determine whether the moving object corresponds to the object of interest, and for this purpose, the object snapshot is preferably obtained from a high quality original image.
  • the moving object Since the moving object has been identified from the reduced merged image, a position transformation process is required to obtain an object snapshot of the original image from it.
  • the exposure attribute of the moving object in the reduced merged image was acquired under the name of meta information.
  • the frame of the original image in which the moving object is identified (hereinafter, referred to as a 'mobile identification original frame') is identified.
  • an exposed area hereinafter, referred to as a 'moving object area') of the moving object is identified in the moving identification original frame.
  • a high quality object snapshot can be obtained, and by looking at the high quality object snapshot, the control agent can accurately determine whether the corresponding moving object corresponds to the object of interest.
  • the meta information obtained as a result of the image analysis may be recorded in consideration of time and path information according to the location because the time zones are different for each location of the moving object in the reduced merged image.
  • the 'stored image' is not limited to image data stored in a storage (for example, a hard disk) for a certain period (for example, one day), but temporarily (for example, 4 seconds) in a local memory of the image analysis device.
  • the buffered image data should also be interpreted as corresponding to the stored image.
  • the moving object detection technique according to the present invention can be suitably applied to the field of post-processing image data stored for a certain time, but is not to be applied to the real-time detection field.
  • FIG. 5 is a block diagram showing the internal functional configuration of the CCTV storage image analysis processing system according to the present invention.
  • the CCTV storage image analysis processing system according to the present invention generally includes an image preprocessor 300 and an image analysis engine 400.
  • the image preprocessor 300 is configured to significantly reduce the amount of image data by applying image restructuring by image segmentation and merging to the CCTV stored image.
  • the image analysis engine 400 is configured to detect a moving object through image analysis on the image restructured stored image, extract metadata related to the exposure attribute of the moving object, and generate a snapshot of the moving object.
  • the image preprocessing unit 300 is a storage image acquisition unit 310 for acquiring an X hour amount of CCTV stored image to be analyzed for moving object detection, X time amount
  • the divided video storage unit 320 generates N divided images corresponding to approximately (X / N) hours by N-segmenting CCTV stored images, and these N divided images are generally compressed and thus perform image decoding processing.
  • Split image decoder 330 for generating a frame-by-frame image of N segmented images for subsequent resizing process and moving object identification process, and resizing to a low quality image having a small size by reducing the resolution of each of the N segmented images
  • the image resizer 340 which generates N reduced-segmented images, which are low-quality images, of a small size
  • a single frame is merged.
  • a roughly (X / N) thumbnail to generate a reduced combined image of low quality that corresponds to the amount of time 350.
  • the present invention may be configured such that N different CCTV stored images are provided to the image preprocessor 300.
  • the stored image splitter 320 that splits the original image to generate the split image may be excluded.
  • the image analysis engine 400 analyzes an image for a reduced quality merged image of a low quality corresponding to approximately (X / N) amount of time generated by the image preprocessor 300.
  • Moving object recognition unit 410 for identifying one or more moving objects (ie, moving objects) in the form of blobs, the size and position of the moving object as meta information related to the exposure property for each of the identified moving objects.
  • the moving object meta extractor 420 which extracts information such as a creation point and an extinction point, a moving speed, a moving distance, a moving path, and a dwell time, and reverses the exposure position of the moving object between the reduced merged image and the original image by the resizing ratio.
  • An object snapshot generator 430 is provided to obtain a snapshot image of the identified moving object from the high quality original image by mapping.
  • FIG. 6 is a flowchart illustrating the entire process of a method for detecting a moving object of a CCTV stored image according to the present invention.
  • Step S110 First, the storage image acquisition unit 310 of the image preprocessor 300 acquires an original image of a CCTV storage image corresponding to an amount of X time. At this time, the control agent may designate the corresponding CCTV stored image, or the CCTV stored image may be automatically selected without the intervention of the control agent by the operation setting of the image analysis software.
  • Step S120 The stored image splitter 320 divides the original image of the CCTV stored image of N times by N to obtain N divided images corresponding to approximately (X / N) times. At this time, it is preferable to divide the CCTV stored video by N equal intervals, but is not necessarily limited thereto.
  • the storage image division unit 320 is not a method of generating the N divided images by dividing the original image, for example, so that different CCTV stored images from the CCTV cameras N to be provided to the image preprocessor 300 as a divided image. It is also possible to constitute the present invention. 6 is a flowchart of an example of dividing a single original image into N pieces.
  • Step S130 The divided image decoder 330 and the divided image resizer 340 cooperate with each other to reduce the resolution of each of the N divided images, thereby reducing the size of the small size through a resizing process of resizing to a low quality image of a small size. Generates N reduced-segmented images that are low quality images of.
  • Step S140 The reduced image merging unit 350 merges these N reduced images into a single frame to obtain a low quality reduced merged image.
  • a process of generating one low resolution reduced merge image by merging N reduced images by a single frame has been described above with reference to FIG. 4.
  • Step S150 Next, the moving object recognition unit 410 of the image analysis engine 400 performs image analysis on the low-resolution reduced-merge image to identify one or more moving objects in the form of blobs.
  • Step S160 The moving object meta extractor 420 extracts and collects meta information related to the exposure attribute for each of the moving objects identified by the image analysis engine 400.
  • meta-information may include the size and location of the moving object, the creation and destruction points, the moving speed, the moving distance, the moving path, and the residence time.
  • Step S170 The moving object meta extractor 420 may filter the moving object based on the extracted meta information. That is, the moving object recognition unit 410 will identify the moving object as long as it appears to move in a blob form in the low-resolution reduced-merge image, and thus, a lot of meaningless information that is difficult to become an object of interest will be mixed therein. Accordingly, it is desirable to distinguish between meaningful and insignificant moving objects by comparing meta information indicating exposure attributes of the moving objects with a predetermined threshold condition, and filtering out meaningless moving objects.
  • Step S180 In order to acquire a snapshot of the moving object from the original image of high quality, the object snapshot generator 430 first identifies a frame (moving identification original frame) in which the moving object is identified in the original image. Prior to extracting the meta information, the exposure property of the moving object was obtained from the reduced merged image. In the reduced-merge image, if the moving object is exposed to a large size and the frame image and the exposure position thereof, the frame of the original image corresponding thereto may be identified.
  • Step S190 The object snapshot generator 430 identifies an exposed area (moving object area) of the moving object in the original frame of the moving identification by inversely mapping the moving object identification position in the reduced merged image to the resizing ratio. Since the moving object is identified from the reduced merged image, a position conversion process is required to obtain an object snapshot of the original image from the reduced merged image.
  • Step S200 The object snapshot generator 430 cuts out the moving object region from the moving identification original frame to obtain a high quality object snapshot.
  • Step S200 Then, the object snapshot generator 430 assists the controller to assist in the search for the object of interest by providing an overlay on the display screen to the controller, for example.
  • the object snapshot is preferably provided to be visually distinguished from the original image.
  • an object snapshot may be displayed in a separate area from the original image on the screen of the control system.
  • the controller may overlay the object snapshot on the original image.
  • FIG. 7 is a diagram conceptually illustrating an example of detecting a moving object in a CCTV stored image according to the present invention.
  • the split image decoder 330 decodes the CCTV storage image and outputs it to the screen in high quality.
  • the moving object recognition unit 410 quickly identifies the moving objects in the low quality reduced merged image generated from the CCTV stored image, and the moving object meta extracting unit 420 extracts the meta information which is the exposure property of these moving objects. do.
  • the identified moving object and related meta information are displayed on the CCTV control screen together with the CCTV photographed image, which may be displayed on a high quality monitoring screen of the original image or on a low quality screen displayed in a matrix form.
  • a process of transforming and generating relative coordinates by performing reverse mapping at a resizing ratio is necessary.
  • the present invention may be embodied in the form of computer readable codes on a computer readable nonvolatile recording medium.
  • Such nonvolatile recording media include all types of devices that store computer readable data, such as ROM, RAM, CD-ROM, NAS, magnetic tape, hard disk, web disk, etc. May be distributedly stored and executed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 일반적으로 다수의 CCTV로부터 제공된 저장 영상으로부터 영상 처리를 통해 이동객체를 검출하는 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 CCTV 저장영상에 대해 전처리 단계로 영상 재구조화를 적용하여 영상처리 대상인 영상 데이터의 양을 대폭 감소시키고 나서 후처리 단계로서 위 영상 재구조화된 저장 영상에 대해 영상 분석을 통하여 이동객체를 검출하고 그 이동객체의 메타 데이터를 추출하여 제공함으로써 관제 센터에서 관제 요원이 관심 객체를 효율적으로 탐색할 수 있도록 보조하는 기술에 관한 것이다.

Description

재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법
본 발명은 일반적으로 다수의 CCTV로부터 제공된 저장 영상으로부터 영상 처리를 통해 이동객체를 검출하는 기술에 관한 것이다.
더욱 상세하게는, 본 발명은 CCTV 저장영상에 대해 전처리 단계로 영상 재구조화를 적용하여 영상처리 대상인 영상 데이터의 양을 대폭 감소시키고 나서 후처리 단계로서 위 영상 재구조화된 저장 영상에 대해 영상 분석을 통하여 이동객체를 검출하고 그 이동객체의 메타 데이터를 추출하여 제공함으로써 관제 센터에서 관제 요원이 관심 객체를 효율적으로 탐색할 수 있도록 보조하는 기술에 관한 것이다.
최근들어 범죄 예방 및 범죄수사 증거 확보를 위해 카메라(예: CCTV)가 다수 설치되고 있는데 현재 국내에는 대략 500만대의 CCTV가 설치되어 14.2미터 간격으로 5.5초에 한 번씩 주변 상황을 촬영하고 있다. 이처럼 다수 설치된 CCTV들이 촬영한 영상은 경찰서나 통합관제 센터와 같은 관제 시스템으로 전달되고 관제 요원들이 모니터링을 통해 범죄 예방 활동을 수행한다.
폭발적으로 증가하는 CCTV 대수에 비해 관제 인력은 많이 부족하여 2011년 경찰청 자료에 의하면 서울지역에서 관제 인력 1인당 평균 45대의 CCTV를 모니터링하고 있어 범죄예방 효과에 어려움이 많다.
또한, 범죄수사, 범인 탐지, 미아 탐색을 위해 CCTV에서 촬영해둔 영상을 살펴보는 경우에는 소수의 관제 인력이 엄청나게 많은 영상들을 일일히 살펴보고 있는 실정이어서 효율이 많이 떨어진다.
이러한 문제점을 해결하기 위한 방안으로 관제 인력을 확충하는 것은 한계가 있기 때문에, 영상처리 기술을 통해 CCTV 촬영 영상을 분석하고 관제 인력이 관심을 가질만한 객체(관심 객체)만을 검출해내어 별도로 제공해주는 기능이 탑재되어 있는 지능형 관제 시스템에 대한 관심이 높다.
종래의 지능형 관제 시스템은 얼굴 방향, 표정, 얼굴 이미지의 크기에 대하여 특정인을 정확하게 식별하는 방식으로 구성되는데 이를 위해서는 객체 식별 및 객체 컨텍스트 인식 알고리즘을 수행해야 한다.
일반적으로 관제 센터에는 수천 대의 CCTV로부터 촬영된 영상이 제공되어 저장되기 마련이다. 이렇게 다수의 CCTV로부터 전달되어 누적되는 대규모 저장 영상에 대하여 종래 기술에서와 같이 고화질 영상에 헤비 알고리즘(heavy algorithm), 즉 객체 식별 및 객체 컨텐스트 인식 알고리즘을 적용하여 처리하려면 영상 분석 서버가 매우 고성능이거나 혹은 상당히 다수 마련되어야만 하는 어려움이 있었고, 그로 인해 본격적인 활용도 지지부진하였다.
그에 따라, 다수의 CCTV로부터 촬영 영상이 수집되어 저장되는 관제 센터에서 특정의 관심 객체를 효율적으로 검출할 수 있도록 함으로써 이상과 같은 종래기술의 문제점을 해결할 수 있는 기술이 요망된다.
본 발명의 목적은 다수의 CCTV로부터 제공된 저장 영상으로부터 영상 처리를 통해 이동객체를 검출하는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 CCTV 저장영상에 대해 전처리 단계로 영상 재구조화를 적용하여 영상처리 대상인 영상 데이터의 양을 대폭 감소시키고 나서 후처리 단계로서 위 영상 재구조화된 저장 영상에 대해 영상 분석을 통하여 이동객체를 검출하고 그 이동객체의 메타 데이터를 추출하여 제공함으로써 관제 센터에서 관제 요원이 관심 객체를 효율적으로 탐색할 수 있도록 보조하는 기술을 제공하는 것이다.
상기의 목적을 달성하기 위하여 본 발명은 CCTV 저장영상에 대해 재구조화 영상 처리를 수행하여 CCTV 저장영상에 포함되어 있는 이동객체를 검출하는 방법으로서, CCTV 저장영상의 N개의 분할영상을 획득하는 제 1 단계; 분할영상의 각각을 축소 리사이징하여 N개의 축소분할 영상을 획득하는 제 2 단계; N개의 축소분할 영상을 단일 프레임으로 병합하여 축소병합 영상을 획득하는 제 3 단계; 축소병합 영상에 대해 영상 분석을 수행하여 축소병합 영상에 포함된 이동객체를 식별하는 제 4 단계;를 포함하여 구성된다.
이때, 제 1 단계는, CCTV 저장영상의 미리 설정된 시간 분량의 원본 영상을 획득하는 단계; 원본 영상을 분할하여 상기 N개의 분할영상을 획득하는 단계;를 포함하여 구성되는 것이 바람직하다.
또한, 본 발명은 제 4 단계 이후에 수행되는, 축소병합 영상에서 이동객체의 노출 속성에 관련된 메타 정보를 수집하는 제 5 단계; 메타 정보에 기초하여 이동객체가 식별되는 원본 영상의 프레임('이동식별 원본 프레임')을 식별하는 제 6 단계; 축소병합 영상에서 이동객체의 식별 위치를 리사이징 비율로 역 매핑하여 이동식별 원본 프레임에서 이동객체의 노출 영역('이동객체 영역')을 식별하는 제 7 단계; 이동식별 원본 프레임에서 이동객체 영역을 잘라내어 이동객체의 스냅샷을 획득하는 제 8 단계;를 더 포함하여 구성될 수 있다.
이때, 메타 정보는 이동객체에 대한 크기와 위치, 생성지점과 소멸지점, 이동 속력, 이동 거리, 이동 경로, 체류시간 중 하나 이상을 포함하여 구성될 수 있다.
또한, 본 발명은 제 5 단계와 제7 단계 사이에 수행되는, 그 수집된 메타 정보를 미리 설정한 임계조건과 비교하여 앞서 식별된 이동객체를 유의미한 이동객체와 무의미한 이동객체로 구분함으로써 그 식별된 이동객체를 필터링하는 단계;를 더 포함하여 구성될 수 있다.
또한, 본 발명은 제 7 단계 이후에 수행되는, 이동객체의 스냅샷을 관제 요원에게 원본 영상과는 시각적으로 구분되도록 제공하는 제 9 단계;를 더 포함하여 구성될 수 있다. 예를 들어, 관제 시스템의 화면에서 객체 스냅샷을 원본 영상과는 별도의 영역에 표시할 수 있다.
한편, 본 발명에 따른 컴퓨터로 판독가능한 비휘발성 기록매체는 컴퓨터에 이상과 같은 재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법을 실행시키기 위한 프로그램을 기록한 것이다.
본 발명에 따르면 CCTV 저장영상을 종래기술에 비해 매우 고속으로 분석하여 영상 내에 포함되어 있던 이동객체를 검출해내고 해당 이동객체에 대한 메타 데이터를 추출하여 함께 제공함으로써 다수의 CCTV로부터 촬영 영상이 수집되어 대규모의 CCTV 저장영상을 관리해야 하는 관제 센터에서 관제 요원이 관심 객체를 효율적으로 탐색할 수 있게 되는 장점이 있다.
도 1은 본 발명에 따른 CCTV 저장영상 분석처리 시스템을 개념적으로 나타내는 도면.
도 2는 본 발명에서 축소 리사이징된 이미지의 일 예를 나타내는 도면.
도 3은 본 발명에서 단일 프레임으로 병합된 이미지의 일 예를 나타내는 도면.
도 4는 본 발명에서 축소병합 영상의 생성을 개념적으로 나타내는 도면.
도 5는 본 발명에 따른 CCTV 저장영상 분석처리 시스템의 내부 기능적 구성을 나타내는 블록도.
도 6은 본 발명에 따른 CCTV 저장영상의 이동객체 검출 방법의 전체 프로세스를 나타내는 순서도.
도 7은 본 발명에 따라 CCTV 저장영상에서 이동객체를 검출하는 일 예를 개념적으로 나타내는 도면.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
도 1은 본 발명에 따른 CCTV 저장영상 분석처리 시스템을 개념적으로 나타내는 도면이다.
도 1을 참조하면, 다수의 CCTV 카메라(110, 120)가 촬영한 영상 데이터가 영상관리 서버(200)로 수집되어 저장된다. 영상 전처리부(300)는 이러한 저장영상에 대해 영상 분할 및 병합에 의한 영상 재구조화를 적용하여 영상 데이터의 양을 대폭 감소시킨다. 그리고 나서, 영상분석 엔진(400)은 그 영상 재구조화된 저장 영상에 대해 영상 분석을 통하여 이동객체를 검출하고 그 이동객체의 노출 속성에 관련된 메타 데이터를 추출하며 이동객체의 스냅샷도 생성한다.
이처럼 영상분석 엔진(400)이 제공하는 이동객체, 메타정보, 스냅샷을 이용함으로써 관제 센터에서 관제 요원이 방대한 CCTV 저장영상으로부터 관심 객체를 효율적으로 탐색하는 데에 도움을 받게 된다.
본 발명은 CCTV 저장영상에서 관심 객체(예: 범죄 피의자, 실종 아동)의 탐색을 보조하는 기술로 양호하게 사용될 수 있다. 본 발명을 기술적으로 구성함에 있어서 발명자가 착안한 사항을 정리하면 다음과 같다.
첫째로, 관심 객체는 CCTV 영상에서 고정객체(stationary objects) 보다는 이동객체(moving objects)의 형태로 나타나는 것이 일반적이다. 따라서 CCTV 저장영상으로부터 이동객체를 식별한다.
둘째로, 영상에서 이동객체를 식별하는 데에는 굳이 고화질 이미지가 필요하지 않다. 따라서 원본 영상의 해상도(resolution)을 낮추어 각 프레임의 이미지 사이즈를 작게 리사이징한 상태에서 영상 분석을 수행해도 이동객체를 식별하는 데에는 충분하다. 이를 통해, 영상 분석의 처리 속도를 대폭 향상시킬 수 있는 장점이 있다. 또한, 이동객체에 대해서는 원본 영상으로부터 고화질 스냅샷을 획득하여 저장하고 이를 관제 요원에게 제공한다.
세째로, 이렇게 식별되어 나온 이동객체에는 노이즈, 즉 무의미한 정보가 다수 섞여있을 것이기 때문에 이를 제거하는 것이 바람직하다. 그에 따라, 이동객체에 관해 노출 속성에 관련된 메타 정보를 수집하고 이들 메타 정보를 이용하여 이동객체 식별 결과 중에서 무의미한 정보를 필터링해낸다.
네째로, 저장 영상이므로 그 분석대상 프레임을 모두 가지고 있는 상태에서 분석을 수행한다는 점을 활용한다. 그 분석해야 하는 전체 시간(X)을 N개로 분할한 후에 각각의 분할 영상을 저화질로 축소 리사이징하고 다시 이들 N개의 프레임을 하나의 프레임으로 병합하는 방식의 전처리 과정을 수행한다. 이러한 전처리 과정을 통해 영상분석 대상의 영상 데이터를 대폭 감소시킬 수 있으며, 이를 통해 영상 분석에 소요되는 시간도 크게 단축할 수 있다.
다섯째, 이동객체를 식별하는 영상 분석은 원본 영상이 아니라 축소 리사이징 및 단일 프레임 병합 과정 이후의 축소병합 영상에 대해 시행하는 것이므로 그 영상 분석의 결과로 발생되는 메타 정보, 예컨대 객체의 크기와 위치, 생성지점과 소멸지점, 이동 속력, 이동 거리, 이동 경로, 체류시간(dwell time) 등을 저장 관리할 때 그 분할 이전의 원본 좌표로 역 매핑하는 과정이 필요하다.
전술한 바와 같이, CCTV 저장영상에서 관심 객체를 식별하기 위해 종래의 영상분석 시스템에서 채택하였던 기술은 객체 식별 및 객체 컨텍스트 인식 등과 같이 굉장히 복잡한 알고리즘을 채택한 것이었고 특히 고화질 이미지가 제공되어야만 신뢰성 있는 결과가 도출되었다.
반면, 본 발명은 일차적으로 이동객체만 찾는 가벼운 알고리즘을 채택한 결과로 저화질 영상을 분석해도 고화질의 경우와 동일한 결과를 산출할 수 있으면서 매우 고속으로 수행할 수 있다. 이동객체만 찾는다는 접근 방식의 단점은 메타 정보와 스냅샷을 활용하여 보완할 수 있다.
도 1을 참조하며 본 발명의 전체 처리 프로세스를 개념적으로 살펴보면 다음과 같다.
먼저, CCTV 카메라(110, 120)가 촬영 영상을 영상관리 서버(200)로 제공하고 영상관리 서버(200)는 이들 CCTV 영상을 저장한다.
영상 전처리부(300)는 이들 CCTV 영상으로부터 이동객체 검출을 위해 영상분석을 수행할 대상인 CCTV 저장영상을 획득한다. 설명의 편이를 위해서 CCTV 저장영상이 X 시간 분량이라고 표시하는데, 이 X 시간은 하루 정도의 길이일 수도 있고 몇초 정도의 길이일 수도 있다. 이때, 관제 요원이 그 분석 대상의 저장영상을 선택할 수도 있고 영상분석 소프트웨어의 동작 설정에 의해 관제 요원의 개입 없이 저장영상이 자동적으로 선택될 수도 있다.
영상 전처리부(300)는 CCTV 저장영상을 N 분할하여 대략 (X/N) 시간 분량에 해당하는 분할영상을 N개 생성한다. 바람직하게는 CCTV 저장영상을 동일한 시간 간격으로 N 등분 분할한다.
이때, 영상 전처리부(300)로 서로 상이한 CCTV 저장영상이 N개 제공되도록 구성되는 것도 가능하다. 즉, 1시간 분량의 CCTV 저장영상 하나를 영상 전처리부(300)가 6 등분하여 10분 분량의 분할영상 6개를 생성하도록 구성하는 것도 가능하고, CCTV 카메라 6대로부터 10분 분량의 CCTV 저장영상 6개가 영상 전처리부(300)로 제공되도록 본 발명을 구성하는 것도 가능하다. 후자의 경우에도 축소병합 영상과 대비하여 본다면 각각의 영상은 분리되어 있는 상태이므로 본 명세서에서는 이들을 분할영상이라고 부른다.
하나의 CCTV 저장영상을 N 등분하는 전자의 구성이 분할영상들의 파일 속성 및 영상 특성이 균일하기 때문에 이후의 영상 분석 결과가 양호할 것이므로 상대적으로 더 바람직하다.
다음으로, 영상 전처리부(300)는 N개의 분할영상 각각에 대하여 해상도를 떨어뜨려 작은 크기의 저화질 영상으로 리사이징하는 과정을 수행한다. 즉, 높은 해상도를 갖는 분할영상의 각 프레임 이미지에 대해서 해상도를 낮추어 이미지 사이즈를 작게 리사이징하고, 이들 리사이징된 이미지들을 연결하여 작은 크기의 저화질 영상인 축소분할 영상을 생성한다.
도 2에는 원본 영상의 각 프레임을 구성하는 고화질 원본 이미지(1920*1088)를 64분의 1로 축소함으로써 저화질 축소 이미지(240*136)로 리사이징하는 개념을 나타낸다. N개의 분할영상 각각에 대하여 이러한 축소 리사이징을 적용함으로써 N개의 축소분할 영상을 얻는다. 분할영상과 마찬가지로 축소분할 영상도 (X/N) 시간 분량에 해당한다.
이어서, 영상 전처리부(300)는 N개의 축소분할 영상을 단일 프레임 병합하여 축소병합 영상을 얻는다. 즉, N개의 분할영상을 구성하는 작은 크기의 저화질 이미지 N개를 단일 프레임으로 병합하여 도 3에 도시된 것과 같은 축소병합 영상을 구성하는 것이다. 도 3은 작은 사이즈(240*136)의 이미지 4개를 병합하여 좀더 큰 사이즈(480*272)의 단일 프레임 이미지를 형성하는 예를 나타낸 것이다.
도 4는 본 발명에서 축소병합 영상을 생성하는 과정을 개념적으로 나타내는 도면이다.
도 4를 참조하면. 각각 (X/N) 시간 분량을 담고 있는 N개의 축소분할 영상을 단일 프레임으로 병합하여 역시 (X/N) 시간 분량을 담고 있는 1개의 축소병합 영상을 구성하는 개념이 도시되어 있다. 각각의 축소분할 영상은 시간 흐름에 따른 일련의 프레임 이미지로 이루어져 있는데, 이들 N개의 축소분할 영상으로부터 제공되는 동일 순번의 N개 이미지를 도 3과 같은 단일 프레임으로 병합하는 것이다. 축소분할 영상의 일련의 이미지에 대해 이러한 과정을 수행함으로써 일련의 병합된 이미지로 이루어진 하나의 축소병합 영상이 생성된다.
다음으로, 영상분석 엔진(400)은 영상 전처리부(300)가 생성한 축소병합 영상에 대해 영상 분석을 수행하여 이동객체(즉, 움직이는 객체)를 하나이상 식별한다. 한편. 영상 분석을 통해 블랍(blob) 형태의 이동객체를 식별해내는 기술은 종래기술에 다수 제시되어 있으며 본 발명은 이동객체 식별 알고리즘 자체에 관한 것은 아니므로 이에 관한 자세한 설명은 생략한다. 다만, CCTV 카메라(110, 120)가 생성한 X 시간 분량의 원본 영상에 비해 축소병합 영상은 프레임의 갯수가 (1/N)로 감소하였고 개별 이미지의 크기도 감소하였으므로(앞의 예에서 이미지 크기가 1920*1088에서 480*272로 감소하였음) 이동객체 식별을 위한 영상 분석 프로세스를 종래기술에 비해 매우 신속하게 수행할 수 있다.
이어서. 영상분석 엔진(400)은 그 식별된 이동객체의 각각에 대하여 노출 속성에 관련된 메타 정보를 추출한다. 이러한 메타 정보로는 그 이동객체의 크기와 위치, 생성지점과 소멸지점, 이동 속력, 이동 거리, 이동 경로, 체류시간 등이 있으며, 이들의 전부 혹은 일부를 선택하여 구현한다.
이러한 메타 정보는 그 식별된 이동객체의 노출 속성과 관련되어 있는 정보로서 이동객체의 필터링에 양호하게 활용될 수 있다. 블랍 형태로 이동하는 것처럼 보이기만 하면 이동객체로 식별될 것이므로 여기에는 예컨대 바람에 흔들리는 이파리 등과 같이 무의미한 정보가 다수 섞여있을 것이다.
관제 시스템이 특정의 관심 객체를 효과적으로 탐색하기 위해서는 관심 객체의 후보에 해당하는 이동객체의 갯수를 적절하게 낮출 필요가 있다. 이를 위해 본 발명에서는 앞서 식별된 이동객체들 중에서 무의미한 정보를 필터링해내는 것이 바람직하며, 이러한 이동객체의 필터링 과정에서 이동객체의 노출 속성에 관련된 메타 정보가 유용하게 활용될 수 있다.
이어서. 영상분석 엔진(400)은 이동객체의 스냅샷(이하, '객체 스냅샷'이라 함)을 획득한다. 객체 스냅샷은 예컨대 이동객체가 관심 객체에 해당하는지 여부를 관제 요원이 시각적으로 판단하는 데에 양호하게 활용될 수 있으며, 이를 위해 객체 스냅샷은 고화질 원본 영상으로부터 획득되는 것이 바람직하다.
이동객체는 축소병합 영상으로부터 식별되었기 때문에 이로부터 원본 영상의 객체 스냅샷을 획득하려면 위치 변환 과정이 필요하다. 즉, 앞서 메타정보 추출 과정을 통해 축소병합 영상에서 이동객체의 노출 속성을 메타 정보라는 이름으로 획득하였다. 이를 이용하여 이동객체가 식별되는 원본 영상의 프레임(이하, '이동식별 원본 프레임'이라 함)을 식별한다. 그리고 나서, 축소병합 영상에서의 이동객체 식별 위치에 대해 리사이징 비율로 역 매핑함으로써 이동식별 원본 프레임에서 이동객체의 노출 영역(이하, '이동객체 영역'이라 함)을 식별한다.
원본 영상에서 이동객체 영역을 잘라냄으로써 고화질의 객체 스냅샷을 획득할 수 있고, 이러한 고화질의 객체 스냅샷을 살펴봄으로써 관제 요원은 해당 이동객체가 관심 객체에 해당하는지 여부를 정확하게 판단할 수 있다.
이때, 영상 분석의 결과로 얻어지는 메타 정보는 축소병합 영상 내에서 이동객체의 위치별로 시간대가 다르므로 해당 위치에 따른 시간 및 경로 정보를 고려하여 매핑하여 기록하는 것이 바람직하다.
한편, 본 명세서에서 '저장영상'은 스토리지(예: 하드디스크)에 일정 기간(예: 하루)에 걸쳐 저장해둔 영상 데이터에 한정되지 않고 영상분석 장치의 로컬 메모리에 일시적으로(예: 4초) 버퍼링된 영상 데이터도 저장영상에 해당하는 것으로 해석되어야 한다. 본 발명에 따른 이동객체 검출 기술은 어느 정도의 시간동안 저장해둔 영상 데이터를 후처리하는 분야에 양호하게 적용될 수 있지만, 실시간 탐지 분야에 적용되는 것을 제외하는 것은 아니다.
도 5는 본 발명에 따른 CCTV 저장영상 분석처리 시스템의 내부 기능적 구성을 나타내는 블록도이다. 도 5를 참조하면, 본 발명에 따른 CCTV 저장영상 분석처리 시스템은 전체적으로는 영상 전처리부(300)와 영상분석 엔진(400)을 포함하여 구성된다.
영상 전처리부(300)는 CCTV 저장영상에 대해 영상 분할 및 병합에 의한 영상 재구조화를 적용하여 영상 데이터의 양을 대폭 감소시키는 구성이다. 영상분석 엔진(400)은 그 영상 재구조화된 저장 영상에 대해 영상 분석을 통하여 이동객체를 검출하고 그 이동객체의 노출 속성에 관련된 메타 데이터를 추출하며 이동객체의 스냅샷도 생성하는 구성이다.
본 발명의 CCTV 저장영상 분석처리 시스템에서 영상 전처리부(300)는, 이동객체 검출을 위해 영상분석을 수행할 대상인 X 시간 분량의 CCTV 저장영상을 획득하는 저장영상 획득부(310), X 시간 분량의 CCTV 저장영상을 N 분할하여 대략 (X/N) 시간 분량에 해당하는 분할영상을 N개 생성하는 저장영상 분할부(320), 이들 N개의 분할영상은 일반적으로 압축되어 있으므로 영상 디코딩 처리를 수행하여 이후의 리사이징 과정 및 이동객체 식별 과정을 위하여 N개의 분할영상에 대해 프레임별 이미지를 생성하는 분할영상 디코더(330), 이들 N개의 분할영상 각각에 대해 해상도를 떨어뜨려 작은 크기의 저화질 영상으로 리사이징함으로써 작은 크기의 저화질 영상인 N개의 축소분할 영상을 생성하는 분할영상 리사이저(340), 이들 N개의 축소분할 영상을 단일 프레임 병합하여 대략 (X/N) 시간 분량에 해당하는 저화질의 축소병합 영상을 생성하는 축소영상 병합부(350)를 구비한다.
이때, 영상 전처리부(300)로 서로 상이한 CCTV 저장영상이 N개 제공되도록 본 발명을 구성되는 것도 가능하다. 이 경우에는 원본 영상을 분할하여 분할영상을 생성하는 저장영상 분할부(320)는 제외될 수 있다.
또한, 본 발명의 CCTV 저장영상 분석처리 시스템에서 영상분석 엔진(400)은, 앞서 영상 전처리부(300)가 생성한 대략 (X/N) 시간 분량에 해당하는 저화질의 축소병합 영상에 대해 영상 분석을 수행하여 블랍 형태의 이동객체(즉, 움직이는 객체)를 하나이상 식별하는 이동객체 인식부(410), 그 식별된 이동객체의 각각에 대하여 노출 속성에 관련된 메타 정보로서 그 이동객체의 크기와 위치, 생성지점과 소멸지점, 이동 속력, 이동 거리, 이동 경로, 체류시간 등의 정보를 추출하는 이동객체 메타추출부(420), 축소병합 영상과 원본 영상 간에 이동객체의 노출 위치를 리사이징 비율로 역 매핑함으로써 그 식별된 이동객체의 스냅샷 이미지를 고화질 원본 영상으로부터 획득하는 객체스냅샷 생성부(430)를 구비한다.
도 6은 본 발명에 따른 CCTV 저장영상의 이동객체 검출 방법의 전체 프로세스를 나타내는 순서도이다.
단계 (S110) : 먼저, 영상 전처리부(300)의 저장영상 획득부(310)가 X 시간 분량에 해당하는 CCTV 저장영상의 원본 영상을 획득한다. 이때, 관제 요원이 해당 CCTV 저장영상을 지정할 수도 있고 영상분석 소프트웨어의 동작 설정에 의해 관제 요원의 개입 없이 CCTV 저장영상이 자동적으로 선택될 수도 있다.
단계 (S120) : 저장영상 분할부(320)가 X 시간 분량의 CCTV 저장영상의 원본 영상을 N 분할하여 대략 (X/N) 시간 분량에 각각 해당하는 N개의 분할영상을 획득한다. 이때, CCTV 저장영상을 동일한 시간 간격으로 N 등분 분할하는 것이 바람직한데 반드시 그에 한정되는 것은 아니다.
한편, 저장영상 분할부(320)가 원본 영상을 분할하여 N개의 분할영상을 생성하는 방식이 아니라, 예컨대 CCTV 카메라 N 대로부터 서로 상이한 CCTV 저장영상이 분할 영상으로서 영상 전처리부(300)로 제공되도록 본 발명을 구성되는 것도 가능하다. 다만, 도 6은 하나의 원본 영상을 N 개로 분할하는 구현예를 기준으로 순서도를 작성하였다.
단계 (S130) : 분할영상 디코더(330)와 분할영상 리사이저(340)가 협조 동작하여 이들 N개의 분할영상 각각에 대해 해상도를 떨어뜨려 작은 크기의 저화질 영상으로 리사이징하는 축소 리사이징 과정을 통해 작은 크기의 저화질 영상인 N개의 축소분할 영상을 생성한다.
단계 (S140) : 축소영상 병합부(350)가 이들 N개의 축소분할 영상을 단일 프레임 병합하여 저화질의 축소병합 영상을 획득한다. N개의 축소분할 영상을 단일 프레임 병합하여 하나의 저화질 축소병합 영상을 생성하는 과정에 대해서는 도 4를 참조하여 전술하였다.
단계 (S150) : 다음으로, 영상분석 엔진(400)의 이동객체 인식부(410)는 저화질의 축소병합 영상에 대해 영상 분석을 수행하여 블랍 형태의 이동객체를 하나이상 식별해낸다.
단계 (S160) : 이동객체 메타추출부(420)는 영상분석 엔진(400)이 식별해낸 이동객체의 각각에 대하여 노출 속성에 관련된 메타 정보를 추출하여 수집한다. 이러한 메타 정보로는 이동객체의 크기와 위치, 생성지점과 소멸지점, 이동 속력, 이동 거리, 이동 경로, 체류시간 등을 생각할 수 있다.
단계 (S170) : 이동객체 메타추출부(420)은 그 추출된 메타 정보에 기초하여 이동객체를 필터링할 수 있다. 즉, 이동객체 인식부(410)는 저화질의 축소병합 영상에서 블랍 형태로 이동하는 것처럼 보이기만 하면 이동객체로 식별할 것이므로 여기에는 관심 객체가 되기 어려운 무의미한 정보가 다수 섞여있을 것이다. 그에 따라, 이동객체의 노출 속성을 나타내는 메타 정보를 미리 설정한 임계조건과 비교함으로써 유의미한 이동객체와 무의미한 이동객체를 구분해내고, 이중에서 무의미한 이동객체는 필터링 아웃시키는 것이 바람직하다.
단계 (S180) : 객체스냅샷 생성부(430)는 이동객체의 스냅샷을 고화질의 원본 영상으로부터 획득하기 위해, 먼저 원본 영상에서 이동객체가 식별되는 프레임(이동식별 원본 프레임)을 식별한다. 앞서 메타정보 추출 과정을 통해 축소병합 영상에서 이동객체의 노출 속성을 획득하였다. 축소병합 영상에서 이동객체가 큰 사이즈로 노출되어 있는 프레임 이미지 및 그 노출 위치를 안다면 그에 대응하는 원본 영상의 프레임이 어느 것인지 식별할 수 있다.
단계 (S190) : 객체스냅샷 생성부(430)는 축소병합 영상에서의 이동객체 식별 위치에 대해 리사이징 비율로 역 매핑함으로써 이동식별 원본 프레임에서 이동객체의 노출 영역(이동객체 영역)을 식별한다. 이동객체는 축소병합 영상으로부터 식별되었기 때문에 이로부터 원본 영상의 객체 스냅샷을 획득하려면 위치 변환 과정이 필요하며, 이를 위해 리사이징 비율로 역 매핑 처리한다.
단계 (S200) : 객체스냅샷 생성부(430)는 이동식별 원본 프레임에서 이동객체 영역을 잘라내어 고화질의 객체 스냅샷을 획득한다.
단계 (S200) : 그리고 나서, 객체스냅샷 생성부(430)는 그 획득한 객체 스냅샷을 관제 요원에게 예컨대 디스플레이 화면 상에 오버레이 제공하여 관심 객체의 탐색에 도움이 되도록 보조한다.
이때, 객체 스냅샷은 원본 영상과는 시각적으로 구분되도록 제공되는 것이 바람직하다. 예를 들어, 관제 시스템의 화면에서 객체 스냅샷을 원본 영상과는 별도의 영역에 표시할 수 있다. 또한, 관제 요원이 원본 영상에서 관심 객체를 마우스 클릭 등으로 선택하였을 때 해당 원본 영상 위에 객체 스냅샷을 오버레이 표시하도록 구현할 수도 있다.
도 7은 본 발명에 따라 CCTV 저장영상에서 이동객체를 검출하는 일 예를 개념적으로 나타내는 도면이다.
본 발명의 CCTV 저장영상 분석처리 시스템에서 분할영상 디코더(330)가 CCTV 저장영상을 디코딩하여 고화질로 화면에 출력한다.
동시에, 이동객체 인식부(410)는 CCTV 저장영상으로부터 생성한 저화질의 축소병합 영상에서 이동객체를 신속하게 식별하고, 이동객체 메타추출부(420)는 이들 이동객체의 노출 속성인 메타 정보를 추출한다.
그 식별된 이동객체 및 관련 메타 정보는 CCTV 관제 화면에 CCTV 촬영 영상과 함께 표시되는데, 원본 영상의 고화질 모니터링 화면에 표시될 수도 있고 매트릭스 형태로 표시되는 저화질 화면에 표시될 수도 있다. 원본 영상에 대응하는 고화질 모니터링 화면에 표시할 때에는 리사이징 비율로 역 매핑하여 상대 좌표를 변환 생성하는 과정이 필요함은 전술한 바와 같다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체는 컴퓨터가 읽을 수 있는 데이터를 저장하는 모든 종류의 장치를 포함하는데 예컨대 ROM, RAM, CD-ROM, NAS, 자기테이프, 하드디스크, 웹디스크 등이 있고 네트워크로 연결된 스토리지에 코드가 분산 저장되고 실행될 수도 있다.

Claims (7)

  1. CCTV 저장영상에 대해 재구조화 영상 처리를 수행하여 상기 CCTV 저장영상에 포함되어 있는 이동객체를 검출하는 방법으로서,
    CCTV 저장영상의 N개의 분할영상을 획득하는 제 1 단계;
    상기 분할영상의 각각을 축소 리사이징하여 N개의 축소분할 영상을 획득하는 제 2 단계;
    상기 N개의 축소분할 영상을 단일 프레임으로 병합하여 축소병합 영상을 획득하는 제 3 단계;
    상기 축소병합 영상에 대해 영상 분석을 수행하여 상기 축소병합 영상에 포함된 이동객체를 식별하는 제 4 단계;
    를 포함하여 구성되는 재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법.
  2. 청구항 1에 있어서,
    상기 제 1 단계는,
    CCTV 저장영상의 미리 설정된 시간 분량의 원본 영상을 획득하는 단계;
    상기 원본 영상을 분할하여 상기 N개의 분할영상을 획득하는 단계;
    를 포함하여 구성되는 것을 특징으로 하는 재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법.
  3. 청구항 1에 있어서,
    상기 제 4 단계 이후에 수행되는,
    상기 축소병합 영상에서 상기 이동객체의 노출 속성에 관련된 메타 정보를 수집하는 제 5 단계;
    상기 메타 정보에 기초하여 상기 이동객체가 식별된 상기 원본 영상의 프레임(이하, '이동식별 원본 프레임'이라 함)을 식별하는 제 6 단계;
    상기 축소병합 영상에서 상기 이동객체의 식별 위치를 리사이징 비율로 역 매핑하여 상기 이동식별 원본 프레임에서 상기 이동객체의 노출 영역(이하, '이동객체 영역'이라 함)을 식별하는 제 7 단계;
    상기 이동식별 원본 프레임에서 상기 이동객체 영역을 잘라내어 상기 이동객체의 스냅샷을 획득하는 제 8 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법.
  4. 청구항 3에 있어서,
    상기 메타 정보는 상기 이동객체에 대한 크기와 위치, 생성지점과 소멸지점, 이동 속력, 이동 거리, 이동 경로, 체류시간 중 하나 이상을 포함하여 구성되는 것을 특징으로 하는 재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법.
  5. 청구항 3에 있어서,
    상기 제 5 단계와 상기 제7 단계 사이에 수행되는,
    상기 수집된 메타 정보를 미리 설정한 임계조건과 비교하여 상기 식별된 이동객체를 유의미한 이동객체와 무의미한 이동객체로 구분함으로써 상기 식별된 이동객체를 필터링하는 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법.
  6. 청구항 5에 있어서,
    상기 제 7 단계 이후에 수행되는,
    상기 이동객체의 스냅샷을 관제 요원에게 상기 원본 영상과는 시각적으로 구분되도록 제공하는 제 9 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법.
  7. 컴퓨터에 청구항 1 내지 6 중 어느 하나의 항에 따른 재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 비휘발성 기록매체.
PCT/KR2017/007620 2016-08-11 2017-07-15 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법 WO2018030658A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0102090 2016-08-11
KR1020160102090A KR101821989B1 (ko) 2016-08-11 2016-08-11 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법

Publications (1)

Publication Number Publication Date
WO2018030658A1 true WO2018030658A1 (ko) 2018-02-15

Family

ID=61093997

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/007620 WO2018030658A1 (ko) 2016-08-11 2017-07-15 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법

Country Status (3)

Country Link
US (1) US10303952B2 (ko)
KR (1) KR101821989B1 (ko)
WO (1) WO2018030658A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7028687B2 (ja) 2018-03-23 2022-03-02 株式会社日立国際電気 放送システム
US11665312B1 (en) * 2018-12-27 2023-05-30 Snap Inc. Video reformatting recommendation
US10887542B1 (en) 2018-12-27 2021-01-05 Snap Inc. Video reformatting system
US10999534B2 (en) * 2019-03-29 2021-05-04 Cisco Technology, Inc. Optimized video review using motion recap images
CN111738053B (zh) * 2020-04-15 2022-04-01 上海摩象网络科技有限公司 一种跟踪对象确定方法、设备和手持相机
KR20230130294A (ko) 2022-03-03 2023-09-12 서울특별시 서초구 마커 인식 기반 객체 모니터링 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050080430A (ko) * 2004-02-09 2005-08-12 주식회사 네빌소프트 동영상 압축 처리방법 및 이를 수행하도록 이루어진 장치
KR20060131796A (ko) * 2003-12-04 2006-12-20 닛본 덴끼 가부시끼가이샤 동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법및 장치
KR100883632B1 (ko) * 2008-08-13 2009-02-12 주식회사 일리시스 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
KR20110043279A (ko) * 2009-10-21 2011-04-27 한양대학교 산학협력단 관심 객체 추출 장치 및 방법
KR20110068784A (ko) * 2010-05-06 2011-06-22 (주) 정훈데이타 영상 송신 장치, 영상 수신 장치, 이를 포함하는 영상 전송 시스템과 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7890556B2 (en) * 2007-04-04 2011-02-15 Sony Corporation Content recording apparatus, content playback apparatus, content playback system, image capturing apparatus, processing method for the content recording apparatus, the content playback apparatus, the content playback system, and the image capturing apparatus, and program
US9659313B2 (en) * 2010-09-27 2017-05-23 Unisys Corporation Systems and methods for managing interactive features associated with multimedia content
WO2016004330A1 (en) * 2014-07-03 2016-01-07 Oim Squared Inc. Interactive content generation
KR101612483B1 (ko) 2015-02-17 2016-04-15 이노뎁 주식회사 실시간으로 카메라 영상을 분석하는 저장/분배 서버, 이를 포함하는 통합 관제 시스템 및 그 동작방법
CN105681751A (zh) * 2016-01-15 2016-06-15 上海小蚁科技有限公司 用于呈现视频的预览的方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060131796A (ko) * 2003-12-04 2006-12-20 닛본 덴끼 가부시끼가이샤 동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법및 장치
KR20050080430A (ko) * 2004-02-09 2005-08-12 주식회사 네빌소프트 동영상 압축 처리방법 및 이를 수행하도록 이루어진 장치
KR100883632B1 (ko) * 2008-08-13 2009-02-12 주식회사 일리시스 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
KR20110043279A (ko) * 2009-10-21 2011-04-27 한양대학교 산학협력단 관심 객체 추출 장치 및 방법
KR20110068784A (ko) * 2010-05-06 2011-06-22 (주) 정훈데이타 영상 송신 장치, 영상 수신 장치, 이를 포함하는 영상 전송 시스템과 그 방법

Also Published As

Publication number Publication date
KR101821989B1 (ko) 2018-01-25
US20180046866A1 (en) 2018-02-15
US10303952B2 (en) 2019-05-28

Similar Documents

Publication Publication Date Title
WO2018030658A1 (ko) 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법
US9208226B2 (en) Apparatus and method for generating evidence video
US11210504B2 (en) Emotion detection enabled video redaction
CN110008797B (zh) 一种多摄像机多人脸视频接续采集方法
US9934453B2 (en) Multi-source multi-modal activity recognition in aerial video surveillance
KR100896949B1 (ko) 객체식별이 가능한 영상처리 감시시스템 및 감시방법
US8566314B2 (en) System and related techniques for detecting and classifying features within data
EP3043555B1 (en) Image storage method and device thereof
JP2022518459A (ja) 情報処理方法および装置、記憶媒体
CN106295489B (zh) 信息处理方法、信息处理装置和视频监控系统
CN106803936B (zh) 基于内存编码机制的视频抓拍方法及装置
US20220301317A1 (en) Method and device for constructing object motion trajectory, and computer storage medium
KR20110132884A (ko) 다중 동영상 색인 및 검색이 가능한 지능형 영상 정보 검색 장치 및 방법
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
KR101413620B1 (ko) 영상 분석을 통한 영상 텍스트화 장치
CN113934889A (zh) 一种基于时空轨迹的根据同行者追踪可疑人员的方法及系统
KR20090035798A (ko) 차량 번호판의 영상 저장 시스템 및 그 방법
CN110457998B (zh) 影像数据关联方法和设备、数据处理设备及介质
CN110443134B (zh) 一种基于视频流的人脸识别跟踪的系统及工作方法
CN116866664A (zh) 一种基于时间分段的监控视频存储方法
US9275140B2 (en) Method of optimizing the search for a scene on the basis of a stream of images archived in a video database
WO2019124634A1 (ko) 압축영상에 대한 신택스 기반의 객체 추적 방법
KR20230012171A (ko) 딥러닝 기반의 tod 객체 탐지 후 식별 시스템 및 방법
CN109886236A (zh) 一种基于海量人群行为的视频分析方法
TW201220211A (en) designed to completely replace analog monitoring image systems with a resolution lower than VGA

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17839676

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17839676

Country of ref document: EP

Kind code of ref document: A1