WO2023210839A1 - 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치 - Google Patents

다중 카메라 및 이동 카메라를 이용한 영상 분석 장치 Download PDF

Info

Publication number
WO2023210839A1
WO2023210839A1 PCT/KR2022/006096 KR2022006096W WO2023210839A1 WO 2023210839 A1 WO2023210839 A1 WO 2023210839A1 KR 2022006096 W KR2022006096 W KR 2022006096W WO 2023210839 A1 WO2023210839 A1 WO 2023210839A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
moving
cameras
event
Prior art date
Application number
PCT/KR2022/006096
Other languages
English (en)
French (fr)
Inventor
고현준
Original Assignee
주식회사 넥스트케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스트케이 filed Critical 주식회사 넥스트케이
Publication of WO2023210839A1 publication Critical patent/WO2023210839A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Definitions

  • the present invention relates to technology for analyzing images taken with multiple cameras and mobile cameras.
  • the present invention was developed through the 'AI Technology Verification Testbed Linkage Demonstration Support Project: AI Image Analysis' conducted from October 1, 2021 to April 30, 2022 with the support of the Ministry of Science and ICT (Project Management Agency: Gyeonggi province Economic and Science Promotion Agency). It is the result of the ‘Life Safety Hybrid Solution that combines robots and robots’ (project number X2121007).
  • Surveillance cameras are installed for the purpose of monitoring a certain area. If the area to be monitored is larger than what a surveillance camera can cover, a rotatable PTZ camera can be installed. Because rotation, tilt, and zoom are possible, the surveillance area that a PTZ camera can capture is wider than the surveillance area that a fixed camera fixed to face a specific direction can capture. However, PTZ cameras are relatively expensive compared to fixed cameras. Meanwhile, because the PTZ camera rotates, the area around the area that the PTZ camera is currently shooting is not captured. For this reason, a single CCTV camera consisting of a fixed camera and a PTZ camera is preferred.
  • an image analysis device using multiple cameras and a moving camera includes a video data processing module that preprocesses multi-camera images generated by shooting an extended surveillance area by multiple cameras and moving camera images created by shooting objects by a moving camera, and analyzes objects expressed in the multi-camera images. Detecting and tracking a possible first object, and controlling the moving camera to generate the moving camera image by photographing the second object when detecting a second object to be continuously tracked among the objects displayed in the multi-camera image, An image analysis module that detects and tracks an analyzable third object corresponding to a second object in the moving camera image, and detects an event matching an event condition in any or both of the multi-camera image and the moving camera image. It can be included.
  • the multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras, and the extended surveillance area may be composed of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras.
  • the image analysis module detects the first object and the second object in the multi-camera image, an object detector that identifies the third object in the moving camera image, and an object detector that identifies the third object in the multi-camera image.
  • An object tracking unit that tracks the movement of an object and tracks the movement of the third object in the moving camera image, an event detection unit that detects the event by analyzing the movement of the first object and the movement of the third object, and It may include a movement control unit that calculates the location of the second object and controls the mobile camera to move toward the calculated location and photograph the third object.
  • the event detection unit includes a deep learning event detection unit that detects events by analyzing the multi-camera images and the moving camera images in a deep learning method, and a deep learning event detector that analyzes the multi-camera images and the moving camera images in a rule-based method. It may include a rule-based event detection unit that detects events.
  • the mobile camera is mounted on one of a flying drone and a robot, and the movement control unit can set a path for the mobile camera to move toward the third object.
  • the movement control unit may set the path of the moving camera to photograph a blind area defined by one or both of the multiple cameras and the view obstruction.
  • the image data processing module may combine a plurality of fixed camera images generated by the plurality of fixed cameras by image stitching and convert them into the multi-camera image.
  • the multi-camera image is a plurality of fixed camera images generated by the plurality of fixed cameras, and the plurality of fixed camera images include the object identification unit that learned the spatial relationship between the plurality of individual surveillance areas, and It can be treated as a single image by the object tracking unit.
  • an image analysis device using multiple cameras and a moving camera preprocesses multi-camera images generated by multiple cameras shooting an extended surveillance area and moving camera images received from a moving camera moving along a set path to capture blind areas not included in the extended surveillance area. Detecting and tracking a first object that can be analyzed in the image data processing module and the multi-camera image, detecting and tracking a second object that can be analyzed in the moving camera image, and detecting and tracking the movement of the first object and the second object. It may include a video analysis module that detects an event that meets event conditions by analyzing any or all of the movements.
  • the multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras, and the extended surveillance area may be composed of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras.
  • the image analysis module includes an object detector that detects the first object in the multi-camera image and the second object in the moving camera image, and tracks the movement of the first object in the multi-camera image, An object tracking unit that tracks the movement of the second object in the moving camera image, a movement control unit that controls the moving camera to move along the path, and an object tracking unit that analyzes the movement of the first object and the movement of the second object It may include an event detection unit that detects an event.
  • the object detection unit detects a third object corresponding to the first object in the moving camera image, and the object tracking unit detects the third object in the moving camera image.
  • a third object can be tracked.
  • a video analysis system using multiple cameras and moving cameras generates first metadata by analyzing multi-camera video received from multiple cameras installed in the surveillance space, and is mounted on the first intelligent edge device and means of transportation that calculates the path to the location of the event when an event is detected. It moves along the set path from the current location to the event occurrence location, and may include a second intelligent edge device that analyzes the moving camera image and generates second metadata.
  • the multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras, and the extended surveillance area may be composed of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras.
  • the video analysis system may further include an edge-based video analysis device that receives and analyzes the first metadata and the second metadata.
  • Figure 1 is a diagram illustrating an example of a surveillance area by a type of known CCTV camera.
  • Figure 2 is a diagram illustrating a multiple camera according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of a multi-camera and expanded surveillance area composed of a plurality of fixed cameras with different viewing angles.
  • Figure 4 is a diagram illustrating image analysis using multiple cameras and moving cameras.
  • Figure 5 is a configuration diagram for functionally explaining an embodiment of an image analysis device using multiple cameras and moving cameras.
  • Figure 6 is a flowchart illustrating an example of image analysis using multiple cameras and moving cameras.
  • Figure 7 is a flowchart illustrating another embodiment of image analysis using multiple cameras and moving cameras.
  • Figure 8 is a diagram for exemplarily explaining the process of defining a blind area inside a multi-story building.
  • Figure 9 is a diagram illustrating a process for detecting and responding to a fire using multiple cameras and moving cameras.
  • Figure 10 is a diagram illustrating fire response using a moving camera when a fire occurs inside a multi-story building.
  • Figure 11 is a diagram illustrating an exemplary fire detection method applying advanced fire false detection conditions.
  • Figure 12 is a configuration diagram for functionally explaining an embodiment of a video analysis system using multiple cameras and moving cameras.
  • FIG. 13 is a flowchart illustrating an example of image analysis performed by the image analysis system illustrated in FIG. 12 .
  • FIG. 1 is a diagram illustrating a surveillance area by a known type of CCTV camera
  • FIG. 2 is a diagram illustrating a multiple camera according to an embodiment of the present invention, showing an expanded surveillance area by multiple cameras. represents.
  • a CCTV camera captures a specific area (hereinafter referred to as a surveillance area) for safety or security purposes and outputs surveillance images.
  • a commonly used CCTV camera consists of one fixed camera (10a) and one PTZ (pan tilt zoom) camera (10b).
  • the surveillance area 11a photographed by the fixed camera 10a is fixed and does not change. Therefore, if the detected object leaves the surveillance area 11a, tracking the object is no longer possible.
  • the PTZ camera 10b has pan, tilt, and zoom functions, so the surveillance areas 11b and 11b' captured by the PTZ camera 10b can be changed. That is, the PTZ camera 10b can capture objects that have left the surveillance area 11a.
  • One type of CCTV camera has the advantage of being able to cover a relatively wide surveillance area using two cameras.
  • the price of the PTZ camera 10b is relatively higher than that of the fixed camera 10a. Therefore, installing the required number of PTZ cameras 10b requires significant costs.
  • one CCTV camera can cover a relatively large surveillance area, it cannot cover the entire surveillance area at the same time.
  • the surveillance area 11b of the PTZ camera 10b is located to the left of the surveillance area 11a, the surveillance area 11b' cannot be monitored.
  • the PTZ camera 10b rotates counterclockwise to photograph the surveillance area 11b', the surveillance area 11b cannot be monitored.
  • the multiple camera 20 is composed of a plurality of fixed cameras 20a, 20b, and 20c.
  • the areas that the fixed cameras 20a, 20b, and 20c can capture are defined as individual surveillance areas 21a, 21b, and 21c.
  • the relationship between the individual surveillance areas 21a, 21b, and 21c can also be defined by the angle between the optical axes of the fixed cameras 20a, 20b, and 20c with the same specifications (hereinafter referred to as the camera angle).
  • the second individual surveillance area 21b of the second fixed camera 20b may be substantially the same as the first individual surveillance area 21a of the first fixed camera 20a rotated by the camera angle.
  • the same relationship can also be established between the second individual monitoring area 21b and the third individual monitoring area 21c.
  • the extended surveillance area 21 is composed of individual surveillance areas of a plurality of fixed cameras 20a, 20b, and 20c rotated by the camera angle.
  • the area where multiple cameras 20 can capture is defined as the extended surveillance area 21.
  • a plurality of individual surveillance areas 21a, 21b, and 21c constituting one extended surveillance area 21 may partially overlap or be spaced apart from neighboring individual surveillance areas. The overlapping area or separation distance can be adjusted by the camera angle.
  • the multi-camera 20 generates multi-camera images.
  • a multi-camera image is a set of multiple fixed camera images, and one fixed camera image corresponds to one individual surveillance area.
  • multiple fixed camera images that make up a multi-camera image reflect the spatial relationship between individual surveillance areas.
  • the multi-camera video may be a single video that covers the entire extended surveillance area.
  • the multi-camera image may be, for example, a single image (hereinafter referred to as a "stitched single image") obtained by combining a plurality of fixed camera images by applying image stitching.
  • the spatial relationship between individual surveillance areas can also be referenced.
  • the description will focus on the case where the multi-camera image is a set of multiple fixed camera images.
  • Spatial relationships can be learned by intelligent edge devices, such as object detection and object tracking.
  • the learned intelligent edge device can treat not only a single stitched image but also multiple fixed camera images with spatial relationships as a single image. Because of this, the amount of computation required to find the same object in two or more separate surveillance areas can be greatly reduced.
  • the spatial relationship can be basically determined by the camera angle, for example, the shape/area/position of the overlapping area between individual surveillance areas, the shape/area/location of the blind area between individual surveillance areas, or the separation distance between the boundaries of individual surveillance areas. It may be, etc.
  • FIG. 3 is a diagram illustrating an example of a multi-camera and expanded surveillance area composed of a plurality of fixed cameras with different viewing angles.
  • FIG. 3 an expanded surveillance area when a multi-camera configuration is made up of a plurality of fixed cameras with different viewing angles is illustrated.
  • the angle of view of a fixed camera is determined by the lens.
  • the widely used fixed camera (20d) with a 4.0 mm fixed focus lens has a field of view of approximately 70 degrees left and right and approximately 50 degrees up and down, and has an effective surveillance area (22d) that can capture clearly identifiable objects up to approximately 10M forward. ), but only the existence of objects at a distance beyond that can be confirmed. Therefore, in order to clearly photograph objects located at a greater distance, a lens with a longer focal length must be used, in which case the angle of view of the fixed camera is greatly reduced.
  • the fixed camera 20e with an 8.0 mm fixed focus lens has an effective surveillance area 22e that can reliably photograph an object located at about 10M to 20M, but the angle of view is about 40 degrees or less. That is, in the case of the fixed camera 20e, the area up to about 10M may be an invalid area 23e in which object identification is not easy.
  • the extended surveillance area and individual surveillance area referred to in this specification are effective surveillance areas that can clearly detect and track objects through video analysis. Therefore, the individual surveillance area may be relatively smaller than the maximum range that a fixed camera can capture.
  • the extended surveillance area 25 illustrated in FIG. 3 can be formed by radially disposing individual surveillance areas, more precisely, effective surveillance areas 22d and 22e. there is. Because of this, it becomes possible to detect objects located at a long distance that could not be detected by a multi-camera consisting of only the fixed camera 20d. In the same context, detection of objects located at a close distance that could not be detected by a multi-camera consisting of only the fixed camera 20e may also be possible. Meanwhile, the overlapping area 22d' can occur even when individual surveillance areas are arranged radially, and can be treated as a spatial relationship between individual surveillance areas.
  • multiple cameras can minimize blind areas.
  • the area outside the field of view of the rotating PTZ camera may temporarily become a blind area.
  • multiple cameras capture all of the multiple individual surveillance areas simultaneously, so temporary blind areas do not occur. Therefore, multiple cameras can capture the same or wider area at a relatively lower cost than a single CCTV camera without creating temporary blind areas.
  • Figure 4 is a diagram illustrating image analysis using multiple cameras and moving cameras.
  • Image analysis using multiple cameras and moving cameras detects object-related events (hereinafter referred to as continuous tracking) by photographing objects detected in multi-camera images with a moving camera, or detects objects located in blind areas that cannot be captured by multiple cameras.
  • This is a method of detecting (hereinafter referred to as extended tracking).
  • Continuous tracking is a method of moving a flying drone or robot equipped with a moving camera toward an object to capture the same object detected in multiple camera images.
  • Extended tracking is a method of virtually eliminating blind areas from the surveillance space by capturing the blind areas of multiple cameras as the moving camera moves along a path. Continuous tracking and extended tracking can be performed independently, but if necessary, the mobile camera being extended tracking can also perform continuous tracking.
  • the mobile camera may be mounted on various means of movement in addition to flying drones and robots. Since the flying drone or robot is a means of moving the mobile camera to a designated location, the means of moving the mobile camera will be mentioned hereinafter unless necessary. I never do that.
  • the surveillance space 30 is monitored by one multiple camera 20 consisting of four fixed cameras 20a, 20b, 20c, and 20d and two moving cameras R1 and R2.
  • the blind area 31a is a blind area caused by the multiple cameras 20, and the blind areas 31b and 31c are blind areas caused by obstructions to the view.
  • a plurality of fixed cameras 20a, 20b, 20c, and 20d constituting the multi-camera 20 output multi-camera images 33 for detecting the same object and event in the plurality of extended surveillance areas 21.
  • the multi-camera image 33 may be either a single stitched image or a plurality of fixed camera images. If the settings for each fixed camera are different, the amount of computation required to detect objects and events increases, which may reduce video analysis efficiency. To prevent this, when arbitrary object or event detection is set, the camera settings required for the set event detection are applied to all of the plurality of fixed cameras 20a, 20b, 20c, and 20d that make up the multiple camera 20 by linking. You can. This eliminates the need to change camera settings individually for each fixed camera.
  • a plurality of fixed cameras (20a, 20b, 20c, 20d) constituting the multiple camera 20 have individual surveillance areas (21a, 21b, 21c, 21d). If the specifications of the plurality of fixed cameras (20a, 20b, 20c, 20d) constituting the multiple camera 20 are substantially the same, the plurality of individual surveillance areas (21a, 21b, 21c, 21d) will also be formed substantially the same. You can. When the plurality of fixed cameras (20a, 20b, 20c, 20d) rotate by the camera angle, the individual surveillance areas (21a, 21b, 21c, 21d) also rotate by the camera angle. Considering the spatial relationship between the individual surveillance areas (21a, 21b, 21c, and 21d), the multi-camera image 33 composed of multiple fixed camera images is also treated as a single horizontally expanded image representing the entire extended surveillance area 21. It can be.
  • the shape of the blind area (not shown) located between individual surveillance areas does not change. Therefore, considering the characteristics of the object to be detected, if the width of the blind area (i.e., the distance between two individual surveillance areas) is not excessively large, the object can be continuously tracked even if it temporarily enters the blind area.
  • the mobile camera R1 that is continuously tracking captures human objects and generates a first mobile camera image 34.
  • Human object ID#105 newly entered the extended surveillance area (21), and the multiple cameras (20) were unable to capture the face of human object ID#105.
  • the moving camera R1 moving along a path that intersects the expected moving direction of the human object ID#105 may be selected.
  • the mobile camera R1 may move toward human object ID#105 and generate the second image 34. After photographing the face of human object ID#105, the mobile camera R1 can return to its original path.
  • the mobile camera R2 which is being extended and tracked along the path 32, captures the blind area 31a and generates a second mobile camera image 35.
  • Human object ID#106 is located in the blind area (31a), and therefore was not included in the multi-camera image (33).
  • Figure 5 is a configuration diagram for functionally explaining an embodiment of an image analysis device using multiple cameras and moving cameras.
  • the intelligent edge device 100 is installed at a site where multiple cameras 20 and mobile cameras 25 are installed, and displays multi-camera images generated by the multiple cameras 20 and moving camera images generated by the mobile cameras 25.
  • Metadata can be generated by analyzing the primary image. Metadata may include information about any one of objects and object-related events detected in multi-camera images and moving camera images.
  • the intelligent edge device 100 learns to suit the location and field situation where the multiple cameras 20 are installed to identify blind areas, sets the path for the moving camera 25 to remove or minimize the blind areas, and thereby eliminates or minimizes the blind areas. Camera images and moving camera images can be analyzed. In particular, by learning the spatial relationship between the plurality of fixed camera images that make up the multi-camera image, the intelligent edge device 100 can treat the multi-camera image as a single image that captures the extended surveillance area.
  • the intelligent edge device 100 may be trained to detect events set for various types of objects.
  • the generated metadata can be subjected to secondary video analysis by the edge-based video analysis device 200.
  • Primary video analysis may include analysis that detects learned events in multi-camera video and/or moving camera video.
  • Secondary video analysis may include analysis to detect events that the intelligent edge device 100 has not learned, or to detect events by considering the relationship between multi-camera images and moving camera images.
  • the intelligent edge device 100 that analyzes images received from the multiple cameras 20 and the mobile camera 25 includes an image data processing module 110, an image analysis module 120, and a metadata transmission module. It may include (130).
  • the image data processing module 110 receives images from one or more multiple cameras 20 and one or more mobile cameras 25, and preprocesses the received images to be suitable for image analysis.
  • the image analysis module 120 detects an object in a preprocessed image, tracks the movement of the object, and detects an event by analyzing the behavior of the object being tracked.
  • the image data processing module 110 and the image analysis module 120 may be software in the form of a module.
  • the intelligent edge device 100 includes physical components such as one or more central processing units (eg, CPU, GPU, etc.), semiconductor memory, and communication modem chips.
  • the image data processing module 110, the image analysis module 120, and the sub-modules included in each module functionally express the operations executed by the CPU of the program loaded in the memory.
  • the multi-camera 20 generates two-dimensional or three-dimensional multi-camera images.
  • the mobile camera 25 may be an IP camera that generates two-dimensional or three-dimensional moving camera images.
  • the mobile camera 25 is mounted on and moves on a moving means such as a flying drone or robot. Therefore, the shooting range of the mobile camera 25 can be changed through a moving means.
  • the video data processing module 110 may include an RTSP client, a decoder, and a video preprocessor.
  • the RTSP client is a communication modem that supports a video transmission protocol, for example, RTSP (Real time streaming protocol), and receives video data from the multiple cameras 20 and the mobile camera 25.
  • the decoder decodes the received video data and restores the video.
  • the image preprocessing unit changes the resolution and size of the restored extended image and individual images, or converts the color image into a black and white image, to suit image analysis. Additionally or alternatively, the image preprocessor may convert multiple fixed camera images into a single stitched image.
  • the decoder and image preprocessor may be modules executed by CPU or GPU.
  • the image analysis module 120 may include an object detection unit 121, an object tracking unit 122, a movement control unit 123, and an event detection unit 124. It should be understood that object detection, object identification, and object tracking can also be performed as a series of inseparable processes. In order to apply two or more image analysis methods to the intelligent edge device 100, detection and tracking of objects can be performed independently. Through this, redundant or unnecessary calculations are reduced, and two or more image analysis methods can be performed in parallel or adaptively.
  • the object detection unit 121 detects one or more objects from the pre-processed multi-camera image and the pre-processed moving camera image, and may classify the detected objects by type.
  • the object detection unit 121 may be an object detection module learned using object images, or an object detection module using a template representing an object.
  • the object detector 121 may apply a 3D geometric filter to determine 3D coordinate values that can represent the detected object. Using the determined 3D coordinate values, the detected object can be displayed in the image as a 3D figure or used for object tracking. Additionally, the object detector 121 may apply an environmental filter to remove noise from the image.
  • a method of treating the extended surveillance area as a single area captured by a single camera may be applied.
  • a multi-camera image is a set of multiple fixed camera images
  • the same object must be identified and tracked in the multiple fixed camera images in order to treat the extended surveillance area as a single area.
  • known object tracking methods for example, a tracking method by predicting the movement of the object, a tracking method by comparing object properties, etc. can be applied.
  • an object begins to deviate from one of the continuous individual surveillance areas, the object can be identified and tracked using the spatial relationship between a plurality of individual surveillance areas constituting one extended surveillance area. Through this, it is possible to quickly determine whether the objects displayed in two consecutive camera images are identical.
  • the object tracking unit 122 tracks the movement of the detected object.
  • the object tracking unit 122 may track the object by predicting the movement of the object or track the object by comparing the properties of the object.
  • the object tracking method predicts the movement or detects the properties of the object detected in the first image (or frame) and compares it with the object detected in the second image (or frame) to determine whether the two objects are the same object.
  • Various object tracking methods can be applied, such as tracking the movement of an object by comparing the units of macro blocks that make up the image or detecting and tracking the movement of the object by removing the background from the image so that only the object remains in the image.
  • the object tracking unit 122 can detect the same object in multi-camera images and moving camera images. In a space monitored by one or more multi-camera images (20) and one or more moving cameras (25), the same object is present in some of the plurality of fixed camera images constituting the multi-camera image, or in both the multi-camera image and the moving camera image simultaneously. can be expressed. In one embodiment, the object detection unit 122 may detect the same object displayed in two or more fixed camera images by referring to the spatial relationship between individual surveillance areas. In another embodiment, the object detection unit 122 extracts the properties of the detected object through deep learning analysis, and compares the properties of the extracted objects to determine whether the object expressed in each of the two images is the same object. there is.
  • the probability that the two objects match each other (hereinafter referred to as similarity) may be expressed, or the object identifier assigned as a result of analysis of the first image may be re-assigned to the object detected in the second image.
  • the object tracking unit 122 may use appropriate attributes to identify the object, depending on the type of object.
  • the object tracker 122 may re-recognize the human object using, for example, visual characteristics, facial characteristics, gait characteristics, etc. As visual characteristics, the height of the human object, the type or color of the clothes worn, etc. can be used.
  • the object can be re-recognized using the vehicle type, color, vehicle number, etc.
  • the movement control unit 123 determines the path along which the mobile camera 25 moves.
  • the mobile camera 25 can move along a preset path or move by avoiding obstacles.
  • the path of the moving camera 25 may be changed when detecting an object to be continuously tracked in a multi-camera image.
  • Objects to be continuously tracked include objects that have not acquired properties for image analysis, objects that behave abnormally, objects that have entered a blind area and can no longer be tracked, or objects that have moved away from the multiple cameras 20 and can no longer be identified. It can be.
  • the movement control unit 123 may calculate the position of the object to be continuously tracked and the position of the moving camera 25 and change the path of the moving camera 25 to face the object to be continuously tracked.
  • the video analysis module 120 may include an event detector 124 that detects an event that meets event conditions.
  • the event detector 124 detects an event that meets the event conditions based on any one or a combination of the detected object, the movement of the object, and the surrounding environment of the object.
  • the event detection unit 124 may be driven by two or more different image analysis methods. For example, the deep learning-based event detection unit extracts the properties of the detected object and determines whether it meets the event conditions set based on the properties, and the rule-based event detection unit meets the event conditions based on the movement of the object in the area of interest. Detects events that occur. Meanwhile, an object that meets the first event condition through deep learning analysis may be transferred to rule-based analysis to determine whether it meets the second event condition.
  • the meta data transmission module 130 transmits the meta data generated by the video analysis module 120 to the edge-based video analysis device 200 through the communication network 40. Additionally, the meta data transmission module 130 may transmit measurement data generated by an environmental sensor (see 50 in FIG. 8) or meta data about the measurement data to the edge-based image analysis device 200.
  • the communication network 40 may be a wired, wireless, or mixed wired/wireless data communication network capable of transmitting metadata.
  • a wired communication network may be a dedicated line or cable network that supports communication protocols for packet-type digital data transmission, and a wireless communication network may include CDMA, WCDMA, GSM, EPC, LTE, and WiBro, as well as wireless networks such as Bluetooth and ZigBee in addition to Wi-Fi. It may be a communication system that transmits data using signals.
  • the edge-based image analysis device 200 updates the event detection module of the intelligent edge device 100 based on the secondary analysis results to detect new events or adapt to a changed environment. Meanwhile, if primary analysis is difficult, the intelligent edge device 100 may transmit metadata about the detected object to the edge-based image analysis device 200 and request analysis.
  • Figure 6 is a flowchart illustrating an example of image analysis using multiple cameras and moving cameras.
  • one or more multiple cameras 20 capture a surveillance space to generate multi-camera images, and the multiple camera images are analyzed by the image analysis module 120.
  • the object detection unit 121 of the image analysis module 120 detects one or more objects displayed in the multi-camera image, and the object tracking unit 122 tracks the movement of the detected objects.
  • an object to be continuously tracked is detected and the position of the object is calculated.
  • the object to be continuously tracked may be determined by any one of the object detection unit 121, the object tracking unit 122, and the event detection unit 124.
  • An example of an object to be continuously tracked may be an object that has not acquired properties for image analysis, for example, a multi-camera image of the front face required for identification of a human object, or a plurality of fixed camera images constituting a multi-camera image. If it is not obtained through , it is classified as an object to be continuously tracked.
  • Another example of an object to be continuously tracked may be an object-related event that requires tracking by analyzing multiple camera images, that is, an object for which abnormal behavior has been detected.
  • an object to be continuously tracked is an object that enters a blind area and can no longer be tracked, and may be an object that is no longer detected in multi-camera images.
  • Another example of an object to be continuously tracked may be an object that has moved away from the multiple cameras 20 and can no longer be identified.
  • Event classification explanation Heterogeneous object classification Classifies attribute values of different types of objects detected by cameras and detects integrated events illegal parking Detected when a certain amount of time has passed when the car is parked in a place where it should not be parked.
  • speed and position Displays the vehicle's speed and position when the car is driven based on the point where the camera is installed.
  • Traffic volume and congestion Density and counting detection of cars on the road Illegal U-turns and reverse driving Detect illegal U-turns and reverse driving by detecting the direction of cars on the road Left turn detection When a car waiting for a left turn signal waits for more than a certain period of time, the left turn signal is displayed in conjunction with the signal.
  • the geographic location of an object to be continuously tracked can be calculated in various ways using the location, height, tilt angle, etc. of the multiple cameras 20.
  • the moving destination of the mobile camera 25 may be determined according to the continuous tracking type. In the case of an object entering a blind area, the position can be calculated by determining the point detected just before the object disappears as the moving destination of the mobile camera 25. Except when the object enters the blind area, the object to be continuously tracked is detected in the multi-camera image, and therefore the movement destination of the moving camera 25 is the current location of the object. In S12, the moving camera 25 Calculate the location and set the path to the object to be continuously tracked. The location of the mobile camera 25 can be calculated through various positioning methods.
  • the location of the mobile camera 25 can be calculated using a global positioning system (GPS) or the like.
  • the position of the mobile camera 25 can be calculated using an image matching method, an inertial sensor-based method, a marker-based method, VLC (Visible light communication), etc. If two or more moving cameras 25 are available, the moving camera 25 located in a location with a short travel time to the object to be continuously tracked may be selected.
  • a path to the object to be continuously tracked can be set. The path may be determined by considering the location of surrounding obstacles as well as the type or moving speed of the means of transportation on which the moving camera 25 is mounted. For example, the path of the flying drone is mostly a straight line from the current position of the moving camera 25 to the position of the object to be continuously tracked, and may be determined to take a detour around an obstacle located in the middle of the path.
  • the mobile camera 25 moves along the path, arrives at the destination, and generates a mobile camera image.
  • the image analysis module 200 identifies an object in the moving camera image that is identical to the object to be continuously tracked detected in the multi-camera image.
  • continuous tracking ends after photographing the front face of the human object.
  • continuous tracking of an object that has behaved abnormally can continue even after the object is identified in the moving camera image.
  • FIG. 7 is a flowchart illustrating another embodiment of image analysis using multiple cameras and moving cameras
  • FIG. 8 is a diagram illustrating a process for defining a blind area inside a multi-story building.
  • Each floor is one surveillance area, and the multiple cameras 20 and mobile cameras 25 installed on each floor can communicate with the intelligent edge device 100 by wire or wirelessly.
  • the intelligent edge device 100 can receive measurement data generated by environmental sensors 50 installed on each floor measuring environmental variables.
  • Environmental variables may be, for example, temperature, humidity, illumination, gas concentration, fine dust concentration, etc.
  • the environmental sensor 50 may be, for example, a temperature sensor, a humidity sensor, an illumination sensor, a gas sensor, a dust sensor, a fire sensor, etc. It may be a detection sensor, etc.
  • Fire monitoring sensors can detect heat, smoke, flames, etc.
  • the extended surveillance area 21 of the multiple cameras 20 is provisionally determined for each surveillance space. Factors affecting the extended surveillance area 21, such as location, height, tilt angle, and camera angle, may be different for each multiple camera 20 installed on each floor.
  • the surveillance space map may represent the extended surveillance area 21 and the blind area 31a created by the multiple cameras 20 themselves. For example, assume that the entire first floor is included in the extended surveillance area 21.
  • an obstruction 36 blocking the view of the multiple cameras 20 exists in the extended surveillance area 21.
  • Viewing obstructions 36 may be present temporarily or may be present all the time.
  • the location and shape of the field of view obstruction 36 can be acquired by a mobile camera 25 mounted on a robot or flying drone.
  • a wall is installed on the left side of the stairs on the first floor, while there are no obstructions to the view on the second and third floors.
  • a new blind area 31b caused by the view obstruction 36 is determined.
  • the space beyond the wall 36 located on the left side of the stairs on the first floor is a blind area 31b.
  • blind areas due to visibility obstructions 36 do not occur on the second and third floors.
  • the path of the mobile camera is set to capture one or more blind areas included in the surveillance space map.
  • the path 37 of the mobile camera 25 is determined by taking into account any one or a combination of the type of moving means, moving speed, location and shape of obstacles, and whether the moving camera 25 can be rotated, thereby determining one or more blind areas. It is set up so that you can take pictures. For example, the path of a mobile camera that cannot rotate may be different from the path of a mobile camera that can rotate.
  • the set path 37 is reflected in the surveillance space map.
  • the movement control unit 130 can move the mobile camera 25 along the path 37 by referring to the surveillance space map, and can temporarily change the path of the mobile camera 25 when continuous tracking is necessary.
  • the process of creating a surveillance space map with a set path 37 does not necessarily have to be performed only by the video analysis module 120, and a map without a set route or a map with a set route is created externally and then through the video analysis module ( 120).
  • the moving camera 25 moves along the path 37 and generates a moving camera image.
  • the mobile camera 25 may record metadata indicating the location where the mobile camera image was captured in the mobile camera image or in a file associated with the mobile camera image. Meanwhile, the mobile camera 25 may further record metadata indicating the camera direction in the mobile camera image when capturing the mobile camera image. Additionally, when the means of transportation is a flying drone, the mobile camera 25 may further record metadata indicating the height of the flying drone from the ground in the mobile camera image. Whenever the shooting position, camera direction, and shooting height are changed, they are recorded in the moving camera image, and through this, the location of the object detected in the blind area can be confirmed.
  • an object-related event is detected by analyzing the multi-camera image captured in the extended surveillance area 21 and the moving camera image captured in part of the extended surveillance area 21.
  • the multi-camera image displays objects located within the extended surveillance area 21, and the moving camera image displays objects located in the blind area.
  • Figure 9 is a diagram illustrating the process of detecting and responding to a fire using multiple cameras and moving cameras
  • Figure 10 is an example showing a fire response using a moving camera when a fire occurs inside a multi-story building. It is a drawing.
  • the fire detection sensor 50 generates a fire signal.
  • a fire signal can be caused by an actual fire that is detected as at least one of heat, smoke, and flames (hereinafter referred to as an actual fire signal), but can also be caused by something other than a fire, such as a simple increase in temperature, smoke from cooking food, or dust. (hereinafter referred to as malfunctioning fire signal). Meanwhile, a fire signal may also occur when the fire detection sensor 50 fails. Therefore, at the time a fire signal occurs, it is difficult to determine whether the fire signal is an actual fire signal or a malfunctioning fire signal. In addition, since a plurality of fire detection sensors 50 transmit fire signals to the fire receiver through the same fire repeater or common line, it is possible to identify the area where the fire occurred, but it is not possible to determine where the fire occurred within the area. I can't.
  • the control server 300 receives a fire signal. Upon receiving a fire signal, the control server 300 may display on the control terminal that the fire signal is being received and confirmed.
  • the intelligent edge device 100 can also receive fire signals.
  • the intelligent edge device 100 can directly or indirectly receive measurement data from the multi-camera 20 and the mobile camera 25 as well as the environmental sensor 50 installed in the building. Since the fire detection sensor is also a type of environmental sensor 50, a fire signal can also be transmitted to the intelligent edge device 100.
  • the environmental sensor is referred to as a fire detection sensor.
  • the intelligent edge device 100 can also detect fire through image analysis.
  • the intelligent edge device 100 can detect flames, smoke, etc. through color changes in specific areas in the image, and various detection techniques have been introduced. Therefore, the path through which the intelligent edge device 100 detects fire is not limited to fire signals.
  • the intelligent edge device 100 when the intelligent edge device 100 detects a fire, it identifies the multiple cameras 20 and/or moving cameras 25 deployed in the area where the fire occurred, and displays the multiple camera images and/or moving camera images in S32. Receive. If the area where the fire occurred can be identified from the fire signal, the intelligent edge device 100 can detect the fire event from the multi-camera image generated by the multi-camera 20 installed on the corresponding floor. On the other hand, if the area where the fire occurred cannot be identified, the intelligent edge device 100 can detect a fire event by analyzing images received from all cameras installed in the building where the fire signal occurred.
  • the intelligent edge device 100 moves the mobile camera 25 to the area where the fire occurred.
  • Multiple cameras 25 may photograph the area where the fire occurs.
  • the first floor mobile camera 25 moves to the fire occurrence area and starts filming the fire. Meanwhile, flames or smoke can spread to other floors through stairs, elevator halls, air ducts, etc.
  • the intelligent edge device 100 can monitor the progress of the fire by moving the second and third floor mobile cameras 25 to locations where the fire can affect. If there are multiple locations where a fire can affect, the intelligent edge device 100 sets a path to capture multiple locations, and uses the moving camera image generated by the moving camera 25 moving along the path. The progress of the fire can be monitored.
  • the intelligent edge device 100 controls the mobile camera 25 to scan an area outside the field of view.
  • scanning is an operation of capturing at least part or all of the space that the mobile camera 25 can capture by performing either or both rotation and tilting of the camera.
  • the intelligent edge device 100 first analyzes whether the received fire signal is an actual fire signal or a malfunctioning fire signal. To this end, the intelligent edge device 100 applies advanced fire false detection conditions to multi-camera images and/or moving camera images. The intelligent edge device 100 analyzes images, generates metadata, and stores it. Therefore, the intelligent edge device 100 can detect smoke or flames by applying advanced fire false detection conditions to metadata obtained by analyzing images received a certain time before the fire signal was received. . Depending on the results of the primary analysis, subsequent procedures may vary. The process of applying and analyzing advanced fire false detection conditions to images will be described in detail with reference to FIG. 11.
  • the intelligent edge device 100 can specify the location where the fire occurred.
  • the geographical location of the object displayed in the image can be specified using various methods using the location, height, tilt angle, etc. of the multiple cameras 25.
  • the specified fire occurrence location may be transmitted to the edge-based video analysis device 200 or the control server 300 along with metadata indicating fire detection.
  • the intelligent edge device 100 controls the mobile camera 25 to continuously film the fire, detects the spread speed of the fire, direction of spread, and size of the flame, and reports these to the edge-based video analysis device 200 or the control server. It can be sent to (300).
  • the intelligent edge device 100 may transmit metadata indicating a malfunctioning fire signal to the edge-based video analysis device 200 or the control server 300. .
  • the intelligent edge device 100 transmits the image or snapshot taken in the area where the fire signal occurred to the edge-based video analysis device 200. For example, if a flame or smoke is detected but there is no movement of people nearby, it is difficult to determine whether a fire has occurred but has been extinguished or can be extinguished, or whether a fire has not occurred, such as cooking food. In this case, the intelligent edge device 100 may transmit a video section or snapshot that does not yield video analysis results to the edge-based video analysis device 200.
  • the edge-based video analysis device 200 verifies the primary analysis result of the intelligent edge device 100 or performs secondary analysis to determine the type of fire signal. Upon receiving metadata indicating an actual fire signal and metadata indicating a malfunctioning fire signal, the edge-based video analysis device 200 performs a secondary analysis of the metadata to verify the analysis result by the intelligent edge device 100. . Since the edge-based video analysis device 200 can utilize relatively more computing power and resources than the intelligent edge device 100, analysis is possible by applying more detailed event conditions than the event conditions applied by the intelligent edge device 100. . Additionally, the edge-based video analysis device 200 can analyze events that cannot be detected with a learned event detector using big data.
  • the edge-based video analysis device 200 notifies the control server 300 of the malfunction fire signal.
  • the control server 300 changes the fire signal displayed on the control terminal to a malfunctioning fire detector.
  • the edge-based video analysis device 200 notifies the control server 300 of the actual fire signal.
  • the control server 300 changes the fire signal displayed on the control terminal to a fire occurrence and displays the location where the fire occurred on the control terminal.
  • FIG. 11 is a diagram illustrating an exemplary fire detection method applying advanced fire false detection conditions.
  • the method illustrated in FIG. 9 is a method that detects fire through camera scanning after a fire signal occurs, and the method illustrated in FIG. 11 not only detects malfunction of the fire detector in FIG. 9, but also detects fire even in situations where no fire signal occurs. You can. Therefore, only the method illustrated in Figure 11 can be implemented.
  • S40 is a video taken under normal circumstances where no fire occurred. Advanced fire false detection conditions can enhance the accuracy of fire occurrence judgment through grid-based big data self-learning.
  • the image is divided into m x n grids, and a normal profile can be generated for each grid.
  • a normal profile is a characteristic, rule, or periodic change that is identified only in a normal state, and can be determined through big data self-learning for each grid.
  • a normal profile could be a color that changes over time.
  • Grid-based allows for more accurate fire detection than a normal profile for the entire screen.
  • the example screen is an image of a kitchen. Flames are frequently detected in the gas range on the right for cooking food, while the brightness of other areas changes regularly due to sunlight coming through the window and reflected lights. Therefore, when a normal profile is created for the entire screen, features detected only in part of the screen are averaged, so that changes in any one feature have a minimal effect on the normal profile for the entire screen. On the other hand, if a normal profile is created for each grid, it is possible to distinguish between grids and accurately detect changes in any one grid. For example, through big data self-learning, a grid containing a gas range is classified as a risk area, and flames detected below a certain range can be identified as normal, that is, caused by food cooking.
  • a fire candidate area is detected among a plurality of grids.
  • Fire candidate areas can be detected by applying various known methods.
  • a fire candidate area can be detected using color information. Since flames or smoke are atypical and cannot specify the object type, color information is mainly used for fire detection. In the video, the flame is the brightest, with red and yellow flames present around the flame, and the smoke is white, gray, or black, and has the characteristic of being detected over a fairly wide area.
  • two fire candidate areas were detected. The candidate area on the left is a flame from a fire, and the candidate area on the right is a flame from a gas range.
  • the false detection rate can be further reduced by applying false detection filtering to remove fire candidate areas with similar characteristics. For example, sunsets, red objects, neon signs, red lights, and street lights (hereinafter referred to as false detection fires) can be detected as flames.
  • a false detection filter is an environmental filter that removes areas or objects that should not be analyzed from an image. False detection filtering can be performed by excluding areas with characteristics different from actual fires. As an example, false detection filtering generates a histogram for each fire candidate area, and the generated histogram can be compared and classified with histograms for actual fires or histograms for falsely detected fires to remove falsely detected fires. As another example, if the fire candidate area corresponds to an area that does not require preset analysis, the false detection filter may remove the fire candidate area.
  • the occurrence of an abnormal state can be confirmed by comparing the fire candidate area that passed false detection filtering with the normal profile. Since the normal profile is created while the steady state is maintained, it represents the characteristics of the steady state. For example, by comparing the color information of images collected in real time with the normal profile generated for each grid, an abnormal state can be detected in the corresponding grid.
  • the color information of the illustrated grids G24 and G34 has a normal profile. Meanwhile, a fire that occurred in the area corresponding to grids G24 and G34 in the real-time video causes grids G24 and G34 to have color information different from the normal profile. Therefore, it is an abnormal state, that is, a fire has occurred.
  • fire characteristics such as the speed of fire spread, direction of spread, and size of flames can be continuously tracked. Since images divided into grids can detect abnormal conditions for each grid, fires can be quickly tracked through changes in the status for each grid.
  • the above-described process is a case of using a normal profile after detecting a fire candidate area.
  • the fire candidate area detection process can be omitted, and the occurrence of abnormal conditions can also be detected by comparing real-time images with the normal profile for each grid.
  • Figure 12 is a configuration diagram for functionally explaining an embodiment of a video analysis system using multiple cameras and moving cameras. Descriptions that overlap with those of FIG. 5 will be omitted and differences will be explained.
  • the image analysis system using multiple cameras and moving cameras includes a first intelligent edge device 100 that analyzes images acquired from multiple cameras, acquires images during or after moving, and analyzes the acquired images. It may include a second intelligent edge device 400 that does.
  • the second intelligent edge device 400 is a mobile camera 25 capable of performing image analysis.
  • the first intelligent edge device 100 may include an image data processing module 110, an image analysis module 120, and a metadata transmission module 130.
  • the first intelligent edge device 100 can analyze one or more multi-camera images generated by one or more multi-cameras installed in the surveillance space. Any one of the object detection unit 121, the object tracking unit 122, and the event detection unit 124 that constitute the image analysis module 120 may detect the occurrence of an event. Additionally or alternatively, the first intelligent edge device 100 may receive measurement data from a plurality of environmental sensors 50 installed in the surveillance space. Accordingly, the first intelligent edge device 100 may further include a measurement data processing module 105 that processes measurement data received from the environmental sensor 50 to detect event occurrence.
  • the occurrence of an event detected by the image data processing module 110 and the occurrence of an event detected by the measurement data processing module 105 may occur due to the same cause or may occur due to different causes.
  • the metadata transmission module 130 transmits any one or a combination of multi-camera images, metadata generated by analyzing multi-camera images, measurement data, and metadata generated by analyzing measurement data to the edge through the communication network 40. It can be transmitted to the base video analysis device 200.
  • the second intelligent edge device 400 moves within the surveillance space under the control of the first intelligent edge device 100, generates a moving camera image, and analyzes the generated moving camera image. Metadata generated as a result of video analysis may be transmitted to the edge-based video analysis device 200 through a communication network.
  • the second intelligent edge device 400 includes a camera 405 that generates a moving camera image during or after moving to a specific location indicated by the first intelligent edge device 100, and an image data processing module that preprocesses the moving camera image ( 410), an image analysis module 420 that analyzes pre-processed moving camera images, and a data transmission module 430 that transmits metadata generated as a result of image analysis.
  • the image data processing module 410 and the image data processing module 110 may be substantially the same, and the image analysis module 420 may be substantially the same as the image analysis module 120 except for the movement control unit.
  • the second intelligent edge device 400 may further include an environmental sensor 50.
  • the environmental sensor 50 mounted on the second intelligent edge device 400 can generate measurement data at a specific location.
  • the first intelligent edge device 100 and the second intelligent edge device 400 analyze multi-camera images and moving camera images generated in the surveillance space, respectively, to generate metadata for events of a preset type (hereinafter referred to as primary analysis). ), and the generated metadata can be analyzed (hereinafter referred to as secondary analysis) by the edge-based image analysis device 200.
  • the first intelligent edge device 100 and the second intelligent edge device 400 can learn appropriately for the installed area and field situation and perform image analysis based on the learned learning.
  • video can be transmitted only when requested by the edge-based video analysis device 200, it is not limited by the type, accessibility, bandwidth, etc. of the communication network, and event detection is possible through rapid video analysis.
  • the first intelligent edge device 100 and the second intelligent edge device 400 perform primary analysis to detect an event that satisfies a preset first event condition related to the object, and a first intelligent edge device for the detected event. Create metadata.
  • the first metadata may be used by the edge-based image analysis device 200 to detect an event that meets the second event condition set by the user, or may be used as learning data.
  • the edge-based image analysis device 200 updates the event detection units of the first intelligent edge device 100 and the second intelligent edge device 400 to detect new events or detect new events in a changed environment. Be able to adapt. Meanwhile, when primary analysis is difficult, the first intelligent edge device 100 and the second intelligent edge device 400 transmit metadata about the image and/or detected objects to the edge-based image analysis device 200 You can also request analysis.
  • FIG. 13 is a flowchart illustrating an example of image analysis performed by the image analysis system illustrated in FIG. 12 . Descriptions overlapping with FIG. 6 will be omitted and differences will be explained.
  • one or more multiple cameras 20 capture at least a portion of the surveillance space to generate one or more multiple camera images, and the multiple camera images are analyzed by the first intelligent edge device 100.
  • one or more environmental sensors 50 measure environmental variables within the monitoring space and generate measurement data, and the measurement data can be analyzed by the measurement data processing module 105.
  • the event occurrence location is calculated. If continuous or extended tracking is required or measurement data is outside the normal range, it is determined that an event has occurred. During continuous tracking, the event occurrence location can be calculated using the position, height, tilt angle, etc. of the multiple cameras 20. During extended tracking, the event occurrence location may be the starting location of a predetermined path. Meanwhile, if any measurement data deviates from a normal range calculated from measurement data received in the past, or measurement data is not received at preset time intervals, the installation location of the environmental sensor 50 may be the event occurrence location.
  • the video analysis module 120 calculates the current location of the second intelligent edge device 400 and sets a path to the event occurrence location.
  • the current location of the second intelligent edge device 400 can be calculated outdoors using GPS, etc., and indoors can be calculated using an image matching method, an inertial sensor-based method, a marker-based method, VLC, etc.
  • the set path is transmitted to the second intelligent edge device 400.
  • information for identifying the object to be continuously tracked hereinafter referred to as object identification information may also be transmitted to the second intelligent edge device 400.
  • the meta data transmission module 130 may transmit meta data generated as a result of analysis of multi-camera images to the edge-based video analysis device 200 or a control server (not shown).
  • the second intelligent edge device 400 moves along the path and arrives at the destination.
  • the second intelligent edge device 400 generates a moving camera image from the time it starts moving to the event occurrence location or after arriving at the event occurrence location, and analyzes the generated moving camera image.
  • the image analysis module 420 uses object identification information to identify the same object as the object to be continuously tracked in the moving camera image. Meanwhile, if an event occurs due to measured data and the environmental sensor 50 is mounted on the second intelligent edge device 400, environmental variables can be measured at the location where the event occurred.
  • the meta data transmission module 430 may transmit meta data generated as a result of analysis of the moving camera image to the edge-based video analysis device 200 or a control server (not shown).
  • the edge-based image analysis device 200 analyzes metadata received from the first intelligent edge device 100 and the second intelligent edge device 400.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

다중 카메라 및 이동 카메라를 이용한 영상 분석 장치가 개시된다. 영상 분석 장치는, 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 이동 카메라가 객체를 촬영하여 생성한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈 및 상기 다중 카메라 영상에 표출된 객체 중 분석 가능한 제1 객체를 검출 및 추적하고, 상기 다중 카메라 영상에 표출된 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 이동 카메라 영상을 생성하도록 상기 이동 카메라를 제어하고, 상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 이동 카메라 영상에서 검출 및 추적하며, 이벤트 조건에 부합하는 이벤트를 상기 다중 카메라 영상 및 상기 이동 카메라 영상 중 어느 하나 또는 모두에서 검출하는 영상 분석 모듈을 포함할 수 있다.

Description

다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
본 발명은 다중 카메라 및 이동 카메라로 촬영한 영상을 분석하는 기술에 관한 것이다.
본 발명은 과학기술정보통신부(과제관리기관: 경기도경제과학진흥원)의 지원으로 2021년 10월 1일부터 2022년 4월 30일에 수행된 'AI 기술실증 테스트베드 연계 실증 지원사업: AI 영상분석과 로봇 융복합 생활안전 하이브리드 솔루션'(과제번호 X2121007)의 결과물이다.
감시 카메라는 소정 영역을 감시할 목적으로 설치된다. 감시하려는 영역이 감시 카메라가 커버할 수 있는 범위보다 크면, 회전할 수 있는 PTZ 카메라가 설치될 수 있다. 회전, 틸트 및 줌이 가능하므로, PTZ 카메라가 촬영할 수 있는 감시 영역은 특정 방향을 향하도록 고정된 고정 카메라가 촬영할 수 있는 감시 영역보다 넓다. 하지만 PTZ 카메라는 고정 카메라에 비해 상대적으로 고가이다. 한편, PTZ 카메라는 회전하기 때문에, PTZ 카메라가 현재 촬영하고 있는 영역의 주변은 촬영되지 않는다. 이로 인해, 고정 카메라와 PTZ 카메라로 구성된 CCTV 카메라 1식이 선호되고 있다.
본 발명의 일 측면에 따르면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치가 제공된다. 영상 분석 장치는, 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 이동 카메라가 객체를 촬영하여 생성한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈 및 상기 다중 카메라 영상에 표출된 객체 중 분석 가능한 제1 객체를 검출 및 추적하고, 상기 다중 카메라 영상에 표출된 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 이동 카메라 영상을 생성하도록 상기 이동 카메라를 제어하고, 상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 이동 카메라 영상에서 검출 및 추적하며, 이벤트 조건에 부합하는 이벤트를 상기 다중 카메라 영상 및 상기 이동 카메라 영상 중 어느 하나 또는 모두에서 검출하는 영상 분석 모듈을 포함할 수 있다. 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고, 상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성될 수 있다.
일 실시예로, 상기 영상 분석 모듈은 상기 다중 카메라 영상에서 상기 제1 객체 및 상기 제2 객체를 검출하며, 상기 이동 카메라 영상에서 상기 제3 객체를 식별하는 객체 검출부, 상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제3 객체의 움직임을 추적하는 객체 추적부, 상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부 및 상기 제2 객체의 위치를 산출하고, 산출된 위치를 향해 이동하여 상기 제3 객체를 촬영하도록 상기 이동 카메라를 제어하는 이동 제어부를 포함할 수 있다.
일 실시예로, 상기 이벤트 검출부는 상기 다중 카메라 영상 및 상기 이동 카메라 영상을 딥러닝 방식으로 분석하여 이벤트를 검출하는 딥러닝 이벤트 검출부 및 상기 다중 카메라 영상 및 상기 이동 카메라 영상을 룰 기반 방식으로 분석하여 이벤트를 검출하는 룰 기반 이벤트 검출부를 포함할 수 있다.
일 실시예로, 상기 이동 카메라는 비행 드론 및 로봇 중 어느 하나에 장착되며, 상기 이동 제어부는 상기 이동 카메라가 상기 제3 객체를 향해 이동하는 경로를 설정할 수 있다.
일 실시예로, 상기 이동 제어부는 상기 다중 카메라 및 시야 방해물 중 어느 하나 또는 모두에 의해 정의된 사각 영역을 촬영하도록 상기 이동 카메라의 경로를 설정할 수 있다.
일 실시예로, 상기 영상 데이터 처리 모듈은 상기 복수의 고정 카메라가 생성한 복수의 고정 카메라 영상을 이미지 스티칭에 의해 결합하여 상기 다중 카메라 영상으로 변환할 수 있다.
일 실시예로, 상기 다중 카메라 영상은 상기 복수의 고정 카메라가 생성한 복수의 고정 카메라 영상이며, 상기 복수의 고정 카메라 영상은 상기 복수의 개별 감시 영역 사이의 공간적 관계를 학습한 상기 객체 식별부 및 상기 객체 추적부에 의해 단일 영상으로 취급될 수 있다.
본 발명의 다른 측면에 따르면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치가 제공된다. 영상 분석 장치는, 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 상기 확장 감시 영역에 포함되지 않은 사각 영역을 촬영하도록 설정된 경로를 따라 이동하는 이동 카메라로부터 수신한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈 및 상기 다중 카메라 영상에서, 분석 가능한 제1 객체를 검출 및 추적하고, 상기 이동 카메라 영상에서 분석 가능한 제2 객체를 검출 및 추적하고, 상기 제1 객체의 움직임 및 상기 제2 객체의 움직임 중 어느 하나 또는 모두를 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 영상 분석 모듈을 포함할 수 있다. 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고, 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성될 수 있다.
일 실시예로, 상기 영상 분석 모듈은 상기 다중 카메라 영상에서 상기 제1 객체 및 상기 이동 카메라 영상에서 상기 제2 객체를 검출하는 객체 검출부, 상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제2 객체의 움직임을 추적하는 객체 추적부, 상기 경로를 따라 이동하도록 상기 이동 카메라를 제어하는 이동 제어부 및 상기 제1 객체의 움직임 및 상기 제2 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부를 포함할 수 있다.
일 실시예로, 상기 제1 객체가 상기 사각 영역에 진입하면, 상기 객체 검출부는 상기 이동 카메라 영상에서 상기 제1 객체에 대응하는 제3 객체를 검출하며, 상기 객체 추적부는 상기 이동 카메라 영상에서 상기 제3 객체를 추적할 수 있다.
본 발명의 또 다른 측면에 따르면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템이 제공된다. 영상 분석 시스템은 감시 공간 내에 설치된 다중 카메라로부터 수신한 다중 카메라 영상을 분석하여 제1 메타 데이터를 생성하며, 이벤트를 검출하면 이벤트 발생 위치까지의 경로를 산출하는 제1 지능형 에지장치 및 이동 수단에 탑재되어 현재 위치부터 상기 이벤트 발생 위치까지 설정된 상기 경로를 따라 이동하며, 이동 카메라 영상을 분석하여 제2 메타 데이터를 생성하는 제2 지능형 에지장치를 포함할 수 있다. 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고, 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성될 수 있다.
일 실시예로, 영상 분석 시스템은 상기 제1 메타 데이터 및 상기 제2 메타 데이터를 수신하여 분석하는 에지 기반 영상분석장치를 더 포함할 수 있다.
이하에서 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다. 특히, 첨부된 도면들은 발명의 이해를 돕기 위해서, 도면에 표현된 요소 중 일부를 다소 과장하여 표현하고 있다.
도 1은 공지의 CCTV 카메라 1식에 의한 감시 영역을 예시적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 다중 카메라를 예시적으로 도시한 도면이다.
도 3은 상이한 화각을 가진 복수의 고정 카메라로 구성된 다중 카메라 및 확장 감시 영역을 예시적으로 도시한 도면이다.
도 4는 다중 카메라 및 이동 카메라를 이용한 영상 분석을 예시적으로 설명하기 위한 도면이다.
도 5는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
도 6은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.
도 7은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 다른 실시예를 예시적으로 설명하기 위한 흐름도이다.
도 8은 다층 건물의 내부에서 사각 영역을 정의하는 과정을 예시적으로 설명하기 위한 도면이다.
도 9는 다중 카메라 및 이동 카메라로 화재 발생을 감지하며, 이에 대응하는 과정을 예시적으로 도시한 도면이다.
도 10은 다층 건물의 내부에서 화재 발생시 이동 카메라를 이용한 화재 대응을 예시적으로 도시한 도면이다.
도 11은 고도화된 화재 오검지 조건을 적용한 화재 검출 방식을 예시적으로 설명하기 위한 도면이다.
도 12는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
도 13은 도 12에 예시된 영상 분석 시스템에 의해 실행되는 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 특히, 이하에서 첨부된 도면을 참조하여 설명될 기능, 특징, 실시예들은 단독으로 또는 다른 실시예와 결합하여 구현될 수 있다. 따라서 본 발명의 범위가 첨부된 도면에 도시된 형태에만 한정되는 것이 아님을 유의하여야 한다.
첨부된 도면 전체에 걸쳐서, 동일하거나 유사한 요소는 동일한 도면 부호를 사용하여 인용된다. 한편, 설명의 편의와 이해를 돕기 위해서, 도면은 다소 과장하여 도시되었다.
도 1은 공지의 CCTV 카메라 1식에 의한 감시 영역을 예시적으로 도시한 도면이며, 도 2는 본 발명의 실시예에 따른 다중 카메라를 예시적으로 도시한 도면으로, 다중 카메라에 의한 확장 감시 영역을 나타낸다.
도 1을 참조하면, CCTV 카메라는 안전 또는 보안 목적으로 특정 영역(이하 감시 영역)을 촬영하여 감시 영상을 출력한다. 일반적으로 사용되는 CCTV 카메라 1식은 1대의 고정 카메라(10a)와 1대의 PTZ(Pan tilt zoom) 카메라(10b)로 구성된다. 고정 카메라(10a)에 의해 촬영되는 감시 영역(11a)은 고정적이며 변경되지 않는다. 따라서 검출된 객체가 감시 영역(11a)에서 이탈하면 더 이상 객체 추적이 불가능하게 된다. PTZ 카메라(10b)는 회전(Pan), 기울기 조절(Tilt), 확대(Zoom) 기능을 가지고 있어서, PTZ 카메라(10b)에 의해 촬영되는 감시 영역(11b, 11b')은 변경이 가능하다. 즉, PTZ 카메라(10b)는 감시 영역(11a)을 이탈한 객체를 촬영할 수 있다.
CCTV 카메라 1식은 2대의 카메라를 이용하여 상대적으로 넓은 감시 영역을 커버할 수 있는 장점을 가진다. 하지만 PTZ 카메라(10b)의 가격은 고정 카메라(10a)보다 상대적으로 고가이다. 따라서 PTZ 카메라(10b)를 필요한 수량만큼 설치하려면 상당한 비용이 든다. 특히, CCTV 카메라 1식이 상대적으로 넓은 감시 영역을 커버할 순 있지만, 동시에 감시 영역 전체를 커버하지 못한다. 도시된 예에서, PTZ 카메라(10b)의 감시 영역(11b)이 감시 영역(11a)의 좌측에 위치한 시점에서, 감시 영역(11b')을 감시할 수 없게 된다. 유사하게, PTZ 카메라(10b)가 반시계 방향으로 회전하여 감시 영역(11b')을 촬영하는 동안, 감시 영역(11b)을 감시할 수 없다.
도 2를 참조하면, 다중 카메라(20)는 복수의 고정 카메라(20a, 20b, 20c)로 구성된다. 고정 카메라(20a, 20b, 20c)가 촬영할 수 있는 영역을 개별 감시 영역(21a, 21b, 21c)이라고 정의한다. 동일 사양을 가진 고정 카메라(20a, 20b, 20c)의 광축 사이의 각도(이하 카메라 사이각)에 의해 개별 감시 영역(21a, 21b, 21c)간 관계도 정의될 수 있다. 제2 고정 카메라(20b)의 제2 개별 감시 영역(21b)은 제1 고정 카메라(20a)의 제1 개별 감시 영역(21a)을 카메라 사이각 만큼 회전시킨 것과 실질적으로 동일할 수 있다. 동일한 관계는 제2 개별 감시 영역(21b)와 제3 개별 감시 영역(21c)간에도 성립될 수 있다. 따라서 확장 감시 영역(21)은 카메라 사이각만큼 회전된 복수의 고정 카메라(20a, 20b, 20c)의 개별 감시 영역들로 구성된다. 다시 말해, 다중 카메라(20)가 촬영할 수 있는 영역을 확장 감시 영역(21)이라고 정의한다. 하나의 확장 감시 영역(21)을 구성하는 복수의 개별 감시 영역(21a, 21b, 21c)은 이웃하는 개별 감시 영역과 부분적으로 중첩되거나 이격될 수 있다. 중첩되는 면적 또는 이격 거리는 카메라 사이각에 의해 조절될 수 있다.
다중 카메라(20)는 다중 카메라 영상을 생성한다. 일 실시예로, 다중 카메라 영상은 복수의 고정 카메라 영상의 집합이며, 하나의 고정 카메라 영상은 하나의 개별 감시 영역에 대응한다. 다만, 영상들의 단순한 집합과 달리, 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상들은 개별 감시 영역들 사이의 공간적 관계를 반영한다. 다른 실시예로, 다중 카메라 영상은 확장 감시 영역 전체를 커버하는 단일 영상일 수 있다. 다중 카메라 영상은, 예를 들어, 복수의 고정 카메라 영상을 이미지 스티칭을 적용하여 결합한 단일 영상(이하 스티칭된 단일 영상)일 수 있다. 이미지 스티칭 적용을 위해서도, 개별 감시 영역들 사이의 공간적 관계가 참조될 수 있다. 이하에서는 다중 카메라 영상이 복수의 고정 카메라 영상의 집합인 경우를 중심으로 설명한다.
공간적 관계는 지능형 에지장치, 예를 들어, 객체 검출부 및 객체 추적부에 의해 학습될 수 있다. 학습된 지능형 에지장치는 스티칭된 단일 영상뿐 아니라 공간적 관계를 가진 복수의 고정 카메라 영상을 단일 영상으로 취급할 수 있게 된다. 이로 인해, 둘 이상의 개별 감시 영역에서 동일한 객체를 찾기 위한 필요한 연산량이 크게 감소될 수 있다. 공간적 관계는 카메라 사이각에 의해 기본적으로 결정될 수 있으며, 예를 들어, 개별 감시 영역간 중첩 영역의 형상/면적/위치, 개별 감시 영역간 사각 영역의 형상/면적/위치 또는 개별 감시 영역의 경계간 이격 거리 등일 수 있다.
도 3은 상이한 화각을 가진 복수의 고정 카메라로 구성된 다중 카메라 및 확장 감시 영역을 예시적으로 도시한 도면이다.
도 3을 참조하면, 상이한 화각을 가진 복수의 고정 카메라로 다중 카메라를 구성한 경우의 확장 감시 영역이 예시되어 있다. 고정 카메라의 화각은 렌즈에 의해 결정된다. 널리 사용되는 4.0 mm 고정 초점 렌즈를 가진 고정 카메라(20d)의 경우 좌우 약 70도 및 상하 약 50도의 화각을 가지며, 전방으로 약 10M까지는 객체를 명확하게 식별 가능하게 촬영할 수 있는 유효 감시 영역(22d)를 가지지만, 그 이상의 거리에 있는 객체는 존재 여부 정도만 확인할 수 있다. 따라서 보다 먼 거리에 위치한 객체를 식별 가능하게 촬영하려면 초점 거리가 긴 렌즈를 사용하여야 하며, 그 경우 고정 카메라의 화각은 크게 감소한다. 예를 들어 8.0 mm 고정 초점 렌즈를 가진 고정 카메라(20e)는 약 10M 내지 20M에 위치한 객체를 식별 가능하게 촬영할 수 있는 유효 감시 영역(22e)를 가지지만, 화각은 약 40도 이하이다. 즉, 고정 카메라(20e)의 경우, 약 10M까지의 영역은 객체 식별이 용이하지 않은 무효 영역(23e)일 수 있다. 본 명세서에서 지칭하는 확장 감시 영역 및 개별 감시 영역은 영상 분석을 통해 객체를 명확하게 검출 및 추적할 수 있는 유효 감시 영역이다. 따라서 개별 감시 영역은 고정 카메라가 촬영할 수 있는 최대 범위의 영역보다는 상대적으로 작을 수 있다.
도 2에 예시된 확장 감시 영역(21)과 달리, 도 3에 예시된 확장 감시 영역(25)은 개별 감시 영역, 보다 정확하게는, 유효 감시 영역(22d, 22e)을 방사상으로 배치하여 형성될 수 있다. 이로 인해, 고정 카메라(20d)로만 구성된 다중 카메라는 검출할 수 없었던 먼 거리에 위치한 객체의 검출도 가능해진다. 같은 맥락으로, 고정 카메라(20e)로만 구성된 다중 카메라는 검출할 수 없었던 가까운 거리에 위치한 객체의 검출 역시 가능해질 수 있다. 한편, 중첩 영역(22d')은 개별 감시 영역을 방사상으로 배치하는 경우에도 발생할 수 있으며, 개별 감시 영역간 공간적 관계로 취급될 수 있다.
공지의 CCTV 카메라 1식과 비교하면, 다중 카메라는 사각 영역을 최소화할 수 있다. CCTV 카메라 1식의 경우, 회전하는 PTZ 카메라의 시야에서 벗어난 영역은 일시적으로 사각 영역이 될 수 있다. 이에 반해 다중 카메라는 복수의 개별 감시 영역 전부를 동시에 촬영하므로, 일시적인 사각 영역이 발생하지 않는다. 따라서 다중 카메라는 동등 또는 보다 넓은 영역을 CCTV 카메라 1식보다 상대적으로 적은 비용으로 일시적인 사각 영역의 발생 없이 촬영할 수 있다.
도 4는 다중 카메라 및 이동 카메라를 이용한 영상 분석을 예시적으로 설명하기 위한 도면이다.
다중 카메라 및 이동 카메라를 이용한 영상 분석은 다중 카메라 영상에서 검출된 객체를 이동 카메라도 촬영하여 객체 관련 이벤트를 검출(이하에서, 연속 추적이라 함)하거나, 다중 카메라가 촬영할 수 없는 사각 영역에 위치한 객체를 검출(이하에서, 확장 추적이라 함)하는 방식이다. 연속 추적은 다중 카메라 영상에서 검출된 동일 객체를 촬영하도록 이동 카메라를 탑재한 비행 드론 또는 로봇을 객체를 향해 이동시켜 촬영하는 방식이다. 확장 추적은 다중 카메라의 사각 영역을 이동 카메라가 경로를 따라 이동하면서 촬영하여 감시 공간에서 사각 영역을 실질적으로 제거하는 방식이다. 연속 추적과 확장 추적은 독립적으로 수행될 수 있지만, 필요한 경우 확장 추적중인 이동 카메라가 연속 추적을 수행할 수도 있다. 이하에서, 이동 카메라는 비행 드론, 로봇 이외에도 다양한 이동 수단에 탑재될 수 있으며 비행 드론 또는 로봇은 이동 카메라를 지정된 위치로 이동시키기 위한 이동 수단이므로, 이하에서는 필요한 경우가 아니면 이동 카메라의 이동 수단을 언급하지 않는다.
도 4를 참조하면, 감시 공간(30)은 4대의 고정 카메라(20a, 20b, 20c, 20d)로 구성된 1대의 다중 카메라(20) 및 2대의 이동 카메라 R1, R2에 의해 감시된다. 사각 영역(31a)은 다중 카메라(20)로 인해 발생된 사각 영역이며, 사각 영역(31b, 31c)은 시야 방해물에 의해 발생한 사각 영역이다.
다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d)는 복수의 확장 감시 영역(21)에서 동일한 객체 및 이벤트를 검출하기 위한 다중 카메라 영상(33)을 출력한다. 다중 카메라 영상(33)은 스티칭된 단일 영상 및 복수의 고정 카메라 영상 중 어느 하나일 수 있다. 만일 고정 카메라별 설정이 다르면, 객체 및 이벤트 검출에 소요되는 연산량이 증가하여, 영상 분석 효율이 감소될 수 있다. 이를 방지하기 위해서, 임의의 객체 또는 이벤트 검출이 설정되면, 설정된 이벤트 검출에 필요한 카메라 설정은 연동에 의해 다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d) 전체에 적용될 수 있다. 따라서 고정 카메라마다 카메라 설정을 개별적으로 변경할 필요가 없어진다.
다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d)는 개별 감시 영역(21a, 21b, 21c, 21d)을 가진다. 다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d)의 사양이 실질적으로 동일하면, 복수의 개별 감시 영역(21a, 21b, 21c, 21d)도 실질적으로 동일하게 형성될 수 있다. 복수의 고정 카메라(20a, 20b, 20c, 20d)가 카메라 사이각 만큼 회전하면, 개별 감시 영역(21a, 21b, 21c, 21d)도 카메라 사이각 만큼 회전한다. 개별 감시 영역(21a, 21b, 21c, 21d)간의 공간적 관계를 고려하면, 복수의 고정 카메라 영상으로 구성된 다중 카메라 영상(33)도 확장 감시 영역(21) 전체를 나타내는 가로로 확장된 단일 영상으로 취급될 수 있다.
공지의 CCTV 카메라 1식과 달리, 개별 감시 영역 사이에 위치한 사각 영역(미도시)의 형상은 변경되지 않는다. 따라서 검출할 객체의 특성을 고려할 때, 사각 영역의 폭(즉, 두 개별 감시 영역 사이의 거리)이 지나치게 크지 않으면, 객체가 사각 영역에 일시적으로 진입하더라도 계속해서 추적할 수 있다.
연속 추적중인 이동 카메라 R1은 사람 객체들을 촬영하여 제1 이동 카메라 영상(34)을 생성한다. 사람 객체 ID#105는 확장 감시 영역(21)에 새로 진입했으며, 다중 카메라(20)는 사람 객체 ID#105의 얼굴을 촬영하지 못했다. 사각 영역(31a, 31b)을 촬영중인 2대의 이동 카메라 R1, R2 중에서 사람 객체 ID#105의 예상 이동 방향과 교차하는 경로로 이동중인 이동 카메라 R1이 선택될 수 있다. 이동 카메라 R1은 사람 객체 ID#105를 향해 이동하여 제2 영상(34)을 생성할 수 있다. 사람 객체 ID#105의 얼굴을 촬영하면, 이동 카메라 R1은 기존 경로로 되돌아갈 수 있다.
경로(32)를 따라 확장 추적중인 이동 카메라 R2는 사각 영역(31a)을 촬영하여 제2 이동 카메라 영상(35)을 생성한다. 사람 객체 ID#106은 사각 영역(31a)에 위치하며, 이로 인해 다중 카메라 영상(33)에 포함되지 않았다.
도 5는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
지능형 에지장치(100)는 다중 카메라(20) 및 이동 카메라(25)가 설치된 현장에 설치되어, 다중 카메라(20)에 의해 생성된 다중 카메라 영상 및 이동 카메라(25)에 의해 생성된 이동 카메라 영상을 1차 영상 분석하여 메타 데이터를 생성할 수 있다. 메타 데이터는 다중 카메라 영상 및 이동 카메라 영상에서 검출된 객체 및 객체 관련 이벤트 중 어느 하나에 대한 정보를 포함할 수 있다.
지능형 에지장치(100)는 다중 카메라(20)가 설치된 위치 및 현장 상황에 적합하게 학습하여 사각 영역을 파악하고, 이동 카메라(25)의 경로를 설정하여 사각 영역을 제거 또는 최소화하며, 이를 통해 다중 카메라 영상 및 이동 카메라 영상을 분석할 수 있다. 특히, 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상간 공간적 관계를 학습함으로써, 지능형 에지장치(100)는 다중 카메라 영상을 확장 감시 영역을 촬영한 단일 영상으로 취급할 수 있다.
지능형 에지장치(100)는, 예를 들어, 다양한 종류의 객체마다 설정된 이벤트를 검출하도록 학습될 수 있다. 생성된 메타 데이터는 에지기반 영상분석장치(200)에 의해 2차 영상 분석될 수 있다. 1차 영상 분석은 학습된 이벤트를 다중 카메라 영상 및/또는 이동 카메라 영상에서 검출하는 분석을 포함할 수 있다. 2차 영상 분석은 지능형 에지장치(100)가 학습하지 않은 이벤트를 검출하거나, 다중 카메라 영상과 이동 카메라 영상간 관계를 고려하여 이벤트를 검출하기 위한 분석을 포함할 수 있다.
도 5를 참조하면, 다중 카메라(20) 및 이동 카메라(25)로부터 수신한 영상을 분석하는 지능형 에지장치(100)는 영상 데이터 처리 모듈(110), 영상 분석 모듈(120) 및 메타 데이터 전송 모듈(130)을 포함할 수 있다. 영상 데이터 처리 모듈(110)은 하나 이상의 다중 카메라(20) 및 하나 이상의 이동 카메라(25)로부터 영상을 수신하며, 수신한 영상을 영상 분석에 적합하게 전처리한다. 영상 분석 모듈(120)은 전처리된 영상에서 객체를 검출하고, 객체의 움직임을 추적하며, 추적중인 객체의 행위를 분석하여 이벤트를 검출한다.
영상 데이터 처리 모듈(110)과 영상 분석 모듈(120)은 모듈 형태의 소프트웨어일 수 있다. 지능형 에지장치(100)는 하나 이상의 중앙처리장치(예를 들어, CPU, GPU 등), 반도체 메모리, 통신 모뎀 칩 등과 같은 물리적 구성 요소를 포함한다. 영상 데이터 처리 모듈(110)과 영상 분석 모듈(120), 및 각 모듈에 포함된 서브 모듈들은 메모리에 로딩된 프로그램이 CPU에 의해 실행되는 동작을 기능적으로 구분하여 표현한 것이다.
다중 카메라(20)는 2차원 또는 3차원의 다중 카메라 영상을 생성한다. 이동 카메라(25)는 2차원 또는 3차원의 이동 카메라 영상을 생성하는 IP 카메라 등일 수 있다. 이동 카메라(25)는 비행 드론, 로봇 등과 같은 이동 수단에 장착되어 이동한다. 따라서 이동 카메라(25)의 촬영 범위는 이동 수단을 통해 변경 가능하다.
영상 데이터 처리 모듈(110)은 RTSP 클라이언트, 디코더 및 영상 전처리부를 포함할 수 있다. RTSP 클라이언트는 영상 전송 프로토콜, 예를 들어, RTSP(Real time streaming protocol)를 지원하는 통신 모뎀으로, 다중 카메라(20) 및 이동 카메라(25)로부터 영상 데이터를 수신한다. 디코더는 수신된 영상 데이터를 디코딩하여 영상을 복원한다. 영상 전처리부는 영상 분석에 적합하도록, 복원된 확장 영상 및 개별 영상의 해상도, 크기 등을 변경하거나 컬러 영상을 흑백 영상으로 변환한다. 추가적으로 또는 선택적으로, 영상 전처리부는 복수의 고정 카메라 영상을 스티칭된 단일 영상으로 변환할 수 있다. 디코더 및 영상 전처리부는 CPU 또는 GPU에 의해 실행되는 모듈일 수 있다.
영상 분석 모듈(120)은 객체 검출부(121), 객체 추적부(122), 이동 제어부(123) 및 이벤트 검출부(124)를 포함할 수 있다. 객체 검출, 객체 식별 및 객체 추적은 분리할 수 없는 일련의 과정으로도 수행될 수 있음을 이해하여야 한다. 지능형 에지장치(100)에 둘 이상의 영상 분석 방식을 적용하기 위해서, 객체의 검출 및 추적은 독립적으로 수행될 수 있다. 이를 통해, 중복되거나 불필요한 연산이 감소되며, 동시에 둘 이상의 영상 분석 방식이 병행 또는 적응적으로 수행될 수 있다.
객체 검출부(121)는 전처리된 다중 카메라 영상 및 전처리된 이동 카메라 영상에서 하나 이상의 객체를 검출하며, 검출된 객체를 유형별로 분류할 수 있다. 객체 검출부(121)는 예를 들어, 객체 이미지를 이용하여 학습된 객체 검출 모듈, 또는 객체를 표현한 템플릿을 이용하는 객체 검출 모듈일 수 있다. 특히, 객체 검출부(121)는 3차원 기하학 필터를 적용하여, 검출된 객체를 표현할 수 있는 3차원 좌표값을 결정할 수 있다. 결정된 3차원 좌표값을 이용하면, 검출된 객체는 3차원 도형으로 영상에 표출되거나 객체 추적에 이용될 수 있다. 또한, 객체 검출부(121)는 환경 필터를 적용하여, 영상에서 노이즈를 제거할 수 있다.
복수의 개별 감시 영역을 통해 확장 감시 영역을 효율적으로 감시하기 위해서는, 확장 감시 영역을 한 대의 카메라에 의해 촬영된 단일 영역으로 취급하는 방식이 적용될 수 있다. 다중 카메라 영상이 복수의 고정 카메라 영상의 집합인 경우, 확장 감시 영역을 단일 영역처럼 처리하기 위해서, 동일 객체를 복수의 고정 카메라 영상에서 식별하며 추적할 수 있어야 한다. 객체가 개별 감시 영역 내에서 움직이는 동안에는 공지의 객체 추적 방식, 예를 들어, 객체의 움직임 예측을 통한 추적 방식, 객체의 속성 비교를 통한 추적 방식 등이 적용될 수 있다. 한편, 객체가 연속한 개별 감시 영역 중 하나로부터 이탈하기 시작하면, 하나의 확장 감시 영역을 구성하는 복수의 개별 감시 영역들 사이의 공간적 관계를 이용하여 객체를 식별 및 추적할 수 있다. 이를 통해, 연속된 두 카메라 영상에 표출된 객체의 동일 여부가 신속하게 결정될 수 있도록 한다.
객체 추적부(122)는 검출된 객체의 움직임을 추적한다. 객체 추적부(122)는 객체의 움직임 예측을 통해 객체를 추적하거나, 객체의 속성을 비교하여 객체를 추적할 수 있다. 객체 추적 방식은 제1 영상(또는 프레임)에서 검출된 객체의 움직임을 예측하거나 속성을 검출하고, 이를 제2 영상(또는 프레임)에서 검출된 객체와 비교하여 두 객체가 동일 객체인지를 판단한다. 영상을 구성하는 매크로 블록 단위로 비교하여 객체의 움직임을 추적하거나 영상에서 배경을 제거하여 객체만 영상에 남도록 하여 객체 검출 및 움직임을 추적하는 방식 등과 같이, 다양한 객체 추적 방식이 적용될 수 있다.
객체 추적부(122)는 다중 카메라 영상 및 이동 카메라 영상에서 동일 객체를 검출할 수 있다. 하나 이상의 다중 카메라(20) 및 하나 이상의 이동 카메라(25)에 의해 감시되는 공간에서, 동일 객체는 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상 중 일부에, 또는 다중 카메라 영상과 이동 카메라 영상에 동시에 표출될 수 있다. 일 실시예로, 객체 검출부(122)는 개별 감시 영역간 공간적 관계를 참고하여 둘 이상의 고정 카메라 영상에 표출된 동일 객체를 검출할 수 있다. 다른 실시예로, 객체 검출부(122)는, 딥러닝 분석을 통해, 검출된 객체의 속성을 추출하며, 추출한 객체의 속성을 비교하여, 두 영상에 각각 표출된 객체가 동일 객체인지를 판단할 수 있다. 판단 결과에 따라, 예를 들어, 두 객체가 서로 일치할 확률(이하 유사도)이 표출되거나, 제1 영상의 분석 결과로 부여되었던 객체 식별자가 제2 영상에서 검출된 객체에 다시 부여될 수 있다.
객체 추적부(122)는 객체의 유형에 따라, 해당 객체를 식별하는데 적절한 속성을 이용할 수 있다. 사람 객체의 경우, 객체 추적부(122)는 예를 들어, 시각적 특징, 얼굴 특징, 걸음 걸이 특징 등을 이용하여 사람 객체를 재인식할 수 있다. 시각적 특징으로는, 사람 객체의 키, 착용한 옷의 종류나 색깔 등이 이용될 수 있다. 차량 객체의 경우, 차종, 색깔, 차량 번호 등을 이용하여 객체를 재인식할 수 있다.
이동 제어부(123)는 이동 카메라(25)가 이동하는 경로를 결정한다. 이동 카메라(25)는 미리 설정된 경로를 따라 이동하거나 장애물을 피해서 이동할 수 있다. 이동 카메라(25)의 경로는 다중 카메라 영상에서 연속 추적할 객체 검출시 변경될 수 있다. 연속 추적할 객체는 영상 분석을 위한 속성을 획득하지 못한 객체, 이상 행위를 하는 객체, 사각 영역에 진입하여 더 이상 추적할 수 없는 객체 또는 다중 카메라(20)로부터 멀어져서 더 이상 식별할 수 없는 객체일 수 있다. 이동 제어부(123)는 연속 추적할 객체의 위치 및 이동 카메라(25)의 위치를 산출하여 연속 추적할 객체를 향하도록 이동 카메라(25)의 경로를 변경할 수 있다.
영상 분석 모듈(120)은 이벤트 조건에 부합하는 이벤트를 검출하는 이벤트 검출부(124)를 포함할 수 있다. 이벤트 검출부(124)는 검출된 객체, 객체의 움직임, 및 객체의 주변 환경 중 어느 하나 또는 이들의 조합에 기초하여, 이벤트 조건에 부합하는 이벤트를 검출한다. 이벤트 검출부(124)는 둘 이상의 상이한 영상 분석 방식으로 구동할 수 있다. 예를 들어, 딥러닝 기반 이벤트 검출부는 검출된 객체의 속성을 추출하고, 속성에 기초하여 설정된 이벤트 조건에 부합하는지를 판단하며, 룰 기반 이벤트 검출부는 관심 영역에서 객체의 움직임에 기초하여 이벤트 조건에 부합하는 이벤트를 검출한다. 한편, 딥러닝 분석에 의해 제1 이벤트 조건에 부합하는 객체는 룰 기반 분석에 전달되어, 제2 이벤트 조건에 부합하는지 판단될 수 있다. 딥러닝 방식으로 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 딥러닝 기반 이벤트 검출부도 복수일 수 있다. 동일하게, 룰 기반 방식을 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 룰 기반 이벤트 검출부도 복수개일 수 있다.
메타 데이터 전송 모듈(130)은 영상분석모듈(120)이 생성한 메타 데이터를 통신망(40)을 통해 에지기반 영상분석장치(200)로 전송한다. 추가적으로, 메타 데이터 전송 모듈(130)은 환경 센서(도 8의 50 참조)가 생성한 측정 데이터 또는 측정 데이터에 대한 메타 데이터를 에지기반 영상분석장치(200)로 전송할 수 있다.
통신망(40)은 메타 데이터의 전송이 가능한 유선, 무선 또는 유무선 혼합 데이터 통신망일 수 있다. 유선 통신망은 패킷 형태의 디지털 데이터 전송을 위한 통신 프로토콜을 지원하는 전용선이나 케이블망 등일 수 있으며, 무선 통신망은 CDMA, WCDMA, GSM, EPC, LTE, 와이브로 뿐 아니라, 와이파이 이외에 블루투스, 지그비 등과 같이, 무선 신호를 이용하여 데이터를 전송하는 통신 시스템일 수 있다.
에지기반 영상분석장치(200)는 2차 분석 결과에 기초하여, 지능형 에지 장치(100)의 이벤트 검출 모듈을 갱신하여, 새로운 이벤트를 검출하거나, 변화된 환경에 적응할 수 있도록 한다. 한편, 지능형 에지 장치(100)는 1차 분석이 어려울 경우, 검출된 객체에 대한 메타 데이터를 에지기반 영상분석장치(200)로 전송하여 분석을 요청할 수도 있다.
도 6은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.
S10에서, 하나 이상의 다중 카메라(20)가 감시 공간을 촬영하여 다중 카메라 영상을 생성하며, 다중 카메라 영상은 영상 분석 모듈(120)에 의해 분석된다. 영상 분석 모듈(120)의 객체 검출부(121)는 다중 카메라 영상에 표출된 하나 이상의 객체를 검출하며, 객체 추적부(122)는 검출된 객체의 움직임을 추적한다.
S11에서, 연속 추적할 객체를 검출하며 그 객체의 위치를 산출한다. 연속 추적할 객체는 객체 검출부(121), 객체 추적부(122), 이벤트 검출부(124) 중 어느 하나에 의해 결정될 수 있다. 연속 추적할 객체의 일 예는 영상 분석을 위한 속성을 획득하지 못한 객체일 수 있으며, 예를 들어, 사람 객체의 식별에 필요한 얼굴 정면을 다중 카메라 영상 또는 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상을 통해 획득하지 못하면, 연속 추적할 객체로 분류한다. 연속 추적할 객체의 다른 예는 다중 카메라 영상을 분석하여 추적이 필요한 객체 관련 이벤트, 즉, 이상 행위가 검출된 객체일 수 있다. 연속 추적할 객체의 또 다른 예는 사각 영역에 진입하여 더 이상 추적할 수 없는 객체이며, 다중 카메라 영상에서 더 이상 검출되지 않는 객체일 수 있다. 연속 추적할 객체의 또 다른 예는 다중 카메라(20)로부터 멀어져서 더 이상 식별할 수 없는 객체일 수 있다.
이벤트 분류 설명
이기종 객체 분류 카메라에서 검출되는 객체(object)의 종류가 다른 속성값을 분류 및 통합이벤트 검출
불법주정차 차가 주차되지 말아야 할 곳에 정지 되어있는 경우 일정 시간이 지체되었을 때 검출
속도 및 위치 카메라가 설치되어있는 지점 기준 차가 주행될 때 차량의 속도 및 위치값 표출
통행량 및 혼잡도 도로 내 차의 밀집도 및 카운팅 검출
불법 유턴 및 역주행 도로 내 차의 방향성을 검지하여 불법 유턴 및 역주행 검출
좌회전감응 좌회전 신호를 기다리는 차가 일정 시간이상 대기하고 있을시 신호와 연계하여 좌회전 신호 표출
피플카운팅 및 혼잡도 특정 구역을 출입하는 인원에 대한 카운팅 및 일정 인원 이상 출입에 의한 혼잡도 검출
침입 무단침입, 불법 침입 또는 출입 금지 구역에 비인가자가 출입하는 순간 검출
체류 검출된 객체가 일정 시간 같은 자리에서 계속 검출될 때 체류 상황으로 판단
배회 사람 객체 검출 후 특정 이벤트 없이 일정 시간 이상 배회, 서성거림 등 의심스러운 행동 검출
유기 검출된 사람 객체로부터 분리된 새로운 객체 검출
쓰러짐 걷다가 또는 서 있다가 바닥으로 쓰러지는 행동으로 머리가 바닥에 닿았을 때 쓰러짐으로 검출
얼굴인식 및 검출 카메라 영상에서 사람의 얼굴을 인식하고 얼굴 특징점(FFV)을 추출하는 기능
유사도 분석 카메라 영상에서 검출된 얼굴의 특징점과 DB에 저장된 얼굴DB와 유사도를 비교하여 인가/비인가자를 검출
연속 추적할 객체의 지리적 위치는 다중 카메라(20)의 위치, 높이, 틸트(tilt) 각도 등을 이용하여 다양한 방식으로 산출될 수 있다. 이동 카메라(25)의 이동 목적지는 연속 추적 유형에 따라 결정될 수 있다. 사각 영역에 진입한 객체의 경우, 해당 객체가 사라지기 직전까지 검출된 지점을 이동 카메라(25)의 이동 목적지로 결정하여 위치를 산출할 수 있다. 객체가 사각 영역에 진입한 경우를 제외하면, 연속 추적할 객체는 다중 카메라 영상에서 검출되고 있으며, 따라서 이동 카메라(25)의 이동 목적지는 객체의 현재 위치이다.S12에서, 이동 카메라(25)의 위치를 산출하고 연속 추적할 객체까지의 경로를 설정한다. 이동 카메라(25)의 위치는 다양한 측위 방식을 통해 산출될 수 있다. 실외의 경우, GPS(Global positioning system) 등을 이용하여 이동 카메라(25)의 위치가 산출될 수 있다. 실내의 경우, 영상 매칭 방식, 관성 센서 기반 방식, 마커 기반 방식, VLC(Visible light communication) 등을 이용하여 이동 카메라(25)의 위치가 산출될 수 있다. 둘 이상의 이동 카메라(25)가 활용 가능한 경우, 연속 추적할 객체까지의 이동 시간이 짧은 위치에 있는 이동 카메라(25)가 선택될 수 있다. 이동 카메라(25)의 위치가 산출되면, 연속 추적할 객체까지의 경로가 설정될 수 있다. 경로는 이동 카메라(25)가 탑재된 이동 수단의 유형 또는 이동 속도뿐 아니라 주변의 방해물의 위치를 고려하여 결정될 수 있다. 예를 들어, 비행 드론의 경로는 이동 카메라(25)의 현재 위치로부터 연속 추적할 객체의 위치까지 대부분 직선이며, 경로 중간에 위치한 방해물 주변으로 우회하도록 결정될 수 있다.
S13에서, 이동 카메라(25)는 경로를 따라 이동하여 목적지에 도착하며 이동 카메라 영상을 생성한다. 영상 분석 모듈(200)은 다중 카메라 영상에서 검출된 연속 추적할 객체와 동일한 객체를 이동 카메라 영상에서 식별한다. 객체의 속성을 획득하기 위한 연속 추적의 경우, 사람 객체의 얼굴 정면을 촬영한 후 연속 추적은 종료된다. 반면 이상 행위를 한 객체에 대한 연속 추적은 이동 카메라 영상에서 객체가 식별된 이후에도 계속될 수 있다.
S14에서, 다중 카메라 영상 및 이동 카메라 영상에서 검출 및 추적한 객체에 대한 메타 데이터가 생성되며, 생성된 메타 데이터는 영상 분석에 이용될 수 있다.
도 7은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 다른 실시예를 예시적으로 설명하기 위한 흐름도이며, 도 8은 다층 건물의 내부에서 사각 영역을 정의하는 과정을 예시적으로 설명하기 위한 도면이다. 각 층은 하나의 감시 영역이며, 각 층마다 설치된 다중 카메라(20) 및 이동 카메라(25)는 유선 또는 무선으로 지능형 에지장치(100)와 통신할 수 있다. 지능형 에지장치(100)는 각 층마다 설치된 환경 센서(50)가 환경 변수를 측정하여 생성한 측정 데이터를 수신할 수 있다. 환경 변수는, 예를 들어, 온도, 습도, 조도, 가스 농도, 미세먼지 농도 등 일 수 있으며, 환경 센서(50)는 예를 들어 온도 센서, 습도 센서, 조도 센서, 가스 센서, 먼지 센서, 화재 감지 센서 등일 수 있다. 화재 감시 센서는 열, 연기, 불꽃 등을 검출할 수 있다.
도 7 내지 도 8을 함께 참조하면, S20에서 감시 공간마다 다중 카메라(20)의 확장 감시 영역(21)을 잠정적으로 결정한다. 위치, 높이, 틸트 각도, 카메라 사이각 등 확장 감시 영역(21)에 영향을 미치는 요소들은 각 층에 설치된 다중 카메라(20)마다 상이할 수 있다. 감시 공간 맵은 확장 감시 영역(21) 및 다중 카메라(20) 자체에 의해 생성된 사각 영역(31a)을 표현할 수 있다. 예를 들어, 1층 전체가 확장 감시 영역(21)에 포함된다고 가정한다.
S21에서, 다중 카메라(20)의 시야를 가리는 시야 방해물(36)이 확장 감시 영역(21)에 존재하는지 판단한다. 시야 방해물(36)은 일시적으로 존재하거나 항상 존재할 수 있다. 시야 방해물(36)의 위치와 형태는 로봇이나 비행 드론에 탑재된 이동 카메라(25)에 의해 획득될 수 있다. 도 8에서, 벽이 1층 계단 좌측에 설치되어 있는 반면, 2층과 3층에는 시야 방해물이 존재하지 않는다.
S22에서, 시야 방해물(36)이 존재하면, 시야 방해물(36)로 인해 발생하는 새로운 사각 영역(31b)을 결정한다. 도 8에서, 1층 계단 좌측에 위치한 벽(36) 너머의 공간은 사각 영역(31b)이다. 반면, 시야 방해물(36)로 인한 사각 영역은 2층과 3층에서 발생하지 않는다.
S23에서, 새로운 사각 영역을 감시 공간 맵에 추가하여 감시 공간 맵을 완성한다.
S24에서, 이동 카메라의 경로를 감시 공간 맵에 포함된 하나 이상의 사각 영역을 촬영할 수 있도록 설정한다. 이동 카메라(25)의 경로(37)는 이동 수단의 유형, 이동 속도, 방해물의 위치와 형태, 및 이동 카메라(25)의 회전 가능 여부 중 어느 하나 또는 이들의 조합을 고려하여, 하나 이상의 사각 영역을 촬영할 수 있도록 설정된다. 예를 들어, 회전할 수 없는 이동 카메라의 경로와 회전할 수 있는 이동 카메라의 경로는 상이할 수 있다. 설정된 경로(37)는 감시 공간 맵에 반영된다. 이동 제어부(130)는 감시 공간 맵을 참조하여 이동 카메라(25)를 경로(37)를 따라 이동시킬 수 있으며, 연속 추적이 필요한 경우 이동 카메라(25)의 경로를 일시적으로 변경할 수 있다.
경로(37)가 설정된 감시 공간 맵을 생성하는 과정이 반드시 영상 분석 모듈(120)에 의해서만 수행되어야 하는 것은 아니며, 경로가 설정되지 않은 맵 또는 경로가 설정된 맵은 외부에서 생성된 후 영상 분석 모듈(120)에 전달될 수도 있다.
S25에서, 이동 카메라(25)는 경로(37)를 따라 이동하면서 이동 카메라 영상을 생성한다. 확장 추적시, 이동 카메라(25)는 이동 카메라 영상이 촬영된 위치를 나타내는 메타 데이터를 이동 카메라 영상에 기록하거나 이동 카메라 영상에 연관된 파일에 기록할 수 있다. 한편, 이동 카메라(25)는 이동 카메라 영상 촬영시 카메라 방향을 나타내는 메타 데이터를 이동 카메라 영상에 더 기록할 수 있다. 또한, 이동 수단이 비행 드론인 경우, 이동 카메라(25)는 비행 드론의 지상으로부터의 높이를 나타내는 메타 데이터를 이동 카메라 영상에 더 기록할 수 있다. 촬영 위치, 카메라 방향 및 촬영 높이는 변경될 때마다 이동 카메라 영상에 기록되며, 이를 통해 사각 영역에서 검출된 객체의 위치를 확정할 수 있게 된다.
S26에서, 확장 감시 영역(21)을 촬영한 다중 카메라 영상 및 확장 감시 영역(21)의 일부를 촬영한 이동 카메라 영상을 분석하여 객체 관련 이벤트를 검출한다. 다중 카메라 영상은 확장 감시 영역(21) 내에 위치한 객체들을 표출하며, 이동 카메라 영상은 사각 영역에 위치한 객체들을 표출한다.
도 9는 다중 카메라 및 이동 카메라로 화재 발생을 감지하며, 이에 대응하는 과정을 예시적으로 도시한 도면이며, 도 10은 다층 건물의 내부에서 화재 발생시 이동 카메라를 이용한 화재 대응을 예시적으로 도시한 도면이다.
화재 감지 센서(50)가 화재 신호를 발생한다. 화재 신호는 열, 연기, 및 불꽃 중 적어도 어느 하나로 검출되는 실제 화재로 인해 발생할 수 있지만(이하 실제 화재 신호), 단순한 온도 상승, 음식 조리시 생긴 연기, 또는 먼지와 같이 화재가 아님에도 발생할 수 있다(이하 오작동 화재 신호). 한편, 화재 신호는 화재 감지 센서(50) 고장시에도 발생할 수 있다. 따라서 화재 신호가 발생한 시점에서, 해당 화재 신호가 실제 화재 신호인지 아니면 오작동 화재 신호인지는 판단하기 어렵다. 또한, 복수의 화재 감지 센서(50)가 동일한 소방 중계기 또는 공통선을 통해 화재 신호를 소방 수신기에 전달하기 때문에, 화재가 발생한 구역을 파악할 수는 있지만, 해당 구역 내 어느 위치에서 화재가 발생하였는지는 파악할 수 없다.
도 9와 도 10을 함께 참조하면, S30에서, 관제 서버(300)가 화재 신호를 수신한다. 화재 신호를 수신하면, 관제 서버(300)는 화재 신호 수신 및 확인중임을 관제 단말에 표출할 수 있다.
지능형 에지장치(100)도 화재 신호를 수신할 수 있다. 지능형 에지장치(100)는 다중 카메라(20) 및 이동 카메라(25)뿐 아니라 건물에 설치된 환경 센서(50)로부터 측정 데이터를 직접 또는 간접적으로 수신할 수 있다. 화재 감지 센서도 일종의 환경 센서(50)이므로, 화재 신호도 지능형 에지장치(100)에 전달되도록 할 수 있다. 이하에서는 환경 센서를 화재 감지 센서라 지칭한다.
한편, 지능형 에지장치(100)는 영상 분석에 의해서도 화재를 감지할 수 있다. 지능형 에지장치(100)는 영상 내 특정 영역의 색 변화 등을 통해 화염, 연기 등을 감지할 수 있으며, 다양한 감지 기법이 소개되어 있다. 따라서 지능형 에지장치(100)가 화재를 감지하는 경로는 화재 신호에 한정되지 않는다.
S31에서, 지능형 에지장치(100)가 화재를 감지하면 화재가 발생한 구역에 배치된 다중 카메라(20) 및/또는 이동 카메라(25)를 파악하며, S32에서 다중 카메라 영상 및/또는 이동 카메라 영상을 수신한다. 화재가 발생한 구역을 화재 신호로부터 파악할 수 있으면, 지능형 에지장치(100)는 해당 층에 설치된 다중 카메라(20)가 생성한 다중 카메라 영상에서 화재 이벤트를 검출할 수 있다. 반면 화재가 발생한 구역을 파악할 수 없으면, 지능형 에지장치(100)는 화재 신호가 발생한 건물에 설치된 모든 카메라로부터 수신된 영상을 분석하여 화재 이벤트를 검출할 수 있다.
화재가 발생한 구역이 파악되면, 지능형 에지장치(100)는 이동 카메라(25)를 화재가 발생한 구역으로 이동시킨다. 다중 카메라(25)가 화재 발생 구역을 촬영할 수도 있다. 하지만, 다중 카메라(25)로부터 멀리 떨어지거나 사각 영역에서 발생한 화재의 진행 상황은 다중 카메라(20)만으로 감시하기 어려울 수 있다. 특히, 다중 카메라 영상만으로 화재가 다른 층으로 번지는 상황을 파악하기는 더욱 어려울 수 있다. 도 10에서, 1층에 화재가 발생하면, 1층 이동 카메라(25)는 화재 발생 구역으로 이동하여 화재를 촬영하기 시작한다. 한편, 화염이나 연기는 계단, 엘리베이터홀, 에어 덕트 등을 통해 다른 층으로 확산할 수 있다. 따라서 지능형 에지장치(100)는 2층 및 3층 이동 카메라들(25)을 화재가 영향을 미칠 수 있는 위치로 이동시켜 화재 진행 상황을 감시할 수 있다. 화재가 영향을 미칠 수 있는 위치가 복수이면, 지능형 에지장치(100)는 복수의 위치를 촬영할 수 있는 경로를 설정하며, 그 경로를 따라 이동하는 이동 카메라(25)가 생성한 이동 카메라 영상을 통해 화재 진행 상황을 감시할 수 있다.
한편, 화재가 발생한 위치가 일시적으로 이동 카메라(25)의 시야 밖에 있을 수 있다. 따라서 화재 발생을 감지하면, 지능형 에지장치(100)는 이동 카메라(25)가 시야 밖 영역을 스캔하도록 제어한다. 여기서 스캔은 카메라의 회전 및 틸팅 중 어느 하나 또는 모두를 수행하여 이동 카메라(25)가 촬영할 수 있는 공간의 적어도 일부 또는 전체를 촬영하는 동작이다.
S33에서, 지능형 에지장치(100)는 수신한 화재 신호가 실제 화재 신호인지 아니면 오작동 화재 신호인지를 1차 분석한다. 이를 위해서, 지능형 에지장치(100)는 다중 카메라 영상 및/또는 이동 카메라 영상에 고도화된 화재 오검지 조건을 적용한다. 지능형 에지장치(100)는 영상을 분석하여 메타 데이터를 생성하며, 이를 저장한다. 따라서, 지능형 에지장치(100)는 화재 신호를 수신한 시각을 기준으로 일정 시간 이전에 수신한 영상을 분석하여 획득한 메타 데이터에 고도화된 화재 오검지 조건을 적용하여 연기 또는 불꽃을 검출할 수 있다. 1차 분석 결과에 따라 이후 절차가 달라질 수 있다. 고도화된 화재 오검지 조건을 영상에 적용하여 분석하는 과정은 도 11을 참조하여 상세히 설명한다.
불꽃 및 연기 중 어느 하나가 검출되어 실제 화재 신호인 것으로 분석되면, 지능형 에지장치(100)는 화재가 발생한 위치를 특정할 수 있다. 영상에 표출된 객체의 지리적 위치는 다중 카메라(25)의 위치, 높이, 틸트 각도 등을 이용하여 다양한 방식을 이용하여 특정될 수 있다. 특정된 화재 발생 위치는 화재 검출을 나타내는 메타 데이터와 함께 에지기반 영상분석장치(200) 또는 관제 서버(300)로 전송될 수 있다. 한편, 지능형 에지장치(100)는 이동 카메라(25)가 화재를 지속적으로 촬영하도록 제어하여 화재의 확산속도, 확산방향, 불꽃의 크기를 검출하며, 이를 에지기반 영상분석장치(200) 또는 관제 서버(300)로 전송할 수 있다.
불꽃 및 연기 중 어느 하나도 검출되지 않아 오작동 화재 신호인 것으로 분석되면, 지능형 에지장치(100)는 오작동 화재 신호임을 나타내는 메타 데이터를 에지기반 영상분석장치(200) 또는 관제 서버(300)로 전송할 수 있다.
1차 분석 결과 화재 여부를 판단할 수 없으면, 지능형 에지장치(100)는 화재 신호가 발생한 구역에서 촬영된 영상 또는 스냅샷을 에지기반 영상분석장치(200)로 전송한다. 예를 들어, 불꽃이나 연기를 검출했지만 주변에 위치한 사람들의 움직임이 없으면, 화재가 발생했지만 진화했거나 진화 가능한 상황인지 아니면 음식 조리와 같이 화재가 발생하지 않은 상황인지를 판단하기 어렵다. 이 경우, 지능형 에지장치(100)는 영상 분석의 결과를 도출하지 못하는 영상 구간 또는 스냅샷을 에지기반 영상분석장치(200)로 전송할 수 있다.
S34에서, 에지기반 영상분석장치(200)는 지능형 에지장치(100)의 1차 분석 결과를 검증하거나 2차 분석하여 화재 신호의 유형을 확정한다. 실제 화재 신호임을 나타내는 메타 데이터 및 오작동 화재 신호임을 나타내는 메타 데이터를 수신하면, 에지기반 영상분석장치(200)는 메타 데이터를 2차 분석하여 지능형 에지장치(100)에 의한 분석 결과를 검증할 수 있다. 에지기반 영상분석장치(200)는 지능형 에지장치(100)에 비해 상대적으로 많은 컴퓨팅 파워 및 리소스를 활용할 수 있으므로, 지능형 에지장치(100)에서 적용된 이벤트 조건보다 더욱 상세한 이벤트 조건을 적용한 분석이 가능하다. 또한 에지기반 영상분석장치(200)는 학습된 이벤트 검출기로 검출할 수 없는 이벤트도 빅데이터를 활용하여 분석할 수 있다.
2차 분석 결과 오작동 화재 신호로 확정되면, 에지기반 영상분석장치(200)는 관제 서버(300)로 오작동 화재 신호를 통지한다. 오작동 화재 신호를 수신하면, 관제 서버(300)는 관제 단말에 표출한 화재 신호를 화재 감지기 오작동으로 변경한다.
반면 2차 분석 결과 실제 화재 신호로 확정되면, 에지기반 영상분석장치(200)는 관제 서버(300)로 실제 화재 신호를 통지한다. 실제 화재 신호를 수신하면, 관제 서버(300)는 관제 단말에 표출한 화재 신호를 화재 발생으로 변경하며 화재가 발생한 위치를 관제 단말에 표출한다.
도 11은 고도화된 화재 오검지 조건을 적용한 화재 검출 방식을 예시적으로 설명하기 위한 도면이다.
도 9에 예시된 방식은 화재 신호 발생 후 카메라 스캔을 통해 화재를 검출하는 방식이며, 도 11에 예시된 방식은 도 9의 화재 감지기 오작동 감지뿐 아니라 화재 신호가 발생하지 않는 상황에서도 화재를 감지할 수 있다. 따라서 도 11에 예시된 방식만 실행될 수 있다.
S40은 화재가 일어나지 않은 정상 상황에서 촬영한 영상이다. 고도화된 화재 오검지 조건은 그리드 기반 빅데이터 자가학습을 통해 화재 발생 판단의 정확도를 고도화할 수 있다. 영상은 m x n 그리드로 분할되며, 각 그리드별로 정상 프로파일이 생성될 수 있다. 정상 프로파일은 정상 상태에서만 식별되는 특징, 규칙 또는 주기적인 변화이며, 그리드별로 빅데이터 자가학습을 통해 결정될 수 있다. 예를 들어, 정상 프로파일은 시간에 따라 변하는 색상일 수 있다.
그리드 기반은 화면 전체에 대한 정상 프로파일보다 더 정확한 화재 검출을 가능하게 한다. 예시된 화면은 부엌을 촬영한 영상으로, 우측에 있는 가스 레인지는 음식 조리를 위해 불꽃이 자주 검출되는 반면, 그 외의 영역은 창문을 통해 들어오는 햇빛 및 반사된 조명에 의해 규칙적으로 밝기가 변화한다. 따라서 화면 전체에 대해 정상 프로파일을 생성하면, 화면의 일부에서만 검출되는 특징들이 평균화되어서 어느 한 특징의 변화가 화면 전체의 정상 프로파일에 미치는 영향이 미미해진다. 그에 반해, 그리드별로 정상 프로파일을 생성하면, 그리드간에 구분이 가능하여 어느 한 그리드에 생긴 변화를 정확하게 검출할 수 있게 된다. 예를 들어, 빅데이터 자가학습을 통해 가스 레인지가 포함된 그리드는 위험 영역으로 분류되며, 일정 범위 이하로 검출되는 불꽃은 정상 상태, 즉, 음식 조리에 의해 발생한 것으로 식별될 수 있다.
S41에서, 복수의 그리드 중에서 화재 후보영역이 검출된다. 화재 후보영역은 다양한 공지의 방식을 적용하여 검출될 수 있다. 예를 들어, 화재 후보영역은 색상정보를 이용하여 검출될 수 있다. 불꽃 또는 연기는 객체 유형을 특정할 수 없는 비정형이기 때문에 색상정보가 화재 검출에 주로 사용된다. 영상에서, 불꽃은 가장 밝으며, 불꽃 주변에는 적색 및 황색의 화염이 존재하는 특성을 가지며, 연기는 백색, 회색 또는 흑색을 띄며, 상당한 넓은 영역에 걸쳐 검출되는 특성을 가진다. 예시된 화면에서, 2개의 화재 후보영역이 검출되었다. 좌측 후보영역은 화재로 인한 불꽃이며, 우측 후보영역은 가스 레인지 불꽃이다.
상술한 특징들은 화재가 아닌 경우에도 검출될 수 있어서, 유사한 특징을 갖는 화재 후보영역을 제거하는 오검지 필터링을 적용하면 오검지율을 더욱 감소시킬 수 있다. 예를 들어, 석양, 빨간색 객체, 네온사인, 붉은 조명, 가로등(이하 오검지 화재)은 불꽃으로 검출될 수 있다.
S42에서, 오검지 필터링을 통해 화재 후보영역 중에서 화재가 아닌 영역이 제거된다. 오검지 필터는 영상에서 분석하지 않을 영역이나 객체를 제거하는 환경 필터이다. 오검지 필터링은 실제 화재와 다른 특징을 가진 영역을 제외하는 방식으로 수행될 수 있다. 일 예로, 오검지 필터링은 화재 후보영역별로 히스토그램을 생성하며, 생성된 히스토그램을 실제 화재에 대한 히스토그램 또는 오검지 화재에 대한 히스토그램과 비교 및 분류하여 오검지 화재를 제거할 수 있다. 다른 예로, 화재 후보영역이 미리 설정된 분석이 필요 없는 영역에 해당하면 오검지 필터는 해당 화재 후보영역을 제거할 수 있다.
S43에서, 오검지 필터링을 통과한 화재 후보영역을 정상 프로파일과 비교하여 비정상 상태의 발생을 확정할 수 있다. 정상 프로파일은 정상 상태가 유지되는 동안에 생성되므로, 정상 상태의 특징을 나타낸다. 예를 들면, 그리드별로 생성된 정상 프로파일과 실시간으로 수집된 영상의 색상정보를 비교하여 해당 그리드에서 비정상 상태를 검출할 수 있다. 예시된 그리드 G24와 G34의 색상정보는 정상 프로파일을 가진다. 한편 실시간 영상에서 그리드 G24와 G34에 대응하는 영역에서 발생한 화재는 그리드 G24와 G34가 정상 프로파일과는 다른 색상정보를 가지게 한다. 따라서 비정상 상태, 즉, 화재가 발생한 경우이다.
화재가 검출되면, 화재의 확산속도, 확산방향, 불꽃의 크기와 같은 화재 특성을 지속적으로 추적할 수 있다. 그리드로 분할된 영상은 그리드별로 비정상 상태를 검출할 수 있으므로, 그리드별 상태 변화를 통해 화재를 신속하게 추적할 수 있다.
상술한 과정은 화재 후보영역을 검출한 후 정상 프로파일을 이용하는 경우이다. 화재 후보영역 검출 과정은 생략가능하며, 실시간 영상을 정상 프로파일과 그리드별 비교를 통해 비정상 상태 발생을 검출할 수도 있다.
도 12는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템의 일 실시예를 기능적으로 설명하기 위한 구성도이다. 도 5와 중복되는 설명을 생략하며 차이점을 설명한다.
도 12를 참조하면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템은, 다중 카메라로부터 획득한 영상을 분석하는 제1 지능형 에지장치(100) 및 이동 중 또는 이동 후 영상을 획득하며 획득한 영상을 분석하는 제2 지능형 에지장치(400)를 포함할 수 있다. 여기서 제2 지능형 에지장치(400)는 영상 분석을 수행할 수 있는 이동 카메라(25)이다.
제1 지능형 에지장치(100)는 영상 데이터 처리 모듈(110), 영상 분석 모듈(120) 및 메타 데이터 전송 모듈(130)을 포함할 수 있다. 제1 지능형 에지장치(100)는 감시 공간 내에 설치된 하나 이상의 다중 카메라가 생성한 하나 이상의 다중 카메라 영상을 분석할 수 있다. 영상 분석 모듈(120)을 구성하는 객체 검출부(121), 객체 추적부(122) 및 이벤트 검출부(124) 중 어느 하나는 이벤트 발생을 검출할 수 있다. 추가적으로 또는 선택적으로, 제1 지능형 에지장치(100)는 감시 공간 내에 설치된 복수의 환경 센서(50)로부터 측정 데이터를 수신할 수 있다. 따라서, 제1 지능형 에지장치(100)는 환경 센서(50)로부터 수신된 측정 데이터를 처리하여 이벤트 발생을 검출하는 측정 데이터 처리 모듈(105)을 더 포함할 수 있다. 영상 데이터 처리 모듈(110)에 의해 검출되는 이벤트 발생과 측정 데이터 처리 모듈(105)에 의해 검출되는 이벤트 발생은 동일 원인에 의해 발생하거나 상이한 원인에 의해 발생할 수 있다. 메타 데이터 전송 모듈(130)은 다중 카메라 영상, 다중 카메라 영상을 분석하여 생성된 메타 데이터, 측정 데이터 및 측정 데이터를 분석하여 생성된 메타 데이터 중 어느 하나 또는 이들의 조합을 통신망(40)을 통해 에지기반 영상분석장치(200)로 전송할 수 있다.
제2 지능형 에지장치(400)는 제1 지능형 에지장치(100)의 제어에 의해 감시 공간 내에서 이동하여 이동 카메라 영상을 생성하며, 생성된 이동 카메라 영상을 분석한다. 영상 분석 결과로 생성된 메타 데이터는 통신망을 통해 에지기반 영상분석장치(200)로 전송될 수 있다. 제2 지능형 에지장치(400)는 제1 지능형 에지장치(100)가 지시한 특정 위치까지 이동 중에 또는 이동 후에 이동 카메라 영상을 생성하는 카메라(405), 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈(410), 전처리된 이동 카메라 영상을 분석하는 영상 분석 모듈(420), 및 영상 분석 결과로 생성된 메타 데이터를 전송하는 데이터 전송 모듈(430)를 포함할 수 있다. 영상 데이터 처리 모듈(410)과 영상 데이터 처리 모듈(110)은 실질적으로 동일할 수 있으며, 영상 분석 모듈(420)은 이동 제어부를 제외하면 영상 분석 모듈(120)과 실질적으로 동일할 수 있다. 한편, 도시되진 않았으나, 제2 지능형 에지장치(400)는 환경 센서(50)를 더 포함할 수 있다. 제2 지능형 에지장치(400)에 장착된 환경 센서(50)는 특정 위치에서 측정 데이터를 생성할 수 있다.
제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 감시 공간에서 생성된 다중 카메라 영상 및 이동 카메라 영상을 각각 분석하여 미리 설정된 유형의 이벤트에 대한 메타 데이터를 생성(이하 1차 분석)하며, 생성된 메타 데이터는 에지기반 영상분석장치(200)에 의해 분석(이하, 2차 분석)될 수 있다. 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 설치된 지역 및 현장 상황에 적합하게 학습하고, 수행된 학습에 기초하여 영상 분석을 수행할 수 있다. 특히, 영상은 에지기반 영상분석장치(200)가 요청하는 경우에 한하여 전송될 수 있으므로, 통신망의 종류, 접근성, 대역폭 등의 제한을 받지 않으며, 신속한 영상 분석을 통한 이벤트 검출이 가능하다.
제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 1차 분석을 수행하여, 객체에 관련하여 미리 설정된 제1 이벤트 조건을 충족하는 이벤트를 검출하며, 검출된 이벤트에 대한 제1 메타 데이터를 생성한다. 제1 메타 데이터는 에지기반 영상분석장치(200)가 사용자에 의해 설정된 제2 이벤트 조건에 부합하는 이벤트를 검출하는데 이용되거나, 학습 데이터로 이용될 수 있다. 에지기반 영상분석장치(200)는 2차 분석 결과에 기초하여, 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)의 이벤트 검출부를 갱신하여, 새로운 이벤트를 검출하거나, 변화된 환경에 적응할 수 있도록 한다. 한편, 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 1차 분석이 어려울 경우, 영상 및/또는 검출된 객체에 대한 메타 데이터를 에지기반 영상분석장치(200)로 전송하여 분석을 요청할 수도 있다.
도 13은 도 12에 예시된 영상 분석 시스템에 의해 실행되는 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다. 도 6과 중복되는 설명을 생략하고 차이점을 설명한다.
S50에서, 하나 이상의 다중 카메라(20)가 감시 공간의 적어도 일부를 촬영하여 하나 이상의 다중 카메라 영상을 생성하며, 다중 카메라 영상은 제1 지능형 에지장치(100)에 의해 분석된다. 동시에 하나 이상의 환경 센서(50)가 감시 공간 내에 환경 변수를 측정하여 측정 데이터를 생성하며, 측정 데이터는 측정 데이터 처리 모듈(105)에 의해 분석될 수 있다.
S51에서, 제1 지능형 에지장치(100)의 영상 분석 모듈(120) 또는 측정 데이터 처리 모듈(105)이 이벤트를 검출하면, 이벤트 발생 위치가 산출된다. 연속 추적 또는 확장 추적이 필요하거나 측정 데이터가 정상 범위를 벗어나면, 이벤트가 발생하였다고 판단된다. 연속 추적시 이벤트 발생 위치는 다중 카메라(20)의 위치, 높이, 틸트 각도 등을 이용하여 산출될 수 있다. 확장 추적시 이벤트 발생 위치는 미리 결정된 경로의 시작 위치일 수 있다. 한편, 임의의 측정 데이터가 과거에 수신된 측정 데이터로부터 산출된 정상 범위를 벗어나거나, 측정 데이터가 미리 설정된 시간격으로 수신되지 않으면, 환경 센서(50)의 설치 위치가 이벤트 발생 위치일 수 있다.
S52에서, 영상 분석 모듈(120)은 제2 지능형 에지장치(400)의 현재 위치를 산출하고 이벤트 발생 위치까지의 경로를 설정한다. 제2 지능형 에지장치(400)의 현재 위치는 실외의 경우, GPS 등을 이용하며, 실내의 경우, 영상 매칭 방식, 관성 센서 기반 방식, 마커 기반 방식, VLC 등을 이용하여 산출될 수 있다. 설정된 경로는 제2 지능형 에지장치(400)에 전송된다. 한편, 연속 추적의 경우, 연속 추적할 객체를 식별하기 위한 정보(이하 객체 식별 정보)도 제2 지능형 에지장치(400)에 전송될 수 있다.
S53에서, 메타 데이터 전송 모듈(130)은 다중 카메라 영상의 분석 결과로 생성된 메타 데이터를 에지기반 영상분석장치(200) 또는 관제 서버(미도시)로 전송할 수 있다.
S54에서, 제2 지능형 에지장치(400)는 경로를 따라 이동하여 목적지에 도착한다. 제2 지능형 에지장치(400)는 이벤트 발생 위치로 이동하기 시작할 때부터 또는 이벤트 발생 위치에 도착한 후부터 이동 카메라 영상을 생성하며, 생성된 이동 카메라 영상을 분석한다. 영상 분석 모듈(420)은 객체 식별 정보를 이용하여 연속 추적할 객체와 동일한 객체를 이동 카메라 영상에서 식별한다. 한편, 측정 데이터로 인해 이벤트가 발생했으며, 제2 지능형 에지장치(400)에 환경 센서(50)가 장착된 경우, 이벤트 발생 위치에서 환경 변수가 측정될 수 있다.
S55에서, 메타 데이터 전송 모듈(430)은 이동 카메라 영상의 분석 결과로 생성된 메타 데이터를 에지기반 영상분석장치(200) 또는 관제 서버(미도시)로 전송할 수 있다.
S56에서, 에지기반 영상분석장치(200)는 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)로부터 수신한 메타 데이터를 분석한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 특히, 도면을 참조하여 설명된 본 발명의 특징은 특정 도면에 도시된 구조에 한정되는 것이 아니며, 독립적으로 또는 다른 특징에 결합되어 구현될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

  1. 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 이동 카메라가 객체를 촬영하여 생성한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈; 및
    상기 다중 카메라 영상에 표출된 객체 중 분석 가능한 제1 객체를 검출 및 추적하고,
    상기 다중 카메라 영상에 표출된 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 이동 카메라 영상을 생성하도록 상기 이동 카메라를 제어하고,
    상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 이동 카메라 영상에서 검출 및 추적하며,
    이벤트 조건에 부합하는 이벤트를 상기 다중 카메라 영상 및 상기 이동 카메라 영상 중 어느 하나 또는 모두에서 검출하는 영상 분석 모듈을 포함하되,
    상기 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고,
    상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성되는, 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
  2. 청구항 1에 있어서, 상기 영상 분석 모듈은
    상기 다중 카메라 영상에서 상기 제1 객체 및 상기 제2 객체를 검출하며, 상기 이동 카메라 영상에서 상기 제3 객체를 식별하는 객체 검출부;
    상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제3 객체의 움직임을 추적하는 객체 추적부;
    상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부; 및
    상기 제2 객체의 위치를 산출하고, 산출된 위치를 향해 이동하여 상기 제3 객체를 촬영하도록 상기 이동 카메라를 제어하는 이동 제어부를 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
  3. 청구항 2에 있어서, 상기 이벤트 검출부는
    상기 다중 카메라 영상 및 상기 이동 카메라 영상을 딥러닝 방식으로 분석하여 이벤트를 검출하는 딥러닝 이벤트 검출부; 및
    상기 다중 카메라 영상 및 상기 이동 카메라 영상을 룰 기반 방식으로 분석하여 이벤트를 검출하는 룰 기반 이벤트 검출부를 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
  4. 청구항 2에 있어서, 상기 이동 카메라는 비행 드론 및 로봇 중 어느 하나에 장착되며, 상기 이동 제어부는 상기 이동 카메라가 상기 제3 객체를 향해 이동하는 경로를 설정하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
  5. 청구항 2에 있어서, 상기 이동 제어부는 상기 다중 카메라 및 시야 방해물 중 어느 하나 또는 모두에 의해 정의된 사각 영역을 촬영하도록 상기 이동 카메라의 경로를 설정하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
  6. 청구항 2에 있어서, 상기 영상 데이터 처리 모듈은 상기 복수의 고정 카메라가 생성한 복수의 고정 카메라 영상을 이미지 스티칭에 의해 결합하여 상기 다중 카메라 영상으로 변환하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
  7. 청구항 2에 있어서, 상기 다중 카메라 영상은 상기 복수의 고정 카메라가 생성한 복수의 고정 카메라 영상이며, 상기 복수의 고정 카메라 영상은 상기 복수의 개별 감시 영역 사이의 공간적 관계를 학습한 상기 객체 식별부 및 상기 객체 추적부에 의해 단일 영상으로 취급되는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
  8. 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 상기 확장 감시 영역에 포함되지 않은 사각 영역을 촬영하도록 설정된 경로를 따라 이동하는 이동 카메라로부터 수신한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈; 및
    상기 다중 카메라 영상에서, 분석 가능한 제1 객체를 검출 및 추적하고,
    상기 이동 카메라 영상에서 분석 가능한 제2 객체를 검출 및 추적하고,
    상기 제1 객체의 움직임 및 상기 제2 객체의 움직임 중 어느 하나 또는 모두를 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 영상 분석 모듈을 포함하되,
    상기 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고,
    상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성되는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
  9. 청구항 8에 있어서, 상기 영상 분석 모듈은
    상기 다중 카메라 영상에서 상기 제1 객체 및 상기 이동 카메라 영상에서 상기 제2 객체를 검출하는 객체 검출부;
    상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제2 객체의 움직임을 추적하는 객체 추적부;
    상기 경로를 따라 이동하도록 상기 이동 카메라를 제어하는 이동 제어부; 및
    상기 제1 객체의 움직임 및 상기 제2 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부를 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
  10. 청구항 8에 있어서, 상기 제1 객체가 상기 사각 영역에 진입하면, 상기 객체 검출부는 상기 이동 카메라 영상에서 상기 제1 객체에 대응하는 제3 객체를 검출하며, 상기 객체 추적부는 상기 이동 카메라 영상에서 상기 제3 객체를 추적하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
  11. 감시 공간 내에 설치된 다중 카메라로부터 수신한 다중 카메라 영상을 분석하여 제1 메타 데이터를 생성하며, 이벤트를 검출하면 이벤트 발생 위치까지의 경로를 산출하는 제1 지능형 에지장치; 및
    이동 수단에 탑재되어 현재 위치부터 상기 이벤트 발생 위치까지 설정된 상기 경로를 따라 이동하며, 이동 카메라 영상을 분석하여 제2 메타 데이터를 생성하는 제2 지능형 에지장치를 포함하되,
    상기 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고,
    상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성되는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템.
  12. 청구항 11에 있어서,
    상기 제1 메타 데이터 및 상기 제2 메타 데이터를 수신하여 분석하는 에지 기반 영상분석장치를 더 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템.
PCT/KR2022/006096 2022-04-27 2022-04-28 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치 WO2023210839A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220052137A KR20230152410A (ko) 2022-04-27 2022-04-27 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
KR10-2022-0052137 2022-04-27

Publications (1)

Publication Number Publication Date
WO2023210839A1 true WO2023210839A1 (ko) 2023-11-02

Family

ID=88518955

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/006096 WO2023210839A1 (ko) 2022-04-27 2022-04-28 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치

Country Status (2)

Country Link
KR (1) KR20230152410A (ko)
WO (1) WO2023210839A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101119084B1 (ko) * 2011-07-13 2012-03-15 (주)블루비스 메타데이터를 이용한 영상관리 시스템 및 그 방법
KR101679318B1 (ko) * 2014-12-30 2016-11-24 주식회사 펀진 객체 추적 시스템
KR101977635B1 (ko) * 2017-11-20 2019-05-13 한국항공대학교산학협력단 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치
KR102298063B1 (ko) * 2021-02-17 2021-09-02 임정석 Cctv와 연계된 스마트 방범 드론 시스템
KR102347026B1 (ko) * 2021-09-30 2022-01-04 주식회사 넥스트케이 복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210065647A (ko) 2019-11-27 2021-06-04 한국전력공사 다중 카메라 고정 장치 및 이를 이용한 영상 모니터링 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101119084B1 (ko) * 2011-07-13 2012-03-15 (주)블루비스 메타데이터를 이용한 영상관리 시스템 및 그 방법
KR101679318B1 (ko) * 2014-12-30 2016-11-24 주식회사 펀진 객체 추적 시스템
KR101977635B1 (ko) * 2017-11-20 2019-05-13 한국항공대학교산학협력단 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치
KR102298063B1 (ko) * 2021-02-17 2021-09-02 임정석 Cctv와 연계된 스마트 방범 드론 시스템
KR102347026B1 (ko) * 2021-09-30 2022-01-04 주식회사 넥스트케이 복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치

Also Published As

Publication number Publication date
KR20230152410A (ko) 2023-11-03

Similar Documents

Publication Publication Date Title
KR101942491B1 (ko) 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템
KR101835552B1 (ko) 스마트 팩토리 작업환경 관제시스템
KR100918837B1 (ko) 하이브리드 방식의 차량 검지시스템 및 그 검지방법
KR101743689B1 (ko) 통합 방범 지능형 cctv의 영상 처리 방법 및 통합 방범 지능형 cctv 시스템
CN107483889A (zh) 智慧工地管控平台的隧道监控系统
WO2014196721A1 (ko) 합성 영상을 이용한 화재감지시스템 및 방법
KR102060045B1 (ko) 열분포 측정이 가능한 화재감지장비 및 그 시스템
KR101496390B1 (ko) 차량번호인식 시스템
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
KR102050821B1 (ko) Ptz 카메라를 이용한 화재 검색 방법
KR101851539B1 (ko) 드론을 이용한 감시 시스템
WO2019083299A1 (ko) 사육장 관리 장치 및 방법
WO2016072625A1 (ko) 영상방식을 이용한 주차장의 차량 위치 확인 시스템 및 그 제어방법
WO2021261656A1 (ko) 엣지 컴퓨팅 기반 보안 감시 서비스 제공 장치, 시스템 및 그 동작 방법
WO2016099084A1 (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
KR102306854B1 (ko) 교통상황 관리 시스템 및 방법
WO2016122154A1 (ko) 영상을 이용한 적외선감지기와 그 동작방법 및 이를 이용한 보안시설물 통합관리시스템
WO2020138736A1 (ko) 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치
KR101832274B1 (ko) 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
KR101049758B1 (ko) 어린이보호구역 통합 감시 방법 및 그 시스템
WO2016024680A1 (ko) 주행차량의 번호판 인식이 실시간으로 가능한 차량용 블랙박스
KR101656642B1 (ko) 영상을 이용한 집단 행동 분석 방법
KR102347026B1 (ko) 복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치
CN113096337B (zh) 用于复杂背景的移动目标识别处理方法及智能安防系统
KR101795798B1 (ko) 지능형 영상감시 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22940333

Country of ref document: EP

Kind code of ref document: A1