WO2023172031A1 - 파노라마 감시 영상의 생성 - Google Patents

파노라마 감시 영상의 생성 Download PDF

Info

Publication number
WO2023172031A1
WO2023172031A1 PCT/KR2023/003110 KR2023003110W WO2023172031A1 WO 2023172031 A1 WO2023172031 A1 WO 2023172031A1 KR 2023003110 W KR2023003110 W KR 2023003110W WO 2023172031 A1 WO2023172031 A1 WO 2023172031A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
surveillance
area
surveillance area
location
Prior art date
Application number
PCT/KR2023/003110
Other languages
English (en)
French (fr)
Inventor
김관태
이영찬
Original Assignee
한화비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화비전 주식회사 filed Critical 한화비전 주식회사
Publication of WO2023172031A1 publication Critical patent/WO2023172031A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This specification relates to the generation of panoramic surveillance images.
  • Panoramic technology is widely used in the surveillance system field for wide-area surveillance. Existing CCTV cameras cannot observe areas other than the designated viewing angle, and even if the surveillance area is adjusted using a PTZ camera, it is impossible to observe a large area simultaneously. To solve this problem, panoramic technology is currently being used in a variety of ways, both indoors and outdoors.
  • virtual channel technology is a technology that outputs only a specific part of the entire output video as a separate virtual channel. It is used to increase surveillance efficiency by outputting video for a specific area from a wide range of video, such as a panoramic video, as a separate channel. It is used in
  • panoramic surveillance image generation technology creates a panoramic image by combining image data received from multiple image sensors or multiple camera modules, and among these, a specific area is fixed and output as a virtual channel, so the area to be monitored is fixed and monitored. Due to the problem of low efficiency, there was a need for technology to effectively use virtual channels.
  • the device includes a plurality of image sensors that acquire a plurality of surveillance images; a panoramic image generator that generates a panoramic image by combining the plurality of surveillance images; an event detection unit that detects events occurring within the panoramic image; and setting a partial area of the panoramic image as a surveillance area, outputting an image of the surveillance area to a virtual channel, and determining at least one of the number, size, and location of the surveillance area based on the event detection result of the event detection unit. It may include a monitoring area setting unit to adjust.
  • the event detection unit determines the occurrence location of the detected event
  • the surveillance area setting unit may adjust at least one of the number, size, and location of the surveillance area based on the occurrence location of the detected event.
  • the monitoring area setting unit determines in advance the degree of separation between the event occurrence location within the partial area and the event occurrence location outside the partial area. If included in the determined separation criteria, at least one operation of moving, enlarging, and reducing the surveillance area is performed so that the surveillance area includes an event occurrence location outside the partial area, and an event occurrence location within the partial area and the partial area are included. If the separation degree of the event occurrence location outside the area is not included in the predetermined separation standard, a certain area including the event occurrence location outside the partial area is set as a second surveillance area, and the video for the second surveillance area is transmitted as a second surveillance area. 2 Can be output to virtual channel.
  • the event detection unit may further determine the importance of the detected event, and the surveillance area setting unit may adjust at least one of the size and location of the surveillance area based on the occurrence location and importance of the detected event.
  • the surveillance area setting unit may perform at least one operation of moving, enlarging, and reducing the surveillance area to include a location where an event of predetermined importance among the events whose importance has been determined has occurred. You can.
  • the operation of moving the surveillance area moves the surveillance area so that both the occurrence location of the event within the partial area and the occurrence location of the event outside the partial area are output to the virtual channel
  • the enlargement operation is performed when the location of occurrence of an event within the partial area and the location of occurrence of an event outside the partial area are not output to the virtual channel due to movement of the surveillance area, and the location of occurrence of the event outside the partial area is changed.
  • the operation of enlarging the surveillance area so that it is output to the virtual channel and reducing the surveillance area is performed when the event occurrence location is included in a surveillance area smaller than the surveillance area of the same size as the partial area.
  • the surveillance area can be reduced to be output to the virtual channel.
  • the event detector may also classify the importance of the event based on whether the event is selected by the user, a method of classifying the importance of the event based on whether the event occurs at a preset time, or a method of classifying the importance of the event based on whether the event occurs at a preset time.
  • a method of classifying the importance of an event based on whether the event has occurred a method of classifying the importance of an event based on the type information of the detected object, and a method of classifying the importance of the event based on the movement information of the detected object.
  • the importance of an event can be distinguished using at least one of the following methods.
  • the surveillance area setting unit may be configured to, based on a result of determining the occurrence location of the detected event, if the degree of separation between the first object and the second object within the surveillance area is included in a predetermined separation standard, Performing at least one operation of moving, enlarging, and reducing the surveillance area so that the surveillance area includes both the first object and the second object, and separating the first object and the second object within the surveillance area. If the degree is not included in the predetermined separation standard, the event occurrence location containing the first object is set to the surveillance area, the video for the surveillance area is output to the virtual channel, and the event containing the second object is set to the surveillance area.
  • the occurrence location can be set to the second surveillance area, and the video for the second surveillance area can be output to a second virtual channel.
  • the surveillance area setting unit determines an event occurrence location including the first object when the separation degree of the first object in the surveillance area and the second object in the second surveillance area is included in the predetermined separation standard. And an area including all of the event occurrence locations including the second object may be set as a third surveillance area, and images of the third surveillance area may be output to the virtual channel.
  • the event detection unit determines the type of the detected event and the type of object within the event
  • the surveillance area setting unit determines a surveillance area corresponding to the type of the detected event and the type of object within the event. can be created, and the video for the surveillance area can be output as a separate virtual channel for each created surveillance area.
  • this specification presents a method of setting a surveillance area using a panoramic surveillance image generating device.
  • the method includes acquiring a plurality of surveillance images through a plurality of image sensors; Generating a panoramic image by combining the plurality of surveillance images; Detecting an event occurring within the panoramic image; Setting some areas of the panoramic image as a surveillance area and adjusting at least one of the number, size, and location of the surveillance areas based on an event detection result; And it may include outputting an image of the surveillance area to a virtual channel.
  • the method and other embodiments may include the following features.
  • setting some areas of the panoramic image as a surveillance area, but adjusting at least one of the size and location of the surveillance area based on the event detection result may include detecting the location of the detected event. step; and adjusting at least one of the number, size, and location of the surveillance areas based on the location of the detected event.
  • adjusting at least one of the number, size, and location of the surveillance area based on the location of the detected event may include determining whether an event occurs in a location other than the partial area; When it is determined that an event occurred in a location other than the partial area, if the degree of separation between the event occurrence location in the partial area and the event occurrence location outside the partial area is included in the predetermined separation standard, the surveillance area is outside the partial area.
  • the step of setting some areas of the panoramic image as a surveillance area and adjusting at least one of the number, size, and location of the surveillance areas based on an event detection result may include: further determining importance; and adjusting at least one of the size and location of the surveillance area based on the occurrence location and importance of the detected event.
  • the step of adjusting at least one of the size and position of the surveillance area based on the occurrence location and the importance of the detected event may include selecting an event of a predetermined importance among the events whose importance is determined.
  • a step of performing at least one operation of moving, enlarging, and reducing the surveillance area to include the location where the event occurred, and the movement of the surveillance area includes the location of the occurrence of the event within the partial area and the occurrence of the event outside the partial area.
  • the surveillance area is moved so that all positions are output to the virtual channel, and the operation of expanding the surveillance area is to move the surveillance area so that both the occurrence location of the event within the partial area and the occurrence location of the event outside the partial area are If it is not output to a virtual channel, the surveillance area is enlarged so that the occurrence location of the event in the partial area and other than the partial area is output to the virtual channel, and the operation of reducing the surveillance area is to ensure that the occurrence location of the event is in the partial area. If they are all included in a surveillance area smaller than the surveillance area of the same size, the surveillance area may be reduced so that the occurrence location of the event is output to the virtual channel.
  • the step of determining the importance of the detected event may include a method of classifying the importance of the event based on whether the user selects the detected event, or based on whether the event occurs at a preset time.
  • a method of classifying the importance of an event a method of classifying the importance of an event based on whether the event occurs in a preset area, a method of classifying the importance of an event based on the type information of the detected object, and a detected object
  • This may be a step of classifying the importance of the event using at least one method among the methods of classifying the importance of the event based on the motion information.
  • the step of adjusting at least one of the number, size, and position of the surveillance area based on the occurrence location of the detected event may include, based on a result of determining the occurrence location of the detected event, the monitoring area. If the separation degree of the first object and the second object in the area is included in the predetermined separation standard, at least one of moving, enlarging, and reducing the surveillance area so that the surveillance area includes both the first object and the second object If one operation is performed and the separation degree of the first object and the second object in the surveillance area is not included in the predetermined separation standard, the event occurrence location including the first object is set to the surveillance area. And output the image for the surveillance area to the virtual channel, set the event occurrence location containing the second object as the second surveillance area, and output the image for the second surveillance area to the second virtual channel. It may be a step.
  • the step of adjusting at least one of the number, size, and position of the surveillance area based on the occurrence location of the detected event includes the first object in the surveillance area and the second surveillance area. If the separation degree of the second object is included in the predetermined separation standard, an area including both the event occurrence location including the first object and the event occurrence location including the second object is set as the third surveillance area. and outputting an image of the third surveillance area to the virtual channel.
  • the step of setting some areas of the panoramic image as a surveillance area, but adjusting at least one of the number, size, and location of the surveillance areas based on the event detection results includes the types of detected events and Determining the type of object in the event; and generating surveillance areas corresponding to each type of the sensed event and each type of object within the event, and outputting images for the surveillance area to separate virtual channels for each created surveillance area.
  • the panoramic surveillance camera includes a plurality of image sensors that acquire a plurality of surveillance images; and a processor that generates a panoramic image by combining the plurality of surveillance images, sets a portion of the panoramic image as a surveillance area, and outputs the image of the surveillance area to a virtual channel, wherein the processor generates the panoramic image. It is possible to detect an event occurring within the device and adjust at least one of the number, size, and location of the surveillance area output to the virtual channel based on the event detection result.
  • the processor may determine the occurrence location and importance of the detected event, and adjust at least one of the number, size, and location of the surveillance area based on the occurrence location and importance. Additionally, when the processor detects the occurrence of an event outside the partial area, the processor may perform at least one of moving, enlarging, and reducing the surveillance area to include the location where the event occurred.
  • the processor may perform at least one of moving, enlarging, and reducing the surveillance area to include a location where an event of predetermined importance among the events whose importance has been determined occurred.
  • the importance is at least one of the following: whether the user selects the detected event, whether the event occurs at a preset time, whether the event occurs in a preset area, type information of the detected object, and motion information of the detected object. It can be decided based on.
  • the surveillance area output from the panoramic image to the virtual channel can be actively adjusted according to the event occurrence situation, which has the effect of increasing surveillance efficiency.
  • 1 to 2 schematically show various embodiments of a panoramic surveillance image generating device.
  • Figure 3 shows an example of a panoramic surveillance image output by a panoramic surveillance image generating device.
  • Figure 4 is a flowchart showing the operation of a panoramic surveillance image generating device according to an embodiment.
  • 5 to 8 are diagrams illustrating various examples of adjusting the number, size, and location of surveillance areas in a panoramic image based on event detection results.
  • Figure 9 is a schematic block diagram of a panoramic surveillance image generating device according to an embodiment.
  • Figure 10 is a schematic block diagram of a panoramic surveillance camera according to another embodiment.
  • Figure 11 is a diagram for explaining an AI processing unit applied to analysis of a panoramic image according to an embodiment.
  • the technology disclosed in this specification can be applied to surveillance cameras or surveillance camera systems.
  • the technology disclosed in this specification is not limited to this, and can be applied to all devices and methods to which the technical idea of the technology can be applied.
  • first, second, etc. used in this specification may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component without departing from the scope of the present invention.
  • Images according to an embodiment of the present invention include both still images and moving images, unless there is a special limitation.
  • 1 to 2 schematically show various embodiments of a panoramic surveillance image generating device.
  • a panoramic surveillance image generating device 10 may be configured to include an image capturing unit 100 and an image processing unit 200.
  • the video capture unit 100 may be an electronic device for photographing that is placed at a fixed location in a specific location, such as a location subject to surveillance. As shown, the image capture unit 100 may be composed of a single panoramic camera device 101 in which a plurality of camera modules 100a, 100b, 100c, and 100d, each equipped with an image sensor, are provided in one device housing.
  • the panoramic surveillance image generating device 11 may be configured to include an image capturing unit 110 and an image processing unit 201.
  • the video capture unit 101 may be a plurality of electronic devices for photographing that are disposed at positions capable of photographing a plurality of surveillance areas adjacent to a surveillance target location. Unlike shown in FIG. 1, the image capture unit 101 includes a plurality of camera devices 111, 112, 113, and 114 each having one image sensor or camera module 110a, 110b, 110c, and 110d in an individual housing. It may also consist of tying up a dog.
  • the plurality of camera modules 100a, 100b, 100c, and 100d or the plurality of camera devices 111, 112, 113, and 114 can each capture a monitored area as a video or still photo.
  • Camera modules (100a, 100b, 100c, 100d) and camera modules (110a, 110b, 110c, 110d) constituting the panoramic camera device 101 and the camera devices 111, 112, 113, and 114 have the same configuration. and functions, hereinafter, image capturing will be described in detail with reference to the image capturing unit 100 of FIG. 1.
  • the video capture unit 100 may be a network camera used by connecting to the Internet via wired or wireless means.
  • Each of the plurality of camera modules 100a, 100b, 100c, and 100d constituting the image capture unit 100 may be a PTZ camera with pan, tilt, and zoom functions.
  • the plurality of camera modules 100a, 100b, 100c, and 100d may be cameras including lenses and image sensors.
  • the lens may be a lens group consisting of one or more lenses.
  • An image sensor can convert an image input by a lens into an electrical signal.
  • an image sensor may be a semiconductor device such as a charge-coupled device (CCD) or complementary metal oxide semiconductor (CMOS) that can convert optical signals into electrical signals (described as images below).
  • CCD charge-coupled device
  • CMOS complementary metal oxide semiconductor
  • the image capturing unit 100 may provide an image composed of RGB, an infrared image, or a distance image including distance information for the space to be captured.
  • the video capture unit 100 may have the function of recording sounds occurring in the monitored area.
  • the video capture unit 100 may have a function to generate a notification, record a video, or take a still photo when a change such as movement or sound occurs in the monitored area.
  • the image processing unit 200 may be a device that receives the image itself captured through the image capture unit 100 and/or the image obtained by editing the image and processes it for a specified purpose.
  • the image processing unit 200 may edit the received image data to create one panoramic surveillance image.
  • Figure 3 shows an example of a panoramic surveillance image output by a panoramic surveillance image generating device.
  • the image processing unit 200 combines the images (210a, 210b, 210c, and 210d) acquired by a plurality of camera modules (100a, 100b, 100c, and 100d) to create one panoramic surveillance image (210). ) can be generated and output, and a designated portion within the panoramic surveillance image 210 can be designated and output as a separate surveillance area (220, 221). Video data corresponding to the surveillance areas 220 and 221 may be output through a virtual channel.
  • the virtual channel refers to a separate video channel that is distinct from the panoramic video channel that outputs the panoramic surveillance video 210.
  • the video processing unit 200 generates a profile for the panoramic video to be output to the panoramic video channel and a profile for the panoramic video to be output to the virtual channel. Profiles for images of the surveillance areas 220 and 221 can be separately created.
  • the image processing unit 200 can create multiple virtual channels and multiple video profiles when there are multiple surveillance areas. Virtual channels can be called by various names, such as crop channels or surveillance channels.
  • the image processing unit 200 may detect the occurrence of an event by analyzing the image data received from the image capturing unit 100. For example, the image processing unit 200 may detect the occurrence of an event in an image using an event detection algorithm and determine the type and location of the event. Additionally, the image processing unit 200 may detect an object in an image using an object detection algorithm and determine the type of the object.
  • the event detection algorithm or the object detection algorithm may be an AI-based algorithm, and may detect the occurrence of an event or detect an object by applying a pre-trained artificial neural network model.
  • the occurrence of an event and the location of the event 230 can be detected, as shown in FIG. 3. This can be detected regardless of the detection area (220, 221), and in this case, monitoring is performed due to the gap between the preset detection area (220, 221) and the location of a new event occurring outside the detection area (220, 221). There is a problem of reduced efficiency.
  • the image processing unit 200 may store various learning models suitable for image analysis purposes. In addition to the learning models for event detection and object detection described above, a model capable of calculating the movement speed of a detected object or determining the amount of movement of the object may be stored. The image processing unit 200 may perform event detection and object detection within the panoramic surveillance image 210 to increase surveillance efficiency, and may adjust the size and position of the detection areas 220 and 221 based on the detection results.
  • the event detection operation or object detection operation by the artificial neural network model may be performed in the image processing unit 200, and the AI module and NVR included as a component of the camera module constituting the image capture unit 100 It may be performed by an AI module included as a part of , or an AI box that is separate from the image capturing unit 100 and the image processing unit 200.
  • the image capturing unit 100 and the image processing unit 200 may be provided in the same housing and implemented as a single panoramic imaging device.
  • the panoramic imaging device may capture images from each camera module, merge the captured images to generate a panoramic image signal, and also generate images for a separately set surveillance area, and then output these to the outside.
  • the panoramic surveillance video generating device 10 or a portion thereof is connected to a video security solution such as a Digital Video Recorder (DVR), Central Management System (CMS), Network Video Recorder (NVR), and Video Management System (VMS) to collect video data. It may be delivered or included as part of these video security solutions.
  • a video security solution such as a Digital Video Recorder (DVR), Central Management System (CMS), Network Video Recorder (NVR), and Video Management System (VMS) to collect video data. It may be delivered or included as part of these video security solutions.
  • the panoramic surveillance image generating device 10 may be connected to a display device (not shown) that can output a panoramic image and a virtual channel image by performing wired and wireless communication with the image processing unit 200.
  • Communication networks which are wired and wireless communication paths between the panoramic surveillance image generating device 10 and the display device 300, include, for example, LANs (Local Area Networks), WANs (Wide Area Networks), MANs (Metropolitan Area Networks), and ISDNs (Integrated Service Digital Networks). It may encompass wired networks such as wired networks, wireless LANs, CDMA, Bluetooth, and satellite communications, but the scope of the present specification is not limited thereto.
  • Figure 4 is a flowchart showing the operation of a panoramic surveillance image generating device according to an embodiment.
  • the panoramic surveillance image generating device 10 creates a panoramic image by combining images captured through the image capture unit 100, and then separately designated images based on the event detection results in the panoramic image. Adjust the number, size and location of surveillance areas.
  • Figures 5 to 8 are diagrams illustrating various examples of adjusting the number, size, and position of surveillance areas in a panoramic image based on event detection results.
  • the panoramic surveillance image generating device 10 can acquire a plurality of surveillance images through a plurality of camera modules 100a, 100b, 100c, and 100d of the image capture unit 100.
  • the camera modules 100a, 100b, 100c, and 100d can obtain video data by dividing the entire surveillance area by the number of camera modules in order to obtain surveillance images in a panoramic form.
  • the quantity of camera modules can be determined depending on the angle of view of the camera module, and the larger the angle of view, the smaller the number of camera modules required.
  • the panoramic surveillance image generating device 10 may generate a panoramic image by combining a plurality of surveillance images obtained from the image capture unit 100 (S320).
  • the panoramic surveillance image generating device 10 generates one panoramic image representing the entire surveillance area through methods such as matching and stitching of the plurality of acquired surveillance images, and transmits all of the generated panoramic image data to the display device to display a large format image. It can be output to the screen.
  • the panoramic surveillance image generating device 10 outputs a panoramic image and simultaneously detects an event that occurs within the panoramic image (S330), then sets a portion of the area where the event occurred within the panoramic image as a surveillance area, and detects the event detection result. Based on this, at least one of the number, size, and location of the surveillance area can be adjusted (S340).
  • the panoramic surveillance image generating device 10 may output an image of a portion of the entire panoramic image set as a surveillance area to a virtual channel. At this time, image data for the portion set as the surveillance area may be output to the display device through a separate virtual channel.
  • the location and size of the surveillance area can be adjusted manually by user manipulation or automatically by a predetermined control signal.
  • the panoramic surveillance image generating device 10 outputs a panoramic image for the entire surveillance area and an image for a portion of the panoramic image on different displays, or as divided images within one display that outputs the panoramic image. Can be printed.
  • the image of the surveillance area is output in the form of PIP (Picture In Picture) at a certain location within the entire panoramic image, or the image of the surveillance area is displayed at a certain location within the entire panoramic image.
  • PIP Picture In Picture
  • the operation of setting some areas of the panoramic image as a surveillance area and adjusting at least one of the size and position of the surveillance area based on the event detection result allows the panoramic surveillance image generating device 10 to determine the number of events within the entire panoramic image. This may be an operation of detecting the location where the occurrence is detected and then adjusting at least one of the number, size, and location of the surveillance area based on the location of the detected event. Specifically, the panoramic surveillance image generating device 10 determines whether an event occurs in a location other than a partial area set as a surveillance area, and when it is determined that an event occurs in a location other than the partial area, the panoramic surveillance image generating device 10 determines whether an event occurs in a location other than the partial area.
  • At least one of moving, enlarging, and reducing the surveillance area so that the surveillance area includes the event occurrence location outside the partial area perform, and if the degree of separation between the event occurrence location within the partial area and the event occurrence location outside the partial area is not included in the separation criteria, a certain area including the event occurrence location outside the partial area is set to be different from the surveillance area.
  • a new surveillance area can be set, and video for the new surveillance area can be output to a new virtual channel.
  • the degree of separation between event occurrence locations within a panoramic image can be expressed as the distance between event occurrence locations.
  • the degree of separation is determined by the panoramic areas 500a, 500b, 500c, 500d) can be expressed as the distance between panoramic areas where events occurred.
  • the separation standard may be determined by whether or not event occurrence locations are included in neighboring panorama areas. Accordingly, when the degree of separation between the event occurrence location within the partial area and the event occurrence location outside the partial area is included in the separation criterion, the panoramic area where the event occurrence location within the partial area and the event occurrence location outside the partial area are adjacent to each other.
  • the event occurrence location within the partial area and the event occurrence location outside the partial area are This may be the case when they exist in panoramic areas that are not adjacent to each other.
  • Figure 5(a) shows a state in which an event has occurred in the panoramic area 500a within the panoramic image.
  • a certain area including the location of the event is set as the surveillance area 510, and the image for the surveillance area is transmitted through a virtual channel. It shows the state being output.
  • Figure 5(b) shows a state in which a new event 520 has occurred in the panoramic area 500b in addition to the panoramic area 500a in the panoramic image, and the panoramic surveillance image generating device 10 determines the location of occurrence of the existing event and Since the occurrence locations of new events are adjacent to each other based on the panoramic area, the existing surveillance area 510 is expanded, a certain area including all event occurrence locations is set as the new surveillance area 510-1, and the new surveillance area is set to 510-1.
  • FIG. 5(c) shows a state in which a new event 531 has occurred in the panoramic area 500c in addition to the panoramic area 500a in the panoramic image, and the panoramic surveillance image generating device 10 determines the location of the existing event and the occurrence location of the existing event. Since the occurrence locations of new events are not adjacent to each other based on the panoramic area, the existing surveillance area 510 is not expanded, but a new certain area containing the new event occurrence locations is set as the new surveillance area 530, and the new event occurrence locations are not adjacent to each other based on the panoramic area. This shows a state in which the video for the surveillance area 510-1 is being output to a new virtual channel.
  • the movement of the surveillance area may be to move the surveillance area so that both the location of an event within the partial area and the location of an event outside the partial area are output to the virtual channel.
  • the operation of expanding the surveillance area is performed when the location of an event within the partial area and the location of an event outside the partial area are not output to the virtual channel due to movement of the surveillance area.
  • the surveillance area may be expanded so that the location of the event occurs is output to the virtual channel.
  • the operation of reducing the surveillance area is to reduce the surveillance area so that the occurrence location of the event is output to the virtual channel when the occurrence location of the event is included in a surveillance area smaller than the surveillance area of the same size as the partial area. It may be.
  • the separation standard for the event occurrence location was divided into panoramic areas (500a, 500b, 500c, 500d) obtained from a plurality of camera modules (100a, 100b, 100c, 100d) constituting the entire panoramic image.
  • the standard may be a virtual division zone dividing the entire panoramic image, rather than a panoramic zone obtained from a camera module.
  • the entire panoramic image is divided into 4 parts in the horizontal direction and 2 parts in the new direction, dividing it into 8 panoramic areas of 4 ⁇ 2, or divided into 8 parts in the horizontal direction and 3 parts in the new direction.
  • the area it can be divided into 24 panoramic areas of 8 ⁇ 3, and the degree of separation of the event occurrence location can be determined by whether the event occurred in a panoramic area neighboring the horizontal or vertical direction.
  • the size of one surveillance area that is, the size of the image output to the virtual channel
  • the size of the image output to the virtual channel can be determined at a preset ratio compared to the size of the entire panoramic image.
  • the size of the image output through one virtual channel is at least 5% of the total panoramic image size, and can be set to not exceed a maximum of 50%.
  • the panoramic surveillance image generating device 10 can determine whether an event has occurred using motion detection, video analytics, and face detection.
  • Figure 6(a) shows an example of only moving the location without changing the size of the surveillance area according to the event detection result.
  • the left side shows before moving the surveillance area, and the right side shows after moving the surveillance area.
  • FIG. 6(a) there is a previously set surveillance area 620 within the panoramic image 610, and when the location where an event occurs is displayed as points 630 and 640 in the drawing, the event is located in the surveillance area. It can be divided into an event 630 that occurs at a location within 620 and an event 640 that occurs at a location other than the monitoring area 620.
  • the panoramic surveillance image generating device 10 does not adjust the size of the surveillance area 620, but only adjusts (moves) the position of the surveillance area 620, thereby including all locations of the generated events within the surveillance area 620. If it is determined that this can be done, the monitoring area 620 can be moved as shown on the right side of FIG. 6(a).
  • Figure 6(b) shows an example of changing the size of the surveillance area, that is, enlarging the surveillance area, according to the event detection result.
  • the left side shows the surveillance area before expansion
  • the right side shows the surveillance area after expansion.
  • FIG. 6(b) there is a previously set surveillance area 620 within the panoramic image 610, and when the location where an event occurs is displayed as points 631 and 641 in the drawing, the event is located in the surveillance area. It can be divided into an event 631 that occurs at a location within 620 and an event 641 that occurs at a location other than the monitoring area 620.
  • the panoramic surveillance image generating device 10 determines that the location of the event that occurred by adjusting the position of the surveillance area 620 cannot be included within the surveillance area 620
  • the surveillance area 620 is displayed in FIG. 6. As shown on the right side of (b), all occurring events can be included in the monitoring area 620 by enlarging it.
  • Figure 6(c) shows another example of changing the size of the surveillance area according to the event detection result, that is, an example of reducing the surveillance area.
  • the left side shows the surveillance area before reduction
  • the right side shows the surveillance area after reduction. shows.
  • FIG. 6(c) there is a previously set surveillance area 620 within the panoramic image 610, and when the location where an event occurs is displayed as points 632 and 642 in the drawing, the event is located in the surveillance area. It can be divided into an event 632 that occurs at a location within 620 and an event 642 that occurs at a location other than the monitoring area 620.
  • the panoramic surveillance image generating device 10 determines that all locations of events occurring in the reduced-sized surveillance area 620 can be included within the surveillance area 620, the surveillance area 620 is displayed in FIG. 6. It can be moved and reduced as shown on the right side of (c).
  • the panoramic surveillance image generating device 10 may determine not only the occurrence location of the detected event but also the importance of the detected event, and then adjust at least one of the size and position of the surveillance area based on the occurrence location and importance of the event. there is.
  • the panoramic surveillance image generating device 10 may perform at least one operation of moving, enlarging, and reducing the surveillance area to include the location where the event of predetermined importance occurred among the events whose importance was determined. there is.
  • a method of determining the importance of a detected event includes a method of classifying the importance of an event based on whether the user selects the detected event, and a method of classifying the importance of the event based on whether the event occurs at a preset time.
  • Method a method for classifying the importance of an event based on whether the event occurs in a preset area, a method for classifying the importance of an event based on type information of a detected object, and a method for classifying the importance of an event based on movement information of a detected object At least one method of classifying the importance of can be used.
  • the panoramic surveillance video generating device 10 determines the importance of the event when an event occurs within a specific time range set by the user. You can assign A, and if an event occurs within 1 hour before or after the specific time range you set, you can assign importance B to the event. If the event occurs at any other time, you can assign importance C to the event. As an example of a method of classifying the importance of an event based on whether the event occurs in a preset area, the panoramic surveillance video generating device 10 assigns importance level A to the event when an event occurs in a specific area set by the user. If an event occurs in a certain area outside of the set specific area, importance B can be assigned to the event, and if an event occurs in another area, importance C can be assigned to the event.
  • a method of classifying the importance of an event based on the type information of the detected object can be applied when the panoramic surveillance image generating device 10 uses an intelligent surveillance camera capable of distinguishing subjects. If the panoramic surveillance image generating device 10 determines that the object detected in the panoramic image is a person, it assigns importance A to the event in which the object is detected, and if it determines that the object detected in the panoramic image is a vehicle, the object is Importance B can be assigned to the detected event, and if it is determined that the object detected in the panoramic image is another unimportant object or animal, importance C can be assigned to the event in which the object was detected. In addition, if the object detected within the event is a person, face recognition is used.
  • A is given as the importance of the event, and the detected person is recognized as a pre-registered person.
  • B can be assigned as the importance of the event
  • C can be assigned as the importance of the event.
  • the panoramic surveillance image generating device 10 As an example of a method of classifying the importance of an event based on motion information of a detected object, the panoramic surveillance image generating device 10 generates an event according to a predetermined amount of movement according to an algorithm for determining the amount of movement of an object in the panoramic image. The importance can be classified and assigned.
  • Figure 7(a) shows an example of only moving the location without changing the size of the surveillance area according to the event detection result.
  • the left side shows before moving the surveillance area, and the right side shows after moving the surveillance area.
  • Figure 7(b) shows an example of changing the size of the surveillance area, that is, reducing the surveillance area, according to the event detection result.
  • the left side shows the surveillance area before reduction, and the right side shows the surveillance area after reduction.
  • the panoramic surveillance image generating device 10 can display the location where an event occurred within the panoramic image 710 and the importance (A, B, C) of the event that occurred at that location as shown in the drawing. .
  • the panoramic surveillance image generating device 10 can classify and display the importance of events at each location as A, B, C, etc. (importance decreases in alphabetical order) according to the method for classifying the importance of the events described above.
  • the panoramic surveillance image generating device 10 for example, if the user instructed to set the location where an event of importance B or higher (events of importance A and B) occurred as a surveillance area, ), the previously set surveillance area 720 can be moved to a new surveillance area 721.
  • the panoramic surveillance image generating device 10 monitors the surveillance area by outputting an image of the surveillance area in which at least one of the number, size, and location of the surveillance area has been adjusted to the aforementioned virtual channel (S350).
  • the area can be adjusted according to the event detection results, improving surveillance efficiency.
  • the separation degree of the first and second objects in the surveillance area is included in the predetermined separation standard, the first object and the second object in the surveillance area are different from each other. Perform at least one operation of moving, enlarging, or reducing the surveillance area to include all two objects, and the degree of separation between the first object and the second object within the surveillance area is the predetermined distance. If it is not included in the criteria, the event occurrence location containing the first object is set as the surveillance area, the video for the surveillance area is output to an existing virtual channel, and the event occurrence location containing the second object is set to the new surveillance area.
  • the surveillance image can be output in a variable manner by separating or deleting virtual channels according to the distance between objects in the surveillance area.
  • FIG. 8 shows an example of a method for precisely tracking and monitoring objects by tracking objects within a preset surveillance area, separating or combining the surveillance areas depending on the degree of separation of the objects, and outputting them to a virtual channel.
  • FIG. 8(a) ) shows an example of tracking the movement of objects in the surveillance area output to virtual channel 1
  • Figure 8(b) shows an example of tracking the movement of objects in the surveillance area output to existing virtual channel 1
  • separate virtual channel 2 shows an example of outputting a surveillance image by dividing the surveillance area by creating an example
  • Figure 8(c) is an example of tracking the movement of objects in the images of the surveillance area that are output separately into virtual channel 1 and virtual channel 2.
  • the separation distance between objects which is the standard for separating virtual channels, may be predetermined as a relative reference distance compared to the entire panoramic image size, and as described above, if an object is detected in a neighboring panoramic area among the panoramic areas constituting the panoramic image, It may be decided depending on whether there is consent or not.
  • the panoramic surveillance image generating device 10 may set some areas of the panoramic image as surveillance areas and adjust at least one of the number, size, and location of the surveillance areas based on event detection results.
  • the panoramic surveillance image generating device 10 determines the type of the detected event and the type of object within the event, creates a surveillance area corresponding to the type of the detected event and the type of object within the event, and creates a surveillance area corresponding to the type of the detected event and the type of object within the event. Videos of the surveillance area can be output as separate virtual channels. For example, if the type of event is face detection or motion detection, the panoramic surveillance image generating device 10 outputs the surveillance area corresponding to face detection to virtual channel 1, and outputs the surveillance area corresponding to motion detection to virtual channel 1. It can be output as 2.
  • the panoramic surveillance image generating device 10 outputs the surveillance area where the person was detected to virtual channel 3, and if the type of object in the event is a car, the car is output.
  • the detected surveillance area can be divided into virtual channels 4 and output.
  • Image analysis related to the event such as detecting the occurrence of an event, determining the location of the event, determining the importance of the event, and detecting an object, of the panoramic surveillance image generating device 10 described above is performed using artificial intelligence installed inside or outside the panoramic surveillance image generating device 10. It may be performed by processing means.
  • the panoramic surveillance image generating device 10 can delete a virtual channel after a certain period of time has passed. Creation or deletion of a virtual channel can be determined based on the type of detected event, frequency of occurrence, intensity of occurrence, and retention time of the event. If the creation and deletion of virtual channels becomes frequent due to the frequent occurrence and disappearance of events, there may be difficulties in operating the surveillance system. Therefore, virtual channels are created only when the intensity of the event is strong, the frequency of occurrence is high, and the maintenance time after the occurrence of the event is long. In addition, the maintenance time of the created virtual channel can be maintained for several minutes to several hours depending on user settings. The intensity of the event, frequency of occurrence, retention time after occurrence of the event, etc. can be set to values predetermined by the user.
  • Figure 9 is a schematic block diagram of a panoramic surveillance image generating device according to an embodiment.
  • the panoramic surveillance image generating device 900 may be configured to include an image capture unit 910 and an image processor 920, and the image capture unit 910 includes a plurality of camera modules 910a, 910b, 910c, and 910d.
  • the image processing unit 920 may include a panoramic image generator 921, an event detection unit 922, and a surveillance area setting unit 923.
  • the panoramic surveillance image generating device 900, the image capturing unit 910, and the image processing unit 920 are panoramic surveillance image generating devices 10 and 11 described with reference to FIGS. 1 and 2 and other drawings, respectively. It may correspond to the image capturing units 100 and 110 and the image processing units 200 and 201.
  • the video capture unit 910 acquires surveillance images of the surveillance target area through a plurality of camera modules 910a, 910b, 910c, and 910d.
  • the image processing unit 920 processes the surveillance image acquired by the image capturing unit 910 to generate a panoramic surveillance image, and adjusts the image for the surveillance area set within the panoramic surveillance image based on the event detection results.
  • the panoramic image generator 921 receives surveillance video data captured by each camera module from the plurality of camera modules 910a, 910b, 910c, and 910d of the video capture unit 910, and then combines them to generate a panoramic image. can do.
  • the panoramic image generator 921 receives surveillance video data captured by each camera module from the plurality of camera modules 910a, 910b, 910c, and 910d of the video capture unit 910, and then combines them to generate a panoramic image. can do.
  • the panoramic image generator 921 when a plurality of camera modules 910a, 910b, 910c, and 910d acquire images constituting each area of the panoramic image and transmit them to the panoramic image generator 921, the panoramic image generator 921 Although it was explained that a panoramic image is generated by combining these images, according to the embodiment, an individual image is generated for each panoramic area in a SoC (System on Chip) provided for each camera module (910a, 910b, 910c, 910d), The individual images for each panoramic area may be combined in the integrated SoC in the image capture unit 910, which integrates these individual images, to generate one overall panoramic image. Meanwhile, the integrated SoC in the image capture unit 910 may generate an image to be output to a virtual channel.
  • SoC System on Chip
  • the event detection unit 922 may detect an event that occurs within the panoramic image generated by the panoramic image generator 921. When the event detection unit 922 detects the occurrence of an event in a panoramic image, it can determine the location of the occurrence of the detected event and the importance of the detected event.
  • the importance of an event can be determined by the user selecting a specific event among the events detected by the event detection unit 922 and assigning importance to the events detected by the event detection unit 922 according to the criteria set by the user. You can also classify and assign importance to specific events.
  • the criteria set by the user may include event occurrence time, event occurrence location or area, type of object in the detected event, or movement of the object.
  • the event detection unit 922 classifies the importance of an event based on whether the user selects a specific event, and a method of classifying the importance of the event based on whether the event occurs in a preset time period.
  • a method of classifying the importance of an event based on whether the event occurs in a preset area a method of classifying the importance of an event based on the type information of the detected object, and a method of classifying the importance of the event based on the movement information of the detected object.
  • the importance of an event can be classified using at least one of the methods for classifying the importance.
  • the surveillance area setting unit 923 may set a portion of the entire panoramic image generated by the panoramic image generating unit 921 as a surveillance area and then output the image for the set surveillance area to a virtual channel. At this time, the surveillance area setting unit 923 can adjust at least one of the number of surveillance areas output to the virtual channel, the size of the surveillance area, and the location of the surveillance area based on the event detection result of the event detection unit 922. .
  • the surveillance area setting unit 923 adjusts at least one of the number, size, and location of the surveillance area based on the location of the event, or the number, size, and location of the surveillance area by considering not only the location of the event but also the importance of the event. At least one of them can be adjusted.
  • the surveillance area setting unit 923 determines the event occurrence location within the partial area and the event occurrence outside the partial area.
  • the surveillance area is moved, enlarged, or moved to include an event occurrence location outside of some areas for which the surveillance area is set, and then enlarged, reduced, or moved. At least one of the later zooming operations is performed, and if the degree of separation between the event occurrence location within the partial area and the event occurrence location outside the partial area is not included in the predetermined separation standard, the event occurrence location outside the partial area A certain area including is set as a second surveillance area, and the video for the second surveillance area is output to a second virtual channel to adjust the surveillance area according to the event detection result, that is, the location of the event.
  • the surveillance area setting unit 923 moves, enlarges, or moves and then enlarges or reduces the surveillance area so that the surveillance area includes the location where the event of predetermined importance occurred, or By performing at least one of the moving and then zooming operations, the surveillance area is adjusted according to the event detection results, that is, the location and importance of the event.
  • the surveillance area setting unit 923 determines that if the distance between the first object and the second object within the surveillance area is included in the predetermined separation standard, the surveillance area is Perform at least one operation of moving, enlarging, and reducing the surveillance area to include both the first object and the second object, and determine the degree of separation between the first object and the second object within the surveillance area in advance. If it is not included in the determined separation criteria, the event occurrence location containing the first object is set as the surveillance area, the video for the surveillance area is output to the virtual channel, and the event occurrence location containing the second object is set to the surveillance area.
  • the surveillance area setting unit 923 sets the first object in the surveillance area.
  • An area including both the event occurrence location including and the event occurrence location including the second object may be set as a third surveillance area, and the image for the third surveillance area may be output to the virtual channel.
  • the event detection unit 922 can determine the type of the detected event and the type of object within the event, and the surveillance area setting unit 923 creates a surveillance area corresponding to each type of the detected event and within the event.
  • surveillance areas corresponding to each type of object can be created, and images for the surveillance area can be output through separate virtual channels for each created surveillance area.
  • the camera module and the image generating device may be implemented as one panoramic surveillance camera, that is, one camera equipped with a plurality of image sensors.
  • the image processing unit 920 which includes the panoramic image generator 921, the event detection unit 922, and the surveillance area setting unit 923 shown in FIG. 9, is manufactured in the form of at least one hardware chip, for example, a processor, to generate the panorama. It can be mounted on a surveillance camera.
  • the functions of the panoramic image generator 921, the event detection unit 922, and the surveillance area setting unit 923 are performed using computer-readable code in a computer-readable recording medium. It is possible to implement it as, and the function may be performed in software on a processor.
  • Figure 10 is a schematic block diagram of a panoramic surveillance camera according to another embodiment.
  • the panoramic surveillance camera 1000 includes an image sensor 1010, an encoder 1020, a memory 1030, a communication unit 1040, an AI processing unit 1050, and a processor 1060.
  • the image sensor 1010 performs the function of acquiring an image by photographing a surveillance area, and may be implemented as, for example, a CCD (Charge-Coupled Device) sensor, a CMOS (Complementary Metal-Oxide-Semiconductor) sensor, etc.
  • a plurality of image sensors 1010 are provided and can acquire images for a plurality of surveillance areas.
  • the encoder 1020 encodes the image acquired through the image sensor 1010 into a digital signal, for example, H.264, H.265, MPEG (Moving Picture Experts Group), M-JPEG (Motion Joint Photographic Experts Group) standards, etc.
  • a digital signal for example, H.264, H.265, MPEG (Moving Picture Experts Group), M-JPEG (Motion Joint Photographic Experts Group) standards, etc.
  • the memory 1030 can store video data, audio data, still images, metadata, etc.
  • the metadata includes object detection information (movement, sound, intrusion into designated area, etc.) captured in the surveillance area, object identification information (person, car, face, hat, clothing, etc.), and detected location information (coordinates, size, etc.) ) may be data containing.
  • the still image is created together with the metadata and stored in the memory 1030, and may be generated by capturing image information for a specific analysis area among the image analysis information.
  • the still image may be implemented as a JPEG image file.
  • the still image may be generated by cropping a specific area of the video data determined to be an identifiable object among the video data of the surveillance area detected in a specific area and for a specific period of time, which may be generated by cropping the metadata. can be transmitted in real time.
  • the communication unit 1040 transmits the video data, audio data, still images, and/or metadata to a video security solution such as a DVR, CMS, NVR, or VMS or a display device.
  • the communication unit 1040 may transmit video data, audio data, still images, and/or metadata to a video security solution in real time.
  • the communication unit 1040 may perform at least one communication function among wired and wireless LAN (Local Area Network), Wi-Fi, ZigBee, Bluetooth, and Near Field Communication.
  • the AI processing unit 1050 is for artificial intelligence image processing. According to an embodiment of the present specification, the AI processing unit 1050 detects the occurrence of an event in an image acquired through a panoramic surveillance camera, detects the location of the event, and detects the object in the event. Detect types, movements, etc.
  • the AI processing unit 1050 may be implemented as one module with the processor 1060 that controls the overall system, or may be implemented as an independent module.
  • Embodiments of the present specification may apply the YOLO (You Only Lock Once) algorithm in object detection.
  • YOLO is an AI algorithm suitable for surveillance cameras that process real-time video because of its fast object detection speed.
  • the YOLO algorithm resizes one input image and passes it through a single neural network to indicate the location of each object. Outputs the classification probability of the bounding box and object. Finally, one object is recognized (detection) once through non-max suppression.
  • object recognition algorithm disclosed in this specification is not limited to the above-described YOLO and can be implemented with various deep learning algorithms.
  • the processor 1060 may perform all or part of the functions of the image processing unit 920, panoramic image generating unit 921, event detection unit 922, and surveillance area setting unit 923 of FIG. 9 described above.
  • the AI processing unit 1050 may perform all or part of the functions of the event detection unit 922 and the monitoring area setting unit 923.
  • Figure 11 is a diagram for explaining an AI processing unit applied to analysis of a panoramic image according to an embodiment.
  • the AI processing unit 1050 may include an electronic device including an AI module capable of performing AI processing. Additionally, the AI processing unit 1050 may be included as at least a portion of the panoramic surveillance camera 1000 and may be equipped to perform at least a portion of AI processing. AI processing may include all operations related to the processor 1060 of the panoramic surveillance camera 1000. For example, the panoramic surveillance camera 1000 can perform processing/judgment and control signal generation operations by AI processing the acquired image signal.
  • the AI processing unit 1050 may be a client device that directly uses AI processing results, or it may be a device in a cloud environment that provides AI processing results to other devices.
  • the AI processing unit 1050 is a computing device capable of learning neural networks and can be implemented in various electronic devices such as servers, desktop PCs, laptop PCs, and tablet PCs.
  • the AI processing unit 1050 may include an AI processor 21, a memory 25, and/or a communication unit 27.
  • the AI processor 21 can learn a neural network using a program stored in the memory 25.
  • the AI processor 21 can learn a neural network to recognize related data from surveillance cameras.
  • a neural network for recognizing related data from a surveillance camera may be designed to simulate the human brain structure on a computer, and may include a plurality of network nodes with weights that simulate neurons of a human neural network. there is. Multiple network modes can exchange data according to each connection relationship to simulate the synaptic activity of neurons sending and receiving signals through synapses.
  • the neural network may include a deep learning model developed from a neural network model. In a deep learning model, multiple network nodes are located in different layers and can exchange data according to convolutional connection relationships.
  • neural network models include deep neural networks (DNN), convolutional deep neural networks (CNN), Recurrent Boltzmann Machine (RNN), Restricted Boltzmann Machine (RBM), and deep trust. It includes various deep learning techniques such as deep belief networks (DBN) and Deep Q-Network, and can be applied to fields such as computer vision, speech recognition, natural language processing, and voice/signal processing.
  • DNN deep neural networks
  • CNN convolutional deep neural networks
  • RNN Recurrent Boltzmann Machine
  • RBM Restricted Boltzmann Machine
  • DNN deep trust
  • DNN deep belief networks
  • Deep Q-Network Deep Q-Network
  • the processor that performs the above-described functions may be a general-purpose processor (e.g., CPU), or may be an AI-specific processor (e.g., GPU) for artificial intelligence learning.
  • a general-purpose processor e.g., CPU
  • an AI-specific processor e.g., GPU
  • the memory 25 can store various programs and data necessary for the operation of the AI processing unit 1050.
  • the memory 25 can be implemented as non-volatile memory, volatile memory, flash-memory, hard disk drive (HDD), or solid state drive (SDD).
  • the memory 25 is accessed by the AI processor 21, and reading/writing/modifying/deleting/updating data by the AI processor 21 can be performed.
  • the memory 25 may store a neural network model (eg, deep learning model 26) generated through a learning algorithm for data classification/recognition according to an embodiment of the present invention.
  • a neural network model eg, deep learning model 26
  • the AI processor 21 may include a data learning unit 22 that learns a neural network for data classification/recognition.
  • the data learning unit 22 can learn standards regarding what learning data to use to determine data classification/recognition and how to classify and recognize data using the learning data.
  • the data learning unit 22 can learn a deep learning model by acquiring learning data to be used for learning and applying the acquired learning data to the deep learning model.
  • the data learning unit 22 may be manufactured in the form of at least one hardware chip and mounted on the AI processing unit 1050.
  • the data learning unit 22 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or may be manufactured as part of a general-purpose processor (CPU) or a graphics processor (GPU) to form the AI processing unit 1050. It may be mounted on .
  • the data learning unit 22 may be implemented as a software module. When implemented as a software module (or a program module including instructions), the software module may be stored in a non-transitory computer readable recording medium that can be read by a computer. In this case, at least one software module may be provided by an operating system (OS) or an application.
  • OS operating system
  • application application
  • the data learning unit 22 may include a learning data acquisition unit 23 and a model learning unit 24.
  • the learning data acquisition unit 23 may acquire learning data required for a neural network model for classifying and recognizing data.
  • the model learning unit 24 can use the acquired training data to train the neural network model to have a judgment standard on how to classify certain data.
  • the model learning unit 24 can learn a neural network model through supervised learning that uses at least some of the learning data as a judgment standard.
  • the model learning unit 24 can learn a neural network model through unsupervised learning, which discovers a judgment standard by learning on its own using training data without guidance.
  • the model learning unit 24 can learn a neural network model through reinforcement learning using feedback on whether the result of the situational judgment based on learning is correct.
  • the model learning unit 24 may learn a neural network model using a learning algorithm including error back-propagation or gradient descent.
  • the model learning unit 24 may store the learned neural network model in memory.
  • the model learning unit 24 may store the learned neural network model in the memory of a server connected to the AI processing unit 1050 through a wired or wireless network.
  • the data learning unit 22 further includes a learning data preprocessing unit (not shown) and a learning data selection unit (not shown) to improve the analysis results of the recognition model or save the resources or time required for generating the recognition model. You may.
  • the learning data preprocessor may preprocess the acquired data so that the acquired data can be used for learning to determine the situation. For example, the learning data preprocessor may process the acquired data into a preset format so that the model learning unit 24 can use the acquired learning data for training for image recognition.
  • the learning data selection unit may select data required for learning from among the learning data acquired by the learning data acquisition unit 23 or the learning data pre-processed by the pre-processing unit.
  • the selected learning data may be provided to the model learning unit 24.
  • the data learning unit 22 may further include a model evaluation unit (not shown) to improve the analysis results of the neural network model.
  • the model evaluation unit inputs evaluation data into the neural network model, and when the analysis result output from the evaluation data does not satisfy a predetermined standard, the model learning unit 22 can perform re-training.
  • the evaluation data may be predefined data for evaluating the recognition model.
  • the model evaluation unit may evaluate that, among the analysis results of the learned recognition model for the evaluation data, if the number or ratio of the evaluation data for which the analysis result is inaccurate exceeds a preset threshold, a predetermined standard is not satisfied. .
  • the communication unit 27 can transmit the results of AI processing by the AI processor 21 to an external electronic device.
  • external electronic devices may include other surveillance cameras, video security solutions such as DVR, CMS, NVR, and VMS, or display devices.
  • the AI processing unit 1050 shown in FIG. 10 has been described as functionally divided into the AI processor 21, memory 25, communication unit 27, etc., but the above-described components are integrated into one module to provide AI Please note that it may also be called a module.
  • steps, processes or operations may be further divided into additional steps, processes or operations, or may be combined into fewer steps, processes or operations, depending on the implementation of the invention. Additionally, some steps, processes, or operations may be omitted, or the order between steps or operations may be switched, as needed.
  • each step or operation included in the method for generating the panoramic surveillance image described above may be implemented as a computer program and stored in a computer-readable recording medium, and each step, process, or operation may be executed by a computer device. .
  • unit e.g., control unit, etc.
  • Part may be used interchangeably with terms such as unit, logic, logical block, component, or circuit, for example.
  • a “part” may be the minimum unit of an integrated part or a part thereof.
  • Part may be the minimum unit or part of one or more functions.
  • the “part” may be implemented mechanically or electronically.
  • a “part” may be an Application-Specific Integrated Circuit (ASIC) chip, Field-Programmable Gate Arrays (FPGAs), or programmable-logic device, known or to be developed in the future, that performs certain operations. It can contain at least one.
  • ASIC Application-Specific Integrated Circuit
  • FPGAs Field-Programmable Gate Arrays
  • programmable-logic device known or to be developed in the future, that performs certain operations. It can contain at least one.
  • At least a portion of the device (e.g., modules or functions thereof) or method (e.g., operations) according to various embodiments may be stored in a computer-readable storage media, e.g., in the form of a program module. It can be implemented with instructions stored in . When the instruction is executed by a processor, the one or more processors may perform the function corresponding to the instruction.
  • Computer-readable media includes all types of recording devices that store data that can be read by a computer system.
  • Computer-readable storage media/computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), and optical media (e.g.
  • CD-ROM compact disc read only memory, digital versatile disc (DVD), magneto-optical media (e.g., floptical disk), hardware devices (e.g., read only memory (ROM), random disk (RAM)) access memory, or flash memory, etc.), and may also include those implemented in the form of a carrier wave (e.g., transmission via the Internet).
  • program instructions include machine language such as that created by a compiler.
  • code it may include high-level language code that can be executed by a computer using an interpreter, etc.
  • the above-described hardware device may be configured to operate as one or more software modules to perform the operations of various embodiments, and vice versa. Same thing.
  • a module or program module may include at least one of the above-described components, some of them may be omitted, or may further include other additional components. Operations performed by modules, program modules, or other components according to various embodiments may be executed sequentially, in parallel, iteratively, or in a heuristic manner. Additionally, some operations may be executed in a different order, omitted, or other operations may be added.
  • the term “one” is defined as one or more than one. Additionally, the use of introductory phrases such as “at least one” and “one or more” in a claim may mean that the same claim contains introductory phrases such as “at least one” and “one or more” and ambiguous phrases such as “an.” The introduction of another claim element by the ambiguous phrase "a”, if any, shall be construed to mean that any particular claim containing the claim element so introduced is limited to an invention containing only one such element. It shouldn't be.
  • a reference to a system containing a specific component should also include scenarios in which the system does not contain the specific component.
  • a reference to a method that includes a specific behavior should also include scenarios in which the method does not include that specific component.
  • a reference to a system configured to perform a specific action should also include scenarios in which the system is not configured to perform a specific task.
  • any method may include at least the operations included in the drawings and/or the specification, or may include only the operations included in the drawings and/or the specification.
  • the word “comprising” does not exclude the presence of elements or acts listed in a claim.
  • the apparatus and method for generating a panoramic surveillance image of the present invention have been described with a focus on examples applied to a surveillance camera system that generates a panoramic image by combining images obtained from a plurality of image sensors, but can also be applied to various surveillance camera systems. It is possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

본 명세서는 파노라마 감시 영상 생성 장치에 관한 것이다. 상기 파노라마 감시 영상 생성 장치는 복수의 감시 영상을 획득하는 복수의 이미지 센서; 상기 복수의 감시 영상을 결합하여 파노라마 영상을 생성하는 파노라마 영상 생성부; 상기 파노라마 영상 내에서 발생하는 이벤트를 감지하는 이벤트 감지부; 및 상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하여, 상기 감시 영역에 대한 영상을 가상 채널로 출력하되, 상기 이벤트 감지부의 이벤트 감지 결과에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 감시 영역 설정부를 포함한다.

Description

파노라마 감시 영상의 생성
본 명세서는 파노라마 감시 영상의 생성에 관한 것이다.
파노라마 기술은 감시 시스템 분야에서 광역 감시의 목적으로 많이 사용되고 있다. 기존의 CCTV 카메라로서는 정해진 화각 이외의 범위를 관찰할 수 없고, 또한 PTZ 카메라를 이용하여 감시 영역을 조정한다 하더라도 넓은 지역을 동시에 관찰하기에는 불가능하다. 이를 해결하기 위해 파노라마 기술이 현재 실내/외를 가리지 않고 다양하게 사용되고 있다.
한편, 가상 채널 기술은 전체 출력 영상 중에서 특정 부분 만을 별도의 가상 채널로 출력하는 기술로 파노라마 영상 같이 넓은 범위의 영상 중에서 특정 영역에 대한 영상을 별도의 채널로 출력하여 감시의 효율을 높이고자 하는 데에 사용된다.
종래의 파노라마 감시 영상 생성 기술은 복수의 이미지 센서 또는 복수의 카메라 모듈로부터 수신한 영상 데이터를 결합하여 파노라마 영상으로 만들고, 이 중에서 특정 영역을 가상 채널로 고정하여 출력하므로 감시하고자 하는 영역이 고정되어 감시 효율이 떨어지는 문제가 있어 가상 채널을 효과적으로 사용하는 기술에 대한 필요가 있었다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 명세서는 파노라마 감시 영상 생성 장치를 제시한다. 상기 장치는 복수의 감시 영상을 획득하는 복수의 이미지 센서; 상기 복수의 감시 영상을 결합하여 파노라마 영상을 생성하는 파노라마 영상 생성부; 상기 파노라마 영상 내에서 발생하는 이벤트를 감지하는 이벤트 감지부; 및 상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하여, 상기 감시 영역에 대한 영상을 가상 채널로 출력하되, 상기 이벤트 감지부의 이벤트 감지 결과에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 감시 영역 설정부를 포함할 수 있다.
상기 장치 및 그 밖의 실시 예는 다음과 같은 특징을 포함할 수 있다.
실시 예에 따라, 상기 이벤트 감지부는 감지된 이벤트의 발생 위치를 판단하고, 상기 감시 영역 설정부는 상기 감지된 이벤트의 발생 위치에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절할 수 있다.
실시 예에 따라, 또한, 상기 감시 영역 설정부는 상기 이벤트 감지부가 상기 일부 영역 외의 위치에서 이벤트의 발생을 감지한 경우, 상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 미리 결정된 이격 기준에 포함되면, 상기 감시 영역이 상기 일부 영역 외의 이벤트 발생 위치를 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행하고, 상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 상기 미리 결정된 이격 기준에 포함되지 않으면, 상기 일부 영역 외의 이벤트 발생 위치를 포함하는 일정 영역을 제2 감시 영역으로 설정하고, 상기 제2 감시 영역에 대한 영상을 제2 가상 채널로 출력할 수 있다. 또한, 상기 이벤트 감지부는 상기 감지된 이벤트에 대한 중요도를 더 판단하고, 상기 감시 영역 설정부는 상기 감지된 이벤트의 발생 위치 및 상기 중요도에 기초하여 감시 영역의 크기 및 위치 중 적어도 하나를 조절할 수 있다.
실시 예에 따라, 또한, 상기 감시 영역 설정부는 상기 중요도가 판단된 이벤트들 중 미리 결정된 중요도의 이벤트가 발생된 위치를 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행할 수 있다.
실시 예에 따라, 또한, 상기 감시 영역의 이동 동작은 상기 일부 영역 내의 이벤트의 발생 위치 및 상기 일부 영역 외의 이벤트의 발생 위치가 모두 상기 가상 채널로 출력되도록 상기 감시 영역을 이동하고, 상기 감시 영역의 확대 동작은 상기 감시 영역의 이동으로 상기 일부 영역 내의 이벤트의 발생 위치 및 상기 일부 영역 외의 이벤트의 발생 위치 모두가 상기 가상 채널로 출력되지 않는 경우, 상기 일부 영역 및 상기 일부 영역 외의 이벤트의 발생 위치가 상기 가상 채널로 출력되도록 상기 감시 영역을 확대하고, 상기 감시 영역의 축소 동작은 이벤트의 발생 위치가 상기 일부 영역과 동일한 크기의 감시 영역보다 작은 감시 영역에 모두 포함되는 경우, 상기 이벤트의 발생 위치가 상기 가상 채널로 출력되도록 상기 감시 영역을 축소할 수 있다.
실시 예에 따라, 또한, 상기 이벤트 감지부는 사용자의 선택 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 미리 설정된 시간에서의 이벤트의 발생 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 미리 설정된 영역에서의 이벤트의 발생 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 감지된 객체의 종류 정보에 기초하여 이벤트의 중요도를 구분하는 방법, 및 감지된 객체의 움직임 정보에 기초하여 이벤트의 중요도를 구분하는 방법 중 적어도 하나의 방법으로 이벤트의 중요도를 구분할 수 있다.
실시 예에 따라, 또한, 상기 감시 영역 설정부는, 상기 감지된 이벤트의 발생 위치 판단 결과에 기초하여, 상기 감시 영역 내의 제1 객체 및 제2 객체의 이격 정도가 미리 결정된 이격 기준에 포함되면, 상기 감시 영역이 상기 제1 객체 및 상기 제2 객체를 모두 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행하고, 상기 감시 영역 내의 상기 제1 객체 및 상기 제2 객체의 이격 정도가 미리 결정된 이격 기준에 포함되지 않으면, 상기 제1 객체가 포함된 이벤트 발생 위치를 상기 감시 영역으로 설정하고 상기 감시 영역에 대한 영상을 상기 가상 채널로 출력하고, 상기 제2 객체가 포함된 이벤트 발생 위치를 제2 감시 영역으로 설정하고, 상기 제2 감시 영역에 대한 영상을 제2 가상 채널로 출력할 수 있다. 또한, 상기 감시 영역 설정부는, 상기 감시 영역 내의 상기 제1 객체 및 상기 제2 감시 영역 내의 상기 제2 객체의 이격 정도가 상기 미리 결정된 이격 기준에 포함되면, 상기 제1 객체가 포함된 이벤트 발생 위치 및 상기 제2 객체가 포함된 이벤트 발생 위치를 모두 포함하는 영역을 제3 감시 영역으로 설정하고 상기 제3 감시 영역에 대한 영상을 상기 가상 채널로 출력할 수 있다.
실시 예에 따라, 또한, 상기 이벤트 감지부는, 감지된 이벤트의 종류 및 이벤트 내의 객체의 종류를 판단하고, 상기 감시 영역 설정부는, 상기 감지된 이벤트의 종류별 및 이벤트 내의 객체의 종류별로 대응되는 감시 영역을 생성하고, 생성된 감시 영역별로 감시 영역에 대한 영상을 구분되는 가상 채널로 출력할 수 있다.
한편, 본 명세서는 파노라마 감시 영상 생성 장치에 의한 감시 영역 설정 방법을 제시한다. 상기 방법은 복수의 이미지 센서를 통해 복수의 감시 영상을 획득하는 단계; 상기 복수의 감시 영상을 결합하여 파노라마 영상을 생성하는 단계; 상기 파노라마 영상 내에서 발생하는 이벤트를 감지하는 단계; 상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하되, 이벤트 감지 결과에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계; 및 상기 감시 영역에 대한 영상을 가상 채널로 출력하는 단계를 포함할 수 있다.
상기 방법 및 그 밖의 실시 예는 다음과 같은 특징을 포함할 수 있다.
실시 예에 따라, 상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하되, 이벤트 감지 결과에 기초하여 상기 감시 영역의 크기 및 위치 중 적어도 하나를 조절하는 단계는, 감지된 이벤트에 대한 발생 위치를 감지하는 단계; 및 상기 감지된 이벤트의 발생 위치에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계를 포함할 수 있다.
실시 예에 따라, 또한, 상기 감지된 이벤트의 발생 위치에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계는, 상기 일부 영역 외의 위치에서 이벤트의 발생 여부를 판단하는 단계; 상기 일부 영역 외의 위치에서 이벤트가 발생된 것으로 판단되는 경우, 상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 미리 결정된 이격 기준에 포함되면, 상기 감시 영역이 상기 일부 영역 외의 이벤트 발생 위치를 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행하는 단계; 및 상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 상기 미리 결정된 이격 기준에 포함되지 않으면, 상기 일부 영역 외의 이벤트 발생 위치를 포함하는 일정 영역을 제2 감시 영역으로 설정하고, 상기 제2 감시 영역에 대한 영상을 제2 가상 채널로 출력하는 단계를 포함할 수 있다.
실시 예에 따라, 또한, 상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하되, 이벤트 감지 결과에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계는, 상기 감지된 이벤트에 대한 중요도를 더 판단하는 단계; 및 상기 감지된 이벤트의 발생 위치 및 상기 중요도에 기초하여 감시 영역의 크기 및 위치 중 적어도 하나를 조절하는 단계를 더 포함할 수 있다.
실시 예에 따라, 또한, 상기 감지된 이벤트의 발생 위치 및 상기 중요도에 기초하여 상기 감시 영역의 크기 및 위치 중 적어도 하나를 조절하는 단계는, 상기 중요도가 판단된 이벤트들 중 미리 결정된 중요도의 이벤트가 발생된 위치를 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행하는 단계이고, 상기 감시 영역의 이동 동작은 상기 일부 영역 내의 이벤트의 발생 위치 및 상기 일부 영역 외의 이벤트의 발생 위치가 모두 상기 가상 채널로 출력되도록 상기 감시 영역을 이동하는 것이고, 상기 감시 영역의 확대 동작은 상기 감시 영역의 이동으로 상기 일부 영역 내의 이벤트의 발생 위치 및 상기 일부 영역 외의 이벤트의 발생 위치 모두가 상기 가상 채널로 출력되지 않는 경우, 상기 일부 영역 및 상기 일부 영역 외의 이벤트의 발생 위치가 상기 가상 채널로 출력되도록 상기 감시 영역을 확대하는 것이고, 상기 감시 영역의 축소 동작은 이벤트의 발생 위치가 상기 일부 영역과 동일한 크기의 감시 영역보다 작은 감시 영역에 모두 포함되는 경우, 상기 이벤트의 발생 위치가 상기 가상 채널로 출력되도록 상기 감시 영역을 축소하는 것일 수 있다.
실시 예에 따라, 또한, 상기 감지된 이벤트에 대한 중요도를 판단하는 단계는 감지된 이벤트에 대한 사용자의 선택 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 미리 설정된 시간에서의 이벤트의 발생 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 미리 설정된 영역에서의 이벤트의 발생 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 감지된 객체의 종류 정보에 기초하여 이벤트의 중요도를 구분하는 방법, 및 감지된 객체의 움직임 정보에 기초하여 이벤트의 중요도를 구분하는 방법 중 적어도 하나의 방법으로 이벤트의 중요도를 구분하는 단계일 수 있다.
실시 예에 따라, 또한, 상기 감지된 이벤트의 발생 위치에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계는, 상기 감지된 이벤트의 발생 위치 판단 결과에 기초하여, 상기 감시 영역 내의 제1 객체 및 제2 객체의 이격 정도가 미리 결정된 이격 기준에 포함되면, 상기 감시 영역이 상기 제1 객체 및 상기 제2 객체를 모두 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행하고, 상기 감시 영역 내의 상기 제1 객체 및 상기 제2 객체의 이격 정도가 상기 미리 결정된 이격 기준에 포함되지 않으면, 상기 제1 객체가 포함된 이벤트 발생 위치를 상기 감시 영역으로 설정하고 상기 감시 영역에 대한 영상을 상기 가상 채널로 출력하고, 상기 제2 객체가 포함된 이벤트 발생 위치를 제2 감시 영역으로 설정하고, 상기 제2 감시 영역에 대한 영상을 제2 가상 채널로 출력하는 단계일 수 있다.
실시 예에 따라, 또한, 상기 감지된 이벤트의 발생 위치에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계는, 상기 감시 영역 내의 상기 제1 객체 및 상기 제2 감시 영역 내의 상기 제2 객체의 이격 정도가 상기 미리 결정된 이격 기준에 포함되면, 상기 제1 객체가 포함된 이벤트 발생 위치 및 상기 제2 객체가 포함된 이벤트 발생 위치를 모두 포함하는 영역을 제3 감시 영역으로 설정하고 상기 제3 감시 영역에 대한 영상을 상기 가상 채널로 출력하는 단계;를 더 포함할 수 있다.
실시 예에 따라, 또한, 상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하되, 이벤트 감지 결과에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계는, 감지된 이벤트의 종류 및 이벤트 내의 객체의 종류를 판단하는 단계; 및 상기 감지된 이벤트의 종류별 및 이벤트 내의 객체의 종류별로 대응되는 감시 영역을 생성하고, 생성된 감시 영역별로 감시 영역에 대한 영상을 구분되는 가상 채널로 출력하는 단계;를 포함할 수 있다.
또 다른 한편, 본 명세서는 파노라마 감시 카메라를 제시할 수 있다. 상기 파노라마 감시 카메라는 복수의 감시 영상을 획득하는 복수의 이미지 센서; 및 상기 복수의 감시 영상을 결합하여 파노라마 영상을 생성하고, 상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하여 상기 감시 영역에 대한 영상을 가상 채널로 출력하는 프로세서를 포함하고, 상기 프로세서는 상기 파노라마 영상 내에서 발생하는 이벤트를 감지하고, 상기 이벤트 감지 결과에 기초하여 상기 가상 채널로 출력되는 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절할 수 있다.
상기 장치 및 그 밖의 실시 예는 다음과 같은 특징을 포함할 수 있다.
실시 예에 따라, 상기 프로세서는 상기 감지된 이벤트의 발생 위치 및 중요도를 판단하고, 상기 발생 위치 및 상기 중요도에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절할 수 있다. 또한, 상기 프로세서는 상기 일부 영역 밖에서 이벤트의 발생을 감지한 경우, 상기 이벤트가 발생된 위치를 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행할 수 있다.
실시 예에 따라, 또한, 상기 프로세서는 상기 중요도가 판단된 이벤트들 중 미리 결정된 중요도의 이벤트가 발생된 위치를 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행할 수 있다. 상기 중요도는 감지된 이벤트에 대한 사용자의 선택 여부, 미리 설정된 시간에서의 이벤트의 발생 여부, 미리 설정된 영역에서의 이벤트의 발생 여부, 감지된 객체의 종류 정보, 및 감지된 객체의 움직임 정보 중 적어도 하나에 기초하여 결정될 수 있다.
본 명세서에 개시된 실시 예들에 의하면, 파노라마 영상에서 가상 채널로 출력되는 감시 영역을 이벤트 발생 상황에 따라 능동적으로 조절할 수 있으므로 감시 효율을 높일 수 있는 효과가 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1 내지 2는 파노라마 감시 영상 생성 장치의 다양한 실시 예를 개략적으로 도시한다.
도 3은 파노라마 감시 영상 생성 장치에 의해 출력되는 파노라마 감시 영상의 예를 도시한다.
도 4는 일 실시예에 따른 파노라마 감시 영상 생성 장치의 동작을 나타내는 흐름도이다.
도 5 내지 8은 이벤트 감지 결과에 기초하여 파노라마 영상 내의 감시 영역의 수, 크기 및 위치를 조절하는 다양한 예를 도시한 도면이다.
도 9는 일 실시예에 따른 파노라마 감시 영상 생성 장치의 개략적인 블록도이다.
도 10은 다른 실시예에 따른 파노라마 감시 카메라의 개략적인 블록도이다.
도 11은 일 실시예에 따른 파노라마 영상의 분석에 적용되는 AI 프로세싱부를 설명하기 위한 도면이다.
본 명세서에 개시된 기술은 감시 카메라 또는 감시 카메라 시스템에 적용될 수 있다. 그러나 본 명세서에 개시된 기술은 이에 한정되지 않고, 상기 기술의 기술적 사상이 적용될 수 있는 모든 장치 및 방법에도 적용될 수 있다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥 상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
본 발명의 일 실시예에 따른 영상은 특별한 한정이 없는 한 정지영상 및 동영상을 모두 포함한다.
도 1 내지 2는 파노라마 감시 영상 생성 장치의 다양한 실시 예를 개략적으로 도시한다.
도 1을 참조하면, 본 명세서의 일 실시예에 따른 파노라마 감시 영상 생성 장치(10)는 영상 촬영부(100) 및 영상 처리부(200)를 포함하여 구성될 수 있다.
영상 촬영부(100)는 감시 대상 장소 등 특정 장소의 고정된 위치에 배치되는 촬영용 전자 장치일 수 있다. 영상 촬영부(100)는 도시한 바와 같이 각각 이미지 센서를 구비한 복수의 카메라 모듈(100a, 100b, 100c, 100d)을 하나의 장치 하우징 내에 마련한 단일 파노라마 카메라 장치(101)로 구성될 수 있다.
도 2를 참조하면, 본 명세서의 일 실시예에 따른 파노라마 감시 영상 생성 장치(11)는 영상 촬영부(110) 및 영상 처리부(201)를 포함하여 구성될 수 있다.
영상 촬영부(101)는 감시 대상 장소에 대해서 이웃하는 복수의 감시 영역을 각각 촬영할 수 있는 위치에 배치되는 복수의 촬영용 전자 장치일 수 있다. 영상 촬영부(101)는 도 1에 도시한 바와 달리 개별적인 하우징 내에 각각 하나의 이미지 센서 또는 카메라 모듈(110a, 110b, 110c, 110d)을 구비한 카메라 장치(111, 112, 113, 114)들 복수 개를 묶어서 구성될 수도 있다.
도 1 및 도 2에서 상기 복수의 카메라 모듈(100a, 100b, 100c, 100d) 또는 상기 복수의 카메라 장치(111, 112, 113, 114)는 각각 감시하는 영역을 동영상이나 정지 사진으로 촬영할 수 있다.
상기 파노라마 카메라 장치(101) 및 상기 카메라 장치들(111, 112, 113, 114)을 구성하는 카메라 모듈(100a, 100b, 100c, 100d) 및 카메라 모듈(110a, 110b, 110c, 110d)은 동일한 구성 및 기능을 가지므로, 이하에서는 영상 촬영에 대해서는 도 1의 영상 촬영부(100)를 참조하여 상세하게 설명한다.
다시 도 1을 참조하면, 영상 촬영부(100)는 유무선으로 인터넷에 연결하여 사용하는 네트워크 카메라일 수 있다. 영상 촬영부(100)를 구성하는 복수의 카메라 모듈(100a, 100b, 100c, 100d) 각각은 팬(pan), 틸트(tilt), 및 줌(zoom) 기능을 갖는 PTZ 카메라일 수 있다. 상기 복수의 카메라 모듈(100a, 100b, 100c, 100d) 렌즈 및 이미지 센서를 포함하는 카메라 일 수 있다. 렌즈는 1매 이상의 렌즈로 구성되는 렌즈군일 수 있다. 이미지 센서는 렌즈에 의하여 입력된 영상을 전기적 신호로 변환할 수 있다. 예컨대, 이미지 센서는 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)와 같이 광학 신호를 전기적 신호(이하 영상으로 설명함)로 변환할 수 있는 반도체 소자일 수 있다. 영상 촬영부(100)는 촬영 대상 공간에 대한 RGB로 구성된 영상, 적외선 영상 또는 거리 정보를 포함하는 거리 영상 등을 제공할 수 있다. 영상 촬영부(100)는 감시하는 영역에서 발생하는 소리를 녹음하는 기능을 가질 수 있다. 영상 촬영부(100)는 감시하는 영역에서 움직임 또는 소리 등 변화가 발생할 경우, 이에 대한 알림을 발생시키거나 동영상을 녹화 또는 정지 사진 촬영을 수행하는 기능을 가질 수 있다.
영상 처리부(200)는 영상 촬영부(100)를 통하여 촬영된 영상 자체 및/또는 해당 영상을 편집하여 얻어지는 영상을 수신하여 정해진 목적에 맞게 처리하는 장치일 수 있다. 영상 처리부(200)는 수신된 영상 데이터를 편집하여 하나의 파노라마 감시 영상을 생성할 수 있다.
도 3은 파노라마 감시 영상 생성 장치에 의해 출력되는 파노라마 감시 영상의 예를 도시한다.
도 3을 참조하면, 영상 처리부(200)는 복수의 카메라 모듈(100a, 100b, 100c, 100d)에 의해 획득된 영상들(210a, 210b, 210c, 210d)을 결합하여 하나의 파노라마 감시 영상(210)을 생성하여 출력하고, 파노라마 감시 영상(210) 내에서 지정된 일정 부분을 별도의 감시 영역(220, 221)으로 지정하여 출력할 수 있다. 감시 영역(220, 221)에 해당하는 영상은 가상 채널을 통해 영상 데이터가 출력될 수 있다. 가상 채널은 파노라마 감시 영상(210)을 출력하는 파노라마 영상 채널과 구분되는 별도의 영상 채널을 의미하는 것으로, 영상 처리부(200)는 파노라마 영상 채널로 출력될 파노라마 영상에 대한 프로파일과, 가상 채널로 출력될 감시 영역(220, 221)의 영상에 대한 프로파일들을 별도로 생성할 수 있다. 여기에서 영상 처리부(200)는 감시 영역이 복수일 경우에는 복수의 가상 채널 및 복수의 영상 프로파일을 생성할 수 있다. 가상 채널은 크롭 채널, 감시 채널 등 여러 가지 이름으로 불릴 수 있다.
영상 처리부(200)는 영상 촬영부(100)로부터 수신한 영상 데이터를 분석하여 이벤트의 발생을 감지할 수 있다. 예를 들어, 영상 처리부(200)는 이벤트 감지 알고리즘을 이용하여 영상에서 이벤트의 발생을 감지하고, 이벤트의 종류 및 발생 위치를 판단할 수 있다. 또한, 영상 처리부(200)는 객체 감지 알고리즘을 이용하여 영상에서 객체를 감지하고, 객체의 종류를 판단할 수 있다. 상기 이벤트 감지 알고리즘 또는 상기 객체 감지 알고리즘은 AI 기반 알고리즘이 적용될 수 있으며, 미리 학습된 인공신경망 모델을 적용하여 이벤트의 발생을 감지하거나 객체를 감지할 수 있다.
파노라마 감시 영상(210) 내에서는 도 3에 도시한 바와 같이 이벤트의 발생 및 이벤트의 발생 위치(230)가 감지될 수 있다. 이는 감지 영역(220, 221)과 상관없이 감지될 수 있으며, 이 경우, 기 설정된 감지 영역(220, 221)과 감지 영역(220, 221) 외에서 신규로 발생된 이벤트의 위치와의 괴리로 인해 감시 효율이 떨어지게 되는 문제가 있다.
한편, 영상 처리부(200)는 영상 분석 목적에 적합한 다양한 학습 모델을 저장하고 있을 수 있다. 전술한 이벤트 발생 감지 및 객체 감지를 위한 학습 모델 외에, 감지된 객체의 이동 속도를 산출하거나 객체의 움직임 량을 판단할 수 있는 모델을 저장하고 있을 수도 있다. 영상 처리부(200)는 감시 효율을 높이기 위해 파노라마 감시 영상(210) 내에서 이벤트 발생 감지 및 객체 감지를 수행하고, 감지 결과에 기초하여 감지 영역(220, 221)의 크기와 위치를 조정할 수 있다.
실시 예에 따라, 상기 인공신경망 모델에 의한 이벤트 감지 동작 또는 객체 감지 동작은 영상 처리부(200)에서 수행될 수 있으며, 영상 촬영부(100)를 구성하는 카메라 모듈의 구성으로 포함되는 AI 모듈, NVR의 일부 구성으로 포함되는 AI 모듈, 또는 영상 촬영부(100) 및 영상 처리부(200)와 별도로 분리되어 있는 AI 박스 등에 의해서 수행될 수도 있다.
영상 촬영부(100)와 영상 처리부(200)는 동일 하우징 내에 마련되어 하나의 파노라마 영상 장치로 구현될 수도 있다. 이 경우, 파노라마 영상 장치는 각 카메라 모듈에서 영상을 촬영하고, 촬영된 영상을 병합하여 파노라마 영상 신호를 생성하고, 별도로 설정된 감시 영역에 대한 영상도 생성한 뒤, 이들을 외부로 출력할 수도 있다.
파노라마 감시 영상 생성 장치(10) 또는 그 일부 구성은 DVR(Digital Video Recorder), CMS(Central Management System), NVR(Network Video Recorder), VMS(Video Management System) 등의 영상 보안 솔루션과 연결되어 영상 데이터를 전달하거나 이들 영상 보안 솔루션의 일부 구성으로 포함될 수도 있다.
파노라마 감시 영상 생성 장치(10)는 영상 처리부(200)와 유무선 통신을 수행하여 파노라마 영상 및 가상 채널의 영상을 출력할 수 있는 디스플레이 장치(도시하지 않음)에 연결될 수 있다.
파노라마 감시 영상 생성 장치(10)와 디스플레이 장치(300) 간의 유무선 통신 경로인 통신망은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트 워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 명세서의 범위가 이에 한정되는 것은 아니다.
도 4는 일 실시예에 따른 파노라마 감시 영상 생성 장치의 동작을 나타내는 흐름도이다.
본 명세서에 개시된 일 실시 예에 따른 파노라마 감시 영상 생성 장치(10)는 영상 촬영부(100)를 통해 촬영된 영상을 결합하여 파노라마 영상을 만든 뒤, 파노라마 영상에서의 이벤트 감지 결과에 기초하여 별도로 지정된 감시 영역의 수, 크기 및 위치를 조절한다.
도 5 내지 도 8은 이벤트 감지 결과에 기초하여 파노라마 영상 내의 감시 영역의 수, 크기 및 위치를 조절하는 다양한 예를 도시한 도면이다.
도 1 및 도 4를 참조하면, 먼저, 파노라마 감시 영상 생성 장치(10)는 영상 촬영부(100)의 복수의 카메라 모듈(100a, 100b, 100c, 100d)을 통해 복수의 감시 영상을 획득할 수 있다(S310). 카메라 모듈(100a, 100b, 100c, 100d)은 파노라마 형태로 감시 영상을 얻기 위해 전체 감시 영역을 카메라 모듈의 수만큼 분할하여 영상 데이터를 획득할 수 있다. 카메라 모듈의 수량은 카메라 모듈의 화각에 따라 결정될 수 있으며, 화각이 클수록 필요한 카메라 모듈의 수량이 적어진다.
다음으로, 파노라마 감시 영상 생성 장치(10)는 영상 촬영부(100)에서 획득된 복수의 감시 영상을 결합하여 파노라마 영상을 생성할 수 있다(S320). 파노라마 감시 영상 생성 장치(10)는 획득된 복수의 감시 영상을 정합, 스티치 등의 방법을 통해 감시 영역 전체를 나타내는 하나의 파노라마 영상을 생성하고, 생성된 파노라마 영상 데이터 전체를 디스플레이 장치로 전송하여 대형화면으로 출력할 수 있다.
파노라마 감시 영상 생성 장치(10)는 파노라마 영상을 출력하는 동시에 파노라마 영상 내에서 발생하는 이벤트를 감지(S330)한 뒤, 파노라마 영상 내에서 이벤트가 발생된 일부 영역을 감시 영역으로 설정하되, 이벤트 감지 결과에 기초하여 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절할 수 있다(S340). 파노라마 감시 영상 생성 장치(10)는 전체 파노라마 영상 중 감시 영역으로 설정된 일부 영역에 대한 영상을 가상 채널로 출력할 수 있다. 이 때, 감시 영역으로 설정된 부분에 대한 영상 데이터는 별도의 가상 채널을 통해 디스플레이 장치로 출력될 수 있다. 상기 감시 영역은 사용자의 조작에 의해 수동으로 또는 미리 결정된 제어신호에 의해 자동으로 그 위치와 크기가 조정될 수 있다. 파노라마 감시 영상 생성 장치(10)는 감시 영역 전체에 대한 파노라마 영상과 파노라마 영상 중 일부 영역에 대한 감시 영역의 영상을 서로 다른 디스플레이로 출력하거나, 파노라마 영상을 출력하는 하나의 디스플레이 내에서 구분된 영상으로 출력할 수 있다. 하나의 디스플레이 내에서 파노라마 영상과 감시 영역에 대한 영상이 동시에 출력되는 경우에는, 감시 영역에 대한 영상이 전체 파노라마 영상 내에서 일부 위치에 PIP(Picture In Picture) 형태로 출력되거나, 감시 영역에 대한 영상이 전체 파노라마 영상 내에서 이벤트가 발생한 위치에 중첩하여 확대된 영상 또는 강조된 영상으로 PIP 형태로 출력될 수도 있다.
상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하되, 이벤트 감지 결과에 기초하여 감시 영역의 크기 및 위치 중 적어도 하나를 조절하는 동작은, 파노라마 감시 영상 생성 장치(10)가 전체 파노라마 영상 내에서 이벤트의 발생이 감지된 위치를 감지한 뒤, 감지된 이벤트의 발생 위치에 기초하여 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 동작일 수 있다. 구체적으로 설명하면, 파노라마 감시 영상 생성 장치(10)는 감시 영역으로 설정된 일부 영역 외의 위치에서 이벤트의 발생 여부를 판단하여 상기 일부 영역 외의 위치에서 이벤트가 발생된 것으로 판단되는 경우, 상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 이격 기준에 포함되면, 상기 감시 영역이 상기 일부 영역 외의 이벤트 발생 위치를 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 동작 중 적어도 하나의 동작을 수행하고, 상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 상기 이격 기준에 포함되지 않으면, 상기 일부 영역 외의 이벤트 발생 위치를 포함하는 일정 영역을 상기 감시 영역과는 다른 새로운 감시 영역으로 설정하고, 상기 새로운 감시 영역에 대한 영상을 새로운 가상 채널로 출력할 수 있다.
파노라마 영상 내에서 이벤트 발생 위치들 간의 이격 정도는 이벤트 발생 위치들 간의 거리로 나타낼 수 있다. 도 1 및 도 5를 참조하면, 예를 들어, 이격 정도는 영상 촬영부(100)의 복수의 카메라 모듈(100a, 100b, 100c, 100d)에서 획득한 파노라마 영상의 파노라마 영역들(500a, 500b, 500c, 500d)에서 이벤트들이 발생한 파노라마 영역 간 거리로 나타낼 수 있다. 이 경우, 이격 기준은 이벤트 발생 위치들이 서로 이웃하는 파노라마 영역에 포함되는 지의 여부로 결정될 수 있다. 따라서, 상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 상기 이격 기준에 포함되는 경우는 상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치가 서로 이웃하는 파노라마 영역에 존재하는 경우이고, 상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 상기 이격 기준에 포함되지 않는 경우는 상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치가 서로 이웃하지 않는 파노라마 영역에 존재하는 경우일 수 있다.
도 5(a)는 파노라마 영상 내에서 파노라마 영역(500a)에 이벤트가 발생한 상태를 나타내고 있는 것으로, 이벤트 발생 위치를 포함하는 일정 영역이 감시 영역(510)으로 설정되어 감시 영역에 대한 영상이 가상채널로 출력되고 있는 상태를 도시한다. 도 5(b)는 파노라마 영상 내에서 파노라마 영역(500a) 외에 파노라마 영역(500b)에 신규 이벤트(520)가 발생한 상태를 나타내고 있는 것으로, 파노라마 감시 영상 생성 장치(10)는 기존 이벤트의 발생 위치와 신규 이벤트의 발생 위치가 파노라마 영역 기준으로 서로 이웃하고 있으므로, 기존의 감시 영역(510)을 확대하여 이벤트 발생 위치들 모두를 포함하는 일정 영역을 신규 감시 영역(510-1)으로 설정하고, 신규 감시 영역(510-1)에 대한 영상을 가상채널로 출력하고 있는 상태를 도시한다. 도 5(c)는 파노라마 영상 내에서 파노라마 영역(500a) 외에 파노라마 영역(500c)에 신규 이벤트(531)가 발생한 상태를 나타내고 있는 것으로, 파노라마 감시 영상 생성 장치(10)는 기존 이벤트의 발생 위치와 신규 이벤트의 발생 위치가 파노라마 영역 기준으로 서로 이웃하고 있지 않으므로, 기존의 감시 영역(510)을 확대하지 않고, 신규 이벤트 발생 위치들을 포함하는 새로운 일정 영역을 신규 감시 영역(530)으로 설정하고, 신규 감시 영역(510-1)에 대한 영상을 새로운 가상채널로 출력하고 있는 상태를 도시한다.
이하에서는 상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 이격 기준에 포함되면, 상기 감시 영역이 상기 일부 영역 외의 이벤트 발생 위치를 포함하게 만드는 감시 영역의 이동, 확대, 및 축소 동작에 대해서 설명한다. 예를 들어, 상기 감시 영역의 이동 동작은, 상기 일부 영역 내의 이벤트의 발생 위치 및 상기 일부 영역 외의 이벤트의 발생 위치가 모두 상기 가상 채널로 출력되도록 상기 감시 영역을 이동하는 것일 수 있다. 상기 감시 영역의 확대 동작은, 상기 감시 영역의 이동으로 상기 일부 영역 내의 이벤트의 발생 위치 및 상기 일부 영역 외의 이벤트의 발생 위치 모두가 상기 가상 채널로 출력되지 않는 경우, 상기 일부 영역 및 상기 일부 영역 외의 이벤트의 발생 위치가 상기 가상 채널로 출력되도록 상기 감시 영역을 확대하는 것일 수 있다. 상기 감시 영역의 축소 동작은, 이벤트의 발생 위치가 상기 일부 영역과 동일한 크기의 감시 영역보다 작은 감시 영역에 모두 포함되는 경우, 상기 이벤트의 발생 위치가 상기 가상 채널로 출력되도록 상기 감시 영역을 축소하는 것일 수 있다.
도 5의 실시 예에서 이벤트 발생 위치의 이격 기준은 전체 파노라마 영상을 구성하는 복수의 카메라 모듈(100a, 100b, 100c, 100d)에서 획득한 파노라마 영역들(500a, 500b, 500c, 500d)로 구분되었지만, 실시 예에 따라, 카메라 모듈에서 획득한 파노라마 영역이 아닌, 전체 파노라마 영상을 구분한 가상의 구분 구역으로 기준을 삼을 수 있다. 예를 들어, 전체 파노라마 영상을 가로 방향으로 4등분, 새로 방향으로 2등분으로 영역을 구분하여, 4×2의 8개 파노라마 영역들로 구분하거나, 가로 방향으로 8등분, 새로 방향으로 3등분으로 영역을 구분하여, 8×3의 24개 파노라마 영역들로 구분할 수 있으며, 가로 방향 또는 세로 방향을 이웃하는 파노라마 영역에서 이벤트가 발생하였는 지의 여부로 이벤트 발생 위치의 이격 정도를 판단할 수도 있다.
한편, 하나의 감시 영역의 크기, 즉 가상 채널로 출력되는 영상의 크기는 전체 파노라마 영상 크기에 대비하여 미리 설정한 비율로 결정될 수 있다. 예를 들어, 하나의 가상 채널로 출력되는 영상의 크기는 전체 파노라마 영상 크기의 최소 5% 이상이며, 최대 50%를 넘지 못하도록 설정될 수 있다.
파노라마 감시 영상 생성 장치(10)는 모션 감지(Motion Detection), 비디오 분석(Video analytics), 및 얼굴 인식(Face Detection) 등으로 이벤트의 발생 여부를 판단할 수 있다.
도 6(a)는 이벤트 감지 결과에 따라 감시 영역의 크기 변경 없이 위치만 이동하는 예를 도시하는 것으로, 좌측은 감시 영역의 이동 전을 도시하고, 우측은 감시 영역의 이동 후를 도시한다. 도 6(a)를 참조하면, 파노라마 영상(610) 내에서 이전에 설정된 감시 영역(620)이 있고, 이벤트가 발생한 위치를 도면의 점(630, 640) 등과 같이 표시할 때, 이벤트는 감시 영역(620) 내의 위치에서 발생한 이벤트(630)와 감시 영역(620) 외의 위치에서 발생한 이벤트(640)로 구분될 수 있다. 이 때, 파노라마 감시 영상 생성 장치(10)는 감시 영역(620)의 크기를 조절하지 않고 감시 영역(620)의 위치만 조절(이동)하여 발생된 이벤트의 위치를 모두 감시 영역(620) 내에 포함시킬 수 있다고 판단되면, 감시 영역(620)을 도 6(a)의 우측에 도시한 바와 같이 이동시킬 수 있다.
도 6(b)는 이벤트 감지 결과에 따라 감시 영역의 크기 변경, 즉 감시 영역을 확대하는 예를 도시하는 것으로, 좌측은 감시 영역의 확대 전을 도시하고, 우측은 감시 영역의 확대 후를 도시한다. 도 6(b)를 참조하면, 파노라마 영상(610) 내에서 이전에 설정된 감시 영역(620)이 있고, 이벤트가 발생한 위치를 도면의 점(631, 641)과 같이 표시할 때, 이벤트는 감시 영역(620) 내의 위치에서 발생한 이벤트(631)와 감시 영역(620) 외의 위치에서 발생한 이벤트(641)로 구분될 수 있다. 이 때, 파노라마 감시 영상 생성 장치(10)는 감시 영역(620)의 위치를 조절하여 발생된 이벤트의 위치를 모두 감시 영역(620) 내에 포함시킬 수 없다고 판단되면, 감시 영역(620)을 도 6(b)의 우측에 도시한 바와 같이 확대시켜 모든 발생 이벤트를 감시 영역(620) 내에 포함시킬 수 있다.
도 6(c)는 이벤트 감지 결과에 따른 감시 영역의 크기 변경의 다른 예, 즉 감시 영역을 축소하는 예를 도시하는 것으로, 좌측은 감시 영역의 축소 전을 도시하고, 우측은 감시 영역의 축소 후를 도시한다. 도 6(c)를 참조하면, 파노라마 영상(610) 내에서 이전에 설정된 감시 영역(620)이 있고, 이벤트가 발생한 위치를 도면의 점(632, 642)과 같이 표시할 때, 이벤트는 감시 영역(620) 내의 위치에서 발생한 이벤트(632)와 감시 영역(620) 외의 위치에서 발생한 이벤트(642)로 구분될 수 있다. 이 때, 파노라마 감시 영상 생성 장치(10)는 축소된 크기의 감시 영역(620)으로 발생된 이벤트의 위치를 모두 감시 영역(620) 내에 포함시킬 수 있다고 판단되면, 감시 영역(620)을 도 6(c)의 우측에 도시한 바와 같이 이동 및 축소시킬 수 있다.
이에 더하여, 파노라마 감시 영상 생성 장치(10)는 감지된 이벤트의 발생 위치뿐만 아니라 감지된 이벤트의 중요도를 판단한 뒤, 이벤트의 발생 위치 및 중요도에 기초하여 감시 영역의 크기 및 위치 중 적어도 하나를 조절할 수 있다. 예를 들어, 파노라마 감시 영상 생성 장치(10)는 중요도가 판단된 이벤트들 중 미리 결정된 중요도의 이벤트가 발생된 위치를 포함하도록 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행할 수 있다. 감지된 이벤트에 대한 중요도를 판단하는 방법은, 감지된 이벤트에 대한 사용자의 선택 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 미리 설정된 시간에서의 이벤트의 발생 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 미리 설정된 영역에서의 이벤트의 발생 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 감지된 객체의 종류 정보에 기초하여 이벤트의 중요도를 구분하는 방법, 및 감지된 객체의 움직임 정보에 기초하여 이벤트의 중요도를 구분하는 방법 중 적어도 하나의 방법이 사용될 수 있다.
미리 설정된 시간에서의 이벤트의 발생 여부에 기초하여 이벤트의 중요도를 구분하는 방법에 대한 예를 들면, 파노라마 감시 영상 생성 장치(10)는 사용자가 설정한 특정 시간 범위 안에서 이벤트가 발생하면 해당 이벤트에 중요도 A를 부여하고, 설정한 특정 시간 범위 전후의 1시간 안에서 이벤트가 발생하면 해당 이벤트에 중요도 B를 부여하고, 그 밖의 시간에 이벤트가 발행하면 해당 이벤트에 중요도 C를 부여할 수 있다. 미리 설정된 영역에서의 이벤트의 발생 여부에 기초하여 이벤트의 중요도를 구분하는 방법의 예를 들면, 파노라마 감시 영상 생성 장치(10)는 사용자가 설정한 특정 영역 안에서 이벤트가 발생하면 해당 이벤트에 중요도 A를 부여하고, 설정한 특정 영역 밖의 일정 영역 안에서 이벤트가 발생하면 해당 이벤트에 중요도 B를 부여하고, 그 밖의 영역에서 이벤트가 발행하면 해당 이벤트에 중요도 C를 부여할 수 있다.
감지된 객체의 종류 정보에 기초하여 이벤트의 중요도를 구분하는 방법의 예를 들면, 파노라마 감시 영상 생성 장치(10)가 피사체를 구분할 수 있는 지능형 감시카메라를 사용하는 경우에 적용될 수 있다. 파노라마 감시 영상 생성 장치(10)는 파노라마 영상 내에서 감지된 객체가 사람인 것으로 판단한 경우 해당 객체가 감지된 이벤트에 중요도 A를 부여하고, 파노라마 영상 내에서 감지된 객체가 차량인 것으로 판단한 경우 해당 객체가 감지된 이벤트에 중요도 B를 부여하고, 파노라마 영상 내에서 감지된 객체가 그 밖의 중요하지 않은 사물이나 동물인 것으로 판단한 경우 해당 객체가 감지된 이벤트에 중요도 C를 부여할 수 있다. 여기에 더하여 이벤트 내에서 감지된 객체가 사람인 경우에는 얼굴 인식을 통해, 감지된 사람이 위험 인물로 인식된 경우에는 해당 이벤트의 중요도로 A를 부여하고, 감지된 사람이 미리 등록해둔 인물로 인식된 경우에는 해당 이벤트의 중요도로 B를 부여하고, 감지된 사람이 외부인(이방인)으로 인식된 경우에는 해당 이벤트의 중요도로 C를 부여할 수 있다.
감지된 객체의 움직임 정보에 기초하여 이벤트의 중요도를 구분하는 방법의 예를 들면, 파노라마 감시 영상 생성 장치(10)는 파노라마 영상 내의 객체의 움직임 량을 판단하는 알고리즘에 따라 미리 결정된 움직임 량에 따라 이벤트의 중요도를 구분하여 부여할 수 있다.
도 7(a)는 이벤트 감지 결과에 따라 감시 영역의 크기 변경 없이 위치만 이동하는 예를 도시하는 것으로, 좌측은 감시 영역의 이동 전을 도시하고, 우측은 감시 영역의 이동 후를 도시한다. 도 7(b)는 이벤트 감지 결과에 따라 감시 영역의 크기 변경, 즉 감시 영역을 축소하는 예를 도시하고, 좌측은 감시 영역의 축소 전을 도시하고, 우측은 감시 영역의 축소 후를 도시한다.
도 7을 참조하면, 파노라마 감시 영상 생성 장치(10)는 파노라마 영상(710) 내에서 이벤트가 발생한 위치 및 해당 위치에서 발생된 이벤트의 중요도(A, B, C)를 도면과 같이 표시할 수 있다. 파노라마 감시 영상 생성 장치(10)는 전술한 이벤트의 중요도를 구분하는 방법에 따라 각 위치의 이벤트에 대해서 A, B, C 등으로 중요도(알파벳 순서로 중요도가 낮아짐)를 구분하여 표시할 수 있다. 파노라마 감시 영상 생성 장치(10)는 사용자의 설정에 따라, 예를 들어, 사용자가 중요도 B 이상의 이벤트(중요도 A 및 B의 이벤트)가 발생한 위치를 감시 영역으로 설정하라는 지시가 있었으면, 도 7(a)에 도시한 바와 같이 이전에 설정된 감시 영역(720)을 새로운 감시 영역(721)으로 이동시킬 수 있다. 한편, 다른 예를 들면, 사용자가 중요도 A인 이벤트만 발생한 위치를 감시 영역으로 설정하라는 지시가 있었으면, 도 7(b)에 도시한 바와 같이 이전에 설정된 감시 영역(720)을 새로운 감시 영역(722)으로 이동 및 축소하여 중요도 A인 이벤트가 발생한 위치들 만을 감시 영역으로 설정하여 가상 채널로 출력할 수 있다.
다시 도 4를 참조하면, 마지막으로, 파노라마 감시 영상 생성 장치(10)는 감시 영역의 수와 크기와 위치 중 적어도 하나가 조절된 감시 영역에 대한 영상을 전술한 가상 채널로 출력함으로써(S350) 감시 영역을 이벤트 감지 결과에 따라서 조절할 수 있어 감시 효율을 높일 수 있다.
한편, 상기 감지된 이벤트의 발생 위치 판단 결과에 기초하여, 감시 영역 내의 서로 다른 제1 및 제2 객체의 이격 정도가 미리 결정된 이격 기준에 포함되면, 감시 영역이 서로 다른 상기 제1 객체 및 상기 제2 객체를 모두 포함하도록 상기 감시 영역을 이동하거나, 확대하거나, 또는 축소하는 동작 중 적어도 하나의 동작을 수행하고, 상기 감시 영역 내의 상기 제1 객체 및 상기 제2 객체의 이격 정도가 상기 미리 결정된 이격 기준에 포함되지 않으면, 상기 제1 객체가 포함된 이벤트 발생 위치를 상기 감시 영역으로 설정하고 상기 감시 영역에 대한 영상을 기존의 가상 채널로 출력하고, 상기 제2 객체가 포함된 이벤트 발생 위치를 새로운 감시 영역으로 설정하고, 상기 새로운 감시 영역에 대한 영상을 새로운 가상 채널로 출력할 수 있다. 그러나, 상기 기존 감시 영역 내의 상기 제1 객체와 상기 새로운 감시 영역 내의 상기 제2 객체들이 다시 이동하여 서로 가까워지면, 즉, 두 객체 간의 이격 정도가 상기 미리 결정된 이격 기준에 포함되면, 상기 제1 객체가 포함된 이벤트 발생 위치 및 상기 제2 객체가 포함된 이벤트 발생 위치를 모두 포함하는 영역을 감시 영역으로 설정하고 상기 감시 영역에 대한 영상을 기존의 가상 채널 및 새로운 가상 채널 중 어느 하나로 출력하고, 영상이 출력되지 않는 가상 채널을 삭제시킬 수 있다. 즉, 감시 영역 내의 객체들 간의 거리에 따라 가상 채널을 분리 또는 삭제하여 감시 영상을 가변하여 출력할 수 있다.
도 8은 기 설정된 감시 영역 내의 객체를 추적하여, 객체들의 이격 정도에 따라 감시 영역을 분리 또는 결합하여 가상 채널로 출력함으로써 객체들을 정밀하게 추적 감시하는 방법의 예를 도시하는 것으로, 도 8(a)는 가상 채널1로 출력되는 감시 영역 내의 객체들의 이동을 추적하는 예를 도시하고, 도 8(b)는 기존의 가상 채널1로 출력되는 감시 영역 내의 객체들이 이격되었을 때, 별도의 가상 채널2를 생성하여 감시 영역을 분리하여 감시 영상을 출력하는 예를 도시하고, 도 8(c)는 가상 채널1 및 가상 채널2로 분리되어 출력되는 감시 영역에 대한 영상들 내의 객체들의 이동을 추적하는 예를 도시하고, 도 8(d)는 는 가상 채널1로 출력되는 감시 영역 내의 객체 및 가상 채널2로 분리되어 출력되는 감시 영역 내의 객체가 서로 가까워졌을 때, 기존의 가상 채널1을 소멸시키고 가상 채널2로만 감시 영상을 출력하는 예를 도시한다. 가상 채널을 분리하는 기준이 되는 객체 간의 이격 거리는 전체 파노라마 영상 크기에 대비한 상대적 기준 거리로 미리 결정될 수 있고, 전술한 바와 같이 파노라마 영상을 구성하는 파노라마 영역들 중 이웃하는 파노라마 영역 내에 객체가 감지되었는 지의 여부에 따라 결정될 수도 있다.
여기에 더하여, 파노라마 감시 영상 생성 장치(10)는 상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하되, 이벤트 감지 결과에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절할 수 있다. 파노라마 감시 영상 생성 장치(10)는 감지된 이벤트의 종류 및 이벤트 내의 객체의 종류를 판단하고, 상기 감지된 이벤트의 종류별 및 이벤트 내의 객체의 종류별로 대응되는 감시 영역을 생성하고, 생성된 감시 영역별로 감시 영역에 대한 영상을 구분되는 가상 채널로 출력할 수 있다. 예를 들어, 파노라마 감시 영상 생성 장치(10)는 이벤트의 종류가 페이스 디텍션 또는 모션 디텍션인 경우, 페이스 디텍션에 해당하는 감시 영역은 가상 채널 1로 출력하고, 모션 디텍션에 해당하는 감시 영역은 가상 채널 2로 출력할 수 있다. 또한, 예를 들어, 파노라마 감시 영상 생성 장치(10)는 이벤트 내의 객체의 종류가 사람인 경우에는 사람이 감지된 감시 영역을 가상 채널 3으로 출력하고, 이벤트 내의 객체의 종류가 자동차인 경우에는 자동차가 감지된 감시 영역을 가상 채널 4로 구분하여 출력할 수 있다.
전술한 파노라마 감시 영상 생성 장치(10)의 이벤트 발생 감지, 이벤트 발생 위치 판단, 이벤트의 중요도 판단, 객체 검출 등 이벤트와 관련된 영상 분석은 파노라마 감시 영상 생성 장치(10) 내부 또는 외부에 구비된 인공지능 프로세싱 수단에 의해서 수행될 수 있다.
여기에 더하여, 파노라마 감시 영상 생성 장치(10)는 가상 채널을 생성한 뒤에 일정 시간이 흐른 후에 삭제할 수 있다. 가상 채널의 생성 또는 삭제는 감지된 이벤트의 종류, 발생 빈도, 발생 강도, 이벤트의 유지 시간에 따라 결정할 수 있다. 잦은 이벤트 발생 및 소멸로 가상 채널의 생성 및 삭제가 빈번해지면 감시 시스템의 운영에 어려움이 있을 수 있기 때문에 이벤트의 강도가 세고 발생 빈도가 높고, 이벤트의 발생 후 유지 시간이 긴 경우에만 가상 채널이 생성되도록 하고, 생성된 가상 채널의 유지 시간도 사용자 설정에 의해 수 분에서 수 시간 동안 유지시킬 수도 있다. 이벤트의 강도, 발생 빈도, 이벤트의 발생 후 유지 시간 등은 사용자가 미리 결정한 값으로 설정할 수 있다.
도 9는 일 실시예에 따른 파노라마 감시 영상 생성 장치의 개략적인 블록도이다.
파노라마 감시 영상 생성 장치(900)는 영상 촬영부(910) 및 영상 처리부(920)를 포함하도록 구성될 수 있으며, 영상 촬영부(910)는 복수의 카메라 모듈(910a, 910b, 910c, 910d)을 포함하여 구성될 수 있고, 영상 처리부(920)는 파노라마 영상 생성부(921), 이벤트 감지부(922), 및 감시 영역 설정부(923)를 포함하여 구성될 수 있다. 상기 파노라마 감시 영상 생성 장치(900), 상기 영상 촬영부(910) 및 상기 영상 처리부(920)는 각각 도 1 내지 도 2 및 다른 도면을 참조하여 설명된 파노라마 감시 영상 생성 장치(10, 11), 영상 촬영부(100, 110) 및 영상 처리부(200, 201)에 해당할 수 있다.
영상 촬영부(910)는 복수의 카메라 모듈(910a, 910b, 910c, 910d)을 통해서 감시 대상 영역에 대한 감시 영상을 획득한다.
영상 처리부(920)는 영상 촬영부(910)에서 획득된 감시 영상을 처리하여 파노라마 감시 영상을 생성하고, 파노라마 감시 영상 내에 설정된 감시 영역에 대한 영상을 이벤트 감지 결과에 기초하여 조절한다.
파노라마 영상 생성부(921)는 영상 촬영부(910)의 복수의 카메라 모듈(910a, 910b, 910c, 910d)로부터 각 카메라 모듈이 촬영한 감시 영상 데이터를 수신한 뒤, 이들을 결합하여 파노라마 영상을 생성할 수 있다. 도 9의 실시 예에서는 복수의 카메라 모듈(910a, 910b, 910c, 910d)이 파노라마 영상의 각 영역을 구성하는 영상을 획득하여 파노라마 영상 생성부(921)에 전송하면, 파노라마 영상 생성부(921)가 이들 영상을 결합하여 파노라마 영상을 생성하는 것으로 설명했지만, 실시 예에 따라, 카메라 모듈(910a, 910b, 910c, 910d)별로 구비된 SoC(System on Chip)에서 파노라마 영역별 개별 영상을 생성하고, 이들 개별 영상들을 통합하는 영상 촬영부(910) 내의 통합 SoC에서 파노라마 영역별 개별 영상을 결합하여 하나의 전체 파노라마 영상을 생성할 수도 있다. 한편, 영상 촬영부(910) 내의 통합 SoC에서 가상채널로 출력될 영상을 생성할 수도 있다.
이벤트 감지부(922)는 파노라마 영상 생성부(921)에서 생성된 파노라마 영상 내에서 발생하는 이벤트를 감지할 수 있다. 이벤트 감지부(922)는 파노라마 영상 내에서 이벤트의 발생을 감지하면, 감지된 이벤트의 발생 위치와 감지된 이벤트에 대한 중요도를 판단할 수 있다.
이벤트에 대한 중요도는 이벤트 감지부(922)에 의해 감지된 이벤트들 중 사용자가 특정 이벤트를 선택하여 중요도를 부여할 수 있고, 사용자가 설정해둔 기준에 따라 이벤트 감지부(922)가 감지된 이벤트들 중에서 특정 이벤트에 중요도를 구분하여 부여할 수도 있다. 상기 사용자가 설정해둔 기준은 이벤트 발생 시간, 이벤트 발생 위치 또는 영역, 감지된 이벤트에서의 객체의 종류 또는 객체의 움직임 등 일 수 있다. 다시 설명하면, 이벤트 감지부(922)는 특정 이벤트에 대한 사용자의 선택 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 미리 설정된 시간 대에서의 이벤트의 발생 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 미리 설정된 영역에서의 이벤트의 발생 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 감지된 객체의 종류 정보에 기초하여 이벤트의 중요도를 구분하는 방법, 및 감지된 객체의 움직임 정보에 기초하여 이벤트의 중요도를 구분하는 방법 중 적어도 하나의 방법으로 이벤트의 중요도를 구분할 수 있다.
감시 영역 설정부(923)는 파노라마 영상 생성부(921)에서 생성된 파노라마 영상 전체 중에서 일부 영역을 감시 영역으로 설정한 뒤, 설정된 감시 영역에 대한 영상을 가상 채널로 출력할 수 있다. 이 때, 감시 영역 설정부(923)는 이벤트 감지부(922)의 이벤트 감지 결과에 기초하여 가상 채널로 출력되는 감시 영역의 수, 감시 영역의 크기 및 감시 영역의 위치 중에서 적어도 하나를 조절할 수 있다.
감시 영역 설정부(923)는 이벤트의 발생 위치에 기초하여 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하거나, 이벤트의 발생 위치뿐만 아니라 이벤트의 중요도까지 고려하여 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절할 수 있다. 감시 영역 설정부(923)는 이벤트 감지부(922)가 파노라마 영상 전체 중에서 감시 영역으로 설정된 일부 영역 외의 위치에서 이벤트의 발생을 감지한 경우, 상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 미리 결정된 이격 기준에 포함되면, 상기 감시 영역이 감시 영역이 설정된 일부 영역 외의 이벤트 발생 위치를 포함하도록 감시 영역을 이동하거나, 확대하거나, 이동한 뒤에 확대하거나, 축소하거나, 이동한 뒤에 축소하는 동작들 중 적어도 하나의 동작을 수행하고, 상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 상기 미리 결정된 이격 기준에 포함되지 않으면, 상기 일부 영역 외의 이벤트 발생 위치를 포함하는 일정 영역을 제2 감시 영역으로 설정하고, 상기 제2 감시 영역에 대한 영상을 제2 가상 채널로 출력함으로써 감시 영역을 이벤트 감지 결과, 즉 이벤트의 발생 위치에 따라 조절한다. 또한, 감시 영역 설정부(923)는 감시 영역이 중요도가 판단된 이벤트들 중 미리 결정된 중요도의 이벤트가 발생된 위치를 포함하도록 감시 영역을 이동하거나, 확대하거나, 이동한 뒤에 확대하거나, 축소하거나, 이동한 뒤에 축소하는 동작들 중 적어도 하나의 동작을 수행함으로써 감시 영역을 이벤트 감지 결과, 즉 이벤트의 발생 위치와 중요도에 따라 조절한다.
또한, 감시 영역 설정부(923)는 상기 감지된 이벤트의 발생 위치 판단 결과에 기초하여, 상기 감시 영역 내의 제1 객체 및 제2 객체의 이격 정도가 미리 결정된 이격 기준에 포함되면, 상기 감시 영역이 상기 제1 객체 및 상기 제2 객체를 모두 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행하고, 상기 감시 영역 내의 상기 제1 객체 및 상기 제2 객체의 이격 정도가 미리 결정된 이격 기준에 포함되지 않으면, 상기 제1 객체가 포함된 이벤트 발생 위치를 상기 감시 영역으로 설정하고 상기 감시 영역에 대한 영상을 상기 가상 채널로 출력하고, 상기 제2 객체가 포함된 이벤트 발생 위치를 제2 감시 영역으로 설정하고, 상기 제2 감시 영역에 대한 영상을 제2 가상 채널로 출력할 수 있다. 여기에 더하여, 또한, 감시 영역 설정부(923)는 상기 감시 영역 내의 상기 제1 객체 및 상기 제2 감시 영역 내의 상기 제2 객체의 이격 정도가 상기 미리 결정된 이격 기준에 포함되면, 상기 제1 객체가 포함된 이벤트 발생 위치 및 상기 제2 객체가 포함된 이벤트 발생 위치를 모두 포함하는 영역을 제3 감시 영역으로 설정하고 상기 제3 감시 영역에 대한 영상을 상기 가상 채널로 출력할 수 있다.
한편, 이벤트 감지부(922)는 감지된 이벤트의 종류 및 이벤트 내의 객체의 종류를 판단할 수 있으며, 감시 영역 설정부(923)는 감지된 이벤트의 종류별로 대응되는 감시 영역을 생성하고, 이벤트 내의 객체의 종류별로 대응되는 감시 영역을 생성하고, 생성된 감시 영역별로 감시 영역에 대한 영상을 구분되는 가상 채널로 출력할 수 있다.
한편, 본 명세서에 실시 예로 개시된 파노라마 감시 영상 생성 장치는 카메라 모듈과 영상 생성 장치가 하나의 파노라마 감시 카메라, 즉 복수의 이미지 센서를 구비한 하나의 카메라로 구현될 수도 있다. 도 9의 파노라마 영상 생성부(921), 이벤트 감지부(922), 및 감시 영역 설정부(923)의 구성을 포함하는 영상 처리부(920는 적어도 하나의 하드웨어 칩 형태, 예컨대 프로세서로 제작되어 상기 파노라마 감시 카메라에 탑재될 수 있다. 또한, 파노라마 영상 생성부(921), 이벤트 감지부(922), 및 감시 영역 설정부(923)의 기능은 컴퓨터로 읽을 수 있는 기록 매체에서 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하여, 그 기능이 프로세서에서 소프트웨어적으로 수행될 수도 있다.
도 10은 다른 실시예에 따른 파노라마 감시 카메라의 개략적인 블록도이다.
도 10을 참조하면, 파노라마 감시 카메라(1000)는 이미지 센서(1010), 인코더(1020), 메모리(1030), 통신부(1040), AI 프로세싱부(1050), 및 프로세서(1060)를 포함한다.
이미지 센서(1010)는　감시　영역을 촬영하여 영상을 획득하는 기능을 수행하는 것으로서, 예컨대, CCD(Charge-Coupled Device) 센서, CMOS(Complementary Metal-Oxide-Semiconductor) 센서 등으로 구현될 수 있다. 본 실시 예의 이미지 센서(1010)는 복수 개가 구비되어 복수의 감시 영역에 대한 영상을 획득할 수 있다.
인코더(1020)는 이미지 센서(1010)를 통해 획득한 영상을 디지털 신호로 부호화하는 동작을 수행하며, 이는 예컨대, H.264, H.265, MPEG(Moving Picture Experts Group), M-JPEG(Motion Joint Photographic Experts Group) 표준 등을 따를 수 있다.
메모리(1030)는 영상 데이터, 음성 데이터, 스틸 이미지, 메타데이터 등을 저장할 수 있다. 상기 메타데이터는 상기　감시영역에 촬영된 객체 감지 정보(움직임, 소리, 지정지역 침입 등), 객체 식별 정보(사람, 차, 얼굴, 모자, 의상 등), 및 감지된 위치 정보(좌표, 크기 등)을 포함하는 데이터일 수 있다. 또한, 상기 스틸 이미지는 상기 메타데이터와 함께 생성되어 메모리(1030)에 저장되는 것으로서, 상기 영상분석 정보들 중 특정 분석 영역에 대한 이미지 정보를 캡처하여 생성될 수 있다. 일 예로, 상기 스틸 이미지는 JPEG 이미지 파일로 구현될 수 있다. 일 예로, 상기 스틸 이미지는 특정 영역 및 특정 기간 동안 감지된 상기　감시영역의 영상 데이터들 중 식별 가능한 객체로 판단된 영상 데이터의 특정영역을 크롭핑(cropping)하여 생성될 수 있으며, 이는 상기 메타데이터와 함께 실시간으로 전송될 수 있다.
통신부(1040)는 상기 영상 데이터, 음성 데이터, 스틸 이미지, 및/또는 메타데이터를 DVR, CMS, NVR, VMS 등의 영상 보안 솔루션 또는 디스플레이 장치에 전송한다. 일 실시예에 따른 통신부(1040)는 영상 데이터, 음성 데이터, 스틸 이미지, 및/또는 메타데이터를 영상 보안 솔루션에 실시간으로 전송할 수 있다. 통신부(1040)는 유무선 LAN(Local Area Network), 와이파이(Wi-Fi), 지그비(ZigBee), 블루투스(Bluetooth), 근거리 통신(Near Field Communication) 중 적어도 하나의 통신 기능을 수행할 수 있다.
AI 프로세싱부(1050)는 인공지능 영상 처리를 위한 것으로서, 본 명세서의 일 실시예에 따라 파노라마 감시 카메라를 통해 획득된 영상에서 이벤트의 발생을 감지하고, 이벤트의 발생 위치를 감지하고, 이벤트 내의 객체의 종류, 움직임 등을 감지한다. 상기 AI 프로세싱부(1050)는 시스템 전반에 걸쳐 제어하는 프로세서(1060)와 하나의 모듈로 구현되거나 독립된 모듈로 구현될 수 있다. 본 명세서의 일 실시예들은 객체 탐지에 있어서 YOLO(You Only Lock Once) 알고리즘을 적용할 수 있다. YOLO는 객체 감지 속도가 빠르기 때문에 실시간 동영상을 처리하는 감시 카메라에 적당한 AI 알고리즘이다. YOLO 알고리즘은 다른 객체 기반 알고리즘들(Faster R-CNN, R_FCN, FPN-FRCN 등)과 달리 한 장의 입력 영상을 리사이즈(Resize)후 단일 신경망을 단 한 번 통과시킨 결과로 각 객체의 위치를 인디케이팅하는 바운딩 박스(Bounding Box)와 객체가 무엇인지 분류 확률을 출력한다. 최종적으로 Non-max suppression을 통해 하나의 객체를 한번 인식(detection)한다. 한편, 본 명세서에 개시되는 객체 인식 알고리즘은 전술한 YOLO에 한정되지 않고 다양한 딥러닝 알고리즘으로 구현될 수 있음을 밝혀 둔다.
프로세서(1060)는 전술한 도 9의 영상 처리부(920), 파노라마 영상 생성부(921), 이벤트 감지부(922) 및 감시 영역 설정부(923)의 기능의 전부 또는 일부를 수행할 수 있다. AI 프로세싱부(1050)는 이벤트 감지부(922) 및 감시 영역 설정부(923)의 기능의 전부 또는 일부를 수행할 수 있다.
도 11은 일 실시예에 따른 파노라마 영상의 분석에 적용되는 AI 프로세싱부를 설명하기 위한 도면이다.
도 11을 살펴보면, AI 프로세싱부(1050)는 AI 프로세싱을 수행할 수 있는 AI 모듈을 포함하는 전자 기기 등을 포함할 수 있다. 또한, AI 프로세싱부(1050)는 파노라마 감시 카메라(1000)의 적어도 일부의 구성으로 포함되어 AI 프로세싱 중 적어도 일부를 함께 수행하도록 구비될 수도 있다. AI 프로세싱은 파노라마 감시 카메라(1000)의 프로세서(1060)와 관련된 모든 동작들을 포함할 수 있다. 예를 들어, 파노라마 감시 카메라(1000)는 획득된 영상 신호를 AI 프로세싱 하여 처리/판단, 제어 신호 생성 동작을 수행할 수 있다.
AI 프로세싱부(1050)는 AI 프로세싱 결과를 직접 이용하는 클라이언트 디바이스이거나, AI 프로세싱 결과를 다른 기기에 제공하는 클라우드 환경의 디바이스일 수도 있다. AI 프로세싱부(1050)는 신경망을 학습할 수 있는 컴퓨팅 장치로서, 서버, 데스크탑 PC, 노트북 PC, 태블릿 PC 등과 같은 다양한 전자 장치로 구현될 수 있다.
AI 프로세싱부(1050)는 AI 프로세서(21), 메모리(25) 및/또는 통신부(27)를 포함할 수 있다.
AI 프로세서(21)는 메모리(25)에 저장된 프로그램을 이용하여 신경망을 학습할 수 있다. 특히, AI 프로세서(21)는 감시 카메라의 관련 데이터를 인식하기 위한 신경망을 학습할 수 있다. 여기서, 감시 카메라의 관련 데이터를 인식하기 위한 신경망은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 갖는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 모드들은 뉴런이 시냅스(synapse)를 통해 신호를 주고 받는 뉴런의 시냅틱 활동을 모의하도록 각각 연결 관계에 따라 데이터를 주고 받을 수 있다. 여기서 신경망은 신경망 모델에서 발전한 딥러닝 모델을 포함할 수 있다. 딥러닝 모델에서 복수의 네트워크 노드들은 서로 다른 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 신경망 모델의 예는 심층 신경망(DNN, deep neural networks), 합성곱 신경망(CNN, convolutional deep neural networks), 순환 신경망(RNN, Recurrent Boltzmann Machine), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, deep belief networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥 러닝 기법들을 포함하며, 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용될 수 있다.
한편, 전술한 바와 같은 기능을 수행하는 프로세서는 범용 프로세서(예를 들어, CPU)일 수 있으나, 인공지능 학습을 위한 AI 전용 프로세서(예를 들어, GPU)일 수 있다.
메모리(25)는 AI 프로세싱부(1050)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(25)는 비 휘발성 메모리, 휘발성 메모리, 플래시 메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SDD) 등으로 구현할 수 있다. 메모리(25)는 AI 프로세서(21)에 의해 액세스되며, AI 프로세서(21)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 또한, 메모리(25)는 본 발명의 일 실시예에 따른 데이터 분류/인식을 위한 학습 알고리즘을 통해 생성된 신경망 모델(예를 들어, 딥 러닝 모델(26))을 저장할 수 있다.
한편, AI 프로세서(21)는 데이터 분류/인식을 위한 신경망을 학습하는 데이터 학습부(22)를 포함할 수 있다. 데이터 학습부(22)는 데이터 분류/인식을 판단하기 위하여 어떤 학습 데이터를 이용할지, 학습 데이터를 이용하여 데이터를 어떻게 분류하고 인식할지에 관한 기준을 학습할 수 있다. 데이터 학습부(22)는 학습에 이용될 학습 데이터를 획득하고, 획득된 학습데이터를 딥러닝 모델에 적용함으로써, 딥러닝 모델을 학습할 수 있다.
데이터 학습부(22)는 적어도 하나의 하드웨어 칩 형태로 제작되어 AI 프로세싱부(1050)에 탑재될 수 있다. 예를 들어, 데이터 학습부(22)는 인공지능(AI)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 범용 프로세서(CPU) 또는 그래픽 전용 프로세서(GPU)의 일부로 제작되어 AI 프로세싱부(1050)에 탑재될 수도 있다. 또한, 데이터 학습부(22)는 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈(또는 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록 매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 애플리케이션에 의해 제공될 수 있다.
데이터 학습부(22)는 학습 데이터 획득부(23) 및 모델 학습부(24)를 포함할 수 있다.
학습 데이터 획득부(23)는 데이터를 분류하고 인식하기 위한 신경망 모델에 필요한 학습 데이터를 획득할 수 있다.
모델 학습부(24)는 획득된 학습 데이터를 이용하여, 신경망 모델이 소정의 데이터를 어떻게 분류할지에 관한 판단 기준을 가지도록 학습할 수 있다. 이 때 모델 학습부(24)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또는 모델 학습부(24)는 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통해 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(24)는 학습에 따른 상황 판단의 결과가 올바른지에 대한 피드백을 이용하여 강화 학습(reinforcement learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(24)는 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient decent)을 포함하는 학습 알고리즘을 이용하여 신경망 모델을 학습시킬 수 있다.
신경망 모델이 학습되면, 모델 학습부(24)는 학습된 신경망 모델을 메모리에 저장할 수 있다. 모델 학습부(24)는 학습된 신경망 모델을 AI 프로세싱부(1050)와 유선 또는 무선 네트워크로 연결된 서버의 메모리에 저장할 수도 있다.
데이터 학습부(22)는 인식 모델의 분석 결과를 향상시키거나, 인식 모델의 생성에 필요한 리소스 또는 시간을 절약하기 위해 학습 데이터 전처리부(미도시) 및 학습 데이터 선택부(미도시)를 더 포함할 수도 있다.
학습 데이터 전처리부는 획득된 데이터가 상황 판단을 위한 학습에 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 예를 들어, 학습 데이터 전처리부는, 모델 학습부(24)가 이미지 인식을 위한 학습을 위하여 획득된 학습 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
또한, 학습 데이터 선택부는, 학습 데이터 획득부(23)에서 획득된 학습 데이터 또는 전처리부에서 전처리된 학습 데이터 중 학습에 필요한 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(24)에 제공될 수 있다.
또한, 데이터 학습부(22)는 신경망 모델의 분석 결과를 향상시키기 위하여 모델 평가부(미도시)를 더 포함할 수도 있다.
모델 평가부는, 신경망 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 분석 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(22)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 인식 모델을 평가하기 위한 기 정의된 데이터일 수 있다. 일 예로, 모델 평가부는 평가 데이터에 대한 학습된 인식 모델의 분석 결과 중, 분석 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우, 소정 기준을 만족하지 못한 것으로 평가할 수 있다.
통신부(27)는 AI 프로세서(21)에 의한 AI 프로세싱 결과를 외부 전자 기기로 전송할 수 있다. 예를 들어, 외부 전자 기기는 다른 감시카메라, DVR, CMS, NVR, VMS 등의 영상 보안 솔루션 또는 디스플레이 장치 등을 포함할 수 있다.
한편, 도 10에 도시된 AI 프로세싱부(1050)는 AI 프로세서(21)와 메모리(25), 통신부(27) 등으로 기능적으로 구분하여 설명하였지만, 전술한 구성요소들이 하나의 모듈로 통합되어 AI 모듈로 호칭될 수도 있음을 밝혀 둔다.
상술한 설명에서, 단계들, 과정들 또는 동작들은 본 발명의 구현예에 따라서, 추가적인 단계, 과정 또는 동작으로 더 분할되거나, 더 적은 단계, 과정 또는 동작으로 조합될 수 있다. 또한, 일부 단계, 과정 또는 동작은 필요에 따라 생략될 수도 있고, 단계 또는 동작 간의 순서가 전환될 수도 있다. 또한, 전술한 파노라마 감시 영상의 생성 방법이 포함하는 각 단계 또는 동작은 컴퓨터프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있으며, 컴퓨터 장치에 의해 각 단계, 과정 또는 동작이 실행될 수도 있다.
본 명세서에서 사용된 용어 "부"는(예를 들면, 제어부 등), 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "부"는, 예를 들어, 유닛(unit), 로직(logic), 논리블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "부"는, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "부"는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "부"는 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들어, "부"는, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(Application-Specific Integrated Circuit) 칩, FPGAs(Field-Programmable Gate Arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터로 읽을 수 있는 저장매체/컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술된 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 명세서에 사용된 용어 "하나"는 하나 또는 하나 이상으로 정의된다. 또한, 청구 범위에서 "적어도 하나" 및 "하나 이상"과 같은 도입 문구를 사용하는 것은, 동일한 청구항에 "적어도 하나" 및 "하나 이상"과 같은 도입 문구 및 "하나" 같은 불명료한 문구가 포함되어 있는 경우라 할지라도, 불명료한 문구 "하나"에 의한 다른 청구항 요소의 도입이 그러한 요소를 하나만을 포함하는 발명에 대해 그렇게 도입된 청구항 요소를 포함하는 임의의 특정 청구항을 제한한다는 것을 의미하는 것으로 해석되어서는 안된다.
본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.
달리 명시하지 않는 한, "제1" 및 "제2"와 같은 용어는 그러한 용어가 설명하는 요소들을 임의로 구별하는 데 사용된다. 따라서, 이들 용어는 그러한 요소들의 시간적 또는 다른 우선 순위를 나타내도록 반드시 의도된 것은 아니며, 특정 수단이 서로 다른 청구항들에 열거되어 있다는 단순한 사실만으로 이러한 수단들의 조합이 유리하게 사용될 수 없다는 것을 나타내는 것은 아니다. 따라서, 이들 용어는 그러한 요소의 시간적 또는 다른 우선 순위를 나타내도록 반드시 의도되지는 않는다. 특정 조치가 서로 다른 주장에 인용되었다는 단순한 사실만으로 이러한 조치의 조합이 유용하게 사용될 수 없다는 것을 나타내지는 않는다.
"X일 수 있다"는 문구는 조건 X가 충족될 수 있음을 나타낸다. 이 문구는 또한 조건 X가 충족되지 않을 수도 있음을 나타낸다. 예를 들어, 특정 구성 요소를 포함하는 시스템에 대한 참조는 시스템이 특정 구성 요소를 포함하지 않는 시나리오도 포함해야 한다. 예를 들어, 특정 동작을 포함하는 방법에 대한 참조는 해당 방법이 특정 구성 요소를 포함하지 않는 시나리오도 포함해야 한다. 그러나 또 다른 예를 들면, 특정 동작을 수행하도록 구성된 시스템에 대한 참조는 시스템이 특정 작업을 수행하도록 구성되지 않은 시나리오도 포함해야 한다.
용어 "포함하는", "갖는", "구성된", "이루어진" 및 "본질적으로 이루어진"은 상호 교환적으로 사용된다. 예를 들어, 임의의 방법은 적어도 도면 및/또는 명세서에 포함된 동작을 포함할 수 있으며, 도면 및/또는 명세서에 포함된 동작만을 포함할 수 있다. 또는, "포함하는"이라는 단어는 청구항에 나열된 요소들 또는 동작들의 존재를 배제하지 않는다.
이상에서 본 명세서의 기술에 대한 바람직한 실시 예가 첨부된 도면들을 참조하여 설명되었다. 여기서, 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 본 발명의 범위는 본 명세서에 개시된 실시 예들로 한정되지 아니하고, 본 발명은 본 발명의 사상 및 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다.
본 발명의 파노라마 감시 영상을 생성하는 장치 및 방법은 복수의 이미지 센서에서 획득한 영상을 결합하여 파노라마 영상을 생성하는 감시 카메라 시스템에 적용되는 예를 중심으로 설명하였으나, 이외에도 다양한 감시 카메라 시스템에 적용하는 것이 가능하다.

Claims (20)

  1. 복수의 감시 영상을 획득하는 복수의 이미지 센서;
    상기 복수의 감시 영상을 결합하여 파노라마 영상을 생성하는 파노라마 영상 생성부;
    상기 파노라마 영상 내에서 발생하는 이벤트를 감지하는 이벤트 감지부; 및
    상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하여, 상기 감시 영역에 대한 영상을 가상 채널로 출력하되, 상기 이벤트 감지부의 이벤트 감지 결과에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 감시 영역 설정부;를 포함하는
    파노라마 감시 영상 생성 장치.
  2. 제1 항에 있어서,
    상기 이벤트 감지부는,
    감지된 이벤트의 발생 위치를 판단하고,
    상기 감시 영역 설정부는,
    상기 감지된 이벤트의 발생 위치에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치.
  3. 제2 항에 있어서, 상기 감시 영역 설정부는,
    상기 이벤트 감지부가 상기 일부 영역 외의 위치에서 이벤트의 발생을 감지한 경우,
    상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 미리 결정된 이격 기준에 포함되면, 상기 감시 영역이 상기 일부 영역 외의 이벤트 발생 위치를 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행하고,
    상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 상기 미리 결정된 이격 기준에 포함되지 않으면, 상기 일부 영역 외의 이벤트 발생 위치를 포함하는 일정 영역을 제2 감시 영역으로 설정하고, 상기 제2 감시 영역에 대한 영상을 제2 가상 채널로 출력하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치.
  4. 제3 항에 있어서,
    상기 이벤트 감지부는,
    상기 감지된 이벤트에 대한 중요도를 더 판단하고,
    상기 감시 영역 설정부는,
    상기 감지된 이벤트의 발생 위치 및 상기 중요도에 기초하여 감시 영역의 크기 및 위치 중 적어도 하나를 조절하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치.
  5. 제4 항에 있어서, 상기 감시 영역 설정부는,
    상기 중요도가 판단된 이벤트들 중 미리 결정된 중요도의 이벤트가 발생된 위치를 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치.
  6. 제5 항에 있어서,
    상기 감시 영역의 이동 동작은,
    상기 일부 영역 내의 이벤트의 발생 위치 및 상기 일부 영역 외의 이벤트의 발생 위치가 모두 상기 가상 채널로 출력되도록 상기 감시 영역을 이동하고,
    상기 감시 영역의 확대 동작은,
    상기 감시 영역의 이동으로 상기 일부 영역 내의 이벤트의 발생 위치 및 상기 일부 영역 외의 이벤트의 발생 위치 모두가 상기 가상 채널로 출력되지 않는 경우, 상기 일부 영역 및 상기 일부 영역 외의 이벤트의 발생 위치가 상기 가상 채널로 출력되도록 상기 감시 영역을 확대하고,
    상기 감시 영역의 축소 동작은,
    이벤트의 발생 위치가 상기 일부 영역과 동일한 크기의 감시 영역보다 작은 감시 영역에 모두 포함되는 경우, 상기 이벤트의 발생 위치가 상기 가상 채널로 출력되도록 상기 감시 영역을 축소하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치.
  7. 제4 항에 있어서, 상기 이벤트 감지부는,
    사용자의 선택 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 미리 설정된 시간에서의 이벤트의 발생 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 미리 설정된 영역에서의 이벤트의 발생 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 감지된 객체의 종류 정보에 기초하여 이벤트의 중요도를 구분하는 방법, 및 감지된 객체의 움직임 정보에 기초하여 이벤트의 중요도를 구분하는 방법 중 적어도 하나의 방법으로 이벤트의 중요도를 구분하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치.
  8. 제2 항에 있어서, 상기 감시 영역 설정부는,
    상기 감지된 이벤트의 발생 위치 판단 결과에 기초하여,
    상기 감시 영역 내의 제1 객체 및 제2 객체의 이격 정도가 미리 결정된 이격 기준에 포함되면, 상기 감시 영역이 상기 제1 객체 및 상기 제2 객체를 모두 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행하고,
    상기 감시 영역 내의 상기 제1 객체 및 상기 제2 객체의 이격 정도가 미리 결정된 이격 기준에 포함되지 않으면, 상기 제1 객체가 포함된 이벤트 발생 위치를 상기 감시 영역으로 설정하고 상기 감시 영역에 대한 영상을 상기 가상 채널로 출력하고, 상기 제2 객체가 포함된 이벤트 발생 위치를 제2 감시 영역으로 설정하고, 상기 제2 감시 영역에 대한 영상을 제2 가상 채널로 출력하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치.
  9. 제8 항에 있어서, 상기 감시 영역 설정부는,
    상기 감시 영역 내의 상기 제1 객체 및 상기 제2 감시 영역 내의 상기 제2 객체의 이격 정도가 상기 미리 결정된 이격 기준에 포함되면, 상기 제1 객체가 포함된 이벤트 발생 위치 및 상기 제2 객체가 포함된 이벤트 발생 위치를 모두 포함하는 영역을 제3 감시 영역으로 설정하고 상기 제3 감시 영역에 대한 영상을 상기 가상 채널로 출력하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치.
  10. 제1 항에 있어서,
    상기 이벤트 감지부는,
    감지된 이벤트의 종류 및 이벤트 내의 객체의 종류를 판단하고,
    상기 감시 영역 설정부는,
    상기 감지된 이벤트의 종류별 및 이벤트 내의 객체의 종류별로 대응되는 감시 영역을 생성하고, 생성된 감시 영역별로 감시 영역에 대한 영상을 구분되는 가상 채널로 출력하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치.
  11. 복수의 이미지 센서를 통해 복수의 감시 영상을 획득하는 단계;
    상기 복수의 감시 영상을 결합하여 파노라마 영상을 생성하는 단계;
    상기 파노라마 영상 내에서 발생하는 이벤트를 감지하는 단계;
    상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하되, 이벤트 감지 결과에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계; 및
    상기 감시 영역에 대한 영상을 가상 채널로 출력하는 단계;를 포함하는
    파노라마 감시 영상 생성 장치의 감시 영역 설정 방법.
  12. 제11 항에 있어서,
    상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하되, 이벤트 감지 결과에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계는,
    감지된 이벤트에 대한 발생 위치를 감지하는 단계; 및
    상기 감지된 이벤트의 발생 위치에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계;를 포함하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치의 감시 영역 설정 방법.
  13. 제12 항에 있어서,
    상기 감지된 이벤트의 발생 위치에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계는,
    상기 일부 영역 외의 위치에서 이벤트의 발생 여부를 판단하는 단계;
    상기 일부 영역 외의 위치에서 이벤트가 발생된 것으로 판단되는 경우, 상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 미리 결정된 이격 기준에 포함되면, 상기 감시 영역이 상기 일부 영역 외의 이벤트 발생 위치를 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행하는 단계; 및
    상기 일부 영역 내의 이벤트 발생 위치와 상기 일부 영역 외의 이벤트 발생 위치의 이격 정도가 상기 미리 결정된 이격 기준에 포함되지 않으면, 상기 일부 영역 외의 이벤트 발생 위치를 포함하는 일정 영역을 제2 감시 영역으로 설정하고, 상기 제2 감시 영역에 대한 영상을 제2 가상 채널로 출력하는 단계;를 포함하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치의 감시 영역 설정 방법.
  14. 제13 항에 있어서,
    상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하되, 이벤트 감지 결과에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계는,
    상기 감지된 이벤트에 대한 중요도를 더 판단하는 단계; 및
    상기 감지된 이벤트의 발생 위치 및 상기 중요도에 기초하여 감시 영역의 크기 및 위치 중 적어도 하나를 조절하는 단계;를 더 포함하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치의 감시 영역 설정 방법.
  15. 제14 항에 있어서,
    상기 감지된 이벤트의 발생 위치 및 상기 중요도에 기초하여 감시 영역의 크기 및 위치 중 적어도 하나를 조절하는 단계는,
    상기 중요도가 판단된 이벤트들 중 미리 결정된 중요도의 이벤트가 발생된 위치를 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행하는 단계;이고,
    상기 감시 영역의 이동 동작은,
    상기 일부 영역 내의 이벤트의 발생 위치 및 상기 일부 영역 외의 이벤트의 발생 위치가 모두 상기 가상 채널로 출력되도록 상기 감시 영역을 이동하는 것이고,
    상기 감시 영역의 확대 동작은,
    상기 감시 영역의 이동으로 상기 일부 영역 내의 이벤트의 발생 위치 및 상기 일부 영역 외의 이벤트의 발생 위치 모두가 상기 가상 채널로 출력되지 않는 경우, 상기 일부 영역 및 상기 일부 영역 외의 이벤트의 발생 위치가 상기 가상 채널로 출력되도록 상기 감시 영역을 확대하는 것이고,
    상기 감시 영역의 축소 동작은,
    이벤트의 발생 위치가 상기 일부 영역과 동일한 크기의 감시 영역보다 작은 감시 영역에 모두 포함되는 경우, 상기 이벤트의 발생 위치가 상기 가상 채널로 출력되도록 상기 감시 영역을 축소하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치의 감시 영역 설정 방법.
  16. 제14 항에 있어서,
    상기 감지된 이벤트에 대한 중요도를 판단하는 단계는,
    감지된 이벤트에 대한 사용자의 선택 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 미리 설정된 시간에서의 이벤트의 발생 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 미리 설정된 영역에서의 이벤트의 발생 여부에 기초하여 이벤트의 중요도를 구분하는 방법, 감지된 객체의 종류 정보에 기초하여 이벤트의 중요도를 구분하는 방법, 및 감지된 객체의 움직임 정보에 기초하여 이벤트의 중요도를 구분하는 방법 중 적어도 하나의 방법으로 이벤트의 중요도를 구분하는 단계인 것을 특징으로 하는 파노라마 감시 영상 생성 장치의 감시 영역 설정 방법.
  17. 제12 항에 있어서,
    상기 감지된 이벤트의 발생 위치에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계는,
    상기 감지된 이벤트의 발생 위치 판단 결과에 기초하여, 상기 감시 영역 내의 제1 객체 및 제2 객체의 이격 정도가 미리 결정된 이격 기준에 포함되면, 상기 감시 영역이 상기 제1 객체 및 상기 제2 객체를 모두 포함하도록 상기 감시 영역의 이동, 확대, 및 축소 중 적어도 하나의 동작을 수행하고,
    상기 감시 영역 내의 상기 제1 객체 및 상기 제2 객체의 이격 정도가 상기 미리 결정된 이격 기준에 포함되지 않으면, 상기 제1 객체가 포함된 이벤트 발생 위치를 상기 감시 영역으로 설정하고 상기 감시 영역에 대한 영상을 상기 가상 채널로 출력하고, 상기 제2 객체가 포함된 이벤트 발생 위치를 제2 감시 영역으로 설정하고, 상기 제2 감시 영역에 대한 영상을 제2 가상 채널로 출력하는 단계인
    것을 특징으로 하는 파노라마 감시 영상 생성 장치의 감시 영역 설정 방법.
  18. 제17 항에 있어서,
    상기 감지된 이벤트의 발생 위치에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계는,
    상기 감시 영역 내의 상기 제1 객체 및 상기 제2 감시 영역 내의 상기 제2 객체의 이격 정도가 상기 미리 결정된 이격 기준에 포함되면, 상기 제1 객체가 포함된 이벤트 발생 위치 및 상기 제2 객체가 포함된 이벤트 발생 위치를 모두 포함하는 영역을 제3 감시 영역으로 설정하고 상기 제3 감시 영역에 대한 영상을 상기 가상 채널로 출력하는 단계;를 더 포함하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치의 감시 영역 설정 방법.
  19. 제11 항에 있어서,
    상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하되, 이벤트 감지 결과에 기초하여 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는 단계는,
    감지된 이벤트의 종류 및 이벤트 내의 객체의 종류를 판단하는 단계; 및
    상기 감지된 이벤트의 종류별 및 이벤트 내의 객체의 종류별로 대응되는 감시 영역을 생성하고, 생성된 감시 영역별로 감시 영역에 대한 영상을 구분되는 가상 채널로 출력하는 단계;를 포함하는
    것을 특징으로 하는 파노라마 감시 영상 생성 장치의 감시 영역 설정 방법.
  20. 복수의 감시 영상을 획득하는 복수의 이미지 센서; 및
    상기 복수의 감시 영상을 결합하여 파노라마 영상을 생성하고, 상기 파노라마 영상 중 일부 영역을 감시 영역으로 설정하여 상기 감시 영역에 대한 영상을 가상 채널로 출력하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 파노라마 영상 내에서 발생하는 이벤트를 감지하고, 상기 이벤트 감지 결과에 기초하여 상기 가상 채널로 출력되는 상기 감시 영역의 수, 크기 및 위치 중 적어도 하나를 조절하는
    파노라마 감시 카메라.
PCT/KR2023/003110 2022-03-07 2023-03-07 파노라마 감시 영상의 생성 WO2023172031A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220028676A KR20230131601A (ko) 2022-03-07 2022-03-07 파노라마 감시 영상의 생성
KR10-2022-0028676 2022-03-07

Publications (1)

Publication Number Publication Date
WO2023172031A1 true WO2023172031A1 (ko) 2023-09-14

Family

ID=87935494

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/003110 WO2023172031A1 (ko) 2022-03-07 2023-03-07 파노라마 감시 영상의 생성

Country Status (2)

Country Link
KR (1) KR20230131601A (ko)
WO (1) WO2023172031A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160048178A (ko) * 2013-08-29 2016-05-03 메디아프로두씨온, 에스.엘.유. 영상 프로덕션을 만들기 위한 방법 및 그 시스템
KR20160094655A (ko) * 2015-02-02 2016-08-10 주식회사 일리시스 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
JP2018113628A (ja) * 2017-01-12 2018-07-19 株式会社日立ビルシステム 映像表示システム及び方法
WO2021247006A1 (en) * 2020-06-02 2021-12-09 Google Llc Panorama generation with mobile camera
KR20220003779A (ko) * 2020-07-02 2022-01-11 한화테크윈 주식회사 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160048178A (ko) * 2013-08-29 2016-05-03 메디아프로두씨온, 에스.엘.유. 영상 프로덕션을 만들기 위한 방법 및 그 시스템
KR20160094655A (ko) * 2015-02-02 2016-08-10 주식회사 일리시스 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
JP2018113628A (ja) * 2017-01-12 2018-07-19 株式会社日立ビルシステム 映像表示システム及び方法
WO2021247006A1 (en) * 2020-06-02 2021-12-09 Google Llc Panorama generation with mobile camera
KR20220003779A (ko) * 2020-07-02 2022-01-11 한화테크윈 주식회사 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템

Also Published As

Publication number Publication date
KR20230131601A (ko) 2023-09-14

Similar Documents

Publication Publication Date Title
WO2018124510A1 (ko) 이벤트 저장 장치, 이벤트 검색 장치, 및 이벤트 알람 장치
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
WO2021095916A1 (ko) 객체의 이동경로를 추적할 수 있는 추적시스템
KR102050821B1 (ko) Ptz 카메라를 이용한 화재 검색 방법
US20130076943A1 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
WO2018135906A1 (ko) 카메라 및 카메라의 영상 처리 방법
WO2019225964A1 (en) System and method for fast object detection
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
WO2021002722A1 (ko) 이벤트 태깅 기반 상황인지 방법 및 그 시스템
WO2021167374A1 (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
WO2022114895A1 (ko) 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법
JP2009059073A (ja) 撮影装置、撮影方法、人物認識装置および人物認識方法
KR102511287B1 (ko) 영상 기반 자세 예측 및 행동 검출 방법 및 장치
WO2020141888A1 (ko) 사육장 환경 관리 장치
WO2023158205A1 (ko) Ai 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거
WO2019017720A1 (ko) 사생활 보호를 위한 카메라 시스템 및 그 방법
WO2023080667A1 (ko) Ai 기반 객체인식을 통한 감시카메라 wdr 영상 처리
WO2022186426A1 (ko) 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법
WO2021040345A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2023172031A1 (ko) 파노라마 감시 영상의 생성
WO2024034923A1 (ko) 인공지능을 이용한 영상 감시 기반 개체 인식 및 행동패턴 분석 방법 및 시스템
WO2023219466A1 (en) Methods and systems for enhancing low light frame in a multi camera system
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
WO2022225102A1 (ko) Ai 기반 객체인식을 통한 감시 카메라의 셔터값 조절
KR101459103B1 (ko) 효율적인 cctv 모니터링 구현을 위한 영상 감시 시스템을 이용한 영상 감시 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23767132

Country of ref document: EP

Kind code of ref document: A1