WO2023158205A1 - Ai 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거 - Google Patents

Ai 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거 Download PDF

Info

Publication number
WO2023158205A1
WO2023158205A1 PCT/KR2023/002181 KR2023002181W WO2023158205A1 WO 2023158205 A1 WO2023158205 A1 WO 2023158205A1 KR 2023002181 W KR2023002181 W KR 2023002181W WO 2023158205 A1 WO2023158205 A1 WO 2023158205A1
Authority
WO
WIPO (PCT)
Prior art keywords
brightness
led
leds
image
processor
Prior art date
Application number
PCT/KR2023/002181
Other languages
English (en)
French (fr)
Inventor
정영제
김은정
오찬수
이상욱
변재운
전성하
이영은
Original Assignee
한화비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화비전 주식회사 filed Critical 한화비전 주식회사
Publication of WO2023158205A1 publication Critical patent/WO2023158205A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present specification relates to an apparatus and method for processing an image of a surveillance camera.
  • a surveillance camera system in an extremely low light environment with almost no external light source may include an infrared emitter outside or inside the surveillance camera to recognize and photograph a subject in a dark environment.
  • An object of the present specification variably controls infrared LEDs and/or automatic exposure (AE) according to the presence or absence of an object based on AI object recognition results in order to solve the above-described problem, thereby maintaining low power consumption and efficient efficiency.
  • An object of the present invention is to provide a surveillance camera and a control method of the surveillance camera capable of reducing the AE amplification gain value.
  • the present specification provides a surveillance camera and surveillance camera capable of increasing object recognition rate and reducing power consumption by controlling the brightness of at least a portion of infrared LEDs (hereinafter referred to as IR LEDs) provided in the surveillance camera according to the position of the object. Its object is to provide a control method for
  • a surveillance camera includes a camera unit having a plurality of IR LEDs arranged to have different irradiation areas; and dividing an image obtained through the camera unit into a plurality of blocks, calculating brightness of an object block composed of at least one block including an object among the plurality of blocks, and calculating the brightness of the plurality of blocks based on the brightness of the object block.
  • the plurality of IR LEDs may be arranged so that a photographing area by the winding camera is divided into a plurality of areas according to irradiation areas of each of the plurality of IR LEDs.
  • the processor may divide the image into MxN blocks, and each divided block may include mxn pixels.
  • the processor calculates the average brightness of each block based on the pixel brightness of the divided blocks, calculates the average brightness of the object block based on the average brightness of each block, and determines the average brightness of the object block.
  • the brightness of the target IR LED may be controlled to reach a standard brightness.
  • the processor may supplement the brightness of the object block by amplifying a gain of an image sensor included in the camera unit.
  • the processor may determine the gain amplification amount of the image sensor according to the brightness of the object block.
  • the processor may determine the target IR LED corresponding to the location of the object block and automatically control the brightness of the target IR LED.
  • the processor may turn off IR LEDs other than the target IR LED among the plurality of IR LEDs.
  • the processor may dynamically change the object of the target IR LED among the plurality of IR LEDs according to the position of the object block in the image.
  • the processor recognizes the object using a deep learning-based object recognition algorithm, assigns an ID to each recognized object, extracts coordinates of the object to which the ID is assigned, and includes the coordinates of the object. It can be matched with the coordinates of the block.
  • Another surveillance camera includes a camera unit having a plurality of IR LEDs; and recognizing an object from an image obtained through the camera unit through a deep learning object recognition algorithm, selecting at least one target IR LED corresponding to the coordinate information of the object from among the plurality of IR LEDs, and brightness information of the object.
  • a processor for controlling the brightness of the selected target IR LED based on; includes.
  • the plurality of IR LEDs are disposed along the periphery of the lens of the camera unit, and the monitoring area of the monitoring camera is divided into a plurality of zones in the image according to the irradiation area of the plurality of IR LEDs, and the processor,
  • the plurality of IR LEDs are grouped and managed including at least one IR LED so as to be matched to each zone of, and the brightness of the IR LEDs included in the selected group can be controlled by selecting a group corresponding to the location of the object. .
  • the plurality of regions may be divided into first to fourth regions corresponding to corners of the image and a fifth region corresponding to the center of the image.
  • the processor divides the image into a plurality of blocks, calculates the brightness of an object block composed of at least one block including the object among the plurality of blocks, and calculates the brightness of the target IR LED based on the brightness of the object block.
  • brightness can be controlled.
  • the processor calculates the average brightness of each block based on the pixel brightness of the divided blocks, calculates the average brightness of the object block based on the average brightness of each block, and determines the average brightness of the object block.
  • the brightness of the target IR LED may be controlled to reach a standard brightness.
  • the processor may supplement the brightness of the object block by amplifying a gain of an image sensor included in the camera unit.
  • a control method of a surveillance camera includes dividing an image acquired through a camera unit having a plurality of IR LEDs arranged to have different irradiation areas into a plurality of blocks; Recognizing an object through a deep learning object recognition algorithm; calculating brightness of an object block composed of at least one block including the object among the plurality of blocks; and controlling the brightness of at least one target IR LED including the object block as an irradiation area among the plurality of LEDs based on the brightness of the object block.
  • the plurality of IR LEDs are arranged such that a shooting area by the winding camera is divided into a plurality of areas according to the irradiation area of each of the plurality of IR LEDs, and checking the location of the object and the location of the object block; determining at least one target IR LED corresponding to the position of the object block among the plurality of IR LEDs; and controlling the brightness of the target IR LED to reach a predetermined standard brightness.
  • the control method of the monitoring camera further includes supplementing the brightness of the object block by amplifying a gain of an image sensor included in the camera unit when the threshold brightness of the target IR LED is less than the reference brightness.
  • AE infrared LED and/or automatic exposure
  • the object recognition rate can be increased and power consumption can be reduced by controlling the brightness of at least some of the infrared LEDs (hereinafter referred to as IR LEDs) provided in the surveillance camera according to the location of the object. there is.
  • IR LEDs infrared LEDs
  • FIG. 1 is a diagram for explaining a monitoring camera system according to an embodiment of the present specification.
  • Figure 2 is a schematic block diagram of a surveillance camera according to an embodiment of the present specification.
  • FIG. 3 is a diagram for explaining an AI device (module) applied to analysis of surveillance camera images according to an embodiment of the present specification.
  • FIG. 4 is a flowchart of a control method of a surveillance camera according to an embodiment of the present specification.
  • FIG. 5 is a flowchart for selectively controlling the brightness of only IR LEDs in an area where an object is located according to an embodiment of the present specification.
  • FIG. 6 is an example of dividing brightness control areas according to positions of IR LEDs according to an embodiment of the present specification.
  • FIGS. 7 to 9 are diagrams for explaining a method of selectively controlling the brightness of only IR LEDs in an area where an object is located through image segmentation according to an embodiment of the present specification.
  • FIG. 10 is a flowchart of an AE control method according to an object location according to an embodiment of the present specification.
  • FIG. 11 is a diagram for explaining another example of controlling IR LED brightness through AI algorithm-based object recognition according to an embodiment of the present specification.
  • FIG 12 illustrates AI-based object recognition results according to an embodiment of the present specification.
  • FIG. 13 is a diagram for explaining a control method of a monitoring camera when an object moves within a monitoring site according to an embodiment of the present specification.
  • 14 to 15 are examples of controlling brightness of IR LEDs in a panoramic camera and a multi-directional camera according to an embodiment of the present specification.
  • FIG. 1 is a diagram for explaining a monitoring camera system according to an embodiment of the present specification.
  • a monitoring camera system 10 may include a photographing device 100 and an image management server 200 .
  • the photographing device 100 may be a photographing electronic device disposed at a fixed location in a specific place, may be a photographing electronic device capable of moving automatically or manually along a certain path, or may be a photographing electronic device that may be moved by a person or a robot. It may be an electronic device.
  • the photographing device 100 may be an IP camera used by connecting to the wired or wireless Internet.
  • the photographing device 100 may be a PTZ camera having pan, tilt, and zoom functions.
  • the photographing device 100 may have a function of recording or taking a picture of an area to be monitored.
  • the photographing device 100 may have a function of recording sound generated in the area to be monitored.
  • the photographing device 100 may have a function of generating a notification or recording or taking a picture when a change, such as motion or sound, occurs in the area to be monitored.
  • the image management server 200 may be a device that receives and stores an image captured by the photographing device 100 and/or an image obtained by editing the corresponding image.
  • the video management server 200 may analyze the received data to correspond to the purpose.
  • the image management server 200 may detect an object using an object detection algorithm to detect an object in an image.
  • An AI-based algorithm may be applied to the object detection algorithm, and an object may be detected by applying a pre-learned artificial neural network model.
  • the operation of detecting an object through the object detection algorithm can also be implemented through the above-described image capturing device 100 .
  • the video management server 200 may store various learning models suitable for video analysis purposes.
  • a model capable of acquiring the movement speed of the detected object may be stored.
  • the learned models take as input data the size of an image acquired through a surveillance camera and the size of a block divided into predefined sizes, and the coordinates of the object detected in the image and the coordinate information of the block containing the object may be a model learned to output
  • the video management server 200 may analyze the received video to generate meta data and index information for the meta data.
  • the image management server 200 may analyze image information and/or sound information included in the received image together or separately to generate metadata and index information for the corresponding metadata.
  • the image management system 10 may further include an external device 300 capable of wired/wireless communication with the photographing device 100 and/or the image management server 200.
  • the external device 300 may transmit an information provision request signal requesting provision of all or part of the video to the video management server 200 .
  • the external device 300 requests the image management server 200 for the presence or absence of an object as a result of image analysis, the moving speed of the object, a shutter speed adjustment value according to the moving speed of the object, a noise removal value according to the moving speed of the object, and the like.
  • An information provision request signal may be transmitted.
  • the external device 300 may transmit an information provision request signal requesting metadata obtained by analyzing an image to the image management server 200 and/or index information for the metadata.
  • the image management system 10 may further include a communication network 400 that is a wired/wireless communication path between the photographing device 100 , the image management server 200 , and/or the external device 300 .
  • the communication network 400 may include, for example, wired networks such as LANs (Local Area Networks), WANs (Wide Area Networks), MANs (Metropolitan Area Networks), ISDNs (Integrated Service Digital Networks), wireless LANs, CDMA, Bluetooth, and satellite communication.
  • wired networks such as LANs (Local Area Networks), WANs (Wide Area Networks), MANs (Metropolitan Area Networks), ISDNs (Integrated Service Digital Networks), wireless LANs, CDMA, Bluetooth, and satellite communication.
  • LANs Local Area Networks
  • WANs Wide Area Networks
  • MANs Metropolitan Area Networks
  • ISDNs Integrated Service Digital Networks
  • wireless LANs Code Division Multiple Access
  • CDMA Code Division Multiple Access
  • Bluetooth Code Division Multiple Access
  • Figure 2 is a schematic block diagram of a surveillance camera according to an embodiment of the present specification.
  • FIG. 2 is a block diagram showing the configuration of an image capture device 100 (hereinafter referred to as a camera) shown in FIG. 1 .
  • the camera 100 is described as an example of a network camera that generates the image analysis signal by performing an intelligent video analysis function, but the operation of the network, monitoring, and camera system according to an embodiment of the present invention is necessarily limited to this. it is not going to be
  • the camera 100 may include an image sensor 110, an encoder 120, a memory 130, a communication unit 140, an AI processor 150, and a processor 160.
  • the image sensor 110 performs a function of acquiring an image by photographing a “monitoring” area, and may be implemented with, for example, a Charge-Coupled Device (CCD) sensor or a Complementary Metal-Oxide-Semiconductor (CMOS) sensor.
  • CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide-Semiconductor
  • the encoder 120 performs an operation of encoding an image acquired through the image sensor 110 into a digital signal, which is, for example, H.264, H.265, MPEG (Moving Picture Experts Group), M-JPEG (Motion Joint Photographic Experts Group) standards, etc. may be followed.
  • a digital signal which is, for example, H.264, H.265, MPEG (Moving Picture Experts Group), M-JPEG (Motion Joint Photographic Experts Group) standards, etc.
  • the memory 130 may store video data, audio data, still images, metadata, and the like.
  • the metadata includes object detection information (movement, sound, intrusion into a designated area, etc.) captured in the surveillance area, object identification information (person, car, face, hat, clothing, etc.), and detected location. It can be data containing information (coordinates, size, etc.).
  • the still image is generated together with the metadata and stored in the memory 130, and may be generated by capturing image information for a specific analysis region among the image analysis information.
  • the still image may be implemented as a JPEG image file.
  • the still image may be generated by cropping a specific region of image data determined to be an identifiable object among image data of the surveillance region detected in a specific region and during a specific period, which is the metadata. can be transmitted in real time.
  • the communication unit 140 transmits the video data, audio data, still images, and/or metadata to the external device 300 .
  • the communication unit 140 may transmit video data, audio data, still images, and/or metadata to the external device 300 in real time.
  • the communication interface (not shown) may perform at least one communication function among wired and wireless local area network (LAN), Wi-Fi, ZigBee, Bluetooth, and near field communication. .
  • the AI processor 150 is for artificial intelligence image processing, and applies a deep learning-based object detection algorithm learned as an object of interest from an image obtained through a surveillance camera system according to an embodiment of the present specification. .
  • the AI processor 150 may be implemented as a module with the processor 160 that controls the entire system or implemented as an independent module.
  • Embodiments of the present specification may apply a You Only Lock Once (YOLO) algorithm in object detection.
  • YOLO is an AI algorithm that is suitable for surveillance cameras that process real-time video because of its fast object detection speed.
  • the YOLO algorithm resizes one input image and passes through a single neural network only once, indicating the position of each object. It outputs the bounding box and the classification probability of what the object is. Finally, one object is recognized (detection) once through non-max suppression.
  • the object recognition algorithm disclosed in this specification is not limited to the aforementioned YOLO and can be implemented with various deep learning algorithms.
  • the learning model for object recognition applied in this specification may be a model trained by defining coordinate information of an object in an image as learning data. Accordingly, the learned model outputs the coordinate information of an object included in the image data and/or the position information of a block including an object in a state where the input data is image data and the output data is divided into predetermined block sizes. You can do it with data.
  • power consumption and object recognition rate can be increased by selectively controlling the brightness of the IR LED by selecting only the IR LED corresponding to the position of the object.
  • FIG. 3 is a diagram for explaining an AI device (module) applied to analysis of surveillance camera images according to an embodiment of the present specification.
  • the AI device 20 may include an electronic device including an AI module capable of performing AI processing or a server including an AI module.
  • the AI device 20 may be included as a configuration of at least a portion of a monitoring camera or video management server and may be provided to perform at least a portion of AI processing together.
  • AI processing may include all operations related to a surveillance camera or a control unit of a video management server.
  • a surveillance camera or a video management server may perform AI processing on the acquired video signal to perform processing/determination and control signal generation operations.
  • the AI device 20 may be a client device that directly uses AI processing results or a device in a cloud environment that provides AI processing results to other devices.
  • the AI device 20 is a computing device capable of learning a neural network, and may be implemented in various electronic devices such as a server, a desktop PC, a notebook PC, and a tablet PC.
  • the AI device 20 may include an AI processor 21, a memory 25 and/or a communication unit 27.
  • the AI processor 21 may learn a neural network using a program stored in the memory 25 .
  • the AI processor 21 may learn a neural network for recognizing data related to surveillance cameras.
  • the neural network for recognizing the related data of the surveillance camera may be designed to simulate the structure of the human brain on a computer, and may include a plurality of network nodes having weights that simulate the neurons of the human neural network. there is.
  • a plurality of network modes may transmit and receive data according to a connection relationship, respectively, so as to simulate synaptic activity of neurons that transmit and receive signals through synapses.
  • the neural network may include a deep learning model developed from a neural network model.
  • a plurality of network nodes may exchange data according to a convolution connection relationship while being located in different layers.
  • Examples of neural network models are deep neural networks (DNN), convolutional deep neural networks (CNN), recurrent Boltzmann machines (RNNs), restricted Boltzmann machines (RBMs), deep trust It includes various deep learning techniques such as deep belief networks (DBN) and deep Q-network, and can be applied to fields such as computer vision, voice recognition, natural language processing, and voice/signal processing.
  • DNN deep neural networks
  • CNN convolutional deep neural networks
  • RNNs recurrent Boltzmann machines
  • RBMs restricted Boltzmann machines
  • DNN deep belief networks
  • Q-network deep Q-network
  • the processor performing the functions described above may be a general-purpose processor (eg, CPU), or may be an AI-only processor (eg, GPU) for artificial intelligence learning.
  • a general-purpose processor eg, CPU
  • an AI-only processor eg, GPU
  • the memory 25 may store various programs and data necessary for the operation of the AI device 20 .
  • the memory 25 may be implemented as a non-volatile memory, a volatile memory, a flash-memory, a hard disk drive (HDD), or a solid state drive (SDD).
  • the memory 25 is accessed by the AI processor 21, and reading/writing/modifying/deleting/updating of data by the AI processor 21 can be performed.
  • the memory 25 may store a neural network model (eg, the deep learning model 26) generated through a learning algorithm for data classification/recognition according to an embodiment of the present invention.
  • the AI processor 21 may include a data learning unit 22 that learns a neural network for data classification/recognition.
  • the data learning unit 22 may learn criteria regarding which training data to use to determine data classification/recognition and how to classify and recognize data using the training data.
  • the data learning unit 22 may acquire learning data to be used for learning and learn the deep learning model by applying the obtained learning data to the deep learning model.
  • the data learning unit 22 may be manufactured in the form of at least one hardware chip and mounted on the AI device 20 .
  • the data learning unit 22 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or manufactured as a part of a general-purpose processor (CPU) or a graphics-only processor (GPU) for the AI device 20. may be mounted.
  • the data learning unit 22 may be implemented as a software module.
  • the software module When implemented as a software module (or a program module including instructions), the software module may be stored in a computer-readable, non-transitory computer readable recording medium (non-transitory computer readable media). In this case, at least one software module may be provided by an Operating System (OS) or an application.
  • OS Operating System
  • the data learning unit 22 may include a training data acquisition unit 23 and a model learning unit 24 .
  • the training data acquisition unit 23 may acquire training data required for a neural network model for classifying and recognizing data.
  • the model learning unit 24 may learn to have a criterion for determining how to classify predetermined data by using the acquired training data.
  • the model learning unit 24 may learn the neural network model through supervised learning using at least some of the learning data as a criterion.
  • the model learning unit 24 may learn the neural network model through unsupervised learning in which a decision criterion is discovered by self-learning using learning data without guidance.
  • the model learning unit 24 may learn the neural network model through reinforcement learning using feedback about whether the result of the situation judgment according to learning is correct.
  • the model learning unit 24 may train the neural network model using a learning algorithm including error back-propagation or gradient decent.
  • the model learning unit 24 may store the learned neural network model in memory.
  • the model learning unit 24 may store the learned neural network model in a memory of a server connected to the AI device 20 through a wired or wireless network.
  • the data learning unit 22 further includes a training data pre-processing unit (not shown) and a learning data selection unit (not shown) to improve the analysis result of the recognition model or save resources or time required for generating the recognition model. You may.
  • the learning data pre-processing unit may pre-process the acquired data so that the acquired data can be used for learning for situation determination.
  • the learning data pre-processing unit may process the acquired data into a preset format so that the model learning unit 24 can use the acquired learning data for learning for image recognition.
  • the learning data selector may select data necessary for learning from among the learning data acquired by the learning data acquisition unit 23 or the training data preprocessed by the preprocessor.
  • the selected training data will be provided to the model learning unit 24.
  • the data learning unit 22 may further include a model evaluation unit (not shown) to improve the analysis result of the neural network model.
  • the model evaluation unit inputs evaluation data to the neural network model, and when an analysis result output from the evaluation data does not satisfy a predetermined criterion, it may cause the model learning unit 22 to learn again.
  • the evaluation data may be predefined data for evaluating the recognition model.
  • the model evaluator may evaluate that the predetermined criterion is not satisfied when the number or ratio of the evaluation data for which the analysis result is inaccurate among the analysis results of the learned recognition model for the evaluation data exceeds a preset threshold. there is.
  • the communication unit 27 may transmit the AI processing result by the AI processor 21 to an external electronic device.
  • external electronic devices may include surveillance cameras, Bluetooth devices, self-driving vehicles, robots, drones, AR devices, mobile devices, home appliances, and the like.
  • the AI device 20 shown in FIG. 3 has been functionally divided into an AI processor 21, a memory 25, a communication unit 27, etc., but the above-mentioned components are integrated into one module and the AI module Note that it can also be called
  • one or more of a surveillance camera, an autonomous vehicle, a user terminal, and a server is an artificial intelligence module, a robot, an augmented reality (AR) device, a virtual reality (VT) device, and a 5G It may be associated with a device related to the service.
  • AR augmented reality
  • VT virtual reality
  • 5G It may be associated with a device related to the service.
  • FIG. 4 is a flowchart of a control method of a surveillance camera according to an embodiment of the present specification.
  • the monitoring camera control method shown in FIG. 4 may be implemented through a processor or a control unit included in the monitoring camera system, monitoring camera device, and monitoring camera device described with reference to FIGS. 1 to 3 .
  • the monitoring camera control method is described on the premise that various functions can be controlled through the processor 260 of the monitoring camera 200 shown in FIG. 2, but the present specification is not limited thereto. let it out
  • the processor 260 divides an image into a plurality of blocks.
  • the image may be a surveillance camera image (S400).
  • the processor 260 may divide an image into a plurality of blocks in order to detect a position of an object in the image provided in a predetermined size.
  • the processor 260 recognizes an object in an image through a deep learning algorithm (S410).
  • the deep learning algorithm may apply a You Only Lock Once (YOLO) algorithm.
  • YOLO You Only Lock Once
  • An embodiment of the present specification is a method for controlling a surveillance camera applied in an extremely low light environment, for example, an environment in which an external light source is not present or an external light source is insignificant and the object recognition rate is very low. Image data captured in may be used as input data.
  • the processor 260 calculates the brightness of the object block including the object (S420).
  • the processor 260 may check a block (hereinafter, referred to as an object block) including a recognized object in an image divided into a plurality of blocks.
  • the object block may be composed of a plurality of unit blocks.
  • the unit block is generated in the process of dividing an image into unit sizes, and the unit block may be composed of a plurality of pixels.
  • the brightness of an object block may mean the average brightness of all unit blocks including the object.
  • the processor 260 may calculate the average brightness of the object block based on the average brightness of each block. The brightness of the object block will be described in detail with reference to FIGS. 7 and 8 .
  • the processor 260 can control the brightness of the IR LED so that the brightness of the object block (hereinafter, the brightness of a block means the average brightness of a block) reaches a predetermined reference brightness (S430).
  • the predetermined reference brightness may mean the minimum intensity of illumination required for object recognition in an extremely low illumination environment.
  • the reference brightness may vary depending on the width of the monitoring site, the number of objects approaching the monitoring site, and the separation distance between a plurality of objects in the monitoring site.
  • the reference brightness may be set to a fixed value at an initial release point in the manufacturing process of the surveillance camera, but may also be set to be variable according to the illumination environment of the surveillance camera.
  • the reference brightness may be obtained through model training to calculate the reference brightness through the above-described artificial intelligence learning model.
  • the processor 260 may acquire object recognition rate information from a plurality of captured images while detecting the intensity of illumination of the monitoring site and adjusting the intensity of an external light source in a specific illumination environment. Accordingly, artificial neural network learning may be performed so that illuminance information and image data are defined as input data, and optimal IR LED brightness information for obtaining a target object recognition rate is output data by performing supervised learning according to a specific object recognition rate.
  • FIG. 4 the overall flow of selectively controlling the brightness of only a specific IR LED according to the position of an object according to an embodiment of the present specification has been described.
  • a process of controlling the brightness of an IR LED using object block information will be described in more detail with reference to FIG. 5 .
  • 5 is a flowchart for selectively controlling the brightness of only IR LEDs in an area where an object is located according to an embodiment of the present specification.
  • 6 is an example of dividing brightness control areas according to positions of IR LEDs according to an embodiment of the present specification.
  • the processor 260 may divide an image obtained from a camera into M X N blocks (S500).
  • the surveillance camera may have a plurality of IR LEDs disposed along the periphery of the lens as shown in (b).
  • the arrangement disclosed in (b) of FIG. 6 is an exemplary arrangement and the present specification is not limited thereto.
  • the processor 260 may divide the area illuminated by the IR LED.
  • the irradiation area of the IR LED means an area to which a specific position (or area) of the monitoring site is irradiated by one IR LED light source when a plurality of IR LEDs are arranged spaced apart from each other along the circumference of the circular lens. can do.
  • IR LEDs whose irradiation areas overlap a certain portion or more may be grouped and managed.
  • the processor 260 may group and manage a plurality of IR LEDs disposed along the lens periphery of the camera unit. Grouping and managing may mean that brightness control is performed by group.
  • the criterion of the grouping may be an area or location where each of the plurality of IR LEDs irradiates the monitoring site. That is, in (b) of FIG. 6 , the light source of the two IR LEDs included in group A (GA) may mean a group illuminating area A among surveillance sites (or surveillance images).
  • the IR LEDs included in group B (GB), group C (GC), and group D (GD) are groups that illuminate zone B, zone C, and zone D, respectively.
  • Zones A to D correspond to the corner areas of the image, and the IR LEDs that illuminate the central area (E Area), not the corners, are physically separated by 180 degrees from the upper and lower parts of the lens, respectively, but the irradiation area overlaps with the E area. and can be classified as one group (GE).
  • the number of IR LEDs disposed around the lens may be more or less than the example of FIG. 6, and the division form of the brightness control area illustrated in FIG. 6 (a) may be variously modified according to the number and arrangement of IR LEDs. Of course you can.
  • An embodiment of the present specification may check the location of an object in the brightness control area illustrated in FIG. 6 (a) and control only the brightness of the IR LED illuminating the area where the object is located.
  • the brightness can be efficiently controlled by determining the AE (automatic exposure) brightness of the area where the object is generated and readjusting the IR LED brightness by an appropriate brightness.
  • Statistical data of brightness of each block of an image can be used for IR LED brightness control. Referring to FIG. 7, a process of calculating statistical data for each block of an image will be described.
  • the processor 260 divides the input image into M X N blocks, and each block is composed of m X n pixels.
  • the processor 260 may calculate the average brightness of each block based on the pixel brightness of the divided blocks (S540). To this end, the processor 260 may check the location of the object block including the object (S520), and set a target IR LED as a brightness control target based on the location of the object block (S530).
  • the processor 260 may calculate an average brightness for each block by summing the brightness of all pixels within the divided blocks.
  • the processor 260 partitions the area as shown in (a) of FIG. 6 in the video of the monitoring camera, in reality, an object may be randomly detected in a specific area throughout the entire video. Accordingly, it is possible to calculate the average brightness of all blocks through Equation 1, select only the blocks at the location where the object is generated, and utilize the average brightness information of the selected block.
  • the processor 260 sums the average brightness of each of the 8 blocks and then unit blocks included in the object blocks. Divide by the number to calculate the object brightness.
  • the processor 260 may control the brightness of the target IR LED so that the object block brightness reaches the standard brightness (S560).
  • the target IR LED brightness control value is an item dependent on the object brightness value as described above. Accordingly, it is possible to reduce the problem of camera heating caused by the use of high power consumption due to excessive IR LED brightness control. In addition, since the IR LED brightness can be automatically increased by detecting only the area where the object is issued in the image, the brightness can be controlled while efficiently reducing power consumption.
  • the processor 260 recognizes an object in an image and identifies a location of an object block including the object.
  • the processor 260 calculates the brightness of the object block to control the brightness of the IR LED (GA) responsible for the location (area A) of the object block, and then adjusts the brightness of the target IR LED (GA) to the reference brightness. reach can be controlled.
  • FIG. 10 is a flowchart of an AE control method according to an object location according to an embodiment of the present specification.
  • the processor 260 may additionally control a certain amount of automatic exposure amplification based on the automatic exposure (AE) brightness of the position of the object in the image.
  • the processor 260 may determine the gain amplification amount of the image sensor according to the brightness of the object block (S1010).
  • 11 is a diagram for explaining another example of controlling IR LED brightness through AI algorithm-based object recognition according to an embodiment of the present specification.
  • 12 illustrates AI-based object recognition results according to an embodiment of the present specification.
  • the processor 260 of the monitoring camera inputs the image frame to an Artificial Neural Network (hereinafter referred to as a neural network) model.
  • the neural network model may be a model trained to recognize an object (a person, a car, etc.) included in the input image data using a camera image as input data.
  • the YOLO algorithm may be applied to the neural network model according to an embodiment of the present specification.
  • the processor 260 may recognize the type of object and the location of the object through output data of the neural network model. Referring to FIG.
  • IDs are assigned to the recognized objects, displayed as bounding boxes (B1, B2), and the corners of each bounding box ( C11, C12/ C21, C22) coordinate values may be included.
  • the processor 260 may calculate the coordinates of the center of each bounding box through corner information of the bounding box.
  • FIG. 11 illustrates a case in which the AI processing operation is performed through a network, that is, an external server.
  • a surveillance camera when it acquires an image, it transmits the obtained image data to a network (external server, etc.) (S1100).
  • the monitoring camera may also request information about the presence or absence of an object included in the image and coordinate information of the object in the image when the object exists, along with transmission of the image data.
  • the external server may check an image frame to be input to the neural network model from the image data received from the surveillance camera through the AI processor, and the AI processor may control the image frame to be applied to the neural network model (S1110).
  • the AI processor included in the external server may recognize the type and location of the object through the output data of the neural network model (S1120).
  • the external server may detect the location of the object block based on object location information in the image (S1130).
  • the monitoring camera may receive an object recognition result and/or location information of an object block from an external server (S1140).
  • the monitoring camera may determine the target IR LED corresponding to the object block location (S1150), calculate the object block brightness, and then control the target IR LED brightness based on the object block brightness (S1160).
  • FIG. 13 is a diagram for explaining a control method of a monitoring camera when an object moves within a monitoring site according to an embodiment of the present specification.
  • a plurality of objects may be included in an image, and in some cases, an object may move from a specific area to another area.
  • the processor may dynamically change a target IR LED among a plurality of IR LEDs according to a position of an object block in an image. For example, the processor 260 moves the object block of the first object (ID: 1) from zone A to zone E, and moves the object block of the second object (ID: 2) from zone B to zone D. can detect that The processor 260 may determine the IR LEDs of group E and IR LEDs of group D as target IR LEDs to be controlled for brightness, and control the brightness of the IR LEDs of each group.
  • 14 to 15 are examples of controlling brightness of IR LEDs in a panoramic camera and a multi-directional camera according to an embodiment of the present specification.
  • the surveillance camera may be a panoramic camera 100 according to an embodiment of the present specification.
  • the panoramic camera 100 includes image sensors S1 , S2 , S3 , and S4 oriented in different directions, and as described above, each image sensor may have a predetermined array of IR LEDs around it.
  • the processor in the panoramic camera 100 recognizes an object based on the above method among the input images I1, I2, I3, and I4 obtained from the respective image sensors S1, S2, S3, and S4.
  • the brightness of the IR LED may be controlled by selecting an image sensor corresponding to an image from which an object is recognized as a target IR LED.
  • brightness supplementation may be performed by amplifying the gain of the image sensor.
  • the processor recognizes that the objects OB1 and OB2 are included in the first image I1 and the fourth image I4 of the panoramic image, respectively, the first image I1 and the second image I1.
  • the brightness of IR LEDs of the first image sensor S1 and the fourth image sensor S4 obtained by acquiring the 4 images I4 may be controlled to be changed.
  • a surveillance camera may be a multi-direction camera (hereinafter referred to as a multi-camera) 100.
  • a multi-camera 100 In the images I1, I2, I3, and I4 of the multi-camera 100, whether an object exists (recognized) for each camera area is checked, and in the case of an image with an object recognized, brightness can be calculated as described above.
  • the processor may control the brightness of the IR LED of the image sensor corresponding to the image in which the objects OB1 and OB2 are recognized.
  • the processor may adjust the brightness by adding a gain value for AE brightness amplification for each image.
  • the arrangement of IR LEDs installed along or around the lens of a surveillance camera may vary according to the type of camera, and the arrangement of IR LEDs shown in FIG. 6 is It is illustrative and not limiting. Accordingly, according to an embodiment of the present specification, according to the type of camera such as a PTZ camera, a fixed dome camera, a fixed box camera, a fixed bullet camera, a special camera, and a panoramic camera, the IR LED Arrangements may vary. However, even if the type of camera is different, the arrangement of IR LEDs has each irradiation area within a range similar to the example shown in FIG. this may apply.
  • the grouping criteria of group-managed IR LEDs may be changed, of course.
  • the above-described present invention can be implemented as computer readable code on a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. , and also includes those implemented in the form of a carrier wave (eg, transmission over the Internet). Accordingly, the above detailed description should not be construed as limiting in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

감시 카메라 및 감시 카메라 제어 방법이 개시된다. 본 명세서는 영상에서 객체의 위치를 비추는 IR LED 에 대해서 선택적으로 IR LED의 밝기를 제어한다. 본 명세서는 IR LED의 한계 밝기를 보완하기 위해 객체가 검출된 영역의 AE를 반영하여 IR LED 밝기의 제어범위를 이미지 센서의 이득 증폭으로 보완한다. 이에 따라, 소비전력 효율을 높이고 발열 현상을 최소화할 수 있다. 본 명세서는 감시용 카메라, 자율주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 로봇, 증강현실(Augmented Reality, AR) 장치, 가상 현실(Virtual reality, VT) 장치, 5G 서비스와 관련된 장치 등과 연계될 수 있다.

Description

AI 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거
본 명세서는 감시 카메라 영상 처리 장치 및 방법에 관한 것이다.
저조도 환경 외부 광원이 거의 없는 극저조도 환경의 감시 카메라 시스템은 어두운 환경에서 피사체를 인식하고 촬영할 수 있도록 감시 카메라의 외부 또는 내부에 적외선 투광기를 구비할 수 있다.
그러나, 감시 거리가 길어질수록 많은 양의 적외선 LED를 사용해야 하며, 적외선 LED의 경우 연속적으로 점등시키는 경우 LED의 특성상 열이 매우 많이 발생되고, 파열로 인해 수명이 단축되는 문제가 있다.
감시 카메라가 감시하는 사이트의 경우 항상 주 감시대상인 사람과 객체가 존재하지 않지만 상시적으로 필요한 밝기를 유지해야 한다. 하지만 높은 출력의 적외선 LED 광의 사용은 필연적으로 높은 소비 전력이 필요하게 된다. 이는 카메라 내부의 발명문제, 화면상의 발열 노이즈 발생 등의 문제가 발생한다.
한편, 적외선 LED 광을 오프시키거나, 밝기를 줄이면 감시 대상의 식별이 불가능하며, 화면 밝기가 어두워진 만큼 자동 노출(Auto Exposure) 증폭양이 많아져 화면상의 센서 증폭 노이즈를 야기시키는 문제가 있다.
따라서, 극 저조도 환경에서 카메라의 소비전력도 줄이고 객체 인식을 위한 밝기도 유지하기 위한 방안이 필요하다.
최근, 인공지능 객체인식 기술로 인해 객체의 모션 데이터의 인식에 대한 오알람(False Alarm) 문제가 상당히 개선되었다.
이에 따라, 본 명세서는, 전술한 문제를 해결하기 위해 AI 객체인식 결과에 기초하여 객체의 유무에 따라 적외선 LED 및/또는 자동노출(AE)을 가변적으로 제어함으로써, 저전력의 소비전력을 유지하면서 효율적으로 AE 증폭 이득값을 줄일 수 있는 감시 카메라 및 감시 카메라의 제어 방법을 제공하는 것을 목적으로 한다.
또한, 본 명세서는 객체의 위치에 따라 감시 카메라에 구비된 적외선 LED(이하, IR LED라 함)의 적어도 일부에 대한 밝기를 제어함으로써, 객체 인식률을 높이고 소비전력을 낮출 수 있는 감시 카메라 및 감시 카메라의 제어 방법을 제공하는 것을 목적으로 한다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 이하의 발명의 상세한 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서의 일 실시예에 따른 감시 카메라는 서로 다른 조사영역을 가지도록 배치된 복수의 IR LED를 구비하는 카메라부; 및 상기 카메라부를 통해 획득된 영상을 복수의 블록으로 분할하고, 상기 복수의 블록 중 객체가 포함된 적어도 하나의 블록으로 구성되는 객체블록의 밝기를 산출하고, 상기 객체블록의 밝기에 기초하여 상기 복수의 IR LED 중 상기 객체블록을 조사영역으로 포함하는 적어도 하나의 타겟 IR LED의 밝기를 제어하는 프로세서;를 포함한다.
상기 복수의 IR LED는, 상기 감기 카메라에 의한 촬영 영역이 상기 복수의 IR LED 각각의 조사영역에 따라 복수의 구역으로 구분되도록 배치될 수 있다.
상기 프로세서는, 상기 영상을 M x N 개의 블록으로 분할하고, 분할된 각 블록은 m x n 개의 픽셀수로 구성될 수 있다.
상기 프로세서는, 상기 분할된 블록에 대하여 픽셀밝기에 기초하여 블록별 평균밝기를 산출하고, 상기 블록별 평균밝기에 기초하여 상기 객체블록의 평균밝기를 산출하고, 상기 객체블록의 평균밝기가 미리 정해진 기준 밝기에 도달되도록 상기 타겟 IR LED의 밝기를 제어할 수 있다.
상기 프로세서는, 상기 타겟 IR LED의 한계 밝기가 상기 기준 밝기 미만인 경우, 상기 카메라부에 포함된 이미지 센서의 이득(Gain)을 증폭하여 상기 객체블록의 밝기를 보완할 수 있다.
상기 프로세서는, 상기 객체블록의 밝기에 따라 상기 이미지 센서의 이득 증폭양을 결정할 수 있다.
상기 프로세서는, 상기 영상에서 상기 객체블록의 위치를 인식한 경우, 상기 객체블록의 위치에 대응되는 상기 타겟 IR LED를 결정하고, 상기 타겟 IR LED의 밝기를 자동으로 제어할 수 있다.
상기 프로세서는, 상기 복수의 IR LED 중 상기 타겟 IR LED를 제외한 IR LED를 오프시킬 수 있다.
상기 프로세서는, 상기 영상에서 상기 객체블록의 위치에 따라 상기 복수의 IR LED 중 상기 타겟 IR LED의 대상을 동적으로 가변할 수 있다.
상기 프로세서는, 딥러닝 기반의 객체인식 알고리즘을 이용하여 상기 객체를 인식하고, 상기 인식된 객체별로 ID를 부여하고, 상기 ID가 부여된 객체의 좌표를 추출하여 상기 객체의 좌표를 상기 객체가 포함된 블록의 좌표와 매칭할 수 있다.
본 명세서의 다른 실시예에 다른 감시 카메라는, 복수의 IR LED를 구비하는 카메라부; 및 상기 카메라부를 통해 획득된 영상에서 딥러닝 객체인식 알고리즘을 통해 객체를 인식하고, 상기 복수의 IR LED 중 상기 객체의 좌표정보에 대응하는 적어도 하나의 타겟 IR LED를 선택하고, 상기 객체의 밝기정보에 기초하여 상기 선택된 타겟 IR LED의 밝기를 제어하는 프로세서;를 포함한다.
상기 복수의 IR LED는 상기 카메라부의 렌즈 주위를 따라 배치되며, 상기 감시 카메라의 감시 영역은, 상기 복수의 IR LED의 조사영역에 따라 상기 영상에서 복수의 구역으로 구획되며, 상기 프로세서는, 상기 복수의 구역에 각각 매칭되도록 상기 복수의 IR LED를 적어도 하나의 IR LED을 포함하는 그룹화하여 관리하고, 상기 객체의 위치에 대응되는 그룹을 선택하여 선택된 그룹에 포함된 IR LED의 밝기를 제어할 수 있다.
상기 복수의 구역은, 상기 영상의 모서리에 대응되는 제1 내지 제4 영역과 상기 영상의 중앙부에 대응되는 제5 영역으로 구분될 수 있다.
상기 프로세서는 상기 영상을 복수의 블록으로 분할하고, 상기 복수의 블록 중 상기 객체가 포함된 적어도 하나의 블록으로 구성되는 객체블록의 밝기를 산출하고, 상기 객체블록의 밝기에 기초하여 상기 타겟 IR LED의 밝기를 제어할 수 있다.
상기 프로세서는, 상기 분할된 블록에 대하여 픽셀밝기에 기초하여 블록별 평균밝기를 산출하고, 상기 블록별 평균밝기에 기초하여 상기 객체블록의 평균밝기를 산출하고, 상기 객체블록의 평균밝기가 미리 정해진 기준 밝기에 도달되도록 상기 타겟 IR LED의 밝기를 제어할 수 있다.
상기 프로세서는, 상기 타겟 IR LED의 한계 밝기가 상기 기준 밝기 미만인 경우, 상기 카메라부에 포함된 이미지 센서의 이득(Gain)을 증폭하여 상기 객체블록의 밝기를 보완할 수 있다.
본 명세서의 또 다른 실시예에 따른 감시 카메라의 제어 방법은, 서로 다른 조사영역을 가지도록 배치된 복수의 IR LED를 구비하는 카메라부를 통해 획득된 영상을 복수의 블록으로 분할하는 단계; 딥러닝 객체인식 알고리즘을 통해 객체를 인식하는 단계; 상기 복수의 블록 중 상기 객체가 포함된 적어도 하나의 블록으로 구성되는 객체블록의 밝기를 산출하는 단계; 및 상기 객체블록의 밝기에 기초하여 상기 복수의 LED 중 상기 객체블록을 조사영역으로 포함하는 적어도 하나의 타겟 IR LED의 밝기를 제어하는 단계;를 포함한다.
상기 복수의 IR LED는, 상기 감기 카메라에 의한 촬영 영역이 상기 복수의 IR LED 각각의 조사영역에 따라 복수의 구역으로 구분되도록 배치되고, 상기 객체의 위치 및 상기 객체블록의 위치를 확인하는 단계; 상기 복수의 IR LED 중 상기 객체블록의 위치에 대응되는 적어도 하나의 타겟 IR LED를 결정하는 단계; 및 상기 타겟 IR LED의 밝기를 미리 정해진 기준 밝기에 도달하도록 제어하는 단계;를 더 포함할 수 있다.
상기 감시 카메라의 제어 방법은, 상기 타겟 IR LED의 한계 밝기가 상기 기준 밝기 미만인 경우, 상기 카메라부에 포함된 이미지 센서의 이득(Gain)을 증폭하여 상기 객체블록의 밝기를 보완하는 단계;를 더 포함할 수 있다.
본 명세서의 일 실시예에 따르면, AI 객체인식 결과에 기초하여 객체의 유무에 따라 적외선 LED 및/또는 자동노출(AE)을 가변적으로 제어함으로써, 저전력의 소비전력을 유지하면서 효율적으로 AE 증폭 이득값을 줄일 수 있다.
또한, 본 명세서의 일 실시예에 따르면, 객체의 위치에 따라 감시 카메라에 구비된 적외선 LED(이하, IR LED라 함)의 적어도 일부에 대한 밝기를 제어함으로써, 객체 인식률을 높이고 소비전력을 낮출 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을도 설명한다.
도 1은 본 명세서의 일 실시예에 따른 감시 카메라 시스템을 설명하기 위한 도면이다.
도 2는 본 명세서의 일 실시예에 따른 감시 카메라의 개략적인 블록도이다.
도 3은 본 명세서의 일 실시예에 따른 감시 카메라 영상의 분석에 적용되는 AI 장치(모듈)을 설명하기 위한 도면이다.
도 4는 본 명세서의 일 실시예에 따른 감시 카메라의 제어 방법의 흐름도이다.
도 5는 본 명세서의 일 실시예에 따라 객체가 위치하는 영역의 IR LED 만을 선택적으로 밝기 제어하기 위한 흐름도이다.
도 6은 본 명세서의 일 실시예에 따라 IR LED의 위치에 따른 밝기 제어 영역을 구분한 예시이다.
도 7 내지 도 9은 본 명세서의 일 실시예에 따라 영상 분할을 통해 객체가 위치하는 영역의 IR LED 만을 선택적으로 밝기 제어하는 방법을 설명하기 위한 도면들이다.
도 10은 본 명세서의 일 실시예에 따라 객체의 위치에 따른 AE 제어 방법의 흐름도이다.
도 11은 본 명세서의 일 실시예에 따라 AI 알고리즘 기반 객체 인식을 통해 IR LED 밝기를 제어하는 다른 예를 설명하기 위한 도면이다.
도 12는 본 명세서의 일 실시예에 따라 AI 기반 객체 인식 결과를 예시한다.
도 13은 본 명세서의 일 실시예에 따라 감시 사이트 내에서 객체가 이동할 경우, 감시 카메라의 제어 방법을 설명하기 위한 도면이다.
도 14 내지 도 15는 파노라믹 카메라 및 멀티 방향 카메라에서 본 명세서의 일 실시예에 따라 IR LED의 밝기를 제어하는 예이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 명세서의 일 실시예에 따른 감시 카메라 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 본 명세서의 일 실시예에 따른 감시 카메라 시스템(10)은 촬영 장치(100) 및 영상 관리 서버(200)을 포함할 수 있다. 촬영 장치(100)는 특정 장소의 고정된 위치에 배치되는 촬영용 전자 장치일 수도 있고, 일정한 경로를 따라 자동 또는 수동으로 움직일 수 있는 촬영용 전자 장치일 수도 있고, 사람 또는 로봇 등에 의하여 이동될 수 있는 촬영용 전자 장치일 수도 있다. 촬영 장치(100)는 유무선 인터넷에 연결하여 사용하는 IP 카메라일 수 있다. 촬영 장치(100)는 팬(pan), 틸트(tilt), 및 줌(zoom) 기능을 갖는 PTZ 카메라일 수 있다. 촬영 장치(100)는 감시 하는 영역을 녹화하거나 사진을 촬영하는 기능을 가질 수 있다. 촬영 장치(100)는 감시하는 영역에서 발생하는 소리를 녹음하는 기능을 가질 수 있다. 촬영 장치(100)는 감시하는 영역에서 움직임 또는 소리 등 변화가 발생 할 경우, 이에 대한 알림을 발생시키거나 녹화 또는 사진 촬영을 수행하는 기능을 가질 수 있다.
영상 관리 서버(200)는 촬영 장치(100)를 통하여 촬영된 영상 자체 및/또는 해당 영상을 편집하여 얻어지는 영상을 수신하여 저장하는 장치일 수 있다. 영상 관리 서버(200)는 수신한 용도에 대응되도록 분석할 수 있다. 예를 들어, 영상 관리 서버(200)는 영상에서 객체를 검출하기 위해 객체 검출 알고리즘을 이용하여 객체를 검출할 수 있다. 상기 객체 검출 알고리즘은 AI 기반 알고리즘이 적용될 수 있으며, 미리 학습된 인공신경망 모델을 적용하여 객체를 검출할 수 있다. 상기 객체 검출 알고리즘을 통해 객체를 검출하는 동작은 전술한 영상 촬영 장치(100)를 통해서도 구현이 가능함은 물론이다.
한편, 영상 관리 서버(200)는 영상 분석 목적에 맞는 다양한 학습 모델을 저장하고 있을 수 있다. 전술한 객체 검출을 위한 학습 모델 외에, 검출된 객체의 이동 속도를 획득할 수 있는 모델을 저장하고 있을 수도 있다. 여기서 상기 학습된 모델들은 감시 카메라릍 통해 획득된 영상의 크기, 미리 정의된 크기로 분할된 블록 크기를 입력데이터로 하고, 상기 영상 내에서 검출된 객체의 좌표, 상기 객체를 포함하는 블록의 좌표 정보가 출력되도록 학습된 모델일 수 있다.
또한, 영상 관리 서버(200)는 수신한 영상을 분석하여 메타 데이터와 해당 메타 데이터에 대한 인덱스 정보를 생성할 수 있다. 영상 관리 서버(200)는 수신한 영상에 포함된 영상 정보 및 /또는 음향 정보를 함께 또는 별도로 분석하여 메타 데이터와 해당 메타 데이터에 대한 인덱스 정보를 생성할 수 있다.
영상 관리 시스템(10)은 촬영 장치(100) 및/또는 영상 관리 서버(200)와 유무선 통신을 수행할 수 있는 외부 장 치(300)를 더 포함할 수 있다.
외부 장치(300)는 영상 관리 서버(200)로 영상 전체 또는 일부의 제공을 요청하는 정보 제공 요청 신호를 송신 할 수 있다. 외부 장치(300)는 영상 관리 서버(200)로 영상 분석 결과 객체의 존재 여부, 객체의 이동 속도, 객체의 이동 속도에 따른 셔터 속도 조절값, 객체의 이동 속도에 따른 노이즈 제거값 등을 요청하는 정보 제공 요청 신호를 송신할 수 있다. 또한 외부 장치(300)는 영상 관리 서버(200)로 영상을 분석하여 얻어진 메타 데이터 및/또는 메타 데이터에 대한 인덱스 정보를 요청하는 정보 제공 요청 신호를 송신할 수 있다.
영상 관리 시스템(10)은 촬영 장치(100), 영상 관리 서버(200), 및/또는 외부 장치(300) 간의 유무선 통신 경로 인 통신망(400)을 더 포함할 수 있다. 통신망(400)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트 워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 명세서의 범위가 이 에 한정되는 것은 아니다.
도 2는 본 명세서의 일 실시예에 따른 감시 카메라의 개략적인 블록도이다.
도 2는 도 1에 도시된　영상 촬영 장치(100, 이하, 카메라)의 구성을 나타내는 블록도이다. 도 2를 참조하면, 카메라(100)는 지능형 영상분석 기능을 수행하여 상기 영상분석 신호를 생성하는 네트워크　카메라임을 그 예로 설명하나, 본 발명의 실시예에 의한 네트워크　감시　카메라　시스템의 동작이 반드시 이에 한정되는 것은 아니다.
카메라(100)는 이미지 센서(110), 인코더(120), 메모리(130), 통신부(140), AI 프로세서(150), 프로세서(160)를 포함할 수 있다.
이미지 센서(110)는　감시　영역을 촬영하여 영상을 획득하는 기능을 수행하는 것으로서, 예컨대, CCD(Charge-Coupled Device) 센서, CMOS(Complementary Metal-Oxide-Semiconductor) 센서 등으로 구현될 수 있다.
인코더(120)는 이미지 센서(110)를 통해 획득한 영상을 디지털 신호로 부호화하는 동작을 수행하며, 이는 예컨대, H.264, H.265, MPEG(Moving Picture Experts Group), M-JPEG(Motion Joint Photographic Experts Group) 표준 등을 따를 수 있다.
메모리(130)는 영상 데이터, 음성 데이터, 스틸 이미지, 메타데이터 등을 저장할 수 있다. 앞서 언급한 바와 같이, 상기 메타데이터는 상기　감시영역에 촬영된 객체 검출 정보(움직임, 소리, 지정지역 침입 등), 객체 식별 정보(사람, 차, 얼굴, 모자, 의상 등), 및 검출된 위치 정보(좌표, 크기 등)을 포함하는 데이터일 수 있다.
또한, 상기 스틸 이미지는 상기 메타데이터와 함께 생성되어 메모리(130)에 저장되는 것으로서, 상기 영상분석 정보들 중 특정 분석 영역에 대한 이미지 정보를 캡쳐하여 생성될 수 있다. 일 예로, 상기 스틸 이미지는 JPEG 이미지 파일로 구현될 수 있다.
일 예로, 상기 스틸 이미지는 특정 영역 및 특정 기간 동안 검출된 상기　감시영역의 영상 데이터들 중 식별 가능한 객체로 판단된 영상 데이터의 특정영역을 크롭핑(cropping)하여 생성될 수 있으며, 이는 상기 메타데이터와 함께 실시간으로 전송될 수 있다.
통신부(140)는 상기 영상 데이터, 음성 데이터, 스틸 이미지, 및/또는 메타데이터를 외부 장치(300)에 전송한다. 일 실시예에 따른 통신부(140)는 영상 데이터, 음성 데이터, 스틸 이미지, 및/또는 메타데이터를 외부 장치(300)에 실시간으로 전송할 수 있다. 통신 인터페이스(미도시)는 유무선 LAN(Local Area Network), 와이파이(Wi-Fi), 지그비(ZigBee), 블루투스(Bluetooth), 근거리 통신(Near Field Communication) 중 적어도 하나의 통신 기능을 수행할 수 있다.
AI 프로세서(150)는 인공지능 영상 처리를 위한 것으로서, 본 명세서의 일 실시예에 따라 감시 카메라 시스템을 통해 획득된 영상에서 관심객체로 학습된 딥러닝 기반의 객체 탐지(Objection Detection) 알고리즘을 적용한다. 상기 AI 프로세서(150)는 시스템 전반에 걸쳐 제어하는 프로세서(160)와 하나의 모듈로 구현되거나 독립된 모듈로 구현될 수 있다. 본 명세서의 일 실시예들은 객체 탐지에 있어서 YOLO(You Only Lock Once) 알고리즘을 적용할 수 있다. YOLO은 객체 검출 속도가 빠르기 때문에 실시간 동영상을 처리하는 감시 카메라에 적당한 AI 알고리즘이다. YOLO 알고리즘은 다른 객체 기반 알고리즘들(Faster R-CNN, R_FCN, FPN-FRCN 등)과 달리 한 장의 입력 영상을 리사이즈(Resize)후 단일 신경망을 단 한 번 통과킨 결과로 각 객체의 위치를 인디케이팅하는 바운딩 박스(Bounding Box)와 객체가 무엇인지 분류 확률을 출력한다. 최종적으로 Non-max suppression을 통해 하나의 객체를 한번 인식(detection)한다.
한편, 본 명세서에 개시되는 객체 인식 알고리즘은 전술한 YOLO에 한정되지 않고 다양한 딥러닝 알고리즘으로 구현될 수 있음을 밝혀둔다.
한편, 본 명세서에 적용되는 객체 인식을 위한 학습 모델은 영상에서 객체의 좌표정보 등을 학습데이터로 정의하여 훈련된 모델일 수 있다. 이에 따라 학습된 모델은 입력 데이터가 영상 데이터이며, 출력 데이터가 영상 데이터 내에 포함된 객체의 좌표 정보 및/또는 상기 영상이 소정의 블록 크기로 분할된 상태에서 객체가 포함된 블록의 위치정보를 출력데이터로 할 수 있다.
본 명세서는 영상 내에서 상기 객체의 위치가 감지되면, 상기 객체의 위치에 대응되는 IR LED만을 선택하여 선별적으로 IR LED의 밝기를 제어함으로써, 소비전력 및 객체인식율을 높일 수 있다.
도 3은 본 명세서의 일 실시예에 따른 감시 카메라 영상의 분석에 적용되는 AI 장치(모듈)을 설명하기 위한 도면이다.
도 3을 살펴보면, AI 장치(20)는 AI 프로세싱을 수행할 수 있는 AI 모듈을 포함하는 전자 기기 또는 AI 모듈을 포함하는 서버 등을 포함할 수 있다. 또한, AI 장치(20)는 감시 카메라 또는 영상 관리 서버의 적어도 일부의 구성으로 포함되어 AI 프로세싱 중 적어도 일부를 함께 수행하도록 구비될 수도 있다.
AI 프로세싱은 감시카메라 또는 영상 관리 서버의 제어부와 관련된 모든 동작들을 포함할 수 있다. 예를 들어, 감시 카메라 또는 영상 관리 서버는 획득된 영상 신호를 AI 프로세싱 하여 처리/판단, 제어 신호 생성 동작을 수행할 수 있다.
AI 장치(20)는 AI 프로세싱 결과를 직접 이용하는 클라이언트 디바이스이거나, AI 프로세싱 결과를 다른 기기에 제공하는 클라우드 환경의 디바이스일 수도 있다. AI 장치(20)는 신경망을 학습할 수 있는 컴퓨팅 장치로서, 서버, 데스크탑 PC, 노트북 PC, 태블릿 PC 등과 같은 다양한 전자 장치로 구현될 수 있다.
AI 장치(20)는 AI 프로세서(21), 메모리(25) 및/또는 통신부(27)를 포함할 수 있다.
AI 프로세서(21)는 메모리(25)에 저장된 프로그램을 이용하여 신경망을 학습할 수 있다. 특히, AI 프로세서(21)는 감시 카메라의 관련 데이터를 인식하기 위한 신경망을 학습할 수 있다. 여기서, 감시 카메라의 관련 데이터를 인식하기 위한 신경망은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 갖는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 모드들은 뉴런이 시냅스(synapse)를 통해 신호를 주고 받는 뉴런의 시냅틱 활동을 모의하도록 각각 연결 관계에 따라 데이터를 주고 받을 수 있다. 여기서 신경망은 신경망 모델에서 발전한 딥러닝 모델을 포함할 수 있다. 딥러닝 모델에서 복수의 네트워크 노드들은 서로 다른 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 신경망 모델의 예는 심층 신경망(DNN, deep neural networks), 합성곱 신경망(CNN, convolutional deep neural networks), 순환 신경망(RNN, Recurrent Boltzmann Machine), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, deep belief networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥 러닝 기법들을 포함하며, 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용될 수 있다.
한편, 전술한 바와 같은 기능을 수행하는 프로세서는 범용 프로세서(예를 들어, CPU)일 수 있으나, 인공지능 학습을 위한 AI 전용 프로세서(예를 들어, GPU)일 수 있다.
메모리(25)는 AI 장치(20)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(25)는 비 휘발성 메모리, 휘발성 메모리, 플래시 메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SDD) 등으로 구현할 수 있다. 메모리(25)는 AI 프로세서(21)에 의해 액세스되며, AI 프로세서(21)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 또한, 메모리(25)는 본 발명의 일 실시예에 따른 데이터 분류/인식을 위한 학습 알고리즘을 통해 생성된 신경망 모델(예를 들어, 딥 러닝 모델(26))을 저장할 수 있다.
한편, AI 프로세서(21)는 데이터 분류/인식을 위한 신경망을 학습하는 데이터 학습부(22)를 포함할 수 있다. 데이터 학습부(22)는 데이터 분류/인식을 판단하기 위하여 어떤 학습 데이터를 이용할지, 학습 데이터를 이용하여 데이터를 어떻게 분류하고 인식할지에 관한 기준을 학습할 수 있다. 데이터 학습부(22)는 학습에 이용될 학습 데이터를 획득하고, 획득된 학습데이터를 딥러닝 모델에 적용함으로써, 딥러닝 모델을 학습할 수 있다.
데이터 학습부(22)는 적어도 하나의 하드웨어 칩 형태로 제작되어 AI 장치(20)에 탑재될 수 있다. 예를 들어, 데이터 학습부(22)는 인공지능(AI)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 범용 프로세서(CPU) 또는 그래픽 전용 프로세서(GPU)의 일부로 제작되어 AI 장치(20)에 탑재될 수도 있다. 또한, 데이터 학습부(22)는 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈(또는 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록 매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 애플리케이션에 의해 제공될 수 있다.
데이터 학습부(22)는 학습 데이터 획득부(23) 및 모델 학습부(24)를 포함할 수 있다.
학습 데이터 획득부(23)는 데이터를 분류하고 인식하기 위한 신경망 모델에 필요한 학습 데이터를 획득할 수 있다.
모델 학습부(24)는 획득된 학습 데이터를 이용하여, 신경망 모델이 소정의 데이터를 어떻게 분류할지에 관한 판단 기준을 가지도록 학습할 수 있다. 이 때 모델 학습부(24)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또는 모델 학습부(24)는 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통해 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(24)는 학습에 따른 상황 판단의 결과가 올바른지에 대한 피드백을 이용하여 강화 학습(reinforcement learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(24)는 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient decent)을 포함하는 학습 알고리즘을 이용하여 신경망 모델을 학습시킬 수 있다.
신경망 모델이 학습되면, 모델 학습부(24)는 학습된 신경망 모델을 메모리에 저장할 수 있다. 모델 학습부(24)는 학습된 신경망 모델을 AI 장치(20)와 유선 또는 무선 네트워크로 연결된 서버의 메모리에 저장할 수도 있다.
데이터 학습부(22)는 인식 모델의 분석 결과를 향상시키거나, 인식 모델의 생성에 필요한 리소스 또는 시간을 절약하기 위해 학습 데이터 전처리부(미도시) 및 학습 데이터 선택부(미도시)를 더 포함할 수도 있다.
학습 데이터 전처리부는 획득된 데이터가 상황 판단을 위한 학습에 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 예를 들어, 학습 데이터 전처리부는, 모델 학습부(24)가 이미지 인식을 위한 학습을 위하여 획득된 학습 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
또한, 학습 데이터 선택부는, 학습 데이터 획득부(23)에서 획득된 학습 데이터 또는 전처리부에서 전처리된 학습 데이터 중 학습에 필요한 데이터를 선택할 수 있다.선택된 학습 데이터는 모델 학습부(24)에 제공될 수 있다.
또한, 데이터 학습부(22)는 신경망 모델의 분석 결과를 향상시키기 위하여 모델 평가부(미도시)를 더 포함할 수도 있다.
모델 평가부는, 신경망 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 분석 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(22)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 인식 모델을 평가하기 위한 기 정의된 데이터일 수 있다. 일 예로, 모델 평가부는 평가 데이터에 대한 학습된 인식 모델의 분석 결과 중, 분석 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정되 임계치를 초과하는 경우, 소정 기준을 만족하지 못한 것으로 평가할 수 있다.
통신부(27)는 AI 프로세서(21)에 의한 AI 프로세싱 결과를 외부 전자 기기로 전송할 수 있다. 예를 들어, 외부 전자 기기는 감시카메라, 블루투스 장치, 자율주행 차량, 로봇, 드론, AR 기기, 모바일 기기, 가전 기기 등을 포함할 수 있다.
한편, 도 3에 도시된 AI 장치(20)는 AI 프로세서(21)와 메모리(25), 통신부(27) 등으로 기능적으로 구분하여 설명하였지만, 전술한 구성요소들이 하나의 모듈로 통합되어 AI 모듈로 호칭될 수도 있음을 밝혀둔다.
본 명세서는 감시용 카메라, 자율주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 로봇, 증강현실(Augmented Reality, AR) 장치, 가상 현실(Virtual reality, VT) 장치, 5G 서비스와 관련된 장치 등과 연계될 수 있다.
도 4는 본 명세서의 일 실시예에 따른 감시 카메라의 제어 방법의 흐름도이다. 도 4에 도시된 감시 카메라 제어 방법은 도 1 내지 도 3을 통해 설명한 감시 카메라 시스템, 감시 카메라 장치, 감시 카메라 장치에 포함된 프로세서 또는 제어부를 통해 구현될 수 있다. 설명의 편의를 위해 상기 감시 카메라 제어방법은 도 2에 도시된 감시 카메라(200)의 프로세서(260)를 통해 다양한 기능들이 제어될 수 있음을 전제로 설명하나, 본 명세서는 이에 한정되는 것이 아님을 밝혀둔다.
도 4를 참조하면, 프로세서(260)는 영상을 복수의 블록으로 분할한다. 상기 영상은 감시 카메라 영상일 수 있다(S400). 프로세서(260)는 소정 크기로 제공되는 상기 영상에 대하여 영상 내에서 객체의 위치를 검출하기 위하여 영상을 복수의 블록으로 분할할 수 있다.
프로세서(260)는 딥러닝 알고리즘을 통해 영상에서 객체를 인식한다(S410). 일 실시예에 따라 상기 딥러닝 알고리즘은 YOLO(You Only Lock Once) 알고리즘을 적용될 수 있다. 본 명세서의 실시예는 극저조도 환경 예를들어, 외부 광원이 존재하지 않거나 외부 광원이 존재하더라도 미미하여 객체 인식율이 매우 낮은 환경에서 적용되는 감시 카메라의 제어 방법으로서, 인공신경망을 학습하는 과정에서 저조도 환경에서 촬영된 영상 데이터가 입력 데이터로 활용될 수 있다.
프로세서(260)는 객체가 포함된 객체블록의 밝기를 산출한다(S420). 프로세서(260)는 복수의 블록으로 분할된 영상에서 인식된 객체가 포함된 블록(이하, 객체블록이라 함)을 확인할 수 있다. 상기 객체블록은 복수의 단위 블록으로 구성될 수 있다. 상기 단위 블록은 영상이 단위 크기로 분할되는 과정에서 생성되는 것으로서, 상기 단위 블록은 복수의 픽셀로 구성될 수 있다. 여기서 객체블록의 밝기는 상기 객체가 포함된 모든 단위블록의 평균 밝기를 의미할 수 있다. 프로세서(260)는 블록별 평균밝기를 산출한 후 블록별 평균밝기에 기초하여 객체블록의 평균밝기를 산출할 수 있다. 객체블록의 밝기에 대해서는 도 7 및 도 8을 통해 보다 구체적으로 설명한다.
프로세서(260)는 객체블록의 밝기(이하, 블록의 밝기는 블록의 평균밝기를 의미함)가 미리 정해진 기준 밝기에 도달되도록 IR LED의 밝기를 제어할 수 있나(S430). 여기서 미리 정해진 기준 밝기라 함은 극저조도 환경에서 객체인식을 위해 필요한 최소한의 조도의 세기를 의미할 수 있다. 상기 기준 밝기는 감시 사이트의 넓이, 감시 사이트에 등작하는 객체수, 감시 사이트에서 복수의 객체간의 이격 거리 등에 따라 달라질 수 있다. 상기 기준 밝기는 감시 카메라 제조과정에서 초기 출시 시점에서 고정된 값으로 설정될 수도 있지만, 감시 카메라의 조도 환경에 따라 가변될 수 있도록 설정될 수도 있다. 상기 기준 밝기는 전술한 인공지능 학습 모델을 통해 기준밝기 산출을 위해 모델 훈련을 통해 획득될 수도 있다. 예를 들어, 프로세서(260)는 감시 사이트의 조도를 디텍트하고, 특정 조도 환경에서 외부 광원의 세기를 조절하면서 촬영된 복수의 영상에서 객체 인식률 정보를 획득할 수 있다. 이에 따라 조도 정보 및 영상 데이터를 입력 데이터로 정의하고, 특정 객체 인식율에 따라 지도 학습을 수행하여 목표 객체 인식률을 얻기 위한 최적의 IR LED 밝기 정보를 출력 데이터가 되도록 인공신경망 학습을 진행할 수 있다.
이상, 도 4에서는 본 명세서의 일 실시예에 따라 객체의 위치에 따라 특정 IR LED 에 대해서만 선택적으로 밝기제어하는 전체적은 흐름을 설명하였다. 이하, 도 5를 통해 객체블록 정보를 활용하여 IR LED의 밝기를 제어하는 과정을 보다 구체적으로 설명한다.
도 5는 본 명세서의 일 실시예에 따라 객체가 위치하는 영역의 IR LED 만을 선택적으로 밝기 제어하기 위한 흐름도이다. 도 6은 본 명세서의 일 실시예에 따라 IR LED의 위치에 따른 밝기 제어 영역을 구분한 예시이다.
도 5를 참조하면, 프로세서(260)는 카메라로부터 획득된 영상을 M X N 개의 블록으로 분할할 수 있다(S500).
도 6을 참조하면, 감시 카메라는 (b)에 도시된 바와 같이 렌즈 주변을 따라 복수의 IR LED가 배치될 수 있다. 도 6의 (b)에 개시된 배치는 예시적인 배치이며 본 명세서는 이에 한정되는 것은 아니다. 프로세서(260)는 IR LED의 조사영역을 고려하여 IR LED의 위치를 조절하는 경우 IR LED가 비추는 영역을 분할할 수 있다. 여기서 IR LED의 조사 영역은, 원형의 렌즈 주위를 따라 복수의 IR LED가 소정 간격만큼 이격되어 배열될 때, 하나의 IR LED 광원에 의해 감시 사이트의 특정 위치(또는 영역)이 조사되는 영역을 의미할 수 있다. 한편, 상기 복수의 IR LED의 이격 거리가 짧을수록 각각각의 IR LED의 조사영역은 적어도 일부가 서로 중첩될 수 있다. 이에 따라, 조사영역이 일정 부분 이상 중첩되는 IR LED들에 대해서는 그룹화하여 관리할 수도 있다.
예를 들어, 프로세서(260)는 카메라부의 렌즈 주위를 따라 배치된 복수의 IR LED를 그룹화하여 관리할 수 있다. 그룹화 하여 관리하는 것은, 밝기제어를 그룹별로 수행하는 것을 의미할 수 있다. 상기 그룹화의 기준은 복수의 IR LED 각각이 감시 사이트를 조사하는 영역 또는 위치일 수 있다. 즉, 도 6의 (b)에서 그룹 A(GA)에 포함된 두 개의 IR LED의 광원은 감시 사이트(또는 감시 영상) 중 A 구역을 비추는 그룹을 의미할 수 있다. 그룹 B(GB), 그룹 C(GC), 그룹 D(GD)에 포함되는 IR LED는 각각 B구역, C구역, D구역을 비추는 그룹들이다. 한편, A~D구역은 영상의 모서리 영역에 해당되며, 모서리가 아닌 중앙영역(E 구역)을 비추는 IR LED는 렌즈 상단부와 하단부로 각각 물리적으로 180도 이격되어 있지만, 조사영역이 E 구역으로 중첩되어 하나의 그룹(GE)으로 분류될 수 있다.
렌즈 주변에 배치되는 IR LED의 개수는 도 6의 예시보다 많거나 적을 수 있으며, IR LED의 개수 및 배치 형태에 따라 도 6의 (a)에 예시한 밝기 제어 영역의 구분 형태는 다양하게 변형될 수 있음은 물론이다.
본 명세서의 일 실시예는 도 6의 (a)에 예시된 밝기 제어 영역에서 객체의 위치를 확인하고, 객체가 위치한 영역을 비추는 IR LED의 밝기만을 제어할 수 있다. 다만, 객체의 위치 산출 결과로 현재의 객체의 유무와 위치를 확인할 수는 있지만, 객체가 위치한 구역을 선택하여 대응되는 IR LED의 밝기를 최대 밝기로 제어하게 되면 선택된 구역을 밝아지겠지만, 최대 밝기에 따른 소비전력이 많이 늘어날 수 있고, 발열문제도 발생할 수 있다. 따라서, 이를 최대한 효율적으로 제어하기 위해 객체가 발생된 영역의 AE(자동노출) 밝기를 판단하여 적당한 밝기 만큼 IR LED 밝기를 재조정하면 효율적으로 밝기를 제어할 수 있다.
IR LED 밝기 제어를 위해서는 영상의 블록별 밝기의 통계 데이터를 활용할 수 있다. 도 7을 참조하여, 영상의 블록별 통계데이터 산출과정을 설명한다. 프로세서(260)는 입력된 영상은 M X N 개의 블록으로 분할하되, 각각의 블록은 m X n 개의 픽셀로 구성되어 있다.
다시 도 5를 참조하면, 프로세서(260)는 분할된 블록의 픽셀밝기에 기초하여 블록별 평균밝기를 산출할 수 있다(S540). 이를 위해, 프로세서(260)는 객체가 포함된 객체블록의 위치를 확인하고(S520), 객체블록의 위치에 기초하여 밝기 제어 대상인 타겟 IR LED를 셜정할 수 있다(S530).
프로세서(260)는 아래 수식 1에서와 같이 분할된 블록 내에서 모든 픽셀의 밝기를 합산함으로써, 블록별 평균 밝기를 산출할 수 있다.
Figure PCTKR2023002181-appb-img-000001
프로세서(260)는 감시 카메라의 영상에서 도 6의 (a)이 같이 영역을 구획하였지만, 실제로 객체는 영상 전체에 걸쳐서 랜덤하게 특정 영역에서 검출될 수 있다. 이에 따라 수학식 1을 통해 모든 블록의 블록별 평균 밝기를 산출하고, 객체가 발생된 위치의 부분의 블록들만 선택하고, 상기 선택된 블록의 평균 밝기 정보를 활용할 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 객체의 적어도 일부를 포함하는 블록은 총 8개의 블록이며 프로세서(260)는 상기 8개 블록 각각의 평균 밝기를 합산한 후 객체블록에 포함된 단위블록 수로 나누어 객체 밝기를 산출할 수 있다.
Figure PCTKR2023002181-appb-img-000002
프로세서(260)는 이와 같이 산출된 객체 밝기가 미리 정해진 기준 밝기보다 낮은 경우(S550:Y), 객체 블록 밝기가 상기 기준 밝기에 도달하도록 타겟 IR LED의 밝기를 제어할 수 있다(S560).
여기서, 상기 타겟 IR LED 밝기제어 값은 전술한 바와 같이 객체 밝기 값에 의존하는 항목이다. 이에 따라 과도하게 IR LED 밝기 제어에 따른 높은 소비전력 사용으로 인한 카메라 발열문제를 줄일 수 있다. 또한, 영상에서 객체가 발행된 영역만을 디텍트하여 자동으로 IR LED 밝기를 높일 수 있으므로 효율적으로 소비전력을 줄이면서 밝기를 제어할 수 있다.
도 9를 참조하면, 프로세서(260)는 영상에서 객체를 인식하고, 객체를 포함하는 객체블록의 위치를 확인한다. 프로세서(260)는 상기 객체블록의 위치(A 구역)을 담당하는 IR LED (GA)의 밝기를 제어하기 위해, 객체블록의 밝기를 산출한 후, 타겟 IR LED (GA)의 밝기를 기준 밝기 까지 도달되도록 제어할 수 있다.
도 10은 본 명세서의 일 실시예에 따라 객체의 위치에 따른 AE 제어 방법의 흐름도이다.
다만, 본 명세서의 일 실시예에 따르면 타겟 IR LED의 밝기를 높이도록 제어할 수 있지만, 제어 범위가 타겟 IR LED의 성능 등을 고려할 때 각 IR LED의 한계 밝기 이상으로 밝기를 높일 수는 없다. 이에 따라, 프로세서(260)는 영상에서 객체의 위치에 대한 자동노출(AE) 밝기를 기준으로 일정양의 자동노출 증폭량을 추가적으로 제어할 수 있다. 프로세서(260)는 타겟 IR LED의 한계 밝기가 상기 기준밝기 미만인 경우(S1000:Y), 객체블록 밝기에 따라 이미지 센서의 이득(Gain) 증폭량을 결정할 수 있다(S1010)
도 11은 본 명세서의 일 실시예에 따라 AI 알고리즘 기반 객체 인식을 통해 IR LED 밝기를 제어하는 다른 예를 설명하기 위한 도면이다. 도 12는 본 명세서의 일 실시예에 따라 AI 기반 객체 인식 결과를 예시한다.
감시 카메라의 프로세서(260)는 영상 프레임을 인공 신경망(Artificial Neural Network, 이하 신경망이라 함) 모델에 입력한다. 상기 신경망 모델은 카메라 영상을 입력 데이터로 하고 상기 입력된 영상 데이터에 포함된 객체(사람, 자동차 등)를 인식하도록 훈련된 모델일 수 있다. 전술한 바와 같이 본 명세서의 일 실시예에 따라 상기 신경망 모델은 YOLO 알고리즘이 적용될 수 있다. 프로세서(260)는 신경망 모델의 출력 데이터를 통해 객체의 종류 및 객체의 위치를 인식할 수 있다. 도 12를 참조하면 신경망 모델의 출력 결과 객체인식 결과, 인식된 객체에 대하여 ID (ID:1, ID:2)를 부여하고, 바운딩 박스(B1,B2)로 표시하고, 각 바운딩 박스의 모서리(C11,C12/ C21, C22)의 좌표값을 포함할 수 있다. 프로세서(260)는 상기 바운딩 박스의 모서리 정보를 통해 각 바운딩 박스의 중심 좌표를 산출할 수 있다.
한편, 감시 카메라에서 AI 프로세싱 결과를 통해 객체를 인식하는 과정을 설명하였으나, 도 11은 상기 AI 프로세싱 동작을 네트워크 즉 외부 서버를 통해 수행하는 경우를 예시한다.
도 11을 참조하면, 감시 카메라는 영상을 획득한 경우, 획득한 영상 데이터를 네트워크(외부 서버 등)로 전송한다(S1100). 여기서 감시 카메라는 영상 데이터 전송과 함께 영상에 포함된 객체의 존재 유무, 객체가 존재하는 경우, 영상 내에서 객체의 좌표정보를 함께 요청할 수도 있다.
외부 서버는 AI 프로세서를 통해 감시 카메라로부터 수신된 영상 데이터로부터 신경망 모델에 입력할 영상 프레임을 확인하고, AI 프로세서는 상기 영상 프레임을 신경망 모델에 적용하도록 제어할 수 있다(S1110). 또한 외부 서버에 포함된 AI 프로세서는 신경망 모델의 출력 데이터를 통해 객체의 종류 및 객체의 위치를 인식할 수 있다(S1120). 외부 서버는 영상 내에서의 객체 위치정보에 기초하여 객체블록의 위치를 검출할 수 있다(S1130).
감시 카메라는 외부 서버로부터 객체 인식 결과 및/또는 객체블록의 위치정보를 수신할 수 있다(S1140).
감시 카메라는 객체블록 위치에 대응되는 타겟 IR LED를 결정하고(S1150), 객체블록 밝기를 산출한 후, 객체블록 밝기에 기초하여 타겟 IR LED 밝기를 제어할 수 있다(S1160).
도 13은 본 명세서의 일 실시예에 따라 감시 사이트 내에서 객체가 이동할 경우, 감시 카메라의 제어 방법을 설명하기 위한 도면이다.
도 13을 참조하면, 본 명세서의 일 실시예에 따라 영상에는 복수의 객체가 포함될 수 있으며, 경우에 따라 객체가 특정 구역에서 다른 구역으로 이동하는 경우가 발생할 수 있다. 프로세서는 영상에서 객체블록의 위치에 따라 복수의 IR LED 중 타겟 IR LED를 동적으로 가변할 수 있다. 예를 들어, 프로세서(260)는 제1 객체(ID:1)의 객체블록이 A 구역에서 E 구역으로 이동하고, 제2 객체(ID:2)의 객체블록이 B구역에서 D 구역으로 이동된 것을 감지할 수 있다. 프로세서(260)는 그룹 E의 IR LED와 그룹 D의 IR LED를 밝기제어 대상인 타겟 IR LED로 결정하고, 각 그룹의 IR LED의 밝기를 제어할 수 있다.
도 14 내지 도 15는 파노라믹 카메라 및 멀티 방향 카메라에서 본 명세서의 일 실시예에 따라 IR LED의 밝기를 제어하는 예이다.
도 14를 참조하면, 본 명세서의 일 실시예에 따라, 감시 카메라가 파노라믹 카메라(Panoramic Camera)(100)일 수 있다. 파노라믹 카메라(100)는 서로 다른 방향을 지향하는 영상 센서(S1,S2,S3,S4)들을 구비하며 각각의 영상 센서들은 전술한 바와 같이 주위에 소정 배열의 IR LED를 구비할 수 있다. 파노라믹 카메라(100) 내의 프로세서가 상기 각각의 영상 센서(S1,S2,S3,S4)로부터 획득된 입력 영상(I1,I2,I3,I4) 중 전술한 방법에 기초하여 객체가 인식된 영상이 존재하는 경우, 객체가 인식된 영상에 대응하는 영상 센서를 타겟 IR LED로 선택하여 IR LED의 밝기를 제어할 수 있다. 또한 IR LED의 한계 밝기가 기준 밝기 미만인 경우, 영상 센서의 이득(Gain)을 증폭하여 밝기 보완을 수행할 수 있다. 일 실시예에 따라 프로세서는, 파노라믹 영상 중 제1 영상(I1)과 제4 영상(I4)에 각각 객체(OB1,OB2)가 포함된 것으로 인식한 경우, 제1 영상(I1)과 제4 영상(I4)를 획득한 제1 영상 센서(S1)와 제4 영상 센서(S4)의 IR LED 밝기가 변경되도록 제어할 수 있다.
도 15를 참조하면, 본 명세서의 일 실시예에 따라, 감시 카메라는 멀티 방향 카메라(Multi Direction Camera, 이하 멀티 카메라라 함)(100)일 수 있다. 멀티 카메라(100) 영상(I1,I2,I3,I4)에서 각 카메라 영역별로 객체의 존재(인식) 여부를 확인하고, 객체가 인식된 영상의 경우 전술한 바와 같이 밝기를 산출할 수 있다. 프로세서는, 객체(OB1,OB2)가 인식된 영상에 대응되는 영상 센서의 IR LED의 밝기를 제어할 수 있다. 프로세서는 IR LED의 한계 밝기로 인해 IR LED 밝기 조정만으로 밝기 조정이 어려운 것으로 판단한 경우, 영상별로 AE 밝기 증폭을 이득값(Gain)을 추가하여 밝기를 조절할 수 있다.
한편, 본 명세서의 일 실시예에 따라 감시 카메라의 렌즈 주위를 따라 또는 렌즈 주변에 설치되는 IR LED의 배열형태는 카메라의 종류에 따라 다양할 수 있으며, 도 6에 도시된 IR LED의 배열형태는 예시적인 것이며 한정적인 것이 아니다. 이에 따라 본 명세서의 일 실시예에 따라 PTZ 카메라, 고정형 돔 카메라, 고정형 박스 카메라, 고정형 불릿 카메라, 특수 카메라, 파노라마 카메라 등 카메라의 종류에 따라 렌즈, 상기 렌즈와 하우징의 결합형태 등에 따라 IR LED의 배열 형태는 달라질 수 있다. 다만, 카메라의 종류가 달라지더라도 IR LED의 배열형태가 도 6에 도시된 예와 유사한 범위 내에서 각각의 조사영역을 가지고, 각 조사 영역의 적어도 일부가 중첩되는 경우 본 명세서의 감시 카메라 제어 방법이 적용될 수 있다.
한편, 카메라의 종류가 달라짐에 따라 획득되는 영상의 크기가 도 6에 도시된 사이즈 및/또는 비율과 달라지는 경우 그룹 관리되는 IR LED의 그룹화 기준이 변경될 수 있음은 물론이다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (19)

  1. 서로 다른 조사영역을 가지도록 배치된 복수의 IR LED를 구비하는 카메라부; 및
    상기 카메라부를 통해 획득된 영상을 복수의 블록으로 분할하고, 상기 복수의 블록 중 객체가 포함된 적어도 하나의 블록으로 구성되는 객체블록의 밝기를 산출하고, 상기 객체블록의 밝기에 기초하여 상기 복수의 IR LED 중 상기 객체블록을 조사영역으로 포함하는 적어도 하나의 타겟 IR LED의 밝기를 제어하는 프로세서;
    를 포함하는 감시 카메라.
  2. 제 1 항에 있어서,
    상기 복수의 IR LED는,
    상기 감기 카메라에 의한 촬영 영역이 상기 복수의 IR LED 각각의 조사영역에 따라 복수의 구역으로 구분되도록 배치되는 것을 특징으로 하는 감시 카메라.
  3. 제 1 항에 있어서,
    상기 프로세서는, 상기 영상을 M x N 개의 블록으로 분할하고, 분할된 각 블록은 m x n 개의 픽셀수로 구성되는 것을 특징으로 하는 감시 카메라.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 분할된 블록에 대하여 픽셀밝기에 기초하여 블록별 평균밝기를 산출하고, 상기 블록별 평균밝기에 기초하여 상기 객체블록의 평균밝기를 산출하고, 상기 객체블록의 평균밝기가 미리 정해진 기준 밝기에 도달되도록 상기 타겟 IR LED의 밝기를 제어하는 것을 특징으로 하는 감시 카메라.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 타겟 IR LED의 한계 밝기가 상기 기준 밝기 미만인 경우, 상기 카메라부에 포함된 이미지 센서의 이득(Gain)을 증폭하여 상기 객체블록의 밝기를 보완하는 것을 특징으로 하는 감시 카메라.
  6. 제 5 항에 있어서,
    상기 프로세서는,
    상기 객체블록의 밝기에 따라 상기 이미지 센서의 이득 증폭량을 결정하는 것을 특징으로 하는 감시 카메라.
  7. 제 1 항에 있어서,
    상기 프로세서는,
    상기 영상에서 상기 객체블록의 위치를 인식한 경우, 상기 객체블록의 위치에 대응되는 상기 타겟 IR LED를 결정하고, 상기 타겟 IR LED의 밝기를 자동으로 제어하는 것을 특징으로 하는 감시 카메라.
  8. 제 7 항에 있어서,
    상기 프로세서는,
    상기 복수의 IR LED 중 상기 타겟 IR LED를 제외한 IR LED를 오프시키는 것을 특징으로 하는 감시 카메라.
  9. 제 1 항에 있어서,
    상기 프로세서는,
    상기 영상에서 상기 객체블록의 위치에 따라 상기 복수의 IR LED 중 밝기 제어 대상 IR LED를 동적으로 가변하는 것을 특징으로 하는 감시 카메라.
  10. 제 1 항에 있어서,
    상기 프로세서는,
    딥러닝 기반의 객체인식 알고리즘을 이용하여 상기 객체를 인식하고, 상기 인식된 객체별로 ID를 부여하고, 상기 ID가 부여된 객체의 좌표를 추출하여 상기 객체의 좌표를 상기 객체가 포함된 블록의 좌표와 매칭하는 것을 특징으로 하는 감시 카메라.
  11. 복수의 IR LED를 구비하는 카메라부; 및
    상기 카메라부를 통해 획득된 영상에서 딥러닝 객체인식 알고리즘을 통해 객체를 인식하고, 상기 복수의 IR LED 중 상기 객체의 좌표정보에 대응하는 적어도 하나의 타겟 IR LED를 선택하고, 상기 객체의 밝기정보에 기초하여 상기 선택된 타겟 IR LED의 밝기를 제어하는 프로세서;
    를 포함하는 감시 카메라.
  12. 제 11 항에 있어서,
    상기 복수의 IR LED는 상기 카메라부의 렌즈 주위를 따라 배치되며,
    상기 감시 카메라의 감시 영역은, 상기 복수의 IR LED의 조사영역에 따라 상기 영상에서 복수의 구역으로 구획되며.
    상기 프로세서는,
    상기 복수의 구역에 각각 매칭되도록 상기 복수의 IR LED를 적어도 하나의 IR LED을 포함하는 그룹화하여 관리하고, 상기 객체의 위치에 대응되는 그룹을 선택하여 선택된 그룹에 포함된 IR LED의 밝기를 제어하는 것을 특징으로 하는 감시 카메라.
  13. 제 12 항에 있어서,
    상기 복수의 구역은,
    상기 영상의 모서리에 대응되는 제1 내지 제4 영역과 상기 영상의 중앙부에 대응되는 제5 영역으로 구분되는 것을 특징으로 하는 감시 카메라.
  14. 제 11 항에 있어서,
    상기 프로세서는 상기 영상을 복수의 블록으로 분할하고, 상기 복수의 블록 중 상기 객체가 포함된 적어도 하나의 블록으로 구성되는 객체블록의 밝기를 산출하고, 상기 객체블록의 밝기에 기초하여 상기 타겟 IR LED의 밝기를 제어하는 것을 특징으로 하는 감시 카메라.
  15. 제 14 항에 있어서,
    상기 프로세서는,
    상기 분할된 블록에 대하여 픽셀밝기에 기초하여 블록별 평균밝기를 산출하고, 상기 블록별 평균밝기에 기초하여 상기 객체블록의 평균밝기를 산출하고, 상기 객체블록의 평균밝기가 미리 정해진 기준 밝기에 도달되도록 상기 타겟 IR LED의 밝기를 제어하는 것을 특징으로 하는 감시 카메라.
  16. 제 15 항에 있어서,
    상기 프로세서는,
    상기 타겟 IR LED의 한계 밝기가 상기 기준 밝기 미만인 경우, 상기 카메라부에 포함된 이미지 센서의 이득(Gain)을 증폭하여 상기 객체블록의 밝기를 보완하는 것을 특징으로 하는 감시 카메라.
  17. 서로 다른 조사영역을 가지도록 배치된 복수의 IR LED를 구비하는 카메라부를 통해 획득된 영상을 복수의 블록으로 분할하는 단계;
    딥러닝 객체인식 알고리즘을 통해 객체를 인식하는 단계;
    상기 복수의 블록 중 상기 객체가 포함된 적어도 하나의 블록으로 구성되는 객체블록의 밝기를 산출하는 단계; 및
    상기 객체블록의 밝기에 기초하여 상기 복수의 LED 중 상기 객체블록을 조사영역으로 포함하는 적어도 하나의 타겟 IR LED의 밝기를 제어하는 단계;
    를 포함하는 감시 카메라의 제어 방법.
  18. 제 17 항에 있어서,
    상기 복수의 IR LED는, 상기 감기 카메라에 의한 촬영 영역이 상기 복수의 IR LED 각각의 조사영역에 따라 복수의 구역으로 구분되도록 배치되고,
    상기 객체의 위치 및 상기 객체블록의 위치를 확인하는 단계;
    상기 복수의 IR LED 중 상기 객체블록의 위치에 대응되는 적어도 하나의 타겟 IR LED를 결정하는 단계; 및
    상기 타겟 IR LED의 밝기를 미리 정해진 기준 밝기에 도달하도록 제어하는 단계;
    를 더 포함하는 것을 특징으로 하는 감시 카메라의 제어 방법.
  19. 제 18 항에 있어서,
    상기 타겟 IR LED의 한계 밝기가 상기 기준 밝기 미만인 경우, 상기 카메라부에 포함된 이미지 센서의 이득(Gain)을 증폭하여 상기 객체블록의 밝기를 보완하는 단계;
    를 더 포함하는 것을 특징으로 하는 감시 카메라의 제어 방법.
PCT/KR2023/002181 2022-02-16 2023-02-15 Ai 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거 WO2023158205A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0020109 2022-02-16
KR1020220020109A KR20230123226A (ko) 2022-02-16 2022-02-16 Ai 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거

Publications (1)

Publication Number Publication Date
WO2023158205A1 true WO2023158205A1 (ko) 2023-08-24

Family

ID=87578526

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/002181 WO2023158205A1 (ko) 2022-02-16 2023-02-15 Ai 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거

Country Status (2)

Country Link
KR (1) KR20230123226A (ko)
WO (1) WO2023158205A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102662564B1 (ko) * 2023-10-31 2024-05-03 주식회사 베스트디지탈 하이브리드 광원을 이용한 영상 품질 개선을 위한 카메라 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101228338B1 (ko) * 2011-04-06 2013-01-31 삼성테크윈 주식회사 Ｃｃｔｖ 카메라 및 그의 감시 방법
US20180012374A1 (en) * 2015-01-22 2018-01-11 Mitsubishi Electric Corporation Image capturing device and method, program, and record medium
KR20200044182A (ko) * 2018-10-05 2020-04-29 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US20200164814A1 (en) * 2018-11-26 2020-05-28 Magna Electronics Solutions Gmbh Vehicle vision system with adaptive reversing light
KR20210083997A (ko) * 2019-12-27 2021-07-07 엘지전자 주식회사 오브젝트를 탐지하는 차량의 전자 장치 및 그의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101228338B1 (ko) * 2011-04-06 2013-01-31 삼성테크윈 주식회사 Ｃｃｔｖ 카메라 및 그의 감시 방법
US20180012374A1 (en) * 2015-01-22 2018-01-11 Mitsubishi Electric Corporation Image capturing device and method, program, and record medium
KR20200044182A (ko) * 2018-10-05 2020-04-29 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US20200164814A1 (en) * 2018-11-26 2020-05-28 Magna Electronics Solutions Gmbh Vehicle vision system with adaptive reversing light
KR20210083997A (ko) * 2019-12-27 2021-07-07 엘지전자 주식회사 오브젝트를 탐지하는 차량의 전자 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
KR20230123226A (ko) 2023-08-23

Similar Documents

Publication Publication Date Title
WO2020085881A1 (en) Method and apparatus for image segmentation using an event sensor
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
TW202013252A (zh) 車牌辨識系統與方法
KR102050821B1 (ko) Ptz 카메라를 이용한 화재 검색 방법
WO2011096651A2 (ko) 얼굴 식별 방법 및 그 장치
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2006008944A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
WO2019083299A1 (ko) 사육장 관리 장치 및 방법
WO2023158205A1 (ko) Ai 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거
JP4667508B2 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
US11102453B2 (en) Analytics based lighting for network cameras
KR102309111B1 (ko) 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
WO2022158819A1 (en) Method and electronic device for determining motion saliency and video playback style in video
WO2022114895A1 (ko) 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법
WO2023080763A1 (en) Method and electronic device for segmenting objects in scene
WO2020141888A1 (ko) 사육장 환경 관리 장치
WO2023080667A1 (ko) Ai 기반 객체인식을 통한 감시카메라 wdr 영상 처리
JP2019153986A (ja) 監視システム、管理装置、監視方法、コンピュータプログラム、及び記憶媒体
US20240048672A1 (en) Adjustment of shutter value of surveillance camera via ai-based object recognition
WO2024034923A1 (ko) 인공지능을 이용한 영상 감시 기반 개체 인식 및 행동패턴 분석 방법 및 시스템
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
WO2023172031A1 (ko) 파노라마 감시 영상의 생성
WO2022019355A1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
WO2021066275A1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23756617

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023756617

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023756617

Country of ref document: EP

Effective date: 20240916