WO2017047494A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2017047494A1
WO2017047494A1 PCT/JP2016/076445 JP2016076445W WO2017047494A1 WO 2017047494 A1 WO2017047494 A1 WO 2017047494A1 JP 2016076445 W JP2016076445 W JP 2016076445W WO 2017047494 A1 WO2017047494 A1 WO 2017047494A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
disturbance
correction
disturbances
processing apparatus
Prior art date
Application number
PCT/JP2016/076445
Other languages
English (en)
French (fr)
Inventor
佑一郎 小宮
山口　宗明
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to SG11201801781RA priority Critical patent/SG11201801781RA/en
Priority to US15/757,933 priority patent/US20180352177A1/en
Priority to JP2017539866A priority patent/JP6505237B2/ja
Publication of WO2017047494A1 publication Critical patent/WO2017047494A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Definitions

  • the present invention relates to an image processing apparatus.
  • the automatic detection function include a technique for detecting an abnormal operation of a subject in an image, and a technique for detecting only a specific person shown on a surveillance camera.
  • a wrinkle correction technique for correcting the degradation of the image and techniques for improving the image quality.
  • a flame correction technique for improving the image quality.
  • an image sharpening technique for improving the resolution and resolution of an image by adaptive edge enhancement processing.
  • the wrinkle correction technique may emphasize noise components by contrast enhancement.
  • the flame correction technique may cause blurring in an area where a moving object exists.
  • the image sharpening technique sometimes emphasizes a noise component for an image having a large noise component.
  • Patent Document 2 discloses an invention that stably detects an object by performing gradation correction on an image in which the contrast of the image is lowered entirely or partially. Yes.
  • Patent Documents 3 and 4 disclose inventions for correcting the heat based on time smoothing.
  • An image processing apparatus of the present invention is an image processing apparatus having a disturbance detection unit, an image correction unit, and an event detection unit, and the image correction unit switches an image correction method based on disturbance information output from the disturbance detection unit.
  • the disturbance information is, for example, a disturbance level.
  • the residual disturbance or its influence on event detection is evaluated.
  • an optimal correction method is automatically determined that is an acceptable residual disturbance or influence and can be processed by given hardware.
  • Disturbances include, for example, noise reduction caused by low contrast due to glaze, distortion of the subject due to heat, and gain increase under low illuminance. This may include effects that the camera is indirectly affected by.
  • the influence of wrinkles can be estimated from the contrast bias for each block, which is a screen divided into a plurality of blocks.
  • the influence of the hot flame can be estimated by comparing the difference information of the histogram for each block and the difference information of the pixel value.
  • the influence of noise can be estimated from the parameters of the imaging unit.
  • FIG. 1 is a block diagram of an image processing apparatus 1 according to one embodiment.
  • FIG. 3 is a block diagram of a disturbance detection unit 102 of the image processing device 1. The figure for demonstrating the image analyzed by the disturbance detection part 102. The flowchart of the acquisition of the analysis image by the analysis image extraction part 201.
  • FIG. 3 is a block diagram of the eyelid influence detection unit 202 of the image processing device 1. The block diagram of the influence detection part ⁇ 203 of the positive flame of the image processing apparatus 1.
  • 10 is a flowchart of a method for determining a disturbance level of the image processing apparatus IV.
  • FIG. 3 is a block diagram of an event detection unit 104 of the image processing device 1. The figure explaining the effect
  • FIG. 10 is a block diagram of an image processing apparatus 101 according to a second embodiment. The block diagram of the event detection part 134 of the image processing apparatus 101.
  • FIG. 1 is a block diagram of an image processing apparatus 1 according to an embodiment.
  • the image processing apparatus 1 includes a disturbance detection unit 102, an image correction unit 103, and an event detection unit 104.
  • the image processing apparatus 1 detects and outputs an event from an input image (image signal) 111 from the imaging unit 101.
  • the image processing apparatus 1 has a part of the functions in the imaging unit 101 to perform processing in a distributed manner, or processes input images from the plurality of imaging units 101 in a centralized manner with one integrated server or the like. It can also be realized in a manner.
  • the imaging unit 101 captures a subject as a moving image and outputs it as an input image 111 of the disturbance detection unit 102 and the image correction unit 103. Also, the setting parameter 112 at the time of shooting is output to the disturbance detection unit 102.
  • the disturbance detection unit 102 analyzes the input image 111, detects the influence of the disturbance received by the input image 111, and outputs it as disturbance information 113 to the image correction unit 103 and the event detection unit 104.
  • the disturbance includes, for example, soot, heat and noise.
  • the setting parameter 112 of the imaging unit 101 may be used.
  • the output disturbance information 113 represents, for example, the intensity of disturbance (the degree of deterioration of the input image 111) in three levels (high, medium, low) and the like.
  • the image correction unit 103 performs a correction process on the input video 111 according to the disturbance information 113 and outputs the corrected image 114 and the correction information 115 to the event detection unit 104.
  • a process for reducing the influence of disturbances such as a wrinkle correction and a flame correction, and a technique for improving image quality such as sharpening (super-resolution) are used.
  • the processing amount of the necessary image correction processing exceeds the allowable processing amount for real-time processing, the processing is prioritized based on the disturbance information 113, and only the one with higher priority is processed. For example, the priority is determined such that the higher the disturbance, the higher the priority.
  • the correction information 115 is information indicating the correction processing actually performed on the input video 111, and includes not only the presence / absence of correction but also information such as the intensity of the correction or the degree of improvement, the applied area range, and the like. sell.
  • the event detection unit 104 detects an event from the corrected image 114 according to the disturbance information 113 and the correction information 115. First, the event detection unit 104 estimates the influence of the disturbance remaining in the corrected image from the disturbance information 113 and the correction information 115. Depending on the estimated result, the detection process or those parameters are adaptively switched.
  • FIG. 2 is a block diagram of the disturbance detection unit 102 of the image processing apparatus 1 of this example.
  • the disturbance detection unit 102 includes an analysis image extraction unit 201, a soot influence detection unit 202, a hot flame effect detection unit 203, and a disturbance level determination unit 204.
  • the analysis image extraction unit 201 extracts an image block for detecting the influence of soot and heat from the input image 111, and outputs the image block as a soot analysis target image 211 and a heat flame analysis target image 212.
  • the disturbance level determination unit 204 detects the influence of noise caused by the decrease in contrast due to haze, distortion of the subject due to haze, and gain increase under low illumination, based on the input haze detection result 213, haze detection result 214, and setting parameter 112. Determine and output as disturbance information 113.
  • the influence of noise on the input image can be estimated by the setting parameter 112 of the imaging unit 101.
  • the SN ratio (Signal to Noise ratio) of the imaging unit 101 depends on the performance of the imaging sensor itself, and is calculated as follows using measurable parameters according to NMVA1288.
  • ⁇ p is the number of incident photons
  • ⁇ is quantum efficiency
  • ⁇ d dark noise (thermal noise ⁇ d c and readout noise ⁇ d 0)
  • ⁇ o is spatial offset noise
  • S g is spatial gain noise.
  • ⁇ d and ⁇ o are dominant in the denominator.
  • SNR ⁇ ( ⁇ p ) 1/2 is relatively large, so SNR ⁇ ( ⁇ p ) 1/2 . This is a region where so-called light shot noise dominates. At higher illumination, it saturates SNR ⁇ 1 / S g.
  • ⁇ p or SNR it is difficult to accurately obtain ⁇ p or SNR from the brightness of the input image 111 that has undergone AGC or the like.
  • AGC analog AGC control value
  • the SNR can be basically described as a monotonically decreasing function with respect to the AGC gain, even when AE (automatic exposure) control is taken into consideration.
  • FIG. 3 is a diagram for explaining an image analyzed by the disturbance detection unit 102.
  • the input image 111 is equally divided into a plurality of blocks.
  • FIG. 3A shows that one of the blocks (upper left corner) is used for the analysis target image (time t-1) at time t-1.
  • FIG. 3B shows that a block different from the block used at time t ⁇ 1 (for example, right adjacent) is used for the analysis target image at time t (time t).
  • FIG. 3C shows that another block (for example, right adjacent) is used for the analysis target image (time t + 1) at time t + 1.
  • the 2 may divide the input image 111 into blocks and extract one of these blocks as an analysis target image by sequential scanning, for example, as shown in FIG. 3.
  • the entire input image is analyzed by taking a plurality of frames, there is no problem in the occurrence of the disturbance because the temporal change is usually slow.
  • FIG. 4 is a flowchart of the analysis image acquisition by the analysis image extraction unit 201.
  • the analysis image extraction unit 201 starts processing (Start), acquires the input image 111 (S401), divides the input image 111 into a predetermined number of blocks (S402), and extracts the analysis target block. (S403), a comparison block stored in an image memory (not shown) is acquired (read) (S404), and the analysis target block and the past block (comparison block) are output as analysis images (S405).
  • a block at the same position as the analysis target block of the next input image 111 is stored (written) in an image memory (not shown) as a comparison block (S406), and the process ends (End).
  • the analysis image extraction unit 201 may store an image block at the same position as the position of the image block to be analyzed in the next input frame, for example, in an image memory (not shown).
  • FIG. 5 is a block diagram of the eyelid influence detection unit 202 of the image processing apparatus 1.
  • the wrinkle influence detection unit 202 detects the influence of wrinkles from the contrast deviation of the wrinkle analysis target image 211 given from the analysis image extraction unit 201, and outputs the influence as a wrinkle detection result 213.
  • the wrinkle effect detection unit 202 includes a wrinkle correction processing unit 301, an image comparison unit 302, and a wrinkle effect calculation unit 303.
  • the wrinkle correction processing unit 301 performs wrinkle correction processing on the wrinkle analysis target image 211 and outputs it as a wrinkle correction image 311.
  • the wrinkle correction processing is generally composed of gradation correction and spatial filter processing.
  • the image comparison unit 302 compares the wrinkle analysis target image 211 and the wrinkle correction image 312 and outputs the difference information 312.
  • the difference information 312 may be a processing result such as SAD (Sum of Absolute Difference).
  • the wrinkle influence calculation unit 303 calculates the wrinkle detection result 213 from the input difference information 312 and outputs it.
  • the fact that the difference information 312 has a large value means that the wrinkle correction processing has been applied strongly, and represents that the wrinkle analysis target image 211 has been deteriorated due to a decrease in contrast.
  • the wrinkle detection result 213 is not limited to the one obtained above, but is a bias or statistical variance of the pixel luminance value of the wrinkle analysis target image 211 on the histogram, or calculated based on spatial frequency spectrum analysis. May be.
  • FIG. 6 is a block diagram of the heat effect detection unit 203 of the image processing apparatus 1.
  • the heat effect detection unit 203 detects the influence of the heat by detecting fluctuations in the background area where no moving object exists from the input heat flame analysis target image 212 to detect the heat. Output as result 214.
  • the hot flame influence detection unit 203 includes a moving object detection unit 401, a background region comparison unit 402, and a hot flame influence calculation unit 403 that are robust against fluctuations.
  • the moving object detection unit 401 that is robust to fluctuations detects a moving object from the input heat flame analysis target image 212 and outputs it as moving object region information 411.
  • the hot flame analysis target image 212 includes an analysis target image block of the current (time t) input image and an image block at the same position of the previous input image (at time t ⁇ 1).
  • the moving object detection unit 401 robust to fluctuations divides the image analysis target image 212 into sub-blocks of 32 ⁇ 32 pixels, and generates histograms h 1 and h 2 quantized with k gradations for each sub-block. To do.
  • the following expression is compared between two input sub-blocks, and a region of C> T is determined as a moving object. This uses the characteristic that the influence of fluctuation is robust to the histogram. Even if it puts in the environment with a fluctuation
  • the background region comparison unit 402 calculates a difference between regions (sub-blocks) where no moving object exists, out of the two blocks of the image analysis target image 212, and outputs the difference as background region difference information 412. .
  • the background area difference information 412 cannot be temporarily used when conductors exist in all areas.
  • the flame influence calculation unit 403 calculates the influence of the flame by averaging the input background area difference information 412 and outputs the result as the flame detection result 214. Note that the background area difference information 412 cannot be temporarily used when conductors exist in all areas.
  • FIG. 7 is a flowchart for explaining a disturbance level determination method by the disturbance level determination unit 204.
  • the procedure shown in FIG. 7 can determine both the heat and flame by appropriately setting the threshold value X for the number of blocks and the threshold value T for the disturbance value.
  • the disturbance level determination unit 204 acquires a soot detection result 213 or a flame detection result 214 as a disturbance detection result of the analysis image (S701).
  • the disturbance level determination unit 204 holds the disturbance detection results for all the blocks, updates them using the disturbance detection acquired in S701 (S702), and counts the blocks in which the disturbance is detected (S703). If the disturbance detection result cannot be acquired, it is not updated.
  • S704 it is determined whether or not the block in which the disturbance is detected is equal to or greater than X. If it is equal to or greater than X (YES), the process proceeds to S705, and if it is less than X (NO), the process proceeds to S709. Proceed to processing.
  • the disturbance level determination unit 204 calculates the average disturbance value of the block in which the disturbance is detected (S705), determines whether or not the average disturbance value is T or more (S706), and the average disturbance value is T or more. If (YES), the process proceeds to S707, and if the average disturbance value is less than T (NO), the process proceeds to S708.
  • the disturbance level is set to “high”, and the process ends (End).
  • the disturbance level is set to “medium” and the process ends (End).
  • the disturbance level is set to “low” and the process ends (End).
  • the image correction unit 103 in this example has the ability to perform the wrinkle correction, the flame correction, and the sharpening (super-resolution) processing.
  • ⁇ correction is not limited to ⁇ , but sharpening (super-resolution) is useful for detecting events from small distant subjects.
  • the image correction unit 103 derives the importance of correction from the disturbance level of haze, heat, and noise included in the input disturbance information 113, sorts the importance in order of importance, and allows the processing amount in order of importance. Process in range.
  • the image processing apparatus 1 includes, for example, a function g Fog () that calculates the importance of the wrinkle correction process from the disturbance level of the hail, a function g HeatHaze () that calculates the importance of the haze correction process from the disturbance level of the hot flame ,
  • the function g Sharpen () which calculates the importance of sharpening (super-resolution) processing from the noise disturbance level, can be used, and the three levels of disturbance levels are also defined as shown in the table below. it can.
  • This table is created based on knowledge about which image correction processing is necessary for the current input video image in consideration of each disturbance level.
  • each image correction process is prioritized in consideration of the disturbance level and the effect of image correction. That is, even if the adverse effect on event detection is large, disturbances that are hardly improved by correction processing are not dealt with. Since super-resolution processing emphasizes noise, the higher the noise disturbance level, the lower the importance. Further, in order to ensure the real-time property, processing may be performed within the range allowed by the processing amount in descending order of priority.
  • FIG. 8 is a block diagram of the event detection unit 104 of the image processing apparatus 1.
  • the event detection unit 104 includes a residual disturbance level calculation unit 501, an image analysis unit 502, and a detection processing unit 503.
  • the residual disturbance level calculation unit 501 calculates a disturbance level that will remain in the corrected image 114 from the input disturbance information 113 and the correction information 115 and outputs it as the residual disturbance information 511.
  • the residual disturbance information 511 may represent the influence of noise such as soot and hot flame in three stages of “high”, “medium”, and “small”, respectively.
  • the effect of wrinkles is “small” when wrinkle correction is performed by the image correction unit 103, or a level one level lower than the original level. If the wrinkle correction is not performed, the wrinkle level of the disturbance information 113 may be used as it is.
  • the influence of the hot flame is “small” when the wrinkle correction is performed by the image correction unit 103, or the level is lowered by one step from the original level. When the flame correction is not performed, the flame level of the disturbance information 113 may be used as it is.
  • the effect of noise is that, when sharpening processing is performed by the image correction unit 103, the noise level of the disturbance information 113 is “low”, and the noise level of the disturbance information 113 is “medium” or “high”.
  • the noise level of the disturbance information 113 is output as it is.
  • the disturbance information 113 indicates a continuous amount of disturbance level and the correction information 115 indicates a continuous amount of disturbance removal (the degree of improvement by correction)
  • the respective residual disturbance levels are also calculated based on the difference between them. can do.
  • the image analysis unit 502 outputs the feature amount x obtained by analyzing the corrected image 114 as analysis information 512.
  • the detection processing unit 503 detects an event from the analysis information 512 according to the residual disturbance information 511 and outputs a detection result 116.
  • the detection processing unit 503 detects an event when the following equation (Equation 2) holds.
  • Equation 2 g () is a detection function for detecting a specific event, and it is close to 0 (or becomes smaller as a negative number) so that a specific event is probable, and it is so large that it is not accurate.
  • T is a threshold function. If the threshold is increased according to the residual disturbance level, the missed detection ratio can be increased, but the oversight can be reduced. If a threshold value is previously incorporated in the detection function, such as linear discrimination or SVM, the above T () may be added to or subtracted from the threshold value.
  • FIG. 9 is a schematic diagram for explaining the operation of the threshold function T () in the detection processing unit 503.
  • the feature amount x output from the image analysis unit 502 is distributed in the feature amount space.
  • the feature quantities x corresponding to a certain event A are concentrated in a narrow area.
  • the feature amount x is considered to be scattered and distributed over a wider area as the disturbance level increases.
  • the small region 531 corresponding to the small threshold T () is applied, and the internal feature amount is determined as the event A.
  • a medium region 532 is applied when the disturbance level is medium
  • a large region 533 is applied when the disturbance level is large.
  • the image processing apparatus 1 can perform the main image correction process using a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an FPGA (Field-Programmable Gate Array).
  • the allowable calculation amount of the image processing apparatus 1 is determined from the utilization rate of the CPU or the like. Further, the image processing apparatus 1 can perform detection using an optimum feature amount by adding a so-called learning function that stores processing according to the level of disturbance.
  • FIG. 9 is a block diagram showing the configuration of the image correction unit 130 and its periphery according to the second embodiment.
  • the imaging unit 131 is different from the imaging unit 101 in that an image correction unit 133 is incorporated.
  • the imaging unit 131 outputs shooting parameters such as exposure time, aperture, zoom magnification, optical filter insertion and removal, and setting parameters 112 including AGC gain values.
  • the image correction unit 133 sets settings for the imaging unit 131, shooting conditions, and the like. Thus, the captured image is automatically subjected to appropriate image processing and output as a corrected image 114.
  • the image correction unit 133 outputs complete correction information 115 describing all correction processes performed on the RAW image read from the image sensor of the imaging unit 131.
  • the correction information 115 may be limited to the main correction processing that affects the resolution, the SN ratio, and the like. Backlight correction, fog correction, angle fluctuation correction, heat correction, In addition to resolution processing, image distortion correction such as a fisheye lens can be included.
  • the disturbance estimation unit 132 receives the setting parameter 112, the correction image 114, and the correction information 115, estimates the level of disturbance remaining in the correction image 114 using a fully coupled perceptron or a support vector machine (SVM), and stores residual disturbance information 531. Output as.
  • the residual disturbance information 531 has a plurality of components, and may be the three components of soot, heat, and noise, as in the residual disturbance information 511, or another reference, for example, luminance error (noise), spatial error, time
  • the characteristic amount may be a combination of the four components of the dynamic fluctuation and the color error, or a mixture of them. Further, as in the case of the residual disturbance information 511, it may be classified into three levels or may be a continuous amount.
  • the disturbance estimation unit 132 does not need to detect them from the correction image 114, and sets the setting parameter 112 and the correction information 115.
  • the perceptron or the like is learned in advance, and online learning may be performed in order to improve the generalization ability with respect to the installation status of the camera and the shooting environment.
  • the disturbance level corresponding to each component of the residual disturbance information 531 can be calculated by another method, for example, by means such as the wrinkle influence detection unit 202 from the corrected image 114, or a person can evaluate the corrected image 114. And use them as teacher data.
  • the event detection unit 134 receives the corrected image 114 and the residual disturbance information 531, and performs event detection from the corrected image 114 so that the optimum false alarm rate and missed rate considering the residual disturbance information 531 are obtained.
  • the event detection unit 134 of this example includes a convolutional neural network (CNN) 151, a support vector machine (SVM) identifier 152, and a risk factor controller 153.
  • CNN convolutional neural network
  • SVM support vector machine
  • the CNN 151 receives the pixel value of the event detection unit 134, repeats the local convolution layer and the maximum value pooling layer a plurality of times while reducing the number of data, and if necessary, passes through all the coupling layers to obtain a plurality of values ( (Feature vector) is output.
  • This feature vector corresponds to the analysis information 512 of the previous embodiment.
  • the correction information 115 may be input to a layer in the middle of the CNN 151 (for example, a total bond layer).
  • the SVM discriminator 152 is a soft margin SVM, and outputs a discrimination result (true or false hard decision value) for each specific event to be detected.
  • the SVM identifier 152 can be configured using a plurality of 2-class SVMs or 1-class SVMs for each event. In learning, a loss function that penalizes an incorrect solution, such as a hinge function, is used.
  • the risk factor controller 153 manages the learning of the SVM discriminator 152 for each combination of a plurality of disturbance levels indicated by the residual disturbance information 531.
  • the risk factor controller 153 sets the result of learning the kernel and support vector of the SVM classifier 152 in common regardless of the disturbance level as a representative learning result or a learning result when the disturbance level is the lowest, For other disturbance levels, learning is performed based on the representative learning result and the like. At that time, all samples used for learning are stored, or parameters and function values of loss functions such as C-SVM and ⁇ trick are held.
  • the risk factor that the SVM classifier 152 erroneously identifies (more accurately speaking, learns the wrong classification with a large generalization error) Evaluate and tune each disturbance level combination.
  • Tuning is a function corresponding to the threshold function T () in the previous embodiment, and emphasizes a low miss rate, so that the risk rate is equal to or less than the desired miss rate. Is called.
  • the threshold value b of the discrimination function of the SVM discriminator 152 is adjusted, or parameters such as C, ⁇ , and ⁇ are updated and learned again. Control of the risk factor can be limited so that the false alarm rate does not exceed an acceptable limit.
  • the tuning of this example can be performed independently for each event to be detected, and the miss rate and the false alarm rate can be optimized according to the degree of the threat of the event.
  • the present invention is widely applied to video processing such as video content analysis that detects annoying or dangerous situations from video captured by a surveillance camera or the like, or extracts a desired event or metadata from TV program material. it can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

入力画像が受けた外乱の影響に対して適応的に補正処理と事象検知を行う画像処理装置が開示される。装置は、外乱検出部102と画像補正部103と事象検知部104とを有する。外乱検出部は、入力画像を解析し、前記入力画像が受けた複数の外乱の影響を検出し、外乱情報として出力する、画像補正部は、外乱情報に応じて入力映像に補正処理を施し、補正された画像114と実際に施された補正処理を示す補正情報とを出力する。外乱検出部は、外乱情報と補正情報とから、補正された画像に残留する複数の外乱の度合いを推定し、外乱の度合いに応じて選択した検知処理を用いて前記特定の事象を検知する。複数の外乱は、例えば、霞、陽炎及びノイズの３つである。

Description

画像処理装置
　本発明は、画像処理装置に関するものである。
　近年、監視カメラの映像から、起こった事象を自動検知する機能の需要が高まっている。自動検知機能には、例えば、映像内の被写体の異常動作を検知する技術や、監視カメラに映った特定の人物のみを検知する技術などがある。
　これらの検知技術の性能を引き出すには、高画質な入力映像が望ましいと考えられている。しかし、実際に監視カメラが設置される場所は様々であり、特に野外に設置された場合は天候や時刻変化による照明条件の変化や、霞や陽炎など外乱の影響により、その映像が劣化する場合がある。また、カメラの設置場所やレンズの焦点距離（ズーム倍率）によっては、本来観測したい被写体に対して十分な解像度が得られない。このような場合、検知技術の精度が下がり、見逃し等が発生してしまう場合がある。
　このような問題に対しては、画像が受けた劣化を補正する技術や、画質を向上する技術の開発が行われている。例えば、霞補正技術、陽炎補正技術、画像鮮鋭化技術などが挙げられる。霞補正技術は霞等の影響によって、低下したコントラストを復元することのできる技術である。陽炎補正技術は陽炎等によって生じた被写体の歪みを補正する技術である。画像鮮鋭化技術は適応的なエッジ強調処理によって画像の解像度や解像感を向上させる技術である。
　これらの技術は監視カメラの視認性向上のための技術であるが、必ずしも良い効果を生むわけでは無い。霞補正技術はコントラスト強調によって、ノイズ成分を強調してしまうこともある。陽炎補正技術は動く物体が存在する領域にボヤケを生じさせてしまう場合がある。画像鮮鋭化技術はノイズ成分の多い画像に対しては、ノイズ成分を強調してしまう場合がある。
　また、これらの画像処理技術は画面の局所ごとの状態に応じて、処理を適応的に変更させるため、その演算量は必ずしも小さく無い。処理能力の低い演算器を用いてすべての処理を実行しようとすると、リアルタイム性を失ってしまう場合がある。
　先行技術文献としては、例えば、特許文献１に自然環境の変化等によって入力映像が監視システムの運用に不適応な状況になっても、映像状態の異常を検知でき、かつ、監視環境の異常を認識する発明が開示されている。
　また、他の先行技術文献としては、例えば、特許文献２に全体的又は部分的に画像のコントラストが低下した画像に対し階調補正を施すことで安定して物体を検知する発明が開示されている。また、特許文献３及び４に時間平滑化をベースとした陽炎補正の発明が開示されている。
特許第５７１０２３０号公報 特開２０１３－１８６６３５号公報 特開２０１４－２０６７７２号公報 特許第５７８７４５６号公報
　上述したように、事象検知の性能向上を意図して行われる入力画像の補正処理は、無視できない処理コストがかかる上、入力映像が外乱を受けていない場合などには不要であり、或いは画質や検知性能を逆に劣化させる可能性もあった。これらを限られたハードウェア資源で最適に実現する方法は、十分に確立されていない。更に、その最適化は映像源毎に自動的に為されることが望まれるところ、予め映像状態を診断する項目を定める特許文献１の方法では、多数の要因を網羅的に考慮することは困難である。またセキュリティ監視などの応用では、誤報率と見逃し率という、トレードオフの関係にある特有のファクタを考慮すべきである。一般的に、より危機的な事象ほど、低い見逃し率であることが好ましいとされる。
　更に、多数のクラスに識別するような用途や、ディープラーニングを用いる場合では、所望の事象の検知性能を維持或いは向上させるように、入力画像補正処理を設計することが困難である。そのような識別器は、人の視覚ではほとんど感じられないような画像特徴を内部的に用いている可能性があり、視覚的な画質の向上は全く無意味かもしれない。むしろ、ズームや絞りなどの光学的撮影環境や、カメラ内部で希望せず行われる画像処理などの違いが、検知に重大な悪影響を及ぼし得る。
　本発明は、前提となるハードウェアを用いて画像からの事象検知をするために、前処理を適切に行うことを目的とする。
　本発明の画像処理装置は、外乱検出部と画像補正部と事象検知部を有する画像処理装置であって、画像補正部は外乱検出部から出力される外乱情報に基づいて画像の補正方法を切り替える。外乱情報は、例えば、外乱レベルであり、外乱レベルと各補正方法とから、残留外乱、もしくはそれが事象検知に与える影響（誤検知や見逃し）が評価される。そして、許容できる残留外乱もしくは影響であり、且つ与えられたハードウェアで処理可能であるような最適な補正方法が、自動的に決定される。
　なお、外乱には、例えば霞によるコントラストの低下、陽炎による被写体の歪み、低照度下のゲインアップが原因となるノイズの強調などがあげられるが、これらに限定されず、撮影対象や環境の変化に伴いカメラが間接的に受ける影響を含みうる。
　一例として、霞の影響は、画面を複数に分割したものであるブロック毎のコントラストの偏りから、推定されうる。陽炎の影響は、ブロックごとのヒストグラムの差分情報と画素値の差分情報の比較によって、推定されうる。ノイズの影響は、撮像部のパラメータから推定されうる。これらの推定は、それ自体の処理コストが十分低いことが望ましく、リアルタイム性や全てのフレームの処理は要求されない。
　検知部は、畳み込みニューラルネットによっても実装することができ、動作中に学習してもよい。
　本発明によれば、入力画像が受けた外乱の影響に応じて適切な補正処理をし、事象検知を実行できる。
一実施例に係る画像処理装置 1のブロック図。 画像処理装置 1の外乱検出部 102のブロック図。 外乱検出部 102で解析される画像について説明するための図。 解析画像抽出部 201による解析画像の取得のフローチャート。 画像処理装置 1の霞の影響検出部 202のブロック図。 画像処理装置 1の陽炎の影響検出部 203のブロック図。 画像処理装置 1の外乱レベルの決定法のフローチャート。 画像処理装置 1の事象検知部 104のブロック図。 検知処理部 503における閾値関数T()の作用を説明する図 第2実施例に係る画像処理装置 101のブロック図。 画像処理装置 101の事象検知部134のブロック図。
　以下、本発明の実施形態について図面を参照して詳細に説明する。
　図１は一実施例に係る画像処理装置 1のブロック図である。画像処理装置 1は、外乱検出部 102、画像補正部103、事象検知部 104で構成されている。
　画像処理装置 1は、撮像部 101からの入力画像（画像信号） 111から事象を検知して出力する。画像処理装置 1は、例えば、機能の一部を撮像部 101に持たせて分散的に処理したり、複数の撮像部 101からの入力画像を1つの統合サーバ等で集中的に処理したりする様態で実現することもできる。
　撮像部 101は、被写体を動画として撮影し、外乱検出部102と画像補正部 103の入力画像 111として出力する。また、撮影時の設定パラメータ 112を外乱検出部 102に出力する。
　外乱検出部 102は、入力画像 111を解析し、入力画像 111が受けた外乱の影響を検出し、外乱情報 113として画像補正部 103と事象検知部 104に出力する。
　外乱には、例えば、霞、陽炎、ノイズ等がある。外乱の推定には、撮像部 101の設定パラメータ 112を用いても良い。
　出力される外乱情報 113は、例えば、外乱の強さ（入力画像111の劣化の度合い）を３段階のレベル（高・中・低）等で表すものである。
　画像補正部 103は、外乱情報 113に応じて、入力映像 111に補正処理を行い、補正画像 114と補正情報 115を事象検知部 104に出力する。
　補正処理には霞補正や陽炎補正などの外乱の影響を軽減する処理や、鮮鋭化（超解像）などの画質の向上を図る技術を使用する。必要な画像補正処理の処理量がリアルタイム化のための許容処理量を超える場合は、外乱情報 113を元に処理に優先順位をつけて、優先順位の高いもののみを処理する。優先順位は、例えば、外乱が強いほど高くなるように決定される。
　補正情報 115は、その入力映像111に対して実際に為された補正処理を示す情報であり、補正の有無だけでなく、補正の強度或いは改善の程度、適用された領域範囲等の情報も含みうる。
　事象検知部 104は、外乱情報 113と補正情報115に応じて、補正画像 114から事象検知する。
　まず、事象検知部 104は、外乱情報 113と補正情報 115から、補正画像に残留した外乱の影響を推定する。推定した結果に応じて、検知処理もしくはそれらのパラメータを適応的に切り替える。
　次に、入力画像 111が受けた外乱の影響を検出する方法について、図２～図６を用いて説明する。
　図２は本例の画像処理装置 1の外乱検出部 102のブロック図である。
　図２において、外乱検出部 102は、解析画像抽出部 201と、霞の影響検出部 202と、陽炎の影響検出部 203と、外乱レベル判定部 204で構成されている。
　解析画像抽出部 201は、入力画像 111から霞と陽炎の影響を検出するための画像ブロックを抽出し、霞解析対象画像 211と陽炎解析対象画像 212として出力する。
　外乱レベル判定部 204は、入力した霞検出結果 213と陽炎検出結果 214と設定パラメータ 112から、霞によるコントラストの低下、陽炎による被写体の歪み、低照度下のゲインアップが原因となるノイズの影響を判定し、外乱情報 113として出力する。
　入力画像のノイズの影響は、撮像部 101の設定パラメータ112によって推定できる。撮像部 101のＳＮ比（Signal to Noise ratio）は、撮像センサ自体の性能などに依存し、NMVA1288によれば、測定可能なパラメータを用いて以下の様に計算される。
Figure JPOXMLDOC01-appb-M000001
 ここで、μp：入射光子数、η：量子効率、σd：暗時ノイズ（熱雑音σdcと読出しノイズσd0）、σo：空間オフセットノイズ、Sg：空間ゲインノイズである。照度の低いシーンは、分母においてσdやσoが支配的になる。中程度の照度のシーンでは、分母の中のημpが相対的に大きいいため、SNR≒(ημp)1/2となる。これはいわゆる光ショットノイズが支配する領域である。より高い照度では、SNR≒1/Sgに飽和する。
　なお、AGCなどを受けた入力画像111の明るさから、ημp或いはSNRを正確に求めることは難しい。例えば、撮像部 101で信号をゲインアップしている場合、見た目の明るさに反してノイズレベルは高くなる。従って、撮像部101の内部で用いられる、AGCを受ける前の入力画像 111の明るさに関連する値、例えばアナログAGC制御値（AGCゲイン）などが設定パラメータ 112に利用され得る。AGCゲインはフレーム毎に取得することが望ましい。SNRは、AE（自動露出）の制御を考慮しても、基本的にはAGCゲインに対して単調減少の関数として記述できる。
　図３は外乱検出部 102で解析される画像について説明するための図である。入力画像 111は、複数のブロックに均等に分割される。
　図３（ａ）は、そのブロックの一つ（左上隅）を、時刻ｔ－１時の解析対象画像（時刻ｔ－１）に用いることを示している。図３（ｂ）は、時刻ｔ－１に用いたブロックとは別のブロック（例えば右隣り）を、時刻ｔの解析対象画像（時刻ｔ）に用いることを示している。図３（ｃ）は、更に別のブロック（例えば右隣り）を、時刻ｔ＋１時の解析対象画像（時刻ｔ＋１）に用いることを示している。
　図２の解析画像抽出部 201は、例えば、図３のように、入力画像 111をブロックに分割し、順次走査によってそれらブロックの一つを解析対象画像として抽出してもよい。入力画像１枚（１フレーム）当たりの時間に置いて解析するのを、１ブロックのみとすることにより、外乱検知による演算量を抑えることができる。複数のフレームの時間をかけて、入力画像全体の解析を行うことになるが、外乱の発生状況は通常、時間的変化が緩やかなので問題ない。
　図４は、解析画像抽出部 201による解析画像の取得のフローチャートである。
　図４において、解析画像抽出部 201は、処理を開始し（Start）、入力画像 111を取得し（Ｓ４０１）、入力画像 111を所定数のブロックに分割し（Ｓ４０２）、解析対象ブロックを抽出し（Ｓ４０３）、図示していない画像メモリ内に記憶している比較用ブロックを取得し（読み出し）（Ｓ４０４）、解析対象ブロックと過去ブロック（比較用ブロック）を解析画像として出力し（Ｓ４０５）、次の入力画像 111の解析対象ブロックと同じ位置のブロックを比較用ブロックとして図示していない画像メモリに保存し（書き込む）（Ｓ４０６）、処理を終了（End）する。
　なお、外乱の種類によっては、検知処理に時間の異なる複数のフレームの情報が必要となる場合もある。
　その場合、解析画像抽出部 201は、例えば、図示していない画像メモリ等に、次の入力フレームで解析を行う画像ブロックの位置と同位置の画像ブロックを保存してもよい。
　図５は、画像処理装置 1の霞の影響検出部202のブロック図である。
　霞の影響検出部 202は、解析画像抽出部 201から与えられた霞解析対象画像 211のコントラストの偏りから霞の影響を検出して、その影響を霞検出結果 213として出力する。
　霞の影響検出部 202は、霞補正処理部 301と画像比較部 302と霞影響算出部 303で構成される。
　霞補正処理部 301は、霞解析対象画像 211に霞補正処理を施し、霞補正画像 311として出力する。霞補正処理は一般的に、階調補正と空間フィルタ処理とで構成される。
　画像比較部 302は、霞解析対象画像 211と霞補正画像 312の比較を行い、その差分情報 312を出力する。差分情報 312は、例えば、ＳＡＤ（Sum　of　Absolute　Difference）等の処理結果で良い。
　霞影響算出部 303は、入力した差分情報 312から霞検出結果 213を算出し出力する。差分情報 312が大きい値を持つということは、霞補正処理が強くかかったことを意味し、霞解析対象画像 211がコントラストの低下による劣化を受けていることを表す。なお、霞検出結果 213は上記で得られるものに限らず、霞解析対象画像 211の画素輝度値のヒストグラム上での偏り或いは統計学的な分散であったり、空間周波数スペクトル分析に基づいて算出してもよい。
　図６は画像処理装置 1の陽炎の影響検出部 203のブロック図である。
　陽炎の影響検出部 203は、特許文献３や４の技術と同様に、入力した陽炎解析対象画像 212から動体が存在しない背景領域の揺らぎを検出することにより陽炎の影響を検出して、陽炎検出結果 214として出力する。
　陽炎の影響検出部 203は、揺らぎにロバストな動体検出部401と背景領域比較部 402と陽炎影響算出部 403で構成される。
　揺らぎにロバストな動体検出部 401は、入力した陽炎解析対象画像 212から、動体の検出を行い、動体領域情報 411として出力する。陽炎解析対象画像 212は、現在（時刻 t）の入力画像の解析対象画像ブロックと、一つ前の（時刻 t-1の）入力画像の同位置の画像ブロックから構成される。
　例えば、揺らぎにロバストな動体検出部 401は、陽炎解析対象画像 212を３２ｘ３２画素のサブブロックに分割し、そのそれぞれのサブブロックに対してｋ階調で量子化したヒストグラムｈ1、ｈ2を作成する。二つの入力サブブロック間で下記の式の比較を行い、Ｃ＞Ｔの領域を動体として判定する。
Figure JPOXMLDOC01-appb-M000002
  　これは揺らぎの影響がヒストグラムに対してロバストである特性を用いている。上式（式１）によって揺らぎがある環境に置いても、動体領域のみを抽出することが可能となる。
　背景領域比較部 402は、入力した動体領域情報 411によって、陽炎解析対象画像 212の二つのブロックのうち、動体が存在しない領域（サブブロック）の差分を計算し、背景領域差分情報 412として出力する。なお、全ての領域で導体が存在する場合、背景領域差分情報 412は一時的に利用できない。
　陽炎影響算出部 403は、入力された背景領域差分情報 412を平均化するなどし、陽炎の影響を算出し、陽炎検出結果 214として出力する。なお、全ての領域で導体が存在する場合、背景領域差分情報 412は一時的に利用できない。
　次に、陽炎や霞など画像ブロックの解析結果から外乱レベルを判定する手順について図７を用いて説明する。
　図７は、外乱レベル判定部204による外乱レベルの決定法を説明するフローチャートである。
　図７の手順は、ブロック数の閾値Ｘ、外乱値の閾値Ｔを適切に設定することにより、陽炎と霞のどちらの判定も行うことができる。
　図７において、外乱レベル判定部 204は、処理を開始（Start）すると、解析画像の外乱検出結果である霞検出結果 213または陽炎検出結果 214等を取得する（Ｓ７０１）。
　外乱レベル判定部 204は、全ブロック分の外乱検出結果を保持しており、Ｓ７０１で取得した外乱検出を用いて更新し（Ｓ７０２）、外乱が検出されたブロックを数える（Ｓ７０３）。なお外乱検出結果が取得できなかったときは更新しない。また、事象検知部 104が行う検知でマスク領域を適用している場合、そのマスク領域に該当する位置のブロックの外乱検出結果は保持する必要が無い。
　Ｓ７０４の処理では、外乱が検出されたブロックがＸ以上であるか否かを判定し、Ｘ以上である場合（ＹＥＳ）にはＳ７０５の処理に進み、Ｘ未満の場合（ＮＯ）にはＳ７０９の処理に進む。
　外乱レベル判定部 204は、外乱が検出されたブロックの平均外乱値を計算し（Ｓ７０５）、外乱値の平均がＴ以上であるか否かを判定し（Ｓ７０６）、外乱値の平均がＴ以上である場合（ＹＥＳ）にはＳ７０７の処理に進み、外乱値の平均がＴ未満の場合（ＮＯ）にはＳ７０８の処理に進む。
　Ｓ７０７の処理では、外乱レベルを“高”に設定して処理を終了（End）する。
　Ｓ７０８の処理では、外乱レベルを“中”に設定して処理を終了（End）する。
　Ｓ７０９の処理では、外乱レベルを“低”に設定して処理を終了（End）する。
　次に、画像補正部 103の動作を説明する。
　本例の画像補正部 103は、上述したように、霞補正、陽炎補正、鮮鋭化（超解像）の処理を行う能力を有しており、少なくとも1種類の処理で有ればリアルタイムでフルフレーム映像について処理できる。霞補正は霞に限らず鮮鋭化（超解像）は遠方の小さな被写体などから事象検知を行う際に有用であり、
　画像補正部 103は、入力された外乱情報 113に含まれる霞、陽炎、ノイズの外乱レベルから、補正の重要度を導き出し、重要度が高い順にソートして、重要度が高い順に処理量の許す範囲で処理を行う。画像処理装置 1は、例えば、霞の外乱レベルから霞補正処理の重要度を算出する関数ｇFog()と、陽炎の外乱レベルから霞補正処理の重要度を算出する関数ｇHeatHaze()と、ノイズの外乱レベルから鮮鋭化（超解像）処理の重要度を算出する関数ｇSharpen()と、を用いることができ、３段階の外乱レベルに対しては、以下の表の様にも定義できる。
Figure JPOXMLDOC01-appb-T000003
 　この表は、それぞれの外乱レベルを考慮して、現在の入力映像画像にどの画像補正処理が必要なのかについての知見に基づいて作成される。本例では、外乱レベルと画像補正の効果を考慮して、各画像補正処理に優先順位が付けられる。つまり、たとえ事象検知への悪影響が大きくても、補正処理によってほとんど改善しない外乱は手当てされない。超解像処理はノイズを強調してしまうので、ノイズの外乱レベルが高いほど、その重要度が下がる。また、リアルタイム性を確保するためには、優先順位の高いものから順に処理量の許す範囲で処理を行えばよい。
　次に、事象検知部について図８を用いて説明する。
　図８は画像処理装置 1の事象検知部 104のブロック図である。
　事象検知部 104は、残留外乱レベル算出部 501と画像解析部 502と検知処理部 503で構成されている。
　残留外乱レベル算出部 501は、入力された外乱情報 113と補正情報 115から、補正画像 114に残留しているであろう外乱レベルを算出し、残留外乱情報 511として出力する。
　残留外乱情報 511は、例えば、霞、陽炎等のノイズの影響をそれぞれ“高”、“中”、“小”の３段階で表してもよい。
　一例として、霞の影響は、画像補正部 103で霞補正が行われた場合は“小”、或いは、元のレベルから1段階下げたレベルにする。霞補正が行われなかった場合は、外乱情報 113の霞レベルをそのまま用いれば良い。
　陽炎の影響は、画像補正部 103で霞補正が行われた場合は“小” 、或いは、元のレベルから1段階下げたレベルにする。陽炎補正が行われなかった場合は、外乱情報 113の陽炎レベルをそのまま用いれば良い。
　ノイズの影響は、画像補正部 103で鮮鋭化処理が行われた場合、外乱情報 113のノイズレベルが“小”である場合は“小”、外乱情報 113のノイズレベルが“中”か“高”であった場合は“高”を出力し、画像補正部で鮮鋭化処理が行われていなかった場合、外乱情報 113のノイズレベルをそのまま出力する。
　或いは、外乱情報 113が連続量の外乱レベルを示し、補正情報 115が連続量の外乱除去量（補正による改善の程度）を示している場合、それぞれの残留外乱レベルは、それらの差によっても算出することができる。
　画像解析部 502は、補正画像 114を解析して得た特徴量ｘを解析情報 512として出力する。
　検知処理部 503は、残留外乱情報 511に応じて解析情報 512から事象の検知を行い、検知結果 116を出力する。例えば、検知処理部 503は下記（式２）の式が成り立つときに事象を検知する。
Figure JPOXMLDOC01-appb-M000004
 ここでg()は、ある特定の事象検知を行うための検知関数であり、特定の事象が確からしいほど０に近くなり（若しくは負数となって更に小さくなり）、確からしくないほど大きくなるものとする。またT(Fog, HeatHaze, Noise)は、閾値関数であり、残留外乱レベルに応じて閾値を大きくすれば、誤検知の割合はふえるが見逃しを減らすことができるようになる。なお、線形判別やＳＶＭ等、検知関数に予めしきい値が組み込まれている場合は、そのしきい値に上記T（）を加算又は減算して適用すればよい。
　図９は、検知処理部 503における閾値関数T()の作用を説明する模式図である。
　画像解析部 502が出力する特徴量ｘは、特徴量空間上に分布する。特に計量空間として最適化されている場合、ある事象Ａに該当する特徴量ｘは、ある狭い領域に密集する。そして、外乱レベルが大きくなるほど、特徴量ｘは散乱されて、より広い領域に分布すると考えられる。本例では、残留外乱が小さい時に、小さな閾値T()に対応する小さな領域531が適用され、その内部の特徴量が事象Ａと判定される。同様に、外乱レベルが中程度のときは中程度の領域532が、外乱レベルが大きいときは大きな領域533が適用される。
　なお、画像処理装置 1は、本画像補正処理をＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）、ＦＰＧＡ(Field-Programmable Gate Array)を用いて行うことができる。画像処理装置 1の許容される演算量は、ＣＰＵ等の利用率から決定される。
　また、画像処理装置 1は、外乱のレベルに応じた処理を記憶する、いわゆる学習機能を付加することにより、最適な特徴量を用いた検知が可能となる。
［第２の実施例］
　本例では、画像補正部が撮像部の中にあり、かつその動作を自由に制御できない場合を想定して説明する。
　図９は第２の実施例に係る画像補正部 130及びその周辺の構成を示すブロック図である。
　撮像部 131は、画像補正部 133を内蔵した点で撮像部 101と異なる。撮像部 131は、露光時間、絞り、ズーム倍率、光学フィルタの挿抜等の撮影パラメータやＡＧＣゲイン値を含む設定パラメータ 112を出力する 　画像補正部 133は、撮像部 131への設定や、撮影状況などから、撮像画像に自動的に適切な画像処理を施して、補正画像 114として出力する。また画像補正部 133は、撮像部 131の撮像素子から読み出されたRAW画像に対して施された全ての補正処理を記述する完全な補正情報 115を出力する。なお、補正情報 115は、解像度やＳＮ比等に影響を与える主要な補正処理に関するものに絞ってもよく、コントラスト補正の一種である逆光補正や霞霧補正、画角揺れ補正、陽炎補正、超解像処理などの他、魚眼レンズ等の画像歪み補正などが含まれ得る。
　外乱推定部 132は、設定パラメータ 112、補正画像114、補正情報 115を入力され、全結合パーセプトロン、あるいはサポートベクターマシン(SVM)によって、補正画像 114に残留する外乱レベルを推定し、残留外乱情報 531として出力する。残留外乱情報 531は、複数の成分を有し、残留外乱情報 511と同様に霞、陽炎、ノイズの３成分でもよく、或いは別の基準、例えば輝度の誤差（ノイズ）、空間的な誤差、時間的な揺らぎ、色の誤差の４成分に集約されてもよく、或いはそれらの混合である特徴量でもよい。また、残留外乱情報 511と同様に３段階にクラス分けされたものでも、連続量でも、どちらでもよい。
　画像補正部133が霧霞や陽炎等の必要とされる補正能力を有している場合、外乱推定部 132は、補正画像114からそれらを検出する必要はなく、設定パラメータ 112と補正情報 115を、単純にパーセプトロン等に入力すればよい。
　パーセプトロン等は、予め学習されているものとし、更に、カメラの設置状況や撮影環境に対する汎化能力を向上させるために、オンライン学習を行ってもよい。オンライン学習は、残留外乱情報 531の各成分に対応する外乱レベルを、別の方法、例えば補正画像 114から霞の影響検出部 202のような手段で算出したり、人が補正画像 114を評価して与えたりし、それらを教師データに用いて行う。
　事象検知部 134は、補正画像114と残留外乱情報 531を入力され、残留外乱情報 531を考慮した最適な誤報率及び見逃し率となるように、補正画像114から事象検知を行う。
　図１０に示されるように、本例の事象検知部 134は、畳み込みニューラルネットワーク（CNN）151と、サポートベクターマシン(SVM)識別器152と、危険率制御器153と、を有する。
　CNN 151は、事象検知部134の画素値が入力され、局所畳み込み層と最大値プーリング層を、データ数を減らしながら複数回繰り返し、その後もし必要であれば全結合層を経て、複数の値（特徴ベクトル）を出力する。この特徴ベクトルは、先の実施例の解析情報 512に相当する。なおCNN 151の途中の層（例えば全結合層）に、補正情報 115を入力してもよい。
　SVM識別器152は、ソフトマージンSVMであり、検知すべき特定の事象のそれぞれについての識別結果（真又は偽の硬判定値）を出力する。SVM識別器152は、各事象に対する2クラスSVM若しくは１クラスSVMを複数用いて構成されうる。学習においては、ヒンジ関数のような、不正解にペナルティを課す損失関数を用いる。
　危険率制御器153は、残留外乱情報531が示す複数の外乱レベルの組合せの夫々について、SVM識別器152の学習を管理する。一例として危険率制御器153は、SVM識別器152のカーネルやサポートベクターを、外乱レベルに関わらず共通にして学習した結果を、代表学習結果若しくは外乱レベルが最も低い場合の学習結果として設定し、その他の外乱レベルに対しては、代表学習結果等を基準にして学習する。その際、学習に用いた全てのサンプルを記憶するか、C-SVMやνトリック等の損失関数のパラメータや関数値を保持する。そして、PAC（Probably Approximately Correct）モデルを用いて、SVM識別器152が誤って識別してしまう（より正確にいえば、汎化誤差が大きい誤った分類を学習してしまう）危険率を、上記外乱レベルの組合せ毎に評価し、チューニングする。チューニングは、先の実施形態における閾値関数T()に相当する働きであり、見逃し率の低さを重視しているので、危険率が、所望の見逃し率と同等かそれ以下になるように行われる。例えば、SVM識別器152の識別関数のしきい値ｂを調整したり、Cやν,σ等のパラメータを更新して学習し直したりする。危険率の制御は、誤報率が許容限界を超えないように、制限できる。本例のチューニングは、検知すべき事象毎に独立に行うことが可能であり、事象の脅威の程度に応じて、見逃し率と誤報率を最適化できる。
　本発明は、監視カメラ等で撮影された映像から、迷惑もしくは危険な状況を検知したり、テレビ番組素材から所望のイベント若しくはメタデータを抽出したりするビデオ内容分析等の映像処理に、広く適用できる。
　1, 100：画像処理装置、　101：撮像部、　102：外乱検出部、　103：画像補正部、　104:事象検知部、
　111：入力画像、　112：設定パラメータ、　113：画像劣化情報、　114：補正画像、　115：補正情報、　116：解析結果、
　201：解析画像抽出部、　202：霧の影響検出部、　203：陽炎の影響検出部、　204：外乱レベル判定部、
　211：霧解析対象画像、　　212：陽炎解析対象画像、　213：霧検出結果、　214：陽炎検出結果、
　301：霧補正処理部、　302：画像比較部、　303：霧影響算出部、　311：霧補正画像、　312：差分情報、
　401：揺らぎにロバストな動体検出部、　402：背景領域比較部、　403：陽炎影響算出部、
　411：動体領域情報、　412：背景領域差分情報、
　501:残留外乱レベル算出部、　502：画像解析部、　503：検知処理部、　511：残留外乱情報、　512：解析情報。

Claims (6)

  1. 　画像から特定の事象を検知する画像処理装置において、
    　入力画像を解析し、前記入力画像が受けた複数の外乱の影響を検出し、外乱情報として出力する外乱検出器と、
    　前記外乱情報に応じて前記入力画像に補正処理を施し、補正された画像と実際に施された補正処理を示す補正情報とを出力する画像補正器と、
    　前記外乱情報と補正情報とから、前記補正された画像に残留する複数の外乱の度合いを推定し、前記外乱の度合いに応じて選択した検知処理を用いて前記特定の事象を検知する事象検知器と、を備えた画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記外乱検出器は、前記入力画像が入力されるごとに、位置を変えながら抽出した部分領域の範囲内で、複数の外乱の影響を検出して更新し、前記入力画像の全体が受けている複数の外乱の影響のそれぞれを、多段階に評価することを特徴とする画像処理装置。
  3. 　請求項２に記載の画像処理装置において、
    　前記画像補正器は、前記多段階に評価されたそれぞれの前記外乱の影響を、補正の重要度に変換し、前記複数の外乱に対応する補正処理を、前記重要度の高い順に処理量の許す範囲で実行するものであり、
    　前記重要度は、補正を行った場合の改善効果を考慮して定められることを特徴とする画像処理装置。
  4. 　請求項３に記載の画像処理装置において、前記事象検知部は、
    　前記外乱情報と前記補正情報とから、前記残留する複数の外乱の度合いを算出する残留外乱レベル算出器と、
    　前記補正された画像から特徴量を抽出する画像解析器と、
    　前記残留する複数の外乱の度合いの関数であって、特徴量空間上で前記特定の事象が検出されるべき領域を変化させる前記関数を用いて、前記特徴量から前記特定の事象を判定する検知処理器と、を備えたことを特徴とする画像処理装置。
  5. 　前記関数は、前記残留するいずれかの外乱の度合いが大きいほど、前記検出されるべき領域を広げるように作用し、外乱の度合いに関わらず前記検知処理器の見逃し率を小さく維持することを特徴とする画像処理装置。
  6. 　請求項５に記載の画像処理装置において、
    　前記検知処理器はサポートベクターマシンであり、前記関数は前記サポートベクターマシンの識別関数の中のしきい値を変化させることを特徴とする画像処理装置。
PCT/JP2016/076445 2015-09-18 2016-09-08 画像処理装置 WO2017047494A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
SG11201801781RA SG11201801781RA (en) 2015-09-18 2016-09-08 Image-processing device
US15/757,933 US20180352177A1 (en) 2015-09-18 2016-09-08 Image-processing device
JP2017539866A JP6505237B2 (ja) 2015-09-18 2016-09-08 画像処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015185427 2015-09-18
JP2015-185427 2015-09-18

Publications (1)

Publication Number Publication Date
WO2017047494A1 true WO2017047494A1 (ja) 2017-03-23

Family

ID=58289272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/076445 WO2017047494A1 (ja) 2015-09-18 2016-09-08 画像処理装置

Country Status (4)

Country Link
US (1) US20180352177A1 (ja)
JP (1) JP6505237B2 (ja)
SG (1) SG11201801781RA (ja)
WO (1) WO2017047494A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082652A1 (ja) * 2017-10-25 2019-05-02 株式会社 東芝 画像センサ、人物検知方法、プログラムおよび制御システム
JP2019212132A (ja) * 2018-06-06 2019-12-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP2020086891A (ja) * 2018-11-26 2020-06-04 キヤノン株式会社 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2022033202A (ja) * 2017-10-25 2022-02-28 株式会社東芝 画像センサ、動体検知方法、プログラムおよび制御システム
CN115115907A (zh) * 2022-06-29 2022-09-27 桂林电子科技大学 一种基于cqd蒸馏的低照度目标检测方法
JP7406886B2 (ja) 2019-08-02 2023-12-28 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107872608B (zh) * 2016-09-26 2021-01-12 华为技术有限公司 图像采集设备及图像处理方法
JP2020046774A (ja) * 2018-09-14 2020-03-26 株式会社東芝 信号処理装置、距離計測装置、および距離計測方法
JP7292123B2 (ja) * 2019-06-20 2023-06-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN113553937A (zh) * 2021-07-19 2021-10-26 北京百度网讯科技有限公司 目标检测方法、装置、电子设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346160A (ja) * 2002-05-29 2003-12-05 Matsushita Electric Ind Co Ltd 移動物体検出装置および移動物体検出方法
JP2012084009A (ja) * 2010-10-13 2012-04-26 Secom Co Ltd 画像センサ
JP2013186635A (ja) * 2012-03-07 2013-09-19 Hitachi Kokusai Electric Inc 物体検知装置、物体検知方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5374220B2 (ja) * 2009-04-23 2013-12-25 キヤノン株式会社 動きベクトル検出装置およびその制御方法、ならびに撮像装置
US9451165B2 (en) * 2013-02-14 2016-09-20 Hitachi Kokusai Electric Inc. Image processing apparatus
JP5908174B2 (ja) * 2013-07-09 2016-04-26 株式会社日立国際電気 画像処理装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346160A (ja) * 2002-05-29 2003-12-05 Matsushita Electric Ind Co Ltd 移動物体検出装置および移動物体検出方法
JP2012084009A (ja) * 2010-10-13 2012-04-26 Secom Co Ltd 画像センサ
JP2013186635A (ja) * 2012-03-07 2013-09-19 Hitachi Kokusai Electric Inc 物体検知装置、物体検知方法及びプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082652A1 (ja) * 2017-10-25 2019-05-02 株式会社 東芝 画像センサ、人物検知方法、プログラムおよび制御システム
JP2019080177A (ja) * 2017-10-25 2019-05-23 株式会社東芝 画像センサ、人物検知方法、プログラムおよび制御システム
JP7002912B2 (ja) 2017-10-25 2022-01-20 株式会社東芝 画像センサ、人物検知方法、プログラムおよび制御システム
JP2022033202A (ja) * 2017-10-25 2022-02-28 株式会社東芝 画像センサ、動体検知方法、プログラムおよび制御システム
JP7286747B2 (ja) 2017-10-25 2023-06-05 株式会社東芝 画像センサ、動体検知方法、プログラムおよび制御システム
JP2019212132A (ja) * 2018-06-06 2019-12-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP7146461B2 (ja) 2018-06-06 2022-10-04 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP2020086891A (ja) * 2018-11-26 2020-06-04 キヤノン株式会社 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP7246900B2 (ja) 2018-11-26 2023-03-28 キヤノン株式会社 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP7406886B2 (ja) 2019-08-02 2023-12-28 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN115115907A (zh) * 2022-06-29 2022-09-27 桂林电子科技大学 一种基于cqd蒸馏的低照度目标检测方法
CN115115907B (zh) * 2022-06-29 2024-03-29 桂林电子科技大学 一种基于cqd蒸馏的低照度目标检测方法

Also Published As

Publication number Publication date
US20180352177A1 (en) 2018-12-06
JPWO2017047494A1 (ja) 2018-07-12
JP6505237B2 (ja) 2019-04-24
SG11201801781RA (en) 2018-04-27

Similar Documents

Publication Publication Date Title
WO2017047494A1 (ja) 画像処理装置
JP5908174B2 (ja) 画像処理装置及び画像処理方法
CN108335279B (zh) 图像融合和hdr成像
Kim et al. Optimized contrast enhancement for real-time image and video dehazing
KR100791391B1 (ko) 노이즈 저감 방법 및 장치
US8494267B2 (en) Image processing device, image processing method, and program for normalizing a histogram
Kim et al. A novel approach for denoising and enhancement of extremely low-light video
US10614554B2 (en) Contrast adaptive video denoising system
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
TW201445454A (zh) 提升人臉辨識率的影像處理系統及影像處理方法
TW201310389A (zh) 使用影像對比增進的移動物件偵測方法
CN111612773B (zh) 一种红外热像仪及实时自动盲元检测处理方法
KR101336240B1 (ko) 저장된 영상을 이용한 영상 처리 방법 및 장치
US9355435B2 (en) Method and system for adaptive pixel replacement
US8780235B2 (en) Image processing method
JP2008005365A (ja) 撮像装置
CN107424134B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
US11631183B2 (en) Method and system for motion segmentation
CN107292853B (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
KR20190072643A (ko) 얼굴 검출 장치 및 그 제어 방법, 그리고 프로그램
KR20190109242A (ko) 이미지 신호로부터 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치
CN105184747B (zh) 低照度图像对比度的提升方法
US20130148890A1 (en) Digital image processing apparatus and method
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
CN113870300A (zh) 图像处理方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16846365

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017539866

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 11201801781R

Country of ref document: SG

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16846365

Country of ref document: EP

Kind code of ref document: A1