WO2013133045A1 - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
WO2013133045A1
WO2013133045A1 PCT/JP2013/054528 JP2013054528W WO2013133045A1 WO 2013133045 A1 WO2013133045 A1 WO 2013133045A1 JP 2013054528 W JP2013054528 W JP 2013054528W WO 2013133045 A1 WO2013133045 A1 WO 2013133045A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
monitoring
monitoring system
pixel
Prior art date
Application number
PCT/JP2013/054528
Other languages
English (en)
French (fr)
Inventor
伊藤光恵
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Publication of WO2013133045A1 publication Critical patent/WO2013133045A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to a monitoring system that monitors an area to be monitored (monitoring target area), and in particular, determines an attribute of a background object that has been segmented from a video obtained by imaging the monitoring target area, and sets an optimum parameter for each attribute.
  • the present invention relates to a monitoring system that can be automatically set.
  • the monitoring system uses an imaging device such as a television camera (TV camera) to image an object that intrudes into the monitoring target area, and determines whether the intruding object is detected from the captured image.
  • an imaging device such as a television camera (TV camera)
  • TV camera television camera
  • Monitor by As a monitoring system, a monitoring system in which a monitoring device or a monitoring system automatically performs monitoring instead of manned monitoring by a monitoring person has been conventionally studied.
  • a technique for automatically detecting an object that enters a monitoring target area for example, a detection technique using an image processing method called a background subtraction method has been widely used (for example, Patent Document 1 or Patent). Reference 2).
  • FIG. 2 is a schematic diagram for explaining an outline of an example of an image processing procedure for detecting a region where the luminance value has changed by the difference method.
  • FIG. 3 is a flowchart showing an example of a typical processing procedure of a conventional monitoring system to which the difference method is applied.
  • an image 201 is an input image that is sequentially input from the imaging device
  • an image 202 is a background image on which a target object to be detected that has been created in advance is not reflected.
  • the heel subtractor 205 receives the two images 201 and 202 and calculates a difference between pixel values (luminance values of each pixel) for the two input images to obtain a difference image 203.
  • the binarizer 206 performs threshold processing on each pixel of the difference image 203 with a threshold value Th (determined experimentally.
  • Th 20
  • Th 20
  • Th 20
  • Th 20
  • Th 20
  • the pixel value of the pixel equal to or greater than the threshold Th is set to “255” to obtain a binarized image 204.
  • the differentiator 205 calculates the humanoid object 207 shown in the input image 201 as a region 208 where the difference occurs (a luminance change region of the input image).
  • the binarizer 206 detects this region 208 as an image 209 having a pixel value “255”.
  • the pixel value (luminance value) of each pixel is calculated with 8 bits. Accordingly, each pixel is ranked by 256-level luminance values from 0 to 255.
  • an input image (image 201) having, for example, a width of 640 pixels and a height of 480 pixels is obtained from the imaging device.
  • the difference between the luminance values for each pixel is calculated for the input image (image 201) obtained in the image input step 302 and the reference background image (image 202) created in advance.
  • a difference image (image 203) is obtained using the difference value as the luminance value of the pixel.
  • a block of pixels (change area (image 209)) having the pixel value “255” in the binarized image (image 204) obtained in the binarization processing step 304 is detected. And number them so that they can be distinguished.
  • FIG. 2 it is assumed that only one image 209 (change area) is detected as an example, but a plurality of images 209 may be detected.
  • the object presence determination step 306 for each numbered change area (image 209), the change area matches the detection condition based on detection conditions such as size, area, staying time, and movement distance. It is determined whether or not. If the detection condition is met, it is determined that there is an object to be detected, and the process branches to the alarm / detection information display step 307.
  • the process branches to the image input step 302.
  • the alarm / detection information display step 307 the presence of an object to be detected is detected by using, for example, at least one means such as a monitor monitor, a warning light, a warning buzzer, visual, auditory, olfactory, tactile, taste, etc. Tell the monitor as a stimulus.
  • the background image is updated using the input image obtained in the image input step 302.
  • a background image update method for example, there is a method in which a current background image is weighted and averaged by applying a certain weight (update rate) to a current background image, and new background images are sequentially generated.
  • a display device such as a monitor displays an image obtained by surrounding a detected object with a rectangle or drawing a moving path, or an image focused on an object detected by a zoom lens or a pan head control of an imaging device. To display.
  • the threshold value Th of a region where there is a risk of erroneous detection, such as a tree region similarly decreases. For this reason, even a small shaking of the leaf due to the wind is determined to be a change region, which causes false detection.
  • Patent Document 1 discloses an intruding object detection device that can easily set a threshold value for detecting an intruding object even when the illuminance or time zone of the monitoring visual field region (monitoring target region), the aperture of the lens of the imaging device, or the like changes. And an intruding object detection method is disclosed. Further, in Patent Document 2, in order to detect an object, when a moving object other than the target object exists as an object detection parameter based on a threshold value and other parameters, this object is excluded from the detection target. An object recognition method and an object tracking monitoring device that can accurately track only a target object are disclosed. However, both Patent Document 1 and Patent Document 2 execute object detection using a uniform threshold Th with respect to an image, which is the same as the above-described problem of the prior art.
  • the present invention has been made in view of such a conventional situation. For example, there is a region in which a false detection such as a tree region is a concern in a part of the monitoring target region, and a region in which this false detection is a concern. Even if the degree of environmental change is significantly different, segment the area from the degree of environmental change in the monitored area, estimate the attributes of the background object from the segment information, and set the parameters corresponding to the segment attributes
  • An object of the present invention is to provide a monitoring system capable of simplifying parameter setting by a user and detecting an object to be detected with high accuracy.
  • a monitoring system includes an imaging device that captures an image of a monitoring target region, and a monitoring device that processes the captured image and collects monitoring information in the monitoring target region.
  • the monitoring device automatically sets optimal parameters for each arbitrary range of the captured image Parameter setting means for detecting an object using the automatically set parameters.
  • the monitoring system includes pre-image processing means for collecting information necessary for acquiring parameters to be set and executing image processing for determining parameters to be set by the parameter setting means. It was something like that.
  • the parameter setting unit of the monitoring system collects the degree of environmental change, collects two or more pieces of information representing the status of environmental change, and a plurality of the monitoring target areas. Segmentation means for dividing the area into two areas, and an attribute determined from the degree of environmental change is added to the divided area.
  • the parameter setting means of the monitoring system is configured to set parameters and object detection methods that are optimum for the attributes of the areas divided by the segmentation means.
  • the parameter setting means of the monitoring system calculates a local threshold value for each arbitrary range from the information obtained by the environment change acquisition means.
  • the parameter setting by the user can be simplified by dividing the monitoring target area based on the degree of environmental change and setting the optimum parameter for the divided area. Furthermore, it is possible to detect an object with high accuracy. As a result, an object to be detected can be detected with high accuracy even when the degree of environmental change in the area is significantly different depending on the trees existing in a part of the monitoring target area.
  • FIG. 1 is a block diagram showing an embodiment of the hardware configuration of the monitoring system of the present invention.
  • the monitoring system of FIG. 1 includes an imaging device 101, a monitoring device 102, a display device 109, and a video recording device 111.
  • the monitoring device 102 includes an image input I / F (Interface) 103, a CPU (Central A processing unit) or an image processing unit (referred to as a CPU) 104, a program memory 105, an image memory 106, a work memory 107, an image output I / F 108, and a data bus 110.
  • I / F Interface
  • CPU Central A processing unit
  • a CPU image processing unit
  • the imaging device 101 is connected to the image input I / F 103 of the monitoring device 102, and the display device 109 and the video recording device 111 are connected to the image output I / F 108 of the monitoring device 102.
  • the image input I / F 103, the CPU 104, the program memory 105, the image memory 106, the work memory 107, and the image output I / F 108 are connected to the data bus 110.
  • means for informing the monitoring staff that there is an object to be detected as a stimulus such as visual, auditory, olfactory, tactile, and taste (for example, the monitoring described in the alarm / detection information display step 307 in the flowchart of FIG. 3)
  • the monitor, warning light, warning buzzer, etc. were omitted.
  • an imaging device 101 images a monitoring target region (imaging field of view), converts the captured image into a video signal, and outputs the converted video signal to the image input I / F 103.
  • the image input I / F 103 converts the input video signal into image data in a format (for example, a width of 640 pixels and a height of 480 pixels) handled by the monitoring apparatus 102, and outputs the image data to the image memory 106 via the data bus 110.
  • the image memory 106 stores the image data input from the image input I / F 103.
  • the CPU 104 analyzes the image data stored in the image memory 106 using the work memory 107 in accordance with the operation program stored in the program memory 105.
  • the CPU 104 obtains information such as the detected object in the imaging field of view (monitoring target area) of the imaging device 101. Then, the CPU 104 holds information (hereinafter referred to as detected object information) when the object is detected in the work memory 107.
  • the detected object information includes, for example, the name of the detected object, the detected time, the region where the object exists and its locus, the type of the detected object such as “person” or “automobile”, and the like. Note that the name of the detected object is automatically added using, for example, the imaging date and the total number of detections.
  • the CPU 104 outputs, for example, a processing result image to the display device 109 via the data bus 110 and the image output I / F 108.
  • the image output I / F 108 converts the signal from the CPU 104 into a format that can be used by the display device 109 (for example, NTSC (National Television System Committee) video signal) and outputs it to the display device 109.
  • the display device 109 displays an image input from the CPU 104 such as a processing result image. Further, the CPU 104 records information such as a processing result image and detected object information from the data bus 110 to the video recording device 111 via the image output I / F 108.
  • FIG. 4 is a flowchart for explaining an embodiment of the pre-image processing of the monitoring system of the present invention.
  • the flowchart of FIG. 4 shows an image processing method and an object detection method for dividing a monitoring target region into a plurality of subregions (segmentation) and setting optimum parameters for each divided subregion (divided area). Yes.
  • this image processing will be described as “pre-image processing”.
  • FIG. 3 shows a difference process (background difference process) in which a difference from the background image is calculated and an object is detected.
  • a difference process difference process between frames that detects an object by calculating a difference may be used.
  • an initialization processing step 401 external devices, variables, image memory, and the like are initialized in order to execute the monitoring system based on the difference method.
  • an input image image 201 having, for example, a width of 640 pixels and a height of 480 pixels is obtained from the imaging device 101.
  • a difference in luminance value is calculated for each pixel based on the input image obtained in the image input step 402 and a background image that is a difference reference created in advance.
  • a binarized image is created.
  • the created binarized image is used to calculate a threshold value Th_pix used in the optimum binarization processing step 404.
  • the contents of the binarization processing in this step 405 are to perform binarization processing using a uniform threshold value Th for all pixels, and are the same processing as the existing binarization processing step 304. I do not explain. In this way, by using a uniform threshold Th for the entire image, a binarized image in which a range in which the environmental change in the ring monitoring target area is large appears as white pixels is acquired. .
  • Th a predetermined threshold
  • a binarized image is obtained by setting the pixel value of the pixel equal to or greater than the threshold Th to “255”.
  • the pixel value of one pixel is calculated with 8 bits. That is, one pixel has a value from 0 to 255.
  • the binarized image created in step 405 will be referred to as an environment change image and will be described below.
  • a block (change area) of pixels having the pixel value “255” in the binarized image obtained in the optimum binarization process step 404 can be detected and numbered to distinguish them. Like that.
  • the object presence determination step 407 for each of the numbered change areas, based on detection conditions such as size, area (size), speed (movement speed), detection position, movement distance, movement range, etc. It is determined whether or not the change area matches the detection condition. If it matches the detection condition, it branches to the alarm / detection information display step 408 because there is an object to be detected. If it does not match the detection condition, the environment change acquisition processing step assumes that there is no object to be detected. Branch to 409.
  • Whether or not the change region matches the detection condition is determined by a known technique (an image processing method or an object detection method) as described in, for example, Patent Document 2.
  • the presence of an object to be detected is detected using at least one means such as a monitor monitor, a warning light, a warning buzzer, etc., such as visual, auditory, olfactory, tactile, and taste. Tell the monitor as a stimulus.
  • FIG. 5 is a flowchart for explaining an embodiment of a detailed procedure of image processing of the monitoring system of the present invention.
  • FIG. 6 is a diagram illustrating an example of an input image, which is an image obtained by imaging the monitoring target area by the imaging apparatus 101.
  • FIGS. 7 and 8 are diagrams for explaining an example of a result in the middle of processing by the monitoring system of the example of the present invention.
  • FIG. 10 is a figure for demonstrating one Example of the result of the process by the monitoring system of one Example of this invention. Referring to FIGS.
  • FIG. 6 is an input image 600 obtained by capturing an image of the monitoring target area (near the entrance / exit of a certain factory) with the imaging device 101.
  • the input image 600 shows a building (guard station) 601, a sidewalk 602, lawns 604 and 605, a roadway 606, trees 607 and 608, and a vehicle 609.
  • the vehicle 609 is a taxi that moves on the road 606 and stops at the current position.
  • the change intensity collection step 501 is a step of collecting the degree of environmental change from the environmental change image obtained in the environmental change extraction processing step 405. For example, when a binarization process is performed when a tree shake or a water surface fluctuation occurs in the monitoring target area, the pixel with the shake exceeds the threshold value. As a result, in the binarized image (environmental change image), a pixel with shaking appears as a white pixel (pixel with a pixel value of “255”), and a pixel without shaking has a black pixel (with a pixel value of “0”). Appears as a pixel).
  • the white pixel of the binarized image is determined to be a region having an environmental change, and the white pixel is handled as the change amount of the environmental change per process.
  • the binarization obtained in the optimum binarization processing step 404 is performed using the environment change image obtained in the environment change extraction processing step 405 as a binarized image for determining the presence or absence of white pixels. Do not use images. This is because the threshold value Th_pix has an optimum value (local threshold value) for each pixel in the binarized image obtained in the optimum binarization processing step 404. For example, the local threshold Th_pix is set to a higher value than other regions in a tree region where environmental changes are likely to occur.
  • an environmental strength variable KH for accumulating a change amount of the environmental change collected from the binarized image for a long time is prepared in advance. Since the environment intensity variable KH needs to hold a value for each pixel of the binarized image, for example, if it is prepared in an array such as KH [640] [480], the process is easy to execute.
  • [640] is the number of pixels in the horizontal direction of the input image
  • [480] is the number of pixels in the height direction of the input image.
  • this pixel is determined to be a pixel having an environmental change, and 1 is added to the environmental intensity variable KH (for example, KH [i] [j]) associated with the corresponding pixel.
  • KH for example, KH [i] [j]
  • FIG. 7 shows the environment intensity variable KH [640] [480] obtained in the change intensity collection step 501 and displayed as an image.
  • FIG. 7 shows the environment intensity variable KH [640] [480] obtained in the change intensity collection step 501 and displayed as an image.
  • FIG. 7 is an image (using ⁇ average value) obtained by SQRT of a voting image (EW cloudy wind) using 65535 frames.
  • the environmental intensity variable KH becomes a very large value by adding 1 for each frame.
  • a cloudy road roadway area 701, sidewalk area 702 and the like where there is almost no environmental change
  • 1 is rarely added even after a long period of time.
  • the car 609 is counted as an image having an environmental change similarly to the shaking of the tree, and the car shadow 709 of the car 609 is faintly seen.
  • FIG. 7 is an image (using ⁇ average value) obtained by SQRT of a voting image (EW cloudy wind) using 65535 frames.
  • the environmental intensity variable KH becomes a very large value by adding 1 for each frame.
  • a cloudy road roadway area 701, sidewalk area 702 and the like where there is almost no environmental change
  • 1 is rarely added even after a long period of time.
  • the car 609 is counted as an image having an
  • step 8 is an improved version in which white pixels are not counted in the region of the object known up to step 406, and a binarized image excluding EW sunshine change cloudy PTc6 ⁇ TObj (with merge). (4000 frames). In FIG. 8, the shadow of the car 609 is not visible.
  • the segmentation information collecting step 502 is a step of collecting information for dividing the monitoring target area using the feature of the image.
  • edge detection processing is executed using a Sobel filter, Laplacian filter, or the like using the input image.
  • information for dividing the monitoring target area using the obtained edge image (hereinafter, this information is referred to as an area dividing line) is collected.
  • the heel edge image is, for example, an image represented by white pixels or black pixels with a threshold value as in the case of the binarized image. In the edge image, when white pixels are used as edge pixels, the reliability of the area dividing line is increased by accumulating the information.
  • a variable for accumulating edge pixels for a long time is prepared in advance. Since the segmentation variable also needs to hold a value for each pixel of the edge image, for example, if it is prepared in an array such as SG [640] [480], the process is easy to execute.
  • the segmentation information collecting step 502 it is determined that the white pixel in the edge image is an edge pixel, and 1 is added to the segmentation variable (for example, SG [i] [j]) associated with the corresponding pixel (edge pixel).
  • FIG. 9 shows an example in which the segmentation variable is displayed as an image.
  • the segmentation variable is displayed as an image.
  • the contours generated by changes in sunlight such as building shadows are temporary, the number of additions is not so many when viewed over a long period of time, and the level value is not determined as an edge pixel on the segmentation variable.
  • the object intrusion area information collection step 503 is a step of collecting position information on which an object enters from the information on the object to be detected obtained in the object presence determination step 407.
  • the position of the object to be detected for example, the coordinates of the foot of the circumscribed rectangle of the detected object
  • the information reliability is stored by accumulating the information. Raise.
  • a variable for accumulating the range of the object to be detected hereinafter referred to as an object area variable
  • the process is easy to execute.
  • the position of the object to be detected is determined as the object intrusion area, and the object position is held by adding 1 to an object area variable (for example, OBJ [i] [j]) associated with the corresponding pixel. . ⁇
  • This object intrusion area collection step 503 is repeatedly executed for a plurality of input images obtained by imaging the same region and having different imaging times. As a result, a route through which one object passes is recorded as a line like a trajectory and can be displayed as an image 1000, and it is determined whether or not the area is an area based on the value of the object area variable. (See FIG. 10).
  • the object area variable of this area becomes a very large value.
  • the object area variable in such areas is close to 0 and is usually a person.
  • an object area variable is prepared for each type and added to the object area variable for the type of object.
  • the environmental change collection determination step 410 it is determined whether sufficient environmental data has been collected in the parameter setting.
  • a determination method for example, “24 hours or more have elapsed since the start of pre-image processing” or the like can be specified by the collection time, or “Environmental change acquisition processing step 409 has been executed over 1 million times” or the like. The number of executions may be used as a determination condition. If the determination condition is achieved, it is determined that the data is sufficiently collected and the process branches to the segmentation step 412. If not reached, the data amount is determined to be insufficient and the process branches to the background update step 411. .
  • the segmentation step 412 segments the area from the degree of environmental change using the environmental intensity variable, segmentation variable, and object area variable collected in the environmental change acquisition processing step 409, and each segment divided by the three variables This is a step for determining attributes.
  • segmentation of the monitoring target area is executed using the segmentation variable.
  • an arbitrary threshold value is provided for the segmentation variable, and the pixel of the segmentation variable equal to or greater than the threshold value is set as the edge position.
  • the image can be divided into several areas as an image 1100 in FIG. 11.
  • these divided areas are referred to as divided areas.
  • the image 1100 in FIG. 11 will be described as a segment diagram.
  • the object area information it is determined whether the area into which the object enters or does not enter the divided area. For example, when the divided area and the object area variable are collated, a divided area including a certain number or more of the object area variable is set as the object intrusion area, and the other divided areas are set as the background area. Further, for example, when FIG. 10 in which the object area variable is displayed as an image 1000 and the image 1100 of FIG. 11 which is a segment diagram are superimposed, an image 1200 as shown in FIG. 12 is obtained. Note that the sum of the object area variables may be calculated for each divided area, and may be set as the object entry area only when the total value is a certain value or more. FIG.
  • FIG. 13 shows an example of color coding according to the result of the divided area determined using the image 1200 of FIG.
  • the two divided areas of the road area 1301 and the sidewalk area 1302 indicate the object entry area
  • the divided areas of the lawn area 1304, the building area 1306, and the tree areas 1307 and 1308 indicate the background area.
  • each divided area determines whether it is a dynamic background area or a static background area. For example, when the divided area shown in FIG. 13 and the environment intensity variable are collated, a divided area including a predetermined number or more of environment intensity variables is set as the dynamic background area. For example, when the result of the divided area in FIG. 13 and the example of the diagram in which the environmental intensity variable in FIG. 8 is displayed as an image 800 are superimposed, an image 1400 as shown in FIG. 14 is obtained. It should be noted that the sum of the environmental intensity variables may be calculated for each divided area, and only the divided area where the total value is a certain value or more may be set as the dynamic background area. An example of the divided areas determined using FIG. 14 is shown in FIG. In the image 1500 of FIG. 15, the divided areas of the lawn area 1504, the tree area 1507, and the tree area 1508 indicate the dynamic background area, and the divided areas of the road area 1501, the sidewalk area 1502, and the building area 1506 indicate the static background area.
  • the divided area is divided into three attributes.
  • the divided areas of the roadway 1601 and the sidewalk 1602 are object intrusion areas
  • the divided areas of the sidewalk 1604, the trees 1607, and the trees 1608 are dynamic background areas
  • the building 1606 The divided area is a static background area.
  • the parameter setting step 413 is a step for setting parameters using the divided areas obtained in the segmentation step 412 and their attributes.
  • the division area of the object intrusion area is a “detection area” where the object should be automatically detected
  • the division area of the moving object background area is the “mask area” where the detection processing is not automatically executed.
  • FIG. 17 is an example of a parameter setting image displayed on software (not shown) for setting parameters.
  • the “detection area” is automatically displayed as an area of white pixels (area of the roadway 1701 and an area of the sidewalk 1702), and the “mask area” is an area of black pixels (the lawn 1704). Area, building area 1706, tree area 1707, tree area 1708).
  • the user may be able to freely change the range of “detection area” and “mask area” according to the necessity of detection for each automatically created mask. The user may change the image processing method and the object detection method according to the attribute of the divided area.
  • an image processing method or an object detection method to perform recognition processing that can be immediately determined by size or moving speed so that an object to be detected is not overlooked Also good.
  • an image processing method or an object detection method may be used so as to perform a recognition process in which a sufficient determination is made based on a moving distance and a moving range so that no erroneous detection occurs. .
  • an optimal threshold value is set for each pixel using the environmental intensity variable collected in the environmental change acquisition processing step 409.
  • the value calculated for each pixel may be used as it is.
  • the environmental intensity variable is set to the median filter or the maximum value.
  • a measure such as handling a certain range as the same background object may be performed by performing a smoothing process such as a filter.
  • the optimum threshold value Th_pix is calculated by weighting the initial value Th of the threshold value in consideration of the environmental change using the environmental intensity variable created in the environmental change acquisition processing step 409.
  • an optimum threshold value (local threshold value) is calculated for each pixel.
  • a value for weighting the threshold Th is calculated from the environmental strength variable.
  • the weighting value is a large value for a pixel having a large environmental intensity variable and a frequent environmental change, and a small value for a pixel having a small environmental intensity variable and little environmental change.
  • the value to be weighted will be described as a coefficient K. Since the coefficient K needs to hold a value corresponding to each pixel, for example, if the coefficient K is prepared in an array such as K [640] [480], the process is easy to execute.
  • a method for calculating the coefficient K performed for each pixel will be described.
  • the coefficient K may be calculated for each pixel based on this mathematical expression.
  • the threshold value Th_pix needs to hold a value corresponding to each pixel. For this reason, for example, if an array such as Th_pix [640] [480] is prepared, the process is easy to execute.
  • Th_pix 100 for a pixel in a tree region where a tree shake occurs
  • Th_pix 20 for a pixel in a road region through which a certain amount of vehicles pass.
  • Th_pix obtained by Equation (1) has a different value for each arbitrary range even within the divided area.
  • This threshold value Th_pix is referred to as a local threshold value.
  • the arbitrary range includes a range of one pixel.
  • the determined local threshold value Th_pix may be used as it is as a threshold value for image processing after the pre-image processing is completed, or a local threshold value updating step is similarly provided in image processing to provide local threshold value Th_pix.
  • the local threshold value using the latest information may be used by continuing to update.
  • the environment change occurring in the image is learned, and the parameters used for various image processing including the threshold corresponding to the attribute of the segment are automatically set.
  • the setting can be simplified and the object can be detected with high accuracy.
  • the present invention can be used in general monitoring systems that process an image captured by an imaging device, collect monitoring information by the monitoring device, and perform object detection.
  • Imaging device 102 Monitoring device 103: Image input I / F 104: CPU 105: Program memory 106: Image memory 107: Work memory 108: Image output I / F 109: Display device 110: Data bus, 111: Video recording device, 201-204: Image, 205: Differencer, 206: Binarizer, 207: Object, 208: Area, 209: Image, 600, 700, 800, 900, 1000 , 1100, 1200, 1300, 1400, 1500, 1600, 1700: Image, 601: Roadway, 602: Sidewalk, 604: Lawn, 606: Building, 607, 608: Tree, 609: Vehicle, 709: Shadow 701, 801, 901, 1101, 1201, 1301, 1401, 1501, 1601, 1701: Road area, 702, 802, 902, 1102, 1202, 1302, 1402, 1502, 1602, 1702: Sidewalk area, 704, 804, 904, 1104, 1204, 1304, 1404, 1504, 1604, 1704: Lawn area, 706, 806, 906, 1106, 1206,

Abstract

　監視対象領域の一部に存在する樹木により領域内の環境変化の程度が著しく異なる場合においても、環境変化の程度に基づいて監視対象領域を分割し、分割した領域に対して最適なパラメータを設定することにより、ユーザによるパラメータ設定を簡略化し、また、精度よく検出すべき物体を検出することができる監視システムを提供する。監視装置において、設定するパラメータを決定するためのプレ画像処理を実行して、環境変化の状況を表す２つ以上の情報を収集する。そして、収集した情報に基づいて監視対象領域をセグメンテーションし、分割された各エリアに属性を付加する。そして、各分割エリアは付加された属性に基づいて、最適なパラメータを設定する。

Description

監視システム
　本発明は、監視対象となる領域（監視対象領域）を監視する監視システムに関し、特に、監視対象領域を撮像した映像からセグメンテーションを行なった背景物の属性を判定し、属性毎に最適なパラメータを自動的に設定することができる監視システムに関する。
　監視システムは、例えば、テレビジョンカメラ（ＴＶカメラ）等の撮像装置を用いて、監視対象領域内に侵入する物体を撮像し、撮像した映像から侵入する物体を検出したか否かを判定することによって監視を行う。また、監視システムでは、監視員による有人監視ではなく、監視装置または監視システムが自動的に監視を行う監視システムが従来から検討されている。  監視対象領域内に侵入する物体を自動的に検出する技術としては、例えば、背景差分法と呼ばれる画像処理方法を用いた検出技術が、従来から広く用いられている（例えば、特許文献１または特許文献２参照。）。
　差分法の画像処理について、図２及び図３を用いて説明する。図２は、差分法によって輝度値が変化した領域を検出する画像処理手順の一例の概略を説明するための模式図である。また、図３は、差分法を応用した従来の監視システムの典型的な処理手順の一例を示すフローチャートである。
　まず、図２を用い、差分法によって撮像装置から監視装置に逐次入力される入力画像について、輝度の変化領域を検出する手順を説明する。  図２において、画像201は、撮像装置から逐次入力される入力画像であり、画像202は、予め作成した検出すべき対象物体が映っていない背景画像である。  差分器205は、この２枚の画像201及び画像202を入力とし、入力された２枚の画像について、画素値（各画素の輝度値）の差分を計算し、差分画像203を得る。次に、二値化器206は、差分画像203の各画素について、しきい値Ｔｈ（実験的に決定する。例えば、Ｔｈ＝２０）でしきい値処理し、しきい値Ｔｈ未満の画素値を“０”とし、しきい値Ｔｈ以上の画素の画素値を“２５５”として、二値化画像204を得る。  これによって差分器205は、入力画像201に映った人型の物体207を差分が生じた領域208（入力画像の輝度の変化領域）として計算する。さらに、二値化器206は、この領域208を画素値“２５５”の画像209として検出する。  なお、図２及び図３においては、各画素の画素値（輝度値）を８ビットで計算している。従って、各画素は、０～２５５の２５６段階の輝度値でランク分けされている。
　次に、図３のフローチャートを用いて、差分法を応用した監視システムの典型的な処理手順を説明する。監視システムにおいて、このような処理は、一般的に、監視装置のＣＰＵ（Central Processing）または画像処理部が監視システム内の機器を制御して実行する。  図３において、初期化処理ステップ301では、差分法による監視システムを実行するために、外部機器、変数、画像メモリ等の初期化を行なう。  画像入力ステップ302では、撮像装置から、例えば、幅640画素、高さ480画素の入力画像（画像201）を得る。  差分処理ステップ303では、画像入力ステップ302で得た入力画像（画像201）と予め作成しておいた基準となる背景画像（画像202）について、画素毎の輝度値の差分を計算し、計算した差分値を当該画素の輝度値とした差分画像（画像203）を得る。  二値化処理ステップ304では、差分処理ステップ303で得られた差分画像（画像203）の画素値（差分値）が所定のしきい値Ｔｈ（例えば、Ｔｈ＝２０）未満の画素値を“０”、しきい値Ｔｈ以上の画素の画素値を“２５５”として二値化画像（画像204）を得る。
　次に、ラベリング処理ステップ305では、二値化処理ステップ304で得られた二値化画像（画像204）の中の画素値“２５５”となる画素のかたまり（変化領域（画像209））を検出して各々に番号を付けて（ラベリングして）区別できるようにする。なお、図２では、一例として、画像209（変化領域）を１つだけ検出したとして説明しているが、複数検出されることもある。 
物体存在判定ステップ306では、番号付けされた変化領域（画像209）のそれぞれに対して、大きさ、面積、滞在時間、移動距離等の検出条件に基づいて、当該変化領域が検出条件に合致するか否かを判定する。そして、検出条件に合致する場合には、検出すべき物体が存在すると判定して警報・検出情報表示ステップ307に分岐し、検出条件に合致しない場合には、検出すべき物体が存在しないと判定して画像入力ステップ302に分岐する。  警報・検出情報表示ステップ307では、検出すべき物体が存在することを、例えば、監視モニタ、警告灯、警告ブザー等の少なくとも１つ以上の手段を用いて視覚、聴覚、嗅覚、触覚、味覚等の刺激として監視員に伝える。
　そして、背景更新ステップ308では、画像入力ステップ302で得た入力画像を用いて背景画像を更新する。  背景画像の更新方法には、例えば、現在の背景画像に現在の入力画像を一定の重み（更新率）をかけて加重平均し、新しい背景画像を逐次作成する方法がある。  また、このような監視システムでは、検出された物体を矩形で囲んだり移動経路を描画した画像や、撮像装置のズームレンズや雲台制御によって検出された物体に注目した画像をモニタなどの表示装置に表示する。
特開２００２－２１８４４３号公報 特開２０００－１０５８３５号公報
　上述の従来の監視システムにおける差分処理では、画像に対して一様なしきい値Ｔｈを使用して物体検出を実行する。しかし、画像内のすべての領域に対して最適な差分処理を実行して物体検出するための一様なしきい値Ｔｈを設定することが難しいという問題があった。  例えば、複数の樹木が存在するような環境を監視対象領域として物体を検出する場合には、強風で揺れる木の葉やその影を誤検出しないように、しきい値Ｔｈを通常時よりも高め（例えば、Ｔｈ＝５０）に設定して差分処理を実行する。しかし、同じ画像内の樹木が全く影響しない領域でも、同じしきい値が適応されるため、本来検出するべきである侵入物体（人や車）までも変化領域であると判定し難くなってしまい、検出の見逃しの要因となる。  また、上記環境において、霧が発生するなどの要因によってコントラストが低下した場合には、人や車を検出し易くするために、しきい値Ｔｈを通常時よりも低め（例えば、Ｔｈ＝１０）に設定して差分処理を実行する。しかし、例えば、樹木の領域等の誤検出が懸念される領域のしきい値Ｔｈも同様に下がる。このため、風による葉の小さな揺れまでも変化領域であると判定してしまい、誤検出の要因となる。
　特許文献１には、監視視野領域（監視対象領域）の照度や時間帯、撮像装置のレンズの絞り等が変わった場合でも、容易に侵入物体を検出するしきい値を設定できる侵入物体検出装置及び侵入物体検出方法が開示されている。  また、特許文献２には、物体検出するために、物体検出のパラメータとして、しきい値及び他のパラメータに基づいて、対象物体以外の動く物体が存在した場合にこの物体を検出対象外として除外することができ正確に対象物体のみを追跡することができる物体認識方法及び物体追跡監視装置が開示されている。  しかし、特許文献１も特許文献２も、画像に対して一様なしきい値Ｔｈを使用して物体検出を実行するものであることについては、上述の従来技術の問題点と同様である。
　本発明は、このような従来の事情に鑑み為されたもので、例えば、監視対象領域の一部に樹木の領域等の誤検出が懸念される領域があり、この誤検出が懸念される領域内の環境変化の程度が著しく異なる場合においても、監視対象領域の環境変化の度合いからエリアをセグメンテーションし、セグメント情報より背景物の属性を推定し、セグメントの属性に対応したパラメータを設定することにより、ユーザによるパラメータ設定を簡略化し、また、精度よく検出したい物体を検出することができる監視システムを提供することを目的とする。
　上記の目的を達成するため、本発明に係る監視システムは、監視対象領域の画像を撮像する撮像装置と、前記撮像された画像を処理し前記監視対象領域内の監視情報を収集する監視装置と、前記撮像された画像あるいは前記監視情報の少なくとも１つを表示する表示装置を有した監視システムにおいて、前記監視装置は、前記撮像された画像の任意の範囲毎に最適なパラメータを自動的に設定するパラメータ設定手段を備え、前記自動的に設定されたパラメータを使用して物体検出を行なうようにしたものである。
　さらに、上記本発明に係る監視システムは、設定するパラメータを取得するために必要な情報を収集し、前記パラメータ設定手段で設定するパラメータを決定するための画像処理を実行するプレ画像処理手段を備えたようにしたものである。
　さらに、上記本発明に係る監視システムの前記パラメータ設定手段は、環境変化の度合いを収集し、環境変化の状況を表す２つ以上の情報を収集する環境変化取得手段と、前記監視対象領域を複数のエリアに分割するセグメンテーション手段を有し、前記分割されたエリアに対して前記環境変化の度合いから判定された属性を付加するようにしたものである。
　さらに、上記本発明に係る監視システムの前記パラメータ設定手段は、前記セグメンテーション手段で分割されたエリアの属性に最適なパラメータや物体検出手法を設定するようにしたものである。
　さらに、上記本発明に係る監視システムの前記パラメータ設定手段は、前記環境変化取得手段で得られた情報より、任意の範囲毎の局所しきい値を算出するようにしたものである。
　本発明によれば、画像内で発生する環境変化を学習し、セグメントの属性に対応したしきい値をはじめとするパラメータを設定する。例えば、環境変化の程度に基づいて監視対象領域を分割し、分割した領域に対して最適なパラメータを設定することによって、ユーザによるパラメータ設定を簡略化することができる。さらに、精度良く物体の検出が行なうことが可能となる。  この結果、監視対象領域の一部に存在する樹木により領域内の環境変化の程度が著しく異なる場合においても、精度よく検出すべき物体を検出することができる。
本発明の監視システムの一実施例の構成を示すブロック図である。 差分法による処理の手順の一例を説明するための模式図である。 従来の監視システムの典型的な処理手順の一例を説明するためのフローチャートである。 本発明の監視システムのプレ画像処理の手順の一実施例を説明するためのフローチャートである。 本発明の監視システムの画像処理の詳細手順の一実施例を説明するためのフローチャートである。 入力画像の一例を示す図である。 本発明の監視システムの処理結果の一例を示す図である。 本発明の監視システムの処理結果の一例を示す図である。 本発明の監視システムの処理結果の一例を示す図である。 本発明の監視システムの処理結果の一例を示す図である。 本発明の監視システムの処理結果の一例を示す図である。 本発明の監視システムの処理結果の一例を示す図である。 本発明の監視システムの処理結果の一例を示す図である。 本発明の監視システムの処理結果の一例を示す図である。 本発明の監視システムの処理結果の一例を示す図である。 本発明の監視システムの処理結果の一例を示す図である。 本発明の監視システムの設定ツールに表示された図の一例を示す図である。
　以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。  しかし、本発明は、以下の実施例に限定されるわけではなく、本発明が属する技術分野において、通常の知識を有する者であれば、本発明の思想と精神に基づいて、本発明を修正若しくは変更できる発明が含まれることは勿論のことである。  なお、各図の説明において、既に説明した図２及び図３を含め、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避ける。
　図１は、本発明の監視システムのハードウエア構成の一実施例を示すブロック図である。図１の監視システムは、撮像装置101、監視装置102、表示装置109、及び映像記録装置111によって構成されている。また、監視装置102は、画像入力Ｉ／Ｆ（Interface）103、ＣＰＵ（Central
Processing Unit）または画像処理部（いか、ＣＰＵと称する）104、プログラムメモリ105、画像メモリ106、ワークメモリ107、画像出力Ｉ／Ｆ108、及びデータバス110で構成されている。  図１において、撮像装置101は、監視装置102の画像入力Ｉ／Ｆ103に接続され、表示装置109及び映像記録装置111は、監視装置102の画像出力Ｉ／Ｆ108に接続されている。また、監視装置102において、画像入力Ｉ／Ｆ103、ＣＰＵ104、プログラムメモリ105、画像メモリ106、ワークメモリ107及び画像出力Ｉ／Ｆ108は、データバス110に接続されている。  なお、検出すべき物体が存在することを視覚、聴覚、嗅覚、触覚、味覚等の刺激として監視員に伝えるための手段（例えば、図３のフローチャートの警報・検出情報表示ステップ307で説明した監視モニタ、警告灯、警告ブザー等は、省略した。
　図１において、撮像装置101は、監視対象領域（撮像視野）を撮像し、撮像した画像を映像信号に変換し、変換した映像信号を画像入力Ｉ／Ｆ103に出力する。画像入力Ｉ／Ｆ103は、入力した映像信号を監視装置102で扱うフォーマット（例えば、幅640画素、高さ480画素）の画像データに変換し、データバス110を介して画像メモリ106に出力する。画像メモリ106は、画像入力Ｉ／Ｆ103から入力された画像データを蓄積する。  ＣＰＵ104は、プログラムメモリ105に保存されている動作プログラムに従って、ワークメモリ107を使って画像メモリ106に蓄積された画像データの解析を行う。  以上の解析の結果、ＣＰＵ104は、撮像装置101の撮像視野（監視対象領域）内の検出物体などの情報を得る。そして、ＣＰＵ104は、物体を検出した時の情報（以下、検出物体情報と称する）をワークメモリ107に保持する。  検出物体情報とは、例えば、検出物体の名称、検出された時刻、物体の存在する領域とその軌跡、「人」や「自動車」などの検出物体の種別などである。なお、検出物体の名称は、例えば、撮像日時や検出総数などを用いて自動的に付加する。  ＣＰＵ104は、データバス110と画像出力Ｉ／Ｆ108を介して、例えば、処理結果画像を、表示装置109に出力する。画像出力Ｉ／Ｆ108は、ＣＰＵ104からの信号を表示装置109が使用できるフォーマット（例えば、NTSC（National Television System Committee）映像信号）に変換して、表示装置109に出力する。表示装置109は、処理結果画像等、ＣＰＵ104から入力された画像を表示する。また、ＣＰＵ104は、データバス110から画像出力Ｉ／Ｆ108を介して映像記録装置111に情報、例えば、処理結果画像や検出物体情報を記録する。
　次に、このように構成された監視システムにおいて、物体検出に使用する画像から、画像内の異なる環境変化の度合いを学習し、学習結果より得られた背景物のエリアの属性毎に最適なパラメータを設定する手順と其の処理内容について、図４によって説明する。図４は、本発明の監視システムのプレ画像処理の一実施例を説明するためのフローチャートである。  図４のフローチャートは、監視対象領域を複数のサブ領域に分割（セグメンテーション）し、分割したサブ領域（分割エリア）毎に最適なパラメータを設定するための画像処理の手法や物体検出手法を示している。以降、この画像処理を“プレ画像処理”として説明する。プレ画像処理は、長時間行なうほど学習データが蓄積されるため、処理結果として得られるパラメータの信頼性が向上する。  そして、このプレ画像処理の終了後、本発明の監視システムでは、例えば、図３で説明した通常の監視システムでの物体検出処理を開始する。なお、図３は、背景画像との差分を計算して物体を検出する差分処理（背景差分処理）であるが、その他に、同一領域を撮像した画像であって、撮像時間が異なる画像同士の差分を計算して物体を検出する差分処理（フレーム間差分処理）する方法でも良い。
　図４において、初期化処理ステップ401では、差分法による監視システムを実行するために、外部機器、変数、画像メモリ等の初期化を行なう。  画像入力ステップ402では、撮像装置101から、例えば、幅640画素、高さ480画素の入力画像（画像201）を得る。  差分処理ステップ403では、画像入力ステップ402で得た入力画像と予め作成しておいた差分の基準となる背景画像によって、各画素について輝度値の差分を計算する。  次に、最適二値化処理ステップ404では、差分処理ステップ403で得られた差分画像と、各画素に対応したしきい値Ｔｈ_ｐｉｘ（詳細は後述する）を用いて、差分画像の画素値（差分値）がしきい値Ｔｈ_ｐｉｘ（例えば、Ｔｈ_ｐｉｘ＝１００）未満の画素値を“０”とし、差分画像の画素値（差分値）がしきい値Ｔｈ_ｐｉｘ以上の画素の画素値を“２５５”として二値化画像を得る。
　環境変化抽出処理ステップ405では、二値化画像の作成を行なう。作成された二値化画像は、最適二値化処理ステップ404で使用するしきい値Ｔｈ_ｐｉｘを計算するために使用する。本ステップ405の二値化処理の内容は、全画素で一様なしきい値Ｔｈを使用して二値化処理するもので、既存の二値化処理ステップ304と同様の処理であるので、あらためて説明しない。このように、１枚の画像全体に対して一律のしきい値Ｔｈを用いることで、環監視対象領域内の環境変化が大きい範囲が、白画素として現れる二値化画像を取得するものである。  即ち、環境変化抽出処理ステップ405では、差分処理ステップ403で得られた差分画像の画素値（差分値）が所定のしきい値Ｔｈ（例えば、Ｔｈ＝２０）未満の画素値を“０”、しきい値Ｔｈ以上の画素の画素値を“２５５”として二値化画像を得る。例えば、１画素の画素値を８ビットで計算する。即ち、１画素が、０から２５５までの値を持つ。本ステップ405で作成した二値化画像を環境変化画像と称して、以降の説明を行なう。
　ラベリング処理ステップ406では、最適二値化処理ステップ404で得られた二値化画像の中の画素値“２５５”となる画素のかたまり（変化領域）を検出して各々に番号を付けて区別できるようにする。  物体存在判定ステップ407では、番号付けされた変化領域のそれぞれに対して、大きさ、面積（サイズ）、速度（移動速度）、検出位置、移動距離、移動範囲等の検出条件に基づいて、当該変化領域が検出条件に合致するか否かを判定する。検出条件に合致する場合には、検出すべき物体が存在するとして警報・検出情報表示ステップ408に分岐し、検出条件に合致しない場合には、検出すべき物体が存在しないとして環境変化取得処理ステップ409に分岐する。なお、変化領域が検出条件に合致するか否かは、例えば、特許文献２等に記載されているように、周知の技術（画像処理の手法や物体検出手法）で判定する。  警報・検出情報表示ステップ408では、検出すべき物体が存在することを、例えば監視モニタ、警告灯、警告ブザー等の少なくとも１つ以上の手段を用いて視覚、聴覚、嗅覚、触覚、味覚等の刺激として監視員に伝える。
　環境変化取得処理ステップ409では、ステップ408までで得られた処理結果を使って、監視対象領域の環境変化を収集する。ここで、環境変化取得処理ステップ409の詳細について、図５～図１０を用いて説明する。  図５は、本発明の監視システムの画像処理の詳細手順の一実施例を説明するためのフローチャートである。また、図６は、入力画像の一例を示す図であり、撮像装置101が監視対象領域を撮像して得た画像である。また、図７、及び図８は、本発明の一実施例の監視システムによる処理の途中の結果の一実施例を説明するための図である。そして、図１０は、本発明の一実施例の監視システムによる処理の結果の一実施例を説明するための図である。  図５の環境変化取得処理ステップ409の詳細手順のフローチャートについて、図６の入力画像を例にして、その処理結果を、図７～図１０を参照して説明する。  図６は、監視対象領域（ある工場の出入門口付近）を撮像装置101で撮像して取得した入力画像600である。入力画像600には、建物（守衛所）601、歩道602、芝生604及び605、車道606、樹木607及び608、車両609が映っている。なお、車両609は、車道606を移動して、現在の位置に停車しているタクシーである。
　変化強度収集ステップ501は、環境変化抽出処理ステップ405で得られた環境変化画像から環境変化の度合いを収集するステップである。例えば、監視対象領域内において樹木の揺れや水面のゆらぎ等が発生したときに、二値化処理を行なうと、揺れのある画素がしきい値を超えた画素値の画素になる。その結果、二値化画像（環境変化画像）には、揺れのある画素が白画素（画素値が“２５５”である画素）として現れ、揺れの無い画素が黒画素（画素値が“０”である画素）として現れる。変化強度収集ステップ501では、この二値化画像の白画素を環境変化のある領域と判定し、白画素を１処理あたりの環境変化の変化量として取り扱う。  本ステップ501では、白画素の有無を判定するための二値化画像として、環境変化抽出処理ステップ405で得られた環境変化画像を使用し、最適二値化処理ステップ404で得られる二値化画像を用いない。  この理由は、最適二値化処理ステップ404で得られる二値化画像では、しきい値Ｔｈ_ｐｉｘが、画素毎に最適な値（局所しき値）となっているからである。例えば、環境変化の発生し易い樹木の領域では、局所しきい値Ｔｈ_ｐｉｘが他の領域よりも高い値に設定される。このため、樹木が風に揺れても検出されないようになっている。従って、最適二値化処理ステップ404で得られる二値化画像では、樹木が揺れた時に、白画素として現れる頻度が低下してしまい、正確な環境変化が収集できなくなるからである。
　従って、環境変化抽出処理ステップ405で得られた環境変化画像は、変化強度収集ステップ501で使用するために保持しておく。また、二値化画像から収集する環境変化の変化量を長時間蓄積するための変数（以下、環境強度変数KHとする）を予め準備しておく。環境強度変数KHは、二値化画像の各画素に対する値を保持する必要があるため、例えば、KH［640］［480］のような配列で準備しておくと処理を実行し易い。なお、ここで、［640］は、入力画像の横方向の画素数、［480］は入力画像の高さ方向の画素数である。  まず、二値化画像の全ての画素について白画素であるか判定を行なう。そして、白画素が存在した場合、この画素を環境変化のある画素と判定して、該当する画素に対応付けされた環境強度変数KH（例えば、KH［i］［j］）に１を加算することで環境変化の変化量を保持させる。この変化強度収集ステップ501を、同一の監視対象領域を撮像した画像であって、撮像時間が異なる複数の入力画像について繰り返し実行することによって、環境変化のある画素と無い画素は、環境強度変数KHの値の大小で判定することができる。  図７は、変化強度収集ステップ501において、環境強度変数KH［640］［480］を求め、それを画像として表示したものである。図７は、６５５３５フレームを使った投票画像（ＥＷ曇風）をＳＱＲＴした画像（σ平均値を使用）である。  図７のように、例えば常に樹木が揺れているなど連続的に環境変化のある画素では、毎フレーム１加算されることによって環境強度変数KHが非常に大きな値なる。逆に、曇天の道路（車道エリア701、歩道エリア702）など環境変化の殆どない画素では、長時間経過しても１加算されることが少ないため環境強度変数KHが限りなく０に近い値となる。  また、車609も、樹木の揺れと同様に、環境変化のある画像としてカウントされてしまい、車609の車影709が薄らと見えている。  一方、図８は、ステップ406までで判明している物体の領域内では、白画素をカウントしないようにした改良版で、ＥＷ日照変化曇りＰＴｃ６・ＴＯｂｊ（マージ付）を除いた二値化画像の累積（４０００フレーム）である。図８では、車609の車影は見えない。
　セグメンテーション情報収集ステップ502は、画像の特徴を用いて監視対象領域を分割するための情報を収集するステップである。セグメンテーション情報収集ステップ502では、例えば、入力画像を用いてソーベルフィルタやラプラシアンフィルタ等を使ってエッジ検出処理を実行する。そして、ステップ502では、得られたエッジ画像を用いて監視対象領域を分割するための情報（以下、この情報をエリア分割線と称する）を収集する。  エッジ画像は、例えば、二値化画像と同様に、しきい値を設けて白画素または黒画素で表した画像である。エッジ画像では、白画素をエッジ部分の画素としたときに、その情報を蓄積することでエリア分割線の信頼度を上げる。このため、変化強度収集ステップ501と同様に、エッジ画素を長時間蓄積するための変数（以下、セグメンテーション変数と称する）を予め準備しておく。  セグメンテーション変数も、エッジ画像の各画素に対する値を保持する必要があるため、例えば、SG［640］［480］のような配列で準備しておくと処理を実行し易い。  セグメンテーション情報収集ステップ502では、エッジ画像中の白画素をエッジ画素と判定して、該当する画素（エッジ画素）に対応付けされたセグメンテーション変数（例えば、SG［i］［j］）に１を加算することでエッジ位置を保持する。  このセグメンテーション情報収集ステップ502を、同一領域を撮像した画像であって、撮像時間が異なる複数の入力画像について繰り返し実行することによって、エッジの有無はセグメンテーション変数の値の大小で判定することができる。ここで、セグメンテーション変数を画像として表示した一例を、図９に示す。図９の画像900は、例えば、建物の輪郭など環境変化の下においても不変なエッジ画素では、毎フレーム１加算されることによってセグメンテーション変数が非常に大きな値なる。逆に、建物の影など日照変化等で発生する輪郭は一時的なものであるため、長時間で見ると加算された回数はそれ程多くなく、セグメンテーション変数上ではエッジ画素と判定されないレベルの値となる。
　次に、物体侵入エリア情報収集ステップ503は、物体存在判定ステップ407で得られた検出すべき物体の情報から物体の侵入する位置情報を収集するステップである。物体侵入エリア情報収集ステップ503では、検出すべき物体の位置（例えば、検出された物体の外接矩形の足元の座標）を物体侵入エリアとする場合に、その情報を蓄積することで情報の信頼度を上げる。このため、ステップ503では、変化強度収集ステップ501と同様に、検出すべき物体の範囲を長時間蓄積するための変数（以下、物体エリア変数とする）を予め準備しておく。  物体エリア変数も、物体の存在する位置を保持する必要があるため、例えば、OBJ［640］［480］のような配列で準備しておくと処理を実行し易い。検出すべき物体の位置を物体侵入エリアと判定して、該当する画素に対応付けされた物体エリア変数（例えば、OBJ［i］［j］）に１を加算することで物体の位置を保持する。  この物体侵入エリア収集ステップ503を、同一領域を撮像した画像であって、撮像時間が異なる複数の入力画像について繰り返し実行する。この結果、１つの物体が通行した経路が、軌跡のようなラインとして記録され、かつ、画像1000として表示可能となり、物体の存在するエリアであるか否かを物体エリア変数の値の大小で判定することができる（図１０参照。）。
　例えば、歩道など人が頻繁に通るエリアでは、物体が通行する都度加算される。これによって、このエリアの物体エリア変数は非常に大きな値なる。逆に、樹木の集合している場所など人の通行が殆どないエリアでは、長時間カウントしても加算される回数は少ないため、このようなエリアの物体エリア変数は０に近い値となり普段人が通過しないエリアであると判定できる。  また、人、車など種別毎にエリア情報を収集する場合は、種別毎に物体エリア変数を用意して、物体の種別に対する物体エリア変数に加算していく。
　次に、環境変化収集判定ステップ410では、パラメータ設定において十分な環境データが収集できたかを判定する。判定方法としては、例えば“プレ画像処理を開始してから２４時間以上経過したか”などと収集時間で指定するでも良いし、“環境変化取得処理ステップ409を百万回以上実行したか”などと実行回数を判定条件にしても良い。判定条件が達成された場合には、データが十分に集まったと判定してセグメンテーションステップ412に分岐し、未達である場合はデータ量が不足していると判定して背景更新ステップ411に分岐する。
　セグメンテーションステップ412は、環境変化取得処理ステップ409で収集された環境強度変数、セグメンテーション変数、物体エリア変数を用いて、環境変化の度合いからエリアをセグメンテーションし、また３つの変数より分割された各エリアの属性を決定するステップである。  セグメンテーションステップ412では、まず、セグメンテーション変数を用いて、監視対象領域のセグメンテーションを実行する。この時、セグメンテーション変数に対して任意のしきい値を設けて、しきい値以上のセグメンテーション変数の画素をエッジ位置に設定する。例えば、図９で得られたセグメンテーション変数の画像900を用いることにより、図１１の画像1100ように、いくつかのエリアに分割することができる。以降これらの分割されたエリアを、分割エリアと称する。また、図１１の画像1100をセグメント図と称して説明を行なう。
　次に、物体エリア情報を用いて、上記分割エリアに対して、物体が侵入するエリアか物体が侵入しないエリアかを判定する。例えば、上記分割エリアと、物体エリア変数を照合した時に、物体エリア変数がある一定数以上含まれている分割エリアを物体侵入エリア、それ以外の分割エリアを背景エリアと設定する。また例えば、物体エリア変数を画像1000として表示した図１０と、セグメント図である図１１の画像1100を重ね合わせると、図１２のような画像1200が得られる。なお、分割エリア毎に物体エリア変数の合計を算出して、合計値がある一定以上の値となる場合のみ物体侵入エリアとして設定するようにしても良い。  図１２の画像1200を用いて判定された分割エリアの結果によって色分けした例を図１３に示す。図１３の画像1300中で、車道エリア1301及び歩道エリア1302の２つの分割エリアは物体侵入エリア、芝生エリア1304、建物エリア1306、樹木エリア1307、1308の分割エリアは背景エリアを示す。
　次に、環境強度変数を用いて、分割エリア毎に動的背景エリアか静的背景エリアかを判定する。例えば、上記図１３の分割エリアと、環境強度変数を照合した時に、環境強度変数が所定の数以上含まれている分割エリアを動的背景エリアと設定する。例えば、図１３の分割エリアの結果と図８の環境強度変数を画像800として表示した図の例を重ね合わせると、図１４のような画像1400が得られる。なお、分割エリア毎に環境強度変数の合計を算出して、合計値がある一定以上の値となる分割エリアのみを動的背景エリアとして設定するようにしても良い。図１４を用いて判定された分割エリアの一例を図１５に示す。図１５の画像1500中で、芝生エリア1504、樹木エリア1507及び樹木エリア1508の分割エリアは動的背景エリア、車道エリア1501、歩道エリア1502及び建物エリア1506の分割エリアは静的背景エリアを示す。
　次に、図１３及び図１５のように各処理で得られた分割エリアの情報をまとめる。  物体侵入エリアと動的背景エリアを優先して、各分割エリアの属性を決定する。その結果、属性を区分した画像1600の一例を図１６に示す。本結果では分割エリアは３属性に分けられ、図１６では、車道1601及び歩道1602の分割エリアは物体侵入エリアとなり、歩道1604、樹木1607及び樹木1608の分割エリアは動的背景エリアとなり、建物1606の分割エリアは静的背景エリアとなる。
　パラメータ設定ステップ413は、セグメンテーションステップ412で得られた分割エリアとその属性を用いて、パラメータを設定するステップである。  例えば、属性が物体侵入エリアの分割エリアは自動的に物体を検知するべき“検知エリア”とし、属性が動体背景エリアの分割エリアは自動的に検知処理を実行しない“マスクエリア”として、パラメータを設定する。
　図１７は、パラメータを設定するためのソフトウェア（図示せず）に表示されたパラメータ設定用画像の一例である。このように表示した画像1700中には、“検知エリア”が白画素のエリア（車道1701のエリア、歩道1702のエリア）として自動的に表示され、“マスクエリア”が黒画素のエリア（芝生1704のエリア、建物エリア1706、樹木エリア1707、樹木エリア1708）として自動的に表示される。  これに対して、ユーザが、自動的に作成された各マスクに対して、検知の必要性に応じて“検知エリア”や“マスクエリア”の範囲を自由に変更できるようにしても良い。また、ユーザが、分割エリアの属性によって、画像処理の手法や物体検出手法を変更するようにしても良い。  例えば、物体侵入エリアと判定された分割エリアでは、検出すべき物体の見逃しが無いように、サイズや移動速度で即時判定できるような認識処理を行なうようなに画像処理の手法や物体検出手法としても良い。さらに、動的背景エリアと判定された分割エリアでは、誤検出が無いように、移動距離や移動範囲で十分に判定するような認識処理を行なうように画像処理の手法や物体検出手法としても良い。
　次に、環境変化取得処理ステップ409で収集された環境強度変数を用いて、各画素に対して最適なしきい値を設定する。ここで、設定するしきい値の初期値をＴｈ＝２０として説明する。また、環境変化取得処理ステップ409で収集された環境強度変数は、画素毎に算出した値をそのまま使用しても良いが、画素値の斑を考慮する場合、環境強度変数をメディアンフィルタや最大値フィルタなどのスムージング処理を行なうことによって、ある一定の範囲を同じ背景物として扱うなどの対策を行なっても良い。
　次に、しきい値の初期値Ｔｈに、環境変化取得処理ステップ409で作成した環境強度変数を用いて環境変化を考慮した重み付けをして、最適なしきい値Ｔｈ_ｐｉｘを算出する。算出される最適なしきい値Ｔｈ_ｐｉｘは、画素毎に最適なしきい値（局所しきい値）が算出される。  まず、環境強度変数からしきい値Ｔｈに重み付けする値を算出する。重み付けする値は、環境強度変数が大きく環境変化が頻繁に発生する画素に対しては大きな値に、環境強度変数が小さく環境変化が殆ど発生しない画素に対しては小さな値となる。また、重み付けする値を係数Kとして説明する。係数Kは、各画素に対応した値をそれぞれ保持する必要があるため、例えばK［640］［480］のような配列で準備しておくと処理を実行し易い。
　各画素に対して行なう係数Kの算出方法について説明する。例えば、予め、環境強度変数の値に対して係数Kを決定する数式、例えば環境強度変数が０の画素に対しては係数K＝０.３となり、255の場合は係数K＝５と算出するような数式を準備しておく。  この数式に基づいて、画素毎に係数Kを算出するようにしても良い。また、予め、全ての環境強度変数において高い値を持つ上位２０％の環境強度変数に対して係数K＝５、低い値を持つ下位５０％の環境強度変数に対して係数K＝０.３にするなどの条件を指定しておき、画素毎に係数Kを決定するような方法でも良い。これらの算出方法によって、各画素に対する係数Kの値が決定する。
　次に、重み付けの係数Kを用いたしきい値Ｔｈ_ｐｉｘの算出方法について説明する。しきい値Ｔｈ_ｐｉｘも係数Kと同様に各画素に対応した値をそれぞれ保持する必要がある。このため、例えば、Ｔｈ_ｐｉｘ［640］［480］のような配列で準備しておくと処理を実行し易い。しきい値Ｔｈ_ｐｉｘは、（式１）により求められる。  Ｔｈ_ｐｉｘ［i］［j］＝Ｔｈ×K［i］［j］・・・　（式１） 
従って、得られたしきい値Ｔｈ_ｐｉｘは各画素で値が異なり、例えば、木の揺れが発生する樹木の領域の画素はＴｈ_ｐｉｘ＝１００、一定量車が通過する道路の領域の画素はＴｈ_ｐｉｘ＝２０、人や車の侵入が全く無いアスファルト舗装された空地の領域の画素はＴｈ_ｐｉｘ＝６のようになる。なお、式（１）で得られたＴｈ_ｐｉｘは、分割されたエリア内でも任意の範囲毎に異なる値となる。このしきい値Ｔｈ_ｐｉｘを局所しきい値と称する。なお、任意の範囲には、１画素からなる範囲も含まれる。 
決定した局所しきい値Ｔｈ_ｐｉｘは、プレ画像処理終了後の画像処理のしきい値としてそのまま用いても良いし、また、画像処理でも同様に局所しきい値更新ステップを設けて局所しきい値Ｔｈ_ｐｉｘを更新し続けることで、最新情報を用いた局所しきい値を用いるようにしても良い。
　上述の実施例によれば、画像内で発生する環境変化を学習し、セグメントの属性に対応したしきい値をはじめ、種々の画像処理に用いるパラメータを自動的に設定することによって、ユーザによるパラメータ設定を簡略化し、また、精度良く物体の検出が行なうことが可能となる。
　撮像装置により撮像された画像を処理し、監視装置によって監視情報を収集して物体検出を行う監視システム全般に利用可能である。
　101：撮像装置、　102：監視装置、　103：画像入力Ｉ／Ｆ、　104：ＣＰＵ、　105：プログラムメモリ、　106：画像メモリ、　107：ワークメモリ、　108：画像出力Ｉ／Ｆ、　109：表示装置、　110：データバス、　111：映像記録装置、　201～204：画像、　205：差分器、　206：二値化器、　207：物体、　208：領域、　209：画像、　600、700、800、900、1000、1100、1200、1300、1400、1500、1600、1700：画像、　601：車道、　602：歩道、　604：芝生、　606：建物、　607、608：樹木、　609：車両、　709：車影、
　701、801、901、1101、1201、1301、1401、1501、1601、1701：車道エリア、　702、802、902、1102、1202、1302、1402、1502、1602、1702：歩道エリア、　704、804、904、1104、1204、1304、1404、1504、1604、1704：芝生エリア、　706、806、906、1106、1206、1306、1406、1506、1606、1706：建物エリア、　707、807、907、1107、1207、1307、1407、1507、1607、1707、708、808、908、1108、1208、1308、1408、1508、1608、1708：樹木エリア、　909、1709：車両エリア。

Claims (5)

  1. 　監視対象領域の画像を撮像する撮像装置と、前記撮像された画像を処理し前記監視対象領域内の監視情報を収集する監視装置と、前記撮像された画像あるいは前記監視情報の少なくとも１つを表示する表示装置を有した監視システムにおいて、前記監視装置は、前記撮像された画像の任意の範囲毎に最適なパラメータを自動的に設定するパラメータ設定手段を備え、前記自動的に設定されたパラメータを使用して物体検出を行なうことを特徴とする監視システム。
  2. 　請求項１記載の監視システムにおいて、設定するパラメータを取得するために必要な情報を収集し、前記パラメータ設定手段で設定するパラメータを決定するための画像処理を実行するプレ画像処理手段を備えたことを特徴とする監視システム。
  3. 　請求項１記載の監視システムにおいて、前記パラメータ設定手段は、環境変化の度合いを収集し、環境変化の状況を表す２つ以上の情報を収集する環境変化取得手段と、前記監視対象領域を複数のエリアに分割するセグメンテーション手段を有し、前記分割されたエリアに対して前記環境変化の度合いから判定された属性を付加することを特徴とする監視システム。
  4. 　請求項３記載の監視システムにおいて、前記パラメータ設定手段は、前記セグメンテーション手段で分割されたエリアの属性に最適なパラメータや物体検出手法を設定することを特徴とする監視システム。
  5. 　請求項３乃至４記載のいずれかに記載の監視システムにおいて、前記パラメータ設定手段は、前記環境変化取得手段で得られた情報より、任意の範囲毎の局所しきい値を算出することを特徴とする監視システム。
PCT/JP2013/054528 2012-03-06 2013-02-22 監視システム WO2013133045A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012049641A JP2013187640A (ja) 2012-03-06 2012-03-06 監視システム
JP2012-049641 2012-03-06

Publications (1)

Publication Number Publication Date
WO2013133045A1 true WO2013133045A1 (ja) 2013-09-12

Family

ID=49116527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/054528 WO2013133045A1 (ja) 2012-03-06 2013-02-22 監視システム

Country Status (2)

Country Link
JP (1) JP2013187640A (ja)
WO (1) WO2013133045A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6469975B2 (ja) * 2014-06-27 2019-02-13 株式会社 日立産業制御ソリューションズ 映像監視装置、映像監視システムおよび映像監視方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056406A (ja) * 2003-07-24 2005-03-03 Victor Co Of Japan Ltd 画像の動き検出装置及びコンピュータプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056406A (ja) * 2003-07-24 2005-03-03 Victor Co Of Japan Ltd 画像の動き検出装置及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2013187640A (ja) 2013-09-19

Similar Documents

Publication Publication Date Title
US10070053B2 (en) Method and camera for determining an image adjustment parameter
US6985172B1 (en) Model-based incident detection system with motion classification
KR101884611B1 (ko) 이동객체의 메타데이터 필터링을 이용한 cctv 영상의 관심객체 추출 방법
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN104866842B (zh) 一种人体目标入侵检测方法
WO2014002534A1 (ja) 対象物認識装置
KR101515166B1 (ko) 객체인식 기반의 주차장 이벤트 검지 시스템
WO2014083070A2 (en) Systems and methods to classify moving airplanes in airports
CN111932596B (zh) 摄像头遮挡区域的检测方法、装置、设备和存储介质
KR20090043416A (ko) 카메라 이동 영향을 검출하고 억제하는 감시 카메라 장치및 그 제어 방법
JP2015090679A (ja) 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム
CN112070053B (zh) 背景图像的自更新方法、装置、设备及存储介质
KR101196678B1 (ko) 실시간 화재 감시 장치 및 방법
KR101785017B1 (ko) 모니터링 카메라
KR101454644B1 (ko) 보행자 추적기를 이용한 서성거림을 탐지하는 방법
JP4990030B2 (ja) 移動物体検知装置
JP5679760B2 (ja) 侵入物体検出装置
KR101840042B1 (ko) 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템
JP4789223B2 (ja) 侵入者監視システム
WO2013133045A1 (ja) 監視システム
JP5710230B2 (ja) 監視システムおよび監視方法
WO2018110377A1 (ja) 映像監視装置
JP6124739B2 (ja) 画像センサ
JP3905774B2 (ja) パターン推定方法、パターン推定装置、パターン推定方法のプログラムおよびこのプログラムを記録した記録媒体
JP3736836B2 (ja) 物体検出方法及び物体検出装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13758694

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13758694

Country of ref document: EP

Kind code of ref document: A1