WO2019176826A1 - 領域判定装置、監視システム、領域判定方法、及び、記録媒体 - Google Patents
領域判定装置、監視システム、領域判定方法、及び、記録媒体 Download PDFInfo
- Publication number
- WO2019176826A1 WO2019176826A1 PCT/JP2019/009576 JP2019009576W WO2019176826A1 WO 2019176826 A1 WO2019176826 A1 WO 2019176826A1 JP 2019009576 W JP2019009576 W JP 2019009576W WO 2019176826 A1 WO2019176826 A1 WO 2019176826A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- determination
- area
- region
- water
- likelihood
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 18
- 238000012544 monitoring process Methods 0.000 title description 68
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 292
- 238000005259 measurement Methods 0.000 claims description 77
- 238000001514 detection method Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 25
- 230000000694 effects Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 238000011156 evaluation Methods 0.000 description 13
- 230000010365 information processing Effects 0.000 description 9
- 238000012790 confirmation Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C13/00—Surveying specially adapted to open water, e.g. sea, lake, river or canal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
- G01F23/00—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
- G01F23/22—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water
- G01F23/28—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water by measuring the variations of parameters of electromagnetic or acoustic waves applied directly to the liquid or fluent solid material
- G01F23/284—Electromagnetic waves
- G01F23/292—Light, e.g. infrared or ultraviolet
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/10—Alarms for ensuring the safety of persons responsive to calamitous events, e.g. tornados or earthquakes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Definitions
- the present invention relates to image processing, and more particularly to an area determination device for determining an area in an image.
- River offices that monitor river water levels use surveillance cameras to monitor river water levels. And the staff (monitor) of the river office confirms the dangerous water level etc. based on the image of the surveillance camera.
- a general monitoring system display is performed while switching images from a monitoring camera at predetermined intervals.
- the switching interval is several seconds to several tens of seconds.
- the monitor confirms images that are switched at a predetermined interval on the display monitor.
- images from the monitoring cameras assigned to the respective display monitors are displayed on the respective display monitors while being switched at a predetermined interval.
- the image of the surveillance camera is repeatedly displayed on the display monitor. Therefore, even if the monitor overlooks the initial display, the monitor can detect a danger or the like in the displayed image. However, in this case, the possibility of occurrence of a detection time delay is assumed.
- Patent Documents 1 and 2 are used. reference).
- the water level measurement device described in Patent Document 1 cuts out a predetermined monitoring area as an identification image in the image of the monitoring camera, and identifies the water area and the non-water area in the cut out image to calculate the water level.
- the water level measurement device described in Patent Document 2 detects the inclination of the amount water plate in the image, corrects the water surface of the image using the detected inclination, and based on the amount water plate and the water level in the corrected image Measure.
- monitoring area In both cases of supervisor monitoring and computer monitoring, using an appropriate monitoring area leads to improved monitoring accuracy. For example, if an area with high visibility for the supervisor is used as the monitoring area, the possibility of oversight of the supervisor can be reduced. Using an area with high visibility is particularly effective when confirming an image that switches at a short interval.
- the water level measuring device described in Patent Document 1 determines the water level in the set monitoring area.
- Patent Document 1 does not disclose information for setting an appropriate monitoring area. That is, the water level measuring device described in Patent Literature 1 has a problem that it cannot be determined whether or not the set area is appropriate. For example, when the water level measuring device described in Patent Document 1 is used, it is necessary for the monitor to determine the appropriateness of the area to be set based on information relating to flooding that has occurred in advance in setting the monitoring area. For this reason, trial and error by the supervisor was necessary.
- the water level measurement device described in Patent Document 2 requires a reference object such as a water level plate in a monitoring image. For this reason, the water level measurement device described in Patent Document 2 has a problem in that the image of the applicable monitoring camera is limited to an image including an object serving as a predetermined reference. Moreover, the water level measuring device described in Patent Document 2 does not determine the region itself. That is, the water level measuring device described in Patent Document 2 has a problem that it cannot be determined whether or not the set area is appropriate.
- An object of the present invention is to solve the above-described problems and provide an area determination device that determines an area without using a reference object.
- An area determination apparatus includes: a likelihood calculation unit that calculates a likelihood of pixel wateriness in an image including a plurality of frames; and a determination area that is a determination target in each frame.
- Non-water pixel measuring means for measuring the number of non-water pixels whose likelihood falls within one non-water range, and the likelihood enters the first water range in any one of the determination areas, and in any of the determination areas Whether the determination area satisfies a predetermined determination condition based on the boundary pixel measuring means for measuring the number of boundary pixels that has a likelihood in the second non-water range and the number of non-water pixels and the number of boundary pixels
- Region determining means for determining whether or not.
- a monitoring system determines whether to use a determination region in an image for alarm determination based on a monitoring camera that captures an image, the above-described region determination device, and a result determined by the region determination device.
- An alarm device determine.
- the region determination method calculates a likelihood of pixel wateriness in an image including a plurality of frames, and the first non-water range in any of the determination regions that are targets of determination in each frame.
- the number of non-water pixels in which the likelihood falls is measured, the likelihood enters the first water range in any of the determination regions, and the likelihood enters the second non-water range in any of the determination regions.
- the number of boundary pixels is measured, and based on the number of non-water pixels and the number of boundary pixels, it is determined whether or not the determination region satisfies a predetermined determination condition.
- the recording medium includes a first non-water in any one of a process of calculating a likelihood of pixel wateriness in an image including a plurality of frames and a determination region that is a determination target in each frame.
- a process for measuring the number of boundary pixels and a process for determining whether or not the determination region satisfies a predetermined determination condition based on the number of non-water pixels and the number of boundary pixels are stored in the computer. Record the program to be executed.
- FIG. 1 is a block diagram illustrating an example of the configuration of the area determination device according to the first embodiment.
- FIG. 2 is a flowchart showing an example of the operation of the area determination device according to the first embodiment.
- FIG. 3 is a block diagram illustrating an example of the configuration of the area determination device according to the second embodiment.
- FIG. 4 is a flowchart showing an example of the operation of the area determination device according to the second embodiment.
- FIG. 5 is a block diagram illustrating an example of the configuration of the area determination device according to the third embodiment.
- FIG. 6 is a block diagram illustrating an example of a configuration of an area determination device according to the fourth embodiment.
- FIG. 7 is a block diagram illustrating an example of a configuration of an area determination device including an additional area determination unit.
- FIG. 1 is a block diagram illustrating an example of the configuration of the area determination device according to the first embodiment.
- FIG. 2 is a flowchart showing an example of the operation of the area determination device according to the first embodiment.
- FIG. 8 is a block diagram illustrating an example of a configuration of an area determination device that is an example of an overview of an embodiment of the present invention.
- FIG. 9 is a block diagram illustrating a configuration of an information processing apparatus that is an example of a hardware configuration of the area determination apparatus.
- FIG. 10 is a block diagram illustrating an example of a monitoring system including an area determination device.
- FIG. 11 is a block diagram illustrating an example of an overview of the monitoring system.
- the “image” to be processed includes a plurality of still images (hereinafter referred to as “frames”) taken at a predetermined interval.
- the image is a moving image obtained by photographing the monitoring target at a predetermined interval (for example, every one second).
- An example of a specific image to be processed is a moving image of a river taken by a monitoring camera provided to monitor the increase in river water.
- the frame interval is not limited to a fixed value, and may take a plurality of values, or may change with time or season.
- the plurality of frames included in the image may be frames that are taken when the external environment is different such as in time, season, or weather.
- each embodiment can reduce the influence of disturbance.
- “Disturbance” refers to fluctuations in illumination light (sunshine or streetlight), object shadows, water surface conditions (eg, wavefront), seasonal changes, or vegetation effects.
- “Likelihood” is “likelihood of wateriness (hereinafter referred to as“ water likelihood ”)” in each pixel.
- the likelihood used by each embodiment is not limited to this. For example, when the value of “water likelihood” is subtracted from 1, the likelihood of non-wateriness (hereinafter referred to as “non-water likelihood”) is obtained.
- the determination for water likelihood may be read as the determination for non-water likelihood. For example, the condition “more than a predetermined threshold value for water likelihood” is a condition “less than a predetermined threshold value for non-water likelihood”.
- Non-water pixels are pixels that are considered non-water pixels based on likelihood.
- a non-water pixel is a pixel with a low water likelihood (a pixel with a high non-water likelihood).
- the non-water pixel is a predetermined non-wateriness range (hereinafter, “first non-water range”) in a predetermined number of frames (hereinafter referred to as “first frame number”) or more.
- first non-water range a predetermined non-wateriness range
- first frame number a predetermined number of frames
- first threshold a predetermined threshold at the first frame number or more.
- the non-water pixels when the image includes 100 frames, the non-water pixels have a water likelihood of less than 0.1 in 90 frames or more.
- the first number of frames is not limited.
- the non-water pixel may have a likelihood within the first non-water range in any frame.
- a “boundary pixel” is a pixel that is regarded as a pixel that changes from water to non-water based on likelihood, such as a pixel at the boundary between water and non-water (for example, a water level or a water surface).
- the boundary pixel is a pixel having a certain amount of a frame with a high water likelihood and a frame with a low water likelihood (a high non-water likelihood).
- the boundary pixel is defined as a predetermined wateriness range (hereinafter referred to as “first water range”) in a predetermined number of frames (hereinafter referred to as “second frame number”) or more. It is a pixel that has a likelihood.
- the boundary pixel has a likelihood within a predetermined non-wateriness range (hereinafter referred to as “second non-water range”) in a frame equal to or greater than a predetermined number (hereinafter referred to as “third frame number”).
- second non-water range a predetermined non-wateriness range
- third frame number a predetermined number
- the boundary pixel has a water likelihood greater than or equal to a predetermined threshold (hereinafter referred to as “second threshold”) at a second frame number or more, and has a water likelihood at a third frame number or more.
- Less than the threshold value hereinafter referred to as “third threshold value”.
- the boundary pixels have a water likelihood of 0.9 or more in 40 frames or more, and the water likelihood is less than 0.1 in another 40 frames or more.
- the second frame number and the third frame number are not limited.
- the boundary pixel may have a likelihood in the first water range in any frame and a likelihood in the second non-water range in any frame.
- Water pixel is a pixel that is regarded as a pixel of water based on likelihood.
- the water pixel is a pixel having a high water likelihood (a low non-water likelihood).
- the number of water pixels is equal to a predetermined wateriness range (hereinafter referred to as “second water range”) in a predetermined number of frames (hereinafter referred to as “fourth frame number”) or more. This is a pixel with a degree.
- the water likelihood of the water pixel is equal to or greater than a predetermined threshold (hereinafter referred to as “fourth threshold”) in the fourth frame number or more.
- the image includes 100 frames
- the water pixel has a water likelihood of 0.9 or more in 90 frames or more.
- the number of fourth frames is not limited. The water pixel only needs to fall within the second water range in any frame.
- the number of frames (first to fourth frames) used for determining “water pixels”, “non-water pixels”, and “boundary pixels” may be the same, or some or all of them may be different.
- the “first non-water range” may be the same as or different from the “second non-water range”.
- the “first water range” may be the same as or different from the “second water range”.
- the first to fourth threshold values may be the same or may be partially or completely different.
- Water pixels “non-water pixels” and “boundary pixels” are not limited to the above.
- each pixel may be determined using a value calculated from the likelihood in a plurality of frames (for example, an average value of likelihood). For example, when the image includes 100 frames, the water pixel may be a pixel whose number of groups having an average likelihood value of 0.9 or more in groups every 10 frames from the beginning is 9 or more.
- the first to fourth frame numbers and the first to fourth thresholds are: In each embodiment, it is a preset value. Alternatively, these values may be acquired when each embodiment acquires an image or the like.
- the threshold value (or range) used for the determination of “water pixel”, “non-water pixel” and / or “boundary pixel” may be set based on the image.
- the threshold value may be a value calculated based on the average value and standard deviation of the likelihood of the entire image or the entire predetermined region, respectively.
- the threshold (or range) may be set for each frame.
- the threshold value may be a value calculated based on the average value and the standard deviation of the likelihood in the pixels for each frame.
- the area determination device 11 determines whether an area designated as a determination target in an image (hereinafter referred to as “determination area”) satisfies a predetermined condition (hereinafter referred to as “determination condition”). .
- the region determination device 11 acquires an image to be processed, a determination region, and a determination condition from an external device (not shown). Alternatively, the area determination device 11 may operate using an image, a determination area, and a determination condition that are stored in advance in a storage unit (not illustrated).
- Judgment conditions are not limited.
- the determination condition may be determined according to the purpose of using the determination area. For example, in the case where the determination area is an area used for monitoring the water level at the time of water increase, the determination area is “an area including a water area, a non-water area, and a boundary area including a predetermined area or more”. It is desirable. Therefore, an example of the determination condition in this case is “the determination region includes a water pixel, a non-water pixel, and a boundary pixel that are equal to or more than the values specified for each”.
- the determination condition is not limited to one condition, and may include a plurality of conditions.
- the region used for determining the water level includes “a region including a water region, a non-water region, and a boundary region having a predetermined area or more” and “a water region and a non-water region”. It is desirable that the distinction is clear. Therefore, for example, the determination condition in this case may include the following two conditions.
- Condition 1 The number of water pixels, the number of non-water pixels, and the number of boundary pixels are equal to or more than the number set for each.
- Condition 2 The absolute value of the difference between the average value of the likelihood of water pixels and the average value of the likelihood of non-water pixels is greater than or equal to a predetermined threshold value.
- the shape and size of the judgment area are not limited.
- the shape of the determination area may be, for example, a triangle, a quadrangle, a polygon, a circle, or an ellipse.
- the shape of the determination region is not limited to a convex shape such as a regular polygon, and may be a concave shape.
- the determination area may be a combination of the above shapes.
- FIG. 1 is a block diagram showing an example of the configuration of the area determination device 11 according to the first embodiment.
- the region determination device 11 includes a likelihood calculation unit 110, a water pixel measurement unit 120, a non-water pixel measurement unit 130, a boundary pixel measurement unit 140, and a region determination unit 150.
- the likelihood calculation unit 110 calculates the water likelihood for each pixel.
- the likelihood calculation unit 110 may calculate a non-water likelihood for each pixel.
- the likelihood is assumed to be water likelihood as an example. That is, in the case of the most watery pixel, the likelihood of the pixel is “1”. On the other hand, in the case of the pixel that is not most likely to be water (the pixel that is most likely to be non-water), the pixel likelihood is “0”. The likelihood of other pixels is a value between 0 and 1.
- the method used by the likelihood calculation unit 110 to calculate the likelihood is not limited. An example of a method used for calculating the likelihood will be described.
- Deep Learning Base Likelihood Calculation Unit 110 uses a semantic segmentation to input a river image (an image including a pixel of water and a pixel of water) in advance, and a water likelihood (or non-water likelihood). A neural network that learns the calculation of the degree is constructed. And the likelihood calculation part 110 calculates the water likelihood (or non-water likelihood) with respect to each pixel of the frame of determination object using the neural network after learning.
- the likelihood calculation unit 110 uses a feature amount related to a color or an edge from an image set of an image area that includes only water pixels and an image set of an image area that includes only non-water pixels. To extract.
- the likelihood calculation unit 110 may use a general method (for example, a Hue Saturation Brightness histogram or an edge histogram) as a feature amount extraction method. Then, the likelihood calculation unit 110 learns a support vector machine that identifies water and non-water so as to realize two-class classification (classification of water and non-water) using the extracted feature amount. Then, the likelihood calculating unit 110 calculates the water likelihood (or non-water likelihood) based on the pixel identification result using the support vector machine after learning.
- a general method for example, a Hue Saturation Brightness histogram or an edge histogram
- the unit for calculating the likelihood is not limited to pixels.
- the likelihood calculating unit 110 may calculate the likelihood for a predetermined pixel range.
- the likelihood calculating unit 110 may perform image correction on the image before calculating the likelihood in order to improve the calculation accuracy of the water likelihood (or non-water likelihood).
- Image correction is not limited.
- the image correction is correction that makes an unclear image clear.
- the likelihood calculation unit 110 uses correction (dehaze) to sharpen an image whose sharpness has decreased due to the influence of nighttime or haze, or correction (noise reduction) to remove noise. Also good.
- the likelihood calculating unit 110 may calculate the likelihood for all the pixels included in the image. Or the likelihood calculation part 110 may calculate likelihood with respect to the pixel of a determination area
- the water pixel measuring unit 120 measures the number of water pixels included in the determination area.
- the non-water pixel measurement unit 130 measures the number of non-water pixels included in the determination area.
- the boundary pixel measurement unit 140 measures the number of boundary pixels included in the determination area.
- the water pixel measurement unit 120, the non-water pixel measurement unit 130, and the boundary pixel measurement unit 140 may operate sequentially. At that time, the order of operations of the water pixel measurement unit 120, the non-water pixel measurement unit 130, and the boundary pixel measurement unit 140 is not limited. The water pixel measurement unit 120, the non-water pixel measurement unit 130, and the boundary pixel measurement unit 140 may start operation from any of them. Alternatively, the water pixel measurement unit 120, the non-water pixel measurement unit 130, and the boundary pixel measurement unit 140 may simultaneously perform at least a part of operations in parallel.
- one configuration may perform measurement of any two or more of the water pixel measurement unit 120, the non-water pixel measurement unit 130, and the boundary pixel measurement unit 140.
- the pixel measurement unit 210 indicated by a broken line in FIG. 1 is an example of a configuration that measures the number of water pixels, the number of non-water pixels, and the number of boundary pixels as one configuration.
- each measurement unit acquires the likelihood calculated for the pixel. That is, the likelihood calculated for the pixel is read out three times.
- the pixel measuring unit 210 may read the likelihood calculated for the pixel once. In this case, the likelihood calculated for the pixel is read once.
- the region determination device 11 reduces the number of times of likelihood reading processing. it can.
- the region determination unit 150 determines whether or not the determination region satisfies the determination condition based on the number of water pixels, the number of non-water pixels, and the number of boundary pixels.
- the area determination unit 150 outputs a determination result.
- the region determination unit 150 may transmit the determination result to a device that specifies the determination region.
- the region determination unit 150 may use a predetermined model for region determination.
- the region for determining the danger in water increase should just be able to determine the increase (water increase) from a normal water level.
- the region for determining the danger of water increase may include a boundary region between water and non-water (boundary pixel region) and a non-water region (non-water pixel region).
- the region determination device 11 uses such a region, the region determination device 11 may not include the water pixel measurement unit 120. In this case, the region determination unit 150 determines whether or not the determination region satisfies the determination condition based on the number of non-water pixels and the number of boundary pixels.
- the determination in the area determination device 11 is not limited to the determination using pixels (images at the same position of the same angle of view) in images obtained by photographing the same position.
- the area determination device 11 may determine the determination area using images with different angles of view including the same subject.
- the images with different angles of view may be one image taken at a different angle of view, or a plurality of images taken at different angles of view.
- the area determination device 11 detects a subject that is included in all frames and does not move.
- the area determination device 11 performs matching between frames based on the subject. For example, the region determination device 11 calculates a conversion rule for pixel positions between frames.
- the area determination device 11 determines the position of the determination area in each frame based on the matching result. For example, the region determination device 11 determines the position of the determination region in the other frame and the corresponding pixel based on the position of the determination region specified in a certain frame and the conversion rule. Then, the area determination device 11 may perform the determination using the pixels in the determination area in each frame.
- FIG. 2 is a flowchart showing an example of the operation of the area determination device 11 according to the first embodiment.
- the likelihood calculating unit 110 calculates the likelihood of all the pixels in the entire image or the determination region (step S402).
- the water pixel measurement unit 120 measures the number of water pixels in the determination area (step S403).
- the non-water pixel measurement unit 130 measures the number of non-water pixels in the determination area (step S404).
- the boundary pixel measurement unit 140 measures the number of boundary pixels in the determination area (step S405).
- the water pixel measurement unit 120, the non-water pixel measurement unit 130, and the boundary pixel measurement unit 140 may operate sequentially. Alternatively, the water pixel measurement unit 120, the non-water pixel measurement unit 130, and the boundary pixel measurement unit 140 may perform at least some of the operations in parallel. The order of operations of the water pixel measurement unit 120, the non-water pixel measurement unit 130, and the boundary pixel measurement unit 140 may be switched.
- the area determination unit 150 determines whether the determination area satisfies the determination condition based on the measurement result (step S406).
- the area determination unit 150 outputs a determination result to a predetermined device or the like.
- the region determination device 11 can produce an effect of determining a region without requiring a reference object.
- the region determination device 11 includes a likelihood calculation unit 110, a non-aqueous pixel measurement unit 130, a boundary pixel measurement unit 140, and a region determination unit 150.
- the likelihood calculation unit 110 calculates the likelihood of pixel wateriness in an image including a plurality of frames.
- the non-water pixel measurement unit 130 measures the number of non-water pixels that have a likelihood within the first non-water range in any of the determination regions that are targets of determination in each frame.
- the boundary pixel measurement unit 140 measures the number of boundary pixels in which the likelihood enters the first water range in any of the determination regions and the likelihood enters the second non-water range in any of the determination regions. To do.
- the area determination unit 150 determines whether the determination area satisfies a predetermined determination condition based on the number of non-water pixels and the number of boundary pixels.
- the region for determining the water level needs to include at least a water surface region (a region serving as a boundary between water and non-water) and a region where the water level increases (non-water region).
- the area determination device 11 determines whether or not the determination area satisfies the determination condition as follows.
- the likelihood calculating unit 110 calculates the likelihood (for example, water likelihood) of the pixels of the image.
- the non-water pixel measurement unit 130 measures the number of non-water pixels in the determination region based on the calculated likelihood.
- the boundary pixel measurement unit 140 measures the number of boundary pixels in the determination region.
- the region determination unit 150 determines whether or not the number of non-water pixels and the number of boundary pixels satisfy the determination condition in the determination region. For example, the region determination unit 150 determines whether or not the determination region includes a predetermined number or more of non-water pixels and boundary pixels.
- the region determination device 11 determines a region using the likelihood of the pixel. Specifically, the region determination device 11 calculates the number of non-water pixels and the number of boundary pixels based on the likelihood, and the determination region determines the determination condition using the number of non-water pixels and the number of boundary pixels. It is judged whether or not it is satisfied. In this determination, the region determination device 11 does not need an object serving as a reference in the region. In this way, the area determination device 11 can determine the determination area without requiring a reference object.
- the area determination device 11 includes a water pixel measurement unit 120.
- non-water areas are where objects are placed or removed. Also, non-water areas grow and die with plants. The non-water region has a larger range of change than the water region. In other words, the likelihood of water pixels is more stable than the likelihood of non-water pixels.
- the region determination unit 150 of the region determination device 11 can determine the region more stably by using the number of water pixels measured by the water pixel measurement unit 120.
- the area determination device 11 determines an area given by a supervisor or the like.
- the supervisor selects a determination region and transmits it to the region determination device 11, and based on the determination result from the region determination device 11, the determination region has a desired condition (determination condition). You can know whether you are satisfied. However, if the designated determination area does not satisfy the determination condition, the supervisor needs to search for another determination area.
- a determination area that satisfies the condition (determination condition) desired by the monitor can be provided to the monitor, convenience for the monitor is improved.
- the region determination device 12 acquires an image to be processed, a predetermined rule for setting a region (hereinafter referred to as “setting rule”), and a determination condition from an external device (not shown). To do.
- the region determination device 12 may operate using an image, a setting rule, and a determination condition that are stored in advance in a storage unit (not illustrated).
- the area determination device 12 sets a determination area in the image based on the setting rule, and determines whether or not the set determination area satisfies the determination condition. When the set determination area does not satisfy the determination condition, the area determination device 12 sets another determination area using the setting rule. The area determination device 12 repeats the same operation until the set determination area satisfies the determination condition. When the set determination area satisfies the determination condition, the area determination device 12 outputs the determination area.
- the setting rules are not limited.
- the setting rule is the shape and size of the determination area.
- the setting rule may include a predetermined rule (hereinafter referred to as “change rule”) regarding the change of the determination area.
- the change rules are not limited.
- the change rule is an increase amount of the size (for example, width and height) of the determination region and / or a movement amount for moving the determination region.
- the setting rule may include a condition (hereinafter referred to as “setting condition”) that satisfies the set determination area.
- setting condition is a change amount of the luminance of the pixel in the determination region or the length of the edge included in the determination region.
- the area determination device 12 sets a plurality of determination areas based on a setting rule including a change rule, and uses one or a plurality of determination areas satisfying a determination condition from among the plurality of determination areas using a determination result for each determination area May be selected, and the selected determination area may be output.
- FIG. 3 is a block diagram showing an example of the configuration of the area determination device 12 according to the second embodiment.
- the region determination device 12 includes a region determination unit 151 instead of the region determination unit 150 as compared with the configuration of the region determination device 11 according to the first embodiment. Furthermore, the region determination device 12 includes a region setting unit 160. A detailed description of the same configuration as that of the first embodiment will be omitted as appropriate, and a configuration unique to the area determination device 12 according to the second embodiment will be described.
- the area setting unit 160 sets the determination area based on the setting rule. Then, the region setting unit 160 notifies the determination region set based on the setting rule to the water pixel measurement unit 120, the non-water pixel measurement unit 130, the boundary pixel measurement unit 140, and the region determination unit 151.
- the method of setting the determination area in the area setting unit 160 is not limited.
- the area setting unit 160 sets the determination area as follows.
- the area setting unit 160 acquires the shape of the determination area (for example, the height and width of a square) as a setting rule. Then, the area setting unit 160 randomly selects a position in the image. The area setting unit 160 sets a determination area at the selected position.
- the area setting unit 160 sets the determination area as follows.
- the region setting unit 160 sets, as setting rules, the shape of the determination region (for example, the height and width of a rectangle) and the setting condition (for example, the lower limit of the luminance width of the pixel in the determination region or the lower limit of the edge length in the determination region). To get. Then, the area setting unit 160 randomly selects a position in the image. The area setting unit 160 sets a determination area at the selected position, and determines whether or not the determination area satisfies the setting condition. When the set determination area does not satisfy the setting condition, the area setting unit 160 randomly selects the next position and repeats the same operation. When the set determination area satisfies the setting condition, the area setting unit 160 sets the determination area at the position.
- the shape of the determination region for example, the height and width of a rectangle
- the setting condition for example, the lower limit of the luminance width of the pixel in the determination region or the lower limit of the edge length in the determination region.
- the area setting unit 160 sets the determination area as follows.
- the area setting unit 160 determines the size of the determination area (for example, the height and width of a quadrangle), the rule for changing the determination area (for example, the amount of increase and the upper limit of the height and width), and the setting condition (for example, within the area). The lower limit of the luminance width). Then, the area setting unit 160 randomly selects a position in the image. The area setting unit 160 sets a determination area having the acquired size at the selected position, and determines whether or not the determination area satisfies the setting condition. When the set determination area does not satisfy the setting condition, the area setting unit 160 changes the determination area using the change rule, and determines whether or not the set determination area satisfies the setting condition.
- the area setting unit 160 changes the determination area using the change rule, and determines whether or not the set determination area satisfies the setting condition.
- the area setting unit 160 repeats the same operation while changing the determination area in accordance with the change rule. If the set determination area does not satisfy the setting condition even when all changes according to the change rule are applied, the area setting unit 160 randomly selects the next position and repeats the same operation. When the set determination region satisfies the setting condition, the region setting unit 160 notifies each component of the determination region at that time.
- the area setting unit 160 sets the use order of the plurality of change contents. It is not limited. For example, when the change rule includes an increase amount and a movement amount related to the size, the region setting unit 160 first changes the size of the determination region at each position, and the determination region of any size satisfies the determination condition. If not, the position of the determination area may be changed. Alternatively, the region setting unit 160 may first change the position of the determination region, and change the size of the determination region when the determination region at any position does not satisfy the determination condition.
- the area setting unit 160 is not limited to one, and may set a plurality of determination areas at once.
- the area setting unit 160 may set a plurality of determination areas based on the change rule.
- the image and the determination area are rectangular. Then, it is assumed that the area setting unit 160 acquires “the size of the determination area” and “move 1 pixel (as a change rule)” as the setting rules. In this case, the area setting unit 160 may set a plurality of determination areas as follows.
- the region setting unit 160 first sets a determination region having the above size at the uppermost end of the leftmost end of the image. Next, the area setting unit 160 sets a determination area at a position moved by one pixel in the right direction. The region setting unit 160 sets the determination region while moving one pixel at a time until the right end is reached. When the determination area reaches the right end, the area setting unit 160 sets the determination area at a position moved by one pixel downward at the left end. Similarly, the region setting unit 160 sets a determination region that is moved by one pixel from the left end to the right end. Thereafter, the area setting unit 160 repeats the same operation up to the rightmost determination area at the lowermost end and sets the determination area.
- the area setting unit 160 sets the most overlapping determination area.
- the area setting unit 160 moves the determination area by using the horizontal movement amount equal to or larger than the width of the determination area and the vertical movement amount equal to or higher than the determination area, the area setting unit 160 overlaps the determination area. Set a judgment area that has no.
- the region determination unit 151 determines the determination region based on the number of water pixels, the number of non-water pixels, and the number of boundary pixels. Furthermore, the region determination unit 151 outputs a determination region that satisfies the determination condition. For example, the region determination unit 151 outputs the determination region to a device (not shown) (for example, a device that has sent setting rules and determination conditions). Alternatively, the area determination unit 151 may display the determination area on a display device (not shown).
- the area determination device 12 may process the determination areas one by one. An example of the operation in this case will be described.
- the area setting unit 160 sets one determination area based on the setting rule.
- the water pixel measurement unit 120, the non-water pixel measurement unit 130, and the boundary pixel measurement unit 140 measure each pixel in the determination region.
- the region determination unit 151 determines a determination region based on the determination condition.
- the region determination unit 151 instructs the region setting unit 160 to set the next determination region.
- the area determination device 12 repeats the above operation until the determination area satisfies the determination condition.
- the area determination unit 151 outputs a determination area that satisfies the determination condition.
- the area determination device 12 may process a plurality of determination areas together. An example of the operation in this case will be described.
- the area setting unit 160 sets a plurality of determination areas based on the setting rule.
- the water pixel measurement unit 120, the non-water pixel measurement unit 130, and the boundary pixel measurement unit 140 measure pixels in each of the plurality of determination regions.
- the area determination unit 151 selects a determination area that satisfies the determination condition from the plurality of determination areas, and outputs the selected determination area.
- the area determination device 12 may repeat the above operation for each set of determination areas in a predetermined processing unit.
- Information output as the determination region by the region determination unit 151 is not limited.
- the area determination unit 151 may output information indicating the outer shape of the determination area.
- an example of information indicating the outer shape of the determination area is “the position, width, and height of a vertex (for example, the upper left vertex on the screen)”.
- the determination area is a polygon
- the information indicating the outer shape of the determination area is, for example, the coordinates of all the vertices.
- the region determination unit 151 may select a determination region from a plurality of determination regions using a predetermined evaluation value. For example, the region determination unit 151 may output one determination region having the highest predetermined evaluation value from among the determination regions that satisfy the determination condition. Alternatively, the area determination unit 151 selects a predetermined number of determination areas from a higher predetermined evaluation value or a plurality of determination areas having a predetermined evaluation value higher than a predetermined threshold from among the determination areas that satisfy the determination condition. It may be output.
- the evaluation value used by the area determination unit 151 is not limited.
- the area determination unit 151 may use the absolute value of the difference between the average value of the likelihood of water pixels and the average value of the likelihood of non-water pixels as the evaluation value.
- the area determination unit 151 may select a determination area using the additional information.
- the region determination unit 151 may use a feature that is useful in determination using a determination region as additional information.
- the region determination unit 151 selects a determination region having a large contrast difference (brightness, saturation, or hue difference) between a water pixel region and a non-water pixel region. May be.
- the region determination unit 151 may select a determination region in which the pixel value is within a predetermined range in order to avoid saturation of the pixel value.
- the region determination unit 151 may select a determination region suitable for calculation of a method used by the computer (for example, determination using a model learned using machine learning). For example, the region determination unit 151 may select a determination region having a wide range of pixel feature values. Alternatively, the region determination unit 151 may select a determination region in which the difference between the average value of the likelihood of water pixels and the average value of the likelihood of non-water pixels is large and the standard deviation of each likelihood is small.
- the area determination unit 151 may select all the determination areas. Alternatively, the area determination unit 151 may select one or a part of the determination area using a predetermined selection method (for example, round robin or pseudorandom number).
- the area determination unit 151 may output an evaluation value in addition to the determination area.
- region setting unit 160 and / or the region determination unit 151 may operate using a predetermined model.
- FIG. 4 is a flowchart showing an example of the operation of the area determination device 12 according to the second embodiment. Explanation of operations similar to those in the first embodiment will be omitted as appropriate, and operations unique to the area determination device 12 according to the second embodiment will be described.
- the area setting unit 160 sets a determination area based on the setting rule (step S401).
- the region determination device 12 operates in the same manner as the region determination device 11 of the first embodiment.
- the area determination unit 151 determines whether or not the determination area satisfies the determination condition (step S407).
- step S407 If the determination region does not satisfy the determination condition (No in step S407), the region determination device 12 returns to step S401.
- step S407 If the determination area satisfies the determination condition (Yes in step S407), the area determination unit 151 outputs the determination area (step S408).
- the area determination device 12 may process a plurality of determination areas at once. In this case, the area determination device 12 operates as follows without executing the operation of step S407.
- step S401 the area setting unit 160 sets a plurality of determination areas.
- the likelihood calculation unit 110, the water pixel measurement unit 120, the non-water pixel measurement unit 130, and the boundary pixel measurement unit 140 operate on a plurality of determination regions.
- step S408 the area determination unit 151 outputs a determination area that satisfies the determination condition from the plurality of determination areas.
- the area determination device 12 can obtain an effect of reducing the determination area setting work for a supervisor or the like in addition to the effect of the first embodiment.
- the reason is that the area determination device 12 outputs a determination area that satisfies the determination condition based on the designated setting rule. Specifically, this is because the region setting unit 160 repeats setting of the determination region until the region determination unit 151 determines that the determination region satisfies the determination condition.
- the monitor notifies the area determination device 12 of the setting rules and determination conditions for images stored in a predetermined storage device or the like.
- the area setting unit 160 sets a determination area based on the setting rule.
- the area determination unit 151 determines whether or not the set determination area satisfies the determination condition.
- the region determination unit 151 instructs the region setting unit 160 to reset the determination region.
- the region determination device 12 repeats the same operation until the determination region set by the region setting unit 160 satisfies the determination condition.
- the area determination unit 151 outputs the determination area. Based on such an operation, the region determination device 12 outputs a determination region that satisfies the determination condition.
- the area setting unit 160 may set a plurality of determination areas.
- the region determination unit 151 outputs a determination region that satisfies the determination condition in the plurality of determination regions.
- the area determination device 12 sets a determination area based on setting rules and determination conditions. However, it is assumed that a moving object such as a car is included in an area that satisfies the setting rule and the determination condition. A moving object changes a position etc. with time. For this reason, in the region including the moving body, a change that is not related to the monitoring target (for example, a river) occurs. Such a region should not be selected.
- the area determination device 13 sets a more appropriate determination area.
- FIG. 5 is a block diagram illustrating an example of the configuration of the area determination device 13 according to the third embodiment.
- the region determination device 13 includes a region setting unit 161 instead of the region setting unit 160 as compared with the configuration of the region determination device 12 according to the second embodiment. Furthermore, the region determination device 13 includes a region detection unit 170. A detailed description of the configuration similar to that of the second embodiment will be omitted as appropriate, and a configuration specific to the area determination device 13 according to the third embodiment will be described.
- the region detection unit 170 detects a region to be referred to when the region setting unit 161 sets a determination region in the image, and notifies the region setting unit 161 of the detected region.
- the area detection unit 170 detects an area (hereinafter referred to as “non-recommended area”) that should be avoided from being included in the determination area in the image.
- a non-recommended area is, for example, an area (for example, near a tree, a route, or a road) that includes moving objects (for example, a floating object, a ship, a pedestrian, or a car), or an object whose appearance or shape changes (for example, This is a region that includes a plant-rich region).
- the non-recommended region is a region that is easily affected by time, season, weather, or the like, such as a shadow region of an object.
- the region setting unit 161 sets a determination region that does not include the non-recommended region.
- the area around the pier is an area where ships that are moving objects come and go, but it is also an area where the water level is to be determined.
- the area setting unit 161 sets a determination area including the vicinity of the pier. As described above, even in a region where a non-recommended region is determined, there is a region that should be included in the determination region because of the relationship with the surroundings.
- the region setting unit 161 may set the determination region so that the non-recommended region is included in a necessary range or the non-recommended region is not included in a possible range. That is, the region setting unit 161 sets the determination region with reference to the non-recommended region detected by the region detection unit 170.
- the area detection unit 170 may detect an area that should be included in the determination area (hereinafter referred to as “recommended area”).
- the recommended area is, for example, an asphalt area. This is because the structure of asphalt is fixed and it is easy to clearly determine the boundary between water and non-water.
- the recommended area may be an area that satisfies a predetermined condition (for example, a danger line when water increases).
- the region setting unit 161 determines to include the recommended region detected by the region detection unit 170 in a possible range or to include the recommended region in a necessary range. What is necessary is just to set an area
- the area detection unit 170 may detect both the non-recommended area and the recommended area.
- the region setting unit 161 sets the determination region with reference to the non-recommended region and / or the recommended region detected by the region detection unit 170.
- the region detection unit 170 may detect a non-recommended region and / or a recommended region using the reliability with respect to the likelihood.
- the region detection unit 170 sets a low reliability for pixels with high and low luminance, and sets a high reliability for pixels with medium luminance. Then, the region detection unit 170 detects a recommended region and / or a non-recommended region based on the reliability. For example, a region with a high ratio of pixels with low reliability is an example of a non-recommended region. A region with a high ratio of pixels with high reliability is an example of a recommended region. Based on the above operation, the region detection unit 170 can detect a region that avoids pixels that are highly likely to be saturated.
- the region detection unit 170 may detect a moving body (for example, a person, a car, and / or a ship) included in the frame using a template or the like. And the area
- region detection part 170 may set a low reliability with respect to the pixel of a moving body, and may set a high reliability with respect to the pixel of a fixed object.
- the region detection unit 170 may use a plurality of frames for calculation of reliability.
- the region detection unit 170 may detect a moving object using a plurality of frames.
- the area detection unit 170 may use a luminance change and / or a color change in the pixel as time elapses.
- the region detection unit 170 may set a high reliability for a pixel that changes little over time and a low reliability for a pixel that changes frequently as the pixel reliability.
- the area detection unit 170 may use an average value of the reliability of a predetermined number of frames as the reliability.
- the area detection unit 170 may use image features for calculation of reliability. For example, it is assumed that the image includes a region (for example, a texture region) where the image feature changes frequently and a region (flat region) where the image feature is constant.
- the texture region is assumed to have a complicated surface shape. Such a region having a complicated shape is easily affected by disturbance.
- the area detection unit 170 may set a high reliability for the flat area and a low reliability for the texture area.
- the texture area may be an area with high reliability.
- an embankment laid with tiles is a texture region and has a fixed structure.
- the region detection unit 170 may set a high reliability for the texture region.
- the texture area is a repetition of areas having similar characteristics. Therefore, the area detection unit 170 may select one of the unit areas having similar features and calculate the reliability, and set the same reliability in the other unit areas. In this case, the area detection unit 170 can reduce the load necessary for calculating the reliability.
- the region setting unit 161 operates in the same manner as the region setting unit 160 except that it refers to the region (non-recommended region and / or recommended region) detected by the region detection unit 170.
- the region determination device 13 according to the third embodiment can obtain the effect of setting a more appropriate determination region in addition to the effect of the region determination device 12 according to the second embodiment.
- the region detection unit 170 detects a region that should not be included in the set determination region and / or a region that should not be included in the set region.
- the region setting unit 161 sets a determination region with reference to the region detected by the region detection unit 170. Based on such an operation, the region determination device 13 can set a more appropriate determination region.
- the determination area set by the area determination device 12 according to the second embodiment is used for predetermined detection.
- the determination area is used for detecting whether or not the water level has reached the height (risk line) at which an alarm is issued when the amount of water increases.
- the area used for actual determination includes an area used for detection (for example, a danger line).
- the area used for detection is not necessarily included in the area that most satisfies the determination condition.
- the determination region set by the region determination device 12 may not include an area used for detection.
- the area determination device 14 adds a predetermined area (for example, an area including a danger line) to the set determination area.
- a predetermined area for example, an area including a danger line
- the added region is not limited.
- the area to be added is an area including an area (danger line) for determining a report at the time of water increase or the like.
- the added area is a non-water area that does not become a water area, such as an empty area.
- FIG. 6 is a block diagram showing an example of the configuration of the area determination device 14 according to the fourth embodiment.
- the region determination device 14 includes a region addition unit 180 in addition to the configuration of the region determination device 12 according to the second embodiment. A detailed description of the configuration similar to that of the second embodiment will be omitted as appropriate, and a configuration specific to the area determination device 14 according to the fourth embodiment will be described.
- the area determination device 14 may include the area setting unit 161 and the area detection unit 170 in the third embodiment.
- the region adding unit 180 outputs a region obtained by adding a predetermined additional region to the determination region output by the region determining unit 151.
- the acquisition source of the additional area in the area adding unit 180 is not limited.
- the area adding unit 180 may acquire an additional area from an external device (not shown).
- a part of the additional area may overlap the determination area.
- the area adding unit 180 may output an area obtained by adding an additional area not included in the determination area to the determination area.
- the additional area may be an area away from the determination area.
- the region adding unit 180 may output the determination region and the additional region, or may output a region including the determination region, the additional region, and the region sandwiched between them.
- the area determination device 14 may determine an additional area based on predetermined reference information.
- FIG. 7 is a block diagram illustrating an example of the configuration of the area determination device 15 including the additional area determination unit 190.
- the area determination device 15 includes an additional area determination unit 190 in addition to the configuration of the area determination device 14.
- the additional area determination unit 190 determines an area to be added. For example, the additional region determination unit 190 acquires a reference image including a water level at the time of water increase from a device (not shown), and determines the additional region using the acquired reference image.
- the additional region determination unit 190 acquires an image having a water level and / or water surface characteristics at the time of water increase as a reference image. And the additional area
- the additional area determination unit 190 uses, as a reference image, for example, an image when predetermined weather information (for example, heavy rain warning or flood warning) is issued as a predetermined engine (for example, the Japan Meteorological Agency or the weather). From the forecasting company.
- predetermined weather information for example, heavy rain warning or flood warning
- a predetermined engine for example, the Japan Meteorological Agency or the weather. From the forecasting company.
- the additional area determination unit 190 may determine an area including a monitoring target (for example, a bridge, a sluice, and / or a dike) of the water level at the time of water increase as the additional area.
- a monitoring target for example, a bridge, a sluice, and / or a dike
- the additional region determination unit 190 notifies the region addition unit 180 of the determined additional region.
- the region adding unit 180 adds the notified additional region to the determination region output by the region determining unit 151.
- the area determination devices 14 and 15 can obtain an effect of outputting an area used for a predetermined process (for example, detection of water increase) in addition to the effect according to the second embodiment.
- the reason is that the region adding unit 180 outputs a region obtained by adding a predetermined additional region to the determination region output by the region determining unit 151.
- the area determination device 15 can obtain the effect of reducing the man-hours for creating the additional area.
- the reason is that the additional area determination unit 190 determines the additional area based on the reference information.
- FIG. 8 is a block diagram showing an example of the configuration of the area determination device 10 which is an example of the outline of the embodiment of the present invention.
- the region determination device 10 includes a likelihood calculation unit 110, a non-aqueous pixel measurement unit 130, a boundary pixel measurement unit 140, and a region determination unit 150.
- the likelihood calculation unit 110 calculates the likelihood of pixel wateriness in an image including a plurality of frames.
- the non-water pixel measurement unit 130 measures the number of non-water pixels that have a likelihood within the first non-water range in any of the determination regions that are targets of determination in each frame.
- the boundary pixel measurement unit 140 measures the number of boundary pixels in which the likelihood enters the first water range in any of the determination regions and the likelihood enters the second non-water range in any of the determination regions. To do.
- the area determination unit 150 determines whether the determination area satisfies a predetermined determination condition based on the number of non-water pixels and the number of boundary pixels.
- Each configuration of the area determination device 10 operates in the same manner as each corresponding configuration in the area determination device 11 or the like.
- the region determination device 10 configured as described above can obtain the same effect as the region determination device 11.
- each configuration of the region determination device 10 operates in the same manner as the similar configuration in the region determination device 11 and outputs an evaluation result for the determination region.
- the area determination device 10 is the minimum configuration in the embodiment of the present invention.
- the area determination devices 11 to 14 may be configured using a configuration similar to the following hardware configuration.
- each component of the area determination device 10 may be configured with a hardware circuit.
- each component may be configured using a plurality of devices connected via a network.
- the plurality of components may be configured with a single piece of hardware.
- the area determination device 10 may be realized as a computer device including a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory).
- the area determination device 10 may be realized as a computer device that includes an input / output connection circuit (IOC) in addition to the above configuration.
- the area determination device 10 may be realized as a computer device including a network interface circuit (NIC: Network Interface Circuit) in addition to the above configuration.
- NIC Network Interface Circuit
- FIG. 9 is a block diagram illustrating a configuration of an information processing apparatus 600 that is an example of a hardware configuration of the area determination apparatus 10.
- the information processing apparatus 600 includes a CPU 610, a ROM 620, a RAM 630, an internal storage device 640, an IOC 650, and a NIC 680, and constitutes a computer device.
- the CPU 610 reads a program from ROM 620.
- the CPU 610 controls the RAM 630, the internal storage device 640, the IOC 650, and the NIC 680 based on the read program.
- the computer including the CPU 610 controls these configurations, and the likelihood calculation unit 110, the non-aqueous pixel measurement unit 130, the boundary pixel measurement unit 140, and the region determination unit 150 illustrated in FIG. Each function is realized.
- the CPU 610 may use the RAM 630 or the internal storage device 640 as a temporary storage medium for the program when realizing each function.
- the CPU 610 may read a program included in the storage medium 700 storing the program so as to be readable by a computer by using a storage medium reading device (not shown).
- the CPU 610 may receive a program from an external device (not shown) via the NIC 680, store the program in the RAM 630 or the internal storage device 640, and operate based on the stored program.
- ROM 620 stores programs executed by CPU 610 and fixed data.
- the ROM 620 is, for example, a P-ROM (Programmable-ROM) or a flash ROM.
- the RAM 630 temporarily stores programs executed by the CPU 610 and data.
- the RAM 630 is, for example, a D-RAM (Dynamic-RAM).
- the internal storage device 640 stores data and programs stored in the information processing device 600 for a long period of time. Further, the internal storage device 640 may operate as a temporary storage device for the CPU 610.
- the internal storage device 640 is, for example, a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), or a disk array device.
- the ROM 620 and the internal storage device 640 are non-transitory storage media. Meanwhile, the RAM 630 is a volatile storage medium.
- the CPU 610 can operate based on a program stored in the ROM 620, the internal storage device 640, or the RAM 630. That is, the CPU 610 can operate using a nonvolatile storage medium or a volatile storage medium.
- the IOC 650 mediates data between the CPU 610, the input device 660, and the display device 670.
- the IOC 650 is, for example, an IO interface card or a USB (Universal Serial Bus) card. Further, the IOC 650 is not limited to a wired connection such as a USB, but may be wireless.
- the input device 660 is a device that receives an input instruction from an operator of the information processing apparatus 600.
- the input device 660 is, for example, a keyboard, a mouse, or a touch panel.
- the display device 670 is a device that displays information to the operator of the information processing apparatus 600.
- the display device 670 is a liquid crystal display, for example.
- the NIC 680 relays data exchange with an external device (not shown) via the network.
- the NIC 680 is, for example, a LAN (Local Area Network) card.
- the NIC 680 is not limited to a wired line, and may use wireless.
- the information processing apparatus 600 configured as described above can obtain the same effect as the area determination apparatus 10.
- FIG. 10 is a block diagram illustrating an example of the monitoring system 60 including the area determination device 11.
- the monitoring system 60 may include any one of the region determination devices 10 and 12 to 15 instead of the region determination device 11.
- the monitoring system 60 includes a monitoring camera 20, a switching device 30, a display monitor 40, an area determination device 11, and an alarm device 50.
- the surveillance camera 20 captures an image (moving image) to be monitored.
- the number of surveillance cameras 20 is not limited.
- the monitoring system 60 may include one monitoring camera 20 or may include a plurality of monitoring cameras 20.
- the switching device 30 selects a monitoring camera 20 connected to the display monitor 40 or the like from a plurality of connected monitoring cameras 20 according to a predetermined interval and a predetermined switching rule, and an image of the selected monitoring camera 20 Is output to the display monitor 40 or the like.
- the monitoring system 60 includes one monitoring camera 20, the monitoring system 60 does not include the switching device 30.
- the display monitor 40 displays an image from the switching device 30.
- the monitoring system 60 may include one display monitor 40 or a plurality of display monitors 40.
- the monitoring system 60 includes one monitoring camera 20
- the monitoring system 60 includes one display monitor 40.
- the display monitor 40 displays an image from the monitoring camera 20.
- the area determination device 11 determines a determination area based on the image and the determination condition, and transmits the determination result to the alarm device 50.
- the device from which the area determination device 11 acquires an image or the like is not limited.
- the area determination device 11 may acquire an image from the monitoring camera 20, the switching device 30, or the alarm device 50.
- the area determination device 11 may receive the determination condition and the determination area from the alarm device 50 or an external device (not shown).
- the alarm device 50 determines whether or not to use the determination region for alarm determination based on the determination result of the region determination device 11.
- the alarm device 50 may repeat transmission of the determination region and reception of the determination result until the determination condition is satisfied.
- the alarm device 50 determines whether to issue an alarm using the determination area.
- the alarm device 50 issues an alarm. Note that the alarm device 50 may issue an alarm using the display monitor 40 displaying the determination area or a notification device (not shown).
- the monitoring system 60 configured in this way uses a determination area in which the alarm device 50 satisfies the determination condition, an appropriate alarm in the alarm device 50 can be realized.
- the alarm device 50 can receive a determination area that satisfies the setting rule and the determination condition from the area determination device 12 or 13. In this case, the alarm device 50 may use the determination area for alarm determination.
- the alarm device 50 may operate using an area including the additional area received from the area determination device 14 or 15.
- FIG. 11 is a diagram illustrating an example of a configuration of a monitoring system 61 that is an outline of the monitoring system 60.
- the monitoring system 61 includes a monitoring camera 20, an area determination device 11, and an alarm device 50.
- the surveillance camera 20 takes an image.
- the area determination device 11 determines a determination area in the image from the monitoring camera 20.
- the alarm device 50 determines whether or not to use the determination region in the image for alarm determination based on the result determined by the region determination device 11.
- the monitoring system 61 configured as described above can achieve the same effects as the monitoring system 60.
- the reason is that the device included in the monitoring system 61 operates in the same manner as the corresponding device included in the monitoring system 60.
- the monitoring system 61 is an example of a minimum configuration of the monitoring system 60.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Electromagnetism (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Geology (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Hydrology & Water Resources (AREA)
- Thermal Sciences (AREA)
- Fluid Mechanics (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
Abstract
基準となる物体を必要としないで、領域を判定するため、本発明の領域判定装置は、複数のフレームを含む画像における画素の水らしさの尤度を算出する尤度算出手段と、フレームそれぞれにおける判定の対象である判定領域のいずれかにおいて、第1の非水範囲に尤度が入る非水画素の数を計測する非水画素計測手段と、判定領域のいずれかにおいて第1の水範囲に尤度が入り、かつ、判定領域のいずれかにおいて第2の非水範囲に尤度が入る、境界画素の数を計測する境界画素計測手段と、非水画素の数及び境界画素の数を基に、判定領域が所定の判定条件を満足するか否かを判定する領域判定手段とを含む。
Description
本発明は、画像の処理に関し、特に、画像における領域を判定する領域判定装置などに関する。
河川の水位を監視している河川事務所は、河川の水位の監視用として、監視カメラを使用している。そして、河川事務所の職員(監視者)が、監視カメラの画像を基に、危険水位などを確認している。
河川の監視点は、複数である。そのため、複数の監視カメラが設置されている。河川事務所によっては、数百台の監視カメラが、設置されている。
このような河川事務所において、監視カメラごとに表示モニタを備えることは、表示モニタの数が多くなりすぎ、困難である。また、多くの表示モニタを設置しても、監視者が監視できる数には、限界がある。
そこで、一般的な監視システムでは、所定の間隔で監視カメラからの画像を切り替えながら表示することが行われている。一般的に、切替え間隔は、数秒から十数秒である。監視者は、表示モニタにおいて、所定の間隔で切り替わる画像を確認する。表示モニタが複数の場合、それぞれの表示モニタに割り当てられた監視カメラからの画像が、所定の間隔で切り替えられながら、それぞれの表示モニタに表示される。
しかし、このような監視システムでは、表示モニタにおいて短い間隔で画像が切り替わるため、監視者の確認に用いる時間が、制限される。そのため、監視者における確認の精度が、低くなる可能性がある。特に、表示モニタが複数の場合、監視者は、画像が切り替わっている複数の表示モニタを監視する必要がある。そのため、監視者における確認の精度の低下が、想定される。
なお、監視カメラの画像は、表示モニタに繰り返し表示される。そのため、監視者が最初の表示において見落としたとしても、いずれ監視者は、表示される画像において危険などを検知できる。しかし、この場合、検知の時間的な遅れの発生の可能性が、想定される。
監視カメラの切替え間隔を長くすれば、監視者における見落としの可能性は、低減される。しかし、この場合、全ての監視カメラの画像を確認するために必要となる時間が長くなる。その結果として、全ての画像を確認するために必要となる時間が長くなる。そのため、この場合も、監視者の検知における時間的な遅れが発生する可能性がある。
また、監視者の確認には、人的なミスの発生の可能性がある。
このような監視者などの人での確認における問題点を解決するための一つの対策として、コンピュータなどを用いて、危険水位を確認することが行われている(例えば、特許文献1及び2を参照)。
特許文献1に記載の水位計測装置は、監視カメラの画像において、予め定められた監視領域を識別画像として切り出し、切り出した画像における水領域と非水領域とを識別して水位を算定する。
特許文献2に記載の水位計測装置は、画像における量水板の傾きを検出し、検出した傾きを用いて画像の水面を補正し、補正後の画像における量水板と水位とを基に水位を計測する。
監視者の監視及びコンピュータの監視のどちらの場合も、適切な監視領域を用いることは、監視の精度を向上させることにつながる。例えば、監視領域として、監視者における視認性の高い領域を用いると、監視者の見落としなどの可能性を低下させることができる。視認性の高い領域を用いることは、短い間隔で切り替わる画像を確認する場合には、特に有効である。
このように、監視に用いる領域が所定の判定条件に対して適切であるか否かの判定は、重要である。
特許文献1に記載の水位計測装置は、設定された監視領域における水位を判定する。しかし、特許文献1は、適切な監視領域を設定するための情報を開示していない。つまり、特許文献1に記載の水位計測装置は、設定された領域が適切であるか否かを判定できないという問題点があった。例えば、特許文献1に記載の水位計測装置を用いる場合、監視者が、監視領域の設定において、事前に起きた氾濫に関する情報などを基に設定する領域の適切さを判断する必要があった。そのため、監視者における試行錯誤などが必要であった。
特許文献2に記載の水位計測装置は、監視用の画像内の量水板など、基準となる物体が必要である。そのため、特許文献2に記載の水位計測装置は、適用できる監視カメラの画像が、所定の基準となる物体を含む画像に限定されるという問題点があった。また、特許文献2に記載の水位計測装置は、領域そのものを判定するものではない。つまり、特許文献2に記載の水位計測装置は、設定された領域が適切であるか否かを判定できないという問題点があった。
本発明の目的は、上記問題点を解決し、基準となる物体を必要としないで、領域を判定する領域判定装置などを提供することにある。
本発明の一形態における領域判定装置は、複数のフレームを含む画像における画素の水らしさの尤度を算出する尤度算出手段と、フレームそれぞれにおける判定の対象である判定領域のいずれかにおいて、第1の非水範囲に尤度が入る非水画素の数を計測する非水画素計測手段と、判定領域のいずれかにおいて第1の水範囲に尤度が入り、かつ、判定領域のいずれかにおいて第2の非水範囲に尤度が入る、境界画素の数を計測する境界画素計測手段と、非水画素の数及び境界画素の数を基に、判定領域が所定の判定条件を満足するか否かを判定する領域判定手段とを含む。
本発明の一形態における監視システムは、画像を撮影する監視カメラと、上記の領域判定装置と、領域判定装置が判定した結果を基に、画像における判定領域を警報の判断に用いるか否かを決定する警報装置とを含む。
本発明の一形態における領域判定方法は、複数のフレームを含む画像における画素の水らしさの尤度を算出し、フレームそれぞれにおける判定の対象である判定領域のいずれかにおいて、第1の非水範囲に尤度が入る非水画素の数を計測し、判定領域のいずれかにおいて第1の水範囲に尤度が入り、かつ、判定領域のいずれかにおいて第2の非水範囲に尤度が入る、境界画素の数を計測し、非水画素の数及び境界画素の数を基に、判定領域が所定の判定条件を満足するか否かを判定する。
本発明の一形態における記録媒体は、複数のフレームを含む画像における画素の水らしさの尤度を算出する処理と、フレームそれぞれにおける判定の対象である判定領域のいずれかにおいて、第1の非水範囲に尤度が入る非水画素の数を計測する処理と、判定領域のいずれかにおいて第1の水範囲に尤度が入り、かつ、判定領域のいずれかにおいて第2の非水範囲に尤度が入る、境界画素の数を計測する処理と、非水画素の数及び境界画素の数を基に、判定領域が所定の判定条件を満足するか否かを、判定する処理とをコンピュータに実行させるプログラムを記録する。
本発明に基づけば、基準となる物体を必要としないで、領域を判定するとの効果を奏することができる。
次に、図面を参照して、本発明の実施形態について説明する。
なお、各図面は、本発明の実施形態を説明するためのものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面における同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。
以下の実施形態の説明において用いる語を整理しておく。
処理の対象となる「画像」は、所定の間隔で撮影された複数の静止画(以下、「フレーム」と呼ぶ)を含む。例えば、画像は、監視対象を所定の間隔(例えば、1秒間隔)で撮影した動画像である。具体的な処理の対象となる画像の一例は、河川の増水を監視するために設けられた監視カメラが撮影した河川の動画像である。
フレームの間隔は、一定に限られず、複数の値を取ってもよく、時間帯又は季節に伴って変化してもよい。
例えば、画像に含まれる複数のフレームは、時間帯、季節、又は天候時などの外部環境が異なるときに撮影されたフレームでもよい。外部環境が異なる多数のフレームを用いる場合、各実施形態は、外乱の影響を低減することができる。「外乱」とは、照明光(日照又は街灯)の変動、物体の影、水面の状態(例えば、波面)、季節の変化、又は植生の影響などである。
「尤度」は、各画素における「水らしさの尤度(以下、「水尤度」と呼ぶ)」である。ただし、各実施形態が用いる尤度は、これに限定されない。例えば、「水尤度」は、その値を1から引くと、「非水らしさの尤度(以下、「非水尤度」と呼ぶ)」となる。各実施形態が非水尤度を用いる場合、以下の説明において、水尤度に対する判定を、非水尤度に対する判定に読み替えればよい。例えば、「水尤度に対する所定の閾値以上」との条件は、「非水尤度に対する所定の閾値未満」との条件となる。
「非水画素」とは、尤度に基づいて、非水の画素と見なされる画素である。言い換えると、非水画素とは、水尤度が低い画素(非水尤度が高い画素)である。具体的には、非水画素とは、所定数(以下、「第1のフレーム数」と呼ぶ)以上のフレームにおいて、所定の非水らしさの範囲(以下、「第1の非水範囲」と呼ぶ)に尤度が入る画素である。例えば、非水画素は、第1のフレーム数以上において、水尤度が所定の閾値(以下、「第1の閾値」と呼ぶ)未満である。例えば、画像が100フレームを含む場合、非水画素は、90フレーム以上において、水尤度が0.1未満である。ただし、第1のフレーム数は、限定されない。非水画素は、いずれかのフレームにおいて尤度が第1の非水範囲に入ればよい。
「境界画素」とは、水と非水との境界(例えば、水位又は水面)の画素のように、尤度に基づいて、水と非水とに変化する画素とみなされる画素である。言い換えると、境界画素は、水尤度が高いフレームと、水尤度が低い(非水尤度が高い)フレームとが、それぞれある程度多い画素である。具体的には、境界画素とは、所定数(以下、「第2のフレーム数」と呼ぶ)以上のフレームにおいて、所定の水らしさの範囲(以下、「第1の水範囲」と呼ぶ)に尤度が入る画素である。さらに、境界画素は、所定数(以下、「第3のフレーム数」と呼ぶ)以上のフレームにおいて、所定の非水らしさの範囲(以下、「第2の非水範囲」と呼ぶ)に尤度が入る画素である。例えば、境界画素は、第2のフレーム数以上において水尤度が所定の閾値(以下、「第2の閾値」と呼ぶ)以上であり、かつ、第3のフレーム数以上において水尤度が所定の閾値(以下、「第3の閾値」と呼ぶ)未満である。例えば、画像が100フレームを含む場合、境界画素は、40フレーム以上において水尤度が0.9以上であり、かつ、別の40フレーム以上において水尤度が0.1未満である。ただし、第2のフレーム数及び第3のフレーム数は、限定されない。境界画素は、いずれかのフレームにおいて尤度が第1の水範囲に入り、いずれかのフレームにおいて尤度が第2の非水範囲に入ればよい。
「水画素」とは、尤度に基づいて、水の画素と見なされる画素である。言い換えると、水画素は、水尤度が高い(非水尤度が低い)画素である。具体的には、水画素は、所定数(以下、「第4のフレーム数」と呼ぶ)以上のフレームにおいて、所定の水らしさの範囲(以下、「第2の水範囲」と呼ぶ)に尤度が入る画素である。例えば、水画素は、第4のフレーム数以上において、水尤度が所定の閾値(以下、「第4の閾値」と呼ぶ)以上である。例えば、画像が100フレームを含む場合、水画素は、90フレーム以上において、水尤度が0.9以上である。ただし、第4のフレーム数は、限定されない。水画素は、いずれかのフレームにおいて尤度が第2の水範囲に入ればよい。
「水画素」、「非水画素」及び「境界画素」の判定に用いられるフレーム数(第1ないし第4のフレーム数)は、同じでもよく、一部又は全てが異なっていてもよい。「第1の非水範囲」は、「第2の非水範囲」と同じでもよく、異なっていてもよい。「第1の水範囲」は、「第2の水範囲」と同じでもよく、異なっていてもよい。あるいは、第1ないし4の閾値は、同じでもよく、一部又は全て異なっていてもよい。
「水画素」、「非水画素」及び「境界画素」は、上記に限定されない。
例えば、それぞれの画素は、複数のフレームにおける尤度から算出した値(例えば、尤度の平均値)を用いて決定されてもよい。例えば、画像が100フレームを含む場合、水画素は、最初から10フレーム毎のグループにおける尤度の平均値が0.9以上であるグループの数が9以上である画素でもよい。
第1ないし第4のフレーム数、及び、第1ないし第4の閾値(又は、第1の非水範囲、第2の非水範囲、第1の水範囲、及び第2の水範囲)は、各実施形態において、予め設定されている値である。あるいは、これらの値は、各実施形態が画像などを取得するときに合わせて取得されてもよい。
あるいは、「水画素」、「非水画素」及び/又は「境界画素」の判定に用いられる閾値(又は、範囲)は、それぞれ、画像を基に設定されてもよい。例えば、閾値は、それぞれ、画像全体、又は、所定の領域全体の尤度の平均値及び標準偏差を基に算出された値でもよい。
あるいは、閾値(又は、範囲)は、フレーム毎に設定されてもよい。例えば、閾値は、それぞれ、フレーム毎の画素における尤度の平均値及び標準偏差を基に算出された値でもよい。
<第1の実施形態>
以下、図面を参照して、本発明における第1の実施形態に係る領域判定装置11について説明する。
以下、図面を参照して、本発明における第1の実施形態に係る領域判定装置11について説明する。
領域判定装置11は、画像における判定の対象として指定された領域(以下、「判定領域」と呼ぶ)が、所定の条件(以下、「判定条件」と呼ぶ)を満足するか否かを判定する。領域判定装置11は、図示しない外部の装置から、処理の対象となる画像、判定領域、及び、判定条件を取得する。あるいは、領域判定装置11は、図示しない記憶部などに予め保持された、画像、判定領域、及び判定条件を用いて動作してもよい。
判定条件は、限定されない。判定条件は、判定領域を用いる目的に沿って決定されればよい。例えば、判定領域が増水時における水位の監視に用いられる領域の場合、判定領域は、「水の領域と、非水の領域と、境界の領域とを所定の広さ以上を含む領域」であることが望ましい。そこで、この場合の判定条件の一例は、「判定領域が、水画素、非水画素、及び、境界画素を、それぞれに指定された値以上含む」である。
判定条件は、1つの条件に限定されず、複数の条件を含んでもよい。例えば、水位の判定に用いられる領域は、「水の領域と、非水の領域と、境界の領域とを所定の広さ以上含む領域」に加え、「水の領域と非水の領域との区別が明確である」ことが望ましい。そこで、例えば、この場合の判定条件は、次に示す2つの条件を含んでもよい。
条件1:水画素の数、非水画素の数、及び、境界画素の数が、それぞれに設定された数以上である。
条件2:水画素の尤度の平均値と非水画素の尤度の平均値との差の絶対値が、所定の閾値以上である。
条件1:水画素の数、非水画素の数、及び、境界画素の数が、それぞれに設定された数以上である。
条件2:水画素の尤度の平均値と非水画素の尤度の平均値との差の絶対値が、所定の閾値以上である。
判定領域の形状及び大きさは、限定されない。判定領域の形状は、例えば、三角形、四角形、多角形、円形、又は、楕円形でもよい。あるいは、判定領域の形状は、正多角形のような凸型の形状に限られず、凹型の形状でもよい。あるいは、判定領域は、上記の形状の組合せでもよい。
[構成の説明]
まず、図面を参照して、第1の実施形態に係る領域判定装置11の構成について説明する。
まず、図面を参照して、第1の実施形態に係る領域判定装置11の構成について説明する。
図1は、第1の実施形態に係る領域判定装置11の構成の一例を示すブロック図である。
領域判定装置11は、尤度算出部110と、水画素計測部120と、非水画素計測部130と、境界画素計測部140と、領域判定部150とを含む。
尤度算出部110は、それぞれの画素に対して、水尤度を算出する。あるいは、尤度算出部110は、それぞれの画素に対して、非水尤度を算出してもよい。以下の説明は、一例として、尤度は、水尤度とする。つまり、最も水らしい画素の場合、画素の尤度は「1」である。反対に、最も水らしくない画素の場合(最も非水らしい画素の場合)、画素の尤度は「0」である。その他の画素の尤度は、0から1の間の値となる。
尤度算出部110が尤度の算出に用いる手法は、限定されない。尤度の算出に用いる手法の例を説明する。
(1)Deep Learningベース
尤度算出部110は、セマンティックセグメンテーションを用いて、事前に河川画像(水の画素と非水の画素とを含む画像)を入力として、水尤度(又は、非水尤度)の算出を学習したニューラルネットワークを構築する。そして、尤度算出部110は、学習後のニューラルネットワークを用いて、判定対象のフレームの各画素に対する水尤度(又は、非水尤度)を算出する。
尤度算出部110は、セマンティックセグメンテーションを用いて、事前に河川画像(水の画素と非水の画素とを含む画像)を入力として、水尤度(又は、非水尤度)の算出を学習したニューラルネットワークを構築する。そして、尤度算出部110は、学習後のニューラルネットワークを用いて、判定対象のフレームの各画素に対する水尤度(又は、非水尤度)を算出する。
(2)機械学習ベース
尤度算出部110は、予め準備された、水画素だけを含む画像領域の画像セット、及び、非水画素だけを含む画像領域の画像セットから、色又はエッジに関する特徴量を抽出する。尤度算出部110は、特徴量の抽出の手法として、一般的な手法(例えば、Hue Saturaion Brightnessヒストグラム、又は、エッジヒストグラム)を用いればよい。そして、尤度算出部110は、抽出した特徴量を用いて、2クラス分類(水と非水との分類)を実現するように、水及び非水を識別するサポートベクターマシンを学習する。そして、尤度算出部110は、学習後のサポートベクターマシンを用いた画素の識別結果を基に、水尤度(又は、非水尤度)を算出する。
尤度算出部110は、予め準備された、水画素だけを含む画像領域の画像セット、及び、非水画素だけを含む画像領域の画像セットから、色又はエッジに関する特徴量を抽出する。尤度算出部110は、特徴量の抽出の手法として、一般的な手法(例えば、Hue Saturaion Brightnessヒストグラム、又は、エッジヒストグラム)を用いればよい。そして、尤度算出部110は、抽出した特徴量を用いて、2クラス分類(水と非水との分類)を実現するように、水及び非水を識別するサポートベクターマシンを学習する。そして、尤度算出部110は、学習後のサポートベクターマシンを用いた画素の識別結果を基に、水尤度(又は、非水尤度)を算出する。
なお、尤度を算出する単位は、画素に限定されない。尤度算出部110は、所定の画素範囲に対して尤度を算出してもよい。
さらに、尤度算出部110は、水尤度(又は、非水尤度)の算出精度を高めるため、尤度の算出前に画像に対して画像補正を実行してもよい。画像補正は、限定されない。例えば、画像補正は、不鮮明な画像を鮮明にする補正である。具体的には、尤度算出部110は、夜間又は霞などの影響のために鮮明度が低下した画像を鮮明にする補正(dehaze)、又は、ノイズを除去する補正(noise reduction)を用いてもよい。
なお、尤度算出部110は、画像に含まれる全ての画素に対して尤度を算出してもよい。あるいは、尤度算出部110は、判定領域の画素に対して尤度を算出してもよい。
水画素計測部120は、判定領域に含まれる水画素の数を計測する。
非水画素計測部130は、判定領域に含まれる非水画素の数を計測する。
境界画素計測部140は、判定領域に含まれる境界画素の数を計測する。
なお、水画素計測部120、非水画素計測部130、及び境界画素計測部140は、逐次的に動作してもよい。その際、水画素計測部120、非水画素計測部130、及び境界画素計測部140の動作の順番は、限定されない。水画素計測部120、非水画素計測部130、及び境界画素計測部140は、いずれから動作を開始してもよい。あるいは、水画素計測部120、非水画素計測部130、及び境界画素計測部140は、少なくとも一部の動作を並列的に同時に実行してもよい。
あるいは、一つの構成が、水画素計測部120、非水画素計測部130、及び境界画素計測部140のいずれか2つ以上の計測を実行してもよい。
例えば、図1に破線で示した画素計測部210は、一つの構成として、水画素の数と、非水画素の数と、境界画素の数とを計測する構成の一例である。
水画素計測部120、非水画素計測部130、及び、境界画素計測部140が別の構成の場合、それぞれの計測部が、画素に対して算出された尤度を取得する。つまり、画素に対して算出された尤度は、3回読み出される。
一方、画素計測部210が各画素の数を計測する場合、画素計測部210は、画素に対して算出された尤度を一回読み込めばよい。この場合、画素に対して算出された尤度は、1回読み出される。
このように、一つの構成(例えば、画素計測部210)が、水画素と、非水画素と、境界画素とを計測する場合、領域判定装置11は、尤度の読み出しの処理の回数を削減できる。
領域判定部150は、水画素の数、非水画素の数、及び境界画素の数を基に、判定領域が判定条件を満足するか否かを判定する。
領域判定部150は、判定結果を出力する。例えば、領域判定部150は、判定領域を指定した装置に、判定結果を送信してもよい。
領域判定部150は、領域の判定に所定のモデルを用いてもよい。
なお、増水における危険性を判定するための領域は、通常の水位からの増加(増水)を判定できればよい。そのため、増水における危険を判定するための領域は、水と非水との境界の領域(境界画素の領域)と、非水の領域(非水画素の領域)とを含めばよい。領域判定装置11がこのような領域を用いる場合、領域判定装置11は、水画素計測部120を含まなくてもよい。この場合、領域判定部150は、非水画素の数と、境界画素の数とを基に、判定領域が判定条件を満足するか否かを判定する。
さらに、領域判定装置11における判定は、同じ位置を撮影した画像における画素(同一画角の同一位置の画素)を用いた判定に限定されない。
例えば、領域判定装置11は、同一の被写体を含む異なる画角の画像を用いて、判定領域を判定してもよい。異なる画角の画像は、異なる画角で撮影された一枚ずつの画像でもよく、異なる画角で撮影された複数の画像でもよい。
この場合の動作の一例を説明する。
まず、領域判定装置11は、全てのフレームに含まれ、かつ、動かない被写体を検出する。
そして、領域判定装置11は、その被写体に基づいて、フレーム間でのマッチングを取る。例えば、領域判定装置11は、フレーム間における画素の位置の変換規則を算出する。
そして、領域判定装置11は、マッチングの結果を基に、各フレームにおける判定領域の位置を決定する。例えば、領域判定装置11は、あるフレームにおいて指定された判定領域の位置と、変換規則とを基に、他のフレームにおける判定領域の位置及び対応する画素を決定する。そして、領域判定装置11は、各フレームにおける判定領域の画素を用いて、判定を実行すればよい。
[動作の説明]
次に、図面を参照して、第1の実施形態に係る領域判定装置11の動作について説明する。
次に、図面を参照して、第1の実施形態に係る領域判定装置11の動作について説明する。
図2は、第1の実施形態に係る領域判定装置11の動作の一例を示すフロー図である。
まず、尤度算出部110が、画像全体又は判定領域における全ての画素の尤度を算出する(ステップS402)。
水画素計測部120が、判定領域における水画素の数を計測する(ステップS403)。
非水画素計測部130は、判定領域における非水画素の数を計測する(ステップS404)。
境界画素計測部140は、判定領域における境界画素の数を計測する(ステップS405)。
水画素計測部120、非水画素計測部130、及び境界画素計測部140は、逐次的に動作してもよい。あるいは、水画素計測部120、非水画素計測部130、及び境界画素計測部140は、少なくとも一部の動作を並列的に実行してもよい。水画素計測部120、非水画素計測部130、及び境界画素計測部140の動作の順番は、入れ替わってもよい。
そして、領域判定部150は、計測結果を基に、判定領域が判定条件を満足するか否かを判定する(ステップS406)。
領域判定部150は、所定の装置などに判定結果を出力する。
[効果の説明]
次に、第1の実施形態に係る領域判定装置11の効果を説明する。
次に、第1の実施形態に係る領域判定装置11の効果を説明する。
領域判定装置11は、基準となる物体を必要としないで、領域を判定するとの効果を奏することができる。
その理由は、次のとおりである。
領域判定装置11は、尤度算出部110と、非水画素計測部130と、境界画素計測部140と、領域判定部150とを含む。尤度算出部110は、複数のフレームを含む画像における画素の水らしさの尤度を算出する。非水画素計測部130は、フレームそれぞれにおける判定の対象である判定領域のいずれかにおいて、第1の非水範囲に尤度が入る非水画素の数を計測する。境界画素計測部140は、判定領域のいずれかにおいて第1の水範囲に尤度が入り、かつ、判定領域のいずれかにおいて第2の非水範囲に尤度が入る、境界画素の数を計測する。領域判定部150は、非水画素の数及び境界画素の数を基に、判定領域が所定の判定条件を満足するか否かを判定する。
水位を判定する領域は、少なくとも、水面の領域(水と非水との境界となる領域)と、水位が増加する領域(非水の領域)とを含む必要がある。
そこで、第1の実施形態に係る領域判定装置11は、次のように、判定領域が判定条件を満足するか否かを、判定する。まず、尤度算出部110が、画像の画素の尤度(例えば、水尤度)を算出する。そして、非水画素計測部130が、判定領域において、算出した尤度を基に非水画素の数を計測する。さらに、境界画素計測部140が、判定領域において、境界画素の数を計測する。そして、領域判定部150は、判定領域において、非水画素の数と境界画素の数とが判定条件を満足するか否かを判定する。例えば、領域判定部150は、判定領域が、非水画素及び境界画素を、それぞれ所定数以上含むか否かを判定する。
領域判定装置11は、画素の尤度を用いて領域を判定する。詳細には、領域判定装置11は、尤度を基に非水画素の数と境界画素の数とを算出し、非水画素の数と境界画素の数とを用いて判定領域が判定条件を満足するか否かを判定している。この判定において、領域判定装置11は、領域内に基準となる物体を必要としない。このように、領域判定装置11は、基準となる物体を必要としないで、判定領域を判定することができる。
さらに、領域判定装置11は、水画素計測部120を含む。一般的に、非水の領域は、物が置かれたり、撤去されたりする。また、非水の領域は、植物が生える及び枯れたりする。非水の領域は、水の領域に比べ、変化の幅が大きい。言い換えると、水画素の尤度は、非水画素の尤度より安定している。
領域判定装置11の領域判定部150は、水画素計測部120が計測した水画素の数を用いて、より安定的に領域を判定できる。
<第2の実施形態>
第1の実施形態に係る領域判定装置11は、監視者などから与えられた領域を判定する。第1の実施形態を利用する場合、監視者は、判定領域を選択して領域判定装置11に送信し、領域判定装置11からの判定結果を基に、判定領域が希望の条件(判定条件)を満足するか否かを知ることができる。ただし、指定した判定領域が判定条件を満足しない場合、監視者は、別の判定領域を探す必要がある。監視者に対して、監視者が希望する条件(判定条件)を満足する判定領域を提供できると、監視者に対する利便性が向上する。
第1の実施形態に係る領域判定装置11は、監視者などから与えられた領域を判定する。第1の実施形態を利用する場合、監視者は、判定領域を選択して領域判定装置11に送信し、領域判定装置11からの判定結果を基に、判定領域が希望の条件(判定条件)を満足するか否かを知ることができる。ただし、指定した判定領域が判定条件を満足しない場合、監視者は、別の判定領域を探す必要がある。監視者に対して、監視者が希望する条件(判定条件)を満足する判定領域を提供できると、監視者に対する利便性が向上する。
第2の実施形態に係る領域判定装置12は、図示しない外部の装置から、処理の対象となる画像、領域の設定に対する所定の規則(以下、「設定規則」と呼ぶ)、及び判定条件を取得する。あるいは、領域判定装置12は、図示しない記憶部などに予め保持された、画像、設定規則、及び判定条件を用いて動作してもよい。
そして、領域判定装置12は、設定規則を基に画像において判定領域を設定し、設定した判定領域が判定条件を満足するか否かを判定する。設定した判定領域が判定条件を満足しない場合、領域判定装置12は、設定規則を用いて別の判定領域を設定する。領域判定装置12は、設定した判定領域が判定条件を満足するまで同様の動作を繰り返す。設定した判定領域が判定条件を満足する場合、領域判定装置12は、その判定領域を出力する。
設定規則は、限定されない。例えば、設定規則は、判定領域の形状及び大きさである。
設定規則は、判定領域の変更に関する所定の規則(以下、「変更規則」と呼ぶ)を含んでもよい。変更規則は、限定されない。例えば、変更規則は、判定領域の大きさ(例えば、幅と高さ)の増加量、及び/又は、判定領域を移動させる移動量である。
さらに、設定規則は、設定される判定領域が満足する条件(以下、「設定条件」と呼ぶ)を含んでもよい。設定条件は、限定されない。例えば、設定条件は、判定領域における画素の輝度の変化量、又は、判定領域に含まれるエッジの長さである。
さらに、領域判定装置12は、変更規則を含む設定規則を基に複数の判定領域を設定し、判定領域それぞれに対する判定結果を用いて複数の判定領域の中から判定条件を満足する一つ又は複数の判定領域を選択し、選択した判定領域を出力してもよい。
次に、図面を参照して、第2の実施形態に係る領域判定装置12について説明する。
[構成の説明]
まず、図面を参照して、第2の実施形態に係る領域判定装置12の構成について説明する。
まず、図面を参照して、第2の実施形態に係る領域判定装置12の構成について説明する。
図3は、第2の実施形態に係る領域判定装置12の構成の一例を示すブロック図である。
領域判定装置12は、第1の実施形態に係る領域判定装置11の構成と比較すると、領域判定部150に替えて領域判定部151を含む。さらに、領域判定装置12は、領域設定部160を含む。第1の実施形態と同様の構成の詳細な説明を適宜省略し、第2の実施形態に係る領域判定装置12に特有の構成について説明する。
領域設定部160は、設定規則に基づいて、判定領域を設定する。そして、領域設定部160は、設定規則に基づいて設定した判定領域を、水画素計測部120と、非水画素計測部130と、境界画素計測部140と、領域判定部151とに通知する。
領域設定部160における判定領域の設定の手法は、限定されない。
例えば、領域設定部160は、次のように判定領域を設定する。
領域設定部160は、設定規則として、判定領域の形状(例えば、四角形の高さと幅)を取得する。そして、領域設定部160は、ランダムに、画像における位置を選択する。領域設定部160は、選択した位置に判定領域を設定する。
設定規則が設定条件を含む場合、領域設定部160は、次のように判定領域を設定する。
領域設定部160は、設定規則として、判定領域の形状(例えば、四角形の高さと幅)と設定条件(例えば、判定領域における画素の輝度幅の下限、又は、判定領域におけるエッジ長の下限)とを取得する。そして、領域設定部160は、ランダムに、画像における位置を選択する。領域設定部160は、選択した位置に判定領域を設定し、判定領域が設定条件を満足するか否かを判定する。設定した判定領域が設定条件を満足しない場合、領域設定部160は、ランダムに次の位置を選択し、同様の動作を繰り返す。設定した判定領域が設定条件を満足する場合、領域設定部160は、その位置に判定領域を設定する。
あるいは、設定規則が、設定条件と変更規則とを含む場合、領域設定部160は、次のように判定領域を設定する。
領域設定部160は、判定領域の大きさ(例えば、四角形の高さと幅)と、判定領域の変更規則(例えば、高さと幅との増加量と上限)と、設定条件(例えば、領域内における輝度幅の下限)とを取得する。そして、領域設定部160は、ランダムに、画像における位置を選択する。領域設定部160は、選択した位置に、取得した大きさの判定領域を設定して、判定領域が設定条件を満足するか否かを判定する。設定した判定領域が設定条件を満足しない場合、領域設定部160は、変更規則を用いて判定領域を変更し、設定した判定領域が設定条件を満足するか否かを判定する。判定領域が判定条件を満足するまで、領域設定部160は、変更規則に沿って判定領域を変更しながら、同様の動作を繰り返す。変更規則に沿った全ての変更を適用しても設定した判定領域が設定条件を満足しない場合、領域設定部160は、ランダムに次の位置を選択し、同様の動作を繰り返す。設定した判定領域が設定条件を満足する場合、領域設定部160は、その時の判定領域を各構成に通知する。
変更規則が複数の変更内容(例えば、大きさの増加量と移動量)を含み、それぞれの変更内容の使用順が指定されていない場合、領域設定部160は、複数の変更内容の使用順を限定されない。例えば、変更規則が大きさに関する増加量と移動量とを含む場合、領域設定部160は、各位置において、まず判定領域の大きさを変更し、いずれの大きさの判定領域も判定条件を満足しない場合に判定領域の位置を変更してもよい。あるいは、領域設定部160は、まず判定領域の位置を変更し、いずれの位置の判定領域も判定条件を満足しない場合に判定領域の大きさを変更してもよい。
領域設定部160は、一つに限られず、一度に複数の判定領域を設定してもよい。例えば、領域設定部160は、変更規則に基づいて、複数の判定領域を設定してもよい。
具体的な例を用いて説明する。
例えば、画像、及び判定領域は、四角形とする。そして、領域設定部160が、設定規則として、「判定領域の大きさ」及び「(変更規則として)1ピクセルの移動」を取得したとする。この場合、領域設定部160は、次のように複数の判定領域を設定してもよい。
領域設定部160は、最初に、画像の最左端の最上端において上記の大きさの判定領域を設定する。次に、領域設定部160は、右方向に1ピクセル移動した位置に判定領域を設定する。領域設定部160は、右端にたどり着くまで、1ピクセルずつ移動しながら判定領域を設定する。判定領域が右端までたどり着くと、領域設定部160は、左端における下方向に1ピクセル移動した位置に判定領域を設定する。そして、領域設定部160は、同様に、左端から右端まで、1ピクセルずつ移動した判定領域を設定する。以降、領域設定部160は、最下端の最右端の判定領域まで、同様の動作を繰り返して判定領域を設定する。
なお、領域設定部160が判定領域を1ピクセルずつ移動させる場合、領域設定部160は、最も重なり合った判定領域を設定する。一方、領域設定部160が横方向の移動量として判定領域の幅以上、及び、縦方向の移動量として判定領域の高さ以上を用いて判定領域を移動させる場合、領域設定部160は、重なりがない判定領域を設定する。
領域判定部151は、領域判定部150と同様に、水画素の数、非水画素の数、及び境界画素の数を基に、判定領域を判定する。さらに、領域判定部151は、判定条件を満足する判定領域を出力する。例えば、領域判定部151は、図示しない装置(例えば、設定規則と判定条件とを送付してきた装置)に判定領域を出力する。あるいは、領域判定部151は、図示しない表示機器に判定領域を表示してもよい。
領域判定装置12は、判定領域を一つずつ、処理してもよい。この場合の動作の一例を説明する。
領域設定部160は、設定規則を基に、一つの判定領域を設定する。水画素計測部120、非水画素計測部130、及び、境界画素計測部140は、判定領域におけるそれぞれの画素を計測する。そして、領域判定部151は、判定条件を基に判定領域を判定する。判定領域が判定条件を満足しない場合、領域判定部151は、領域設定部160に、次の判定領域の設定を指示する。領域判定装置12は、判定領域が判定条件を満足するまで、上記の動作を繰り返す。判定領域が判定条件を満足した場合、領域判定部151は、判定条件を満足した判定領域を出力する。
領域判定装置12は、複数の判定領域をまとめて処理してもよい。この場合の動作の一例を説明する。
領域設定部160は、設定規則を基に、複数の判定領域を設定する。水画素計測部120、非水画素計測部130、及び境界画素計測部140は、複数の判定領域それぞれにおける画素を計測する。領域判定部151は、複数の判定領域の中から判定条件を満足する判定領域を選択し、選択した判定領域を出力する。
領域判定装置12は、所定の処理単位の判定領域の集合ごとに、上記の動作を繰り返してもよい。
領域判定部151が判定領域として出力する情報は、限定されない。例えば、領域判定部151は、判定領域の外形を示す情報を出力してもよい。判定領域の形状が四角形の場合、判定領域の外形を示す情報の一例は、「頂点(例えば、画面上の左上の頂点)の位置、幅、及び高さ」である。あるいは、判定領域が多角形の場合、判定領域の外形を示す情報は、例えば、全ての頂点の座標である。
領域判定部151は、所定の評価値を用いて、複数の判定領域から判定領域を選択してもよい。例えば、領域判定部151は、判定条件を満足する判定領域の中から所定の評価値が最も高い一つの判定領域を出力してもよい。あるいは、領域判定部151は、判定条件を満足する判定領域の中から、所定の評価値が高い方から所定数の判定領域、又は、所定の評価値が所定の閾値より高い複数の判定領域を出力してもよい。
なお、領域判定部151が用いる評価値は、限定されない。例えば、領域判定部151は、評価値として、水画素の尤度の平均値と非水画素の尤度の平均値との差の絶対値を用いてもよい。
複数の判定領域の評価値が同程度の値となる場合が想定される。なお、同程度とは、複数の評価値が完全に一致する場合に限られない。同程度は、誤差及び/又はマージンを考慮すると実質的には差がないと判定される範囲に、複数の評価値が含まれる場合を含む。
評価値が同程度の値となる場合、領域判定部151は、追加情報を用いて、判定領域を選択してもよい。
追加情報は、限定されない。例えば、領域判定部151は、追加情報として、判定領域を用いた判定において有用となる特徴を用いてもよい。
例えば、人が判定する判定領域の場合、領域判定部151は、水画素の領域と非水画素の領域とにおけるコントラストの差(輝度、彩度、及び又は色相の差)が大きい判定領域を選択してもよい。あるいは、領域判定部151は、画素値の飽和を避けるために、画素値が所定の範囲内となっている判定領域を選択してもよい。
あるいは、コンピュータが判定する場合、領域判定部151は、コンピュータが用いる手法(例えば、機械学習を用いて学習したモデルを用いた判別)の算出に適した判定領域を選択してもよい。例えば、領域判定部151は、画素の特徴量の範囲が広い判定領域を選択してもよい。あるいは、領域判定部151は、水画素の尤度の平均値と非水画素の尤度の平均値の差が大きく、それぞれの尤度の標準偏差が小さい判定領域を選択してもよい。
あるいは、複数の判定領域の評価値が同程度となった場合、領域判定部151は、全ての判定領域を選択してもよい。あるいは、領域判定部151は、所定の選択手法(例えば、ラウンドロビン、又は、疑似乱数)を用いて、一つ又は一部の判定領域を選択してもよい。
領域判定部151は、判定領域に加え、評価値などを出力してもよい。
なお、領域設定部160及び/又は領域判定部151は、所定のモデルを用いて動作してもよい。
[動作の説明]
次に、図面を参照して、第2の実施形態に係る領域判定装置12の動作について説明する。
次に、図面を参照して、第2の実施形態に係る領域判定装置12の動作について説明する。
図4は、第2の実施形態に係る領域判定装置12の動作の一例を示すフロー図である。第1の実施形態と同様の動作の説明を適宜省略し、第2の実施形態に係る領域判定装置12に特有の動作について説明する。
領域設定部160は、設定規則に基づいて判定領域を設定する(ステップS401)。
ステップS402からS405において、領域判定装置12は、第1の実施形態の領域判定装置11と同様に動作する。
領域判定部151は、判定領域が判定条件を満足する否かを判定する(ステップS407)。
判定領域が判定条件を満足しない場合(ステップS407でNo)、領域判定装置12は、ステップS401に戻る。
判定領域が判定条件を満足する場合(ステップS407でYes)、領域判定部151は、判定領域を出力する(ステップS408)。
なお、領域判定装置12は、複数の判定領域を一度に処理してもよい。この場合、領域判定装置12は、ステップS407の動作を実行しないで、次のように動作する。
ステップS401において、領域設定部160は、複数の判定領域を設定する。
ステップS402ないしS405において、尤度算出部110と、水画素計測部120と、非水画素計測部130と、境界画素計測部140は、複数の判定領域に対して動作する。
そして、ステップS408において、領域判定部151は、複数の判定領域の中から、判定条件を満足する判定領域を出力する。
[効果の説明]
次に、第2の実施形態に係る領域判定装置12の効果を説明する。
次に、第2の実施形態に係る領域判定装置12の効果を説明する。
第2の実施形態に係る領域判定装置12は、第1の実施形態の効果に加え、監視者などにおける判定領域の設定作業を軽減するとの効果を得ることができる。
その理由は、領域判定装置12が、指定された設定規則に基づいて、判定条件を満足する判定領域を出力するためである。詳細には、領域判定部151において判定領域が判定条件を満足すると判定されるまで、領域設定部160が、判定領域の設定を繰り返すためである。
例えば、監視者が、領域判定装置12に、所定の記憶装置などに保存されている画像に対する設定規則と、判定条件とを通知する。領域設定部160は、設定規則に基づいて判定領域を設定する。領域判定部151は、設定された判定領域が判定条件を満足するか否かを判定する。判定領域が判定条件を満足しない場合、領域判定部151は、領域設定部160に、判定領域の再設定を指示する。領域判定装置12は、領域設定部160が設定した判定領域が判定条件を満足するまで、同様の動作を繰り返す。判定領域が判定条件を満足した場合、領域判定部151は、判定領域を出力する。このような動作を基に、領域判定装置12は、判定条件を満足する判定領域を出力する。
さらに、領域設定部160は、複数の判定領域を設定してもよい。この場合、領域判定部151は、複数の判定領域において、判定条件を満足する判定領域を出力する。
<第3の実施形態>
第2の実施形態に係る領域判定装置12は、設定規則及び判定条件を基に、判定領域を設定する。ただし、設定規則及び判定条件を満足する領域において、車などの移動物が含まれる場合が想定される。移動物は、時間とともに位置などを変更する。そのため、移動体を含む領域は、監視対象(例えば、河川)に関連しない変化が発生する。そのような領域は、選択されない方がよい。
第2の実施形態に係る領域判定装置12は、設定規則及び判定条件を基に、判定領域を設定する。ただし、設定規則及び判定条件を満足する領域において、車などの移動物が含まれる場合が想定される。移動物は、時間とともに位置などを変更する。そのため、移動体を含む領域は、監視対象(例えば、河川)に関連しない変化が発生する。そのような領域は、選択されない方がよい。
第3の実施形態に係る領域判定装置13は、より適切な判定領域を設定する。
次に、図面を参照して、第3の実施形態について説明する。
[構成の説明]
図面を参照して、第3の実施形態に係る領域判定装置13の構成について説明する。
図面を参照して、第3の実施形態に係る領域判定装置13の構成について説明する。
図5は、第3の実施形態に係る領域判定装置13の構成の一例を示すブロック図である。
領域判定装置13は、第2の実施形態に係る領域判定装置12の構成と比較すると、領域設定部160に替えて領域設定部161を含む。さらに、領域判定装置13は、領域検出部170を含む。第2の実施形態と同様の構成の詳細な説明を適宜省略し、第3の実施形態に係る領域判定装置13に特有の構成について説明する。
領域検出部170は、画像において、領域設定部161が判定領域を設定する際に参照する領域を検出し、領域設定部161に通知する。
例えば、領域検出部170は、画像において、判定領域に含ませるのを避けた方がよい領域(以下、「非推奨領域」と呼ぶ)を検出する。非推奨領域とは、例えば、移動物(例えば、浮遊物、船、歩行者又は自動車)を含む領域(例えば、樹木の近傍、航路又は道路)、又は、外観又は形状が変化する物体(例えば、植物が多い領域)を含む領域である。あるいは、非推奨領域とは、物体の影の領域のように、時間、季節、又は、天候などの影響を受けやすい領域である。
領域検出部170が非推奨領域を検出する場合、領域設定部161は、非推奨領域を含まない判定領域を設定することが望ましい。ただし、例えば、桟橋の周辺は、移動物である船が行き来する領域であるが、水位を判定したい領域でもある。この場合、領域設定部161は、桟橋の周辺を含む判定領域を設定することが望ましい。このように、非推奨領域を判定される領域でも、周囲との関係から判定領域に含ませた方がよい領域もある。そこで、領域設定部161は、非推奨領域を必要な範囲で含むように、又は、非推奨領域を可能な範囲で含まないように、判定領域を設定すればよい。つまり、領域設定部161は、領域検出部170が検出した非推奨領域を参照して判定領域を設定する。
あるいは、領域検出部170は、判定領域に含ませた方がよい領域(以下、「推奨領域」と呼ぶ)を検出してもよい。推奨領域とは、例えば、アスファルトの領域である。アスファルトは、構造が固定化され、水と非水との境界を明確に判定しやすいためである。推奨領域は、所定の条件を満たす領域(例えば、増水時における危険ライン)でもよい。
領域検出部170が推奨領域を検出する場合、領域設定部161は、領域検出部170が検出した推奨領域を可能な範囲で含むように、又は、推奨領域を必要な範囲で含むように、判定領域を設定すればよい。つまり、領域設定部161は、領域検出部170が検出した推奨領域を参照して判定領域を設定する。
領域検出部170は、非推奨領域と、推奨領域との両方を検出してもよい。この場合、領域設定部161は、領域検出部170が検出した非推奨領域及び/又は推奨領域を参照して判定領域を設定する。
さらに、領域検出部170は、尤度に対する信頼度を用いて、非推奨領域及び/又は推奨領域を検出してもよい。
例えば、高輝度及び低輝度の画素は、飽和する可能性が高い。そこで、領域検出部170は、高輝度及び低輝度となっている画素に低い信頼度を設定し、中輝度となっている画素に高い信頼度を設定する。そして、領域検出部170は、信頼度を基に推奨領域及び/又は非推奨領域を検出する。例えば、信頼度が低い画素の比率が高い領域は、非推奨領域の一例である。信頼度が高い画素の比率が高い領域は、推奨領域の一例である。上記の動作を基に、領域検出部170は、飽和する可能性が高い画素を避けた領域を検出できる。
ただし、信頼度の算出方法は、上記に限定されない。例えば、領域検出部170は、テンプレートなどを用いて、フレームに含まれる移動体(例えば、人、車、及び/又は船)を検出してもよい。そして、領域検出部170は、移動体の画素に対して低い信頼度を設定し、固定物の画素に対して高い信頼度を設定してもよい。
また、領域検出部170は、信頼度の算出に複数のフレームを用いてもよい。例えば、領域検出部170は、複数のフレームを用いて、移動体を検出してもよい。
あるいは、領域検出部170は、時間経過に応じた画素における輝度変化及び/又は色変化を用いてもよい。例えば、領域検出部170は、画素の信頼度として、時間経過において変化が少ない画素に高い信頼度を設定し、変化が多い画素に低い信頼度を設定してもよい。
あるいは、領域検出部170は、信頼度として、所定数のフレームの信頼度の平均値を用いてもよい。
あるいは、領域検出部170は、信頼度の算出に、画像の特徴を用いてもよい。例えば、画像が、画像特徴の変化が多い領域(例えば、テクスチャ領域)と、画像特徴が一定となっている領域(平坦領域)とを含むとする。テクスチャ領域は、表面の形状が複雑となっている場合が想定される。このような形状が複雑な領域は、外乱の影響を受けやすい。テクスチャ領域が複雑な形状と推定される場合、領域検出部170は、平坦領域に高い信頼度を設定し、テクスチャ領域に低い信頼度を設定してもよい。
ただし、テクスチャ領域が、高い信頼度を備えた領域の場合もある。例えば、タイルを敷き詰めた堤防は、テクスチャ領域であり、かつ、構造が固定化されている。この場合、領域検出部170は、そのテクスチャ領域に高い信頼度を設定してもよい。なお、テクスチャ領域は、類似した特徴を備えた領域の繰り返しとなる。そこで、領域検出部170は、類似した特徴における単位領域の中の一つを選択して信頼度を算出し、他の単位領域に同様の信頼度を設定してもよい。この場合、領域検出部170は、信頼度の算出に必要な負荷を低減できる。
領域設定部161は、領域検出部170が検出した領域(非推奨領域及び/又は推奨領域)を参照する以外は、領域設定部160と同様に動作する。
[効果の説明]
次に、第3の実施形態に係る領域判定装置13の効果について説明する。
次に、第3の実施形態に係る領域判定装置13の効果について説明する。
第3の実施形態に係る領域判定装置13は、第2の実施形態に係る領域判定装置12の効果に加え、より適切な判定領域を設定するとの効果を得ることができる。
その理由は、次のとおりである。
領域検出部170が、設定される判定領域に含ませない方がよい領域、及び/又は、設定される領域に含ませない方がよい領域を検出する。領域設定部161は、領域検出部170が検出した領域を参照して、判定領域を設定する。このような動作を基に、領域判定装置13は、より適切な判定領域を設定できる。
<第4の実施形態>
第2の実施形態に係る領域判定装置12が設定する判定領域は、所定の検知に用いられる。例えば、その判定領域は、増水時において、警報を発する高さ(危険ライン)まで水位が達したかなどの検知に用いられる。この場合、実際の判定に用いられる領域は、検知に用いられる領域(例えば、危険ライン)を含むことが望ましい。ただし、検知に用いられる領域が、最も判定条件を満足する領域に含まれると限らない。領域判定装置12が設定した判定領域が検知に用いられる領域を含まない場合がある。
第2の実施形態に係る領域判定装置12が設定する判定領域は、所定の検知に用いられる。例えば、その判定領域は、増水時において、警報を発する高さ(危険ライン)まで水位が達したかなどの検知に用いられる。この場合、実際の判定に用いられる領域は、検知に用いられる領域(例えば、危険ライン)を含むことが望ましい。ただし、検知に用いられる領域が、最も判定条件を満足する領域に含まれると限らない。領域判定装置12が設定した判定領域が検知に用いられる領域を含まない場合がある。
第4の実施形態に係る領域判定装置14は、所定の領域(例えば、危険ラインを含む領域)を、設定された判定領域に追加する。第4の実施形態において、追加される領域は、限定されない。例えば、追加される領域は、増水時などにおける通報を判定する領域(危険ライン)を含む領域である。あるいは、追加される領域は、空の領域など、水領域とはならない非水領域である。
次に、図面を参照して、第4の実施形態について説明する。
[構成の説明]
第4の実施形態に係る領域判定装置14の構成について、図面を参照して説明する。
第4の実施形態に係る領域判定装置14の構成について、図面を参照して説明する。
図6は、第4の実施形態に係る領域判定装置14の構成の一例を示すブロック図である。
領域判定装置14は、第2の実施形態に係る領域判定装置12の構成に加え、領域追加部180を含む。第2の実施形態と同様の構成の詳細な説明を適宜省略し、第4の実施形態に係る領域判定装置14に特有の構成について説明する。
なお、領域判定装置14は、第3の実施形態における領域設定部161、及び領域検出部170を含んでもよい。
領域追加部180は、領域判定部151が出力した判定領域に、所定の追加領域を追加した領域を出力する。領域追加部180における追加領域の取得元は、限定されない。領域追加部180は、図示しない外部の装置などから、追加領域を取得すればよい。
追加領域の一部は、判定領域と重なっていてもよい。この場合、領域追加部180は、判定領域に含まれない追加領域を、判定領域に追加した領域を出力すればよい。
あるいは、追加領域は、判定領域から離れた領域でもよい。この場合、領域追加部180は、判定領域と追加領域とを出力してもよく、判定領域と追加領域とそれらに挟まれる領域とを含めた領域を出力してもよい。
[追加の構成]
実際の監視には、多くの画像及び監視カメラが、用いられている。そのため、危険ラインの領域の設定は、多くの工数を必要とする。領域判定装置14は、所定の参照情報を基に、追加領域を決定してもよい。
実際の監視には、多くの画像及び監視カメラが、用いられている。そのため、危険ラインの領域の設定は、多くの工数を必要とする。領域判定装置14は、所定の参照情報を基に、追加領域を決定してもよい。
図7は、追加領域決定部190を含む領域判定装置15の構成の一例を示すブロック図である。
領域判定装置15は、領域判定装置14の構成に加え、追加領域決定部190を含む。
追加領域決定部190は、追加するための領域を決定する。例えば、追加領域決定部190は、図示しない装置から増水時の水位を含む参照画像を取得し、取得した参照画像を用いて追加領域を決定する。
より具体的な例として、河川の増水時における危険ラインを含む領域を追加する場合について説明する。
危険となる増水時は、河川の水の色及び/又は状態(例えば、波の形状及び数、並びに、泡の有無など)、並びに、河川の流速が、変化する。そこで、追加領域決定部190は、参照画像として、増水時の水位及び/又は水面の特徴を備えた画像を取得する。そして、追加領域決定部190は、増水時の特徴を備えた画像における水位を危険ラインとして判定する。そして、追加領域決定部190は、追加領域として、その危険ラインを含む領域を決定する。
なお、追加領域決定部190は、参照画像として、例えば、所定の気象情報(例えば、大雨注意報、又は、洪水注意報)が発令された時の画像を、所定の機関(例えば、気象庁又は気象予報会社)から取得すればよい。
あるいは、追加領域決定部190は、追加領域として、増水時における水位の監視対象(例えば、橋、水門、及び/又は、堤防)を含む領域を決定してもよい。
追加領域決定部190は、決定した追加領域を、領域追加部180に通知する。
領域追加部180は、通知された追加領域を、領域判定部151が出力した判定領域に追加する。
[効果の説明]
次に、第4の実施形態に係る領域判定装置14及び15の効果について説明する。
次に、第4の実施形態に係る領域判定装置14及び15の効果について説明する。
領域判定装置14及び15は、第2の実施形態に係る効果に加え、所定の処理(例えば、増水の検知)に用いられる領域を出力するとの効果を得ることができる。
その理由は、領域追加部180が、領域判定部151が出力する判定領域に、所定の追加領域を追加した領域を出力するためである。
さらに、領域判定装置15は、追加領域の作成工数を軽減するとの効果を得ることができる。
その理由は、追加領域決定部190が、参照情報を基に、追加領域を決定するためである。
<実施形態の概要>
図面を参照して、本発明における実施形態の概要を説明する。
図面を参照して、本発明における実施形態の概要を説明する。
図8は、本発明における実施形態の概要の一例である領域判定装置10の構成の一例を示すブロック図である。
領域判定装置10は、尤度算出部110と、非水画素計測部130と、境界画素計測部140と、領域判定部150とを含む。尤度算出部110は、複数のフレームを含む画像における画素の水らしさの尤度を算出する。非水画素計測部130は、フレームそれぞれにおける判定の対象である判定領域のいずれかにおいて、第1の非水範囲に尤度が入る非水画素の数を計測する。境界画素計測部140は、判定領域のいずれかにおいて第1の水範囲に尤度が入り、かつ、判定領域のいずれかにおいて第2の非水範囲に尤度が入る、境界画素の数を計測する。領域判定部150は、非水画素の数及び境界画素の数を基に、判定領域が所定の判定条件を満足するか否かを判定する。
領域判定装置10の各構成は、領域判定装置11などにおける対応する各構成と同様に動作する。
このように構成された領域判定装置10は、領域判定装置11と同様の効果を得ることができる。
その理由は、領域判定装置10の各構成が、領域判定装置11における同様の構成と同様に動作し、判定領域に対する評価結果を出力するためである。
なお、領域判定装置10は、本発明に実施形態における最小構成である。
<ハードウェア構成>
次に、領域判定装置10を用いて、ハードウェアの構成について説明する。領域判定装置11ないし14は、以下のハードウェア構成と同様の構成を用いて構成されてもよい。
次に、領域判定装置10を用いて、ハードウェアの構成について説明する。領域判定装置11ないし14は、以下のハードウェア構成と同様の構成を用いて構成されてもよい。
例えば、領域判定装置10の各構成部は、ハードウェア回路で構成されてもよい。
あるいは、領域判定装置10において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。
あるいは、領域判定装置10において、複数の構成部は、1つのハードウェアで構成されてもよい。
あるいは、領域判定装置10は、CPU(Central Processing Unit)と、ROM(Read Only Memory)と、RAM(Random Access Memory)とを含むコンピュータ装置として実現されてもよい。領域判定装置10は、上記構成に加え、さらに、入出力接続回路(IOC:Input and Output Circuit)を含むコンピュータ装置として実現されてもよい。領域判定装置10は、上記構成に加え、さらに、ネットワークインターフェース回路(NIC:Network Interface Circuit)を含むコンピュータ装置として実現されてもよい。
図9は、領域判定装置10のハードウェア構成の一例である情報処理装置600の構成を示すブロック図である。
情報処理装置600は、CPU610と、ROM620と、RAM630と、内部記憶装置640と、IOC650と、NIC680とを含み、コンピュータ装置を構成している。
CPU610は、ROM620からプログラムを読み込む。そして、CPU610は、読み込んだプログラムに基づいて、RAM630と、内部記憶装置640と、IOC650と、NIC680とを制御する。そして、CPU610を含むコンピュータは、これらの構成を制御し、図8に示されている、尤度算出部110と、非水画素計測部130と、境界画素計測部140と、領域判定部150としての各機能を実現する。
CPU610は、各機能を実現する際に、RAM630又は内部記憶装置640を、プログラムの一時記憶媒体として使用してもよい。
また、CPU610は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体700が含むプログラムを、図示しない記憶媒体読み取り装置を用いて読み込んでもよい。あるいは、CPU610は、NIC680を介して、図示しない外部の装置からプログラムを受け取り、RAM630又は内部記憶装置640に保存して、保存したプログラムを基に動作してもよい。
ROM620は、CPU610が実行するプログラム及び固定的なデータを記憶する。ROM620は、例えば、P-ROM(Programmable-ROM)又はフラッシュROMである。
RAM630は、CPU610が実行するプログラム及びデータを一時的に記憶する。RAM630は、例えば、D-RAM(Dynamic-RAM)である。
内部記憶装置640は、情報処理装置600が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置640は、CPU610の一時記憶装置として動作してもよい。内部記憶装置640は、例えば、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)又はディスクアレイ装置である。
ROM620と内部記憶装置640とは、不揮発性(non-transitory)の記憶媒体である。一方、RAM630は、揮発性(transitory)の記憶媒体である。そして、CPU610は、ROM620、内部記憶装置640、又は、RAM630に記憶されているプログラムを基に動作可能である。つまり、CPU610は、不揮発性記憶媒体又は揮発性記憶媒体を用いて動作可能である。
IOC650は、CPU610と、入力機器660及び表示機器670とのデータを仲介する。IOC650は、例えば、IOインターフェースカード又はUSB(Universal Serial Bus)カードである。さらに、IOC650は、USBのような有線に限らず、無線を用いてもよい。
入力機器660は、情報処理装置600の操作者からの入力指示を受け取る機器である。入力機器660は、例えば、キーボード、マウス又はタッチパネルである。
表示機器670は、情報処理装置600の操作者に情報を表示する機器である。表示機器670は、例えば、液晶ディスプレイである。
NIC680は、ネットワークを介して図示しない外部の装置とのデータのやり取りを中継する。NIC680は、例えば、LAN(Local Area Network)カードである。さらに、NIC680は、有線に限らず、無線を用いてもよい。
このように構成された情報処理装置600は、領域判定装置10と同様の効果を得ることができる。
その理由は、情報処理装置600のCPU610が、プログラムに基づいて領域判定装置10と同様の機能を実現できるためである。
<監視システム>
図10は、領域判定装置11を含む監視システム60の一例を示すブロック図である。監視システム60は、領域判定装置11に替えて、領域判定装置10及び12ないし15のいずれか一つの装置を含んでもよい。
図10は、領域判定装置11を含む監視システム60の一例を示すブロック図である。監視システム60は、領域判定装置11に替えて、領域判定装置10及び12ないし15のいずれか一つの装置を含んでもよい。
監視システム60は、監視カメラ20と、切替え装置30と、表示モニタ40と、領域判定装置11と、警報装置50とを含む。
監視カメラ20は、監視対象の画像(動画像)を撮影する。監視カメラ20の数は、限定されない。監視システム60は、1つの監視カメラ20を含んでもよく、複数の監視カメラ20を含んでもよい。
切替え装置30は、接続されている複数の監視カメラ20の中から、所定の間隔及び所定の切替え規則に沿って表示モニタ40などに接続する監視カメラ20を選択し、選択した監視カメラ20の画像を表示モニタ40などに出力する。監視システム60が、一つの監視カメラ20を含む場合、監視システム60は、切替え装置30を含まない。
表示モニタ40は、切替え装置30からの画像を表示する。なお、監視システム60は、一つの表示モニタ40を含んでもよく、複数の表示モニタ40を含んでもよい。監視システム60が、一つの監視カメラ20を含む場合、監視システム60は、1つの表示モニタ40を含む。この場合、表示モニタ40は、監視カメラ20からの画像を表示する。
領域判定装置11は、既に説明したとおり、画像と判定条件とを基に判定領域を判定し、判定結果を警報装置50に送信する。
領域判定装置11が画像などを取得する装置は、限定されない。領域判定装置11は、監視カメラ20、切替え装置30又は警報装置50から画像を取得すればよい。領域判定装置11は、判定条件及び判定領域を警報装置50又は図示しない外部の装置から受信すればよい。
警報装置50は、領域判定装置11の判定結果を基に、判定領域を警報の判定に用いるか否かを決定する。
警報装置50が、領域判定装置11に判定領域を送信する場合、警報装置50は、判定条件を満足するまで、判定領域の送信及び判定結果の受信を繰り返してもよい。
判定領域が判定条件を満足する場合、警報装置50は、判定領域を用いて警報を発するか否かを判定する。判定領域が警報を発する状態となると、警報装置50は、警報を発する。なお、警報装置50は、判定領域を表示している表示モニタ40又は図示しない報知機器を用いて警報を発してもよい。
このように構成された監視システム60は、警報装置50が判定条件を満足する判定領域を用いるため、警報装置50における適切な警報を実現できる。
なお、監視システム60が領域判定装置12又は13を含む場合、警報装置50は、領域判定装置12又は13から、設定規則と判定条件とを満足する判定領域を受信できる。この場合、警報装置50は、その判定領域を警報の判定に用いればよい。
監視システム60が領域判定装置14又は15を含む場合、警報装置50は、領域判定装置14又は15から受信する追加領域を含む領域を用いて動作すればよい。
(監視システムの概要)
図11は、監視システム60の概要である監視システム61の構成の一例を示す図である。
図11は、監視システム60の概要である監視システム61の構成の一例を示す図である。
監視システム61は、監視カメラ20と、領域判定装置11と、警報装置50とを含む。
監視カメラ20は、画像を撮影する。領域判定装置11は、監視カメラ20からの画像における判定領域を判定する。警報装置50は、領域判定装置11が判定した結果を基に、画像における判定領域を警報の判断に用いるか否かを決定する。
このように構成された監視システム61は、監視システム60と同様の効果を奏することができる。
その理由は、監視システム61に含まれる装置が、監視システム60に含まれる対応する装置と同様に動作するためである。
なお、監視システム61は、監視システム60の最小構成の一例である。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2018年 3月14日に出願された日本出願特願2018-046134を基礎とする優先権を主張し、その開示の全てをここに取り込む。
10 領域判定装置
11 領域判定装置
12 領域判定装置
13 領域判定装置
14 領域判定装置
15 領域判定装置
20 監視カメラ
30 切替え装置
40 表示モニタ
50 警報装置
60 監視システム
61 監視システム
110 尤度算出部
120 水画素計測部
130 非水画素計測部
140 境界画素計測部
150 領域判定部
151 領域判定部
160 領域設定部
161 領域設定部
170 領域検出部
180 領域追加部
190 追加領域決定部
210 画素計測部
600 情報処理装置
610 CPU
620 ROM
630 RAM
640 内部記憶装置
650 IOC
660 入力機器
670 表示機器
680 NIC
700 記憶媒体
11 領域判定装置
12 領域判定装置
13 領域判定装置
14 領域判定装置
15 領域判定装置
20 監視カメラ
30 切替え装置
40 表示モニタ
50 警報装置
60 監視システム
61 監視システム
110 尤度算出部
120 水画素計測部
130 非水画素計測部
140 境界画素計測部
150 領域判定部
151 領域判定部
160 領域設定部
161 領域設定部
170 領域検出部
180 領域追加部
190 追加領域決定部
210 画素計測部
600 情報処理装置
610 CPU
620 ROM
630 RAM
640 内部記憶装置
650 IOC
660 入力機器
670 表示機器
680 NIC
700 記憶媒体
Claims (10)
- 複数のフレームを含む画像における画素の水らしさの尤度を算出する尤度算出手段と、
前記フレームそれぞれにおける判定の対象である判定領域のいずれかにおいて、第1の非水範囲に前記尤度が入る非水画素の数を計測する非水画素計測手段と、
前記判定領域のいずれかにおいて第1の水範囲に前記尤度が入り、かつ、前記判定領域のいずれかにおいて第2の非水範囲に前記尤度が入る、境界画素の数を計測する境界画素計測手段と、
前記非水画素の数及び前記境界画素の数を基に、前記判定領域が所定の判定条件を満足するか否かを判定する領域判定手段と
を含む領域判定装置。 - 前記判定領域のいずれかにおいて、第2の水範囲に前記尤度が入る水画素の数を計測する水画素計測手段をさらに含み、
前記領域判定手段が、さらに、前記水画素の数を用いて前記判定領域を判定する
請求項1に記載の領域判定装置。 - 前記非水画素が、第1のフレーム数以上における前記判定領域において前記第1の非水範囲に前記尤度が入る画素であり、
前記境界画素が、第2のフレーム数以上における前記判定領域において前記第1の水範囲に前記尤度が入り、かつ、第3のフレーム数以上における前記判定領域において前記第2の非水範囲に前記尤度が入る画素であり、
前記水画素が、第4のフレーム数以上における前記判定領域において前記第2の水範囲に前記尤度が入る画素である
請求項2に記載の領域判定装置。 - 所定の設定規則を基に前記判定領域を設定する領域設定手段をさらに含み、
前記領域判定手段が、前記判定領域が前記判定条件を満足するまで前記領域設定手段に前記判定領域の設定を繰り返させ、前記判定条件を満足した前記判定領域を出力する
請求項1ないし3のいずれか1項に記載の領域判定装置。 - 所定の設定規則を基に、前記画像における複数の前記判定領域を設定する領域設定手段をさらに含み、
前記領域判定手段が、設定された前記判定領域の中から前記判定条件を満足する前記判定領域を出力する
請求項1ないし3のいずれか1項に記載の領域判定装置。 - 前記画像において、前記判定領域に含ませない方がよい非推奨領域及び/又は前記判定領域に含ませた方がよい推奨領域を検出する領域検出手段をさらに含み、
前記領域設定手段が、前記非推奨領域及び/又は前記推奨領域を参照して前記判定領域を設定する
請求項4又は5に記載の領域判定装置。 - 所定の参照画像における水位の位置を基に前記判定領域に追加するための追加領域を決定する追加領域決定手段と、
前記追加領域を前記判定領域に追加する領域追加手段と
をさらに含む請求項6に記載の領域判定装置。 - 前記画像を撮影する監視カメラと、
前記画像を用いて前記判定領域を判定する請求項1ないし7のいずれか1項に記載の前記領域判定装置と、
前記領域判定装置が判定した結果を基に、前記画像における前記判定領域を警報の判断に用いるか否かを決定する警報装置と
を含む監視システム。 - 複数のフレームを含む画像における画素の水らしさの尤度を算出し、
前記フレームそれぞれにおける判定の対象である判定領域のいずれかにおいて、第1の非水範囲に前記尤度が入る非水画素の数を計測し、
前記判定領域のいずれかにおいて第1の水範囲に前記尤度が入り、かつ、前記判定領域のいずれかにおいて第2の非水範囲に前記尤度が入る、境界画素の数を計測し、
前記非水画素の数及び前記境界画素の数を基に、前記判定領域が所定の判定条件を満足するか否かを判定する
領域判定方法。 - 複数のフレームを含む画像における画素の水らしさの尤度を算出する処理と、
前記フレームそれぞれにおける判定の対象である判定領域のいずれかにおいて、第1の非水範囲に前記尤度が入る非水画素の数を計測する処理と、
前記判定領域のいずれかにおいて第1の水範囲に前記尤度が入り、かつ、前記判定領域のいずれかにおいて第2の非水範囲に前記尤度が入る、境界画素の数を計測する処理と、
前記非水画素の数及び前記境界画素の数を基に、前記判定領域が所定の判定条件を満足するか否かを、判定する処理と
をコンピュータに実行させるプログラムを記録する記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020506496A JP7074182B2 (ja) | 2018-03-14 | 2019-03-11 | 領域判定装置、監視システム、領域判定方法、及び、コンピュータプログラム |
US16/977,529 US12014614B2 (en) | 2018-03-14 | 2019-03-11 | Region determining device, monitoring system, region determining method, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018046134 | 2018-03-14 | ||
JP2018-046134 | 2018-03-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019176826A1 true WO2019176826A1 (ja) | 2019-09-19 |
Family
ID=67907792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/009576 WO2019176826A1 (ja) | 2018-03-14 | 2019-03-11 | 領域判定装置、監視システム、領域判定方法、及び、記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US12014614B2 (ja) |
JP (1) | JP7074182B2 (ja) |
WO (1) | WO2019176826A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021166954A1 (ja) * | 2020-02-19 | 2021-08-26 | 株式会社Nttドコモ | マップデータ生成装置及び測位装置 |
CN113822931A (zh) * | 2020-07-07 | 2021-12-21 | 湖北亿立能科技股份有限公司 | 基于在线学习和离线学习相结合的前端水位检测系统 |
JP2022128897A (ja) * | 2021-02-24 | 2022-09-05 | 株式会社フューチャースタンダード | 水位異常検知プログラム及び水位異常検知装置 |
JP2023102041A (ja) * | 2022-01-11 | 2023-07-24 | ソフトバンク株式会社 | 水位推定システム、水位推定方法および情報処理装置 |
JP7529059B2 (ja) | 2021-02-15 | 2024-08-06 | 富士通株式会社 | 浸水予測プログラム、浸水予測装置および機械学習方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG10201902958PA (en) * | 2019-04-02 | 2020-11-27 | Accenture Global Solutions Ltd | Artificial intelligence based plantable blank spot detection |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008072636A (ja) * | 2006-09-15 | 2008-03-27 | Nagaoka Univ Of Technology | 画像処理システム、画像処理方法、及びプログラム |
US20080298636A1 (en) * | 2007-06-04 | 2008-12-04 | Object Video, Inc. | Method for detecting water regions in video |
JP6125137B1 (ja) * | 2016-11-17 | 2017-05-10 | 三菱電機株式会社 | 水位計測装置及び水位計測方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3701167B2 (ja) | 2000-03-30 | 2005-09-28 | 日本無線株式会社 | 水位計測方法および装置 |
KR101060031B1 (ko) * | 2011-02-09 | 2011-08-29 | (주)유디피 | 수위 감시 장치 및 방법 |
JP6729971B2 (ja) * | 2017-08-30 | 2020-07-29 | 三菱電機株式会社 | 水位計測装置および水際線抽出方法 |
JP6891972B2 (ja) * | 2017-12-01 | 2021-06-18 | 日本電気株式会社 | 河川危険度判定装置、河川危険度判定方法、及びプログラム |
-
2019
- 2019-03-11 US US16/977,529 patent/US12014614B2/en active Active
- 2019-03-11 WO PCT/JP2019/009576 patent/WO2019176826A1/ja active Application Filing
- 2019-03-11 JP JP2020506496A patent/JP7074182B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008072636A (ja) * | 2006-09-15 | 2008-03-27 | Nagaoka Univ Of Technology | 画像処理システム、画像処理方法、及びプログラム |
US20080298636A1 (en) * | 2007-06-04 | 2008-12-04 | Object Video, Inc. | Method for detecting water regions in video |
JP6125137B1 (ja) * | 2016-11-17 | 2017-05-10 | 三菱電機株式会社 | 水位計測装置及び水位計測方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021166954A1 (ja) * | 2020-02-19 | 2021-08-26 | 株式会社Nttドコモ | マップデータ生成装置及び測位装置 |
CN113822931A (zh) * | 2020-07-07 | 2021-12-21 | 湖北亿立能科技股份有限公司 | 基于在线学习和离线学习相结合的前端水位检测系统 |
CN113822931B (zh) * | 2020-07-07 | 2024-04-19 | 湖北亿立能科技股份有限公司 | 基于在线学习和离线学习相结合的前端水位检测系统 |
JP7529059B2 (ja) | 2021-02-15 | 2024-08-06 | 富士通株式会社 | 浸水予測プログラム、浸水予測装置および機械学習方法 |
JP2022128897A (ja) * | 2021-02-24 | 2022-09-05 | 株式会社フューチャースタンダード | 水位異常検知プログラム及び水位異常検知装置 |
JP2023102041A (ja) * | 2022-01-11 | 2023-07-24 | ソフトバンク株式会社 | 水位推定システム、水位推定方法および情報処理装置 |
JP7345576B2 (ja) | 2022-01-11 | 2023-09-15 | ソフトバンク株式会社 | 水位推定システム、水位推定方法および情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20200402385A1 (en) | 2020-12-24 |
JPWO2019176826A1 (ja) | 2021-02-12 |
JP7074182B2 (ja) | 2022-05-24 |
US12014614B2 (en) | 2024-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019176826A1 (ja) | 領域判定装置、監視システム、領域判定方法、及び、記録媒体 | |
US11720104B2 (en) | Systems and methods for adaptive property analysis via autonomous vehicles | |
CN108759973B (zh) | 一种水位测量方法 | |
US10977923B2 (en) | River risk level determining device, river risk level determining method, and storage medium | |
KR102319084B1 (ko) | 지능형 수위감지 장치 및 방법 | |
KR102688955B1 (ko) | 위치 결정 방법 및 장치, 저장 매체 | |
US8170282B1 (en) | Technique for ship/wake detection | |
US10984182B2 (en) | Systems and methods for context-rich annotation and report generation for UAV microscan data | |
KR101552095B1 (ko) | 레이더,감시 카메라를 사용한 해안감시 시스템 | |
Bracs et al. | Evaluation of opportunistic shoreline monitoring capability utilizing existing “surfcam” infrastructure | |
CN106570863A (zh) | 一种输电线路的检测方法及装置 | |
CN111292371B (zh) | 智能水位检测设备、智能水位监控管理装置及检测方法 | |
JP2018041406A (ja) | 水面境界検出装置、水面境界検出方法及びコンピュータプログラム | |
CN105631881B (zh) | 目标检测方法及装置 | |
CN113311507A (zh) | 一种台风路径的识别方法及装置 | |
CN112183463B (zh) | 基于雷达图像的船只识别模型的验证方法及装置 | |
JP2019191020A (ja) | 表面特性取得装置、表面特性取得システム及びプログラム | |
CN218886696U (zh) | 一种航道监测系统 | |
JP2017103756A5 (ja) | ||
CN105894642A (zh) | 一种渔港外沿海停泊渔船远程无人值守自动签证管理系统 | |
CN116086403A (zh) | 一种沉降监测方法、装置和电子设备 | |
US10962442B2 (en) | Automated system to verify structural integrity of a structure | |
TWI487884B (zh) | 多區塊水位量測方法 | |
TWI594212B (zh) | Remote monitoring of water conservancy facilities | |
Rio et al. | The Innovation Development of Early Flash Flood Warning System Based on Digital Image Processing Through Android Smartphone. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19768315 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020506496 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19768315 Country of ref document: EP Kind code of ref document: A1 |