WO2018092238A1 - 水位計測装置及び水位計測方法 - Google Patents

水位計測装置及び水位計測方法 Download PDF

Info

Publication number
WO2018092238A1
WO2018092238A1 PCT/JP2016/084078 JP2016084078W WO2018092238A1 WO 2018092238 A1 WO2018092238 A1 WO 2018092238A1 JP 2016084078 W JP2016084078 W JP 2016084078W WO 2018092238 A1 WO2018092238 A1 WO 2018092238A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
water level
identification
water
unit
Prior art date
Application number
PCT/JP2016/084078
Other languages
English (en)
French (fr)
Inventor
秀明 前原
夢雄 王
百代 日野
三嶋　英俊
英滋 上田
哲朗 和田
謙二 平
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2016/084078 priority Critical patent/WO2018092238A1/ja
Priority to JP2017505265A priority patent/JP6125137B1/ja
Publication of WO2018092238A1 publication Critical patent/WO2018092238A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C13/00—Surveying specially adapted to open water, e.g. sea, lake, river or canal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F23/00—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
    • G01F23/22—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water
    • G01F23/28—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water by measuring the variations of parameters of electromagnetic or acoustic waves applied directly to the liquid or fluent solid material
    • G01F23/284—Electromagnetic waves
    • G01F23/292—Light, e.g. infrared or ultraviolet
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Definitions

  • the present invention relates to a water level measuring device and a water level measuring method.
  • the water level measurement method disclosed in Patent Document 1 specifies the position of a metered water plate based on the luminance distribution in a photographed image, and measures the water level based on the specified position.
  • the processing for specifying the position of the water level based only on the luminance distribution is unstable in specific accuracy. For this reason, the water level measurement method of Patent Document 1 has a problem that an error may occur in the measurement result and the measurement is unstable.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a water level measuring device and a water level measuring method capable of stable water level measurement.
  • the water level measurement device of the present invention according to the operation input to the operation input device, a rating point setting unit for setting the coordinate value of the control point in the image captured by the monitoring camera and the water level value corresponding to the control point, Based on the result of machine learning related to the discrimination between the water region and the non-water region, and an identification image cutout unit that obtains the shot image and cuts out an area including the coordinate value of the orientation point in the shot image as an identification image.
  • An image learning identification unit for identifying whether the region corresponding to the identification image is a water region or a non-water region, the identification result by the image learning identification unit, and the water level value of the orientation point corresponding to the identification image
  • a water level calculation unit that calculates the water level in the shooting range of the surveillance camera.
  • the present invention since it is configured as described above, it is possible to obtain a water level measuring device and a water level measuring method capable of stable water level measurement.
  • FIG. 13A is an explanatory diagram showing a specific example of a learning image according to Embodiment 1 of the present invention.
  • FIG. 13B is an explanatory diagram showing a specific example of another learning image according to Embodiment 1 of the present invention.
  • It is explanatory drawing which shows the hierarchical structure of the artificial neural network in the image learning identification part which concerns on Embodiment 1 of this invention, and the input-output relationship between each layer.
  • FIG. 1 is a functional block diagram showing a main part of a water level measuring device according to Embodiment 1 of the present invention. With reference to FIG. 1, the water level measuring apparatus 100 of Embodiment 1 is demonstrated centering on the example used for the water level measurement of a river.
  • the surveillance camera 1 photographs a river that is a target of water level measurement by the water level measurement device 100.
  • the range to be imaged by the surveillance camera 1 includes river water and things other than river water (for example, structures such as bridges).
  • an image captured by the monitoring camera 1 is referred to as a “captured image”.
  • the monitoring camera 1 outputs image data indicating a captured image to the water level measuring device 100.
  • the operation input device 2 receives an input of an operation by a worker who uses the water level measuring device 100 (hereinafter simply referred to as “worker”).
  • the operation input device 2 includes a keyboard 3 and a mouse 4.
  • the display device 5 includes a display 6 such as a liquid crystal display or an organic EL (Electro Luminescence) display.
  • the orientation point setting unit 11 corresponds to a coordinate value of a point (hereinafter referred to as an “orientation point”) serving as a reference for water level measurement in the captured image in accordance with an operation input to the operation input device 2 and the orientation point.
  • a value indicating the water level (hereinafter referred to as “water level value”) is set.
  • the control point setting unit 11 sets coordinate values of a plurality of control points in the captured image and water level values corresponding to the plurality of control points.
  • the control point setting unit 11 outputs the coordinate value of each control point to the identification image cutout unit 12 and outputs the water level value corresponding to each control point to the water level calculation unit 14.
  • the identification image cutout unit 12 acquires the image data output by the monitoring camera 1.
  • the identification image cutout unit 12 cuts out an area including the coordinate value of each orientation point set by the orientation point setting unit 11 from the captured image indicated by the acquired image data.
  • an area to be cut out by the identification image cutout unit 12 is referred to as a “cutout target area”, and an image corresponding to the area cut out by the identification image cutout unit 12 is referred to as an “identification image”.
  • the identification image cutout unit 12 outputs the cutout identification image to the image identification unit 13.
  • the image identification unit 13 determines whether the region corresponding to each of the identification images output from the identification image cutout unit 12 is a region where river water is copied (hereinafter referred to as “water region”), or river water. It identifies whether it is a region (hereinafter referred to as “non-water region”) in which something other than the above is copied. At this time, the image identification unit 13 executes a discrimination process as to whether the region is a water region or a non-water region based on the result of machine learning by the image learning unit 17. The image identification unit 13 outputs the identification result to the water level calculation unit 14.
  • the water level calculation unit 14 calculates the water level in the imaging range of the monitoring camera 1 using the identification result by the image identification unit 13 and the water level value corresponding to each ground control point output from the ground control point setting unit 11. .
  • the constant area setting unit 15 is one or more areas (hereinafter referred to as “always water areas”) that are assumed to always capture river water in the captured image in accordance with an operation input to the operation input device 2. And one or more areas (hereinafter referred to as “always non-water areas”) that are assumed to be always captured in the captured image other than river water. That is, the constant water area is an area where the probability that the river water is always captured is higher than other areas, regardless of changes in the state of the river such as drought or increased water. In addition, the always non-water area is an area where the probability that anything other than the river water (such as a structure such as a bridge) is always captured is higher than other areas regardless of changes in the river condition such as drought or increase in water. is there.
  • the learning image cutout unit 16 acquires the image data output by the monitoring camera 1.
  • the learning image cutout unit 16 includes a portion corresponding to the always water region set by the always region setting unit 15 in the captured image indicated by the acquired image data, and a always non-water region set by the always region setting unit 15.
  • the part corresponding to is cut out.
  • a portion to be cut out by the learning image cutout unit 16 is referred to as a “cutout target portion”
  • an image corresponding to the portion cut out by the learning image cutout unit 16 is referred to as a “learning image”.
  • the learning image cutout unit 16 outputs the cutout learning image to the image learning unit 17.
  • the image learning unit 17 performs machine learning related to the discrimination between the water region and the non-water region using the learning image output from the learning image cutout unit 16. That is, the image learning identifying unit 18 is configured by the image learning unit 17 and the image identifying unit 13.
  • the image learning identification unit 18 uses, for example, a so-called “artificial neural network”. The structure of the artificial neural network and a specific example of machine learning by the artificial neural network will be described later with reference to FIG.
  • the ground control point setting unit 11, the identification image cutout unit 12, the water level calculation unit 14, the constant region setting unit 15, the learning image cutout unit 16, and the image learning identification unit 18 constitute a main part of the water level measurement device 100. .
  • the water level measuring device 100 is configured by a computer and includes a processor 21 and a memory 22.
  • the computer functions as the orientation point setting unit 11, the identification image clipping unit 12, the water level calculation unit 14, the constant region setting unit 15, the learning image clipping unit 16, and the image learning identification unit 18 illustrated in FIG. 1.
  • store is stored.
  • the processor 21 reads and executes the program stored in the memory 22, the orientation point setting unit 11, the identification image cutout unit 12, the water level calculation unit 14, the constant region setting unit 15, the learning image cutout shown in FIG. Functions of the unit 16 and the image learning identification unit 18 are realized.
  • the processor 21 includes, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, or a DSP (Digital Signal Processor).
  • the memory 22 may be, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), or an EEPROM (Electrically Erasable Semiconductor Memory).
  • An optical disk or a magneto-optical disk is used.
  • step ST ⁇ b> 1 the control point setting unit 11 obtains the coordinate values of a plurality of control points in the captured image and the water level value corresponding to each control point in accordance with the operation input to the operation input device 2.
  • the ground control point setting unit 11 acquires the image data output by the monitoring camera 1 and causes the display 6 to display a captured image indicated by the image data.
  • the operator designates a plurality of orientation points using the mouse 4 for the captured image displayed on the display 6.
  • the orientation point setting unit 11 calculates the coordinate value of each designated orientation point.
  • the operator inputs a water level value corresponding to each designated control point using the keyboard 3.
  • the constant region setting unit 15 sets a constant water region in the captured image and a constant non-water region in the captured image in accordance with the operation input to the operation input device 2. Specifically, for example, the constant area setting unit 15 acquires image data output from the surveillance camera 1 and causes the display 6 to display a captured image indicated by the image data. The operator uses the mouse 4 to designate a constantly water area and a constantly non-water area for the captured image displayed on the display 6.
  • FIG. 4 shows an example of the photographed image I.
  • the structure S imaged in the center of the captured image I is a bridge.
  • the x axis and the y axis are axes corresponding to the coordinate values in the captured image I.
  • FIG. 5 shows an example of orientation points A1 to A4 designated in step ST1.
  • four orientation points A1 to A4 are arranged in a vertical line.
  • (x1, y1) is the coordinate value of the orientation point A1 in the captured image I
  • (x2, y2) is the coordinate value of the orientation point A2 in the captured image I
  • (x3, y3) is the orientation point A3 in the captured image I.
  • the coordinate values (x4, y4) indicate the coordinate values of the orientation point A4 in the captured image I, respectively.
  • the water level value corresponding to the ground control point A1 is 4 meters
  • the water level value corresponding to the ground control point A2 is 3 meters
  • the water level value corresponding to the ground control point A3 is 2 meters
  • the water level value corresponding to the ground control point A4 is 1 meter.
  • FIG. 6 shows an example of the constantly water area B and the always non-water area C specified in step ST2. As shown in FIG. 6, one rectangular continuous water region B is set at the left end of the captured image I. Further, one rectangular always non-water region C is set at the upper end of the captured image I.
  • the preparation process is executed only once, for example, when the monitoring camera 1 is installed and the worker starts using the water level measuring device 100. After the preparation process is completed, the monitoring camera 1 continuously executes a process of shooting the shooting range and outputting image data indicating the shot image.
  • the water level measuring device 100 automatically executes the process shown in the flowchart of FIG. 7 and the process shown in the flowchart of FIG. 12 for each of the image data sequentially output by the monitoring camera 1.
  • the identification image cutout unit 12 acquires the image data output from the monitoring camera 1.
  • This image data represents, for example, one captured image captured by the monitoring camera 1 at the latest timing with respect to step ST11.
  • step ST12 the identification image cutout unit 12 cuts out an identification image from the captured image indicated by the image data acquired in step ST11. At this time, an area including the coordinate values of each orientation point set in step ST1 in FIG.
  • the identification image cutout unit 12 outputs the cutout identification image to the image identification unit 13.
  • step ST13 the image identification unit 13 identifies whether the region corresponding to each of the identification images output by the identification image cutout unit 12 in step ST12 is a water region or a non-water region. . At this time, the image identification unit 13 executes the identification process as to whether the region is a water region or a non-water region based on the result of machine learning (step ST23 shown in FIG. 12) by the image learning unit 17. The image identification unit 13 outputs the identification result to the water level calculation unit 14.
  • step ST14 the water level calculation unit 14 uses the identification result output by the image identification unit 13 in step ST13 and the water level value corresponding to each ground control point output by the ground control point setting unit 11 in step ST1. The water level in the photographing range of the surveillance camera 1 is calculated.
  • water level measurement process when the predetermined condition is satisfied after the preparation process shown in FIG. 3 is completed (for example, when an operation for instructing the end of the water level measuring process is input to the operation input device 2).
  • the water level measurement process is repeatedly executed until the power is turned off or the communication connection between the monitoring camera 1 and the water level measuring device 100 is released.
  • FIG. 8 shows a captured image I similar to the example shown in FIG. 5 and an example of cutout target areas D1 to D4 in the captured image I.
  • the cutout target areas D1 to D4 have a one-to-one correspondence with the orientation points A1 to A4 set in step ST1.
  • each of the clipping target areas D1 to D4 is a square area centered on the corresponding orientation points A1 to A4.
  • the sizes of the individual cutout target areas D1 to D4 are set to sizes at which the edges of two cutout target areas adjacent to each other come into contact with each other. That is, since the orientation points A1 to A4 are arranged at substantially equal intervals, the sizes of the cutout target areas D1 to D4 are substantially equal to each other.
  • FIG. 9 shows an example of identification images E1 to E4 cut out from the captured image I.
  • the identification images E1 to E4 have a one-to-one correspondence with the clipping target areas D1 to D4 shown in FIG.
  • each of the identification images E1 to E4 is an image in which the structure S is copied and the river water is not copied.
  • the image identification unit 13 Based on the result of machine learning by the image learning unit 17, the image identification unit 13 identifies that the regions corresponding to the identification images E1 to E4 are all non-water regions. Since the region corresponding to the identification image E4 is a non-water region, the water level calculation unit 14 calculates that the water level of the river is less than the water level value (1 meter) corresponding to the ground control point A4.
  • FIG. 10 shows a captured image I ′ different from the example shown in FIG. 5 and cutout target areas D1 to D4 in the captured image I ′.
  • the shape and size of the cutout target areas D1 to D4 shown in FIG. 10 are the same as the shape and size of the cutout target areas D1 to D4 shown in FIG.
  • FIG. 11 shows identification images E1 'to E4' cut out from the photographed image I '.
  • the identification images E1 'to E4' have a one-to-one correspondence with the clipping target areas D1 to D4 shown in FIG.
  • the identification image E ⁇ b> 1 ′ is an image in which the river water is copied only at the lower end and the structure S is copied in the remaining most part.
  • each of the identification images E2 'to E4' is an image in which the water of the river is copied and the structure S is not copied.
  • the image identification unit 13 Based on the result of machine learning by the image learning unit 17, the image identification unit 13 has a region corresponding to the identification image E 1 ′ being a non-water region and a region corresponding to each of the identification images E 2 ′ to E 4 ′. Is identified as a water region.
  • the water level calculation unit 14 since the area corresponding to the identification image E1 ′ is a non-water area and the area corresponding to the identification image E2 ′ is a water area, the water level of the river corresponds to the orientation point A2. It is calculated that the water level value (3 meters) or more and less than the water level value (4 meters) corresponding to the ground control point A1.
  • step ST ⁇ b> 21 the learning image cutout unit 16 acquires the image data output from the monitoring camera 1.
  • This image data indicates, for example, one captured image captured by the monitoring camera 1 at the latest timing with respect to step ST21.
  • step ST22 the learning image cutout unit 16 cuts out the learning image from the captured image indicated by the image data acquired in step ST21. At this time, the portion corresponding to the constant water region set in step ST2 of FIG. 3 and the portion corresponding to the constant non-water region set in step ST2 of FIG. The learning image cutout unit 16 outputs the cutout learning image to the image learning unit 17.
  • step ST23 the image learning unit 17 uses the learning image output by the learning image cutout unit 16 in step ST22 to perform machine learning related to the discrimination between the water region and the non-water region. That is, the learning image corresponding to the constant water region is usually an image in which river water is captured. The learning image that always corresponds to the non-water region is usually an image in which something other than river water is captured.
  • Machine learning by the image learning unit 17 always identifies that the region corresponding to the identification image is a water region when an identification image having the same characteristics as the learning image corresponding to the water region is input, In addition, when an identification image having the same characteristics as the learning image corresponding to the non-water region is input at all times, it is possible to identify that the region corresponding to the identification image is a non-water region. It is learning aimed at.
  • machine learning process the processes of steps ST21 to ST23 are collectively referred to as “machine learning process”.
  • the water level measuring device 100 when the predetermined condition is satisfied after the preparation process shown in FIG. 3 is completed (for example, when an operation for instructing the end of the machine learning process is input to the operation input device 2).
  • the machine learning process is automatically and repeatedly executed until the power is turned off or the communication connection between the monitoring camera 1 and the water level measuring device 100 is released.
  • machine learning has the property that the accuracy of output improves as the amount of input learning data increases. For this reason, the accuracy of identification by the image identification unit 13 can be gradually improved by repeating the machine learning process. As a result, the accuracy of the water level calculation by the water level calculation unit 14 can be improved, and the measurement by the water level measuring device 100 can be stabilized.
  • FIG. 13 shows a specific example of the learning image.
  • Each of the 16 images shown in FIG. 13A is a learning image that always corresponds to a water region, that is, an image in which river water is captured.
  • each of the 16 images shown in FIG. 13B is a learning image corresponding to a non-water region at all times, that is, an image in which images other than river water are captured.
  • An artificial neural network is a computer that inputs multiple pieces of image data together with correct answers and learns them, so that it is determined whether the newly copied image data is a specific target. It is one of the mechanisms that operate to output the result.
  • Non-Patent Document 1 discloses a method of identifying an object by image recognition using a so-called “convolutional neural network (CNN)”.
  • CNN is an artificial neural network characterized in that a filter is applied to a two-dimensional input corresponding to an image (so-called “convolution”) and passed to the next layer.
  • Non-Patent Document 1 Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. “Imagenet classification with deep convolutional neural networks.” In Advances in neural information processing systems, pages 1097-1105, 2012.
  • the artificial neural network is a calculation model in which perceptrons are hierarchically arranged that take a weighted sum of input signals and apply a nonlinear function called an activation function as an output.
  • And * is an element product of a vector. Can be expressed by the following formula (1).
  • the perceptron takes a two-dimensional signal corresponding to an image as input, calculates a weighted sum of the inputs, and passes it to the next layer.
  • a sigmoid function or a ReLU (Rectified Linear Unit) function is used as the activation function.
  • FIG. 14 shows an example of the structure of an artificial neural network.
  • the above-described perceptrons are arranged in a hierarchical manner, and each layer processes an input signal to calculate an identification result.
  • the final layer corresponds to the output of the task to be identified. If it is a regression task, the output of the activation function is used as it is as a predicted value, and if it is a classification task, the softmax function is applied to the final layer and output.
  • an artificial network is configured as a two-dimensional signal map as shown in FIG.
  • Each of the two-dimensional signals can be regarded as corresponding to a perceptron, and a weighted sum is calculated with respect to the feature map of the previous layer, and the result of applying the activation function is output.
  • FIG. 14 shows the input / output correspondence between layers.
  • the above-described processing is called convolution operation, and a layer for performing pooling processing may be inserted in each layer.
  • This layer performs downsampling by performing an average value calculation or a maximum value calculation on the feature map.
  • three convolution layers are arranged in the first to third layers, and normal perceptron layers are arranged in the fourth and fifth layers.
  • Error back propagation is a framework in which the output error of the artificial neural network is propagated from the last layer to the previous layer in order, and the weight is updated.
  • a specific method of error back propagation for example, a method similar to that described in Non-Patent Document 2 below can be used.
  • Non-Patent Document 2 C. M.M. Bishop, Hiroshi Motoda (translation), “Pattern Recognition and Machine Learning”, Maruzen Publishing, 2012.
  • control point setting unit 11 may set a coordinate value of one control point and a water level value corresponding to the one control point. However, from the viewpoint of enabling the water level calculation unit 14 to calculate a finer water level, the control point setting unit 11 obtains the coordinate values of a plurality of control points and the water level values of the plurality of control points. It is preferable to set.
  • each region to be cut out by the identification image cutout unit 12 is not limited to a square, and may be any shape.
  • each cut-out target area only needs to include the coordinate value of the corresponding orientation point, and the location of the orientation point in each cut-out target area is not limited to the center.
  • each cutout target area may be one in which corresponding orientation points are arranged at the corners.
  • each cutout target portion by the learning image cutout unit 16 is not limited to a rectangle.
  • the shape of each cutout target portion may be any shape according to the operation of the operation input device 2.
  • the image learning identification part 18 should just use the model which can perform the machine learning which concerns on the discrimination
  • the image learning identification unit 18 may use a support vector machine (Support Vector Machine, SVM).
  • SVM Support Vector Machine
  • the machine learning process shown in FIG. 12 may be executed only at a predetermined timing instead of being repeatedly executed after the preparation process shown in FIG. 3 is completed.
  • the machine learning process may be executed at a timing when the water level measurement process is stopped, such as during maintenance of the monitoring camera 1. Thereby, the processing load of the water level measuring device 100 during execution of the water level measuring process can be reduced.
  • the learning image cutout unit 16 may collectively acquire image data indicating a plurality of photographed images taken after the previous machine learning process is executed in step ST21. good.
  • the learning image cutout unit 16 may cut out a learning image from each of the plurality of captured images.
  • the target of water level measurement by the water level measuring device 100 is not limited to rivers.
  • the water level measuring device 100 can also be used for measuring the water level of, for example, lakes, oceans, dams, irrigation canals, or reservoirs.
  • the water level measuring device 100 according to the operation input to the operation input device 2, the coordinate values of the orientation points A1 to A4 in the captured images I and I ′ by the monitoring camera 1,
  • the control point setting unit 11 for setting the water level values corresponding to the control points A1 to A4, and the captured images I and I ′ are acquired, and the coordinate values of the control points A1 to A4 of the captured images I and I ′ are obtained.
  • the image learning discriminating unit 18 for identifying whether the region corresponding to E1 ′ to E4 ′ is a water region or a non-water region, the discrimination result by the image learning discriminating unit 18, and the water level corresponding to the orientation points A1 to A4
  • the shooting range of the surveillance camera 1 using the value And a water level calculation unit 14 to calculate the definitive level.
  • both regions can be identified with high accuracy.
  • the accuracy of the water level calculation by the water level calculation unit 14 can be improved, and the measurement by the water level measuring device 100 can be stabilized.
  • the coordinate value of the ground control point is set according to the operation input to the operation input device 2, it can also be used for measuring the water level of a river or the like where no quantity water plate is installed.
  • the water level measurement device 100 sets a constantly water region B in the captured images I and I ′ and a constantly non-water region C in the captured images I and I ′ in accordance with the operation input to the operation input device 2.
  • the constant area setting unit 15 and the captured images I and I ′ are acquired, the portion corresponding to the constant water area B in the captured images I and I ′, and the always non-water area C in the captured images I and I ′.
  • a learning image cutout unit 16 that cuts out a portion corresponding to the image as a learning image
  • the image learning identification unit 18 executes machine learning related to the discrimination between the water region and the non-water region using the learning image. To do. As a result, the machine learning process can be automatically and repeatedly executed, and the identification accuracy by the image identification unit 13 can be gradually improved.
  • the control point setting unit 11 sets and identifies the coordinate values of the plurality of control points A1 to A4 and the water level values corresponding to each of the plurality of control points A1 to A4 in the captured images I and I ′.
  • the image cutout unit 12 cuts out a plurality of identification images E1 to E4 and E1 ′ to E4 ′ corresponding to the plurality of orientation points A1 to A4, and the image learning identification unit 18 includes a plurality of identification images E1. .., E4 ′, E1 ′ to E4 ′ are discriminated whether each is a water region or a non-water region, and the water level calculation unit 14 determines each of the plurality of identification images E1 to E4, E1 ′ to E4 ′. And the water level value corresponding to each of the plurality of control points A1 to A4 are used to calculate the water level in the photographing range. By increasing the number of ground control points, the water level calculation unit 14 can calculate a finer water level.
  • the orientation point setting unit 11 determines the orientation points A1 to A4 in the captured images I and I ′ by the monitoring camera 1 according to the operation input to the operation input device 2.
  • the step of setting the coordinate values and the water level values corresponding to the orientation points A1 to A4 (step ST1), and the identification image cutout unit 12 acquires the captured images I and I ′, and the captured images I and I ′. Steps of cutting out regions including the coordinate values of the orientation points A1 to A4 as identification images E1 to E4 and E1 ′ to E4 ′ (Steps ST11 and ST12), and the image learning identification unit 18 includes a water region and a non-water region.
  • a step of identifying whether the region corresponding to the identification images E1 to E4 and E1 ′ to E4 ′ is a water region or a non-water region based on the result of machine learning relating to the region identification (step ST13); , Water level calculation part 1 But it includes the identification result by the image learning identification unit 18, by using the water level value corresponding to the orientation points A1 ⁇ A4, and a step of calculating the water level in the shooting range of the surveillance camera 1 (step ST14). Thereby, the said effect similar to the said water level measuring apparatus 100 can be acquired.
  • any component of the embodiment can be modified or any component of the embodiment can be omitted within the scope of the invention.
  • the water level measuring device of the present invention can be used for water level measurement of rivers and the like.
  • 1 monitoring camera 2 operation input device, 3 keyboard, 4 mouse, 5 display device, 6 display, 11 ground control point setting unit, 12 identification image cutout unit, 13 image identification unit, 14 water level calculation unit, 15 constant area setting unit , 16 Learning image cutout unit, 17 Image learning unit, 18 Image learning identification unit, 21 processor, 22 memory, 100 water level measuring device.

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Thermal Sciences (AREA)
  • Fluid Mechanics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Hydrology & Water Resources (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Levels Of Liquids Or Fluent Solid Materials (AREA)

Abstract

水位計測装置（１００）は、操作入力装置（２）に入力された操作に応じて、監視カメラ（１）による撮影画像（Ｉ，Ｉ'）における標定点（Ａ１～Ａ４）の座標値と、標定点（Ａ１～Ａ４）に対応する水位値とを設定する標定点設定部（１１）と、撮影画像（Ｉ，Ｉ'）を取得して、撮影画像（Ｉ，Ｉ'）のうちの標定点（Ａ１～Ａ４）の座標値を含む領域を識別用画像（Ｅ１～Ｅ４，Ｅ１'～Ｅ４'）として切り出す識別用画像切り出し部（１２）と、水領域と非水領域との識別に係る機械学習の結果に基づき、識別用画像（Ｅ１～Ｅ４，Ｅ１'～Ｅ４'）に対応する領域が水領域であるか非水領域であるかを識別する画像学習識別部（１８）と、画像学習識別部（１８）による識別結果と、標定点（Ａ１～Ａ４）に対応する水位値とを用いて、監視カメラ（１）による撮影範囲における水位を算定する水位算定部（１４）とを備える。

Description

水位計測装置及び水位計測方法
　本発明は、水位計測装置及び水位計測方法に関する。
　従来、監視カメラにより撮影された画像を用いて、河川などの水位を計測する技術が開発されている。例えば、特許文献１の水位計測方法は、量水板が設置された河川において、監視カメラが量水板を含む画像を撮影し、水位計測装置が当該画像を用いて当該河川の水位を計測するものである。
特開２００１－２８１０４６号公報
　特許文献１の水位計測方法は、撮影された画像における輝度分布に基づいて量水板の位置を特定し、特定した位置に基づき水位を計測するものである。しかしながら、輝度分布のみに基づいて量水板の位置を特定する処理は、特定の精度が不安定である。このため、特許文献１の水位計測方法は、計測結果に誤りが生ずる可能性があり、計測が不安定であるという問題があった。
　本発明は、上記のような課題を解決するためになされたものであり、安定した水位計測が可能な水位計測装置及び水位計測方法を提供することを目的とする。
　本発明の水位計測装置は、操作入力装置に入力された操作に応じて、監視カメラによる撮影画像における標定点の座標値と、標定点に対応する水位値とを設定する評定点設定部と、撮影画像を取得して、撮影画像のうちの標定点の座標値を含む領域を識別用画像として切り出す識別用画像切り出し部と、水領域と非水領域との識別に係る機械学習の結果に基づき、識別用画像に対応する領域が水領域であるか非水領域であるかを識別する画像学習識別部と、画像学習識別部による識別結果と、識別用画像に対応する標定点の水位値とを用いて、監視カメラによる撮影範囲における水位を算定する水位算定部とを備えるものである。
　本発明によれば、上記のように構成したので、安定した水位計測が可能な水位計測装置及び水位計測方法を得ることができる。
本発明の実施の形態１に係る水位計測装置の要部を示す機能ブロック図である。 本発明の実施の形態１に係る水位計測装置の要部を示すハードウェア構成図である。 本発明の実施の形態１に係る標定点設定部及び常時領域設定部の動作を示すフローチャートである。 本発明の実施の形態１に係る撮影画像の一例を示す説明図である。 本発明の実施の形態１に係る標定点の一例を示す説明図である。 本発明の実施の形態１に係る常時水領域及び常時非水領域の一例を示す説明図である。 本発明の実施の形態１に係る識別用画像切り出し部、画像識別部及び水位算定部の動作を示すフローチャートである。 本発明の実施の形態１に係る切り出し対象領域の一例を示す説明図である。 本発明の実施の形態１に係る識別用画像の一例を示す説明図である。 本発明の実施の形態１に係る切り出し対象領域の他の例を示す説明図である。 本発明の実施の形態１に係る識別用画像の他の例を示す説明図である。 本発明の実施の形態１に係る学習用画像切り出し部及び画像学習部の動作を示すフローチャートである。 図１３Ａは、本発明の実施の形態１に係る学習用画像の具体例を示す説明図である。図１３Ｂは、本発明の実施の形態１に係る他の学習用画像の具体例を示す説明図である。 本発明の実施の形態１に係る画像学習識別部における人工ニューラルネットワークの階層構造、及び各層間の入出力関係などを示す説明図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、本発明の実施の形態１に係る水位計測装置の要部を示す機能ブロック図である。図１を参照して、実施の形態１の水位計測装置１００について、河川の水位計測に用いる例を中心に説明する。
　監視カメラ１は、水位計測装置１００による水位計測の対象となる河川を撮影するものである。監視カメラ１による撮影の対象となる範囲（以下「撮影範囲」という。）には、河川の水と、河川の水以外のもの（例えば橋梁などの構造物）とが含まれている。以下、監視カメラ１により撮影された画像を「撮影画像」という。監視カメラ１は、撮影画像を示す画像データを水位計測装置１００に出力するものである。
　操作入力装置２は、水位計測装置１００を使用する作業者（以下、単に「作業者」という。）による操作の入力を受け付けるものである。操作入力装置２は、例えば、キーボード３及びマウス４により構成されている。また、表示装置５は、例えば、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどのディスプレイ６により構成されている。
　以下、水位計測装置１００の要部について説明する。
　標定点設定部１１は、操作入力装置２に入力された操作に応じて、撮影画像における水位計測の基準となる点（以下「標定点」という。）の座標値と、この標定点に対応する水位を示す値（以下「水位値」という。）とを設定するものである。より具体的には、標定点設定部１１は、撮影画像における複数個の標定点の座標値と、複数個の標定点の各々に対応する水位値とを設定するものである。標定点設定部１１は、各標定点の座標値を識別用画像切り出し部１２に出力するとともに、各標定点に対応する水位値を水位算定部１４に出力するものである。
　識別用画像切り出し部１２は、監視カメラ１が出力した画像データを取得するものである。識別用画像切り出し部１２は、取得した画像データが示す撮影画像のうち、標定点設定部１１により設定された各標定点の座標値を含む領域を切り出すものである。以下、識別用画像切り出し部１２による切り出しの対象となる領域を「切り出し対象領域」といい、識別用画像切り出し部１２により切り出された領域に対応する画像を「識別用画像」という。識別用画像切り出し部１２は、切り出した識別用画像を画像識別部１３に出力するものである。
　画像識別部１３は、識別用画像切り出し部１２が出力した識別用画像の各々に対応する領域が、河川の水が写された領域（以下「水領域」という。）であるのか、河川の水以外のものが写された領域（以下「非水領域」という。）であるのかを識別するものである。このとき、画像識別部１３は、画像学習部１７による機械学習の結果に基づき、水領域であるか非水領域であるかの識別処理を実行するようになっている。画像識別部１３は、識別結果を水位算定部１４に出力するものである。
　水位算定部１４は、画像識別部１３による識別結果と、標定点設定部１１が出力した各標定点に対応する水位値とを用いて、監視カメラ１の撮影範囲における水位を算定するものである。
　常時領域設定部１５は、操作入力装置２に入力された操作に応じて、撮影画像における常に河川の水が写されると想定される１個以上の領域（以下「常時水領域」という。）と、撮影画像における常に河川の水以外のものが写されると想定される１個以上の領域（以下「常時非水領域」という。）とを設定するものである。すなわち、常時水領域は、渇水又は増水などの河川の状態変化にかかわらず、常に河川の水が写される蓋然性が他の領域よりも高い領域である。また、常時非水領域は、渇水又は増水などの河川の状態変化にかかわらず、常に河川の水以外のもの（例えば橋梁などの構造物）が写される蓋然性が他の領域よりも高い領域である。
　学習用画像切り出し部１６は、監視カメラ１が出力した画像データを取得するものである。学習用画像切り出し部１６は、取得した画像データが示す撮影画像のうち、常時領域設定部１５により設定された常時水領域に対応する部分と、常時領域設定部１５により設定された常時非水領域に対応する部分とを切り出すものである。以下、学習用画像切り出し部１６による切り出しの対象となる部分を「切り出し対象部分」といい、学習用画像切り出し部１６により切り出された部分に対応する画像を「学習用画像」という。学習用画像切り出し部１６は、切り出した学習用画像を画像学習部１７に出力するものである。
　画像学習部１７は、学習用画像切り出し部１６が出力した学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行するものである。すなわち、画像学習部１７及び画像識別部１３により、画像学習識別部１８が構成されている。画像学習識別部１８は、例えば、いわゆる「人工ニューラルネットワーク」を用いたものである。人工ニューラルネットワークの構造、及び人工ニューラルネットワークによる機械学習の具体例については、図１４を参照して後述する。
　標定点設定部１１、識別用画像切り出し部１２、水位算定部１４、常時領域設定部１５、学習用画像切り出し部１６及び画像学習識別部１８により、水位計測装置１００の要部が構成されている。
　次に、図２を参照して、水位計測装置１００のハードウェア構成について説明する。図２に示す如く、水位計測装置１００はコンピュータにより構成されており、プロセッサ２１及びメモリ２２を有している。メモリ２２には、当該コンピュータを図１に示す標定点設定部１１、識別用画像切り出し部１２、水位算定部１４、常時領域設定部１５、学習用画像切り出し部１６及び画像学習識別部１８として機能させるためのプログラムが記憶されている。メモリ２２に記憶されたプログラムをプロセッサ２１が読み出して実行することにより、図１に示す標定点設定部１１、識別用画像切り出し部１２、水位算定部１４、常時領域設定部１５、学習用画像切り出し部１６及び画像学習識別部１８の機能が実現される。
　プロセッサ２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などにより構成されている。メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクなどにより構成されている。
　次に、図３のフローチャートを参照して、標定点設定部１１及び常時領域設定部１５の動作について説明する。
　まず、ステップＳＴ１にて、標定点設定部１１は、操作入力装置２に入力された操作に応じて、撮影画像における複数個の標定点の座標値と、各標定点に対応する水位値とを設定する。具体的には、例えば、標定点設定部１１は、監視カメラ１が出力した画像データを取得して、この画像データが示す撮影画像をディスプレイ６に表示させる。作業者は、ディスプレイ６に表示された撮影画像に対して、マウス４を用いて複数個の標定点を指定する。標定点設定部１１は、指定された各標定点の座標値を算出する。作業者は、キーボード３を用いて、指定した各標定点に対応する水位値を入力する。
　また、ステップＳＴ２にて、常時領域設定部１５は、操作入力装置２に入力された操作に応じて、撮影画像における常時水領域と、撮影画像における常時非水領域とを設定する。具体的には、例えば、常時領域設定部１５は、監視カメラ１が出力した画像データを取得して、この画像データが示す撮影画像をディスプレイ６に表示させる。作業者は、ディスプレイ６に表示された撮影画像に対して、マウス４を用いて常時水領域と常時非水領域とを指定する。
　図４は、撮影画像Ｉの一例を示している。図５に示す例において、撮影画像Ｉの中央部に写された構造物Ｓは橋梁である。また、図中ｘ軸及びｙ軸は、撮影画像Ｉにおける座標値に対応する軸である。
　図５は、ステップＳＴ１で指定された標定点Ａ１～Ａ４の一例を示している。図５に示す如く、撮影画像Ｉの中央部において、４個の標定点Ａ１～Ａ４が縦一列に配置されている。図中、（ｘ１，ｙ１）は撮影画像Ｉにおける標定点Ａ１の座標値、（ｘ２，ｙ２）は撮影画像Ｉにおける標定点Ａ２の座標値、（ｘ３，ｙ３）は撮影画像Ｉにおける標定点Ａ３の座標値、（ｘ４，ｙ４）は撮影画像Ｉにおける標定点Ａ４の座標値をそれぞれ示している。また、標定点Ａ１に対応する水位値は４メートル、標定点Ａ２に対応する水位値は３メートル、標定点Ａ３に対応する水位値は２メートル、標定点Ａ４に対応する水位値は１メートルにそれぞれ設定されている。
　なお、標定点Ａ１～Ａ４の各々に対応する水位値を入力するためには、事前に構造物Ｓのサイズ及び凹凸形状などを測量しておくことが求められる。この測量については、公知の種々の方法を用いることができるため、説明を省略する。
　図６は、ステップＳＴ２で指定された常時水領域Ｂ及び常時非水領域Ｃの一例を示している。図６に示す如く、撮影画像Ｉの左端部に１個の矩形状の常時水領域Ｂが設定されている。また、撮影画像Ｉの上端部に１個の矩形状の常時非水領域Ｃが設定されている。
　以下、ステップＳＴ１，ＳＴ２の処理を総称して「準備処理」という。準備処理は、例えば、監視カメラ１が設置されて作業者が水位計測装置１００の使用を開始するときに１回だけ実行される。準備処理が完了した後、監視カメラ１は、撮影範囲を撮影して、撮影画像を示す画像データを出力する処理を継続して実行する。水位計測装置１００は、監視カメラ１が順次出力する画像データの各々に対して、図７のフローチャートに示す処理と図１２のフローチャートに示す処理とを自動で実行する。
　次に、図７のフローチャートを参照して、識別用画像切り出し部１２、画像識別部１３及び水位算定部１４の動作について説明する。
　まず、ステップＳＴ１１にて、識別用画像切り出し部１２は、監視カメラ１が出力した画像データを取得する。この画像データは、例えば、ステップＳＴ１１に対する直近のタイミングにて監視カメラ１が撮影した１個の撮影画像を示すものである。
　次いで、ステップＳＴ１２にて、識別用画像切り出し部１２は、ステップＳＴ１１で取得した画像データが示す撮影画像から識別用画像を切り出す。このとき、図３のステップＳＴ１で設定された各標定点の座標値を含む領域が切り出し対象領域となる。識別用画像切り出し部１２は、切り出した識別用画像を画像識別部１３に出力する。
　次いで、ステップＳＴ１３にて、画像識別部１３は、識別用画像切り出し部１２がステップＳＴ１２で出力した識別用画像の各々に対応する領域が、水領域であるか非水領域であるかを識別する。このとき、画像識別部１３は、画像学習部１７による機械学習（図１２に示すステップＳＴ２３）の結果に基づき、水領域であるか非水領域であるかの識別処理を実行する。画像識別部１３は、識別結果を水位算定部１４に出力する。
　次いで、ステップＳＴ１４にて、水位算定部１４は、画像識別部１３がステップＳＴ１３で出力した識別結果と、標定点設定部１１がステップＳＴ１で出力した各標定点に対応する水位値とを用いて、監視カメラ１の撮影範囲における水位を算定する。
　以下、ステップＳＴ１１～ＳＴ１４の処理を総称して「水位計測処理」という。水位計測装置１００は、図３に示す準備処理が完了した後、所定の条件を満たすとき（例えば、水位計測処理の終了を指示する操作が操作入力装置２に入力されたとき、水位計測装置１００の電源が切られたとき、又は監視カメラ１と水位計測装置１００間の通信接続が解除されたとき）まで、水位計測処理を繰り返し実行する。
　図８は、図５に示す例と同様の撮影画像Ｉと、この撮影画像Ｉにおける切り出し対象領域Ｄ１～Ｄ４の一例とを示している。切り出し対象領域Ｄ１～Ｄ４は、ステップＳＴ１で設定された標定点Ａ１～Ａ４と一対一に対応している。図８に示す例において、切り出し対象領域Ｄ１～Ｄ４の各々は、対応する標定点Ａ１～Ａ４を中心とする正方形状の領域である。個々の切り出し対象領域Ｄ１～Ｄ４のサイズは、互いに隣接する２個の切り出し対象領域の縁部同士が当接するサイズに設定されている。すなわち、標定点Ａ１～Ａ４が略等間隔に配列されているため、切り出し対象領域Ｄ１～Ｄ４のサイズは互いに略同等のサイズとなっている。
　図９は、撮影画像Ｉから切り出された識別用画像Ｅ１～Ｅ４の一例を示している。識別用画像Ｅ１～Ｅ４は、図８に示す切り出し対象領域Ｄ１～Ｄ４と一対一に対応している。
　図９に示す例において、識別用画像Ｅ１～Ｅ４の各々は、いずれも、その全体に構造物Ｓが写されており、かつ、河川の水が写されていない画像である。画像識別部１３は、画像学習部１７による機械学習の結果に基づき、識別用画像Ｅ１～Ｅ４の各々に対応する領域がいずれも非水領域であると識別する。水位算定部１４は、識別用画像Ｅ４に対応する領域が非水領域であるため、河川の水位が標定点Ａ４に対応する水位値（１メートル）未満であると算定する。
　図１０は、図５に示す例と異なる撮影画像Ｉ’と、この撮影画像Ｉ’における切り出し対象領域Ｄ１～Ｄ４とを示している。図１０に示す切り出し対象領域Ｄ１～Ｄ４の形状及びサイズは、図８に示す切り出し対象領域Ｄ１～Ｄ４の形状及びサイズと同様であるため、説明を省略する。
　図１１は、撮影画像Ｉ’から切り出された識別用画像Ｅ１’～Ｅ４’を示している。識別用画像Ｅ１’～Ｅ４’は、図１０に示す切り出し対象領域Ｄ１～Ｄ４と一対一に対応している。
　図１１に示す例において、識別用画像Ｅ１’は、下端部にのみ河川の水が写されており、かつ、残余の大半部に構造物Ｓが写された画像である。他方、識別用画像Ｅ２’～Ｅ４’は、いずれも、その全体に河川の水が写されており、かつ、構造物Ｓが写されていない画像である。画像識別部１３は、画像学習部１７による機械学習の結果に基づき、識別用画像Ｅ１’に対応する領域が非水領域であり、かつ、識別用画像Ｅ２’～Ｅ４’の各々に対応する領域が水領域であると識別する。水位算定部１４は、識別用画像Ｅ１’に対応する領域が非水領域であり、かつ、識別用画像Ｅ２’に対応する領域が水領域であるため、河川の水位が標定点Ａ２に対応する水位値（３メートル）以上かつ標定点Ａ１に対応する水位値（４メートル）未満であると算定する。
　次に、図１２フローチャートを参照して、学習用画像切り出し部１６及び画像学習部１７の動作について説明する。
　まず、ステップＳＴ２１にて、学習用画像切り出し部１６は、監視カメラ１が出力した画像データを取得する。この画像データは、例えば、ステップＳＴ２１に対する直近のタイミングにて監視カメラ１が撮影した１個の撮影画像を示すものである。
　次いで、ステップＳＴ２２にて、学習用画像切り出し部１６は、ステップＳＴ２１で取得した画像データが示す撮影画像から学習用画像を切り出す。このとき、図３のステップＳＴ２で設定された常時水領域に対応する部分と、図３のステップＳＴ２で設定された常時非水領域に対応する部分とが切り出し対象部分となる。学習用画像切り出し部１６は、切り出した学習用画像を画像学習部１７に出力する。
　次いで、ステップＳＴ２３にて、画像学習部１７は、学習用画像切り出し部１６がステップＳＴ２２で出力した学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する。すなわち、常時水領域に対応する学習用画像は、通常、河川の水が写された画像である。常時非水領域に対応する学習用画像は、通常、河川の水以外のものが写された画像である。画像学習部１７による機械学習は、常時水領域に対応する学習用画像と同様の特徴を有する識別用画像が入力された場合は当該識別用画像に対応する領域が水領域であると識別し、かつ、常時非水領域に対応する学習用画像と同様の特徴を有する識別用画像が入力された場合は当該識別用画像に対応する領域が非水領域であると識別することを可能ならしめることを目的とした学習である。
　以下、ステップＳＴ２１～ＳＴ２３の処理を総称して「機械学習処理」という。水位計測装置１００は、図３に示す準備処理が完了した後、所定の条件を満たすとき（例えば、機械学習処理の終了を指示する操作が操作入力装置２に入力されたとき、水位計測装置１００の電源が切られたとき、又は監視カメラ１と水位計測装置１００間の通信接続が解除されたとき）まで、機械学習処理を自動で繰り返し実行する。
　すなわち、水位計測装置１００が水位計測を開始してから時間が経過するにつれて、実行した機械学習処理の回数が増加して、画像学習部１７が学習に用いた学習用画像の個数が増えていく。一般に、機械学習は、入力される学習用データが多いほど出力の精度が向上する性質を有している。このため、機械学習処理の繰り返しにより、画像識別部１３による識別の精度を次第に向上することができる。この結果、水位算定部１４による水位算定の精度を向上することができ、水位計測装置１００による計測を安定させることができる。
　図１３に、学習用画像の具体例を示す。図１３Ａに示す１６個の画像の各々は、常時水領域に対応する学習用画像、すなわち河川の水が写された画像である。他方、図１３Ｂに示す１６個の画像の各々は、常時非水領域に対応する学習用画像、すなわち河川の水以外のものが写された画像である。
　次に、図１４を参照して、画像学習識別部１８における人工ニューラルネットワークの構造、及び人工ニューラルネットワークによる機械学習の具体例などについて説明する。
　人工ニューラルネットワークとは、計算機に予め複数の画像データを正解とともに入力して学習させておくことにより、新たに入力された画像データに写されているものが、特定の対象であるかどうかを判定して結果を出力するように動作させる仕組みの一つである。
　例えば、以下の非特許文献１には、いわゆる「畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ，ＣＮＮ）」を用いて、画像認識により物体を識別する方式が開示されている。ＣＮＮとは、画像に対応する２次元の入力に対してフィルタを適用（いわゆる「畳み込み」）して次の層に渡すことを特徴とする人工ニューラルネットワークである。
（非特許文献１）
Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. "Imagenet classification with deep convolutional neural networks." In Advances in neural information processing systems, pages 1097-1105, 2012.
　人工ニューラルネットワークは、入力信号の重み付き和を取り、活性化関数と呼ばれる非線形関数を適用して出力とするパーセプトロンを階層的に配置した計算モデルである。パーセプトロンの出力ｏｕｔは、入力をＸ＝（ｘ１，ｘ２，…ｘｎ）、重みをＷ＝（ｗ１，ｗ２，…ｗｎ）、活性化関数をｆ（・）とし、かつ、＊をベクトルの要素積として以下の式（１）により表すことができる。
　ｏｕｔ＝ｆ（Ｘ＊Ｗ）　（１）
　畳み込みニューラルネットワークにおいて、パーセプトロンは画像に対応する二次元信号を入力にとり、入力の重み付き和を計算して次の層に渡す。活性化関数には、シグモイド関数又はＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔ）関数が用いられる。
　図１４は人工ニューラルネットワークの構造の一例を示している。図１４に示す如く、前述のパーセプトロンが階層的に配置されており、各層が入力信号を処理していくことで、識別結果を計算する。最終層は識別するタスクの出力に対応しており、回帰タスクであれば活性化関数の出力をそのまま予測値とし、分類タスクであれば最終層についてソフトマックス関数を適用し、出力とする。
　畳み込みニューラルネットワークの場合、図１４に示す如く二次元信号のマップとして人工ネットワークが構成される。二次元信号のそれぞれがパーセプトロンに対応するとみなすことができ、前層の特徴マップに対し重み付き和を計算して活性化関数を適用した結果を出力する。図１４には、層と層の間の入出力の対応関係を記載している。
　畳み込みネットワークにおいて、上述の処理は畳み込み演算と呼ばれ、このほかにプーリング処理を行う層が各層に挿入される場合がある。この層は、特徴マップに対して平均値演算又は最大値演算を行うことによりダウンサンプリングを行う。図１４に示す例においては、第１層～第３層に３層の畳み込み層を配置して、第４層及び第５層に通常のパーセプトロンの層を配置している。
　このような人工ニューラルネットワークの学習は、誤差逆伝播により行われるものであり、確率的勾配降下法が用いられる。誤差逆伝播とは、人工ニューラルネットワークの出力誤差を最終層から順に前の層に向かって伝播させ、重みを更新させていく枠組みのことである。誤差逆伝播の具体的な方法については、例えば、以下の非特許文献２に記載されたものと同様の方法を用いることができる。
（非特許文献２）
Ｃ．Ｍ．ビショップ、元田浩（監訳）、『パターン認識と機械学習　上』、丸善出版、２０１２年。
　なお、標定点設定部１１は、１個の標定点の座標値と、当該１個の標定点に対応する水位値とを設定するものであっても良い。ただし、水位算定部１４にてより細かい水位の算定を可能とする観点から、標定点設定部１１は、複数個の標定点の座標値と、当該複数個の標定点の各々の水位値とを設定するのが好適である。
　また、識別用画像切り出し部１２による個々の切り出し対象領域の形状は、正方形に限定されるものではなく、如何なる形状であっても良い。また、個々の切り出し対象領域は対応する標定点の座標値を含むものであれば良く、個々の切り出し対象領域における標定点の配置位置はその中心部に限定されるものではない。例えば、個々の切り出し対象領域は、対応する標定点がその隅部に配置されたものであっても良い。
　また、学習用画像切り出し部１６による個々の切り出し対象部分の形状は、矩形に限定されるものではない。個々の切り出し対象部分の形状は、操作入力装置２の操作に応じた如何なる形状であっても良い。
　また、画像学習識別部１８は、学習用画像の入力に対して水領域と非水領域との識別に係る機械学習を実行可能なモデルを用いたものであれば良く、当該モデルは畳み込みニューラルネットワークに限定されるものではない。画像学習識別部１８は、例えば、サポートベクトルマシン（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ，ＳＶＭ）を用いたものであっても良い。
　また、図１２に示す機械学習処理は、図３に示す準備処理の完了後に繰り返し実行されるのに代えて、所定のタイミングのみにて実行されるものであっても良い。例えば、機械学習処理は、監視カメラ１のメンテナンス中など、水位計測処理が停止したタイミングにて実行されるものであっても良い。これにより、水位計測処理の実行中における水位計測装置１００の処理負荷を低減することができる。また、この場合、学習用画像切り出し部１６は、ステップＳＴ２１にて、前回の機械学習処理が実行された後に撮影された複数個の撮影画像を示す画像データをまとめて取得するものであっても良い。学習用画像切り出し部１６は、当該複数個の撮影画像の各々から学習用画像を切り出すものであっても良い。
　また、水位計測装置１００による水位計測の対象は河川に限定されるものではない。水位計測装置１００は、例えば、湖沼、海洋、ダム、用水路又は溜池などの水位計測にも用いることができる。
　以上のように、実施の形態１の水位計測装置１００は、操作入力装置２に入力された操作に応じて、監視カメラ１による撮影画像Ｉ，Ｉ’における標定点Ａ１～Ａ４の座標値と、標定点Ａ１～Ａ４に対応する水位値とを設定する標定点設定部１１と、撮影画像Ｉ，Ｉ’を取得して、撮影画像Ｉ，Ｉ’のうちの標定点Ａ１～Ａ４の座標値を含む領域を識別用画像Ｅ１～Ｅ４，Ｅ１’～Ｅ４’として切り出す識別用画像切り出し部１２と、水領域と非水領域との識別に係る機械学習の結果に基づき、識別用画像Ｅ１～Ｅ４，Ｅ１’～Ｅ４’に対応する領域が水領域であるか非水領域であるかを識別する画像学習識別部１８と、画像学習識別部１８による識別結果と、標定点Ａ１～Ａ４に対応する水位値とを用いて、監視カメラ１による撮影範囲における水位を算定する水位算定部１４とを備える。水領域と非水領域との識別に機械学習の結果を用いることにより、両領域を高精度に識別することができる。この結果、水位算定部１４による水位算定の精度を向上することができ、水位計測装置１００による計測を安定させることができる。また、操作入力装置２に入力された操作に応じて標定点の座標値を設定するため、量水板が設置されていない河川などの水位計測にも用いることができる。
　また、水位計測装置１００は、操作入力装置２に入力された操作に応じて、撮影画像Ｉ，Ｉ’における常時水領域Ｂと、撮影画像Ｉ，Ｉ’における常時非水領域Ｃとを設定する常時領域設定部１５と、撮影画像Ｉ，Ｉ’を取得して、撮影画像Ｉ，Ｉ’のうちの常時水領域Ｂに対応する部分と撮影画像Ｉ，Ｉ’のうちの常時非水領域Ｃに対応する部分とを学習用画像として切り出す学習用画像切り出し部１６とを備え、画像学習識別部１８は、学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する。これにより、機械学習処理を自動で繰り返し実行することが可能となり、画像識別部１３による識別の精度を次第に向上することができる。
　また、標定点設定部１１は、撮影画像Ｉ，Ｉ’における複数個の標定点Ａ１～Ａ４の座標値と、複数個の標定点Ａ１～Ａ４の各々に対応する水位値とを設定し、識別用画像切り出し部１２は、複数個の標定点Ａ１～Ａ４に対応する複数個の識別用画像Ｅ１～Ｅ４，Ｅ１’～Ｅ４’を切り出し、画像学習識別部１８は、複数個の識別用画像Ｅ１～Ｅ４，Ｅ１’～Ｅ４’の各々が水領域であるか非水領域であるかを識別し、水位算定部１４は、複数個の識別用画像Ｅ１～Ｅ４，Ｅ１’～Ｅ４’の各々についての識別結果と、複数個の標定点Ａ１～Ａ４の各々に対応する水位値とを用いて、撮影範囲における水位を算定する。標定点の個数を増やすことにより、水位算定部１４にてより細かい水位の算定が可能となる。
　また、実施の形態１に係る水位計測方法は、標定点設定部１１が、操作入力装置２に入力された操作に応じて、監視カメラ１による撮影画像Ｉ，Ｉ’における標定点Ａ１～Ａ４の座標値と、標定点Ａ１～Ａ４に対応する水位値とを設定するステップ（ステップＳＴ１）と、識別用画像切り出し部１２が、撮影画像Ｉ，Ｉ’を取得して、撮影画像Ｉ，Ｉ’のうちの標定点Ａ１～Ａ４の座標値を含む領域を識別用画像Ｅ１～Ｅ４，Ｅ１’～Ｅ４’として切り出すステップ（ステップＳＴ１１，ＳＴ１２）と、画像学習識別部１８が、水領域と非水領域との識別に係る機械学習の結果に基づき、識別用画像Ｅ１～Ｅ４，Ｅ１’～Ｅ４’に対応する領域が水領域であるか非水領域であるかを識別するステップ（ステップＳＴ１３）と、水位算定部１４が、画像学習識別部１８による識別結果と、標定点Ａ１～Ａ４に対応する水位値とを用いて、監視カメラ１による撮影範囲における水位を算定するステップ（ステップＳＴ１４）とを備える。これにより、上記水位計測装置１００と同様の上記効果を得ることができる。
　なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　本発明の水位計測装置は、河川などの水位計測に用いることができる。
　１　監視カメラ、２　操作入力装置、３　キーボード、４　マウス、５　表示装置、６　ディスプレイ、１１　標定点設定部、１２　識別用画像切り出し部、１３　画像識別部、１４　水位算定部、１５　常時領域設定部、１６　学習用画像切り出し部、１７　画像学習部、１８　画像学習識別部、２１　プロセッサ、２２　メモリ、１００　水位計測装置。

Claims (4)

  1. 　操作入力装置に入力された操作に応じて、監視カメラによる撮影画像における標定点の座標値と、前記標定点に対応する水位値とを設定する標定点設定部と、
    　前記撮影画像を取得して、前記撮影画像のうちの前記標定点の座標値を含む領域を識別用画像として切り出す識別用画像切り出し部と、
    　水領域と非水領域との識別に係る機械学習の結果に基づき、前記識別用画像に対応する領域が前記水領域であるか前記非水領域であるかを識別する画像学習識別部と、
    　前記画像学習識別部による識別結果と、前記標定点に対応する水位値とを用いて、前記監視カメラによる撮影範囲における水位を算定する水位算定部と、
    　を備える水位計測装置。
  2. 　前記操作入力装置に入力された操作に応じて、前記撮影画像における常時水領域と、前記撮影画像における常時非水領域とを設定する常時領域設定部と、
    　前記撮影画像を取得して、前記撮影画像のうちの前記常時水領域に対応する部分と前記撮影画像のうちの前記常時非水領域に対応する部分とを学習用画像として切り出す学習用画像切り出し部と、を備え、
    　前記画像学習識別部は、前記学習用画像を用いて、前記水領域と前記非水領域との識別に係る前記機械学習を実行する
    　ことを特徴とする請求項１記載の水位計測装置。
  3. 　前記標定点設定部は、前記撮影画像における複数個の前記標定点の座標値と、複数個の前記標定点の各々に対応する水位値とを設定し、
    　前記識別用画像切り出し部は、複数個の前記標定点に対応する複数個の前記識別用画像を切り出し、
    　前記画像学習識別部は、複数個の前記識別用画像の各々が前記水領域であるか前記非水領域であるかを識別し、
    　前記水位算定部は、複数個の前記識別用画像の各々についての前記識別結果と、複数個の前記標定点の各々に対応する水位値とを用いて、前記撮影範囲における水位を算定する
    　ことを特徴とする請求項１記載の水位計測装置。
  4. 　標定点設定部が、操作入力装置に入力された操作に応じて、監視カメラによる撮影画像における標定点の座標値と、前記標定点に対応する水位値とを設定するステップと、
    　識別用画像切り出し部が、前記撮影画像を取得して、前記撮影画像のうちの前記標定点の座標値を含む領域を識別用画像として切り出すステップと、
    　画像学習識別部が、水領域と非水領域との識別に係る機械学習の結果に基づき、前記識別用画像に対応する領域が前記水領域であるか前記非水領域であるかを識別するステップと、
    　水位算定部が、前記画像学習識別部による識別結果と、前記標定点に対応する水位値とを用いて、前記監視カメラによる撮影範囲における水位を算定するステップと、
    　を備える水位計測方法。
PCT/JP2016/084078 2016-11-17 2016-11-17 水位計測装置及び水位計測方法 WO2018092238A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/084078 WO2018092238A1 (ja) 2016-11-17 2016-11-17 水位計測装置及び水位計測方法
JP2017505265A JP6125137B1 (ja) 2016-11-17 2016-11-17 水位計測装置及び水位計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/084078 WO2018092238A1 (ja) 2016-11-17 2016-11-17 水位計測装置及び水位計測方法

Publications (1)

Publication Number Publication Date
WO2018092238A1 true WO2018092238A1 (ja) 2018-05-24

Family

ID=58704724

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/084078 WO2018092238A1 (ja) 2016-11-17 2016-11-17 水位計測装置及び水位計測方法

Country Status (2)

Country Link
JP (1) JP6125137B1 (ja)
WO (1) WO2018092238A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543596A (zh) * 2018-11-20 2019-03-29 浙江大华技术股份有限公司 一种水位监测方法、装置、电子设备及存储介质
WO2020188692A1 (ja) * 2019-03-18 2020-09-24 三菱電機株式会社 水位計測装置、水位計測方法および水位計測プログラム
WO2020261634A1 (ja) * 2019-06-25 2020-12-30 三菱電機株式会社 境線検出装置及び水位計測装置
CN112523804A (zh) * 2020-12-10 2021-03-19 广东电网有限责任公司佛山供电局 一种电缆隧道排水监控系统及方法
CN113052178A (zh) * 2019-12-27 2021-06-29 沈阳新松机器人自动化股份有限公司 一种基于机器视觉的玻璃液位计识别方法及其系统
WO2021197009A1 (zh) * 2020-04-02 2021-10-07 中国长江三峡集团有限公司 一种水情监测数据的实时异常诊断与插补方法
CN115880683A (zh) * 2023-03-02 2023-03-31 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种基于深度学习的城市内涝积水智能水位检测方法
JP2023165495A (ja) * 2022-05-06 2023-11-16 株式会社サイバーリンクス 河川水位レベル観測システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6729971B2 (ja) * 2017-08-30 2020-07-29 三菱電機株式会社 水位計測装置および水際線抽出方法
CN107506798B (zh) * 2017-08-31 2020-07-10 四创科技有限公司 一种基于图像识别的水位监测方法
JP7029981B2 (ja) * 2018-03-01 2022-03-04 国立大学法人北海道大学 汚水越流検知装置、汚水越流検知方法、プログラム、及び汚水処理装置
JP7074182B2 (ja) * 2018-03-14 2022-05-24 日本電気株式会社 領域判定装置、監視システム、領域判定方法、及び、コンピュータプログラム
JP7299041B2 (ja) * 2019-03-13 2023-06-27 株式会社明電舎 架線金具検出装置および架線金具検出方法
CN110207676A (zh) * 2019-06-12 2019-09-06 中国科学院测量与地球物理研究所 一种田沟塘参数的获取方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3220339B2 (ja) * 1994-11-16 2001-10-22 株式会社日立製作所 画像処理による水位計測方法および装置
JP2015005231A (ja) * 2013-06-23 2015-01-08 日本写真印刷株式会社 押圧検出機能付タッチパネル

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103988057B (zh) * 2011-07-09 2017-11-28 高斯外科公司 估算体外血液体积并对外科手术样品计数的系统和方法
JP6021237B2 (ja) * 2012-05-14 2016-11-09 ガウス サージカルＧａｕｓｓ Ｓｕｒｇｉｃａｌ 患者の失血を管理するシステム
IN2014DN10002A (ja) * 2012-05-14 2015-08-14 Gauss Surgical

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3220339B2 (ja) * 1994-11-16 2001-10-22 株式会社日立製作所 画像処理による水位計測方法および装置
JP2015005231A (ja) * 2013-06-23 2015-01-08 日本写真印刷株式会社 押圧検出機能付タッチパネル

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543596A (zh) * 2018-11-20 2019-03-29 浙江大华技术股份有限公司 一种水位监测方法、装置、电子设备及存储介质
WO2020188692A1 (ja) * 2019-03-18 2020-09-24 三菱電機株式会社 水位計測装置、水位計測方法および水位計測プログラム
WO2020261634A1 (ja) * 2019-06-25 2020-12-30 三菱電機株式会社 境線検出装置及び水位計測装置
JP2021005158A (ja) * 2019-06-25 2021-01-14 三菱電機株式会社 境線検出装置及び水位計測装置
CN113052178A (zh) * 2019-12-27 2021-06-29 沈阳新松机器人自动化股份有限公司 一种基于机器视觉的玻璃液位计识别方法及其系统
WO2021197009A1 (zh) * 2020-04-02 2021-10-07 中国长江三峡集团有限公司 一种水情监测数据的实时异常诊断与插补方法
GB2601261A (en) * 2020-04-02 2022-05-25 China Three Gorges Corp Real-time abnormal diagnosis and interpolation method for water regimen monitoring data
GB2601261B (en) * 2020-04-02 2024-05-15 China Three Gorges Corp Real-time abnormal diagnosis and interpolation method for water regimen monitoring data
CN112523804A (zh) * 2020-12-10 2021-03-19 广东电网有限责任公司佛山供电局 一种电缆隧道排水监控系统及方法
JP2023165495A (ja) * 2022-05-06 2023-11-16 株式会社サイバーリンクス 河川水位レベル観測システム
JP7417656B2 (ja) 2022-05-06 2024-01-18 株式会社サイバーリンクス 河川水位レベル観測システム
CN115880683A (zh) * 2023-03-02 2023-03-31 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种基于深度学习的城市内涝积水智能水位检测方法

Also Published As

Publication number Publication date
JPWO2018092238A1 (ja) 2018-11-22
JP6125137B1 (ja) 2017-05-10

Similar Documents

Publication Publication Date Title
JP6125137B1 (ja) 水位計測装置及び水位計測方法
US11145073B2 (en) Computer vision systems and methods for detecting and modeling features of structures in images
JP6926335B2 (ja) 深層学習における回転可変物体検出
CN102906786B (zh) 脸部特征点位置校正设备和脸部特征点位置校正方法
JP4984650B2 (ja) 移動装置及び移動装置の自己位置推定方法
CN110223341B (zh) 一种基于图像识别的智能水位监测方法
JP2018028904A (ja) 複数の関心領域及び信頼スコアを使用する信号機検出
CN107564069A (zh) 标定参数的确定方法、装置及计算机可读存储介质
US11282226B2 (en) Water level measurement device and shoreline extraction method
CN112798811B (zh) 速度测量方法、装置和设备
CN111561906B (zh) 机器人单目测距方法、系统、电子设备和计算机存储介质
CN108986152A (zh) 一种基于差分图像的异物检测方法及装置
CN112927279A (zh) 一种图像深度信息生成方法、设备及存储介质
CN112991459B (zh) 一种相机标定方法、装置、设备以及存储介质
US10861184B1 (en) Object pose neural network system
WO2020188692A1 (ja) 水位計測装置、水位計測方法および水位計測プログラム
CN116188893A (zh) 基于bev的图像检测模型训练及目标检测方法和装置
US20160282875A1 (en) Moving object controller, landmark, and moving object control method
Zhang et al. Identification of concrete surface damage based on probabilistic deep learning of images
JP2012123631A (ja) 注目領域検出方法、注目領域検出装置、及びプログラム
WO2020261634A1 (ja) 境線検出装置及び水位計測装置
CN103136513B (zh) 一种改进的asm人脸特征点定位方法
CN113674358B (zh) 一种雷视设备的标定方法、装置、计算设备及存储介质
JP2022099959A (ja) 流量推定システム、情報処理装置およびプログラム
CN113077518A (zh) 一种相机参数标定方法、装置及存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017505265

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16921674

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16921674

Country of ref document: EP

Kind code of ref document: A1