WO2020261634A1 - 境線検出装置及び水位計測装置 - Google Patents

境線検出装置及び水位計測装置 Download PDF

Info

Publication number
WO2020261634A1
WO2020261634A1 PCT/JP2020/005767 JP2020005767W WO2020261634A1 WO 2020261634 A1 WO2020261634 A1 WO 2020261634A1 JP 2020005767 W JP2020005767 W JP 2020005767W WO 2020261634 A1 WO2020261634 A1 WO 2020261634A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
learning
unit
boundary line
identification
Prior art date
Application number
PCT/JP2020/005767
Other languages
English (en)
French (fr)
Inventor
利久 鈴木
秀明 前原
倫裕 口
謙二 平
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Publication of WO2020261634A1 publication Critical patent/WO2020261634A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F23/00—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
    • G01F23/22—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water
    • G01F23/28—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water by measuring the variations of parameters of electromagnetic or acoustic waves applied directly to the liquid or fluent solid material
    • G01F23/284—Electromagnetic waves
    • G01F23/292—Light, e.g. infrared or ultraviolet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a boundary line detecting device that detects the position of a boundary line and a water level measuring device that measures a water level as the position of the boundary line.
  • a water level measuring device for measuring the water level of a river or the like using a photographed image.
  • a method of using the result of machine learning to distinguish between a water area and a non-water area is known (see, for example, Patent Document 1).
  • the water level measuring device cuts out a part corresponding to a constant water area and a part corresponding to a non-water area from a captured image as a learning image, and uses the learning image to distinguish between a water area and a non-water area. Perform such machine learning.
  • a method is also known in which a learning data storage unit for accumulating learning data is provided, and when a certain amount of learning data is accumulated in the learning data storage unit, the learning data is read out to perform machine learning. (See, for example, Patent Document 2).
  • the boundary line detection device is used for learning to cut out a portion corresponding to a first region and a portion corresponding to a second region different from the first region as a learning image from a captured image.
  • the accuracy can be improved as compared with the conventional case.
  • FIG. 14A and 14B are explanatory views showing an example of a learning image cut out by the learning image cutting portion in the first embodiment, and FIG. 14A shows an example of a learning image of a portion always corresponding to a water area. , FIG. 14B shows an example of a learning image of a portion that always corresponds to a non-water area. It is explanatory drawing which shows the hierarchical structure of the artificial neural network in the image learning identification part in Embodiment 1, the input / output relation between each layer, and the like.
  • FIG. 1 It is explanatory drawing which shows an example of the constant water area and the constant non-water area set by the constant area setting part in Embodiment 1.
  • FIG. It is explanatory drawing which shows an example of the reference image set by the image selection setting part in Embodiment 1.
  • FIG. It is explanatory drawing which shows the storage example of the learning image by the learning data storage part in Embodiment 1.
  • It is explanatory drawing which shows an example of the performance evaluation image stored in the performance evaluation image storage part in Embodiment 1.
  • FIG. 1 is a diagram showing a functional hardware configuration example showing a boundary line detection system including the boundary line detection device 4 according to the first embodiment.
  • the boundary line detection system includes a surveillance camera 1, an operation input device 2, a display device 3, and a boundary line detection device (water level measuring device) 4.
  • the surveillance camera 1 is connected to the boundary line detection device 4 via, for example, a wireless LAN (Local Area Network).
  • a wireless LAN Local Area Network
  • the surveillance camera 1 obtains an image (photographed image) by photographing a range (shooting range) to be photographed.
  • the surveillance camera 1 is installed toward the river, and the photographing range of the surveillance camera 1 includes river water and other than river water. Examples of substances other than river water include structures such as bridges.
  • the image data indicating the captured image obtained by the surveillance camera 1 is output to the boundary line detection device 4.
  • the display device 3 performs various displays based on various data output from the boundary line detection device 4.
  • the display device 3 includes a display 301.
  • Examples of the display 301 include a liquid crystal display or an organic EL (Electroluminescence) display.
  • the boundary line detection device 4 detects the water level (position of the boundary line) using the captured image obtained by the surveillance camera 1 in response to the operation received by the operation input device 2.
  • the boundary line detection device 4 is composed of a computer, and includes a processor 501 and a memory 502 as shown in FIG.
  • the memory 502 stores a program for causing the computer to function as each component of the boundary line detection device 4 shown in FIG.
  • the processor 501 realizes the function of each component included in the boundary line detection device 4 shown in FIG. 2 by reading and executing the program stored in the memory 502.
  • the processor 501 is composed of, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, or a DSP (Digital Signal Processor).
  • the memory 502 is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Online Memory), an EEPROM (Electrically Memory Memory), or an EEPROM (Electrically Memory). It is composed of an optical disk or a photomagnetic disk.
  • the boundary line detection device 4 has, as components, an image selection setting unit 401, a constant area setting unit 402, a learning image cutting unit 403, an image selection unit 404, a learning data storage unit 405, and an image learning unit.
  • image identification unit 407 error correction unit 408, automatic learning management unit 409, inference device storage unit 410, performance evaluation image storage unit 411, control point setting unit 412, identification image cutout unit 413, and boundary line calculation unit 414.
  • the image learning unit 406 and the image identification unit 407 constitute an image learning identification unit 415.
  • solid arrows indicate the flow of data and dashed arrows indicate the flow of program control.
  • the image selection unit 404 selects the learning image cut out by the learning image cutting unit 403 for each parameter based on the setting by the image selection setting unit 401. At this time, the image selection unit 404 compares the learning image of the portion corresponding to the constant water area and the learning image of the portion corresponding to the constant non-water area with the reference image for each parameter, and according to the difference in the values. The learning image is classified into the corresponding selection category. Further, the image selection unit 404 discards the learning images that exceed the range of the values of the corresponding parameters and the learning images that exceed the required number of the classified learning images. The image data indicating the learning image selected by the image selection unit 404 is output to the learning data storage unit 405.
  • the learning data storage unit 405 stores image data indicating a learning image for each parameter selection category selected by the image selection unit 404 in an independent state for each parameter selection category. Further, the learning data storage unit 405 stores the data indicating the learning image in which the error has been corrected by the error correction unit 408 in an independent state.
  • the image identification unit 407 uses the inference device indicated by the data stored in the inference device storage unit 410 to determine whether the area captured in the identification image cut out by the identification image cutout unit 413 is a water area or not. Identify whether it is a body of water.
  • the image identification unit 407 uses, for example, a so-called "artificial neural network". The structure of the artificial neural network and specific examples of machine learning by the artificial neural network will be described later.
  • the data indicating the identification result for the identification image by the image identification unit 407 is output to the boundary line calculation unit 414.
  • the image identification unit 407 using the inference device indicated by the data stored in the inference device storage unit 410, is the area copied to the learning image cut out by the learning image cutting unit 403 a water area? Or identify whether it is a non-water area.
  • the image data indicating the learning image to which the identification result by the image identification unit 407 is attached is output to the error correction unit 408.
  • the error correction unit 408 determines whether or not there is an error in the identification result for the learning image by the image identification unit 407. That is, the error correction unit 408 determines whether the image identification unit 407 has always identified the non-water area as a non-water area and whether the image identification unit 407 has identified the non-water area as a water area. Then, when the error correction unit 408 determines that the identification result for the learning image by the image identification unit 407 is incorrect, the error correction unit 408 corrects the identification result attached to the learning image to the correct identification result, and then the image data. Is output to the learning data storage unit 405.
  • the error correction unit 408 corrects the non-water area to a water area. Further, when the image identification unit 407 erroneously identifies a non-water area as a water area, the error correction unit 408 corrects the water area to a non-water area.
  • the automatic learning management unit 409 controls the operation of the image learning identification unit 415.
  • the automatic learning management unit 409 confirms the number of learning images indicated by the image data stored in the learning data storage unit 405 at any time for each parameter selection category. Then, the automatic learning management unit 409 orders the image learning unit 406 to execute machine learning when it is determined that the required number of sheets is satisfied in all the selection categories of all the parameters. Further, the automatic learning management unit 409 checks at any time the number of learning images in which the error indicated by the image data stored in the learning data storage unit 405 has been corrected. Then, when it is determined that the required number of sheets is satisfied, the automatic learning management unit 409 instructs the image learning unit 406 to execute machine learning.
  • the performance evaluation image storage unit 411 stores image data indicating the performance evaluation image.
  • the performance evaluation image is an image for the image identification unit 407 to evaluate the performance (accuracy) of the inference device generated by the image learning unit 406.
  • the control point setting unit 412 sets the coordinate values of the plurality of control points and the water level value (height) corresponding to each of the control points to the captured image according to the operation received by the operation input device 2.
  • the control point is a point that serves as a reference for measuring the water level in the captured image.
  • the water level value is a value indicating the water level corresponding to the control point.
  • the data indicating the coordinate values of the control points set by the control point setting unit 412 is output to the identification image cutting unit 413. Further, the data indicating the water level value corresponding to each control point set by the control point setting unit 412 is output to the boundary line calculation unit 414.
  • the learning data storage unit 405, the inference device storage unit 410, and the performance evaluation image storage unit 411 are composed of, for example, a semiconductor memory such as RAM, ROM, flash memory, EPROM or EEPROM, a magnetic disk, an optical disk, or a magneto-optical disk. Has been done. Further, FIG. 2 shows a case where the learning data storage unit 405 is provided inside the boundary line detection device 4. However, the present invention is not limited to this, and the learning data storage unit 405 may be provided outside the boundary line detection device 4. The same applies to the inference device storage unit 410 and the performance evaluation image storage unit 411.
  • the control point setting unit 412 responds to the operation received by the operation input device 2. Coordinate values of a plurality of control points and water level values corresponding to each of the control points are set for the captured image (step ST301). Specifically, for example, the control point setting unit 412 first acquires image data from the surveillance camera 1 and causes the display 301 to display the captured image indicated by the image data. Then, the operator uses the mouse 202 to specify a plurality of control points for the captured image displayed on the display 301.
  • the image selection setting unit 401 sets the reference image and the image selection reference according to the operation received by the operation input device 2 (step ST303).
  • Image selection criteria include parameters, thresholds and required number of images.
  • the image selection setting unit 401 first causes the display 301 to display the reference image and the setting items for setting the image selection reference. Then, the operator uses the mouse 202 to specify, for example, the average image of the captured images obtained by being photographed by the surveillance camera 1 for 24 hours as the reference image for the setting items displayed on the display 301. Further, the operator uses the mouse 202 and the keyboard 201 to specify the image selection criteria for the setting items displayed on the display 301. Then, the image selection setting unit 401 acquires the reference image and the data indicating the image selection standard designated by the operator, and sets the reference image and the image selection standard.
  • the preparatory process shown in FIG. 3 is executed only once, for example, when the operator starts using the boundary line detection device 4 after the surveillance camera 1 is installed. After the preparatory process is completed, the surveillance camera 1 continuously executes the process of photographing the photographing range and outputting the image data indicating the photographed image. Then, the boundary line detection device 4 automatically executes the learning process shown in FIG. 4 and the water level measurement process shown in FIG. 7 using the image data sequentially output by the surveillance camera 1.
  • the learning image cutting unit 403 first acquires image data from the surveillance camera 1 (step). ST401).
  • the captured image indicated by the image data is, for example, one captured image obtained by being captured by the surveillance camera 1 at the latest timing of performing the process in step ST401.
  • the learning image cutting unit 403, the learning data storage unit 405, the image learning unit 406, the image identification unit 407, the error correction unit 408, and the automatic learning management unit 409 execute machine learning using the error correction data (step ST403).
  • the error correction data refers to image data indicating a learning image in which an error in the identification result in the image identification unit 407 is corrected by the error correction unit 408. Details of the processing in step ST403 will be described later.
  • the image learning unit 406 generates an inference device (new inference device).
  • the image identification unit 407 uses a new inference device to determine whether the area captured in the performance evaluation image indicated by the image data stored in the performance evaluation image storage unit 411 is a water area or a non-water area. Is identified (step ST404).
  • the performance evaluation image is, for example, an image of an area other than the constantly non-water area and the constantly water area of the same river as the river taken by the surveillance camera 1.
  • the boundary line detection device 4 evaluates the performance of the new inference device by identification by the image identification unit 407.
  • step ST405 when the automatic learning management unit 409 determines that the inference device is improved, the existing inference device is discarded and the inference device is replaced (step ST406). As a result, the image identification unit 407 will subsequently perform identification using the new inference device. That is, after that, this new inference device becomes an existing inference device.
  • step ST405 when the automatic learning management unit 409 determines that the inference device has not been improved, the new inference device is discarded (step ST407). As a result, the image identification unit 407 will continue to perform identification using the existing inference device.
  • the automatic learning management unit 409 determines whether the number of times it is determined that the estimator has not been improved exceeds a certain number of times (step ST408).
  • the fixed number of times is, for example, three times in a row.
  • step ST408 if the automatic learning management unit 409 determines that the number of times determined above does not exceed a certain number, the sequence returns to steps ST402 and ST403.
  • step ST501 the learning image cutting unit 403 determines whether a certain time has elapsed from the start of image data acquisition.
  • the fixed time is, for example, 3 hours. If it is determined in step ST501 that the learning image cutting unit 403 has not elapsed for a certain period of time from the start of image data acquisition, the sequence returns to step ST501, and the learning image cutting unit 403 acquires the image data. continue.
  • step ST501 when the learning image cutting unit 403 determines that a certain time has passed from the start of acquiring the image data, the learning image cutting unit 403 cuts out the learning image from the captured image indicated by the acquired image data (step ST502). .. At this time, the learning image cutting unit 403 cuts out a portion corresponding to the constant water area set by the constant area setting unit 402 and a portion corresponding to the constant non-water area as a learning image.
  • the image selection unit 404 selects the learning image cut out by the learning image cutting unit 403 for each parameter based on the setting by the image selection setting unit 401 (step ST503).
  • the image selection unit 404 compares the learning image of the portion corresponding to the constant water area and the learning image of the portion corresponding to the constant non-water area with the reference image for each parameter, and calculates the difference between the values. By doing so, the learning images are classified into the corresponding selection categories. For example, the image selection unit 404 calculates the difference in brightness values according to the following equation (1).
  • D represents the difference in lightness value
  • b represents the lightness value at one pixel in the reference image
  • r represents the lightness value at one pixel in the training image
  • n Represents the number of pixels of the reference image and the training image.
  • the image selection unit 404 determines whether or not there is a learning image outside the range of the value of the corresponding parameter among the classified learning images. In addition, the image selection unit 404 determines whether or not there is a learning image that exceeds the required number of the classified learning images. Then, the image selection unit 404 discards the learning images outside the range of the values of the corresponding parameters and the learning images exceeding the required number of the learning images. On the other hand, the image selection unit 404 outputs the image data showing the remaining learning images (learning images within the range of the value of the corresponding parameter and not exceeding the required number of images) to the learning data storage unit 405.
  • the learning data storage unit 405 stores image data indicating a learning image for each parameter selection category selected by the image selection unit 404 in an independent state for each parameter selection category (step ST504). .. That is, the learning data storage unit 405 stores the image data showing the learning image of the portion corresponding to the constant water area in the storage destination of each parameter of the portion corresponding to the constant water area. Further, the learning data storage unit 405 stores image data indicating a learning image of a portion corresponding to the non-water area at all times in a storage destination of each parameter of the portion corresponding to the non-water area at all times.
  • the automatic learning management unit 409 determines whether or not machine learning needs to be executed based on the storage state in the learning data storage unit 405 (step ST505). That is, the automatic learning management unit 409 determines whether the number of learning images indicated by the image data stored in the learning data storage unit 405 satisfies the required number of sheets in all the selection categories of all the parameters. In other words, in the learning data storage unit 405, the automatic learning management unit 409 stores the required number of each parameter of the portion corresponding to the constant water area and the storage destination of each parameter of the portion corresponding to the non-water area at all times. Determine if all are satisfied.
  • step ST505 when the automatic learning management unit 409 determines that the execution of machine learning is necessary, the automatic learning management unit 409 instructs the image learning unit 406 to execute the machine learning (step ST506).
  • the image learning unit 406 uses the learning image stored in the learning data storage unit 405 to perform machine learning related to discrimination between a water area and a non-water area to generate an inference device (step ST507). That is, the learning image of the part corresponding to the water area at all times is usually an image of the water of the river. In addition, the learning image of the part corresponding to the non-water area at all times is usually an image in which something other than river water is captured.
  • Machine learning by the image learning unit 406 always identifies that the area corresponding to the identification image is the water area when an identification image having the same characteristics as the learning image of the part corresponding to the water area is input. In addition, when an identification image having the same characteristics as the learning image of the part corresponding to the non-water area is input, it is possible to identify that the area corresponding to the identification image is the non-water area. It is learning for the purpose.
  • step ST505 determines in step ST505 that the execution of machine learning is unnecessary
  • the sequence returns to step ST501, and the learning image cutting unit 403 waits until the next fixed time elapses.
  • step ST601 when the learning image cutting unit 403 determines that a certain time has passed from the start of acquiring the image data, the learning image cutting unit 403 cuts out the learning image from the captured image indicated by the acquired image data (step ST602). ..
  • the process in step ST602 is the same as the process in step ST502 shown in FIG.
  • the image identification unit 407 uses the inference device stored in the inference device storage unit 410 to determine whether the area copied to the learning image cut out by the learning image cutting unit 403 is a water area or a non-water area. (Step ST603).
  • step ST604 when the error correction unit 408 determines that the identification result for the learning image by the image identification unit 407 is incorrect, the error correction unit 408 corrects the identification result attached to the learning image to the correct identification result. (Step ST605).
  • the learning data storage unit 405 stores the image data indicating the learning image in which the error has been corrected by the error correction unit 408 in an independent state (step ST606). That is, the learning data storage unit 405 stores the image data showing the learning image of the portion corresponding to the constant water area in the storage destination of the error correction of the portion corresponding to the constant water area. Further, the learning data storage unit 405 stores image data showing a learning image of a portion corresponding to the non-water area at all times in a storage destination of error correction of the portion corresponding to the non-water area at all times.
  • step ST607 when the automatic learning management unit 409 determines that the execution of machine learning is necessary, the automatic learning management unit 409 instructs the image learning unit 406 to execute the machine learning (step ST608).
  • the image learning unit 406 uses the learning image stored in the learning data storage unit 405 to perform machine learning related to discrimination between a water area and a non-water area to generate an inference device (step ST609).
  • the process in step ST609 is the same process as the process in step ST507 shown in FIG.
  • step ST604 when the error correction unit 408 determines in step ST604 that there is no error in the identification result for the learning image by the image identification unit 407, or in step ST607, the automatic learning management unit 409 does not need to execute machine learning. If it is determined, the sequence returns to step ST601, and the learning image cutting unit 403 waits until the next fixed time elapses.
  • the boundary line detection device 4 automatically and repeatedly executes the machine learning process until a predetermined condition is satisfied.
  • the predetermined conditions include, for example, when an operation for instructing the end of the machine learning process is input to the operation input device 2, when the power of the boundary line detection device 4 is turned off, or when the surveillance camera 1 and the boundary line detection device 4 are used. For example, the communication connection with the user is canceled.
  • the boundary line detection device 4 can gradually improve the accuracy of identification by the image identification unit 407 by repeating the machine learning process. As a result, the boundary line detection device 4 can improve the accuracy of the water level calculation by the boundary line calculation unit 414, and can stabilize the measurement.
  • the identification image cutting unit 413 cuts out an area including the coordinate values of each control point set by the control point setting unit 412 as an identification image from the captured image indicated by the acquired image data (step ST702).
  • the image identification unit 407 uses the inference device stored in the inference device storage unit 410 to determine whether the area captured in the identification image cut out by the identification image cutout unit 413 is a water area or a non-water area. (Step ST703).
  • the processes of steps ST701 to ST704 are collectively referred to as "water level measurement process".
  • the boundary line detection device 4 After the preparatory process shown in FIG. 3 is completed, the boundary line detection device 4 repeatedly executes the water level measurement process until a predetermined condition is satisfied.
  • the predetermined conditions include, for example, when an operation for instructing the end of the water level measurement process is input to the operation input device 2, when the power of the boundary line detection device 4 is turned off, or when the surveillance camera 1 and the boundary line detection device 4 are used. For example, the communication connection with the user is canceled.
  • FIG. 8 shows an example of a captured image
  • FIG. 9 shows an example of a control point with respect to the captured image shown in FIG.
  • I shows a photographed image.
  • S represents a structure copied in the central portion of the photographed image
  • the structure is a bridge.
  • A1 to A4 each represent a control point.
  • the x-axis and the y-axis are axes corresponding to the coordinate values in the captured image.
  • the water level value corresponding to A1 is set to 4 meters
  • the water level value corresponding to A2 is set to 3 meters
  • the water level value corresponding to A3 is set to 2 meters
  • the water level value corresponding to A4 is set. Is set to 1 meter.
  • FIG. 10 shows an example of a region to be cut out with respect to the captured image shown in FIG.
  • D1 to D4 each represent a region to be cut out.
  • D1 is a square area centered on A1
  • D2 is a square area centered on A2
  • D3 is a square area centered on A3
  • D4 is a square area centered on A4. It is a square area.
  • the individual sizes of D1 to D4 are set to the sizes at which the edges of the two cutout target regions adjacent to each other are in contact with each other. That is, in FIG. 10, A1 to A4 are arranged at substantially equal intervals, and the sizes of D1 to D4 are substantially the same as each other.
  • FIG. 11 shows an example of an identification image cut out from the captured image shown in FIG.
  • E1 to E4 each represent an identification image.
  • E1 corresponds to D1
  • E2 corresponds to D2
  • E3 corresponds to D3
  • E4 corresponds to D4.
  • E1 to E4 are images in which the structure is shown as a whole and the river water is not shown.
  • the image identification unit 407 uses the inference device stored in the inference device storage unit 410 to identify that the areas copied by E1 to E4 are all non-water areas.
  • the boundary line calculation unit 414 calculates that the water level of the river is less than the water level value (1 meter) corresponding to A4 because the area copied to E4 is a non-water area.
  • FIG. 12 shows a captured image different from that of FIG. 8 and an example of a region to be cut out in the captured image.
  • I' represents a captured image.
  • the shapes and sizes of D1 to D4 shown in FIG. 12 are the same as the shapes and sizes of D1 to D4 shown in FIG. 10, and the description thereof will be omitted.
  • FIG. 13 shows an example of an identification image cut out from the captured image shown in FIG.
  • each of E1'to E4' represents an identification image.
  • E2' corresponds to D2
  • E1' is an image in which the water of the river is shown only at the lower end and the structure is shown at most of the remainder.
  • E2'to E4' are images in which the water of the river is shown and the structure is not shown in the whole.
  • the image identification unit 407 uses the inference device stored in the inference device storage unit 410, and the area copied to E1'is a non-water area, and the area copied to E2' to E4'is a water area. Identify as.
  • the water level of the river is the water level value (3 meters) corresponding to A2. It is calculated that it is above and below the water level value (4 meters) corresponding to A1.
  • FIG. 14 shows an example of a learning image.
  • Each of the 16 learning images shown in FIG. 14A is a learning image of a portion corresponding to a water area at all times, that is, an image showing river water.
  • Each of the 16 learning images shown in FIG. 14B is a learning image of a portion corresponding to a non-water area at all times, that is, an image in which something other than river water is captured.
  • Non-Patent Document 1 discloses a method of identifying an object by image recognition using a so-called “convolutional neural network (CNN)".
  • CNN is an artificial neural network characterized in that a filter is applied (so-called “convolution") to a two-dimensional input corresponding to an image and passed to the next layer.
  • Non-Patent Document 1 Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. “Imagenet classification” with deep convolutional neural networks. “In Advances in neural information processing systems, pages 1097-1105, 2012.
  • An artificial neural network is a calculation model in which perceptrons that take a weighted sum of input signals and apply a nonlinear function called an activation function to output are hierarchically arranged.
  • the output of the perceptron is expressed by the following equation (2).
  • out represents the output of the perceptron
  • X (x1, x2, ... xn) represents the input
  • W (w1, w2, ... wn) represents the weight
  • f ( ⁇ ) Represents the activation function
  • * represents the element product of the vector.
  • out f (X * W) (2)
  • the perceptron takes a two-dimensional signal corresponding to an image as an input, calculates the weighted sum of the inputs, and passes it to the next layer.
  • a sigmoid function or a ReLU (rectified Liner Unit) function is used as the activation function.
  • FIG. 15 shows an example of the structure of an artificial neural network.
  • the perceptrons are arranged hierarchically, and each layer processes the input signal to calculate the identification result.
  • the final layer corresponds to the output of the task to be identified. If it is a regression task, the output of the activation function is used as the predicted value as it is, and if it is a classification task, the softmax function is applied to the final layer and used as the output.
  • an artificial network is configured as a map of two-dimensional signals. It can be considered that each of the two-dimensional signals corresponds to the perceptron, the weighted sum is calculated for the feature map, and the result of applying the activation function is output.
  • FIG. 15 shows the input / output correspondence between layers.
  • a convolutional operation In a convolutional network, the above processing is called a convolutional operation, and in addition to this, a layer that performs pooling processing may be inserted into each layer. This layer performs downsampling by performing an average value calculation or a maximum value calculation on the feature map.
  • a convolutional operation In FIG. 15, three convolution layers are arranged in the first to third layers, and a normal perceptron layer is arranged in the fourth layer and the fifth layer.
  • FIG. 17 shows an example of a reference image.
  • a reference image is obtained by averaging a plurality of captured images obtained by continuously capturing the same shooting range with the surveillance camera 1. Then, the image selection unit 404 uses this reference image as a reference, compares the learning image cut out by the learning image cutting unit 403 with the value of each parameter obtained from the reference image, and machine-learns the learning image. Determine if it is the target.
  • the learning data storage unit 405 stores the image data showing the learning image of the portion corresponding to the constantly non-water area where the error is corrected by the error correction unit 408 as the storage destination of the error correction of the portion corresponding to the constantly non-water area. Store.
  • the required number of correlation [medium] learning images is set to 300 with respect to the learning image in the portion corresponding to the water area at all times, and the required number of correlation [small] learning images is 100.
  • the required number of learning images with lightness [low] is 300
  • the required number of learning images with lightness [high] is 200
  • the required number of learning images with identification error is 1000. ing. The same applies to each required number of images for learning of the part corresponding to the non-water area at all times.
  • FIG. 19 shows an example of a performance evaluation image.
  • the performance evaluation image is composed of an image that does not include the portion corresponding to the constant non-water area and does not include the portion corresponding to the constant water area shown in FIG.
  • this performance evaluation image for example, an image acquired before the operation of the boundary line detection device 4 is used.
  • the image identification unit 407 may use a model capable of performing machine learning related to discrimination between a water area and a non-water area with respect to the input of the learning image, and the model is not limited to the convolutional neural network. ..
  • the image identification unit 407 may use, for example, a support vector machine (Support Vector Machine, SVM).
  • SVM Support Vector Machine
  • the machine learning process shown in FIGS. 5 and 6 may be executed only at a predetermined timing instead of being repeatedly executed after the completion of the preparatory process shown in FIG.
  • the machine learning process may be executed at a timing when the water level measurement process is stopped, such as during maintenance of the surveillance camera 1.
  • the learning image cutting unit 403 may collectively acquire image data indicating a plurality of captured images captured after the previous machine learning process is executed in step ST401.
  • the learning image cutting unit 403 may cut out a learning image from each of the plurality of captured images.
  • step ST402 and the process in step ST403 do not have to be independent, and error correction may be treated as one of the parameters.
  • the reference image set by the image selection setting unit 401 in step ST303 shown in FIG. 3 does not have to be an average of the captured images for 24 hours.
  • the image selection setting unit 401 may use a single-time image, an image averaged by year, month, day, or second, or an image processed by image processing such as luminance correction as a reference image.
  • the parameters set by the image selection setting unit 401 are not limited to brightness and correlation.
  • the image selection setting unit 401 may use the saturation hue or the feature amount as a parameter.
  • the boundary line detection device 4 learns from the captured image the portion corresponding to the constant water area and the portion corresponding to the constant non-water area different from the constant water area.
  • the learning image cutting unit 403 cut out as an image
  • the image sorting unit 404 that selects the learning image cut out by the learning image cutting unit 403 for each parameter
  • the selection classification of the parameters selected by the image sorting unit 404 The image learning unit 406 that performs machine learning using each learning image to generate an inferior, and the number of learning images for each selection category of the parameters selected by the image selection unit 404 or the image learning unit 406.
  • a detection unit (image identification unit 407, control point setting unit 412, identification image cutting unit 413, and boundary line calculation unit 414) for detecting the position of the boundary line is provided.
  • the boundary line detection device 4 according to the first embodiment can select the learning image to be the target of machine learning. Then, in this boundary line detection device 4, the machine learning process can be automatically and repeatedly executed, and the accuracy of identification by the image identification unit 407 can be gradually improved. As a result, the accuracy of the boundary line detection device 4 is improved as compared with the conventional configuration.
  • the boundary line detection device 4 responds to the operation received by the operation input device 2 with respect to the coordinate value of the control point and the water level corresponding to the control point with respect to the captured image. From the image taken by the control point setting unit 412 for setting the value and the surveillance camera 1, the area including the coordinate value of the control point set by the control point setting unit 412 is cut out as an identification image. Using the inference device generated by the image learning unit 413 and the unit 413, it is possible to identify whether the area projected on the identification image cut out by the identification image cutting unit 413 is a water area or a non-water area.
  • the boundary line detection device 4 limits the replacement of the inference device by the automatic learning management unit 409 when the improvement in the identification accuracy is saturated. As a result, the boundary line detection device 4 can prevent a decrease in accuracy.
  • control point setting unit 412 sets the coordinate values of the plurality of control points and the water level values corresponding to each of the control points with respect to the captured image according to the operation received by the operation input device 2. You may. As described above, in the boundary line detection device 4 according to the first embodiment shown in FIG. 2, by increasing the number of control points, the boundary line calculation unit 414 can calculate a finer water level.
  • the target of measurement by the boundary line detection device 4 is not limited to rivers.
  • the boundary line detection device 4 can also be applied to, for example, water level measurement of lakes, marshes, oceans, dams, irrigation canals or reservoirs.
  • the object of measurement by the boundary line detection device 4 is not limited to the water level, and the coordinates in the real world can be measured by providing an object in which a control point can be set.
  • the boundary line detecting device 4 can detect the boundary line at the boundary between the earth and sand by excavation and the wall surface (that is, concrete) or muddy water, the boundary between the ground and the wall surface or the earth and sand, and the boundary between the land area and the air area. For example, when grasping the excavation status in the pneumatic caisson box, the excavation status can be grasped by detecting the boundary between the concrete wall of the caisson box and the earth and sand by the boundary line detection device 4.
  • the target of measurement by the boundary line detection device 4 is not limited to the boundary between the two regions.
  • the boundary line detection device 4 can be applied to the measurement of coordinates in the real world such as a stratum.
  • the boundary line detection device can improve the accuracy as compared with the conventional one, and is suitable for use as a boundary line detection device or the like for detecting the position of the boundary line.
  • 1 Surveillance camera 2 Operation input device, 3 Display device, 4 Border line detection device (water level measurement device), 201 keyboard, 202 mouse, 301 display, 401 image selection setting unit, 402 constant area setting unit, 403 image cutout unit for learning , 404 image selection unit, 405 learning data storage unit, 406 image learning unit, 407 image identification unit, 408 error correction unit, 409 automatic learning management unit, 410 inference device storage unit, 411 performance evaluation image storage unit, 412 control point Setting unit, 413, image cutting unit for identification, 414, boundary line calculation unit, 415, image learning identification unit, 501 processor, 502 memory.

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Thermal Sciences (AREA)
  • Fluid Mechanics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Measurement Of Levels Of Liquids Or Fluent Solid Materials (AREA)

Abstract

撮影画像から、第１の領域に対応する部分、及び、当該第１の領域とは異なる第２の領域に対応する部分を、学習用画像として切出す学習用画像切出し部（４０３）と、学習用画像切出し部（４０３）により切出された学習用画像をパラメータ毎に選別する画像選別部（４０４）と、画像選別部（４０４）により選別されたパラメータの選別区分毎の学習用画像を用いた機械学習を行って推論器を生成する画像学習部（４０６）と、画像選別部（４０４）により選別されたパラメータの選別区分毎の学習用画像の枚数又は画像学習部（４０６）での機械学習の実行からの経過時間に応じて、画像学習部（４０６）に対して機械学習の実行を命令する自動学習管理部（４０９）と、画像学習部（４０６）により生成された推論器を用いて、撮影画像から境線の位置を検出する検出部とを備えた。

Description

境線検出装置及び水位計測装置
　この発明は、境線の位置を検出する境線検出装置、及び当該境線の位置として水位を計測する水位計測装置に関する。
　従来から、撮影画像を用いて河川等の水位を計測する水位計測装置が知られている。
　このような水位計測装置において、計測結果の誤りを低減するため、水域と非水域との識別に機械学習の結果を用いる方法が知られている（例えば特許文献１参照）。この場合、例えば、水位計測装置は、撮影画像から常時水域に対応する部分と常時非水域に対応する部分とを学習用画像として切出し、当該学習用画像を用いて水域と非水域との識別に係る機械学習を実行する。
　また、機械学習の方法として、学習データを蓄積する学習データ記憶部を備え、学習データ記憶部にある程度の学習データが蓄積されると、それらの学習データを読出して機械学習を行う方法も知られている（例えば特許文献２参照）。
特許第６１２５１３７号 特開２０１８－０３６８４８号公報
　しかしながら、特許文献１に開示された機械学習の方法では、機械学習の対象となる学習用画像の選定基準がなく、無差別に学習している。そのため、この方法では、無差別に学習することによって、環境条件における汎化性能が低下する場合がある。
　また、特許文献２に開示された機械学習の方法では、蓄積する学習データの特徴に偏りがあった場合、機械学習を行ったとしても精度が向上しない。
　この発明は、上記のような課題を解決するためになされたもので、従来に対して精度が向上可能な境線検出装置を提供することを目的としている。
　この発明に係る境線検出装置は、撮影画像から、第１の領域に対応する部分、及び、当該第１の領域とは異なる第２の領域に対応する部分を、学習用画像として切出す学習用画像切出し部と、学習用画像切出し部により切出された学習用画像をパラメータ毎に選別する画像選別部と、画像選別部により選別されたパラメータの選別区分毎の学習用画像を用いた機械学習を行って推論器を生成する画像学習部と、画像選別部により選別されたパラメータの選別区分毎の学習用画像の枚数又は画像学習部での機械学習の実行からの経過時間に応じて、画像学習部に対して機械学習の実行を命令する自動学習管理部と、画像学習部により生成された推論器を用いて、撮影画像から境線の位置を検出する検出部とを備えたことを特徴とする。
　この発明によれば、上記のように構成したので、従来に対して精度が向上可能となる。
実施の形態１に係る境線検出装置を含む境線検出システムを示す機能ハードウェア構成例を示す図である。 実施の形態１に係る境線検出装置の要部を示す機能ブロック例を示す図である。 実施の形態１に係る境線検出装置による準備処理の動作例を示すフローチャートである。 実施の形態１に係る境線検出装置による学習処理の動作例を示すフローチャートである。 図４に示すステップＳＴ４０２における処理の動作例を示すフローチャートである。 図４に示すステップＳＴ４０３における処理の動作例を示すフローチャートである。 実施の形態１に係る境線検出装置による水位計測処理の動作例を示すフローチャートである。 実施の形態１に係る監視カメラにより得られた撮影画像の一例を示す説明図である。 実施の形態１における標定点設定部により設定された標定点の一例を示す説明図である。 実施の形態１における識別用画像切出し部により切出される切出し対象領域の一例を示す説明図である。 実施の形態１における識別用画像切出し部により切出された識別用画像の一例を示す説明図である。 実施の形態１における識別用画像切出し部により切出される切出し対象領域の他の例を示す説明図である。 実施の形態１における識別用画像切出し部により切出された識別用画像の他の例を示す説明図である。 図１４Ａ、図１４Ｂは実施の形態１における学習用画像切出し部により切出された学習用画像の一例を示す説明図であり、図１４Ａは常時水域に対応する部分の学習用画像の一例を示し、図１４Ｂは常時非水域に対応する部分の学習用画像の一例を示している。 実施の形態１における画像学習識別部での人工ニューラルネットワークの階層構造、及び各層間の入出力関係等を示す説明図である。 実施の形態１における常時領域設定部により設定された常時水域及び常時非水域の一例を示す説明図である。 実施の形態１における画像選別設定部により設定された基準画像の一例を示す説明図である。 実施の形態１における学習データ格納部による学習用画像の格納例を示す説明図である。 実施の形態１における性能評価用画像格納部に格納された性能評価用画像の一例を示す説明図である。
　以下、実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
　図１は実施の形態１に係る境線検出装置４を含む境線検出システムを示す機能ハードウェア構成例を示す図である。以下では、図１を参照して、境線検出装置４を河川の水位計測に用いる例を中心にシステム全体の概要を説明する。
　境線検出システムは、図１に示すように、監視カメラ１、操作入力装置２、表示装置３及び境線検出装置（水位計測装置）４を備えている。監視カメラ１は、例えば無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を介して境線検出装置４に接続されている。
　監視カメラ１は、撮影の対象となる範囲（撮影範囲）を撮影することで、画像（撮影画像）を得る。ここでは、監視カメラ１は河川に向かって設置され、監視カメラ１の撮影範囲には河川の水及び河川の水以外のものが含まれている。河川の水以外のものとしては、例えば橋梁等の構造物が挙げられる。監視カメラ１により得られた撮影画像を示す画像データは、境線検出装置４に出力される。
　操作入力装置２は、境線検出装置４を使用する作業者による、境線検出装置４に対する操作を受付ける。操作入力装置２は、図１に示すように、例えばキーボード２０１及びマウス２０２を備えている。
　表示装置３は、境線検出装置４から出力された各種データに基づいて各種表示を行う。表示装置３は、ディスプレイ３０１を備えている。ディスプレイ３０１としては、例えば液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイが挙げられる。
　境線検出装置４は、操作入力装置２により受付けられた操作に応じ、監視カメラ１により得られた撮影画像を用いて水位（境線の位置）を検出する。境線検出装置４は、コンピュータから構成されており、図１に示すように、プロセッサ５０１及びメモリ５０２を備えている。
　メモリ５０２には、上記コンピュータを、図２に示す境線検出装置４が備える各構成要素として機能させるためのプログラムが記憶されている。
　プロセッサ５０１は、メモリ５０２に記憶されたプログラムを読出して実行することにより、図２に示す境線検出装置４が備える各構成要素の機能を実現する。
　プロセッサ５０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）により構成されている。
　メモリ５０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）又はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の半導体メモリ、磁気ディスク、光ディスク若しくは光磁気ディスクにより構成されている。
　境線検出装置４は、図２に示すように、構成要素として、画像選別設定部４０１、常時領域設定部４０２、学習用画像切出し部４０３、画像選別部４０４、学習データ格納部４０５、画像学習部４０６、画像識別部４０７、誤り訂正部４０８、自動学習管理部４０９、推論器格納部４１０、性能評価用画像格納部４１１、標定点設定部４１２、識別用画像切出し部４１３及び境線算定部４１４を備えている。画像学習部４０６及び画像識別部４０７は、画像学習識別部４１５を構成する。図２において、実線の矢印はデータの流れを示し、破線の矢印はプログラムの制御の流れを示している。
　画像選別設定部４０１は、操作入力装置２により受付けられた操作に応じ、基準画像及び画像選別基準を設定する。画像選別基準には、パラメータ、しきい値及び必要枚数が含まれる。基準画像は、学習用画像切出し部４０３により切出された学習用画像に対し、画像選別部４０４による選別の際にパラメータの値を比較する基準となる画像である。パラメータは、画像選別部４０４による選別項目であり、ここでは明度及び相関であるとする。しきい値は、パラメータ毎の、選別区分を規定するための値である。必要枚数は、パラメータの選別区分毎の、機械学習に必要な学習用画像の枚数である。画像選別設定部４０１による設定を示すデータは、画像選別部４０４に出力される。
　常時領域設定部４０２は、操作入力装置２により受付けられた操作に応じ、撮影画像における常時水域（第１の領域）及び常時非水域（第２の領域）を設定する。常時水域は、撮影画像において、常に河川の水が写されると想定される１つ以上の領域である。すなわち、常時水域は、渇水又は増水等の河川の状態変化にかかわらず、常に河川の水が写される蓋然性が他の領域よりも高い領域である。常時非水域は、撮影画像において、常に河川の水以外のものが写されると想定される１つ以上の領域である。すなわち、常時非水域は、渇水又は増水等の河川の状態変化にかかわらず、常に河川の水以外のものが写される蓋然性が他の領域よりも高い領域である。河川の水以外のものとしては、例えば橋梁等の構造物が挙げられる。常時領域設定部４０２による設定を示すデータは、学習用画像切出し部４０３に出力される。
　学習用画像切出し部４０３は、監視カメラ１により得られた撮影画像から、常時領域設定部４０２により設定された常時水域に対応する部分及び常時領域設定部４０２により設定された常時非水域に対応する部分を学習用画像として切出す。以下、学習用画像切出し部４０３による切出しの対象となる部分を、切出し対象部分と称す。学習用画像切出し部４０３により切出された学習用画像を示す画像データは、画像選別部４０４及び画像識別部４０７に出力される。
　画像選別部４０４は、画像選別設定部４０１による設定に基づいて、学習用画像切出し部４０３により切出された学習用画像をパラメータ毎に選別する。この際、画像選別部４０４は、パラメータ毎に、常時水域に対応する部分の学習用画像及び常時非水域に対応する部分の学習用画像を各々基準画像と比較し、その値の差に応じて当該学習用画像を該当する選別区分に分類する。また、画像選別部４０４は、分類した学習用画像のうち、該当するパラメータの値の範囲を超えている学習用画像及び必要枚数を超えている学習用画像は破棄する。画像選別部４０４により選別された学習用画像を示す画像データは、学習データ格納部４０５に出力される。
　学習データ格納部４０５は、画像選別部４０４により選別されたパラメータの選別区分毎の学習用画像を示す画像データを、各々、パラメータの選別区分毎に独立した状態で格納する。
　また、学習データ格納部４０５は、誤り訂正部４０８により誤りが訂正された学習用画像を示すデータを、独立した状態で格納する。
　画像学習部４０６は、学習データ格納部４０５に格納された画像データが示す学習用画像を用いて、水域と非水域との識別に係る機械学習を実行して推論器を生成する。水域は、河川の水が写された領域である。非水域は、河川の水以外のものが写された領域である。以降、画像学習部４０６により生成される推論器を新推論器とも称す。画像学習部４０６により生成された推論器を示すデータは、推論器格納部４１０に出力される。
　画像識別部４０７は、推論器格納部４１０に格納されたデータが示す推論器を用いて、識別用画像切出し部４１３により切出された識別用画像に写された領域が水域であるのか又は非水域であるのかを識別する。画像識別部４０７は、例えば所謂「人工ニューラルネットワーク」を用いる。人工ニューラルネットワークの構造及び人工ニューラルネットワークによる機械学習の具体例については後述する。画像識別部４０７による識別用画像に対する識別結果を示すデータは、境線算定部４１４に出力される。
　また、画像識別部４０７は、推論器格納部４１０に格納されたデータが示す推論器を用いて、学習用画像切出し部４０３により切出された学習用画像に写された領域が水域であるのか又は非水域であるのかを識別する。画像識別部４０７による識別結果が付された学習用画像を示す画像データは、誤り訂正部４０８に出力される。
　また、画像識別部４０７は、画像学習部４０６により生成された推論器を用いて、性能評価用画像格納部４１１に格納された画像データが示す性能評価用画像に写された領域が水域であるのか又は非水域であるのかを識別する。画像識別部４０７による識別結果を示すデータは、自動学習管理部４０９に出力される。
　誤り訂正部４０８は、画像識別部４０７による学習用画像に対する識別結果に誤りがあるかを判定する。すなわち、誤り訂正部４０８は、画像識別部４０７が、常時水域を非水域と識別したか、及び、常時非水域を水域と識別したかを判定する。そして、誤り訂正部４０８は、画像識別部４０７による学習用画像に対する識別結果に誤りがあると判定した場合に、当該学習用画像に付された識別結果を正しい識別結果に訂正した上で画像データを学習データ格納部４０５に出力する。すなわち、誤り訂正部４０８は、画像識別部４０７により常時水域が非水域と誤って識別された場合には、当該非水域を水域に訂正する。また、誤り訂正部４０８は、画像識別部４０７により常時非水域が水域と誤って識別された場合には、当該水域を非水域に訂正する。
　自動学習管理部４０９は、画像学習識別部４１５の動作を制御する。
　自動学習管理部４０９は、学習データ格納部４０５に格納された画像データが示す学習用画像の枚数をパラメータの選別区分毎に随時確認する。そして、自動学習管理部４０９は、全てのパラメータの全ての選別区分において必要枚数を満たしていると判定した場合に画像学習部４０６に対して機械学習の実行を命令する。
　また、自動学習管理部４０９は、学習データ格納部４０５に格納された画像データが示す誤りが訂正された学習用画像の枚数を随時確認する。そして、自動学習管理部４０９は、必要枚数を満たしていると判定した場合に画像学習部４０６に対して機械学習の実行を命令する。
　また、自動学習管理部４０９は、画像学習部４０６により推論器が生成された場合に、画像識別部４０７に対し、性能評価用画像格納部４１１に格納された画像データが示す性能評価用画像を用いた識別の実行を命令する。そして、自動学習管理部４０９は、画像識別部４０７による識別結果に基づいて、推論器格納部４１０に格納された推論器（既存の推論器）を画像学習部４０６により生成された推論器（新推論器）に置換するかを判定し、その判定結果に応じて推論器の置換を行う。
　推論器格納部４１０は、画像学習部４０６により生成された推論器を示すデータを格納する。
　性能評価用画像格納部４１１は、性能評価用画像を示す画像データを格納する。性能評価用画像は、画像学習部４０６により生成された推論器の性能（精度）を画像識別部４０７が評価するための画像である。
　標定点設定部４１２は、操作入力装置２により受付けられた操作に応じ、撮影画像に対し、複数個の標定点の座標値、及び、当該標定点の各々に対応する水位値（高さ）を設定する。標定点は、撮影画像において水位計測の基準となる点である。水位値は、標定点に対応する水位を示す値である。標定点設定部４１２により設定された標定点の座標値を示すデータは、識別用画像切出し部４１３に出力される。また、標定点設定部４１２により設定された各標定点に対応する水位値を示すデータは、境線算定部４１４に出力される。
　識別用画像切出し部４１３は、監視カメラ１により得られた撮影画像から、標定点設定部４１２により設定された各標定点の座標値を含む領域を識別用画像として切出す。以下、識別用画像切出し部４１３による切出しの対象となる領域を、切出し対象領域と称す。識別用画像切出し部４１３により切出された識別用画像を示す画像データは、画像識別部４０７に出力される。
　境線算定部４１４は、画像識別部４０７による識別用画像に対する識別結果及び標定点設定部４１２により設定された各標定点に対応する水位値に基づいて、監視カメラ１の撮影範囲における水位（境線の位置）を算定する。
　なお、学習データ格納部４０５、推論器格納部４１０及び性能評価用画像格納部４１１は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ又はＥＥＰＲＯＭ等の半導体メモリ、磁気ディスク、光ディスク若しくは光磁気ディスクにより構成されている。
　また図２では、学習データ格納部４０５が境線検出装置４の内部に設けられた場合を示した。しかしながら、これに限らず、学習データ格納部４０５は境線検出装置４の外部に設けられていてもよい。推論器格納部４１０及び性能評価用画像格納部４１１についても同様である。
　また、画像識別部４０７、標定点設定部４１２、識別用画像切出し部４１３及び境線算定部４１４は、「画像学習部４０６により生成された推論器を用いて、撮影画像から境線の位置を検出する検出部」を構成する。
　次に、図２に示す実施の形態１に係る境線検出装置４による準備処理の動作例について、図３を参照しながら説明する。
　図２に示す実施の形態１に係る境線検出装置４による準備処理の動作例では、図３に示すように、まず、標定点設定部４１２は、操作入力装置２により受付けられた操作に応じ、撮影画像に対し、複数個の標定点の座標値、及び、当該標定点の各々に対応する水位値を設定する（ステップＳＴ３０１）。
　具体的には、例えば、標定点設定部４１２は、まず、監視カメラ１から画像データを取得し、この画像データが示す撮影画像をディスプレイ３０１に表示させる。そして、作業者は、ディスプレイ３０１に表示された撮影画像に対し、マウス２０２を用いて複数個の標定点を指定する。そして、標定点設定部４１２は、作業者により指定された複数個の標定点を示すデータを取得し、当該標定点の座標値を算出して設定する。また、作業者は、キーボード２０１を用いて各標定点に対応する水位値を指定する。そして、標定点設定部４１２は、作業者により指定された水位値を示すデータを取得し、当該水位値を設定する。
　また、常時領域設定部４０２は、操作入力装置２により受付けられた操作に応じ、撮影画像に対して常時水域及び常時非水域を設定する（ステップＳＴ３０２）。
　具体的には、例えば、常時領域設定部４０２は、まず、監視カメラ１から画像データを取得し、この画像データが示す撮影画像をディスプレイ３０１に表示させる。そして、作業者は、ディスプレイ３０１に表示された撮影画像に対し、マウス２０２を用いて常時水域及び常時非水域を指定する。そして、常時領域設定部４０２は、作業者により指定された常時水域及び常時非水域を示すデータを取得し、当該常時水域及び当該常時非水域を設定する。
　また、画像選別設定部４０１は、操作入力装置２により受付けられた操作に応じ、基準画像及び画像選別基準を設定する（ステップＳＴ３０３）。画像選別基準には、パラメータ、しきい値及び必要枚数が含まれる。
　具体的には、例えば、画像選別設定部４０１は、まず、基準画像及び画像選別基準を設定するための設定項目をディスプレイ３０１に表示させる。そして、作業者は、ディスプレイ３０１に表示された設定項目に対し、マウス２０２を用いて、例えば、監視カメラ１により２４時間撮影されて得られた撮影画像の平均画像を基準画像として指定する。また、作業者は、ディスプレイ３０１に表示された設定項目に対し、マウス２０２及びキーボード２０１を用いて画像選別基準を指定する。そして、画像選別設定部４０１は、作業者により指定された基準画像及び画像選別基準を示すデータを取得し、当該基準画像及び当該画像選別基準を設定する。
　図３に示す準備処理は、例えば、監視カメラ１が設置された後、作業者が境線検出装置４の使用を開始する際に１回だけ実行される。この準備処理が完了した後、監視カメラ１は、撮影範囲を撮影し、撮影画像を示す画像データを出力する処理を継続して実行する。そして、境線検出装置４は、監視カメラ１が順次出力する画像データを用いて、図４に示す学習処理及び図７に示す水位計測処理を自動で実行する。
　次に、図２に示す実施の形態１に係る境線検出装置４による学習処理の動作例について、図４を参照しながら説明する。
　図２に示す実施の形態１に係る境線検出装置４による学習処理の動作例では、図４に示すように、まず、学習用画像切出し部４０３は、監視カメラ１から画像データを取得する（ステップＳＴ４０１）。なお、上記画像データが示す撮影画像は、例えば、ステップＳＴ４０１における処理を行う直近のタイミングで監視カメラ１により撮影されて得られた１枚の撮影画像である。
　次いで、学習用画像切出し部４０３、画像選別部４０４、学習データ格納部４０５、画像学習部４０６及び自動学習管理部４０９は、クラスタ分類データによる機械学習を実行する（ステップＳＴ４０２）。クラスタ分類データは、画像選別部４０４により選別された学習用画像を示す画像データを指す。ステップＳＴ４０２における処理の詳細については後述する。この処理により画像学習部４０６は推論器（新推論器）を生成する。
　また、学習用画像切出し部４０３、学習データ格納部４０５、画像学習部４０６、画像識別部４０７、誤り訂正部４０８及び自動学習管理部４０９は、誤り訂正データによる機械学習を実行する（ステップＳＴ４０３）。誤り訂正データは、誤り訂正部４０８により画像識別部４０７での識別結果の誤りが訂正された学習用画像を示す画像データを指す。ステップＳＴ４０３における処理の詳細については後述する。この処理により画像学習部４０６は推論器（新推論器）を生成する。
　次いで、画像識別部４０７は、新推論器を用いて、性能評価用画像格納部４１１に格納された画像データが示す性能評価用画像に写された領域が水域であるのか又は非水域であるのかを識別する（ステップＳＴ４０４）。なお、性能評価用画像は、例えば、監視カメラ１で撮影される河川と同一の河川の常時非水域且つ常時水域以外の領域の画像である。境線検出装置４は、画像識別部４０７による識別によって新推論器の性能評価を行う。
　次いで、自動学習管理部４０９は、画像識別部４０７による性能評価用画像に対する識別結果に基づいて、推論器が改善されているかを判定する（ステップＳＴ４０５）。すなわち、自動学習管理部４０９は、画像識別部４０７による性能評価用画像に対する識別結果に基づいて、推論器格納部４１０に格納された推論器（既存の推論器）よりも新推論器の方が正答率が優れているかを判定する。
　このステップＳＴ４０５において、自動学習管理部４０９は、推論器が改善されていると判定した場合には、既存の推論器を破棄して推論器の置換えを行う（ステップＳＴ４０６）。これにより、画像識別部４０７は、以降は新推論器を用いて識別を行うことになる。すなわち、以降はこの新推論器が既存の推論器となる。
　一方、ステップＳＴ４０５において、自動学習管理部４０９は、推論器が改善されていないと判定した場合には、新推論器を破棄する（ステップＳＴ４０７）。これにより、画像識別部４０７は、以降も既存の推論器を用いて識別を行うことになる。
　次いで、自動学習管理部４０９は、推定器が改善されていないと判定した回数が一定回数を超えたかを判定する（ステップＳＴ４０８）。一定回数は、例えば連続して３回である。
　このステップＳＴ４０８において、自動学習管理部４０９が上記判定した回数が一定回数を超えていないと判定した場合には、シーケンスはステップＳＴ４０２，ＳＴ４０３に戻る。
　このステップＳＴ４０８において、自動学習管理部４０９が上記判定した回数が一定回数を超えたと判定した場合には、シーケンスは終了する。
　次に、図４に示すステップＳＴ４０２における処理について、図５を参照しながら説明する。
　図４に示すステップＳＴ４０２における処理では、図５に示すように、まず、学習用画像切出し部４０３は、画像データの取得開始から一定時間経過したかを判定する（ステップＳＴ５０１）。一定時間は、例えば３時間である。
　このステップＳＴ５０１において、学習用画像切出し部４０３が画像データの取得開始から一定時間経過していないと判定した場合には、シーケンスはステップＳＴ５０１に戻り、学習用画像切出し部４０３は画像データの取得を継続する。
　一方、ステップＳＴ５０１において、学習用画像切出し部４０３は、画像データの取得開始から一定時間経過したと判定した場合には、取得した画像データが示す撮影画像から学習用画像を切出す（ステップＳＴ５０２）。この際、学習用画像切出し部４０３は、常時領域設定部４０２により設定された常時水域に対応する部分、及び、常時非水域に対応する部分を学習用画像として切出す。
　次いで、画像選別部４０４は、画像選別設定部４０１による設定に基づいて、学習用画像切出し部４０３により切出された学習用画像をパラメータ毎に選別する（ステップＳＴ５０３）。
　この際、画像選別部４０４は、パラメータ毎に、常時水域に対応する部分の学習用画像及び常時非水域に対応する部分の学習用画像を各々基準画像と比較し、その値の差を算出することで学習用画像を該当する選別区分に分類する。例えば、画像選別部４０４は、下式（１）に従って明度の値の差を算出する。式（１）において、Ｄは明度の値の差を表し、ｂは基準画像における１つのピクセルでの明度の値を表し、ｒは学習用画像における１つのピクセルでの明度の値を表し、ｎは基準画像及び学習用画像のピクセル数を表している。そして、例えば、画像選別部４０４は、学習用画像を、明度の値の差が－６０以下の場合には明度［高］の学習用画像として分類し、明度の値の差が６０以上の場合には明度［低］の学習用画像として分類する。また、例えば、画像選別部４０４は、学習用画像を、基準画像との面積相関の値が０．７～０．８の場合には相関［中］の学習用画像として分類し、基準画像との面積相関の値が０．５以下の場合には相関［小］の学習用画像として分類する。
Ｄ＝Σ（ｒ－ｂ）／ｎ　　（１）
　そして、画像選別部４０４は、分類した学習用画像のうち、該当するパラメータの値の範囲外の学習用画像があるかを判定する。また、画像選別部４０４は、分類した学習用画像のうち、必要枚数を超えている学習用画像があるかを判定する。
　そして、画像選別部４０４は、学習用画像のうち、該当するパラメータの値の範囲外の学習用画像、及び、必要枚数を超えている学習用画像は破棄する。
　一方、画像選別部４０４は、残りの学習用画像（該当するパラメータの値の範囲内であり且つ必要枚数を超えていない学習用画像）を示す画像データは、学習データ格納部４０５に出力する。
　次いで、学習データ格納部４０５は、画像選別部４０４により選別されたパラメータの選別区分毎の学習用画像を示す画像データを、各々、パラメータの選別区分毎に独立した状態で格納する（ステップＳＴ５０４）。すなわち、学習データ格納部４０５は、常時水域に対応する部分の学習用画像を示す画像データを、常時水域に対応する部分の各パラメータの格納先に格納する。また、学習データ格納部４０５は、常時非水域に対応する部分の学習用画像を示す画像データを、常時非水域に対応する部分の各パラメータの格納先に格納する。
　次いで、自動学習管理部４０９は、学習データ格納部４０５での格納状態に基づいて、機械学習の実行が必要かを判定する（ステップＳＴ５０５）。すなわち、自動学習管理部４０９は、学習データ格納部４０５に格納された画像データが示す学習用画像の枚数が、全てのパラメータの全ての選別区分において必要枚数を満たしているかを判定する。言い換えれば、自動学習管理部４０９は、学習データ格納部４０５において、常時水域に対応する部分の各パラメータの格納先、及び、常時非水域に対応する部分の各パラメータの格納先が、必要枚数に全て満たされているかを判定する。
　このステップＳＴ５０５において、自動学習管理部４０９は、機械学習の実行が必要と判定した場合には、画像学習部４０６に対して機械学習の実行を命令する（ステップＳＴ５０６）。
　次いで、画像学習部４０６は、学習データ格納部４０５に格納された学習用画像を用いて、水域と非水域との識別に係る機械学習を実行して推論器を生成する（ステップＳＴ５０７）。すなわち、常時水域に対応する部分の学習用画像は、通常、河川の水が写された画像である。また、常時非水域に対応する部分の学習用画像は、通常、河川の水以外のものが写された画像である。画像学習部４０６による機械学習は、常時水域に対応する部分の学習用画像と同様の特徴を有する識別用画像が入力された場合は当該識別用画像に対応する領域が水域であると識別し、且つ、常時非水域に対応する部分の学習用画像と同様の特徴を有する識別用画像が入力された場合は当該識別用画像に対応する領域が非水域であると識別することを可能ならしめることを目的とした学習である。
　一方、ステップＳＴ５０５において、自動学習管理部４０９が機械学習の実行は不要と判定した場合には、シーケンスはステップＳＴ５０１に戻り、学習用画像切出し部４０３は次の一定時間経過まで待機する。
　次に、図４に示すステップＳＴ４０３における処理について、図６を参照しながら説明する。
　図４に示すステップＳＴ４０３における処理では、図６に示すように、まず、学習用画像切出し部４０３は、画像データの取得開始から一定時間経過したかを判定する（ステップＳＴ６０１）。ステップＳＴ６０１における処理は、図５に示すステップＳＴ５０１における処理と同様の処理である。
　このステップＳＴ６０１において、学習用画像切出し部４０３が画像データの取得開始から一定時間経過していないと判定した場合には、シーケンスはステップＳＴ６０１に戻り、学習用画像切出し部４０３は画像データの取得を継続する。
　一方、ステップＳＴ６０１において、学習用画像切出し部４０３は、画像データの取得開始から一定時間経過したと判定した場合には、取得した画像データが示す撮影画像から学習用画像を切出す（ステップＳＴ６０２）。ステップＳＴ６０２における処理は、図５に示すステップＳＴ５０２における処理と同様の処理である。
　次いで、画像識別部４０７は、推論器格納部４１０に格納された推論器を用いて、学習用画像切出し部４０３により切出された学習用画像に写された領域が水域であるのか又は非水域であるのかを識別する（ステップＳＴ６０３）。
　次いで、誤り訂正部４０８は、画像識別部４０７による学習用画像に対する識別結果に誤りがあるかを判定する（ステップＳＴ６０４）。すなわち、誤り訂正部４０８は、画像識別部４０７が、常時水域を非水域と識別したか、又は、常時非水域を非水域と識別したかを判定する。
　このステップＳＴ６０４において、誤り訂正部４０８は、画像識別部４０７による学習用画像に対する識別結果に誤りがあると判定した場合には、当該学習用画像に付された識別結果を正しい識別結果に訂正する（ステップＳＴ６０５）。
　次いで、学習データ格納部４０５は、誤り訂正部４０８により誤りが訂正された学習用画像を示す画像データを、独立した状態で格納する（ステップＳＴ６０６）。すなわち、学習データ格納部４０５は、常時水域に対応する部分の学習用画像を示す画像データを、常時水域に対応する部分の誤り訂正の格納先に格納する。また、学習データ格納部４０５は、常時非水域に対応する部分の学習用画像を示す画像データを、常時非水域に対応する部分の誤り訂正の格納先に格納する。
　次いで、自動学習管理部４０９は、学習データ格納部４０５での格納状態に基づいて、機械学習の実行が必要かを判定する（ステップＳＴ６０７）。すなわち、自動学習管理部４０９は、学習データ格納部４０５に格納された誤り訂正の画像データが示す学習用画像の枚数が、必要枚数を満たしているかを判定する。言い換えれば、自動学習管理部４０９は、学習データ格納部４０５において、常時水域に対応する部分の誤り訂正の格納先、及び、常時非水域に対応する部分の誤り訂正の格納先が、必要枚数に全て満たされているかを判定する。
　このステップＳＴ６０７において、自動学習管理部４０９は、機械学習の実行が必要と判定した場合には、画像学習部４０６に対して機械学習の実行を命令する（ステップＳＴ６０８）。
　次いで、画像学習部４０６は、学習データ格納部４０５に格納された学習用画像を用いて、水域と非水域との識別に係る機械学習を実行して推論器を生成する（ステップＳＴ６０９）。ステップＳＴ６０９における処理は、図５に示すステップＳＴ５０７における処理と同様の処理である。
　一方、ステップＳＴ６０４において誤り訂正部４０８が画像識別部４０７による学習用画像に対する識別結果に誤りが全くないと判定した場合、又は、ステップＳＴ６０７において、自動学習管理部４０９が機械学習の実行は不要と判定した場合には、シーケンスはステップＳＴ６０１に戻り、学習用画像切出し部４０３は次の一定時間経過まで待機する。
　以下、ステップＳＴ５０２～ＳＴ５０７及びステップＳＴ６０２～ＳＴ６０９の処理を総称して「機械学習処理」という。境線検出装置４は、図３に示す準備処理が完了した後、所定の条件を満たすまで機械学習処理を自動で繰返し実行する。上記所定の条件としては、例えば、機械学習処理の終了を指示する操作が操作入力装置２に入力された場合、境線検出装置４の電源が切られた場合、又は監視カメラ１と境線検出装置４との間の通信接続が解除された場合が挙げられる。
　すなわち、境線検出装置４が水位計測処理を開始してから時間が経過するにつれて、境線検出装置４が実行した機械学習処理の回数が増加し、画像学習部４０６が学習に用いた学習用画像の個数が増えていく。一般に、機械学習は、入力される学習データが多いほど出力の精度が向上する性質を有している。このため、境線検出装置４は、機械学習処理の繰返しによって、画像識別部４０７による識別の精度を次第に向上できる。この結果、境線検出装置４は、境線算定部４１４による水位算定の精度を向上でき、計測の安定化が図れる。
　次に、図２に示す境線検出装置４による水位計測処理の動作例について、図７を参照しながら説明する。
　図２に示す境線検出装置４による水位計測処理の動作例では、図７に示すように、まず、識別用画像切出し部４１３は、監視カメラ１から画像データを取得する（ステップＳＴ７０１）。なお、上記画像データが示す撮影画像は、例えば、ステップＳＴ７０１における処理を行う直近のタイミングで監視カメラ１により撮影されて得られた１枚の撮影画像である。
　次いで、識別用画像切出し部４１３は、取得した画像データが示す撮影画像から、標定点設定部４１２により設定された各標定点の座標値を含む領域を識別用画像として切出す（ステップＳＴ７０２）。
　次いで、画像識別部４０７は、推論器格納部４１０に格納された推論器を用いて、識別用画像切出し部４１３により切出された識別用画像に写された領域が水域であるのか又は非水域であるのかを識別する（ステップＳＴ７０３）。
　次いで、境線算定部４１４は、画像識別部４０７による識別用画像に対する識別結果及び標定点設定部４１２により設定された各標定点に対応する水位値に基づいて、監視カメラ１の撮影範囲における水位を算定する（ステップＳＴ７０４）。
　以下、ステップＳＴ７０１～ＳＴ７０４の処理を総称して「水位計測処理」という。境線検出装置４は、図３に示す準備処理が完了した後、所定の条件を満たすまで、水位計測処理を繰返し実行する。上記所定の条件としては、例えば、水位計測処理の終了を指示する操作が操作入力装置２に入力された場合、境線検出装置４の電源が切られた場合、又は監視カメラ１と境線検出装置４との間の通信接続が解除された場合が挙げられる。
　次に、境線検出装置４による水位計測処理の具体例について、図８～図１３を参照しながら説明する。
　図８は撮影画像の一例を示し、図９は図８に示す撮影画像に対する標定点の一例を示している。図８，９において、Ｉは撮影画像を示している。また、Ｓは撮影画像の中央部に写された構造物を表し、図８，９では当該構造物は橋梁である。また図９において、Ａ１～Ａ４は各々、標定点を表している。また、ｘ軸及びｙ軸は、撮影画像における座標値に対応する軸である。
　図９では、撮影画像の中央部において、４個の標定点が縦一列に配置されている。図９において、（ｘ１，ｙ１）は撮影画像における１つ目の標定点であるＡ１の座標値を表している。また、（ｘ２，ｙ２）は撮影画像における２つ目の標定点であるＡ２の座標値を表している。また、（ｘ３，ｙ３）は撮影画像における３つ目の標定点であるＡ３の座標値を表している。また、（ｘ４，ｙ４）は撮影画像における４つ目の標定点であるＡ４の座標値を表している。また図９では、Ａ１に対応する水位値は４メートルに設定され、Ａ２に対応する水位値は３メートルに設定され、Ａ３に対応する水位値は２メートルに設定され、Ａ４に対応する水位値は１メートルに設定されているとする。
　なお、作業者は、各標定点に対応する水位値を入力するため、事前に撮影画像に写される構造物のサイズ及び凹凸形状等を測量しておく必要がある。この測量については公知の種々の方法を用いることが可能であり、その説明を省略する。
　図１０は図８に示す撮影画像に対する切出し対象領域の一例を示している。図１０において、Ｄ１～Ｄ４は各々、切出し対象領域を表している。Ｄ１はＡ１を中心とする正方形状の領域であり、Ｄ２はＡ２を中心とする正方形状の領域であり、Ｄ３はＡ３を中心とする正方形状の領域であり、Ｄ４はＡ４を中心とする正方形状の領域である。図１０では、Ｄ１～Ｄ４の個々のサイズは、互いに隣接する２個の切出し対象領域の縁部同士が当接するサイズに設定されている。すなわち、図１０では、Ａ１～Ａ４が略等間隔に配置され、Ｄ１～Ｄ４のサイズは互いに略同等のサイズとなっている。
　図１１は図８に示す撮影画像から切出された識別用画像の一例を示している。図１１において、Ｅ１～Ｅ４は各々、識別用画像を表している。Ｅ１はＤ１に対応し、Ｅ２はＤ２に対応し、Ｅ３はＤ３に対応し、Ｅ４はＤ４に対応している。
　図１１では、Ｅ１～Ｅ４は各々、その全体に構造物が写され且つ河川の水が写されていない画像である。そして、画像識別部４０７は、推論器格納部４１０に格納された推論器を用いて、Ｅ１～Ｅ４に写された領域が何れも非水域であると識別する。そして、境線算定部４１４は、Ｅ４に写された領域が非水域であるため、河川の水位はＡ４に対応する水位値（１メートル）未満であると算定する。
　図１２は、図８とは異なる撮影画像と、当該撮影画像における切出し対象領域の一例を示している。図１２において、Ｉ’は撮影画像を表している。なお、図１２に示すＤ１～Ｄ４の形状及びサイズは、図１０に示すＤ１～Ｄ４の形状及びサイズと同様であり、その説明を省略する。
　図１３は図１２に示す撮影画像から切出された識別用画像の一例を示している。図１３において、Ｅ１’～Ｅ４’は各々、識別用画像を表している。Ｅ１’はＤ１に対応し、Ｅ２’はＤ２に対応し、Ｅ３’はＤ３に対応し、Ｅ４’はＤ４に対応している。
　図１３では、Ｅ１’は、下端部にのみ河川の水が写され且つ残余の大半部に構造物が写された画像である。他方、Ｅ２’～Ｅ４’は、何れも、その全体に河川の水が写され且つ構造物が写されていない画像である。そして、画像識別部４０７は、推論器格納部４１０に格納された推論器を用いて、Ｅ１’に写された領域が非水域であり、且つ、Ｅ２’～Ｅ４’に写された領域が水域であると識別する。そして、境線算定部４１４は、Ｅ１’に写された領域が非水域であり、且つ、Ｅ２’に写された領域が水域であるため、河川の水位はＡ２に対応する水位値（３メートル）以上且つＡ１に対応する水位値（４メートル）未満であると算定する。
　次に、境線検出装置４による学習処理の具体例について、図１４～図１９を参照しながら説明する。
　図１４は学習用画像の一例を示している。
　図１４Ａに示す１６個の学習用画像は各々、常時水域に対応する部分の学習用画像であり、すなわち河川の水が写された画像である。図１４Ｂに示す１６個の学習用画像は各々、常時非水域に対応する部分の学習用画像であり、すなわち河川の水以外のものが写された画像である。
　図１５は画像識別部４０７での人工ニューラルネットワークの階層構造、及び各層間の入出力関係等を示している。
　人工ニューラルネットワークとは、計算機に予め複数の画像データを正解とともに入力して学習させておくことにより、新たに入力された画像データに写されているものが、特定の対象であるかどうかを判定して結果を出力するように動作させる仕組みの一つである。
　例えば非特許文献１には、所謂「畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ，ＣＮＮ）」を用い、画像認識により物体を識別する方法が開示されている。ＣＮＮとは、画像に対応する２次元の入力に対してフィルタを適用（所謂「畳み込み」）して次の層に渡すことを特徴とする人工ニューラルネットワークである。
（非特許文献１）
Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. "Imagenet classification
with deep convolutional neural networks." In Advances in neural information processing systems, pages 1097-1105, 2012.
　人工ニューラルネットワークは、入力信号の重み付き和を取り、活性化関数と呼ばれる非線形関数を適用して出力とするパーセプトロンを階層的に配置した計算モデルである。パーセプトロンの出力は、下式（２）で表される。式（１）において、ｏｕｔはパーセプトロンの出力を表し、Ｘ＝（ｘ１，ｘ２，・・・ｘｎ）は入力を表し、Ｗ＝（ｗ１，ｗ２，・・・ｗｎ）は重みを表し、ｆ（・）は活性化関数を表し、＊はベクトルの要素積を表している。
　ｏｕｔ＝ｆ（Ｘ＊Ｗ）　（２）
　畳み込みニューラルネットワークにおいて、パーセプトロンは画像に対応する二次元信号を入力にとり、入力の重み付き和を計算して次の層に渡す。活性化関数には、シグモイド関数又はＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔ）関数が用いられる。
　図１５は人工ニューラルネットワークの構造の一例を示している。図１５に示すように、パーセプトロンが階層的に配置されており、各層が入力信号を処理していくことで、識別結果を計算する。最終層は識別するタスクの出力に対応しており、回帰タスクであれば活性化関数の出力をそのまま予測値とし、分類タスクであれば最終層についてソフトマックス関数を適用し、出力とする。
　畳み込みニューラルネットワークの場合、図１５に示すように、二次元信号のマップとして人工ネットワークが構成される。二次元信号のそれぞれがパーセプトロンに対応するとみなすことができ、特徴マップに対し重み付き和を計算して活性化関数を適用した結果を出力する。図１５には、層と層の間の入出力の対応関係を記載している。
　畳み込みネットワークにおいて、上述の処理は畳み込み演算と呼ばれ、この他にプーリング処理を行う層が各層に挿入される場合がある。この層は、特徴マップに対して平均値演算又は最大値演算を行うことによりダウンサンプリングを行う。図１５では、第１層～第３層に３層の畳み込み層を配置して、第４層及び第５層に通常のパーセプトロンの層を配置している。
　このような人工ニューラルネットワークの学習は、誤差逆伝播により行われるものであり、確率的勾配降下法が用いられる。誤差逆伝播とは、人工ニューラルネットワークの出力誤差を最終層から順に前の層に向かって伝播させ、重みを更新させていく枠組みのことである。誤差逆伝播の具体的な方法については、例えば非特許文献２に記載されたものと同様の方法を用いることができる。
（非特許文献２）
Ｃ．Ｍ．ビショップ、元田浩（監訳）、『パターン認識と機械学習　上』、丸善出版、２０１２年。
　図１６は常時水域及び常時非水域の一例を示している。図１６において、Ｂは常時水域を表し、Ｃは常時非水域を表している。
　図１６では、撮影画像の下部に１個の常時水域が設定され、撮影画像の上部に１個の常時非水域が設定されている。
　図１７は基準画像の一例を示している。
　図１７では、監視カメラ１により同一の撮影範囲を撮影し続けることで得られた複数の撮影画像を平均化したものを基準画像としている。そして、画像選別部４０４は、この基準画像を基準とし、学習用画像切出し部４０３により切出された学習用画像と基準画像から得られる各パラメータの値を比較し、学習用画像を機械学習の対象とするかを判定する。
　図１８は、学習データ格納部４０５に格納される画像データが示す学習用画像の一例について示している。図１８において、上段は常時水域に対応する部分の学習用画像を示す画像データの格納について示し、下段は常時非水域に対応する部分の学習用画像を示す画像データの格納について示している。
　図１８に示すように、学習データ格納部４０５は、画像選別部４０４により選別されて格納対象となった常時水域に対応する部分の学習用画像を示す画像データを、常時水域に対応する部分の各パラメータの格納先に格納する。また、学習データ格納部４０５は、画像選別部４０４により選別されて格納対象となった常時非水域に対応する部分の学習用画像を示すデータを、常時非水域に対応する部分の各パラメータの格納先に格納する。また、学習データ格納部４０５は、誤り訂正部４０８により誤りが訂正された常時水域に対応する部分の学習用画像を示す画像データを、常時水域に対応する部分の誤り訂正の格納先に格納する。また、学習データ格納部４０５は、誤り訂正部４０８により誤りが訂正された常時非水域に対応する部分の学習用画像を示す画像データを、常時非水域に対応する部分の誤り訂正の格納先に格納する。
　また図１８では、常時水域に対応する部分に学習用画像に対し、相関［中］の学習用画像の必要枚数が３００枚とされ、相関［小］の学習用画像の必要枚数が１００枚とされ、明度［低］の学習用画像の必要枚数が３００枚とされ、明度［高］の学習用画像の必要枚数が２００枚とされ、識別誤りの学習用画像の必要枚数が１０００枚とされている。常時非水域に対応する部分の学習用画像に対する各必要枚数についても同様である。
　図１９は性能評価用画像の一例を示している。
　図１９に示すように、性能評価用画像は、図１６で示した常時非水域に対応する部分を含まず且つ常時水域に対応する部分を含まない画像から成る。この性能評価用画像は、例えば境線検出装置４の稼動前に取得したものを用いる。
　なお上記では、標定点設定部４１２は、複数個の標定点の座標値、及び、当該標定点の各々に対応する水位値を設定している。しかしながら、これに限らず、標定点設定部４１２は、１つの標定点の座標値、及び、当該１つの標定点に対応する水位値を設定してもよい。但し、境線算定部４１４でより細かい水位の算定を可能とする観点から、標定点設定部４１２は、複数個の標定点の座標値、及び、当該標定点の各々に対応する水位値を設定する方が好適である。
　また上記では、識別用画像切出し部４１３により切出される切出し対象領域の形状が正方形である場合を示した。しかしながら、これに限らず、切出し対象領域の形状は如何なる形状でもよい。また、切出し対象領域は対象とする標定点の座標値を含む状態であればよく、切出し対象領域における標定点の位置はその中心に限定されない。例えば、切出し対象領域は、対応する標定点がその隅部に位置されていてもよい。
　また上記では、学習用画像切出し部４０３により切出される切出し対象部分の形状が矩形である場合を示した。しかしながら、これに限らず、切出し対象部分の形状は、操作入力装置２の操作に応じた如何なる形状でもよい。
　また、画像識別部４０７は、学習用画像の入力に対して水域と非水域との識別に係る機械学習を実行可能なモデルを用いたものであればよく、当該モデルは畳み込みニューラルネットワークに限定されない。画像識別部４０７は、例えばサポートベクトルマシン（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ，ＳＶＭ）を用いてもよい。
　また、図５及び図６に示す機械学習処理は、図３に示す準備処理の完了後に繰返し実行されるのに代えて、所定のタイミングのみで実行されてもよい。例えば、機械学習処理は、監視カメラ１のメンテナンス中等、水位計測処理が停止したタイミングで実行されてもよい。これにより、水位計測処理の実行中における境線検出装置４の処理負荷を低減できる。また、この場合、学習用画像切出し部４０３は、ステップＳＴ４０１において、前回の機械学習処理が実行された後に撮影された複数個の撮影画像を示す画像データをまとめて取得してもよい。学習用画像切出し部４０３は、当該複数個の撮影画像の各々から学習用画像を切出してもよい。
　また、図４に示す学習処理において、ステップＳＴ４０２における処理とステップＳＴ４０３における処理は独立でなくてもよく、誤り訂正をパラメータの一つとして扱ってもよい。
　また、図３に示すステップＳＴ３０３で、画像選別設定部４０１が設定する基準画像は２４時間の撮影画像を平均化したものでなくてもよい。例えば、画像選別設定部４０１は、基準画像として、単一時間の画像、年月日秒で平均化した画像、又は、輝度補正をはじめとした画像加工を施した画像を用いてもよい。
　また、画像選別設定部４０１が設定するパラメータは、明度及び相関に限らない。例えば、画像選別設定部４０１は、パラメータとして、彩度色相又は特徴量を用いてもよい。
　また、自動学習管理部４０９は、学習データ格納部４０５に学習用画像が必要枚数格納された場合のみでなく、一定時間毎に機械学習の実行要と判定してもよい。
　以上のように、この実施の形態１によれば、境線検出装置４は、撮影画像から、常時水域に対応する部分、及び、当該常時水域とは異なる常時非水域に対応する部分を、学習用画像として切出す学習用画像切出し部４０３と、学習用画像切出し部４０３により切出された学習用画像をパラメータ毎に選別する画像選別部４０４と、画像選別部４０４により選別されたパラメータの選別区分毎の学習用画像を用いた機械学習を行って推論器を生成する画像学習部４０６と、画像選別部４０４により選別されたパラメータの選別区分毎の学習用画像の枚数又は画像学習部４０６での機械学習の実行からの経過時間に応じて、画像学習部４０６に対して機械学習の実行を命令する自動学習管理部４０９と、画像学習部４０６により生成された推論器を用いて、撮影画像から境線の位置を検出する検出部（画像識別部４０７、標定点設定部４１２、識別用画像切出し部４１３及び境線算定部４１４）とを備えた。これにより、実施の形態１に係る境線検出装置４は、機械学習の対象となる学習用画像の選別が可能となる。そして、この境線検出装置４では、機械学習処理を自動で繰返し実行することが可能であり、画像識別部４０７による識別の精度を次第に向上できる。その結果、この境線検出装置４では、従来構成に対して精度が向上する。
　また、図２に示す実施の形態１に係る境線検出装置４は、操作入力装置２により受付けられた操作に応じ、撮影画像に対し、標定点の座標値、及び、当該標定点に対応する水位値を設定する標定点設定部４１２と、監視カメラ１により得られた撮影画像から、標定点設定部４１２により設定された標定点の座標値を含む領域を識別用画像として切出す識別用画像切出し部４１３と、画像学習部４０６により生成された推論器を用いて、識別用画像切出し部４１３により切出された識別用画像に写された領域が水域であるのか又は非水域であるのかを識別する画像識別部４０７と、画像識別部４０７による識別用画像に対する識別結果及び標定点設定部４１２により設定された標定点に対応する水位値に基づいて、監視カメラ１の撮影範囲における水位を算定する境線算定部４１４とを備えている。このように、この境線検出装置４は、水域と非水域との識別に機械学習の結果を用いることで、両領域を高精度に識別可能である。その結果、この境線検出装置４は、境線算定部４１４による水位算定の精度を向上可能となり、境線検出装置４による計測を安定化が図れる。また、この境線検出装置４は、操作入力装置２に入力された操作に応じて標定点の座標値を設定するため、量水板が設置されていない河川等の水位計測にも適用可能である。
　また、図２に示す実施の形態１に係る境線検出装置４は、画像選別部４０４及び誤り訂正部４０８を備え、効率良い学習のための学習データを蓄積する仕組みを備えている。また、この境線検出装置４は、学習データが相当枚数格納された場合に自動学習管理部４０９により機械学習の実行を命令する。これにより、この境線検出装置４は、更なる識別の精度向上が可能となる。
　また、図２に示す実施の形態１に係る境線検出装置４は、識別の精度向上が飽和した場合には、自動学習管理部４０９により推論器の置換を制限する。これにより、この境線検出装置４は、精度の低下を阻止できる。
　また、標定点設定部４１２は、操作入力装置２により受付けられた操作に応じ、撮影画像に対し、複数個の標定点の座標値、及び、当該標定点の各々に対応する水位値を設定してもよい。このように、図２に示す実施の形態１に係る境線検出装置４は、標定点の個数を増やすことで、境線算定部４１４でより細かい水位の算定が可能となる。
　なお、境線検出装置４による計測の対象は河川に限定されない。境線検出装置４は、例えば、湖沼、海洋、ダム、用水路又は溜池の水位計測にも適用可能である。
　また、境線検出装置４による計測の対象は水位に限定されず、標定点が設定可能な対象を設けることで、現実世界における座標を計測可能である。境線検出装置４は、例えば、掘削による土砂と壁面（すなわち、コンクリート）又は泥水との境界、地面と壁面又は土砂との境界、陸域と空域との境界において、境線を検出可能である。例えば、ニューマチックケーソン函内の掘削状況を把握する場合、境線検出装置４によりケーソン函のコンクリート壁と土砂との境界を検出することで、掘削状況を把握可能となる。
　また、境線検出装置４による計測の対象は２つの領域の境界に限定されない。境線検出装置４は、例えば、地層等の現実世界における座標の計測に適用可能である。
　なお、実施の形態の任意の構成要素の変形、若しくは実施の形態の任意の構成要素の省略が可能である。
　この発明に係る境線検出装置は、従来に対して精度が向上可能となり、境線の位置を検出する境線検出装置等に用いるのに適している。
　１　監視カメラ、２　操作入力装置、３　表示装置、４　境線検出装置（水位計測装置）、２０１　キーボード、２０２　マウス、３０１　ディスプレイ、４０１　画像選別設定部、４０２　常時領域設定部、４０３　学習用画像切出し部、４０４　画像選別部、４０５　学習データ格納部、４０６　画像学習部、４０７　画像識別部、４０８　誤り訂正部、４０９　自動学習管理部、４１０　推論器格納部、４１１　性能評価用画像格納部、４１２　標定点設定部、４１３　識別用画像切出し部、４１４　境線算定部、４１５　画像学習識別部、５０１　プロセッサ、５０２　メモリ。

Claims (6)

  1. 　撮影画像から、第１の領域に対応する部分、及び、当該第１の領域とは異なる第２の領域に対応する部分を、学習用画像として切出す学習用画像切出し部と、
    　前記学習用画像切出し部により切出された学習用画像をパラメータ毎に選別する画像選別部と、
    　前記画像選別部により選別されたパラメータの選別区分毎の学習用画像を用いた機械学習を行って推論器を生成する画像学習部と、
    　前記画像選別部により選別されたパラメータの選別区分毎の学習用画像の枚数又は前記画像学習部での機械学習の実行からの経過時間に応じて、前記画像学習部に対して機械学習の実行を命令する自動学習管理部と、
    　前記画像学習部により生成された推論器を用いて、撮影画像から境線の位置を検出する検出部と
    　を備えた境線検出装置。
  2. 　前記画像選別部により選別されたパラメータの選別区分毎の学習用画像を示す画像データを、各々、パラメータの選別区分毎に独立した状態で格納する学習データ格納部を備え、
    　前記自動学習管理部は、前記学習データ格納部に格納された画像データが示す学習用画像の枚数が、全てのパラメータの全ての選別区分において必要枚数を満たしていると判定した場合に前記画像学習部に対して機械学習の実行を命令する
    　ことを特徴とする請求項１記載の境線検出装置。
  3. 　前記画像学習部により生成された推論器を用いて、前記学習用画像切出し部により切出された学習用画像から前記第１の領域及び前記第２の領域を識別する画像識別部と、
    　前記画像識別部による学習用画像に対する識別結果に誤りがある場合に訂正する誤り訂正部とを備え、
    　前記画像学習部は、前記誤り訂正部により誤りが訂正された学習用画像を用いて機械学習を行って推論器を生成し、
    　前記誤り訂正部により誤りが訂正された学習用画像の枚数又は前記画像学習部での機械学習の実行からの経過時間に応じて、前記画像学習部に対して機械学習の実行を命令する
    　ことを特徴とする請求項１記載の境線検出装置。
  4. 　前記画像選別部は、前記学習用画像切出し部により切出された学習用画像と基準画像とを比較し、前記パラメータの値の差から当該学習用画像を該当する選別区分に分類する
    　ことを特徴とする請求項１記載の境線検出装置。
  5. 　前記画像学習部により生成された推論器を用いて、推論器の性能を評価するための性能評価用画像から前記第１の領域及び前記第２の領域を識別する画像識別部を備え、
    　前記自動学習管理部は、前記画像識別部により識別結果に基づいて推論器の選別を行う
    　ことを特徴とする請求項１記載の境線検出装置。
  6. 　撮影画像から、第１の領域に対応する部分、及び、当該第１の領域とは異なる第２の領域に対応する部分を、学習用画像として切出す学習用画像切出し部と、
    　前記学習用画像切出し部により切出された学習用画像をパラメータ毎に選別する画像選別部と、
    　前記画像選別部により選別されたパラメータの選別区分毎の学習用画像を用いた機械学習を行って推論器を生成する画像学習部と、
    　前記画像選別部により選別されたパラメータの選別区分毎の学習用画像の枚数又は前記画像学習部での機械学習の実行からの経過時間に応じて、前記画像学習部に対して機械学習の実行を命令する自動学習管理部と、
    　前記画像学習部により生成された推論器を用いて、撮影画像から水位を検出する検出部と
    　を備えた水位計測装置。
PCT/JP2020/005767 2019-06-25 2020-02-14 境線検出装置及び水位計測装置 WO2020261634A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-117549 2019-06-25
JP2019117549A JP2021005158A (ja) 2019-06-25 2019-06-25 境線検出装置及び水位計測装置

Publications (1)

Publication Number Publication Date
WO2020261634A1 true WO2020261634A1 (ja) 2020-12-30

Family

ID=74060565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005767 WO2020261634A1 (ja) 2019-06-25 2020-02-14 境線検出装置及び水位計測装置

Country Status (2)

Country Link
JP (1) JP2021005158A (ja)
WO (1) WO2020261634A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7497538B1 (ja) 2024-02-02 2024-06-10 オリエンタル白石株式会社 ケーソン管理システム及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10198683A (ja) * 1997-01-07 1998-07-31 Ricoh Co Ltd 文書画像分類方法
JP2000285141A (ja) * 1999-01-27 2000-10-13 Ricoh Co Ltd 画像検索装置，画像分類装置およびそれらの装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005310123A (ja) * 2004-03-24 2005-11-04 Fuji Photo Film Co Ltd 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体
JP2006301779A (ja) * 2005-04-18 2006-11-02 Konica Minolta Photo Imaging Inc 画像処理システム、画像処理方法及び画像処理プログラム
WO2018092238A1 (ja) * 2016-11-17 2018-05-24 三菱電機株式会社 水位計測装置及び水位計測方法
JP2019058960A (ja) * 2017-09-25 2019-04-18 ファナック株式会社 ロボットシステム及びワーク取り出し方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10198683A (ja) * 1997-01-07 1998-07-31 Ricoh Co Ltd 文書画像分類方法
JP2000285141A (ja) * 1999-01-27 2000-10-13 Ricoh Co Ltd 画像検索装置，画像分類装置およびそれらの装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005310123A (ja) * 2004-03-24 2005-11-04 Fuji Photo Film Co Ltd 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体
JP2006301779A (ja) * 2005-04-18 2006-11-02 Konica Minolta Photo Imaging Inc 画像処理システム、画像処理方法及び画像処理プログラム
WO2018092238A1 (ja) * 2016-11-17 2018-05-24 三菱電機株式会社 水位計測装置及び水位計測方法
JP2019058960A (ja) * 2017-09-25 2019-04-18 ファナック株式会社 ロボットシステム及びワーク取り出し方法

Also Published As

Publication number Publication date
JP2021005158A (ja) 2021-01-14

Similar Documents

Publication Publication Date Title
JP6125137B1 (ja) 水位計測装置及び水位計測方法
CN109460753B (zh) 一种检测水上漂浮物的方法
CN105427324B (zh) 基于二值化阈值自动搜索的磁光成像缺陷检测方法
CN107092871B (zh) 基于多尺度多特征融合的遥感影像建筑物检测方法
CN110516665A (zh) 识别图像叠加文字区域的神经网络模型构建方法与系统
US20210281748A1 (en) Information processing apparatus
US11282226B2 (en) Water level measurement device and shoreline extraction method
CN110428357A (zh) 图像中水印的检测方法、装置、电子设备及存储介质
US20210027055A1 (en) Methods and Systems for Identifying Topographic Features
CN114396945B (zh) 无人船沿边清扫路径规划方法、装置、设备及存储介质
KR101805318B1 (ko) 텍스트 영역 식별 방법 및 장치
CN113724259B (zh) 井盖异常检测方法、装置及其应用
WO2019176826A1 (ja) 領域判定装置、監視システム、領域判定方法、及び、記録媒体
KR101917525B1 (ko) 문자열 식별 방법 및 장치
CN116524369A (zh) 遥感影像分割模型构建方法、装置及遥感影像解译方法
CN117437201A (zh) 一种基于改进YOLOv7的道路裂缝检测方法
WO2020261634A1 (ja) 境線検出装置及び水位計測装置
CN103743750B (zh) 一种大口径光学元件表面损伤分布图的生成方法
CN115205855A (zh) 融合多尺度语义信息的车辆目标识别方法、装置及设备
WO2020188692A1 (ja) 水位計測装置、水位計測方法および水位計測プログラム
CN113723371B (zh) 无人船清洁路线规划方法、装置、计算机设备及存储介质
Michael et al. A general framework for human-machine digitization of geographic regions from remotely sensed imagery
CN110472640A (zh) 一种目标检测模型预测框处理方法及装置
CN111598911B (zh) 一种机器人平台的自主巡线方法、装置及存储介质
CN114332638B (zh) 遥感图像目标检测方法、装置、电子设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20833568

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20833568

Country of ref document: EP

Kind code of ref document: A1