WO2020261568A1 - 路面検査装置、路面検査方法、およびプログラム - Google Patents

路面検査装置、路面検査方法、およびプログラム Download PDF

Info

Publication number
WO2020261568A1
WO2020261568A1 PCT/JP2019/025950 JP2019025950W WO2020261568A1 WO 2020261568 A1 WO2020261568 A1 WO 2020261568A1 JP 2019025950 W JP2019025950 W JP 2019025950W WO 2020261568 A1 WO2020261568 A1 WO 2020261568A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
damage
road surface
judgment
surface inspection
Prior art date
Application number
PCT/JP2019/025950
Other languages
English (en)
French (fr)
Inventor
健一 山岬
中野　学
慎一郎 鷲見
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/620,180 priority Critical patent/US20220254169A1/en
Priority to JP2021527305A priority patent/JP7156527B2/ja
Priority to PCT/JP2019/025950 priority patent/WO2020261568A1/ja
Publication of WO2020261568A1 publication Critical patent/WO2020261568A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01—Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a technique for supporting the management work of the laid road.
  • Patent Document 1 An example of a technique for efficiently inspecting a road is disclosed in Patent Document 1 below.
  • Patent Document 1 below discloses an example of a technique for detecting damage (cracks, ruts, etc.) on the road surface using an image of a road.
  • the accuracy is high. At present, the accuracy is improved by visually confirming the judgment result of road damage by a computer. However, it is very troublesome to visually confirm all the determination results of all the images. A technology that improves the accuracy of road damage judgment results by a computer while reducing the work load by humans is desired.
  • the present invention has been made in view of the above problems.
  • One of the objects of the present invention is to provide a technique for improving the accuracy of the judgment result of road damage by a computer while reducing the work load by a person.
  • the first road surface inspection device of the present invention is Image acquisition means to acquire the input image showing the road, A damage detecting means for detecting a damaged part of a road in the input image by using a damage determining device for determining a damaged part of the road constructed by machine learning. An output means that outputs a judgment result having a certainty level of less than or equal to a reference value among the judgment results of the damaged part of the road by the damage judgment device to the display device in a state that can be distinguished from other judgment results. To be equipped.
  • the second road surface inspection device of the present invention is Image acquisition means to acquire the input image showing the road, A damage detecting means for detecting a damaged part of a road in the input image by using a damage determining device for determining a damaged part of the road constructed by machine learning. An output means for outputting the judgment result of the damaged part of the road by the damage judgment device to the display device together with the certainty of the judgment result. To be equipped.
  • the first road surface inspection method of the present invention is The computer Get the input image of the road and Using a damage determiner that determines the damaged part of the road constructed by machine learning, the damaged part of the road in the input image is detected. Among the judgment results of the damaged part of the road by the damage judgment device, the judgment result whose certainty is equal to or less than the reference value is output to the display device in a state where it can be distinguished from other judgment results. Including that.
  • the second road surface inspection method of the present invention is The computer Get the input image of the road and Using a damage determiner that determines the damaged part of the road constructed by machine learning, the damaged part of the road in the input image is detected.
  • the judgment result of the damaged part of the road by the damage judgment device is output to the display device together with the certainty of the judgment result. Including that.
  • the program of the present invention causes a computer to execute the above-mentioned first road surface inspection method or second road surface inspection method.
  • FIG. 1st Embodiment It is a figure which illustrates the functional structure of the road surface inspection apparatus in 1st Embodiment. It is a block diagram which illustrates the hardware composition of the road surface inspection apparatus. It is a flowchart which illustrates the flow of the process executed by the road surface inspection apparatus of 1st Embodiment. It is a figure which shows an example of the screen which is output to the display device by an output part. It is a figure which shows another example of the screen which is output to the display device by an output part. It is a figure which shows another example of the screen which is output to the display device by an output part. It is a figure which illustrates the functional structure of the road surface inspection apparatus in 2nd Embodiment.
  • each block diagram represents a configuration of a functional unit, not a configuration of a hardware unit.
  • the direction of the arrow in the figure is for making the flow of information easy to understand, and does not limit the direction of communication (one-way communication / two-way communication) unless otherwise specified.
  • FIG. 1 is a diagram illustrating a functional configuration of a road surface inspection device according to the first embodiment.
  • the road surface inspection device 10 illustrated in FIG. 1 includes an image acquisition unit 110, a damage detection unit 120, and an output unit 130.
  • the image acquisition unit 110 acquires an input image showing the road surface to be inspected. As illustrated in FIG. 1, the image of the road surface is generated by the image pickup device 22 provided in the vehicle 20. Specifically, while the vehicle 20 is traveling on the road in the inspection target section, the image pickup device 22 performs a photographing operation to generate a road surface image of the road in the inspection target section.
  • the image acquisition unit 110 acquires at least one of a plurality of frame images constituting the road surface image as an image to be image-processed (analyzed).
  • the image acquisition unit 110 may acquire an image of the road surface from the image pickup device 22 via the network.
  • the image acquisition unit 110 may acquire a road surface image from, for example, an image pickup device 22 connected by a communication cable or a portable storage medium such as a memory card.
  • the damage detection unit 120 detects a damaged part of the road in the input image acquired by the image acquisition unit 110 by using the damage determination device 122.
  • the damage determination device 122 selects the damaged part of the road from the input image by repeating machine learning using the learning data in which the image of the road and the information indicating the damaged part of the road (correct answer label) are combined. It is constructed so that it can be judged.
  • the learning data used when the damage determination device 122 is first constructed is generated, for example, by a data analyst performing an operation of assigning an appropriate correct answer label to the learning image.
  • the damage determiner 122 is modeled by machine learning to detect, for example, cracks, ruts, potholes, depressions, depressions, and steps on the road surface as damaged parts of the road.
  • the output unit 130 outputs the determination result of the damaged portion of the road by the damage determination device 122 to the display device 30.
  • the output unit 130 sets a determination result having a certainty level equal to or lower than the reference value among the determination results of the damaged portion of the road by the damage determination device 122 as another determination result (a determination result having a certainty degree exceeding the reference value). It is output to the display device 30 in a distinguishable state.
  • the degree of certainty is information indicating the certainty of the damage determination result by the damage determination device 122.
  • confidence is represented by a binary value of 0 (low confidence) and 1 (high confidence), or a continuous value in the range 0 to 1.
  • the damage determining device 122 uses, for example, the degree of similarity between the feature amount of the damaged part of the road obtained by machine learning and the feature amount obtained from the damaged part (pixel area) reflected in the input image as the certainty of the determination result. Can be calculated.
  • Each functional component of the road surface inspection device 10 may be realized by hardware that realizes each functional component (eg, a hard-wired electronic circuit, etc.), or a combination of hardware and software (eg, example). It may be realized by a combination of an electronic circuit and a program that controls it).
  • FIG. 2 is a block diagram illustrating a hardware configuration of the road surface inspection device 10.
  • the road surface inspection device 10 includes a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input / output interface 1050, and a network interface 1060.
  • the bus 1010 is a data transmission path for the processor 1020, the memory 1030, the storage device 1040, the input / output interface 1050, and the network interface 1060 to transmit and receive data to and from each other.
  • the method of connecting the processors 1020 and the like to each other is not limited to the bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main storage device realized by a RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, a ROM (Read Only Memory), or the like.
  • the storage device 1040 stores a program module that realizes each function of the road surface inspection device 10 (image acquisition unit 110, damage detection unit 120, output unit 130, etc.).
  • the processor 1020 reads each of these program modules into the memory 1030 and executes them, each function corresponding to each program module is realized.
  • the input / output interface 1050 is an interface for connecting the road surface inspection device 10 and various input / output devices.
  • An input device such as a keyboard or mouse, an output device (not shown) such as a display or a printer may be connected to the input / output interface 1050.
  • the input / output interface 1050 may be connected to an image pickup device 22 (or a portable storage medium provided in the image pickup device 22) or a display device 30.
  • the road surface inspection device 10 can communicate with the image pickup device 22 (or a portable storage medium provided in the image pickup device 22) via the input / output interface 1050 to acquire the road surface image generated by the image pickup device 22. .. Further, the road surface inspection device 10 can output the screen generated by the output unit 130 to the display device 30 connected via the input / output interface 1050.
  • the network interface 1060 is an interface for connecting the road surface inspection device 10 to the network.
  • This network is, for example, LAN (Local Area Network) or WAN (Wide Area Network).
  • the method of connecting the network interface 1060 to the network may be a wireless connection or a wired connection.
  • the road surface inspection device 10 can communicate with the image pickup device 22 and a video database (not shown) via the network interface 1060 to acquire the road surface video generated by the image pickup device 22. Further, the road surface inspection device 10 can communicate with the display device 30 via the network interface 1060 and display the screen generated by the output unit 130 on the display device 30.
  • the hardware configuration of the road surface inspection device 10 is not limited to the configuration illustrated in FIG.
  • FIG. 3 is a flowchart illustrating a flow of processing executed by the road surface inspection device 10 of the first embodiment.
  • the image acquisition unit 110 acquires an input image (an image of the road to be processed) (S102).
  • the image acquisition unit 110 acquires the road surface image generated by the image pickup apparatus 22 via, for example, the input / output interface 1050 and the network interface 1060.
  • the image acquisition unit 110 reads all or a part of the plurality of frame images constituting the road surface image as an image of the road to be processed.
  • the image acquisition unit 110 may be configured to execute pre-processing on the image of the road in order to improve the efficiency of processing in the post-process.
  • the image acquisition unit 110 may execute preprocessing such as front correction processing and deblurring processing on the road image.
  • the damage detection unit 120 detects the damaged part of the road from the input image using the damage determination device 122 (S104).
  • the damage detection unit 120 acquires information indicating the position (damaged portion of the road) determined to be road damage in the input image and information indicating the degree of certainty regarding the determination from the damage determination device 122.
  • the damage determination device 122 determines a pixel region having a certain degree of similarity with the feature amount of the damaged portion of the road obtained by machine learning as the damaged portion of the road, and outputs the determination result.
  • the damage determination device 122 determines the similarity between the feature amount of the damaged part of the road obtained by machine learning and the feature amount calculated from the feature amount extracted from the pixel region determined as the damaged part of the road. , Output as the certainty of the judgment result.
  • the damage detection unit 120 acquires this information as "a determination result of a damaged portion of the road by the damage determination device 122".
  • the output unit 130 outputs the determination result of the damaged portion of the road by the damage determination device 122 (S106).
  • the output unit 130 determines whether or not the determination result of the damaged portion of the road by the damage determination device 122 includes the determination result having the certainty degree of the reference value or less.
  • the output unit 130 compares the certainty of each judgment result of the damaged part of the road by the damage judgment device 122 with a preset reference value, so that the certainty is less than or equal to the reference value (specifically, , The pixel area corresponding to the determination result whose certainty is less than or equal to the reference value) is specified.
  • the output unit 130 can distinguish the determination result from other determination results.
  • the state is output to the display device 30.
  • the screen output to the display device 30 by the output unit 130 will be illustrated below.
  • FIG. 4 is a diagram showing an example of a screen output to the display device 30 by the output unit 130.
  • the output unit 130 determines that the certainty is equal to or less than the reference value and other determination results whose certainty exceeds the reference value, depending on the display mode of the specific display element (rectangular frame). Are distinguishable from each other. Specifically, the output unit 130 assigns a rectangular frame A shown by a solid line to a portion determined to be "road damage” with a certainty level exceeding the reference value. Further, the output unit 130 assigns a rectangular frame B shown by a dotted line to a portion determined to be “road damage” or “not road damage” with a certainty level equal to or lower than the reference value.
  • the output unit 130 does not add a specific display element such as a rectangular frame to the portion determined to be "not damage to the road” with a certainty level equal to or higher than the reference value.
  • a specific display element such as a rectangular frame
  • the result of judgment with low certainty that is, the judgment result to be confirmed by human eyes
  • the output unit 130 further outputs the determination result of whether or not the road is a damaged portion and the character information C indicating the certainty of the determination result.
  • the output unit 130 may be configured to include information indicating the type of road damage (cracks, potholes, etc.) in the character information C. ..
  • FIG. 20 is a diagram showing another example of the screen output to the display device 30 by the output unit 130.
  • the output unit 130 is configured to switch the color of the frame line, the thickness of the frame line, the fill pattern in the frame, and the like based on whether or not the certainty level corresponding to the determination result is equal to or less than the reference value. You may. Further, for example, the output unit 130 may be configured to set the color of the frame line, the thickness of the frame line, the fill pattern in the frame, and the like according to the certainty level corresponding to the determination result. Further, the output unit 130 may use a display element other than the rectangular frame as a display element to be given to each of the determination results by the damage determination device 122.
  • the output unit 130 emphasizes the shape of the damaged part of the road (the shape of a crack or a pothole) in order to make it possible to distinguish between the judgment result whose certainty is less than the reference value and other judgment results (the shape of the crack or pothole).
  • a line or fill that emphasizes the outer shape may be used.
  • the output unit 130 is a display element that emphasizes the shape of an object that is not determined to be a "damaged portion of the road" in a certain area as a result of the determination by the damage determination device 122.
  • a line or fill that emphasizes the outer shape may be output.
  • the output unit 130 is configured so that the determination result with low certainty can be distinguished from other determination results by a specific display element such as a rectangular frame without displaying the character information C. It may be good (example: FIG. 5).
  • FIG. 5 is a diagram showing another example of the screen output to the display device 30 by the output unit 130. Even with the screen illustrated in FIG. 5, the determination result with low certainty can be easily identified by the display mode (solid line / dotted line) of the rectangular frame.
  • the output unit 130 may change the display mode of a specific display element based on the determination result (damage / non-damage determination) of the damaged portion of the road and the certainty of the determination result (example: FIG. 6).
  • FIG. 6 is a diagram showing another example of the screen output to the display device 30 by the output unit 130.
  • the output unit 130 assigns a rectangular frame A shown by a solid line to a portion determined to be "road damage” with a certainty exceeding the reference value.
  • the output unit 130 assigns a rectangular frame B shown by a dotted line to a portion determined to be "damaged to the road” with a certainty level equal to or lower than the reference value.
  • the output unit 130 assigns a rectangular frame D indicated by a dotted line and filled with diagonal lines to a portion determined to be "not a road damage” with a certainty level equal to or lower than the reference value. It should be noted that the output unit 130 does not add a specific display element such as a rectangular frame to the portion determined to be “not damage to the road” with a certainty level equal to or higher than the reference value. According to the screen illustrated in FIG. 6, the part judged as "road damage” with the certainty of less than the standard value (that is, the part with a relatively high possibility of detection error) and the certainty of less than the standard value. The part determined to be “not road damage” (that is, the part with a relatively high possibility of omission of detection) can be further identified.
  • the determination result that the certainty is equal to or less than the reference value that is, the certainty is low.
  • "low certainty" of the judgment result of the damaged part of the road by the damage judgment device 122 means that the judgment result includes an error (erroneous detection or omission of detection) when viewed by the human eye. It can be said that the possibility is relatively high.
  • the work of visually confirming the presence or absence of a determination error by the damage determination device 122 is streamlined, and the workload is reduced as a whole. The effect of making it can be expected.
  • the output unit 130 may be configured to output the determination result of the damaged portion of the road by the damage determination device 122 together with the certainty of the determination result.
  • the output unit 130 is configured to output a display element (character information C) indicating the certainty of the determination result by the damage determination device 122 for each determination result of the damaged portion of the road. Will be done.
  • FIG. 21 is a diagram showing another example of the screen output to the display device 30 by the output unit 130. As illustrated in FIG. 21, by visualizing the magnitude of the certainty of the judgment result by the damage judgment device 122, the judgment result having a high possibility of error (that is, the judgment result that should be confirmed with particular care). Can be easily grasped by a person viewing the screen output to the display device 30.
  • the road surface inspection device 10 of the present embodiment is different from the above-described first embodiment in that it further has a configuration related to the correction work as described below.
  • FIG. 7 is a diagram illustrating the functional configuration of the road surface inspection device 10 according to the second embodiment.
  • the road surface inspection device 10 of the present embodiment further includes a damage determination result correction unit 140 and a first learning unit 150.
  • the damage determination result correction unit 140 corrects the determination result that is the target of the correction input based on the correction input for the determination result of the damaged part of the road output to the display device 30. Specifically, a person performing the confirmation work of the screen output on the display device 30 (the screen displaying the judgment result of the damaged part of the road by the damage judgment device 122) makes an erroneous judgment found on the screen. An input operation (correction input) for correcting the result to a correct determination result is performed using the input device 40. The damage determination result correction unit 140 receives this correction input via the input device 40. Then, the damage determination result correction unit 140 corrects the erroneous determination result based on the correction input.
  • the damage determination result correction unit 140 determines that the operation is the target of the operation. Correct the result and update the display contents on the screen (reflect the correction).
  • the first learning unit 150 generates teacher data (first teacher data) for machine learning of the damage determination device 122 by using the correction input and the input image for the determination result of the damaged portion. For example, the first learning unit 150 extracts a partial image area corresponding to the determination result that is the target of the correction input, and indicates the partial image area and the determination result (indicating the damaged part / non-damaged part of the road) indicated by the correction input.
  • the first teacher data can be generated in combination with the correct answer label). Further, the first learning unit 150 may generate the first teacher data by combining the input image acquired by the image acquisition unit 110 and the determination result of the damaged portion of the road by the damage determination device 122.
  • the judgment result of the damaged part of the road by the damage judgment device 122 includes the judgment result corrected by the damage judgment result correction unit 140 as the target of the correction input and the judgment result not to be the target of the correction input. obtain. Then, the first learning unit 150 learns (re-learns) the damage determining device 122 using the generated first teacher data.
  • FIG. 8 is a flowchart illustrating a flow of processing executed by the road surface inspection device 10 of the second embodiment. The processing shown below is executed after the output processing by the output unit 130 (example: the processing of S106 in FIG. 3).
  • the damage determination result correction unit 140 receives a correction input for the determination result of the damaged part of the road by the damage determination device 122 (S202). This correction input is performed by a person who confirms the screen displayed on the display device 30 by using an input device 40 such as a keyboard, a mouse, and a touch panel. Then, the damage determination result correction unit 140 corrects the determination result that is the target of the correction input based on the correction input (S204).
  • FIG. 9 A specific example of the operation by the damage determination result correction unit 140 will be described with reference to the figure. 9, FIG. 10, FIG. 22 and FIG. 23 are diagrams illustrating a specific operation of the damage determination result correction unit 140. It should be noted that these are merely examples, and the operation of the damage determination result correction unit 140 is not limited to the contents disclosed in these figures.
  • correction information for the determination result is input via the user interface E as illustrated in FIGS. 9 and 22.
  • an input is made to correct the determination of "road damage” by the damage determining device 122 as “not road damage (non-damaged)".
  • the damage determination result correction unit 140 corrects the target determination result based on the input in the user interface E.
  • the display on the display device 30 is updated as shown in FIG. 10, for example. In the screen illustrated in FIG.
  • the damage determination result correction unit 140 since the part targeted for the correction input was designated by a person as "a part that is not a damage to the road" (determined with a high degree of certainty), the damage determination result correction unit 140 , The rectangular frame that was displayed for that part is hidden. Further, in the example of FIG. 22, an input is made to correct the determination of "not damage to the road (non-damaged)" by the damage determination device 122 to "damage to the road".
  • the user operates the pointer P using an input device or the like, and the damaged part of the road that the damage judge 122 could not detect (“It is not a road damage” by the damage judge 122 ( The judgment result) "non-damaged)" is specified.
  • the damage determination result correction unit 140 corrects the target determination result based on the input in the user interface E.
  • the display on the display device 30 is updated as shown in FIG. 23, for example.
  • the damage determination result correction unit 140 is the part.
  • the screen display is updated so that the rectangular frame displayed for is shown by a solid line.
  • the first learning unit 150 generates the first teacher data using the correction input received in S202 and the input image acquired by the image acquisition unit 110 (S206). For example, the first learning unit 150 extracts a partial image corresponding to the determination result to be corrected by the correction input from the input image, the image feature amount of the partial image or the partial image, and the content of the correction input. Combined with (information indicating road damage / non-damage), the first teacher data is generated. Then, the first learning unit 150 executes the learning process of the damage determining device 122 using the generated first teacher data (S208). The first learning unit 150 may be configured to execute the learning process of the damage determining device 122 each time the correction input is received.
  • the first learning unit 150 stores the first teacher data generated in response to the correction input in a predetermined storage area, and performs a learning process using the stored first teacher data at a predetermined timing. It may be configured to be executed (for example, at the timing of regular night maintenance).
  • Example of action / effect As described above, according to the present embodiment, when there is an error in the determination result of the damaged portion of the road by the damage determination device 122, it is possible to correct the error by human judgment. Further, in the present embodiment, teacher data for machine learning of the damage determination device 122 is generated according to a correction input for the determination result of the damaged portion of the road by the damage determination device 122, and the damage determination device is used using the teacher data. 122 relearning processes are executed. As a result, it is possible to improve the judgment system of the damaged portion of the road by the damage judgment device 122 and reduce the number of appearances of the judgment result with low certainty (the judgment result that a person should confirm).
  • the work of correcting the determination error of the damaged portion of the road by the damage determination device 122 also serves as the work of generating teacher data for machine learning. Therefore, even if the conventional work of generating the learning data (the work of manually associating the learning image data with the correct label) is not performed separately, the damage determination device 122 is included in the output confirmation work by the output unit 130. Can generate training data for. As a result, the labor required to improve the accuracy of the damage determining device 122 can be reduced.
  • FIG. 11 is a diagram illustrating the functional configuration of the road surface inspection device 10 according to the third embodiment.
  • a plurality of divisions are defined in the width direction of the road.
  • the plurality of divisions include, for example, roadways, shoulders, sidewalks, and the ground adjacent to the road (the area outside the road adjacent to the road).
  • the damage detection unit 120 includes a plurality of damage determination devices 122 corresponding to each of the plurality of categories as described above.
  • Each damage determination device 122 is constructed by machine learning so as to determine a damaged portion in each of a plurality of sections set in the width direction of the road.
  • a certain damage determination device 122 repeats machine learning by repeating machine learning using teacher data that combines an image for learning and information (correct answer label) indicating the position of a damaged part of the roadway in the image. It is built as a judgment device specialized for judging damaged parts of the road. Further, another damage determination device 122 repeats machine learning by using teacher data that combines an image for learning and information (correct answer label) indicating the position of a damaged part of the sidewalk in the image. , It is built as a judgment device specialized in judging the damaged part of the sidewalk. Further, machine learning is also performed on the division of the ground adjacent to the road shoulder or the road, and a damage determination device 122 specialized for determining the damaged portion of each division is constructed.
  • the damage detection unit 120 of the present embodiment uses a plurality of damage determination devices 122 to detect a damaged portion of the road for each road division as described above.
  • the damage detection unit 120 has a division determination device 124 for determining an area corresponding to each of a plurality of divisions defined in the width direction of the road.
  • the damage detection unit 120 of the present embodiment uses the classification determination device 124 to specify a region corresponding to each of the above-mentioned plurality of divisions in the input image acquired by the image acquisition unit 110.
  • the classification determination device 124 is defined in the width direction of the road by repeating machine learning using learning data that combines an image of the road and information (correct answer label) indicating the classification of the road reflected in the image.
  • the area corresponding to each of the plurality of divisions can be determined from the image.
  • the output unit 130 outputs the determination results of the above-mentioned plurality of divisions by the division determination device 124 to the display device 30 together with the determination results of the damaged portion of the road by the damage determination device 122.
  • the road surface inspection device 10 of the present embodiment may further include the damage determination result correction unit 140 and the first learning unit 150 described in the second embodiment.
  • FIG. 12 is a flowchart illustrating a flow of processing executed by the road surface inspection device 10 of the third embodiment.
  • the image acquisition unit 110 acquires the input image to be processed (S302). This is the same as the process of S102 in the flowchart of FIG.
  • the damage detection unit 120 identifies an image area corresponding to each division of the road from the input images acquired by the image acquisition unit 110 by using the classification determination device 124 (S304). Then, the damage detection unit 120 detects the damaged portion of the road for each division from the input image acquired by the image acquisition unit 110 by using the damage determination device 122 corresponding to the division specified in the process of S304. (S306). At this time, the damage detection unit 120 identifies the image area of the division corresponding to each of the plurality of damage determination devices 122 from the input image by using the determination result of each division by the classification determination device 124, and a plurality of the specified image areas. It may be input to each of the damage determination devices 122 of. By doing so, it is possible to improve the accuracy of the output (determination result of the damaged portion of the road) of each of the plurality of damage determination devices 122.
  • the output unit 130 determines the road classification determination result by the classification determination device 124 obtained by the processing of S304 and the damage portion of the road for each division by the damage determination device 122 for each division obtained by the processing of S306.
  • the result is output to the display device 30 (S308).
  • the output unit 130 outputs, for example, a screen as illustrated in FIG. 13 to the display device 30.
  • FIG. 13 is a diagram showing an example of a screen output to the display device 30 by the output unit 130 of the third embodiment.
  • the output unit 130 displays the judgment result of the road classification by the classification judgment device 124 in addition to the display elements A to C showing the judgment result of the road damage portion by the plurality of damage judgment devices 122.
  • the display elements F1 to F3 shown are further output.
  • the determination result of the road division by the division determination device 124 is further output via the display device 30.
  • a person can visually recognize how the machine (road surface inspection device 10) recognizes the road reflected in the input image. Further, based on the judgment result of the road classification and the judgment result of the damaged part of the road by the damage judgment device 122 constructed for each road classification, how each damage judgment device 122 determines the damaged part of the road. A person can visually recognize whether or not the judgment has been made.
  • the plurality of damage assessors 122 are classified by road surface materials such as "asphalt” and “concrete” instead of (or in addition to) the widthwise division of the road such as “road” and “sidewalk”. You may.
  • the classification determination device 124 is constructed so that the road surface material of the road shown in the image can be identified instead of (or in addition to) the classification such as a roadway or a sidewalk.
  • the classification determination device 124 repeats machine learning using teacher data that combines an image of a road for learning and a correct label indicating the road surface material of the image, thereby performing a feature amount for each road surface material of the road. You can learn.
  • the damage detection unit 120 acquires information indicating the road surface material of the road shown in the image to be processed from the classification determination device 124, selects the damage determination device 122 corresponding to the road surface material indicated by the information, and determines the damage of the road surface. Determine the presence or absence. According to the configuration of this modification, the optimum learning model (damage judge 122) is selected according to the road surface material of the road shown in the image to be processed, so that the effect of improving the detection accuracy of the road surface damage is expected. it can.
  • the present embodiment has the same configuration as the first embodiment, the second embodiment, or the third embodiment described above, except for the points described below.
  • FIG. 14 is a diagram illustrating the functional configuration of the road surface inspection device 10 according to the fourth embodiment. As illustrated in FIG. 14, the road surface inspection device 10 of the present embodiment further includes a classification determination result correction unit 160 and a second learning unit 170.
  • the classification determination result correction unit 160 determines the classification of the road that is the target of the classification correction input based on the correction input for the road classification determination result by the classification determination device 124 (hereinafter, also referred to as “classification correction input”). Correct the judgment result. Specifically, a person who confirms the screen output on the display device 30 (the screen displaying the road classification judgment result by the classification judgment device 124 and the judgment result of the damaged part of the road by the damage judgment device 122).
  • the input device 40 is used to perform an input operation (classification correction input) for correcting an erroneous judgment result regarding the road classification found on the screen to a correct judgment result.
  • the classification determination result correction unit 160 receives the classification correction input via the input device 40. Then, the classification determination result correction unit 160 corrects an erroneous determination result regarding the road classification based on the classification correction input.
  • the second learning unit 170 generates teacher data (second teacher data) for machine learning of the classification judgment device 124 by using the classification correction input and the input image for the judgment result by the classification judgment device 124. For example, the second learning unit 170 extracts a partial image area corresponding to the determination result that is the target of the division correction input, and the determination result indicated by the partial image area and the division correction input (correct answer indicating the type of road division). The second teacher data can be generated in combination with the label). Further, the second learning unit 170 may generate the first teacher data by combining the input image acquired by the image acquisition unit 110 and the determination result of the road division by the division determination device 124.
  • the judgment result of the road classification by the classification judgment device 124 is the judgment result corrected by the classification judgment result correction unit 160 as the target of the classification correction input and the judgment result not to be the target of the classification correction input.
  • the second learning unit 170 learns (re-learns) the classification determination device 124 using the generated second teacher data.
  • FIG. 15 is a flowchart illustrating a flow of processing executed by the road surface inspection device 10 of the fourth embodiment. The processing shown below is executed after the output processing by the output unit 130 (example: the processing of S106 in FIG. 3).
  • the classification determination result correction unit 160 accepts the classification correction input for the road classification determination result by the classification determination device 124 (S402). This division correction input is performed by a person who confirms the screen displayed on the display device 30 by using an input device 40 such as a keyboard, a mouse, and a touch panel. Then, the damage determination result correction unit 140 corrects the determination result that is the target of the division correction input based on the division correction input (S404).
  • 16 and 17 are diagrams illustrating a specific operation of the classification determination result correction unit 160. It should be noted that these are merely examples, and the operation of the classification determination result correction unit 160 is not limited to the contents disclosed in these figures.
  • correction information for the judgment result of the classification is input by the operation as illustrated in FIG.
  • the classification determination result correction unit 160 relates to the determination result regarding the classification of the "roadway” (the area determined to be the "roadway” in the image) and the classification of the "sidewalk” as shown in FIG. Correct the judgment result (the area judged as "roadway” in the image).
  • the classification determination result correction unit 160 can perform, for example, an input operation for deforming a part of the shape or boundary line of each division or an input operation for resetting the shape or boundary of the division. It may be configured to provide a user interface.
  • the second learning unit 170 generates the second teacher data using the correction input received in S402 and the input image acquired by the image acquisition unit 110 (S406). For example, the second learning unit 170 extracts a partial image area corresponding to the determination result to be corrected by the division correction input from the input image, and determines the partial image area or the image feature amount of the partial image area.
  • the second teacher data is generated by combining with the content of the classification correction input (information indicating the type of road classification). Then, the second learning unit 170 executes the learning process of the classification determination device 124 using the generated second teacher data (S408).
  • the second learning unit 170 may be configured to execute the learning process of the classification determination device 124 each time the classification correction input is received.
  • the second learning unit 170 stores the second teacher data generated in response to the division correction input in a predetermined storage area, and performs a learning process using the stored second teacher data. It may be configured to be executed at a timing (for example, the timing of regular night maintenance).
  • the teacher data for the division determination device 124 is generated according to the division correction input received by the division determination result correction unit 160, and the re-learning of the division determination device 124 is executed.
  • the determination accuracy of the road division of the division determination device 124 is improved, and an appropriate input can be given to the plurality of damage determination devices 122 specially constructed for each of the plurality of divisions.
  • the detection accuracy of the damaged portion of the road for each category is improved, and the number of occurrences of judgment results with low certainty (judgment results to be confirmed by a person) can be reduced. By reducing the number of occurrences of judgment results with low certainty, further efficiency of the entire work can be expected.
  • the work of correcting the road classification determination error by the classification determination device 124 also serves as the work of generating teacher data for machine learning. Therefore, even if the conventional work of generating the learning data (the work of manually associating the learning image data with the correct label) is not performed separately, the classification determination device 124 is included in the output confirmation work by the output unit 130. Can generate training data for. As a result, the labor required to improve the accuracy of the classification determination device 124 and the damage determination device 122 can be reduced.
  • the road surface inspection device 10 of the present embodiment has a function of generating teacher data of the damage determination device 122 and executing machine learning by using the road determination result of the damage determination device 122. Different from.
  • FIG. 18 is a block diagram illustrating the functional configuration of the road surface inspection device 10 of the fifth embodiment. As shown in FIG. 18, the road surface inspection device 10 of the present embodiment further includes an image acquisition unit 110, a damage detection unit 120, and a learning unit 180.
  • the damage detection unit 120 includes a plurality of damage determination devices 122 for determining a damaged portion of a road, and a classification determination device 124 for determining a road classification.
  • each of the plurality of damage determination devices 122 includes a plurality of pre-defined divisions for the road (width divisions such as "roadway”, “shoulder”, and “sidewalk”, and road surfaces such as “asphalt” and “concrete”. It corresponds to the classification of materials, etc.).
  • the learning unit 180 generates teacher data used for machine learning of the damage determining device 122 by using the determination result of the damaged part of the road by the damage determining device 122 and the input image. Then, the learning unit 180 executes machine learning of the damage determining device 122 using the generated teacher data.
  • the learning unit 180 is configured to select the damage determining device 122 to be the target of machine learning using the generated teacher data based on the classification determination result by the classification determining device 124.
  • the learning unit 180 has obtained information indicating that the road surface material of the road is "asphalt" as a result of the classification determination by the classification determination device 124.
  • the learning unit 180 selects the damage determining device 122 corresponding to the "asphalt" category as the target of machine learning using the generated teacher data.
  • the learning unit 180 has obtained information indicating that the division in the width direction of the road is a "roadway” as a determination result of the division by the division determination device 124.
  • the learning unit 180 selects the damage determining device 122 corresponding to the classification of the "roadway” as the target of machine learning using the generated teacher data. Further, the learning unit 180 has obtained information indicating that the road surface material of the road is "asphalt” and the division in the width direction of the road is "roadway” as a result of the classification determination by the classification determination device 124. To do. In this case, the learning unit 180 selects the damage determining device 122 corresponding to the classification of "asphalt" and "roadway” as the target of machine learning using the generated teacher data. By doing so, the possibility that the damage determination device 122 learns an erroneous feature amount by the teacher data (noise data) of different divisions is reduced. As a result, it is possible to prevent the determination accuracy of the damage determination device 122 from being lowered by machine learning.
  • the damaged part of the road may be located over two or more sections.
  • road cracks may extend from the roadway to the shoulder.
  • the learning unit 180 is configured to select the damage determining device 122 to be machine-learned based on the magnitude (number of pixels) of the road damage in each of the two or more divisions. Good.
  • the learning unit 180 uses the teacher data generated by using the image including the cracked portion of the road.
  • the damage determination device 122 for the roadway is selected as the target of machine learning using the above.
  • the learning unit 180 may be configured to generate teacher data for each of the two or more sections using the damaged portion of the road in each of the two or more sections. For example, as shown in FIG. 19, when the damage to the road is located over the two sections of the road and the shoulder, the learning unit 180 covers the image area indicated by the reference numeral G (the area indicated by the broken line in the figure). It is configured to generate the teacher data of the damage judge 122 for the road by using it, and to generate the teacher data of the damage judge 122 for the road shoulder using the image area indicated by the symbol H (the area indicated by the dotted line in the figure). You may be.
  • Image acquisition means to acquire the input image showing the road
  • a damage detecting means for detecting a damaged part of a road in the input image by using a damage determining device for determining a damaged part of the road constructed by machine learning.
  • An output means that outputs a judgment result having a certainty level of less than or equal to a reference value among the judgment results of the damaged part of the road by the damage judgment device to the display device in a state that can be distinguished from other judgment results.
  • a road surface inspection device equipped with 2. 2.
  • Image acquisition means to acquire the input image showing the road
  • a damage detecting means for detecting a damaged part of a road in the input image by using a damage determining device for determining a damaged part of the road constructed by machine learning.
  • An output means for outputting the judgment result of the damaged part of the road by the damage judgment device to the display device together with the certainty of the judgment result.
  • a damage determination result correction means for correcting the determination result that is the target of the correction input is further provided based on the correction input for the determination result of the damaged portion of the road output to the display device. 1. 1. Or 2. The road surface inspection device described in. 4.
  • a first learning means for generating first teacher data using the correction input and the input image and learning the damage determining device using the first teacher data is further provided.
  • the damage detecting means detects a damaged portion of a road in each of the plurality of divisions by using the damage determining device constructed for each of the plurality of divisions. 1. 1. From 4. The road surface inspection device according to any one of the above. 6. The damage detecting means identifies a region corresponding to each of the plurality of divisions in the input image by using a division determining device for determining a region corresponding to each of the plurality of divisions constructed by machine learning. The output means further outputs the determination results of the plurality of divisions by the division determination device to the display device. 5.
  • a classification determination result correction means for correcting the determination result that is the target of the division correction input is further provided based on the division correction input for the determination results of the plurality of categories output to the display device. 6.
  • the road surface inspection device described in. 8 A second learning means for generating second teacher data using the division correction input and the input image and learning the division determination device using the second teacher data is further provided. 7.
  • the road surface inspection device described in. 9. The computer Get the input image of the road and Using a damage determiner that determines the damaged part of the road constructed by machine learning, the damaged part of the road in the input image is detected.
  • the judgment result whose certainty is equal to or less than the reference value is output to the display device in a state where it can be distinguished from other judgment results.
  • Road surface inspection method including that. 10.
  • the computer Get the input image of the road and Using a damage determiner that determines the damaged part of the road constructed by machine learning, the damaged part of the road in the input image is detected.
  • the judgment result of the damaged part of the road by the damage judgment device is output to the display device together with the certainty of the judgment result.
  • Road surface inspection method including that. 11.
  • the computer Based on the correction input for the judgment result of the damaged part of the road output to the display device, the judgment result that is the target of the correction input is corrected. Including that 9. Or 10.
  • the computer The first teacher data is generated by using the correction input and the input image, and the damage determination device is learned by using the first teacher data. Including 11. Road surface inspection method described in. 13. Multiple divisions are defined for roads, The computer The damaged portion of the road is detected for each of the plurality of divisions by using the damage determining device constructed for each of the plurality of divisions. Including that 9. From 12. The road surface inspection method according to any one of the above. 14. The computer Using a division determination device that determines the region corresponding to each of the plurality of divisions constructed by machine learning, the region corresponding to each of the plurality of divisions is specified in the input image. The determination results of the plurality of divisions by the classification determination device are further output to the display device. Including 13.
  • Road surface inspection method described in. 15. The computer Based on the classification correction input for the judgment results of the plurality of classifications output to the display device, the judgment result that is the target of the classification correction input is corrected. Including 14. Road surface inspection method described in. 16.
  • the computer The second teacher data is generated by using the division correction input and the input image, and the classification determination device is learned by using the second teacher data. Including 15. Road surface inspection method described in. 17. To the computer, 9. From 16. A program for executing the road surface inspection method described in any one of the above. 18.
  • Image acquisition means to acquire the input image showing the road A damage detecting means for detecting a damaged part of a road from the input image by using a damage determining device for determining a damaged part of the road constructed by machine learning.
  • the damage determiner is constructed for each of a plurality of road-related sections.
  • the damage detecting means is Based on the input image, the category corresponding to the road reflected in the image is determined from the plurality of categories.
  • the damaged part of the road is detected by using the damage judge corresponding to the judged classification.
  • the learning means The damage determination device to be learned is selected based on the determination result of the classification by the damage detection means.
  • the learning means When the damaged part of the road is located over two or more sections out of the plurality of sections, the learning is performed based on the size of the damaged part of the road in each of the two or more sections. Select a damage judge, 18. The road surface inspection device described in. 20. The learning means When the damaged part of the road is located over two or more of the plurality of sections, the damaged part of the road in each of the two or more sections is used, and the damage corresponding to each of the two or more sections is used. Generate teacher data for the judge, 18. The road surface inspection device described in.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

路面検査装置（１０）は、画像取得部（１１０）、損傷検出部（１２０）、および出力部（１３０）を備える。画像取得部（１１０）は、道路が写る入力画像を取得する。損傷検出部（１２０）は、機械学習によって構築された、道路の損傷部分を判定する損傷判定器（１２２）を用いて、入力画像内の道路の損傷部分を検出する。出力部（１３０）は、損傷判定器（１２２）による道路の損傷部分の判定結果の中で確信度が基準値以下の判定結果を、他の判定結果と区別可能な状態で表示装置（３０）に出力する。

Description

路面検査装置、路面検査方法、およびプログラム
　本発明は、敷設された道路の管理業務を支援する技術に関する。
　道路は車両の通行や経年などによって劣化する。その結果、道路の路面に損傷が発生し得る。道路の損傷をそのままにしておくと事故の原因になり得る。そのため、道路は定期的に点検する必要がある。
　道路の点検を効率よく行うための技術の一例が、下記特許文献１に開示されている。下記特許文献１には、道路の画像を用いて、その路面の損傷（ひび割れ、轍掘れなど）を検出する技術の一例が開示されている。
特開２０１８－０２１３７５号公報
　道路の画像を用いて路面の損傷を検出する場合、その精度が高い方が好ましい。現状では、コンピュータによる道路の損傷の判定結果を人の目で確認することによって、精度を高めている。しかしながら、全ての画像の全ての判定結果を人の目で確認することは非常に手間がかかる。人による作業の負荷を削減しつつ、コンピュータによる道路の損傷の判定結果の精度を高める技術が望まれる。
　本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、人による作業の負荷を削減しつつ、コンピュータによる道路の損傷の判定結果の精度を高める技術を提供することである。
　本発明の第１の路面検査装置は、
　道路が写る入力画像を取得する画像取得手段と、
　機械学習によって構築された、道路の損傷部分を判定する損傷判定器を用いて、前記入力画像内の道路の損傷部分を検出する損傷検出手段と、
　前記損傷判定器による道路の損傷部分の判定結果の中で確信度が基準値以下の判定結果を、他の判定結果と区別可能な状態で表示装置に出力する出力手段と、
　を備える。
　本発明の第２の路面検査装置は、
　道路が写る入力画像を取得する画像取得手段と、
　機械学習によって構築された、道路の損傷部分を判定する損傷判定器を用いて、前記入力画像内の道路の損傷部分を検出する損傷検出手段と、
　前記損傷判定器による道路の損傷部分の判定結果を、当該判定結果の確信度と併せて表示装置に出力する出力手段と、
　を備える。
　本発明の第１の路面検査方法は、
　コンピュータが、
　道路が写る入力画像を取得し、
　機械学習によって構築された、道路の損傷部分を判定する損傷判定器を用いて、前記入力画像内の道路の損傷部分を検出し、
　前記損傷判定器による道路の損傷部分の判定結果の中で確信度が基準値以下の判定結果を、他の判定結果と区別可能な状態で表示装置に出力する、
　ことを含む。
　本発明の第２の路面検査方法は、
　コンピュータが、
　道路が写る入力画像を取得し、
　機械学習によって構築された、道路の損傷部分を判定する損傷判定器を用いて、前記入力画像内の道路の損傷部分を検出し、
　前記損傷判定器による道路の損傷部分の判定結果を、当該判定結果の確信度と併せて表示装置に出力する、
　ことを含む。
　本発明のプログラムは、コンピュータに上述の第１の路面検査方法または第２の路面検査方法を実行させる。
　本発明によれば、人による作業の負荷を削減しつつ、コンピュータによる道路の損傷の判定結果の精度を高める技術が提供される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第１実施形態における路面検査装置の機能構成を例示する図である。 路面検査装置のハードウエア構成を例示するブロック図である。 第１実施形態の路面検査装置により実行される処理の流れを例示するフローチャートである。 出力部によって表示装置に出力される画面の一例を示す図である。 出力部によって表示装置に出力される画面の他の一例を示す図である。 出力部によって表示装置に出力される画面の他の一例を示す図である。 第２実施形態における路面検査装置の機能構成を例示する図である。 第２実施形態の路面検査装置により実行される処理の流れを例示するフローチャートである。 損傷判定結果修正部の具体的な動作を例示する図である。 損傷判定結果修正部の具体的な動作を例示する図である。 第３実施形態における路面検査装置の機能構成を例示する図である。 第３実施形態の路面検査装置により実行される処理の流れを例示するフローチャートである。 第３実施形態の出力部によって表示装置に出力される画面の一例を示す図である。 第４実施形態における路面検査装置の機能構成を例示する図である。 第４実施形態の路面検査装置により実行される処理の流れを例示するフローチャートである。 区分判定結果修正部の具体的な動作を例示する図である。 区分判定結果修正部の具体的な動作を例示する図である。 第５実施形態の路面検査装置の機能構成を例示するブロック図である。 学習部よる具体的な動作を説明するための図である。 出力部によって表示装置に出力される画面の他の一例を示す図である。 出力部によって表示装置に出力される画面の他の一例を示す図である 損傷判定結果修正部の具体的な動作を例示する図である。 損傷判定結果修正部の具体的な動作を例示する図である。
　以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。また、図中の矢印の向きは、情報の流れを分かり易くするためのものであり、特に説明のない限り通信の方向（一方向通信／双方向通信）を限定しない。
　［第１実施形態］
　＜機能構成＞
　図１は、第１実施形態における路面検査装置の機能構成を例示する図である。図１に例示される路面検査装置１０は、画像取得部１１０と、損傷検出部１２０と、出力部１３０とを備える。
　画像取得部１１０は、点検対象の路面が写る入力画像を取得する。図１に例示されるように、路面の画像は、車両２０に備えられた撮像装置２２によって生成される。具体的には、車両２０が点検対象区間の道路を走行している間に、撮像装置２２が撮影動作を行うことによって、点検対象区間の道路の路面映像が生成される。画像取得部１１０は、路面映像を構成する複数のフレーム画像の少なくとも１つを、画像処理（解析）対象の画像として取得する。撮像装置２２がインターネット等のネットワークに接続する機能を備えている場合、画像取得部１１０は、ネットワークを介して撮像装置２２から路面の画像を取得してもよい。また、ネットワークに接続する機能を備える撮像装置２２が、路面映像を図示しない映像データベースに送信し、画像取得部１１０は、当該映像データベースにアクセスして路面映像を取得するように構成されていてもよい。また、画像取得部１１０は、例えば、通信ケーブルによって接続された撮像装置２２、あるいは、メモリカードなどの可搬型記憶媒体から、路面映像を取得してもよい。
　損傷検出部１２０は、損傷判定器１２２を用いて、画像取得部１１０により取得された入力画像内の道路の損傷部分を検出する。ここで、損傷判定器１２２は、道路の画像と道路の損傷部分を示す情報（正解ラベル）とを組み合わせた学習データを用いて機械学習を繰り返すことによって、入力画像の中から道路の損傷部分を判定可能に構築される。損傷判定器１２２を最初に構築する際に用いられる学習データは、例えば、データ解析担当者が、学習用画像に対して適切な正解ラベルを付与する作業を行うことによって生成される。損傷判定器１２２は、例えば、路面に生じたひび割れ、轍掘れ、ポットホール、陥没、窪み、および段差などを道路の損傷部分として検出するように、機械学習によってモデル化される。
　出力部１３０は、損傷判定器１２２による道路の損傷部分の判定結果を、表示装置３０に出力する。ここで、出力部１３０は、損傷判定器１２２による道路の損傷部分の判定結果の中で確信度が基準値以下の判定結果を、他の判定結果（確信度が基準値を超える判定結果）と区別可能な状態で表示装置３０に出力する。ここで、確信度とは、損傷判定器１２２による損傷の判定結果の確からしさを示す情報である。一例として、確信度は、０（低い確信度）および１（高い確信度）の２値、または、０から１の範囲の連続値で表される。損傷判定器１２２は、例えば、機械学習によって得られた道路の損傷部分の特徴量と、入力画像に写る損傷部分（画素領域）から得られる特徴量との類似度を、判定結果の確信度として算出することができる。
　＜ハードウエア構成例＞
　路面検査装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、ハードウエアとソフトウエアとの組み合わせで路面検査装置１０の各機能構成部を実現する場合について、図２を用いてさらに説明する。図２は、路面検査装置１０のハードウエア構成を例示するブロック図である。
　路面検査装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
　メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
　ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は路面検査装置１０の各機能（画像取得部１１０、損傷検出部１２０、出力部１３０等）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、各プログラムモジュールに対応する各機能が実現される。
　入出力インタフェース１０５０は、路面検査装置１０と各種入出力デバイスとを接続するためのインタフェースである。入出力インタフェース１０５０には、キーボードやマウスといった入力装置（図示せず）、ディスプレイやプリンタといった出力装置（図示せず）などが接続され得る。また、入出力インタフェース１０５０には、撮像装置２２（または、撮像装置２２に備えられた可搬型記憶媒体）や表示装置３０が接続され得る。路面検査装置１０は、入出力インタフェース１０５０を介して撮像装置２２（または、撮像装置２２に備えられた可搬型記憶媒体）と通信し、撮像装置２２によって生成された路面映像を取得することができる。また、路面検査装置１０は、入出力インタフェース１０５０を介して接続された表示装置３０に、出力部１３０によって生成される画面を出力することができる。
　ネットワークインタフェース１０６０は、路面検査装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。路面検査装置１０は、ネットワークインタフェース１０６０を介して、撮像装置２２や図示しない映像データベースと通信し、撮像装置２２によって生成された路面映像を取得することができる。また、路面検査装置１０は、ネットワークインタフェース１０６０を介して表示装置３０と通信し、出力部１３０によって生成される画面を表示装置３０に表示させることができる。
　なお、路面検査装置１０のハードウエア構成は図２に例示される構成に限定されない。
　＜処理の流れ＞
　図３は、第１実施形態の路面検査装置１０により実行される処理の流れを例示するフローチャートである。
　まず、画像取得部１１０は、入力画像（処理対象となる道路の画像）を取得する（Ｓ１０２）。画像取得部１１０は、例えば、入出力インタフェース１０５０やネットワークインタフェース１０６０を介して、撮像装置２２によって生成された路面映像を取得する。そして、画像取得部１１０は、路面映像を構成する複数のフレーム画像の全部または一部を、処理対象の道路の画像として読み込む。ここで、画像取得部１１０は、後工程での処理を効率化するために、道路の画像に対して前処理を実行するように構成されていてもよい。例えば、画像取得部１１０は、道路の画像に対して、正面補正処理やデブラーリング処理などの前処理を実行してもよい。
　次に、損傷検出部１２０は、損傷判定器１２２を用いて入力画像から道路の損傷部分を検出する（Ｓ１０４）。ここで、損傷検出部１２０は、入力画像中で道路の損傷と判定された位置（道路の損傷部分）示す情報と、その判定に関する確信度を示す情報とを、損傷判定器１２２から取得する。一例として、損傷判定器１２２は、機械学習によって得られた道路の損傷部分の特徴量と一定以上の類似度を有する画素領域を、道路の損傷部分として判定し、その判定結果を出力する。このとき、損傷判定器１２２は、機械学習によって得られた道路の損傷部分の特徴量と、道路の損傷部分として判定された画素領域から抽出される特徴量から算出される特徴量の類似度を、判定結果の確信度として出力する。損傷検出部１２０は、これらの情報を「損傷判定器１２２による道路の損傷部分の判定結果」として取得する。
　次に、出力部１３０は、損傷判定器１２２による道路の損傷部分の判定結果を出力する（Ｓ１０６）。ここで、出力部１３０は、損傷判定器１２２よる道路の損傷部分の判定結果の中に、確信度が基準値以下の判定結果が含まれているか否かを判別する。例えば、出力部１３０は、損傷判定器１２２による道路の損傷部分の判定結果それぞれの確信度を予め設定された基準値と比較することによって、確信度が基準値以下の判定結果（具体的には、確信度が基準値以下の判定結果に対応する画素領域）を特定する。そして、損傷判定器１２２による道路の損傷部分の判定結果の中に確信度が基準値以下の判定結果が含まれていた場合、出力部１３０は、当該判定結果をその他の判定結果と区別可能な状態で表示装置３０に出力する。以下に、出力部１３０によって表示装置３０に出力される画面について例示する。
　＜＜出力画面の例＞＞
　図４は、出力部１３０によって表示装置３０に出力される画面の一例を示す図である。図４に例示される画面において、出力部１３０は、特定の表示要素（矩形の枠）の表示態様によって、確信度が基準値以下の判定結果と確信度が基準値を超える他の判定結果とを互いに区別可能にしている。具体的には、出力部１３０は、基準値を超える確信度で「道路の損傷」と判定された部分に対しては実線で示される矩形の枠Ａを付与している。また、出力部１３０は、基準値以下の確信度で「道路の損傷」または「道路の損傷でない」と判定された部分には点線で示される矩形の枠Ｂを付与している。なお、出力部１３０は、基準値以上の確信度で「道路の損傷でない」と判定された部分には、矩形の枠といった特定の表示要素を付与していない。図４に例示される画面によれば、損傷判定器１２２による道路の損傷の判定結果の中で、低い確信度で判定された結果（すなわち、人の目で確認すべき判定結果）が一目で識別可能となる。また、図４に例示される画面において、出力部１３０は、道路の損傷部分か否かの判定結果とその判定結果の確信度を示す文字情報Ｃを更に出力している。損傷判定器１２２による判定結果の確信度の大きさを視認できるようにすることで、誤りの可能性の高い判定結果（すなわち、特に気を付けて確認すべき判定結果）を、表示装置３０に出力された画面を閲覧する人物が容易に把握できる。なお、出力部１３０は、図２０に例示されるように、出力部１３０は、道路の損傷の種類（ひび割れやポットホール等）を示す情報を文字情報Ｃに含めるように構成されていてもよい。図２０は、出力部１３０によって表示装置３０に出力される画面の他の一例を示す図である。
　なお、確信度が基準値以下の判定結果とその他の判定結果とを区別可能にする表示態様は、図４の例に制限されない。例えば、出力部１３０は、枠線の色、枠線の太さ、および枠内の塗りつぶしパターンなどを、判定結果に対応する確信度が基準値以下か否かに基づいて切り替えるように構成されていてもよい。また、例えば、出力部１３０は、判定結果に対応する確信度に応じて、枠線の色、枠線の太さ、および枠内の塗りつぶしパターンなどを設定するように構成されていてもよい。また、出力部１３０は、損傷判定器１２２による判定結果それぞれに付与する表示要素として、矩形の枠以外の表示要素を用いてもよい。例えば、出力部１３０は、確信度が基準値以下の判定結果とその他の判定結果とを区別可能とするために、道路の損傷部分の形状（ひび割れやポットホールの形状）を強調する表示要素（例えば、外形を強調する線や塗りつぶしなど）を用いてもよい。また、出力部１３０は、損傷判定器１２２による判定の結果、ある領域において「道路の損傷部分」と判定されなかった何らかの物体が存在している場合に、その物体の形状を強調する表示要素（例えば、外形を強調する線や塗りつぶしなど）を出力してもよい。
　また、出力部１３０は、文字情報Ｃを表示せずに、例えば、矩形の枠といった特定の表示要素によって、確信度が低い判定結果をその他の判定結果と区別可能とするように構成されていてもよい（例：図５）。図５は、出力部１３０によって表示装置３０に出力される画面の他の一例を示す図である。図５に例示される画面によっても、矩形の枠の表示態様（実線／点線）によって、確信度の低い判定結果が容易に識別可能となる。
　また、出力部１３０は、道路の損傷部分の判定結果（損傷／非損傷の判定）と判定結果の確信度とに基づいて、特定の表示要素の表示態様を変えるようにしてもよい（例：図６）。図６は、出力部１３０によって表示装置３０に出力される画面の他の一例を示す図である。図６に例示される画面において、出力部１３０は、基準値を超える確信度で「道路の損傷」と判定された部分に対しては実線で示される矩形の枠Ａを付与している。また、出力部１３０は、基準値以下の確信度で「道路の損傷」と判定された部分には点線で示される矩形の枠Ｂを付与している。また、出力部１３０は、基準値以下の確信度で「道路の損傷ではない」と判定された部分には、点線で示され且つ斜線で塗りつぶされた矩形の枠Ｄを付与している。なお、出力部１３０は、基準値以上の確信度で「道路の損傷でない」と判定された部分には、矩形の枠といった特定の表示要素を付与していない。図６に例示される画面によれば、基準値以下の確信度で「道路の損傷」と判定された部分（すなわち、検出誤りの可能性が比較的高い部分）、および、基準値以下の確信度で「道路の損傷でない」と判定された部分（すなわち、検出漏れの可能性が比較的高い部分）が更に識別可能となる。
　＜作用・効果＞
　以上、本実施形態では、損傷判定器１２２を用いて入力画像の中から道路の損傷部分を判定した結果を出力する画面において、確信度が基準値以下（すなわち、確信度の低い）の判定結果が識別可能となる。ここで、損傷判定器１２２による道路の損傷部分の判定結果の「確信度が低い」ということは、人の目で見た場合にその判定結果が誤り（誤検出や検出漏れ）を含んでいる可能性が比較的高いと言える。そのため、確信度が低い判定結果を識別可能とする本実施形態の構成によれば、損傷判定器１２２による判定誤りの有無を人の目で確認する作業を効率化して、全体として作業負荷を低減させる効果が見込める。
　＜変形例＞
　本実施形態において、出力部１３０は、損傷判定器１２２による道路の損傷部分の判定結果を、その判定結果の確信度と共に出力するように構成されていてもよい。例えば、出力部１３０は、図２１に示されるように、道路の損傷部分の判定結果それぞれについて、損傷判定器１２２による判定結果の確信度を示す表示要素（文字情報Ｃ）を出力するように構成される。図２１は、出力部１３０によって表示装置３０に出力される画面の他の一例を示す図である。図２１に例示されるように、損傷判定器１２２による判定結果の確信度の大きさを可視化することで、　誤りの可能性の高い判定結果（すなわち、特に気を付けて確認すべき判定結果）を、表示装置３０に出力された画面を閲覧する人物が容易に把握できる。
　［第２実施形態］
　機械（損傷判定器１２２）による判定結果に誤りがあった場合、通常、画面上でその誤りを確認した人物が修正作業を行う。本実施形態の路面検査装置１０は、以下で説明するような修正作業に関連する構成を更に有する点で、上述の第１実施形態と異なる。
　＜機能構成例＞
　図７は、第２実施形態における路面検査装置１０の機能構成を例示する図である。本実施形態の路面検査装置１０は、損傷判定結果修正部１４０および第１学習部１５０を更に備える。
　損傷判定結果修正部１４０は、表示装置３０に出力された道路の損傷部分の判定結果に対する修正入力に基づいて、その修正入力の対象となった判定結果を修正する。具体的には、表示装置３０上に出力された画面（損傷判定器１２２による道路の損傷部分の判定結果を表示する画面）の確認作業を行う人物が、その画面上で発見された誤った判定結果を正しい判定結果に修正する入力操作（修正入力）を、入力装置４０を用いて行う。損傷判定結果修正部１４０は、入力装置４０を介して、この修正入力を受け付ける。そして、損傷判定結果修正部１４０は、誤った判定結果を修正入力に基づいて修正する。例えば、損傷判定器１２２によって「損傷」と判定された結果を「損傷でない」という判定結果に修正する操作を人物が行った場合、損傷判定結果修正部１４０は、その操作の対象となった判定結果を修正し、画面上の表示内容を更新（修正を反映）する。
　また、第１学習部１５０は、損傷部分の判定結果に対する修正入力と入力画像とを用いて、損傷判定器１２２の機械学習用の教師データ（第１教師データ）を生成する。例えば、第１学習部１５０は、修正入力の対象となった判定結果に対応する部分画像領域を抽出し、その部分画像領域と修正入力が示す判定結果（道路の損傷部分／非損傷部分を示す正解ラベル）とを組み合わせて第１教師データを生成することができる。また、第１学習部１５０は、画像取得部１１０によって取得された入力画像と、損傷判定器１２２による道路の損傷部分の判定結果とを組み合わせて第１教師データを生成してもよい。この場合において、損傷判定器１２２による道路の損傷部分の判定結果は、修正入力の対象として損傷判定結果修正部１４０により修正された判定結果と、修正入力の対象とならなかった判定結果とを含み得る。そして、第１学習部１５０は、生成した第１教師データを用いて損傷判定器１２２の学習（再学習）を行う。
　＜処理の流れ＞
　図８は、第２実施形態の路面検査装置１０により実行される処理の流れを例示するフローチャートである。以下で示す処理は、出力部１３０による出力処理（例：図３のＳ１０６の処理）の後に実行される。
　まず、損傷判定結果修正部１４０が、損傷判定器１２２による道路の損傷部分の判定結果に対する修正入力を受け付ける（Ｓ２０２）。この修正入力は、キーボード、マウス、タッチパネルといった入力装置４０を用いて、表示装置３０に表示される画面の確認作業を行う人物によって行われる。そして、損傷判定結果修正部１４０は、修正入力に基づいて、その修正入力の対象となった判定結果を修正する（Ｓ２０４）。
　損傷判定結果修正部１４０による動作の具体例を、図を用いて説明する。図９、図１０、図２２および図２３は、損傷判定結果修正部１４０の具体的な動作を例示する図である。なお、これらはあくまで一例であり、損傷判定結果修正部１４０の動作はこれらの図に開示される内容に制限されない。
　まず、表示装置３０に表示される判定結果の中で誤りが発見された場合、図９および図２２に例示されるようなユーザインタフェースＥを介して、その判定結果に対する修正情報が入力される。図９の例では、損傷判定器１２２による「道路の損傷」という判定を、「道路の損傷ではない（非損傷）」と修正する入力が行われている。ユーザインタフェースＥにおいて「ＯＫ」ボタンが押下されると、損傷判定結果修正部１４０は、対象となった判定結果をユーザインタフェースＥにおける入力に基づいて修正する。その結果、表示装置３０上の表示が、例えば図１０に示されるように更新される。図１０に例示される画面では、修正入力の対象となった箇所が「道路の損傷ではない部分」と人によって指定された（高い確信度で判定された）ため、損傷判定結果修正部１４０は、その部分に対して表示されていた矩形の枠を非表示としている。また、図２２の例では、損傷判定器１２２による「道路の損傷ではない（非損傷）」という判定を、「道路の損傷」と修正する入力が行われている。本図の例では、まず、ユーザが、入力装置等を用いてポインタＰを操作して、損傷判定器１２２が検出できなかった道路の損傷部分（損傷判定器１２２による「道路の損傷ではない（非損傷）」という判定結果）を指定する。その後、ユーザは、当該指定した部分を「道路の損傷」と修正する入力を行う。例えば、図２２に例示される画面のユーザインタフェースＥにおいて「ＯＫ」ボタンが押下されると、損傷判定結果修正部１４０は、対象となった判定結果をユーザインタフェースＥにおける入力に基づいて修正する。その結果、表示装置３０上の表示が、例えば図２３に示されるように更新される。図２３に例示される画面では、修正入力の対象となった箇所が「道路の損傷」と人によって指定された（高い確信度で判定された）ため、損傷判定結果修正部１４０は、その部分に対して表示されていた矩形の枠を実線で示すように画面表示を更新している。
　図８のフローチャートに戻り、第１学習部１５０は、Ｓ２０２で受け付けた修正入力と、画像取得部１１０が取得した入力画像とを用いて、第１教師データを生成する（Ｓ２０６）。例えば、第１学習部１５０は、修正入力による修正の対象となった判定結果に対応する部分画像を入力画像の中から抽出し、部分画像または当該部分画像の画像特徴量と、修正入力の内容（道路の損傷／非損傷を示す情報）とを組み合わせて、第１教師データを生成する。そして、第１学習部１５０は、生成した第１教師データを用いて、損傷判定器１２２の学習処理を実行する（Ｓ２０８）。第１学習部１５０は、修正入力を受け付ける度に損傷判定器１２２の学習処理を実行するように構成されていてもよい。また、第１学習部１５０は、修正入力に応じて生成した第１教師データを所定の記憶領域に蓄積しておき、当該蓄積しておいた第１教師データを用いた学習処理を所定のタイミング（例えば、定期的な夜間メンテナンスのタイミングなど）で実行するように構成されていてもよい。
　＜作用・効果の例＞
　以上、本実施形態によれば、損傷判定器１２２による道路の損傷部分の判定結果に誤りがある場合、人の判断でその誤りを修正することが可能となる。また、本実施形態では、損傷判定器１２２による道路の損傷部分の判定結果に対する修正入力に応じて、損傷判定器１２２の機械学習用の教師データが生成され、その教師データを用いて損傷判定器１２２の再学習処理が実行される。これにより、損傷判定器１２２による道路の損傷部分の判定制度を向上させ、確信度の低い判定結果（人が確認すべき判定結果）の出現数を低減させることができる。確信度の低い判定結果の出現数が減ることによって、作業全体の更なる効率化が見込める。また、本実施形態では、損傷判定器１２２による道路の損傷部分の判定誤りを修正する作業が機械学習用の教師データを生成する作業を兼ねている。そのため、学習用のデータを生成する従来の作業（人手で学習用の画像データと正解ラベルとを対応付ける作業）を別途行わなくとも、出力部１３０による出力の確認作業の中で、損傷判定器１２２用の学習データを生成することができる。これにより、損傷判定器１２２の精度向上にかかる労力を削減することができる。
　［第３実施形態］
　本実施形態は、以下で説明する点を除き、上述の第１実施形態または第２実施形態と同様の構成を有する。
　＜機能構成例＞
　図１１は、第３実施形態における路面検査装置１０の機能構成を例示する図である。図１１に示されるように、本実施形態において、道路の幅方向に複数の区分が定義されている。複数の区分は、例えば、車道、路肩、歩道、および道路に隣接する地面（道路に隣接する道路外の領域）などを含む。そして、損傷検出部１２０は、上述したような複数の区分それぞれに対応する複数の損傷判定器１２２を備えている。各々の損傷判定器１２２は、道路の幅方向に設定された複数の区分それぞれにおける損傷部分を判定するように、機械学習によって構築されている。例えば、ある損傷判定器１２２は、学習用の画像と、その画像内での車道の損傷部分の位置などを示す情報（正解ラベル）とを組み合わせた教師データを用いて機械学習を繰り返すことによって、車道の損傷部分の判定に特化した判定器として構築される。また、別の損傷判定器１２２は、学習用の画像と、その画像内での歩道の損傷部分の位置などを示す情報（正解ラベル）とを組み合わせた教師データを用いて機械学習を繰り返すことによって、歩道の損傷部分の判定に特化した判定器として構築される。また、路肩や道路に隣接する地面の区分についても、同様に機械学習を行って、それぞれの区分の損傷部分の判定に特化した損傷判定器１２２が構築される。本実施形態の損傷検出部１２０は、複数の損傷判定器１２２を用いて、上述したような道路の区分毎に道路の損傷部分を検出する。
　また、本実施形態において、損傷検出部１２０は、道路の幅方向に定義される複数の区分それぞれに対応する領域を判定する区分判定器１２４を有している。本実施形態の損傷検出部１２０は、区分判定器１２４を用いて、画像取得部１１０によって取得された入力画像において上述の複数の区分それぞれに対応する領域を特定する。ここで、区分判定器１２４は、道路の画像と当該画像に写る道路の区分を示す情報（正解ラベル）とを組み合わせた学習データを用いて機械学習を繰り返すことによって、道路の幅方向に定義された複数の区分それぞれに対応する領域を画像から判定可能に構築される。また、本実施形態において、出力部１３０は、区分判定器１２４による上述の複数の区分の判定結果を、損傷判定器１２２による道路の損傷部分の判定結果と共に表示装置３０に出力する。
　なお、図示されていないが、本実施形態の路面検査装置１０は、第２実施形態で説明した損傷判定結果修正部１４０および第１学習部１５０を更に備えていてもよい。
　＜処理の流れ＞
　図１２は、第３実施形態の路面検査装置１０により実行される処理の流れを例示するフローチャートである。
　まず、画像取得部１１０が、処理対象の入力画像を取得する（Ｓ３０２）。これは、図３のフローチャートのＳ１０２の処理と同様である。
　次に、損傷検出部１２０は、区分判定器１２４を用いて、画像取得部１１０によって取得された入力画像の中から、道路の各区分に対応する画像領域を特定する（Ｓ３０４）。そして、損傷検出部１２０は、Ｓ３０４の処理で特定された区分に対応する損傷判定器１２２を用いて、画像取得部１１０によって取得された入力画像の中から区分毎の道路の損傷部分を検出する（Ｓ３０６）。このとき、損傷検出部１２０は、区分判定器１２４による各区分の判定結果を用いて、複数の損傷判定器１２２それぞれに対応する区分の画像領域を入力画像から特定し、特定した画像領域を複数の損傷判定器１２２それぞれの入力としてもよい。このようにすることで、複数の損傷判定器１２２それぞれの出力（道路の損傷部分の判定結果）の精度を向上させることができる。
　そして、出力部１３０は、Ｓ３０４の処理で得られる区分判定器１２４による道路の区分の判定結果と、Ｓ３０６の処理で得られる、区分毎の損傷判定器１２２による区分毎の道路の損傷部分の判定結果とを、表示装置３０に出力する（Ｓ３０８）。出力部１３０は、例えば、図１３に例示されるような画面を表示装置３０に出力する。図１３は、第３実施形態の出力部１３０によって表示装置３０に出力される画面の一例を示す図である。図１３に例示される画面において、出力部１３０は、複数の損傷判定器１２２による道路の損傷部分の判定結果を示す表示要素Ａ～Ｃに加え、区分判定器１２４による道路の区分の判定結果を示す表示要素Ｆ１～Ｆ３を更に出力している。
　＜作用・効果の例＞
　以上、本実施形態では、区分判定器１２４による道路の区分の判定結果が表示装置３０を介して更に出力される。これにより、機械（路面検査装置１０）が入力画像に写る道路をどのように認識したかを、人が視覚的に認識できる。また、この道路の区分の判定結果と、道路の区分毎に構築された損傷判定器１２２による道路の損傷部分の判定結果とに基づいて、各々の損傷判定器１２２が道路の損傷部分をどのように判定したかを、人が視覚的に認識できる。これにより、例えば、確信度の低い判定結果や判定の誤り（検出漏れや検出誤り）が出現した場合に、複数の損傷判定器１２２の中のどの損傷判定器１２２の精度に問題があるかを、人の目で容易に判断できるようになる。
　＜変形例＞
　本実施形態において、複数の損傷判定器１２２は、「車道」や「歩道」といった道路の幅方向の区分の代わりに（或いは加えて）、「アスファルト」や「コンクリート」といった路面材料によって分類されていてもよい。この場合、区分判定器１２４は、車道や歩道といった区分の代わりに（或いは加えて）、画像に写る道路の路面材料を識別できるように構築される。例えば、区分判定器１２４は、学習用の道路の画像と、その画像の路面材料を示す正解ラベルとを組み合わせた教師データを用いて機械学習を繰り返すことによって、道路の路面材料毎の特徴量を学習することができる。損傷検出部１２０は、処理対象の画像に写る道路の路面材料を示す情報を区分判定器１２４から取得し、その情報が示す路面材料に対応する損傷判定器１２２を選択して、路面の損傷の有無を判定する。本変形例の構成によれば、処理対象の画像に写る道路の路面材料に応じて最適な学習モデル（損傷判定器１２２）が選択されるため、路面の損傷の検出精度を向上させる効果が期待できる。
　［第４実施形態］
　本実施形態は、以下で説明する点を除き、上述の第１実施形態、第２実施形態、または第３実施形態と同様の構成を有する。
　＜機能構成例＞
　図１４は、第４実施形態における路面検査装置１０の機能構成を例示する図である。図１４に例示されるように、本実施形態の路面検査装置１０は、区分判定結果修正部１６０および第２学習部１７０を更に備える。
　区分判定結果修正部１６０は、区分判定器１２４による道路の区分の判定結果に対する修正入力（以下、「区分修正入力」とも表記）に基づいて、その区分修正入力の対象となった道路の区分の判定結果を修正する。具体的には、表示装置３０上に出力された画面（区分判定器１２４による道路の区分判定結果および損傷判定器１２２による道路の損傷部分の判定結果を表示する画面）の確認作業を行う人物が、その画面上で発見された、道路の区分に関する誤った判定結果を正しい判定結果に修正する入力操作（区分修正入力）を、入力装置４０を用いて行う。区分判定結果修正部１６０は、入力装置４０を介して、この区分修正入力を受け付ける。そして、区分判定結果修正部１６０は、道路の区分に関する誤った判定結果を区分修正入力に基づいて修正する。
　第２学習部１７０は、区分判定器１２４による判定結果に対する区分修正入力と入力画像とを用いて、区分判定器１２４の機械学習用の教師データ（第２教師データ）を生成する。例えば、第２学習部１７０は、区分修正入力の対象となった判定結果に対応する部分画像領域を抽出し、その部分画像領域と区分修正入力が示す判定結果（道路の区分の種類を示す正解ラベル）とを組み合わせて第２教師データを生成することができる。また、第２学習部１７０は、画像取得部１１０によって取得された入力画像と、区分判定器１２４による道路の区分の判定結果とを組み合わせて第１教師データを生成してもよい。この場合において、区分判定器１２４による道路の区分の判定結果は、区分修正入力の対象として区分判定結果修正部１６０により修正された判定結果と、区分修正入力の対象とならなかった判定結果とを含み得る。そして、第２学習部１７０は、生成した第２教師データを用いて区分判定器１２４の学習（再学習）を行う。
　＜処理の流れ＞
　図１５は、第４実施形態の路面検査装置１０により実行される処理の流れを例示するフローチャートである。以下で示す処理は、出力部１３０による出力処理（例：図３のＳ１０６の処理）の後に実行される。
　まず、区分判定結果修正部１６０が、区分判定器１２４による道路の区分の判定結果に対する区分修正入力を受け付ける（Ｓ４０２）。この区分修正入力は、キーボード、マウス、タッチパネルといった入力装置４０を用いて、表示装置３０に表示される画面の確認作業を行う人物によって行われる。そして、損傷判定結果修正部１４０は、区分修正入力に基づいて、その区分修正入力の対象となった判定結果を修正する（Ｓ４０４）。
　区分判定結果修正部１６０による動作の具体例を、図を用いて説明する。図１６および図１７は、区分判定結果修正部１６０の具体的な動作を例示する図である。なお、これらはあくまで一例であり、区分判定結果修正部１６０の動作はこれらの図に開示される内容に制限されない。
　まず、表示装置３０に表示される道路の区分の判定結果の中で誤りが発見された場合、図１６に例示されるような操作によって、区分の判定結果に対する修正情報が入力される。図１６の例では、「道路」と「歩道」との区分の境界の位置を修正する操作として、（１）修正対象とする区分の判定結果（画面上に描画されたオブジェクト）を選択し、（２）ドラッグ・アンド・ドロップ操作によって選択した道路の区分の境界位置を修正する操作が実行されている。区分判定結果修正部１６０は、このような操作に応じて、図１７に示すように、「車道」の区分に関する判定結果（画像において「車道」と判定された領域）および「歩道」の区分に関する判定結果（画像において「車道」と判定された領域）を修正する。これらの図の例に限らず、区分判定結果修正部１６０は、例えば、各区分の形状や境界線の一部を変形させる入力操作や区分の形状や境界を新たに設定し直す入力操作を可能とするユーザインタフェースを提供するように構成されていてもよい。
　図１５のフローチャートに戻り、第２学習部１７０は、Ｓ４０２で受け付けた修正入力と、画像取得部１１０が取得した入力画像とを用いて、第２教師データを生成する（Ｓ４０６）。例えば、第２学習部１７０は、区分修正入力による修正の対象となった判定結果に対応する部分画像領域を入力画像の中から抽出し、部分画像領域または当該部分画像領域の画像特徴量と、区分修正入力の内容（道路の区分の種類を示す情報）とを組み合わせて、第２教師データを生成する。そして、第２学習部１７０は、生成した第２教師データを用いて、区分判定器１２４の学習処理を実行する（Ｓ４０８）。第２学習部１７０は、区分修正入力を受け付ける度に区分判定器１２４の学習処理を実行するように構成されていてもよい。また、第２学習部１７０は、区分修正入力に応じて生成した第２教師データを所定の記憶領域に蓄積しておき、当該蓄積しておいた第２教師データを用いた学習処理を所定のタイミング（例えば、定期的な夜間メンテナンスのタイミングなど）で実行するように構成されていてもよい。
＜作用・効果＞
　本実施形態では、区分判定結果修正部１６０で受け付けた区分修正入力に応じて、区分判定器１２４用の教師データが生成され、区分判定器１２４の再学習が実行される。これにより、区分判定器１２４の道路の区分の判定精度が向上し、複数の区分それぞれに特化して構築された複数の損傷判定器１２２に適切な入力を与えることができる。結果として、区分毎の道路の損傷部分の検出精度が向上し、確信度の低い判定結果（人が確認すべき判定結果）の出現数を低減させることができる。確信度の低い判定結果の出現数が減ることによって、作業全体の更なる効率化が見込める。また、本実施形態では、区分判定器１２４による道路の区分の判定誤りを修正する作業が機械学習用の教師データを生成する作業を兼ねている。そのため、学習用のデータを生成する従来の作業（人手で学習用の画像データと正解ラベルとを対応付ける作業）を別途行わなくとも、出力部１３０による出力の確認作業の中で、区分判定器１２４用の学習データを生成することができる。これにより、区分判定器１２４および損傷判定器１２２の精度向上にかかる労力を削減することができる。
　［第５実施形態］
　本実施形態の路面検査装置１０は、損傷判定器１２２による道路の判定結果を用いて、損傷判定器１２２の教師データを生成して機械学習を実行する機能を備える点で、上述の各実施形態と異なる。
　＜機能構成＞
　図１８は、第５実施形態の路面検査装置１０の機能構成を例示するブロック図である。図１８に示されるように、本実施形態の路面検査装置１０は、画像取得部１１０、損傷検出部１２０、および学習部１８０を更に備える。
　画像取得部１１０および損傷検出部１２０は、上述の各実施形態で説明したものと同様の機能を有する。本実施形態において、損傷検出部１２０は、道路の損傷部分を判定する複数の損傷判定器１２２と、道路の区分を判定する区分判定器１２４と、を備えている。また、複数の損傷判定器１２２の各々は、道路について予め定義された複数の各区分（「車道」、「路肩」、「歩道」といった幅方向の区分や、「アスファルト」、「コンクリート」といった路面材料の区分など）に対応している。
　学習部１８０は、損傷判定器１２２による道路の損傷部分の判定結果と、入力画像とを用いて、損傷判定器１２２の機械学習に用いる教師データを生成する。そして、学習部１８０は、生成した教師データを用いて損傷判定器１２２の機械学習を実行する。
　ここで、学習部１８０は、区分判定器１２４による区分の判定結果に基づいて、生成した教師データを用いた機械学習の対象とする損傷判定器１２２を選択するように構成される。具体的な例として、学習部１８０が、区分判定器１２４による区分の判定結果として、道路の路面材料が「アスファルト」であることを示す情報を得たとする。この場合、学習部１８０は、生成した教師データを用いた機械学習の対象として、「アスファルト」の区分に対応する損傷判定器１２２を選択する。また、学習部１８０が、区分判定器１２４による区分の判定結果として、道路の幅方向の区分が「車道」であることを示す情報を得たとする。この場合、学習部１８０は、生成した教師データを用いた機械学習の対象として、「車道」の区分に対応する損傷判定器１２２を選択する。また、学習部１８０が、区分判定器１２４による区分の判定結果として、道路の路面材料が「アスファルト」であり、かつ、道路の幅方向の区分が「車道」であることを示す情報を得たとする。この場合、学習部１８０は、生成した教師データを用いた機械学習の対象として、「アスファルト」および「車道」の区分に対応する損傷判定器１２２を選択する。このようにすることで、損傷判定器１２２が、異なる区分の教師データ（ノイズデータ）によって誤った特徴量を学習する可能性が減る。その結果、機械学習によって損傷判定器１２２の判定精度が低下することを防止できる。
　また、道路の損傷部分が２以上の区分に亘って位置することもある。例えば、道路のひび割れが車道から路肩にかけて広がっていることもある。この場合において、学習部１８０は、２以上の区分にそれぞれにおける道路の損傷の大きさ（画素数）に基づいて、機械学習の対象とする損傷判定器１２２を選択するように構成されていてもよい。例えば、道路と路肩に亘って広がる道路のひび割れについて、その半分以上が車道側に位置している場合には、学習部１８０は、その道路のひび割れ部分を含む画像を用いて生成される教師データを用いた機械学習の対象として、車道用の損傷判定器１２２を選択する。他の一例として、学習部１８０は、２以上の区分それぞれにおける道路の損傷部分を用いて、当該２以上の区分それぞれの教師データを生成するように構成されていてもよい。例えば、図１９に示されるように、道路の損傷が道路と路肩の２つの区分に亘って位置している場合、学習部１８０は、符号Ｇで示す画像領域（図中破線で示す領域）を用いて道路用の損傷判定器１２２の教師データを生成し、符号Ｈで示す画像領域（図中点線で示す領域）を用いて路肩用の損傷判定器１２２の教師データを生成するように構成されていてもよい。
　以上、図面を参照して本発明の実施の形態について述べたが、本発明はこれらに限定されて解釈されるべきものではなく、本発明の要旨を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、改良等を行うことができる。実施形態に開示されている複数の構成要素は、適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよいし、異なる実施形態の構成要素を適宜組み合わせてもよい。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
　道路が写る入力画像を取得する画像取得手段と、
　機械学習によって構築された、道路の損傷部分を判定する損傷判定器を用いて、前記入力画像内の道路の損傷部分を検出する損傷検出手段と、
　前記損傷判定器による道路の損傷部分の判定結果の中で確信度が基準値以下の判定結果を、他の判定結果と区別可能な状態で表示装置に出力する出力手段と、
　を備える路面検査装置。
２．
　道路が写る入力画像を取得する画像取得手段と、
　機械学習によって構築された、道路の損傷部分を判定する損傷判定器を用いて、前記入力画像内の道路の損傷部分を検出する損傷検出手段と、
　前記損傷判定器による道路の損傷部分の判定結果を、当該判定結果の確信度と併せて表示装置に出力する出力手段と、
　を備える路面検査装置。
３．
　前記表示装置に出力された道路の損傷部分の判定結果に対する修正入力に基づいて、前記修正入力の対象となった判定結果を修正する損傷判定結果修正手段を更に備える、
　１．または２．に記載の路面検査装置。
４．
　前記修正入力と前記入力画像とを用いて第１教師データを生成し、前記第１教師データを用いて前記損傷判定器の学習を行う第１学習手段を更に備える、
　３．に記載の路面検査装置。
５．
　道路について複数の区分が定義されており、
　前記損傷検出手段は、前記複数の区分それぞれについて構築された前記損傷判定器を用いて、前記複数の区分毎に道路の損傷部分を検出する、
　１．から４．のいずれか１つに記載の路面検査装置。
６．
　前記損傷検出手段は、機械学習によって構築された、前記複数の区分それぞれに対応する領域を判定する区分判定器を用いて、前記入力画像において前記複数の区分それぞれに対応する領域を特定し、
　前記出力手段は、前記区分判定器による前記複数の区分の判定結果を前記表示装置に更に出力する、
　５．に記載の路面検査装置。
７．
　前記表示装置に出力された前記複数の区分の判定結果に対する区分修正入力に基づいて、前記区分修正入力の対象となった判定結果を修正する区分判定結果修正手段を更に備える、
　６．に記載の路面検査装置。
８．
　前記区分修正入力と前記入力画像とを用いて第２教師データを生成し、前記第２教師データを用いて前記区分判定器の学習を行う第２学習手段を更に備える、
　７．に記載の路面検査装置。
９．
　コンピュータが、
　道路が写る入力画像を取得し、
　機械学習によって構築された、道路の損傷部分を判定する損傷判定器を用いて、前記入力画像内の道路の損傷部分を検出し、
　前記損傷判定器による道路の損傷部分の判定結果の中で確信度が基準値以下の判定結果を、他の判定結果と区別可能な状態で表示装置に出力する、
　ことを含む路面検査方法。
１０．
　コンピュータが、
　道路が写る入力画像を取得し、
　機械学習によって構築された、道路の損傷部分を判定する損傷判定器を用いて、前記入力画像内の道路の損傷部分を検出し、
　前記損傷判定器による道路の損傷部分の判定結果を、当該判定結果の確信度と併せて表示装置に出力する、
　ことを含む路面検査方法。
１１．
　前記コンピュータが、
　前記表示装置に出力された道路の損傷部分の判定結果に対する修正入力に基づいて、前記修正入力の対象となった判定結果を修正する、
　ことを含む９．または１０．に記載の路面検査方法。
１２．
　前記コンピュータが、
　前記修正入力と前記入力画像とを用いて第１教師データを生成し、前記第１教師データを用いて前記損傷判定器の学習を行う、
　ことを含む１１．に記載の路面検査方法。
１３．
　道路について複数の区分が定義されており、
　前記コンピュータが、
　前記複数の区分それぞれについて構築された前記損傷判定器を用いて、前記複数の区分毎に道路の損傷部分を検出する、
　ことを含む９．から１２．のいずれか１つに記載の路面検査方法。
１４．
　前記コンピュータが、
　機械学習によって構築された、前記複数の区分それぞれに対応する領域を判定する区分判定器を用いて、前記入力画像において前記複数の区分それぞれに対応する領域を特定し、
　前記区分判定器による前記複数の区分の判定結果を前記表示装置に更に出力する、
　ことを含む１３．に記載の路面検査方法。
１５．
　前記コンピュータが、
　前記表示装置に出力された前記複数の区分の判定結果に対する区分修正入力に基づいて、前記区分修正入力の対象となった判定結果を修正する、
　ことを含む１４．に記載の路面検査方法。
１６．
　前記コンピュータが、
　前記区分修正入力と前記入力画像とを用いて第２教師データを生成し、前記第２教師データを用いて前記区分判定器の学習を行う、
　ことを含む１５．に記載の路面検査方法。
１７．
　コンピュータに、９．から１６．のいずれか１つに記載される路面検査方法を実行させるためのプログラム。
１８．
　道路が写る入力画像を取得する画像取得手段と、
　機械学習によって構築された、道路の損傷部分を判定する損傷判定器を用いて、前記入力画像から道路の損傷部分を検出する損傷検出手段と、
　前記入力画像と前記道路の損傷部分の判定結果とを用いて、前記損傷判定器の機械学習に用いる教師データを生成し、生成した前記教師データを用いて前記損傷判定器の学習を行う学習手段と、
　を備え、
　前記損傷判定器は、道路に関する複数の区分それぞれについて構築されており、
　前記損傷検出手段は、
　　前記入力画像に基づいて、前記複数の区分の中から当該画像に写る道路に対応する区分を判定し、
　　判定した前記区分に対応する損傷判定器を用いて道路の損傷部分を検出し、
　前記学習手段は、
　　前記損傷検出手段による前記区分の判定結果に基づいて、前記学習の対象とする損傷判定器を選択する、
　路面検査装置。
１９．
　前記学習手段は、
　　前記道路の損傷部分が前記複数の区分のうち２以上の区分に亘って位置している場合、前記２以上の区分それぞれにおける前記道路の損傷部分の大きさに基づいて、前記学習の対象とする損傷判定器を選択する、
　１８．に記載の路面検査装置。
２０．
　前記学習手段は、
　　道路の損傷部分が前記複数の区分のうち２以上の区分に亘って位置している場合、前記２以上の区分それぞれにおける前記道路の損傷部分を用いて、前記２以上の区分それぞれに対応する損傷判定器の教師データを生成する、
　１８．に記載の路面検査装置。

Claims (11)

  1. 　道路が写る入力画像を取得する画像取得手段と、
    　機械学習によって構築された、道路の損傷部分を判定する損傷判定器を用いて、前記入力画像内の道路の損傷部分を検出する損傷検出手段と、
    　前記損傷判定器による道路の損傷部分の判定結果の中で確信度が基準値以下の判定結果を、他の判定結果と区別可能な状態で表示装置に出力する出力手段と、
    　を備える路面検査装置。
  2. 　道路が写る入力画像を取得する画像取得手段と、
    　機械学習によって構築された、道路の損傷部分を判定する損傷判定器を用いて、前記入力画像内の道路の損傷部分を検出する損傷検出手段と、
    　前記損傷判定器による道路の損傷部分の判定結果を、当該判定結果の確信度と併せて表示装置に出力する出力手段と、
    　を備える路面検査装置。
  3. 　前記表示装置に出力された道路の損傷部分の判定結果に対する修正入力に基づいて、前記修正入力の対象となった判定結果を修正する損傷判定結果修正手段を更に備える、
    　請求項１または２に記載の路面検査装置。
  4. 　前記修正入力と前記入力画像とを用いて第１教師データを生成し、前記第１教師データを用いて前記損傷判定器の学習を行う第１学習手段を更に備える、
    　請求項３に記載の路面検査装置。
  5. 　道路について複数の区分が定義されており、
    　前記損傷検出手段は、前記複数の区分それぞれについて構築された前記損傷判定器を用いて、前記複数の区分毎に道路の損傷部分を検出する、
    　請求項１から４のいずれか１項に記載の路面検査装置。
  6. 　前記損傷検出手段は、機械学習によって構築された、前記複数の区分それぞれに対応する領域を判定する区分判定器を用いて、前記入力画像において前記複数の区分それぞれに対応する領域を特定し、
    　前記出力手段は、前記区分判定器による前記複数の区分の判定結果を前記表示装置に更に出力する、
    　請求項５に記載の路面検査装置。
  7. 　前記表示装置に出力された前記複数の区分の判定結果に対する区分修正入力に基づいて、前記区分修正入力の対象となった判定結果を修正する区分判定結果修正手段を更に備える、
    　請求項６に記載の路面検査装置。
  8. 　前記区分修正入力と前記入力画像とを用いて第２教師データを生成し、前記第２教師データを用いて前記区分判定器の学習を行う第２学習手段を更に備える、
    　請求項７に記載の路面検査装置。
  9. 　コンピュータが、
    　道路が写る入力画像を取得し、
    　機械学習によって構築された、道路の損傷部分を判定する損傷判定器を用いて、前記入力画像内の道路の損傷部分を検出し、
    　前記損傷判定器による道路の損傷部分の判定結果の中で確信度が基準値以下の判定結果を、他の判定結果と区別可能な状態で表示装置に出力する、
    　ことを含む路面検査方法。
  10. 　コンピュータが、
    　道路が写る入力画像を取得し、
    　機械学習によって構築された、道路の損傷部分を判定する損傷判定器を用いて、前記入力画像内の道路の損傷部分を検出し、
    　前記損傷判定器による道路の損傷部分の判定結果を、当該判定結果の確信度と併せて表示装置に出力する、
    　ことを含む路面検査方法。
  11. 　コンピュータに、請求項９または１０に記載される路面検査方法を実行させるためのプログラム。
PCT/JP2019/025950 2019-06-28 2019-06-28 路面検査装置、路面検査方法、およびプログラム WO2020261568A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/620,180 US20220254169A1 (en) 2019-06-28 2019-06-28 Road surface inspection apparatus, road surface inspection method, and program
JP2021527305A JP7156527B2 (ja) 2019-06-28 2019-06-28 路面検査装置、路面検査方法、およびプログラム
PCT/JP2019/025950 WO2020261568A1 (ja) 2019-06-28 2019-06-28 路面検査装置、路面検査方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/025950 WO2020261568A1 (ja) 2019-06-28 2019-06-28 路面検査装置、路面検査方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2020261568A1 true WO2020261568A1 (ja) 2020-12-30

Family

ID=74061563

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025950 WO2020261568A1 (ja) 2019-06-28 2019-06-28 路面検査装置、路面検査方法、およびプログラム

Country Status (3)

Country Link
US (1) US20220254169A1 (ja)
JP (1) JP7156527B2 (ja)
WO (1) WO2020261568A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7229432B1 (ja) * 2022-04-08 2023-02-27 三菱電機株式会社 施設管理情報表示装置、施設管理情報表示システム、施設管理情報表示方法および施設管理情報表示プログラム
JP2023101069A (ja) * 2022-01-07 2023-07-20 三菱電機株式会社 車両用画像処理装置および車両用画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0142807B2 (ja) * 1984-02-04 1989-09-14 Kodama Chemical Ind
US20170204569A1 (en) * 2016-01-15 2017-07-20 Fugro Roadware Inc. High speed stereoscopic pavement surface scanning system and method
JP2017167969A (ja) * 2016-03-17 2017-09-21 首都高技術株式会社 損傷抽出システム
JP2018154979A (ja) * 2017-03-16 2018-10-04 株式会社リコー 情報処理システム、評価システム、情報処理方法およびプログラム
JP2019056668A (ja) * 2017-09-22 2019-04-11 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3327198B1 (en) * 2015-07-21 2021-04-21 Kabushiki Kaisha Toshiba Crack analyzer, crack analysis method, and crack analysis program
CN106548182B (zh) * 2016-11-02 2020-02-18 武汉理工大学 基于深度学习和主成因分析的路面裂纹检测方法及装置
US11104345B2 (en) * 2018-04-18 2021-08-31 Rivian Ip Holdings, Llc Methods, systems, and media for determining characteristics of roads
JP6442807B1 (ja) 2018-06-15 2018-12-26 カラクリ株式会社 対話サーバ、対話方法及び対話プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0142807B2 (ja) * 1984-02-04 1989-09-14 Kodama Chemical Ind
US20170204569A1 (en) * 2016-01-15 2017-07-20 Fugro Roadware Inc. High speed stereoscopic pavement surface scanning system and method
JP2017167969A (ja) * 2016-03-17 2017-09-21 首都高技術株式会社 損傷抽出システム
JP2018154979A (ja) * 2017-03-16 2018-10-04 株式会社リコー 情報処理システム、評価システム、情報処理方法およびプログラム
JP2019056668A (ja) * 2017-09-22 2019-04-11 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023101069A (ja) * 2022-01-07 2023-07-20 三菱電機株式会社 車両用画像処理装置および車両用画像処理方法
JP7391117B2 (ja) 2022-01-07 2023-12-04 三菱電機株式会社 車両用画像処理装置および車両用画像処理方法
JP7229432B1 (ja) * 2022-04-08 2023-02-27 三菱電機株式会社 施設管理情報表示装置、施設管理情報表示システム、施設管理情報表示方法および施設管理情報表示プログラム

Also Published As

Publication number Publication date
JPWO2020261568A1 (ja) 2020-12-30
US20220254169A1 (en) 2022-08-11
JP7156527B2 (ja) 2022-10-19

Similar Documents

Publication Publication Date Title
Ji et al. An integrated approach to automatic pixel-level crack detection and quantification of asphalt pavement
Radopoulou et al. Automated detection of multiple pavement defects
CN109086668B (zh) 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
Babari et al. A model-driven approach to estimate atmospheric visibility with ordinary cameras
CN113989305B (zh) 目标语义分割方法及应用其的街道目标异常检测方法
US11164031B2 (en) System and method for analyzing an image of a vehicle
JP2018190329A (ja) 画像処理装置、画像処理プログラム、画像処理システム
CN103198468B (zh) 图像处理装置、图像处理方法和图像处理系统
WO2020261567A1 (ja) 路面検査装置、路面検査方法、およびプログラム
WO2020261568A1 (ja) 路面検査装置、路面検査方法、およびプログラム
KR20090101356A (ko) 결함 검출 장치 및 결함 검출 방법
CN110443783B (zh) 一种图像质量评估方法及装置
CN106934829A (zh) 一种表面裂缝的检测方法及系统
Vivekananthan et al. Concrete bridge crack detection by image processing technique by using the improved OTSU method
JP2021165888A (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
US20220358747A1 (en) Method and Generator for Generating Disturbed Input Data for a Neural Network
US11906441B2 (en) Inspection apparatus, control method, and program
JP6894361B2 (ja) コンクリート表面上のひび割れ方向特定方法、ひび割れ方向特定装置、ひび割れ方向特定システム及びプログラム
JP7151742B2 (ja) 画像変換装置、画像変換方法及び画像変換用コンピュータプログラム
Shinozaki et al. Detection of deterioration of furnace walls using large-scale point-clouds
CN110824451A (zh) 雷达回波图的处理方法、装置、计算机设备及存储介质
KR20190141322A (ko) 신경회로망을 이용한 도로 노면의 크랙 검출 시스템 및 그 검출 방법
CN104299002B (zh) 一种基于监控系统的塔吊图像检测方法
WO2022097275A1 (ja) 情報処理システム
CN115690090B (zh) 缺陷样本图像生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19935434

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021527305

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19935434

Country of ref document: EP

Kind code of ref document: A1