WO2023228239A1 - 道路状態検出装置および道路状態検出方法 - Google Patents

道路状態検出装置および道路状態検出方法 Download PDF

Info

Publication number
WO2023228239A1
WO2023228239A1 PCT/JP2022/021086 JP2022021086W WO2023228239A1 WO 2023228239 A1 WO2023228239 A1 WO 2023228239A1 JP 2022021086 W JP2022021086 W JP 2022021086W WO 2023228239 A1 WO2023228239 A1 WO 2023228239A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
photographing
damage location
damage
target vehicle
Prior art date
Application number
PCT/JP2022/021086
Other languages
English (en)
French (fr)
Inventor
義典 上野
鉄平 ▲濱▼田
光生 下谷
哲 木谷
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2022/021086 priority Critical patent/WO2023228239A1/ja
Publication of WO2023228239A1 publication Critical patent/WO2023228239A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01—Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles

Definitions

  • the present disclosure relates to detection of road conditions.
  • Patent Document 1 describes a technology that automatically detects and photographs damaged locations on the road by detecting vibrations when a vehicle passes over uneven road surfaces and photographing the vibration detection position with a rear camera mounted on the vehicle. is disclosed.
  • the impact applied to a vehicle is measured with an acceleration sensor to detect road surface deterioration. Therefore, when the damaged area is located in the center of the road, there is a problem in that the damaged area cannot be detected because the wheels straddle the damaged area, and the damaged area cannot be photographed. Furthermore, even when the damaged area is at the edge of the road, the tire passes over the damaged area without stepping on it, making it impossible to detect and photograph the damaged area.
  • the technology of the present disclosure is intended to solve the above-mentioned problems, and aims to suppress the failure to take pictures of damaged parts of the road.
  • the road condition detection device of the present disclosure includes a first image input section, a second image input section, an image processing section, and a control section.
  • the first image input unit acquires a first image that is a photographed image of the vicinity of the target vehicle by a first photographing device mounted on the target vehicle.
  • the second image input unit acquires a second image that is a photographed image of a narrower photographing range of the surroundings of the target vehicle than the first image, taken by a second photographing device mounted on the target vehicle.
  • the image processing unit analyzes the first image to estimate a road damage location candidate included in the shooting range of the first image as a first damage location candidate, and also estimates the probability of estimation for the first damage location candidate. Calculate the reliability representing.
  • the control unit calculates the timing at which the first damage location candidate is included in the imaging range of the second imaging device as the imaging timing when the reliability of the first damage location candidate is less than or equal to a predetermined reference value.
  • the image processing unit analyzes the second image taken at the shooting timing to estimate a road damage location candidate included in the shooting range of the second image as a second damage location candidate, and Reliability is calculated for the candidates, and first damage location candidates and second damage location candidates whose reliability exceeds a reference value are detected as damage locations.
  • the road condition detection device of the present disclosure when the reliability of the first damage location candidate estimated from the first image is low, the first damage location candidate is re-detected with high resolution using the second imaging device with a narrowed imaging range. Since it is possible to take pictures, it is possible to prevent the damage from being missed. Objects, features, aspects, and advantages of the present disclosure will become more apparent from the following detailed description and accompanying drawings.
  • FIG. 1 is a block diagram showing the configuration of a road condition detection device according to Embodiment 1.
  • FIG. 3 is a diagram showing the photographing ranges of the first photographing device and the second photographing device in the first embodiment.
  • FIG. 3 is a diagram showing a photographed image of the first photographing device in Embodiment 1.
  • FIG. 3 is a diagram showing a photographing range of a second photographing device in the first embodiment.
  • 5 is a flowchart regarding analysis processing of a first image by the road condition detection device according to the first embodiment.
  • 7 is a flowchart regarding analysis processing of a second image by the road condition detection device according to the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of a road condition detection device according to a second embodiment.
  • FIG. 3 is a diagram showing the imaging cycle of the first imaging device.
  • FIG. 7 is a diagram showing a photographing cycle in a comparative example in which the first photographing device is installed facing downward.
  • FIG. 3 is a diagram showing a first photographing device that photographs a wide range. It is a figure which shows the 2nd photographing device which photographs a narrow range downward.
  • FIG. 3 is a block diagram showing the configuration of a road condition detection device according to a third embodiment.
  • 7 is a flowchart showing processing related to the first image of the road condition detection device according to Embodiment 3.
  • FIG. It is a flowchart of notification control by a control part.
  • FIG. 7 is a block diagram showing the configuration of a road condition detection device according to a first modification of the third embodiment.
  • FIG. 7 is a block diagram showing the configuration of a road condition detection device according to a second modification of the third embodiment.
  • FIG. 3 is a block diagram showing the configuration of a road condition detection device according to a fourth embodiment.
  • 7 is a flowchart showing processing related to the first image of the road condition detection device according to Embodiment 4.
  • FIG. 19 is a detailed flowchart of the information transmission process in step S506 of FIG. 18.
  • FIG. It is a diagram showing the hardware configuration of a road condition detection device. It is a diagram showing the hardware configuration of a road condition detection device.
  • FIG. 1 is a block diagram showing the configuration of a road condition detection device 101 according to the first embodiment.
  • the road condition detection device 101 detects the state of deterioration of the road around the vehicle by analyzing images taken by the first photographing device 21 and the second photographing device 22 mounted on the vehicle.
  • the road condition detection device 101 is connected to the first photographing device 21 and the second photographing device 22, and is configured to be able to use them.
  • the first photographing device 21 and the second photographing device 22 are cameras mounted on the vehicle.
  • the vehicle in which the first photographing device 21 and the second photographing device 22 are mounted will be referred to as a target vehicle.
  • FIG. 2 is a diagram illustrating the photographing ranges of the first photographing device 21 and the second photographing device 22.
  • the first photographing device 21 is a front camera that photographs the traveling direction of the target vehicle 50, and is configured as, for example, a drive recorder type terminal attached to the windshield of the target vehicle 50.
  • a photographing area 51 of the first photographing device 21 is located in front of the target vehicle 50, and a road photographing region 52 is the range of the road photographed by the first photographing device 21.
  • the second photographing device 22 photographs the side opposite to the direction of movement of the target vehicle 50.
  • the second photographing device 22 is, for example, a rear camera attached to the rear window or near the rear bumper of the target vehicle.
  • a photographing area 53 of the second photographing device 22 is located behind the target vehicle 50, and a road photographing region 54 is the range of the road photographed by the second photographing device 22.
  • the photographing direction of the second photographing device 22 is not limited to the rear of the target vehicle 50, but may be the front. However, the photographing range of the second photographing device 22 needs to be behind the photographing range of the first photographing device 21 in the traveling direction of the target vehicle 50.
  • FIG. 3 shows an image taken by the first photographing device 21, and FIG. 4 shows a photographing range by the second photographing device 22.
  • the image taken by the first photographing device 21 will also be referred to as a first image
  • the image taken by the second photographing device 22 will also be referred to as a second image.
  • the second photographing device 22 photographs a narrower range than the first photographing device 21.
  • the road condition detection device 101 includes a first image input section 11 , a second image input section 12 , an image processing section 13 , a determination result storage section 14 , a control section 15 , and a photographing device control section 16 .
  • the first image input unit 11 acquires a first image from the first imaging device and outputs it to the image processing unit 13.
  • the second image input unit 12 acquires a second image from the second imaging device and outputs it to the image processing unit 13.
  • the image processing unit 13 acquires the first image from the first image input unit 11 and analyzes the first image to detect potential damage points on the road included in the shooting range of the first image, and Calculate the reliability that represents the certainty of. In addition, the image processing unit 13 acquires a second image from the second image input unit 12 and analyzes the second image to detect potential damage points on the road included in the shooting range of the second image, and The confidence level representing the certainty of the detection is calculated.
  • the damage location candidates extracted from the first image are also referred to as first damage location candidates
  • the damage location candidates extracted from the second image are also referred to as second damage location candidates.
  • the image processing unit 13 determines the highly reliable first damage location candidate and second damage location candidate as damage locations, and stores information on the damage locations in the determination result storage unit 14 .
  • the judgment result storage unit 14 stores information on the damage locations detected by the image processing unit 13.
  • the information on the damaged area includes, for example, the position of the damaged area, an image of the damaged area, the number of the lane where the damaged area is located, or the type of the damaged area.
  • the control unit 15 attempts to photograph the first damage location candidate again using the second imaging device 22. Therefore, the control unit 15 calculates the timing at which the first damage location candidate is included in the imaging range of the second imaging device.
  • the timing at which the first damage location candidate is included in the imaging range of the second imaging device will be referred to as imaging timing.
  • the photographing timing is calculated as a period having a certain degree of temporal width, taking into account the increase or decrease in the speed of the target vehicle after photographing by the first photographing device 21.
  • the imaging device control unit 16 controls the second imaging device 22 so that the second imaging device 22 performs imaging at the imaging timing calculated by the control unit 15.
  • FIG. 5 is a flowchart regarding the processing of the first image by the road condition detection device 101. The processing of the first image will be described below along the flow shown in FIG.
  • the first photographing device 21 photographs a first area.
  • the first photographing device 21 is automatically activated and starts photographing when the first photographing device 21 is powered on.
  • the first photographing device 21 starts photographing.
  • the first photographing device 21 does not interrupt photographing until it receives an instruction to stop photographing, and continues photographing the first image at a constant cycle.
  • the image processing unit 13 analyzes the first image taken by the first imaging device 21, and estimates whether the road shown in the first image includes a damaged part. For example, the image processing unit 13 can estimate the damage location by image analysis using artificial intelligence (AI).
  • AI machine learning methods include "supervised learning,” “unsupervised learning,” and “reinforcement learning,” but any machine learning method is used in this embodiment.
  • Typical examples of road damage include linear cracks, tortoise shell cracks, white line scuffs, crosswalk scuffs, and potholes.
  • the image processing unit 13 estimates whether there is road damage in the first image, and if there is damage, calculates its position and reliability indicating the certainty of the estimation.
  • the reliability is a value in which the higher the value, the higher the possibility that the estimation result is correct.
  • the damage location estimated from the first image by the image processing unit 13 will be referred to as a first damage location candidate.
  • step S103 the image processing unit 13 determines whether the first image includes the first damage location candidate based on the estimation result in step S102. If the first image includes the first damage location candidate, the process of the road condition detection device 101 moves to step S104. If the first image does not include the first damage location candidate, the process of the road condition detection device 101 moves to step S107.
  • step S107 the road condition detection device 101 determines whether or not to stop photographing by the first photographing device 21. For example, the road condition detection device 101 determines to stop photographing when receiving an instruction to stop photographing from an operation input unit (not shown) or the like. If the road condition detection device 101 determines in step S107 not to stop photographing, the process returns to step S101, and if it determines to stop photographing, it ends the process.
  • step S104 the image processing unit 13 determines whether the reliability of the first damage location candidate is higher than a predetermined reference value. If the reliability of the first damaged location candidate is higher than the reference value, the process of the road condition detection device 101 moves to step S105, and if it is lower than the reference value, the process of the road condition detection device 101 moves to step S106.
  • step S105 the image processing unit 13 determines the first damage location candidate having a reliability higher than the reference value as the damage location, and records information on the damage location in the determination result storage unit 14. After step S105, the process of the road condition detection device 101 moves to step S107.
  • step S106 the road condition detection device 101 starts processing regarding the second image.
  • step S107 the process of the road condition detection device 101 moves to step S107.
  • FIG. 6 is a flowchart of processing regarding the second image by the road condition detection device 101. Processing related to the second image will be described below along the flowchart of FIG.
  • step S201 the control unit 15 calculates the imaging timing of the second imaging device 22.
  • This step is processed when the reliability of the first damage location candidate is less than or equal to the reference value (No in step S104 in FIG. 5).
  • the control unit 15 determines (1) the distances between the first photographing device 21 and the second photographing device 22 that have been measured in advance, and (2) the distance from the target vehicle. Based on the distance to the damage point candidate and (3) the most recent average speed of the target vehicle, the timing at which the damage point candidate is expected to be included in the imaging range of the second image capturing device 22 is determined by the second image capturing device 22. Calculate as timing.
  • the control unit 15 calculates the photographing timing of the second photographing device 22 as a photographing period having a certain degree of temporal width, taking into account the increase or decrease in the speed of the target vehicle after photographing by the first photographing device 21.
  • the second photographing device 22 starts photographing in step S202.
  • the control unit 15 outputs the imaging timing calculated in step S201 to the imaging device control unit 16.
  • the photographing device control section 16 controls the second photographing device 22 to perform photographing at the photographing timing calculated by the control section 15.
  • the second photographing device 22 starts photographing at the start time of the photographing timing and ends photographing at the end time of the photographing timing.
  • the control unit 15 controls the second photographing device to photograph the second image only at the photographing timing calculated in step S201.
  • step S203 the image processing unit 13 analyzes the second image photographed by the second photographing device 22, and estimates whether the road shown in the second image includes a damaged location candidate.
  • the estimation method in this step is the same as the estimation method in the first image described in step S102, so a detailed explanation will be omitted.
  • the image processing unit 13 estimates a damage location candidate in the second image, and further calculates the position and reliability of the damage location candidate.
  • the recommended location candidates estimated from the second image are referred to as second recommended location candidates.
  • step S204 the image processing unit 13 determines whether the second damage location candidate is included in the second image based on the estimation result in step S203. If the second damage location candidate is included in the second image, the process of the road condition detection device 101 moves to step S205, and if it is not included, the process of the road condition detection device 101 regarding the second image ends.
  • step S205 the image processing unit 13 determines whether the reliability of the second damage location candidate is higher than a predetermined reference value. If the reliability of the second damage point candidate is higher than the reference value, the process of the road condition detection device 101 moves to step S206, and if it is lower than the reference value, the process of the road condition detection device 101 regarding the second image ends.
  • step S206 the image processing unit 13 determines the second damage location candidate having a reliability higher than the reference value as the damage location, and records information on the damage location in the determination result storage unit 14. Thereafter, the processing regarding the second image by the road condition detection device 101 ends.
  • the road condition detection device 101 of this embodiment includes a first image input section, a second image input section, an image processing section, and a control section.
  • the first image input unit 11 acquires a first image that is a photographed image of the surroundings of the target vehicle by a first photographing device mounted on the target vehicle.
  • the second image input unit 12 acquires a second image that is a photographed image of a narrower photographing range than the first image around the target vehicle, taken by a second photographing device mounted on the target vehicle.
  • the image processing unit 13 analyzes the first image to estimate damage location candidates on the road included in the shooting range of the first image as the first damage location candidates, and also confirms the estimation of the first damage location candidates. Calculate the reliability that represents the authenticity.
  • the control unit 15 calculates the timing at which the first damage location candidate is included in the imaging range of the second imaging device as the imaging timing.
  • the image processing unit analyzes the second image taken at the shooting timing to estimate a road damage location candidate included in the shooting range of the second image as a second damage location candidate, and Reliability is calculated for the candidates, and first damage location candidates and second damage location candidates whose reliability exceeds a reference value are detected as damage locations.
  • control unit 15 calculated the imaging timing of the second imaging device 22, and the imaging device control unit 16 controlled the second imaging device 22 to perform imaging only at the imaging timing.
  • the second photographing device 22 is caused to constantly photograph, and the control unit 15 identifies at least one second image in which the first damage location candidate is photographed from among the plurality of second images photographed at all times,
  • the image processing unit 13 may be controlled to analyze only the specified second image.
  • the second image capturing device 22 captures the second image at both the capturing timing and the timing other than the capturing timing, and the image processing unit 13 performs image analysis on only the second image captured at the capturing timing, thereby detecting the second damage. Estimate location candidates.
  • a plurality of second imaging devices 22 may be used. Each second photographing device 22 is responsible for photographing different ranges in the width direction of the road.
  • the control unit 15 selects one second imaging device 22 capable of photographing the first damaged location candidate, depending on the position of the first damaged location candidate in the width direction of the road. Then, the photographing device control section 16 causes one second photographing device 22 selected by the control section 15 to perform photographing.
  • the photographing direction of the second photographing device 22 may be lower than the photographing direction of the first photographing device 21.
  • the second range that is the photographing range of the second photographing device 22 becomes narrower, but in the second image that is the photographed image of the second photographing device 22, the unit area of the road is The resolution of the hit will be higher.
  • FIG. 7 is a block diagram showing the configuration of road condition detection device 102 according to the second embodiment.
  • the road condition detection device 102 differs from the road condition detection device 101 according to the first embodiment in that the image processing section 13 includes a first image processing section 131 and a second image processing section 132.
  • the first image processing unit 131 analyzes the first image acquired from the first image input unit 11, and extracts damage location candidates and their reliability in the first image.
  • the analysis of the first image by the first image processing unit 131 is lightweight image processing.
  • Light-weight image processing is processing that can be completed in a time shorter than the imaging interval required for the first photographing device 21 to photograph the road seamlessly. Light-weight image processing is performed using an image processing algorithm with a light calculation processing load.
  • the second image processing unit 132 analyzes the second image obtained from the second image input unit 12, and extracts damage location candidates and their reliability in the second image.
  • the analysis of the second image by the second image processing unit 132 is weight image processing.
  • Heavy image processing is processing that can perform damage detection with higher accuracy than light image processing. To obtain this high accuracy, heavy image processing requires longer processing time than light image processing.
  • Weight image processing is executed by an image processing algorithm that has a heavier computational processing load than the image processing algorithm used for weight image processing.
  • the second image processing unit 132 operates only when the first image processing unit 131 determines that the reliability of the first damage location candidate is equal to or less than the reference value. As long as the time required for weight image processing is shorter than the time interval at which the first damage location candidate whose reliability is less than the reference value is extracted in the first image processing unit 131, the road condition detection device 102 detects the damage location in real time. can do.
  • the operational flow of the road condition detection device 102 is similar to the operational flow of the first embodiment shown in FIGS. 5 and 6.
  • FIG. 8 shows the imaging cycle of the first imaging device 21.
  • the first photographing device 21 In order for the first photographing device 21 to photograph the road seamlessly, it is necessary to photograph the road at a certain frequency. For example, if the target vehicle 50 travels at 80 km/h, that is, 22 m/s, and the effective photographing distance of the first photographing device 21 is 10 m, photographing at 2 fps is required. In this case, the imaging interval of the first imaging device 21 is 500 ms. If the time required for the light image processing by the first image processing unit 131 is 500 ms or less, the light image processing will be completed by the time the first image capturing device 21 takes the next image, and the load on the first image processing unit 131 will not increase.
  • FIG. 9 shows the imaging cycle in a comparative example in which the first imaging device 21 is installed facing downward.
  • the resolution of the road surface in the first image is improved, so it can be expected that the accuracy of detecting damaged locations will be improved.
  • the photographing range becomes narrower, it is necessary to shorten the photographing cycle.
  • the first photographing device 21 that photographs a wide range and the second photographing device 22 that photographs a narrow range downward are used together.
  • FIG. 10 shows a first photographing device 21 that photographs a wide range.
  • FIG. 11 shows a second photographing device 22 that photographs a narrow range downward.
  • the imaging cycle of the second imaging device 22 is shorter than the imaging cycle of the first imaging device 21.
  • the second image processing unit 132 buffers a plurality of second images taken by the second photographing device 22 during a certain period of time.
  • the control unit 15 detects a second image in which the damage location candidate 55 is photographed. specify. Then, the second image processing unit 132 performs weight image processing only on the second image designated by the control unit 15.
  • the weight image processing by the second image processing unit 132 is executed only when a damage location candidate 55 with low reliability is detected from the first image, so there is a long interval until the next processing. Therefore, the second image processing unit 132 can complete the weight image processing before starting the next processing.
  • the image processing algorithm used by the image processing unit 13 to analyze the second image has a heavier calculation load than the image processing algorithm used to analyze the first image. Therefore, according to the road condition detection device 102, the state of deterioration of the entire road can be detected using the first image, and an advanced road deterioration judgment that requires processing of several frames can be performed for areas where road deterioration is suspected. This improves the accuracy of road deterioration detection.
  • Embodiment 3 by outputting information on the first damage location candidate recognized by the image processing unit 13 to the outside of the road condition detection device, the second imaging device 22 can accurately photograph the first damage location candidate. Adjust the position of the target vehicle 50.
  • FIG. 12 is a block diagram showing the configuration of road condition detection device 103 according to the third embodiment.
  • the road condition detection device 103 is configured such that the control unit 15 can obtain information from the positioning device 23 and control the notification device 24, and is otherwise similar to the road condition detection device 101 according to the first embodiment. be.
  • the positioning device 23 measures the position of the target vehicle 50.
  • the positioning device 23 may detect the traveling direction and travel lane of the target vehicle 50.
  • the notification device 24 notifies the driver in response to instructions from the control unit 15.
  • Typical examples of notification methods include the following. (1) Notification by image on the display inside the vehicle interior of the target vehicle 50. (2) Audio notification from a speaker inside the vehicle interior of the target vehicle 50. (3) Notification by lighting or flashing of the warning light inside the meter.
  • FIG. 13 is a flowchart showing processing related to the first image by the road condition detection device 103. Steps S301 to S305 and S307 in the flow of FIG. 13 are the same as steps S101 to S105 and S107 of FIG. 5 described in Embodiment 1, so their explanation will be omitted.
  • the control unit 15 performs notification control in step S306. Specifically, the control unit 15 determines the first image based on the position of the damage location candidate included in the first image captured by the first imaging device 21, the lane in which the target vehicle is currently traveling, and the driving position of the target vehicle. 2. The driver is notified that the driver should change lanes and correct the driving position so that the photographing device 22 can accurately photograph the damaged location candidate.
  • FIG. 14 is a flowchart of notification control by the control unit 15. The notification control will be explained below along the flow shown in FIG.
  • step S401 the control unit 15 determines in which lane among the plurality of lanes included in the road the loss location candidate extracted from the first image by the image processing unit 13 is located. Note that this determination process may be performed by the image processing section 13 instead of the control section 15, and the determination result may be transmitted from the image processing section 13 to the control section 15.
  • step S402 the control unit 15 acquires the position information of the target vehicle from the positioning device 23, and determines the lane in which the target vehicle is traveling based on this position information. Note that this determination process may be performed by the positioning device 23 instead of the control unit 15, and the determination result may be transmitted from the positioning device 23 to the control unit 15.
  • step S403 the control unit 15 determines whether the loss location candidate is within the lane in the traveling direction of the target vehicle, based on the results of steps S401 and S402. If the loss location candidate is included in the lane in the traveling direction of the target vehicle, the process of the control unit 15 moves to step S404. If the loss point candidate is not included in the lane in the traveling direction of the target vehicle, such as in the oncoming lane or a side road running parallel to the road on which the target vehicle is traveling, the processing of the control unit 15 ends.
  • step S404 the control unit 15 determines whether the loss location candidate is within the travel lane of the target vehicle based on the results of step S401 and step S402. If the loss location candidate is within the travel lane of the target vehicle, the process of the control unit 15 moves to step S408. If the loss location candidate is not within the travel lane of the target vehicle, the process of the control unit 15 moves to step S405.
  • step S408 the road condition detection device 103 starts processing the second image.
  • the processing of the second image is as shown in FIG. 6, so a description thereof will be omitted.
  • step S405 the control unit 15 calculates the photographing time of the second photographing device 22. This process is similar to step S201 in FIG. 6, so the explanation will be omitted.
  • step S406 the control unit 15 determines whether the photographing time of the second photographing device 22 calculated in step S405 has passed. If the photographing time of the second photographing device 22 has passed, the control unit 15 ends the notification control. If the photographing time of the second photographing device 22 has not yet passed, the process of the control unit 15 proceeds to step S407.
  • step S407 the control unit 15 uses the notification device 24 to notify the driver of a lane change to a lane that includes the damaged location candidate.
  • the driver receives this notification and changes the lane of the target vehicle to the lane that includes the damage location candidate, the second photographing device 22 can more accurately photograph the damage location candidate.
  • step S404 the process of the control unit 15 returns to step S404, and it is determined again whether the damaged location candidate is included in the driving lane of the target vehicle.
  • control unit 15 may display the mark object on the HUD (Head Up Display) so as to overlap the damage location candidate. Further, the control unit 15 may display a display object on the HUD that allows the user to see the position of the lane in which the damaged location candidate exists or which lane to move to.
  • HUD Head Up Display
  • the notification device 24 may output a voice such as "Run on the right side of the lane” or “Move to the right lane.”
  • the control unit 15 causes the control unit 15 to include the first damage location in the imaging range of the second imaging device when the reliability of the first damage location candidate is equal to or less than a predetermined reference value.
  • the notification device 24 mounted on the target vehicle 50 is caused to issue a notification urging the driver to change the position of the target vehicle 50 in the width direction of the road so that the candidates are included.
  • FIG. 15 is a block diagram showing the configuration of a road condition detection device 103A according to a first modification of the third embodiment.
  • the control unit 15 is connected to a vehicle control device 25 instead of the notification device 24, and controls this.
  • the road condition detection device 103A is similar to the road condition detection device 103.
  • the vehicle control device 25 receives instructions from the control unit, controls the device on the target vehicle side, and corrects the lane change or driving position of the target vehicle.
  • Devices on the target vehicle include the steering wheel 26, the accelerator 27, the brake 28, and the like.
  • the road condition detection device 103 In the road condition detection device 103, it was necessary for the driver who received the notification to change the lane of the target vehicle or correct the driving position. In contrast, the road condition detection device 103A automatically changes lanes or corrects the traveling position of the target vehicle.
  • the control unit 15 controls the vehicle to change lanes or correct the traveling position of the target vehicle so that the target vehicle travels at a position where the damage location candidate detected from the first image can be photographed more accurately by the second imaging device. Instruct the device 25.
  • the control unit 15 causes the first damage location candidate to be included in the imaging range of the second imaging device 22 when the reliability of the first damage location candidate is less than or equal to a predetermined reference value.
  • the vehicle control device 25, which performs automatic driving control of the target vehicle 50 changes the position of the target vehicle 50 in the width direction of the road. Therefore, the position of the target vehicle 50 is adjusted so that the second photographing device 22 can easily photograph the first damage location candidate, so the photographing range of the second photographing device 22 can be narrowed. As a result, the resolution of the captured image of the first damage location candidate by the second imaging device 22 increases, and the damage location can be detected with high accuracy.
  • FIG. 16 is a block diagram showing the configuration of a road condition detection device 103B according to a second modification of the third embodiment.
  • the control unit 15 is connected to the second photographing device control device 29 instead of the notification device 24, and controls this.
  • the road condition detection device 103B is similar to the road condition detection device 103.
  • the second photographing device control device 29 adjusts at least one of the position or the photographing direction of the second photographing device 22 in response to instructions from the control unit 15.
  • the control unit 15 causes the image processing unit 13 to include the first damage location candidate in the imaging range of the second imaging device 22 when the reliability of the first damage location candidate extracted from the first image is below a reference value.
  • the position or photographing direction of the second photographing device 22 is determined, and the second photographing device control device 29 is instructed to do so.
  • Embodiment 4 In this embodiment, based on the estimation result of the first damage location candidate by the image processing unit 13, information regarding the first damage location candidate is transmitted to inspection vehicles other than the target vehicle.
  • FIG. 17 is a block diagram showing the configuration of road condition detection device 104 according to the fourth embodiment.
  • the control unit 15 is connected to the communication device 30, and other points are the same as the road condition detection device 101 according to the first embodiment.
  • the communication device 30 Based on instructions from the control unit 15, the communication device 30 transmits information regarding the first damage location candidate to the cloud server 31 via the communication network.
  • the information regarding the first damage location candidate transmitted to the cloud server 31 includes latitude and longitude information representing the position of the first damage location candidate, a route name that specifies the lane where the first damage location candidate is located, and the traveling direction (up or information on the downlink) or information on the damage type of the first damage location candidate.
  • the cloud server 31 transmits the information received from the communication device 30 via the communication network to other inspection vehicles 32, 33, and 34 other than the target vehicle.
  • the inspection vehicles 32, 33, and 34 are equipped with a road condition detection device 104, a first photographing device 21, a second photographing device 22, a positioning device 23, and a communication device 30, like the target vehicle.
  • the inspection vehicles 32, 33, and 34 photograph the first damage location candidate using the second photographing device 22 based on the information received from the cloud server 31.
  • FIG. 18 is a flowchart showing processing related to the first image by the road condition detection device 104. Steps S501 to S505 and S507 in FIG. 18 are the same as steps S101 to S105 and S107 in FIG. 5 described in Embodiment 1, so their explanation will be omitted here.
  • the road condition detection device 104 performs information transmission processing in step S506.
  • FIG. 19 is a detailed flowchart of the information transmission process in step S506 of FIG. 18. The information transmission process will be described below along the flow shown in FIG.
  • Steps S601 to S604 and S606 in FIG. 19 are similar to steps S401 to S404 and S408 in FIG. 14 described in the third embodiment.
  • step S603 If the damage point candidate is outside the lane in the traveling direction of the target vehicle (No in step S603), or if it is in the lane in the traveling direction of the target vehicle but not in the travel lane (No in step S604), the control unit 15 determines that the damaged location candidate is not suitable for imaging by the second imaging device 22, and proceeds to the process of step S605.
  • step S605 the control unit 15 transmits information about damage location candidates to the cloud server 31 via the communication device 30.
  • the cloud server 31 which has received the information on the damage location candidates from the communication device 30, transmits the information on the damage location candidates to inspection vehicles 32, 33, and 34 that have inspection equipment equivalent to that of the target vehicle.
  • the cloud server 31 manages the positions or states of the inspection vehicles 32, 33, and 34, determines the priority order of the inspection vehicle for photographing damage location candidates according to the position or state, and inspects information on the priority order. It may also be transmitted to vehicles 32, 33, and 34.
  • control unit 15 allows the second imaging device 22 to accurately photograph the first damage location candidate based on the position of the first damage location candidate, the current driving lane of the target vehicle, and the position. If it is determined that this is not possible, information on the first damage location candidate is transmitted to inspection vehicles 32, 33, and 34 that have similar inspection equipment.
  • the inspection vehicles 32, 33, and 34 photograph the first damage location candidate with the second photographing device 22 provided in their own vehicles
  • the photographed images are sent to the road condition detection device of the target vehicle 50 via the cloud server 31. 104.
  • the image processing unit 13 analyzes the captured images obtained from the inspection vehicles 32, 33, and 34, extracts road damage location candidates, identifies highly reliable damage location candidates as damaged locations, and The judgment result is stored in the judgment result storage section 14.
  • the inspection vehicles 32, 33, and 34 do not necessarily need to transmit the photographed images to the target vehicle 50.
  • the captured images may be analyzed by the image processing section, and highly reliable damage location candidates may be stored in the determination result storage section.
  • each inspection vehicle 32 , 33 , 34 may perform up to analysis of the captured image, and highly reliable damage location candidates may be stored in the cloud server 31 .
  • the control unit 15 assigns the first damage location to the inspection vehicle 32, 33, 34 equipped with the second imaging device 22 other than the target vehicle 50.
  • the candidate information is transmitted, and the second photographing device 22 mounted on the inspection vehicle 32, 33, 34 photographs the first damage point candidate. In this way, by leaving the photographing of the first damage location candidate that is difficult to photograph with the second photographing device 22 of the target vehicle 50 to the other inspection vehicles 32, 33, and 34, it is possible to prevent the damage location from being missed.
  • the unit 16 is realized by a processing circuit 81 shown in FIG. That is, the processing circuit 81 includes a first image input section 11, a second image input section 12, an image processing section 13, a determination result storage section 14, a control section 15, and an imaging device control section 16 (hereinafter referred to as the first image input section 11). etc.).
  • Dedicated hardware may be applied to the processing circuit 81, or a processor that executes a program stored in memory may be applied.
  • the processor is, for example, a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), or the like.
  • the processing circuit 81 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Circuit). Gate Array), or a combination of these.
  • the functions of each section such as the first image input section 11 may be realized by a plurality of processing circuits 81, or the functions of each section may be realized by a single processing circuit.
  • the processing circuit 81 When the processing circuit 81 is a processor, the functions of the first image input unit 11 and the like are realized by a combination of software and the like (software, firmware, or software and firmware). Software etc. are written as programs and stored in memory. As shown in FIG. 21, a processor 82 applied to a processing circuit 81 realizes the functions of each part by reading and executing a program stored in a memory 83. That is, when the road condition detection devices 101, 102, 103, 103A, 103B, and 104 are executed by the processing circuit 81, the functions of each section such as the first image input section 11 are executed as a result.
  • a memory 83 is provided for storing programs.
  • this program can be said to cause the computer to execute the procedure or method of the first image input section 11 and the like.
  • the memory 83 is a non-volatile or Volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disk) and its drive device, etc., or any storage media that will be used in the future. You can.
  • each function of the first image input unit 11 and the like is realized by either hardware or software.
  • the present invention is not limited to this, and a configuration may be adopted in which a part of the first image input section 11 and the like is realized by dedicated hardware, and another part is realized by software or the like.
  • the function of the image processing unit 13 is realized by a processing circuit as dedicated hardware, and the function of other parts is realized by the processing circuit 81 as the processor 82 reading and executing a program stored in the memory 83. It is possible to realize this.
  • the processing circuit can realize each of the above functions using hardware, software, etc., or a combination thereof.
  • the determination result storage unit 14 is composed of a memory 83.
  • First image input unit 12 Second image input unit, 13 Image processing unit, 14 Judgment result storage unit, 15 Control unit, 16 Imaging device control unit, 21 First imaging device, 22 Second imaging device, 23 Positioning device , 24 Notification device, 25 Vehicle control device, 26 Steering wheel, 27 Accelerator, 28 Brake, 29 Second imaging device control device, 30 Communication device, 31 Cloud server, 32 Inspection vehicle, 33 Inspection vehicle, 34 Inspection vehicle, 50 Target vehicle , 51 photographing area, 52 road photographing area, 53 photographing area, 54 road photographing area, 55 damage point candidate, 81 processing circuit, 82 processor, 83 memory, 101 road condition detection device, 102 road condition detection device, 103 road condition detection Device, 103A road condition detection device, 103B road condition detection device, 104 road condition detection device, 131 first image processing section, 132 second image processing section.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示は、道路の損傷箇所の撮り逃がしを抑制することを目的とする。道路状態検出装置（１０１）は、第１撮影装置（２１）により撮影された第１画像を画像解析することにより道路の損傷箇所候補を第１損傷箇所候補として推定すると共に、第１損傷箇所候補の信頼度を算出する画像処理部（１３）と、第１損傷箇所候補の信頼度が基準値以下の場合に、第１撮影装置（２１）より狭い第２撮影装置（２２）の撮影範囲に第１損傷箇所候補が含まれる撮影タイミングを算出する制御部（１５）と、を備える。画像処理部（１３）は、撮影タイミングで撮影された第２画像を画像解析することにより、第２画像の撮影範囲に含まれる道路の損傷箇所候補を第２損傷箇所候補として推定すると共に、第２損傷箇所候補について信頼度を算出し、信頼度が基準値を超える第１損傷箇所候補および第２損傷箇所候補を損傷箇所として検出する。

Description

道路状態検出装置および道路状態検出方法
　本開示は、道路状態の検出に関する。
　従来、人の目視により道路の劣化状況の確認が行われていた。しかし、最近、車両に搭載された撮影装置により撮影された動画から道路の損傷箇所を検出する技術が開発されている。
　特許文献１には、車両が路面の凹凸を通過した際の振動を検出し、車両に搭載されたリアカメラで振動検出位置を撮影することにより、道路の損傷箇所を自動で検出および撮影する技術が開示されている。
特開２０２０－０８６６６９号公報
　特許文献１に開示された技術では、例えば、車両にかかる衝撃を加速度センサで測定して路面の劣化を検出する。そのため、損傷箇所が道路の中央部にある場合には、車輪が損傷箇所を跨ぐために損傷箇所の検知ができず、損傷箇所の撮影ができないという問題があった。また、損傷箇所が道路の端にある場合にも、タイヤが損傷箇所を踏むことなく通過してしまうため、損傷箇所の検知および撮影ができないという問題があった。
　本開示の技術は、上記の問題点を解決するためのものであり、道路の損傷箇所の撮り逃がしを抑制することを目的とする。
　本開示の道路状態検出装置は、第１画像入力部、第２画像入力部、画像処理部、および制御部を備える。第１画像入力部は、対象車両に搭載された第１撮影装置による対象車両の周辺の撮影画像である第１画像を取得する。第２画像入力部は、対象車両に搭載された第２撮影装置による、対象車両の周辺の第１画像より狭い撮影範囲の撮影画像である第２画像を取得する。画像処理部は、第１画像を画像解析することにより、第１画像の撮影範囲に含まれる道路の損傷箇所候補を第１損傷箇所候補として推定すると共に、第１損傷箇所候補について推定の確からしさを表す信頼度を算出する。制御部は、第１損傷箇所候補の信頼度が予め定められた基準値以下の場合に、第２撮影装置の撮影範囲に第１損傷箇所候補が含まれるタイミングを撮影タイミングとして算出する。画像処理部は、撮影タイミングで撮影された第２画像を画像解析することにより、第２画像の撮影範囲に含まれる道路の損傷箇所候補を第２損傷箇所候補として推定すると共に、第２損傷箇所候補について信頼度を算出し、信頼度が基準値を超える第１損傷箇所候補および第２損傷箇所候補を損傷箇所として検出する。
　本開示の道路状態検出装置によれば、第１画像から推定した第１損傷箇所候補の信頼度が低い場合に、撮影範囲を絞った第２撮影装置により高解像度で第１損傷箇所候補を再び撮影することが出来るため、損傷箇所の撮り逃がしを抑制できる。本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態１に係る道路状態検出装置の構成を示すブロック図である。 実施の形態１における第１撮影装置および第２撮影装置の撮影範囲を示す図である。 実施の形態１における第１撮影装置の撮影画像を示す図である。 実施の形態１における第２撮影装置の撮影範囲を示す図である。 実施の形態１に係る道路状態検出装置による第１画像の解析処理に関するフローチャートである。 実施の形態１に係る道路状態検出装置による第２画像の解析処理に関するフローチャートである。 実施の形態２に係る道路状態検出装置の構成を示すブロック図である。 第１撮影装置の撮影周期を示す図である。 第１撮影装置を下向きに設置した比較例における撮影周期を示す図である。 広範囲を撮影する第１撮影装置を示す図である。 下向きで狭い範囲を撮影する第２撮影装置を示す図である。 実施の形態３に係る道路状態検出装置の構成を示すブロック図である。 実施の形態３に係る道路状態検出装置の第１画像に関する処理を示すフローチャートである。 制御部による報知制御のフローチャートである。 実施の形態３の変形例１に係る道路状態検出装置の構成を示すブロック図である。 実施の形態３の変形例２に係る道路状態検出装置の構成を示すブロック図である。 実施の形態４に係る道路状態検出装置の構成を示すブロック図である。 実施の形態４に係る道路状態検出装置の第１画像に関する処理を示すフローチャートである。 図１８のステップＳ５０６における情報送信処理の詳細なフローチャートである。 道路状態検出装置のハードウェア構成を示す図である。 道路状態検出装置のハードウェア構成を示す図である。
　＜Ａ．実施の形態１＞
　＜Ａ－１．構成＞
　図１は、実施の形態１に係る道路状態検出装置１０１の構成を示すブロック図である。道路状態検出装置１０１は、車両に搭載された第１撮影装置２１および第２撮影装置２２の撮影画像を解析することにより、車両の周辺の道路の劣化状況を検出する。
　道路状態検出装置１０１は、第１撮影装置２１および第２撮影装置２２と接続され、これらを利用可能に構成されている。
　第１撮影装置２１および第２撮影装置２２は、車両に搭載されたカメラである。以下、第１撮影装置２１および第２撮影装置２２が搭載された車両を対象車両と称する。
　図２は、第１撮影装置２１および第２撮影装置２２の撮影範囲を例示する図である。図２において、第１撮影装置２１は対象車両５０の進行方向を撮影するフロントカメラであり、例えば対象車両５０のフロントガラスに取付けられたドライブレコーダ型端末として構成される。第１撮影装置２１の撮影領域５１は対象車両５０の前方にあり、そのうち道路撮影領域５２が第１撮影装置２１により撮影される道路の範囲である。
　また、図２において、第２撮影装置２２は対象車両５０の進行方向とは反対側を撮影する。第２撮影装置２２は、例えば対象車両のリアガラスまたはリアバンパー付近に取付けられたリアカメラである。第２撮影装置２２の撮影領域５３は対象車両５０の後方にあり、そのうち道路撮影領域５４が第２撮影装置２２により撮影される道路の範囲である。第２撮影装置２２の撮影方向は対象車両５０の後方に限らず、前方であってもよい。しかし、第２撮影装置２２の撮影範囲は、第１撮影装置２１の撮影範囲よりも対象車両５０の進行方向における後ろ側である必要がある。
　図３は第１撮影装置２１による撮影画像を示し、図４は第２撮影装置２２による撮影範囲を示している。以下、第１撮影装置２１による撮影画像を第１画像とも称し、第２撮影装置２２による撮影画像を第２画像とも称する。第２撮影装置２２は第１撮影装置２１よりも狭い範囲を撮影する。
　道路状態検出装置１０１は、第１画像入力部１１、第２画像入力部１２、画像処理部１３、判断結果記憶部１４、制御部１５、および撮影装置制御部１６を備える。
　第１画像入力部１１は、第１撮影装置から第１画像を取得し、画像処理部１３に出力する。
　第２画像入力部１２は、第２撮影装置から第２画像を取得し、画像処理部１３に出力する。
　画像処理部１３は、第１画像入力部１１から第１画像を取得し、第１画像を解析することにより、第１画像の撮影範囲に含まれる道路の損傷箇所候補を検出すると共に、その検出の確からしさを表す信頼度を算出する。また、画像処理部１３は、第２画像入力部１２から第２画像を取得し、第２画像を解析することにより、第２画像の撮影範囲に含まれる道路の損傷箇所候補を検出すると共に、その検出の確からしさを表す信頼度を算出する。以下、第１画像から抽出された損傷箇所候補を第１損傷箇所候補とも称し、第２画像から抽出された損傷箇所候補を第２損傷箇所候補とも称する。画像処理部１３は、信頼度の高い第１損傷箇所候補および第２損傷箇所候補を損傷箇所と判断し、損傷箇所の情報を判断結果記憶部１４に格納する。
　判断結果記憶部１４には、画像処理部１３が検出した損傷箇所の情報が記憶される。損傷箇所の情報は、例えば損傷箇所の位置、損傷箇所の画像、損傷箇所がある車線の番号、または損傷箇所の種類を含む。
　制御部１５は、第１損傷箇所候補の信頼度が低い場合に、第２撮影装置２２により第１損傷箇所候補を再び撮影することを試みる。そのため、制御部１５は、第２撮影装置の撮影範囲に第１損傷箇所候補が含まれるタイミングを算出する。以下、第２撮影装置の撮影範囲に第１損傷箇所候補が含まれるタイミングを撮影タイミングと称する。撮影タイミングは、第１撮影装置２１による撮影後の対象車両の速度の増減を考慮し、ある程度の時間的な幅を有する期間として算出される。
　撮影装置制御部１６は、制御部１５が算出した撮影タイミングに第２撮影装置２２が撮影を行うよう、第２撮影装置２２を制御する。
　＜Ａ－２．動作＞
　図５は、道路状態検出装置１０１による第１画像の処理に関するフローチャートである。以下、図５のフローに沿って第１画像の処理を説明する。
　まず、ステップＳ１０１において、第１撮影装置２１が第１領域の撮影を行う。第１撮影装置２１は、第１撮影装置２１へ電源が投入されると自動的に起動し、撮影を開始する。あるいは、第１撮影装置２１に設けられた録画開始ボタンをユーザが押下することにより、第１撮影装置は撮影を開始する。第１撮影装置２１は、撮影停止の指示を受けるまでは撮影を中断せず、一定周期で第１画像の撮影を続ける。
　次に、ステップＳ１０２において、画像処理部１３が第１撮影装置２１の撮影画像である第１画像を解析し、第１画像に映った道路が損傷箇所を含むか否かを推定する。例えば、画像処理部１３は人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）による画像解析により、損傷箇所を推定することができる。ＡＩの機械学習方法には、「教師あり学習」、「教師なし学習」、「強化学習」があるが、本実施の形態では任意の機械学習方法が用いられる。
　道路の損傷箇所の代表例として、線状ひび割れ、亀甲ひび割れ、白線擦れ、横断歩道擦れ、ポットホールなどが挙げられる。
　画像処理部１３は、第１画像内に道路の損傷が存在するかを推定し、損傷があればその位置と、推定の確からしさを表す信頼度とを算出する。信頼度は、その値が高いほど推定結果が正解である可能性が高いとみなせる値である。以下、画像処理部１３が第１画像から推定した損傷箇所を第１損傷箇所候補と称する。
　その後、ステップＳ１０３において、画像処理部１３は、ステップＳ１０２の推定結果に基づき、第１画像が第１損傷箇所候補を含むか否かを判断する。第１画像が第１損傷箇所候補を含む場合、道路状態検出装置１０１の処理はステップＳ１０４に移行する。第１画像が第１損傷箇所候補を含まない場合、道路状態検出装置１０１の処理はステップＳ１０７に移行する。ステップＳ１０７において、道路状態検出装置１０１は第１撮影装置２１の撮影を停止するか否かを判断する。例えば、道路状態検出装置１０１は、図示しない操作入力部などから撮影停止の指示入力を受けた場合に、撮影を停止すると判断する。道路状態検出装置１０１はステップＳ１０７において、撮影を停止しないと判断すればステップＳ１０１の処理に戻り、撮影を停止すると判断すれば処理を終了する。
　ステップＳ１０４において画像処理部１３は、第１損傷箇所候補の信頼度が予め定められた基準値より高いか否かを判断する。第１損傷箇所候補の信頼度が基準値より高い場合、道路状態検出装置１０１の処理はステップＳ１０５に移行し、基準値より低い場合、道路状態検出装置１０１の処理はステップＳ１０６に移行する。
　ステップＳ１０５において、画像処理部１３は、基準値より高い信頼度を有する第１損傷箇所候補を損傷箇所と決定し、損傷箇所の情報を判断結果記憶部１４に記録する。ステップＳ１０５の後、道路状態検出装置１０１の処理はステップＳ１０７に移行する。
　ステップＳ１０６において、道路状態検出装置１０１は第２画像に関する処理を開始する。ステップＳ１０６の後、道路状態検出装置１０１の処理はステップＳ１０７に移行する。図６は、道路状態検出装置１０１による第２画像に関する処理のフローチャートである。以下、図６のフローに沿って第２画像に関する処理を説明する。
　ステップＳ２０１において、制御部１５は、第２撮影装置２２の撮影タイミングを算出する。
　本ステップは、第１損傷箇所候補の信頼度が基準値以下（図５のステップＳ１０４でＮｏ）の場合に処理される。具体的には、制御部１５は、対象車両が進行方向に走行している場合、（１）予め計測済みの第１撮影装置２１および第２撮影装置２２の距離と、（２）対象車両から損傷箇所候補までの距離と、（３）対象車両の直近の平均速度とに基づき、損傷箇所候補が第２撮影装置２２の撮影範囲に含まれると予想されるタイミングを第２撮影装置２２の撮影タイミングとして算出する。制御部１５は、第１撮影装置２１による撮影後の対象車両の速度の増減を考慮し、ある程度の時間的な幅を持った撮影期間として第２撮影装置２２の撮影タイミングを算出する。
　ステップＳ２０１の後、ステップＳ２０２において、第２撮影装置２２が撮影を開始する。具体的には、制御部１５がステップＳ２０１で算出した撮影タイミングを撮影装置制御部１６に出力する。そして、撮影装置制御部１６は、制御部１５が算出した撮影タイミングに撮影を行うように第２撮影装置２２を制御する。第２撮影装置２２は、撮影タイミングの開始時刻に撮影を開始し、撮影タイミングの終了時刻に撮影を終了する。いいかえれば、制御部１５は、ステップＳ２０１で算出した撮影タイミングにのみ第２画像を撮影するよう、第２撮影装置を制御する。
　ステップＳ２０２の後、ステップＳ２０３において、画像処理部１３は第２撮影装置２２で撮影された第２画像を解析し、第２画像に映った道路が損傷箇所候補を含むか否かを推定する。本ステップにおける推定方法は、ステップＳ１０２で説明した第１画像における推定方法と同様であるため、詳細な説明は省略する。画像処理部１３は、第２画像内の損傷箇所候補を推定し、さらに損傷箇所候補の位置と信頼度とを算出する。第２画像から推定される推奨箇所候補を第２推奨箇所候補と称する。
　ステップＳ２０３の後、ステップＳ２０４において、画像処理部１３は、ステップＳ２０３の推定結果に基づき、第２画像に第２損傷箇所候補が含まれるか否かを判定する。第２画像に第２損傷箇所候補が含まれる場合、道路状態検出装置１０１の処理はステップＳ２０５に移行し、含まれない場合、道路状態検出装置１０１の第２画像に関する処理は終了する。
　ステップＳ２０５において、画像処理部１３は、第２損傷箇所候補の信頼度が予め定められた基準値より高いか否かを判断する。第２損傷箇所候補の信頼度が基準値より高ければ、道路状態検出装置１０１の処理はステップＳ２０６に移行し、基準値より低ければ、道路状態検出装置１０１の第２画像に関する処理は終了する。
　ステップＳ２０６において、画像処理部１３は基準値より高い信頼度を有する第２損傷箇所候補を損傷箇所と決定し、その損傷箇所の情報を判断結果記憶部１４に記録する。その後、道路状態検出装置１０１の第２画像に関する処理は終了する。
　＜Ａ－３．効果＞
　本実施の形態の道路状態検出装置１０１は、第１画像入力部、第２画像入力部、画像処理部および制御部を備える。第１画像入力部１１は、対象車両に搭載された第１撮影装置による対象車両の周辺の撮影画像である第１画像を取得する。第２画像入力部１２は、対象車両に搭載された第２撮影装置による、対象車両の周辺の第１画像より狭い撮影範囲の撮影画像である第２画像を取得する。画像処理部１３は、第１画像を画像解析することにより、第１画像の撮影範囲に含まれる道路の損傷箇所候補を第１損傷箇所候補として推定すると共に、第１損傷箇所候補について推定の確からしさを表す信頼度を算出する。制御部１５は、第１損傷箇所候補の信頼度が予め定められた基準値以下の場合に、第２撮影装置の撮影範囲に第１損傷箇所候補が含まれるタイミングを撮影タイミングとして算出する。画像処理部は、撮影タイミングで撮影された第２画像を画像解析することにより、第２画像の撮影範囲に含まれる道路の損傷箇所候補を第２損傷箇所候補として推定すると共に、第２損傷箇所候補について信頼度を算出し、信頼度が基準値を超える第１損傷箇所候補および第２損傷箇所候補を損傷箇所として検出する。以上の構成により、道路状態検出装置１０１によれば、第１撮影装置２１が損傷箇所を上手く撮影できない場合でも、撮影範囲を絞った第２撮影装置により損傷箇所を撮影し、検出することができる。これにより、損傷箇所の位置または対象車両の形状に関わらず、損傷箇所の撮り逃がしが抑制され、損傷箇所の点検業務の自動化が可能となる。
　＜Ａ－４．変形例１＞
　実施の形態１では、制御部１５が第２撮影装置２２の撮影タイミングを算出し、撮影装置制御部１６が当該撮影タイミングにのみ撮影を行うよう第２撮影装置２２を制御した。しかし、第２撮影装置２２に常時撮影を行わせ、制御部１５は常時撮影された複数の第２画像の中から、第１損傷箇所候補が撮影された少なくとも１つの第２画像を特定し、当該特定した第２画像のみを解析するよう画像処理部１３を制御してもよい。
　すなわち、第２撮影装置２２は撮影タイミングと撮影タイミング以外の両方で第２画像を撮影し、画像処理部１３は、撮影タイミングに撮影された第２画像のみを画像解析することにより、第２損傷箇所候補を推定する。
　＜Ａ－５．変形例２＞
　１台の第２撮影装置２２の撮影範囲では道路の幅方向の全体をカバーできない場合、複数台の第２撮影装置２２が用いられてもよい。各第２撮影装置２２は、道路の幅方向の異なる範囲の撮影を担当する。この場合、制御部１５は第１損傷箇所候補の道路の幅方向における位置に応じて、第１損傷箇所候補を撮影可能な１台の第２撮影装置２２を選択する。そして、撮影装置制御部１６は、制御部１５が選択した１台の第２撮影装置２２に撮影を行わせる。
　＜Ａ－６．変形例３＞
　第２撮影装置２２の撮影方向は第１撮影装置２１の撮影方向より下向きであってもよい。第２撮影装置２２が下向きに設置されると、第２撮影装置２２の撮影範囲である第２範囲は狭くなるが、第２撮影装置２２の撮影画像である第２画像において、道路の単位面積当たりの解像度が高くなる。
　さらに、第２撮影装置２２の撮影方向が路面に対して垂直な方向に近づくほど、道路の損傷の状態をより正確に捉えることができる。その結果、画像処理部１３における画像解析結果の正解率が高まる。
　＜Ｂ．実施の形態２＞
　＜Ｂ－１．構成＞
　図７は、実施の形態２に係る道路状態検出装置１０２の構成を示すブロック図である。道路状態検出装置１０２は、画像処理部１３が第１画像処理部１３１および第２画像処理部１３２を備える点で、実施の形態１に係る道路状態検出装置１０１と異なる。
　第１画像処理部１３１は、第１画像入力部１１から取得した第１画像の解析を行い、第１画像中の損傷箇所候補とその信頼度を抽出する。第１画像処理部１３１による第１画像の解析は、軽量画像処理である。軽量画像処理とは、第１撮影装置２１が道路を切れ目なく撮影するのに必要な撮像間隔以下の時間で処理を終えることができる規模の処理である。軽量画像処理は、演算処理負荷の軽い画像処理アルゴリズムにより実行される。
　第２画像処理部１３２は、第２画像入力部１２から取得した第２画像の解析を行い、第２画像中の損傷箇所候補とその信頼度を抽出する。第２画像処理部１３２による第２画像の解析は、重量画像処理である。重量画像処理とは、軽量画像処理よりも高い精度の損傷検知を行うことができる処理である。この高い精度を得るために、重量画像処理は軽量画像処理よりも長い処理時間を要する。重量画像処理は、計量画像処理に用いられる画像処理アルゴリズムよりも演算処理負荷の重い画像処理アルゴリズムにより実行される。
　第２画像処理部１３２は、第１画像処理部１３１が第１損傷箇所候補の信頼度が基準値以下の場合にのみ動作する。第１画像処理部１３１において信頼度が基準値以下の第１損傷箇所候補が抽出される時間間隔よりも、重量画像処理に要する時間が短い限り、道路状態検出装置１０２はリアルタイムに損傷箇所を検知することができる。
　＜Ｂ－２．動作＞
　道路状態検出装置１０２の動作フローは図５および図６に示した実施の形態１の動作フローと同様である。
　図８は、第１撮影装置２１の撮影周期を示している。第１撮影装置２１が道路を切れ目なく撮影するためには、一定の頻度で撮影する必要がある。例えば、対象車両５０が時速８０ｋｍ、すなわち秒速２２ｍで走行し、第１撮影装置２１の有効な撮影距離を１０ｍとすると、２ｆｐｓでの撮影が必要である。この場合、第１撮影装置２１の撮影間隔は５００ｍｓである。第１画像処理部１３１の軽量画像処理に要する時間が５００ｍｓ以下であれば、第１撮影装置２１の次回撮影までに軽量画像処理が完了し、第１画像処理部１３１の負荷は増加しない。
　図９は、第１撮影装置２１を下向きに設置した比較例における撮影周期を示している。第１撮影装置２１を下向きに設置すると、第１画像における路面の解像度が向上するため、損傷箇所の検出精度の向上が期待できる。しかし、撮影範囲が狭くなるため、撮影周期を短くする必要がある。撮影周期内に第１画像処理部１３１の軽量画像処理を終わらせるには、第１画像処理部１３１の処理速度を上げる必要があり負荷が増加してしまう。
　そこで、本実施の形態では、広範囲を撮影する第１撮影装置２１と、下向きで狭い範囲を撮影する第２撮影装置２２とを併用する。
　図１０は、広範囲を撮影する第１撮影装置２１を示している。図１１は、下向きで狭い範囲を撮影する第２撮影装置２２を示している。第２撮影装置２２の撮影周期は第１撮影装置２１の撮影周期より短い。第２画像処理部１３２は、第２撮影装置２２が一定期間に撮影した複数枚の第２画像をバッファリングする。第１画像処理部１３１が、第１撮影装置２１が撮影した第１画像から信頼度の低い損傷箇所候補５５を検出すると、制御部１５は当該損傷箇所候補５５が撮影されている第２画像を指定する。そして、第２画像処理部１３２は、制御部１５に指定された第２画像のみに対して重量画像処理を実行する。第２画像処理部１３２の重量画像処理は、第１画像から信頼度の低い損傷箇所候補５５を検出された場合にのみ実行されるため、次回の処理までの間隔は長い。従って、第２画像処理部１３２は、次回の処理開始までに重量画像処理を完了することが可能である。
　＜Ｂ－３．効果＞
　実施の形態２の道路状態検出装置１０２において、画像処理部１３が第２画像の画像解析に用いる画像処理アルゴリズムは、第１画像の画像解析に用いる画像処理アルゴリズムよりも演算負荷が重い。従って、道路状態検出装置１０２によれば、第１画像により道路全体の劣化状況を検出すると共に、道路劣化が疑わしいエリアに対しては数フレームの処理を必要とする高度な道路劣化判断を実行できるようになり、道路劣化検出の精度が向上する。
　＜Ｃ．実施の形態３＞
　本実施の形態では、画像処理部１３が認識した第１損傷箇所候補の情報を道路状態検出装置の外部に出力することにより、第１損傷箇所候補を第２撮影装置２２が正確に撮影できるよう対象車両５０の位置を調整する。
　＜Ｃ－１．構成＞
　図１２は、実施の形態３に係る道路状態検出装置１０３の構成を示すブロック図である。道路状態検出装置１０３は、制御部１５が測位装置２３の情報を入手し報知装置２４を制御可能に構成されており、その他の点で、実施の形態１に係る道路状態検出装置１０１と同様である。
　測位装置２３は、対象車両５０の位置を測定する。測位装置２３は、対象車両５０の進行方向および走行車線を検出してもよい。
　報知装置２４は、制御部１５の指示を受けて運転手に報知を行う。報知方法の代表例としては以下が挙げられる。（１）対象車両５０の車室内のディスプレイによる画像による報知。（２）対象車両５０の車室内のスピーカーによる音声による報知。（３）メーター内部の警告灯の点灯または点滅による報知。
　＜Ｃ－２．動作＞
　図１３は、道路状態検出装置１０３の第１画像に関する処理を示すフローチャートである。図１３のフローのうちステップＳ３０１からステップＳ３０５およびステップＳ３０７は、実施の形態１で説明した図５のステップＳ１０１からステップＳ１０５およびステップＳ１０７と同様であるため、説明を省略する。
　画像処理部１３が第１画像から抽出した損傷箇所候補の信頼度が基準値以下である場合（ステップＳ３０４でＮｏ）、制御部１５はステップＳ３０６で報知制御を行う。具体的には、制御部１５は、第１撮影装置２１による第１画像内に含まれる損傷箇所候補の位置と、対象車両が現在走行中の車線と、対象車両の走行位置とに基づき、第２撮影装置２２が損傷箇所候補を正確に撮影できるよう、運転手に車線変更および走行位置を補正すべき旨を報知する。
　図１４は、制御部１５による報知制御のフローチャートである。以下、図１４のフローに沿って報知制御を説明する。
　まず、ステップＳ４０１において、制御部１５は、画像処理部１３が第１画像から抽出した損失箇所候補が、道路に含まれる複数の車線のうちどの車線に位置するかを判定する。なお、この判定処理は制御部１５ではなく画像処理部１３が行い、画像処理部１３から制御部１５に判定結果が伝えられてもよい。
　次に、ステップＳ４０２において、制御部１５は、測位装置２３から対象車両の位置情報を取得し、この位置情報に基づき対象車両の走行中の車線を判定する。なお、この判定処理は制御部１５ではなく測位装置２３が行い、測位装置２３から制御部１５に判定結果が伝えられてもよい。
　その後、ステップＳ４０３において、制御部１５は、ステップＳ４０１とステップＳ４０２の結果に基づき、損失箇所候補が対象車両の進行方向の車線内にあるか否かを判断する。損失箇所候補が対象車両の進行方向の車線内に含まれる場合、制御部１５の処理はステップＳ４０４に移行する。損失箇所候補が対向車線または対象車両の走行道路と並走する側道にある場合など、対象車両の進行方向の車線内に含まれない場合、制御部１５の処理は終了する。
　ステップＳ４０４において、制御部１５は、ステップＳ４０１とステップＳ４０２の結果に基づき、損失箇所候補が対象車両の走行車線内にあるか否かを判断する。損失箇所候補が対象車両の走行車線内にある場合、制御部１５の処理はステップＳ４０８に移行する。損失箇所候補が対象車両の走行車線内にない場合、制御部１５の処理はステップＳ４０５に移行する。
　ステップＳ４０８において、道路状態検出装置１０３は第２画像の処理を開始する。第２画像の処理は、図６に示した通りであるため、説明を省略する。
　ステップＳ４０５において、制御部１５は、第２撮影装置２２の撮影時刻を算出する。この処理は、図６のステップＳ２０１と同様であるため、説明を省略する。
　ステップＳ４０５の後、ステップＳ４０６において、制御部１５は、ステップＳ４０５で算出した第２撮影装置２２の撮影時刻を過ぎているか否かを判断する。第２撮影装置２２の撮影時刻を過ぎている場合、制御部１５は報知制御を終了する。第２撮影装置２２の撮影時刻を過ぎていない場合、制御部１５の処理はステップＳ４０７へ進む。
　ステップＳ４０７において、制御部１５は、報知装置２４により、損傷箇所候補を含む車線への車線変更を運転者に報知する。運転者がこの報知を受けて損傷箇所候補を含む車線へ対象車両の車線変更を行うことにより、第２撮影装置２２は損傷箇所候補をより正確に撮影することができる。
　その後、制御部１５の処理はステップＳ４０４へ戻り、損傷箇所候補が対象車両の走行車線に含まれるか、再度判定を行う。
　ステップＳ４０７の報知において、制御部１５は、ＨＵＤ（Head Up Display）において損傷箇所候補と重畳するようにマークオブジェクトを表示させてもよい。また、制御部１５は、ＨＵＤにおいて損傷箇所候補が存在する車線の位置、またはどの車線に移動すればよいかが分かるような表示オブジェクトを表示させてもよい。
　音声報知の場合、報知装置２４は、「車線内の右の位置を走行」、または「右車線に移動」などの音声を出力してもよい。
　＜Ｃ－３．効果＞
　実施の形態３に係る道路状態検出装置１０４において、制御部１５は、第１損傷箇所候補の信頼度が予め定められた基準値以下の場合に、第２撮影装置の撮影範囲に第１損傷箇所候補が含まれるよう、運転者に対して対象車両５０の道路の幅方向における位置の変更を促す報知を、対象車両５０に搭載された報知装置２４に行わせる。これにより、対象車両が車線変更することによって、第２撮影装置２２の撮影範囲を狭くし、高解像度に損傷箇所候補を撮影し、精度よく損傷箇所を検出することができる。
　＜Ｃ－４．変形例１＞
　図１５は、実施の形態３の変形例１の道路状態検出装置１０３Ａの構成を示すブロック図である。道路状態検出装置１０３Ａでは、制御部１５が報知装置２４に代えて車両制御装置２５と接続され、これを制御する。その他の点で、道路状態検出装置１０３Ａは道路状態検出装置１０３と同様である。
　車両制御装置２５は、制御部からの指示を受けて対象車両側のデバイスを制御し、対象車両の車線変更または走行位置を補正する。対象車両側のデバイスには、ハンドル２６、アクセル２７またはブレーキ２８などが挙げられる。
　道路状態検出装置１０３では、報知を受けた運転者自身が対象車両の車線変更または走行位置の補正を行う必要があった。これに対して道路状態検出装置１０３Ａでは、対象車両の車線変更または走行位置の補正が自動で行われる。制御部１５は、第１画像から検出された損傷箇所候補をより正確に第２撮影装置で撮影できるような位置を対象車両が走行するよう、対象車両の車線変更または走行位置の補正を車両制御装置２５に指示する。
　道路状態検出装置１０３Ａにおいて、制御部１５は、第１損傷箇所候補の信頼度が予め定められた基準値以下の場合に、第２撮影装置２２の撮影範囲に第１損傷箇所候補が含まれるよう、対象車両５０の道路の幅方向における位置の変更を、対象車両５０の自動運転制御を行う車両制御装置２５に行わせる。従って、第２撮影装置２２が第１損傷箇所候補を撮影しやすくなるように対象車両５０の位置が調整されるため、第２撮影装置２２の撮影範囲を狭くすることができる。その結果、第２撮影装置２２による第１損傷箇所候補の撮影画像の解像度が高まり、精度よく損傷箇所を検出することができる。
　＜Ｃ－５．変形例２＞
　図１６は、実施の形態３の変形例２の道路状態検出装置１０３Ｂの構成を示すブロック図である。道路状態検出装置１０３Ｂでは、制御部１５が報知装置２４に代えて第２撮影装置制御装置２９と接続され、これを制御する。その他の点で、道路状態検出装置１０３Ｂは道路状態検出装置１０３と同様である。
　第２撮影装置制御装置２９は、制御部１５からの指示を受けて第２撮影装置２２の位置または撮影方向の少なくとも一方を調整する。
　制御部１５は、画像処理部１３が第１画像から抽出された第１損傷箇所候補の信頼度が基準値以下の場合に、第２撮影装置２２の撮影範囲に第１損傷箇所候補が含まれるよう、第２撮影装置２２の位置または撮影方向を決定し、第２撮影装置制御装置２９に指示する。
　＜Ｄ．実施の形態４＞
　本実施の形態では、画像処理部１３による第１損傷箇所候補の推定結果に基づき、対象車両以外の点検車両に第１損傷箇所候補に関する情報を送信する。
　＜Ｄ－１．構成＞
　図１７は、実施の形態４に係る道路状態検出装置１０４の構成を示すブロック図である。道路状態検出装置１０４では、制御部１５が通信装置３０と接続されており、その他の点は実施の形態１に係る道路状態検出装置１０１と同様である。
　通信装置３０は、制御部１５からの指示に基づき、通信網を介してクラウドサーバー３１に第１損傷箇所候補に関する情報を送信する。ここでクラウドサーバー３１に送信される第１損傷箇所候補に関する情報は、第１損傷箇所候補の位置を表す緯度経度情報、第１損傷箇所候補がある車線を特定する路線名称および進行方向（上りまたは下り）の情報、または第１損傷箇所候補の損傷種類の情報を含む。
　クラウドサーバー３１は、通信装置３０から通信網を介して受け取った情報を、対象車両以外の他の点検車両３２，３３，３４に送信する。
　点検車両３２，３３，３４は、対象車両と同様に道路状態検出装置１０４、第１撮影装置２１、第２撮影装置２２、測位装置２３および通信装置３０を備えている。点検車両３２，３３，３４は、クラウドサーバー３１から受信した情報に基づき、第１損傷箇所候補を第２撮影装置２２で撮影する。
　＜Ｄ－２．動作＞
　図１８は、道路状態検出装置１０４の第１画像に関する処理を示すフローチャートである。図１８のステップＳ５０１からステップＳ５０５およびステップＳ５０７は、実施の形態１で説明した図５のステップＳ１０１からステップＳ１０５およびステップＳ１０７と同様であるため、ここでは説明を省略する。
　道路状態検出装置１０４は、画像処理部１３が第１画像から抽出した損傷箇所候補の信頼度が基準値以下である場合に（ステップＳ５０４でＮｏ）、ステップＳ５０６で情報送信処理を行う。
　図１９は、図１８のステップＳ５０６における情報送信処理の詳細なフローチャートである。以下、図１９のフローに沿って情報送信処理を説明する。
　図１９のステップＳ６０１からステップＳ６０４およびステップＳ６０６は、実施の形態３で説明した図１４のステップＳ４０１からステップＳ４０４およびステップＳ４０８と同様である。
　損傷箇所候補が対象車両の進行方向の車線外にある場合（ステップＳ６０３でＮｏ）と、対象車両の進行方向の車線内にあるが走行車線にはない場合（ステップＳ６０４でＮｏ）、制御部１５は、損傷箇所候補が第２撮影装置２２による撮影に適していないと判断し、ステップＳ６０５の処理に進む。
　ステップＳ６０５において制御部１５は、通信装置３０を介してクラウドサーバー３１へ損傷箇所候補の情報を送信する。通信装置３０から損傷箇所候補の情報を受信したクラウドサーバー３１は、対象車両と同等の点検設備を有する点検車両３２，３３，３４に、損傷箇所候補の情報を送信する。クラウドサーバー３１は、点検車両３２，３３，３４の位置または状態を管理し、当該位置または状態に応じて損傷箇所候補の撮影を行う点検車両の優先順位を決定し、当該優先順位の情報を点検車両３２，３３，３４に送信してもよい。
　このように、本実施の形態では、制御部１５は、第１損傷箇所候補の位置、対象車両の現在の走行車線、および位置から、第２撮影装置２２で第１損傷箇所候補を正確に撮影できないと判断した場合には、同様の点検設備を有する点検車両３２，３３，３４へ第１損傷箇所候補の情報を送信する。
　点検車両３２，３３，３４は、自身の車両に備えられた第２撮影装置２２で第１損傷箇所候補を撮影すると、その撮影画像を、クラウドサーバー３１を介して対象車両５０の道路状態検出装置１０４に送信する。対象車両５０において、画像処理部１３は点検車両３２，３３，３４から取得した撮影画像を解析して、道路の損傷箇所候補を抽出し、信頼度の高い損傷箇所候補を損傷箇所と識別して判断結果記憶部１４に格納する。なお、点検車両３２，３３，３４は撮影画像を必ずしも対象車両５０に送信する必要はない。各点検車両３２，３３，３４において、画像処理部により撮影画像が解析され、信頼度の高い損傷箇所候補が判断結果記憶部に格納されてもよい。また、各点検車両３２，３３，３４では撮影画像の解析までが行われ、信頼度の高い損傷箇所候補はクラウドサーバー３１に格納されてもよい。
　＜Ｄ－３．効果＞
　制御部１５は、第１損傷箇所候補の信頼度が予め定められた基準値以下の場合に、対象車両５０以外の第２撮影装置２２を搭載する点検車両３２，３３，３４に第１損傷箇所候補の情報を送信し、点検車両３２，３３，３４に搭載された第２撮影装置２２が第１損傷箇所候補を撮影する。このように、対象車両５０の第２撮影装置２２で撮影が困難な第１損傷箇所候補の撮影を他の点検車両３２，３３，３４に任せることにより、損傷箇所の撮り逃がしが抑制される。
　＜Ｅ.ハードウェア構成＞
　上述した道路状態検出装置１０１，１０２，１０３，１０３Ａ，１０３Ｂ，１０４における第１画像入力部１１、第２画像入力部１２、画像処理部１３、判断結果記憶部１４、制御部１５および撮影装置制御部１６は、図２０に示す処理回路８１により実現される。すなわち、処理回路８１は、第１画像入力部１１、第２画像入力部１２、画像処理部１３、判断結果記憶部１４、制御部１５および撮影装置制御部１６（以下、第１画像入力部１１等と称する）を備える。処理回路８１には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。
　処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものが該当する。第１画像入力部１１等の各部の機能それぞれは、複数の処理回路８１で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
　処理回路８１がプロセッサである場合、第１画像入力部１１等の機能は、ソフトウェア等（ソフトウェア、ファームウェアまたはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図２１に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、道路状態検出装置１０１，１０２，１０３，１０３Ａ，１０３Ｂ，１０４は、処理回路８１により実行されるときに、第１画像入力部１１等の各部の機能が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、第１画像入力部１１等の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disk）及びそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
　以上、第１画像入力部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、第１画像入力部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば画像処理部１３については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　以上のように、処理回路は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。なお、判断結果記憶部１４はメモリ８３から構成される。
　なお、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。上記の説明は、すべての態様において、例示である。例示されていない無数の変形例が想定され得るものと解される。
　１１　第１画像入力部、１２　第２画像入力部、１３　画像処理部、１４　判断結果記憶部、１５　制御部、１６　撮影装置制御部、２１　第１撮影装置、２２　第２撮影装置、２３　測位装置、２４　報知装置、２５　車両制御装置、２６　ハンドル、２７　アクセル、２８　ブレーキ、２９　第２撮影装置制御装置、３０　通信装置、３１　クラウドサーバー、３２　点検車両、３３　点検車両、３４　点検車両、５０　対象車両、５１　撮影領域、５２　道路撮影領域、５３　撮影領域、５４　道路撮影領域、５５　損傷箇所候補、８１　処理回路、８２　プロセッサ、８３　メモリ、１０１　道路状態検出装置、１０２　道路状態検出装置、１０３　道路状態検出装置、１０３Ａ　道路状態検出装置、１０３Ｂ　道路状態検出装置、１０４　道路状態検出装置、１３１　第１画像処理部、１３２　第２画像処理部。

Claims (11)

  1. 　対象車両に搭載された第１撮影装置による前記対象車両の周辺の撮影画像である第１画像を取得する第１画像入力部と、
    　前記対象車両に搭載された第２撮影装置による、前記対象車両の周辺の前記第１画像より狭い撮影範囲の撮影画像である第２画像を取得する第２画像入力部と、
    　前記第１画像を画像解析することにより、前記第１画像の撮影範囲に含まれる道路の損傷箇所候補を第１損傷箇所候補として推定すると共に、前記第１損傷箇所候補について推定の確からしさを表す信頼度を算出する画像処理部と、
    　前記第１損傷箇所候補の前記信頼度が予め定められた基準値以下の場合に、前記第２撮影装置の撮影範囲に前記第１損傷箇所候補が含まれるタイミングを撮影タイミングとして算出する制御部と、を備え、
    　前記画像処理部は、前記撮影タイミングで撮影された前記第２画像を画像解析することにより、前記第２画像の撮影範囲に含まれる道路の損傷箇所候補を第２損傷箇所候補として推定すると共に、前記第２損傷箇所候補について前記信頼度を算出し、前記信頼度が前記基準値を超える前記第１損傷箇所候補および前記第２損傷箇所候補を損傷箇所として検出する、
    道路状態検出装置。
  2. 　前記制御部は、前記撮影タイミングにのみ前記第２画像を撮影するよう前記第２撮影装置を制御する、
    請求項１に記載の道路状態検出装置。
  3. 　前記第２撮影装置は前記撮影タイミングと前記撮影タイミング以外の両方で前記第２画像を撮影し、
    　前記画像処理部は、前記撮影タイミングに撮影された前記第２画像のみを画像解析することにより、前記第２損傷箇所候補を推定する、
    請求項１に記載の道路状態検出装置。
  4. 　前記第２撮影装置の撮影方向は前記第１撮影装置の撮影方向より下向きである、
    請求項１から請求項３のいずれか１項に記載の道路状態検出装置。
  5. 　前記第１撮影装置は、前記対象車両の前方を撮影し、
    　前記第２撮影装置は、前記対象車両の後方を撮影する、
    請求項１から請求項４のいずれか１項に記載の道路状態検出装置。
  6. 　前記画像処理部が前記第２画像の画像解析に用いる画像処理アルゴリズムは、前記第１画像の画像解析に用いる画像処理アルゴリズムよりも演算負荷が重い、
    請求項１から請求項５のいずれか１項に記載の道路状態検出装置。
  7. 　前記制御部は、前記第１損傷箇所候補の前記信頼度が予め定められた基準値以下の場合に、前記第２撮影装置の撮影範囲に前記第１損傷箇所候補が含まれるよう、前記対象車両の運転者に対して前記対象車両の前記道路の幅方向における位置の変更を促す報知を、前記対象車両に搭載された報知装置に行わせる、
    請求項１から請求項６のいずれか１項に記載の道路状態検出装置。
  8. 　前記制御部は、前記第１損傷箇所候補の前記信頼度が予め定められた基準値以下の場合に、前記第２撮影装置の撮影範囲に前記第１損傷箇所候補が含まれるよう、前記対象車両の前記道路の幅方向における位置の変更を、前記対象車両の自動運転制御を行う車両制御装置に行わせる、
    請求項１から請求項６のいずれか１項に記載の道路状態検出装置。
  9. 　前記制御部は、前記第１損傷箇所候補の前記信頼度が予め定められた基準値以下の場合に、前記第２撮影装置の撮影範囲に前記第１損傷箇所候補が含まれるよう、前記第２撮影装置の位置または撮影方向を制御する、
    請求項１から請求項６のいずれか１項に記載の道路状態検出装置。
  10. 　前記制御部は、前記第１損傷箇所候補の前記信頼度が予め定められた基準値以下の場合に、前記対象車両以外の前記第２撮影装置を搭載する点検車両に前記第１損傷箇所候補の情報を送信し、
    　前記点検車両に搭載された前記第２撮影装置が前記第１損傷箇所候補を撮影する、
    請求項１から請求項６のいずれか１項に記載の道路状態検出装置。
  11. 　第１画像入力部が、対象車両に搭載された第１撮影装置による前記対象車両の周辺の撮影画像である第１画像を取得し、
    　第２画像入力部が、前記対象車両に搭載された第２撮影装置による、前記対象車両の周辺の前記第１画像より狭い撮影範囲の撮影画像である第２画像を取得し、
    　画像処理部が、前記第１画像を画像解析することにより、前記第１画像の撮影範囲に含まれる道路の損傷箇所候補を第１損傷箇所候補として推定すると共に、前記第１損傷箇所候補について推定の確からしさを表す信頼度を算出し、
    　制御部が、前記第１損傷箇所候補の前記信頼度が予め定められた基準値以下の場合に、前記第２撮影装置の撮影範囲に前記第１損傷箇所候補が含まれるタイミングを撮影タイミングとして算出し、
    　前記撮影タイミングで撮影された前記第２画像を画像解析することにより、前記第２画像の撮影範囲に含まれる道路の損傷箇所候補を第２損傷箇所候補として推定すると共に、前記第２損傷箇所候補について前記信頼度を算出し、前記信頼度が前記基準値を超える前記第１損傷箇所候補および前記第２損傷箇所候補を損傷箇所として検出する、
    道路状態検出方法。
PCT/JP2022/021086 2022-05-23 2022-05-23 道路状態検出装置および道路状態検出方法 WO2023228239A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/021086 WO2023228239A1 (ja) 2022-05-23 2022-05-23 道路状態検出装置および道路状態検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/021086 WO2023228239A1 (ja) 2022-05-23 2022-05-23 道路状態検出装置および道路状態検出方法

Publications (1)

Publication Number Publication Date
WO2023228239A1 true WO2023228239A1 (ja) 2023-11-30

Family

ID=88918818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/021086 WO2023228239A1 (ja) 2022-05-23 2022-05-23 道路状態検出装置および道路状態検出方法

Country Status (1)

Country Link
WO (1) WO2023228239A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021002162A (ja) * 2019-06-20 2021-01-07 矢崎総業株式会社 画像処理装置及び画像処理用プログラム
JP2021026353A (ja) * 2019-07-31 2021-02-22 株式会社リコー 路面性状調査システム、路面性状調査方法、及び路面性状調査プログラム
WO2021186989A1 (ja) * 2020-03-16 2021-09-23 日本電気株式会社 劣化診断装置、劣化診断システム、劣化診断方法、及び、記録媒体
WO2021200038A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 道路劣化診断装置、道路劣化診断方法、及び、記録媒体
JP2022026287A (ja) * 2020-07-30 2022-02-10 株式会社リコー 撮影システム、移動体、撮影方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021002162A (ja) * 2019-06-20 2021-01-07 矢崎総業株式会社 画像処理装置及び画像処理用プログラム
JP2021026353A (ja) * 2019-07-31 2021-02-22 株式会社リコー 路面性状調査システム、路面性状調査方法、及び路面性状調査プログラム
WO2021186989A1 (ja) * 2020-03-16 2021-09-23 日本電気株式会社 劣化診断装置、劣化診断システム、劣化診断方法、及び、記録媒体
WO2021200038A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 道路劣化診断装置、道路劣化診断方法、及び、記録媒体
JP2022026287A (ja) * 2020-07-30 2022-02-10 株式会社リコー 撮影システム、移動体、撮影方法及びプログラム

Similar Documents

Publication Publication Date Title
JP7218535B2 (ja) 交通違反車両識別システム及びサーバ
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
JP5421072B2 (ja) 接近物体検知システム
WO2013011952A1 (ja) 車線認識装置
JP5663352B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2010097561A (ja) 車両周辺監視装置
JP4702149B2 (ja) 車両位置測位装置
JP2007310574A (ja) 衝突危険性判定システム及び警告システム
KR20150022076A (ko) 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치
JP7195200B2 (ja) 車載装置、車載システムおよび周辺監視方法
JP4930256B2 (ja) 隣接車両検出装置および隣接車両検出方法
KR20170055738A (ko) 영상 기반 주행 차로 판단 장치 및 방법
US11120292B2 (en) Distance estimation device, distance estimation method, and distance estimation computer program
JP2009146153A (ja) 移動体検出装置、移動体検出方法および移動体検出プログラム
WO2023228239A1 (ja) 道路状態検出装置および道路状態検出方法
JP2007018451A (ja) 道路区画線検出装置
JP6611315B2 (ja) 映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラム
JP6302205B2 (ja) 車載器
JP2009181310A (ja) 道路パラメータ推定装置
JP2018073049A (ja) 画像認識装置、画像認識システム、及び画像認識方法
JP7062959B2 (ja) 車両検知器、車両検知方法、および車両検知プログラム
JP2012181691A (ja) 路面上パターン認識方法および車両用情報記録装置
JP2008066953A (ja) 画像監視装置
KR20200009759A (ko) 차량용 레이더 제어 장치 및 방법
WO2019013253A1 (ja) 検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22943647

Country of ref document: EP

Kind code of ref document: A1