WO2022009272A1 - 劣化診断システム、劣化診断装置、劣化診断方法、及び、記録媒体 - Google Patents

劣化診断システム、劣化診断装置、劣化診断方法、及び、記録媒体 Download PDF

Info

Publication number
WO2022009272A1
WO2022009272A1 PCT/JP2020/026431 JP2020026431W WO2022009272A1 WO 2022009272 A1 WO2022009272 A1 WO 2022009272A1 JP 2020026431 W JP2020026431 W JP 2020026431W WO 2022009272 A1 WO2022009272 A1 WO 2022009272A1
Authority
WO
WIPO (PCT)
Prior art keywords
deterioration
diagnosis
result
confirmation
detected
Prior art date
Application number
PCT/JP2020/026431
Other languages
English (en)
French (fr)
Inventor
奈々 十文字
千里 菅原
洋介 木村
舞子 長谷川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021518012A priority Critical patent/JP6892974B1/ja
Priority to US18/014,255 priority patent/US20230260338A1/en
Priority to PCT/JP2020/026431 priority patent/WO2022009272A1/ja
Priority to JP2021090322A priority patent/JP2022014432A/ja
Publication of WO2022009272A1 publication Critical patent/WO2022009272A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01CCONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles

Definitions

  • This disclosure relates to a deterioration diagnosis system, a deterioration diagnosis device, a deterioration diagnosis method, and a recording medium.
  • Patent Document 1 As an example of such a deterioration diagnosis system, for example, in Patent Document 1, road images captured by a vehicle are collected, road deterioration is detected, and information on deterioration and the like is transmitted to a terminal from a point on a map. A pavement information collection and inspection system to be displayed for reference is disclosed. Further, Patent Document 2 discloses a defect analysis system showing on a map by associating a road surface defect detected by analysis of road surface image information with a position of the road surface defect.
  • One of the purposes of the present disclosure is to solve the above-mentioned problems and to associate the deterioration detected based on the sensor information collected by the moving object with the correct confirmation result at the place of occurrence. It is to provide a diagnostic system, a deterioration diagnosis device, a deterioration diagnosis method, and a recording medium.
  • the deterioration diagnostic apparatus is a diagnostic means that diagnoses deterioration on the road by analyzing sensor information collected by a moving body and outputs the position of the detected deterioration, and on the road confirmed by a person. Based on the position of deterioration and the position of deterioration detected by the diagnosis, the associating means for associating the result of the diagnosis with the result of the confirmation, and the associated result of the diagnosis and the result of the confirmation are stored. It is provided with a storage means to be used.
  • the deterioration diagnosis system includes a deterioration diagnosis device according to the present disclosure, and a terminal device that accepts input of the confirmation result and transmits the confirmation result to the deterioration diagnosis device. ..
  • the deterioration diagnosis method in one aspect of the present disclosure diagnoses deterioration on the road by analyzing sensor information collected by a moving body, outputs the detected deterioration position, and outputs the position of the detected deterioration on the road.
  • the result of the diagnosis and the result of the confirmation are associated with each other based on the position of the deterioration detected by the diagnosis, and the result of the associated diagnosis and the result of the confirmation are stored.
  • the recording medium diagnoses deterioration on the road by analyzing sensor information collected by a moving body, outputs the position of the detected deterioration to a computer, and confirms deterioration on the road by a person. Based on the position of the above and the position of deterioration detected by the diagnosis, the process of associating the result of the diagnosis with the result of the confirmation and storing the associated result of the diagnosis and the result of the confirmation is executed. Record the program to be made.
  • the effect of this disclosure is that it is possible to associate the correct confirmation result at the place of occurrence with the deterioration detected based on the sensor information collected by the moving object.
  • FIG. 1 is a diagram showing a configuration of a deterioration diagnosis system 10 in the first embodiment.
  • the deterioration diagnosis system 10 includes a deterioration diagnosis device 20, a display device 30, a plurality of vehicles 40_1, 40_2, ... 40_N (N is a natural number) (hereinafter, collectively referred to as a vehicle 40), and a terminal device 50_1. , 50_2, ... 50_M (M is a natural number) (hereinafter collectively referred to as terminal device 50).
  • the deterioration diagnosis device 20 and the vehicle 40 are connected via a communication network or the like. Further, the deterioration diagnosis device 20 and the terminal device 50 are also connected via a communication network or the like.
  • the vehicle 40 belongs to a road management organization such as a local government or a road management company.
  • the vehicle 40 captures a road image by an image sensor such as a camera of a drive recorder, and transmits the image data to the deterioration diagnosis device 20 as image information together with the shooting position and the shooting date and time. Further, the vehicle 40 detects the vertical acceleration of the vehicle 40 by the acceleration sensor, and transmits it to the deterioration diagnosis device 20 as acceleration information together with the detection position and the detection date and time.
  • information detected by a sensor mounted on the vehicle such as image information and acceleration information, is also described as sensor information.
  • the deterioration diagnosis device 20 and the display device 30 are arranged, for example, in the above-mentioned road management organization.
  • the deterioration diagnosis device 20 and the display device 30 may be integrated or separate. Further, the deterioration diagnosis device 20 may be arranged in a place other than the above-mentioned road management organization. In this case, the deterioration diagnosis device 20 may be realized by a cloud computing system.
  • the deterioration diagnosis device 20 diagnoses the deterioration of the road based on the sensor information transmitted from each vehicle 40.
  • the deterioration diagnosis device 20 detects deterioration of the road surface such as "cracking”, “rutting digging", “pothole”, and “flatness abnormality” generated on the road surface by diagnosis.
  • Known techniques are used as a method for diagnosing road deterioration based on sensor information.
  • the deterioration diagnosis device 20 outputs the diagnosis result to the road manager, the worker, or the like of the road management organization via the display device 30 or the terminal device 50.
  • FIG. 2 is a diagram showing an example of a diagnosis result in the first embodiment.
  • the diagnosis result includes the information acquisition date and time, the detection position, the detection type, the detection state, and the diagnosis image.
  • the information acquisition date and time indicates the acquisition date and time of the sensor information to be diagnosed (the shooting date and time of the image information and the acquisition date and time of the acceleration information).
  • the detection position indicates the detection position of the deterioration detected by the diagnosis.
  • the detection position may be the acquisition position of the sensor information to be diagnosed (the shooting position of the image information or the acquisition position of the acceleration information).
  • the detection type indicates the deterioration type detected by the diagnosis.
  • the deterioration type for example, "cracking" generated on the road surface, “rutting", “pothole”, “abnormal flatness” and the like are used.
  • the detection state indicates the degree of deterioration according to the detection type.
  • the degree of deterioration for example, the crack rate is used for the detection type "crack”, and the rut digging amount is used for the detection type "rutting”.
  • the crack rate is a value indicating the ratio between the area of deterioration included in the road image taken at the detection position (shooting position) and the area of the road included in the image.
  • the International Roughness Index (IRI) may be used for the detection type “flatness abnormality”.
  • the IRI is a deterioration index indicating the flatness of the road (unevenness of the road) calculated based on the vertical acceleration included in the acceleration information acquired at the detection position. Further, the maintenance index (Maintenance Control Index (MCI)) may be used as the degree of deterioration. MCI is a composite deterioration index obtained from the crack rate, the amount of rutting, flatness, and the like.
  • the diagnostic image shows image data of image information about the road image to be diagnosed.
  • the terminal device 50 is carried by a worker of a road management organization or the like.
  • the terminal device 50 is, for example, a tablet or a smartphone.
  • the operator goes to the place where the detected deterioration has occurred (hereinafter, also referred to as the site) with reference to the diagnosis result output to the terminal device 50, and directly confirms the deterioration by visual inspection or the like.
  • the worker who confirmed the deterioration at the site transmits the confirmation result of the deterioration to the deterioration diagnosis device 20 by using the terminal device 50.
  • FIG. 3 is a diagram showing an example of the confirmation result in the first embodiment.
  • the confirmation result includes, for example, a confirmation date and time, a confirmation position, a confirmation type, a comment, a confirmation image, and a repair state.
  • the confirmation date and time indicates the date and time when deterioration was confirmed on site.
  • the shooting date and time of the confirmation image is set.
  • the confirmation date and time may be set to the date and time when the confirmation result is transmitted, or the date and time when the confirmation type or comment is input by the worker.
  • the confirmation position indicates the position of deterioration confirmed in the field.
  • the confirmation position for example, the shooting position of the confirmation image is set.
  • the position of the terminal device 50 may be set as the confirmation position when the confirmation result is transmitted or when the confirmation type or comment is input by the operator.
  • the confirmation type indicates the deterioration type confirmed on site, which is input by the operator.
  • the comment is a comment entered by the worker about the deterioration confirmed in the field.
  • the confirmation image is image data obtained by capturing the deterioration confirmed in the field.
  • the image data of the confirmation image is designated by the worker from one or more image data taken by the worker for the deterioration, for example, when the worker goes to the site and confirms the deterioration.
  • the repair status indicates whether or not the deterioration confirmed in the field has been repaired. If the deterioration has been repaired, the repair status is set to "finished".
  • the repaired state is set to "not yet".
  • the repair is performed, for example, at the timing when the worker confirms the deterioration on site. In addition, the repair may be performed after the timing when the worker confirms the deterioration on site.
  • the confirmation result may further include the name and identifier of the worker who performed the confirmation, and the identifier of the terminal device 50 used for the confirmation work.
  • the deterioration diagnosis device 20 stores the confirmation result received from the terminal device 50 in association with the diagnosis result.
  • the moving body for transmitting the sensor information is the vehicle 40
  • the moving body may be a bicycle, a drone, or a person as long as the sensor information can be acquired and transmitted to the deterioration diagnosis device 20.
  • the target of the deterioration diagnosis based on the sensor information is the deterioration of the pavement on the road (deterioration of the road surface) and the above-mentioned deterioration type is detected as a result of the diagnosis
  • the object of deterioration diagnosis is not limited to this, and may be a repair material such as a sealing material, a white line, a guardrail, a sign, a road marking, a street light, or the like installed on the road.
  • the type of the one whose deterioration is detected is output.
  • the type of the repair material, the white line, the guardrail, the sign, the road marking, the street lamp, or the like in which deterioration is detected is used.
  • the target of diagnosis based on the sensor information is not limited to deterioration, but may be obstacles such as snow and falling objects on the road.
  • the type of the detected obstacle is output.
  • the type of the detected obstacle such as snow cover or falling object is used instead of the deterioration type, and in the detection state, the amount of snow cover or the falling object is used instead of the above-mentioned deterioration degree.
  • the amount and size of the detected obstacle, such as the size, is used.
  • the target of deterioration diagnosis may be on roads other than automobiles, such as airport runways, taxiways, waiting areas, and railway tracks.
  • the target of deterioration diagnosis is not limited to the road surface as long as it is diagnosed based on the sensor information collected by the moving body, and may be structures such as various buildings, facilities, and equipment installed on the ground.
  • FIG. 4 is a block diagram showing the configuration of the deterioration diagnosis device 20 and the terminal device 50 in the first embodiment.
  • the deterioration diagnosis device 20 includes a deterioration diagnosis unit 21, a deterioration information processing unit 22, a display control unit 23, and a transmission / reception unit 28.
  • the deterioration diagnosis unit 21 includes a sensor information acquisition unit 24, a sensor information storage unit 25, an analysis unit 26, and an analysis model storage unit 27.
  • the sensor information acquisition unit 24 acquires sensor information from each of the vehicles 40.
  • the analysis unit 26 uses a known technique to perform deterioration diagnosis based on the acquired sensor information, that is, to determine the presence or absence of deterioration and the type by analyzing the sensor information. For example, the deterioration diagnosis device 20 analyzes image information by using an analysis model in which an image of road deterioration is learned by machine learning. Then, the analysis unit 26 calculates the degree of deterioration of the detected deterioration. The analysis unit 26 outputs the diagnosis result to the deterioration information processing unit 22.
  • the analysis model storage unit 27 stores the analysis model used by the analysis unit 26.
  • the deterioration information processing unit 22 includes a deterioration information storage unit 29 and a deterioration information generation unit 31.
  • the deterioration information generation unit 31 generates deterioration information.
  • the deterioration information is information in which the diagnosis result input from the analysis unit 26 is associated (associated) with the confirmation result received from the terminal device 50.
  • FIG. 5 is a diagram showing an example of deterioration information in the first embodiment.
  • the deterioration information includes a deterioration ID (IDentifier), a diagnosis result, and a confirmation result.
  • the deterioration ID is an identifier that uniquely identifies the deterioration detected by the deterioration diagnosis unit 21.
  • the deterioration ID is given by the deterioration information generation unit 31.
  • the deterioration information generation unit 31 associates (associates) the diagnosis result with the confirmation result based on the detection position included in the diagnosis result and the confirmation position included in the confirmation result.
  • the deterioration information storage unit 29 stores the deterioration information generated by the deterioration information generation unit 31.
  • the display control unit 23 has a map screen showing the detection position of deterioration (hereinafter, deterioration position map screen) and a screen showing deterioration information specified on the deterioration position map screen (hereinafter, both deterioration information screen) based on the deterioration information.
  • the description is displayed on the display device 30 and the terminal device 50.
  • the display control unit 23 displays the deterioration detection position on the deterioration position map screen in different display modes depending on the presence or absence of the confirmation result and the like.
  • the transmission / reception unit 28 transmits the deterioration position map screen, the deterioration information screen, and the content of the deterioration information (for example, the deterioration detection position) in response to the request from the terminal device 50. Further, the transmission / reception unit 28 receives the confirmation result from the terminal device 50.
  • the terminal device 50 includes a transmission / reception unit 51, a position acquisition unit 52, a guide unit 53, an image pickup unit 54, a display unit 55, and an input unit 56.
  • the transmission / reception unit 51 receives the deterioration position map screen, the deterioration information screen, and the contents of the deterioration information (for example, the deterioration detection position) from the deterioration diagnosis device 20. Further, the transmission / reception unit 51 transmits the confirmation result to the deterioration diagnosis device 20.
  • the position acquisition unit 52 acquires position information indicating the position of the terminal device 50.
  • the position acquisition unit 52 acquires position information using, for example, GPS (Global Positioning System).
  • the guidance unit 53 provides route guidance to the detection position based on the position of the terminal device 50 acquired by the position acquisition unit 52 and the deterioration detection position received from the deterioration diagnosis device 20. Further, the guide unit 53 notifies the operator that the terminal device 50 has approached the deterioration detection position.
  • the image pickup unit 54 captures a moving image or a still image.
  • the image pickup unit captures a road image in the traveling direction at the time of route guidance. Further, the image pickup unit 54 captures the confirmed deterioration according to the operation of the operator.
  • the image pickup unit 54 is, for example, a camera mounted on a tablet or a smartphone.
  • the display unit 55 displays the deterioration detection position received from the deterioration diagnosis device 20 on the map. Further, the display unit 55 displays the route acquired by the guide unit 53. Further, the display unit 55 displays an input screen of the confirmation result by the operator.
  • the display unit 55 is, for example, a display of a tablet or a smartphone.
  • the input unit 56 receives an operation instruction to the terminal device 50 and an input of a deterioration confirmation result from the operator.
  • the input unit 56 is, for example, a touch panel provided on the display surface of a tablet or smartphone.
  • the deterioration diagnosis unit 21, the deterioration information generation unit 31, and the deterioration information storage unit 29 are embodiments of the diagnostic means, the association means, and the storage means of the present disclosure, respectively.
  • the display control unit 23 is an embodiment of the display control means of the present disclosure.
  • the display device 30 and the terminal device 50 are embodiments of the display means of the present disclosure.
  • FIG. 6 is a flowchart showing the overall operation of the deterioration diagnosis system 10 in the first embodiment.
  • the deterioration diagnosis device 20 of the deterioration diagnosis system 10 diagnoses the deterioration of the road based on the sensor information transmitted from each vehicle 40, and generates a diagnosis result (step S11).
  • FIG. 7 is a flowchart showing the details of the diagnostic process (step S11) in the first embodiment.
  • Each vehicle 40 transmits the acquired sensor information (image information and acceleration information) to the deterioration diagnosis device 20 (step S111).
  • the sensor information acquisition unit 24 of the deterioration diagnosis unit 21 acquires sensor information (step S112).
  • the analysis unit 26 diagnoses the deterioration of the road by analyzing the sensor information (step S113).
  • the analysis unit 26 generates a diagnosis result for the deterioration detected by the diagnosis (step S114). For example, the analysis unit 26 generates the diagnosis result as shown in FIG.
  • the analysis unit 26 outputs the diagnosis result to the deterioration information processing unit 22.
  • the deterioration information generation unit 31 of the deterioration information processing unit 22 stores the diagnosis result in the deterioration information and stores it in the deterioration information storage unit 29 (step S115).
  • FIG. 8 is a diagram showing another example of deterioration information in the first embodiment.
  • the deterioration information generation unit 31 stores the diagnosis result of FIG. 2 for the deterioration ID “D1” as shown in FIG.
  • FIG. 9 is a diagram showing an example of a deterioration position map screen of the deterioration diagnosis device 20 in the first embodiment.
  • a white circle is displayed at the detection position of the deterioration “D1” on the map, and a “deterioration information” button is further displayed.
  • white circles indicate deterioration for which confirmation results have not been obtained (not associated).
  • the display control unit 23 causes the display device 30 to display the deterioration position map screen of FIG. 9 based on the deterioration information of FIG.
  • the display control unit 23 causes the display device 30 to display a deterioration information screen indicating deterioration information of deterioration designated by the road administrator on the deterioration position map screen of the display device 30 (step S13).
  • FIG. 10 is a diagram showing an example of a deterioration information screen in the first embodiment.
  • FIG. 10 is an example when the deterioration “D1” is specified, and shows the information acquisition date / time, the detection type, the detection state, and the diagnostic image in the diagnosis result of the deterioration “D1”.
  • the display control unit 23 determines the deterioration of FIG. 10 based on the deterioration information of FIG.
  • the information screen is displayed on the display device 30.
  • the road manager confirms the deterioration diagnosis result on the deterioration information screen, and if it determines that the deterioration needs to be confirmed on-site, the road administrator instructs the worker to confirm the deterioration on-site.
  • the worker carries the terminal device 50 and heads to the site.
  • the guide unit 53 of the terminal device 50 requests the deterioration diagnosis device 20 for the deterioration position map screen according to the operation of the operator (step S14).
  • the display control unit 23 of the deterioration diagnosis device 20 transmits a deterioration position map screen to the terminal device 50 in response to a request from the terminal device 50 (step S15).
  • the guide unit 53 of the terminal device 50 causes the display unit 55 to display the received deterioration position map screen (step S16).
  • the guide unit 53 indicates and displays the position of the terminal device 50 acquired by the position acquisition unit 52 on the deterioration position map screen.
  • FIG. 11 is a diagram showing an example of a deterioration position map screen of the terminal device 50 in the first embodiment.
  • the current position of the terminal device 50 is indicated by a black triangle, and further, the “route guidance” button and the “confirmation result input” button are displayed.
  • the guide unit 53 causes the display unit 55 to display the deteriorated position map screen of FIG.
  • the guide unit 53 receives the designation of deterioration from the operator on the deterioration position map screen as in the above-mentioned step S13, and displays the deterioration information screen of the designated deterioration on the display control unit 23 of the deterioration diagnosis device 20. It may be obtained from and displayed on the display unit 55.
  • the guide unit 53 provides route guidance to the deterioration detection position (step S17).
  • FIG. 12 is a flowchart showing the details of the route guidance process (step S17) in the first embodiment.
  • the guide unit 53 receives the designation of deterioration from the operator on the deterioration position map screen (step S171).
  • the guide unit 53 acquires a route from the position of the terminal device 50 to the detection position based on the designated deterioration detection position and the position of the terminal device 50 (step S172).
  • the guide unit 53 acquires, for example, a route from a server device (not shown) that provides a map information providing service or the like.
  • the guide unit 53 may calculate the route based on the map information stored in the terminal device 50.
  • the guidance unit 53 causes the display unit 55 to display the route guidance screen on which the acquired route is shown on the deteriorated position map screen.
  • FIG. 13 is a diagram showing an example of a route guidance screen in the first embodiment.
  • the route from the current position of the terminal device 50 to the detection position of the deterioration “D1” is shown by a thick line on the deterioration position map screen, and the “guidance start” button is further displayed.
  • the guide unit 53 displays the route guidance screen of FIG. 13 when the operator designates the deterioration “D1” on the deterioration position map screen of FIG. 11 and presses the “route guidance” button. Then, when the operator presses the "guidance start” button on the route guidance screen of FIG. 13, the guidance unit 53 starts route guidance.
  • the guide unit 53 guides the worker to the detection position along the acquired route (step S173).
  • the guide unit 53 uses, for example, a well-known navigation technique to provide necessary guidance at an intersection, a branch point, or the like.
  • the guide unit 53 determines whether the distance between the position of the terminal device 50 and the detection position is equal to or less than a predetermined threshold value (step S174).
  • the guide unit 53 When the distance is equal to or less than a predetermined threshold value (step S174 / Yes), the guide unit 53 notifies the operator that the terminal device 50 has approached the deterioration detection position (step S175).
  • the guide unit 53 causes the display unit 55 to display, for example, a deterioration position guidance screen showing a deterioration detection position in the road image in the traveling direction imaged by the image pickup unit 54.
  • FIG. 14 is a diagram showing an example of a deterioration position guidance screen in the first embodiment. In the example of FIG. 14, a white circle indicating deterioration “D1” and an icon indicating the detection type “crack” are superimposed on the position corresponding to the detection position “LD1” on the road image captured by the image pickup unit 54.
  • the guide unit 53 displays the deterioration position guide screen of FIG.
  • the operator can easily find the deterioration corresponding to the deterioration detected by the deterioration diagnosis device 20 by approaching the point where the circles are superimposed and displayed while looking at the deterioration position guidance screen.
  • the operator directly visually confirms the deterioration corresponding to the deterioration detected by the deterioration diagnosis device 20.
  • the operator uses the image pickup unit 54 to image the confirmed deterioration.
  • FIG. 15 is a diagram showing an example of a confirmation result input screen in the first embodiment.
  • the confirmation date and time, the confirmation position, the confirmation type, the comment, the repair status, and the image data input field of the confirmation image are displayed on the deterioration position map screen, and the "send" button is displayed.
  • the input unit 56 displays the confirmation result input screen of FIG.
  • the input unit 56 displays the shooting date and time and the shooting position of the confirmation image at the confirmation date and time and the confirmation position.
  • the transmission / reception unit 51 transmits the confirmation result to the deterioration diagnosis device 20 (step S19). For example, when the operator presses the "send" button on the confirmation result input screen of FIG. 15, the transmission / reception unit 51 transmits the confirmation result of FIG. 3 to the deterioration diagnosis device 20.
  • the transmission / reception unit 28 of the deterioration diagnosis device 20 receives the confirmation result from the terminal device 50 (step S20).
  • the deterioration information generation unit 31 of the deterioration information processing unit 22 associates the received confirmation result with the diagnosis result of the deterioration information stored in the deterioration information storage unit 29, and stores it in the deterioration information (step S21).
  • FIG. 16 is a flowchart showing the details of the association process (step S21) in the first embodiment.
  • the deterioration information generation unit 31 of the deterioration diagnosis device 20 extracts the diagnosis result satisfying the association condition with the confirmation result received in step S20 from the diagnosis results to which the confirmation result is not associated with the deterioration information (step S211).
  • the association condition for example, it is used that the distance between the detection position in the diagnosis result and the confirmation position in the confirmation result is equal to or less than a predetermined threshold value (hereinafter, also referred to as condition 1).
  • condition 2 a predetermined threshold value (hereinafter, also referred to as condition 2), that is, the AND condition of condition 1 and condition 2. May be used as the association condition.
  • the detection type of the diagnosis result and the confirmation type of the confirmation result are the same type (hereinafter, also referred to as the condition 3), that is, the AND condition of the condition 1 and the condition 3 is used as the association condition. May be good.
  • AND conditions of conditions 1, 2, and 3 may be used as the association condition.
  • the deterioration information generation unit 31 associates the extracted diagnosis result with the confirmation result, stores it in the deterioration information, and stores it in the deterioration information storage unit 29 (step S212).
  • the deterioration information generation unit 31 extracts the diagnosis result of the deterioration “D1”. Then, as shown in FIG. 5, the deterioration information generation unit 31 associates the diagnosis result of the deterioration “D1” with the confirmation result of FIG.
  • the deterioration information generation unit 31 may store the confirmation result received in step S20 in the deterioration information as new deterioration. good. In this case, the deterioration information generation unit 31 assigns a new deterioration ID to the confirmation result and stores it in the deterioration information, for example.
  • FIG. 17 is a diagram showing another example of the deterioration position map screen of the deterioration diagnosis device 20 in the first embodiment.
  • a gray circle is displayed at the detection position of the deterioration “D1” on the map.
  • the gray circles indicate the deterioration for which the confirmation result was obtained (associated).
  • the display control unit 23 causes the display control unit 23 to display the deterioration position map screen of FIG. 17 based on the deterioration information of FIG.
  • the display control unit 23 causes the display device 30 to display a deterioration information screen indicating deterioration designated by the road administrator on the deterioration position map screen of the display device 30 (step S23).
  • FIG. 18 is a diagram showing another example of the deterioration information screen in the first embodiment.
  • FIG. 18 is an example when the deterioration “D1” is specified, and is confirmed in the confirmation result in addition to the information acquisition date / time, the detection type, the detection state, and the diagnostic image in the diagnosis result of the deterioration “D1”.
  • the date and time, confirmation type, comment, repair status, and confirmation image are shown.
  • the display control unit 23 determines the deterioration of FIG. 18 based on the deterioration information of FIG.
  • the information screen is displayed on the display device 30.
  • the terminal device 50 may also receive and display the deterioration position map screen and the deterioration information screen based on the updated deterioration information from the deterioration diagnosis device 20.
  • step S11 when new sensor information is transmitted from the vehicle 40 to the deterioration diagnosis device 20, the operation from step S11 is executed.
  • the deterioration information generation unit 31 is deteriorated by the new diagnosis. Is judged to be the same deterioration as the detected deterioration.
  • the neighborhood means that the distance is within a predetermined range.
  • the deterioration information generation unit 31 updates the detected deterioration diagnosis result with a new diagnosis result in the deterioration information.
  • the deterioration information generation unit 31 is deteriorated by the new diagnosis. Is judged to be a new deterioration. In this case, the deterioration information generation unit 31 registers the new diagnosis result in the deterioration information as the new deterioration diagnosis result.
  • the deterioration to which the confirmation result is not associated in the deterioration information and the deterioration to be associated are displayed in different modes (white circles and gray circles). Not limited to this, deterioration may be displayed in other modes depending on the content of deterioration information. In this case, depending on the content of the deterioration information, for example, different symbols, figures, characters, patterns, colors, sizes, line types, and combinations thereof may be used to display the deterioration.
  • FIG. 19 is a diagram showing a definition example of a deterioration display mode on the deterioration position map screen in the first embodiment.
  • confirmation result yes or no
  • type same or different
  • confirmation result the difference between the detection type of the diagnosis result and the confirmation type of the confirmation result.
  • Different figures are defined depending on the presence or absence of repair (repair: completed or not completed) indicated by the repair status.
  • the display control unit 23 determines the display mode (graphic) of the deterioration for each deterioration included in the deterioration information according to the content of the deterioration information, and displays it at the position on the map where the deterioration is detected.
  • FIG. 20 is a diagram showing still another example of deterioration information in the first embodiment.
  • FIG. 21 is a diagram showing still another example of the deterioration position map screen in the first embodiment.
  • the display control unit 23 causes the display device 30 to display the deterioration position map screen of FIG. 21 based on the definition of the display mode of FIG. 19 and the deterioration information of FIG.
  • the deterioration information generation unit 31 detects deterioration of the same detection type as the deterioration in the vicinity of the detected deterioration detection position by the diagnosis for the new sensor information, the presence or absence of deterioration of the detection state (deterioration degree). May be determined.
  • the deterioration information generation unit 31 deletes the associated confirmation result and notifies the road administrator of the deterioration of the detection state. You may. For example, if the difference between the detection state in the new diagnosis result and the detection state in the previous diagnosis result is equal to or more than a predetermined threshold value, the deterioration information generation unit 31 determines that the detection state has deteriorated.
  • FIG. 22 is a diagram showing an example of the transition of the deterioration display mode in the first embodiment.
  • the diagnosis result before the detection position “LD1” of the deterioration “D1” is described as the first diagnosis result, and the new diagnosis result in the vicinity of the detection position “LD1” is described as the second diagnosis result.
  • the display mode of deterioration in FIG. 22 follows the definition of FIG.
  • the road administrator can grasp that the detected state of the confirmed deterioration has deteriorated. Then, it is possible to determine the necessity of reconfirmation on site and instruct the worker to reconfirm on site.
  • the deterioration information generation unit 31 may notify the maintenance person of the deterioration diagnosis device 20 of the new diagnosis result and confirm whether or not it is an erroneous detection. If the result of confirmation by a maintenance person or the like is an erroneous detection, the deterioration information generation unit 31 does not update the diagnosis result in the deterioration information.
  • the deterioration information generation unit 31 may register a new diagnosis result as a new deterioration diagnosis result in the deterioration information and notify the road manager of the detection of the new deterioration. .. In this way, by notifying the maintenance person of a new diagnosis result in the vicinity of the detected and repaired deterioration detection position, the maintenance person can confirm the data causing the false detection, and the deterioration diagnosis can be performed. It can be used to improve the accuracy of the diagnosis result of the device 20. It should be noted that the confirmation of erroneous detection may be performed by a person other than the maintenance person such as a road administrator.
  • FIG. 23 is a diagram showing another example of the transition of the display mode of deterioration in the first embodiment.
  • the diagnosis result before the detection position “LD1” of the repaired deterioration “D1” is the first diagnosis result
  • the new diagnosis result in the vicinity of the detection position “LD1” is the second diagnosis result. It is described. Further, the display mode of deterioration in FIG. 23 also follows the definition of FIG.
  • the diagnosis result is not updated because the confirmation result by the maintenance person or the like is an erroneous detection. Therefore, the "gray square" displayed when the confirmation result is obtained for the first diagnosis result does not change even if the second diagnosis result is obtained.
  • the second diagnosis result is registered as a new diagnosis result of the deterioration “D6”. Therefore, a "white circle” is further displayed for the second diagnosis result. Then, a pop-up notifies the detection of new deterioration.
  • the deterioration diagnosis device 20 acquires sensor information including the shooting direction of the road image from the vehicle 40, includes it in the diagnosis result, and stores it in the deterioration information.
  • the shooting direction of the road image is acquired by, for example, a gyro sensor mounted on the vehicle.
  • the deterioration diagnosis device 20 acquires a confirmation result including the shooting direction of the confirmation image from the terminal device 50.
  • the shooting direction of the confirmation image is also acquired by, for example, the gyro sensor of the terminal device 50.
  • the deterioration information generation unit 31 is conditioned on the condition 4 that the difference between the shooting direction of the diagnosis result and the shooting direction of the confirmation result is equal to or less than a predetermined threshold value. Then, the deterioration information generation unit 31 includes an AND condition of conditions 1 and 4, an AND condition of conditions 1, 2, and 4, an AND condition of conditions 1, 3, and 4, conditions 1, 2, 3, and so on. And, the diagnosis result and the confirmation result are associated with each other using the AND condition of 4 as the association condition.
  • a local resident may complain about the deterioration of the road, and the worker may go to the point of the complained deterioration and send the confirmation result of the deterioration to the deterioration diagnosis device 20.
  • the road administrator accepts complaints from local residents regarding the deterioration of the road at a certain point. Complaints of deterioration are accepted, for example, at the counter, telephone, email, etc.
  • the road administrator informs the worker of information such as the position of deterioration and the type and magnitude of deterioration in the received complaint. Based on such information, the worker goes to the site, confirms the claimed deterioration, and transmits the confirmation result to the deterioration diagnosis device 20 using the terminal device 50.
  • the deterioration information generation unit 31 determines whether or not there is a diagnosis result that satisfies the association condition with the received confirmation result. If there is a diagnosis result satisfying the association condition, the deterioration information generation unit 31 associates the confirmation result with the diagnosis result.
  • the deterioration information generation unit 31 stores the confirmation result in the deterioration information as new deterioration. In this case, the deterioration information generation unit 31 assigns a new deterioration ID to the confirmation result and stores it in the deterioration information, for example. Further, the display control unit 23 may indicate the deterioration to which the diagnosis result is not associated in the deterioration information at the confirmation position on the deterioration position map described above. In this case, the display control unit 23 may indicate the deterioration to which the diagnosis result is not associated in a mode different from the deterioration for which the diagnosis result is obtained.
  • the deterioration information generation unit 31 satisfies the condition for associating with the new diagnosis result among the confirmation results to which the diagnosis result is not associated in the deterioration information. Determine if there is a confirmation result. If there is a confirmation result that satisfies the association condition, the deterioration information generation unit 31 associates the diagnosis result with the confirmation result.
  • the display control unit 23 indicates the deterioration associated with the diagnosis result at the detection position on the deterioration position map in the same manner as the deterioration for which the confirmation result is obtained, as shown in FIG. 17, for example. You may.
  • the first embodiment it is possible to associate the correct confirmation result at the place of occurrence with the deterioration detected based on the sensor information collected by the moving body.
  • the reason is that the deterioration information processing unit 22 of the deterioration diagnosis device 20 associates the diagnosis result with the confirmation result based on the position of the deterioration on the road confirmed by the operator and the position of the deterioration detected by the diagnosis. Is.
  • step S21 when there are a plurality of diagnostic results satisfying the association condition with the confirmation result, the deterioration information generation unit 31 outputs the diagnosis result satisfying the association condition to the road administrator as an association candidate. do. Then, the deterioration information generation unit 31 receives from the road manager the selection of the diagnosis result to be associated with the confirmation result among the association candidates.
  • FIG. 24 is a diagram showing an example of a diagnosis result selection screen in the second embodiment.
  • the diagnosis results of the deterioration "D1" and “D7" and the "selection" button of each diagnosis result, which satisfy the condition of associating the confirmation result with the confirmation result, are displayed.
  • the road administrator selects the diagnosis result to be associated with the confirmation target by comparing each diagnosis image with the confirmation image, for example.
  • the deterioration information generation unit 31 causes the display control unit 23 to display the diagnosis result selection screen of FIG. 24 on the display device 30, and confirms the diagnosis result selected by the road administrator by pressing the "selection" button. Associate the results and store them in the degradation information.
  • FIG. 25 is a block diagram showing the configuration of the deterioration diagnosis device 1 in the third embodiment.
  • the deterioration diagnosis device 1 includes a diagnosis unit 2, an association unit 3, and a storage unit 4.
  • the diagnostic unit 2, the association unit 3, and the storage unit 4 are embodiments of the diagnostic means, the association means, and the storage means of the present disclosure, respectively. Further, the diagnosis unit 2, the association unit 3, and the storage unit 4 correspond to the deterioration diagnosis unit 21, the deterioration information generation unit 31, and the deterioration information storage unit 29, respectively, of the first embodiment.
  • the diagnosis unit 2 diagnoses the deterioration on the road by analyzing the sensor information collected by the moving body, and outputs the position of the detected deterioration.
  • the association unit 3 associates the diagnosis result with the confirmation result based on the position of the deterioration of the road surface confirmed by a person and the position of the deterioration detected by the diagnosis.
  • the storage unit 4 stores the result of the associated diagnosis and the result of the confirmation.
  • each component of the deterioration diagnosis device 20 and the terminal device 50 indicates a block of functional units. Some or all of the components of each device may be realized by any combination of the computer 500 and the program.
  • FIG. 26 is a block diagram showing an example of the hardware configuration of the computer 500.
  • the computer 500 may include, for example, a CPU (Central Processing Unit) 501, a ROM (Read Only Memory) 502, a RAM (Random Access Memory) 503, a program 504, a storage device 505, a drive device 507, and a communication interface 508. , Input device 509, output device 510, input / output interface 511, and bus 512.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the program 504 includes an instruction for realizing each function of each device.
  • the program 504 is stored in the ROM 502, the RAM 503, and the storage device 505 in advance.
  • the CPU 501 realizes each function of each device by executing the instruction included in the program 504.
  • the functions of the display control unit 23, the sensor information acquisition unit 24, the analysis unit 26, the transmission / reception unit 28, and the deterioration information generation unit 31 can be performed. Realize.
  • the RAM 503 of the deterioration diagnosis device 20 may store the data of the analysis model storage unit 27.
  • the storage device 505 of the deterioration diagnosis device 20 may store the data of the sensor information storage unit 25 and the deterioration information storage unit 29.
  • the drive device 507 reads and writes the recording medium 506.
  • the communication interface 508 provides an interface with a communication network.
  • the input device 509 is, for example, a mouse, a keyboard, or the like, and receives input of information from an operator or the like.
  • the output device 510 is, for example, a display, and outputs (displays) information to an operator or the like.
  • the input / output interface 511 provides an interface with peripheral devices. Bus 512 connects each component of these hardware.
  • the program 504 may be supplied to the CPU 501 via the communication network, or may be stored in the recording medium 506 in advance, read by the drive device 507, and supplied to the CPU 501.
  • FIG. 26 is an example, and components other than these may be added or may not include some components.
  • the deterioration diagnosis device 20 may be realized by any combination of a computer and a program that are different for each component.
  • a plurality of components included in each device may be realized by any combination of one computer and a program.
  • each component of each device may be realized by a general-purpose or dedicated circuitry including a processor or the like, or a combination thereof. These circuits may be composed of a single chip or a plurality of chips connected via a bus. A part or all of each component of each device may be realized by the combination of the circuit or the like and the program described above.
  • each component of each device when a part or all of each component of each device is realized by a plurality of computers, circuits, etc., the plurality of computers, circuits, etc. may be centrally arranged or distributed.
  • Deterioration diagnosis device 1, 20 Deterioration diagnosis device 2 Diagnosis unit 3 Association unit 4 Storage unit 10 Deterioration diagnosis system 21 Deterioration diagnosis unit 22 Deterioration information processing unit 23 Display control unit 24 Sensor information acquisition unit 25 Sensor information storage unit 26 Analysis unit 27 Analysis model storage unit 28, 51 Transmission / reception unit 29 Deterioration information storage unit 30 Display device 31 Deterioration information generation unit 40 Vehicle 50 Terminal device 52 Position acquisition unit 53 Guidance unit 54 Imaging unit 55 Display unit 56 Input unit 500 Computer 501 CPU 502 ROM 503 RAM 504 Program 505 Storage device 506 Recording medium 507 Drive device 508 Communication interface 509 Input device 510 Output device 511 Input / output interface 512 Bus

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Road Repair (AREA)

Abstract

移動体で収集したセンサ情報に基づいて検出された劣化に対して、その発生場所での、正しい確認結果を関連付ける。劣化診断装置1の診断部2は、移動体で収集したセンサ情報を分析することにより路上の劣化を診断し、検出された劣化の位置を出力する。関連付け部3は、人により確認された路上の劣化の位置と診断により検出された劣化の位置とに基づいて、診断の結果と前記確認の結果とを関連づける。記憶部4は、関連づけられた診断の結果と確認の結果とを記憶する。

Description

劣化診断システム、劣化診断装置、劣化診断方法、及び、記録媒体
 本開示は、劣化診断システム、劣化診断装置、劣化診断方法、及び、記録媒体に関する。
 道路の点検において、車両から撮影した道路画像をコンピュータで解析することにより、道路劣化を検出する劣化診断システムの導入が進められている。
 このような劣化診断システムの一例として、例えば、特許文献1には、車両により撮像した道路画像を収集して、道路劣化を検出し、端末に対して地図上の地点から、劣化等に関する情報を参照可能に表示させる舗装情報収集点検システムが開示されている。また、特許文献2には、路面画像情報の解析により検出された路面不具合と路面不具合の位置とを対応付け、地図上に示す不具合解析システムが開示されている。
特開2019-196680号公報 特開2018-017102号公報
 特許文献1や特許文献2に記載されたような劣化診断システムを用いて道路劣化を管理する場合、道路管理者等は、劣化の詳細な状態を調べるために、実際に劣化が発生している場所(現地)へ行き、直接、目視等で、劣化を確認する必要がある。この場合、道路管理者等は、劣化診断システムにより出力された劣化の状態や検出位置を参考に、現地へ行って劣化を確認するが、劣化診断システムにより出力された劣化とは別の劣化を確認してしまう可能性がある。このため、劣化診断システムで検出された劣化に対して、誤った確認結果が関連付けられてしまう可能性がある。
 本開示の目的の一つは、上述の課題を解決し、移動体で収集したセンサ情報に基づいて検出された劣化に対して、その発生場所での、正しい確認結果を関連付けることができる、劣化診断システム、劣化診断装置、劣化診断方法、及び、記録媒体を提供することである。
 本開示の一態様における劣化診断装置は、移動体で収集したセンサ情報を分析することにより路上の劣化を診断し、検出された劣化の位置を出力する診断手段と、人により確認された路上の劣化の位置と前記診断により検出された劣化の位置とに基づいて、前記診断の結果と前記確認の結果とを関連づける関連付け手段と、前記関連づけられた前記診断の結果と前記確認の結果とを記憶する記憶手段と、を備える。
 本開示の一態様における劣化診断システムは、本開示の一態様における劣化診断装置と、前記確認の結果の入力を受け付け、当該確認の結果を前記劣化診断装置に送信する、端末装置と、を備える。
 本開示の一態様における劣化診断方法は、移動体で収集したセンサ情報を分析することにより路上の劣化を診断し、検出された劣化の位置を出力し、人により確認された路上の劣化の位置と前記診断により検出された劣化の位置とに基づいて、前記診断の結果と前記確認の結果とを関連づけ、前記関連づけられた前記診断の結果と前記確認の結果とを記憶する。
 本開示の一態様における記録媒体は、コンピュータに、移動体で収集したセンサ情報を分析することにより路上の劣化を診断し、検出された劣化の位置を出力し、人により確認された路上の劣化の位置と前記診断により検出された劣化の位置とに基づいて、前記診断の結果と前記確認の結果とを関連づけ、前記関連づけられた前記診断の結果と前記確認の結果とを記憶する処理を実行させるプログラムを記録する。
 本開示の効果は、移動体で収集したセンサ情報に基づいて検出された劣化に対して、その発生場所での、正しい確認結果を関連付けることができることである。
第1の実施形態における、劣化診断システム10の構成を示す図である。 第1の実施形態における、診断結果の例を示す図である。 第1の実施形態における、確認結果の例を示す図である。 第1の実施形態における、劣化診断装置20と端末装置50との構成を示すブロック図である。 第1の実施形態における、劣化情報の例を示す図である。 第1の実施形態における、劣化診断システム10の全体的な動作を示すフローチャートである。 第1の実施形態における、診断処理(ステップS11)の詳細を示すフローチャートである。 第1の実施形態における、劣化情報の他の例を示す図である。 第1の実施形態における、劣化診断装置20の劣化位置地図画面の例を示す図である。 第1の実施形態における、劣化情報画面の例を示す図である。 第1の実施形態における、端末装置50の劣化位置地図画面の例を示す図である。 第1の実施形態における、ルート案内処理(ステップS17)の詳細を示すフローチャートである。 第1の実施形態における、ルート案内画面の例を示す図である。 第1の実施形態における、劣化位置案内画面の例を示す図である。 第1の実施形態における、確認結果入力画面の例を示す図である。 第1の実施形態における、関連付け処理(ステップS21)の詳細を示すフローチャートである。 第1の実施形態における、劣化診断装置20の劣化位置地図画面の他の例を示す図である。 第1の実施形態における、劣化情報画面の他の例を示す図である。 第1の実施形態における、劣化位置地図画面における劣化の表示態様の定義例を示す図である。 第1の実施形態における、劣化情報のさらに他の例を示す図である。 第1の実施形態における、劣化位置地図画面のさらに他の例を示す図である。 第1の実施形態における、劣化の表示態様の遷移の例を示す図である。 第1の実施形態における、劣化の表示態様の遷移の他の例を示す図である。 第2の実施形態における、診断結果選択画面の例を示す図である。 第3の実施形態における、劣化診断装置1の構成を示すブロック図である。 コンピュータ500のハードウェア構成の例を示すブロック図である。
 実施形態について図面を参照して詳細に説明する。なお、各図面、及び、明細書記載の各実施形態において、同様の構成要素には同一の符号を付与し、説明を適宜省略する。
 (第1の実施形態)
 第1の実施形態について説明する。
 はじめに、第1の実施形態における劣化診断システムの全体的な構成を説明する。図1は、第1の実施形態における、劣化診断システム10の構成を示す図である。図1を参照すると、劣化診断システム10は、劣化診断装置20、表示装置30、複数の車両40_1、40_2、…40_N(Nは自然数)(以下、まとめて、車両40とも記載)、端末装置50_1、50_2、…50_M(Mは自然数)(以下、まとめて、端末装置50とも記載)を含む。
 劣化診断装置20と車両40は、通信ネットワーク等を介して接続される。また、劣化診断装置20と端末装置50も、通信ネットワーク等を介して接続される。
 車両40は、例えば、地方自治体や、道路管理会社等、道路管理機関に属する。車両40は、ドライブレコーダーのカメラ等の画像センサにより道路画像を撮像し、画像データを撮影位置及び撮影日時とともに、画像情報として、劣化診断装置20に送信する。また、車両40は、加速度センサにより車両40の上下方向の加速度を検出し、検出位置及び検出日時とともに、加速度情報として、劣化診断装置20に送信する。以下、画像情報や加速度情報等、車両に搭載されたセンサにより検出された情報をセンサ情報とも記載する。
 劣化診断装置20及び表示装置30は、例えば、上述の道路管理機関に配置される。劣化診断装置20及び表示装置30は、一体でも別体でもよい。また、劣化診断装置20は、上述の道路管理機関以外に配置されてもよい。この場合、劣化診断装置20は、クラウドコンピューティングシステムにより実現されてもよい。
 劣化診断装置20は、それぞれの車両40から送信されるセンサ情報に基づいて、道路の劣化を診断する。ここで、劣化診断装置20は、診断により、路面に発生した「ひび割れ」や、「わだち掘れ」、「ポットホール」、「平坦性異常」等、路面の劣化を検出する。センサ情報に基づく道路の劣化の診断方法には、公知技術が用いられる。劣化診断装置20は、診断結果を、表示装置30や端末装置50を介して、道路管理機関の道路管理者や作業者等に出力する。
 図2は、第1の実施形態における、診断結果の例を示す図である。診断結果は、図2のように、情報取得日時、検出位置、検出種別、検出状態、及び、診断画像を含む。ここで、情報取得日時は、診断対象のセンサ情報の取得日時(画像情報の撮影日時や加速度情報の取得日時)を示す。検出位置は、診断により検出された劣化の検出位置を示す。検出位置は、診断対象のセンサ情報の取得位置(画像情報の撮影位置や加速度情報の取得位置)でもよい。
 検出種別は、診断により検出された劣化種別を示す。劣化種別としては、例えば、路面に発生した「ひび割れ」や、「わだち掘れ」、「ポットホール」、「平坦性異常」等が用いられる。検出状態は、検出種別に応じた劣化度を示す。劣化度としては、例えば、検出種別「ひび割れ」に対しては、ひび割れ率が、検出種別「わだち掘れ」に対しては、わだち掘れ量等が用いられる。ここで、ひび割れ率とは、検出位置(撮影位置)において撮影された道路画像に含まれる劣化の面積と、当該画像に含まれる道路の面積との比率を示す値である。また、例えば、検出種別「平坦性異常」に対しては、国際ラフネス指数(International Roughness Index(IRI))が用いられてもよい。IRIは、検出位置において取得された加速度情報に含まれる上下方向の加速度に基づいて算出される、道路の平坦性(道路の凹凸)を示す劣化指標である。また、劣化度として、維持管理指数(Maintenance Control Index(MCI))が用いられてもよい。MCIは、ひび割れ率、わだち掘れ量、及び、平坦性等から求められる複合劣化指標である。診断画像は診断対象の道路画像に関する画像情報の画像データを示す。
 端末装置50は、道路管理機関の作業者等により携帯される。端末装置50は、例えば、タブレットやスマートフォンである。作業者は、端末装置50に出力された診断結果を参考に、検出された劣化が発生している場所(以下、現地とも記載)へ行き、劣化を直接、目視等で確認する。現地で劣化を確認した作業者は、端末装置50を用いて、劣化の確認結果を劣化診断装置20に送信する。
 図3は、第1の実施形態における、確認結果の例を示す図である。確認結果は、例えば、確認日時、確認位置、確認種別、コメント、確認画像、及び、補修状態を含む。ここで、確認日時は、現地で劣化を確認した日時を示す。確認日時には、例えば、確認画像の撮影日時が設定される。なお、確認日時には、確認結果が送信される日時や、作業者により確認種別やコメントが入力された日時が設定されてもよい。確認位置は、現地で確認された劣化の位置を示す。確認位置には、例えば、確認画像の撮影位置が設定される。なお、確認位置には、確認結果が送信された時点や、作業者により確認種別やコメントが入力された時点の端末装置50の位置が設定されてもよい。確認種別は、作業者により入力される、現地で確認された劣化種別を示す。コメントは、作業者により入力される、現地で確認された劣化についてのコメントである。確認画像は、現地で確認された劣化を撮像した画像データである。確認画像の画像データは、例えば、作業者が現地へ行って劣化を確認したときに、当該劣化に対して作業者により撮影された1以上の画像データから作業者により指定される。補修状態は、現地で確認された劣化が補修されているか否かを示す。劣化が補修されている場合、補修状態には「済」が設定される。劣化が補修されていない場合、補修状態には「未」が設定される。補修は、例えば、作業者が現地で劣化を確認したタイミングで行われる。また、補修は、作業者が現地で劣化を確認したタイミングより後に行われてもよい。なお、確認結果は、さらに、確認を行った作業者の氏名や識別子、確認作業に用いた端末装置50の識別子を含んでいてもよい。
 劣化診断装置20は、端末装置50から受信した確認結果を、診断結果と関連付けて記憶する。
 なお、本実施形態では、センサ情報を送信する移動体が車両40の場合について説明するが、センサ情報を取得し劣化診断装置20に送信できれば、移動体は、自転車やドローン、人でもよい。
 また、本実施形態では、センサ情報に基づく劣化診断の対象が、路上の舗装の劣化(路面の劣化)であり、診断の結果、上述の劣化種別が検出される場合について説明する。しかしながら、これに限らず、劣化診断の対象は、シール材等の補修材や白線、ガードレール、標識、路面標識、街灯等、路上に設置されたものでもよい。この場合、診断の結果、劣化が検出されたものの種別が出力される。また、上述の検出種別として、劣化種別の代わりに、これら補修材や白線、ガードレール、標識、路面標識、街灯等、劣化が検出されたものの種別が用いられる。さらに、センサ情報に基づく診断の対象は、劣化に限らず、路上の積雪や落下物等の障害物でもよい。この場合、診断の結果、検出された障害物の種別が出力される。また、上述の検出種別として、劣化種別の代わりに、積雪や落下物等、検出された障害物の種別が用いられ、検出状態には、上述の劣化度の代わりに、積雪量や落下物の大きさ等、検出された障害物の量や大きさが用いられる。
 また、劣化診断の対象は、空港の滑走路や誘導路、待機場、鉄道の線路等、自動車以外が走行する路上でもよい。
 また、劣化診断の対象は、移動体により収集されたセンサ情報に基づき診断されるものであれば、路上に限らず、地上に設置される各種建物や施設、設備等の構造物でもよい。
 次に、第1の実施形態における劣化診断装置20と端末装置50の構成を説明する。図4は、第1の実施形態における、劣化診断装置20と端末装置50との構成を示すブロック図である。
 劣化診断装置20は、図4に示すように、劣化診断部21、劣化情報処理部22、表示制御部23、及び、送受信部28を含む。
 劣化診断部21は、センサ情報取得部24、センサ情報記憶部25、分析部26、及び、分析モデル記憶部27を含む。
 センサ情報取得部24は、車両40のそれぞれからセンサ情報を取得する。
 分析部26は、公知技術を用いて、取得したセンサ情報に基づく劣化診断、すなわち、センサ情報の分析による劣化の有無や種別の判定を行う。例えば、劣化診断装置20は、道路の劣化の画像を機械学習により学習させた分析モデルを用いて、画像情報を分析する。そして、分析部26は、検出された劣化について、劣化度合いを算出する。分析部26は、診断結果を、劣化情報処理部22に出力する。
 分析モデル記憶部27は、分析部26が用いる分析モデルを記憶する。
 劣化情報処理部22は、劣化情報記憶部29、及び、劣化情報生成部31を含む。
 劣化情報生成部31は、劣化情報を生成する。劣化情報は、分析部26から入力された診断結果に、端末装置50から受信した確認結果を関連付けた(紐づけた)情報である。図5は、第1の実施形態における、劣化情報の例を示す図である。劣化情報は、図5に示すように、劣化ID(IDentifier)、診断結果、及び、確認結果を含む。劣化IDは、劣化診断部21により検出された劣化を一意に識別する識別子である。劣化IDは、劣化情報生成部31により付与される。劣化情報生成部31は、診断結果に含まれる検出位置と確認結果に含まれる確認位置とに基づいて、診断結果と確認結果とを関連付け(紐づけ)る。
 劣化情報記憶部29は、劣化情報生成部31により生成された劣化情報を記憶する。
 表示制御部23は、劣化情報に基づき、劣化の検出位置を示す地図画面(以下、劣化位置地図画面)や、劣化位置地図画面上で指定された劣化情報を示す画面(以下、劣化情報画面とも記載)を、表示装置30や端末装置50に表示させる。表示制御部23は、劣化位置地図画面において、確認結果の有無等に応じて異なる表示態様で劣化の検出位置を表示する。
 送受信部28は、端末装置50からの要求に応じて、劣化位置地図画面や劣化情報画面、劣化情報の内容(例えば、劣化の検出位置)を送信する。また、送受信部28は、端末装置50から確認結果を受信する。
 端末装置50は、図4に示すように、送受信部51、位置取得部52、案内部53、撮像部54、表示部55、及び、入力部56を含む。
 送受信部51は、劣化診断装置20から、劣化位置地図画面や劣化情報画面、劣化情報の内容(例えば、劣化の検出位置)を受信する。また、送受信部51は、劣化診断装置20に確認結果を送信する。
 位置取得部52は、端末装置50の位置を示す位置情報を取得する。位置取得部52は、例えば、GPS(Global Positioning System)を用いて位置情報を取得する。
 案内部53は、位置取得部52が取得した端末装置50の位置と、劣化診断装置20から受信した劣化の検出位置に基づき、検出位置までのルート案内を行う。また、案内部53は、端末装置50が劣化の検出位置に近づいたことを、作業者に通知する。
 撮像部54は、動画や静止画を撮像する。撮像部は、ルート案内時に、進行方向の道路画像を撮像する。また、撮像部54は、作業者の操作に応じて、確認した劣化を撮像する。撮像部54は、例えば、タブレットやスマートフォンに搭載されているカメラである。
 表示部55は、地図上で、劣化診断装置20から受信した劣化の検出位置を表示する。また、表示部55は、案内部53が取得したルートを表示する。さらに、表示部55は、作業者による確認結果の入力画面を表示する。表示部55は、例えば、タブレットやスマートフォンのディスプレイである。
 入力部56は、作業者より、端末装置50に対する操作の指示や、劣化の確認結果の入力を受け付ける。入力部56は、例えば、タブレットやスマートフォンのディスプレイ表面に設けられたタッチパネルである。
 なお、劣化診断部21、劣化情報生成部31、及び、劣化情報記憶部29は、それぞれ、本開示の診断手段、関連付け手段、及び、記憶手段の一実施形態である。また、表示制御部23は、本開示の表示制御手段の一実施形態である。さらに、表示装置30や端末装置50は、本開示の表示手段の一実施形態である。
 次に、第1の実施形態の動作について説明する。
 図6は、第1の実施形態における、劣化診断システム10の全体的な動作を示すフローチャートである。
 劣化診断システム10の劣化診断装置20は、各車両40から送信されるセンサ情報に基づいて、道路の劣化を診断し、診断結果を生成する(ステップS11)。
 図7は、第1の実施形態における、診断処理(ステップS11)の詳細を示すフローチャートである。
 各車両40は、取得したセンサ情報(画像情報、及び、加速度情報)を、劣化診断装置20に送信する(ステップS111)。
 劣化診断装置20において、劣化診断部21のセンサ情報取得部24は、センサ情報を取得する(ステップS112)。分析部26は、センサ情報の分析により、道路の劣化を診断する(ステップS113)。分析部26は、診断により検出された劣化について、診断結果を生成する(ステップS114)。例えば、分析部26は、図2のような診断結果を生成する。分析部26は、診断結果を劣化情報処理部22に出力する。
 劣化情報処理部22の劣化情報生成部31は、診断結果を劣化情報に格納し、劣化情報記憶部29に記憶させる(ステップS115)。図8は、第1の実施形態における、劣化情報の他の例を示す図である。例えば、劣化情報生成部31は、図8のように、劣化ID「D1」に対して、図2の診断結果を格納する。
 次に、表示制御部23は、劣化情報に基づき、表示装置30に、劣化位置地図画面を表示させる(ステップS12)。図9は、第1の実施形態における、劣化診断装置20の劣化位置地図画面の例を示す図である。図9の例では、地図上の劣化「D1」の検出位置に白丸が表示され、さらに、「劣化情報」ボタンが表示されている。ここで、白丸は、確認結果が得られていない(関連付けられていない)劣化を示す。例えば、表示制御部23は、図8の劣化情報に基づき、図9の劣化位置地図画面を表示装置30に表示させる。
 表示制御部23は、表示装置30の劣化位置地図画面上で、道路管理者から指定された劣化の劣化情報を示す劣化情報画面を、表示装置30に表示させる(ステップS13)。図10は、第1の実施形態における、劣化情報画面の例を示す図である。図10は、劣化「D1」が指定された場合の例であり、劣化「D1」の診断結果における、情報取得日時、検出種別、検出状態、及び、診断画像が示されている。例えば、表示制御部23は、図9の劣化位置地図画面で、道路管理者が劣化「D1」を指定し、「劣化情報」ボタンを押下すると、図8の劣化情報に基づき、図10の劣化情報画面を表示装置30に表示させる。
 道路管理者は、劣化情報画面により劣化の診断結果を確認し、当該劣化の現地での確認が必要と判断すると、作業者に当該劣化の現地確認を指示する。作業者は、端末装置50を携帯して、現地へ向かう。
 次に、端末装置50の案内部53は、作業者の操作に応じて、劣化診断装置20に、劣化位置地図画面を要求する(ステップS14)。劣化診断装置20の表示制御部23は、端末装置50からの要求に応じて、端末装置50に劣化位置地図画面を送信する(ステップS15)。
 端末装置50の案内部53は、受信した劣化位置地図画面を表示部55に表示させる(ステップS16)。ここで、案内部53は、劣化位置地図画面に、位置取得部52が取得した端末装置50の位置を示して、表示させる。図11は、第1の実施形態における、端末装置50の劣化位置地図画面の例を示す図である。図11の例では、図9と同様の劣化位置地図画面において、端末装置50の現在位置が、黒い三角で示され、さらに、「ルート案内」ボタン、及び、「確認結果入力」ボタンが表示されている。例えば、案内部53は、図11の劣化位置地図画面を表示部55に表示させる。
 なお、案内部53は、上述のステップS13と同様に、劣化位置地図画面上で、作業者から劣化の指定を受け付け、指定された劣化の劣化情報画面を、劣化診断装置20の表示制御部23から取得し、表示部55に表示させてもよい。
 次に、案内部53は、劣化の検出位置へのルート案内を行う(ステップS17)。
 図12は、第1の実施形態における、ルート案内処理(ステップS17)の詳細を示すフローチャートである。案内部53は、劣化位置地図画面上で、作業者から劣化の指定を受け付ける(ステップS171)。案内部53は、指定された劣化の検出位置と端末装置50の位置とに基づいて、端末装置50の位置から検出位置までのルートを取得する(ステップS172)。ここで、案内部53は、例えば、ルートを、地図情報提供サービス等を提供するサーバ装置(図示せず)から取得する。また、案内部53は、端末装置50に記憶された地図情報に基づいてルートを算出してもよい。案内部53は、取得したルートが劣化位置地図画面上に示されたルート案内画面を、表示部55に表示させる。
 図13は、第1の実施形態における、ルート案内画面の例を示す図である。図13の例では、劣化位置地図画面上に、端末装置50の現在の位置から劣化「D1」の検出位置までのルートが太線で示され、さらに、「案内開始」ボタンが表示されている。例えば、案内部53は、図11の劣化位置地図画面上で、作業者が劣化「D1」を指定し、「ルート案内」ボタンを押下すると、図13のルート案内画面を表示する。そして、案内部53は、図13のルート案内画面上で、作業者が「案内開始」ボタンを押下すると、ルート案内を開始する。
 案内部53は、取得したルートに沿って、作業者を検出位置まで案内する(ステップS173)。ここで、案内部53は、例えば、周知のナビゲーション技術を用いて、交差点や分岐点等で必要な案内を行う。
 案内部53は、端末装置50の位置と検出位置との間の距離が所定の閾値以下かを判断する(ステップS174)。
 案内部53は、距離が所定の閾値以下の場合(ステップS174/Yes)、端末装置50が劣化の検出位置に近づいたことを、作業者に通知する(ステップS175)。ここで、案内部53は、例えば、撮像部54が撮像した進行方向の道路画像内で劣化の検出位置を示した劣化位置案内画面を、表示部55に表示させる。図14は、第1の実施形態における、劣化位置案内画面の例を示す図である。図14の例では、撮像部54が撮像した道路画像上の検出位置「LD1」に相当する位置に、劣化「D1」を示す白丸と検出種別「ひび割れ」を示すアイコンが重畳されている。例えば、案内部53は、図14の劣化位置案内画面を表示させる。作業者は、劣化位置案内画面を見ながら、丸が重畳表示されている地点まで近づくことにより、劣化診断装置20により検出された劣化に対応する劣化を、現地で容易に見つけることができる。
 作業者は、劣化診断装置20により検出された劣化に対応する劣化を、直接、目視等で確認する。ここで、作業者は、撮像部54を用いて、確認した劣化を撮像する。
 次に、入力部56は、作業者から、確認した劣化について、確認結果の入力を受け付ける(ステップS18)。図15は、第1の実施形態における、確認結果入力画面の例を示す図である。図15の例では、劣化位置地図画面上に、確認日時、確認位置とともに、確認種別、コメント、補修状態、確認画像の画像データの入力欄が表示され、さらに、「送信」ボタンが表示されている。例えば、入力部56は、作業者が図11の劣化位置地図画面で「確認結果入力」ボタンを押下すると、図15の確認結果入力画面を表示する。そして、入力部56は、作業者が図15の確認結果入力画面で確認画像の画像データを指定すると、確認日時、確認位置に、確認画像の撮影日時、撮影位置を表示する。
 送受信部51は、確認結果を劣化診断装置20に送信する(ステップS19)。例えば、送受信部51は、作業者が図15の確認結果入力画面で「送信」ボタンを押下すると、図3の確認結果を劣化診断装置20に送信する。
 劣化診断装置20の送受信部28は、端末装置50から、確認結果を受信する(ステップS20)。劣化情報処理部22の劣化情報生成部31は、受信した確認結果を、劣化情報記憶部29に記憶されている劣化情報の診断結果に関連付け、当該劣化情報に格納する(ステップS21)。
 図16は、第1の実施形態における、関連付け処理(ステップS21)の詳細を示すフローチャートである。
 劣化診断装置20の劣化情報生成部31は、劣化情報において確認結果が関連付けられていない診断結果のうち、ステップS20で受信した確認結果との関連付け条件を満たす診断結果を抽出する(ステップS211)。ここで、関連付け条件として、例えば、診断結果における検出位置と確認結果における確認位置との間の距離が所定の閾値以下であること(以下、条件1とも記載)を用いる。
 また、条件1に加えて、診断結果における情報取得日時と確認結果における確認日時との時間差が所定の閾値以下であること(以下、条件2とも記載)、すなわち、条件1と条件2のAND条件を関連付け条件として用いてもよい。
 また、条件1に加えて、診断結果の検出種別と確認結果の確認種別とが同種であること(以下、条件3とも記載)、すなわち、条件1と条件3のAND条件を関連付け条件として用いてもよい。
 また、条件1、2、及び、3のAND条件を関連付け条件として用いてもよい。
 劣化情報生成部31は、抽出した診断結果に確認結果を関連付けて、劣化情報に格納して、劣化情報記憶部29に記憶させる(ステップS212)。
 例えば、関連付け条件として、上述の条件1を用いる場合であって、図3の確認結果の確認位置「LC1」と、図8の劣化情報における劣化「D1」の診断結果の検出位置「LD1」との間の距離が所定の閾値以下の場合、劣化情報生成部31は、劣化「D1」の診断結果を抽出する。そして、劣化情報生成部31は、図5のように、劣化「D1」の診断結果に、図3の確認結果を関連づける。
 なお、ステップS211で、確認結果との関連付け条件が満たされる診断結果を抽出できない場合、劣化情報生成部31は、ステップS20で受信した確認結果を、新たな劣化として、劣化情報に格納してもよい。この場合、劣化情報生成部31は、例えば、確認結果に対して、新たな劣化IDを付与して、劣化情報に格納する。
 次に、表示制御部23は、更新された劣化情報に基づき、表示装置30に、劣化位置地図画面を表示させる(ステップS22)。図17は、第1の実施形態における、劣化診断装置20の劣化位置地図画面の他の例を示す図である。図17の例では、地図上の劣化「D1」の検出位置に、グレーの丸が表示されている。ここで、グレーの丸は、確認結果が得られた(関連付けられた)劣化を示す。例えば、表示制御部23は、図5の劣化情報に基づき、図17の劣化位置地図画面を表示制御部23に表示させる。
 表示制御部23は、表示装置30の劣化位置地図画面上で、道路管理者から指定された劣化を示す劣化情報画面を、表示装置30に表示させる(ステップS23)。図18は、第1の実施形態における、劣化情報画面の他の例を示す図である。図18は、劣化「D1」が指定された場合の例であり、劣化「D1」の診断結果における、情報取得日時、検出種別、検出状態、及び、診断画像に加えて、確認結果における、確認日時、確認種別、コメント、補修状態、及び、確認画像が示されている。例えば、表示制御部23は、図17の劣化位置地図画面で、道路管理者が劣化「D1」を指定し、「劣化情報」ボタンを押下すると、図5の劣化情報に基づき、図18の劣化情報画面を表示装置30に表示させる。
 さらに、上述のステップS14~S16と同様に、端末装置50も劣化診断装置20から、更新された劣化情報に基づく劣化位置地図画面や劣化情報画面を受信し、表示してもよい。
 以降、車両40から劣化診断装置20に新たなセンサ情報が送信されると、ステップS11からの動作が実行される。
 例えば、新たなセンサ情報に対する診断により、検出済みの劣化の検出位置の近傍で、当該検出済みの劣化と同じ検出種別の劣化が検出された場合、劣化情報生成部31は、新たな診断による劣化を検出済みの劣化と同じ劣化と判断する。ここで、近傍とは、距離が所定の範囲内であるものとする。この場合、劣化情報生成部31は、劣化情報において、検出済みの劣化の診断結果を、新たな診断結果で更新する。
 一方、新たなセンサ情報に対する診断により、検出済みの劣化の検出位置の近傍で、当該検出済みの劣化と異なる検出種別の劣化が検出された場合、劣化情報生成部31は、新たな診断による劣化を新たな劣化と判断する。この場合、劣化情報生成部31は、新たな診断結果を、新たな劣化の診断結果として、劣化情報に登録する。
 以上により、第1の実施形態の動作が完了する。
 (第1の実施形態の変形例1)
 上述の説明では、劣化位置地図において、劣化情報において確認結果が関連付けられていない劣化と、関連付けられている劣化とを異なる態様(白丸とグレーの丸)で表示した。これに限らず、劣化情報の内容に応じた他の態様で、劣化を表示してもよい。この場合、劣化情報の内容に応じて、例えば、異なる記号や、図形、文字、模様、色、大きさ、線種、これらの組合せを用いて、劣化を表示してもよい。
 図19は、第1の実施形態における、劣化位置地図画面における劣化の表示態様の定義例を示す図である。図19の例では、劣化情報における確認結果の関連づけの有無(確認結果:有または無)、診断結果の検出種別と確認結果の確認種別との同異(種別:同または異)、確認結果の補修状態が示す補修の有無(補修:済または未)に応じて、異なる図形が定義されている。
 表示制御部23は、劣化情報に含まれる各劣化について、劣化情報の内容に応じて、劣化の表示態様(図形)を決定し、地図上の、劣化が検出された位置に表示する。
 図20は、第1の実施形態における、劣化情報のさらに他の例を示す図である。また、図21は、第1の実施形態における、劣化位置地図画面のさらに他の例を示す図である。例えば、表示制御部23は、図19の表示態様の定義と図20の劣化情報とに基づき、図21の劣化位置地図画面を表示装置30に表示させる。
 (第1の実施形態の変形例2)
 劣化情報生成部31は、新たなセンサ情報に対する診断により、検出済みの劣化の検出位置の近傍で、当該劣化と同じ検出種別の劣化が検出された場合、検出状態(劣化度)の悪化の有無を判定してもよい。ここで、劣化情報生成部31は、新たな診断結果における検出状態が前の診断結果より悪化している場合に、関連付けられた確認結果を削除するとともに、検出状態の悪化を道路管理者に通知してもよい。劣化情報生成部31は、例えば、新たな診断結果における検出状態と前の診断結果における検出状態との差が所定の閾値以上であれば、検出状態の悪化と判定する。
 図22は、第1の実施形態における、劣化の表示態様の遷移の例を示す図である。図22の例では、劣化「D1」の検出位置「LD1」の前の診断結果を第1の診断結果、検出位置「LD1」の近傍における新たな診断結果を第2の診断結果と記載している。また、図22における劣化の表示態様は、図19の定義に従っている。
 例えば、検出状態「ひび割れ率」に関する所定の閾値が「5%」の場合、図22のケース1では、検出状態の差が所定の閾値未満であるため、確認結果は削除されない。したがって、第1の診断結果に対して確認結果が得られた時点で表示された「グレーの丸」は、第2の診断結果が得られても変わらない。一方、図22のケース2では、検出状態の差が所定の閾値以上であるため、確認結果が削除される。したがって、第1の診断結果に対して確認結果が得られた時点で表示された表示態様「グレーの丸」は、第2の診断結果が得られた時点で、「白丸」に戻される。そして、ポップアップにより、検出状態の悪化が通知される。
 これにより、道路管理者は、確認済みの劣化について、検出状態が悪化していることを把握できる。そして、現地での再確認の必要性を判断し、作業者へ現地での再確認を指示できる。
 (第1の実施形態の変形例3)
 新たなセンサ情報に対する診断により、検出済み、かつ、補修済みの劣化の検出位置の近傍で、当該劣化と同じ検出種別の劣化が検出された場合、補修跡を劣化として誤検出する可能性がある。そこで、劣化情報生成部31は、この場合に、新たな診断結果を劣化診断装置20の保守者等に通知し、誤検出かどうかを確認させてもよい。保守者等による確認の結果、誤検出であった場合は、劣化情報生成部31は、劣化情報における診断結果の更新は行わない。一方、誤検出でなかった場合、劣化情報生成部31は、新たな診断結果を新たな劣化の診断結果として、劣化情報に登録し、新たな劣化の検出を道路管理者に通知してもよい。このように、検出済み、かつ、補修済みの劣化の検出位置の近傍における新たな診断結果を保守者に通知することで、保守者は、誤検出を引き起こすデータを確認することができ、劣化診断装置20の診断結果の精度改善に役立てることができる。なお、誤検出の確認を、道路管理者等、保守者以外が行ってもよい。
 図23は、第1の実施形態における、劣化の表示態様の遷移の他の例を示す図である。図23の例では、補修済みの劣化「D1」の検出位置「LD1」の前の診断結果を第1の診断結果、検出位置「LD1」の近傍における新たな診断結果を第2の診断結果と記載している。また、図23における劣化の表示態様も、図19の定義に従っている。
 例えば、図23のケース1では、保守者等による確認結果が誤検出であったため、診断結果は更新されない。したがって、第1の診断結果に対して確認結果が得られた時点で表示された「グレーの四角」は、第2の診断結果が得られても変わらない。一方、図23のケース2では、保守者等による確認結果が誤検出でなかったため、第2の診断結果が新たな劣化「D6」の診断結果として登録される。したがって、さらに、第2の診断結果に対して「白丸」が表示される。そして、ポップアップにより、新たな劣化の検出が通知されている。
 これにより、道路管理者は、補修済みの劣化の近傍に新たな劣化が発生していることを把握できる。そして、現地での確認の必要性を判断し、作業者へ現地での確認を指示できる。
 (第1の実施形態の変形例4)
 第1の実施形態では、診断結果と確認結果との関連付け条件として、位置に加えて、日時や劣化種別に関する条件を用いた。しかしながら、これに限らず、さらに、撮影方向に関する条件を用いてもよい。
 例えば、劣化診断装置20は、車両40から、道路画像の撮影方向を含むセンサ情報を取得し、診断結果に含めて、劣化情報に格納する。道路画像の撮影方向は、例えば、車両に搭載されたジャイロセンサーにより取得される。また、劣化診断装置20は、端末装置50から、確認画像の撮影方向を含む確認結果を取得する。確認画像の撮影方向も、例えば、端末装置50のジャイロセンサーにより取得される。
 劣化情報生成部31は、上述の関連付け処理(ステップS21)において、診断結果の撮影方向と確認結果の撮影方向との差が所定の閾値以下であることを条件4とする。そして、劣化情報生成部31は、条件1と条件4のAND条件や、条件1、2、及び、4のAND条件、条件1、3、及び、4のAND条件、条件1、2、3、及び、4のAND条件を関連付け条件として、診断結果と確認結果とを関連付ける。
 これにより、さらに正確に、診断結果と確認結果とを関連づけることができる。
 (第1の実施形態の変形例5)
 第1の実施形態では、劣化情報に格納されている診断結果に対して、確認結果が関連付けられる場合について説明した。しかしながら、これに限らず、劣化情報に格納されている確認結果に対して、診断結果が関連付けられてもよい。
 例えば、地域住民から道路の劣化がクレームとして寄せられ、作業者が、クレームされた劣化の地点に行き、当該劣化の確認結果を劣化診断装置20に送信する場合がある。この場合、道路管理者は、地域住民から寄せられた、ある地点における道路の劣化に関するクレームを受け付ける。劣化のクレームは、例えば、窓口や、電話、メール等で受け付ける。道路管理者は、受け付けたクレームにおける、劣化の位置と、劣化の種別や大きさ等の情報を作業者に伝える。作業者は、このような情報に基づいて、現地に行き、クレームされた劣化を確認して、端末装置50を用いて確認結果を劣化診断装置20に送信する。
 劣化診断装置20では、劣化情報生成部31が、受信した確認結果との関連付け条件を満たす診断結果の有無を判定する。関連付け条件を満たす診断結果があれば、劣化情報生成部31は、確認結果を診断結果に関連付ける。
 関連付け条件を満たす診断結果がなければ、劣化情報生成部31は、当該確認結果を、新たな劣化として劣化情報に格納する。この場合、劣化情報生成部31は、例えば、確認結果に対して、新たな劣化IDを付与して、劣化情報に格納する。また、表示制御部23は、このように、劣化情報において診断結果が関連付けられていない劣化を、上述の劣化位置地図上の、確認位置に示してもよい。この場合、表示制御部23は、診断結果が関連付けられていない劣化を、診断結果が得られている劣化と異なる態様で示してもよい。
 その後、劣化診断部21により、新たな診断結果が取得された場合、劣化情報生成部31は、劣化情報において診断結果が関連付けられていない確認結果のうち、新たな診断結果との関連付け条件を満たす確認結果の有無を判定する。関連付け条件を満たす確認結果があれば、劣化情報生成部31は、診断結果を確認結果に関連付ける。表示制御部23は、このように、診断結果が関連付けられた劣化については、例えば、図17のような、確認結果が得られた劣化と同様の態様で、劣化位置地図上の検出位置に示してもよい。
 これにより、ある劣化に対して、診断結果より前に確認結果が得られる場合であっても、診断結果と確認結果とを関連づけることができる。
 (第1の実施形態の効果)
 第1の実施形態によれば、移動体で収集したセンサ情報に基づいて検出された劣化に対して、その発生場所での、正しい確認結果を関連付けることができる。その理由は、劣化診断装置20の劣化情報処理部22が、作業者により確認された路上の劣化の位置と診断により検出された劣化の位置とに基づいて、診断結果と確認結果とを関連づけるためである。
 (第2の実施形態)
 第2の実施形態について説明する。
 第2の実施形態では、関連付け処理において、確認結果との関連付け条件を満たす診断結果が複数存在する場合について説明する。
 上述の関連付け処理(ステップS21)において、確認結果との関連付け条件を満たす診断結果が複数存在する場合、劣化情報生成部31は、関連付け条件を満たす診断結果を、関連付け候補として、道路管理者に出力する。そして、劣化情報生成部31は、道路管理者から、関連付け候補のうちの確認結果との関連付けする診断結果の選択を受け付ける。
 図24は、第2の実施形態における、診断結果選択画面の例を示す図である。図24の例では、確認結果と、当該確認結果との関連付け条件を満たす、劣化「D1」、「D7」の診断結果、及び、各診断結果の「選択」ボタンが表示されている。
 道路管理者は、例えば、それぞれの診断画像と、確認画像と見比べることで、確認対象と関連付ける診断結果を選択する。
 例えば、劣化情報生成部31は、表示制御部23に、図24の診断結果選択画面を表示装置30に表示させ、道路管理者が「選択」ボタンを押下することにより選択した診断結果に、確認結果を関連付け、劣化情報に格納する。
 (第2の実施形態の効果)
 第2の実施形態によれば、第1の実施形態の効果に加えて、確認結果との関連付け条件を満たす診断結果が複数存在する場合であっても、正しい確認結果を関連付けることができる。その理由は、劣化情報処理部22が、関連付け条件を満たす診断結果が複数ある場合に、当該複数の診断結果を出力し、当該複数の診断結果のうちの確認結果と関連付ける診断結果の選択を受け付けるためである。
(第3の実施形態)
 第3の実施形態について説明する。
 図25は、第3の実施形態における、劣化診断装置1の構成を示すブロック図である。劣化診断装置1は、診断部2、関連付け部3、及び、記憶部4を含む。診断部2、関連付け部3、及び、記憶部4は、それぞれ、本開示の診断手段、関連付け手段、及び、記憶手段の一実施形態である。また、診断部2、関連付け部3、及び、記憶部4は、それぞれ、第1の実施形態の、劣化診断部21、劣化情報生成部31、及び、劣化情報記憶部29に相当する。
 診断部2は、移動体で収集したセンサ情報を分析することにより路上の劣化を診断し、検出された劣化の位置を出力する。関連付け部3は、人により確認された路面の劣化の位置と診断により検出された劣化の位置とに基づいて、診断の結果と確認の結果とを関連づける。記憶部4は、関連づけられた診断の結果と確認の結果とを記憶する。
 (第3の実施形態の効果)
 第3の実施形態によれば、移動体で収集したセンサ情報に基づいて検出された劣化に対して、その発生場所での、正しい確認結果を関連付けることができる。その理由は、劣化診断装置1の関連付け部3が、人により確認された路上の劣化の位置と診断により検出された劣化の位置とに基づいて、診断の結果と確認の結果とを関連づけるためである。
(ハードウェア構成)
 上述した各実施形態において、劣化診断装置20や端末装置50の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、コンピュータ500とプログラムとの任意の組み合わせにより実現されてもよい。
 図26は、コンピュータ500のハードウェア構成の例を示すブロック図である。図26を参照すると、コンピュータ500は、例えば、CPU(Central Processing Unit)501、ROM(Read Only Memory)502、RAM(Random Access Memory)503、プログラム504、記憶装置505、ドライブ装置507、通信インタフェース508、入力装置509、出力装置510、入出力インタフェース511、及び、バス512を含む。
 プログラム504は、各装置の各機能を実現するための命令(instruction)を含む。プログラム504は、予め、ROM502やRAM503、記憶装置505に格納される。CPU501は、プログラム504に含まれる命令を実行することにより、各装置の各機能を実現する。例えば、劣化診断装置20のCPU501がプログラム504に含まれる命令を実行することにより、表示制御部23、センサ情報取得部24、分析部26、送受信部28、及び、劣化情報生成部31の機能を実現する。また、例えば、劣化診断装置20のRAM503が、分析モデル記憶部27のデータを記憶してもよい。また、例えば、劣化診断装置20の記憶装置505が、センサ情報記憶部25、及び、劣化情報記憶部29のデータを記憶してもよい。
 ドライブ装置507は、記録媒体506の読み書きを行う。通信インタフェース508は、通信ネットワークとのインタフェースを提供する。入力装置509は、例えば、マウスやキーボード等であり、オペレータ等からの情報の入力を受け付ける。出力装置510は、例えば、ディスプレイであり、オペレータ等へ情報を出力(表示)する。入出力インタフェース511は、周辺機器とのインタフェースを提供する。バス512は、これらハードウェアの各構成要素を接続する。なお、プログラム504は、通信ネットワークを介してCPU501に供給されてもよいし、予め、記録媒体506に格納され、ドライブ装置507により読み出され、CPU501に供給されてもよい。
 なお、図26に示されているハードウェア構成は例示であり、これら以外の構成要素が追加されていてもよく、一部の構成要素を含まなくてもよい。
 劣化診断装置20や端末装置50の実現方法には、様々な変形例がある。例えば、劣化診断装置20は、構成要素毎にそれぞれ異なるコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つのコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。
 また、各装置の各構成要素の一部または全部は、プロセッサ等を含む汎用または専用の回路(circuitry)や、これらの組み合わせによって実現されてもよい。これらの回路は、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
 また、各装置の各構成要素の一部又は全部が複数のコンピュータや回路等により実現される場合、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。
 以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本開示のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。
 1、20  劣化診断装置
 2     診断部
 3     関連付け部
 4     記憶部
 10    劣化診断システム
 21    劣化診断部
 22    劣化情報処理部
 23    表示制御部
 24    センサ情報取得部
 25    センサ情報記憶部
 26    分析部
 27    分析モデル記憶部
 28、51 送受信部
 29    劣化情報記憶部
 30    表示装置
 31    劣化情報生成部
 40    車両
 50    端末装置
 52    位置取得部
 53    案内部
 54    撮像部
 55    表示部
 56    入力部
 500  コンピュータ
 501  CPU
 502  ROM
 503  RAM
 504  プログラム
 505  記憶装置
 506  記録媒体
 507  ドライブ装置
 508  通信インタフェース
 509  入力装置
 510  出力装置
 511  入出力インタフェース
 512  バス

Claims (9)

  1.  移動体で収集したセンサ情報を分析することにより路上の劣化を診断し、検出された劣化の位置を出力する診断手段と、
     人により確認された路上の劣化の位置と前記診断により検出された劣化の位置とに基づいて、前記診断の結果と前記確認の結果とを関連づける関連付け手段と、
     前記関連づけられた前記診断の結果と前記確認の結果とを記憶する記憶手段と、を備える
     劣化診断装置。
  2.  前記関連付け手段は、前記検出された劣化の位置と前記確認された劣化の位置との間の距離に関する条件と、前記センサ情報が収集された日時と前記確認された日時との時間差に関する条件、及び、前記検出された劣化と前記確認された劣化の種別に関する条件のうちの1つ以上と、を含む関連付け条件に基づいて、前記診断の結果と前記確認の結果とを関連づける、
     請求項1に記載の劣化診断装置。
  3.  前記関連付け手段は、前記関連付け条件を満たす前記診断の結果が複数ある場合に、当該複数の前記診断の結果を出力し、当該複数の前記診断の結果のうちの前記確認の結果と関連付ける前記診断の結果の選択を受け付ける、
     請求項2に記載の劣化診断装置。
  4.  さらに、前記確認の結果が関連付けられた前記診断の結果を、前記確認の結果が関連付けられていない前記診断の結果と異なる態様で、表示手段に表示させる、表示制御手段を備える、
     請求項1乃至3のいずれか1項に記載の劣化診断装置。
  5.  請求項1乃至3のいずれか1項に記載の劣化診断装置と、
     前記確認の結果の入力を受け付け、当該確認の結果を前記劣化診断装置に送信する、端末装置と、
     を備える劣化診断システム。
  6.  前記端末装置は、当該端末装置の位置から、前記検出された劣化の位置までのルートを、当該端末装置の利用者に出力する、
     請求項5に記載の劣化診断システム。
  7.  前記端末装置は、当該端末装置の位置と前記検出された劣化の位置との間の距離が所定の閾値以下の場合、当該端末装置の利用者に通知する、
     請求項5または6に記載の劣化診断システム。
  8.  移動体で収集したセンサ情報を分析することにより路上の劣化を診断し、
     検出された劣化の位置を出力し、
     人により確認された路上の劣化の位置と前記診断により検出された劣化の位置とに基づいて、前記診断の結果と前記確認の結果とを関連づけ、
     前記関連づけられた前記診断の結果と前記確認の結果とを記憶する
     劣化診断方法。
  9.  コンピュータに、
     移動体で収集したセンサ情報を分析することにより路上の劣化を診断し、
     検出された劣化の位置を出力し、
     人により確認された路上の劣化の位置と前記診断により検出された劣化の位置とに基づいて、前記診断の結果と前記確認の結果とを関連づけ、
     前記関連づけられた前記診断の結果と前記確認の結果とを記憶する処理を実行させるプログラムの記録媒体。
PCT/JP2020/026431 2020-07-06 2020-07-06 劣化診断システム、劣化診断装置、劣化診断方法、及び、記録媒体 WO2022009272A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021518012A JP6892974B1 (ja) 2020-07-06 2020-07-06 劣化診断システム、劣化診断装置、劣化診断方法、及び、プログラム
US18/014,255 US20230260338A1 (en) 2020-07-06 2020-07-06 Deterioration diagnosis system, deterioration diagnosis device, deterioration diagnosis method, and recording medium
PCT/JP2020/026431 WO2022009272A1 (ja) 2020-07-06 2020-07-06 劣化診断システム、劣化診断装置、劣化診断方法、及び、記録媒体
JP2021090322A JP2022014432A (ja) 2020-07-06 2021-05-28 劣化診断システム、劣化診断装置、劣化診断方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/026431 WO2022009272A1 (ja) 2020-07-06 2020-07-06 劣化診断システム、劣化診断装置、劣化診断方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2022009272A1 true WO2022009272A1 (ja) 2022-01-13

Family

ID=76464560

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026431 WO2022009272A1 (ja) 2020-07-06 2020-07-06 劣化診断システム、劣化診断装置、劣化診断方法、及び、記録媒体

Country Status (3)

Country Link
US (1) US20230260338A1 (ja)
JP (2) JP6892974B1 (ja)
WO (1) WO2022009272A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023127082A1 (ja) * 2021-12-28 2023-07-06 日本電気株式会社 管理支援システム、管理支援方法、及び、記録媒体
JP7151010B1 (ja) 2022-03-25 2022-10-11 株式会社 日立産業制御ソリューションズ 路面監視システム
JP7440855B1 (ja) 2023-01-26 2024-02-29 ナカシャ クリエイテブ株式会社 点検支援システム、撮影位置同定システム、及び、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013139672A (ja) * 2011-12-28 2013-07-18 Fujitsu Ltd 路面調査プログラム及び路面調査装置
JP2018017102A (ja) * 2016-07-29 2018-02-01 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019100136A (ja) * 2017-12-06 2019-06-24 株式会社東芝 道路維持管理システム、道路維持管理方法及びコンピュータプログラム
JP2019196680A (ja) * 2018-05-11 2019-11-14 西日本電信電話株式会社 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013139672A (ja) * 2011-12-28 2013-07-18 Fujitsu Ltd 路面調査プログラム及び路面調査装置
JP2018017102A (ja) * 2016-07-29 2018-02-01 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019100136A (ja) * 2017-12-06 2019-06-24 株式会社東芝 道路維持管理システム、道路維持管理方法及びコンピュータプログラム
JP2019196680A (ja) * 2018-05-11 2019-11-14 西日本電信電話株式会社 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム

Also Published As

Publication number Publication date
US20230260338A1 (en) 2023-08-17
JPWO2022009272A1 (ja) 2022-01-13
JP6892974B1 (ja) 2021-06-23
JP2022014432A (ja) 2022-01-19

Similar Documents

Publication Publication Date Title
WO2022009272A1 (ja) 劣化診断システム、劣化診断装置、劣化診断方法、及び、記録媒体
US20200042800A1 (en) Image acquiring system, terminal, image acquiring method, and image acquiring program
EP3933345A2 (en) Road event detection method, apparatus, device and storage medium
JP4305361B2 (ja) 道路管理システム
JP6713505B2 (ja) 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム
CN111680362B (zh) 一种自动驾驶仿真场景获取方法、装置、设备及存储介质
JP6781711B2 (ja) 駐車ゾーンを自動的に認識する方法及びシステム
JP7023690B2 (ja) 道路維持管理システム、道路維持管理方法及びコンピュータプログラム
Hadjidemetriou et al. Vision-and entropy-based detection of distressed areas for integrated pavement condition assessment
JP2020042014A (ja) 自動運転車両のテスト方法、装置及び記憶媒体
CN109284801B (zh) 交通指示灯的状态识别方法、装置、电子设备及存储介质
JP2020170314A (ja) 道路異常検知装置、道路異常検知方法および道路異常検知プログラム
JP6678267B1 (ja) 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム
JP2017102672A (ja) 地理位置情報特定システム及び地理位置情報特定方法
Ji et al. Image‐based road crack risk‐informed assessment using a convolutional neural network and an unmanned aerial vehicle
KR20220138894A (ko) 노면표시 정보의 예측 및 인식방법 및 도로 유지관리 방법
JP7364093B2 (ja) 路面管理装置、路面管理システム、端末装置、路面管理方法、及び、プログラム
JP7293174B2 (ja) 道路周辺物監視装置、道路周辺物監視プログラム
CN113551706A (zh) 一种机器人巡视的方法、装置、电子设备及存储介质
JP2021070993A (ja) インフラ検査システム、及び、インフラ検査方法
US20240152876A1 (en) Road deterioration diagnosis device, road deterioration diagnosis method, and recording medium
Steele et al. Traffic sign retroreflectivity condition assessment and deterioration analysis using Lidar technology
Adibhatla et al. Street quality identification device
JP6934269B1 (ja) 路面診断装置、路面診断方法、及び、プログラム
JP6551606B2 (ja) 画像記憶処理プログラム、画像記憶処理方法および画像記憶処理装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021518012

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20944719

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20944719

Country of ref document: EP

Kind code of ref document: A1