WO2023021736A1 - 識別装置、識別プログラム、および識別方法 - Google Patents

識別装置、識別プログラム、および識別方法 Download PDF

Info

Publication number
WO2023021736A1
WO2023021736A1 PCT/JP2022/007571 JP2022007571W WO2023021736A1 WO 2023021736 A1 WO2023021736 A1 WO 2023021736A1 JP 2022007571 W JP2022007571 W JP 2022007571W WO 2023021736 A1 WO2023021736 A1 WO 2023021736A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
road surface
damage
image
unit
Prior art date
Application number
PCT/JP2022/007571
Other languages
English (en)
French (fr)
Inventor
邦彦 三好
紘弥 前田
Original Assignee
株式会社アーバンエックステクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アーバンエックステクノロジーズ filed Critical 株式会社アーバンエックステクノロジーズ
Publication of WO2023021736A1 publication Critical patent/WO2023021736A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles

Definitions

  • the present disclosure relates to an identification device, an identification program, and an identification method.
  • Patent Document 1 while an inspection vehicle is running on the road surface, the road surface is imaged with a camera, and from the captured image, the shadow of the inspection device, the painted guidance on the road surface, and the dirt on the road surface are detected.
  • a system is disclosed for removing a non-damaged portion.
  • An object of the present disclosure is to provide an identification device, an identification method, and an identification program capable of efficiently detecting road surface damage.
  • the program of the present disclosure is a program used in an identification device that includes a processor and performs detection processing for the presence or absence of damage on the road surface from an image of the road surface.
  • a step of photographing, a step of evaluating the presence or absence of damage to the road surface from the image photographed by the photographing unit, and a step of changing the operation mode of detection processing according to the change in the state of the surrounding road surface are executed.
  • road surface damage can be detected efficiently.
  • FIG. 2 is a block diagram showing an example of the functional configuration of the mobile terminal shown in FIG. 1; FIG. It is a figure explaining the state which mounted the terminal device in the vehicle. It is a figure which shows the example of the 1st screen displayed on an information processing server. 2 is a block diagram showing an example of a functional configuration of a server shown in FIG. 1; FIG. It is a figure which shows the example of the 2nd screen displayed on an information processing server.
  • FIG. 2 shows a first example of damage types identified by an identification device; Fig.
  • FIG. 2 shows a second example of damage types identified by the identification device; It is a figure explaining the flow of the detection processing of the damage of the road surface performed by an identification device. It is a figure which shows an example of evaluation data.
  • FIG. 5 is a diagram for explaining the flow of operation mode control processing in road surface damage detection executed by the identification device;
  • the identification device 1 is a device that identifies damage to a road surface on which a vehicle travels and detects the presence or absence of damage.
  • the identification device 1 also executes a step of changing the operation mode of the road surface damage detection process according to the condition of the surrounding road surface.
  • Operation modes of the road surface damage detection process controlled by the identification device 1 include the following. ⁇ Frequency of photographing the road surface by the photographing unit ⁇ Transmission rate of the photographed images from the terminal device to the server ⁇ Frequency of evaluation processing of the photographed images of the road surface , the configuration and processing of the identification device 1 will be described by taking a detection method using a photographed image as an example.
  • FIG. 1 is a block diagram showing a configuration example of an identification device 1 according to this embodiment.
  • the identification device 1 shown in FIG. 1 includes a terminal device 10 and an information processing server 20 .
  • the terminal device 10 and the information processing server 20 are connected via a network 30 so as to be able to communicate with each other.
  • the network 30 is composed of a wired or wireless network.
  • the terminal device 10 and the information processing server 20 connect to the network 30 using a wireless base station 31 or a wireless LAN standard 32 .
  • the terminal device 10 and the information processing server 20 may be connected to the network 30 by wired communication.
  • a collection of devices for example, the terminal device 10 and the information processing server 20 constituting the identification device 1 can be understood as one "information processing device".
  • the identification device 1 may be realized as an assembly of a plurality of devices, and the allocation of a plurality of functions for realizing the identification device 1 may be appropriately determined based on the processing capability of the hardware of each device.
  • the terminal device 10 is a terminal mounted on a vehicle.
  • the terminal device 10 is, for example, a general-purpose mobile terminal such as a smart phone, a tablet terminal, or a laptop computer.
  • a plurality of smartphones, tablet terminals, laptop computers, and the like may be used.
  • Such a portable terminal may be a terminal mounted on a vehicle for the purpose of confirming the travel route of the vehicle during driving.
  • the terminal device 10 may be a general-purpose drive recorder installed in a vehicle for the purpose of recording the situation when an accident occurs, and may be a device equipped with each function as the terminal device 10 described later. That is, in the present invention, the terminal device 10 for photographing the state of the road surface is not limited to a dedicated device used only for photographing the road surface. , may also be a device that also serves as an incidental image of the road surface.
  • the terminal device 10 includes a processor 11 , a memory 12 , a storage 13 , a communication IF 14 and an input/output IF 15 .
  • the processor 11 is hardware for executing an instruction set described in a program, and is composed of an arithmetic unit, registers, peripheral circuits, and the like.
  • the memory 12 is for temporarily storing programs, data processed by the programs, etc., and is, for example, a volatile memory such as a DRAM (Dynamic Random Access Memory).
  • DRAM Dynamic Random Access Memory
  • the storage 13 is a storage device for storing data, such as flash memory, HDD (Hard Disc Drive), SSD (Solid State Drive).
  • HDD Hard Disc Drive
  • SSD Solid State Drive
  • the communication IF 14 is an interface for inputting and outputting signals so that the identification device 1 communicates with an external device.
  • the input/output IF 15 interfaces with an input device (e.g., a pointing device such as a mouse, a keyboard) for receiving input operations from the user, and an output device (display, speaker, etc.) for presenting information to the user.
  • an input device e.g., a pointing device such as a mouse, a keyboard
  • an output device display, speaker, etc.
  • the information processing server 20 includes a processor 21, a memory 22, a storage 23, a communication IF 24, and an input/output IF 25.
  • the processor 21, memory 22, storage 23, communication IF 24, and input/output IF 25 are the same as the processor 11, memory 12, storage 13, communication IF 14, and input/output IF 15, respectively. omitted.
  • the information processing server 20 is implemented by a computer, a mainframe, or the like.
  • the information processing server 20 may be realized by one computer, or may be realized by combining a plurality of computers.
  • FIG. 2 is a block diagram showing the functional configuration of the terminal device 10.
  • the terminal device 10 includes a plurality of antennas (antenna 111, antenna 112), wireless communication units (first wireless communication unit 121, second wireless communication unit 122) corresponding to each antenna, and an operation unit. It includes a reception unit 130 , an audio processing unit 140 (including a microphone 141 and a speaker 142 ), an imaging unit 150 , a storage unit 160 , a control unit 170 and a GPS antenna 180 .
  • the terminal device 10 may include a keyboard as the operation reception unit 130 .
  • the terminal device 10 also has functions and configurations not particularly shown in FIG. 2 (for example, a battery for retaining power, a power supply circuit for controlling power supply from the battery to each circuit, etc.). As shown in FIG. 2, each block included in the terminal device 10 is electrically connected by a bus or the like.
  • the antenna 111 radiates the signal emitted by the terminal device 10 as radio waves. Antenna 111 also receives radio waves from space and provides a received signal to first wireless communication section 121 .
  • the antenna 112 radiates the signal emitted by the terminal device 10 as radio waves. Antenna 112 also receives radio waves from space and provides a received signal to second wireless communication section 122 .
  • the first wireless communication unit 121 performs modulation and demodulation processing for transmitting and receiving signals via the antenna 111 in order for the terminal device 10 to communicate with other wireless devices.
  • the second wireless communication unit 122 performs modulation and demodulation processing for transmitting and receiving signals via the antenna 112 so that the terminal device 10 communicates with other wireless devices.
  • the first radio communication unit 121 and the second radio communication unit 122 are communication modules including a tuner, an RSSI (Received Signal Strength Indicator) calculation circuit, a CRC (Cyclic Redundancy Check) calculation circuit, a high frequency circuit, and the like.
  • the first radio communication unit 121 and the second radio communication unit 122 perform modulation/demodulation and frequency conversion of radio signals transmitted/received by the terminal device 10 and give received signals to the control unit 170 .
  • the operation accepting unit 130 has a mechanism for accepting user input operations. Specifically, operation accepting unit 130 includes a display 131 . Note that the operation reception unit 130 is configured as a touch screen that detects a user's touch position on the touch panel by using a capacitive touch panel.
  • the display 132 displays data such as images, moving images, and text under the control of the control unit 170 .
  • the display 132 is implemented by, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display.
  • the audio processing unit 140 modulates and demodulates an audio signal. Audio processing section 140 modulates the signal supplied from microphone 141 and supplies the modulated signal to control section 170 . Also, the audio processing unit 140 provides an audio signal to the speaker 142 .
  • the audio processing unit 140 is implemented by, for example, a processor for audio processing. Microphone 141 receives a voice input and provides voice signal corresponding to the voice input to voice processing section 140 .
  • the speaker 142 converts the audio signal provided from the audio processing unit 140 into audio and outputs the audio to the outside of the terminal device 10 .
  • the imaging unit 150 is a device that is mounted on the vehicle and captures an image of the road surface.
  • the photographing unit 150 is a camera that receives light with a light receiving element and outputs it as a photographed image 161 .
  • the imaging unit 150 is, for example, a depth camera that can detect the distance from the imaging unit 150 to the imaging target.
  • the photographing unit 150 can photograph not only still images but also moving images. When a moving image is captured by the imaging unit 150 , an image of each frame constituting the moving image is handled as the captured image 161 .
  • FIG. 3 is a diagram illustrating a state in which the terminal device 10 is mounted on a vehicle.
  • FIG. 3A is a diagram showing the appearance of the terminal device 10 mounted on the vehicle.
  • FIG. 3B is a diagram showing an example of the captured image 161 displayed on the terminal device 10 mounted on the vehicle.
  • the terminal device 10 is mounted on the vehicle with the photographing unit 150 facing forward of the vehicle.
  • the photographing unit 150 intermittently photographs the state of the road surface in front of the vehicle at predetermined intervals.
  • the captured image 161 is output with a bounding box B surrounding the road surface damage.
  • a bounding box B surrounding the damage By outputting the bounding box B surrounding the damage in this way, not only the presence or absence of damage on the road surface but also the position of the damage can be identified, and more detailed information about the state of the damage can be obtained. Also, the bounding box B emphasizes the location of the damage, facilitating confirmation of the identification result.
  • a GPS (Global Positioning System) antenna 180 detects the position of the vehicle and acquires information on the route traveled by the vehicle.
  • the GPS antenna 180 transmits the acquired vehicle position and travel route information to the transmission/reception unit 172 of the control unit 170 .
  • the transmitting/receiving unit 172 transmits the received information regarding the position of the vehicle and the travel route to the information processing server 20 .
  • FIG. 4 is a diagram showing an example of the first screen DP1 displayed on the information processing server 20 according to this embodiment.
  • the first screen DP1 may be displayed when the identification unit 173 receives the detection image 2021 in which damage is detected.
  • the identification device 1 transmits the information on the travel route of the vehicle acquired from the GPS antenna 180 to the information processing server 20 as the information on the position where the image was taken.
  • the travel route indicated by symbol R is shown on the map DP11, and the position where the detection image 2021 (see FIG. 5) in which damage to the road surface was detected was captured by the marker indicated by symbol D. there is This makes it possible to clarify where and what kind of damage has occurred, and to notify an appropriate manager according to the location of the damage.
  • the first screen DP1 includes a map DP11 showing the location where the image was taken, road surface information DP12 where the image was taken, data ID DP13 for uniquely identifying the image, and time stamp DP14 showing the date and time when the image was taken. etc.
  • the road surface information DP12 on which the image was taken includes traffic volume (Traffic Volume), number of lanes (Number of Lane), road width (Road Width), legal maximum speed (Max Speed) and type (Road Type). , but information other than these may be included, or none of these may be included.
  • the storage unit 160 shown in FIG. 2 is composed of, for example, a flash memory or the like, and stores data and programs used by the terminal device 10 .
  • storage unit 160 stores photographed image 161 , first trained model 162 , and second trained model 163 .
  • a captured image 161 is an image captured by the imaging unit 150 .
  • the control unit 170 reads the program stored in the storage unit 160 and controls the operation of the terminal device 10 by executing the instructions included in the program.
  • the control unit 170 is, for example, an application installed in the terminal device 10 in advance.
  • the control unit 170 functions as an input operation receiving unit 171, a transmission/reception unit 172, an identification unit 173, a display processing unit 174, a peripheral recognition unit 175, and an operation control unit 176 by operating according to a program. Demonstrate.
  • the input operation receiving unit 171 performs processing for receiving user's input operations on the input device.
  • the transmission/reception unit 172 performs processing for the terminal device 10 to transmit and receive data to and from an external device such as the information processing server 20 according to a communication protocol.
  • the transmitting/receiving unit 172 executes a process of transmitting to the information processing server 20 a detected image 2021 , which is an image in which the identification unit 173 has detected damage in the photographed image 161 photographed by the photographing unit 150 .
  • the identification unit 173 evaluates the presence or absence of damage on the road surface by identifying damage to the road surface in the photographed image 161 of the road surface photographed by the photographing unit 150 of the terminal device 10 .
  • the photographing unit 150 photographs images at predetermined time intervals, and the identification unit 173 detects damage to the road surface within the predetermined time intervals. Identify.
  • the predetermined time interval is 1.2 seconds, for example.
  • the identification unit 173 recognizes road surface damage within the imaging interval of the imaging unit 150. Therefore, by appropriately selecting a predetermined time interval according to the speed of the vehicle, the road surface can be photographed without interruption. damage can be identified by
  • the identifying unit 173 uses the first trained model 162 to identify the presence or absence of damage to the road surface.
  • the first trained model 162 is stored in advance in the storage unit 160, for example.
  • the first trained model 162 may be generated and updated as needed based on the captured image 161 captured by the imaging unit 150 .
  • the first trained model 162 is a model that identifies whether or not there is a damaged portion of the road surface in the image.
  • the first trained model 162 is obtained by causing a machine learning model to perform machine learning according to a model learning program based on learning data.
  • the first trained model 162 is trained so as to output damage location and damage type for input image information.
  • the learning data is, for example, image information of a road surface whose state has been photographed in the past as input data. This is correct output data.
  • the first trained model 162 compares the feature amount (reference feature amount) of the image of the road surface having various types of damage with the feature amount of the captured image 161 to be evaluated, and finds similarity. Assessing the degree determines whether there is any type of damage. When evaluating the degree of similarity, if the feature amount of the captured image 161 to be evaluated is within a preset threshold range with respect to the reference feature amount, it is determined that the damage is present. Reference feature amounts are set for various types of damage. The types of damage will be discussed later.
  • the first trained model 162 is, for example, a synthetic function with parameters that is a combination of multiple functions.
  • a parameterized composite function is defined by a combination of multiple adjustable functions and parameters.
  • the first trained model 162 according to the present embodiment may be any parameterized composite function that satisfies the above requirements, but is assumed to be a multi-layered neural network model (hereinafter referred to as "multi-layered network").
  • the first trained model 162 using a multi-layered network has an input layer, an output layer, and at least one intermediate layer or hidden layer provided between the input layer and the output layer.
  • the first trained model 162 is envisioned for use as a program module that is part of artificial intelligence software.
  • a deep neural network which is a multilayered neural network targeted for deep learning
  • a convolution neural network CNN
  • CNN convolution neural network
  • the identification unit 173 also uses the second trained model 163 to determine whether the damage detected in the detection image 2021 is located within the road area.
  • the second trained model 163 is stored in advance in the storage unit 160, for example.
  • the second trained model 163 may be generated and updated as needed based on the captured image 161 captured by the imaging unit 150 .
  • the second trained model 163 is a model that identifies whether the damaged location detected in the image is within the road area.
  • the second trained model 163 is obtained by having the machine learning model perform machine learning according to the model learning program based on the learning data. For example, in this embodiment, the second trained model 163 is trained so as to output whether or not the damage location is within the road area for the input image information.
  • the data for learning is, for example, input data of image information of a road surface that has been damaged in the past, and whether or not the damaged location is located within the road area with respect to the input image information. Information about is set as correct output data.
  • the second trained model 163 compares the feature amount (reference feature amount) of the image of the road surface with damage in the road area and the feature amount of the detection image 2021 to be evaluated, and finds similarity. Assessing the degree determines whether there is any type of damage. When evaluating the degree of similarity, if the feature amount of the detected image 2021 to be evaluated is within a preset threshold range with respect to the reference feature amount, it is determined that the damage is in the road area. be.
  • the second trained model 163 is, for example, a synthetic function with parameters that is a combination of multiple functions.
  • a parameterized composite function is defined by a combination of multiple adjustable functions and parameters.
  • the second trained model 163 according to this embodiment may be any parameterized composite function that satisfies the above requirements, but is assumed to be a multi-layered network.
  • the second trained model 163 using a multilayered network has an input layer, an output layer, and at least one intermediate layer or hidden layer provided between the input layer and the output layer.
  • the second trained model 163 is envisioned for use as a program module that is part of artificial intelligence software.
  • the identification unit 173 associates the captured image 161 with information about the captured position and the travel route.
  • the identifying unit 173 associates the captured image 161 with information about the time when the captured image 161 was captured, the position of the vehicle, and the traveling direction of the vehicle.
  • the display processing unit 174 performs processing for presenting information to the user.
  • the display processing unit 174 performs processing for displaying a display image on the display 132, processing for outputting audio from the speaker 142, and the like.
  • the periphery recognition unit 175 recognizes the state of the road surface around the vehicle.
  • the surrounding recognition unit 175 recognizes the road surface condition using the following information. - A photographed image 161 photographed by the photographing unit 150 ⁇ Positional information acquired by the GPS antenna 180 ⁇ Various control signals (CAN information) transmitted by the electronic control unit of the vehicle ⁇ Acceleration information obtained by a gyro sensor (not shown) mounted on the vehicle ⁇ Sensing results obtained by a sensor using laser light such as LiDAR (light detection and ranging) mounted on the vehicle (not shown)
  • the state of the surrounding road surface includes the running state of the surrounding vehicle.
  • the running state of the surrounding vehicle includes, for example, at least one of the start or stop of the preceding vehicle, the inter-vehicle distance between the vehicle and the surrounding vehicle, and the relative speed of the surrounding vehicle to the vehicle.
  • the periphery recognition unit 175 uses the captured image 161 to recognize the state of the road surface around the vehicle.
  • the peripheral recognition unit 175 compares a plurality of shot images taken by the shooting unit 150 and arranged in time series, and recognizes the size of the shot detection object (surrounding vehicle) and the time change (difference) of the position in the shot image. By detecting it, the running state of surrounding vehicles is identified.
  • the surrounding recognition unit 175 calculates the ground speed of the own vehicle from the time-series data of the captured images.
  • the peripheral recognition unit 175 calculates the relative speed of the forward vehicle from the time-series data of the captured images. By differentiating the relative velocity of the forward vehicle with respect to time, the acceleration of the forward vehicle relative to the own vehicle is calculated. Then, the surroundings recognition unit 175 calculates the speed of the forward vehicle from the ground speed of the own vehicle and the relative speed (acceleration) of the forward vehicle.
  • the forward vehicle's relative speed to the own vehicle increases.
  • the relative speed of the forward vehicle to the host vehicle it is possible to identify whether the forward vehicle is stopped or started.
  • the road surface imaged in the photographed image 161 is used as a detection object, and the change in the image is analyzed.
  • the running state of the surrounding vehicle may be indirectly identified.
  • the area of the detection object in the captured image 161 can be ensured, so that the detection accuracy of a small vehicle such as a motorcycle can be complemented. That is, when recognizing the running state of the surrounding vehicle, it is possible to recognize the change in the running state of the surrounding vehicle by recognizing the change in the surrounding situation of the surrounding vehicle.
  • the operation control unit 176 controls operations related to detection of damage to the road surface in the terminal devices 10 around the vehicle.
  • the operation control unit 176 changes the operation mode of road surface damage detection processing in accordance with a change in the running state of the surrounding vehicle (front vehicle) identified by the surroundings recognition unit 175 .
  • the operation modes of detection processing controlled by the operation control unit 176 are listed below. Mode for photographing road surface by photographing unit 150 Transmission mode for photographed image 161 from terminal device 10 to server Evaluation mode for photographed road surface image 161 Each of these controls will be described in detail below.
  • the operation control unit 176 changes the mode of photographing the road surface by the photographing unit 150 in accordance with changes in the running state of the vehicle ahead. Specifically, the operation control unit 176 stops the photographing of the road surface by the photographing unit 150 or changes the photographing rate in accordance with the change in the inter-vehicle distance and the relative speed to the surrounding vehicle recognized by the surroundings recognition unit 175. I do.
  • the operation control unit 176 changes the transmission mode when transmitting the detection image 2021 from the terminal device 10 to the information processing server 20 according to the change in the traveling state of the preceding vehicle. Specifically, the operation control unit 176 stops transmission of the detection image 2021 to the information processing server 20 by the transmission/reception unit 172 or reduces the frequency of transmission when the surrounding vehicle recognized by the surroundings recognition unit 175 stops. . Further, the operation control unit 176 starts transmission of the detection image 2021 by the transmission/reception unit 172 to the information processing server 20 or increases the frequency of transmission as the preceding vehicle starts moving.
  • the operation control unit 176 changes the identification mode in the step of identifying the presence or absence of damage to the road surface according to changes in the running state of the vehicle ahead. Specifically, the operation control unit 176 causes the identification unit 173 to detect damage to the road surface according to changes in at least one of the speed of the surrounding vehicle recognized by the surroundings recognition unit 175, the relative speed between the surrounding vehicle and the own vehicle, and the distance between the vehicles. Change the processing frequency for evaluating presence/absence.
  • FIG. 5 is a diagram showing a functional configuration of the information processing server 20. As shown in FIG. As shown in FIG. 5 , the information processing server 20 functions as a communication section 201 , a storage section 202 and a control section 203 .
  • the communication unit 201 performs processing for the information processing server 20 to communicate with an external device.
  • the storage unit 202 stores data and programs used by the information processing server 20 .
  • Storage unit 202 stores detected image 2021 , third trained model 2022 , fourth trained model 2023 , and evaluation data 2024 .
  • a detected image 2021 is image information transmitted from the terminal device 10 . That is, the detected image 2021 is the photographed image 161 in which the identification unit 173 of the terminal device 10 has detected damage to the road surface.
  • the third trained model 2022 and evaluation data 2024 will be described later.
  • the control unit 203 functions as a transmission/reception unit 2031, a re-identification unit 2032, a position determination unit 2033, and an evaluation unit 2034 by the processor 21 of the information processing server 20 performing processing according to the program.
  • the transmission/reception unit 2031 controls the processing of the information processing server 20 transmitting a signal to an external device according to the communication protocol, and the processing of the information processing server 20 receiving a signal from the external device according to the communication protocol.
  • the transmission/reception unit 2031 acquires information about the external environment in which the vehicle travels.
  • Information about the external environment includes information about weather, conditions about time, and information about brightness.
  • the re-identification unit 2032 performs identification using the third learned model 2022 on the plurality of detection images 2021 transmitted from the terminal device 10, thereby re-identifying the presence or absence of damage to the road surface.
  • the third trained model 2022 is stored in advance in the storage unit 202, for example.
  • the third trained model 2022 may be generated and updated as needed based on the captured image 161 captured by the imaging unit 150 .
  • the third trained model 2022 is a model that identifies whether or not there is a damaged portion of the road surface in the image, and has the same configuration as the first trained model 162 except for the criteria for identification.
  • the criteria for identification by the third trained model 2022 used by the re-identification unit 2032 of the information processing server 20 are different from the criteria for identification by the first trained model 162 used by the identification unit 173 of the terminal device 10 .
  • discrimination by the first trained model 162 has a looser criterion than discrimination by the third trained model 2022 .
  • the threshold for the reference feature amount set in the third trained model 2022 has a narrower allowable numerical range than the threshold for the reference feature amount set in the first trained model 162. there is That is, when the third trained model 2022 has a higher degree of similarity in the feature quantity than the first trained model 162, it is determined that the captured image 161 is damaged.
  • the re-identification unit 2032 again determines whether the road surface damage is located within the road area.
  • the re-identification unit 2032 uses the fourth trained model 2023 to determine whether the damage detected in the detection image 2021 is located within the road area.
  • the fourth trained model 2023 is stored in advance in the storage unit 202, for example.
  • the fourth trained model 2023 may be generated and updated as needed based on the captured image 161 captured by the imaging unit 150 .
  • the fourth trained model 2023 is a model that identifies whether or not the damaged location detected in the image is within the road area, and has the same configuration as the second trained model 163 except for the criteria for identification. I have.
  • the criteria for identification by the fourth trained model 2023 used by the re-identification unit 2032 of the information processing server 20 are different from the criteria for identification by the second trained model 163 used by the identification unit 173 of the terminal device 10 .
  • discrimination by the second trained model 163 has a looser criterion than discrimination by the fourth trained model 2023 .
  • the threshold for the reference feature amount set in the fourth trained model 2023 has a narrower allowable numerical range than the threshold for the reference feature amount set in the second trained model 163. there is That is, in the fourth trained model 2023, when the similarity of the feature amount is higher than in the second trained model 163, it is determined that the detected road surface damage is within the road area.
  • the position determination unit 2033 determines whether or not the road surface damage photographed in the plurality of detection images 2021 transmitted from the transmission/reception unit 172 of the terminal device 10 is the same location. Specifically, the position determination unit 2033 uses the detection images 2021 and the position information at which the detection images 2021 are captured to determine whether the damage on the road surface captured in the plurality of detection images 2021 is the same location. do. In addition, the position determination unit 2033 may determine whether or not the damage on the road surface photographed in the plurality of detection images 2021 is at the same location using information regarding the travel route of the vehicle.
  • the evaluation unit 2034 integrates the information regarding the damage to the road surface determined to be the same location by the position determination unit 2033 in chronological order, and evaluates the presence or absence of damage to the road surface. Specifically, the evaluation unit 2034 integrates the information about the damage to the road surface along the time series to calculate the existence probability of the damage to the road surface.
  • the information about damage to the road surface includes at least one of the information about the presence or absence of damage at the position where the detection image 2021 was captured and the detection image 2021 .
  • the evaluation unit 2034 may use information about the external environment to weight the existence probability. For example, a higher weight may be given to a detection result in fine weather with good visibility than in rainy weather with poor visibility. Further, a higher weight may be given to the detection result in the daytime when the outside is bright than in the evening when the outside is dark.
  • the evaluation unit 2034 integrates information regarding the presence or absence of damage to the road surface in an arbitrary period for each coordinate position at which the coordinate damage was captured.
  • FIG. 6 is a diagram showing an example of the second screen DP2 displayed on the information processing server 20 according to this embodiment.
  • the second screen DP2 may be displayed when the re-identification unit 2032 of the information processing server 20 receives the detection image 2021 in which damage is detected and the identification result, and may be displayed side by side with the first screen DP1.
  • the information processing server 20 may display the second screen DP2 to allow the administrator to confirm whether the identification result is correct, and may accept correction of the identification result from the administrator when the identification result is incorrect.
  • the second screen DP2 includes a detection image 2021 captured by the imaging unit 150, a checked phase DP22, a time stamp DP23, a response status DP24, and a damage type DP25.
  • a bounding box B surrounding the damage identified by the identification unit 173 is displayed on the second screen DP2.
  • the progress of the damage check work is displayed in the checked phase DP22.
  • the icon of the mobile terminal indicated by reference numeral DP221 indicates that identification of damage in the terminal device 10 has been completed.
  • the display icon indicated by reference numeral DP222 indicates that the information processing server 20 has completed identification of the damage.
  • the eye icon indicated by reference numeral DP223 indicates that the subsequent check processing by crowdsourcing has been completed.
  • a time stamp DP23 on the second screen DP2 shows information about the date and time given when the detection image 2021 was captured. That is, it is information indicating the date and time when the detection image 2021 was captured.
  • the response status DP24 on the second screen DP2 describes information about the response to be performed for the damage. Examples of the information about the response include follow-up observation, schedule to report to the manager, already reported to the manager, schedule for repair, and the like.
  • Damage type DP25 on the second screen DP2 describes the type of damage.
  • types of damage will be described with reference to FIGS. 7 and 8.
  • FIG. 7 is a diagram showing a first example of types of damage identified by the identification device 1.
  • FIG. 8 is a diagram showing a second example of damage types identified by the identification device 1 .
  • the type of damage identified by D00 shown in FIG. 7A is a linear crack extending along the longitudinal direction (traveling direction), and refers to damage that occurs in the running portion of the wheel.
  • the type of damage identified by D01 shown in FIG. 7B is a linear crack extending along the longitudinal direction, and refers to damage occurring in the construction joint.
  • Construction joint means a joint of asphalt pavement.
  • the type of damage identified by D10 shown in FIG. 7C is a linear crack extending in the lateral direction (the width direction of the road), and refers to damage occurring in the wheel running portion.
  • the type of damage identified by D11 shown in FIG. 7D is a linear crack extending along the lateral direction, and refers to damage occurring in the construction joint.
  • the type of damage identified by D20 shown in FIG. 8A refers to hexagonal cracks.
  • the types of damage identified by D40 shown in FIG. 8B refer to steps, potholes, and delamination.
  • the type of damage identified by D43 shown in FIG. 8C refers to fading of the pedestrian crossing.
  • the type of damage identified by D44 shown in FIG. 8D refers to blurring of white lines.
  • the types of damage described above are merely examples, and may include other types of damage. In this way, not only the presence or absence of damage to the road surface, but also the type of damage can be identified, and detailed information about the state of damage can be obtained.
  • FIG. 9 is a diagram for explaining the flow of processing executed by the identification device 1. As shown in FIG. The process described in this figure is the outline of the process performed by the identification device 1, and actually the process is performed in parallel with the control process of the detection process, which will be described later.
  • the photographing unit 150 photographs images at predetermined time intervals (step S110).
  • the photographing unit 150 stores the photographed image 161 in the storage unit 160 .
  • the identification unit 173 identifies the presence or absence of damage on the road surface photographed in the photographed image 161 (step S111). Specifically, the identification unit 173 inputs the photographed image 161 to the first trained model 162 to obtain an output regarding the presence or absence of damage.
  • step S111 if damage is not confirmed (No in step S112), the identification processing for the captured image 161 by the identification device 1 is terminated, and the captured image 161 corresponding to the next frame is identified.
  • the identification unit 173 determines whether the damage is within the road area (step S113). Specifically, the identification unit 173 inputs the captured image 161 to the second trained model 163 to obtain an output indicating whether the damage is within the road area.
  • step S113 if it is output that the damage is not within the road area, (No in step S114), specifically, if the damage is located on the sidewalk or surrounding buildings, the identification device 1 ends the identification processing for the captured image 161, and identification of the captured image 161 corresponding to the next frame is performed.
  • the identifying unit 173 associates the information regarding the photographing position (step S115).
  • the transmission/reception unit 172 of the terminal device 10 transmits the detected image 2021 to the information processing server 20 (step S116).
  • the transmission/reception unit 2031 of the information processing server 20 receives the detection image 2021 and stores it in the storage unit 202 .
  • the re-identification unit 2032 of the information processing server 20 re-identifies whether or not the detected image 2021 is damaged (step S117). Specifically, the re-identification unit 2032 inputs the photographed image 161 to the third trained model 2022 to obtain an output regarding the presence or absence of damage.
  • step S117 if damage is not confirmed (No in step S118), the identification processing for the captured image 161 by the identification device 1 is terminated, and the captured image 161 corresponding to the next frame is identified.
  • step S119 the re-identification unit 2032 determines whether the damage is within the road area. Specifically, the re-identification unit 2032 inputs the captured image 161 to the fourth trained model 2023 to obtain an output indicating whether the damage is within the road area.
  • step S119 if it is output that the damage is not within the road area, (No in step S120), specifically, if the damage is located on the sidewalk or surrounding buildings, the identification device 1 ends the identification processing for the captured image 161, and identification of the captured image 161 corresponding to the next frame is performed.
  • step S121 a visual check is performed by crowdsourcing (step S121). Specifically, the detection image 2021 is transmitted to an unspecified number of checkers and checked. In this result, if the number of answers indicating damage exceeds a certain number, it is treated as having damage.
  • the position determination unit 2033 determines the position of the detection image 2021. That is, it is determined whether or not the detected images 2021 in which damage has been confirmed are at the same location. Specifically, the storage unit 202 of the information processing server 20 stores a large number of detection images 2021 taken at different dates and times. The position determination unit 2033 identifies these multiple detection images 2021 as the same location using coordinates such as latitude and longitude.
  • step S122 the evaluation unit 2034 calculates the damage probability distribution (step S123). Specifically, information about the presence or absence of damage to the road surface during an arbitrary period is integrated for each coordinate position where the damage to the road surface was captured. The evaluation result at this time will be described with reference to FIG. FIG. 10 is a diagram showing an example of the evaluation data 2024. As shown in FIG.
  • the evaluation unit 2034 integrates information about road surface damage in chronological order for each coordinate position from the starting point (start) to the destination (Goal) on the travel route of the vehicle. Specifically, the evaluation unit 2034 calculates the probability using time as a variable.
  • the evaluation index of the detected image 2021 determined to be damaged in the visual check by crowdsourcing is set to 1, and if there is no damage in any process up to the visual check by crowdsourcing.
  • the evaluation index of the determined detection image 2021 is set to 0 and totaled. Then, as the existence probability, the probability that 1 is detected with respect to the total number of samples is calculated.
  • the evaluation unit 2034 sets the threshold of existence probability as a final judgment. For example, when the threshold value is set to 80%, it is determined that there is damage to coordinates with an existence probability of 80% or more. At this time, the evaluation unit 2034 may perform weighting according to the external environment (weather, time of day, brightness) at the shooting point. For example, misidentification of wounds is assumed in bad weather. Therefore, if the coordinates (x1, y1) on December 1st are in bad weather, the evaluation index is set to x0.9. Similarly, the evaluation index of the detected image 2021 captured in the evening or in a dark environment may be multiplied by a preset weighting factor. The value of such a weighting factor can be arbitrarily set according to the degree of influence of the conditions of the external environment.
  • FIG. 11 is a diagram for explaining the flow of control processing of operation modes in road surface damage detection executed by the identification device 1 .
  • the operation mode control process is performed in parallel with the road surface damage detection process described above. Therefore, in FIG. 11, part of the processing explained in FIG. 10 is shown on the left side, and the control processing of the operation mode is shown on the right side.
  • the peripheral recognition unit 175 of the terminal device 10 recognizes the running state of the vehicle ahead (step S210). Specifically, the periphery recognition unit 175 performs difference processing using the captured image 161 that has already been acquired, and recognizes changes in the acceleration (relative speed) of the preceding vehicle and changes in the inter-vehicle distance from the own vehicle. This also recognizes the start or stop of the preceding vehicle.
  • step S210 if there is no change in the running condition of the vehicle ahead (No in step S211), the running condition of the vehicle ahead is continuously checked. The check of the traveling state of the preceding vehicle by the surrounding recognition unit 175 is continuously performed while all the processing by the identification device 1 is continued.
  • step S210 if there is a change in the traveling state of the vehicle ahead (Yes in step S211), the operation control unit 176 of the terminal device 10 changes the imaging rate of the imaging unit 150 (step S220). Specifically, the operation control unit 176 changes the photographing rate in photographing the road surface by the photographing unit 150 in step S110 described above.
  • the shooting rate is changed in the following manner. ⁇ Increase the shooting rate (start shooting) as the vehicle ahead starts moving. ⁇ Decrease the shooting rate (stop shooting) when the vehicle in front stops. ⁇ Increase the shooting rate as the distance to the vehicle ahead increases. ⁇ Lower the shooting rate as the distance to the vehicle ahead decreases. ⁇ Increase the shooting rate as the acceleration (relative speed) of the vehicle ahead increases. ⁇ Decrease the shooting rate as the acceleration (relative speed) of the vehicle in front decreases. It may be a mode of adjusting the frequency of.
  • the frequency of photographing decreases, and the unit of the captured image acquired by the photographing unit 150 is fewer pieces per hour.
  • the frequency of photographing increases, and the number of captured images acquired by the photographing unit 150 per unit time increases. increase in the number of
  • step S210 if there is a change in the traveling state of the vehicle ahead (Yes in step S211), the operation control unit 176 of the terminal device 10 changes the identification speed of the identification unit 173 (step S230). Specifically, the operation control unit 176 changes the frequency of road surface damage identification processing for the captured image by the identification unit 173 in step S116 described above.
  • the frequency of identification processing is changed in the following manner. ⁇ Increase the frequency of identification processing (start identification processing) as the vehicle ahead starts moving. ⁇ Decrease the frequency of identification processing when the preceding vehicle stops (stop the identification processing) ⁇ Increase the frequency of identification processing as the distance between the vehicles ahead increases. ⁇ Decrease the frequency of identification processing as the distance between the vehicles ahead decreases. Increase the frequency of identification processing ⁇ Decrease the frequency of identification processing as the acceleration (relative speed) of the vehicle ahead decreases.
  • the frequency of road surface damage identification processing for the photographed image 161 decreases, and the unit The number of captured images for which the presence or absence of damage can be identified per hour is reduced.
  • the frequency of road surface damage identification processing for the photographed image 161 increases, and , the number of captured images for which the presence or absence of damage can be identified increases.
  • step S210 if there is a change in the traveling state of the vehicle ahead (Yes in step S211), the operation control unit 176 of the terminal device 10 changes the transmission rate of the detection image 2021 of the transmission/reception unit 172 (step S240). Specifically, the operation control unit 176 changes the transmission rate of the detection image 2021 to the information processing server 20 by the transmission/reception unit 172 in step S116 described above.
  • transmission rate change is performed in the following manner. ⁇ Increase the transmission rate as the vehicle ahead starts moving (starts transmission processing). ⁇ When the vehicle ahead stops, the transmission rate is lowered (transmission processing is stopped).
  • the detection image 2021 transmitted from the terminal device 10 to the information processing server 20 The number of sheets per unit time is reduced.
  • the unit time of the detection image 2021 transmitted from the terminal device 10 to the information processing server 20 fewer hits.
  • the operation control unit 176 continuously controls the operation mode of each functional unit according to changes in the running state of the vehicle ahead. This process continues until there is no change in the running state of the preceding vehicle.
  • the operation control unit 176 of the terminal device 10 performs detection processing according to a change in the state of the surrounding road surface recognized by the surrounding recognition unit 175. Change mode. For this reason, for example, many photographed images 161 are acquired when the preceding vehicle starts moving, damage identification is performed on many photographed images 161, and many detected images 2021 are transmitted from the terminal device 10 to the information processing server 20. can be done. On the other hand, for example, it is possible to acquire a few photographed images 161 when the vehicle ahead is stopped, perform damage identification on a few photographed images 161, and transmit a few detected images 2021 from the terminal device 10 to the information processing server 20. can.
  • the operation control unit 176 of the terminal device 10 compares a plurality of images shot by the imaging unit 150 and arranged in time series to identify the running state of the surrounding vehicle, the state of the surrounding vehicle can be accurately grasped. be able to.
  • the surroundings recognition unit 175 of the terminal device 10 recognizes at least one of starting or stopping of the surrounding vehicle, the inter-vehicle distance between the vehicle and the surrounding vehicle, and the relative speed of the surrounding vehicle to the vehicle as the running state of the surrounding vehicle. Since changes are recognized, it is possible to appropriately recognize various changes in the running conditions of surrounding vehicles.
  • the operation control unit 176 of the terminal device 10 detects the relative speed using any one of the position information of the vehicle, the gyro sensor mounted on the vehicle, and the CAN information of the vehicle, the accuracy is high. Detection can be performed.
  • the operation control unit 176 of the terminal device 10 stops the photographing of the road surface by the photographing unit 150 or changes the photographing rate according to the recognized inter-vehicle distance and relative speed change. For this reason, it is possible to efficiently take pictures at the timing when the pictures need to be taken, such as when there is no forward vehicle on the road ahead.
  • the operation control unit 176 of the terminal device 10 adjusts the frequency of processing for evaluating the presence or absence of damage to the road surface in accordance with changes in at least one of the recognized speed of the surrounding vehicle, the relative speed between the surrounding vehicle and the own vehicle, and the inter-vehicle distance. change. Therefore, when the number of images captured by the imaging unit 150 increases, it is possible to prevent delays in identification processing.
  • the operation control unit 176 of the terminal device 10 stops transmitting the detected image 2021 to the information processing server 20 or reduces the frequency of transmission when the peripheral vehicle has stopped, and when the peripheral vehicle starts moving. , the transmission of the detected image 2021 to the information processing server 20 is started or the frequency of transmission is increased. Therefore, when the number of detected images 2021 identified by the identification unit 173 increases, the detected images 2021 can be efficiently transmitted from the terminal device 10 to the information processing server 20 .
  • the identification unit 173 of the terminal device 10 identifies the presence or absence of damage in the photographed image 161 photographed by the photographing unit 150 of the terminal device 10 . Then, among the photographed images 161 , only the detection images 2021 in which damage is detected in the terminal device 10 are transmitted to the information processing server 20 . Therefore, it is not necessary to transmit all the photographed images 161 from the terminal device 10 to the information processing server 20 among a huge amount of photographed images 161, and damage corresponding to a part of the photographed images 161 is detected. It is sufficient to transmit only the detected image 2021 obtained from the terminal device 10 to the information processing server 20 . As a result, the amount of data communication from the terminal device 10 that takes pictures can be greatly reduced.
  • the position determination unit 2033 of the information processing server 20 determines whether or not the locations of the photographed damages are the same, and the evaluation unit 2034 integrates the information regarding the road surface damage in chronological order. , to evaluate the presence or absence of road damage. Therefore, it is possible to comprehensively determine the presence or absence of damage from a large number of captured images 161 instead of making a determination based on a single captured image 161, so that the presence or absence of damage to the road surface can be detected with high accuracy.
  • the evaluation unit 2034 calculates the existence probability of road surface damage by integrating information on road surface damage in an arbitrary period for each coordinate position where the road surface damage was captured along the time series. As a result, the presence or absence of damage can be statistically determined while absorbing erroneous determination in damage identification.
  • evaluation unit 2034 uses information about the external environment to weight the existence probability, it is possible to perform highly accurate identification in consideration of differences in shooting conditions.
  • the position determination unit 2033 uses the detection images 2021 and the position information at which the detection images 2021 are captured to determine whether the road surface damage captured in the plurality of detection images 2021 is the same location. As a result, it is possible to check how the damage at the same location progresses using a large number of captured images 161 .
  • the position determination unit 2033 determines whether or not the damage on the road surface photographed in the plurality of detection images 2021 is at the same location, using information regarding the travel route of the vehicle. Accordingly, it is possible to accurately grasp the position of the damage at the time when the photograph was taken, considering the traveling direction of the vehicle.
  • the identification unit 173 determines whether the damage detected in the detection image 2021 is located within the road area. Therefore, damage to sidewalks and surrounding facilities can be excluded as noise.
  • the information processing server 20 performs identification using the learned model on the detected image 2021, thereby identifying the presence or absence of damage to the road surface and determining whether the damage to the road surface is located within the road area. It further includes a re-identification unit 2032 that performs determination again. Therefore, damage can be identified with higher accuracy.
  • the re-identification unit 2032 re-identifies the presence or absence of damage to the road surface according to a different identification standard from the identification unit 173 . For this reason, for example, by setting the identification reference by the re-identification unit 2032 higher than the identification reference by the identification unit 173, the captured image 161 that is likely to be damaged in the primary identification by the terminal device 10 is picked up, and the information processing server 20 A variety of discriminations can be made, such as filtering out noise in the secondary discrimination at .
  • the peripheral recognition unit 175 of the terminal device 10 recognizes a change in the running state of the preceding vehicle, but the present invention is not limited to such an aspect.
  • the surrounding recognition unit 175 recognizes changes in the running state of the vehicle traveling behind the own vehicle. good too.
  • the surroundings recognition unit 175 recognizes changes in the running state of the vehicle traveling behind the own vehicle. may That is, the surroundings recognition unit 175 may recognize changes in the running state of the vehicle traveling in the same direction as the direction in which the image capturing unit 150 captures images.
  • the surroundings recognition unit 175 may recognize the running state of surrounding vehicles without using the photographed image 161 photographed by the photographing unit 150 .
  • laser light such as LiDAR (light detection and ranging) mounted on the vehicle and other measuring devices.
  • the operation control unit 176 of the terminal device 10 controls the operations of the imaging unit 150, the identification unit 173, and the transmission/reception unit 172 .
  • the present invention is not limited to this example. It is sufficient for the operation control unit 176 to control the operation of any one of the photographing unit 150 , the identification unit 173 and the transmission/reception unit 172 .
  • the surroundings recognition unit 175 determines that the own vehicle is in a stopped state and does not need to photograph the road surface frequently, and recognizes surrounding vehicles. You may stop the process to do.
  • the information on road surface damage that is integrated along the time series by the evaluation unit 2034 is information on the presence or absence of damage at the position where the detection image 2021 was captured, but this is not the only option.
  • the evaluation unit 2034 may integrate the detected images 2021 along the time series as information about damage to the road surface. In this case, it is possible to obtain a set of images (moving image) depicting the state of the damage growing along the time series.
  • each terminal device 10 identifies the presence/absence of damage to the photographed images 161 photographed by a large number of pre-registered users.
  • Detected images 2021 in which damage is detected among the plurality of photographed images 161 are transmitted from the respective terminal devices 10 to the information processing server 20, and the information processing server 20 performs the respective evaluation processes described above. good too.
  • a program for use in an identification device that includes a processor and performs processing for detecting the presence or absence of damage on a road surface from an image of the road surface, the program comprising: to the processor, a step of being mounted on a vehicle and photographing a road surface around the vehicle; A step of evaluating the presence or absence of damage to the road surface from the image captured by the imaging unit; A program for executing a step of changing the operation mode of detection processing in accordance with a change in the state of a surrounding road surface.
  • Appendix 2 In the step of changing the operating mode, The program according to appendix 1, wherein the operation mode of the detection process is changed in accordance with a change in the running state of a vehicle running around the vehicle.
  • appendix 4 What is the driving condition of surrounding vehicles? 4.
  • the running state of the surrounding vehicle refers to the relative speed of the surrounding vehicle to the vehicle, In the step of changing the operating mode, 5.
  • Appendix 7 The program according to appendix 6, wherein in the step of changing the operation mode of the detection process, the photographing of the road surface is stopped or the photographing rate is changed in accordance with the recognized change in the inter-vehicle distance and the relative speed to the surrounding vehicle.
  • Appendix 8 to the processor, executing a step of transmitting a detection image in which damage is detected among the images to an information processing server; In the step of changing the operating mode of the detection process, 8.
  • the program according to any one of appendices 1 to 7, which changes the transmission mode in the transmitting step.
  • Appendix 12 A method performed by an identification device that includes a processor and performs detection processing for the presence or absence of damage on the road surface from an image of the road surface, the method comprising: the processor a step of being mounted on a vehicle and photographing a road surface around the vehicle; A step of evaluating the presence or absence of damage to the road surface from the image captured by the imaging unit; changing the operation mode of the detection process in response to changes in surrounding road surface conditions.
  • a system that includes a processor and performs detection processing for the presence or absence of damage on the road surface from an image of the road surface, the system comprising: the processor a means mounted on a vehicle for photographing a road surface around the vehicle; means for evaluating the presence or absence of damage to the road surface from the image captured by the imaging unit; and means for changing the operation mode of the detection process in accordance with changes in surrounding road surface conditions.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示のプログラムは、プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置に用いられるプログラムであって、プロセッサに、車両に搭載され、車両の周辺の路面を撮影するステップと、撮影部が撮影した画像から、路面の損傷の有無を評価するステップと、周辺の路面の状態の変化に応じて、検出処理の動作モードを変更するステップと、を実行させる。

Description

識別装置、識別プログラム、および識別方法
　本開示は、識別装置、識別プログラム、および識別方法に関する。
　近年、カメラで道路の状態を撮影し、路面の損傷の有無を検出するシステムが知られている。
　例えば特許文献１には、点検車両を路面上で走行させながら路面をカメラで撮像し、撮像画像から、点検装置の影、路面上のペイントされた表示案内、および路面の汚れ等の検出対象である損傷箇所ではない部分を除去するシステムが開示されている。
特開２００５－４３３２４号公報
　従来技術のような検出システムでは、一定の時間間隔で道路の画像を撮影して画像処理する方法が行われることが一般的である。しかしながらこの方法によると、車両が停止している間にも、走行時と同じように路面の撮影、および撮影後の画像処理を繰り返してしまい、ほとんど内容の同じ画像が多く撮影されて評価されることにより、質の高い情報が得られにくいという問題があった。
　本開示では、効率的に路面の損傷を検出することができる識別装置、識別方法、および識別プログラムを提供することを目的とする。
　本開示のプログラムは、プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置に用いられるプログラムであって、プロセッサに、車両に搭載され、車両の周辺の路面を撮影するステップと、撮影部が撮影した画像から、路面の損傷の有無を評価するステップと、周辺の路面の状態の変化に応じて、検出処理の動作モードを変更するステップと、を実行させる。
　本開示の識別装置、識別プログラム、および識別方法によれば、効率的に路面の損傷を検出することができる。
本実施形態に係る識別装置の構成例を表すブロック図である。 図１に示される携帯端末の機能構成の例を示すブロック図である。 端末装置を車両に搭載した状態を説明する図である。 情報処理サーバに表示される第１画面の例を示す図である。 図１に示されるサーバの機能構成の例を示すブロック図である。 情報処理サーバに表示される第２画面の例を示す図である。 識別装置により識別される損傷の種類の第１例を示す図である。 識別装置により識別される損傷の種類の第２例を示す図である。 識別装置により実行される路面の損傷の検出処理のフローを説明する図である。 評価データの一例を示す図である。 識別装置により実行される路面の損傷の検出における動作モードの制御処理のフローを説明する図である。
　以下、図面を参照しながら、実施の形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
　（実施形態）
　＜１．実施形態の概要＞
　本開示の識別装置１の実施形態の概要について説明する。
　本実施形態に係る識別装置１は、車両が走行する道路における路面の損傷を識別して、損傷の有無を検出する装置である。
　また、識別装置１は、周辺の路面の状態に応じて、路面の損傷の検出処理の動作モードを変更するステップを実行する。
　識別装置１が制御する路面の損傷の検出処理の動作モードには以下が挙げられる。
・撮影部による路面の撮影の頻度
・端末装置からサーバへの撮影画像の送信レート
・路面の撮影画像の評価処理の頻度
　本実施形態では、周辺の路面を走行する周辺車両の走行状態の変化を、撮影画像を用いて検出する方法を例に挙げて、識別装置１の構成および処理について説明する。
　＜２．システム構成＞
　まず、図１を用いて本実施形態に係る識別装置１の構成について説明する。図１は、本実施形態に係る識別装置１の構成例を表すブロック図である。図１に示される識別装置１は、端末装置１０と、情報処理サーバ２０と、を備えている。
　端末装置１０と情報処理サーバ２０とは、ネットワーク３０を介して相互に通信可能に接続されている。ネットワーク３０は、有線又は無線ネットワークにより構成される。
　端末装置１０及び情報処理サーバ２０は、無線基地局３１、又は無線ＬＡＮ規格３２を用いて、ネットワーク３０と接続する。なお、端末装置１０及び情報処理サーバ２０は、有線通信により、ネットワーク３０と接続されてもよい。
　ここで、識別装置１を構成する各装置（例えば、端末装置１０と情報処理サーバ２０）の集合体を、１つの「情報処理装置」として把握することができる。すなわち、複数の装置の集合体として識別装置１を実現し、識別装置１を実現するための複数の機能の配分を、各装置のハードウェアの処理能力に基づき適宜決定することとしてもよい。
　＜２．端末装置１０の構成＞
　端末装置１０は、車両に搭載される端末である。端末装置１０は、例えば、スマートフォン、タブレット端末、又はラップトップパソコン等の汎用の携帯端末である。端末装置１０として、複数のスマートフォン、タブレット端末、及びラップトップパソコン等を使用してもよい。このような携帯端末は、運転中の車両の走行経路の確認を目的として車両に搭載される端末であってもよい。
　また、端末装置１０は、事故発生時の状況記録を目的として車両に搭載される汎用のドライブレコーダに、後述する端末装置１０としての各機能を搭載した機器を用いてもよい。
　すなわち、本発明において路面の状態を撮影する端末装置１０は、路面の撮影のためにのみ用いられる専用の装置に限られず、他の目的で搭載される端末装置１０が有する撮影機能を利用して、付帯的に路面を撮影する兼用の装置であってもよい。
　端末装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信ＩＦ１４と、入出力ＩＦ１５とを含んで構成される。
　プロセッサ１１は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
　メモリ１２は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。
　ストレージ１３は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）である。
　通信ＩＦ１４は、識別装置１が外部の装置と通信するため、信号を入出力するためのインタフェースである。
　入出力ＩＦ１５は、ユーザからの入力操作を受け付けるための入力装置（例えば、マウス等のポインティングデバイス、キーボード）、及び、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）とのインタフェースとして機能する。
　情報処理サーバ２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信ＩＦ２４と、入出力ＩＦ２５とを含んで構成される。プロセッサ２１と、メモリ２２と、ストレージ２３と、通信ＩＦ２４と、入出力ＩＦ２５とは、それぞれ、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信ＩＦ１４と、入出力ＩＦ１５と同様であるため、説明を省略する。
　情報処理サーバ２０は、コンピュータ、及びメインフレーム等により実現される。なお、情報処理サーバ２０は、１台のコンピュータにより実現されてもよいし、複数台のコンピュータが組み合わされて実現されてもよい。
　＜３．端末装置１０の構成＞
　図２は、端末装置１０の機能的な構成を示すブロック図である。図２に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、操作受付部１３０と、音声処理部１４０（マイク１４１及びスピーカ１４２を含む）と、撮影部１５０と、記憶部１６０と、制御部１７０と、ＧＰＳアンテナ１８０と、を備えている。なお、端末装置１０は、操作受付部１３０として、キーボードを備えていてもよい。
　端末装置１０は、図２では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路など）も有している。図２に示すように、端末装置１０に含まれる各ブロックは、バス等により電気的に接続される。
　アンテナ１１１は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１１は、空間から電波を受信して受信信号を第１無線通信部１２１へ与える。
　アンテナ１１２は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１２は、空間から電波を受信して受信信号を第２無線通信部１２２へ与える。
　第１無線通信部１２１は、端末装置１０が他の無線機器と通信するため、アンテナ１１１を介して信号を送受信するための変復調処理などを行う。第２無線通信部１２２は、端末装置１０が他の無線機器と通信するため、アンテナ１１２を介して信号を送受信するための変復調処理などを行う。第１無線通信部１２１と第２無線通信部１２２とは、チューナー、ＲＳＳＩ（Received Signal Strength Indicator）算出回路、ＣＲＣ（Cyclic Redundancy Check）算出回路、高周波回路などを含む通信モジュールである。第１無線通信部１２１と第２無線通信部１２２とは、端末装置１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１７０へ与える。
　操作受付部１３０は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部１３０は、ディスプレイ１３１を含む。なお、操作受付部１３０は静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する、タッチスクリーンとして構成されている。
　ディスプレイ１３２は、制御部１７０の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ１３２は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。
　音声処理部１４０は、音声信号の変復調を行う。音声処理部１４０は、マイク１４１から与えられる信号を変調して、変調後の信号を制御部１７０へ与える。また、音声処理部１４０は、音声信号をスピーカ１４２へ与える。音声処理部１４０は、例えば音声処理用のプロセッサによって実現される。
　マイク１４１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１４０へ与える。スピーカ１４２は、音声処理部１４０から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。
　撮影部１５０は、車両に搭載され、路面の画像を撮影する装置である。具体的には、撮影部１５０は、受光素子により光を受光して、撮影画像１６１として出力するカメラである。
　撮影部１５０は、例えば、撮影部１５０から撮影対象までの距離を検出できる深度カメラである。撮影部１５０は、静止画のみならず、動画を撮影することができる。撮影部１５０により動画を撮影する場合には、動画を構成する１フレーム毎の画像が撮影画像１６１として扱われる。図３は端末装置１０を車両に搭載した状態を説明する図である。
　図３Ａは、車両に搭載した端末装置１０の外観を示す図である。図３Ｂは、車両に搭載した端末装置１０に表示される撮影画像１６１の例を示す図である。
　図３Ａに示すように、端末装置１０は、撮影部１５０が車両の前方を向く姿勢で車両に搭載される。撮影部１５０は、車両の前方の路面の状態を所定の時間ごとに断続的に撮影する。
　図３Ｂに示すように、撮影画像１６１には、路面の損傷を囲むバウンディングボックスＢを出力する。このように、損傷を囲むバウンディングボックスＢを出力することで、路面の損傷の有無のみならず、損傷の位置が識別され、損傷の状態についてより詳細な情報が得られる。また、バウンディングボックスＢによって損傷の位置が強調され、識別結果の確認が容易となる。
　ＧＰＳ（Global Positioning System）アンテナ１８０は、車両の位置を検出し、車両が走行した経路に関する情報を取得する。ＧＰＳアンテナ１８０は、取得した車両の位置、および走行経路に関する情報を制御部１７０の送受信部１７２に送信する。送受信部１７２は、受信した車両の位置、および走行経路に関する情報を、情報処理サーバ２０に送信する。
　図４は、本実施形態に係る情報処理サーバ２０に表示される第１画面ＤＰ１の例を示す図である。第１画面ＤＰ１は、識別部１７３が損傷を検出した検出画像２０２１を受信した場合に表示されてよい。ここで、識別装置１は、ＧＰＳアンテナ１８０から取得した車両の走行経路に関する情報を、画像が撮影された位置に関する情報として、情報処理サーバ２０に送信する。
　本例では、地図ＤＰ１１上に符号Ｒで示す走行経路が示されるとともに、符号Ｄで示すマーカーによって、路面の損傷が検出された検出画像２０２１（図５参照）が撮影された位置が示されている。これにより、どこでどのような損傷が生じているのかが明らかとなり、損傷が生じている場所に応じて適切な管理者へ通知することができる。
　第１画面ＤＰ１は、画像が撮影された位置を示す地図ＤＰ１１、画像が撮影された路面の情報ＤＰ１２、画像を一意に特定するためのデータＩＤ ＤＰ１３及び画像が撮影された日時を示すタイムスタンプＤＰ１４等を含む。
　図示の例では、画像が撮影された路面の情報ＤＰ１２は、交通量（Traffic Volume 、車線数（ Number of Lane）、幅員（ Road Width）、法定の最高速度（ Max Speed）およびタイプ（ Road Type）を含むが、これら以外の情報が含まれてもよいし、これらのうちいずれかが含まれなくてもよい。
　このように、データＩＤ ＤＰ１３、およびタイムスタンプＤＰ１４が表示されていることにより、撮影画像１６１のデータを一意に特定した上で、いつどのような損傷が生じているのかを明らかにすることができ、修復を行うタイミング等の判断材料を提供することができる。
　図２に示す記憶部１６０は、例えばフラッシュメモリ等により構成され、端末装置１０が使用するデータ及びプログラムを記憶する。ある局面において、記憶部１６０は、撮影画像１６１、第１学習済みモデル１６２、および第２学習済みモデル１６３を記憶している。撮影画像１６１は、撮影部１５０により撮影された画像である。
　制御部１７０は、記憶部１６０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置１０の動作を制御する。制御部１７０は、例えば予め端末装置１０にインストールされているアプリケーションである。制御部１７０は、プログラムに従って動作することにより、入力操作受付部１７１と、送受信部１７２と、識別部１７３と、表示処理部１７４と、周辺認識部１７５と、動作制御部１７６しての機能を発揮する。
　入力操作受付部１７１は、入力装置に対するユーザの入力操作を受け付ける処理を行う。
　送受信部１７２は、端末装置１０が、情報処理サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。送受信部１７２は、撮影部１５０が撮影した撮影画像１６１のうち、識別部１７３が損傷を検出した画像である検出画像２０２１を、情報処理サーバ２０に送信する処理を実行する。
　識別部１７３は、端末装置１０の撮影部１５０が路面を撮影した撮影画像１６１に対して、路面の損傷を識別することで、路面における損傷の有無を評価する。
　本実施形態では、後述する動作制御部１７６により制御を除く標準状態において、撮影部１５０は、所定の時間間隔で画像を撮影し、識別部１７３は、所定の時間間隔以内に、路面の損傷を識別する。ここで、所定の時間間隔は、例えば１．２秒である。１．２秒間隔で画像を撮影する場合、車両を４０ｋｍ／ｈ（約１１．１ｍ／ｓ）で走行させれば、約１３ｍ毎に路面が撮影されることとなり、路面を途切れることなく撮影することができる。
　このように、識別部１７３によって、撮影部１５０の撮影間隔以内に路面の損傷が認識されるため、所定の時間間隔を車両の速度に応じて適切に選択することで、路面を途切れることなく撮影して損傷を識別することができる。
　識別部１７３は、第１学習済みモデル１６２を用いて、路面の損傷の有無を識別する。
　第１学習済みモデル１６２は、例えば、予め記憶部１６０に記憶されている。第１学習済みモデル１６２は、撮影部１５０が撮影する撮影画像１６１に基づき、随時、生成および更新されることとしてもよい。
　第１学習済みモデル１６２は、画像中に路面の損傷箇所があるかどうかの識別を行うモデルである。
　第１学習済みモデル１６２は、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。例えば、本実施形態において、第１学習済みモデル１６２は、入力される画像情報に対し、損傷の箇所および損傷の種類を出力するように学習されている。
　このとき、学習用データは、例えば、過去に路面の状態が撮影された路面の画像情報を入力データとし、入力された画像情報に対して損傷箇所に関する情報と、損傷の種類に関する情報と、を正解出力データとする。
　具体的には、第１学習済みモデル１６２は、様々な種類の損傷を有する路面の画像の特徴量（基準特徴量）と、評価対象である撮影画像１６１の特徴量と、を比較して類似度を評価することで、いずれかの種類の損傷があるかどうかを判定する。類似度の評価に際しては、評価対象である撮影画像１６１の特徴量が、基準特徴量に対して、予め設定された閾値の範囲内である場合に、当該損傷があると判断される。なお、様々な種類の損傷について、基準特徴量がそれぞれ設定されている。損傷の種類については後述する。
　本実施形態に係る第１学習済みモデル１６２は、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数、及びパラメータの組合せにより定義される。本実施形態に係る第１学習済みモデル１６２は、上記の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層のニューラルネットワークモデル（以下「多層化ネットワーク」という。）であるとする。多層化ネットワークを用いる第１学習済みモデル１６２は、入力層と、出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層あるいは隠れ層とを有する。第１学習済みモデル１６２は、人工知能ソフトウェアの一部であるプログラムモジュールとしての使用が想定される。
　本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）が用いられ得る。ＤＮＮとしては、例えば、画像を対象とする畳み込みニューラルネットワーク（Convolution Neural Network：ＣＮＮ）を用いてもよい。
　また識別部１７３は、第２学習済みモデル１６３を用いて、検出画像２０２１において検出された損傷が、道路領域内に位置するかどうかを判定する。
　第２学習済みモデル１６３は、例えば、予め記憶部１６０に記憶されている。第２学習済みモデル１６３は、撮影部１５０が撮影する撮影画像１６１に基づき、随時、生成および更新されることとしてもよい。
　第２学習済みモデル１６３は、画像中に検出された損傷箇所が、道路領域内にあるかどうかの識別を行うモデルである。
　第２学習済みモデル１６３は、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。例えば、本実施形態において、第２学習済みモデル１６３は、入力される画像情報に対し、損傷の箇所が道路領域内にあるかどうかを出力するように学習されている。
　このとき、学習用データは、例えば、過去に損傷のある路面の状態が撮影された路面の画像情報を入力データとし、入力された画像情報に対して損傷箇所が道路領域内に位置するかどうかに関する情報を正解出力データとする。
　具体的には、第２学習済みモデル１６３は、道路領域内に損傷がある路面の画像の特徴量（基準特徴量）と、評価対象である検出画像２０２１の特徴量と、を比較して類似度を評価することで、いずれかの種類の損傷があるかどうかを判定する。類似度の評価に際しては、評価対象である検出画像２０２１の特徴量が、基準特徴量に対して、予め設定された閾値の範囲内である場合に、当該損傷が道路領域内にあると判断される。
　本実施形態に係る第２学習済みモデル１６３は、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数、及びパラメータの組合せにより定義される。本実施形態に係る第２学習済みモデル１６３は、上記の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層化ネットワークであるとする。多層化ネットワークを用いる第２学習済みモデル１６３は、入力層と、出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層あるいは隠れ層とを有する。第２学習済みモデル１６３は、人工知能ソフトウェアの一部であるプログラムモジュールとしての使用が想定される。
　識別部１７３は、撮影した位置および走行経路に関する情報を撮影した撮影画像１６１に関連付ける。識別部１７３は、撮影画像１６１を撮影した時刻、車両の位置、および車両の進行方向に関する情報を撮影画像１６１に関連付ける。
　表示処理部１７４は、ユーザに対し情報を提示する処理を行う。表示処理部１７４は、表示画像をディスプレイ１３２に表示させる処理、音声をスピーカ１４２に出力させる処理等を行う。
　周辺認識部１７５は、車両の周辺の路面の状態を認識する。周辺認識部１７５は以下の情報を用いて、路面の状態を認識する。
・撮影部１５０が撮影した撮影画像１６１
・ＧＰＳアンテナ１８０により取得した位置情報
・車両の電子制御装置により伝達される各種の制御信号（ＣＡＮ情報）
・車両に搭載された図示しないジャイロセンサが取得した加速度情報
・車両に搭載された図示しないＬｉＤＡＲ（light detection and ranging）等のレーザ光を用いたセンサが取得したセンシング結果
　周辺の路面の状態には、周辺車両の走行状態が含まれる。
　周辺車両の走行状態とは、例えば前方車両の発進又は停止、車両と周辺車両との車間距離、および周辺車両の車両に対する相対速度のうちの少なくともいずれかを含む。
　本実施形態では、周辺認識部１７５は、撮影画像１６１を用いて車両の周辺の路面の状態を認識する。周辺認識部１７５は、撮影部１５０が撮影した時系列に並ぶ複数の撮影画像を比較し、撮影された検出対象物（周辺車両）の大きさ、および撮影画像における位置の時間変化（差分）を検出することで、周辺車両の走行状態を識別する。
　周辺認識部１７５は、撮像画像の時系列データから、自車両の対地速度を算出する。また、周辺認識部１７５は、撮像画像の時系列データから、前方車両の相対速度を算出する。前方車両の相対速度を時間で微分することで、前方車両の自車両に対する加速度が算出される。そして、周辺認識部１７５は、自車両の対地速度、および前方車両の相対速度（加速度）から、前方車両の速度を算出する。
　例えば、撮影画像１６１に撮像された前方車両の位置が、時系列に沿って遠ざかる場合には、前方車両は自車両に対して相対速度が大きくなる。このように、前方車両の自車両に対する相対速度を算出することで、前方車両の停車および発進を識別することができる。
　また、周辺認識部１７５による識別の際では、前方車両を撮影画像１６１に撮影された検出対象物とせずに、撮影画像１６１に撮像された路面部分を検出対象物として、画像の変化を分析することで、間接的に周辺車両の走行状態を識別してもよい。この場合には、撮影画像１６１における検出対象物の面積を確保できることで、オートバイ等の小型車両の検出の精度補完をすることができる。
　すなわち、周辺車両の走行状態を認識する際には、周辺車両の周囲の状況の変化を認識することで、周辺車両の走行状態の変化を認識することができる。
　動作制御部１７６は、車両の周辺の端末装置１０における路面の損傷の検出に関する動作を制御する。動作制御部１７６は、周辺認識部１７５が識別した周辺車両（前方車両）の走行状態の変化に応じて、路面の損傷の検出処理の動作モードを変更する。動作制御部１７６が制御する検出処理の動作モードを以下に列挙する。
・撮影部１５０による路面の撮影モード
・端末装置１０からサーバへの撮影画像１６１の送信モード
・路面の撮影画像１６１の評価モード
　これらの各制御について、以下に詳述する。
　動作制御部１７６は、前方車両の走行状態の変化に応じて、撮影部１５０による路面の撮影モードを変更する。具体的には、動作制御部１７６は、周辺認識部１７５が認識した周辺車両との車間距離、および相対速度の変化に伴い、撮影部１５０による路面の撮影における撮影の停止、又は撮影レートの変更を行う。
　また、動作制御部１７６は、前方車両の走行状態の変化に応じて、端末装置１０から情報処理サーバ２０に検出画像２０２１を送信する際の送信モードを変更する。具体的には、動作制御部１７６は、周辺認識部１７５が認識した周辺車両の停止に伴い、送受信部１７２による検出画像２０２１の情報処理サーバ２０への送信を停止、又は送信する頻度を低下する。
　また、動作制御部１７６は、前方車両の発進に伴い、送受信部１７２による検出画像２０２１の情報処理サーバ２０への送信を開始、又は送信する頻度を向上する。
　また、動作制御部１７６は、前方車両の走行状態の変化に応じて、路面の損傷の有無を識別するステップにおける識別モードを変更する。具体的には、動作制御部１７６は、周辺認識部１７５が認識した周辺車両の速度、周辺車両と自車両の相対速度および車間距離の少なくとも一方の変化に伴い、識別部１７３による路面の損傷の有無を評価する処理頻度を変更する。
　＜４．情報処理サーバ２０の構成＞
　図５は、情報処理サーバ２０の機能的な構成を示す図である。図５に示すように、情報処理サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。
　通信部２０１は、情報処理サーバ２０が外部の装置と通信するための処理を行う。
　記憶部２０２は、情報処理サーバ２０が使用するデータ及びプログラムを記憶する。記憶部２０２は、検出画像２０２１と、第３学習済みモデル２０２２と、第４学習済みモデル２０２３と、評価データ２０２４と、を記憶する。
　検出画像２０２１は、端末装置１０から送信された画像情報である。すなわち、検出画像２０２１は、端末装置１０の識別部１７３が、路面の損傷を検出した撮影画像１６１である。
　第３学習済みモデル２０２２および評価データ２０２４については後述する。
　制御部２０３は、情報処理サーバ２０のプロセッサ２１がプログラムに従って処理を行うことにより、送受信部２０３１、再識別部２０３２、位置判定部２０３３、および評価部２０３４としての機能を発揮する。
　送受信部２０３１は、情報処理サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理、および情報処理サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
　送受信部２０３１は、車両が走行する外部環境に関する情報を取得する。外部環境に関する情報には、天気に関する情報、時刻に関する状況、明るさに関する情報が含まれる。
　再識別部２０３２は、端末装置１０から送信された複数の検出画像２０２１に対して、第３学習済みモデル２０２２を用いた識別を行うことで、路面の損傷の有無の識別を再度行う。
　第３学習済みモデル２０２２は、例えば、予め記憶部２０２に記憶されている。第３学習済みモデル２０２２は、撮影部１５０が撮影する撮影画像１６１に基づき、随時、生成および更新されることとしてもよい。
　第３学習済みモデル２０２２は、画像中に路面の損傷箇所があるかどうかの識別を行うモデルであり、識別における判断基準以外は、第１学習済みモデル１６２と同様の構成を備えている。
　情報処理サーバ２０の再識別部２０３２が用いる第３学習済みモデル２０２２による識別の基準は、端末装置１０の識別部１７３が用いる第１学習済みモデル１６２による識別の基準とは異なっている。例えば、第１学習済みモデル１６２による識別の方が、第３学習済みモデル２０２２により識別よりも緩い判断基準となっている。
　具体的には、第３学習済みモデル２０２２において設定されている基準特徴量に対する閾値は、第１学習済みモデル１６２において設定されている基準特徴量に対する閾値よりも許容される数値幅が狭くなっている。すなわち、第３学習済みモデル２０２２では、第１学習済みモデル１６２よりも特徴量の類似度が高い場合において、当該撮影画像１６１に損傷があると判断される。
　また、再識別部２０３２は、路面の損傷が、道路領域内に位置するかどうかの判定を再度行う。再識別部２０３２は、第４学習済みモデル２０２３を用いて、検出画像２０２１において検出された損傷が、道路領域内に位置するかどうかを判定する。
　第４学習済みモデル２０２３は、例えば、予め記憶部２０２に記憶されている。第４学習済みモデル２０２３は、撮影部１５０が撮影する撮影画像１６１に基づき、随時、生成および更新されることとしてもよい。
　第４学習済みモデル２０２３は、画像中に検出された損傷箇所が道路領域内にあるかどうかの識別を行うモデルであり、識別における判断基準以外は、第２学習済みモデル１６３と同様の構成を備えている。
　情報処理サーバ２０の再識別部２０３２が用いる第４学習済みモデル２０２３による識別の基準は、端末装置１０の識別部１７３が用いる第２学習済みモデル１６３による識別の基準とは異なっている。例えば、第２学習済みモデル１６３による識別の方が、第４学習済みモデル２０２３により識別よりも緩い判断基準となっている。
　具体的には、第４学習済みモデル２０２３において設定されている基準特徴量に対する閾値は、第２学習済みモデル１６３において設定されている基準特徴量に対する閾値よりも許容される数値幅が狭くなっている。すなわち、第４学習済みモデル２０２３では、第２学習済みモデル１６３よりも特徴量の類似度が高い場合において、検出された路面の損傷が、道路領域内にあると判定する。
　位置判定部２０３３は、端末装置１０の送受信部１７２から送信された複数の検出画像２０２１に撮影された路面の損傷が、同一箇所であるかどうかを判定する。具体的には、位置判定部２０３３は、検出画像２０２１、および検出画像２０２１が撮影された位置情報を用いて、複数の検出画像２０２１に撮影された前記路面の損傷が、同一箇所かどうかを判定する。
　また、位置判定部２０３３は、車両の走行経路に関する情報を用いて、複数の検出画像２０２１に撮影された路面の損傷が、同一箇所かどうかを判定してもよい。
　評価部２０３４は、位置判定部２０３３により同一箇所と判定された路面の損傷に関する情報を、時系列に沿って統合して、路面の損傷の有無を評価する。具体的には、評価部２０３４は、時系列に沿って路面の損傷に関する情報を統合することで、路面の損傷の存在確率を算出する。
　ここで、路面の損傷に関する情報とは、検出画像２０２１が撮影された位置における損傷の有無に関する情報、および検出画像２０２１のうちの少なくとも一方を含む。
　評価部２０３４は、外部環境に関する情報を用いて、存在確率への重み付けを行ってもよい。例えば、視界の悪い雨天時の検出結果よりも、視界が良い晴天時の検出結果に対して高い重みづけを行ってもよい。また、外が暗い夕方よりも、外が明るい昼間の検出結果に高い重みづけを行ってもよい。
　評価部２０３４は、座標の損傷が撮影された座標位置毎に、任意の期間における路面の損傷の有無に関する情報を統合する。
　図６は、本実施形態に係る情報処理サーバ２０に表示される第２画面ＤＰ２の例を示す図である。
　第２画面ＤＰ２は、情報処理サーバ２０の再識別部２０３２が損傷を検出した検出画像２０２１および識別結果を受信した場合に表示されてよく、第１画面ＤＰ１と並べて表示されてもよい。情報処理サーバ２０は、第２画面ＤＰ２を表示して、識別結果が正しいか管理者に確認させ、誤っている場合には管理者から識別結果の訂正を受け付けてよい。
　第２画面ＤＰ２には、撮影部１５０により撮影された検出画像２０２１、チェック済みフェーズＤＰ２２、タイムスタンプＤＰ２３、対応状況ＤＰ２４、損傷種類ＤＰ２５が含まれている。第２画面ＤＰ２には、識別部１７３により識別された損傷を囲むバウンディングボックスＢが表示されている。
　チェック済みフェーズＤＰ２２には、損傷のチェック作業の進捗状況が表示されている。図示の例において、符号ＤＰ２２１に示す携帯端末のアイコンは、端末装置１０での損傷の識別が完了していることを示す。符号ＤＰ２２２に示すディスプレイのアイコンは、情報処理サーバ２０での損傷の識別が完了していることを示す。符号ＤＰ２２３に示す眼のアイコンは、その後に行われるクラウドソーシングによるチェック処理が完了していることを示す。
　第２画面ＤＰ２におけるタイムスタンプＤＰ２３には、検出画像２０２１を撮影した際に付与された日時に関する情報が示されている。すなわち、検出画像２０２１を撮影した日時および時刻を示す情報である。
　第２画面ＤＰ２における対応状況ＤＰ２４は、当該損傷に対して行われる対応に関する情報が記載されている。対応に関する情報としては、例えば、経過観察、管理者への報告予定、管理者への報告済み、修繕予定、等が挙げられる。
　第２画面ＤＰ２における損傷種類ＤＰ２５には、損傷の種類が記載されている。ここで、損傷の種類について、図７よび図８を用いて説明する。
　図７は、識別装置１により識別される損傷の種類の第１例を示す図である。図８は、識別装置１により識別される損傷の種類の第２例を示す図である。
　図７Ａに示すＤ００で識別される損傷の種類は、縦方向（進行方向）に沿って延びる線状のひび割れであり、車輪走行部に発生する損傷を指す。
　図７Ｂに示すＤ０１で識別される損傷の種類は、縦方向に沿って延びる線状のひび割れであり、施工ジョイント部に発生する損傷を指す。施工ジョイント部とは、アスファルト舗装のつなぎ目を意味する。
　図７Ｃに示すＤ１０で識別される損傷の種類は、横方向（道路の幅方向）に沿って延びる線状のひび割れであり、車輪走行部に発生する損傷を指す。
　図７Ｄに示すＤ１１で識別される損傷の種類は、横方向に沿って延びる線状のひび割れであり、施工ジョイント部に発生する損傷を指す。
　図８Ａに示すＤ２０で識別される損傷の種類は、亀甲状のひび割れを指す。
　図８Ｂに示すＤ４０で識別される損傷の種類は、段差、ポットホール、および剥離を指す。
　図８Ｃで示すＤ４３で識別される損傷の種類は、横断歩道のかすれを指す。
　図８Ｄで示すＤ４４で識別される損傷の種類は、白線のかすれを指す。
　なお、上記の損傷の種類はあくまで例示であり、その他の損傷の種類を含んでもよい。このように、路面の損傷の有無のみならず、損傷の種類が識別され、損傷の状態について詳細な情報を得ることができる。
　＜５．識別装置１の制処理＞
　＜５－１．路面の損傷の検出における制御処理＞
　次に、識別装置１の基本的な処理として、路面の損傷の検出における制御処理について説明する。図９は、識別装置１により実行される処理のフローを説明する図である。この図で説明する処理は、識別装置１により行われる処理の大枠であり、実際には後述する検出処理の制御処理を並行した処理が行われる。
　図９に示すように、まず、撮影部１５０が所定の時間間隔で画像を撮影する（ステップＳ１１０）。撮影部１５０は、撮影した撮影画像１６１を記憶部１６０に記憶させる。
　ステップＳ１１０の後に、識別部１７３は、撮影画像１６１に撮影された路面における損傷の有無を識別する（ステップＳ１１１）。具体的には、識別部１７３は、第１学習済みモデル１６２に撮影画像１６１を入力することで、損傷の有無に関する出力を得る。
　ステップＳ１１１において、損傷が確認されない場合（ステップＳ１１２のＮｏ）には、識別装置１による当該撮影画像１６１に対する識別処理を終了し、次のフレームに対応する撮影画像１６１の識別を行う。
　ステップＳ１１１において、損傷が確認された場合には（ステップＳ１１２のＹｅｓ）、識別部１７３が、損傷が道路領域内かどうかを判定する（ステップＳ１１３）。具体的には、識別部１７３は、撮影画像１６１を第２学習済みモデル１６３に入力することで、損傷が道路領域内かどうかの出力を得る。
　ステップＳ１１３において、損傷が道路領域内ではないと出力された場合には、（ステップＳ１１４のＮｏ）には、具体的には、損傷が歩道や周囲の建物等に位置する場合には、識別装置１による当該撮影画像１６１に対する識別処理を終了し、次のフレームに対応する撮影画像１６１の識別を行う。
　ステップＳ１１３において、損傷が道路領域内であると出力された場合には、識別部１７３は、撮影位置に関する情報を関連付ける（ステップＳ１１５）。
　ステップＳ１１５の後に、端末装置１０の送受信部１７２が、検出画像２０２１を情報処理サーバ２０に送信する（ステップＳ１１６）。これにより、情報処理サーバ２０の送受信部２０３１が、検出画像２０２１を受信し、記憶部２０２に記憶させる。
　ステップＳ１１６の後に、情報処理サーバ２０の再識別部２０３２が、検出画像２０２１に対して損傷の有無を再度識別する（ステップＳ１１７）。具体的には、再識別部２０３２は、第３学習済みモデル２０２２に撮影画像１６１を入力することで、損傷の有無に関する出力を得る。
　ステップＳ１１７において、損傷が確認されない場合（ステップＳ１１８のＮｏ）には、識別装置１による当該撮影画像１６１に対する識別処理を終了し、次のフレームに対応する撮影画像１６１の識別を行う。
　ステップＳ１１７において、損傷が確認された場合（ステップＳ１１８のＹｅｓ）には、再識別部２０３２が、損傷が道路領域内かどうかを判定する（ステップＳ１１９）。
　具体的には、再識別部２０３２は、撮影画像１６１を第４学習済みモデル２０２３に入力することで、損傷が道路領域内かどうかの出力を得る。
　ステップＳ１１９において、損傷が道路領域内ではないと出力された場合には、（ステップＳ１２０のＮｏ）には、具体的には、損傷が歩道や周囲の建物等に位置する場合には、識別装置１による当該撮影画像１６１に対する識別処理を終了し、次のフレームに対応する撮影画像１６１の識別を行う。
　ステップＳ１１９において、損傷が道路領域内であると出力された場合には、クラウドソーシングによる目視チェックを実行する（ステップＳ１２１）。具体的には、不特定多数のチェッカーに対して検出画像２０２１を送信し、チェックを受ける。この結果において、損傷であるという回答数が一定の数を超えた場合に、損傷があるものとして扱う。
　ステップＳ１２１の後に、位置判定部２０３３は、検出画像２０２１の位置を判定する。すなわち、損傷が確認された検出画像２０２１について、同一箇所であるかどうかの判定を行う。具体的には、情報処理サーバ２０の記憶部２０２には、撮影した日時の異なる多数の検出画像２０２１が記憶されている。位置判定部２０３３は、これらの多数の検出画像２０２１に対して、緯度、経度等の座標を用いて、同一箇所として識別する。
　ステップＳ１２２の後に、評価部２０３４は、損傷の確率分布を算出する（ステップＳ１２３）。具体的には、路面の損傷が撮影された座標位置毎に、任意の期間における路面の損傷の有無に関する情報を統合する。この時の評価結果を図１０で説明する。図１０は、評価データ２０２４の一例を示す図である。
　図１０に示すように、評価部２０３４は、車両の走行経路における出発点（start）から目的地（Goal）までの座標位置毎に、時系列に沿って、路面の損傷に関する情報を統合する。具体的には、評価部２０３４は、時間を変数とする確率を算出する。図１０に示す評価データ２０２４の例では、クラウドソーシングによる目視チェックにおいて損傷があると判断された検出画像２０２１の評価指標を１とし、クラウドソーシングによる目視チェックまでのいずれかの工程で損傷がないと判断された検出画像２０２１の評価指標を０として集計している。そして、存在確率は、全標本数に対して１と検出された確率を算出する。
　評価部２０３４は、最終的な判断として、存在確率の閾値を設定する。例えば閾値を８０％と設定した場合には、存在確率が８０％以上の座標に対して、損傷があると判断する。この際、評価部２０３４は、撮影された地点における外部環境（天候、時刻、明るさ）により、重みづけを行ってもよい。例えば、悪天候時には傷の誤認が想定される。このため、１２月１日の座標（ｘ１、ｙ１）が悪天候であった場合には、評価指標に×０．９とする。同様に、夕方や暗い環境で撮影された検出画像２０２１の評価指標に予め設定された重み係数を乗じてもよい。このような重み係数の値は、外部環境の条件の影響度に応じて任意に設定することができる。
　＜５－２．検出における動作モードの制御処理＞
　次に、路面の損傷の検出における動作モードの制御処理について説明する。図１１は、識別装置１により実行される路面の損傷の検出における動作モードの制御処理のフローを説明する図である。
　動作モードの制御処理は、前述した路面の損傷の検出処理と並行して行われる。このため、図１１では、図１０で説明した処理の一部を左側に記載し、動作モードの制御処理を右側に示している。
　図１１に示すように、端末装置１０の周辺認識部１７５は、前方車両の走行状態を認識する（ステップＳ２１０）。具体的には、周辺認識部１７５は、既に取得された撮影画像１６１を用いて差分処理を行い、前方車両の加速度（相対速度）の変化、自車両との車間距離の変化を認識する。これにより、前方車両の発進又は停止も認識する。
　ステップＳ２１０において、前方車両の走行状態に変化がない場合（ステップＳ２１１のＮｏ）には、継続して前方車両の走行状態をチェックする。周辺認識部１７５による前方車両の走行状態のチェックは、識別装置１による全ての処理が継続する間、継続して行われる。
　一方、ステップＳ２１０において、前方車両の走行状態に変化がある場合（ステップＳ２１１のＹｅｓ）には、端末装置１０の動作制御部１７６が、撮影部１５０の撮影レートを変更する（ステップＳ２２０）。具体的には、動作制御部１７６は、前述したステップＳ１１０の撮影部１５０による路面の撮影における撮影レートを変更する。例えば、撮影レートの変更は、以下の態様で行われる。
・前方車両の発進に伴い、撮影レートを上げる（撮影を開始する）
・前方車両の停止に伴い、撮影レートを下げる（撮影を停止する）
・前方車両との車間距離の拡大に伴い、撮影レートを上げる
・前方車両との車間距離の縮小に伴い、撮影レートを下げる
・前方車両の加速度（相対速度）の増加に伴い、撮影レートを上げる
・前方車両の加速度（相対速度）の減少に伴い、撮影レートを下げる
　なお、撮影レートの変更では、撮影自体は継続して同じレートで撮影を行い、端末装置１０の記憶部１６０に保存する際の頻度を調整するという態様であってもよい。
　このため、例えば前方車両が停止した際、前方車両との車間距離が縮小した際、又は前方車両の加速度が減少した際には、撮影の頻度が下がり、撮影部１５０が取得する撮像画像の単位時間当たりの枚数が少なくなる。
　一方、前方車両が発進した際、前方車両との車間距離が拡大した際、又は前方車両の加速度が増加した際には、撮影の頻度があがり、撮影部１５０が取得する撮像画像の単位時間当たりの枚数が多くなる。
　また、ステップＳ２１０において、前方車両の走行状態に変化がある場合（ステップＳ２１１のＹｅｓ）には、端末装置１０の動作制御部１７６が、識別部１７３の識別速度を変更する（ステップＳ２３０）。具体的には、動作制御部１７６は、前述したステップＳ１１６の識別部１７３による撮像画像に対する路面の損傷の識別処理の頻度を変更する。例えば、識別処理の頻度の変更は、以下の態様で行われる。
・前方車両の発進に伴い、識別処理の頻度を上げる（識別処理を開始する）
・前方車両の停止に伴い、識別処理の頻度を下げる（識別処理を停止する）
・前方車両との車間距離の拡大に伴い、識別処理の頻度を上げる
・前方車両との車間距離の縮小に伴い、識別処理の頻度を下げる
・前方車両の加速度（相対速度）の増加に伴い、識別処理の頻度を上げる
・前方車両の加速度（相対速度）の減少に伴い、識別処理の頻度を下げる
　このため、例えば前方車両が停止した際、前方車両との車間距離が縮小した際、又は前方車両の加速度が減少した際には、撮影画像１６１に対する路面の損傷の識別処理の頻度が下がり、単位時間当たりにおける、損傷の有無が識別される撮像画像の枚数が少なくなる。
　一方、前方車両が発進した際、前方車両との車間距離が拡大した際、又は前方車両の加速度が増加した際には、撮影画像１６１に対する路面の損傷の識別処理の頻度が上がり、単位時間当たりにおける、損傷の有無が識別される撮像画像の枚数が多くなる。
　また、ステップＳ２１０において、前方車両の走行状態に変化がある場合（ステップＳ２１１のＹｅｓ）には、端末装置１０の動作制御部１７６が、送受信部１７２の検出画像２０２１の送信レートを変更する（ステップＳ２４０）。具体的には、動作制御部１７６は、前述したステップＳ１１６の送受信部１７２による検出画像２０２１の情報処理サーバ２０への送信レートを変更する。例えば、送信レートの変更は以下の態様により行われる。
・前方車両の発進に伴い、送信レートを上げる（送信処理を開始する）
・前方車両の停止に伴い、送信レートを下げる（送信処理を停止する）
・前方車両との車間距離の拡大に伴い、送信レートを上げる
・前方車両との車間距離の縮小に伴い、送信レートを下げる
・前方車両の加速度（相対速度）の増加に伴い、送信レートを上げる
・前方車両の加速度（相対速度）の減少に伴い、送信レートを下げる
　送信レートの変更では、例えば１回のリクエストで複数枚の検出画像２０２１を情報処理サーバ２０に送信するとした場合に、リクエストの頻度を増減させることで行われる。
　このため、例えば前方車両が停止した際、前方車両との車間距離が縮小した際、又は前方車両の加速度が減少した際には、端末装置１０から情報処理サーバ２０に送信される検出画像２０２１の単位時間当たりの枚数が少なくなる。
　一方、前方車両が発進した際、前方車両との車間距離が拡大した際、又は前方車両の加速度が増加した際には、端末装置１０から情報処理サーバ２０に送信される検出画像２０２１の単位時間当たりの枚数が少なくなる。
　動作制御部１７６は、前方車両の走行状態の変化に応じて、継続して各機能部の動作モードの制御を行う。この処理は、前方車両の走行状態の変化がなくなるまで継続する。
　＜６．小括＞
　以上説明したように、本実施形態に係る識別装置１によれば、端末装置１０の動作制御部１７６が、周辺認識部１７５が認識した周辺の路面の状態の変化に応じて、検出処理の動作モードを変更する。このため、例えば前方車両の発進時に多くの撮影画像１６１を取得し、多くの撮影画像１６１に対して損傷の識別を行い、多くの検出画像２０２１を端末装置１０から情報処理サーバ２０に送信することができる。一方、例えば前方車両の停車時に少しの撮影画像１６１を取得し、少しの撮影画像１６１に対して損傷の識別を行い、少しの検出画像２０２１を端末装置１０から情報処理サーバ２０に送信することができる。
　このため、前方車両により隠れていた路面が露出した際に、多くの検出を行うとともに、前方車両により車両の前方が隠れている場合には、検出の頻度を抑えることができる。これにより、例えば一様に検出処理を行う構成と比較して、周辺車両の走行状態に応じて効率的に路面の損傷を検出することができ、質の高い情報により、効率的に路面の損傷を検出することができる。
　また、路面の検出に用いて撮影画像１６１を用いて、周辺車両の走行状態の変化を認識する場合には、他のセンサを必要とせず、簡易な構成で、周辺車両の走行状態の変化の認識を行うことができる。
　また、端末装置１０の動作制御部１７６が、撮影部１５０が撮影した時系列に並ぶ複数の画像を比較することで、周辺車両の走行状態を識別するので、周辺車両の状態を正確に把握することができる。
　また、端末装置１０の周辺認識部１７５が、周辺車両の走行状態として、周辺車両の発進又は停止、車両と周辺車両との車間距離、および周辺車両の車両に対する相対速度のうちの少なくともいずれかの変化を認識するので、周辺車両の走行状態の様々な変化を適切に認識することができる。
　また、端末装置１０の動作制御部１７６が、車両の位置情報、車両に搭載されたジェイロセンサ、および車両のＣＡＮ情報のうちのいずれかを用いて、相対速度を検出するので、精度の高い検出を行うことができる。
　また、端末装置１０の動作制御部１７６が、認識した周辺車両との車間距離、および相対速度の変化に伴い、撮影部１５０による路面の撮影における撮影の停止、又は撮影レートの変更を行う。このため、前方の路面に前方車両が位置していない状態などの撮影が必要なタイミングで、効率的な撮影を行うことができる。
　また、端末装置１０の動作制御部１７６が、認識した周辺車両の速度、周辺車両と自車両の相対速度および車間距離の少なくとも一方の変化に伴い、路面の損傷の有無を評価する処理の頻度を変更する。このため、撮影部１５０による撮像画像の枚数が増加した場合に、識別処理の遅れが生じるのを防ぐことができる。
　また、端末装置１０の動作制御部１７６が、認識した周辺車両の停止に伴い、検出画像２０２１の情報処理サーバ２０への送信を停止、又は送信する頻度を低下するとともに、周辺車両の発進に伴い、検出画像２０２１の情報処理サーバ２０への送信を開始、又は送信する頻度を向上する。このため、識別部１７３が識別した検出画像２０２１が増加した場合に、検出画像２０２１を効率的に端末装置１０から情報処理サーバ２０に送信することができる。
　また、端末装置１０の撮影部１５０が撮影した撮影画像１６１に対して、端末装置１０の識別部１７３が損傷の有無を識別する。そして、撮影画像１６１のうち、端末装置１０において損傷が検出された検出画像２０２１のみを情報処理サーバ２０に送信する。
　このため、撮影された膨大な量の撮影画像１６１のうち、全ての撮影画像１６１を端末装置１０から情報処理サーバ２０に送信する必要がなく、一部の撮影画像１６１に相当する、損傷が検出された検出画像２０２１のみを、端末装置１０から情報処理サーバ２０に送信すれば足りる。これにより、撮影を行う端末装置１０からのデータの通信量を大きく抑えることができる。
　また、情報処理サーバ２０の位置判定部２０３３が、撮影された損傷の位置が同一箇所であるかどうかを判定し、評価部２０３４が、路面の損傷に関する情報を、時系列に沿って統合して、路面の損傷の有無を評価する。
　このため、一枚の撮影画像１６１による判定ではなく、多数の撮影画像１６１から総合的に損傷の有無を判断することができ、路面の損傷の有無の検出を精度よく行うことができる。
　また、評価部２０３４が、時系列に沿って、路面の損傷が撮影された座標位置毎に、任意の期間における路面の損傷に関する情報を統合することで、路面の損傷の存在確率を算出する。これにより、損傷の識別における誤判定を吸収しながら、統計的に損傷の有無を判断することができる。
　また、評価部２０３４が、外部環境に関する情報を用いて、存在確率への重み付けを行うので、撮影時の条件の違いを考慮して、精度の高い識別を行うことができる。
　また、位置判定部２０３３が、検出画像２０２１、および検出画像２０２１が撮影された位置情報を用いて、複数の検出画像２０２１に撮影された路面の損傷が、同一箇所かどうかを判定する。これにより、大量の撮影画像１６１を用いて同一箇所の損傷がどのように推移するのかを確認することができる。
　また、位置判定部２０３３が、車両の走行経路に関する情報を用いて、複数の検出画像２０２１に撮影された路面の損傷が、同一箇所かどうかを判定する。これにより、車両の進行方向を考慮して、撮影された時点に対する損傷の位置を正確に把握することができる。
　また、識別部１７３が、検出画像２０２１において検出された損傷が、道路領域内に位置するかどうかを判定する。このため、歩道や周囲の設備の損傷をノイズとして除外することができる。
　また、情報処理サーバ２０が、検出画像２０２１に対して、学習済みモデルを用いた識別を行うことで、路面の損傷の有無の識別、および路面の損傷が、道路領域内に位置するかどうかの判定を再度行う再識別部２０３２をさらに備えている。このため、損傷の識別をより高精度に行うことができる。
　また、再識別部２０３２は、識別部１７３と異なる識別基準に従って、路面の損傷の有無を再度識別する。このため、例えば再識別部２０３２による識別基準を識別部１７３による識別基準よりも高くすることで、端末装置１０での一次的な識別では損傷がありそうな撮影画像１６１を拾い上げ、情報処理サーバ２０での二次的な識別ではノイズを除外するというように、多様な識別を行うことができる。
　＜７．変形例＞
　上述の実施形態においては、端末装置１０の周辺認識部１７５が、前方車両の走行状態の変化を認識する例を示したが、このような態様に限られない。例えば、撮影部１５０により自車両の後方の路面を撮影して、路面の損傷を検出する場合には、周辺認識部１７５は、自車両の後方を走行する車両の走行状態の変化を認識してもよい。
　また、撮影部１５０により自車両の側方の路面を撮影して、路面の損傷を検出する場合には、周辺認識部１７５は、自車両の後方を走行する車両の走行状態の変化を認識してもよい。すなわち、周辺認識部１７５は、撮影部１５０が撮影する方向と同じ方向を走行する車両の走行状態の変化を認識すればよい。
　また、周辺認識部１７５は、撮影部１５０が撮影した撮影画像１６１を用いることなく、周辺車両の走行状態を認識してもよい。この場合には、車両に搭載されたＬｉＤＡＲ（light detection and ranging）等のレーザ光を用いたセンサやその他の計測機器が取得したセンシング結果により、周辺車両の走行状態を認識することができる。
　また、端末装置１０の動作制御部１７６が、撮影部１５０、識別部１７３、および送受信部１７２それぞれの動作を制御する例を示したが、この例に限られない。動作制御部１７６は、撮影部１５０、識別部１７３、および送受信部１７２のうちのいずれかの動作を制御すれば足りる。
　また、周辺認識部１７５は、自車両の速度が閾値以下の場合には、自車両が停止している状態であり、路面の撮影を頻繁に行う必要がないと判断し、周辺車両の認識を行う処理を停止してもよい。
　また、評価部２０３４が時系列に沿って統合する路面の損傷に関する情報が、検出画像２０２１が撮影された位置における損傷の有無に関する情報である例を示したが、この限りではない。例えば、評価部２０３４は、検出画像２０２１を路面の損傷に関する情報として、時系列に沿って統合してもよい。この場合には、時系列に沿って成長する損傷の様子が描写された画像の集合（動画）を得ることができる。
　また、上述の実施形態では、１台の車両に搭載される端末装置１０により撮影された撮影画像１６１を評価する例を示したが、このような態様に限られない。例えば、多数の車両により撮影された撮影画像１６１の評価をおこなってもよい。
　具体的には、事前に登録された多数のユーザが撮影した撮影画像１６１に対して、それぞれの端末装置１０において損傷の有無の識別を行う。そして、複数の撮影画像１６１のうち、損傷が検出された検出画像２０２１が、それぞれの端末装置１０から情報処理サーバ２０に送信され、情報処理サーバ２０において、前述したそれぞれの評価処理が行われてもよい。このような構成を採用すれば、端末装置１０として、汎用の携帯端末やドライブレコーダのような兼用の装置を採用することにより、様々な走行経路における膨大な数の撮影地点において撮影された、大量の検出画像２０２１を容易に取得することができる。これにより、算出された路面の損傷の存在確率の精度を確保することができる。
　以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
　＜付記＞
　実施形態で説明した事項を、以下に付記する。
（付記１）
　プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置に用いられるプログラムであって、プログラムは、
　プロセッサに、
　車両に搭載され、車両の周辺の路面を撮影するステップと、
　撮影部が撮影した画像から、路面の損傷の有無を評価するステップと、
　周辺の路面の状態の変化に応じて、検出処理の動作モードを変更するステップと、を実行させるプログラム。
（付記２）
　動作モードを変更するステップでは、
　車両の周辺を走行する周辺車両の走行状態の変化に応じて、検出処理の動作モードを変更する、付記１に記載のプログラム。
（付記３）
　動作モードを変更するステップでは、
　撮影部が撮影した時系列に並ぶ複数の画像を比較することで、周辺車両の走行状態を識別する、付記２に記載のプログラム。
（付記４）
　周辺車両の走行状態とは、
　周辺車両の発進又は停止、車両と周辺車両との車間距離、および周辺車両の車両に対する相対速度のうちの少なくともいずれかを含む、付記２又は３に記載のプログラム。
（付記５）
　周辺車両の走行状態とは、周辺車両の車両に対する相対速度を指し、
　動作モードを変更するステップでは、
　車両の位置情報、車両に搭載されたジェイロセンサ、および車両のＣＡＮ情報のうちのいずれかを用いて、相対速度を検出する、付記２から４のいずれかに記載のプログラム。
（付記６）
　検出処理の動作モードを変更するステップでは、
　路面の画像を撮影するステップにおける撮影モードを変更する付記１から５のいずれかに記載のプログラム。
（付記７）
　検出処理の動作モードを変更するステップでは
　認識した周辺車両との車間距離、および相対速度の変化に伴い、路面の撮影における撮影の停止、又は撮影レートの変更を行う、付記６に記載のプログラム。
（付記８） 
　プロセッサに、
　画像のうち、損傷を検出した検出画像を情報処理サーバに送信するステップを実行させ、
　検出処理の動作モードを変更するステップでは、
　送信するステップにおける送信モードを変更する付記１から７のいずれかに記載のプログラム。
（付記９）
　検出処理の動作モードを変更するステップでは
　認識した周辺車両の停止に伴い、検出画像の情報処理サーバへの送信を停止、又は送信する頻度を低下するとともに、周辺車両の発進に伴い、検出画像の情報処理サーバへの送信を開始、又は送信する頻度を向上する、付記８に記載のプログラム。
（付記１０）
　検出処理の動作モードを変更するステップでは、
　路面の損傷の有無を評価するステップにおける識別モードを変更する付記１から９のいずれかに記載のプログラム。
（付記１１）
　検出処理の動作モードを変更するステップでは、
　認識した周辺車両の速度、周辺車両と自車両の相対速度および車間距離の少なくとも一方の変化に伴い、路面の損傷の有無を評価する処理の頻度を変更する、付記１０に記載のプログラム。
（付記１２）
　プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置が行う方法であって、方法は、
　プロセッサが、
　車両に搭載され、車両の周辺の路面を撮影するステップと、
　撮影部が撮影した画像から、路面の損傷の有無を評価するステップと、
　周辺の路面の状態の変化に応じて、検出処理の動作モードを変更するステップと、を実行する方法。
（付記１３）
　プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行うシステムであって、システムは、
　プロセッサが、
　車両に搭載され、車両の周辺の路面を撮影する手段と、
　撮影部が撮影した画像から、路面の損傷の有無を評価する手段と、
　周辺の路面の状態の変化に応じて、検出処理の動作モードを変更する手段と、を備えるシステム。
１…識別装置
１０…端末装置
１５０…撮影部
１７０…制御部
１７１…入力操作受付部
１７２…送受信部
１７３…識別部
１７４…表示処理部
１７５…周辺認識部
１７６…動作制御部
２０…情報処理端末
２０３…制御部
２０３１…送受信部
２０３２…再識別部
２０３３…位置判定部
２０３４…評価部

 

Claims (13)

  1. 　プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置に用いられるプログラムであって、前記プログラムは、
    　前記プロセッサに、
    　車両に搭載され、前記車両の周辺の路面を撮影するステップと、
    　前記撮影部が撮影した画像から、前記路面の損傷の有無を評価するステップと、
    　前記周辺の路面の状態の変化に応じて、前記検出処理の動作モードを変更するステップと、を実行させるプログラム。
  2. 　前記動作モードを変更するステップでは、
    　前記車両の周辺を走行する周辺車両の走行状態の変化に応じて、前記検出処理の動作モードを変更する、請求項１に記載のプログラム。
  3. 　前記動作モードを変更するステップでは、
    　前記撮影部が撮影した時系列に並ぶ複数の画像を比較することで、前記周辺車両の走行状態を識別する、請求項２に記載のプログラム。
  4. 　前記周辺車両の走行状態とは、
    　前記周辺車両の発進又は停止、前記車両と前記周辺車両との車間距離、および前記周辺車両の前記車両に対する相対速度のうちの少なくともいずれかを含む、請求項２又は３に記載のプログラム。
  5. 　前記周辺車両の走行状態とは、前記周辺車両の前記車両に対する相対速度を指し、
    　前記動作モードを変更するステップでは、
    　前記車両の位置情報、前記車両に搭載されたジェイロセンサ、および前記車両のＣＡＮ情報のうちのいずれかを用いて、前記相対速度を検出する、請求項２から４のいずれか１項に記載のプログラム。
  6. 　前記検出処理の動作モードを変更するステップでは、
    　前記路面の画像を撮影するステップにおける撮影モードを変更する請求項１から５のいずれか１項に記載のプログラム。
  7. 　前記検出処理の動作モードを変更するステップでは
    　認識した前記周辺車両との車間距離、および相対速度の変化に伴い、前記路面の撮影における撮影の停止、又は撮影レートの変更を行う、請求項６に記載のプログラム。
  8. 　前記プロセッサに、
    　前記画像のうち、損傷を検出した検出画像を情報処理サーバに送信するステップを実行させ、
    　前記検出処理の動作モードを変更するステップでは、
    　前記送信するステップにおける送信モードを変更する請求項１から７のいずれか１項に記載のプログラム。
  9. 　前記検出処理の動作モードを変更するステップでは
    　認識した前記周辺車両の停止に伴い、前記検出画像の前記情報処理サーバへの送信を停止、又は送信する頻度を低下するとともに、周辺車両の発進に伴い、前記検出画像の前記情報処理サーバへの送信を開始、又は送信する頻度を向上する、請求項８に記載のプログラム。
  10. 　前記検出処理の動作モードを変更するステップでは、
    　前記路面の損傷の有無を評価するステップにおける識別モードを変更する請求項１から９のいずれか１項に記載のプログラム。
  11. 　前記検出処理の動作モードを変更するステップでは、
    　認識した前記周辺車両の速度、前記周辺車両と自車両の相対速度および車間距離の少なくとも一方の変化に伴い、前記路面の損傷の有無を評価する処理の頻度を変更する、請求項１０に記載のプログラム。
  12. 　プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行う識別装置が行う方法であって、前記方法は、
    　前記プロセッサが、
    　車両に搭載され、前記車両の周辺の路面を撮影するステップと、
    　前記撮影部が撮影した画像から、前記路面の損傷の有無を評価するステップと、
    　前記周辺の路面の状態の変化に応じて、前記検出処理の動作モードを変更するステップと、を実行する方法。
  13. 　プロセッサを備え、路面を撮影した画像から路面における損傷の有無の検出処理を行うシステムであって、前記システムは、
    　前記プロセッサが、
    　車両に搭載され、前記車両の周辺の路面を撮影する手段と、
    　前記撮影部が撮影した画像から、前記路面の損傷の有無を評価する手段と、
    　前記周辺の路面の状態の変化に応じて、前記検出処理の動作モードを変更する手段と、を備えるシステム。
PCT/JP2022/007571 2021-08-18 2022-02-24 識別装置、識別プログラム、および識別方法 WO2023021736A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021133202A JP7025080B1 (ja) 2021-08-18 2021-08-18 識別装置、識別プログラム、および識別方法
JP2021-133202 2021-08-18

Publications (1)

Publication Number Publication Date
WO2023021736A1 true WO2023021736A1 (ja) 2023-02-23

Family

ID=81124408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007571 WO2023021736A1 (ja) 2021-08-18 2022-02-24 識別装置、識別プログラム、および識別方法

Country Status (2)

Country Link
JP (2) JP7025080B1 (ja)
WO (1) WO2023021736A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191276A (ja) * 2002-12-13 2004-07-08 Koito Ind Ltd 路面状態判別装置
JP2019028922A (ja) * 2017-08-03 2019-02-21 パナソニックＩｐマネジメント株式会社 情報蓄積システム、情報配信システム、運転支援システム及び情報蓄積方法
JP2020008996A (ja) * 2018-07-04 2020-01-16 株式会社デンソーテン 道路情報収集支援サーバ、道路情報収集装置、道路情報収集システム、及び道路情報収集方法
JP2021026353A (ja) * 2019-07-31 2021-02-22 株式会社リコー 路面性状調査システム、路面性状調査方法、及び路面性状調査プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191276A (ja) * 2002-12-13 2004-07-08 Koito Ind Ltd 路面状態判別装置
JP2019028922A (ja) * 2017-08-03 2019-02-21 パナソニックＩｐマネジメント株式会社 情報蓄積システム、情報配信システム、運転支援システム及び情報蓄積方法
JP2020008996A (ja) * 2018-07-04 2020-01-16 株式会社デンソーテン 道路情報収集支援サーバ、道路情報収集装置、道路情報収集システム、及び道路情報収集方法
JP2021026353A (ja) * 2019-07-31 2021-02-22 株式会社リコー 路面性状調査システム、路面性状調査方法、及び路面性状調査プログラム

Also Published As

Publication number Publication date
JP7025080B1 (ja) 2022-02-24
JP2023029190A (ja) 2023-03-03
JP2023027871A (ja) 2023-03-03

Similar Documents

Publication Publication Date Title
US10696227B2 (en) Determining a road surface characteristic
CN102208012B (zh) 风景匹配参考数据生成系统及位置测量系统
US8452103B2 (en) Scene matching reference data generation system and position measurement system
CN109935077A (zh) 用于为自动驾驶车辆构建车辆与云端实时交通地图的系统
KR102027408B1 (ko) 디지털 맵을 생성하기 위한 방법 및 시스템
CN107957258B (zh) 道路标记识别装置
WO2015129045A1 (ja) 画像取得システム、端末、画像取得方法および画像取得プログラム
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
JP6758160B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2015194397A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP2023174747A (ja) 情報処理装置、情報収集装置、地図情報更新タイミング判定システム、地図情報更新タイミング判定方法およびプログラム
JP2024026588A (ja) 画像認識装置、及び画像認識方法
WO2022176303A1 (ja) 識別装置、識別プログラム、および識別方法
JP6419011B2 (ja) 地物画像認識システム、地物画像認識方法及びコンピュータプログラム
JP2018017668A (ja) 情報処理装置、及び情報処理プログラム
JP6500607B2 (ja) 自車位置判定装置及び自車位置判定方法
WO2023021736A1 (ja) 識別装置、識別プログラム、および識別方法
WO2020194570A1 (ja) 標識位置特定システム及びプログラム
CN111766601B (zh) 识别装置、车辆控制装置、识别方法及存储介质
US11885640B2 (en) Map generation device and map generation method
CN113269977B (zh) 地图生成用数据收集装置以及地图生成用数据收集方法
JP6500606B2 (ja) 自車位置判定装置及び自車位置判定方法
KR20150078795A (ko) 고속화도로 내 본선과 램프 진출입로를 구분하여 교통정보를 수집하는 장치 및 방법
JP2011214961A (ja) 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22858061

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22858061

Country of ref document: EP

Kind code of ref document: A1