WO2022168223A1 - 教師データ生成装置、状態判定装置、状態判定システム、教師データ生成方法、状態判定方法、及び、記録媒体 - Google Patents

教師データ生成装置、状態判定装置、状態判定システム、教師データ生成方法、状態判定方法、及び、記録媒体 Download PDF

Info

Publication number
WO2022168223A1
WO2022168223A1 PCT/JP2021/004081 JP2021004081W WO2022168223A1 WO 2022168223 A1 WO2022168223 A1 WO 2022168223A1 JP 2021004081 W JP2021004081 W JP 2021004081W WO 2022168223 A1 WO2022168223 A1 WO 2022168223A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor information
combination
road
items
teacher data
Prior art date
Application number
PCT/JP2021/004081
Other languages
English (en)
French (fr)
Inventor
千里 菅原
学 中野
奈々 十文字
洋介 木村
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/004081 priority Critical patent/WO2022168223A1/ja
Priority to JP2022579232A priority patent/JP7468711B2/ja
Priority to US18/273,193 priority patent/US20240084528A1/en
Publication of WO2022168223A1 publication Critical patent/WO2022168223A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01—Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to determination of the state of structures such as roads, and particularly to determination using models.
  • the runway monitoring system described in Patent Document 1 captures images of the runway using a camera.
  • the runway monitoring system detects foreign object debris (FOD) on the runway based on adaptive image processing of the captured images.
  • FOD foreign object debris
  • the runway surveillance system corrects the captured images.
  • the runway monitoring system determines whether it is daytime or nighttime, detects abnormal light conditions from images taken during nighttime, and ignores images in which abnormal light conditions are detected. Using these operations, the runway surveillance system can improve FOD performance using images taken in daytime and nighttime ambient light, especially at nighttime, without the use of supplemental lighting such as laser illumination. Improved detection.
  • the runway monitoring system discloses a runway surface model as a model.
  • the road maintenance management system described in Patent Document 2 (hereinafter referred to as the "road maintenance management system") prepares in advance a learning model that has been trained using images of roads taken for each pavement type as teacher data.
  • a model (called a “learning model” in the road maintenance management system) that has been learned in advance using predetermined teacher data is required.
  • the road maintenance management system uses the learning model to determine the pavement type of the road image. Then, the road maintenance management system detects the deterioration range of the pavement from the road image for which the pavement type has been determined, and calculates the state of pavement deterioration in the deterioration range. Then, the road maintenance management system determines and classifies the degree of deterioration of the pavement for each pavement type.
  • the road maintenance management system uses the above operation to determine deterioration for each pavement type in the road image.
  • the shooting of images such as roads is taken outdoors, and also taken at various times and in different environments. Therefore, the captured images are images captured under different conditions such as road conditions, shooting conditions, and environments.
  • the road maintenance management system makes decisions using multiple models corresponding to the type of pavement.
  • runway monitoring system discloses that the images are daytime and nighttime, but does not disclose how the model is handled.
  • Patent Documents 1 and 2 do not disclose anything related to the load of generating training data.
  • Patent Documents 1 and 2 have the problem that they cannot reduce the load of generating teacher data.
  • An object of the present invention is to solve the above problems and to provide a training data generation device that reduces the load of generating training data used for learning models used to determine the state of roads and the like.
  • a training data generation device in one aspect of the present invention includes: At least two of the items included in any of road conditions, road types, sensor information types for determining road conditions, sensor information acquisition conditions, and external environment in sensor information acquisition combination selection means for selecting a combination including the above items; data extracting means for extracting sensor information using a combination as teacher data used for learning a model that determines road conditions using sensor information.
  • a state determination device in one aspect of the present invention includes: the training data generation device; a model generation device that executes machine learning of a predetermined model using a plurality of teacher data to generate a plurality of trained models corresponding to each of the teacher data; A sensor information determination device that applies sensor information to a plurality of trained models, acquires determination results of the multiple learned models, and uses the acquired multiple determination results to determine road conditions corresponding to the sensor information. include.
  • a state determination system in one aspect of the present invention includes: the state determination device; a sensor information acquisition device that outputs sensor information to the state determination device; and a display device for displaying information output by the state determination device.
  • a training data generation method includes: At least two of the items included in any of road conditions, road types, sensor information types for determining road conditions, sensor information acquisition conditions, and external environment in sensor information acquisition Select a combination that includes the above items, Combinations are used to extract sensor information as teacher data used for learning a model that determines road conditions using sensor information.
  • a state determination method in one aspect of the present invention includes: A training data generation device executes the training data generation method described above, A model generation device executes machine learning of a predetermined model using a plurality of teacher data to generate a plurality of trained models corresponding to each of the teacher data, A sensor information determination device applies sensor information to a plurality of learned models, acquires determination results of the plurality of learned models, and uses the acquired multiple determination results to determine road conditions corresponding to the sensor information. .
  • a state determination method in one aspect of the present invention includes: A state determination device executes the above state determination method, The sensor information acquisition device outputs sensor information to the state determination device, A display device displays information output by the state determination device.
  • a recording medium in one aspect of the present invention comprises At least two of the items included in any of road conditions, road types, sensor information types for determining road conditions, sensor information acquisition conditions, and external environment in sensor information acquisition a process of selecting a combination including the above items;
  • a program for causing a computer to execute a process of extracting sensor information using a combination is recorded as teacher data used for learning a model that determines road conditions using sensor information.
  • a recording medium in one aspect of the present invention comprises the above process and A process of executing machine learning of a predetermined model using a plurality of teacher data to generate a plurality of trained models corresponding to each of the teacher data; Applying sensor information to multiple trained models, acquiring judgment results of multiple trained models, and using the acquired multiple judgment results to judge road conditions corresponding to the sensor information. Record the program that causes
  • FIG. 1 is a block diagram illustrating an example of a configuration of a state determination system according to a first embodiment
  • FIG. FIG. 2 is a diagram showing an example of a specific configuration of the state determination system.
  • FIG. 3 is a diagram showing an example of display.
  • FIG. 4 is a diagram showing an example of display of a plurality of states.
  • FIG. 5 is a block diagram showing an example of the configuration of the teacher data generating device according to the first embodiment;
  • FIG. 6 is a flow chart showing an example of the operation of generating teacher data in the teacher data generating device.
  • FIG. 7 is a flow chart showing an example of the operation of generating a trained model in the model generation device.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a state determination system according to a first embodiment
  • FIG. 2 is a diagram showing an example of a specific configuration of the state determination system.
  • FIG. 3 is a diagram showing an example of display.
  • FIG. 4 is a diagram
  • FIG. 8 is a flow chart showing an example of the operation of judging the state of the road in the sensor information judging device.
  • FIG. 9 is a block diagram showing an example of the hardware configuration of the state determination device.
  • FIG. 10 is a block diagram showing an example of the configuration of a training data generating device according to the second embodiment;
  • FIG. 11 is a block diagram illustrating an example of a configuration of a state determination device according to a second embodiment;
  • FIG. 12 is a block diagram illustrating an example of the configuration of a state determination system according to the second embodiment;
  • roads are not limited to roads on the ground as long as at least one of vehicles and people can pass.
  • roads may be bridges, piers, and the like.
  • roads are not limited to roads on which vehicles and people pass, but may be passages on which other objects pass.
  • roads may be runways, taxiways, and aprons on which aircraft travel.
  • roads are not limited to parts where vehicles and the like pass, and may include road-related structures (e.g., signs, white lines, guardrails, reflectors, traffic lights, indicator lights, lighting fixtures, or roadside trees). .
  • road-related structures e.g., signs, white lines, guardrails, reflectors, traffic lights, indicator lights, lighting fixtures, or roadside trees.
  • each embodiment may determine the state of structures that can be determined using acquired sensor information, not limited to roads. For example, when the sensor information is an image of a road, each embodiment detects structures (for example, utility poles, buildings (houses, condominiums, buildings, fences, fences, etc.)) provided near the road included in the image. status may be determined.
  • structures for example, utility poles, buildings (houses, condominiums, buildings, fences, fences, etc.)
  • “Road type” is the classification of roads to be judged.
  • An example of a road type is a classification corresponding to a road administrator (municipal roads, prefectural roads, national roads, expressways, etc.).
  • the road type may be a division according to the purpose of use (for example, road main roads and bypass roads, main roads and community roads, or runways, taxiways, and aprons at airports).
  • road classification can be determined using at least one of road classification information obtained from an organization that manages roads or a map production company, and the speed limit.
  • the number of lanes on a road affects the driving conditions (for example, speed and movement) of vehicles traveling on the road. Therefore, the number of lanes on a road (including no lanes) is an example of a road type.
  • a method of detecting the number of lanes on a road for example, there is a method of applying predetermined image processing to an image of the road.
  • “Road condition” refers to the condition of the road to be judged, the condition of the road that affects the judgment, and the material of the road (especially the road surface).
  • the condition of the road is also a target to be judged using the learned model.
  • the teacher data generated in each embodiment is teacher data used to generate a learned model for determining road conditions.
  • An example of the state of the road to be determined is the deterioration type of the road surface (cracks (vertical, horizontal, or tortoiseshell), ruts, potholes, etc.), the deterioration of the seal on the road surface, and the periphery of the seal. It's a fray.
  • condition of the road to be judged is not limited to deterioration of the road surface.
  • condition of the road to be determined may be deterioration of road-related structures (eg, white lines on the road surface and road markings are blurred, or signs are damaged).
  • condition of roads subject to determination is not limited to the deterioration of roads and road-related structures.
  • white lines and road markings on the road surface are constructed so as to be reflective at night. Therefore, the state of the road to be determined may be the state of reflection of white lines and road markings.
  • the state of the road to be determined may be the lighting state of the lights installed on the road, the brightness of the lights, or the illuminance of the road surface.
  • the state of the road to be determined may be the determination of the results of paving work or repair work (for example, determination of work quality).
  • the manhole is reflected differently in the image on sunny days and rainy days.
  • the wetness of the road surface due to rain or water spray changes the color of the road surface and changes the state of the captured image.
  • the wetness and dryness of the road surface affects the captured image.
  • the size of the puddle covering the road surface affects the extent of the road included in the image.
  • the dryness and wetness of the road surface, and the presence and size of puddles are examples of road conditions that affect the determination.
  • the wetness and dryness of the road surface and the puddle can be determined using weather information or predetermined image processing (for example, a road surface brightness determination model or a puddle detection model).
  • the processing of the road surface affects the image. Therefore, the processing of the road surface is an example of road conditions that affect the determination.
  • processing of the road surface can be determined by using predetermined image processing on the image of the road surface.
  • the material of the road surface is the pavement material of the road and the shape of the pavement material.
  • Road paving materials include asphalt, concrete, stone, brick, or gravel.
  • Road paving materials may also include additives in addition to the main material, such as porous asphalt mixtures used for drainage pavements and the like.
  • the shape of the pavement material is the roughness and shape of the grains used in the pavement, and the color of the grains.
  • the type of road pavement and the material of the road surface can be determined by applying predetermined image processing or a model (for example, the model for each pavement described in Patent Document 2) to the image of the road surface.
  • Sensor information is information obtained using a predetermined sensor to determine the state of the road.
  • a predetermined sensor e.g., accelerometer or camera
  • a sensor information acquisition device e.g., drive recorder
  • the sensor information is acceleration detected by an accelerometer of a drive recorder mounted on a vehicle running on a road whose state is to be determined, or an image captured by a camera of the drive recorder.
  • the sensor information acquisition device is not limited to being mounted on a mobile object.
  • the sensor information acquisition device may be a device fixed to a predetermined structure, such as a fixed-point camera.
  • sensor information is not limited to one piece of information as the information used to determine the state of the road, and may include a plurality of pieces of information.
  • sensor information may be information including images and acceleration.
  • the sensor information may include other information in addition to the information used for determination.
  • the sensor information may include information of the external environment (hereinafter also simply referred to as "external environment”) related to acquisition of the sensor information, such as shooting time and shooting location.
  • external environment information of the external environment
  • shooting time and shooting location information of the sensor information
  • the sensor information may include acquisition conditions for sensor information, such as exposure time and illuminance in shooting.
  • the sensor information may include information related to the type of sensor information, such as image quality, size, aspect ratio, image resolution, and frame rate.
  • the sensor information may include information used for managing sensor information, such as image identifiers.
  • a "moving object” is an object that moves with a sensor information acquisition device (for example, a drive recorder or a camera) equipped with a sensor that acquires sensor information.
  • a sensor information acquisition device for example, a drive recorder or a camera
  • the mobile object may be a vehicle (four-wheeled vehicle or two-wheeled vehicle) equipped with a drive recorder, or a drone.
  • the moving body may be a person who moves while holding the imaging device.
  • Sensor information acquisition conditions are conditions related to acquisition of sensor information (for example, the state or characteristics of a moving object).
  • the mounting position, angle, and orientation relative to the traveling direction of the sensor information acquisition device may differ depending on the type of vehicle (vehicle type). Therefore, the vehicle type equipped with the sensor information acquisition device is an example of the sensor information acquisition condition.
  • the mounting position of the sensor information acquisition device may be roughly the same. In this case, the positions and areas of the roads in the images are approximately the same. Therefore, images having the same road position and area may be treated as images of the same type in generating teacher data.
  • the sensor information acquisition condition may be at least one of the position and area of the road (road surface) in the image, or at least one of the position and area of the non-road area in the image.
  • a two-wheeled vehicle has a greater change in body tilt than a four-wheeled vehicle. Therefore, the number of wheels of the mobile body is an example of the sensor information acquisition condition.
  • the moving speed of the moving object is an example of conditions for acquiring sensor information.
  • the exposure time and illuminance are examples of sensor information acquisition conditions.
  • the acceleration and vibration of the moving object during shooting affect the captured image. Therefore, the acceleration and vibration of the moving body are an example of conditions for acquiring sensor information.
  • the state of a moving object equipped with a sensor information acquisition device is an example of sensor information acquisition conditions.
  • “External environment” is the information that excludes the above road conditions, road types, sensor information types, and sensor information acquisition conditions, among the information that affects the judgment using sensor information. be.
  • the photographing conditions for example, the time zone (morning, noon, evening, night, etc.) and the weather (sunny, cloudy, raining, after rain, snowing, etc.)
  • the photographing conditions for example, the time zone (morning, noon, evening, night, etc.) and the weather (sunny, cloudy, raining, after rain, snowing, etc.)
  • shooting conditions for example, shooting time and weather
  • the external environment for example, the photographing conditions (for example, the time zone (morning, noon, evening, night, etc.) and the weather (sunny, cloudy, raining, after rain, snowing, etc.)
  • shooting conditions for example, shooting time and weather
  • the external environment such as shooting conditions (for example, time) may be added to the sensor information.
  • the ambient sound during shooting will be louder if the road is congested.
  • Road congestion affects the progress of road deterioration.
  • vibration sound generated by vibration during movement of a moving object such as a vehicle becomes louder.
  • the rainfall affects the captured images.
  • the sound of rain during rainy weather is proportional to the amount of rain to some extent.
  • the sensor information acquisition device may use a microphone mounted on a moving body and attach the sound detected by the microphone to the sensor information when the sensor acquires the sensor information. .
  • the traffic volume and congestion of the road on which the vehicle travels will affect the driving of the vehicle (for example, the lanes and speed that can be passed).
  • the congestion of roads for example, sidewalks
  • traffic and congestion affect the sensor information obtained.
  • the traffic volume and congestion around the moving object are examples of the external environment.
  • congestion can be determined by applying predetermined image processing to the acquired image.
  • congestion information can be obtained from a predetermined traffic information provider organization.
  • the shadows of structures may be reflected in the image of the road surface.
  • Such shadows affect determination using images. Therefore, structures installed around or near roads (e.g., advertising signboards, signs, utility poles, and medium- and high-rise buildings (buildings and bridges) installed on the side of the road) and trees around the road ( A natural forest or street tree) is an example of an external environment.
  • structures and trees around roads can be acquired by applying predetermined image processing to the captured image or from map information.
  • Sensor information is affected by road conditions, road type, sensor information type, sensor information acquisition conditions, and the external environment.
  • road conditions, road types, sensor information types, sensor information acquisition conditions, and external environments are each associated with acquired sensor information. Therefore, in the following description, these items may be collectively referred to as "items related to sensor information".
  • FIG. 1 is a block diagram showing an example of the configuration of the state determination system 10 according to the first embodiment.
  • the state determination system 10 includes a state determination device 100, a sensor information acquisition device 200, an information provision device 300, an input device 400, and a display device 500.
  • Each device included in the state determination system 10 is connected via a predetermined communication path (for example, the Internet). Note that each device does not have to be directly connected.
  • the sensor information acquisition device 200 may store the acquired sensor information in a predetermined removable storage device (eg, Universal Serial Bus (USB) memory). Then, the user may use a reading device connected to the state determination device 100 to output sensor information stored in a removable storage device (eg, USB memory) to the state determination device 100 .
  • a predetermined removable storage device eg, Universal Serial Bus (USB) memory
  • USB Universal Serial Bus
  • the sensor information acquisition device 200 may store sensor information in a storage device (not shown).
  • the state determination device 100 may acquire sensor information from the storage device.
  • the number of devices included in the state determination system 10 is not limited to that shown in FIG.
  • the state determination system 10 may include multiple sensor information acquisition devices 200 .
  • the sensor information acquisition device 200 is mounted on a moving body (not shown) and acquires sensor information used for road determination as the moving body moves.
  • the sensor information acquisition device 200 is optional.
  • the sensor information acquisition device 200 may be a drive recorder mounted on a vehicle.
  • the sensor information acquisition device 200 outputs at least one of an image and acceleration as sensor information.
  • the sensor information acquisition device 200 may include the type of sensor information in the sensor information.
  • the sensor information acquisition device 200 includes information related to the type of sensor information, such as image quality, size, aspect ratio, image resolution, and frame rate, in the sensor information. good too.
  • the sensor information acquisition device 200 may include sensor information acquisition conditions in the sensor information.
  • the sensor information acquisition device 200 may include in the sensor information at least one of the speed and acceleration of the vehicle detected by the drive recorder.
  • the sensor information acquisition device 200 may include at least some external environment data in the sensor information.
  • the sensor information acquisition device 200 may include the time and position at which the sensor information was acquired in the sensor information.
  • the sensor information acquisition device 200 outputs the acquired sensor information to the state determination device 100.
  • the information providing device 300 outputs at least a part of the external environment to the state determination device 100.
  • the information providing device 300 is optional.
  • the information providing device 300 is a device of a company that provides predetermined information (for example, a server that provides weather information) or a data center.
  • the state determination device 100 may acquire the external environment from the information providing device 300 using information included in sensor information. For example, if the sensor information includes the date and time and the position at which the sensor information was acquired, the state determination device 100 uses the date and time and the position to acquire the weather data at the time the sensor information is acquired from a predetermined weather information provider. You may
  • a user or the like may appropriately determine how the state determination device 100 acquires the external environment.
  • the input device 400 outputs to the state determination device 100 information related to selection of teacher data in the state determination device 100, which will be described later.
  • Input device 400 is optional.
  • the input device 400 may be an input device for a system used by road administrators.
  • the display device 500 displays information (for example, road conditions) output by the condition determination device 100 .
  • Display device 500 is optional.
  • the display device 500 may be a display device of a system used by road administrators.
  • the input device 400 and the display device 500 may be a single device (for example, a touch panel of a terminal device carried by the user).
  • the state determination device 100 acquires sensor information from the sensor information acquisition device 200.
  • the state determination device 100 may acquire the external environment from at least one of the information providing device 300 and the sensor information acquisition device 200 . In this case, the state determination device 100 adds the acquired external environment to the sensor information.
  • the state determination device 100 uses the acquired sensor information to generate teacher data used to generate a learned model used for road determination. In this operation, the state determination device 100 may use the external environment.
  • the state determination device 100 uses the generated teacher data to generate a learned model used for road determination.
  • the state determination device 100 applies the newly acquired sensor information to the generated learned model to determine the state of the road.
  • the state determination device 100 then outputs the determination result to the display device 500 .
  • the state determination device 100 may output at least one of the acquired sensor information, the generated teacher data, the generated trained model, and information related to these.
  • the state determination device 100 may be mounted on a moving body on which the sensor information acquisition device 200 is mounted.
  • FIG. 2 is a diagram showing an example of a specific configuration of the state determination system 10. As shown in FIG.
  • the state determination system 10 includes a server 810 as the state determination device 100, a drive recorder 820 as the sensor information acquisition device 200, and a data center 830 as the information provision device 300. Further, state determination system 10 includes terminal device 840 as input device 400 and display device 500 . Furthermore, in FIG. 2, the state determination system 10 includes a vehicle 870 as a moving body equipped with a drive recorder 820 . Furthermore, in FIG. 2, the state determination system 10 includes a network 890 as a communication path connecting each device.
  • FIG. 2 is a diagram showing an example of using a plurality of drive recorders 820. As shown in FIG.
  • a network 890 is a communication path that connects each device.
  • a vehicle 870 is equipped with a drive recorder 820 and travels on the road.
  • the drive recorder 820 takes an image of the road and outputs it to the server 810.
  • FIG. 2 shows the drive recorder 820 adjacent to the outside of the vehicle 870 for the sake of clarity.
  • the data center 830 outputs the external environment to the server 810.
  • the server 810 acquires sensor information from the drive recorder 820.
  • Server 810 adds the external environment obtained from data center 830 to the sensor information as necessary.
  • the server 810 uses the acquired sensor information to generate teacher data used to generate a learned model used to determine road conditions.
  • the server 810 uses the generated teacher data to generate a trained model.
  • the server 810 applies the sensor information newly acquired from the drive recorder 820 to the learned model to determine the state of the road.
  • the server 810 then outputs the determination result to the terminal device 840 .
  • the terminal device 840 displays the judgment result obtained from the server 810.
  • the server 810 may output to the terminal device 840 at least one of the acquired sensor information, the generated teacher data, the generated trained model, and information related to these.
  • the server 810 may acquire at least one of information related to generation of teacher data and information related to generation of a trained model from the terminal device 840 .
  • server 810 There are no particular restrictions on the server 810, drive recorder 820, data center 830, terminal device 840, vehicle 870, and network 890. As these, the products generally sold may be used. Therefore, detailed description of these will be omitted.
  • the method of displaying the road conditions on the display device 500 is arbitrary. The user may appropriately determine how to display the road conditions on the display device 500 .
  • FIG. 3 is a diagram showing an example of display.
  • FIG. 3 is an example of display when the sensor information is an image of the road and the condition of the road to be determined is deteriorated.
  • the display device 500 indicates the position of deterioration using a rectangular frame in the image of the road to be determined. Furthermore, in FIG. 3, the display device 500 emphasizes (hatched) the position determined to be "highly degraded".
  • the display device 500 may collectively display not one but a plurality of road conditions as the display of the road conditions determined by the condition determination device 100 .
  • FIG. 4 is a diagram showing an example of display of a plurality of states.
  • the display device 500 uses arrows to indicate portions of the road that have been determined to have deterioration in a predetermined area. Furthermore, in FIG. 4, the display device 500 indicates the part determined to be "highly degraded” by highlighting (black arrow). The direction of the arrow in FIG. 4 is the traveling direction of the vehicle on the road.
  • the state determination device 100 includes a training data generation device 110, a training data storage device 120, a model generation device 130, a model storage device 140, and a sensor information determination device 150.
  • the teacher data generation device 110 uses sensor information to generate teacher data.
  • the training data generation device 110 will be described later in detail.
  • the teacher data storage device 120 stores the teacher data generated by the teacher data generation device 110.
  • the model generation device 130 uses the teacher data stored in the teacher data storage device 120 to perform machine learning of a model that has not been trained using the teacher data (hereinafter referred to as a “pre-learning model”), Generate a trained model.
  • pre-learning model a model that has not been trained using the teacher data
  • the source of the pre-learning model used by the model generation device 130 for machine learning is arbitrary.
  • the user may store the pre-learning model in the model storage device 140 in advance.
  • model generation device 130 may acquire a pre-learning model from a device (not shown) in generating a trained model.
  • the model generation device 130 may generate a plurality of learned models. For example, when the training data storage device 120 stores a plurality of training data, the model generation device 130 may generate trained models corresponding to all or part of the training data.
  • the model generation device 130 may use one pre-learning model to generate a trained model corresponding to each of a plurality of teacher data. In this case, the model generation device 130 generates trained models as many as the number of teacher data.
  • model generation device 130 may use multiple pre-learning models.
  • the model generation device 130 may generate a trained model using a pre-learning model corresponding to each teacher data. In this case as well, the model generation device 130 generates trained models for the number of teacher data.
  • model generation device 130 may generate more learned models than teacher data.
  • the model generation device 130 applies a plurality of teacher data to each of at least some of the pre-learning models to generate a plurality of learning data corresponding to each of at least some of the pre-learning models. You may generate a finished model.
  • the model generation device 130 may apply at least a portion of the teacher data to a plurality of different pre-learning models to generate a plurality of trained models respectively corresponding to the at least a portion of the teacher data.
  • the model generation device 130 stores the generated learned model in the model storage device 140.
  • model generation device 130 applies accuracy determination data to the generated trained model to calculate the accuracy of the trained model, and outputs the calculated accuracy to a predetermined device (for example, the display device 500). good too. Then, model generation device 130 may relearn the learned model based on a predetermined instruction.
  • the state determination device 100 may use the teacher data generation device 110 to generate teacher data for re-learning. In generating teacher data for re-learning, the teacher data generation device 110 may acquire information related to generation of teacher data for re-learning (for example, an instruction for an item whose accuracy is to be improved) from a user or the like. good.
  • shadow road condition determination model For example, assume that the accuracy of a trained model that determines road conditions in images with many shadows (hereinafter referred to as the "shadow road condition determination model") is low.
  • the model generation device 130 outputs the accuracy of the shadow road condition determination model to the display device 500.
  • the user refers to the display on the display device 500 and uses the input device 400 to instruct the condition determination device 100 to re-learn the shaded road condition determination model.
  • the user may transmit sensor information for re-learning (for example, an image with many shadows) to the state determination device 100 .
  • the model generation device 130 Upon receiving a re-learning instruction from the input device 400, the model generation device 130 requests the teacher data generation device 110 to generate teacher data for re-learning based on the instruction. The teacher data generation device 110 generates teacher data for re-learning. Then, the model generating device 130 uses the re-learning teacher data to re-learn the shaded road state determination model.
  • the model generation device 130 may calculate the accuracy of the re-learned shadow road condition determination model and re-output the accuracy of the re-learned shadow road condition determination model.
  • the user may refer to the re-output accuracy and repeat instructions for re-learning until a predetermined accuracy is achieved.
  • the model generation device 130 may select at least one of the learning method and model type using information related to the road to be determined in generating the learned model.
  • the model storage device 140 stores the generated learned model.
  • the model storage device 140 may store pre-learning models.
  • the sensor information determination device 150 applies sensor information acquired from the sensor information acquisition device 200 to the learned model stored in the model storage device 140 to determine road conditions.
  • the sensor information determination device 150 applies the sensor information to each of the plurality of trained models, and determines the determination result of each of the plurality of trained models (hereinafter referred to as “individual determination result”). call).
  • the sensor information determination device 150 uses the acquired multiple determination results (individual determination results) to generate road conditions (hereinafter referred to as "total determination results") corresponding to the sensor information. For example, the sensor information determination device 150 uses the weight for each learned model to sum the determination results (individual determination results) of each of the plurality of learned models to generate the road determination result (total determination result). You may
  • the sensor information determination device 150 outputs the summed determination result (total determination result) to a predetermined device (for example, the display device 500).
  • the sensor information determination device 150 may acquire instructions related to summation (for example, model weights in summation) from a user or the like.
  • FIG. 5 is a block diagram showing an example of the configuration of the training data generation device 110 according to the first embodiment.
  • the teacher data generation device 110 includes a sensor information acquisition unit 111, a sensor information classification unit 112, a sensor information storage unit 113, a combination selection unit 114, and a data extraction unit 115.
  • the sensor information acquisition unit 111 acquires sensor information from the sensor information acquisition device 200 . Furthermore, the sensor information acquisition unit 111 may acquire the external environment from at least one of the sensor information acquisition device 200 and the information providing device 300 and include the acquired external environment in the sensor information.
  • the sensor information acquisition unit 111 stores the acquired sensor information in the sensor information storage unit 113.
  • the saved sensor information is used to generate teacher data, which will be described later.
  • the sensor information acquisition unit 111 may include information other than the above in the sensor information.
  • the sensor information acquisition unit 111 may acquire data indicating the correct answer for each piece of sensor information (for example, the position of deterioration in each image and its score) from a device (not shown) and add it to the sensor information. Data indicating the correct answer is hereinafter referred to as a "correct answer label".
  • the sensor information acquisition unit 111 may acquire sensor information including correct labels from the sensor information acquisition device 200 .
  • the sensor information storage unit 113 stores sensor information.
  • the sensor information stored in the sensor information storage unit 113 is data to be extracted by the data extraction unit 115, as will be described later.
  • the training data generation device 110 may include a sensor information classification unit 112 that classifies sensor information in order to facilitate the extraction of sensor information in the data extraction unit 115.
  • the sensor information classification unit 112 classifies the sensor information stored in the sensor information storage unit 113 so that the data extraction unit 115 can easily extract the sensor information. For example, the sensor information classification unit 112 classifies sensor information corresponding to each item. Alternatively, the sensor information classification unit 112 may classify the sensor information so as to correspond to a combination of predetermined items in addition to the classification corresponding to each item or instead of the classification corresponding to each item.
  • the sensor information acquisition unit 111 may output the sensor information to the sensor information classification unit 112 without saving it in the sensor information storage unit 113 .
  • the sensor information classification unit 112 classifies the sensor information acquired from the sensor information acquisition unit 111 and stores the classified sensor information in the sensor information storage unit 113 .
  • the sensor information classification unit 112 may classify at least some of the sensor information into multiple items. For example, if the sensor information is an image captured in the daytime under fine weather, the sensor information classification unit 112 may classify the image into both the fine weather item and the daytime item.
  • the combination selection unit 114 selects a combination including at least two items from among the items related to the sensor information shown below. (1) road conditions; (2) road type, (3) types of sensor information for determining road conditions; (4) sensor information acquisition conditions, (5) External environment in acquisition of sensor information.
  • the combination selection unit 114 selects a predetermined photographing time (sensor information acquisition time or acquisition time period) as an item of the sensor information acquisition condition, and a structure (for example, a high-rise building) installed in the vicinity as an item of the external environment. ).
  • the combination selection unit 114 may select multiple combinations. In this case, the number of items included in each combination may be different. For example, the combination selection unit 114 may select a combination including two items and a combination including three items.
  • the combination of items selected by the combination selection unit 114 is arbitrary.
  • the combination selection unit 114 may use a preset combination of items.
  • the combination selection unit 114 may select combinations of all items that can be combined. For example, the combination selection unit 114 may select a combination of all items related to the stored sensor information.
  • the combination selection unit 114 may select a combination corresponding to preset rules. For example, the combination selection unit 114 may select a combination of a predetermined item (for example, sensor information acquisition time) and another item.
  • a predetermined item for example, sensor information acquisition time
  • the shadow of at least one of the buildings around the road and the trees lining the road will appear in the image.
  • the shadows of trees in the forest around the road appear in the image.
  • the position of the reflected shadow changes according to the time when the image was taken. Furthermore, there may be times when shadows are not reflected.
  • the shape of the shadows reflected in the image corresponds to the buildings and trees around the road.
  • the sensor information acquisition device 200 is a drive recorder mounted on a vehicle used for road management, and the sensor information is an image of the road.
  • vehicles used for road management travel on roads to be managed many times with a certain frequency.
  • the running time that is, the image capturing time
  • the combination selection unit 114 may use "time zone” and "structures or trees around the road” as items used in the combination. For example, the combination selection unit 114 uses any one of “6:00 to 10:00”, “10:00 to 14:00”, and “14:00 to 18:00” corresponding to sunshine time as the item of “acquisition time”. may Further, the combination selection unit 114 uses any one of “high-rise building”, “middle-rise building”, “low-rise building”, “roadside tree”, and “forest” as “structure or tree around road”.
  • the combination selection unit 114 selects a combination of "6:00 to 10:00" and “high-rise building", a combination of "10:00 to 14:00” and “high-rise building”, and , "14:00 to 18:00" and “high-rise buildings” may be selected.
  • the combination selection unit 114 selects a combination that includes an item that changes in a plurality of sensor information corresponding to the same road (for example, the acquisition time described above).
  • the combination selection unit 114 selects the speed of the moving object (eg, vehicle speed) and the classification of roads (eg, main roads, community roads, or municipal roads, prefectural roads, national roads, and highways). ) may be selected.
  • the speed of the moving object eg, vehicle speed
  • the classification of roads eg, main roads, community roads, or municipal roads, prefectural roads, national roads, and highways.
  • the combination selection unit 114 can use the acquisition time to select a combination that selects images in which the shadow positions are generally the same from the images whose shadow positions are different.
  • the combination selection unit 114 may select a combination including three or more items. For example, the combination selection unit 114 may select a combination of the acquisition time, the structure near the road, and the type of deterioration.
  • the combination selection unit 114 may acquire an instruction of an item to be selected from a predetermined device (for example, the input device 400) when selecting a combination of items. For example, the combination selection unit 114 may select a combination based on a user's instruction obtained from a predetermined device (for example, the input device 400). In that case, the combination selection unit 114 may output items selectable as a combination to a predetermined device (for example, the display device 500).
  • a predetermined device for example, the input device 400
  • the combination selection unit 114 may extract items related to sensor information stored in the sensor information storage unit 113 and output the extracted items as "selectable items as a combination".
  • the combination selection unit 114 may store a list of items in advance, and output items that could not be extracted from the sensor information in the list as "items that cannot be selected as a combination".
  • the combination selected by the combination selection unit 114 is used to extract teacher data.
  • Teacher data requires a certain amount of data. Therefore, the combination selection unit 114 may set items that are less than a predetermined number (predetermined threshold value) as “items that cannot be selected as a combination”. In this case, the combination selection unit 114 may output a reason why the combination cannot be selected (for example, there is no sensor information or the number of sensor information is less than a threshold).
  • the combination selection unit 114 may include information related to the extraction of sensor information in the combination output to the data extraction unit 115 .
  • the combination selection unit 114 may include the number of pieces of sensor information to be extracted corresponding to the combination in the combination to be output to the data extraction unit 115 .
  • the combination selection unit 114 may include in the combination output to the data extraction unit 115 the range of the number of pieces of sensor information to be extracted corresponding to the combination (for example, the lower limit value and the upper limit value).
  • the combination selection unit 114 may include an instruction to extract all sensor information corresponding to the combination in the combination to be output to the data extraction unit 115 .
  • the combination selection unit 114 may include a method of extracting sensor information corresponding to the combination.
  • the combination selection unit 114 may include in the combination an instruction to extract predetermined items so that they have a predetermined distribution.
  • the combination selection unit 114 may generate a combination including multiple combinations.
  • the combination selection unit 114 may include the number of pieces of sensor information corresponding to a plurality of combinations or the ratio in the combination.
  • the state of the data contained in the training data (for example, the ratio of each item) is important.
  • the combination selection unit 114 may select a combination such that the number or ratio of sensor information corresponding to the combination of items in the sensor information extracted by the data extraction unit 115 is a predetermined value.
  • the combination selection unit 114 may select a combination that increases the number of images that include shadows.
  • the combination selection unit 114 selects two items (time and presence/absence of shadows) as follows. item) and the number of images (combinations 1 and 2).
  • item 1 predetermined time
  • item 2 including shadows
  • number of images 400.
  • item 1 predetermined time
  • item 2 no shadows
  • number of images 100.
  • the combination selection unit 114 selects at least one of the number and ratio of sensor information corresponding to items that can be selected as a combination in the sensor information stored in the sensor information storage unit 113, and selects a predetermined device (for example, It may be output to the display device 500). Then, the combination selection unit 114 may acquire the items to be used as a combination and the instruction of the combination to be used from a predetermined device (for example, the input device 400) and select a combination.
  • a predetermined device for example, the input device 400
  • the combination selection unit 114 may acquire instructions related to the combination to be selected and select the combination.
  • combination selection section 114 outputs the selected combination to data extraction section 115 .
  • combination selection unit 114 may output part of the selected combinations to the data extraction unit 115 .
  • combination selection section 114 may select a combination to be output to data extraction section 115 based on an instruction from the user.
  • the combination selection unit 114 Upon selecting a combination, the combination selection unit 114 outputs the selected combination to the display device 500 . The user confirms the combination displayed on the display device 500 . Then, the user uses the input device 400 to output the instruction of the combination to be used to the combination selection section 114 . Combination selection section 114 outputs the indicated combination to data extraction section 115 .
  • the training data generation device 110 can extract training data that meets the user's request as the training data extracted by the data extraction unit 115 .
  • the data extraction unit 115 extracts sensor information corresponding to the combination of items selected by the combination selection unit 114 from the sensor information stored in the sensor information storage unit 113 and stores it in the teacher data storage device 120 .
  • the stored sensor information becomes data (teacher data) used for model machine learning in the model generation device 130 .
  • the data extraction unit 115 extracts sensor information corresponding to each combination, and collectively stores the extracted sensor information in the teacher data storage device 120 .
  • the data extraction unit 115 may store one sensor information, redundantly store sensor information (that is, store the same sensor information (save to include multiple).
  • the data extraction unit 115 extracts that number of pieces of sensor information.
  • the data extraction unit 115 may extract a predetermined number of pieces of sensor information according to specified rules.
  • the data extraction unit 115 uses the number of sensor information in the time zone where the number of sensor information is the smallest, specified Sensor information in each time period may be extracted.
  • the data extraction unit 115 may randomly extract sensor information.
  • the data extraction unit 115 may extract sensor information so that at least some items have a predetermined distribution (eg, uniform distribution or normal distribution). For example, when the item is a time zone, the data extraction unit 115 includes the sensor information evenly from 0:00 to 23:00 (that is, uniformly distributed in the time zone). may be extracted.
  • a predetermined distribution eg, uniform distribution or normal distribution.
  • the sensor information included in the training data has less bias. It takes a lot of man-hours for the user to extract data so that there is little bias in many teacher data. When extracting sensor information corresponding to a combination of multiple items, more man-hours are required.
  • the training data generation device 110 can extract sensor information along a predetermined distribution as described above. Therefore, the training data generation device 110 can generate appropriate training data. As a result, the training data generation device 110 reduces the burden of generating training data on the user.
  • the training data generation device 110 selects a combination including at least two items from the items related to the sensor information, and uses the selected combination to estimate the state of the road using the sensor information. Generate teacher data to be used for learning a judgment model. A user can use the training data generation device 110 to reduce the load of generating training data.
  • the teacher data generation device 110 can also generate a plurality of teacher data. That is, the combination selection unit 114 can select multiple combinations. In this case, the training data generation device 110 reduces the load on the user or the like in generating a plurality of training data.
  • the combination selection unit 114 When selecting a plurality of combinations, the combination selection unit 114 generates combinations in which at least some items are different from any other combination as the combinations to be selected.
  • the combination including two or more items is the combination ⁇ A, B ⁇ , ⁇ B, C ⁇ , ⁇ C, A ⁇ and ⁇ A, B, C ⁇ . That is, combination selection section 114 selects a combination to be output to data extraction section 115 from combinations ⁇ A, B ⁇ , ⁇ B, C ⁇ , ⁇ C, A ⁇ and ⁇ A, B, C ⁇ . In this case, the combination ⁇ A, B ⁇ is different from the combination ⁇ A, B, C ⁇ in that item C is not included.
  • teacher data when multiple teacher data are generated, at least some of the teacher data may contain the same sensor information.
  • FIG. 6 is a flowchart showing an example of the operation of generating teacher data in the teacher data generation device 110.
  • FIG. 6 is a flowchart showing an example of the operation of generating teacher data in the teacher data generation device 110.
  • the sensor information acquisition unit 111 acquires sensor information (step S701).
  • the sensor information acquisition unit 111 may acquire the external environment from the information providing device 300 and add it to the sensor information.
  • the sensor information acquisition unit 111 then stores the acquired sensor information in the sensor information storage unit 113 .
  • the sensor information classification unit 112 classifies the sensor information stored in the sensor information storage unit 113 (step S702). Note that the sensor information classification unit 112 may acquire sensor information from the sensor information acquisition unit 111 , classify the sensor information, and then store the sensor information in the sensor information storage unit 113 . However, the training data generation device 110 does not have to classify the sensor information.
  • the combination selection unit 114 selects a combination including at least two items (step S703). More specifically, the combination selection unit 114 selects a combination including at least two items from among the items related to the sensor information shown below. (1) road conditions; (2) road type, (3) types of sensor information for determining road conditions; (4) sensor information acquisition conditions, (5) External environment in acquisition of sensor information.
  • the data extraction unit 115 extracts sensor information using the combination (step S704).
  • the selected sensor information becomes teacher data used for learning a model that determines road conditions using sensor information. That is, the data extraction unit 115 extracts teacher data using combinations.
  • the data extraction unit 115 stores the extracted sensor information (teaching data) in the teaching data storage device 120 (step S705).
  • the training data generation device 110 repeats the above operations until all necessary training data are generated.
  • the training data generation device 110 may acquire information necessary for generating training data (eg, instructions for items to be included in combinations) from a predetermined device (eg, the input device 400) as necessary. In that case, the training data generation device 110 may output information (for example, combinable items) related to obtaining information to a predetermined device (for example, the display device 500).
  • FIG. 7 is a flow chart showing an example of the operation of generating a learned model in the model generating device 130.
  • the model generation device 130 acquires a predetermined model (pre-learning model) from the model storage device 140 (step S711).
  • the model generation device 130 executes machine learning of the pre-learning model using the training data stored in the training data storage device 120 to generate a trained model (step S712).
  • the model generation device 130 stores the generated learned model in the model storage device 140 (step S713).
  • the model generation device 130 repeats the above operation until it generates trained models corresponding to all or a designated part of the teacher data, or until it generates a designated number of trained models.
  • FIG. 8 is a flowchart showing an example of the operation of the sensor information determination device 150 to determine the state of the road.
  • the sensor information determination device 150 acquires sensor information to be determined (step S721).
  • the sensor information determination device 150 applies the sensor information to each of the plurality of learned models to generate determination results (individual determination results) for each of the learned models (step S722).
  • the sensor information determination device 150 adds up the determination results (individual determination results) of a plurality of learned models to generate road state determination results (total determination results) (step S723).
  • the sensor information determination device 150 outputs the total determination result to a predetermined device (for example, the display device 500) (step S724).
  • the training data generation device 110 can reduce the load of generating training data used for learning a model used for judging road conditions.
  • the training data generation device 110 includes a combination selection unit 114 and a data extraction unit 115.
  • the combination selection unit 114 selects a combination including at least two items from the items used for selection.
  • the items used for selection are items included in any of the road state, road type, sensor information type for determining the state, sensor information acquisition conditions, and external environment in sensor information acquisition. .
  • the data extracting unit 115 extracts the sensor information using the combination as teacher data used for learning a model that determines the state of the road using the sensor information.
  • the teacher data generation device 110 selects a combination of at least two items from items related to sensor information. Then, the training data generation device 110 uses the combinations to extract the sensor information. The extracted sensor information becomes training data corresponding to the combination of items.
  • the training data generation device 110 can generate training data corresponding to a combination of items, so it is possible to reduce the burden of generating training data on the user.
  • the training data generation device 110 may use the sensor information acquisition time as an item to be selected for combination.
  • the training data generation device 110 can generate training data using images in which the positions of the shadows are approximately the same, using the acquisition time.
  • the training data generation device 110 can repeatedly generate training data. In this case, the training data generation device 110 generates a plurality of training data each corresponding to a different combination of items.
  • the training data generation device 110 can generate a plurality of training data using combinations of necessary items. Therefore, the training data generating device 110 can reduce the load of generating training data when using a plurality of trained models.
  • the training data generation device 110 generates training data corresponding to a combination of multiple items.
  • a trained model generated using training data corresponding to a combination of multiple items is obtained in a state corresponding to the combination of items compared to a trained model generated using training data corresponding to individual items. The accuracy of determination using the obtained sensor information is improved.
  • the teacher data generation device 110 generates teacher data that can generate a highly accurate trained model.
  • the training data generation device 110 acquires an instruction related to the combination (for example, an item desired by the user) from a predetermined device (for example, the input device 400), and responds to the acquired instruction (instruction from the user).
  • a combination may be selected based on In this case, the training data generating device 110 can generate training data that meets the user's wishes.
  • the teacher data generation device 110 may select sensor information to be extracted as teacher data according to preset rules. Also in this case, the training data generating device 110 can reduce the load of generating training data.
  • the training data generation device 110 may output at least one of items that can be selected as a combination and items that cannot be selected as a combination.
  • the training data generation device 110 provides information that the user can refer to when deciding on an instruction when receiving an instruction for an item from the user.
  • the user can indicate the appropriate items when indicating the items to be used in the combination.
  • the training data generation device 110 may output the reason why the item cannot be selected.
  • the user can refer to the output reason and indicate the appropriate combination of items.
  • the user can refer to the reason and perform work for generating appropriate training data.
  • the user may acquire the sensor information corresponding to the item and provide it to the training data generation device 110 .
  • the training data generation device 110 may output at least one of the number and ratio of sensor information related to each item included in the combination.
  • the user can use at least one of the number and ratio of output sensor information to determine whether the generated teacher data is appropriate as teacher data.
  • the training data generation device 110 can provide the user with information effective for generating appropriate training data.
  • the teacher data generation device 110 further includes a sensor information acquisition unit 111 that acquires sensor information, and a sensor information storage unit 113 that stores sensor information. Using these configurations, the training data generation device 110 can acquire and store sensor information to be extracted by the data extraction unit 115 .
  • the teacher data generation device 110 further includes a sensor information classification unit 112.
  • the sensor information classification unit 112 classifies the sensor information acquired by the sensor information acquisition unit 111 or the sensor information stored by the sensor information storage unit 113 based on items.
  • the data extraction unit 115 extracts sensor information from the classified sensor information. Therefore, the teacher data generation device 110 can reduce the load of extracting sensor information in the data extraction unit 115 .
  • the state determination device 100 includes a teacher data generation device 110, a model generation device 130, and a sensor information determination device 150.
  • the training data generation device 110 operates as described above.
  • the model generation device 130 executes machine learning of a predetermined model using a plurality of teacher data, and generates a plurality of learned models corresponding to each of the teacher data.
  • the sensor information determination device 150 applies sensor information to a plurality of learned models and acquires determination results of the plurality of learned models. Then, the sensor information determination device 150 determines the state of the road corresponding to the sensor information using the acquired plurality of determination results.
  • the training data generation device 110 can generate training data corresponding to each combination of multiple items.
  • the teacher data generation device 110 generates teacher data that can generate a highly accurate learned model for a combination of multiple items.
  • the model generation device 130 can generate a trained model corresponding to each of a plurality of teacher data. That is, the model generation device 130 generates a trained model suitable for each combination of multiple items.
  • the sensor information determination device 150 applies the acquired sensor information to a plurality of learned models, and sums up the determination results of the plurality of learned models.
  • the state determination device 100 sums the determination results using the learned models suitable for each combination of a plurality of items to determine the state of the road. Therefore, the state determination device 100 can improve the accuracy of road state determination.
  • Patent Document 2 discloses the use of multiple models corresponding to the type of pavement.
  • Patent Document 2 does not disclose items other than the type of pavement, such as shooting conditions. Furthermore, the patent document does not disclose combining items.
  • Patent Document 2 Even if the technology described in Patent Document 2 is used, there is a problem that it is difficult to deal with situations other than pavement types.
  • Patent Document 1 does not disclose the use of multiple models.
  • the training data generation device 110 generates training data corresponding to a combination of at least two items including the pavement type. Therefore, even if the teacher data generation device 110 uses sensor information acquired in various situations, it is possible to generate teacher data for generating a trained model with high judgment accuracy in each situation.
  • the model generation device 130 generates a plurality of learned models using the generated plurality of teacher data. Therefore, the model generation device 130 can generate a trained model suitable for each combination of multiple items.
  • the sensor information determination device 150 applies sensor information to a plurality of learned models generated as described above to determine road conditions. Therefore, the sensor information determination device 150 can appropriately determine the state of the road.
  • the state determination device 100 can reduce the load of generating teacher data and appropriately determine the road state using sensor information.
  • model generation device 130 may apply predetermined data (accuracy determination data) to the generated multiple trained models to calculate and output the accuracy of each of the multiple trained models.
  • the user may refer to the output accuracy to decide how to handle the trained model.
  • the user provides the state determination device 100 with sensor information of items that will be teacher data for a trained model with low accuracy. Then, the user instructs the state determination device 100 to re-learn the learned model with low accuracy. According to the instruction, the state determination device 100 uses the new sensor information to generate teacher data, and uses the generated teacher data to re-learn the trained model with low accuracy.
  • the user may use the input device 400 to instruct the sensor information determination device 150 to reduce the weight in the summation of learned models with low accuracy.
  • the state determination device 100 can perform operations corresponding to the accuracy of the learned model.
  • the state determination system 10 includes a state determination device 100, a sensor information acquisition device 200, and a display device 500.
  • the state determination device 100 operates as described above.
  • the sensor information acquisition device 200 outputs sensor information to the state determination device 100 .
  • the display device 500 displays information output by the state determination device 100 (for example, the total determination result).
  • condition determination system 10 can reduce the load of generating teacher data and provide road condition determination using sensor information.
  • the state determination system 10 includes an information providing device 300.
  • the information providing device 300 outputs the external environment to the state determination device 100 .
  • the state determination system 10 configured in this manner can realize operations that reflect the external environment.
  • the state determination system 10 includes an input device 400 .
  • the input device 400 outputs instructions related to generation of teacher data to the state determination device 100 .
  • the state determination system 10 can generate appropriate teacher data. Therefore, the state determination system 10 can appropriately determine the state of the road.
  • Each component of the state determination device 100 may be configured by a hardware circuit.
  • each component may be configured using a plurality of devices connected via a network.
  • the state determination device 100 may be configured using cloud computing.
  • the plurality of components may be configured with one piece of hardware.
  • the state determination device 100 may be realized as a computer device including a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory).
  • the state determination device 100 may be implemented as a computer device that further includes a network interface circuit (NIC: Network Interface Circuit) in addition to the above configuration.
  • NIC Network Interface Circuit
  • FIG. 9 is a block diagram showing an example of the hardware configuration of the state determination device 100. As shown in FIG.
  • the state determination device 100 includes a CPU 610, a ROM 620, a RAM 630, a storage device 640, and a NIC 650, and constitutes a computer device.
  • the CPU 610 reads programs from at least one of the ROM 620 and the storage device 640 . Then, the CPU 610 controls the RAM 630, the storage device 640, and the NIC 650 based on the read program.
  • a computer device including the CPU 610 controls these configurations and realizes each function as each configuration shown in FIG.
  • Each configuration shown in FIG. 1 is a teacher data generation device 110, a teacher data storage device 120, a model generation device 130, a model storage device 140, and a sensor information determination device 150.
  • FIG. 1 is a teacher data generation device 110, a teacher data storage device 120, a model generation device 130, a model storage device 140, and a sensor information determination device 150.
  • the CPU 610 may use the RAM 630 or storage device 640 as a temporary storage medium for programs and data when implementing each function.
  • the CPU 610 may read the program included in the recording medium 690 storing the computer-readable program using a recording medium reading device (not shown).
  • CPU 610 may receive a program from an external device (not shown) via NIC 650, store the program in RAM 630 or storage device 640, and operate based on the stored program.
  • the ROM 620 stores programs executed by the CPU 610 and fixed data.
  • the ROM 620 is, for example, a P-ROM (Programmable-ROM) or a flash ROM.
  • the RAM 630 temporarily stores programs and data executed by the CPU 610 .
  • the RAM 630 is, for example, a D-RAM (Dynamic-RAM).
  • the storage device 640 stores data and programs that the state determination device 100 saves for a long time.
  • Storage device 640 operates as teacher data storage device 120 and model storage device 140 .
  • Storage device 640 may also operate as a temporary storage device for CPU 610 .
  • the storage device 640 is, for example, a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), or a disk array device.
  • the ROM 620 and the storage device 640 are non-transitory recording media.
  • the RAM 630 is a volatile (transitory) recording medium.
  • the CPU 610 can operate based on programs stored in the ROM 620 , the storage device 640 , or the RAM 630 . That is, the CPU 610 can operate using a non-volatile recording medium or a volatile recording medium.
  • the NIC 650 relays data exchange with external devices (the sensor information acquisition device 200, the information provision device 300, the input device 400, and the display device 500) via the network.
  • the NIC 650 is, for example, a LAN (Local Area Network) card.
  • the NIC 650 is not limited to wired, and may be wireless.
  • the state determination device 100 configured in this way can obtain the same effects as the state determination device 100 of FIG.
  • the reason is that the CPU 610 of the state determination device 100 of FIG. 9 can realize the same functions as the state determination device 100 of FIG. 1 based on the program.
  • the training data generation device 110, the model generation device 130, and the sensor information determination device 150 may be configured using any of the hardware described above.
  • the state determination device 100 may be configured by connecting these hardware-configured devices via a predetermined communication path.
  • the training data generation device 110, the model generation device 130, and the sensor information determination device 150 may each be configured using the computer device shown in FIG.
  • the teacher data storage device 120 and the model storage device 140 are configured using, for example, a predetermined storage device (for example, the storage device 640 of the computer device that implements either device).
  • teacher data generation device 110 when teacher data generation device 110 is configured using the computer device shown in FIG. 9, the computer device including CPU 610 controls the configuration shown in FIG. It realizes the function as each configuration.
  • the configuration shown in FIG. 5 includes a sensor information acquisition unit 111, a sensor information classification unit 112, a sensor information storage unit 113, a combination selection unit 114, and a data extraction unit 115.
  • storage device 640 operates as sensor information storage unit 113 .
  • the teacher data generation device 110 configured in this way can obtain the same effects as the teacher data generation device 110 of FIG.
  • the reason is that the CPU 610 of the teacher data generation device 110 realized using the computer device of FIG. 9 can realize the same functions as the teacher data generation device 110 of FIG. 5 based on the program.
  • the teacher data generation device 110 may use sensor information stored in a storage device (not shown).
  • the training data generation device 110 may not include the sensor information acquisition unit 111, the sensor information classification unit 112, and the sensor information storage unit 113.
  • the training data generation device 110 may set combinations based on preset combinations or preset rules.
  • FIG. 10 is a block diagram showing an example of the configuration of the training data generation device 118 according to the second embodiment.
  • the teacher data generation device 118 includes a combination selection unit 114 and a data extraction unit 115.
  • the combination selection unit 114 selects a combination including at least two items from among the items used for selection.
  • the items used for selection are items included in any of the road state, road type, sensor information type for determining the state, sensor information acquisition conditions, and external environment in sensor information acquisition. .
  • the data extracting unit 115 extracts the sensor information using the combination as teacher data used for learning a model that determines the state of the road using the sensor information.
  • the teacher data generation device 118 configured in this way can obtain the effect of reducing the load of generating the teacher data used for learning the model used to determine the state of the road. .
  • the training data generation device 118 is the minimum configuration of the training data generation device 110 of the first embodiment.
  • the state determination device 100 may use storage devices (not shown) as the teacher data storage device 120 and the model storage device 140.
  • the training data generation device 110 or 118 may output training data to the model generation device 130.
  • model generation device 130 may output the generated model to sensor information determination device 150 .
  • the state determination device 100 does not have to include the teacher data storage device 120 and the model storage device 140 .
  • FIG. 11 is a block diagram showing an example of the configuration of the state determination device 108 including the teacher data generation device 118 according to the second embodiment.
  • the state determination device 108 includes a teacher data generation device 118, a model generation device 130, and a sensor information determination device 150.
  • the teacher data generator 118 operates as described above.
  • the model generation device 130 executes machine learning of a predetermined model using a plurality of teacher data, and generates a plurality of learned models corresponding to each of the teacher data.
  • the sensor information determination device applies sensor information to a plurality of learned models, acquires determination results of the plurality of learned models, and uses the acquired multiple determination results to determine road conditions corresponding to the sensor information. .
  • the state determination device 108 configured in this manner has the same effect as the state determination device 100 of the first embodiment, and reduces the load of generating teacher data used for learning a model used for road state determination. effect can be obtained.
  • the state determination device 108 is the minimum configuration of the state determination device 100 of the first embodiment.
  • FIG. 12 is a block diagram showing an example of the configuration of the state determination system 18 including the state determination device 108 according to the second embodiment.
  • the state determination system 18 includes a state determination device 108, a sensor information acquisition device 200, and a display device 500.
  • State determiner 108 operates as described above.
  • the sensor information acquisition device 200 outputs sensor information to the state determination device.
  • the display device 500 displays information output by the state determination device 108 .
  • the state determination system 18 configured in this manner has the effect of reducing the load of generating teacher data used for learning a model used to determine the road state. Obtainable.
  • the state determination system 18 is the minimum configuration of the state determination system 10 of the first embodiment.
  • a teacher data generating device comprising: data extracting means for extracting sensor information using a combination as teacher data used for learning a model that determines road conditions using sensor information.
  • Appendix 2 The teacher data generation device according to appendix 1, wherein the items selected for the combination include at least the acquisition time of the sensor information.
  • Items selected for combination include at least one of structures around or near roads, speed or acceleration of moving bodies equipped with sensors that acquire sensor information, and road classifications Teacher according to appendix 2 Data generator.
  • Appendix 4 The teacher data generation device according to any one of Appendices 1 to 3, wherein the combination selection means selects a combination based on a predetermined instruction from the user.
  • Appendix 6 The teacher data generation device according to appendix 5, wherein when the combination selection means outputs an item that cannot be selected as a combination, it outputs a reason why it cannot be selected.
  • Appendix 7 The teacher data generation device according to appendix 5 or 6, wherein the combination selection means outputs at least one of the number and ratio of sensor information related to each item included in the combination.
  • the teacher data generation device according to any one of Appendices 1 to 7, comprising: sensor information storage means for storing sensor information.
  • Appendix 10 the training data generation device according to any one of Appendices 1 to 9; a model generation device that executes machine learning of a predetermined model using a plurality of teacher data to generate a plurality of trained models corresponding to each of the teacher data; A sensor information determination device that applies sensor information to a plurality of trained models, acquires determination results of the multiple learned models, and uses the acquired multiple determination results to determine road conditions corresponding to the sensor information. condition determination device including;
  • Appendix 12 The state determination device according to Appendix 10 or 11; a sensor information acquisition device that outputs sensor information to the state determination device; and a display device for displaying information output by the state determination device.
  • Appendix 14 14. The state determination system according to appendix 12 or 13, further comprising an input device that outputs instructions to the state determination device.
  • Items selected for combination include at least one of structures around or near roads, speed or acceleration of moving bodies equipped with sensors that acquire sensor information, and road classifications Teacher according to appendix 16 Data generation method.
  • Appendix 18 18. The teacher data generation method according to any one of Appendices 15 to 17, wherein the combination is selected based on a predetermined instruction from the user.
  • Appendix 19 Extracting at least one of items that can be selected as a combination and items that cannot be selected as a combination, 19.
  • the teaching data generation method according to any one of Appendices 15 to 18, wherein at least one of items that can be selected as a combination and items that cannot be selected as a combination are output.
  • Appendix 21 generating at least one of the number and ratio of sensor information associated with each item in the combination; 21.
  • Appendix 22 Get sensor information, 22.
  • the teacher data generation method according to any one of Appendices 15 to 21, including storing sensor information.
  • Appendix 23 Classify the acquired sensor information or stored sensor information based on items, 23.
  • a training data generation device executes the training data generation method according to any one of Appendices 15 to 23,
  • a model generation device executes machine learning of a predetermined model using a plurality of teacher data to generate a plurality of trained models corresponding to each of the teacher data,
  • a sensor information determination device applies sensor information to a plurality of learned models, acquires determination results of the plurality of learned models, and uses the acquired multiple determination results to determine road conditions corresponding to the sensor information. State determination method.
  • the state determination device executes the state determination method according to Supplementary Note 24 or 25,
  • the sensor information acquisition device outputs sensor information to the state determination device, A state determination method, wherein a display device displays information output by a state determination device.
  • Items selected for combination include at least one of structures around or near roads, speed or acceleration of moving bodies equipped with sensors that acquire sensor information, and road divisions. medium.
  • Appendix 32 32.
  • the recording medium according to any one of appendices 29 to 31, which records a program for causing a computer to execute processing for selecting a combination based on a predetermined instruction from a user.
  • Appendix 33 A process of extracting at least one of items that can be selected as a combination and items that cannot be selected as a combination; 33.
  • the recording medium according to any one of appendices 29 to 32, which records a program for causing a computer to execute a process of outputting at least one of items that can be selected as a combination and items that cannot be selected as a combination.
  • Appendix 35 a process of generating at least one of the number and ratio of sensor information associated with each item included in the combination; 35.
  • the recording medium according to appendix 33 or 34 which records a program for causing a computer to execute a process of outputting at least one of the number and ratio of sensor information.
  • Appendix 36 a process of acquiring sensor information; 36.
  • the recording medium according to any one of appendices 29 to 35, which records a program for causing a computer to execute a process of storing sensor information.
  • Appendix 37 A process of classifying the acquired sensor information or the stored sensor information based on the item; 37.
  • Appendix 38 A process of executing machine learning of a predetermined model using a plurality of teacher data to generate a plurality of trained models corresponding to each of the teacher data; Applying sensor information to multiple trained models, acquiring judgment results of multiple trained models, and using the acquired multiple judgment results to judge road conditions corresponding to the sensor information. 38.
  • the recording medium according to any one of appendices 29 to 37, which records a program to cause the
  • Appendix 39 39.
  • the recording medium according to appendix 38 which records a program for causing a computer to execute a process of applying predetermined data to the plurality of generated trained models and calculating the accuracy of each of the plurality of trained models.
  • state determination system 18 state determination system 100 state determination device 108 state determination device 110 teacher data generation device 118 teacher data generation device 111 sensor information acquisition unit 112 sensor information classification unit 113 sensor information storage unit 114 combination selection unit 115 data extraction unit 120 Teacher data storage device 130 Model generation device 140 Model storage device 150 Sensor information determination device 200 Sensor information acquisition device 300 Information provision device 400 Input device 500 Display device 610 CPU 620 ROMs 630 RAM 640 storage device 650 NIC 690 Recording medium 810 Server 820 Drive recorder 830 Data center 840 Terminal device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

道路などの状態の判定に用いるモデルの学習に用いる複数の教師データの生成の負荷を低減するため、本発明の教師データ生成装置は、道路の状態、道路の種別、道路の状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも２つ以上の項目を含む組合せを選択する組合せ選択手段と、センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出するデータ抽出手段とを含む。

Description

教師データ生成装置、状態判定装置、状態判定システム、教師データ生成方法、状態判定方法、及び、記録媒体
　本発明は、道路などの構造物の状態の判定に関し、特にモデルを用いた判定に関連する。
　自治体などにおける道路の管理、及び、空港における滑走路などの管理には、多くの手間及び費用が必要である。
　そこで、道路及び滑走路などの構造物の管理として、構造物の画像に基づいて構造物の状態を判定する技術が提案されている（特許文献１及び２を参照）。
　特許文献１に記載の滑走路監視システム（以下、「滑走路監視システム」と呼ぶ）は、カメラを用いて滑走路の画像を撮影する。そして、滑走路監視システムは、撮影した画像の適応画像処理に基づいて、滑走路の異物損傷（Ｆｏｒｅｉｇｎ　Ｏｂｊｅｃｔ　Ｄｅｂｒｉｓ（ＦＯＤ））を検出する。この処理において、滑走路監視システムは、撮影された画像を補正する。さらに、滑走路監視システムは、昼間か夜間かを判定し、夜間に撮影された画像から異常光状態を検出し、異常光状態が検出された画像を無視する。これらの動作を用いて、滑走路監視システムは、レーザー照明などの補助照明を使用せずに、昼間及び夜間の周辺光下で撮影された画像、特に夜間に撮影された画像を用いたＦＯＤの検出を改善している。
　なお、滑走路監視システムは、モデルとして、滑走路表面モデルを開示している。
　特許文献２に記載の道路維持管理システム（以下、「道路維持管理システム」と呼ぶ）は、予め、舗装種別ごとに道路を撮影した画像を教師データとして学習させた学習モデルを用意する。なお、このように、モデルを用いて判定するためには、予め、所定の教師データを用いて学習したモデル（道路維持管理システムでは「学習モデル」と呼んでいる）が必要である。
　そして、道路維持管理システムは、学習モデルを用いて、道路画像の舗装種別を判定する。そして、道路維持管理システムは、舗装種別が判定された道路画像から舗装の劣化範囲を検出し、劣化範囲における舗装劣化の状態を算出する。そして、道路維持管理システムは、舗装種別ごとに舗装の劣化度を判定して分類する。
　道路維持管理システムは、上記動作を用いて、道路の画像における舗装種別ごとの劣化を判定する。
特表２０１０－５３９７４０号公報 特開２０２０－１４７９６１号公報
　道路などの画像の撮影は、野外での撮影であり、また、さまざまな時間、及び、環境などでの撮影である。そのため、撮影された画像は、道路などの状態、撮影条件、及び、環境などが異なる状況において撮影された画像となる。
　このように、異なる状況において撮影された画像を、一つの判定モデルを用いて判定する場合、判定の精度を確保することが難しい。そのため、道路の判定には、複数のモデルを用いることが望ましい。
　例えば、道路維持管理システムは、舗装の種別に対応した複数のモデルを用いて判定する。
　なお、滑走路監視システムは、画像の昼間及び夜間を判定することを開示しているが、モデルの取り扱いについては開示していない。
　複数のモデルを生成するためには、複数の教師データが必要である。
　しかし、一般的に、教師データの生成には、多くの工数が必要である。特に、複数の教師データを生成する場合、多くの工数が必要である。
　そこで、教師データの生成の負荷を低減することが望まれている。
　しかし、特許文献１及び２は、教師データの生成の負荷に関連することを開示していない。
　このように、特許文献１及び２は、教師データの生成の負荷を低減できないという問題点があった。
　本発明の目的は、上記の問題点を解決し、道路などの状態の判定に用いるモデルの学習に用いる教師データの生成の負荷を低減する教師データ生成装置などを提供することにある。
　本発明の一形態における教師データ生成装置は、
　道路の状態、道路の種別、道路の状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも２つ以上の項目を含む組合せを選択する組合せ選択手段と、
　センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出するデータ抽出手段と
　を含む。
　本発明の一形態における状態判定装置は、
　上記の教師データ生成装置と、
　複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成するモデル生成装置と、
　センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得し、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定するセンサ情報判定装置と
　を含む。
　本発明の一形態における状態判定システムは、
　上記の状態判定装置と、
　状態判定装置にセンサ情報を出力するセンサ情報取得装置と、
　状態判定装置が出力する情報を表示する表示装置と
　を含む。
　本発明の一形態における教師データ生成方法は、
　道路の状態、道路の種別、道路の状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも２つ以上の項目を含む組合せを選択し、
　センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出する。
　本発明の一形態における状態判定方法は、
　教師データ生成装置が、上記の教師データ生成方法を実行し、
　モデル生成装置が、複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成し、
　センサ情報判定装置が、センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得し、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定する。
　本発明の一形態における状態判定方法は、
　状態判定装置が、上記の状態判定方法を実行し、
　センサ情報取得装置が、状態判定装置にセンサ情報を出力し、
　表示装置が、状態判定装置が出力する情報を表示する。
　本発明の一形態における記録媒体は、
　道路の状態、道路の種別、道路の状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも２つ以上の項目を含む組合せを選択する処理と、
　センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出する処理と
　をコンピュータに実行させるプログラムを記録する。
　本発明の一形態における記録媒体は、
　上記の処理と、
　複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成する処理と、
　センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得し、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定する処理と
　をコンピュータに実行させるプログラムを記録する。
　本発明に基づけば、道路などの状態の判定に用いるモデルの学習に用いる教師データの生成の負荷を低減するとの効果を奏することができる。
図１は、第１の実施形態にかかる状態判定システムの構成の一例を示すブロック図である。 図２は、状態判定システムの具体的な構成の一例を示す図である。 図３は、表示の一例を示す図である。 図４は、複数の状態の表示の一例を示す図である。 図５は、第１の実施形態にかかる教師データ生成装置の構成の一例を示すブロック図である。 図６は、教師データ生成装置における教師データを生成する動作の一例を示すフロー図である。 図７は、モデル生成装置における学習済モデルを生成する動作の一例を示すフロー図である。 図８は、センサ情報判定装置における道路の状態を判定する動作の一例を示すフロー図である。 図９は、状態判定装置のハードウェア構成の一例を示すブロック図である。 図１０は、第２の実施形態にかかる教師データ生成装置の構成の一例を示すブロック図である。 図１１は、第２の実施形態にかかる状態判定装置の構成の一例を示すブロック図である。 図１２は、第２の実施形態にかかる状態判定システムの構成の一例を示すブロック図である。
　次に、本発明における実施形態について図面を参照して説明する。
　各図面は、各実施形態を説明するためのものである。ただし、各実施形態は、図面の記載に限られるわけではない。また、各図面における同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。
　また、以下の説明に用いる図面において、各実施形態の説明において、本発明の課題の解決に関係しない部分の構成については、記載を省略し、図示しない場合もある。
　まず、各実施形態の説明において用いる用語について説明する。
　「道路」とは、車両及び人の少なくとも一方が通行する構造物である。ただし、道路は、車両及び人の少なくとも一方が通行できれば、地面の上に設置された道路に限られない。例えば、道路は、橋、及び、桟橋などでもよい。さらに、道路は、車両及び人が通行する道路に限られず、他の物が通行する通路でもよい。例えば、道路は、飛行機が通行する滑走路、誘導路、及び、エプロンでもよい。
　さらに、道路は、車両などが通行する部分に限らず、道路に関連する構造物（例えば、標識、白線、ガードレール、反射鏡、信号機、表示灯、照明器具、又は、街路樹）を含んでもよい。
　さらに、各実施形態は、道路に限らず、取得したセンサ情報を用いて判定できる構造物の状態を判定してもよい。例えば、センサ情報が道路の画像の場合、各実施形態は、画像に含まれる道路の近傍に設けられた構造物（例えば、電柱、建築物（一軒家、マンション、ビル、塀、垣根など））の状態を判定してもよい。
　ただし、以下の説明では、説明の便宜のため、「道路」を用いて説明する。
　「道路の種別」とは、判定の対象となる道路の区別である。
　道路の種別の一例は、道路の管理者に対応した区分（市町村道、都道府県道、国道、及び、高速道路など）である。あるいは、道路の種別は、利用目的に沿った区分（例えば、道路の本道及びバイパス道路、主要道路及び生活道路、又は、空港における滑走路、誘導路、及び、エプロン）でもよい。
　なお、道路の区分の判定は、道路を管理する組織又は地図の制作会社などから取得する道路区分情報、及び、制限速度の少なくとも一方を用いて判定可能である。
　あるいは、道路の車線数は、道路を走行する車両の走行状態（例えば、速度及び移動）に影響する。そのため、道路の車線数（車線がない場合を含む）は、道路の種別の一例である。
　なお、道路の車線数の検出方法として、例えば、道路を撮影した画像に所定の画像処理を適用して検出する方法がある。
　「道路の状態」とは、判定の対象となる道路の状態、判定に影響する道路の状態、及び、道路（特に、路面）の材質である。
　なお、道路の状態は、学習済モデルを用いて判定する対象でもある。そして、各実施形態において生成される教師データは、道路の状態を判定する学習済モデルを生成するために用いられる教師データである。
　判定の対象となる道路の状態の一例は、道路の路面の劣化種別（ひび割れ（縦、横、又は亀甲）、わだち、及び、ポットホールなど）、路面のシールの劣化、及び、シールの周辺部のほつれである。
　ただし、判定の対象となる道路の状態は、路面の劣化に限られない。例えば、判定の対象となる道路の状態は、道路に関連する構造物の劣化（例えば、路面の白線及び路面標識のカスレ、又は、標識の破損）でもよい。
　また、判定の対象となる道路の状態は、道路及び道路に関連する構造物の劣化に限定されない。例えば、路面に付された白線及び路面標識は、夜間において反射して見えるように施工されている。そこで、判定の対象となる道路の状態は、白線及び路面標識の反射の状態でもよい。
　あるいは、判定対象となる道路の状態は、道路に設置された照明の点灯状態、照明の輝度、又は、路面の照度でもよい。
　あるいは、判定対象となる道路の状態は、舗装工事又は修繕工事の結果の判定（例えば、作業の品質の判定）でもよい。
　マンホールは、晴れた日と雨の日とでは、画像における映り込みが異なる。あるいは、雨天又は散水における路面の濡れ具合は、路面の色を変化させ、撮影される画像の状態を変化させる。このように、路面の乾湿は、撮影される画像に影響する。さらに、路面を覆う水溜まりの大きさは、画像に含まれる道路の範囲に影響する。このように、路面の乾湿、並びに、水溜まりの有無及び大きさは、判定に影響する道路の状態の一例である。
　なお、路面の乾湿、及び、水溜まりは、天候情報又は所定の画像処理（例えば、路面の輝度判定モデル、又は、水溜まり検出モデル）を用いて判定可能である。
　路面の加工（例えば、排水用の直線の溝（ｇｒｏｏｖｅ）、又は、坂でのすべり止めの円形の溝）は、画像に影響する。そのため、路面の加工は、判定に影響する道路の状態の一例である。
　なお、路面の加工は、路面の画像に所定の画像処理を用いて判定可能である。
　路面の材質は、道路の舗装の材料、及び、舗装の材質の形状である。
　道路の舗装の材料は、アスファルト、コンクリート、石、レンガ、又は、砂利などである。道路の舗装の材料は、排水性舗装などに用いられる多孔質なアスファルト混合物など、主たる材料に加える添加物を含んでもよい。
　舗装の材質の形状は、舗装に用いられる粒の荒さ及び粒の形状、並びに、粒の色などである。
　なお、道路の舗装の種類、及び、路面の材質は、路面の画像に所定の画像処理又はモデル（例えば、特許文献２に記載の各舗装用のモデル）を適用して判定可能である。
　「センサ情報」とは、道路の状態を判定するために、所定のセンサを用いて取得された情報である。各実施形態は、センサ情報として、移動体（例えば、車両、二輪車、ドローン、又は、人）に搭載されたセンサ情報取得装置（例えば、ドライブレコーダー）が備える所定のセンサ（例えば、加速度計又はカメラ）を用いて取得した道路に関連する情報を用いる。例えば、センサ情報は、状態の判定対象である道路を走行する車両に搭載されたドライブレコーダーの加速度計が検出した加速度、又は、ドライブレコーダーのカメラが撮影した画像である。
　ただし、センサ情報取得装置は、移動体に搭載される場合に限定されない。例えば、センサ情報取得装置は、定点カメラなど、所定の構造物に固定された装置でもよい。
　なお、センサ情報は、道路の状態の判定に用いられる情報として、一つの情報に限られず、複数の情報を含んでもよい。例えば、センサ情報は、画像及び加速度を含む情報でもよい。
　さらに、センサ情報は、判定に用いられる情報に加え、他の情報を含んでもよい。
　例えば、センサ情報は、撮影時間及び撮影場所など、センサ情報の取得に関連する外部環境の情報（以下、単に「外部環境」とも呼ばれる）を含んでもよい。
　あるいは、センサ情報は、撮影における露光時間及び照度など、センサ情報の取得条件を含んでもよい。
　あるいは、センサ情報は、画像の画質、サイズ、アスペクト比、画像の解像度、及び、フレームレートなどセンサ情報の種別に関連する情報を含んでもよい。
　あるいは、センサ情報は、画像の識別子などセンサ情報の管理に使用する情報を含んでもよい。
　「移動体」とは、センサ情報を取得するセンサを備えたセンサ情報取得装置（例えば、ドライブレコーダー又は撮影装置）を搭載して移動するものである。
　移動体は、任意である。例えば、移動体は、ドライブレコーダーを設置した車両（四輪車、又は、二輪車）、又は、ドローンでもよい。あるいは、移動体は、撮影装置を保持して移動する人でもよい。
　「センサ情報の取得条件」とは、センサ情報の取得に関連する条件（例えば、移動体の状態又は特徴）である。
　例えば、センサ情報取得装置が車両に搭載される場合、センサ情報取得装置の搭載位置、角度、及び、進行方向に対する向きは、車両の種類（車種）が異なると、異なる場合がある。そのため、センサ情報取得装置を搭載している車種は、センサ情報の取得条件の一例である。
　なお、車種が異なる場合でも、センサ情報取得装置の搭載位置が、概ね同じ場合もある。この場合、画像における道路の位置及び面積は、概ね同じである。そのため、道路の位置及び面積が同じ画像は、教師データの生成において、同種の画像として扱われてもよい。
　そこで、センサ情報の取得条件は、画像における道路（路面）の位置及び面積の少なくとも一方、又は、画像における道路でない領域の位置及び面積の少なくとも一方でもよい。
　あるいは、二輪車は、四輪車に比べ、車体の傾きの変化が大きい。そのため、移動体の車輪の数は、センサ情報の取得条件の一例である。
　あるいは、移動体が高速で移動している場合、撮影された画像内の物体が不鮮明となる場合（例えば、モーションブラー（ｍｏｔｉｏｎ　ｂｌｕｒ）の発生）がある。このような画像を用いた判定は、判定の精度が低下する。つまり、移動体の速度は、判定に用いる画像の状態に影響を与える。このように、移動体の移動速度は、センサ情報の取得条件の一例である。
　なお、モーションブラーは、画像の撮影における露光時間、及び、撮影場所の照度にも影響を受ける。そのため、露光時間及び照度は、センサ情報の取得条件の一例である。
　あるいは、撮影時の移動体の加速度及び振動は、撮影される画像に影響を与える。そのため、移動体の加速度及び振動は、センサ情報の取得条件の一例である。
　このように、センサ情報取得装置を搭載した移動体の状態は、センサ情報の取得条件の一例である。
　「外部環境」とは、センサ情報を用いた判定に影響する情報の中で、上記の道路の状態、道路の種別、センサ情報の種別、及び、センサ情報の取得条件の状態を除いた情報である。
　例えば、撮影条件（例えば、画像の撮影の時間帯（朝、昼、夕、及び、夜など）及び天気（晴れ、曇り、雨、雨上がり、及び、雪など））は、画像を用いた判定に影響する。そのため、撮影条件（例えば、撮影の時間帯及び天気）は、外部環境の一例である。
　なお、センサ情報取得装置が、センサ情報を取得したときに、撮影条件（例えば、時間）などの外部環境をセンサ情報に付与してもよい。
　あるいは、撮影時の周辺音は、道路が混雑している場合に大きくなる。道路の混雑は、道路の劣化の進行に影響する。
　あるいは、路面が劣化している場合、車両などの移動体において、移動に伴う振動が多くなる。そのため、路面が劣化している場合、車両のような移動体において、移動時の振動に伴って発生する音（以下、「振動音」と呼ぶ）が大きくなる。
　あるいは、雨量は、撮影される画像に影響する。そして、雨天時の雨音は、ある程度、雨量に比例する。
　このように、音は、道路の状態の判定に有効な情報の一つである。そのため、音（例えば、周辺音、振動音、及び、雨音）は、外部環境の一例である。なお、外部環境として音を用いる場合、センサ情報取得装置は、移動体に搭載されたマイクを用いて、センサがセンサ情報を取得したときにマイクが検出した音を、センサ情報に付与すればよい。
　移動体が車両の場合、車両が走行する道路の交通量及び混雑状態は、車両の走行（例えば、通行できる車線及び速度）に影響する。移動体が人の場合、道路（例えば、歩道）の混雑状態は、人の移動に影響する。このように、交通量及び混雑は、取得されるセンサ情報に影響する。つまり、移動体の周辺の交通量及び混雑などは、外部環境の一例である。
　なお、混雑などは、取得された画像に所定の画像処理を適用して判定可能である。あるいは、混雑情報は、所定の交通情報の提供組織から取得可能である。
　あるいは、道路の周辺又は近傍に設置されている構造物（例えば、看板）及び樹木は、それらの影が路面の画像に移りこむ場合がある。このような影は、画像を用いた判定に影響を与える。そのため、道路の周辺又は近傍に設置された構造物（例えば、道路脇に設置された広告用の看板、標識、電柱、及び、中高層の建築物（ビルディング及び橋））及び道路の周辺の樹木（自然林又は街路樹）は、外部環境の一例である。
　なお、道路の周辺などの構造物及び樹木は、撮影された画像に所定の画像処理を適用する、又は、地図情報などから取得可能である。
　センサ情報は、道路の状態、道路の種別、センサ情報の種別、センサ情報の取得条件、及び、外部環境に影響される。つまり、道路の状態、道路の種別、センサ情報の種別、センサ情報の取得条件、及び、外部環境は、それぞれ、取得されるセンサ情報に関連する。そこで、以下の説明では、これらをまとめて「センサ情報に関連する項目」と呼ぶ場合もある。
　＜第１の実施形態＞
　次に、図面を参照して、第１の実施形態について説明する。
　［構成の説明］
　まず、第１の実施形態にかかる教師データ生成装置１１０などの構成について、図面を参照して説明する。
　図１は、第１の実施形態にかかる状態判定システム１０の構成の一例を示すブロック図である。
　状態判定システム１０は、状態判定装置１００と、センサ情報取得装置２００と、情報提供装置３００と、入力装置４００と、表示装置５００とを含む。
　状態判定システム１０に含まれる各装置は、所定の通信路（例えば、インターネット）を介して接続されている。なお、各装置は、直接的に接続されていなくてもよい。
　例えば、センサ情報取得装置２００は、取得したセンサ情報を、所定のリムーバルな記憶装置（例えば、Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ（ＵＳＢ）メモリ）に保存してもよい。そして、利用者が、状態判定装置１００に接続された読み取り装置を用いて、リムーバルな記憶装置（例えば、ＵＳＢメモリ）に保存されたセンサ情報を、状態判定装置１００に出力してもよい。
　あるいは、センサ情報取得装置２００は、図示しない記憶装置にセンサ情報を保存してもよい。この場合、状態判定装置１００は、その記憶装置から、センサ情報を取得すればよい。
　また、状態判定システム１０に含まれる各装置の数は、図１に限定されない。例えば、状態判定システム１０は、複数のセンサ情報取得装置２００を含んでもよい。
　センサ情報取得装置２００は、図示しない移動体に搭載され、移動体の移動に伴い、道路の判定に用いられるセンサ情報を取得する。センサ情報取得装置２００は、任意である。例えば、センサ情報取得装置２００は、車両に搭載されたドライブレコーダーでもよい。この場合、センサ情報取得装置２００は、センサ情報として、画像及び加速度の少なくとも一方を出力する。
　さらに、センサ情報取得装置２００は、センサ情報に、センサ情報の種別を含めてもよい。例えば、センサ情報が画像の場合、センサ情報取得装置２００は、センサ情報に、画像の画質、サイズ、アスペクト比、画像の解像度、及び、フレームレートなどのセンサ情報の種別に関連する情報を含めてもよい。
　さらに、センサ情報取得装置２００は、センサ情報に、センサ情報の取得条件を含めてもよい。例えば、センサ情報取得装置２００がドライブレコーダーの場合、センサ情報取得装置２００は、センサ情報に、ドライブレコーダーが検出した車両の速度、及び、加速度の少なくとも一方を含めてもよい。
　さらに、センサ情報取得装置２００は、センサ情報に、少なくとも一部の外部環境のデータを含めてもよい。例えば、センサ情報取得装置２００がドライブレコーダーの場合、センサ情報取得装置２００は、センサ情報に、センサ情報を取得した時間及び位置を含めてもよい。
　そして、センサ情報取得装置２００は、取得したセンサ情報を状態判定装置１００に出力する。
　情報提供装置３００は、少なくとも一部の外部環境を、状態判定装置１００に出力する。情報提供装置３００は、任意である。例えば、情報提供装置３００は、所定の情報を提供する企業の装置（例えば、気象情報を提供するサーバー）又はデーターセンターである。
　なお、状態判定装置１００が、センサ情報の含まれる情報を用いて、情報提供装置３００から外部環境を取得してもよい。例えば、センサ情報が取得された日時と位置とを含む場合、状態判定装置１００は、日時と位置とを用いて、所定の気象情報の提供先から、センサ情報の取得時における天気のデータを取得してもよい。
　状態判定装置１００が、外部環境を、どのように取得するかは、利用者などが、適宜決定すればよい。
　入力装置４００は、後ほど説明する、状態判定装置１００における教師データの選択に関連する情報を、状態判定装置１００に出力する。入力装置４００は、任意である。例えば、入力装置４００は、道路の管理者が使用するシステムの入力機器でもよい。
　表示装置５００は、状態判定装置１００が出力する情報（例えば、道路の状態）を表示する。表示装置５００は、任意である。例えば、表示装置５００は、道路の管理者が使用するシステムの表示機器でもよい。
　なお、入力装置４００及び表示装置５００は、一つの装置（例えば、利用者の携帯する端末装置のタッチパネル）でもよい。
　状態判定装置１００は、センサ情報取得装置２００からセンサ情報を取得する。状態判定装置１００は、情報提供装置３００及びセンサ情報取得装置２００の少なくとも一方から、外部環境を取得してもよい。この場合、状態判定装置１００は、取得した外部環境をセンサ情報に追加する。
　そして、状態判定装置１００は、取得したセンサ情報を用いて、道路の判定に用いる学習済モデルの生成に用いられる教師データを生成する。この動作において、状態判定装置１００は、外部環境を用いてもよい。
　そして、状態判定装置１００は、生成した教師データを用いて、道路の判定に用いる学習済モデルを生成する。
　そして、状態判定装置１００は、新たに取得したセンサ情報を、生成した学習済モデルに適用して、道路の状態を判定する。
　そして、状態判定装置１００は、判定の結果を表示装置５００に出力する。なお、状態判定装置１００は、取得したセンサ情報、生成した教師データ、生成した学習済モデル、及び、これらに関連する情報の少なくとも一つを出力してもよい。
　なお、状態判定装置１００は、センサ情報取得装置２００を搭載する移動体に搭載されてもよい。
　図２は、状態判定システム１０の具体的な構成の一例を示す図である。
　図２において、状態判定システム１０は、状態判定装置１００としてサーバー８１０を、センサ情報取得装置２００としてドライブレコーダー８２０を、情報提供装置３００としてデーターセンター８３０を含む。さらに、状態判定システム１０は、入力装置４００及び表示装置５００として端末装置８４０を含む。さらに、図２において、状態判定システム１０は、ドライブレコーダー８２０を搭載して移動する移動体として車両８７０を含む。さらに、図２において、状態判定システム１０は、各装置の接続する通信路として、ネットワーク８９０を含む。なお、図２は、複数台のドライブレコーダー８２０を用いる場合の一例を示す図である。
　ネットワーク８９０は、各装置を接続する通信路である。
　車両８７０は、ドライブレコーダー８２０を搭載して道路を走行する。
　ドライブレコーダー８２０は、道路の画像を撮影して、サーバー８１０に出力する。
　なお、ドライブレコーダー８２０は、車両８７０の内部（車内）に搭載される。ただし、図２は、ドライブレコーダー８２０を分かりやすくするため、車両８７０の外部に隣接して示している。
　データーセンター８３０は、外部環境をサーバー８１０に出力する。
　サーバー８１０は、ドライブレコーダー８２０からセンサ情報を取得する。必要に応じて、サーバー８１０は、データーセンター８３０から取得した外部環境をセンサ情報に追加する。そして、サーバー８１０は、取得したセンサ情報を用いて、道路の状態の判定に用いる学習済モデルの生成に用いる教師データを生成する。そして、サーバー８１０は、生成した教師データを用いて、学習済モデルを生成する。そして、サーバー８１０は、新たにドライブレコーダー８２０から取得したセンサ情報を学習済モデルに適用して、道路の状態を判定する。そして、サーバー８１０は、判定の結果を端末装置８４０に出力する。
　端末装置８４０は、サーバー８１０から取得した判定の結果を表示する。
　なお、サーバー８１０は、取得したセンサ情報、生成した教師データ、生成した学習済モデル、及び、これらに関連する情報の少なくとも一つを、端末装置８４０に出力してもよい。あるいは、サーバー８１０は、端末装置８４０から、教師データの生成に関連する情報、及び、学習済モデルの生成に関連する情報の少なくとも一方を取得してもよい。
　サーバー８１０、ドライブレコーダー８２０、データーセンター８３０、端末装置８４０、車両８７０、及び、ネットワーク８９０は、特に制限などはない。これらとして、一般的に販売されている製品が用いられてもよい。そのため、これらの詳細な説明を省略する。
　図１を参照した説明に戻る。
　表示装置５００における道路の状態の表示のやり方は、任意である。利用者が、適宜、表示装置５００における道路の状態の表示のやり方を決定すればよい。
　図３は、表示の一例を示す図である。
　図３は、センサ情報が道路の画像であり、判定対象の道路の状態が劣化の場合の表示の一例である。図３において、表示装置５００は、判定対象の道路の画像において、矩形の枠を用いて劣化の位置を示している。さらに、図３において、表示装置５００は、「劣化度大」と判定したされた位置を強調（斜線）表示している。
　なお、表示装置５００は、状態判定装置１００が判定した道路の状態の表示として、一つではなく複数の道路の状態をまとめて表示してもよい。
　図４は、複数の状態の表示の一例を示す図である。
　図４において、表示装置５００は、所定の領域の道路において劣化があると判定された部分を、矢印を用いて示している。さらに、図４において、表示装置５００は、「劣化度大」と判定された部分を、強調表示（黒色の矢印）を用いて示している。なお、図４における矢印の向きは、道路における車両の進行方向である。
　図１を参照した説明に戻る。
　次に、状態判定装置１００の構成について説明する。
　状態判定装置１００は、教師データ生成装置１１０と、教師データ保存装置１２０と、モデル生成装置１３０と、モデル保存装置１４０と、センサ情報判定装置１５０とを含む。
　教師データ生成装置１１０は、センサ情報を用いて、教師データを生成する。教師データ生成装置１１０については、後ほど詳細に説明する。
　教師データ保存装置１２０は、教師データ生成装置１１０が生成した教師データを保存する。
　モデル生成装置１３０は、教師データ保存装置１２０が保存する教師データを用いて、教師データを用いた学習をしていないモデル（以下、「学習前モデル」と呼ぶ）の機械学習を実行して、学習済モデルを生成する。
　なお、モデル生成装置１３０が機械学習に用いる学習前モデルの取得元は、任意である。例えば、予め、利用者が、モデル保存装置１４０に学習前モデルを保存してもよい。あるいは、モデル生成装置１３０が、学習済モデルの生成において、図示しない装置から学習前モデルを取得してもよい。
　モデル生成装置１３０は、複数の学習済モデルを生成してもよい。例えば、教師データ保存装置１２０が複数の教師データを保存する場合、モデル生成装置１３０は、全て又は一部の教師データそれぞれに対応した学習済モデルを生成してもよい。
　この場合、モデル生成装置１３０は、一つの学習前モデルを用いて、複数の教師データそれぞれに対応した学習済モデルを生成してもよい。この場合、モデル生成装置１３０は、教師データの数の学習済モデルを生成する。
　ただし、モデル生成装置１３０は、複数の学習前モデルを用いてもよい。
　例えば、モデル生成装置１３０は、教師データそれぞれに対応する学習前モデルを用いて、学習済モデルを生成してもよい。この場合も、モデル生成装置１３０は、教師データの数の学習済モデルを生成する。
　ただし、モデル生成装置１３０は、教師データより多くの数の学習済モデルを生成してもよい。
　例えば、複数の学習前モデルを用いる場合において、モデル生成装置１３０は、少なくとも一部の学習前モデルそれぞれに複数の教師データを適用して、少なくとも一部の学習前モデルそれぞれに対応した複数の学習済モデルを生成してもよい。
　あるいは、モデル生成装置１３０は、少なくとも一部の教師データを、複数の異なる学習前モデルに適用して、少なくとも一部の教師データそれぞれに対応した複数の学習済モデルを生成してもよい。
　そして、モデル生成装置１３０は、生成した学習済モデルをモデル保存装置１４０に保存する。
　なお、モデル生成装置１３０は、生成した学習済モデルに精度判定用のデータを適用して学習済モデルの精度を算出し、算出した精度を所定の装置（例えば、表示装置５００）に出力してもよい。そして、モデル生成装置１３０は、所定の指示に基づいて、学習済モデルを再学習してもよい。この場合、状態判定装置１００は、教師データ生成装置１１０を用いて、再学習用の教師データを生成してもよい。再学習用の教師データの生成において、教師データ生成装置１１０は、利用者などから、再学習用の教師データの生成に関連する情報（例えば、精度を向上したい項目の指示）を取得してもよい。
　一例を用いて、上記の動作を説明する。
　例えば、影が多い画像における道路の状態を判定する学習済モデル（以下、「日影道路状態判定モデル」と呼ぶ）の精度が低いとする。
　モデル生成装置１３０は、日影道路状態判定モデルの精度を表示装置５００に出力する。利用者は、表示装置５００に表示を参照し、入力装置４００を用いて、状態判定装置１００に、日影道路状態判定モデルの再学習を指示する。その際、利用者は、再学習用のセンサ情報（例えば、影の多い画像）を状態判定装置１００に送信してもよい。
　モデル生成装置１３０は、入力装置４００から再学習の指示を取得すると、指示に基づいて、教師データ生成装置１１０に再学習用の教師データの生成を依頼する。教師データ生成装置１１０は、再学習用の教師データを生成する。そして、モデル生成装置１３０は、再学習用の教師データを用いて、日影道路状態判定モデルの再学習を実行する。
　モデル生成装置１３０は、再学習した日影道路状態判定モデルの精度を算出して、再学習した日影道路状態判定モデルの精度を再出力してもよい。利用者は、再出力された精度を参照して、所定の精度とのなるまで、再学習の指示を繰り返してもよい。
　モデル生成装置１３０は、学習済モデルの生成において、判定の対象となる道路の関連する情報を用いて、学習の手法、及び、モデルの種類の少なくとも一方を選択してもよい。
　モデル保存装置１４０は、生成された学習済モデルを保存する。モデル保存装置１４０は、学習前モデルを保存してもよい。
　センサ情報判定装置１５０は、センサ情報取得装置２００から取得したセンサ情報を、モデル保存装置１４０に保存されている学習済モデルに適用して、道路の状態を判定する。
　複数の学習済モデルが保存されている場合、センサ情報判定装置１５０は、センサ情報を複数の学習済モデルそれぞれに適用し、複数の学習済モデルそれぞれの判定結果（以下、「個別判定結果」と呼ぶ）を取得する。
　そして、センサ情報判定装置１５０は、取得した複数の判定結果（個別判定結果）を用いて、センサ情報に対応する道路の状態（以下、「合算判定結果」と呼ぶ）を生成する。例えば、センサ情報判定装置１５０は、各学習済モデルに対する重みを用いて、複数の学習済モデルそれぞれの判定結果（個別判定結果）を合算して、道路を判定の結果（合算判定結果）を生成してもよい。
　そして、センサ情報判定装置１５０は、合算した判定の結果（合算判定結果）を所定の装置（例えば、表示装置５００）に出力する。
　なお、センサ情報判定装置１５０は、利用者などからの合算に関連する指示（例えば、合算におけるモデルの重み）を取得してもよい。
　次に、教師データ生成装置１１０の構成について説明する。
　図５は、第１の実施形態にかかる教師データ生成装置１１０の構成の一例を示すブロック図である。
　教師データ生成装置１１０は、センサ情報取得部１１１と、センサ情報分類部１１２と、センサ情報保存部１１３と、組合せ選択部１１４と、データ抽出部１１５とを含む。
　センサ情報取得部１１１は、センサ情報取得装置２００からセンサ情報を取得する。さらに、センサ情報取得部１１１は、センサ情報取得装置２００及び情報提供装置３００の少なくとも一方から外部環境を取得して、取得した外部環境をセンサ情報に含めてもよい。
　そして、センサ情報取得部１１１は、取得したセンサ情報をセンサ情報保存部１１３に保存する。保存されたセンサ情報は、後ほど説明する教師データの生成に用いられる。
　なお、センサ情報取得部１１１は、センサ情報に、上記以外の情報を含めてもよい。
　例えば、センサ情報取得部１１１は、図示しない装置から、センサ情報それぞれにおける正解を示すデータ（例えば、各画像における劣化の位置とそのスコア）を取得して、センサ情報に追加してもよい。以下、正解を示すデータを「正解ラベル」と呼ぶ。あるいは、センサ情報取得部１１１は、センサ情報取得装置２００から、正解ラベルを含むセンサ情報を取得してもよい。
　センサ情報保存部１１３は、センサ情報を保存する。
　なお、センサ情報保存部１１３に保存されたセンサ情報は、後ほど説明するように、データ抽出部１１５における抽出対象となるデータである。
　そこで、教師データ生成装置１１０は、データ抽出部１１５におけるセンサ情報の抽出を容易にするため、センサ情報を分類するセンサ情報分類部１１２を含んでもよい。
　センサ情報分類部１１２は、データ抽出部１１５におけるセンサ情報の抽出が容易となるように、センサ情報保存部１１３に保存されているセンサ情報を分類する。例えば、センサ情報分類部１１２は、各項目に対応してセンサ情報を分類する。あるいは、センサ情報分類部１１２は、各項目に対応する分類に加え、又は、各項目に対応する分類に替えて、所定の項目の組合せに対応するようにセンサ情報を分類してもよい。
　なお、センサ情報取得部１１１は、センサ情報をセンサ情報保存部１１３に保存せずに、センサ情報分類部１１２に出力してもよい。この場合、センサ情報分類部１１２が、センサ情報取得部１１１から取得したセンサ情報を分類し、分類したセンサ情報をセンサ情報保存部１１３に保存する。
　なお、センサ情報分類部１１２は、少なくとも一部のセンサ情報を複数の項目に分類してもよい。例えば、センサ情報が晴天時の昼間に撮影された画像の場合、センサ情報分類部１１２は、その画像を、晴天の項目、及び、昼間の項目の両方に分類してもよい。
　組合せ選択部１１４は、次に示すセンサ情報に関連する項目の中から、少なくとも２つ以上の項目を含む組合せ選択する。
（１）道路の状態、
（２）道路の種別、
（３）道路の状態を判定するためのセンサ情報の種別、
（４）センサ情報の取得条件、
（５）センサ情報の取得における外部環境。
　例えば、組合せ選択部１１４は、センサ情報の取得条件の項目として所定の撮影時間（センサ情報の取得時間又は取得時間帯）と、外部環境の項目として周辺に設置された構造物（例えば、高層ビル）との組合せを選択する。
　組合せ選択部１１４は、複数の組合せを選択してもよい。この場合、それぞれの組合せが含む項目の数は、異なっていてもよい。例えば、組合せ選択部１１４は、２つの項目を含む組合せと、３つの項目を含む組合せとを選択してもよい。
　組合せ選択部１１４が選択する項目の組合せは、任意である。組合せ選択部１１４は、予め設定されている項目の組合せを用いてもよい。
　あるいは、組合せ選択部１１４は、組合せ可能な全ての項目の組合せを選択してもよい。例えば、組合せ選択部１１４は、保存されているセンサ情報に関連するすべての項目の組合せを選択してもよい。
　あるいは、組合せ選択部１１４は、予め設定された規則に対応した組合せを選択してもよい。例えば、組合せ選択部１１４は、所定の項目（例えば、センサ情報の取得時間）と、他の項目との組合せを選択してもよい。
　例えば、市街地の道路の場合、道路の周辺の建造物、及び、街路樹の少なくとも一方の影が、画像に映り込む。あるいは、郊外の道路の場合、道路の周辺の森林の樹木の影が、画像に映り込む。ただし、映り込む影の位置は、撮影された時間に対応して変化する。さらに、影が映りこまない時間帯がある場合もある。
　また、画像に映り込む影の形状は、道路の周辺の建造物及び樹木に対応している。
　ここで、センサ情報取得装置２００が、道路の管理に用いられる車両に搭載されたドライブレコーダーであり、センサ情報が道路の画像とする。一般的に、道路の管理に用いられる車両は、管理対象となる道路を、ある程度の頻度で何度も走行する。ただし、走行時間（つまり、画像の撮影時間）は、一定ではなく、変化する場合が多い。
　そのため、この場合、センサ情報として、影の位置が異なる画像が、収集される。
　そこで、組合せ選択部１１４は、組合せに用いる項目として、「時間帯」と「道路の周辺の構造物又は樹木」とを用いてもよい。例えば、組合せ選択部１１４は、「取得時間」の項目として、日照時に対応する「６時から１０時」、「１０時から１４時」及び「１４時から１８時」のいずれか一つを用いてもよい。さらに、組合せ選択部１１４は、「道路の周辺の構造物又は樹木」として「高層ビル」、「中層ビル」、「低層ビル」、「街路樹」、及び、「森林」のいずれ一つを用いてもよい。例えば、組合せ選択部１１４は、日照時における高層ビルの組合せとして、「６時から１０時」と「高層ビル」との組合せ、「１０時から１４時」と「高層ビル」との組合せ、及び、「１４時から１８時」と「高層ビル」との組合せを選択してもよい。
　このように、同じ道路に対して繰り返しセンサ情報を取得する場合、組合せ選択部１１４は、同じ道路に対応した複数のセンサ情報において変化する項目（例えば、上記の取得時間）を含む組合せを選択してもよい。
　あるいは、組合せ選択部１１４は、移動体の速度（例えば、車両の速度）と、道路の区分（例えば、主要道路、及び、生活道路、又は、市町村道、都道府県道、国道、及び、高速道路）との組合せを選択してもよい。
　この場合、組合せ選択部１１４は、取得時間を用いて、影の位置が異なるが画像から、影の位置が概ね同じ位置となる画像を選択する組合せを選択できる。
　さらに、組合せ選択部１１４は、３つ以上の項目を含む組合せを選択してもよい。例えば、組合せ選択部１１４は、取得時間と、道路付近の構造物と、劣化の種別との組合せを選択してもよい。
　組合せ選択部１１４は、項目の組合せの選択において、所定の装置（例えば、入力装置４００）から選択する項目の指示を取得してもよい。例えば、組合せ選択部１１４は、所定の装置（例えば、入力装置４００）から取得した利用者からの指示に基づいて組合せを選択してもよい。その場合、組合せ選択部１１４は、所定の装置（例えば、表示装置５００）に、組合せとして選択可能な項目を出力してもよい。
　例えば、組合せ選択部１１４は、センサ情報保存部１１３に保存されているセンサ情報に関連する項目を抽出し、抽出した項目を、「組合せとして選択可能な項目」として出力してもよい。
　あるいは、組合せ選択部１１４は、予め項目の一覧を保存しておき、その一覧において、センサ情報から抽出できなかった項目を、「組合せとして選択できない項目」として出力してもよい。
　なお、後ほど説明するように、組合せ選択部１１４が選択する組合せは、教師データの抽出に用いられる。教師データは、ある程度のデータ量を必要とする。そこで、組合せ選択部１１４は、所定の数（所定の閾値）より少ない項目を、「組合せとして選択できない項目」としてもよい。この場合、組合せ選択部１１４は、組合せとして選択できない理由（例えば、センサ情報がない、又は、センサ情報の数が閾値より少ない）を出力してもよい。
　さらに、組合せ選択部１１４は、データ抽出部１１５に出力する組合せに、センサ情報の抽出に関連する情報を含めてもよい。
　例えば、組合せ選択部１１４は、データ抽出部１１５に出力する組合せに、組合せに対応して抽出するセンサ情報の数を含めてもよい。あるいは、組合せ選択部１１４は、データ抽出部１１５に出力する組合せに、組合せに対応して抽出するセンサ情報の数の範囲（例えば、下限値と上限値）を含めてもよい。あるいは、組合せ選択部１１４は、データ抽出部１１５に出力する組合せに、組合せに対応した全てのセンサ情報を抽出する指示を含めてもよい。
　あるいは、組合せ選択部１１４は、組合せに対応するセンサ情報の抽出のやり方を含めてもよい。例えば、組合せ選択部１１４は、組合せに、所定の項目に関して所定の分布となるように抽出する指示を含めてもよい。
　さらに、組合せ選択部１１４は、複数の組合せを含む組合せを生成してもよい。この場合、組合せ選択部１１４は、組合せに、複数の組合せに対応するセンサ情報の数、又は、比率を含めてもよい。
　適切な機械学習を実行するためには、教師データに含まれるデータの状態（例えば、各項目の比率）は、重要である。
　そこで、組合せ選択部１１４は、データ抽出部１１５が抽出するセンサ情報において、各項目の組合せに対応したセンサ情報の数又は比率が、所定の値となるように、組合せを選択してもよい。
　例えば、影を含む画像は、影がない画像に比べ、ひび割れなどの劣化の判定が難しい。そこで、組合せ選択部１１４は、影を含む画像が多くなるような組合せを選択してもよい。
　所定の時間と影との項目を含む組合せを用いて、組合せの一例を説明する。
　例えば、所定の時間における影を含む画像の比率を、影を含まない画像の比率の４倍とする場合、組合せ選択部１１４は、次のように、２つの項目（時間と、影の有無の項目）と画像の数とを含む２つの組合せ（組合せ１及び２）を含む組合せを生成する。
組合せ１：項目１＝所定の時間、項目２＝影を含む、画像の枚数＝４００。
組合せ２：項目１＝所定の時間、項目２＝影を含まない、画像の枚数＝１００。
　組合せの選択において、組合せ選択部１１４は、センサ情報保存部１１３に保存されているセンサ情報において、組合せとして選択できる項目に対応するセンサ情報の数及び比率の少なくとも一方を、所定の装置（例えば、表示装置５００）に出力してもよい。そして、組合せ選択部１１４は、組合せとして使用する項目、及び、使用する組合せの指示を所定の装置（例えば、入力装置４００）から取得して、組合せを選択してもよい。
　このように、組合せ選択部１１４は、選択する組合せに関連する指示を取得して、組合せを選択してもよい。
　そして、組合せ選択部１１４は、選択した組合せをデータ抽出部１１５に出力する。
　なお、組合せ選択部１１４は、選択した組合せの一部を、データ抽出部１１５に出力してもよい。例えば、組合せ選択部１１４は、利用者からの指示に基づいて、データ抽出部１１５に出力する組合せを選択してもよい。
　この場合の動作の一例を説明する。
　組合せ選択部１１４は、組合せを選択すると、選択した組合せを表示装置５００に出力する。利用者は、表示装置５００に表示された組合せを確認する。そして、利用者は、入力装置４００を用いて、使用する組合せの指示を組合せ選択部１１４に出力する。組合せ選択部１１４は、指示された組合せを、データ抽出部１１５に出力する。
　この場合、教師データ生成装置１１０は、データ抽出部１１５が抽出する教師データとして、利用者などの要望に適合した教師データを抽出できる。
　データ抽出部１１５は、センサ情報保存部１１３が保存しているセンサ情報から、組合せ選択部１１４が選択した項目の組合せに対応するセンサ情報を抽出して、教師データ保存装置１２０に保存する。保存されたセンサ情報は、モデル生成装置１３０におけるモデルの機械学習に用いられるデータ（教師データ）となる。
　組合せが複数の組合せを含む場合、データ抽出部１１５は、それぞれの組合せに対応したセンサ情報を抽出し、抽出したセンサ情報をまとめて教師データ保存装置１２０に保存する。なお、複数の組合せに対応して重複したセンサ情報が抽出される場合、データ抽出部１１５は、一つのセンサ情報を保存してもよく、重複してセンサ情報を保存（つまり、同じセンサ情報を複数含むように保存）してもよい。
　組合せがセンサ情報の数を含む場合、データ抽出部１１５は、その数のセンサ情報を抽出する。
　なお、データ抽出部１１５は、指定された規則に沿って、所定の数のセンサ情報を抽出してもよい。
　例えば、センサ情報が複数の時間帯に対して同じ比率となるように指定された場合、データ抽出部１１５は、センサ情報の数が最も少ない時間帯のセンサ情報の数を用いて、指定された各時間帯におけるセンサ情報を抽出してもよい。
　あるいは、データ抽出部１１５は、ランダムに、センサ情報を抽出してもよい。
　あるいは、データ抽出部１１５は、少なくとも一部の項目において、所定の分布（例えば、一様分布、又は、正規分布）となるように、センサ情報を抽出してもよい。例えば、項目が時間帯の場合、データ抽出部１１５は、０時から２３時の全ての時間におけるセンサ情報を均等に含むように（つまり、時間帯において一様分布となるように）、センサ情報を抽出してもよい。
　例えば、教師データに含まれるセンサ情報は、偏りが少ない方が望ましい。利用者が、多くの教師データにおいて偏りが少ないようにデータを抽出することは、多くの工数が必要である。複数の項目の組合せに対応したセンサ情報を抽出する場合、さらに多くの工数が必要となる。
　教師データ生成装置１１０は、上記のように、所定に分布に沿ったセンサ情報を抽出できる。そのため、教師データ生成装置１１０は、適切な教師データを生成できる。その結果、教師データ生成装置１１０は、利用者における教師データの生成の負荷を低減する。
　このように、教師データ生成装置１１０は、センサ情報に関連する項目の中から、少なくとも２つ以上の項目を含む組合せを選択し、選択した組合せを用いて、センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データを生成する。利用者は、教師データ生成装置１１０を用いて、教師データの生成の負荷を低減できる。
　教師データ生成装置１１０は、複数の教師データを生成することもできる。つまり、組合せ選択部１１４が、複数の組合せを選択できる。この場合、教師データ生成装置１１０は、利用者などにおける複数の教師データの生成における負荷を低減する。
　なお、複数の組合せを選択する場合、組合せ選択部１１４は、選択する組合せとして、少なくとも一部の項目が他のいずれの組合せとも異なる組合せを生成する。
　なお、この場合の「異なる」とは、項目を含まない場合を含む。
　例えば、項目がＡ、Ｂ及びＣの場合（なお、項目の組合せを｛｝を用いて示す）、２つ以上の項目を含む組合せは、組合せ｛Ａ，Ｂ｝、｛Ｂ，Ｃ｝、｛Ｃ，Ａ｝及び｛Ａ，Ｂ，Ｃ｝である。つまり、組合せ選択部１１４は、組合せ｛Ａ，Ｂ｝、｛Ｂ，Ｃ｝、｛Ｃ，Ａ｝及び｛Ａ，Ｂ，Ｃ｝の中から、データ抽出部１１５に出力する組合せを選択する。この場合、組合せ｛Ａ，Ｂ｝は、組合せ｛Ａ，Ｂ，Ｃ｝に対して、項目Ｃを含まない点で異なる組合せである。
　なお、複数の教師データが生成される場合、少なくとも一部の教師データが、同じセンサ情報を含む場合もある。
　［動作の説明］
　次に、図面を参照して、状態判定装置１００に含まれる装置の動作について説明する。
　まず、図面を参照して、教師データ生成装置１１０の動作を説明する。
　図６は、教師データ生成装置１１０における教師データを生成する動作の一例を示すフロー図である。
　センサ情報取得部１１１は、センサ情報を取得する（ステップＳ７０１）。センサ情報取得部１１１は、情報提供装置３００から外部環境を取得して、センサ情報に追加してもよい。そして、センサ情報取得部１１１は、取得したセンサ情報をセンサ情報保存部１１３に保存する。
　センサ情報分類部１１２は、センサ情報保存部１１３に保存されているセンサ情報を分類する（ステップＳ７０２）。なお、センサ情報分類部１１２が、センサ情報取得部１１１からセンサ情報を取得し、分類してからセンサ情報をセンサ情報保存部１１３に保存してもよい。ただし、教師データ生成装置１１０は、センサ情報を分類しなくてもよい。
　組合せ選択部１１４は、少なくとも２つの以上の項目を含む組合せを選択する（ステップＳ７０３）。より詳細には、組合せ選択部１１４は、次に示すセンサ情報に関連する項目の中から、少なくとも２つ以上の項目を含む組合せ選択する。
（１）道路の状態、
（２）道路の種別、
（３）道路の状態を判定するためのセンサ情報の種別、
（４）センサ情報の取得条件、
（５）センサ情報の取得における外部環境。
　データ抽出部１１５は、組合せを用いてセンサ情報を抽出する（ステップＳ７０４）。選択されたセンサ情報は、センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとなる。つまり、データ抽出部１１５は、組合せを用いて、教師データを抽出する。
　データ抽出部１１５は、抽出したセンサ情報（教師データ）を、教師データ保存装置１２０に保存する（ステップＳ７０５）。
　教師データ生成装置１１０は、必要とする全ての教師データを生成するまで、上記動作を繰り返す。
　なお、教師データ生成装置１１０は、必要に応じて、所定の装置（例えば、入力装置４００）から教師データの生成に必要な情報（例えば、組合せに含める項目の指示）を取得してもよい。その場合、教師データ生成装置１１０は、所定の装置（例えば、表示装置５００）に、情報の取得に関連する情報（例えば、組合せ可能な項目）を出力してもよい。
　次に、図面を参照して、モデル生成装置１３０の動作について説明する。
　図７は、モデル生成装置１３０における学習済モデルを生成する動作の一例を示すフロー図である。
　モデル生成装置１３０は、モデル保存装置１４０から、所定のモデル（学習前モデル）を取得する（ステップＳ７１１）。
　モデル生成装置１３０は、教師データ保存装置１２０に保存されている教師データを用いて学習前モデルの機械学習を実行して、学習済モデルを生成する（ステップＳ７１２）。
　モデル生成装置１３０は、生成した学習済モデルをモデル保存装置１４０に保存する（ステップＳ７１３）。
　モデル生成装置１３０は、全て又は指定された一部の教師データに対応した学習済モデルを生成するまで、又は、指定された数の学習済モデルを生成するまで、上記動作を繰り返す。
　次に、図面を参照して、センサ情報判定装置１５０の動作について説明する。
　図８は、センサ情報判定装置１５０における道路の状態を判定する動作の一例を示すフロー図である。
　センサ情報判定装置１５０は、判定対象のセンサ情報を取得する（ステップＳ７２１）。
　センサ情報判定装置１５０は、センサ情報を複数の学習済モデルそれぞれに適用して、それぞれの学習済モデルの判定結果（個別判定結果）を生成する（ステップＳ７２２）。
　センサ情報判定装置１５０は、複数の学習済モデルの判定結果（個別判定結果）を合算して、道路の状態の判定結果（合算判定結果）を生成する（ステップＳ７２３）。
　センサ情報判定装置１５０は、合算判定結果を所定の装置（例えば、表示装置５００）に出力する（ステップＳ７２４）。
　［効果の説明］
　次に、第１の実施形態にかかる教師データ生成装置１１０の効果について説明する。
　第１の実施形態にかかる教師データ生成装置１１０は、道路の状態の判定に用いるモデルの学習に用いる教師データの生成の負荷を低減するとの効果を奏することができる。
　その理由は、次の通りである。
　教師データ生成装置１１０は、組合せ選択部１１４と、データ抽出部１１５とを含む。組合せ選択部１１４は、選択に用いる項目の中から、少なくとも２つ以上の項目を含む組合せを選択する。選択に用いられる項目は、道路の状態、道路の種別、状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目である。そして、データ抽出部１１５は、センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出する。
　教師データ生成装置１１０は、センサ情報に関連する項目の中から、少なくとも２つ以上の項目の組合せを選択する。そして、教師データ生成装置１１０は、組合せを用いて、センサ情報を抽出する。抽出されたセンサ情報は、項目の組合せに対応する教師データとなる。
　このように、教師データ生成装置１１０は、項目の組合せに対応する教師データを生成できるため、利用者などにおける教師データの生成の負荷を低減できる。
　教師データ生成装置１１０は、組合せに選択される項目として、センサ情報の取得時間を用いてもよい。
　例えば、道路の管理に用いられる車両が、異なる時間に、管理対象となる道路を、何度も走行する場合、取得される画像は、画像の取得時間に対応して、影の位置が異なる。しかし、教師データ生成装置１１０は、取得時間を用いて、影の位置が概ね同じとなる画像を用いた教師データを生成できる。
　さらに、教師データ生成装置１１０は、教師データの生成を繰り返し実行できる。なお、この場合、教師データ生成装置１１０は、それぞれが異なる項目の組合せに対応した複数の教師データを生成する。
　道路の判定には、複数の学習済モデルを用いることが望ましい。複数の学習済モデルを用いるためには、複数の教師データを用意する必要がある。
　教師データ生成装置１１０は、必要となる項目の組合せを用いて、複数の教師データを生成できる。そのため、教師データ生成装置１１０は、複数の学習済モデルを用いる場合における教師データの生成の負荷を低減できる。
　さらに、教師データ生成装置１１０は、複数の項目の組合せに対応した教師データを生成する。複数の項目の組合せに対応した教師データを用いて生成された学習済モデルは、個別の項目に対応した教師データを用いて生成された学習済モデルと比べ、項目の組合せに対応した状態で取得されたセンサ情報を用いた判定の精度が向上する。このように、教師データ生成装置１１０は、精度の高い学習済モデルを生成できる教師データを生成する。
　さらに、教師データ生成装置１１０は、所定の装置（例えば、入力装置４００）から組合せに関連する指示（例えば、利用者の希望の項目）を取得し、取得した指示（利用者からの指示）に基づいて組合せを選択してもよい。この場合、教師データ生成装置１１０は、利用者などの希望に沿った教師データを生成できる。
　なお、教師データ生成装置１１０は、予め設定された規則に沿って、教師データとして抽出するセンサ情報を選択してもよい。この場合も、教師データ生成装置１１０は、教師データの生成の負荷を低減できる。
　さらに、教師データ生成装置１１０は、組合せとして選択可能な項目、及び、組合せとして選択できない項目の少なくとも一方を出力してもよい。
　このような構成に基づいて、教師データ生成装置１１０は、利用者から項目の指示を受ける場合に、利用者が指示を決める際に参考となる情報を提供する。
　そのため、利用者は、組合せに用いる項目を指示する場合に、適切な項目を指示できる。
　さらに、教師データ生成装置１１０は、項目を選択できない理由を出力してもよい。
　利用者は、出力された理由を参照して、適切な項目の組合せを指示できる。あるいは、利用者は、理由を参照して、適切な教師データの生成するための作業を実行できる。
　例えば、ある項目を選択できない理由が、センサ情報の不足の場合、利用者は、その項目に対応するセンサ情報を取得して、教師データ生成装置１１０に提供してもよい。
　さらに、教師データ生成装置１１０は、組合せに含まれる項目それぞれに関連するセンサ情報の数及び比率の少なくとも一方を出力してもよい。
　利用者は、出力されたセンサ情報の数及び比率の少なくとも一方を用いて、生成された教師データが教師データとして適切か否かを判定できる。
　このように、教師データ生成装置１１０は、利用者に対して、適切な教師データの生成に有効な情報を提供できる。
　教師データ生成装置１１０は、さらに、センサ情報を取得するセンサ情報取得部１１１と、センサ情報を保存するセンサ情報保存部１１３とを含む。これらの構成を用いて、教師データ生成装置１１０は、データ抽出部１１５の抽出対象となるセンサ情報を取得及び保存できる。
　教師データ生成装置１１０は、さらに、センサ情報分類部１１２を含む。センサ情報分類部１１２は、センサ情報取得部１１１が取得したセンサ情報、又は、センサ情報保存部１１３が保存しているセンサ情報を、項目に基づいて分類する。この場合、データ抽出部１１５は、分類されたセンサ情報からセンサ情報を抽出する。そのため、教師データ生成装置１１０は、データ抽出部１１５におけるセンサ情報の抽出の負荷を低減できる。
　状態判定装置１００は、教師データ生成装置１１０と、モデル生成装置１３０と、センサ情報判定装置１５０とを含む。教師データ生成装置１１０は、上記の通り動作する。モデル生成装置１３０は、複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成する。センサ情報判定装置１５０は、センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得する。そして、センサ情報判定装置１５０は、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定する。
　教師データ生成装置１１０は、複数の項目の組合せそれぞれに対応した教師データを生成できる。つまり、教師データ生成装置１１０は、複数の項目に組合せに対して精度の高い学習済モデルを生成できる教師データを生成する。
　モデル生成装置１３０は、複数の教師データそれぞれに対応した学習済モデルを生成できる。つまり、モデル生成装置１３０は、複数の項目の組合せそれぞれに適した学習済モデルを生成する。
　さらに、センサ情報判定装置１５０は、取得したセンサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定の結果を合算する。
　このように、状態判定装置１００は、道路の状態の判定として、複数の項目の組合せそれぞれに適した学習済モデルを用いた判定結果を合算する。そのため、状態判定装置１００は、道路の状態の判定の精度を向上できる。
　なお、特許文献２は、舗装の種別に対応した複数のモデルを用いることを、開示している。
　しかし、特許文献２は、撮影条件など舗装の種別以外の項目を開示していない。さらに、特許文献は、項目を組み合わせることを開示していない。
　そのため、特許文献２に記載の技術を用いても、舗装種別以外の状況への対応が難しいという問題点があった。
　また、特許文献１は、複数のモデルを用いることを開示していない。
　一方、教師データ生成装置１１０は、舗装種別を含め、少なくとも２つ以上の項目を組合せに対応した教師データを生成する。そのため、教師データ生成装置１１０は、さまざまな状況において取得されたセンサ情報を用いても、それぞれの状況における判定の精度が高い学習済モデルを生成するための教師データを生成できる。
　さらに、モデル生成装置１３０は、生成された複数の教師データを用いて複数の学習済モデルを生成する。そのため、モデル生成装置１３０は、複数の項目の組合せそれぞれに適した学習済モデルを生成できる。
　さらに、センサ情報判定装置１５０は、センサ情報を、上記のように生成された複数の学習済モデルに適用して道路の状態を判定する。そのため、センサ情報判定装置１５０は、適切に、道路の状態を判定できる。
　このように、状態判定装置１００は、教師データの生成の負荷を低減し、かつ、センサ情報を用いて道路の状態を適切に判定できる。
　さらに、モデル生成装置１３０は、生成した複数の学習済モデルに所定のデータ（精度判定用データ）を適用して、複数の学習済モデルそれぞれの精度を算出して、出力してもよい。
　この場合、利用者は、出力された精度を参照して、学習済モデルの取り扱いを決定してもよい。
　例えば、利用者は、精度が低い学習済モデルの教師データとなる項目のセンサ情報を状態判定装置１００に提供する。そして、利用者は、状態判定装置１００に対して、精度の低い学習済モデルの再学習を指示する。状態判定装置１００は、指示に従って、新たなセンサ情報を用いて教師データを生成し、生成した教師データを用いて精度の低い学習済モデルの再学習を実行する。
　あるいは、利用者は、入力装置４００を用いて、センサ情報判定装置１５０に、精度の低い学習済モデルの合算における重みを小さくするように指示してもよい。
　このように、状態判定装置１００は、学習済モデルの精度に対応した動作を実行できる。
　状態判定システム１０は、状態判定装置１００と、センサ情報取得装置２００と、表示装置５００とを含む。状態判定装置１００は、上記のように動作する。センサ情報取得装置２００は、状態判定装置１００にセンサ情報を出力する。表示装置５００は、状態判定装置１００が出力する情報（例えば、合算判定結果）を表示する。
　状態判定システム１０は、上記構成を用いて、教師データの生成の負荷を低減し、かつ、センサ情報を用いた道路の状態の判定を提供できる。
　さらに、状態判定システム１０は、情報提供装置３００を含む。情報提供装置３００は、状態判定装置１００に外部環境を出力する。
　このように構成された、状態判定システム１０は、外部環境を反映した動作を実現できる。
　さらに、状態判定システム１０は、入力装置４００を含む。入力装置４００は、状態判定装置１００に、教師データの生成に関連する指示を出力する。
　このような構成を用いて、状態判定システム１０は、適切な教師データを生成できる。そのため、状態判定システム１０は、適切に道路の状態を判定できる。
　［ハードウェア構成］
　次に、状態判定装置１００におけるハードウェア構成について説明する。
　状態判定装置１００の各構成部は、ハードウェア回路で構成されてもよい。
　あるいは、状態判定装置１００において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。例えば、状態判定装置１００は、クラウドコンピューティングを利用して構成されてもよい。
　あるいは、状態判定装置１００において、複数の構成部は、１つのハードウェアで構成されてもよい。
　あるいは、状態判定装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）とを含むコンピュータ装置として実現されてもよい。状態判定装置１００は、上記構成に加え、さらに、ネットワークインターフェース回路（ＮＩＣ：Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。
　図９は、状態判定装置１００のハードウェア構成の一例を示すブロック図である。
　状態判定装置１００は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、記憶装置６４０と、ＮＩＣ６５０とを含み、コンピュータ装置を構成している。
　ＣＰＵ６１０は、ＲＯＭ６２０及び記憶装置６４０の少なくとも一方からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、記憶装置６４０と、ＮＩＣ６５０とを制御する。そして、ＣＰＵ６１０を含むコンピュータ装置は、これらの構成を制御し、図１に示されている各構成としての各機能を実現する。図１に示されている各構成とは、教師データ生成装置１１０と、教師データ保存装置１２０と、モデル生成装置１３０と、モデル保存装置１４０と、センサ情報判定装置１５０とである。
　ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は記憶装置６４０を、プログラム及びデータの一時的な記憶媒体として使用してもよい。
　また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記録媒体６９０が含むプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。あるいは、ＣＰＵ６１０は、ＮＩＣ６５０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０又は記憶装置６４０に保存して、保存したプログラムを基に動作してもよい。
　ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ－ＲＯＭ）又はフラッシュＲＯＭである。
　ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ－ＲＡＭ）である。
　記憶装置６４０は、状態判定装置１００が長期的に保存するデータ及びプログラムを記憶する。記憶装置６４０は、教師データ保存装置１２０と、モデル保存装置１４０として動作する。また、記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）又はディスクアレイ装置である。
　ＲＯＭ６２０と記憶装置６４０とは、不揮発性（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。一方、ＲＡＭ６３０は、揮発性（ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記録媒体又は揮発性記録媒体を用いて動作可能である。
　ＮＩＣ６５０は、ネットワークを介して、外部の装置（センサ情報取得装置２００、情報提供装置３００、入力装置４００、及び、表示装置５００）とのデータのやり取りを中継する。ＮＩＣ６５０は、例えば、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）カードである。さらに、ＮＩＣ６５０は、有線に限らず、無線を用いてもよい。
　このように構成された状態判定装置１００は、図１の状態判定装置１００と同様の効果を得ることができる。
　その理由は、図９の状態判定装置１００のＣＰＵ６１０が、プログラムに基づいて、図１の状態判定装置１００と同様の機能を実現できるためである。
　なお、教師データ生成装置１１０と、モデル生成装置１３０と、センサ情報判定装置１５０とが、上記で説明したいずれかのハードウェアを用いて構成されてもよい。この場合、状態判定装置１００は、所定の通信路を介して、ハードウェアで構成されたこれらの装置を接続して構成されてもよい。
　例えば、教師データ生成装置１１０と、モデル生成装置１３０と、センサ情報判定装置１５０とが、それぞれ図９に示されているコンピュータ装置を用いて構成されてもよい。この場合、教師データ保存装置１２０及びモデル保存装置１４０は、例えば、所定の記憶装置（例えば、いずれかの装置を実現するコンピュータ装置の記憶装置６４０）を用いて構成される。
　例えば、教師データ生成装置１１０が図９に示されているコンピュータ装置を用いて構成される場合、ＣＰＵ６１０を含むコンピュータ装置は、図９に示されている構成を制御して、図５に示されている各構成としての機能を実現する。図５に示されている構成とは、センサ情報取得部１１１と、センサ情報分類部１１２と、センサ情報保存部１１３と、組合せ選択部１１４と、データ抽出部１１５とである。そして、この場合、記憶装置６４０は、センサ情報保存部１１３として動作する。
　そして、このように構成された教師データ生成装置１１０は、図５の教師データ生成装置１１０と同様の効果を得ることができる。
　その理由は、図９のコンピュータ装置を用いて実現された教師データ生成装置１１０のＣＰＵ６１０が、プログラムに基づいて、図５の教師データ生成装置１１０と同様の機能を実現できるためである。
　＜第２の実施形態＞
　教師データ生成装置１１０は、図示しない記憶装置に保存されているセンサ情報を用いてもよい。この場合、教師データ生成装置１１０は、センサ情報取得部１１１、センサ情報分類部１１２、及び、センサ情報保存部１１３を含まなくてもよい。
　あるいは、教師データ生成装置１１０は、予め設定された組合せ、又は、予め設定された規則に基づいて組合せを設定してもよい。
　図１０は、第２の実施形態にかかる教師データ生成装置１１８の構成の一例を示すブロック図である。
　教師データ生成装置１１８は、組合せ選択部１１４と、データ抽出部１１５とを含む。組合せ選択部１１４は、選択に用いられる項目の中から、少なくとも２つ以上の項目を含む組合せを選択する。選択に用いられる項目は、道路の状態、道路の種別、状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目である。そして、データ抽出部１１５は、センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出する。
　このように構成された教師データ生成装置１１８は、教師データ生成装置１１０と同様に、道路の状態の判定に用いるモデルの学習に用いる教師データの生成の負荷を低減するという効果を得ることができる。
　なお、教師データ生成装置１１８は、第１の実施形態の教師データ生成装置１１０の最小構成である。
　状態判定装置１００は、図示しない記憶装置を、教師データ保存装置１２０及びモデル保存装置１４０として用いてもよい。
　あるいは、教師データ生成装置１１０又は１１８は、教師データをモデル生成装置１３０に出力してもよい。さらに、モデル生成装置１３０は、生成済みモデルをセンサ情報判定装置１５０に出力してもよい。これらの場合、状態判定装置１００は、教師データ保存装置１２０、及び、モデル保存装置１４０を含まなくてもよい。
　図１１は、第２の実施形態にかかる教師データ生成装置１１８を含む状態判定装置１０８の構成の一例を示すブロック図である。
　状態判定装置１０８は、教師データ生成装置１１８と、モデル生成装置１３０と、センサ情報判定装置１５０とを含む。教師データ生成装置１１８は、上記の通りに動作する。モデル生成装置１３０は、複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成する。センサ情報判定装置は、センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得し、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定する。
　このように構成された状態判定装置１０８は、第１の実施形態の状態判定装置１００と同様の効果に、道路の状態の判定に用いるモデルの学習に用いる教師データの生成の負荷を低減するという効果を得ることができる。
　なお、状態判定装置１０８は、第１の実施形態の状態判定装置１００の最小構成である。
　図１２は、第２の実施形態にかかる状態判定装置１０８を含む状態判定システム１８の構成の一例を示すブロック図である。
　状態判定システム１８は、状態判定装置１０８と、センサ情報取得装置２００と、表示装置５００とを含む。状態判定装置１０８は、上記の通り動作する。センサ情報取得装置２００は、状態判定装置にセンサ情報を出力する。表示装置５００は、状態判定装置１０８が出力する情報を表示する。
　このように構成された状態判定システム１８は、第１の実施形態の状態判定システム１０と同様に、道路の状態の判定に用いるモデルの学習に用いる教師データの生成の負荷を低減するという効果を得ることができる。
　なお、状態判定システム１８は、第１の実施形態の状態判定システム１０の最小構成である。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　道路の状態、道路の種別、道路の状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも２つ以上の項目を含む組合せを選択する組合せ選択手段と、
　センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出するデータ抽出手段と
　を含む教師データ生成装置。
　（付記２）
　組合せに選択される項目が、少なくともセンサ情報の取得時間を含む
　付記１に記載の教師データ生成装置。
　（付記３）
　組合せに選択される項目が、道路の周辺又は近傍の構造物、センサ情報を取得するセンサを搭載した移動体の速度又は加速度、及び、道路の区分の少なくとも一つを含む
　付記２に記載の教師データ生成装置。
　（付記４）
　組合せ選択手段が、利用者からの所定の指示に基づいて、組合せを選択する
　付記１ないし３のいずれか１項に記載の教師データ生成装置。
　（付記５）
　組合せ選択手段が、組合せとして選択可能な項目、及び、組合せとして選択できない項目の少なくとも一方を出力する
　を含む付記１ないし４のいずれか１項に記載の教師データ生成装置。
　（付記６）
　組合せ選択手段が、組合せとして選択できない項目を出力する場合、選択できない理由を出力する
　付記５に記載の教師データ生成装置。
　（付記７）
　組合せ選択手段が、組合せに含まれる項目それぞれに関連するセンサ情報の数及び比率の少なくとも一方を出力する
　付記５又は６に記載の教師データ生成装置。
　（付記８）
　センサ情報を取得するセンサ情報取得手段と、
　センサ情報を保存するセンサ情報保存手段と
　を含む付記１ないし７のいずれか１項に記載の教師データ生成装置。
　（付記９）
　センサ情報取得手段が取得したセンサ情報、又は、センサ情報保存手段が保存しているセンサ情報を、項目に基づいて分類するセンサ情報分類手段をさらに含み、
　データ抽出手段が、分類されたセンサ情報からセンサ情報を選択する
　付記８に記載の教師データ生成装置。
　（付記１０）
　付記１ないし９のいずれか１項に記載の教師データ生成装置と、
　複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成するモデル生成装置と、
　センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得し、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定するセンサ情報判定装置と
　を含む状態判定装置。
　（付記１１）
　モデル生成装置が、生成した複数の学習済モデルに所定のデータを適用して、複数の学習済モデルそれぞれの精度を算出する
　付記１０に記載の状態判定装置。
　（付記１２）
　付記１０又は１１に記載の状態判定装置と、
　状態判定装置にセンサ情報を出力するセンサ情報取得装置と、
　状態判定装置が出力する情報を表示する表示装置と
　を含む状態判定システム。
　（付記１３）
　状態判定装置に外部環境を出力する情報提供装置
　をさらに含む付記１２に記載の状態判定システム。
　（付記１４）
　状態判定装置に指示を出力する入力装置
　をさらに含む付記１２又は１３に記載の状態判定システム。
　（付記１５）
　道路の状態、道路の種別、道路の状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも２つ以上の項目を含む組合せを選択し、
　センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出する
　教師データ生成方法。
　（付記１６）
　組合せに選択される項目が、少なくともセンサ情報の取得時間を含む
　付記１５に記載の教師データ生成方法。
　（付記１７）
　組合せに選択される項目が、道路の周辺又は近傍の構造物、センサ情報を取得するセンサを搭載した移動体の速度又は加速度、及び、道路の区分の少なくとも一つを含む
　付記１６に記載の教師データ生成方法。
　（付記１８）
　利用者からの所定の指示に基づいて、組合せを選択する
　付記１５ないし１７のいずれか１項に記載の教師データ生成方法。
　（付記１９）
　組合せとして選択可能な項目、及び、組合せとして選択できない項目の少なくとも一方を抽出し、
　組合せとして選択可能な項目、及び、組合せとして選択できない項目の少なくとも一方を出力する
　付記１５ないし１８のいずれか１項に記載の教師データ生成方法。
　（付記２０）
　項目を選択できない理由を生成し、
　組合せとして選択できない項目を出力する場合、選択できない理由を出力する
　付記１９に記載の教師データ生成方法。
　（付記２１）
　組合せに含まれる項目それぞれに関連するセンサ情報の数及び比率の少なくとも一方を生成し、
　センサ情報の数及び比率の少なくとも一方を出力する
　付記１９又は２０に記載の教師データ生成方法。
　（付記２２）
　センサ情報を取得し、
　センサ情報を保存する
　を含む付記１５ないし２１のいずれか１項に記載の教師データ生成方法。
　（付記２３）
　取得したセンサ情報、又は、保存しているセンサ情報を、項目に基づいて分類し、
　分類されたセンサ情報からセンサ情報を選択する
　付記２２に記載の教師データ生成方法。
　（付記２４）
　教師データ生成装置が、付記１５ないし２３のいずれか１項に記載の教師データ生成方法を実行し、
　モデル生成装置が、複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成し、
　センサ情報判定装置が、センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得し、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定する
　状態判定方法。
　（付記２５）
　モデル生成装置が、生成した複数の学習済モデルに所定のデータを適用して、複数の学習済モデルそれぞれの精度を算出する
　付記２４に記載の状態判定方法。
　（付記２６）
　状態判定装置が、付記２４又は２５に記載の状態判定方法を実行し、
　センサ情報取得装置が、状態判定装置にセンサ情報を出力し、
　表示装置が、状態判定装置が出力する情報を表示する
　状態判定方法。
　（付記２７）
　情報提供装置が、状態判定装置に外部環境を出力する
　付記２６に記載の状態判定方法。
　（付記２８）
　入力装置が、状態判定装置に指示を出力する
　付記２６又は２７に記載の状態判定方法。
　（付記２９）
　道路の状態、道路の種別、道路の状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも２つ以上の項目を含む組合せを選択する処理と、
　センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出する処理と
　をコンピュータに実行させるプログラムを記録する記録媒体。
　（付記３０）
　組合せに選択される項目が、少なくともセンサ情報の取得時間を含む
　付記２９に記載の記録媒体。
　（付記３１）
　組合せに選択される項目が、道路の周辺又は近傍の構造物、センサ情報を取得するセンサを搭載した移動体の速度又は加速度、及び、道路の区分の少なくとも一つを含む
　付記３０に記載の記録媒体。
　（付記３２）
　利用者からの所定の指示に基づいて、組合せを選択する処理
　をコンピュータに実行させるプログラムを記録する付記２９ないし３１のいずれか１項に記載の記録媒体。
　（付記３３）
　組合せとして選択可能な項目、及び、組合せとして選択できない項目の少なくとも一方を抽出する処理と、
　組合せとして選択可能な項目、及び、組合せとして選択できない項目の少なくとも一方を出力する処理と
　をコンピュータに実行させるプログラムを記録する付記２９ないし３２のいずれか１項に記載の記録媒体。
　（付記３４）
　項目を選択できない理由を生成する処理と、
　組合せとして選択できない項目を出力する場合、選択できない理由を出力する処理と
　をコンピュータに実行させるプログラムを記録する付記３３に記載の記録媒体。
　（付記３５）
　組合せに含まれる項目それぞれに関連するセンサ情報の数及び比率の少なくとも一方を生成する処理と、
　センサ情報の数及び比率の少なくとも一方を出力する処理と
　をコンピュータに実行させるプログラムを記録する付記３３又は３４に記載の記録媒体。
　（付記３６）
　センサ情報を取得する処理と、
　センサ情報を保存する処理と
　をコンピュータに実行させるプログラムを記録する付記２９ないし３５のいずれか１項に記載の記録媒体。
　（付記３７）
　取得したセンサ情報、又は、保存しているセンサ情報を、項目に基づいて分類する処理と、
　分類されたセンサ情報からセンサ情報を選択する処理と
　をコンピュータに実行させる付記３６に記載の記録媒体。
　（付記３８）
　複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成する処理と、
　センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得し、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定する処理と
　をコンピュータに実行させるプログラムを記録する付記２９ないし３７のいずれか１項に記載の記録媒体。
　（付記３９）
　生成した複数の学習済モデルに所定のデータを適用して、複数の学習済モデルそれぞれの精度を算出する処理
　をコンピュータに実行させるプログラムを記録する付記３８に記載の記録媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる
１０　状態判定システム
１８　状態判定システム
１００　状態判定装置
１０８　状態判定装置
１１０　教師データ生成装置
１１８　教師データ生成装置
１１１　センサ情報取得部
１１２　センサ情報分類部
１１３　センサ情報保存部
１１４　組合せ選択部
１１５　データ抽出部
１２０　教師データ保存装置
１３０　モデル生成装置
１４０　モデル保存装置
１５０　センサ情報判定装置
２００　センサ情報取得装置
３００　情報提供装置
４００　入力装置
５００　表示装置
６１０　ＣＰＵ
６２０　ＲＯＭ
６３０　ＲＡＭ
６４０　記憶装置
６５０　ＮＩＣ
６９０　記録媒体
８１０　サーバー
８２０　ドライブレコーダー
８３０　データーセンター
８４０　端末装置

Claims (39)

  1. 　道路の状態、道路の種別、道路の前記状態を判定するためのセンサ情報の種別、前記センサ情報の取得条件、及び、前記センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも２つ以上の前記項目を含む組合せを選択する組合せ選択手段と、
    　前記センサ情報を用いて道路の前記状態を判定するモデルの学習に用いる教師データとして、前記組合せを用いて前記センサ情報を抽出するデータ抽出手段と
    　を含む教師データ生成装置。
  2. 　前記組合せに選択される前記項目が、少なくとも前記センサ情報の取得時間を含む
    　請求項１に記載の教師データ生成装置。
  3. 　前記組合せに選択される前記項目が、道路の周辺又は近傍の構造物、前記センサ情報を取得するセンサを搭載した移動体の速度又は加速度、及び、道路の区分の少なくとも一つを含む
    　請求項２に記載の教師データ生成装置。
  4. 　前記組合せ選択手段が、利用者からの所定の指示に基づいて、前記組合せを選択する
    　請求項１ないし３のいずれか１項に記載の教師データ生成装置。
  5. 　前記組合せ選択手段が、
    　前記組合せとして選択可能な前記項目、及び、前記組合せとして選択できない前記項目の少なくとも一方を抽出して、出力する
    　を含む請求項１ないし４のいずれか１項に記載の教師データ生成装置。
  6. 　前記組合せ選択手段が、前記組合せとして選択できない前記項目を出力する場合、選択できない理由を出力する
    　請求項５に記載の教師データ生成装置。
  7. 　前記組合せ選択手段が、前記組合せに含まれる前記項目それぞれに関連する前記センサ情報の数及び比率の少なくとも一方を出力する
    　請求項５又は６に記載の教師データ生成装置。
  8. 　前記センサ情報を取得するセンサ情報取得手段と、
    　前記センサ情報を保存するセンサ情報保存手段と
    　を含む請求項１ないし７のいずれか１項に記載の教師データ生成装置。
  9. 　前記センサ情報取得手段が取得した前記センサ情報、又は、前記センサ情報保存手段が保存している前記センサ情報を、前記項目に基づいて分類するセンサ情報分類手段をさらに含み、
    　前記データ抽出手段が、分類された前記センサ情報から前記センサ情報を抽出する
    　請求項８に記載の教師データ生成装置。
  10. 　請求項１ないし９のいずれか１項に記載の教師データ生成装置と、
    　複数の前記教師データを用いて所定のモデルの機械学習を実行して、前記教師データそれぞれに対応した複数の学習済モデルを生成するモデル生成装置と、
    　前記センサ情報を複数の前記学習済モデルに適用し、複数の前記学習済モデルの判定結果を取得し、取得した複数の判定結果を用いて前記センサ情報に対応する道路の前記状態を判定するセンサ情報判定装置と
    　を含む状態判定装置。
  11. 　前記モデル生成装置が、生成した複数の前記学習済モデルに所定のデータを適用して、複数の前記学習済モデルそれぞれの精度を算出する
    　請求項１０に記載の状態判定装置。
  12. 　請求項１０又は１１に記載の状態判定装置と、
    　前記状態判定装置に前記センサ情報を出力するセンサ情報取得装置と、
    　前記状態判定装置が出力する情報を表示する表示装置と
    　を含む状態判定システム。
  13. 　前記状態判定装置に外部環境を出力する情報提供装置
    　をさらに含む請求項１２に記載の状態判定システム。
  14. 　前記状態判定装置に指示を出力する入力装置
    　をさらに含む請求項１２又は１３に記載の状態判定システム。
  15. 　道路の状態、道路の種別、道路の前記状態を判定するためのセンサ情報の種別、前記センサ情報の取得条件、及び、前記センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも２つ以上の前記項目を含む組合せを選択し、
    　前記センサ情報を用いて道路の前記状態を判定するモデルの学習に用いる教師データとして、前記組合せを用いて前記センサ情報を抽出する
    　教師データ生成方法。
  16. 　前記組合せに選択される前記項目が、少なくとも前記センサ情報の取得時間を含む
    　請求項１５に記載の教師データ生成方法。
  17. 　前記組合せに選択される前記項目が、道路の周辺又は近傍の構造物、前記センサ情報を取得するセンサを搭載した移動体の速度又は加速度、及び、道路の区分の少なくとも一つを含む
    　請求項１６に記載の教師データ生成方法。
  18. 　利用者からの所定の指示に基づいて、前記組合せを選択する
    　請求項１５ないし１７のいずれか１項に記載の教師データ生成方法。
  19. 　前記組合せとして選択可能な前記項目、及び、前記組合せとして選択できない前記項目の少なくとも一方を抽出し、
    　前記組合せとして選択可能な前記項目、及び、前記組合せとして選択できない前記項目の少なくとも一方を出力する
    　請求項１５ないし１８のいずれか１項に記載の教師データ生成方法。
  20. 　前記項目を選択できない理由を生成し、
    　前記組合せとして選択できない前記項目を出力する場合、選択できない理由を出力する
    　請求項１９に記載の教師データ生成方法。
  21. 　前記組合せに含まれる前記項目それぞれに関連する前記センサ情報の数及び比率の少なくとも一方を生成し、
    　前記センサ情報の数及び比率の少なくとも一方を出力する
    　請求項１９又は２０に記載の教師データ生成方法。
  22. 　前記センサ情報を取得し、
    　前記センサ情報を保存する
    　を含む請求項１５ないし２１のいずれか１項に記載の教師データ生成方法。
  23. 　取得した前記センサ情報、又は、保存している前記センサ情報を、前記項目に基づいて分類し、
    　分類された前記センサ情報から前記センサ情報を選択する
    　請求項２２に記載の教師データ生成方法。
  24. 　教師データ生成装置が、請求項１５ないし２３のいずれか１項に記載の教師データ生成方法を実行し、
    　モデル生成装置が、複数の前記教師データを用いて所定のモデルの機械学習を実行して、前記教師データそれぞれに対応した複数の学習済モデルを生成し、
    　センサ情報判定装置が、前記センサ情報を複数の前記学習済モデルに適用し、複数の前記学習済モデルの判定結果を取得し、取得した複数の判定結果を用いて前記センサ情報に対応する道路の前記状態を判定する
    　状態判定方法。
  25. 　前記モデル生成装置が、生成した複数の前記学習済モデルに所定のデータを適用して、複数の前記学習済モデルそれぞれの精度を算出する
    　請求項２４に記載の状態判定方法。
  26. 　状態判定装置が、請求項２４又は２５に記載の状態判定方法を実行し、
    　センサ情報取得装置が、前記状態判定装置に前記センサ情報を出力し、
    　表示装置が、前記状態判定装置が出力する情報を表示する
    　状態判定方法。
  27. 　情報提供装置が、前記状態判定装置に外部環境を出力する
    　請求項２６に記載の状態判定方法。
  28. 　入力装置が、前記状態判定装置に指示を出力する
    　請求項２６又は２７に記載の状態判定方法。
  29. 　道路の状態、道路の種別、道路の前記状態を判定するためのセンサ情報の種別、前記センサ情報の取得条件、及び、前記センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも２つ以上の前記項目を含む組合せを選択する処理と、
    　前記センサ情報を用いて道路の前記状態を判定するモデルの学習に用いる教師データとして、前記組合せを用いて前記センサ情報を抽出する処理と
    　をコンピュータに実行させるプログラムを記録する記録媒体。
  30. 　前記組合せに選択される前記項目が、少なくとも前記センサ情報の取得時間を含む
    　請求項２９に記載の記録媒体。
  31. 　前記組合せに選択される前記項目が、道路の周辺又は近傍の構造物、前記センサ情報を取得するセンサを搭載した移動体の速度又は加速度、及び、道路の区分の少なくとも一つを含む
    　請求項３０に記載の記録媒体。
  32. 　利用者からの所定の指示に基づいて、前記組合せを選択する処理
    　をコンピュータに実行させるプログラムを記録する請求項２９ないし３１のいずれか１項に記載の記録媒体。
  33. 　前記組合せとして選択可能な前記項目、及び、前記組合せとして選択できない前記項目の少なくとも一方を抽出する処理と、
    　前記組合せとして選択可能な前記項目、及び、前記組合せとして選択できない前記項目の少なくとも一方を出力する処理と
    　をコンピュータに実行させるプログラムを記録する請求項２９ないし３２のいずれか１項に記載の記録媒体。
  34. 　前記項目を選択できない理由を生成する処理と、
    　前記組合せとして選択できない前記項目を出力する場合、選択できない理由を出力する処理と
    　をコンピュータに実行させるプログラムを記録する請求項３３に記載の記録媒体。
  35. 　前記組合せに含まれる前記項目それぞれに関連する前記センサ情報の数及び比率の少なくとも一方を生成する処理と、
    　前記センサ情報の数及び比率の少なくとも一方を出力する処理と
    　をコンピュータに実行させるプログラムを記録する請求項３３又は３４に記載の記録媒体。
  36. 　前記センサ情報を取得する処理と、
    　前記センサ情報を保存する処理と
    　をコンピュータに実行させるプログラムを記録する請求項２９ないし３５のいずれか１項に記載の記録媒体。
  37. 　取得した前記センサ情報、又は、保存している前記センサ情報を、前記項目に基づいて分類する処理と、
    　分類された前記センサ情報から前記センサ情報を選択する処理と
    　をコンピュータに実行させる請求項３６に記載の記録媒体。
  38. 　複数の前記教師データを用いて所定のモデルの機械学習を実行して、前記教師データそれぞれに対応した複数の学習済モデルを生成する処理と、
    　前記センサ情報を複数の前記学習済モデルに適用し、複数の前記学習済モデルの判定結果を取得し、取得した複数の判定結果を用いて前記センサ情報に対応する道路の前記状態を判定する処理と
    　をコンピュータに実行させるプログラムを記録する請求項２９ないし３７のいずれか１項に記載の記録媒体。
  39. 　生成した複数の前記学習済モデルに所定のデータを適用して、複数の前記学習済モデルそれぞれの精度を算出する処理
    　をコンピュータに実行させるプログラムを記録する請求項３８に記載の記録媒体。
PCT/JP2021/004081 2021-02-04 2021-02-04 教師データ生成装置、状態判定装置、状態判定システム、教師データ生成方法、状態判定方法、及び、記録媒体 WO2022168223A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/004081 WO2022168223A1 (ja) 2021-02-04 2021-02-04 教師データ生成装置、状態判定装置、状態判定システム、教師データ生成方法、状態判定方法、及び、記録媒体
JP2022579232A JP7468711B2 (ja) 2021-02-04 2021-02-04 教師データ生成装置、教師データ生成方法、及び、プログラム
US18/273,193 US20240084528A1 (en) 2021-02-04 2021-02-04 Training data generation device, trainig data generation method, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/004081 WO2022168223A1 (ja) 2021-02-04 2021-02-04 教師データ生成装置、状態判定装置、状態判定システム、教師データ生成方法、状態判定方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2022168223A1 true WO2022168223A1 (ja) 2022-08-11

Family

ID=82740979

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004081 WO2022168223A1 (ja) 2021-02-04 2021-02-04 教師データ生成装置、状態判定装置、状態判定システム、教師データ生成方法、状態判定方法、及び、記録媒体

Country Status (3)

Country Link
US (1) US20240084528A1 (ja)
JP (1) JP7468711B2 (ja)
WO (1) WO2022168223A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105122A1 (ja) * 2016-12-09 2018-06-14 富士通株式会社 教師データ候補抽出プログラム、教師データ候補抽出装置、及び教師データ候補抽出方法
JP2018163554A (ja) * 2017-03-27 2018-10-18 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
JP2019196680A (ja) * 2018-05-11 2019-11-14 西日本電信電話株式会社 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム
JP2020144572A (ja) * 2019-03-06 2020-09-10 エヌ・ティ・ティ・コムウェア株式会社 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム
JP2020147961A (ja) * 2019-03-12 2020-09-17 東芝インフラシステムズ株式会社 道路維持管理システム、舗装種別判定装置、舗装劣化判定装置、修繕優先度判定装置、道路維持管理方法、舗装種別判定方法、舗装劣化判定方法、修繕優先度判定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105122A1 (ja) * 2016-12-09 2018-06-14 富士通株式会社 教師データ候補抽出プログラム、教師データ候補抽出装置、及び教師データ候補抽出方法
JP2018163554A (ja) * 2017-03-27 2018-10-18 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
JP2019196680A (ja) * 2018-05-11 2019-11-14 西日本電信電話株式会社 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム
JP2020144572A (ja) * 2019-03-06 2020-09-10 エヌ・ティ・ティ・コムウェア株式会社 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム
JP2020147961A (ja) * 2019-03-12 2020-09-17 東芝インフラシステムズ株式会社 道路維持管理システム、舗装種別判定装置、舗装劣化判定装置、修繕優先度判定装置、道路維持管理方法、舗装種別判定方法、舗装劣化判定方法、修繕優先度判定方法

Also Published As

Publication number Publication date
JPWO2022168223A1 (ja) 2022-08-11
US20240084528A1 (en) 2024-03-14
JP7468711B2 (ja) 2024-04-16

Similar Documents

Publication Publication Date Title
US11915486B2 (en) Node-based near-miss detection
CN115686005A (zh) 训练自动驾驶系统的虚拟模型的系统及计算机执行方法
CN111797001A (zh) 一种基于SCANeR的自动驾驶仿真测试模型的构建方法
CN108360442B (zh) 智能除雪方法、智能除雪车及计算机可读存储介质
US11842441B2 (en) Map data filtering for simulated-driving-environment generation
CN110716529A (zh) 一种自动驾驶测试用例自动生成方法和装置
CN115098079A (zh) 雷达检测模型确定方法、系统、电子设备及可读存储介质
Cheng et al. Semantic segmentation of road profiles for efficient sensing in autonomous driving
CN110675476A (zh) 一种直观传达自动驾驶场景定义的方法和装置
WO2022168223A1 (ja) 教師データ生成装置、状態判定装置、状態判定システム、教師データ生成方法、状態判定方法、及び、記録媒体
KR102227649B1 (ko) 자율주행 기능 검증을 위한 데이터베이스를 이용한 자율주행 검증장치 및 방법
Burghardt et al. Contrast ratio of road markings in Poland-evaluation for machine vision applications based on naturalistic driving study
CN115983504B (zh) 一种道路垃圾点位预测方法、系统、设备以及存储介质
Cheng et al. Big-video mining of road appearances in full spectrums of weather and illuminations
Bernardo et al. Techniques of geomatics and soft computing for the monitoring of infrastructures and the management of big data
WO2022107330A1 (ja) 状態判定装置、状態判定システム、状態判定方法、及び、記録媒体
JP2013186464A (ja) 写真データ提供システム
Treccani et al. Accessible path finding for historic urban environments: feature extraction and vectorization from point clouds
Huang et al. Automatic Evaluation of Street-Level Walkability Based on Computer Vision Techniques and Urban Big Data: A Case Study of Kowloon West, Hong Kong
US11727684B2 (en) Automated virtual tripwire placement
US20230088335A1 (en) Road and infrastructure analysis tool
US11189082B2 (en) Simulated overhead perspective images with removal of obstructions
WO2023144860A1 (ja) 情報処理システム、情報処理方法、及び、記録媒体
WO2024066798A1 (zh) 车辆控制方法、装置、设备及存储介质
Wang et al. Visualizing road appearance properties in driving video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21924619

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022579232

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18273193

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21924619

Country of ref document: EP

Kind code of ref document: A1