WO2022201276A1 - 信頼度判定装置および信頼度判定方法 - Google Patents

信頼度判定装置および信頼度判定方法 Download PDF

Info

Publication number
WO2022201276A1
WO2022201276A1 PCT/JP2021/011826 JP2021011826W WO2022201276A1 WO 2022201276 A1 WO2022201276 A1 WO 2022201276A1 JP 2021011826 W JP2021011826 W JP 2021011826W WO 2022201276 A1 WO2022201276 A1 WO 2022201276A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
data
reliability
feature amount
vehicle
Prior art date
Application number
PCT/JP2021/011826
Other languages
English (en)
French (fr)
Inventor
卓爾 森本
匠 佐藤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2021541630A priority Critical patent/JP6972444B1/ja
Priority to PCT/JP2021/011826 priority patent/WO2022201276A1/ja
Publication of WO2022201276A1 publication Critical patent/WO2022201276A1/ja
Priority to US18/231,488 priority patent/US20230386219A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the present disclosure relates to a reliability determination device and a reliability determination method for determining the reliability of an inference result by a trained neural network.
  • neural networks are generally known to have a lower correct answer rate for data with low similarity to learning data used for learning (hereinafter referred to as “data outside the learning range”). Therefore, when using the inference result of the neural network, it is determined whether or not the input data used as the input to the neural network is data with high similarity to the learning data (hereinafter referred to as “data within the learning range”). It is important that This is because an inference result obtained by inputting data that is not within the learning range, in other words, data that is outside the learning range is assumed to be unreliable.
  • Patent Literature 1 cannot deal with countless situations that can be assumed at the time of inference. For example, when a neural network learns an infinite number of situations, it is necessary to prepare learning data in advance assuming an infinite number of situations that can occur during inference. However, it is difficult to prepare learning data corresponding to the myriad situations that may occur during inference. The prior art does not take into account the myriad situations that can occur during inference. Therefore, in the conventional technology, the difference between the input data and the learning data is the difference caused by the difficulty in preparing the learning data assuming an infinite number of situations, and the difference does not affect the inference result. Even so, there is a problem that the input data may be determined to be data outside the learning range, in other words, the inference result of the neural network may be determined to be unreliable.
  • the present disclosure has been made to solve the above-described problems, and considers that countless situations can occur during inference.
  • the purpose is to provide an apparatus.
  • a reliability determination device includes an acquisition unit that acquires input data, and an abstraction unit that generates abstract data representing the input data in an abstract representation format based on the input data acquired by the acquisition unit. a feature extraction unit that receives as input the abstract data generated by the abstraction unit and outputs the feature amount of the abstract data; Determining the reliability of the feature quantity output by the feature quantity extraction unit based on the restoration unit that outputs abstract data, the abstract data generated by the abstraction unit, and the post-restoration abstract data output by the restoration unit. and a reliability determination unit.
  • FIG. 1 is a diagram illustrating a configuration example of a reliability determination device according to Embodiment 1;
  • FIG. 2A is a diagram for explaining an example of an abstract image represented by abstract image data generated by an abstraction unit in Embodiment 1
  • FIG. 2B is an example of an abstract image represented by abstract image data generated by an abstraction unit when the real environment is the environment shown in FIG. 2A
  • FIG. 3A, 3B, and 3C are diagrams for explaining another example of the abstract image represented by the abstract image data generated by the abstraction unit in Embodiment 1.
  • FIG. FIG. 4A is a diagram for explaining another example of an abstract image represented by abstract image data generated by the abstraction unit in Embodiment 1
  • FIG. 4B is a diagram showing an example of a real environment from which abstracted image data is generated;
  • FIG. 4B shows abstracted image data generated by an abstraction unit when the real environment is the environment shown in FIG. is a diagram showing an example of an abstract image indicated by .
  • 4 is a diagram for explaining an example of an abstract image represented by abstract image data reflecting a future environment, generated by an abstraction unit in Embodiment 1;
  • FIG. 4 is a diagram for explaining an example of an abstract image represented by masked abstract image data when a reliability determination unit determines the reliability of a feature amount in Embodiment 1; 4 is a flowchart for explaining the operation of the reliability determination device according to Embodiment 1; 8A and 8B are diagrams showing an example of the hardware configuration of the reliability determination device according to Embodiment 1.
  • the reliability determination device uses a trained neural network to make inferences based on input data, and determines how reliable the inference results are (hereinafter referred to as "reliability"). . More specifically, the reliability determination device acquires data regarding the state of a reference object as input data, uses a trained neural network to make inferences about the reference object, and evaluates the obtained inference results. Determine reliability.
  • the data about the situation of the reference object specifically includes data about the situation of the reference object itself or data about the situation around the reference object. In Embodiment 1 below, as an example, it is assumed that the reliability determination device is used in a vehicle capable of automatically driving.
  • the reference object is a vehicle.
  • the reliability determination device obtains environmental data related to the environment around the vehicle as input data, and based on the obtained environmental data, uses a trained neural network to infer and infer the amount of control in automatic driving of the vehicle. Determine the reliability of the control amount.
  • the control amount of the vehicle is assumed to be a vehicle control command such as the steering angle of the steering wheel or the brake amount.
  • FIG. 1 is a diagram showing a configuration example of a reliability determination device 1 according to Embodiment 1. As shown in FIG. A reliability determination device 1 is mounted on a vehicle 100 and connected to a sensor 2 and a control device 3 .
  • the sensor 2 is mounted on the vehicle 100 and collects data on the environment around the vehicle 100 (hereinafter referred to as "environmental data").
  • the sensor 2 includes a GPS (not shown) for detecting the current position of the vehicle 100, an imaging device (not shown) for capturing images around the vehicle 100, a radar (not shown) for detecting objects existing around the vehicle 100, and map information.
  • a GPS not shown
  • an imaging device not shown
  • a radar for detecting objects existing around the vehicle 100
  • map information are various sensors capable of collecting data about the environment around the vehicle 100, such as a map information acquisition device, a vehicle speed sensor, an acceleration sensor, or the like.
  • the environment around vehicle 100 is the situation around vehicle 100
  • the situation around vehicle 100 includes the situation of vehicle 100 .
  • the environmental data collected by the sensor 2 includes, for example, vehicle data, other data, terrain data, or sign data.
  • the own vehicle data is, for example, data indicating the vehicle speed, acceleration, position, or shape of the vehicle 100 .
  • Other data is, for example, data indicating the type, position, speed, or shape of an object (for example, a person, a vehicle, or an obstacle) existing around the vehicle 100 .
  • Terrain data is, for example, data indicating the shape or attributes of land (for example, drivable or prohibited).
  • the sign data is, for example, data indicating the meaning, position, or range of influence of the sign.
  • the reliability determination device 1 can be connected with multiple sensors 2 .
  • the plurality of sensors 2 may be a plurality of sensors 2 of the same type, or may be a plurality of sensors 2 of different types.
  • the reliability determination device 1 uses a learned neural network based on the environmental data output from the sensor 2 to infer the control amount in automatic driving of the vehicle 100, and determines the reliability of the inferred control amount. do. The details of the reliability determination device 1 will be described later.
  • the reliability determination device 1 associates the inferred control amount of the vehicle 100 and information about the reliability of the control amount, and outputs the information to the control device 3 .
  • the control device 3 is, for example, assumed to be an automatic driving control device that is mounted on the vehicle 100 and performs automatic driving control of the vehicle 100 .
  • the control device 3 performs automatic operation control of the vehicle 100 based on the control amount and reliability output from the reliability determination device 1 . For example, if the reliability is equal to or greater than a preset threshold value (hereinafter referred to as "reliability determination threshold value"), the control device 3 performs automatic operation control using the control amount. For example, if the reliability is less than the reliability determination threshold, the control device 3 does not perform automatic operation control using the control amount, and performs switching control from automatic operation to manual operation.
  • a preset threshold value hereinafter referred to as "reliability determination threshold value”
  • the reliability determination device 1 includes an acquisition unit 11, a future environment prediction unit 12, an abstraction unit 13, a feature extraction unit 141, a restoration unit 142, a reliability determination unit 15, an inference unit 16, and an inference result output unit 17. Prepare.
  • the feature extraction unit 141 and the restoration unit 142 constitute the autoencoder 14 .
  • Acquisition unit 11 acquires input data from sensor 2 .
  • the acquisition unit 11 acquires environmental data around the vehicle 100 as input data.
  • environmental data around the vehicle 100 is also simply referred to as "environmental data”.
  • the acquisition unit 11 outputs the acquired input data, in other words, environmental data, to the future environment prediction unit 12 .
  • the acquisition unit 11 stores the acquired environmental data in a storage unit (not shown).
  • the future environment prediction unit 12 predicts the future environment based on the environment data acquired by the acquisition unit 11 . It should be noted that how far in the future the environment prediction unit 12 predicts the environment can be set as appropriate.
  • the future environment prediction unit 12 can predict the future environment from the environment data stored in the storage unit.
  • the future environment prediction unit 12 can predict the position and vehicle speed of the vehicle 100 after a set time based on the host vehicle data included in the environment data.
  • the future environment prediction unit 12 can predict the position and movement speed of pedestrians existing around the vehicle 100 after a set time based on the other person's data included in the environment data.
  • the future environment prediction unit 12 associates the predicted future environment data with the environment data and outputs the data to the abstraction unit 13 .
  • the abstraction unit 13 Based on the input data acquired by the acquisition unit 11, the abstraction unit 13 generates abstract data representing the input data in an abstract representation format.
  • the abstraction unit 13 generates abstract data representing the environment data in an abstract representation format based on the environment data acquired by the acquisition unit 11 .
  • to represent data in an abstract representation format means to abstract details of each part that constitutes the data.
  • the abstraction unit 13 Based on the environmental data, the abstraction unit 13 extracts an object that actually exists, here, for example, the vehicle 100, a road, another vehicle, or a pedestrian, at its existing position, and details of the object, for example, Abstraction data is generated in which details such as the shape or pattern of the vehicle 100 and other vehicles, details such as unevenness of the road, and details such as the shape of the body of the pedestrian are abstracted.
  • the shape of the abstracted details of the object is determined in advance for each object.
  • the abstracted data generated by the abstracting unit 13 is image data. That is, in Embodiment 1, the abstraction unit 13 creates a shape obtained by abstracting the details of the vehicle 100, the road, the other vehicle, the pedestrian, or the like, which actually exists on the image, at the existing position. generates the image data indicated by . In Embodiment 1 below, image data generated as abstract data by the abstraction unit 13 is also referred to as "abstract image data". In Embodiment 1, abstract image data is, for example, bird's-eye view data. When generating the abstract image data, the abstraction unit 13 generates the abstract image data with reference to a reference object, here the vehicle 100 .
  • the abstraction unit 13 performs abstraction so that an object existing within a predetermined range is shown at a position in the abstracted image according to the positional relationship with the reference object. generated image data.
  • the abstraction unit 13 When generating the abstract image data, the abstraction unit 13 first recognizes objects that actually exist, specifically the vehicle 100, other vehicles, roads, pedestrians, etc., based on environmental data. .
  • the abstraction unit 13 may recognize an object that actually exists using a known technique such as image recognition technique or pattern matching.
  • the abstraction unit 13 generates abstract image data showing the recognized object in a predetermined shape at a position on the image with reference to the reference object, here the vehicle 100 .
  • the abstraction unit 13 can specify the positions where the vehicle 100 and the objects around the vehicle 100 actually exist based on the environmental data. If the position where each object actually exists can be specified, the abstraction unit 13 can specify at which position on the abstract image data each object should be shown.
  • FIG. 2 is a diagram for explaining an example of an abstract image represented by abstract image data generated by the abstraction unit 13 in the first embodiment.
  • FIG. 2A is a diagram showing an example of a real environment around the vehicle 100 (hereinafter referred to as “real environment”) from which the abstraction unit 13 generates abstract image data.
  • FIG. 2B is a diagram showing an example of an abstract image represented by abstract image data generated by the abstraction unit 13 when the real environment is the environment shown in FIG. 2A. Note that FIG. 2A shows the environment around the vehicle 100 in a bird's-eye view.
  • the abstracted image data generated by the abstraction unit 13 is bird's-eye view data.
  • the vehicle 100 is traveling on a road (indicated by 41 in FIG. 2A), approaches an intersection, and another vehicle (in 2A) are present.
  • a road indicated by 41 in FIG. 2A
  • another vehicle in 2A
  • there are pedestrians crossing the crosswalk indicated by 45-46 in FIG. 2A around the intersection.
  • the abstraction unit 13 When the real environment is the environment shown in FIG. 2A, the abstraction unit 13 generates abstract image data representing four abstract images shown in 5a to 5d in FIG. 2B, for example.
  • 5a is an abstract image representing the position of the vehicle 100
  • 5b is an abstract image representing the area in which the vehicle 100 can travel, that is, the terrain of the lane
  • 5c is an abstract image representing the position of the other vehicle
  • 5d is an abstract image representing the position of the pedestrian.
  • vehicle 100, lane topography, other vehicles, and pedestrians are represented in a simplified manner by abstracting the details of each part that constitute them.
  • the vehicle 100 and other vehicles are represented by white rectangles (see 500 and 52 to 54 in FIG. 2B).
  • the shapes and patterns of vehicle 100 and other vehicles are abstracted.
  • lanes are represented by white rectangles (see 51 in FIG. 2B)
  • pedestrians are represented by white circles (55 to 55 in FIG. 2B). 56).
  • the unevenness of the road, the shape of the pedestrian, and the clothes of the pedestrian are abstracted.
  • the shape of the object expressed in the abstract image data is preliminarily defined as white rectangles for vehicles and roads (see 51 in the abstract image of 5b in FIG. 2B), and white circles for pedestrians. (Refer to 55-56 of the abstract image of 5d in FIG. 2B). Also, the background of the abstract image is predetermined to be black.
  • the abstraction unit 13 generates abstract image data indicating the position of a predetermined object for which abstract data is to be created on the abstract image based on the environmental data.
  • An object for which abstract data is to be created is, for example, an object that is highly relevant to the inference result for which the reliability determination device 1 should determine the reliability, in this case, an object that is highly relevant to the running of the vehicle 100 .
  • the abstraction unit 13 divides the vehicle 100, lanes, other vehicles, and pedestrians for each type of object present in the environment around the vehicle 100.
  • abstract image data is generated for each image, this is merely an example.
  • the abstraction unit 13 may generate abstract image data representing one abstract image for the environment around the vehicle 100 .
  • the abstraction unit 13 can also generate abstracted image data so that objects present in the environment around the vehicle 100 indicated by the abstracted image data are color-coded according to their types.
  • the abstraction unit 13 may color-code objects existing in the environment around the vehicle 100 on the abstract image according to the type of the object, such as red for the vehicle 100 and yellow for other vehicles. , can also generate abstract image data.
  • the method of expressing an object in abstract image data as described with reference to FIGS. 2A and 2B is merely an example.
  • the abstraction unit 13 may generate abstract image data so that an object present in the environment around the vehicle 100 is represented by a representation method other than the representation method shown in FIG. 2B.
  • 3A, 3B, and 3C are diagrams for explaining another example of the abstract image represented by the abstract image data generated by the abstraction unit 13 in Embodiment 1.
  • FIG. 3A, 3B, and 3C show an example of an abstract image represented by abstract image data generated by the abstraction unit 13 when the actual environment is the environment shown in FIG. 2A. showing.
  • FIGS. 3A and 3B are an example of an abstract image representing the topography of lanes.
  • 3C is an example of an abstract image representing the position of another vehicle.
  • the abstraction unit 13 may generate abstract image data that indicates, in different colors, areas indicating lanes in which the vehicle 100 can travel and areas indicating lanes in which the vehicle 100 cannot travel.
  • 3A the abstraction unit 13 expresses areas indicating lanes in which the vehicle 100 can travel with white rectangles, and expresses areas indicating lanes in which the vehicle 100 cannot travel with black rectangles.
  • It is an abstract image when abstract image data is generated. Comparing the abstract image shown in FIG. 3A with the abstract image shown by 5b in FIG. 2B, it can be seen that in the abstract image shown in FIG. 3A, only lanes in which the vehicle 100 can travel are represented in white. . It should be noted that the abstraction unit 13 may determine from the environment data whether or not the lane allows the vehicle 100 to travel.
  • the abstraction unit 13 may generate abstract image data in which a color representing the speed limit is added to the area representing the lane.
  • FIG. 3B shows the abstract image data when the abstraction unit 13 generates the abstract image data so that the areas indicating the lanes on which the vehicle 100 can travel are color-coded according to the speed limit. is an abstract image indicated by .
  • the abstraction unit 13 expresses the speed limit in white or gray. Note that the abstraction unit 13 may determine the speed limit of the lane from the environmental data.
  • the abstraction unit 13 may generate abstract image data so that the moving direction and moving speed of the other vehicle are expressed in different colors. For example, as shown in FIG. 3C, the abstraction unit 13 divides the other vehicle into dark gray rectangles (see 52a, 53a, and 54a in FIG. 3C) representing the shape of the other vehicle and The abstract image data can be generated to be represented by rectangles composed of light gray rectangles (see 52b, 53b, 54b in FIG. 3C) that represent the direction of movement of the vehicle. In the abstract image shown in FIG. 3C, a light gray rectangle representing the moving direction expresses that the other vehicle is moving in the direction indicated by the light gray rectangle.
  • the abstraction unit 13 may express the light gray rectangle representing the moving direction of the other vehicle by changing the gray density according to the moving speed.
  • the abstract image shown in FIG. 3C expresses that the moving speed of the other vehicle indicated by 53a is faster than that of the other vehicle indicated by 54a.
  • the abstraction unit 13 may determine the moving direction and moving speed of the other vehicle from the environment data.
  • the abstraction unit 13 can also simplify the real road environment as shown in FIG. 4 when generating the abstracted image data.
  • FIG. 4A is a diagram showing an example of a real environment from which the abstraction unit 13 generates abstract image data of a simplified road environment.
  • FIG. 4B is a diagram showing an example of an abstract image represented by abstract image data generated by the abstraction unit 13 when the real environment is the environment shown in FIG. 4A. Note that FIG. 4A shows the environment around the vehicle 100 in a bird's-eye view, similar to FIG. 2A.
  • the abstracted image data generated by the abstraction unit 13 is bird's-eye view data.
  • the abstraction unit 13 When the real environment is the environment as shown in FIG. 4A, the abstraction unit 13 generates abstract image data representing two abstract images as shown in 5e and 5f in FIG. 4B, for example.
  • 5e is an abstract image representing the position of the vehicle 100
  • 5f is an abstract image representing the topography of the lane.
  • the abstraction unit 13 transforms the road, which is not straight in the real environment, into a rectangular coordinate system having the vertical axis in the traveling direction of the vehicle 100, such as 5f, so that the abstracted image is represented as a rectangle.
  • 5f lanes are represented by white rectangles (see 511 in FIG. 4B).
  • 5e is an abstract image representing the vehicle 100 with a white rectangle, similar to 5a in FIG. 2B (see 500 in FIG. 4B).
  • the abstraction unit 13 calculates the future environment predicted by the future environment prediction unit 12 based on the environmental data obtained by the acquisition unit 11 and the data on the future environment predicted by the future environment prediction unit 12. It is also possible to generate reflected abstract image data.
  • FIG. 5 is a diagram for explaining an example of an abstract image represented by abstract image data reflecting a future environment, generated by the abstraction unit 13 in the first embodiment.
  • FIG. 5 is a diagram showing an example of an abstract image represented by abstract image data generated by the abstraction unit 13 when the real environment is the environment shown in FIG. 2A.
  • FIG. 5 is an example of an abstract image representing the position of another vehicle. For example, based on the data on the future positions of other vehicles predicted by the future environment prediction unit 12, the abstraction unit 13 determines that there is a high probability that other vehicles will exist in the future in the abstracted image, as shown in FIG.
  • Abstract image data can be generated so that the area is expressed in a color closer to white.
  • the abstraction unit 13 generates abstract image data reflecting the future environment using a so-called risk potential map that visualizes potential traffic risks such as jumping out of a moving object or a shield. You may
  • the inference unit 16 can realize more advanced inference. Details of the inference unit 16 will be described later.
  • the abstraction unit 13 can generate not only abstract image data reflecting the future environment, but also abstract image data reflecting the environment around the vehicle 100 in the past.
  • the abstraction unit 13 may determine the past environment around the vehicle 100 from, for example, the environment data stored in the storage unit.
  • the abstraction unit 13 can generate abstract image data based on the future environment or the past environment around the vehicle 100 . However, this is not required. If the abstraction unit 13 does not have the function of generating abstract image data reflecting the future environment, the reliability determination device 1 can be configured without the future environment prediction unit 12 . Note that even when the abstraction unit 13 generates abstract image data that reflects the future environment, the abstraction unit 13 generates the abstract image data using the risk potential map, and predicts the future environment. When the data about the future environment predicted by the unit 12 is not used, the reliability determination device 1 can be configured without the future environment prediction unit 12 .
  • the abstraction unit 13 outputs the generated abstract image data to the feature amount extraction unit 141 and the reliability determination unit 15.
  • the feature quantity extraction unit 141 is a neural network that has been trained to receive the abstracted data output from the abstraction unit 13, here, the abstracted image data, and output the feature quantity.
  • a feature quantity extraction unit 141 receives abstract image data as input, extracts and outputs a feature quantity indicating the essential feature of the abstract image data.
  • the restoration unit 142 receives the feature amount output from the feature amount extraction unit 141 and outputs data obtained by restoring the abstract data generated by the abstraction unit 13 (hereinafter referred to as "post-restore abstract data"). It is a trained neural network. Specifically, in the first embodiment, the restoration unit 142 restores the abstracted image data generated by the abstraction unit 13 by using the feature amount output from the feature amount extraction unit 141 as input ( hereinafter referred to as “post-restoration abstract image data”).
  • the feature quantity extracting unit 141 is composed of an encoding unit (encoder) in the learned autoencoder 14
  • the restoration unit 142 is composed of a decoding unit (decoder) in the autoencoder 14 .
  • the autoencoder 14 learns using the same data for input and output, so that it outputs data that reproduces the input data and obtains low-dimensional feature quantities that well represent the properties of the input.
  • the reliability determination device 1 uses the encoding unit of the learned autoencoder 14 as the feature extraction unit 141, and uses the decoding unit of the learned autoencoder 14 as the reconstruction unit 142.
  • the reliability determination device 1 only needs to use an autoencoder for the feature quantity extraction unit 141 and the restoration unit 142, and the reliability determination device 1 is used as the feature quantity extraction unit 141 and the restoration unit 142.
  • the type of autoencoder does not matter.
  • the reliability determination device 1 may use a variational autoencoder as the feature extractor 141 and the restorer 142 .
  • the reliability determination unit 15 determines the reliability of the feature amount extracted by the feature amount extraction unit 141 based on the abstracted data generated by the abstraction unit 13 and the restored abstracted data output by the restoration unit 142. . Specifically, in Embodiment 1, the reliability determination unit 15 extracts feature amounts based on the abstract image data generated by the abstraction unit 13 and the restored abstract image data output by the restoration unit 142. The reliability of the feature amount extracted from the abstract image data by the unit 141 is determined.
  • the reliability determination unit 15 determines the degree of similarity between the abstract image data generated by the abstraction unit 13 and the post-restoration abstract image data output by the restoration unit 142. Determine the reliability of the feature quantity. Specifically, the reliability determination unit 15 determines, for example, the difference between the abstract image based on the post-restoration abstract image data (hereinafter referred to as the “post-restoration abstract image”) and the abstract image based on the abstract data. A distance (for example, Euclidean distance) is calculated, and the reciprocal of the calculated distance between images is used as the degree of similarity. Then, the reliability determination unit 15 determines that the reliability of the feature quantity is lower as the similarity is smaller.
  • the post-restoration abstract image the difference between the abstract image based on the post-restoration abstract image data
  • a distance for example, Euclidean distance
  • the reliability determination unit 15 determines that the reliability of the feature amount is low when the calculated distance between the images is large, in other words, when the similarity is small.
  • the reliability determination unit 15 determines that the higher the degree of similarity, the higher the reliability of the feature amount.
  • the reliability determination unit 15 can determine that the reliability of the feature amount is high when the calculated distance between the images is small, in other words, when the similarity is large.
  • the reliability determination unit 15 determines whether the reliability of the feature quantity is high or low, for example, by comparing the similarity with a preset threshold (hereinafter referred to as "similarity determination threshold"). For example, the reliability determination unit 15 determines that the reliability of the feature quantity is high when the similarity is greater than or equal to the similarity determination threshold. On the other hand, the reliability determination unit 15 determines that the reliability of the feature amount is low when the similarity is less than the similarity determination threshold.
  • similarity determination threshold a preset threshold
  • the reliability determination unit 15 determines the restoration error for each object present in the environment around the vehicle 100, such as other vehicles or pedestrians, by determining the difference in the center of gravity position or It may be calculated by IoU (Intersection over Union), and the reciprocal of the calculated restoration error may be used as the degree of similarity. For example, if all the similarities for each object are equal to or higher than the similarity determination threshold value, the reliability determination unit 15 determines that the reliability of the feature amount is high, and any one of the similarities for each object is similar. If it is less than the degree determination threshold, it is determined that the reliability of the feature amount is low.
  • IoU Intersection over Union
  • the reliability determination unit 15 may determine the reliability of the feature amount extracted by the feature amount extraction unit 141 based on the partial similarity between the abstract image data and the restored abstract image data, for example. good. Specifically, the reliability determination unit 15 determines whether an object present in the environment around the vehicle 100 represented by the abstract image indicated by the abstract image data and the post-restoration abstract image indicated by the post-restoration abstract image data. Of the regions, regions that are not used for determination of the reliability of the feature amount are masked. When calculating the degree of similarity between the abstracted image data and the post-restoration abstracted image data, the reliability determination unit 15 calculates the degree of similarity of the unmasked portion, and compares the calculated degree of similarity with the threshold value for similarity degree determination.
  • the reliability of the feature amount extracted by the feature amount extraction unit 141 is determined.
  • the area not used for determining the reliability of the feature amount is, for example, an area indicating an object that is assumed not to affect the inference of the control amount of the vehicle 100 by the inference unit 16, and the area is set in advance. Details of the inference unit 16 will be described later.
  • FIG. 6 is for explaining an example of an abstract image represented by masked abstract image data when the reliability determination unit 15 determines the reliability of the feature quantity in the first embodiment.
  • FIG. 6 shows, as an example, an abstract image (5a in FIG. 2B) representing the position of the vehicle 100 shown in FIG. 5b), the abstract image representing the position of the other vehicle (5c in FIG. 2B), and the abstract image representing the position of the pedestrian (5d in FIG. 2B), the reliability determination unit 15 determines the reliability of the feature amount.
  • the image of the abstract image after applying a mask to the area not used for the degree determination is shown.
  • 5a' in FIG. 6 indicates an image of the abstract image after masking the abstract image indicated by 5a in FIG. 2B.
  • 5b' indicates an image of the abstract image after masking the abstract image indicated by 5b in FIG. 2B.
  • 5c' indicates an image of the abstract image after masking the abstract image indicated by 5c in FIG. 2B.
  • 5d' indicates an image of the abstract image after masking the abstract image indicated by 5d in FIG. 2B.
  • the reliability determination unit 15 determines that the area expressing the condition of the road that is orthogonal to the road on which the vehicle 100 is traveling, specifically, the lane that is orthogonal to the lane on which the vehicle 100 is traveling, Mask other vehicles inside and pedestrians crossing the crosswalk on the road.
  • the reliability determination unit 15 can determine a red light based on environmental data.
  • the lane topography represented by 5b in FIG. 2B the lane area orthogonal to the lane in which the vehicle 100 is traveling is masked (see 5b' in FIG. 6).
  • the area where the other vehicles indicated by 54 are located is masked (see 5c' in FIG. 6).
  • the area where the pedestrian is located represented by 5d in FIG. 2B, is all masked (see 5d' in FIG. 6).
  • FIG. 6 illustrates an example in which the reliability determination unit 15 masks the abstract image data
  • the reliability determination unit 15 applies the same method to the post-restoration abstract image data. mask with.
  • the reliability determination unit 15 determines the degree of similarity between the abstracted data generated by the abstraction unit 13 and the post-restoration abstracted data output by the restoration unit 142.
  • the reliability may be determined after weighting each type of object.
  • the reliability determination unit 15 determines the degree of similarity between the abstract image data generated by the abstraction unit 13 and the restored abstract image data output by the restoration unit 142.
  • the reliability may be determined after weighting each type of object present in the environment around the vehicle 100 .
  • the reliability determination unit 15 expresses the reliability of the feature quantity extracted by the feature quantity extraction unit 141 as a discrete value such as "high” or "low", but this is only an example. .
  • the reliability determination unit 15 may express the reliability of the feature amount extracted by the feature amount extraction unit 141 as a continuous value such as a numerical value from "0" to "1".
  • the reliability determination unit 15 determines the reliability of the feature amount, for example, according to the similarity between the abstract image data and the post-restoration abstract image data. For example, it is determined in advance how much the reliability should be determined when the degree of similarity is high.
  • the reliability determination unit 15 outputs information about the determined reliability to the inference result output unit 17 .
  • the inference unit 16 is a trained neural network that receives as input the feature amount output by the feature amount extraction unit 141 and outputs an inference result.
  • the inference unit 16 receives the feature amount output by the feature amount extraction unit 141 and outputs the control amount of the vehicle 100 .
  • the inference unit 16 is any neural network.
  • the inference unit 16 sets, as learning data, a set of abstract image data generated based on environmental data collected by a person performing a test run of the vehicle 100 and an appropriate control amount of the vehicle 100, and the learning A neural network trained by so-called supervised learning based on data.
  • the inference unit 16 sets a set of abstract image data generated based on the environment data collected by the simulator and an appropriate control amount of the vehicle 100 as learning data, and based on the learning data, performs a so-called teacher A neural network trained by ant learning may be used.
  • the feature amount to be input to the inference unit 16 is the feature amount output by the feature amount extraction unit 141 using the learned feature amount extraction unit 141 with the abstracted data output from the abstraction unit 13 as input. do.
  • the inference result output unit 17 outputs the reliability determined by the reliability determination unit 15 based on the information about the reliability output from the reliability determination unit 15 and the inference result output by the inference unit 16. As the reliability of the output inference result, the inference result and the reliability are output to the control device 3 in association with each other. Specifically, in the first embodiment, the inference result output unit 17 calculates the reliability based on the information about the reliability output from the reliability determination unit 15 and the control amount of the vehicle 100 output from the inference unit 16. The reliability determined by the determination unit 15 is output to the control device 3 as the reliability of the control amount of the vehicle 100 output by the inference unit 16 in association with the control amount of the vehicle 100 and the reliability.
  • the reliability determined by the reliability determination unit 15 is the reliability of the feature quantity extracted from the abstracted data.
  • the inference unit 16 infers the control amount of the vehicle 100 by inputting the feature amount extracted from the abstracted data. Therefore, for example, when the reliability of the feature amount is low, it can be said that the control amount of the vehicle 100 obtained by inputting the feature amount with the low reliability is not reliable enough. On the other hand, for example, when the reliability of the feature quantity is high, it can be said that the control amount of the vehicle 100 obtained by inputting the feature quantity with the high reliability is also reliable.
  • FIG. 7 is a flow chart for explaining the operation of the reliability determination device 1 according to the first embodiment. For example, during automatic operation of the vehicle 100, the operation described in the flowchart of FIG. 7 is repeated.
  • the acquisition unit 11 acquires input data from the sensor 2 (step ST1). Specifically, the acquisition unit 11 acquires environmental data as input data. The acquisition unit 11 outputs the acquired input data, in other words, environmental data, to the future environment prediction unit 12 . Further, the acquisition unit 11 causes the storage unit to store the acquired environmental data.
  • the future environment prediction unit 12 predicts the future environment based on the environment data acquired by the acquisition unit 11 in step ST1 (step ST2).
  • the future environment prediction unit 12 associates the predicted future environment data with the environment data and outputs the data to the abstraction unit 13 .
  • the abstraction unit 13 Based on the input data acquired by the acquisition unit 11 in step ST1, the abstraction unit 13 generates abstract data representing the input data in an abstract expression format (step ST3). Specifically, based on the environment data acquired by the acquisition unit 11 in step ST1, the abstraction unit 13 generates abstract image data representing the environment data in an abstract representation format. For example, the abstraction unit 13 predicts the future environment prediction unit 12 based on the environmental data acquired by the acquisition unit 11 in step ST1 and the data related to the future environment predicted by the future environment prediction unit 12 in step ST2. It is also possible to generate abstract image data that reflects the future environment. The abstraction unit 13 may also generate abstract image data that reflects the environment around the vehicle 100 in the past.
  • the abstraction unit 13 calculates the surroundings of the vehicle 100 from the past to the future based on the environment data acquired by the acquisition unit 11 in step ST1 and the data on the future environment predicted by the future environment prediction unit 12 in step ST2. You may generate
  • the abstraction unit 13 outputs the generated abstract image data to the feature quantity extraction unit 141 and the reliability determination unit 15 . Note that if the abstraction unit 13 does not have the function of generating abstract image data based on the future environment, the operation of the reliability determination device 1 can omit step ST2.
  • the feature amount extraction unit 141 receives the abstracted image data output from the abstraction unit 13 in step ST3, extracts and outputs a feature amount indicating the essential feature of the abstracted image data (step ST4). .
  • the restoration unit 142 receives the feature amount output from the feature amount extraction unit 141 in step ST4, restores the abstract image data generated by the abstraction unit 13 in step ST3, and outputs restored abstract image data. (step ST5).
  • the reliability determination unit 15 determines the feature amount in step ST4.
  • the reliability of the feature amount extracted from the abstract image data by the extraction unit 141 is determined (step ST6).
  • the reliability determination unit 15 outputs information about the determined reliability to the inference result output unit 17 .
  • the inference unit 16 receives as input the feature amount output by the feature amount extraction unit 141 in step ST4, and outputs the control amount of the vehicle 100 (step ST7).
  • the inference result output unit 17 determines the reliability determination unit 15 based on the information about the reliability output from the reliability determination unit 15 in step ST6 and the control amount of the vehicle 100 output by the inference unit 16 in step ST7. determines the reliability of the vehicle 100 as the reliability of the control amount of the vehicle 100 output by the inference section 16, and outputs the control amount and the reliability of the vehicle 100 to the control device 3 (step ST8).
  • the reliability determination device 1 generates abstract data representing the environmental data in an abstract representation format, in other words, abstract image data, based on the acquired input data, in other words, the environmental data. .
  • the reliability determination device 1 obtains the feature amount of the abstract image data using a neural network (feature amount extraction unit 141) that receives the generated abstract image data and outputs the feature amount of the abstract image data.
  • Post-restoration abstract image data is obtained using a neural network (restoration unit 142) that restores abstract image data with the quantity as input and outputs post-restoration abstract image data. Based on the abstracted image data and the restored abstracted image data, the reliability determination device 1 determines the reliability of the feature amount obtained from the abstracted image data.
  • neural networks As described above, in recent years, research and development of techniques to which neural networks are applied have been advanced in many fields. For example, technology is being developed that realizes autonomous driving by using a neural network to learn a set of environmental data, such as images captured by a camera, and appropriate driving behaviors in that environment. On the other hand, neural networks generally have a lower correct answer rate for data outside the learning range. Therefore, as described above, conventionally known techniques use a learned autoencoder to determine whether or not input data of a neural network is data within a learning range.
  • the difference between the input data and the learning data is the difference caused by the difficulty in preparing the learning data assuming an infinite number of situations, and the difference does not affect the inference result. Even so, the input data may be determined to be data outside the learning range.
  • the input data at the time of inference is different from the clothing of the pedestrian in the training data and the clothing of the pedestrian in the actual situation at the time of inference. It may be judged as out of range.
  • the training data for neural network learning may be generated by a simulator.
  • the learning data generated by the simulator does not contain, for example, information unique to the real environment. Therefore, in the conventional technology, there is a possibility that the accuracy of determining whether the input data is within the learning range, in other words, the accuracy of determining the inference result of the neural network.
  • the reliability determination device 1 inputs the input data as it is to the autoencoder (feature quantity extraction unit 141), and determines whether the input data is within the learning range. or not, that is, whether or not the feature quantity is reliable enough, generates abstract data based on input data, inputs the abstract data to an It is determined whether or not the feature amount extracted from the converted data is reliable. Then, the reliability determination device 1 determines whether or not the inference result of the neural network (the inference unit 16) is reliable or not by determining whether or not the feature quantity is reliable enough.
  • the reliability determination device 1 can, for example, determine the clothes of the pedestrian in the learning data and the pedestrian in the actual situation at the time of inference. It is not determined that input data, more specifically, feature amounts extracted from abstract data are unreliable just because the clothes are different. In other words, the reliability determination device 1 can make the inference result of the neural network (the inference unit 16) reliable only by, for example, the clothing of the pedestrian in the training data being different from the clothing of the pedestrian in the actual situation at the time of inference. It cannot be judged that it is not a thing. In this way, the reliability determination device 1 can determine the reliability of the inference result of the neural network, taking into account the myriad situations that can occur during inference.
  • FIG. 8A and 8B are diagrams showing an example of the hardware configuration of the reliability determination device 1 according to Embodiment 1.
  • FIG. 1 the functions of the acquisition unit 11 , the future environment prediction unit 12 , the abstraction unit 13 , the reliability determination unit 15 , and the inference result output unit 17 are implemented by the processing circuit 1001 . That is, the reliability determination device 1 obtains a feature amount from the abstract image data generated based on the environmental data about the environment around the vehicle 100, and controls the vehicle 100 as an inference result obtained by inputting the feature amount.
  • a processing circuit 1001 is provided for controlling the determination of the reliability of the quantity.
  • the processing circuitry 1001 may be dedicated hardware as shown in FIG. 8A or a processor 1004 executing a program stored in memory as shown in FIG. 8B.
  • the processing circuit 1001 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the functions of the acquisition unit 11, the future environment prediction unit 12, the abstraction unit 13, the reliability determination unit 15, and the inference result output unit 17 are software, firmware, or software. It is realized by combination with firmware.
  • Software or firmware is written as a program and stored in memory 1005 .
  • the processor 1004 reads and executes the programs stored in the memory 1005 to obtain the acquisition unit 11, the future environment prediction unit 12, the abstraction unit 13, the reliability determination unit 15, and the inference result output unit 17. perform a function. That is, reliability determination device 1 includes memory 1005 for storing a program that, when executed by processor 1004, results in execution of steps ST1 to ST8 in FIG. 7 described above.
  • the program stored in the memory 1005 stores the procedures or methods of the processing of the acquisition unit 11, the future environment prediction unit 12, the abstraction unit 13, the reliability determination unit 15, and the inference result output unit 17 in the computer. It can be said that it is something to be executed.
  • the memory 1005 is a non-volatile or volatile memory such as RAM, ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory).
  • RAM random access memory
  • ROM Read Only Memory
  • flash memory ROM (Erasable Programmable Read Only Memory)
  • EEPROM Electrical Erasable Programmable Read-Only Memory
  • a semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), or the like is applicable.
  • the functions of the acquisition unit 11, the future environment prediction unit 12, the abstraction unit 13, the reliability determination unit 15, and the inference result output unit 17 are partly realized by dedicated hardware, and partly It may be implemented in software or firmware.
  • the functions of the acquisition unit 11 and the inference result output unit 17 are realized by a processing circuit 1001 as dedicated hardware.
  • the functions of the unit 15 and the inference result output unit 17 can be realized by the processor 1004 reading out and executing a program stored in the memory 1005 .
  • the reliability determination device 1 also includes a device such as the sensor 2 or the control device 3, and an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication.
  • the reliability determination device 1 is an in-vehicle device mounted in the vehicle 100, and includes the acquisition unit 11, the future environment prediction unit 12, the abstraction unit 13, the self-encoder 14, The reliability determination unit 15 , the inference unit 16 , and the inference result output unit 17 are included in the reliability determination device 1 .
  • a part may be provided in the in-vehicle device of the vehicle 100, and the others may be provided in a server connected to the in-vehicle device via a network, and the reliability determination system may be configured by the in-vehicle device and the server.
  • the inference unit 16 is provided in the reliability determination device 1, but this is merely an example.
  • the inference unit 16 may be provided in a device external to the reliability determination device 1 and to which the reliability determination device 1 can refer.
  • the reference object is the vehicle 100
  • the reliability determination device 1 is applied to the vehicle 100 capable of automatically driving, and the reliability determination device 1 determines the inferred control amount. It was assumed to judge the reliability.
  • the reference object is a forklift in a factory, an unmanned guided vehicle, an industrial robot, or various moving bodies such as an aircraft.
  • the input data acquired by the acquisition unit 11 is environmental data related to the environment around the moving object
  • the abstracted data generated by the abstraction unit 13 is image data representing the environment around the moving object. can.
  • the feature quantity extraction unit 141 receives image data as input and outputs a feature quantity.
  • the reliability determination unit 15 can determine the reliability based on the image data and the restored image data.
  • the control apparatus 3 assumed the automatic operation control apparatus which performs automatic operation control of the vehicle 100 in the above Embodiment 1, this is only an example.
  • the control device 3 may be a forklift, an automatic guided vehicle, an industrial robot, or an automatic operation control device that controls the operation of a mobile object such as an aircraft.
  • the control device 3 can be a device that performs various controls based on the inference result and reliability output from the reliability determination device 1 .
  • the inference result by the inference unit 16 is not limited to the control amount. That is, the inference result for which the reliability determination device 1 determines the reliability is not limited to the control amount.
  • the inference unit 16 can also infer the state of the occupants in the vehicle 100 from abstracted data generated based on environmental data regarding the environment in the vehicle 100 .
  • the inference unit 16 is a neural network that has been trained so as to input feature amounts and output data regarding the state of the occupant in the vehicle 100 (hereinafter referred to as "occupant state data").
  • the reliability determination device 1 determines the reliability of the feature quantity output by the feature quantity extraction unit 141 based on the abstract data based on the similarity between the abstract data and the restored abstract data restored by the restoration unit 142. By doing so, the reliability of the occupant state data output by the inference unit 16 is determined. In addition, in Embodiment 1, a person is also included in the moving object.
  • the inference result output unit 17 of the reliability determination device 1 associates the reliability determined by the reliability determination unit 15 with the occupant state data and the reliability as the reliability of the occupant state data output by the inference unit 16. Output.
  • the inference unit 16 determines from abstracted data generated based on environment data about the environment around or inside the vehicle 100 whether to operate an alarm device when there is a possibility that the vehicle 100 will fall into a shortage situation. Necessity can also be inferred.
  • the inference unit 16 is a neural network that has been trained to take the feature quantity as input and output data regarding the necessity of activating the alarm device when there is a possibility that the vehicle 100 will fall into a shortage situation.
  • the reliability determination device 1 determines the reliability of the feature quantity output by the feature quantity extraction unit 141 based on the abstract data based on the similarity between the abstract data and the restored abstract data restored by the restoration unit 142.
  • the inference result output unit 17 of the reliability determination device 1 uses the reliability determined by the reliability determination unit 15 as the reliability of the data regarding the possibility of the vehicle 100 falling into an unexpected situation, which is output by the inference unit 16. 100 outputs the data related to the possibility of falling into an unforeseen situation in association with the degree of reliability.
  • the input data is environmental data around an object that serves as a reference, but this is merely an example.
  • the input data may be data indicating the situation of the reference object itself, regardless of the environment around the reference object.
  • the input data may be animal and plant data relating to the state of animals and plants.
  • the inference unit 16 infers the types of animals and plants from the abstract data generated based on the animal and plant data.
  • the inference unit 16 is a neural network that has been trained so as to input feature values and output data on species of animals and plants (hereinafter referred to as "animal and plant species data").
  • the reliability determination unit 15 of the reliability determination device 1 uses the feature amount extraction unit 141 to extract the abstract data based on the degree of similarity between the abstract data generated from the animal and plant data and the post-restoration abstract data restored by the restoration unit 142.
  • the reliability of the animal and plant type data output from the inference unit 16 is determined by determining the reliability of the feature amount output based on the above.
  • the inference result output unit 17 of the reliability determination device 1 uses the reliability determined by the reliability determination unit 15 as the reliability of the animal and plant type data output by the inference unit 16, and associates the animal and plant type data with the reliability. Output.
  • the reference object is an animal or plant. In this way, the reference object can be an object other than the moving object.
  • the reliability determination device 1 includes the acquisition unit 11 that acquires input data, and based on the input data acquired by the acquisition unit 11, the input data in an abstract representation format.
  • an abstraction unit 13 that generates the abstracted data shown in
  • a feature amount extraction unit 141 that receives the abstracted data generated by the abstraction unit 13 as input and outputs a feature amount of the abstracted data
  • a feature amount extraction unit 141 A restoration unit 142 that restores the abstract data with the feature amount output by as input and outputs the abstract data after restoration, the abstract data generated by the abstraction unit 13, and the abstract data after restoration output by the restoration unit 142
  • a reliability determination unit 15 for determining the reliability of the feature amount output by the feature amount extraction unit 141 is provided. Therefore, the reliability determination device 1 can determine the reliability of the inference result of the neural network, taking into consideration that countless situations can occur during inference.
  • the reliability determination device can determine the reliability of the inference result of the neural network, taking into consideration that countless situations can occur during inference.
  • 1 reliability determination device 1 reliability determination device, 2 sensors, 3 control device, 11 acquisition unit, 12 future environment prediction unit, 13 abstraction unit, 14 autoencoder, 141 feature extraction unit, 142 restoration unit, 15 reliability determination unit, 16 reasoning unit, 17 reasoning result output unit, 100 vehicle, 1001 processing circuit, 1002 input interface device, 1003 output interface device, 1004 processor, 1005 memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

入力データを取得する取得部（１１）と、取得部（１１）が取得した入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成する抽象化部（１３）と、抽象化部（１３）が生成した抽象化データを入力として当該抽象化データの特徴量を出力する特徴量抽出部（１４１）と、特徴量抽出部（１４１）が出力した特徴量を入力として抽象化データを復元した復元後抽象化データを出力する復元部（１４２）と、抽象化部（１３）が生成した抽象化データと復元部（１４２）が出力した復元後抽象化データとに基づき、特徴量抽出部（１４１）が抽出した特徴量の信頼度を判定する信頼度判定部（１５）とを備えた。

Description

信頼度判定装置および信頼度判定方法
　本開示は、学習済みのニューラルネットワークによる推論結果の信頼度を判定する信頼度判定装置および信頼度判定方法に関する。
　近年、ニューラルネットワークを応用した技術の研究および開発が多くの分野で進められている。
　一方、ニューラルネットワークは、一般に、学習に用いられた学習データと類似性が低いデータ（以下「学習範囲外のデータ」という。）に対しては、正答率が低下することが知られている。したがって、ニューラルネットワークによる推論結果を使用する場合は、ニューラルネットワークの入力とした入力データが学習データと類似性が高い（以下「学習範囲内のデータ」という。）データであるか否かが判定されていることが重要である。学習範囲内ではないデータ、言い換えれば、学習範囲外のデータ、を入力とした推論結果は、信頼に足るものではないと想定されるためである。
　そこで、従来、学習済みの自己符号化器を用いて、ニューラルネットワークの入力データが学習範囲内のデータか否かを判定する技術が知られている（例えば、特許文献１）。
　自己符号化器は、入力層と出力層に同じデータを用いて教師あり学習させたものであり、入力の性質をよくあらわす低次元の特徴量を得る。自己符号化器に与えた入力データが学習範囲内のデータであれば、当該入力データに類似する出力データが得られる。そのため、自己符号化器を用いれば、入力データと出力データの差異に基づき、入力データが学習範囲内のデータであるか否かを判定することができる。
特開２０１９－１３９２７７号公報
　特許文献１に開示されているような技術に代表される従来技術は、推論時に想定され得る、無数の状況に対応することができない。例えば、無数に発生する状況をニューラルネットワークに学習させる場合、事前に、推論時に発生し得る無数の状況を想定した学習データを用意しなければならない。しかし、推論時に発生し得る無数の状況に応じた学習データを用意することは困難である。
　従来技術では、推論時に無数の状況が発生し得ることが考慮されていない。そのため、従来技術では、入力データと学習データとの差異が、無数の状況を想定した学習データを用意することが困難なことに起因する差異であり、その差異が推論結果に影響しない差異であったとしても、入力データは学習範囲外のデータであると判定される、言い換えれば、ニューラルネットワークの推論結果は信頼するに足るものではないと判定される可能性があるという課題があった。
　本開示は上記のような課題を解決するためになされたもので、推論時に無数の状況が発生し得ることを考慮して、ニューラルネットワークの推論結果の信頼度を判定することができる信頼度判定装置を提供することを目的とする。
　本開示に係る信頼度判定装置は、入力データを取得する取得部と、取得部が取得した入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成する抽象化部と、抽象化部が生成した抽象化データを入力として当該抽象化データの特徴量を出力する特徴量抽出部と、特徴量抽出部が出力した特徴量を入力として抽象化データを復元した復元後抽象化データを出力する復元部と、抽象化部が生成した抽象化データと、復元部が出力した復元後抽象化データとに基づき、特徴量抽出部が出力した特徴量の信頼度を判定する信頼度判定部とを備えた。
　本開示によれば、推論時に無数の状況が発生し得ることを考慮して、ニューラルネットワークの推論結果の信頼度を判定することができる。
実施の形態１に係る信頼度判定装置の構成例を示す図である。 実施の形態１において抽象化部が生成する抽象化画像データで示される抽象化画像の一例を説明するための図であって、図２Ａは、抽象化部が抽象化画像データを生成するもととなる実環境の一例を示す図であり、図２Ｂは、実環境が図２Ａに示すような環境であった場合に、抽象化部が生成する抽象化画像データで示される抽象化画像の一例を示す図である。 図３Ａ、図３Ｂ、および、図３Ｃは、実施の形態１において抽象化部が生成する抽象化画像データで示される抽象化画像のその他の一例を説明するための図である。 実施の形態１において抽象化部が生成する抽象化画像データで示される抽象化画像のその他の一例を説明するための図であって、図４Ａは、抽象化部が道路環境を簡易化した抽象化画像データを生成するもととなる実環境の一例を示す図であり、図４Ｂは、実環境が図４Ａに示すような環境であった場合に、抽象化部が生成する抽象化画像データで示される抽象化画像の一例を示す図である。 実施の形態１において抽象化部が生成する、将来的な環境を反映した抽象化画像データで示される抽象化画像の一例を説明するための図である。 実施の形態１において、信頼度判定部が、特徴量の信頼度を判定する際にマスクをかけた抽象化画像データで示される抽象化画像の一例を説明するための図である。 実施の形態１に係る信頼度判定装置の動作を説明するためのフローチャートである。 図８Ａおよび図８Ｂは、実施の形態１に係る信頼度判定装置のハードウェア構成の一例を示す図である。
　以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　信頼度判定装置は、学習済みのニューラルネットワークを用いて、入力データに基づく推論を行い、推論結果がどれぐらい信頼に足るものであるかを示す度合い（以下「信頼度」という。）を判定する。
　より詳細には、信頼度判定装置は、基準となる物体の状況に関するデータを入力データとして取得し、学習済みのニューラルネットワークを用いて、基準となる物体に関する推論を行い、得られた推論結果の信頼度を判定する。基準となる物体の状況に関するデータは、具体的には、基準となる物体そのものの状況に関するデータ、または、当該基準となる物体周辺の状況に関するデータを含む。
　以下の実施の形態１では、一例として、信頼度判定装置が自動運転可能な車両にて用いられることを想定している。すなわち、基準となる物体は車両であるとする。
　信頼度判定装置は、入力データとして車両周辺の環境に関する環境データを取得し、取得した環境データに基づき、学習済みのニューラルネットワークを用いて、車両の自動運転における制御量を推論するとともに、推論した制御量の信頼度を判定する。実施の形態１において、車両の制御量は、例えば、ハンドル操舵角またはブレーキ量等の車両制御コマンドを想定している。
　図１は、実施の形態１に係る信頼度判定装置１の構成例を示す図である。
　信頼度判定装置１は、車両１００に搭載され、センサ２および制御装置３と接続される。
　センサ２は、車両１００に搭載され、車両１００周辺の環境に関するデータ（以下「環境データ」という。）を収集する。
　センサ２は、車両１００の現在位置を検出するＧＰＳ（図示省略）、車両１００周辺を撮像する撮像装置（図示省略）、車両１００周辺に存在する物体を検出するレーダ（図示省略）、地図情報を取得する地図情報取得装置、車速センサ、または、加速度センサ等、車両１００周辺の環境に関するデータを収集可能な種々のセンサである。なお、実施の形態１において、車両１００周辺の環境とは、車両１００周辺の状況であり、車両１００周辺の状況には車両１００の状況も含まれる。
　センサ２が収集する環境データには、例えば、自車データ、他者データ、地形データ、または、標識データが含まれる。自車データは、例えば、車両１００の車速、加速度、位置、または、形状を示すデータである。他者データは、例えば、車両１００周辺に存在する物体（例えば、人、車両または障害物）の種別、位置、速度、または、形状を示すデータである。地形データは、例えば、土地の形状または属性（例えば、走行可能または進入禁止）を示すデータである。標識データは、例えば、標識の意味、位置、または、影響範囲を示すデータである。
　なお、図１では、センサ２は１つのみ図示しているが、これは一例に過ぎない。信頼度判定装置１は、複数のセンサ２と接続され得る。複数のセンサ２は、同じ種類の複数のセンサ２であってもよいし、互いに種類の異なる複数のセンサ２であってもよい。
　信頼度判定装置１は、センサ２から出力された環境データに基づいて、学習済みのニューラルネットワークを用いて、車両１００の自動運転における制御量を推論するとともに、推論した制御量の信頼度を判定する。信頼度判定装置１の詳細は、後述する。
　信頼度判定装置１は、推論した車両１００の制御量および当該制御量の信頼度に関する情報を対応付けて、制御装置３に出力する。
　制御装置３は、例えば、車両１００に搭載され、車両１００の自動運転制御を行う自動運転制御装置を想定している。
　制御装置３は、信頼度判定装置１から出力された制御量および信頼度に基づき、車両１００の自動運転制御を行う。例えば、制御装置３は、信頼度が予め設定された閾値（以下「信頼度判定用閾値」という。）以上であれば、制御量を用いた自動運転制御を行う。例えば、制御装置３は、信頼度が信頼度判定用閾値未満であれば、制御量を用いた自動運転制御を行わず、自動運転から手動運転への切替制御を行う。
　信頼度判定装置１は、取得部１１、将来環境予測部１２、抽象化部１３、特徴量抽出部１４１、復元部１４２、信頼度判定部１５、推論部１６、および、推論結果出力部１７を備える。特徴量抽出部１４１と復元部１４２とで、自己符号化器１４を構成する。
　取得部１１は、センサ２から入力データを取得する。
　実施の形態１では、取得部１１は、入力データとして、車両１００周辺の環境データを取得する。以下の実施の形態１において、車両１００周辺の環境データを、単に「環境データ」ともいう。
　取得部１１は、取得した入力データ、言い換えれば、環境データを、将来環境予測部１２に出力する。
　なお、実施の形態１において、取得部１１は、取得した環境データを、記憶部（図示省略）に記憶させる。
　将来環境予測部１２は、取得部１１が取得した環境データに基づき、将来的な環境を予測する。なお、将来環境予測部１２が、どれぐらい先の環境を予測するかは、適宜設定可能とする。
　例えば、将来環境予測部１２は、記憶部に記憶されている環境データから、将来的な環境を予測することができる。具体例を挙げると、例えば、将来環境予測部１２は、環境データに含まれる自車データに基づけば、車両１００の、設定された時間後の位置および車速を予測できる。また、例えば、将来環境予測部１２は、環境データに含まれる他者データに基づけば、車両１００周辺に存在する歩行者の、設定された時間後の位置および移動速度を予測できる。
　将来環境予測部１２は、予測した将来的な環境に関するデータを、環境データと対応付けて、抽象化部１３に出力する。
　抽象化部１３は、取得部１１が取得した入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成する。
　実施の形態１では、抽象化部１３は、取得部１１が取得した環境データに基づき、当該環境データを抽象的な表現形式で示した抽象化データを生成する。
　実施の形態１において、データを抽象的な表現形式で示すとは、当該データを構成する各部の細部を捨象することをいう。
　抽象化部１３は、環境データに基づき、現実に存在する物体、ここでは、例えば、車両１００、道路、他車両、または、歩行者を、それぞれ、その存在位置で、その物体の細部、例えば、車両１００および他車両についてはその形状または模様等の細部、道路についてはその凹凸等の細部、歩行者についてはその体の形状等の細部を捨象した形状にて示した抽象化データを生成する。物体の細部を捨象した形状をどのような形状とするかは、予め、物体ごとに決められている。
　実施の形態１では、抽象化部１３が生成する抽象化データは、画像データとする。すなわち、実施の形態１において、抽象化部１３は、画像上で、現実に存在する車両１００、道路、他車両、または、歩行者等を、それぞれ、その存在位置で、その細部を捨象した形状で示した画像データを生成する。
　以下の実施の形態１において、抽象化部１３が抽象化データとして生成する画像データを、「抽象化画像データ」ともいう。実施の形態１において、抽象化画像データは、例えば、俯瞰図のデータとする。
　抽象化部１３は、抽象化画像データを生成する際、基準となる物体、ここでは車両１００を基準として抽象化画像データを生成する。例えば、予め、基準となる物体を、抽象化画像データで示される抽象化画像上のどの位置で示すかが決められている。また、予め、基準となる物体を基準としてどの範囲内の環境を、抽象化画像上で示すかが決められている。抽象化部１３は、基準となる物体を基準として、予め決められた範囲内に存在する物体が、抽象化画像上で、基準となる物体との位置関係に応じた位置に示されるよう、抽象化画像データを生成する。
　抽象化部１３は、抽象化画像データを生成するにあたり、まず、現実に存在する物体、具体的には、車両１００、他車両、道路、または、歩行者等を、環境データに基づいて認識する。例えば、抽象化部１３は、画像認識技術またはパターンマッチング等の既知の技術を用いて、現実に存在する物体を認識すればよい。
　次に、抽象化部１３は、認識した物体を、予め決められた形状にて、基準となる物体、ここでは車両１００を基準とした画像上の位置に示した抽象化画像データを生成する。抽象化部１３は、環境データに基づけば車両１００および車両１００周辺の物体が現実に存在する位置を特定できる。抽象化部１３は、各物体が現実に存在する位置を特定できれば、当該各物体を、抽象化画像データ上のどの位置で示せばよいかを特定できる。
　ここで、図２は、実施の形態１において抽象化部１３が生成する抽象化画像データで示される抽象化画像の一例を説明するための図である。
　図２Ａは、抽象化部１３が抽象化画像データを生成するもととなる現実の車両１００周辺の環境（以下「実環境」という。）の一例を示す図である。
　図２Ｂは、実環境が図２Ａに示すような環境であった場合に、抽象化部１３が生成する抽象化画像データで示される抽象化画像の一例を示す図である。
　なお、図２Ａは車両１００周辺の環境を俯瞰図で示している。また、抽象化部１３が生成する抽象化画像データは俯瞰図のデータとしている。
　今、図２Ａに示すような実環境において、車両１００は道路（図２Ａにおいて４１で示す）を走行中、交差点に差し掛かり、車両１００の進行方向の交差点内または交差点の入り口には他車両（図２Ａにおいて４２～４４で示す）が存在している。または、交差点のまわりには、横断歩道を渡る歩行者（図２Ａにおいて４５～４６で示す）が存在している。
　実環境が図２Ａに示すような環境である場合、抽象化部１３は、例えば、図２Ｂの５ａ～５ｄに示すような４枚の抽象化画像を示す抽象化画像データを生成する。
　図２Ｂにおいて、５ａは車両１００の位置をあらわす抽象化画像であり、５ｂは車両１００が走行可能な領域、すなわち、車線の地形をあらわす抽象化画像であり、５ｃは他車両の位置をあらわす抽象化画像であり、５ｄは歩行者の位置をあらわす抽象化画像である。
　図２Ｂに示すように、抽象化画像において、車両１００、車線の地形、他車両、および歩行者は、これらを構成する各部の細部が捨象され、簡略化して表現されている。
　例えば、５ａの抽象化画像、および、５ｃの抽象化画像において、車両１００および他車両は、それぞれ、白色の矩形にて表現されている（図２Ｂの５００、５２～５４参照）。車両１００および他車両の形状および模様は捨象されている。また、例えば、５ｂの抽象化画像において、車線は白色の矩形にて表現され（図２Ｂの５１参照）、５ｄの抽象化画像において、歩行者は白丸で表現されている（図２Ｂの５５～５６）。道路の凹凸、歩行者の形状、および、歩行者の服装は捨象されている。
　なお、ここでは、予め、抽象化画像データにおいて表現する物体の形状について、車両および道路の形状は白色の矩形（図２Ｂの５ｂの抽象化画像の５１参照）、歩行者の形状は白色の丸（図２Ｂの５ｄの抽象化画像の５５～５６参照）と決められている。また、抽象化画像の背景は黒色と予め決められている。
　なお、抽象化画像上、車両１００周辺の環境のすべてが表現されている必要はない。
　抽象化部１３は、環境データに基づき、抽象化画像上で、予め決められている、抽象化データ作成対象となる物体の位置を示す抽象化画像データを生成する。抽象化データ作成対象となる物体とは、例えば、信頼度判定装置１が信頼度を判定すべき推論結果に関連が高い物体、ここでは、車両１００の走行に関連が高い物体である。
　また、上述の図２Ａおよび図２Ｂを用いた説明では、抽象化部１３は、車両１００周辺の環境に存在する物体の種類ごとに、言い換えれば、車両１００、車線、他車両、および、歩行者ごとに、抽象化画像データをそれぞれ生成するものとしたが、これは一例に過ぎない。抽象化部１３は、車両１００周辺の環境に対して１枚の抽象化画像を示す抽象化画像データを生成してもよい。
　また、抽象化部１３は、抽象化画像データで示す車両１００周辺の環境に存在する物体がその種類に応じて色分けしてあらわされるよう、抽象化画像データを生成することもできる。例えば、抽象化部１３は、車両１００は赤、他車両は黄色、というように、抽象化画像上で車両１００周辺の環境に存在する物体が当該物体の種類に応じて色分けしてあらわされるよう、抽象化画像データを生成することもできる。
　また、図２Ａおよび図２Ｂを用いて説明したような抽象化画像データにおける物体の表現方法は一例に過ぎない。例えば、抽象化部１３は、図２Ｂのような表現方法以外の表現方法で車両１００周辺の環境に存在する物体が表現されるよう、抽象化画像データを生成してもよい。
　図３Ａ、図３Ｂ、および、図３Ｃは、実施の形態１において抽象化部１３が生成する抽象化画像データで示される抽象化画像のその他の一例を説明するための図である。
　なお、図３Ａ、図３Ｂ、および、図３Ｃは、実環境が図２Ａに示すような環境であった場合に、抽象化部１３が生成する抽象化画像データで示される抽象化画像の一例を示している。図３Ａおよび図３Ｂは、車線の地形をあらわす抽象化画像の一例としている。図３Ｃは、他車両の位置をあらわす抽象化画像の一例としている。
　例えば、抽象化部１３は、車両１００が走行可能な車線を示す領域と車両１００が走行不能な車線を示す領域とを色分けして示す抽象化画像データを生成してもよい。図３Ａは、抽象化部１３が、車両１００が走行可能な車線を示す領域を白色の矩形にて表現し、車両１００が走行不能な車線を示す領域については黒色の矩形にて表現するよう、抽象化画像データを生成した場合の抽象化画像としている。図３Ａで示す抽象化画像を図２Ｂにおいて５ｂで示していた抽象化画像と比べると、図３Ａで示す抽象化画像において、車両１００が走行可能な車線のみが白色で表現されていることがわかる。なお、抽象化部１３は、車両１００が走行可能な車線であるか否かを環境データから判定すればよい。
　また、例えば、抽象化部１３は、車線を示す領域について制限速度を表す色を付与した抽象化画像データを生成してもよい。図３Ｂは、抽象化部１３が、制限速度に応じて、車両１００が走行可能な車線を示す領域が色分けされて表現されるよう、抽象化画像データを生成した場合の、当該抽象化画像データで示される抽象化画像としている。この一例では、抽象化部１３は、制限速度の高低を白または灰色で表現されるようにしている。なお、抽象化部１３は、車線の制限速度を環境データから判定すればよい。
　また、例えば、抽象化部１３は、他車両の移動方向および移動速度を色分けして表現するよう、抽象化画像データを生成してもよい。例えば、図３Ｃに示すように、抽象化部１３は、抽象化画像において、他車両を、当該他車両の形状をあらわす濃い灰色の矩形（図３Ｃの５２ａ、５３ａ、５４ａ参照）と、当該他車両の移動方向をあらわす薄い灰色の矩形（図３Ｃの５２ｂ、５３ｂ、５４ｂ参照）とで構成される矩形にて表現されるよう、抽象化画像データを生成できる。図３Ｃに示す抽象化画像では、移動方向をあらわす薄い灰色の矩形によって、他車両が当該薄い灰色の矩形が示されている方向に移動していることが表現されている。さらに、抽象化部１３は、他車両の移動方向をあらわす薄い灰色の矩形について、移動速度に応じて灰色の濃さを変化させて表現するようにしてもよい。例えば、図３Ｃに示す抽象化画像では、５４ａで示される他車両よりも５３ａで示される他車両の方が、移動速度が速いことが表現されている。なお、抽象化部１３は、他車両の移動方向および移動速度を、環境データから判定すればよい。
　また、例えば、抽象化部１３は、抽象化画像データを生成する際、図４に示すように、実環境の道路環境を簡易化することもできる。
　図４Ａは、抽象化部１３が道路環境を簡易化した抽象化画像データを生成するもととなる実環境の一例を示す図である。
　図４Ｂは、実環境が図４Ａに示すような環境であった場合に、抽象化部１３が生成する抽象化画像データで示される抽象化画像の一例を示す図である。
　なお、図４Ａは、図２Ａ同様、車両１００周辺の環境を俯瞰図で示している。また、抽象化部１３が生成する抽象化画像データは俯瞰図のデータとしている。
　実環境が図４Ａに示すような環境である場合、抽象化部１３は、例えば、図４Ｂの５ｅおよび５ｆに示すような２枚の抽象化画像を示す抽象化画像データを生成する。
　図４Ｂにおいて、５ｅは車両１００の位置をあらわす抽象化画像であり、５ｆは車線の地形をあらわす抽象化画像である。
　今、図４Ａに示すような実環境において、車両１００が走行している道路（図４Ａにおいて４１１で示す）は直線ではない。この場合、抽象化部１３は、例えば、５ｆのように、実環境では直線ではない道路を、車両１００進行方向を縦軸とする座標系に変換して矩形にした抽象化画像を示すよう変換した抽象化画像データを生成することもできる。５ｆの抽象化画像において、車線は白色の矩形にて表現されている（図４Ｂの５１１参照）。
　なお、５ｅは、図２Ｂの５ａ同様、車両１００を白色の矩形にて表現した抽象化画像である（図４Ｂの５００参照）。
　また、例えば、抽象化部１３は、取得部１１が取得した環境データと、将来環境予測部１２が予測した将来的な環境に関するデータに基づき、将来環境予測部１２が予測した将来的な環境を反映した抽象化画像データを生成することもできる。
　図５は、実施の形態１において抽象化部１３が生成する、将来的な環境を反映した抽象化画像データで示される抽象化画像の一例を説明するための図である。
　なお、図５は、実環境が図２Ａに示すような環境であった場合に、抽象化部１３が生成する抽象化画像データで示される抽象化画像の一例を示す図である。図５は、他車両の位置をあらわす抽象化画像の一例としている。
　例えば、抽象化部１３は、将来環境予測部１２が予測した他車両の将来的な位置に関するデータに基づき、図５に示すように、抽象化画像において、将来、他車両が存在する確率が高い領域ほど白に近い色で表現するよう、抽象化画像データを生成できる。
　抽象化部１３は、例えば、移動体または遮蔽物からの飛び出し等、潜在的な交通上のリスクを可視化した、いわゆるリスクポテンシャルマップを用いて、将来的な環境を反映した抽象化画像データを生成してもよい。
　抽象化部１３が将来的な環境を反映した抽象化画像データを生成することで、推論部１６において、より高度な推論を実現できる。推論部１６の詳細は後述する。
　また、抽象化部１３は、将来的な環境を反映した抽象化画像データを生成できるだけではなく、過去の車両１００周辺の環境を反映した抽象化画像データを生成することもできる。抽象化部１３は、過去の車両１００周辺の環境を、例えば、記憶部に記憶されている環境データから判定すればよい。
　また、抽象化部１３は、取得部１１が取得した環境データと、将来環境予測部１２が予測した将来的な環境に関するデータに基づき、過去から将来における車両１００周辺の環境を示す時系列の抽象化画像データを生成することもできる。例えば、抽象化部１３は、過去のある時点（ｔ＝０）、現在（ｔ＝１）、および、将来のある時点（ｔ＝２）における抽象化画像データを生成する。なお、抽象化部１３は、過去のある時点、現在、および、将来のある時点において、それぞれ、１枚の抽象化画像を示す抽象化画像データを生成してもよいし、車両１００周辺の環境に存在する物体の種類ごとの複数枚の抽象化画像を示す抽象化画像データを生成してもよい。
　以上のとおり、抽象化部１３は、車両１００周辺の将来的な環境、または、過去の環境に基づいて抽象化画像データを生成することができる。しかし、これは必須ではない。
　抽象化部１３が将来的な環境を反映した抽象化画像データを生成する機能を有しない場合、信頼度判定装置１は、将来環境予測部１２を備えない構成とできる。なお、抽象化部１３が将来的な環境を反映した抽象化画像データを生成する場合であっても、抽象化部１３はリスクポテンシャルマップを用いて当該抽象化画像データを生成し、将来環境予測部１２が予測した将来的な環境に関するデータを用いない場合、信頼度判定装置１は、将来環境予測部１２を備えない構成とできる。
　抽象化部１３は、生成した抽象化画像データを、特徴量抽出部１４１および信頼度判定部１５に出力する。
　特徴量抽出部１４１は、抽象化部１３から出力された抽象化データ、ここでは、抽象化画像データ、を入力として特徴量を出力するように学習済みのニューラルネットワークである。特徴量抽出部１４１は抽象化画像データを入力として当該抽象化画像データの本質的な特徴を示す特徴量を抽出して出力する。
　復元部１４２は、特徴量抽出部１４１から出力された特徴量を入力として抽象化部１３が生成した抽象化データを復元したデータ（以下「復元後抽象化データ」という。）を出力するように学習済みのニューラルネットワークである。具体的には、実施の形態１では、復元部１４２は、特徴量抽出部１４１から出力された特徴量を入力として抽象化部１３が生成した抽象化画像データを復元した復元後の画像データ（以下「復元後抽象化画像データ」という。）を出力する。
　特徴量抽出部１４１は、学習済みの自己符号化器１４における符号化部（エンコーダ）で構成され、復元部１４２は自己符号化器１４における複合部（デコーダ）で構成される。
　自己符号化器１４は、入力と出力に同じデータを用いて学習させることで、入力データを再現するデータを出力するようになるとともに、入力の性質をよくあらわす低次元の特徴量を得る。
　実施の形態１において、信頼度判定装置１は、学習済みの自己符号化器１４の符号化部を特徴量抽出部１４１として使用し、学習済みの自己符号化器１４の複合部を復元部１４２として使用する。なお、信頼度判定装置１は、特徴量抽出部１４１および復元部１４２に自己符号化器を用いるようになっていればよく、信頼度判定装置１が特徴量抽出部１４１および復元部１４２として用いる自己符号化器の種類は問わない。例えば、信頼度判定装置１は、特徴量抽出部１４１および復元部１４２として変分自己符号化器を用いてもよい。
　信頼度判定部１５は、抽象化部１３が生成した抽象化データと、復元部１４２が出力した復元後抽象化データとに基づき、特徴量抽出部１４１が抽出した特徴量の信頼度を判定する。具体的には、実施の形態１では、信頼度判定部１５は、抽象化部１３が生成した抽象化画像データと、復元部１４２が出力した復元後抽象化画像データとに基づき、特徴量抽出部１４１が抽象化画像データから抽出した特徴量の信頼度を判定する。
　例えば、信頼度判定部１５は、抽象化部１３が生成した抽象化画像データと、復元部１４２が出力した復元後抽象化画像データとの類似度に基づいて、特徴量抽出部１４１が抽出した特徴量の信頼度を判定する。具体的には、信頼度判定部１５は、例えば、復元後抽象化画像データに基づく抽象化画像（以下「復元後抽象化画像」という。）と抽象化データに基づく抽象化画像の画像間の距離（例えば、ユークリッド距離）を算出し、算出した画像間の距離の逆数を類似度とする。
　そして、信頼度判定部１５は、類似度が小さいほど特徴量の信頼度は低いと判定する。算出した画像間の距離が大きい場合、言い換えれば、類似度が小さい場合、復元後抽象化画像データは、抽象化画像データを精度よく復元されていないといえる。すなわち、自己符号化器１４は、抽象化画像データを復元するための適切な特徴量を抽出するよう学習済みではないといえる。つまり、自己符号化器１４が機械学習を行う際、抽象化画像データに対応する学習データは学習対象とならなかったと考えられる。一般に、機械学習におけるニューラルネットワークは、機械学習を行う際に学習対象とならなかった未知のデータに対する出力を保証できない。
　したがって、信頼度判定部１５は、算出した画像間の距離が大きい場合、言い換えれば、類似度が小さい場合、特徴量の信頼度が低いと判定する。
　これに対し、信頼度判定部１５は、類似度が大きいほど特徴量の信頼度は高いと判定する。算出した画像間の距離が小さい場合、言い換えれば、類似度が大きい場合、復元後抽象化画像データは、抽象化画像データを精度よく復元されているといえる。すなわち、自己符号化器１４は、抽象化画像データを復元するための適切な特徴量を抽出するよう学習済みであるといえる。
　したがって、信頼度判定部１５は、算出した画像間の距離が小さい場合、言い換えれば、類似度が大きい場合、特徴量の信頼度が高いと判定できる。
　信頼度判定部１５は、例えば、類似度と予め設定されている閾値（以下「類似度判定用閾値」という。）との比較によって、特徴量の信頼度は高いか、低いかを判定する。例えば、信頼度判定部１５は、類似度が類似度判定用閾値以上の場合、特徴量の信頼度は高いと判定する。一方、信頼度判定部１５は、類似度が類似度判定用閾値未満の場合、特徴量の信頼度は低いと判定する。
　信頼度判定部１５は、抽象化画像データと復元後抽象化画像データに基づき、例えば、他車両または歩行者等、車両１００周辺の環境に存在する物体ごとの復元誤差を、重心位置の差異またはＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ　ｏｖｅｒ　Ｕｎｉｏｎ）によって算出し、算出した復元誤差の逆数を類似度としてもよい。信頼度判定部１５は、例えば、物体ごとの類似度がいずれも類似度判定用閾値以上であれば、特徴量の信頼度は高いと判定し、物体ごとの類似度のいずれか１つでも類似度判定用閾値未満であれば、特徴量の信頼度は低いと判定する。
　また、信頼度判定部１５は、例えば、抽象化画像データと復元後抽象化画像データの部分的な類似度に基づいて、特徴量抽出部１４１が抽出した特徴量の信頼度を判定してもよい。
　具体的には、信頼度判定部１５は、抽象化画像データが示す抽象化画像と復元後抽象化画像データが示す復元後抽象化画像で表現されている車両１００周辺の環境に存在する物体の領域のうち、特徴量の信頼度の判定に用いない領域についてはマスクをかける。信頼度判定部１５は、抽象化画像データと復元後抽象化画像データの類似度を算出する際にはマスクがかかっていない部分の類似度を算出し、算出した類似度と類似度判定用閾値との比較によって、特徴量抽出部１４１が抽出した特徴量の信頼度を判定する。
　特徴量の信頼度の判定に用いない領域は、例えば、推論部１６による車両１００の制御量の推論に影響しないと想定される物体を示す領域であり、当該領域は予め設定されている。推論部１６の詳細については、後述する。
　ここで、図６は、実施の形態１において、信頼度判定部１５が、特徴量の信頼度を判定する際にマスクをかけた抽象化画像データで示される抽象化画像の一例を説明するための図である。
　図６は、一例として、図２Ｂに示した車両１００の位置をあらわす抽象化画像（図２Ｂの５ａ）、車両１００が走行可能な領域、すなわち、車線の地形をあらわす抽象化画像（図２Ｂの５ｂ）、他車両の位置をあらわす抽象化画像（図２Ｂの５ｃ）、歩行者の位置をあらわす抽象化画像（図２Ｂの５ｄ）に対して、信頼度判定部１５がそれぞれ、特徴量の信頼度の判定に用いない領域にマスクをかけた後の抽象化画像のイメージを示している。
　なお、図６において５ａ’は、図２Ｂにて５ａで示す抽象化画像に対してマスクをかけた後の抽象化画像のイメージを示す。図６において５ｂ’は、図２Ｂにて５ｂで示す抽象化画像に対してマスクをかけた後の抽象化画像のイメージを示す。図６において５ｃ’は、図２Ｂにて５ｃで示す抽象化画像に対してマスクをかけた後の抽象化画像のイメージを示す。図６において５ｄ’は、図２Ｂにて５ｄで示す抽象化画像に対してマスクをかけた後の抽象化画像のイメージを示す。
　例えば、実環境（図２Ａ参照）において、車両１００が走行する道路に直交する道路に設置されている信号が赤信号であるとする。この場合、車両１００が走行する道路に直交する道路の状況が車両１００の走行に与える影響は、小さい。すなわち、車両１００が走行する道路に直交する道路の状況が車両１００の制御量に与える影響は小さい。よって、信頼度判定部１５は、車両１００が走行する道路に直交する道路の状況を表現している領域、具体的には、車両１００が走行している車線に直交する車線、当該道路を走行中の他車両、および、当該道路の横断歩道を横断している歩行者にマスクをかける。なお、信頼度判定部１５は、環境データに基づけば赤信号を判定できる。
　その結果、図２Ｂの５ｂで表現されていた車線の地形のうち、車両１００が走行している車線に直交する車線の領域にマスクがかけられる（図６の５ｂ’参照）。また、図２Ｂの５ｃで表現されていた他車両のうち、５４で示されていた他車両が位置する領域にマスクがかけられる（図６の５ｃ’参照）。また、図２Ｂの５ｄで表現されていた歩行者が位置する領域の部分にはすべてマスクがかけられる（図６の５ｄ’参照）。
　なお、図６では、信頼度判定部１５が、抽象化画像データに対してマスクをかける一例について説明したが、信頼度判定部１５は、復元後抽象化画像データに対しても、同様の方法でマスクをかける。
　また、例えば、信頼度判定部１５は、抽象化部１３が生成した抽象化データと、復元部１４２が出力した復元後抽象化データとの類似度について、基準となる物体周辺の環境に存在する物体の種類ごとに重みをつけた上で、信頼度を判定してもよい。具体的には、実施の形態１では、信頼度判定部１５は、例えば、抽象化部１３が生成した抽象化画像データと、復元部１４２が出力した復元後抽象化画像データとの類似度について、車両１００周辺の環境に存在する物体の種類ごとに重みをつけた上で、信頼度を判定してもよい。
　以上の説明では、信頼度判定部１５は、特徴量抽出部１４１が抽出した特徴量の信頼度を、「高い」または「低い」のように離散値であらわしたが、これは一例に過ぎない。例えば、信頼度判定部１５は、特徴量抽出部１４１が抽出した特徴量の信頼度を、「０」～「１」までの数値のように連続値であらわしてもよい。信頼度判定部１５は、例えば、抽象化画像データと復元後抽象化画像データとの類似度に応じて、特徴量の信頼度を判定する。例えば、類似度がどれぐらいである場合に、信頼度をどれぐらいと判定するかは、予め決められている。
　信頼度判定部１５は、判定した信頼度に関する情報を、推論結果出力部１７に出力する。
　推論部１６は、特徴量抽出部１４１が出力した特徴量を入力として推論結果を出力する、学習済みのニューラルネットワークである。
　実施の形態１では、推論部１６は、特徴量抽出部１４１が出力した特徴量を入力として車両１００の制御量を出力する。
　推論部１６は、任意のニューラルネットワークである。例えば、推論部１６は、人が車両１００のテスト走行を行うことで収集された環境データに基づいて生成された抽象化画像データと適切な車両１００の制御量の組を学習データとし、当該学習データに基づいて、いわゆる教師あり学習によって学習させたニューラルネットワークとする。また、例えば、推論部１６は、シミュレータによって収集された環境データに基づいて生成された抽象化画像データと適切な車両１００の制御量の組を学習データとし、当該学習データに基づいて、いわゆる教師あり学習によって学習させたニューラルネットワークとしてもよい。
　なお、推論部１６の入力とする特徴量は、学習済みの特徴量抽出部１４１を使用し、特徴量抽出部１４１が抽象化部１３から出力された抽象化データを入力として出力した特徴量とする。
　推論結果出力部１７は、信頼度判定部１５から出力された信頼度に関する情報、および、推論部１６が出力した推論結果に基づき、信頼度判定部１５が判定した信頼度を、推論部１６が出力した推論結果に対する信頼度として、推論結果と信頼度とを対応付けて、制御装置３に出力する。
　具体的には、実施の形態１では、推論結果出力部１７は、信頼度判定部１５から出力された信頼度に関する情報、および、推論部１６が出力した車両１００の制御量に基づき、信頼度判定部１５が判定した信頼度を、推論部１６が出力した車両１００の制御量に対する信頼度として、車両１００の制御量と信頼度とを対応付けて制御装置３に出力する。
　上述のとおり、信頼度判定部１５が判定する信頼度は、抽象化データから抽出された特徴量に対する信頼度である。また、推論部１６は、抽象化データから抽出された特徴量を入力として車両１００の制御量を推論する。
　よって、例えば、特徴量の信頼度が低い場合、当該信頼度が低い特徴量を入力として得られた車両１００の制御量も、信頼に足るものではないといえる。一方、例えば、特徴量の信頼度が高い場合、当該信頼度が高い特徴量を入力として得られた車両１００の制御量も、信頼に足るものであるといえる。
　実施の形態１に係る信頼度判定装置１の動作について説明する。
　図７は、実施の形態１に係る信頼度判定装置１の動作を説明するためのフローチャートである。
　例えば、車両１００の自動運転中、図７のフローチャートで説明する動作が繰り返される。
　取得部１１は、センサ２から入力データを取得する（ステップＳＴ１）。
　具体的には、取得部１１は、入力データとして、環境データを取得する。
　取得部１１は、取得した入力データ、言い換えれば、環境データを、将来環境予測部１２に出力する。
　また、取得部１１は、取得した環境データを、記憶部に記憶させる。
　将来環境予測部１２は、ステップＳＴ１にて取得部１１が取得した環境データに基づき将来的な環境を予測する（ステップＳＴ２）。
　将来環境予測部１２は、予測した将来的な環境に関するデータを、環境データと対応付けて、抽象化部１３に出力する。
　抽象化部１３は、ステップＳＴ１にて取得部１１が取得した入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成する（ステップＳＴ３）。
　具体的には、抽象化部１３は、ステップＳＴ１にて取得部１１が取得した環境データに基づき、当該環境データを抽象的な表現形式で示した抽象化画像データを生成する。
　例えば、抽象化部１３は、ステップＳＴ１にて取得部１１が取得した環境データと、ステップＳＴ２にて将来環境予測部１２が予測した将来的な環境に関するデータに基づき、将来環境予測部１２が予測した将来的な環境を反映した抽象化画像データを生成してもよい。また、抽象化部１３は、過去の車両１００周辺の環境を反映した抽象化画像データを生成してもよい。
　また、抽象化部１３は、ステップＳＴ１にて取得部１１が取得した環境データと、ステップＳＴ２にて将来環境予測部１２が予測した将来的な環境に関するデータに基づき、過去から将来における車両１００周辺の環境を示す時系列の抽象化画像データを生成してもよい。
　抽象化部１３は、生成した抽象化画像データを、特徴量抽出部１４１および信頼度判定部１５に出力する。
　なお、抽象化部１３が将来的な環境に基づいて抽象化画像データを生成する機能を有しない場合、信頼度判定装置１の動作は、ステップＳＴ２を省略することができる。
　特徴量抽出部１４１は、ステップＳＴ３にて抽象化部１３から出力された抽象化画像データを入力として当該抽象化画像データの本質的な特徴を示す特徴量を抽出して出力する（ステップＳＴ４）。
　復元部１４２は、ステップＳＴ４にて特徴量抽出部１４１から出力された特徴量を入力として、ステップＳＴ３にて抽象化部１３が生成した抽象化画像データを復元した復元後抽象化画像データを出力する（ステップＳＴ５）。
　信頼度判定部１５は、ステップＳＴ３にて抽象化部１３が生成した抽象化画像データと、ステップＳＴ５にて復元部１４２が出力した復元後抽象化画像データとに基づき、ステップＳＴ４にて特徴量抽出部１４１が抽象化画像データから抽出した特徴量の信頼度を判定する（ステップＳＴ６）。
　信頼度判定部１５は、判定した信頼度に関する情報を、推論結果出力部１７に出力する。
　推論部１６は、ステップＳＴ４にて特徴量抽出部１４１が出力した特徴量を入力として車両１００の制御量を出力する（ステップＳＴ７）。
　推論結果出力部１７は、ステップＳＴ６にて信頼度判定部１５から出力された信頼度に関する情報、および、ステップＳＴ７にて推論部１６が出力した車両１００の制御量に基づき、信頼度判定部１５が判定した信頼度を、推論部１６が出力した車両１００の制御量に対する信頼度として、車両１００の制御量と信頼度とを対応付けて制御装置３に出力する（ステップＳＴ８）。
　このように、信頼度判定装置１は、取得した入力データ、言い換えれば、環境データに基づき、当該環境データを抽象的な表現形式で示した抽象化データ、言い換えれば、抽象化画像データを生成する。信頼度判定装置１は、生成した抽象化画像データを入力として抽象化画像データの特徴量を出力するニューラルネットワーク（特徴量抽出部１４１）を用いて抽象化画像データの特徴量を得、当該特徴量を入力として抽象化画像データを復元した復元後抽象化画像データを出力するニューラルネットワーク（復元部１４２）を用いて復元後抽象化画像データを得る。そして、信頼度判定装置１は、抽象化画像データと復元後抽象化画像データとに基づき、抽象化画像データから得られた特徴量の信頼度を判定する。
　上述のとおり、近年、ニューラルネットワークを応用した技術の研究および開発が多くの分野で進められている。例えば、カメラで撮影した画像などの環境に関するデータと、その環境における適切な運転行動の組をニューラルネットワークで学習することで、自動運転を実現する技術が開発されている。
　一方、ニューラルネットワークは、一般に、学習範囲外のデータに対しては正答率が低下する。
　そこで、上述したように、従来、学習済みの自己符号化器を用いて、ニューラルネットワークの入力データが学習範囲内のデータか否かを判定する技術が知られている。
　しかし、従来技術では、推論時に想定され得る、無数の状況に対応することができない。
　例えば、上述したような、自動運転を実現する技術でいうと、道路形状、周辺車両の形状、または、歩行者の服等、自動運転を行う車両の周辺の状況は、無数に存在する。これに対し、ニューラルネットワークの学習データとして、ありとあらゆる状況を網羅した学習データを用意することは困難である。そうすると、従来技術では、入力データと学習データとの差異が、無数の状況を想定した学習データを用意することが困難なことに起因する差異であり、その差異が推論結果に影響しない差異であったとしても、入力データは学習範囲外のデータであると判定される可能性がある。
　上述したような、自動運転を実現する技術でいうと、例えば、学習データにおける歩行者の服装と、推論時の実際の状況における歩行者の服装とが異なるだけで、推論時の入力データは学習範囲外と判定される可能性がある。
　また、ニューラルネットワークの学習には大量の学習データが必要なため、ニューラルネットワークの学習のための学習データが、シミュレータで生成される場合がある。しかし、シミュレータで生成される学習データには、例えば、実環境特有の情報が含まれていない。そのため、従来技術では、入力データが学習範囲内のデータであるか否かの判定精度、言い換えれば、ニューラルネットワークの推論結果の判定精度が低下する可能性がある。
　これに対し、実施の形態１に係る信頼度判定装置１は、自己符号化器（特徴量抽出部１４１）に対して入力データをそのまま入力して、入力データが学習範囲内のデータであるか否か、すなわち、特徴量が信頼するに足りるか否かを判定するのではなく、入力データに基づき抽象化データを生成し、自己符号化器に対して抽象化データを入力して、当該抽象化データから抽出された特徴量が信頼するに足りるか否かを判定する。そして、信頼度判定装置１は、特徴量が信頼するに足りるか否かを判定することで、ニューラルネットワーク（推論部１６）の推論結果が信頼に足りるか否かを判定する。
　抽象化データは、入力データを構成する各部の細部が捨象されたデータであるため、信頼度判定装置１は、例えば、学習データにおける歩行者の服装と、推論時の実際の状況における歩行者の服装が異なるだけで、入力データ、より詳細には、抽象化データから抽出された特徴量が信頼に足るものではないと判定することがない。つまり、信頼度判定装置１は、例えば、学習データにおける歩行者の服装と、推論時の実際の状況における歩行者の服装が異なるだけで、ニューラルネットワーク（推論部１６）の推論結果が信頼に足るものではないと判定することがない。このように、信頼度判定装置１は、推論時に無数の状況が発生し得ることを考慮して、ニューラルネットワークの推論結果の信頼度を判定することができる。
　図８Ａおよび図８Ｂは、実施の形態１に係る信頼度判定装置１のハードウェア構成の一例を示す図である。
　実施の形態１において、取得部１１と、将来環境予測部１２と、抽象化部１３と、信頼度判定部１５と、推論結果出力部１７の機能は、処理回路１００１により実現される。すなわち、信頼度判定装置１は、車両１００周辺の環境に関する環境データに基づき生成された抽象化画像データから特徴量を取得し、当該特徴量を入力として推論された推論結果である車両１００の制御量の信頼度を判定する制御を行うための処理回路１００１を備える。
　処理回路１００１は、図８Ａに示すように専用のハードウェアであっても、図８Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１００４であってもよい。
　処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
　処理回路がプロセッサ１００４の場合、取得部１１と、将来環境予測部１２と、抽象化部１３と、信頼度判定部１５と、推論結果出力部１７の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１００５に記憶される。プロセッサ１００４は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、取得部１１と、将来環境予測部１２と、抽象化部１３と、信頼度判定部１５と、推論結果出力部１７の機能を実行する。すなわち、信頼度判定装置１は、プロセッサ１００４により実行されるときに、上述の図７のステップＳＴ１～ステップＳＴ８が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、取得部１１と、将来環境予測部１２と、抽象化部１３と、信頼度判定部１５と、推論結果出力部１７の処理の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、取得部１１と、将来環境予測部１２と、抽象化部１３と、信頼度判定部１５と、推論結果出力部１７の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、取得部１１と推論結果出力部１７については専用のハードウェアとしての処理回路１００１でその機能を実現し、取得部１１と、将来環境予測部１２と、抽象化部１３と、信頼度判定部１５と、推論結果出力部１７についてはプロセッサ１００４がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　また、信頼度判定装置１は、センサ２または制御装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。
　以上の実施の形態１では、信頼度判定装置１は、車両１００に搭載される車載装置とし、取得部１１と、将来環境予測部１２と、抽象化部１３と、自己符号化器１４と、信頼度判定部１５と、推論部１６と、推論結果出力部１７は、信頼度判定装置１に備えられていた。
　これに限らず、取得部１１と、将来環境予測部１２と、抽象化部１３と、自己符号化器１４と、信頼度判定部１５と、推論部１６と、推論結果出力部１７のうち、一部が車両１００の車載装置に備えられ、その他は当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとで信頼度判定システムを構成してもよい。
　また、以上の実施の形態１では、推論部１６は信頼度判定装置１に備えられていたが、これは一例に過ぎない。推論部１６は、信頼度判定装置１の外部の、信頼度判定装置１が参照可能な装置に備えられてもよい。
　また、以上の実施の形態１では、一例として、基準となる物体は車両１００とし、信頼度判定装置１が自動運転可能な車両１００に適用され、信頼度判定装置１は、推論した制御量の信頼度を判定することを想定した。しかし、これは一例に過ぎない。
　基準となる物体は、工場内のフォークリフト、無人搬送車、産業用ロボット、または、航空機等、種々の移動体とし、信頼度判定装置１は、種々の移動体を制御するための制御量を推論するとともに、推論した制御量の信頼度を判定することもできる。
　例えば、信頼度判定装置１において、取得部１１が取得する入力データは移動体周辺の環境に関する環境データとし、抽象化部１３が生成する抽象化データは、移動体周辺の環境を示す画像データとできる。特徴量抽出部１４１は、画像データを入力として特徴量を出力し、復元部１４２は、特徴量抽出部１４１が出力した特徴量を入力として、特徴量から画像データを復元した復元後の画像データを出力し、信頼度判定部１５は、画像データと復元後の画像データとに基づき信頼度を判定できる。
　なお、以上の実施の形態１では、制御装置３は、車両１００の自動運転制御を行う自動運転制御装置を想定していたが、これは一例に過ぎない。制御装置３は、フォークリフト、無人搬送車、産業用ロボット、または、航空機等の移動体の運転制御を行う自動運転制御装置としてもよい。制御装置３は、信頼度判定装置１から出力される推論結果および信頼度に基づき種々の制御を行う装置とできる。
　また、推論部１６による推論結果は制御量に限らない。すなわち、信頼度判定装置１が信頼度を判定する対象となる推論結果は制御量に限らない。例えば、推論部１６は、車両１００内の環境に関する環境データに基づいて生成された抽象化データから、車両１００内の乗員の状態を推論することもできる。この場合、推論部１６は、特徴量を入力とし車両１００内の乗員の状態に関するデータ（以下「乗員状態データ」という。）を出力するよう学習済みのニューラルネットワークである。信頼度判定装置１は、抽象化データと復元部１４２が復元した復元後抽象化データとの類似度に基づき、特徴量抽出部１４１が抽象化データに基づいて出力した特徴量の信頼度を判定することで、推論部１６が出力した乗員状態データの信頼度を判定する。なお、実施の形態１において、移動体には人も含まれる。
　信頼度判定装置１の推論結果出力部１７は、信頼度判定部１５が判定した信頼度を、推論部１６が出力した乗員状態データに対する信頼度として、乗員状態データと信頼度とを対応付けて出力する。
　また、例えば、推論部１６は、車両１００周辺または車両１００内の環境に関する環境データに基づいて生成された抽象化データから、車両１００が不足の事態に陥る可能性がある場合の警報装置作動の必要性を推論することもできる。この場合、推論部１６は、特徴量を入力とし車両１００が不足の事態に陥る可能性がある場合の警報装置作動の必要性に関するデータを出力するよう学習済みのニューラルネットワークである。信頼度判定装置１は、抽象化データと復元部１４２が復元した復元後抽象化データとの類似度に基づき、特徴量抽出部１４１が抽象化データに基づいて出力した特徴量の信頼度を判定することで、推論部１６から出力された、車両１００が不測の事態に陥る可能性に関するデータの信頼度を判定する。
　信頼度判定装置１の推論結果出力部１７は、信頼度判定部１５が判定した信頼度を、推論部１６が出力した、車両１００が不測の事態に陥る可能性に関するデータに対する信頼度として、車両１００が不測の事態に陥る可能性に関するデータと信頼度とを対応付けて出力する。
　また、以上の実施の形態１では、入力データは基準となる物体周辺の環境データとしていたが、これは一例に過ぎない。入力データは、基準となる物体周辺の環境によらず、基準となる物体そのものの状況を示すデータであってもよい。
　例えば、入力データは、動植物の状況に関する動植物データとしてもよい。推論部１６は、動植物データに基づいて生成された抽象化データから、動植物の種別を推論する。この場合、推論部１６は、特徴量を入力とし動植物の種別に関するデータ（以下「動植物種別データ」という。）を出力するよう学習済みのニューラルネットワークである。信頼度判定装置１の信頼度判定部１５は、動植物データから生成した抽象化データと復元部１４２が復元した復元後抽象化データとの類似度に基づき、特徴量抽出部１４１が抽象化データに基づいて出力した特徴量の信頼度を判定することで、推論部１６から出力された動植物種別データの信頼度を判定する。信頼度判定装置１の推論結果出力部１７は、信頼度判定部１５が判定した信頼度を、推論部１６が出力した動植物種別データに対する信頼度として、動植物種別データと信頼度とを対応付けて出力する。
　なお、この場合、基準となる物体は動植物である。このように、基準となる物体は、移動体以外の物体とすることもできる。
　以上のように、実施の形態１によれば、信頼度判定装置１は、入力データを取得する取得部１１と、取得部１１が取得した入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成する抽象化部１３と、抽象化部１３が生成した抽象化データを入力として当該抽象化データの特徴量を出力する特徴量抽出部１４１と、特徴量抽出部１４１が出力した特徴量を入力として抽象化データを復元した復元後抽象化データを出力する復元部１４２と、抽象化部１３が生成した抽象化データと復元部１４２が出力した復元後抽象化データとに基づき、特徴量抽出部１４１が出力した特徴量の信頼度を判定する信頼度判定部１５を備えるように構成した。そのため、信頼度判定装置１は、推論時に無数の状況が発生し得ることを考慮して、ニューラルネットワークの推論結果の信頼度を判定することができる。
　なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　本開示に係る信頼度判定装置は、推論時に無数の状況が発生し得ることを考慮して、ニューラルネットワークの推論結果の信頼度を判定することができる。
　１　信頼度判定装置、２　センサ、３　制御装置、１１　取得部、１２　将来環境予測部、１３　抽象化部、１４　自己符号化器、１４１　特徴量抽出部、１４２　復元部、１５　信頼度判定部、１６　推論部、１７　推論結果出力部、１００　車両、１００１　処理回路、１００２　入力インタフェース装置、１００３　出力インタフェース装置、１００４　プロセッサ、１００５　メモリ。

Claims (9)

  1. 　入力データを取得する取得部と、
    　前記取得部が取得した前記入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成する抽象化部と、
    　前記抽象化部が生成した前記抽象化データを入力として当該抽象化データの特徴量を出力する特徴量抽出部と、
    　前記特徴量抽出部が出力した前記特徴量を入力として前記抽象化データを復元した復元後抽象化データを出力する復元部と、
    　前記抽象化部が生成した前記抽象化データと前記復元部が出力した前記復元後抽象化データとに基づき、前記特徴量抽出部が出力した前記特徴量の信頼度を判定する信頼度判定部
    　を備えた信頼度判定装置。
  2. 　前記特徴量抽出部は学習済みの自己符号化器における符号化部で構成され、
    　前記復元部は前記自己符号化器における複合部で構成される
    　ことを特徴とする請求項１記載の信頼度判定装置。
  3. 　前記取得部が取得する前記入力データは環境に関する環境データであり、
    　前記取得部が取得した前記環境データに基づき将来的な前記環境を予測する将来環境予測部を備え、
    　前記抽象化部は、前記取得部が取得した前記環境データと、前記将来環境予測部が予測した前記将来的な前記環境に関するデータに基づき、前記抽象化データを生成する
    　ことを特徴とする請求項１記載の信頼度判定装置。
  4. 　前記取得部が取得する前記入力データは移動体周辺の環境に関する環境データであり、
    　前記抽象化部が生成する前記抽象化データは、前記移動体周辺の環境を示す画像データであり、
    　前記特徴量抽出部は、前記画像データを入力として前記特徴量を出力し、
    　前記復元部は、前記特徴量抽出部が出力した前記特徴量を入力として、前記特徴量から前記画像データを復元した前記復元後の前記画像データを出力し、
    　前記信頼度判定部は、前記画像データと前記復元後の前記画像データとに基づき前記信頼度を判定する
    　ことを特徴とする請求項１記載の信頼度判定装置。
  5. 　前記取得部が取得した前記環境データに基づき将来的な前記環境を予測する将来環境予測部を備え、
    　前記抽象化部は、前記取得部が取得した前記環境データと前記将来環境予測部が予測した前記将来的な前記環境に基づき、過去から将来における前記移動体周辺の前記環境を示す時系列の前記画像データを生成する
    　ことを特徴とする請求項４記載の信頼度判定装置。
  6. 　前記特徴量抽出部が出力した前記特徴量を入力として推論結果を出力する推論部と、
    　前記信頼度判定部が判定した前記信頼度を、前記推論部が出力した前記推論結果に対する前記信頼度として、前記推論結果と前記信頼度とを対応付けて出力する推論結果出力部
    　とを備えた請求項１記載の信頼度判定装置。
  7. 　前記取得部が取得する前記入力データは車両周辺の環境に関する環境データであり、
    　前記抽象化部が生成する前記抽象化データは、前記車両周辺の環境に関する画像データであり、
    　前記特徴量抽出部は、前記画像データを入力として前記特徴量を出力し、
    　前記復元部は、前記特徴量抽出部が出力した前記特徴量を入力として、前記特徴量から前記画像データを復元した前記復元後の前記画像データを出力し、
    　前記信頼度判定部は、前記画像データと前記復元後の前記画像データとに基づき前記信頼度を判定し、
    　前記推論部は、前記特徴量抽出部が出力した前記特徴量を入力として前記車両の制御量を出力し、
    　前記推論結果出力部は、前記信頼度判定部が判定した前記信頼度を、前記推論部が出力した前記車両の制御量に対する前記信頼度として、前記車両の制御量と前記信頼度とを対応付けて出力する
    　ことを特徴とする請求項６記載の信頼度判定装置。
  8. 　前記取得部が取得する前記入力データは車両内の環境に関する環境データであり、
    　前記抽象化部は、前記取得部が取得した前記環境データに基づいて前記抽象化データを生成し、
    　前記推論部は、前記特徴量抽出部が出力した前記特徴量を入力として前記車両の乗員の状態に関する乗員状態データを出力し、
    　前記推論結果出力部は、前記信頼度判定部が判定した前記信頼度を、前記推論部が出力した前記乗員状態データに対する前記信頼度として、前記乗員状態データと前記信頼度とを対応付けて出力する
    　ことを特徴とする請求項６記載の信頼度判定装置。
  9. 　取得部が、入力データを取得するステップと、
    　抽象化部が、前記取得部が取得した前記入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成するステップと、
    　特徴量抽出部が、前記抽象化部が生成した前記抽象化データを入力として当該抽象化データの特徴量を出力するステップと、
    　復元部が、前記特徴量抽出部が出力した前記特徴量を入力として前記抽象化データを復元した復元後抽象化データを出力するステップと、
    　信頼度判定部が、前記抽象化部が生成した前記抽象化データと前記復元部が出力した前記復元後抽象化データとに基づき、前記特徴量抽出部が出力した前記特徴量の信頼度を判定するステップ
    　とを備える信頼度判定方法。
PCT/JP2021/011826 2021-03-23 2021-03-23 信頼度判定装置および信頼度判定方法 WO2022201276A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021541630A JP6972444B1 (ja) 2021-03-23 2021-03-23 信頼度判定装置および信頼度判定方法
PCT/JP2021/011826 WO2022201276A1 (ja) 2021-03-23 2021-03-23 信頼度判定装置および信頼度判定方法
US18/231,488 US20230386219A1 (en) 2021-03-23 2023-08-08 Reliability determination device and reliability determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/011826 WO2022201276A1 (ja) 2021-03-23 2021-03-23 信頼度判定装置および信頼度判定方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/231,488 Continuation US20230386219A1 (en) 2021-03-23 2023-08-08 Reliability determination device and reliability determination method

Publications (1)

Publication Number Publication Date
WO2022201276A1 true WO2022201276A1 (ja) 2022-09-29

Family

ID=78605633

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/011826 WO2022201276A1 (ja) 2021-03-23 2021-03-23 信頼度判定装置および信頼度判定方法

Country Status (3)

Country Link
US (1) US20230386219A1 (ja)
JP (1) JP6972444B1 (ja)
WO (1) WO2022201276A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7370495B2 (ja) * 2021-03-22 2023-10-27 三菱電機株式会社 制御装置および制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018205920A (ja) * 2017-05-31 2018-12-27 富士通株式会社 学習プログラム、学習方法および物体検知装置
WO2019151393A1 (ja) * 2018-01-31 2019-08-08 株式会社ニチレイフーズ 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法
JP2019139277A (ja) * 2018-02-06 2019-08-22 オムロン株式会社 評価装置、動作制御装置、評価方法、及び評価プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018205920A (ja) * 2017-05-31 2018-12-27 富士通株式会社 学習プログラム、学習方法および物体検知装置
WO2019151393A1 (ja) * 2018-01-31 2019-08-08 株式会社ニチレイフーズ 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法
JP2019139277A (ja) * 2018-02-06 2019-08-22 オムロン株式会社 評価装置、動作制御装置、評価方法、及び評価プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CAI PEIDE; WANG HENGLI; SUN YUXIANG; LIU MING: "DiGNet: Learning Scalable Self-Driving Policies for Generic Traffic Scenarios with Graph Neural Networks", 2021 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS), IEEE, 27 September 2021 (2021-09-27), pages 8979 - 8984, XP034051669, DOI: 10.1109/IROS51168.2021.9636376 *
HONGYU LI ; HAIRONG WANG ; LUYANG LIU ; MARCO GRUTESER: "Automatic Unusual Driving Event Identification for Dependable Self-Driving", EMBEDDED NETWORKED SENSOR SYSTEMS, ACM, 2 PENN PLAZA, SUITE 701NEW YORKNY10121-0701USA, 4 November 2018 (2018-11-04) - 7 November 2018 (2018-11-07), 2 Penn Plaza, Suite 701New YorkNY10121-0701USA , pages 15 - 27, XP058418730, ISBN: 978-1-4503-5952-8, DOI: 10.1145/3274783.3274838 *
ZENG, W. Y. ET AL., DSDNET: DEEP STRUCTURED SELF- DRIVING NETWORK [ ONLINE, 13 August 2020 (2020-08-13), XP081740211, Retrieved from the Internet <URL:https://arxiv.org/pdf/2008.06041.pdf?utm_source> [retrieved on 20210420] *

Also Published As

Publication number Publication date
JP6972444B1 (ja) 2021-11-24
JPWO2022201276A1 (ja) 2022-09-29
US20230386219A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
CN112703459B (zh) 对抗场景的迭代生成
US20220212693A1 (en) Method and apparatus for trajectory prediction, device and storage medium
CN112868022A (zh) 自动驾驶车辆的驾驶场景
US11472442B2 (en) Map consistency checker
US9053433B2 (en) Assisting vehicle guidance over terrain
Kanagaraj et al. Deep learning using computer vision in self driving cars for lane and traffic sign detection
CN115667045A (zh) 用于模拟控制的智能体行为模型
CN111507160B (zh) 集成从执行协同驾驶的车辆获取的行驶图像的方法及装置
US11645360B2 (en) Neural network image processing
CN110986945B (zh) 基于语义高度地图的局部导航方法和系统
KR20190109663A (ko) 차량의 주행을 보조하는 전자 장치 및 방법
CN117056153A (zh) 校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统和计算机程序产品
US20230386219A1 (en) Reliability determination device and reliability determination method
CN116703966A (zh) 多对象跟踪
CN117015792A (zh) 有凹图像放大用于自动驾驶生成物体检测标签的系统和方法
CN116142233A (zh) 载具灯分类系统
CN116182875A (zh) 一种基于图神经网络的临时道路路径规划方法及系统
Herman et al. Pedestrian behavior prediction for automated driving: Requirements, metrics, and relevant features
Beglerovic et al. Polar occupancy map-a compact traffic representation for deep learning scenario classification
US20210383213A1 (en) Prediction device, prediction method, computer program product, and vehicle control system
Prakash et al. Multiple Objects Identification for Autonomous Car using YOLO and CNN
JP7143538B2 (ja) 運転支援装置および運転支援方法
Dangi et al. Free space and lane boundary fault recognition and prediction for independent vehicles using machine learning
Krueger et al. Recognition Beyond Perception: Environmental Model Completion by Reasoning for Occluded Vehicles
Marques Analysis of Traffic Signs and Traffic Lights for Autonomously Driven Vehicles

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021541630

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21932887

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21932887

Country of ref document: EP

Kind code of ref document: A1