WO2022201780A1 - 推定装置およびプログラム - Google Patents
推定装置およびプログラム Download PDFInfo
- Publication number
- WO2022201780A1 WO2022201780A1 PCT/JP2022/001592 JP2022001592W WO2022201780A1 WO 2022201780 A1 WO2022201780 A1 WO 2022201780A1 JP 2022001592 W JP2022001592 W JP 2022001592W WO 2022201780 A1 WO2022201780 A1 WO 2022201780A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- inference model
- inference
- estimation
- reliability
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Definitions
- the present invention relates to an estimation device and program.
- Patent Literature 1 describes an arousal level estimation system for estimating the arousal level of a driver of a vehicle.
- multiple reference models are created for use in estimating the degree of wakefulness in preprocessing, and the reference model that matches the driver is used in real-time processing to estimate the degree of wakefulness of the driver while driving the vehicle. be done.
- the average value and variance value of the Mahalanobis distance calculated by the distance calculation unit and the average value and variance value of the Mahalanobis distance in each parametric density function model of the selected arousal level are calculated.
- a parametric density function model having the closest mean value and variance value is selected from among all the selected arousal level parametric density function models that are compared with each other. That is, in the technique described in Patent Literature 1, the reference model used for estimation is selected without considering the reliability of the estimation result using the reference model. Therefore, the technique described in Patent Literature 1 cannot perform estimation using a reference model whose estimation results are highly reliable.
- AI artificial intelligence
- ADAS advanced driver assistance system
- image recognition model the process of detecting a traffic signal in a miscellaneous landscape is completely different from the process of detecting the illuminated part of a traffic signal floating in the shadow of a nearly pitch-black night, and these are combined into a common inference model. is difficult.
- some kind of external information unsunrise/sunset time, weather information
- the inference model for daytime is applied after sunrise time, but in reality it is cloudy and the surroundings are dark and the application is not appropriate;
- the inference model for nighttime is applied after sunset time.
- an object of the present invention is to provide an estimation device and a program capable of calculating the reliability of an estimation result and performing estimation using an inference model with a high reliability of the estimation result. . Specifically, it is an object of the present invention to provide an inference device and a program that can flexibly switch between inference models based on an image input to the inference model or confidence calculated by the model. .
- One aspect of the present embodiment uses one inference model among a plurality of inference models including at least a first inference model and a second inference model, based on an output signal from an imaging unit or a detection unit, Selecting from the plurality of inference models, an arithmetic unit that performs estimation for a predetermined purpose and calculates the reliability of the estimation result, and an inference model whose reliability of the estimation result calculated by the arithmetic unit is higher than a threshold.
- the plurality of inference models are used by the arithmetic unit for estimating the same purpose, and under a first situation, the reliability of the estimation result by the arithmetic unit using the first inference model is higher than the reliability of the estimation result by the computing unit using an inference model other than the first inference model among the plurality of inference models, and under a second situation different from the first situation, the second 2 Estimation, wherein the reliability of the estimation result by the calculation unit using the inference model is higher than the reliability of the estimation result by the calculation unit using an inference model other than the second inference model among the plurality of inference models. It is a device.
- One aspect of the present embodiment is that a computer uses one inference model out of a plurality of inference models including at least a first inference model and a second inference model, so that an output signal from an imaging unit or a detection unit a computing step of estimating a predetermined objective and calculating the reliability of the estimation result based on the above-mentioned plurality of inferences; a selection step of selecting from models, wherein the plurality of inference models are used for estimating the same purpose in the calculation step, and under a first situation, the first inference model is used; the reliability of the estimation result in the computing step using the inference model that was used is higher than the reliability of the estimation result in the computing step using an inference model other than the first inference model among the plurality of inference models, and under the first situation and under a different second situation, the reliability of the estimation result in the computing step using the second inference model is lower than the computing step using an inference model other than the second inference model among the plurality of inference models It is a program that
- calculation of the reliability of the estimation result and estimation using an inference model with a high reliability of the estimation result can be performed.
- FIG. 2 is a diagram for explaining an example of a first inference model and a second inference model used for estimation performed by a computing unit of the estimation device shown in FIG. 1; 4 is a flowchart for explaining an example of processing executed by the estimation device of the first embodiment;
- FIG. 1 is a diagram showing an example of an estimation system S to which the estimation device 1 of the first embodiment is applied.
- the estimation system S is a system for performing estimation for a predetermined purpose (for example, estimation of information used in traffic sign recognition of ADAS (advanced driving assistance system)).
- the estimation system S includes an imaging unit S1, a detection unit S2, a storage unit S3, and an estimation device 1.
- the imaging unit S1 captures an image used for estimating the predetermined purpose described above (for example, estimating information used in traffic sign recognition).
- the imaging unit S1 captures, for example, an image used for estimating the presence or absence of a traffic signal and the color of the traffic signal.
- the imaging unit S1 includes, for example, an ADAS camera.
- the imaging unit S1 for example, an in-vehicle camera mounted on a drive recorder can be used.
- the detection unit S2 detects an object or the like used for estimation of the above-described predetermined purpose (for example, estimation of information used in traffic sign recognition).
- the detection unit S2 detects, for example, the presence or absence of a traffic signal, the position of the traffic signal, and the like.
- the detector S2 includes, for example, an ADAS radar, an ADAS LiDAR (Light Detection and Ranging), and the like.
- a radar mounted on a vehicle, LiDAR, or the like can be used.
- the storage unit S3 stores a plurality of inference models such as a first inference model and a second inference model, which will be described later.
- a plurality of inference models such as the first inference model and the second inference model, are used for estimating the predetermined purpose described above (for example, estimating information used in traffic sign recognition).
- a plurality of inference models such as a first inference model and a second inference model are stored in the storage unit S3.
- inference model may be provided in the estimation device 1 .
- the estimation device 1 performs estimation for the above-described predetermined purpose (for example, estimation of information used in ADAS traffic sign recognition).
- the estimating device 1 functions as an edge AI device.
- the AI function consists of an inference model based on deep learning and logic for comprehensively interpreting the inference results.
- An inference model is specialized for a specific scene and purpose, and it is necessary to adopt an appropriate inference model result depending on the situation in order to satisfy the functional requirements. Therefore, in the example shown in FIG. 1, the estimation device 1 includes an acquisition unit 1A, a calculation unit 1B, and a selection unit 1C.
- the acquisition unit 1A acquires an output signal from the imaging unit S1. That is, the acquiring unit 1A acquires image data captured by the imaging unit S1.
- the acquisition unit 1A acquires the output signal from the detection unit S2. Furthermore, the acquisition unit 1A acquires a plurality of inference models such as the first inference model and the second inference model stored in the storage unit S3.
- the calculation unit 1B uses one of the plurality of inference models acquired by the acquisition unit 1A to estimate the above-described predetermined purpose based on the output signal from the imaging unit S1 or the detection unit S2. (e.g. estimation of information used in ADAS traffic sign recognition). For example, the calculation unit 1B estimates a predetermined purpose based on at least one of a camera output signal, a radar output signal, and a LiDAR output signal as an output signal from the imaging unit S1 or the detection unit S2. Further, the calculation unit 1B uses one inference model out of a plurality of inference models to calculate the reliability of the estimation result performed based on the output signal from the imaging unit S1 or the detection unit S2.
- FIG. 2 is a diagram for explaining an example of a first inference model and a second inference model used for estimation performed by the calculation unit 1B of the estimation device 1 shown in FIG.
- the first inference model and the second inference model are used to estimate the presence or absence of a traffic light and the color of the traffic light included in the image captured by the imaging unit S1. That is, the first inference model and the second inference model are used by the calculation unit 1B for estimation for the same purpose.
- the first inference model is the daytime inference model
- the second inference model is the nighttime inference model.
- the calculation unit 1B uses the first inference model (daytime inference model) to determine the presence or absence of a traffic light included in the image captured by the imaging unit S1 in the daytime on a clear day and the presence of the traffic light. When the color is estimated, "0.9" is calculated as the reliability of the estimation result.
- the calculation unit 1B uses the second inference model (nighttime inference model) to estimate the presence or absence of a traffic light and the color of the traffic light included in the image captured by the imaging unit S1 during the daytime under fine weather. , "0.5" is calculated as the reliability of the estimation result. Confidence is an index that is close to "1.0" for a reliable estimation result and "0.5" for an indeterminate result (that is, an unreliable estimation result).
- the calculation unit 1B uses the first inference model (daytime inference model) to determine the presence or absence of a traffic light included in the image captured by the imaging unit S1 in the daytime on a cloudy day and the presence of the traffic light. When the color is estimated, "0.9" is calculated as the reliability of the estimation result.
- the calculation unit 1B uses the second inference model (nighttime inference model) to estimate the presence or absence of a traffic light and the color of the traffic light included in the image captured by the imaging unit S1 during the daytime on a cloudy day. , "0.5" is calculated as the reliability of the estimation result.
- the calculation unit 1B uses the first inference model (daytime inference model) to determine the presence or absence of a traffic light included in the image captured by the imaging unit S1 in the early morning or evening, and the presence of the traffic light. When the color is estimated, "0.8" is calculated as the reliability of the estimation result.
- the calculation unit 1B uses the second inference model (nighttime inference model) to estimate the presence or absence of a traffic light and the color of the traffic light included in the image captured by the imaging unit S1 in the early morning or evening. , "0.7" is calculated as the reliability of the estimation result.
- the calculation unit 1B uses the first inference model (daytime inference model) to determine the presence or absence of a traffic light included in the image captured by the image capturing unit S1 during bright nighttime in a downtown area or the like. And when the color of the traffic light is estimated, "0.5" is calculated as the reliability of the estimation result.
- the calculation unit 1B uses a second inference model (nighttime inference model) to estimate the presence or absence of a traffic light and the color of the traffic light included in the image captured by the imaging unit S1 in a bright nighttime such as a downtown area. 0.9 is calculated as the reliability of the estimation result.
- the calculation unit 1B uses the first inference model (daytime inference model) to determine whether or not there is a traffic light included in the image captured by the imaging unit S1 at night when there are few street lights, and whether or not the traffic light exists. , the reliability of the estimation result is calculated as "0.5".
- the calculation unit 1B uses the second inference model (nighttime inference model) to estimate the presence or absence of a traffic light and the color of the traffic light included in the image captured by the imaging unit S1 at night when there are few street lights. Then, "0.9" is calculated as the reliability of the estimation result.
- the first inference model daytime inference model
- the reliability of the estimation result by the calculation unit 1B using an inference model other than the first inference model i.e., the second inference model
- the second inference model nighttime inference model
- the reliability of the estimation result by the calculation unit 1B is higher than the reliability of the estimation result by the calculation unit 1B using an inference model other than the second inference model (that is, the first inference model) among the plurality of inference models.
- the selection unit 1C flexibly switches the inference model used for estimation by the calculation unit 1B. Specifically, the selection unit 1C selects an inference model whose reliability of the estimation result calculated by the calculation unit 1B is higher than a threshold (for example, "0.7" in the example shown in FIG. 2) from a plurality of inference models. Choose from models. Furthermore, the calculation unit 1B uses the inference model selected by the selection unit 1C to estimate the presence or absence of a traffic light and the color of the traffic light included in the image captured by the imaging unit S1. That is, when the reliability value for the result of each inference model shown in FIG. 2 decreases, by applying the other inference model, the Only the results can be used to apply the optimal inference model.
- a threshold for example, "0.7" in the example shown in FIG. 2
- the presence or absence of a traffic light and the color of the traffic light included in the image captured by the imaging unit S1 at night when there are few street lights are first estimated by the calculation unit 1B using the first inference model (daytime inference model).
- the calculation unit 1B calculates "0.5" as the reliability of the estimation result. Since the reliability of the estimation result "0.5" is equal to or less than the threshold "0.7", the selection unit 1C determines that the reliability of the estimation result calculated by the calculation unit 1B is higher than the threshold "0.7". select the second inference model (nighttime inference model).
- the inference model used for estimating the presence or absence of a traffic light and the color of the traffic light included in the image captured by the imaging unit S1 at night when there are few street lights is changed from the first inference model (daytime inference model) to the second inference model ( nighttime inference model).
- the calculation unit 1B uses the second inference model (nighttime inference model) to estimate the presence or absence of a traffic light and the color of the traffic light included in the image captured by the imaging unit S1 at night when there are few street lights.
- the presence or absence of a traffic light and the color of the traffic light included in the image captured by the imaging unit S1 at night when there are few street lights are first estimated by the calculation unit 1B using the second inference model (nighttime inference model).
- the calculation unit 1B calculates "0.9” as the reliability of the estimation result. Since the reliability of the estimation result "0.9” is higher than the threshold "0.7", the selection unit 1C makes the reliability of the estimation result calculated by the calculation unit 1B higher than the threshold "0.7".
- Select the second inference model nighttime inference model. That is, the inference model used for estimating the presence or absence of a traffic light and the color of the traffic light included in the image captured by the imaging unit S1 at night when there are few street lights is changed from the second inference model (nighttime inference model) to the first inference model ( Inference model for daytime) cannot be switched.
- the second inference model (nighttime inference model)
- the result is adopted as the final estimation result.
- the calculation unit 1B uses the first inference model (daytime inference model) to estimate the presence or absence of a traffic light and the color of the traffic light included in the image captured by the imaging unit S1 at night when there are few street lights.
- the calculation unit 1B performs estimation using the first inference model (daytime inference model) "0.5" is calculated as the reliability of the result, and "0.9” is calculated as the reliability of the estimation result using the second inference model (nighttime inference model).
- the reliability of the estimation result using the first inference model is less than or equal to the threshold value "0.7”
- the estimation result using the second inference model Since the reliability "0.9” is higher than the threshold "0.7”
- the selection unit 1C selects a second inference model ( nighttime inference model). Furthermore, by using the second inference model (nighttime inference model), the estimation of the presence or absence of a traffic light and the color of the traffic light included in the image captured by the imaging unit S1 at night when there are few street lights, performed by the calculation unit 1B. The result is adopted as the final estimation result.
- the reliability of the estimation result by the calculation unit 1B using the first inference model (daytime inference model) is “0.9”.
- the reliability of the estimation result by the calculation unit 1B using an inference model (that is, the second inference model (nighttime inference model)) other than the first inference model (daytime inference model) among the plurality of inference models is "0 .5" higher.
- the reliability of the estimation result by the calculation unit 1B using the second inference model (nighttime inference model) "0.9" is estimated by the calculation unit 1B using an inference model (that is, the first inference model (daytime inference model)) other than the second inference model (nighttime inference model) among the plurality of inference models.
- the reliability of the result is higher than "0.5".
- a first inference model (daytime inference model) and a second inference model ( Inference models for night use) are used, but in another example, three or more inference models may be used for estimation of a predetermined purpose by the calculation unit 1B.
- two inference models for each time period are used, but in another example, three or more inference models for each time period ( For example, a first inference model (daytime inference model), a second inference model (nighttime inference model), a third inference model (daytime suburban inference model), a fourth inference model (daytime urban inference model), a fifth An inference model (nighttime suburban inference model), a sixth inference model (nighttime city area inference model), etc.) may be used.
- two inference models for each time zone are used, but in another example, a plurality of weather-specific inference models (for example, the second 1 inference model (inference model for fine weather), second inference model (inference model for rainy weather), etc.) may be used.
- the reliability of the estimation result by the calculation unit 1B using the first inference model is determined by a plurality of weather-specific inference models.
- the reliability of the estimation result by the calculation unit 1B using the inference model is higher than the reliability of the estimation result by the calculation unit 1B using the inference model (that is, the second inference model (rainy weather inference model)) other than the first inference model (inference model for fine weather).
- the reliability of the estimation result by the calculation unit 1B using the second inference model (rainy weather inference model) degree is the estimation result by the calculation unit 1B using an inference model (that is, the first inference model (fine weather inference model)) other than the second inference model (rainy weather inference model) among the plurality of weather-specific inference models. higher than reliability.
- the calculation unit 1B estimates a predetermined purpose using three or more weather-specific inference models (for example, a first inference model (inference model for fine weather), a second inference model (inference model for rainy weather), a third 3 inference model (inference model for snow), 4th inference model (inference model for lightning), 5th inference model (inference model for whiteout), etc.) may be used.
- three or more weather-specific inference models for example, a first inference model (inference model for fine weather), a second inference model (inference model for rainy weather), a third 3 inference model (inference model for snow), 4th inference model (inference model for lightning), 5th inference model (inference model for whiteout), etc.
- two inference models for each time zone are used, but in another example, a plurality of disaster-specific inference models (for example, the second 1 inference model (inference model for flood), 2nd inference model (inference model for landslide), etc.) may be used.
- a plurality of disaster-specific inference models for example, the second 1 inference model (inference model for flood), 2nd inference model (inference model for landslide), etc.
- the reliability of the estimation result by the calculation unit 1B using the first inference model is From the reliability of the estimation result by the calculation unit 1B using the inference model (that is, the second inference model (landslide inference model)) other than the first inference model (inference model for flood) among the plurality of inference models for each disaster high.
- a second inference model is the inference model other than the second inference model (inference model for landslide) among the plurality of inference models by disaster (that is, the first inference model (inference model for flood )) is higher than the reliability of the estimation result by the calculation unit 1B using )).
- the estimation of the predetermined purpose by the calculation unit 1B includes three or more disaster-specific inference models (for example, the first inference model (flood inference model), the second inference model (landslide inference model), the 3 inference model (inference model for forest fire), 4th inference model (inference model for lava flow), etc.) may be used.
- the first inference model for example, the first inference model (flood inference model), the second inference model (landslide inference model), the 3 inference model (inference model for forest fire), 4th inference model (inference model for lava flow), etc.
- an appropriate inference model can be selected to implement AI functions.
- FIG. 3 is a flowchart for explaining an example of processing executed in the estimation device 1 of the first embodiment.
- the calculation unit 1B selects one of a plurality of inference models including a first inference model (for example, daytime inference model) and a second inference model (for example, nighttime inference model).
- a first inference model for example, daytime inference model
- a second inference model for example, nighttime inference model.
- estimation of a predetermined purpose such as the presence or absence of a traffic light and estimation of color
- the output signal eg, camera image data, etc.
- step S12 the selection unit 1C determines whether the reliability of the estimation result calculated in step S11 is higher than a threshold. If the reliability of the estimation result calculated in step S11 is higher than the threshold, for example, the selection unit 1C adopts the estimation result performed in step S10 as the final estimation result, and ends the routine shown in FIG. do. On the other hand, when the reliability of the estimation result calculated in step S11 is equal to or less than the threshold, the process proceeds to step S13.
- step S13 the selection unit 1C selects an inference model whose reliability of the estimation result calculated in step S11 is higher than a threshold from a plurality of inference models. Then, the process returns to step S10.
- step S10 executed for the second time the calculation unit 1B uses the inference model selected in step S13, based on the output signal (eg, camera image data, etc.) from the imaging unit S1 or the detection unit S2. , for a given purpose (eg, traffic light presence and color estimation).
- step S11 executed for the second time the calculation unit 1B calculates the reliability of the estimation result performed in step S10 executed for the second time.
- step S12 executed for the second time for example, the selection unit 1C determines whether or not the reliability of the estimation result calculated in step S11 executed for the second time is higher than a threshold. Since the reliability of the estimation result calculated in step S11 executed for the second time is higher than the threshold, for example, the selection unit 1C selects the estimation result performed in step S10 executed for the second time as the final estimation result. It is adopted and the routine shown in FIG. 3 is terminated.
- the estimating device 1 of the second embodiment is configured in the same manner as the estimating device 1 of the first embodiment described above, except for the points described later. Therefore, according to the estimation device 1 of the second embodiment, the effects similar to those of the estimation device 1 of the first embodiment described above can be obtained except for the points described later.
- the estimation system S performs estimation for a predetermined purpose (for example, information used in ADAS traffic sign recognition (for example, the presence or absence of a traffic light) and color of traffic lights).
- a predetermined purpose for example, information used in ADAS traffic sign recognition (for example, the presence or absence of a traffic light) and color of traffic lights.
- the estimation system S performs estimation for a predetermined purpose (for example, information used in ADAS driver monitoring (for example, presence or absence of inattentiveness of the driver) , whether the driver is dozing off, whether the driver is talking, etc.).
- the estimation system S includes an imaging unit S1, a detection unit S2, a storage unit S3, and an estimation device 1, as in the example shown in FIG.
- the imaging unit S1 captures an image used for estimating the above-described predetermined purpose (for example, estimating information used in driver monitoring).
- the imaging unit S1 captures an image used for estimating, for example, whether or not the driver is distracted, whether or not the driver is dozing off, or whether or not the driver is making a phone call.
- the imaging unit S1 includes, for example, an ADAS camera.
- the estimation system S does not have to include the detector S2 (eg, radar for ADAS, LiDAR for ADAS, etc.).
- the storage unit S3 stores a plurality of inference models such as a first inference model and a second inference model.
- a plurality of inference models such as the first inference model and the second inference model are used for estimating the above-described predetermined purpose (for example, estimating information used in driver monitoring).
- the estimation device 1 may be provided with a plurality of inference models such as a first inference model and a second inference model.
- the estimation device 1 performs the above-described estimation of the predetermined purpose (for example, estimation of information used in ADAS driver monitoring (for example, Any one of estimating whether the driver is distracted, estimating whether the driver is dozing off, or estimating whether the driver is talking on the phone)).
- the estimating device 1 functions as an edge AI device. If the driver's inattentiveness, the driver's dozing off, or the driver's call behavior is estimated, for example, a dangerous driving warning is issued to the driver.
- the estimation device 1 of the second embodiment as in the example shown in FIG.
- the acquisition unit 1A acquires an output signal from the imaging unit S1. That is, the acquiring unit 1A acquires image data captured by the imaging unit S1. Also, the acquisition unit 1A acquires the output signal from the detection unit S2. Furthermore, the acquisition unit 1A acquires a plurality of inference models such as the first inference model and the second inference model stored in the storage unit S3.
- the calculation unit 1B uses one of the plurality of inference models acquired by the acquisition unit 1A to estimate the above-described predetermined purpose based on the output signal from the imaging unit S1 or the detection unit S2. (for example, estimation of information used in ADAS driver monitoring). Further, the calculation unit 1B uses one inference model out of a plurality of inference models to calculate the reliability of the estimation result performed based on the output signal from the imaging unit S1 or the detection unit S2.
- the first inference model and the second inference model are used to estimate the motion of the driver included in the image captured by the imaging unit S1. . That is, the first inference model and the second inference model are used by the calculation unit 1B for estimation for the same purpose. Also, the first inference model is a daytime inference model, and the second inference model is a nighttime inference model.
- the image of the driver captured by the imaging unit S1 (for example, an in-vehicle camera) has a natural color in the daytime, but at night there is no external light, and the image is IR (infrared)-LED (light emitting diode) illumination. Since it is imaging, it becomes close to a monochromatic light and dark image.
- a daytime inference model and a nighttime inference model can be selectively used depending on the hue distribution of the input image.
- the calculation unit 1B uses the first inference model (for example, the daytime inference model) to capture the When estimating the behavior of the driver included in the image (for example, estimating whether the driver is distracted, estimating whether the driver is falling asleep, estimating whether the driver is talking, etc.) , a value higher than the threshold is calculated as the reliability of the estimation result.
- the calculation unit 1B uses a second inference model (for example, a nighttime inference model) to estimate the motion of the driver included in the image captured by the imaging unit S1 in the daytime under fine weather. A value below the threshold is calculated as the reliability of the estimation result.
- the calculation unit 1B uses the first inference model (for example, the daytime inference model) to capture the When estimating the behavior of the driver included in the image (for example, estimating whether the driver is distracted, estimating whether the driver is falling asleep, estimating whether the driver is talking, etc.) , a value higher than the threshold is calculated as the reliability of the estimation result.
- the calculation unit 1B uses a second inference model (for example, a nighttime inference model) to estimate the motion of the driver included in the image captured by the imaging unit S1 during the daytime on a cloudy day. A value below the threshold is calculated as the reliability of the estimation result.
- the calculation unit 1B uses a first inference model (for example, a daytime inference model) to capture images captured by the imaging unit S1 early in the morning or in the evening.
- a value higher than the threshold is calculated as the reliability of the estimation result.
- the calculation unit 1B uses a second inference model (for example, a nighttime inference model) to estimate the motion of the driver included in the image captured by the imaging unit S1 in the early morning or evening. A value below the threshold is calculated as the reliability of the estimation result.
- the calculation unit 1B uses the first inference model (for example, the daytime inference model) to perform Estimation of the driver's behavior included in the captured image (for example, estimation of whether the driver is distracted, whether the driver is dozing off, or whether the driver is talking on the phone) is performed. is calculated, a value equal to or less than the threshold value is calculated as the reliability of the estimation result.
- the calculation unit 1B uses the second inference model (for example, the nighttime inference model) to estimate the motion of the driver included in the image captured by the imaging unit S1 at night when the image is bright in a downtown area or the like. Then, a value higher than the threshold is calculated as the reliability of the estimation result.
- the calculation unit 1B uses a first inference model (for example, a daytime inference model) to capture images captured by the imaging unit S1 at night when there are few street lights.
- a first inference model for example, a daytime inference model
- the actions of the driver included in the image captured for example, estimating whether the driver is distracted, estimating whether the driver is falling asleep, estimating whether the driver is talking, etc.
- a value below the threshold is calculated as the reliability of the estimation result.
- the calculation unit 1B uses a second inference model (for example, a nighttime inference model) to estimate the motion of the driver included in the image captured by the imaging unit S1 at night when there are few street lights, A value higher than the threshold value is calculated as the reliability of the estimation result.
- a second inference model for example, a nighttime inference model
- the first inference the first inference
- the reliability of the estimation result by the calculation unit 1B using the model is the calculation unit using the inference model (that is, the second inference model) other than the first inference model among the plurality of inference models. It is higher than the reliability of the estimation result by 1B.
- calculation unit 1B using a second inference model is higher than the reliability of the estimation result by the calculation unit 1B using an inference model other than the second inference model (that is, the first inference model) among the plurality of inference models.
- the selection unit 1C flexibly switches the inference model used for estimation by the calculation unit 1B. Specifically, the selection unit 1C selects an inference model for which the reliability of the estimation result calculated by the calculation unit 1B is higher than a threshold from a plurality of inference models. Furthermore, the calculation unit 1B uses the inference model selected by the selection unit 1C to estimate the motion of the driver included in the image captured by the imaging unit S1 (for example, to estimate whether or not the driver is distracted, estimation of whether or not the driver is dozing off, estimation of whether or not the driver is making a phone call, etc.).
- estimation of a predetermined purpose by the calculation unit 1B (specifically, estimation of whether or not the driver is distracted, Three or more inference models may be used for any of the presence/absence estimation and the estimation of the presence/absence of the driver's call action.
- estimation of a predetermined purpose by the calculation unit 1B for example, estimation of whether the driver is distracted, estimation of whether the driver is dozing off, driving two inference models for each time zone (specifically, the first inference model (daytime inference model) and the second inference model (nighttime inference model)) is used, in another example, three or more inference models for each time period may be used for estimation of a predetermined purpose by the calculation unit 1B.
- estimation of a predetermined purpose by the calculation unit 1B for example, estimation of whether the driver is distracted, estimation of whether the driver is dozing off, driving 2 inference models for each time zone (specifically, the first inference model (daytime inference model) and the second inference model (nighttime inference model)
- driving 2 inference models for each time zone specifically, the first inference model (daytime inference model) and the second inference model (nighttime inference model)
- a plurality of weather-specific inference models for example, a first inference model (inference model for fine weather), a second inference model (inference model for rainy weather ) etc.
- three or more weather-specific inference models may be used for estimation of a predetermined purpose by the calculation unit 1B.
- estimation of a predetermined purpose by the calculation unit 1B for example, estimation of whether the driver is distracted, estimation of whether the driver is dozing off, driving 2 inference models for each time zone (specifically, the first inference model (daytime inference model) and the second inference model (nighttime inference model)) is used, but in another example, a plurality of disaster-specific inference models (for example, a first inference model (inference model for flood), a second inference model (inference model for landslide ) etc.) may be used. In still another example of the estimation system S to which the estimation device 1 of the second embodiment is applied, three or more disaster-specific inference models may be used for estimation of a predetermined purpose by the calculation unit 1B.
- a predetermined purpose by the calculation unit 1B for example, estimation of whether the driver is distracted, estimation of whether the driver is dozing off, driving 2 inference models for each time zone (specifically, the first inference model (daytime inference model) and the second inference model (nighttime inference model)
- a third embodiment of the estimation device and program of the present invention will be described below.
- the estimating device 1 of the third embodiment is configured in the same manner as the estimating device 1 of the first embodiment described above, except for points described later. Therefore, according to the estimation device 1 of the third embodiment, the effects similar to those of the estimation device 1 of the first embodiment described above can be obtained except for the points described later.
- the estimation system S performs estimation for a predetermined purpose (for example, information used in ADAS traffic sign recognition (for example, the presence or absence of a traffic light) and color of traffic lights).
- a predetermined purpose for example, information used in ADAS traffic sign recognition (for example, the presence or absence of a traffic light) and color of traffic lights).
- the estimation system S performs estimation for a predetermined purpose (for example, estimation of information used in ADAS adaptive cruise control).
- the estimation system S performs estimation for a predetermined purpose (for example, estimation of information used in ADAS forward collision warning).
- the estimation system S estimates a predetermined purpose (for example, estimation of information used in the ADAS collision damage mitigation braking control device). .
- the estimation system S estimates a predetermined purpose (for example, estimation of information used in ADAS night vision / pedestrian detection). .
- the estimation system S performs estimation for a predetermined purpose (for example, estimation of information used in ADAS lane departure warning).
- the estimation system S performs estimation for a predetermined purpose (for example, estimation of information used in a lane departure prevention support system for ADAS).
- a predetermined purpose for example, estimation of information used in a lane departure prevention support system for ADAS.
- the estimation system S performs estimation for a predetermined purpose (for example, estimation of information used in ADAS blind spot monitoring).
- the estimation system S performs estimation for a predetermined purpose (for example, estimation of information used in ADAS rear cross traffic alert).
- the estimation system S estimates a predetermined purpose (for example, estimation of information used in ADAS automatic headlamp optical axis adjustment). .
- the estimation system S performs estimation for a predetermined purpose (for example, estimation of information used in advanced parking assistance of ADAS).
- each unit provided in the estimation device 1 or the estimation system S in the above-described embodiment can be obtained by recording a program for realizing these functions in a computer-readable recording medium and storing the program in the recording medium. It may be realized by loading and executing the program recorded in the computer system.
- the "computer system” referred to here includes hardware such as an OS and peripheral devices.
- the term "computer-readable recording medium” refers to portable media such as flexible discs, magneto-optical discs, ROMs and CD-ROMs, and storage units such as hard discs incorporated in computer systems.
- “computer-readable recording medium” means a medium that dynamically retains a program for a short period of time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It may also include a device that holds a program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or client in that case. Further, the program may be for realizing part of the functions described above, or may be capable of realizing the functions described above in combination with a program already recorded in the computer system.
- the estimation device 1 and the program according to the embodiment are for, for example, estimating a predetermined purpose (for example, estimating information used in traffic sign recognition of an advanced driving support system), and are used in any type of industry. Since it can be implemented or used, it has industrial applicability.
- SYMBOLS 1... Estimation apparatus, 1A... Acquisition part, 1B... Calculation part, 1C... Selection part, S... Estimation system, S1... Imaging part, S2... Detection part, S3... Storage part
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
Abstract
推定装置は、第1推論モデルと第2推論モデルとを含む複数の推論モデルのうちの1つの推論モデルを用い、撮像部または検出部からの出力信号に基づいて、所定の目的の推定と推定結果の信頼度の算出とを行う演算部と、推定結果の信頼度が閾値より高くなる推論モデルを複数の推論モデルから選択する選択部とを備え、複数の推論モデルは、演算部によって同一の目的の推定に用いられ、第1状況下では、第1推論モデルを用いた推定結果の信頼度が複数の推論モデルのうちの第1推論モデル以外の推論モデルを用いた推定結果の信頼度より高く、第1状況下とは異なる第2状況下では、第2推論モデルを用いた推定結果の信頼度が複数の推論モデルのうちの第2推論モデル以外の推論モデルを用いた推定結果の信頼度より高い。
Description
本発明は、推定装置およびプログラムに関する。
特許文献1には、車両のドライバの覚醒度を推定するための覚醒度推定システムについて記載されている。特許文献1に記載された技術では、前処理で覚醒度を推定する際に用いる参照モデルが複数作成され、リアルタイム処理でドライバに合った参照モデルを用いて車両運転中のドライバの覚醒度が推定される。
ところで、特許文献1に記載された技術では、距離計算部で計算したマハラノビス距離の平均値および分散値と、選択された覚醒度の各パラメトリック密度関数モデルにおけるマハラノビス距離の平均値および分散値とがそれぞれ比較され、選択された全ての覚醒度のパラメトリック密度関数モデルの中から平均値および分散値が最も近いパラメトリック密度関数モデルが選択される。
つまり、特許文献1に記載された技術では、参照モデルを用いた推定結果の信頼度が考慮されることなく、推定に用いられる参照モデルが選択される。
そのため、特許文献1に記載された技術では、推定結果の信頼度が高い参照モデルを用いた推定を行うことができない。
ところで、特許文献1に記載された技術では、距離計算部で計算したマハラノビス距離の平均値および分散値と、選択された覚醒度の各パラメトリック密度関数モデルにおけるマハラノビス距離の平均値および分散値とがそれぞれ比較され、選択された全ての覚醒度のパラメトリック密度関数モデルの中から平均値および分散値が最も近いパラメトリック密度関数モデルが選択される。
つまり、特許文献1に記載された技術では、参照モデルを用いた推定結果の信頼度が考慮されることなく、推定に用いられる参照モデルが選択される。
そのため、特許文献1に記載された技術では、推定結果の信頼度が高い参照モデルを用いた推定を行うことができない。
AI(人工知能)機能はその目的によって、異なる推論モデルを実行する必要がある。例えは、高度運転支援システム(ADAS)において信号機の検出を行うための推論モデルは、昼間の場合と夜間の場合で異なるものを適用する。画像認識モデルにとって、雑多な風景物の中にある信号機を検出するプロセスと、ほぼ真っ暗な夜陰に浮かぶ信号機の照明部分を検出するプロセスとは全く異なるものであり、これらを共通の推論モデルにまとめることは困難である。
従来はこのような推論モデルの使い分けには、何らかの外部情報(日の出/日没時刻、天候情報)を用いているが、実際に入力される画像の性質と乖離することがある。例えば、(1)日の出時間後に昼間用の推論モデルが適用されているが、実際には曇天で周囲は暗く適用が適切でない、(2)日没時間を過ぎ、夜用の推論モデルが適用されているが、都市部など極めて周囲が明るい場所で適切でない、等のようなケースに柔軟に対応することが困難であった。
従来はこのような推論モデルの使い分けには、何らかの外部情報(日の出/日没時刻、天候情報)を用いているが、実際に入力される画像の性質と乖離することがある。例えば、(1)日の出時間後に昼間用の推論モデルが適用されているが、実際には曇天で周囲は暗く適用が適切でない、(2)日没時間を過ぎ、夜用の推論モデルが適用されているが、都市部など極めて周囲が明るい場所で適切でない、等のようなケースに柔軟に対応することが困難であった。
上述した問題点に鑑み、本発明は、推定結果の信頼度の算出と推定結果の信頼度が高い推論モデルを用いた推定とを行うことができる推定装置およびプログラムを提供することを目的とする。
詳細には、本発明は、推論モデルに入力される画像やモデルが算出する信頼度(Confidence)を基に、柔軟に推論モデルを切り替えることができる推定装置およびプログラムを提供することを目的とする。
詳細には、本発明は、推論モデルに入力される画像やモデルが算出する信頼度(Confidence)を基に、柔軟に推論モデルを切り替えることができる推定装置およびプログラムを提供することを目的とする。
本実施形態の一態様は、少なくとも第1推論モデルと第2推論モデルとを含む複数の推論モデルのうちの1つの推論モデルを用いることにより、撮像部または検出部からの出力信号に基づいて、所定の目的の推定を行うと共に、推定結果の信頼度の算出を行う演算部と、前記演算部によって算出される推定結果の信頼度が閾値より高くなる推論モデルを、前記複数の推論モデルから選択する選択部とを備え、前記複数の推論モデルは、前記演算部によって同一の目的の推定に用いられ、第1状況下では、前記第1推論モデルを用いた前記演算部による推定結果の信頼度が、前記複数の推論モデルのうちの前記第1推論モデル以外の推論モデルを用いた前記演算部による推定結果の信頼度より高く、前記第1状況下とは異なる第2状況下では、前記第2推論モデルを用いた前記演算部による推定結果の信頼度が、前記複数の推論モデルのうちの前記第2推論モデル以外の推論モデルを用いた前記演算部による推定結果の信頼度より高い、推定装置である。
本実施形態の一態様は、コンピュータに、少なくとも第1推論モデルと第2推論モデルとを含む複数の推論モデルのうちの1つの推論モデルを用いることにより、撮像部または検出部からの出力信号に基づいて、所定の目的の推定を行うと共に、推定結果の信頼度の算出を行う演算ステップと、前記演算ステップにおいて算出される推定結果の信頼度が閾値より高くなる推論モデルを、前記複数の推論モデルから選択する選択ステップとを実行させるためのプログラムであって、前記複数の推論モデルは、前記演算ステップにおいて同一の目的の推定に用いられ、第1状況下では、前記第1推論モデルを用いた前記演算ステップにおける推定結果の信頼度が、前記複数の推論モデルのうちの前記第1推論モデル以外の推論モデルを用いた前記演算ステップにおける推定結果の信頼度より高く、前記第1状況下とは異なる第2状況下では、前記第2推論モデルを用いた前記演算ステップにおける推定結果の信頼度が、前記複数の推論モデルのうちの前記第2推論モデル以外の推論モデルを用いた前記演算ステップにおける推定結果の信頼度より高い、プログラムである。
本実施形態によれば、推定結果の信頼度の算出と推定結果の信頼度が高い推論モデルを用いた推定とを行うことができる。
詳細には、本実施形態によれば、入力に応じてそれに適した推論モデルを、他の入力情報を必要とせず柔軟に切り替えることができる。
詳細には、本実施形態によれば、入力に応じてそれに適した推論モデルを、他の入力情報を必要とせず柔軟に切り替えることができる。
以下、本発明の推定装置およびプログラムの実施形態について、添付図面を参照して説明する。
<第1実施形態>
図1は第1実施形態の推定装置1が適用された推定システムSの一例を示す図である。
図1に示す例では、推定システムSが、所定の目的の推定(例えばADAS(高度運転支援システム)の交通標識認識において用いられる情報の推定)を行うためのシステムである。推定システムSは、撮像部S1と、検出部S2と、格納部S3と、推定装置1とを備えている。
撮像部S1は、上述した所定の目的の推定(例えば交通標識認識において用いられる情報の推定)に用いられる画像を撮像する。撮像部S1は、例えば信号機の有無および信号機の色の推定に用いられる画像などを撮像する。撮像部S1には、例えばADAS用カメラなどが含まれる。撮像部S1として、例えばドライブレコーダに搭載された車載カメラなどを用いることができる。
検出部S2は、上述した所定の目的の推定(例えば交通標識認識において用いられる情報の推定)に用いられる物体などの検出を行う。検出部S2は、例えば信号機の有無、信号機の位置などを検出する。検出部S2には、例えばADAS用レーダー、ADAS用LiDAR(Light Detection and Ranging)などが含まれる。検出部S2として、例えば車両に搭載されたレーダー、LiDARなどを用いることができる。
格納部S3は、後述する第1推論モデル、第2推論モデルなどの複数の推論モデルを格納する。第1推論モデル、第2推論モデルなどの複数の推論モデルは、上述した所定の目的の推定(例えば交通標識認識において用いられる情報の推定)に用いられる。
図1に示す例では、第1推論モデル、第2推論モデルなどの複数の推論モデルが格納部S3に格納されているが、他の例では、第1推論モデル、第2推論モデルなどの複数の推論モデルが推定装置1に備えられていてもよい。
図1は第1実施形態の推定装置1が適用された推定システムSの一例を示す図である。
図1に示す例では、推定システムSが、所定の目的の推定(例えばADAS(高度運転支援システム)の交通標識認識において用いられる情報の推定)を行うためのシステムである。推定システムSは、撮像部S1と、検出部S2と、格納部S3と、推定装置1とを備えている。
撮像部S1は、上述した所定の目的の推定(例えば交通標識認識において用いられる情報の推定)に用いられる画像を撮像する。撮像部S1は、例えば信号機の有無および信号機の色の推定に用いられる画像などを撮像する。撮像部S1には、例えばADAS用カメラなどが含まれる。撮像部S1として、例えばドライブレコーダに搭載された車載カメラなどを用いることができる。
検出部S2は、上述した所定の目的の推定(例えば交通標識認識において用いられる情報の推定)に用いられる物体などの検出を行う。検出部S2は、例えば信号機の有無、信号機の位置などを検出する。検出部S2には、例えばADAS用レーダー、ADAS用LiDAR(Light Detection and Ranging)などが含まれる。検出部S2として、例えば車両に搭載されたレーダー、LiDARなどを用いることができる。
格納部S3は、後述する第1推論モデル、第2推論モデルなどの複数の推論モデルを格納する。第1推論モデル、第2推論モデルなどの複数の推論モデルは、上述した所定の目的の推定(例えば交通標識認識において用いられる情報の推定)に用いられる。
図1に示す例では、第1推論モデル、第2推論モデルなどの複数の推論モデルが格納部S3に格納されているが、他の例では、第1推論モデル、第2推論モデルなどの複数の推論モデルが推定装置1に備えられていてもよい。
図1に示す例では、推定装置1が、上述した所定の目的の推定(例えばADASの交通標識認識において用いられる情報の推定)などを行う。推定装置1は、エッジAI機器として機能する。AI機能は、深層学習による推論モデルとその推論結果を総合的に解釈するためのロジックによって構成される。推論モデルはある特定のシーン、目的に特化したものであり、状況に応じて適当な推論モデルの結果を採用することが、機能要件を満たすために必要である。
そこで、図1に示す例では、推定装置1が、取得部1Aと、演算部1Bと、選択部1Cとを備えている。
取得部1Aは、撮像部S1からの出力信号を取得する。つまり、取得部1Aは、撮像部S1によって撮像された画像データを取得する。また、取得部1Aは、検出部S2からの出力信号を取得する。更に、取得部1Aは、格納部S3に格納されている第1推論モデル、第2推論モデルなどの複数の推論モデルを取得する。
演算部1Bは、取得部1Aによって取得された複数の推論モデルのうちの1つの推論モデルを用いることにより、撮像部S1または検出部S2からの出力信号に基づいて、上述した所定の目的の推定(例えばADASの交通標識認識において用いられる情報の推定)を行う。例えば、演算部1Bは、撮像部S1または検出部S2からの出力信号として、カメラの出力信号、レーダーの出力信号およびLiDARの出力信号の少なくともいずれかに基づいて、所定の目的の推定を行う。また、演算部1Bは、複数の推論モデルのうちの1つの推論モデルを用いることにより、撮像部S1または検出部S2からの出力信号に基づいて行われた推定結果の信頼度を算出する。
そこで、図1に示す例では、推定装置1が、取得部1Aと、演算部1Bと、選択部1Cとを備えている。
取得部1Aは、撮像部S1からの出力信号を取得する。つまり、取得部1Aは、撮像部S1によって撮像された画像データを取得する。また、取得部1Aは、検出部S2からの出力信号を取得する。更に、取得部1Aは、格納部S3に格納されている第1推論モデル、第2推論モデルなどの複数の推論モデルを取得する。
演算部1Bは、取得部1Aによって取得された複数の推論モデルのうちの1つの推論モデルを用いることにより、撮像部S1または検出部S2からの出力信号に基づいて、上述した所定の目的の推定(例えばADASの交通標識認識において用いられる情報の推定)を行う。例えば、演算部1Bは、撮像部S1または検出部S2からの出力信号として、カメラの出力信号、レーダーの出力信号およびLiDARの出力信号の少なくともいずれかに基づいて、所定の目的の推定を行う。また、演算部1Bは、複数の推論モデルのうちの1つの推論モデルを用いることにより、撮像部S1または検出部S2からの出力信号に基づいて行われた推定結果の信頼度を算出する。
図2は図1に示す推定装置1の演算部1Bによって行われる推定に用いられる第1推論モデルおよび第2推論モデルの一例を説明するための図である。
図2に示す例では、第1推論モデルおよび第2推論モデルが、撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定に用いられる。つまり、第1推論モデルおよび第2推論モデルは、演算部1Bによって同一の目的の推定に用いられる。
また、図2に示す例では、第1推論モデルが昼間用推論モデルであり、第2推論モデルが夜間用推論モデルである。
図2に示す例では、第1推論モデルおよび第2推論モデルが、撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定に用いられる。つまり、第1推論モデルおよび第2推論モデルは、演算部1Bによって同一の目的の推定に用いられる。
また、図2に示す例では、第1推論モデルが昼間用推論モデルであり、第2推論モデルが夜間用推論モデルである。
図1および図2に示す例では、演算部1Bは、第1推論モデル(昼間用推論モデル)を用いて、晴天の昼間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.9」を算出する。
一方、演算部1Bは、第2推論モデル(夜間用推論モデル)を用いて、晴天の昼間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.5」を算出する。
信頼度は、信頼できる推定結果の場合に「1.0」に近くなり、どちらとも言えない場合(つまり、信頼できる推定結果ではない場合)に「0.5」になる指標である。
一方、演算部1Bは、第2推論モデル(夜間用推論モデル)を用いて、晴天の昼間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.5」を算出する。
信頼度は、信頼できる推定結果の場合に「1.0」に近くなり、どちらとも言えない場合(つまり、信頼できる推定結果ではない場合)に「0.5」になる指標である。
図1および図2に示す例では、演算部1Bは、第1推論モデル(昼間用推論モデル)を用いて、曇天の昼間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.9」を算出する。
一方、演算部1Bは、第2推論モデル(夜間用推論モデル)を用いて、曇天の昼間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.5」を算出する。
一方、演算部1Bは、第2推論モデル(夜間用推論モデル)を用いて、曇天の昼間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.5」を算出する。
図1および図2に示す例では、演算部1Bは、第1推論モデル(昼間用推論モデル)を用いて、早朝または夕方に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.8」を算出する。
一方、演算部1Bは、第2推論モデル(夜間用推論モデル)を用いて、早朝または夕方に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.7」を算出する。
一方、演算部1Bは、第2推論モデル(夜間用推論モデル)を用いて、早朝または夕方に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.7」を算出する。
図1および図2に示す例では、演算部1Bは、第1推論モデル(昼間用推論モデル)を用いて、繁華街等の明るい夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.5」を算出する。
一方、演算部1Bは、第2推論モデル(夜間用推論モデル)を用いて、繁華街等の明るい夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.9」を算出する。
一方、演算部1Bは、第2推論モデル(夜間用推論モデル)を用いて、繁華街等の明るい夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.9」を算出する。
図1および図2に示す例では、演算部1Bは、第1推論モデル(昼間用推論モデル)を用いて、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.5」を算出する。
一方、演算部1Bは、第2推論モデル(夜間用推論モデル)を用いて、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.9」を算出する。
一方、演算部1Bは、第2推論モデル(夜間用推論モデル)を用いて、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行った場合に、その推定結果の信頼度として「0.9」を算出する。
すなわち、図1および図2に示す例では、第1状況下(例えば図2に示す「晴天の昼間」、「曇天の昼間」、「早朝・夕方」)では、第1推論モデル(昼間用推論モデル)を用いた演算部1Bによる推定結果の信頼度が、複数の推論モデルのうちの第1推論モデル以外の推論モデル(つまり、第2推論モデル)を用いた演算部1Bによる推定結果の信頼度より高い。
一方、第1状況下とは異なる第2状況下(例えば図2に示す「繁華街等の明るい夜間」、「街灯の少ない夜間」)では、第2推論モデル(夜間用推論モデル)を用いた演算部1Bによる推定結果の信頼度が、複数の推論モデルのうちの第2推論モデル以外の推論モデル(つまり、第1推論モデル)を用いた演算部1Bによる推定結果の信頼度より高い。
一方、第1状況下とは異なる第2状況下(例えば図2に示す「繁華街等の明るい夜間」、「街灯の少ない夜間」)では、第2推論モデル(夜間用推論モデル)を用いた演算部1Bによる推定結果の信頼度が、複数の推論モデルのうちの第2推論モデル以外の推論モデル(つまり、第1推論モデル)を用いた演算部1Bによる推定結果の信頼度より高い。
そこで、図1および図2に示す例では、選択部1Cが、演算部1Bによる推定に用いられる推論モデルを柔軟に切り替える。具体的には、選択部1Cは、演算部1Bによって算出される推定結果の信頼度が閾値(図2に示す例では、例えば「0.7」等)より高くなる推論モデルを、複数の推論モデルから選択する。
更に、演算部1Bは、選択部1Cによって選択された推論モデルを用いることにより、撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行う。
つまり、図2に示す各々の推論モデルの結果に対する信頼度の値が下がってきた場合に、他方の推論モデルの適用を行うことで、入力(撮像部S1によって撮像された画像)と推論モデルの結果のみで最適推論モデルの適用を行うことができる。
更に、演算部1Bは、選択部1Cによって選択された推論モデルを用いることにより、撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行う。
つまり、図2に示す各々の推論モデルの結果に対する信頼度の値が下がってきた場合に、他方の推論モデルの適用を行うことで、入力(撮像部S1によって撮像された画像)と推論モデルの結果のみで最適推論モデルの適用を行うことができる。
例えば、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定が、最初に、第1推論モデル(昼間用推論モデル)を用いて演算部1Bによって行われる例では、演算部1Bが、その推定結果の信頼度として「0.5」を算出する。その推定結果の信頼度「0.5」は、閾値「0.7」以下であるため、選択部1Cは、演算部1Bによって算出される推定結果の信頼度が閾値「0.7」より高くなる第2推論モデル(夜間用推論モデル)を選択する。つまり、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定に用いられる推論モデルが、第1推論モデル(昼間用推論モデル)から第2推論モデル(夜間用推論モデル)に切り替えられる。次いで、演算部1Bが、第2推論モデル(夜間用推論モデル)を用いることにより、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を行う。
例えば、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定が、最初に、第2推論モデル(夜間用推論モデル)を用いて演算部1Bによって行われる例では、演算部1Bが、その推定結果の信頼度として「0.9」を算出する。その推定結果の信頼度「0.9」は、閾値「0.7」より高いため、選択部1Cは、演算部1Bによって算出される推定結果の信頼度が閾値「0.7」より高くなる第2推論モデル(夜間用推論モデル)を選択する。つまり、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定に用いられる推論モデルが、第2推論モデル(夜間用推論モデル)から第1推論モデル(昼間用推論モデル)に切り替えられない。更に、第2推論モデル(夜間用推論モデル)を用いることにより演算部1Bによって行われた、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定の結果が、最終的な推定結果として採用される。
例えば、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定が、最初に、第2推論モデル(夜間用推論モデル)を用いて演算部1Bによって行われる例では、演算部1Bが、その推定結果の信頼度として「0.9」を算出する。その推定結果の信頼度「0.9」は、閾値「0.7」より高いため、選択部1Cは、演算部1Bによって算出される推定結果の信頼度が閾値「0.7」より高くなる第2推論モデル(夜間用推論モデル)を選択する。つまり、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定に用いられる推論モデルが、第2推論モデル(夜間用推論モデル)から第1推論モデル(昼間用推論モデル)に切り替えられない。更に、第2推論モデル(夜間用推論モデル)を用いることにより演算部1Bによって行われた、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定の結果が、最終的な推定結果として採用される。
例えば、演算部1Bが、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定を、第1推論モデル(昼間用推論モデル)を用いて行うと同時に、第2推論モデル(夜間用推論モデル)を用いて行うことができる例(つまり、並列推定が可能な例)では、演算部1Bが、第1推論モデル(昼間用推論モデル)を用いた推定結果の信頼度として「0.5」を算出すると共に、第2推論モデル(夜間用推論モデル)を用いた推定結果の信頼度として「0.9」を算出する。第1推論モデル(昼間用推論モデル)を用いた推定結果の信頼度「0.5」が閾値「0.7」以下であり、第2推論モデル(夜間用推論モデル)を用いた推定結果の信頼度「0.9」が閾値「0.7」より高いため、選択部1Cは、演算部1Bによって算出される推定結果の信頼度が閾値「0.7」より高くなる第2推論モデル(夜間用推論モデル)を選択する。更に、第2推論モデル(夜間用推論モデル)を用いることにより演算部1Bによって行われた、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる信号機の有無および信号機の色の推定の結果が、最終的な推定結果として採用される。
図2に示す例では、第1状況下(晴天の昼間)と第2状況下(曇天の昼間)と第3状況下(早朝・夕方)と第4状況下(繁華街等の明るい夜間)と第5状況下(街灯の少ない夜間)とを含む全状況下において、第1推論モデル(昼間用推論モデル)および第2推論モデル(夜間用推論モデル)のうちのいずれかを用いた演算部1Bによる推定結果の信頼度が閾値「0.7」より高くなるように、閾値「0.7」が設定されている。
また、図2に示す例では、第1時間帯(例えば「昼間」)においては、第1推論モデル(昼間用推論モデル)を用いた演算部1Bによる推定結果の信頼度「0.9」が、複数の推論モデルのうちの第1推論モデル(昼間用推論モデル)以外の推論モデル(つまり、第2推論モデル(夜間用推論モデル))を用いた演算部1Bによる推定結果の信頼度「0.5」より高い。更に、第1時間帯(例えば「昼間」)とは異なる第2時間帯(例えば「夜間」)においては、第2推論モデル(夜間用推論モデル)を用いた演算部1Bによる推定結果の信頼度「0.9」が、複数の推論モデルのうちの第2推論モデル(夜間用推論モデル)以外の推論モデル(つまり、第1推論モデル(昼間用推論モデル))を用いた演算部1Bによる推定結果の信頼度「0.5」より高い。
図2に示す例では、演算部1Bによる所定の目的の推定(具体的には、信号機の有無および信号機の色の推定)に、第1推論モデル(昼間用推論モデル)と第2推論モデル(夜間用推論モデル)とが用いられるが、他の例では、演算部1Bによる所定の目的の推定に、3以上の推論モデルが用いられてもよい。
図2に示す例では、演算部1Bによる所定の目的の推定(具体的には、信号機の有無および信号機の色の推定)に、時間帯別の2つの推論モデル(詳細には、第1推論モデル(昼間用推論モデル)および第2推論モデル(夜間用推論モデル))が用いられるが、他の例では、演算部1Bによる所定の目的の推定に、時間帯別の3以上の推論モデル(例えば、第1推論モデル(昼間用推論モデル)、第2推論モデル(夜間用推論モデル)、第3推論モデル(昼間郊外用推論モデル)、第4推論モデル(昼間市街地用推論モデル)、第5推論モデル(夜間郊外用推論モデル)、第6推論モデル(夜間市街地用推論モデル)等)が用いられてもよい。
図2に示す例では、演算部1Bによる所定の目的の推定(具体的には、信号機の有無および信号機の色の推定)に、2つの時間帯別推論モデル(具体的には、第1推論モデル(昼間用推論モデル)および第2推論モデル(夜間用推論モデル))が用いられるが、他の例では、演算部1Bによる所定の目的の推定に、複数の天候別推論モデル(例えば、第1推論モデル(晴天用推論モデル)、第2推論モデル(雨天用推論モデル)等)が用いられてもよい。
この例では、例えば、第1天候条件下(例えば「晴天」)においては、第1推論モデル(晴天用推論モデル)を用いた演算部1Bによる推定結果の信頼度が、複数の天候別推論モデルのうちの第1推論モデル(晴天用推論モデル)以外の推論モデル(つまり、第2推論モデル(雨天用推論モデル))を用いた演算部1Bによる推定結果の信頼度より高い。更に、第1天候条件下(「晴天」)とは異なる第2天候条件下(例えば「雨天」)においては、第2推論モデル(雨天用推論モデル)を用いた演算部1Bによる推定結果の信頼度が、複数の天候別推論モデルのうちの第2推論モデル(雨天用推論モデル)以外の推論モデル(つまり、第1推論モデル(晴天用推論モデル))を用いた演算部1Bによる推定結果の信頼度より高い。
この例では、例えば、第1天候条件下(例えば「晴天」)においては、第1推論モデル(晴天用推論モデル)を用いた演算部1Bによる推定結果の信頼度が、複数の天候別推論モデルのうちの第1推論モデル(晴天用推論モデル)以外の推論モデル(つまり、第2推論モデル(雨天用推論モデル))を用いた演算部1Bによる推定結果の信頼度より高い。更に、第1天候条件下(「晴天」)とは異なる第2天候条件下(例えば「雨天」)においては、第2推論モデル(雨天用推論モデル)を用いた演算部1Bによる推定結果の信頼度が、複数の天候別推論モデルのうちの第2推論モデル(雨天用推論モデル)以外の推論モデル(つまり、第1推論モデル(晴天用推論モデル))を用いた演算部1Bによる推定結果の信頼度より高い。
更に他の例では、演算部1Bによる所定の目的の推定に、3以上の天候別推論モデル(例えば、第1推論モデル(晴天用推論モデル)、第2推論モデル(雨天用推論モデル)、第3推論モデル(雪用推論モデル)、第4推論モデル(雷用推論モデル)、第5推論モデル(ホワイトアウト用推論モデル)等)が用いられてもよい。
図2に示す例では、演算部1Bによる所定の目的の推定(具体的には、信号機の有無および信号機の色の推定)に、2つの時間帯別推論モデル(具体的には、第1推論モデル(昼間用推論モデル)および第2推論モデル(夜間用推論モデル))が用いられるが、他の例では、演算部1Bによる所定の目的の推定に、複数の災害別推論モデル(例えば、第1推論モデル(洪水用推論モデル)、第2推論モデル(土砂崩れ用推論モデル)等)が用いられてもよい。
この例では、例えば、第1災害発生状況下(例えば「洪水」が発生した状況下)においては、第1推論モデル(洪水用推論モデル)を用いた演算部1Bによる推定結果の信頼度が、複数の災害別推論モデルのうちの第1推論モデル(洪水用推論モデル)以外の推論モデル(つまり、第2推論モデル(土砂崩れ用推論モデル))を用いた演算部1Bによる推定結果の信頼度より高い。更に、第1災害発生状況下(「洪水」が発生した状況下)とは異なる第2災害発生状況下(例えば「土砂崩れ」が発生した状況下)においては、第2推論モデル(土砂崩れ用推論モデル)を用いた演算部1Bによる推定結果の信頼度が、複数の災害別推論モデルのうちの第2推論モデル(土砂崩れ用推論モデル)以外の推論モデル(つまり、第1推論モデル(洪水用推論モデル))を用いた演算部1Bによる推定結果の信頼度より高い。
この例では、例えば、第1災害発生状況下(例えば「洪水」が発生した状況下)においては、第1推論モデル(洪水用推論モデル)を用いた演算部1Bによる推定結果の信頼度が、複数の災害別推論モデルのうちの第1推論モデル(洪水用推論モデル)以外の推論モデル(つまり、第2推論モデル(土砂崩れ用推論モデル))を用いた演算部1Bによる推定結果の信頼度より高い。更に、第1災害発生状況下(「洪水」が発生した状況下)とは異なる第2災害発生状況下(例えば「土砂崩れ」が発生した状況下)においては、第2推論モデル(土砂崩れ用推論モデル)を用いた演算部1Bによる推定結果の信頼度が、複数の災害別推論モデルのうちの第2推論モデル(土砂崩れ用推論モデル)以外の推論モデル(つまり、第1推論モデル(洪水用推論モデル))を用いた演算部1Bによる推定結果の信頼度より高い。
更に他の例では、演算部1Bによる所定の目的の推定に、3以上の災害別推論モデル(例えば、第1推論モデル(洪水用推論モデル)、第2推論モデル(土砂崩れ用推論モデル)、第3推論モデル(森林火災用推論モデル)、第4推論モデル(溶岩流用推論モデル)等)が用いられてもよい。
上述したように、第1実施形態の推定装置1が適用された推定システムSの各例では、エッジAI機器のカメラ入力画像において、天候や昼夜の別といった推論モデルを使い分ける必要がある場合に、適切な推論モデルを選択しAI機能を実現することができる。
図3は第1実施形態の推定装置1において実行される処理の一例を説明するためのフローチャートである。
図3に示す例では、ステップS10において、演算部1Bが、第1推論モデル(例えば昼間用推論モデル)と第2推論モデル(例えば夜間用推論モデル)とを含む複数の推論モデルのうちの1つの推論モデルを用いることにより、撮像部S1または検出部S2からの出力信号(例えば、カメラ画像データ等)に基づいて、所定の目的の推定(例えば信号機の有無および色の推定)を行う。
次いで、ステップS11では、演算部1Bが、ステップS10において行われた推定結果の信頼度を算出する。
次いで、ステップS12では、例えば選択部1Cが、ステップS11において算出された推定結果の信頼度が閾値より高いか否かを判定する。
ステップS11において算出された推定結果の信頼度が閾値より高い場合には、例えば選択部1Cが、ステップS10において行われた推定結果を最終的な推定結果として採用し、図3に示すルーチンを終了する。
一方、ステップS11において算出された推定結果の信頼度が閾値以下である場合には、ステップS13に進む。
図3に示す例では、ステップS10において、演算部1Bが、第1推論モデル(例えば昼間用推論モデル)と第2推論モデル(例えば夜間用推論モデル)とを含む複数の推論モデルのうちの1つの推論モデルを用いることにより、撮像部S1または検出部S2からの出力信号(例えば、カメラ画像データ等)に基づいて、所定の目的の推定(例えば信号機の有無および色の推定)を行う。
次いで、ステップS11では、演算部1Bが、ステップS10において行われた推定結果の信頼度を算出する。
次いで、ステップS12では、例えば選択部1Cが、ステップS11において算出された推定結果の信頼度が閾値より高いか否かを判定する。
ステップS11において算出された推定結果の信頼度が閾値より高い場合には、例えば選択部1Cが、ステップS10において行われた推定結果を最終的な推定結果として採用し、図3に示すルーチンを終了する。
一方、ステップS11において算出された推定結果の信頼度が閾値以下である場合には、ステップS13に進む。
ステップS13では、選択部1Cが、ステップS11において算出される推定結果の信頼度が閾値より高くなる推論モデルを、複数の推論モデルから選択する。次いで、ステップS10に戻る。
2回目に実行されるステップS10では、演算部1Bが、ステップS13において選択された推論モデルを用いることにより、撮像部S1または検出部S2からの出力信号(例えば、カメラ画像データ等)に基づいて、所定の目的の推定(例えば信号機の有無および色の推定)を行う。
次いで、2回目に実行されるステップS11では、演算部1Bが、2回目に実行されたステップS10において行われた推定結果の信頼度を算出する。
次いで、2回目に実行されるステップS12では、例えば選択部1Cが、2回目に実行されたステップS11において算出された推定結果の信頼度が閾値より高いか否かを判定する。
2回目に実行されたステップS11において算出された推定結果の信頼度は閾値より高いため、例えば選択部1Cが、2回目に実行されたステップS10において行われた推定結果を最終的な推定結果として採用し、図3に示すルーチンを終了する。
2回目に実行されるステップS10では、演算部1Bが、ステップS13において選択された推論モデルを用いることにより、撮像部S1または検出部S2からの出力信号(例えば、カメラ画像データ等)に基づいて、所定の目的の推定(例えば信号機の有無および色の推定)を行う。
次いで、2回目に実行されるステップS11では、演算部1Bが、2回目に実行されたステップS10において行われた推定結果の信頼度を算出する。
次いで、2回目に実行されるステップS12では、例えば選択部1Cが、2回目に実行されたステップS11において算出された推定結果の信頼度が閾値より高いか否かを判定する。
2回目に実行されたステップS11において算出された推定結果の信頼度は閾値より高いため、例えば選択部1Cが、2回目に実行されたステップS10において行われた推定結果を最終的な推定結果として採用し、図3に示すルーチンを終了する。
<第2実施形態>
以下、本発明の推定装置およびプログラムの第2実施形態について説明する。
第2実施形態の推定装置1は、後述する点を除き、上述した第1実施形態の推定装置1と同様に構成されている。従って、第2実施形態の推定装置1によれば、後述する点を除き、上述した第1実施形態の推定装置1と同様の効果を奏することができる。
以下、本発明の推定装置およびプログラムの第2実施形態について説明する。
第2実施形態の推定装置1は、後述する点を除き、上述した第1実施形態の推定装置1と同様に構成されている。従って、第2実施形態の推定装置1によれば、後述する点を除き、上述した第1実施形態の推定装置1と同様の効果を奏することができる。
上述したように、第1実施形態の推定装置1が適用された推定システムSの一例では、推定システムSが、所定の目的の推定(例えばADASの交通標識認識において用いられる情報(例えば信号機の有無および信号機の色)の推定)を行う。
一方、第2実施形態の推定装置1が適用された推定システムSの一例では、推定システムSが、所定の目的の推定(例えばADASのドライバーモニタリングにおいて用いられる情報(例えば、運転者のわき見の有無、運転者の居眠りの有無、運転者の通話動作の有無など)の推定)を行う。推定システムSは、図1に示す例と同様に、撮像部S1と、検出部S2と、格納部S3と、推定装置1とを備えている。
撮像部S1は、上述した所定の目的の推定(例えばドライバーモニタリングにおいて用いられる情報の推定)に用いられる画像を撮像する。撮像部S1は、例えば運転者のわき見の有無、運転者の居眠りの有無、運転者の通話動作の有無などの推定に用いられる画像などを撮像する。撮像部S1には、例えばADAS用カメラなどが含まれる。撮像部S1として、例えばドライブレコーダに搭載された車載カメラなどを用いることができる。
第2実施形態の推定装置1が適用された推定システムSの他の例では、推定システムSが、検出部S2(例えばADAS用レーダー、ADAS用LiDARなど)を備えていなくてもよい。
一方、第2実施形態の推定装置1が適用された推定システムSの一例では、推定システムSが、所定の目的の推定(例えばADASのドライバーモニタリングにおいて用いられる情報(例えば、運転者のわき見の有無、運転者の居眠りの有無、運転者の通話動作の有無など)の推定)を行う。推定システムSは、図1に示す例と同様に、撮像部S1と、検出部S2と、格納部S3と、推定装置1とを備えている。
撮像部S1は、上述した所定の目的の推定(例えばドライバーモニタリングにおいて用いられる情報の推定)に用いられる画像を撮像する。撮像部S1は、例えば運転者のわき見の有無、運転者の居眠りの有無、運転者の通話動作の有無などの推定に用いられる画像などを撮像する。撮像部S1には、例えばADAS用カメラなどが含まれる。撮像部S1として、例えばドライブレコーダに搭載された車載カメラなどを用いることができる。
第2実施形態の推定装置1が適用された推定システムSの他の例では、推定システムSが、検出部S2(例えばADAS用レーダー、ADAS用LiDARなど)を備えていなくてもよい。
第2実施形態の推定装置1が適用された推定システムSの一例では、格納部S3が、第1推論モデル、第2推論モデルなどの複数の推論モデルを格納する。第1推論モデル、第2推論モデルなどの複数の推論モデルは、上述した所定の目的の推定(例えばドライバーモニタリングにおいて用いられる情報の推定)に用いられる。
第2実施形態の推定装置1が適用された推定システムSの他の例では、第1推論モデル、第2推論モデルなどの複数の推論モデルが推定装置1に備えられていてもよい。
第2実施形態の推定装置1が適用された推定システムSの他の例では、第1推論モデル、第2推論モデルなどの複数の推論モデルが推定装置1に備えられていてもよい。
第2実施形態の推定装置1が適用された推定システムSの各例では、推定装置1が、上述した所定の目的の推定(例えばADASのドライバーモニタリングにおいて用いられる情報の推定(例えば、運転者のわき見の有無の推定、運転者の居眠りの有無の推定、運転者の通話動作の有無の推定などのいずれか))を行う。推定装置1は、エッジAI機器として機能する。運転者のわき見、運転者の居眠り、運転者の通話動作などが推定された場合には、例えば運転者に対する危険運転警告などが行われる。
第2実施形態の推定装置1が適用された推定システムSの一例では、図1に示す例と同様に、推定装置1が、取得部1Aと、演算部1Bと、選択部1Cとを備えている。
取得部1Aは、撮像部S1からの出力信号を取得する。つまり、取得部1Aは、撮像部S1によって撮像された画像データを取得する。また、取得部1Aは、検出部S2からの出力信号を取得する。更に、取得部1Aは、格納部S3に格納されている第1推論モデル、第2推論モデルなどの複数の推論モデルを取得する。
演算部1Bは、取得部1Aによって取得された複数の推論モデルのうちの1つの推論モデルを用いることにより、撮像部S1または検出部S2からの出力信号に基づいて、上述した所定の目的の推定(例えばADASのドライバーモニタリングにおいて用いられる情報の推定)を行う。また、演算部1Bは、複数の推論モデルのうちの1つの推論モデルを用いることにより、撮像部S1または検出部S2からの出力信号に基づいて行われた推定結果の信頼度を算出する。
第2実施形態の推定装置1が適用された推定システムSの一例では、図1に示す例と同様に、推定装置1が、取得部1Aと、演算部1Bと、選択部1Cとを備えている。
取得部1Aは、撮像部S1からの出力信号を取得する。つまり、取得部1Aは、撮像部S1によって撮像された画像データを取得する。また、取得部1Aは、検出部S2からの出力信号を取得する。更に、取得部1Aは、格納部S3に格納されている第1推論モデル、第2推論モデルなどの複数の推論モデルを取得する。
演算部1Bは、取得部1Aによって取得された複数の推論モデルのうちの1つの推論モデルを用いることにより、撮像部S1または検出部S2からの出力信号に基づいて、上述した所定の目的の推定(例えばADASのドライバーモニタリングにおいて用いられる情報の推定)を行う。また、演算部1Bは、複数の推論モデルのうちの1つの推論モデルを用いることにより、撮像部S1または検出部S2からの出力信号に基づいて行われた推定結果の信頼度を算出する。
第2実施形態の推定装置1が適用された推定システムSの一例では、第1推論モデルおよび第2推論モデルが、撮像部S1によって撮像された画像に含まれる運転者の動作の推定に用いられる。つまり、第1推論モデルおよび第2推論モデルは、演算部1Bによって同一の目的の推定に用いられる。また、第1推論モデルが昼間用推論モデルであり、第2推論モデルが夜間用推論モデルである。
撮像部S1(例えば車内用カメラ)によって撮像された運転者の画像は、昼間の場合自然色となるが、夜間の場合は外光が無く、IR(赤外)-LED(発光ダイオード)照明による撮像となるため、単色の明暗画像に近くなる。入力画像の色相分布によって、昼間用推論モデルと夜間用推論モデルとを使い分けることができる。
撮像部S1(例えば車内用カメラ)によって撮像された運転者の画像は、昼間の場合自然色となるが、夜間の場合は外光が無く、IR(赤外)-LED(発光ダイオード)照明による撮像となるため、単色の明暗画像に近くなる。入力画像の色相分布によって、昼間用推論モデルと夜間用推論モデルとを使い分けることができる。
第2実施形態の推定装置1が適用された推定システムSの一例では、演算部1Bは、第1推論モデル(例えば昼間用推論モデル)を用いて、晴天の昼間に撮像部S1によって撮像された画像に含まれる運転者の動作の推定(例えば、運転者のわき見の有無の推定、運転者の居眠りの有無の推定、運転者の通話動作の有無の推定などのいずれか)を行った場合に、その推定結果の信頼度として閾値より高い値を算出する。
一方、演算部1Bは、第2推論モデル(例えば夜間用推論モデル)を用いて、晴天の昼間に撮像部S1によって撮像された画像に含まれる運転者の動作の推定を行った場合に、その推定結果の信頼度として閾値以下の値を算出する。
一方、演算部1Bは、第2推論モデル(例えば夜間用推論モデル)を用いて、晴天の昼間に撮像部S1によって撮像された画像に含まれる運転者の動作の推定を行った場合に、その推定結果の信頼度として閾値以下の値を算出する。
第2実施形態の推定装置1が適用された推定システムSの一例では、演算部1Bは、第1推論モデル(例えば昼間用推論モデル)を用いて、曇天の昼間に撮像部S1によって撮像された画像に含まれる運転者の動作の推定(例えば、運転者のわき見の有無の推定、運転者の居眠りの有無の推定、運転者の通話動作の有無の推定などのいずれか)を行った場合に、その推定結果の信頼度として閾値より高い値を算出する。
一方、演算部1Bは、第2推論モデル(例えば夜間用推論モデル)を用いて、曇天の昼間に撮像部S1によって撮像された画像に含まれる運転者の動作の推定を行った場合に、その推定結果の信頼度として閾値以下の値を算出する。
一方、演算部1Bは、第2推論モデル(例えば夜間用推論モデル)を用いて、曇天の昼間に撮像部S1によって撮像された画像に含まれる運転者の動作の推定を行った場合に、その推定結果の信頼度として閾値以下の値を算出する。
第2実施形態の推定装置1が適用された推定システムSの一例では、演算部1Bは、第1推論モデル(例えば昼間用推論モデル)を用いて、早朝または夕方に撮像部S1によって撮像された画像に含まれる運転者の動作の推定(例えば、運転者のわき見の有無の推定、運転者の居眠りの有無の推定、運転者の通話動作の有無の推定などのいずれか)を行った場合に、その推定結果の信頼度として閾値より高い値を算出する。
一方、演算部1Bは、第2推論モデル(例えば夜間用推論モデル)を用いて、早朝または夕方に撮像部S1によって撮像された画像に含まれる運転者の動作の推定を行った場合に、その推定結果の信頼度として閾値以下の値を算出する。
一方、演算部1Bは、第2推論モデル(例えば夜間用推論モデル)を用いて、早朝または夕方に撮像部S1によって撮像された画像に含まれる運転者の動作の推定を行った場合に、その推定結果の信頼度として閾値以下の値を算出する。
第2実施形態の推定装置1が適用された推定システムSの一例では、演算部1Bは、第1推論モデル(例えば昼間用推論モデル)を用いて、繁華街等の明るい夜間に撮像部S1によって撮像された画像に含まれる運転者の動作の推定(例えば、運転者のわき見の有無の推定、運転者の居眠りの有無の推定、運転者の通話動作の有無の推定などのいずれか)を行った場合に、その推定結果の信頼度として閾値以下の値を算出する。
一方、演算部1Bは、第2推論モデル(例えば夜間用推論モデル)を用いて、繁華街等の明るい夜間に撮像部S1によって撮像された画像に含まれる運転者の動作の推定を行った場合に、その推定結果の信頼度として閾値より高い値を算出する。
一方、演算部1Bは、第2推論モデル(例えば夜間用推論モデル)を用いて、繁華街等の明るい夜間に撮像部S1によって撮像された画像に含まれる運転者の動作の推定を行った場合に、その推定結果の信頼度として閾値より高い値を算出する。
第2実施形態の推定装置1が適用された推定システムSの一例では、演算部1Bは、第1推論モデル(例えば昼間用推論モデル)を用いて、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる運転者の動作の推定(例えば、運転者のわき見の有無の推定、運転者の居眠りの有無の推定、運転者の通話動作の有無の推定などのいずれか)を行った場合に、その推定結果の信頼度として閾値以下の値を算出する。
一方、演算部1Bは、第2推論モデル(例えば夜間用推論モデル)を用いて、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる運転者の動作の推定を行った場合に、その推定結果の信頼度として閾値より高い値を算出する。
一方、演算部1Bは、第2推論モデル(例えば夜間用推論モデル)を用いて、街灯の少ない夜間に撮像部S1によって撮像された画像に含まれる運転者の動作の推定を行った場合に、その推定結果の信頼度として閾値より高い値を算出する。
すなわち、第2実施形態の推定装置1が適用された推定システムSの一例では、第1状況下(例えば「晴天の昼間」、「曇天の昼間」、「早朝・夕方」)では、第1推論モデル(例えば昼間用推論モデル)を用いた演算部1Bによる推定結果の信頼度が、複数の推論モデルのうちの第1推論モデル以外の推論モデル(つまり、第2推論モデル)を用いた演算部1Bによる推定結果の信頼度より高い。
一方、第1状況下とは異なる第2状況下(例えば「繁華街等の明るい夜間」、「街灯の少ない夜間」)では、第2推論モデル(例えば夜間用推論モデル)を用いた演算部1Bによる推定結果の信頼度が、複数の推論モデルのうちの第2推論モデル以外の推論モデル(つまり、第1推論モデル)を用いた演算部1Bによる推定結果の信頼度より高い。
一方、第1状況下とは異なる第2状況下(例えば「繁華街等の明るい夜間」、「街灯の少ない夜間」)では、第2推論モデル(例えば夜間用推論モデル)を用いた演算部1Bによる推定結果の信頼度が、複数の推論モデルのうちの第2推論モデル以外の推論モデル(つまり、第1推論モデル)を用いた演算部1Bによる推定結果の信頼度より高い。
そこで、第2実施形態の推定装置1が適用された推定システムSの一例では、選択部1Cが、演算部1Bによる推定に用いられる推論モデルを柔軟に切り替える。具体的には、選択部1Cは、演算部1Bによって算出される推定結果の信頼度が閾値より高くなる推論モデルを、複数の推論モデルから選択する。
更に、演算部1Bは、選択部1Cによって選択された推論モデルを用いることにより、撮像部S1によって撮像された画像に含まれる運転者の動作の推定(例えば、運転者のわき見の有無の推定、運転者の居眠りの有無の推定、運転者の通話動作の有無の推定などのいずれか)を行う。
更に、演算部1Bは、選択部1Cによって選択された推論モデルを用いることにより、撮像部S1によって撮像された画像に含まれる運転者の動作の推定(例えば、運転者のわき見の有無の推定、運転者の居眠りの有無の推定、運転者の通話動作の有無の推定などのいずれか)を行う。
第2実施形態の推定装置1が適用された推定システムSの他の例では、演算部1Bによる所定の目的の推定(具体的には、運転者のわき見の有無の推定、運転者の居眠りの有無の推定、運転者の通話動作の有無の推定などのいずれか)に、3以上の推論モデルが用いられてもよい。
第2実施形態の推定装置1が適用された推定システムSの一例では、演算部1Bによる所定の目的の推定(例えば、運転者のわき見の有無の推定、運転者の居眠りの有無の推定、運転者の通話動作の有無の推定などのいずれか)に、時間帯別の2つの推論モデル(詳細には、第1推論モデル(昼間用推論モデル)および第2推論モデル(夜間用推論モデル))が用いられるが、他の例では、演算部1Bによる所定の目的の推定に、時間帯別の3以上の推論モデルが用いられてもよい。
第2実施形態の推定装置1が適用された推定システムSの一例では、演算部1Bによる所定の目的の推定(例えば、運転者のわき見の有無の推定、運転者の居眠りの有無の推定、運転者の通話動作の有無の推定などのいずれか)に、2つの時間帯別推論モデル(具体的には、第1推論モデル(昼間用推論モデル)および第2推論モデル(夜間用推論モデル))が用いられるが、他の例では、演算部1Bによる所定の目的の推定に、複数の天候別推論モデル(例えば、第1推論モデル(晴天用推論モデル)、第2推論モデル(雨天用推論モデル)等)が用いられてもよい。
第2実施形態の推定装置1が適用された推定システムSの更に他の例では、演算部1Bによる所定の目的の推定に、3以上の天候別推論モデルが用いられてもよい。
第2実施形態の推定装置1が適用された推定システムSの更に他の例では、演算部1Bによる所定の目的の推定に、3以上の天候別推論モデルが用いられてもよい。
第2実施形態の推定装置1が適用された推定システムSの一例では、演算部1Bによる所定の目的の推定(例えば、運転者のわき見の有無の推定、運転者の居眠りの有無の推定、運転者の通話動作の有無の推定などのいずれか)に、2つの時間帯別推論モデル(具体的には、第1推論モデル(昼間用推論モデル)および第2推論モデル(夜間用推論モデル))が用いられるが、他の例では、演算部1Bによる所定の目的の推定に、複数の災害別推論モデル(例えば、第1推論モデル(洪水用推論モデル)、第2推論モデル(土砂崩れ用推論モデル)等)が用いられてもよい。
第2実施形態の推定装置1が適用された推定システムSの更に他の例では、演算部1Bによる所定の目的の推定に、3以上の災害別推論モデルが用いられてもよい。
第2実施形態の推定装置1が適用された推定システムSの更に他の例では、演算部1Bによる所定の目的の推定に、3以上の災害別推論モデルが用いられてもよい。
<第3実施形態>
以下、本発明の推定装置およびプログラムの第3実施形態について説明する。
第3実施形態の推定装置1は、後述する点を除き、上述した第1実施形態の推定装置1と同様に構成されている。従って、第3実施形態の推定装置1によれば、後述する点を除き、上述した第1実施形態の推定装置1と同様の効果を奏することができる。
以下、本発明の推定装置およびプログラムの第3実施形態について説明する。
第3実施形態の推定装置1は、後述する点を除き、上述した第1実施形態の推定装置1と同様に構成されている。従って、第3実施形態の推定装置1によれば、後述する点を除き、上述した第1実施形態の推定装置1と同様の効果を奏することができる。
上述したように、第1実施形態の推定装置1が適用された推定システムSの一例では、推定システムSが、所定の目的の推定(例えばADASの交通標識認識において用いられる情報(例えば信号機の有無および信号機の色)の推定)を行う。
一方、第3実施形態の推定装置1が適用された推定システムSの第1例では、推定システムSが、所定の目的の推定(例えばADASのアダプティブクルーズコントロールにおいて用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第2例では、推定システムSが、所定の目的の推定(例えばADASの前方衝突警告において用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第3例では、推定システムSが、所定の目的の推定(例えばADASの衝突被害軽減制動制御装置において用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第4例では、推定システムSが、所定の目的の推定(例えばADASのナイトビジョン/歩行者検知において用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第5例では、推定システムSが、所定の目的の推定(例えばADASの車線逸脱警報において用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第6例では、推定システムSが、所定の目的の推定(例えばADASの車線逸脱防止支援システムにおいて用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第7例では、推定システムSが、所定の目的の推定(例えばADASの死角モニタリングにおいて用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第8例では、推定システムSが、所定の目的の推定(例えばADASのリヤクロストラフィックアラートにおいて用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第9例では、推定システムSが、所定の目的の推定(例えばADASの自動ヘッドランプ光軸調整において用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第10例では、推定システムSが、所定の目的の推定(例えばADASの高度駐車アシストにおいて用いられる情報の推定)を行う。
一方、第3実施形態の推定装置1が適用された推定システムSの第1例では、推定システムSが、所定の目的の推定(例えばADASのアダプティブクルーズコントロールにおいて用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第2例では、推定システムSが、所定の目的の推定(例えばADASの前方衝突警告において用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第3例では、推定システムSが、所定の目的の推定(例えばADASの衝突被害軽減制動制御装置において用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第4例では、推定システムSが、所定の目的の推定(例えばADASのナイトビジョン/歩行者検知において用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第5例では、推定システムSが、所定の目的の推定(例えばADASの車線逸脱警報において用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第6例では、推定システムSが、所定の目的の推定(例えばADASの車線逸脱防止支援システムにおいて用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第7例では、推定システムSが、所定の目的の推定(例えばADASの死角モニタリングにおいて用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第8例では、推定システムSが、所定の目的の推定(例えばADASのリヤクロストラフィックアラートにおいて用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第9例では、推定システムSが、所定の目的の推定(例えばADASの自動ヘッドランプ光軸調整において用いられる情報の推定)を行う。
第3実施形態の推定装置1が適用された推定システムSの第10例では、推定システムSが、所定の目的の推定(例えばADASの高度駐車アシストにおいて用いられる情報の推定)を行う。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。上述した各実施形態および各例に記載の構成を適宜組み合わせてもよい。
なお、上述した実施形態における推定装置1または推定システムSが備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
実施の形態に係る推定装置1およびプログラムは、例えば所定の目的の推定(例えば高度運転支援システムの交通標識認識において用いられる情報の推定)を行うためのものであり、いずれかの種類の産業で実施または使用できるため、産業上の利用可能性を有する。
1…推定装置、1A…取得部、1B…演算部、1C…選択部、S…推定システム、S1…撮像部、S2…検出部、S3…格納部
Claims (8)
- 少なくとも第1推論モデルと第2推論モデルとを含む複数の推論モデルのうちの1つの推論モデルを用いることにより、撮像部または検出部からの出力信号に基づいて、所定の目的の推定を行うと共に、推定結果の信頼度の算出を行う演算部と、
前記演算部によって算出される推定結果の信頼度が閾値より高くなる推論モデルを、前記複数の推論モデルから選択する選択部とを備え、
前記複数の推論モデルは、前記演算部によって同一の目的の推定に用いられ、
第1状況下では、前記第1推論モデルを用いた前記演算部による推定結果の信頼度が、前記複数の推論モデルのうちの前記第1推論モデル以外の推論モデルを用いた前記演算部による推定結果の信頼度より高く、
前記第1状況下とは異なる第2状況下では、前記第2推論モデルを用いた前記演算部による推定結果の信頼度が、前記複数の推論モデルのうちの前記第2推論モデル以外の推論モデルを用いた前記演算部による推定結果の信頼度より高い、
推定装置。 - 前記演算部は、前記所定の目的の推定として、ADAS(高度運転支援システム)において用いられる情報の推定を行う、
請求項1に記載の推定装置。 - 前記演算部は、前記撮像部または前記検出部からの出力信号として、カメラの出力信号、レーダーの出力信号およびLiDAR(Light Detection and Ranging)の出力信号の少なくともいずれかに基づいて、前記所定の目的の推定を行う、
請求項2に記載の推定装置。 - 前記第1状況下と前記第2状況下とを含む全状況下において、前記複数の推論モデルのうちのいずれかを用いた前記演算部による推定結果の信頼度が前記閾値より高くなるように、
前記閾値は設定されている、
請求項1から請求項3のいずれか一項に記載の推定装置。 - 前記第1推論モデルが昼間用推論モデルであり、前記第2推論モデルが夜間用推論モデルである、
請求項1から請求項4のいずれか一項に記載の推定装置。 - 前記第1推論モデルが晴天用推論モデルであり、前記第2推論モデルが雨天用推論モデルである、
請求項1から請求項4のいずれか一項に記載の推定装置。 - 前記第1推論モデルが洪水用推論モデルであり、前記第2推論モデルが土砂崩れ用推論モデルである、
請求項1から請求項4のいずれか一項に記載の推定装置。 - コンピュータに、
少なくとも第1推論モデルと第2推論モデルとを含む複数の推論モデルのうちの1つの推論モデルを用いることにより、撮像部または検出部からの出力信号に基づいて、所定の目的の推定を行うと共に、推定結果の信頼度の算出を行う演算ステップと、
前記演算ステップにおいて算出される推定結果の信頼度が閾値より高くなる推論モデルを、前記複数の推論モデルから選択する選択ステップとを実行させるためのプログラムであって、
前記複数の推論モデルは、前記演算ステップにおいて同一の目的の推定に用いられ、
第1状況下では、前記第1推論モデルを用いた前記演算ステップにおける推定結果の信頼度が、前記複数の推論モデルのうちの前記第1推論モデル以外の推論モデルを用いた前記演算ステップにおける推定結果の信頼度より高く、
前記第1状況下とは異なる第2状況下では、前記第2推論モデルを用いた前記演算ステップにおける推定結果の信頼度が、前記複数の推論モデルのうちの前記第2推論モデル以外の推論モデルを用いた前記演算ステップにおける推定結果の信頼度より高い、
プログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021-053418 | 2021-03-26 | ||
| JP2021053418A JP2022150703A (ja) | 2021-03-26 | 2021-03-26 | 推定装置およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022201780A1 true WO2022201780A1 (ja) | 2022-09-29 |
Family
ID=83396793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2022/001592 Ceased WO2022201780A1 (ja) | 2021-03-26 | 2022-01-18 | 推定装置およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2022150703A (ja) |
| WO (1) | WO2022201780A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4672085A1 (en) * | 2024-06-27 | 2025-12-31 | Thales | DECISION SUPPORT METHOD FOR A VEHICLE OR ASSOCIATED VEHICLE SIMULATION AND ASSOCIATED SYSTEM |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102023209977A1 (de) * | 2023-10-12 | 2025-04-17 | Hitachi Astemo, Ltd. | Fahrassistenzsystem, fahrzeug, verfahren zur steuerung eines fahrzeugs und computerprogrammprodukt |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019087229A (ja) * | 2017-11-02 | 2019-06-06 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
| WO2020090251A1 (ja) * | 2018-10-30 | 2020-05-07 | 日本電気株式会社 | 物体認識装置、物体認識方法および物体認識プログラム |
| JP2021032563A (ja) * | 2019-08-13 | 2021-03-01 | ソニーセミコンダクタソリューションズ株式会社 | 装置、測定装置および測距システム |
-
2021
- 2021-03-26 JP JP2021053418A patent/JP2022150703A/ja active Pending
-
2022
- 2022-01-18 WO PCT/JP2022/001592 patent/WO2022201780A1/ja not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019087229A (ja) * | 2017-11-02 | 2019-06-06 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
| WO2020090251A1 (ja) * | 2018-10-30 | 2020-05-07 | 日本電気株式会社 | 物体認識装置、物体認識方法および物体認識プログラム |
| JP2021032563A (ja) * | 2019-08-13 | 2021-03-01 | ソニーセミコンダクタソリューションズ株式会社 | 装置、測定装置および測距システム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4672085A1 (en) * | 2024-06-27 | 2025-12-31 | Thales | DECISION SUPPORT METHOD FOR A VEHICLE OR ASSOCIATED VEHICLE SIMULATION AND ASSOCIATED SYSTEM |
| WO2026003235A1 (en) * | 2024-06-27 | 2026-01-02 | Thales | Method of decision-support for a vehicle or related vehicle simulation and associated system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022150703A (ja) | 2022-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11625856B2 (en) | Localization systems and methods | |
| EP3839888B1 (en) | Compute device and method for detection of occlusions on a camera | |
| JP7332726B2 (ja) | ヒートマップを使用したドライバーの注目の検出 | |
| JP6946812B2 (ja) | 学習サーバ及び支援システム | |
| WO2020038091A1 (zh) | 智能驾驶控制方法与装置、电子设备、程序和介质 | |
| EP1705901A2 (en) | Image processing apparatus and method, recording medium, and program | |
| CN111507162B (zh) | 基于车辆间通信的协作的盲点警告方法及装置 | |
| CN112926476B (zh) | 车辆识别方法、装置及存储介质 | |
| US10776655B1 (en) | Estimating color of vehicles on a roadway | |
| WO2022201780A1 (ja) | 推定装置およびプログラム | |
| CN112771858A (zh) | 自动车辆的相机评估技术 | |
| CN109448439A (zh) | 车辆安全行驶方法及装置 | |
| WO2022244356A1 (en) | Light interference detection during vehicle navigation | |
| CN119513809B (zh) | 基于多模态大模型的自适应驾驶行为评估与培训系统 | |
| EP4113460A1 (en) | Driver assistance system and method improving its situational awareness | |
| US10311314B2 (en) | Detection of lane-splitting motorcycles | |
| CN118528904A (zh) | 雾灯状态控制方法、装置、计算机设备、可读存储介质和程序产品 | |
| FR3156107A1 (fr) | Procédé et un système d’évaluation de situations à risque d’accidentologie d’un véhicule en circulation sur un réseau routier dans un environnement déterminé | |
| US20250086947A1 (en) | Image processing algorithm evaluating apparatus | |
| CN118560516A (zh) | 一种hud自适应显示方法、系统、设备及车辆 | |
| WO2020126264A1 (fr) | Procédé d'obtention d'une image d'un objet à classifier et système associé | |
| WO2021161443A1 (ja) | 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム | |
| US12530906B2 (en) | System for avoiding accidents caused by wild animals crossing at dusk and at night | |
| JP4679469B2 (ja) | 車載画像処理装置 | |
| Ponnuru et al. | Image Processing Based Automatic Traffic Control System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22774584 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 22774584 Country of ref document: EP Kind code of ref document: A1 |