WO2023090000A1 - センサ検証装置、およびセンサ検証システム、並びにセンサ検証方法 - Google Patents

センサ検証装置、およびセンサ検証システム、並びにセンサ検証方法 Download PDF

Info

Publication number
WO2023090000A1
WO2023090000A1 PCT/JP2022/038179 JP2022038179W WO2023090000A1 WO 2023090000 A1 WO2023090000 A1 WO 2023090000A1 JP 2022038179 W JP2022038179 W JP 2022038179W WO 2023090000 A1 WO2023090000 A1 WO 2023090000A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
vehicle
distance
external device
calculated
Prior art date
Application number
PCT/JP2022/038179
Other languages
English (en)
French (fr)
Inventor
順一 坂本
寿之 示沢
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社, ソニーグループ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202280074904.1A priority Critical patent/CN118235012A/zh
Publication of WO2023090000A1 publication Critical patent/WO2023090000A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the present disclosure relates to a sensor verification device, a sensor verification system, and a sensor verification method. More specifically, the present invention relates to a sensor verification device, a sensor verification system, and a sensor verification method for determining whether or not a distance measurement sensor mounted on a vehicle is performing correct distance measurement.
  • ADAS advanced driver assistance systems
  • AD autonomous driving
  • autonomous driving and driving support are technologies that enable autonomous driving on roads using various sensors such as cameras and object position detection sensors installed in vehicles (automobiles), and are expected to spread rapidly in the future. be done.
  • Autonomous driving and driving support use detection information from various sensors such as cameras and radars.
  • a stereo camera or the like is used as a sensor for calculating the distance from a vehicle to various objects such as an oncoming vehicle, a pedestrian, or a guardrail in the direction in which the vehicle is traveling.
  • sensors such as cameras installed in vehicles can be misaligned or distorted due to vibrations and temperature changes that occur during the vehicle's running process. may decrease.
  • An inspection as to whether or not the sensor mounted on the vehicle is operating normally can be performed at a dealer or the like using a dedicated inspection machine, for example, during regular vehicle inspections.
  • periodic inspections are generally performed only every six months or every few years, and there is a possibility that the sensor will not operate normally before the inspection date. In such a case, normal automatic driving cannot be performed, and there is a risk of causing an accident.
  • Patent Document 1 Japanese Unexamined Patent Application Publication No. 2020-0423273 discloses a technique for checking and correcting an error of a camera mounted on a vehicle.
  • This Patent Literature 1 discloses a configuration in which a plurality of vehicles travel in a row, and automatic operation control is performed such that the following vehicle maintains a constant relative position with respect to the preceding vehicle.
  • the vehicle relative position information of the preceding vehicle and the following vehicle calculated based on the image of the preceding vehicle taken by the following vehicle, and the information on the preceding and following vehicles calculated based on the following vehicle image taken by the preceding vehicle. It discloses a configuration for calculating a correct vehicle relative position by comparing with vehicle relative position information of the vehicle.
  • the configuration disclosed in this Patent Document 1 is a configuration that can be used only when a special traveling condition is satisfied in which a plurality of vehicles travel in platoons. It is not a configuration applicable to verification processing of the mounted sensor operation state.
  • the present disclosure has been made, for example, in view of the above problems, and efficiently and frequently verifies whether or not sensors mounted on a large number of randomly traveling vehicles are measuring correct distances. It is an object of the present invention to provide a sensor verification device, a sensor verification system, and a sensor verification method that make it possible.
  • a first aspect of the present disclosure includes: a distance calculation unit that calculates, as self-device calculated distance data D1, the inter-device distance between the self-device and an external device based on the detected value of the sensor; a communication unit that receives the inter-device distance calculated by the external device as external device calculated distance data D2 from the external device; a sensor state determination unit that compares the self-device calculated distance data D1 and the external device calculated distance data D2, and determines whether or not the sensor is in a state capable of measuring a correct distance value based on the comparison result; in a sensor verification device having
  • a second aspect of the present disclosure is It is a sensor verification system composed of own vehicle and external device, the external device is either an external vehicle or an infrastructure;
  • the vehicle is a distance calculation unit that calculates an inter-device distance between the own vehicle and the external device as self-device calculated distance data D1 based on the detection value of the sensor; a communication unit that receives the inter-device distance calculated by the external device as external device calculated distance data D2 from the external device;
  • the device-calculated distance data D1 and the external device-calculated distance data D2 are compared, and based on the comparison result, it is determined whether or not the sensor is in a state capable of measuring a correct distance value, and the comparison result is obtained.
  • a sensor state determination unit that notifies the external device of in a sensor verification system having
  • a third aspect of the present disclosure is A sensor verification method executed in a sensor verification device, a distance calculation step in which the distance calculation unit calculates an inter-device distance between the self-device and the external device as self-device calculated distance data D1 based on the detected value of the sensor; a communication step in which the communication unit receives the inter-device distance calculated by the external device as external device calculated distance data D2 from the external device; A sensor state determination unit compares the self-device calculated distance data D1 and the external device calculated distance data D2, and determines whether or not the sensor is in a state capable of measuring a correct distance value based on the comparison result.
  • a sensor verification method for executing a sensor state determination step a sensor state determination step.
  • a system is a logical collective configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same housing.
  • the configuration of an embodiment of the present disclosure it is possible to realize a device and method that enable frequent sensor calibration by frequently verifying whether or not the sensor is capable of calculating a normal distance. .
  • the distance between the own vehicle and the external vehicle or the distance between the own vehicle and the infrastructure is calculated as the own device calculated distance data D1
  • the external device calculates the distance data D1.
  • distance is received from an external device as external device calculated distance data D2
  • the self device calculated distance data D1 is compared with the external device calculated distance data D2
  • the sensor can measure a correct distance value based on the comparison result. Determine whether or not the state exists.
  • sensor calibration processing or failure detection processing is executed.
  • FIG. 4 is a diagram illustrating an overview of sensor verification processing according to the present disclosure
  • FIG. 4 is a diagram illustrating an overview of sensor verification processing according to the present disclosure
  • FIG. 4 is a diagram illustrating an overview of sensor verification processing according to the present disclosure
  • 1 is a block diagram showing a configuration example of a sensor verification device installed in a vehicle or infrastructure
  • FIG. 1 is a diagram illustrating a configuration example of a number of infrastructures grounded on a road, a management server, and a communication network
  • FIG. FIG. 5 is a diagram illustrating a specific example of periodic infrastructure calibration processing
  • FIG. 4 is a diagram showing a flowchart describing a sequence of processing executed by the sensor verification device of the present disclosure
  • FIG. 4 is a diagram showing a flowchart describing a sequence of processing executed by the sensor verification device of the present disclosure
  • FIG. 3 is a diagram illustrating an example of data recorded in a memory by a vehicle sensor verification device
  • FIG. 3 is a diagram illustrating an example of data received from an external device that is recorded in a memory by a vehicle sensor verification device
  • FIG. 4 is a diagram showing a flowchart describing a sequence of calibration processing executed by the sensor verification device
  • FIG. 4 is a diagram showing a flowchart describing a sequence of calibration processing executed by the sensor verification device
  • 4 is a diagram illustrating an example of a communication sequence between vehicles A and B
  • FIG. 4 is a diagram illustrating an example of a communication sequence between vehicle A and infrastructure
  • FIG. 4 is a diagram illustrating an example of a communication sequence between vehicle A and infrastructure;
  • FIG. FIG. 11 is a diagram illustrating processing of Example 2 in which processing for storing LR images shot by a stereo camera in the memory 104 is not executed;
  • FIG. 11 is a diagram showing a flowchart for explaining a sequence of sensor calibration processing according to the second embodiment;
  • FIG. 10 is a diagram illustrating details of processing for calculating an object distance from an image captured by a monocular camera;
  • FIG. 4 is a diagram showing an example of a lookup table that records the correspondence between the number of pixels from a vanishing point position to an object ground position in an image captured by a monocular camera and the distance from the monocular camera to the object.
  • FIG. 10 is a diagram illustrating a specific example in which a marker is set to clarify a distance calculation target position;
  • FIG. 10 is a diagram illustrating an example of distance calculation processing when a marker indicating a distance measurement position is set on an infrastructure;
  • FIG. 4 is a diagram illustrating an example in which a distance calculation section between a vehicle and an infrastructure is defined by a marker set on the infrastructure and a previously defined line position near an intersection; It is a figure explaining the example which comprised the sensor verification apparatus of this indication in various apparatuses other than a vehicle and infrastructure (road facilities). It is a figure explaining the hardware structural example of the sensor verification apparatus of this indication.
  • FIG. 1 is a diagram illustrating an example of sensor verification processing of the present disclosure.
  • FIG. 1 shows two vehicles passing each other, vehicle A 10 and vehicle B 20 .
  • Vehicles A and 10 are equipped with sensors 11 for detecting distances to various objects existing in front of vehicles A and 10 .
  • Vehicles B and 20 are also equipped with sensors 21 that detect distances to various objects existing in the forward direction of vehicles B and 20 .
  • These sensors 11 and 21 are configured by stereo cameras, for example.
  • a stereo camera captures a plurality of images from different viewpoints, and the captured images from a plurality of different viewpoints, for example, an L image that is an image captured from the left viewpoint and an R image that is an image captured from the right viewpoint. It is a type of distance detection sensor that analyzes the parallax of multiple images and analyzes the distance to the subject included in the captured image.
  • the sensors 11 and 21 are not limited to stereo cameras, and various sensors capable of measuring distance can be used.
  • sensors such as LiDAR (Light Detection and Ranging), ToF (Time of Flight) sensors, millimeter wave radars, and monocular cameras can be used.
  • LiDAR (Light Detection and Ranging), ToF sensors, and millimeter wave radars are sensors that output light such as laser light, analyze reflected light from objects, and measure the distance to surrounding objects.
  • Vehicles A and 10 shown in FIG. 1 are data processing units (distance calculation units) that input images of stereo cameras, which are sensors 11 of vehicles A and 10, and calculate distances to various objects in front of vehicles A and 10. have.
  • sensors such as cameras installed in vehicles can become misaligned and distorted due to vibrations and temperature changes that occur while the vehicle is running. It may happen.
  • the vehicle A, 10 determines whether or not the object distance calculated based on the captured image of the stereo camera, which is the sensor 11 of the vehicle A, 10, is a correct value, that is, the sensor verification process, which will be described below. Perform a series of processes.
  • Vehicles A and 10 first continuously perform a process of calculating the distance between vehicles AB based on the detection values (stereo camera captured images) of the sensors 11 of vehicles A and 10, and time-series data of the calculated distances are It is recorded in the memory together with a time stamp indicating the distance calculation timing.
  • the time stamps are applied using accurate time information that the vehicles A and 10 receive from a time server such as an NTP (Network Time Protocol) server.
  • NTP Network Time Protocol
  • the vehicles A and 10 request the vehicles B and 20 to calculate the distance between the vehicles AB via the communication unit. Specifically, for example, the following processing request is transmitted to the vehicle B, 20.
  • Processing request processing request for processing to calculate the distance between vehicles AB and processing to transmit the calculated distance data (D2) to the vehicle A, 10 together with a time stamp indicating the calculation timing of the distance data (D2);
  • the time stamp is accurate time information received from a time server such as an NTP (Network Time Protocol) server.
  • NTP Network Time Protocol
  • Vehicles A and 10 receive distance data (D2) between vehicles AB calculated by vehicles B and 20 from vehicles B and 20 together with a time stamp indicating the calculation timing. After that, the vehicles A and 10 acquire the time set in the distance data (D2) received from the vehicles B and 20 from the time-series distance data between the vehicles AB continuously calculated by the vehicles A and 10 stored in the memory. Distance data (D1) set with a time stamp having the same timing as the stamp is selectively acquired and compared.
  • the distance data between the vehicle AB calculated by the vehicle A, 10 (D1) and the distance data (D2) between vehicle AB calculated by vehicle B and 20 are approximately equal values. i.e. D1 ⁇ D2
  • D1 ⁇ D2 The above formula holds.
  • the vehicle A 10 calculates The distance data (D1) between the vehicles AB and the distance data (D2) between the vehicles AB calculated by the vehicles B and 20 do not have the same value. i.e. D1 ⁇ D2
  • the vehicle A, 10 can determine that at least one of the sensor 11 and the distance calculator of the vehicle A, 10 or the sensor 21 and the distance calculator of the vehicle B, 20 is not in a normal state.
  • the vehicle A, 10 then executes the same process as the other vehicle C, for example. That is, in each vehicle AC, the distance between the vehicles AC is calculated at the same timing and compared.
  • the sensors 11 and the distance calculation units of the vehicles A and 10 are operating normally, and the vehicles B and 20 are operating normally. It can be determined that the sensor 21 and the distance calculator are not operating normally.
  • the vehicle A, 10 determines that the sensor 11 and the distance calculation unit of the vehicle A, 10 themselves are not operating normally. .
  • the vehicle A, 10 performs calibration processing of the sensor 11, that is, correction processing. Specifically, for example, internal parameters (focal length, distortion, image center) and external parameters (position, orientation) of the sensor 11 are adjusted, and calibration processing (correction processing) is performed so that the correct distance can be calculated. do.
  • distance data measured at the same timing between two vehicles is used to determine whether the sensors and the distance calculation unit are operating normally.
  • a configuration may be adopted in which mutual distances between infrastructures on a road, such as infrastructures such as traffic lights, are calculated at the same time, and these calculated values are compared.
  • FIG. 2 shows vehicles A and 10 and a traffic light as an example of infrastructure (road equipment) 30 .
  • Vehicles A and 10 are the vehicles described with reference to FIG. 1, and are equipped with sensors 11 for detecting distances to various objects existing in the forward direction of vehicles A and 10 .
  • the infrastructure (road equipment) 30 is also equipped with sensors 31 that detect distances to various objects existing around the infrastructure (road equipment) 30 .
  • These sensors 11 and 31 are, for example, stereo cameras.
  • Vehicles A and 10 and infrastructure (road equipment) 30 shown in FIG. 2 each have a data processing unit (distance calculation unit) that inputs images from sensors (stereo cameras) and calculates distances to various objects. ing.
  • a data processing unit distance calculation unit
  • the vehicle A, 10 performs the following processing as a process of determining whether or not the object distance calculated based on the captured image of the stereo camera, which is the sensor 11 of the vehicle A, 10, is a correct value, that is, the sensor verification process. I do.
  • the vehicle A, 10 continuously executes the process of calculating the distance between the vehicle A, 10 and the infrastructure 30 based on the detection value (stereo camera captured image) of the sensor 11 of the vehicle A, 10, and calculates the calculated distance.
  • the time-series data is recorded in memory together with a time stamp indicating the distance calculation timing.
  • the time stamp uses accurate time information received by the vehicles A and 10 from a time server such as an NTP (Network Time Protocol) server.
  • NTP Network Time Protocol
  • processing request Processing for calculating the distance between the vehicle A, 10 and the infrastructure 30, and processing for transmitting the calculated distance data (D4) to the vehicle A, 10 together with a time stamp indicating the calculation timing of the distance data (D4) processing request,
  • the infrastructure 30 also uses accurate time information received from a time server such as an NTP (Network Time Protocol) server for time stamps.
  • a time server such as an NTP (Network Time Protocol) server for time stamps.
  • NTP Network Time Protocol
  • Vehicles A and 10 receive from the infrastructure 30 the distance data (D4) between the vehicles A and 10 and the infrastructure 30 calculated by the infrastructure 30 together with a time stamp indicating the calculation timing. After that, the vehicle A, 10 sets the distance data (D4) received from the infrastructure 30 from the time-series distance data between the vehicle A, 10 and the infrastructure 30 continuously calculated by the vehicle A, 10 stored in the memory. The distance data (D3) set with the time stamp of the same timing as the time stamp set is selectively acquired and compared.
  • the vehicle A, 10 can determine that at least one of the sensor 11 and the distance calculation unit of the vehicle A, 10 or the sensor 31 and the distance calculation unit of the infrastructure 30 is not in a normal state.
  • the control of the management server periodically calibrates the sensor 31 of the infrastructure 30 and the distance calculation unit. It is possible to perform
  • the infrastructure 30 such as a traffic light is fixed on the ground.
  • the distance to another traffic light on the opposite side of the road is stored as reference distance data in a management server or a memory in the infrastructure 30, and this reference distance data is used. It is possible to periodically calibrate the sensor 31 and the distance calculation unit of the infrastructure 30 by using.
  • the sensor 31 and the distance calculation unit of the infrastructure 30 can always maintain settings that allow normal distance data to be calculated.
  • the distance between the vehicle A, 10 and the infrastructure 30 calculated by the vehicle A, 10 is If the distance data (D3) and the distance data (D4) calculated by the infrastructure 30 between the vehicle A, 10 and the infrastructure 30 are not equal, that is, D3 ⁇ D4 If the above formula does not hold, it can be determined that the sensor 11 and the distance calculation unit of the vehicle A, 10 are not in a normal state.
  • the vehicle A, 10 performs calibration processing of the sensor 11, that is, correction processing. Specifically, for example, internal parameters (focal length, distortion, image center) and external parameters (position, orientation) of the sensor 11 are adjusted, and calibration processing (correction processing) is performed so that the correct distance can be calculated. do.
  • FIG. 1 An example of processing between vehicles has been described with reference to FIG. 1, and an example of processing between vehicles and infrastructure has been described with reference to FIG.
  • a vehicle encounters a large number of vehicles and infrastructures while traveling on roads, and it becomes possible to verify the operating state of the vehicle's sensors at any timing.
  • FIG. 3 is a diagram showing an example of processing in which the vehicle A, 10 verifies the operating state of the sensor 11 of the own vehicle and the distance calculation unit while the vehicle A, 10 is waiting for a signal at the intersection.
  • Vehicles A and 10 perform the processing described above with reference to FIG. 1 with vehicles B and 20 . Furthermore, the vehicle A, 10 executes the process described above with reference to FIG. These two processes may be executed sequentially, or may be executed in parallel.
  • the vehicle A, 10 will perform the following processing.
  • Vehicles A and 10 continuously perform the process of calculating the distance between vehicles AB based on the detection values (stereo camera captured images) of the sensors 11 of vehicles A and 10, and use the time-series data of the calculated distances as distance calculations. Record in memory with a time stamp indicating the timing.
  • Processing request processing request for processing to calculate the distance between vehicles AB and processing to transmit the calculated distance data (D2) to the vehicle A, 10 together with a time stamp indicating the calculation timing of the distance data (D2);
  • Vehicles A and 10 receive distance data (D2) between vehicles AB calculated by vehicles B and 20 from vehicles B and 20 together with a time stamp indicating the calculation timing. After that, the vehicles A and 10 acquire the time set in the distance data (D2) received from the vehicles B and 20 from the time-series distance data between the vehicles AB continuously calculated by the vehicles A and 10 stored in the memory. Distance data (D1) set with a time stamp having the same timing as the stamp is selectively acquired and compared.
  • the distance data between the vehicle AB calculated by the vehicle A, 10 (D1) and the distance data (D2) between vehicle AB calculated by vehicle B and 20 are approximately equal values. i.e. D1 ⁇ D2
  • D1 ⁇ D2 The above formula holds.
  • processing request Processing for calculating the distance between the vehicle A, 10 and the infrastructure 30, and processing for transmitting the calculated distance data (D4) to the vehicle A, 10 together with a time stamp indicating the calculation timing of the distance data (D4) processing request,
  • Vehicles A and 10 receive from the infrastructure 30 the distance data (D4) between the vehicles A and 10 and the infrastructure 30 calculated by the infrastructure 30 together with a time stamp indicating the calculation timing. After that, the vehicle A, 10 sets the distance data (D4) received from the infrastructure 30 from the time-series distance data between the vehicle A, 10 and the infrastructure 30 continuously calculated by the vehicle A, 10 stored in the memory. The distance data (D3) set with the time stamp of the same timing as the time stamp set is selectively acquired and compared.
  • the vehicle A, 10 D1 ⁇ D2 D3 ⁇ D4
  • the vehicle A, 10 is connected with the sensor 11 and the distance calculation unit of the vehicle A, 10, the sensor 21 and the distance calculation unit of the vehicle B, 20, and the sensor 31 of the infrastructure 30. It can be determined that all of the distance calculation units are in a normal state.
  • the vehicle A, 10 determines that the sensor 11 and the distance calculating section of the vehicle A, 10 are normal, but the sensor 21 and the distance calculating section of the vehicle B, 20 are not normal. can be done. In this case, the vehicle A, 10 issues a warning notification to the vehicle B, 20 that the sensor 21 and the distance calculation section of the vehicle B, 20 are not operating normally.
  • Vehicle B, 20 detects that the sensor 21 of vehicle B, 20 and the distance calculation unit are not operating normally based on the reception of this warning notification, and calibrates the sensor 21 of vehicle B, 20 and the distance calculation unit. This makes it possible to perform installation (correction processing) and failure repair processing without delay.
  • FIG. 4 is a block diagram showing a configuration example of a vehicle that executes the above processing and a sensor verification device installed in infrastructure.
  • FIG. 4 is a block diagram showing a configuration example of a sensor verification device installed in vehicles A, 10, vehicles B, 20, and infrastructure (road facilities) 30 shown in FIG.
  • the sensor verification device 100 for the vehicles A and 10 has a sensor 101 , a data processing section 102 , a communication section 103 , a memory 104 and a position information acquisition section 105 .
  • the data processing unit 102 has a distance calculation unit 111 , a sensor state determination unit 112 , a calibration execution unit 113 and a position analysis unit 114 .
  • the sensor verification device 200 of the vehicle B, 20 has the same configuration as the sensor verification device 100 of the vehicle A, and has a sensor 201, a data processing unit 202, a communication unit 203, a memory 204, and a position information acquisition unit 205. there is Although omitted from the drawing, the data processing unit 202 of the vehicle B, 20 also has a distance calculation unit, a sensor state determination unit, a calibration execution unit, and a position analysis unit.
  • a sensor verification device 300 of an infrastructure (road facility) 30 has a sensor 301 , a data processing section 302 , a communication section 303 and a memory 304 .
  • the data processing unit 302 of the infrastructure (road equipment) 30 has a distance calculation unit, a sensor state determination unit, and a calibration execution unit.
  • the sensor 101 is composed of, for example, a stereo camera, as described above.
  • a stereo camera is a type of distance detection sensor capable of capturing a plurality of images from different viewpoints, analyzing the parallax of the captured images, and analyzing the distance to a subject included in the captured images.
  • the sensor 101 is not limited to a stereo camera, and various sensors capable of measuring distance can be used.
  • sensors such as LiDAR (Light Detection and Ranging), ToF (Time of Flight) sensors, millimeter wave radars, and monocular cameras can be used.
  • LiDAR (Light Detection and Ranging), ToF sensors, and millimeter wave radars are sensors that output light such as laser light, analyze reflected light from objects, and measure the distance to surrounding objects.
  • the data processing unit 102 has a distance calculation unit 111 , a sensor state determination unit 112 , a calibration execution unit 113 and a position analysis unit 114 .
  • the distance calculation unit 111 receives information detected by the sensor 101, such as a plurality of captured images captured from different viewpoints constituting a stereo camera, and calculates the distance to the subject in the camera-captured image. For example, the distance to the vehicle B, 20, which is the oncoming vehicle shown in FIG.
  • the object distance data calculated by the distance calculation unit 111 is recorded in the memory 104 in association with a time stamp indicating the distance calculation time.
  • the sensor state determination unit 112 receives distance data calculated by the distance calculation unit 111 in the data processing unit 102 based on an input value (such as an image captured by a stereo camera) from the sensor 101, and the distance data from another device via the communication unit 103. Then, based on the comparison result, it is determined whether the sensor 101 is in a state capable of calculating normal distance data.
  • an input value such as an image captured by a stereo camera
  • the distance data to be compared are the vehicle A, 10 and the other device (vehicle B, 20, or infrastructure 30) at the same time. or distance data between infrastructures 30).
  • the sensor state determination unit 112 determines the object distance (between the vehicle A, 10 and the vehicle B, 20) calculated by the vehicle B, 20 and the infrastructure (road facility) 30 shown in FIG. or the distance between the vehicle A, 10 and the infrastructure 30) is input via the communication unit 103, and the distance data received from the other device and the distance calculation unit 111 receive the input value from the sensor 101 (stereo camera and the distance data calculated based on the photographed image of the camera, etc.). Furthermore, based on the comparison result, it is determined whether the sensor 101 is in a state capable of calculating normal distance data.
  • the calibration execution unit 113 determines that the sensors 101 and the distance calculation units 111 of the vehicles A and 10 are not operating normally based on the result of the distance comparison processing in the sensor state determination unit 112, the vehicle A and Correction processing of the sensors 101 and the distance calculation unit 111, that is, calibration processing is executed so that the sensors 101 and the distance calculation unit 111 of 10 can calculate normal values.
  • the position analysis unit 114 receives a signal received by the position information acquisition unit 105 that receives a position identification signal such as GPS, and analyzes the current locations of the vehicles A and 10 .
  • a position identification signal such as GPS
  • the position analysis processing by the position analysis unit 114 may be configured to be executed using information other than GPS signals and the like.
  • the position information acquisition unit 105 may detect a position identification mark on the road, and the position analysis unit 114 may analyze the self position based on the position identification mark on the road detected by the position information acquisition unit 105. good.
  • the communication unit 103 executes communication processing with other devices such as the vehicle B 20 and the infrastructure 30 . Also, it receives accurate time information from a time server such as an NTP (Network Time Protocol) server. This time information is stored in the memory 104 in association with the distance data calculated by the distance calculation unit 111 of the data processing unit 102 .
  • NTP Network Time Protocol
  • the memory 104 stores the distance data calculated by the distance calculation unit 111 of the data processing unit 102 in association with the time stamp. Furthermore, sensor detection values of the sensor 101 (for example, images captured by a stereo camera) are also stored. This sensor detection value is also recorded in association with a time stamp indicating the sensor detection time.
  • the memory 104 also stores internal parameters (focal length, distortion, image center) of the sensor 101 required for correction processing (calibration processing) of the sensor 101 and the distance calculation unit 111, external parameters (position, orientation), and the like. is also stored.
  • the position information acquisition unit 105 acquires information for recognizing the self-position of the vehicle A, 10, such as GPS signal reception processing or road marker detection processing, as described above.
  • the sensor verification device 200 of the vehicle B, 20 also has the same configuration as the sensor verification device 100 of the vehicle A. That is, the sensor 201, the data processing unit 202, the communication unit 203, the memory 204, and the position information acquisition unit 205 have the same functions as the core components of the vehicles A and 10 described above. As described above, the data processing section 202 of the vehicle B, 20 also has a distance calculation section, a sensor state determination section, a calibration execution section, and a position analysis section.
  • a sensor verification device 300 of an infrastructure (road equipment) 30 has a sensor 301 , a data processing unit 302 , a communication unit 303 and a memory 304 .
  • the data processing unit 302 of the infrastructure (road equipment) 30 has a distance calculation unit, a sensor state determination unit, and a calibration execution unit, although they are omitted in the drawing.
  • the infrastructure (road facility) 30 is a facility that does not move and does not have a position information acquisition unit or a position analysis unit.
  • the position information of the infrastructure (road facilities) 30 may be stored in the memory 304 .
  • the infrastructure (road equipment) 30 may be connected to an external management server, and the sensor 301 and the distance calculation unit in the data processing unit 302 may be periodically calibrated under the control of the management server.
  • the management server 50 causes each infrastructure to periodically calibrate the sensor 301 and the distance calculation unit in the data processing unit 302 .
  • FIG. 6 shows two traffic signals, infrastructure a 30a and infrastructure b 30b, which are connected to the management server 50 . These traffic lights are fixed on the road, and the distance between both infrastructures is a fixed distance. This inter-infrastructure distance is measured in advance and registered as reference distance data in the memory of the management server 50 or in the memory in the infrastructure.
  • the management server 50 periodically sends calibration processing execution requests to infrastructure a, 30a and infrastructure b, 30b. For example, a request for execution of calibration processing is sent once a week or once a month.
  • the infrastructure a 30a Upon receiving the periodical calibration execution request from the management server 50, the infrastructure a 30a captures an image of the infrastructure b 30b using the sensor 301a of the infrastructure a 30a, and performs infrastructure a calibration based on the captured image. , 30a and infrastructure b, 30b. Let Da be the calculated distance.
  • the calibration execution unit in the data processing unit 302 of the infrastructure a, 30a executes the calibration processing of the sensor 301a and the distance calculation unit in the data processing unit 302 .
  • the internal parameters (focal length, distortion, image center) and external parameters (position, orientation) of the sensor 301a are adjusted so that the detection distance of the sensor 301a becomes equal to the reference distance Ds. .
  • the infrastructure connected to the management server 50 is periodically calibrated, and can always be maintained in a state in which the correct distance can be calculated.
  • FIGS. 7 and 8 A sequence of processing executed by the sensor verification device of the present disclosure will be described with reference to flowcharts shown in FIGS.
  • the sequence described with reference to FIGS. 7 and 8 is the sequence of processing executed by the sensor verification device mounted on the vehicle.
  • the vehicle A 10 described with reference to FIGS. 1 to 4 is used as a host that executes processing, and the sequence of processing executed by the sensor verification device 100 mounted on the vehicle A (host) 10 will be described. .
  • processing according to the flow described below can be executed according to a program stored in the storage unit of the sensor verification device mounted in the vehicle. For example, it is executed under the control of a data processing section (control section) having a CPU having a program execution function.
  • control section control section
  • processing of each step of the flowcharts shown in FIGS. 7 and 8 will be described in order.
  • Step S101 First, in step S101, the sensor verification device mounted on vehicle A (host) issues a distance calculation processing execution request to another vehicle, for example vehicle B, or an external device such as infrastructure (road equipment) such as a traffic light. to send.
  • vehicle A host
  • vehicle B another vehicle
  • an external device such as infrastructure (road equipment) such as a traffic light.
  • Step S102 vehicle A (host) and an external device, such as vehicle B or infrastructure, which has received a distance calculation processing execution request from vehicle A (host), executes authentication processing to confirm the legitimacy of the communication partner.
  • Step S103 is a judgment step for judging whether or not the authentication process in step S102 has been established.
  • step S104 If the authentication fails, the communication between the vehicle A (host) and the external device is terminated, and the vehicle A (host) returns to step S101 to install another vehicle or infrastructure (road equipment) such as a traffic light. A request for execution of distance calculation processing is transmitted to the external device. On the other hand, if the authentication process is successful, the process proceeds to step S104.
  • Step S104 Vehicle A (host) and an external device, such as vehicle B or infrastructure, which has received a distance calculation processing execution request from vehicle A (host) confirms the validity of the communication partner. Execute the following process.
  • the sensor verification device 100 mounted on vehicle A (host) calculates the distance between vehicle A and an external device (vehicle B, infrastructure, etc.) in step S104. That is, the sensor verification device 100 mounted on the vehicle A (host) uses the sensor 101 to calculate the distance to an external device (vehicle B, infrastructure, etc.).
  • the sensor 101 is, for example, a stereo camera.
  • the sensor 101 captures an image of an external device (vehicle B, infrastructure, etc.) and inputs the captured image to the distance calculation unit 111 of the data processing unit 102 .
  • the distance calculation unit 111 receives information detected by the sensor 101, such as a plurality of captured images captured from different viewpoints constituting a stereo camera, and calculates the distance to the subject in the camera-captured image. For example, the distance data D1 (self-device calculated distance data D1) indicating the distance to the oncoming vehicle B, 20 shown in FIG.
  • step S105 the sensor verification device 100 mounted on the vehicle A (host) calculates the distance data calculated by the distance calculation unit 111 in step S104, that is, the self-device calculated distance data D1 and the distance data D1. It stores in the memory 104 in association with the time stamp indicating the shooting time of the image, which is the sensor detection value acquired at the time of shooting.
  • image data which are sensor detection values used when calculating the distance data D1
  • image data which are sensor detection values used when calculating the distance data D1
  • image data which are sensor detection values used when calculating the distance data D1
  • a configuration is also possible in which the image data (stereo image data) is not stored in the memory.
  • An embodiment relating to a configuration in which image data (stereo image data) is not stored in memory will be described later.
  • the sensor verification device 100 of the vehicle A, 10 continuously executes the process of calculating the distance between the vehicle A and the external device based on the detection value (stereo camera captured image) of the sensor 101 of the vehicle A, 10, and calculates the calculated distance is recorded in the memory together with a time stamp indicating the distance calculation timing.
  • the time stamp is applied using accurate time information received by the vehicle A, 10 from a time server such as an NTP (Network Time Protocol) server.
  • NTP Network Time Protocol
  • Step S106 the sensor verification device 100 of the vehicle A, 10 receives from an external device (vehicle B, infrastructure, etc.) the distance data D2 (external Device-calculated distance data D2) is received together with a time stamp indicating the distance calculation timing.
  • an external device vehicle B, infrastructure, etc.
  • the distance data D2 external Device-calculated distance data D2
  • Step S107 the sensor verification device 100 mounted on the vehicle A (host) converts the distance data D2 (external device calculated distance data D2) calculated by the external device and received from the external device in step S106 to It is stored in the memory 104 together with a time stamp indicating the distance calculation timing.
  • Step S108 The process after step S108 is executed by the sensor state determination unit 112 in the data processing unit 102 of the sensor verification device 100 of the vehicle A,10.
  • step S108 the sensor state determination unit 112 in the data processing unit 102 of the sensor verification device 100 of the vehicle A, 10 continuously calculates the vehicle A and the external device (vehicle B , infrastructure, etc.), a time stamp with the same timing as the time stamp set in the distance data (external device calculated distance data D2) received from the external device is set from the time series data of the own device calculated distance data D1.
  • the obtained distance data self-device calculated distance data D1 is selectively acquired and compared.
  • Step S109 the sensor verification device 100 of the vehicle A, 10 performs verification processing on the result of the distance data comparison processing in step S108.
  • distance data D1 self-device calculated distance data D1 calculated by vehicle A and stored in memory in sensor verification device 100 of vehicle A;
  • distance data D2 External device calculated distance data D2 calculated by an external device (vehicle B, infrastructure, etc.) and received from the external device,
  • the sensor verification device 100 of the vehicle A, 10 determines whether the difference between these two distance data, that is, the self-device calculated distance data D1 and the external device calculated distance data D2, is less than a predetermined threshold value (Th). determine whether or not i.e.
  • step S110 If it is determined that the above determination formula holds, the process proceeds to step S110. On the other hand, if it is determined that the above determination formula is not established, the process proceeds to step S112.
  • Step S110 In step S109,
  • the vehicle A , 10 perform the processes of steps S110 to S111.
  • the sensor verification device 100 of the vehicle A, 10 is
  • the self-device calculated distance data D1 calculated by the vehicle A and stored in the memory in the sensor verification device 100 of the vehicle A is correct distance data
  • the sensor verification device 100 of the vehicle A sensor 101 and the distance calculation unit 111 of the data processing unit 102 are operating normally. In this case, it is determined that calibration processing as correction processing for the sensor 101, distance calculation parameters, etc. is unnecessary.
  • step S110 the sensor verification device 100 of the vehicle A 10 sends the external device-calculated distance data D2 to both the vehicle A (host) and the external device. Notify that the difference between the distance data (D1, D2) is less than the threshold.
  • the external device can confirm that there is a high possibility that the distance calculation in the external device (vehicle B, infrastructure, etc.) is being performed normally. .
  • Step S111 the sensor verification device 100 of the vehicle A, 10 confirms that the sensor 101 of the vehicle A and the distance calculation unit 111 of the data processing unit 102 are performing accurate distance calculation and are operating normally.
  • the indicated sensor state information is recorded in the memory 104 .
  • Step S112 On the other hand, in step S109,
  • the vehicle A , 10 perform the processes of steps S112 and S113.
  • the sensor verification device 100 of the vehicle A, 10 uses the distance data calculated by the vehicle A and stored in the memory in the sensor verification device 100 of the vehicle A, which may be incorrect. It is determined that there is a possibility that the sensor 101 of the sensor verification device 100 of the vehicle A and the distance calculation unit 111 of the data processing unit 102 are not operating normally. In this case, it is determined that there is a possibility that calibration processing as correction processing for the sensor 101, distance calculation parameters, and the like may be necessary.
  • step S112 the sensor verification device 100 of the vehicle A 10 asks the external device that has transmitted the external device calculated distance data D2 to both the vehicle A (host) and the external device. Notify that the difference between the distance data (D1, D2) is greater than or equal to the threshold.
  • the external device can confirm that the distance calculation in the external device (vehicle B, infrastructure, etc.) may not be performed normally. .
  • Step S113 Furthermore, in step S113, the sensor verification device 100 of the vehicle A, 10 detects that the sensor 101 of the vehicle A and the distance calculation unit 111 of the data processing unit 102 may not have accurately calculated the distance.
  • the state information is recorded in memory 104 .
  • the memory 104 records the following data.
  • “(a1) Timestamp” is time information indicating the acquisition timing of the sensor detection value (stereo image, etc.) by the sensor 101 when calculating the self-apparatus-calculated distance data D1.
  • “(a2) sensor detection value (stereo image, etc.)” is a sensor detection value (stereo image, etc.) by the sensor 101 .
  • Vehicles A and 10 continuously acquire sensor detection values (stereo images, etc.) from sensor 101 and store them in memory 104. Sensor detection values obtained by performing distance comparison processing with external device-calculated distance data D2 are stored in memory 104. Sensor detection values (stereo images, etc.) other than (stereo images, etc.) are deleted from the memory 104 since they are no longer needed.
  • FIG. 9 shows an example in which only sensor detection values (stereo images, etc.) that have undergone distance comparison processing with the external device-calculated distance data D2 are left as recorded data.
  • the example shown in the figure is an example of sensor detection values when the sensor 101 is a stereo camera that captures stereo images.
  • the sensor 101 is another sensor such as a distance measurement sensor such as LiDAR, TOF sensor, or millimeter wave radar, distance data measured by these sensors is stored.
  • a distance measurement sensor such as LiDAR, TOF sensor, or millimeter wave radar
  • the sensor 101 is a monocular camera, one image captured by the monocular camera is recorded.
  • (a3) Own device calculated distance data D1 is distance data calculated by the distance calculation unit 111 of the data processing unit 102 based on sensor detection values (stereo images, etc.) obtained by the sensors 101 of the vehicles A and 10. be. Distance data between vehicles A and 10 and external devices (vehicle B, infrastructure, etc.).
  • the memory 104 of the sensor verification device 100 of the vehicle A, 10 also records the external device calculated distance data D2 received from the external device (vehicle B, infrastructure, etc.). An example of received data from an external device recorded in memory 104 will be described with reference to FIG.
  • (b1) external device identifier (ID) is an external device (vehicle B, infrastructure, etc.) that communicates with vehicle A (host) and transmits external device calculated distance data D2 to vehicle A (host). is an identifier.
  • This external device identifier (ID) is received by vehicle A (host) from an external device (vehicle B, infrastructure, etc.) in the authentication process of step S102 described above with reference to the flow of FIG.
  • the external device identifier (ID) indicates, for example, whether the external device is an infrastructure or a vehicle, and is configured as data capable of identifying each infrastructure, type of vehicle, and the like.
  • C indicates vehicles and I indicates infrastructure.
  • (b2) Timestamp is time information indicating the acquisition timing of the sensor detection value (stereo image, etc.) by the sensor when the external device (vehicle B, infrastructure, etc.) calculates the external device-calculated distance data D2. .
  • External device calculated distance data D2 is distance data between the external device (vehicle B, infrastructure, etc.) and vehicle A (host) calculated by the external device (vehicle B, infrastructure, etc.).
  • the sensor verification devices 100 of the vehicles A and 10 receive the data related to their own device described with reference to FIG.
  • the obtained data is stored in the memory 104 .
  • the sensor verification device 100 of the vehicle A, 10 executes processing using data stored in the memory 104 when performing calibration processing of the sensor 101 and the like in the sensor verification device 100 .
  • FIG. 11 is a flow showing the processing executed after the processing of steps S112 to S113 in the flowchart shown in FIG. 8 described above.
  • step S109 when it is determined that the difference between the own device calculated distance data D1 and the external device calculated distance data D2 is not less than the predetermined threshold value (Th), the sensor verification device 100 of the vehicle A, 10 In step S112, the difference between the calculated distance data (D1, D2) of both the vehicle A (host) and the external device is equal to or greater than the threshold value for the external device that has transmitted the external device calculated distance data D2. Notify me of what happened.
  • step S113 the sensor state information indicating that the sensor 101 of the vehicle A and the distance calculation unit 111 of the data processing unit 102 may not be performing accurate distance calculation is recorded in the memory 104.
  • FIG. The data to be recorded in step S113 are, for example, the following data shown in FIG. (a4) Comparison result between each device calculated distance data difference
  • step S109 when it is determined in step S109 that the difference between the self-device calculated distance data D1 and the external device calculated distance data D2 is not less than the predetermined threshold value (Th), in step S112 the external device (vehicle B, infrastructure, etc.), and after data is recorded in the memory in step S113, the processing from step S121 onward in the flow chart shown in FIG. 11 is executed. Details of the processing of each step of the flowchart shown in FIG. 11 will be described below.
  • Step S121 the sensor verification device 100 of the vehicle A determines whether or not the external device that has calculated the external device calculated distance data D2 is an external device (such as an infrastructure managed by a management server) capable of calculating a highly reliable distance. judge.
  • an external device such as an infrastructure managed by a management server
  • step S121 is executed by the sensor state determination unit 112 in the data processing unit 102 of the sensor verification device 100 of the vehicle A,10.
  • infrastructure such as a traffic light is connected to an external management server, and the maintenance of sensors and distance calculation units in the infrastructure is periodically performed under the control of the management server.
  • a configuration for performing calibration is possible. With such periodic calibration processing, the infrastructure connected to the management server can always be maintained in a state in which the correct distance can be calculated.
  • step S121 of the flow shown in FIG. 11 whether or not the external device to which vehicle A has requested distance calculation is an external device that undergoes such regular maintenance and is capable of accurate distance calculation.
  • a process for determining whether or not is executed. This determination processing is performed, for example, based on an external device identifier (ID) received from the external device.
  • ID an external device identifier
  • the memory 104 of the sensor verification device 100 of the vehicle A (host) stores "(b1) external device identifier (ID)".
  • This "(b1) external device identifier (ID)" is an external device (vehicle B, infrastructure, etc.) that communicates with vehicle A (host) and transmits external device calculated distance data D2 to vehicle A (host).
  • is an identifier for This external device identifier (ID) is received by vehicle A (host) from an external device (vehicle B, infrastructure, etc.) in the authentication process of step S102 described above with reference to the flow of FIG. recorded in
  • the sensor verification device 100 of the vehicle A refers to the external device identifier (ID) received from the external device and recorded in the memory 104, so that the external device can calculate reliable distance data. Determine whether or not there is Specifically, for example, it is determined whether the external device is an infrastructure or a vehicle other than that.
  • the external device identifier indicates, for example, whether the external device is an infrastructure or a vehicle, and is configured as data that can identify each infrastructure, type of vehicle, and the like.
  • ID indicates, for example, whether the external device is an infrastructure or a vehicle, and is configured as data that can identify each infrastructure, type of vehicle, and the like.
  • C indicates vehicles and I indicates infrastructure.
  • step S121 If it is determined in step S121 that the external device that has calculated the external device calculated distance data D2 is an external device capable of calculating a highly reliable distance (such as an infrastructure managed by the management server), the process proceeds to step S123. On the other hand, if it is determined in step S121 that the external device that has calculated the external device calculated distance data D2 is not an external device capable of calculating the highly reliable distance (infrastructure managed by the management server, etc.), the process proceeds to step S122.
  • a highly reliable distance such as an infrastructure managed by the management server
  • step S123 is a step of calibrating the sensors of the vehicle A and the like. If the external device that has calculated the external device-calculated distance data D2 is an external device that can calculate the highly reliable distance, it is estimated that the external device-calculated distance data D2 is correct distance data. Furthermore, in step S109 of the previously described flow of FIG. 8, the device-calculated distance data D1 for which the difference from the external device-calculated distance data D2 is determined to be equal to or greater than the threshold value Th is incorrect distance data. It is determined that there is When these determinations are made, calibration processing such as parameter correction processing is executed in step S123 so that the sensor of vehicle A can calculate a correct distance.
  • Step S122 is executed when it is determined in step S121 that the external device that has calculated the external device calculated distance data D2 is not an external device (such as an infrastructure managed by the management server) capable of calculating the highly reliable distance.
  • step S122 the sensor verification device 100 of the vehicle A determines in step S122 whether or not a predetermined calibration execution condition is satisfied.
  • the process of step S122 is executed by the sensor state determination unit 112 in the data processing unit 102 of the sensor verification device 100 of the vehicle A,10.
  • the determination process of step S122 is a process of performing the following determinations. That is, the vehicle A executes the processing according to the flow shown in FIGS. Between the distance data D1 and the external device-calculated distance data D2 calculated by the external device (vehicle B, infrastructure, etc.), the difference
  • ⁇ Th This is a process for determining whether or not the number of times the determination formula is not satisfied has reached a specified number of times N in succession.
  • the process proceeds to step S123, and the calibration of the sensor 101 of the own device (vehicle A) is executed.
  • step S101 executes communication with the new external device, and performs the comparison processing of the calculated distances.
  • Step S123 The process of step S123 is a process executed when one of the following two cases applies.
  • Step S121 When it is determined in step S121 that the external device that has calculated the external device calculated distance data D2 is an external device (such as an infrastructure managed by a management server) capable of calculating a highly reliable distance.
  • the sensor verification device 100 of the vehicle A determines that the calculated distance of its own device, that is, the vehicle A side, that is, the self-device calculated distance data D1 is incorrect, and proceeds to step S123. , calibration of the sensor 101 of its own device (vehicle A) is executed.
  • the flowchart shown in FIG. 12 is a process executed by the calibration execution unit 113 of the data processing unit 102 of the sensor verification device 100 of the vehicle A.
  • FIG. Hereinafter, processing of each step of the flow shown in FIG. 12 will be described in order.
  • Step S201 The calibration executing unit 113 of the data processing unit 102 of the sensor verification device 100 of the vehicle A first executes the following process in step S201.
  • the memory 104 stores data shown in FIG. 9, for example.
  • the self-apparatus calculated distance data D1 determined to be incorrect calculated distance data is used as the data of entry (3) shown in FIG.
  • the value of self-device calculated distance data D1 of entry (3) shown in FIG. D1 352,425 (mm) is. It is assumed that this self-device calculated distance data D1 is distance data determined to be erroneous distance data.
  • a sensor detection value (stereo image or the like) applied to the distance data calculation process is acquired from the memory 104 .
  • the entry (3) in the memory storage data shown in FIG. (a2) Acquire two images shown in sensor detection values (stereo images). These two images are two images of the external device (vehicle) photographed from different viewpoint positions.
  • the vehicle as the subject included in this image is the vehicle for which the external device-calculated distance data D2 has been calculated. That is, it is the memory storage data described above with reference to FIG.
  • step S202 the calibration execution unit 113 of the data processing unit 102 of the sensor verification device 100 of the vehicle A executes the following process.
  • External device-calculated distance data D2 which is estimated to be correct distance data calculated by an external device (vehicle B, infrastructure, etc.) having the same time stamp as the calculation timing of the erroneous self-device-calculated distance data D1, is acquired from the memory. .
  • the memory 104 stores data received from an external device, as described above with reference to FIG. That is, the memory 104 stores the following data received from the external device. (b1) external device identifier (ID) (b2) Timestamp (b3) External device calculated distance data D2
  • step S202 the calibration execution unit 113 selects sensor detection values (stereo image, etc.) selected in step S201 from the plurality of entries (p), (q), (r), . . . shown in FIG. Select the entry with the same time stamp as the time stamp indicating the shooting timing.
  • This time stamp is time information indicating the shooting timing of the sensor detection value (stereo image, etc.) of entry (3) in the memory storage data shown in FIG. Oct. 28, 2021, 14:05:12 This is data indicating that the sensor detection value (stereo image, etc.) of entry (3) was captured at this time.
  • step S202 an entry set with a time stamp having the same time information as this time stamp is selected from a plurality of entries (p), (q), (r), . . . shown in FIG.
  • the entry with the same timestamp as this timestamp is entry (r).
  • the external device calculated distance data D2 of entry (r) shown in FIG. 10 is distance data calculated by the external device at exactly the same timing as the timing of calculating the own device calculated distance data D1 of entry (3) shown in FIG. , which is the distance data estimated to be correct distance data.
  • step S203 the calibration execution unit 113 of the data processing unit 102 of the sensor verification device 100 of the vehicle A executes the following process.
  • the correct distance data (external device calculated distance data D2) obtained from the memory 104 in step S202 is calculated from the sensor detection value (stereo image, etc.) obtained from the memory 104 in step S201.
  • the internal and external parameters of the sensor 101 are adjusted.
  • the external device calculates the entry (r) shown in FIG. 10, which is estimated to be correct distance data from the two images that are the sensor detection values (stereo images) of the entry (3) in the memory storage data shown in FIG.
  • the internal and external parameters of the sensor 101 of the vehicle A (host) are adjusted so that the distance data D2 is calculated.
  • the sensor verification device mounted on the vehicle of the present disclosure communicates with external devices such as infrastructure such as traffic lights and traffic lights while traveling on the road, and the same inter-vehicle distance and distance at the same timing.
  • infrastructure such as traffic lights and traffic lights
  • the distance between the vehicle and the infrastructure is calculated, and these two calculations are compared to verify whether or not the correct distance calculation is being performed.
  • a vehicle can execute distance calculation processing with other vehicles and infrastructure at various timings while traveling on roads, and can frequently perform calibration processing according to distance calculation results. By these processes, it is possible to prevent the sensor from deteriorating the distance calculation accuracy, and it is possible to realize highly safe automatic driving and driving support.
  • FIG. Communication sequence between vehicle A and vehicle B
  • Communication sequence example 1 between vehicle A and infrastructure (Case 3) Communication sequence example 2 between vehicle A and infrastructure
  • FIG. 13 shows vehicle A on the left and vehicle B on the right. Communication processing between vehicles is executed according to the sequence of steps S301 to S307 shown in FIG. The processing of each step will be described below in order.
  • Step S301 First, in step S301, vehicle A transmits a vehicle detection signal (Announce).
  • This vehicle detection signal (Announce) is an announcement signal for detecting a vehicle that performs distance calculation, and is not a transmission signal for a specific vehicle.
  • Step S302 Upon receiving the vehicle detection signal (Announce) transmitted by vehicle A, vehicle B transmits a response (vehicle detection signal (Report)), which is a response signal indicating that the vehicle detection signal (Announce) of vehicle A has been received, in step S302. to vehicle A.
  • a response vehicle detection signal (Report)
  • Step S303 Next, vehicle A, which has received a response signal (vehicle detection signal (Report)) from vehicle B, starts authentication processing between vehicle A and vehicle B in step S303.
  • a response signal vehicle detection signal (Report)
  • the vehicle A and the vehicle B are applied to, for example, an ID exchange process as a process of confirming that the vehicle A and the vehicle B performing communication are mutually reliable vehicles, and an encryption process of communication data. Sharing processing of key data, etc. is performed. If the authentication is established, the process proceeds to the next step. If the authentication fails, subsequent processing is not executed.
  • Step S304 If the authentication process is established in step S303, then vehicle A transmits a distance calculation request to vehicle B in step S304. That is, a request is made to execute processing for calculating the distance between vehicle A and vehicle B.
  • FIG. 1 A block diagram illustrating an exemplary computing environment in accordance with the present disclosure.
  • Step S305 Upon receiving the distance calculation request transmitted by vehicle A, vehicle B executes distance calculation processing between vehicle AB in step S305, and transmits to vehicle A the calculated inter-vehicle distance data and a time stamp indicating the distance calculation time. .
  • Step S306 Vehicle A, which receives vehicle-to-vehicle distance data (external device-calculated distance data D2) and a time stamp indicating the distance calculation time from vehicle B, transmits distance data between vehicle AB calculated on the vehicle A side (own device-calculated distance data D2). D1), self-device calculated distance data D1 in which the same time stamp as the time stamp received from vehicle B is set is selected, and compared with external device calculated distance data D2 received from vehicle B. Vehicle A transmits this comparison result to vehicle B in step S306.
  • step S110 The process of notifying the distance comparison result information from vehicle A to vehicle B corresponds to the process of step S110 and the process of step S112 of the flow chart previously described with reference to FIG. That is, in step S109 of the flowchart described with reference to FIG. 8, the distance comparison results differ depending on whether the difference between the self-device calculated distance data D1 and the external device calculated distance data D2 is less than the specified threshold value.
  • Information notification processing is executed.
  • step S110 If the difference between the own device calculated distance data D1 calculated by the vehicle A and the external device calculated distance data D2 calculated by the vehicle B is less than the specified threshold value, the flow chart described above with reference to FIG. is executed in step S110.
  • vehicle A notifies vehicle B, which has transmitted external device-calculated distance data D2, that the difference between the calculated distance data (D1, D2) of both vehicles AB is less than the threshold value. Notice. By receiving this notification from vehicle A, vehicle B can confirm that there is a high possibility that vehicle B is calculating the distance normally.
  • step S112 of the flow chart is executed.
  • vehicle A notifies vehicle B, which has transmitted external device calculated distance data D2, that the difference between the calculated distance data (D1, D2) of both vehicles AB is not less than the threshold value. Notice. By receiving this notification from vehicle A, vehicle B can confirm that there is a possibility that vehicle B is not calculating the distance normally.
  • Step S307 Vehicle B, which has received notification of distance comparison result information from vehicle A, calculates distance data D1 calculated by the external device, distance data D2 calculated by the external device, and sends an acknowledgment to vehicle A that it has received the distance comparison result information. Send to A.
  • steps S301 to S307 is executed between the vehicles A and B as described above. After these communication processes, the vehicle A performs a calibration process for the sensors mounted on the vehicle A as necessary.
  • step S122 of the flow shown in FIG. 11 For example, in step S122 of the flow shown in FIG. 11, calibration processing of the sensors mounted on the vehicle A is performed.
  • the sensor calibration process is executed, for example, according to the sequence shown in the flowchart shown in FIG. 12 described above.
  • (Case 2) Communication sequence example 1 between vehicle A and infrastructure
  • vehicle A and infrastructure which is road equipment such as a traffic light
  • vehicle A and the infrastructure communicate with each other at the same timing.
  • An example 1 of the communication sequence between the vehicle A and the infrastructure when the distance between the vehicle A and the infrastructure is calculated and the vehicle A compares these two calculated distances will be described.
  • FIG. 14 shows vehicle A on the left and infrastructure on the right. Communication processing between the vehicle and the infrastructure is executed according to the sequence of steps S401 to S407 shown in FIG. The processing of each step will be described below in order.
  • Step S401 First, in step S401, vehicle A transmits an infrastructure detection signal (Announce).
  • This infrastructure detection signal (Announce) can use the same signal as the vehicle detection signal (Announce) in the communication sequence between vehicles AB previously described with reference to FIG. It is an announcement signal for detecting the infrastructure that performs the distance calculation, not a transmission signal for a specific infrastructure or vehicle. Signals directed to unspecified infrastructures and vehicles, such as broadcast signals, are transmitted.
  • Step S402 The infrastructure that has received the infrastructure detection signal (Announce) transmitted by vehicle A sends a response (infrastructure detection signal (Report)), which is a response signal indicating that the infrastructure detection signal (Announce) of vehicle A has been received, in step S402. Send to vehicle A.
  • a response infrastructure detection signal (Report)
  • Step S403 vehicle A, which has received a response signal (infrastructure detection signal (Report)) from the infrastructure, starts authentication processing between vehicle A and infrastructure in step S403.
  • a response signal infrastructure detection signal (Report)
  • the vehicle A and the infrastructure are applied to, for example, an ID exchange process as a process of confirming that the vehicle A and the infrastructure that communicate with each other are mutually trustworthy, and an encryption process of communication data. Sharing processing of key data, etc. is performed. If the authentication is established, the process proceeds to the next step. If the authentication fails, subsequent processing is not executed.
  • Step S404 If the authentication process is successful in step S403, then vehicle A transmits a distance calculation request to the infrastructure in step S404. That is, a request is made to execute processing for calculating the distance between the vehicle A and the infrastructure.
  • Step S405 Upon receiving the distance calculation request transmitted by vehicle A, the infrastructure executes distance calculation processing between vehicle A and infrastructure in step S405, and sends the calculated distance data between vehicle infrastructure and a time stamp indicating the distance calculation time to vehicle A. Send.
  • Step S406 Vehicle A receives from the infrastructure the distance data between the vehicle and the infrastructure (external device calculated distance data D2) and the time stamp indicating the distance calculation time. From the distance data D1), the device-calculated distance data D1 in which the same time stamp as the time stamp received from the infrastructure is set is selected, and compared with the external device-calculated distance data D2 received from the infrastructure. Vehicle A transmits this comparison result to the infrastructure in step S406.
  • step S110 The process of notifying the distance comparison result information from vehicle A to the infrastructure corresponds to the process of step S110 and the process of step S112 of the flow chart previously described with reference to FIG. That is, in step S109 of the flowchart described with reference to FIG. 8, the distance comparison results differ depending on whether the difference between the self-device calculated distance data D1 and the external device calculated distance data D2 is less than the specified threshold value.
  • Information notification processing is executed.
  • step S110 If the difference between the own device calculated distance data D1 calculated by the vehicle A and the external device calculated distance data D2 calculated by the infrastructure is less than the specified threshold, The process of step S110 is executed. In this case, the difference between the calculated distance data (D1, D2) of the vehicle A and the infrastructure that transmitted the external device calculated distance data D2 was less than the threshold value. to notify you.
  • step S112 of the flowchart is executed.
  • the difference between the calculated distance data (D1, D2) of both the vehicle A and the infrastructure which transmitted the external device calculated distance data D2 was not less than the threshold. to notify you.
  • Step S407 The infrastructure that has received the notification of the distance comparison result information from the vehicle A, the distance comparison data D1 calculated by the external device, and the distance comparison result information D2 from the vehicle A sends an acknowledgment to the vehicle A indicating that the distance comparison result information has been received. Send to A.
  • steps S401 to S407 are executed between the vehicle A and the infrastructure. After these communication processes, the vehicle A performs a calibration process for the sensors mounted on the vehicle A as necessary.
  • step S121 of the flow shown in FIG. Performs calibration processing for the sensors mounted on the The sensor calibration process is executed, for example, according to the sequence shown in the flowchart shown in FIG. 12 described above.
  • This example 2 is an example in which communication processing is performed between the vehicle A and the infrastructure, as in the sequence described with reference to FIG. 14 above.
  • vehicle A transmits a detection signal to infrastructure capable of distance measurement.
  • FIG. 15 is a sequence in which the infrastructure proactively causes a vehicle approaching the infrastructure to perform distance measurement and comparison processing.
  • FIG. 15 shows vehicle A on the left and infrastructure on the right. Communication processing between the vehicle and the infrastructure is executed according to the sequence of steps S501 to S507 shown in FIG. The processing of each step will be described below in order.
  • Step S501 First, in step S501, the infrastructure transmits a vehicle detection signal (Announce) to vehicles near the infrastructure that have approached the infrastructure.
  • This vehicle detection signal (Announce) can use the same signal as the vehicle detection signal (Announce) in the communication sequence between vehicles AB previously described with reference to FIG.
  • the vehicle detection signal is an announcement signal for detecting vehicles approaching the infrastructure, not a transmission signal for a specific vehicle.
  • Step S502 Vehicle A, which has received the vehicle detection signal (Announce) transmitted by the infrastructure, sends a response (vehicle detection signal (Report)), which is a response signal indicating that the vehicle detection signal (Announce) has been received from the infrastructure, in step S502. Send to infrastructure.
  • Step S503 the infrastructure that has received the response signal (vehicle detection signal (Report)) from vehicle A starts authentication processing between vehicle A and infrastructure in step S503.
  • vehicle detection signal (Report) vehicle detection signal
  • the vehicle A and the infrastructure are applied to, for example, an ID exchange process as a process of confirming that the vehicle A and the infrastructure that communicate with each other are mutually trustworthy, and an encryption process of communication data. Sharing processing of key data, etc. is performed. If the authentication is established, the process proceeds to the next step. If the authentication fails, subsequent processing is not executed.
  • Step S504 If the authentication process is successful in step S503, then vehicle A transmits a distance calculation request to the infrastructure in step S504. That is, a request is made to execute processing for calculating the distance between the vehicle A and the infrastructure.
  • Step S505 Upon receiving the distance calculation request transmitted by vehicle A, the infrastructure executes distance calculation processing between vehicle A and infrastructure in step S505, and sends the calculated distance data between vehicle infrastructure and a time stamp indicating the distance calculation time to vehicle A. Send.
  • Step S506 Vehicle A receives from the infrastructure the distance data between the vehicle and the infrastructure (external device calculated distance data D2) and the time stamp indicating the distance calculation time. From the distance data D1), the device-calculated distance data D1 in which the same time stamp as the time stamp received from the infrastructure is set is selected, and compared with the external device-calculated distance data D2 received from the infrastructure. Vehicle A transmits this comparison result to the infrastructure in step S506.
  • step S110 The process of notifying the distance comparison result information from vehicle A to the infrastructure corresponds to the process of step S110 and the process of step S112 of the flow chart previously described with reference to FIG. That is, in step S109 of the flowchart described with reference to FIG. 8, the distance comparison results differ depending on whether the difference between the self-device calculated distance data D1 and the external device calculated distance data D2 is less than the specified threshold value.
  • Information notification processing is executed.
  • step S110 If the difference between the own device calculated distance data D1 calculated by the vehicle A and the external device calculated distance data D2 calculated by the infrastructure is less than the specified threshold, The process of step S110 is executed. In this case, the difference between the calculated distance data (D1, D2) of the vehicle A and the infrastructure that transmitted the external device calculated distance data D2 was less than the threshold value. to notify you.
  • step S112 of the flowchart is executed.
  • the difference between the calculated distance data (D1, D2) of both the vehicle A and the infrastructure which transmitted the external device calculated distance data D2 was not less than the threshold. to notify you.
  • Step S507 The infrastructure that has received the notification of the distance comparison result information from the vehicle A, the distance comparison data D1 calculated by the external device, and the distance comparison result information D2 from the vehicle A sends an acknowledgment to the vehicle A indicating that the distance comparison result information has been received. Send to A.
  • steps S501 to S507 are executed between the vehicle A and the infrastructure. After these communication processes, the vehicle A performs a calibration process for the sensors mounted on the vehicle A as necessary.
  • step S121 of the flow shown in FIG. Performs calibration processing for the sensors mounted on the The sensor calibration process is executed, for example, according to the sequence shown in the flowchart shown in FIG. 12 described above.
  • Example 2 Regarding an embodiment in which calibration is performed without recording an image that is sensor detection information during distance measurement.
  • sensor detection values when calculating the distance between vehicles or between a vehicle and infrastructure are stored in the memory 104, and the recorded images are stored in the memory 104. was used to calibrate the sensor.
  • Example 2 described below uses sensor detection values when calculating the distance between vehicles or between a vehicle and infrastructure, for example, images captured from two different viewpoints captured by a stereo camera, that is, from the left viewpoint.
  • This is an embodiment in which the L image, which is a photographed image, and the R image, which is a photographed image from the right viewpoint, are not stored in the memory 104 . That is, the embodiment described below is an embodiment in which sensor calibration processing is executed without using an image.
  • the (a) stereo camera captured images shown in FIG. 16 are, for example, an L image and an R image, which are two images captured from different viewpoints by the sensors 101 of the sensor verification devices 100 of the vehicles A and 10 . Using these two images, the distance to the preceding vehicle, which is the subject, is calculated.
  • the image data applied to the distance calculation are stored in the memory 104 together with the self-apparatus calculated distance data D1, which is the calculated distance data.
  • the images recorded in the memory 104 were used for the calibration processing of the sensors 101 executed in the vehicles A and 10, as described above with reference to step S201 of the flowchart shown in FIG.
  • these image data are not recorded in the memory.
  • correction processing of the lookup table shown in the lower right of FIG. 16 stored in the memory 104 is executed. That is, in the sensor calibration process, the correction process of "(b) parallax-distance correspondence lookup table" shown in the lower right of FIG. 16 is executed.
  • the "(b) parallax-distance correspondence lookup table" shown in the lower right of FIG. It is a table that associates distance values corresponding to parallax.
  • step S01 the pixel position of the subject for distance calculation is obtained from each of the L image and the R image captured by the sensor 101, which is a stereo camera.
  • the upper left corner of the license plate of the vehicle is the subject for distance calculation.
  • the pixel coordinates of the upper left corner of the license plate of the vehicle in the L image are (XL, YL).
  • the pixel coordinates of the upper left corner of the license plate of the vehicle in the R image are (XR, YR).
  • a subject distance calculation technique using a stereo image is a technique for calculating the distance to an object based on the displacement (parallax) amount of pixels.
  • step S03 in FIG. 16 based on the parallax Xs calculated in step S02, the object corresponding to the parallax Xs is extracted from the "(b) parallax-distance correspondence lookup table" shown in the lower right of FIG. Extract distance.
  • the distance to the subject included in the LR image can be calculated using the LR image, which is the detection value of the sensor 101, and the parallax-distance lookup table.
  • the method of calculating the distance to the subject is not limited to the method using the parallax-distance correspondence lookup table.
  • D (distance to subject) B (base line length) x f (focal length) / S (parallax) It may be obtained from the above calculation.
  • the parallax amount (Xs) stored in the memory 104 and correct distance data for example, correct distance data acquired from an external device (vehicle B, infrastructure, etc.) (external device calculated distance data D2) are used. Then, using the “(b) parallax-distance lookup table” shown in the lower right of FIG. .
  • the flowchart shown in FIG. 17 is executed instead of the flowchart shown in FIG. 12 executed in the previously described embodiment (embodiment 1).
  • the sensor detection data stereo LR image
  • the calibration process of the sensor 101 is executed.
  • calibration processing of the sensor 101 is executed without using LR images.
  • step S105 of the flow shown in FIG. 7 the image (L image, R image) acquired as the sensor detection value is not stored in the memory.
  • This amount of parallax is stored in the memory 104 together with a time stamp indicating the acquisition timing of the sensor detection value (stereo image).
  • the calibration process according to the flow shown in FIG. 17 is performed when it is determined to execute the calibration process in step S123 as a result of the determination processes in steps S121 and S122 of the flow shown in FIG. That is, it is executed when one of the following two cases applies.
  • Step S121 When it is determined in step S121 that the external device that has calculated the external device calculated distance data D2 is an external device (such as an infrastructure managed by a management server) capable of calculating a highly reliable distance.
  • the sensor verification device 100 of the vehicle A determines that the calculated distance of its own device, that is, the vehicle A side, that is, the self-device calculated distance data D1 is incorrect, and proceeds to step S123. , calibration of the sensor 101 of its own device (vehicle A) is executed.
  • the flow shown in FIG. 17 is the detailed sequence of the calibration process in step S123.
  • the flowchart shown in FIG. 17 is a process executed by the calibration execution unit 113 of the data processing unit 102 of the sensor verification device 100 of the vehicle A. FIG. Hereinafter, processing of each step of the flow shown in FIG. 17 will be described in order.
  • Step S701 The calibration executing unit 113 of the data processing unit 102 of the sensor verification device 100 of the vehicle A first executes the following processing in step S701.
  • this parallax data Xs is, for example, the shift between the pixel positions (XL, YL) and (XR, YR) of the same subject area of the L image and the R image, which are stereo camera images shown in FIG. Corresponds to the number of pixels (picture elements).
  • This parallax data Xs (the number of shifted pixels (pixels)) is obtained from the memory 104 .
  • Step S702 the calibration execution unit 113 of the data processing unit 102 of the sensor verification device 100 of the vehicle A executes the following processing.
  • External device-calculated distance data D2 which is estimated to be correct distance data calculated by an external device (vehicle B, infrastructure, etc.) having the same time stamp as the calculation timing of the erroneous self-device-calculated distance data D1, is acquired from the memory. .
  • the memory 104 stores data received from an external device, as described above with reference to FIG. That is, the memory 104 stores the following data received from the external device. (b1) external device identifier (ID) (b2) Timestamp (b3) External device calculated distance data D2
  • step S702 the calibration execution unit 113 selects from the plurality of entries (p), (q), (r), . . . shown in FIG. (number of pixels)) is selected, and the external device calculated distance data D2 recorded in the selected entry is selected.
  • the external device-calculated distance data D2 of the selected entry is calculated by the external device at exactly the same timing as the stereo image shooting timing at which the parallax data Xs (the number of displaced pixels (pixels)) obtained from the memory 104 in step S701 is calculated. It is distance data that has been estimated to be correct distance data.
  • step S703 the calibration execution unit 113 of the data processing unit 102 of the sensor verification device 100 of the vehicle A executes the following processing.
  • the memory 104 of the vehicle A stores the Correct the stored “parallax-distance correspondence data storage lookup table”.
  • the "parallax-distance correspondence data storage lookup table" stored in the memory 104 of the vehicle A (host) is corrected.
  • the distance correspondence data storage lookup table it is possible to calculate the correct distance based on the parallax calculated from the stereo images (L image and R image).
  • Example 3 Example using a monocular camera as a sensor
  • Example 3 an example using a monocular camera as a sensor will be described.
  • the stereo camera is used as the sensor 101 for detecting the distance.
  • the sensor is not limited to a stereo camera, and various sensors capable of measuring distance can be used.
  • sensors such as LiDAR (Light Detection and Ranging), ToF (Time of Flight) sensors, millimeter wave radars, and monocular cameras can be used.
  • LiDAR Light Detection and Ranging
  • ToF sensors ToF sensors
  • millimeter wave radars are sensors that output light such as laser light and analyze the reflected light from objects to measure the distance to surrounding objects.
  • Example 3 An example in which the object distance is calculated using a monocular camera will be described below as Example 3.
  • FIG. 18 The details of the process of calculating the object distance from the image captured by the monocular camera will be described with reference to FIG. 18 .
  • FIG. 18 shows three time-series images (a1), (a2), and (a3) taken with a monocular camera.
  • (a1) is the captured image at time t1
  • (a2) is the captured image at time t2
  • (a3) is the captured image at time t3.
  • An image is captured in which the vehicle gradually approaches as time elapses.
  • a vanishing point is detected in each image.
  • a vanishing point is a point at infinity where parallel line segments intersect in a captured image in the real world, and is also called a point of infinity (FOE: Focus of Expansion).
  • a vanishing point is a point uniquely determined with respect to the optical axis of the camera.
  • the number of pixels between the vanishing point detected from the image captured by the monocular camera and the ground level (ground level) of the object for distance calculation for example, the ground level of the vehicle in each image shown in FIG. 18, that is, The number of pixels between the vanishing point and the object contact position varies depending on the distance from the camera to the object (vehicle).
  • the number of pixels between the vanishing point and the object contact position is n1.
  • the number of pixels between the vanishing point and the object contact position is n2.
  • the number of pixels between the vanishing point and the object contact position is n3.
  • the distance from the monocular camera to the object can be calculated based on the number of pixels from the vanishing point position to the object ground position in the image captured by the monocular camera.
  • FIG. 19 is a diagram showing an example of a lookup table that records the correspondence between the number of pixels from the vanishing point position to the grounding position of the object in the image captured by the monocular camera and the distance from the monocular camera to the object.
  • this lookup table is stored in the memory 104 of the sensor verification device 100 of the vehicle A,10.
  • the distance calculation unit 111 in the data processing unit 102 of the sensor verification device 100 of the vehicle A, 10 receives the captured image of the monocular camera as the sensor 101, detects the vanishing point from the captured image, and detects the object from the vanishing point position. Calculate the number of pixels to the ground position. Furthermore, the distance calculation unit 111 calculates the distance to the object using the lookup table stored in the memory 104, that is, the lookup table shown in FIG. 19, based on the calculated number of pixels.
  • Example 4 Regarding an example in which a marker is set to clarify the distance calculation target position.
  • FIG. 20 shows vehicles A and 10 and a traffic light as an example of infrastructure (road equipment) 30 .
  • Vehicles A and 10 are equipped with sensors 11 for detecting distances to various objects existing in front of vehicles A and 10 .
  • the infrastructure (road equipment) 30 is also equipped with sensors 31 that detect distances to various objects existing around the infrastructure (road equipment) 30 .
  • These sensors 11 and 31 are, for example, stereo cameras.
  • the vehicles A and 10 and the infrastructure (road equipment) 30 both calculate the distance between the vehicle and the infrastructure at the same timing. Further, the vehicle A, 10 compares the distance calculated by the vehicle A, 10, that is, the self-device calculated distance data D1, with the distance calculated by the infrastructure 30, that is, the external device calculated distance data.
  • two devices that is, the vehicle A, 10 and the infrastructure (road equipment) 30 need to perform distance calculation with the same two measurement targets set.
  • the calculated distance value will differ depending on which point of the infrastructure (road equipment) 30 such as a traffic light is to be used for distance calculation.
  • markers 32 indicating distance calculation points are set on the infrastructure (road facilities) 30 .
  • the vehicle A, 10 should just calculate the distance from the vehicle A, 10 to this marker 32 .
  • FIG. 20 shows an example in which markers 32 are set on the infrastructure 30, markers may also be set on the vehicles A and 10 side.
  • FIG. 21 shows an infrastructure a, 30a and an infrastructure b, 30b as two traffic lights installed at an intersection. Two vehicles A, 10 and a vehicle B, 20 are stopped at the intersection.
  • the vehicle A, 10 communicates with the infrastructure a, 30a in front of the vehicle A, 10, and both of them calculate the distance between the vehicle A and the infrastructure a.
  • the vehicle A, 10 detects the marker 32a of the infrastructure a, 30a, and calculates the distance between the front part of the vehicle A, 10 and the marker a, 32a.
  • the infrastructure a, 30a side also calculates the distance between the marker a, 32a and the front part of the vehicle A, 10 using the reference position of the own device as the marker a, 32a. By setting the markers in this way, it is possible to match the calculated distance targets of the vehicle A, 10a and the infrastructure a, 30a, and it is possible to compare the calculated distances with higher accuracy.
  • the comparison processing between the calculated distance of the vehicle A, 10 and the calculated distance of the infrastructure a, 30a may be performed on the vehicle A, 10 side, or may be performed on the infrastructure a, 30a side.
  • the device that has executed the comparison process notifies the side of the device that has not executed the comparison process of the comparison result.
  • vehicle B 20 communicates with infrastructure b 30b in front of vehicle B 20, and both of them calculate the distance between vehicle B and infrastructure b.
  • the vehicle B, 20 detects the marker 32b of the infrastructure b, 30b, and calculates the distance between the front part of the vehicle B, 20 and the marker b, 32b.
  • the infrastructure b, 30b side also calculates the distance between the marker b, 32b and the front part of the vehicle B, 20 using the reference position of its own device as the marker b, 32b. By setting the markers in this way, it is possible to match the calculated distance targets of the vehicle B, 20b and the infrastructure b, 30b, and it is possible to compare the calculated distances with higher accuracy.
  • the comparison processing between the calculated distance of the vehicle B, 20 and the calculated distance of the infrastructure b, 30b may be performed on the vehicle B, 20 side, or may be performed on the infrastructure b, 30b side.
  • the device that has executed the comparison process notifies the side of the device that has not executed the comparison process of the comparison result.
  • FIG. 22 is an example in which the distance calculation section between the vehicle and the infrastructure is set by the marker set on the infrastructure and the predetermined position near the intersection, that is, the lines X and Y shown in the figure.
  • infrastructure a, 30a has markers a, 32a. Furthermore, line X and line Y are set at the intersection. These lines may be painted on the road as visible lines, but they may also be set as invisible lines. For example, the infrastructure a, 30a stores distance data to the line X at each position on the road in advance in its memory.
  • the vehicle A 10 continuously calculates the distance to the marker 32a of the infrastructure a 30a (self-device calculated distance data D1) and stores it in memory in association with the time stamp. Store. The memory also stores the distance data calculated when the line X is passed (self-device calculated distance data D1) in association with the time stamp.
  • the infrastructure a 30a calculates distance data (external device calculated distance data D2) from the marker a 32a to each vehicle position on the line X, It is transmitted to vehicles A and 10 together with a time stamp indicating the distance calculation timing.
  • the vehicle A, 10 acquires the external device-calculated distance data D2 received from the infrastructure a, 30a, and the time stamp received together with this external device-calculated distance data D2, and the time stamp that matches this time stamp is associated. Own device calculated distance data D1 is obtained from the memory and compared.
  • the sensor verification device 100 of the vehicle A, 10 determines whether the difference between the two distance data, the own device calculated distance data D1 and the external device calculated distance data D2, is less than a predetermined threshold value (Th). determine whether or not
  • the self-device calculated distance data D1 calculated by the vehicle A and stored in the memory in the sensor verification device 100 of the vehicle A is correct distance data, and the sensor verification device of the vehicle A It is determined that the sensor 101 of 100 and the distance calculation unit 111 of the data processing unit 102 are operating normally. In this case, it is determined that calibration processing as correction processing for the sensor 101, distance calculation parameters, etc. is unnecessary.
  • the device-calculated distance data D1 is incorrect distance data, and the sensor 101 of the sensor verification device 100 of the vehicle A and the distance calculation unit 111 of the data processing unit 102 are not operating normally. In this case, it is determined that calibration processing is necessary as correction processing for the sensor 101, distance calculation parameters, etc., and the calibration processing is executed.
  • the embodiments in which the sensor verification device is installed in the infrastructure (road equipment) such as the vehicle and traffic lights have been described. That is, the embodiment has been described in which the sensor verification device having the configuration described with reference to FIG. 4 is incorporated in infrastructure (road facilities) such as vehicles and traffic lights.
  • a sensor verification device having the configuration described with reference to FIG. 4 can be attached to various devices other than vehicles and infrastructure (road facilities).
  • FIG. 23 shows (a) a smartphone and (b) a trinocular camera.
  • the sensor verification device having the configuration described with reference to FIG. 4 may be configured to be mounted inside the smartphone 410 or trinocular camera 420 shown in FIG.
  • a smartphone 410 shown in FIG. 23 has an IR sensor 411, an RGB sensor 412, and a pattern light output section 413.
  • the pattern light output unit 413 irradiates a light pattern, for example, in a grid pattern or in stripes.
  • An IR sensor 411 and an RGB sensor 412 capture an image of a subject irradiated with pattern light.
  • the IR sensor 411 captures an infrared light image
  • the RGB sensor 412 captures an RGB color image.
  • the pattern light output unit 413 selectively outputs infrared light or visible light depending on the sensor used for image capturing.
  • the captured images of the IR sensor 411 and the RGB sensor 412 are input to the distance calculation unit of the data processing unit in the smartphone 410 having the same configuration as the sensor verification device 100 described with reference to FIG. Calculate the distance to the subject in the part.
  • the trinocular camera 420 shown in FIG. 23 is a camera having three imaging units with different viewpoints. By analyzing images captured from three different viewpoints, it is possible to calculate the object distance with higher accuracy than with a two-viewpoint stereo camera. A configuration using such a stereo camera with three or more viewpoints as a sensor may be employed.
  • FIG. 24 is a diagram showing an example of the hardware configuration of the sensor verification device 100 of the present disclosure previously described with reference to FIG. Each component of the hardware configuration shown in FIG. 24 will be described below.
  • a CPU (Central Processing Unit) 501 functions as a data processing section that executes various processes according to programs stored in a ROM (Read Only Memory) 502 or a storage section 508 . For example, the process according to the sequence described in the above embodiment is executed.
  • a RAM (Random Access Memory) 503 stores programs and data executed by the CPU 501 .
  • These CPU 501 , ROM 502 and RAM 503 are interconnected by a bus 504 .
  • the CPU 501 is connected to an input/output interface 505 via a bus 504, and the input/output interface 505 includes various switches, a keyboard, a touch panel, a mouse, a microphone, sensors such as cameras, and situation data acquisition units such as GPS.
  • An input unit 506 and an output unit 507 including a display and a speaker are connected. Input information from a sensor 521 such as a camera is also input to the input unit 506 .
  • the output unit 507 also outputs driving information to the driving unit 522 of the vehicle.
  • the CPU 501 receives commands, situation data, and the like input from the input unit 506 , executes various processes, and outputs the processing results to the output unit 507 , for example.
  • a storage unit 508 connected to the input/output interface 505 includes, for example, a hard disk, and stores programs executed by the CPU 501 and various data.
  • a communication unit 509 functions as a transmission/reception unit for data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • a drive 510 connected to the input/output interface 505 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
  • a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
  • the technique disclosed in this specification can take the following configurations.
  • a distance calculation unit that calculates, as self-device calculated distance data D1, the distance between the self-device and an external device based on the detected value of the sensor;
  • a communication unit that receives the inter-device distance calculated by the external device as external device calculated distance data D2 from the external device;
  • a sensor state determination unit that compares the self-device calculated distance data D1 and the external device calculated distance data D2, and determines whether or not the sensor is in a state capable of measuring a correct distance value based on the comparison result;
  • a sensor verification device having a
  • the sensor state determination unit The sensor verification device according to (1), which calculates a difference between the self device calculated distance data D1 and the external device calculated distance data D2 calculated at the same timing.
  • the sensor state determination unit The sensor verification device according to (2), which acquires calculated distance data at the same timing based on time stamps associated with the self-device calculated distance data D1 and the external device calculated distance data D2, respectively, and calculates the difference. .
  • the sensor state determination unit determining whether a difference between the self-device calculated distance data D1 and the external device calculated distance data D2 is less than a prescribed threshold value;
  • the sensor verification device according to any one of (1) to (3), wherein, if the distance is less than a specified threshold value, it is determined that the sensor is in a state capable of measuring a correct distance value.
  • the sensor state determination unit determining whether a difference between the self-device calculated distance data D1 and the external device calculated distance data D2 is less than a prescribed threshold value;
  • the sensor verification device according to any one of (1) to (4), determining that the sensor may not be in a state capable of measuring a correct distance value if the distance value is not less than the specified threshold value.
  • the sensor state determination unit determining whether a difference between the self-device calculated distance data D1 and the external device calculated distance data D2 is less than a prescribed threshold value; If it is not less than the specified threshold value, the calculated distance data comparison process with the new external device is executed, and the number of times the calculated distance difference between the device itself and the external device becomes equal to or greater than the threshold value is a predetermined number of times. , if consecutive, The sensor verification device according to any one of (1) to (5), which determines that the sensor is not in a state capable of measuring a correct distance value.
  • the sensor verification device is a device mounted on a vehicle;
  • the sensor verification device according to any one of (1) to (6), wherein the external device is either an external vehicle or infrastructure as road equipment.
  • the distance calculation unit calculates a distance between the own vehicle and an external vehicle or infrastructure as own device calculated distance data D1 based on the detection value of the sensor;
  • the sensor verification device according to (7), wherein the communication unit receives external device-calculated distance data D2 calculated by an external vehicle or infrastructure from the external device.
  • the sensor state determination unit determining whether a difference between the self-device calculated distance data D1 and the external device calculated distance data D2 is less than a prescribed threshold value; If not below the specified threshold, determining whether the external device is an external vehicle or infrastructure; If the external device is infrastructure, The sensor verification device according to (7) or (8), which determines that the sensor is not in a state capable of measuring a correct distance value.
  • the sensor state determination unit Notifying the external device via the communication unit of a determination result as to whether or not the difference between the self-device calculated distance data D1 and the external device calculated distance data D2 is less than a prescribed threshold value (7).
  • the sensor verification device according to any one of the above.
  • the sensor verification device Having a calibration execution unit that executes calibration processing of the sensor, The calibration execution unit The sensor verification device according to any one of (1) to (11), wherein when the sensor state determination unit determines that the sensor is not in a state in which a correct distance value can be measured, the sensor is calibrated.
  • the calibration execution unit The sensor verification device according to (12), wherein a process of correcting at least one of an internal parameter and an external parameter of the sensor is executed to enable the sensor to measure a correct distance value.
  • the sensor is a stereo camera;
  • the calibration execution unit The sensor verification device according to (12) or (13), wherein the calibration process is performed using the captured image of the stereo camera stored in the memory and the correct distance data.
  • the sensor is a stereo camera;
  • the calibration execution unit (12) to (14) according to any one of (12) to (14), wherein correction processing of a lookup table, which is correspondence data between parallax and distance stored in memory, is performed to enable the sensor to measure a correct distance value.
  • Sensor verification device
  • the sensor is The sensor verification device according to any one of (1) to (15), which is one of a stereo camera, a monocular camera, and a distance measurement sensor.
  • the distance calculation unit The sensor verification device according to any one of (1) to (16), which calculates the distance between the marker attached to the external device and the self device.
  • a sensor verification system composed of the own vehicle and an external device, the external device is either an external vehicle or an infrastructure;
  • the vehicle is a distance calculation unit that calculates an inter-device distance between the own vehicle and the external device as self-device calculated distance data D1 based on the detection value of the sensor;
  • a communication unit that receives the inter-device distance calculated by the external device as external device calculated distance data D2 from the external device;
  • the device-calculated distance data D1 and the external device-calculated distance data D2 are compared, and based on the comparison result, it is determined whether or not the sensor is in a state capable of measuring a correct distance value, and the comparison result is obtained.
  • a sensor state determination unit that notifies the external device of A sensor verification system comprising:
  • a sensor verification method executed in a sensor verification device a distance calculation step in which the distance calculation unit calculates an inter-device distance between the self-device and the external device as self-device calculated distance data D1 based on the detected value of the sensor; a communication step in which the communication unit receives the inter-device distance calculated by the external device as external device calculated distance data D2 from the external device; A sensor state determination unit compares the self-device calculated distance data D1 and the external device calculated distance data D2, and determines whether or not the sensor is in a state capable of measuring a correct distance value based on the comparison result.
  • a sensor verification method for performing a sensor state determination step a sensor state determination step.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • a program recording the processing sequence is installed in the memory of a computer built into dedicated hardware and executed, or the program is loaded into a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be pre-recorded on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed in a recording medium such as an internal hard disk.
  • a system is a logical collective configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same housing.
  • the configuration of one embodiment of the present disclosure it is possible to frequently verify whether or not the sensor is capable of calculating a normal distance, thereby enabling frequent sensor calibration.
  • An apparatus and method are provided. Specifically, for example, based on the detected value of a sensor such as a stereo camera, the distance between the own vehicle and the external vehicle or the distance between the own vehicle and the infrastructure is calculated as the own device calculated distance data D1, and the external device calculates the distance data D1.
  • distance is received from an external device as external device calculated distance data D2
  • the self device calculated distance data D1 is compared with the external device calculated distance data D2, and the sensor can measure a correct distance value based on the comparison result. Determine whether or not the state exists.
  • sensor calibration processing or failure detection processing is executed.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

センサが正常な距離を算出可能であるか否かを高頻度に検証して、高頻度なセンサキャリブレーションを可能とした装置、方法を提供する。ステレオカメラ等のセンサの検出値に基づいて自車両と外部車両間距離、または自車両とインフラ間距離を自装置算出距離データD1として算出し、外部装置が算出した装置間距離を外部装置算出距離データD2として外部装置から受信し、自装置算出距離データD1と、外部装置算出距離データD2とを比較して、比較結果に基づいてセンサが正しい距離値を計測可能な状態にあるか否かを判定する。センサが正しい距離値を計測可能な状態にないと判定した場合、センサのキャリブレーション処理、または故障検出処理を実行する。

Description

センサ検証装置、およびセンサ検証システム、並びにセンサ検証方法
 本開示は、センサ検証装置、およびセンサ検証システム、並びにセンサ検証方法に関する。さらに詳細には、車両に搭載した距離計測用のセンサが正しい距離計測を実行しているか否かを判定するセンサ検証装置、およびセンサ検証システム、並びにセンサ検証方法に関する。
 昨今、自動運転や運転サポートに関する技術開発が盛んにおこなわれている。例えば先進運転支援システム(ADAS:Advanced Driver Assistance System)や、自動運転(AD:Autonomous Driving)技術等である。
 自動運転や運転サポートは、車両(自動車)に備えられたカメラやオブジェクト位置検出センサ等、様々なセンサを用いて道路上を自動走行可能とする技術であり、今後、急速に普及することが予測される。
 自動運転や運転サポートは、カメラやレーダー等の様々なセンサの検出情報を利用している。
 具体的には、例えば、車両から車両進行方向にある対向車両や歩行者、あるいはガードレールなど様々なオブジェクトまでの距離を算出するセンサとしてステレオカメラなどが利用される。
 しかし、車両に搭載したカメラなどのセンサは、車両の走行過程で発生する振動や温度変化などにより、取付位置のずれ、歪などが発生し、この結果、センサ性能の劣化、例えば距離計測性能が低下する場合がある。
 車両に搭載したセンサの動作が正常であるか否かの検査は、例えば、定期的な車検などの際にディーラーなどで専用の検査機を用いて行うことが可能である。
 しかし、このような定期検査は一般的には半年ごと、あるいは数年ごとに行われるに過ぎず、検査期日前にセンサが正常に動作しなくなる可能性もある。このような場合、正常な自動運転が行えなくなり、事故を発生させる危険がある。
 安全性の高い自動運転や運転サポートを行うためには、センサが正常に動作しているか否かの検証を、より高い頻度で実行することが好ましい。
 なお、車両に搭載したカメラの誤差を確認し、補正する技術を開示した従来技術として、例えば特許文献1(特開2020-042323号公報)がある。
 この特許文献1は複数の車両が隊列走行を行い、後続車両が先行車両との相対位置を一定に維持する自動運転制御を行う構成を開示している。具体的には、後続車両が撮影した先行車両の画像に基づいて算出される先行車両と後続車両の車両相対位置情報と、先行車両が撮影した後続車両画像に基づいて算出される先行車両と後続車両の車両相対位置情報とを比較して、正しい車両相対位置を算出する構成を開示している。
 しかし、この特許文献1に開示の構成は、複数の車両が隊列走行を行うという特殊な走行条件を満たす場合にのみ利用可能な構成であり、ランダムに走行する多数の車両の制御や、車両に搭載されたセンサ動作状態の検証処理に適用可能な構成ではない。
特開2020-042323号公報
 本開示は、例えば、上述の問題点に鑑みてなされたものであり、ランダムに走行する多数の車両に搭載されたセンサが正しい距離を計測しているか否かを効率的にかつ頻繁に検証することを可能としたセンサ検証装置、およびセンサ検証システム、並びにセンサ検証方法を提供することを目的とする。
 本開示の第1の側面は、
 センサの検出値に基づいて、自装置と外部装置との装置間距離を自装置算出距離データD1として算出する距離算出部と、
 前記外部装置が算出した前記装置間距離を外部装置算出距離データD2として前記外部装置から受信する通信部と、
 前記自装置算出距離データD1と、前記外部装置算出距離データD2とを比較し、比較結果に基づいて前記センサが正しい距離値を計測可能な状態にあるか否かを判定するセンサ状態判定部、
 を有するセンサ検証装置にある。
 さらに、本開示の第2の側面は、
 自車両と外部装置によって構成されるセンサ検証システムであり、
 前記外部装置は、外部車両、またはインフラのいずれかであり、
 前記自車両は、
 センサの検出値に基づいて、前記自車両と前記外部装置との装置間距離を自装置算出距離データD1として算出する距離算出部と、
 前記外部装置が算出した前記装置間距離を外部装置算出距離データD2として前記外部装置から受信する通信部と、
 前記自装置算出距離データD1と、前記外部装置算出距離データD2とを比較し、比較結果に基づいて前記センサが正しい距離値を計測可能な状態にあるか否かを判定するとともに、前記比較結果を前記外部装置に通知するセンサ状態判定部、
 を有するセンサ検証システムにある。
 さらに、本開示の第3の側面は、
 センサ検証装置において実行するセンサ検証方法であり、
 距離算出部が、センサの検出値に基づいて、自装置と外部装置との装置間距離を自装置算出距離データD1として算出する距離算出ステップと、
 通信部が、前記外部装置が算出した前記装置間距離を外部装置算出距離データD2として前記外部装置から受信する通信ステップと、
 センサ状態判定部が、前記自装置算出距離データD1と、前記外部装置算出距離データD2とを比較し、比較結果に基づいて前記センサが正しい距離値を計測可能な状態にあるか否かを判定するセンサ状態判定ステップを実行するセンサ検証方法にある。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、センサが正常な距離を算出可能であるか否かを高頻度に検証して、高頻度なセンサキャリブレーションを可能とした装置、方法が実現される。
 具体的には、例えば、ステレオカメラ等のセンサの検出値に基づいて自車両と外部車両間距離、または自車両とインフラ間距離を自装置算出距離データD1として算出し、外部装置が算出した装置間距離を外部装置算出距離データD2として外部装置から受信し、自装置算出距離データD1と、外部装置算出距離データD2とを比較して、比較結果に基づいてセンサが正しい距離値を計測可能な状態にあるか否かを判定する。センサが正しい距離値を計測可能な状態にないと判定した場合、センサのキャリブレーション処理、または故障検出処理を実行する。
 本構成により、センサが正常な距離を算出可能であるか否かを高頻度に検証して、高頻度なセンサキャリブレーションを可能とした装置、方法が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示のセンサ検証処理の概要について説明する図である。 本開示のセンサ検証処理の概要について説明する図である。 本開示のセンサ検証処理の概要について説明する図である。 車両や、インフラ内に装着されたセンサ検証装置の構成例を示すブロック図である。 道路上に接地された多数のインフラと管理サーバと通信ネットワークの構成例について説明する図である。 インフラの定期的なキャリブレーション処理の具体例について説明する図である。 本開示のセンサ検証装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示のセンサ検証装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。 車両のセンサ検証装置がメモリに記録するデータの例について説明する図である。 車両のセンサ検証装置がメモリに記録する外部装置からの受信データの例について説明する図である。 センサ検証装置が実行するキャリブレーション処理のシーケンスについて説明するフローチャートを示す図である。 センサ検証装置が実行するキャリブレーション処理のシーケンスについて説明するフローチャートを示す図である。 車両Aと車両B間の通信シーケンスの一例について説明する図である。 車両Aとインフラ間の通信シーケンスの一例について説明する図である。 車両Aとインフラ間の通信シーケンスの一例について説明する図である。 ステレオカメラによって撮影されたLR画像をメモリ104に格納する処理を実行しない実施例2の処理について説明する図である。 実施例2におけるセンサのキャリブレーション処理のシーケンスについて説明するフローチャートを示す図である。 単眼カメラの撮影画像から、オブジェクト距離を算出する処理の詳細について説明する図である。 単眼カメラの撮影画像内の消失点位置からオブジェクト接地位置までの画素数と、単眼カメラからオブジェクトまでの距離との対応関係を記録したルックアップテーブルの一例を示す図である。 マーカーを設定して距離算出目標位置を明確化した具体例について説明する図である。 インフラに距離計測位置を示すマーカーを設定した場合の距離算出処理の一例を説明する図である。 車両とインフラ間の距離算出区間を、インフラに設定したマーカーと交差点付近に予め規定したライン位置によって規定した例について説明する図である。 本開示のセンサ検証装置を、車両やインフラ(道路設備)以外の様々な装置に構成した例について説明する図である。 本開示のセンサ検証装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示のセンサ検証装置、およびセンサ検証システム、並びにセンサ検証方法の詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.(実施例1)本開示のセンサ検証処理の概要について
 2.車両、インフラ等に構成されるセンサ検証装置の構成例について
 3.本開示のセンサ検証装置が実行する処理のシーケンスについて
 4.車両間、および車両とインフラ間の通信シーケンスについて
 5.(実施例2)距離測定時のセンサ検出情報である画像を記録せずにキャリブレーションを行う実施例について
 6.(実施例3)センサとして単眼カメラを用いた実施例について
 7.(実施例4)マーカーを設定して距離算出目標位置を明確化した実施例について
 8.その他の実施例について
 9.本開示のセンサ検証装置のハードウェア構成例について
 10.本開示の構成のまとめ
  [1.(実施例1)本開示のセンサ検証処理の概要について]
 図1以下を参照して、本開示のセンサ検証処理の概要について説明する。
 図1は、本開示のセンサ検証処理の一例を示す図である。
 図1には、2台のすれ違う車両、車両A,10と車両B,20を示している。
 車両A,10には、車両A,10の前方方向に存在する様々なオブジェクトまでの距離を検出するセンサ11が装着されている。
 車両B,20にも、車両B,20の前方方向に存在する様々なオブジェクトまでの距離を検出するセンサ21が装着されている。
 これらのセンサ11,21は、例えば、ステレオカメラによって構成されている。
 ステレオカメラは、異なる視点からの複数の画像を撮影し、撮影された複数の異なる視点からの画像、例えば左視点からの撮影画像であるL画像と右視点からの撮影画像であるR画像、これら複数画像の視差を解析して撮影画像に含まれる被写体までの距離を解析可能とした距離検出センサの一種である。
 なお、センサ11,21は、ステレオカメラに限らず距離を計測可能な様々なセンサが利用可能である。
 例えば、LiDAR(Light Detection and Ranging)、ToF(Time of Flight)センサ、ミリ波レーダー等のセンサや、単眼カメラなども利用可能である。
 なお、LiDAR(Light Detection and Ranging)やToFセンサ、ミリ波レーダーは、例えばレーザ光等の光を出力してオブジェクトによる反射光を解析して、周囲のオブジェクトの距離を計測するセンサである。
 以下に説明する実施例1では、センサ11,21としてステレオカメラを利用した場合の例について説明する。
 図1に示す車両A,10は、車両A,10のセンサ11であるステレオカメラの画像を入力して車両A,10前方にある様々なオブジェクトの距離を算出するデータ処理部(距離算出部)を有している。
 しかし、車両に搭載したカメラなどのセンサは車両の走行過程で発生する振動や温度変化などにより、取付位置のずれ、歪などが発生し、この結果、センサ性能の劣化、例えば距離計測性能が低下してしまう場合がある。
 車両A,10は、車両A,10のセンサ11であるステレオカメラの撮影画像に基づいて算出したオブジェクト距離が正しい値であるか否かを判定する処理、すなわちセンサ検証処理として、以下に説明する一連の処理を行う。
 車両A,10は、まず、車両A,10のセンサ11の検出値(ステレオカメラ撮影画像)に基づく車両AB間の距離の算出処理を継続的に実行し、算出した距離の時系列データを、距離算出タイミングを示すタイムスタンプとともにメモリに記録する。
 なお、タイムスタンプは、車両A,10が例えばNTP(Network Time Protocol)サーバ等のタイムサーバから受信する正確な時間情報を用いて付与する。
 メモリには、例えば、センサ11の検出値(ステレオカメラ撮影画像)と、算出距離データと、タイムスタンプとが対応付けて記録される。
 さらに、車両A,10は、通信部を介して車両B,20に対して、車両AB間の距離の算出処理を依頼する。具体的には、例えば、車両B,20に対して以下の処理要求を送信する。
 処理要求=車両AB間の距離の算出処理と、算出した距離データ(D2)を、その距離データ(D2)の算出タイミングを示すタイムスタンプとともに車両A,10に送信する処理の処理要求、
 なお、車両B,20においても、タイムスタンプは、例えばNTP(Network Time Protocol)サーバ等のタイムサーバから受信する正確な時間情報である。
 車両A,10は、車両B,20から、車両B,20が算出した車両AB間の距離データ(D2)を、その算出タイミングを示すタイムスタンプとともに受信する。
 車両A,10は、その後、メモリに格納済みの車両A,10が継続的に算出した車両AB間の時系列距離データから、車両B,20から受信した距離データ(D2)に設定されたタイムスタンプと同一タイミングのタイムスタンプが設定された距離データ(D1)を選択取得して比較する。
 車両A,10のセンサ11と距離算出部が正常な状態であり、車両B,20のセンサ21と距離算出部も正常な状態である場合、車両A,10が算出した車両AB間の距離データ(D1)と、車両B,20が算出した車両AB間の距離データ(D2)はほぼ等しい値となる。
 すなわち、
 D1≒D2
 上記式が成立する。
 しかし、車両A,10のセンサ11と距離算出部、または車両B,20のセンサ21と距離算出部の少なくともいずれかが正常な距離算出がなされていない状態の場合、車両A,10が算出した車両AB間の距離データ(D1)と、車両B,20が算出した車両AB間の距離データ(D2)は等しい値とならない。
 すなわち、
 D1≒D2
 上記式が成立しない。
 この場合、車両A,10は、車両A,10のセンサ11と距離算出部、または車両B,20のセンサ21と距離算出部の少なくともいずれかが正常な状態でないと判定することができる。
 このような場合、車両A,10は、その後、例えば、さらに他の車両Cと同様の処理を実行する。すなわち、車両AC各々において、同一タイミングで車両AC間の距離を算出し、比較する。
 車両AC各々において算出した同一タイミングの車両AC間の距離がほぼ一致すれば、車両A,10は、車両A,10のセンサ11と距離算出部が正常に動作しており、車両B,20のセンサ21と距離算出部が正常に動作していないと判定することができる。
 一方、車両AC各々において算出した同一タイミングの車両AC間の距離が一致しない場合は、車両A,10は、車両A,10自身のセンサ11と距離算出部が正常に動作していないと判定する。
 この場合、車両A,10は、センサ11のキャリリブレーション処理、すなわち、補正処理を行う。具体的には、例えば、センサ11の内部パラメータ(焦点距離、歪、画像中心)や、外部パラメータ(位置、姿勢)を調整し、正しい距離が算出できるようにキャリブレーション処理(補正処理)を実行する。
 なお、図1に示す例は、2つの車両同士で同一タイミングに計測した距離データを用いて、センサや距離算出部が正常に動作しているか否かを判定する構成であるが、車両と、道路上のインフラ、例えば信号機等のインフラ間で相互の距離を同時に算出して、これらの算出値を比較する構成としてもよい。
 図2を参照して、車両と、道路上の信号機等のインフラ間で相互の距離を同時に算出して、これらの算出値を比較する処理を行う場合の例について説明する。
 図2には、車両A,10と、信号機をインフラ(道路設備)30の一例として示している。
 車両A,10は、図1を参照して説明した車両であり、車両A,10の前方方向に存在する様々なオブジェクトまでの距離を検出するセンサ11が装着されている。
 インフラ(道路設備)30にも、インフラ(道路設備)30の周囲に存在する様々なオブジェクトまでの距離を検出するセンサ31が装着されている。
 これらのセンサ11,31は、例えば、ステレオカメラである。
 図2に示す車両A,10、およびインフラ(道路設備)30は、いずれもセンサ(ステレオカメラ)の画像を入力して様々なオブジェクトの距離を算出するデータ処理部(距離算出部)を有している。
 車両A,10は、車両A,10のセンサ11であるステレオカメラの撮影画像に基づいて算出されるオブジェクト距離が正しい値であるか否かを判定する処理、すなわちセンサ検証処理として、以下の処理を行う。
 車両A,10は、まず、車両A,10のセンサ11の検出値(ステレオカメラ撮影画像)に基づく車両A,10とインフラ30間の距離の算出処理を継続的に実行し、算出した距離の時系列データを、距離算出タイミングを示すタイムスタンプとともにメモリに記録する。
 なお、タイムスタンプは、車両A,10が例えばNTP(Network Time Protocol)サーバ等のタイムサーバから受信する正確な時間情報を用いる。
 さらに、車両A,10は、通信部を介してインフラ30に対して、以下の処理要求を送信する。
 処理要求=車両A,10とインフラ30間の距離の算出処理と、算出した距離データ(D4)を、その距離データ(D4)の算出タイミングを示すタイムスタンプとともに車両A,10に送信する処理の処理要求、
 なお、インフラ30も、タイムスタンプについては、例えばNTP(Network Time Protocol)サーバ等のタイムサーバから受信する正確な時間情報を用いる。
 車両A,10は、インフラ30から、インフラ30が算出した車両A,10とインフラ30間の距離データ(D4)を、その算出タイミングを示すタイムスタンプとともに受信する。
 車両A,10は、その後、メモリに格納済みの車両A,10が継続的に算出した車両A,10とインフラ30間の時系列距離データから、インフラ30から受信した距離データ(D4)に設定されたタイムスタンプと同一タイミングのタイムスタンプが設定された距離データ(D3)を選択取得して比較する。
 車両A,10のセンサ11と距離算出部が正常な状態であり、インフラ30のセンサ31と距離算出部も正常な状態である場合、車両A,10が算出した車両A,10とインフラ30間の距離データ(D3)と、インフラ30が算出した車両A,10とインフラ30間の距離データ(D4)はほぼ等しい値となる。
 すなわち、
 D3≒D4
 上記式が成立する。
 しかし、車両A,10のセンサ11と距離算出部、またはインフラ30のセンサ31と距離算出部の少なくともいずれかが正常な状態でない場合、車両A,10が算出した車両A,10とインフラ30間の距離データ(D3)と、インフラ30が算出した車両A,10とインフラ30間の距離データ(D4)は等しい値とならない。
 すなわち、
 D3≒D4
 上記式が成立しない。
 この場合、車両A,10は、車両A,10のセンサ11と距離算出部、またはインフラ30のセンサ31と距離算出部の少なくともいずれかが正常な状態でないと判定することができる。
 ただし、インフラ30が例えば外部の管理サーバと通信可能な設定であり、管理サーバによって管理されているインフラである場合、管理サーバの制御により、定期的にインフラ30のセンサ31と距離算出部のキャリブレーションを行うことが可能である。
 信号機等のインフラ30は地上に固定されており、例えば道路の反対側の別の信号機までの距離を基準距離データとして管理サーバ、またはインフラ30内のメモリに格納しておき、この基準距離データを用いて定期的にインフラ30のセンサ31と距離算出部のキャリブレーションを行うことが可能である。
 インフラ30が、このように管理サーバによって管理されたインフラである場合は、インフラ30のセンサ31と距離算出部は、常時、正常な距離データを算出可能な設定に維持することが可能となる。
 インフラ30が、このように管理サーバによって管理され、常時、正常な距離データを算出可能な設定に維持されたインフラである場合は、車両A,10が算出した車両A,10とインフラ30間の距離データ(D3)と、インフラ30が算出した車両A,10とインフラ30間の距離データ(D4)が等しくならなかった場合、すなわち、
 D3≒D4
 上記式が成立しない場合には、車両A,10は、車両A,10のセンサ11と距離算出部が正常な状態でないと判定することができる。
 この場合、車両A,10は、センサ11のキャリブレーション処理、すなわち、補正処理を行う。具体的には、例えば、センサ11の内部パラメータ(焦点距離、歪、画像中心)や、外部パラメータ(位置、姿勢)を調整し、正しい距離が算出できるようにキャリブレーション処理(補正処理)を実行する。
 図1を参照して車両間の処理例、図2を参照して車両とインフラ間の処理例について説明した。
 車両は道路走行中、数多くの車両、インフラに遭遇することになり、これらの任意のタイミングで自車両のセンサの動作状態を検証することが可能となる。
 図3は、車両A,10が交差点で信号待ちを行っている間に、車両A,10が自車両のセンサ11と距離算出部の動作状態を検証する処理例を示した図である。
 車両A,10は、車両B,20との間で先に図1を参照して説明した処理を実行する。さらに、車両A,10は、インフラ30とのとの間で先に図2を参照して説明した処理を実行する。
 これら2つの処理は、順次、シーケンシャルに実行してもよいし、並列に実行してもよい。
 例えば、車両A,10は以下のような処理を行うことになる。
 車両A,10は、車両A,10のセンサ11の検出値(ステレオカメラ撮影画像)に基づく車両AB間の距離の算出処理を継続的に実行し、算出した距離の時系列データを、距離算出タイミングを示すタイムスタンプとともにメモリに記録する。
 次に、車両A,10は、通信部を介して車両B,20に対して以下の処理要求を送信する。
 処理要求=車両AB間の距離の算出処理と、算出した距離データ(D2)を、その距離データ(D2)の算出タイミングを示すタイムスタンプとともに車両A,10に送信する処理の処理要求、
 車両A,10は、車両B,20から、車両B,20が算出した車両AB間の距離データ(D2)を、その算出タイミングを示すタイムスタンプとともに受信する。
 車両A,10は、その後、メモリに格納済みの車両A,10が継続的に算出した車両AB間の時系列距離データから、車両B,20から受信した距離データ(D2)に設定されたタイムスタンプと同一タイミングのタイムスタンプが設定された距離データ(D1)を選択取得して比較する。
 車両A,10のセンサ11と距離算出部が正常な状態であり、車両B,20のセンサ21と距離算出部も正常な状態である場合、車両A,10が算出した車両AB間の距離データ(D1)と、車両B,20が算出した車両AB間の距離データ(D2)はほぼ等しい値となる。
 すなわち、
 D1≒D2
 上記式が成立する。
 さらに、車両A,10は、通信部を介してインフラ30に対して、以下の処理要求を送信する。
 処理要求=車両A,10とインフラ30間の距離の算出処理と、算出した距離データ(D4)を、その距離データ(D4)の算出タイミングを示すタイムスタンプとともに車両A,10に送信する処理の処理要求、
 車両A,10は、インフラ30から、インフラ30が算出した車両A,10とインフラ30間の距離データ(D4)を、その算出タイミングを示すタイムスタンプとともに受信する。
 車両A,10は、その後、メモリに格納済みの車両A,10が継続的に算出した車両A,10とインフラ30間の時系列距離データから、インフラ30から受信した距離データ(D4)に設定されたタイムスタンプと同一タイミングのタイムスタンプが設定された距離データ(D3)を選択取得して比較する。
 車両A,10のセンサ11と距離算出部が正常な状態であり、インフラ30のセンサ31と距離算出部も正常な状態である場合、車両A,10が算出した車両A,10とインフラ30間の距離データ(D3)と、インフラ30が算出した車両A,10とインフラ30間の距離データ(D4)はほぼ等しい値となる。
 すなわち、
 D3≒D4
 上記式が成立する。
 車両A,10は、これらの2つの処理において、
 D1≒D2
 D3≒D4
 これら2つの式が成立したと確認した場合、車両A,10は、車両A,10のセンサ11と距離算出部、車両B,20のセンサ21と距離算出部、さらに、インフラ30のセンサ31と距離算出部のいずれも正常な状態であると判定することができる。
 しかし、例えば、車両AB間の距離算出値(D1,D2)の比較結果として、
 D1≒D2
 上記式が成立せず、車両Aとインフラ間の距離算出値(D3,D4)の比較結果として、
 D3≒D4
 上記式が成立した場合には、車両A,10は、車両A,10のセンサ11と距離算出部が正常であるが、車両B,20のセンサ21と距離算出部が正常でないと判定することができる。
 この場合、車両A,10は、車両B,20に対して、車両B,20のセンサ21と距離算出部が正常動作していないことの警告通知を行う。
 車両B,20は、この警告通知の受信に基づいて、車両B,20のセンサ21と距離算出部が正常動作していないことを検知し、車両B,20のセンサ21と距離算出部のキャリブレーション(補正処理)や故障の修理処理を遅滞なく行うことが可能となる。
  [2.車両、インフラ等に構成されるセンサ検証装置の構成例について]
 次に、上記処理を実行する車両、インフラ等に構成されるセンサ検証装置の構成例について説明する。
 図4は、上記処理を実行する車両や、インフラ内に装着されたセンサ検証装置の構成例を示すブロック図である。
 図4には、図3に示す車両A,10と、車両B,20、およびインフラ(道路設備)30内に装着されたセンサ検証装置の構成例を示すブロック図である。
 図4に示すように、車両A,10のセンサ検証装置100は、センサ101、データ処理部102、通信部103、メモリ104、位置情報取得部105を有している。
 データ処理部102は、距離算出部111、センサ状態判定部112、キャリブレーション実行部113、位置解析部114を有している。
 車両B,20のセンサ検証装置200は、車両Aのセンサ検証装置100と同様の構成を有し、センサ201、データ処理部202、通信部203、メモリ204、位置情報取得部205を有している。
 なお、図では省略しているが、車両B,20のデータ処理部202も、距離算出部、センサ状態判定部、キャリブレーション実行部、位置解析部を有している。
 インフラ(道路設備)30のセンサ検証装置300は、センサ301、データ処理部302、通信部303、メモリ304を有している。
 なお、図では省略しているが、インフラ(道路設備)30のデータ処理部302は、距離算出部、センサ状態判定部、キャリブレーション実行部を有している。
 まず、車両A,10のセンサ検証装置100の各構成について説明する。
 センサ101は、前述したように、例えばステレオカメラによって構成されている。
 ステレオカメラは、異なる視点からの複数の画像を撮影し、撮影された複数画像の視差を解析して撮影画像に含まれる被写体までの距離を解析可能とした距離検出センサの一種である。
 なお、センサ101は、ステレオカメラに限らず距離を計測可能な様々なセンサが利用可能である。
 例えば、前述したようにLiDAR(Light Detection and Ranging)、ToF(Time of Flight)センサ、ミリ波レーダー等のセンサや、単眼カメラなども利用可能である。
 なお、LiDAR(Light Detection and Ranging)やToFセンサ、ミリ波レーダーは、例えばレーザ光等の光を出力してオブジェクトによる反射光を解析して、周囲のオブジェクトの距離を計測するセンサである。
 データ処理部102は、距離算出部111、センサ状態判定部112、キャリブレーション実行部113、位置解析部114を有している。
 距離算出部111は、センサ101の検出情報、例えばステレオカメラを構成する異なる視点から撮影された複数の撮影画像等を入力して、カメラ撮影画像内の被写体までの距離を算出する。
 例えば図3に示す対向車両である車両B,20までの距離や、信号機であるインフラ(道路設備)30までの距離等を算出する。
 なお、距離算出部111が算出したオブジェクト距離データは、距離算出時間を示すタイムスタンプに対応付けてメモリ104に記録される。
 センサ状態判定部112は、データ処理部102内の距離算出部111がセンサ101からの入力値(ステレオカメラの撮影画像など)に基づいて算出した距離データと、通信部103を介して他の装置から受信する距離データとを比較する処理を実行し、比較結果に基づいて、センサ101が正常な距離データを算出可能な状態であるか否かを判定する。
 なお、比較対象とする距離データは、同一時間に、車両A,10と、他装置(車両B,20、またはインフラ30)各々で算出した車両A,10と、他装置(車両B,20、またはインフラ30)間の距離データである。
 すなわち、センサ状態判定部112は、図3に示す車両B,20や、インフラ(道路設備)30が各装置のセンサ検出値に基づいて算出したオブジェクト距離(車両A,10と車両B,20間の距離、または車両A,10とインフラ30間の距離)を、通信部103を介して入力し、この他装置から受信した距離データと、距離算出部111がセンサ101からの入力値(ステレオカメラの撮影画像など)に基づいて算出した距離データとを比較する。
 さらに、比較結果に基づいて、センサ101が正常な距離データを算出可能な状態であるか否かを判定する。
 キャリブレーション実行部113は、上記のセンサ状態判定部112における距離比較処理の結果に基づいて車両A,10のセンサ101や距離算出部111が正常に動作していないと判定した場合、車両A,10のセンサ101や距離算出部111が正常な値を算出できるようにセンサ101や距離算出部111の補正処理、すなわちキャリブレーション処理を実行する。
 具体的には、例えば、センサ11の内部パラメータ(焦点距離、歪、画像中心)や、外部パラメータ(位置、姿勢)を調整し、正しい距離が算出できるようにキャリブレーション処理(補正処理)を実行する。
 位置解析部114は、例えばGPS等の位置識別信号を受信する位置情報取得部105が受信した信号を入力し、車両A,10の現在地を解析する。
 なお、位置解析部114による位置解析処理は、GPS信号等以外の情報を用いて実行する構成としてもよい。例えば位置情報取得部105が道路上の位置識別マークを検出し、位置解析部114が、位置情報取得部105の検出した道路上の位置識別マークに基づいて自己位置を解析するような構成としてもよい。
 通信部103は、他の装置、例えば車両B,20やインフラ30などとの通信処理を実行する。
 また、例えばNTP(Network Time Protocol)サーバ等のタイムサーバから正確な時間情報を受信する。この時間情報は、データ処理部102の距離算出部111が算出した距離データに対応付けられてメモリ104に格納される。
 メモリ104は、上述したように、データ処理部102の距離算出部111が算出した距離データをタイムスタンプに対応付けて格納する。
 さらに、センサ101のセンサ検出値(例えばステレオカメラ撮影画像)も格納される。このセンサ検出値もセンサ検出時刻を示すタイムスタンプに対応付けて記録される。
 また、メモリ104には、センサ101や距離算出部111の補正処理(キャリブレーション処理)に必要となるセンサ101の内部パラメータ(焦点距離、歪、画像中心)や、外部パラメータ(位置、姿勢)なども格納される。
 位置情報取得部105は、前述したようにGPS信号の受信処理、あるいは道路上のマーカー検出処理など、車両A,10の自己位置を認識するための情報を取得する。
 車両B,20のセンサ検証装置200も車両Aのセンサ検証装置100と同様の構成である。すなわち、センサ201、データ処理部202、通信部203、メモリ204、位置情報取得部205は、上述した車両A,10の核構成部と同様の機能を有している。前述したように、車両B,20のデータ処理部202も、距離算出部、センサ状態判定部、キャリブレーション実行部、位置解析部を有している。
 インフラ(道路設備)30のセンサ検証装置300は、センサ301、データ処理部302、通信部303、メモリ304を有している。前述したように、図では省略しているが、インフラ(道路設備)30のデータ処理部302は、距離算出部、センサ状態判定部、キャリブレーション実行部を有している。
 インフラ(道路設備)30は車両と異なり、移動せず固定された設備であるので、位置情報取得部や位置解析部は有していない。
 ただし、インフラ(道路設備)30の位置情報は、メモリ304に格納した構成としてもよい。
 また、インフラ(道路設備)30を外部の管理サーバと接続し、管理サーバの制御によって定期的にセンサ301やデータ処理部302内の距離算出部のキャリブレーションを行う構成としてもよい。
 例えば図5に示すように、道路上に接地された多数のインフラであるインフラa,30a、インフラb,30b、インフラc,30c、・・・これら多数のインフラが管理サーバ50と通信ネットワーク51によって接続される。
 管理サーバ50は、各インフラに対して定期的にセンサ301やデータ処理部302内の距離算出部のキャリブレーションを実行させる。
 図6を参照してインフラの定期的なキャリブレーション処理の具体例について説明する。
 図6には、管理サーバ50と接続された2つの信号機であるインフラa,30aとインフラb,30bを示している。
 これらの信号機は道路上に固定されており、双方のインフラ間距離が固定距離となる。このインフラ間距離を予め計測し、管理サーバ50のメモリ、またはインフラ内のメモリに基準距離データとして登録しておく。
 管理サーバ50は、インフラa,30a、インフラb,30bに対して、それぞれ定期的にキャリブレーション処理の実行要求を送信する。例えば1週、あるいは一ヶ月ごとにキャリブレーション処理の実行要求を送信する。
 インフラa,30aは、管理サーバ50からの定期的なキャリブレーション実行要求を受信すると、インフラa,30aのセンサ301aを利用してインフラb,30bの画像を撮影し、撮影画像に基づいてインフラa,30aとインフラb,30b間の距離を算出する。算出した距離をDaとする。
 インフラa,30aは、さらに、算出距離Daと、管理サーバ50のメモリ、またはインフラ内のメモリに登録済みの基準距離Dsとを比較する。
 Da=Ds
 上記式が成立すれば、インフラa,30aのセンサ301aやデータ処理部302内の距離算出部は正確な距離算出を行っており、正常であることが確認される。
 しかし、
 Da=Ds
 上記式が成立しない場合、インフラa,30aのセンサ301aやデータ処理部302内の距離算出部は正確な距離算出を行っていない状態であり、正常でないことが確認される。
 この場合、インフラa,30aのデータ処理部302内のキャリブレーション実行部が、センサ301aやデータ処理部302内の距離算出部のキャリブレーション処理を実行する。
 具体的には、センサ301aの検出距離が基準距離Dsに等しくなるように、センサ301aの内部パラメータ(焦点距離、歪、画像中心)や、外部パラメータ(位置、姿勢)を調整する処理を実行する。
 このような処理によって、管理サーバ50に接続されたインフラは定期的にキャリブレーション処理が実行され、常に正しい距離を算出可能な状態に維持することができる。
  [3.本開示のセンサ検証装置が実行する処理のシーケンスについて]
 次に、本開示のセンサ検証装置が実行する処理のシーケンスについて説明する。
 図7、図8に示すフローチャートを参照して、本開示のセンサ検証装置が実行する処理のシーケンスについて説明する。
 図7、図8を参照して説明するシーケンスは、車両に搭載されたセンサ検証装置が実行する処理のシーケンスである。ここでは一例として図1~4参照して説明した車両A,10を処理実行主体であるホストとし、この車両A(ホスト)10に搭載されたセンサ検証装置100が実行する処理のシーケンスについて説明する。
 なお、以下において説明するフローに従った処理は、車両内に搭載されたセンサ検証装置の記憶部に格納されたプログラムに従って実行可能である。例えばプログラム実行機能を有するCPU等を有するデータ処理部(制御部)の制御の下で実行される。
 以下、図7、図8に示すフローチャートの各ステップの処理について、順次、説明する。
  (ステップS101)
 車両A(ホスト)に搭載されたセンサ検証装置は、まず、ステップS101において、他の車両、例えば車両B、あるいは信号機等のインフラ(道路設備)等の外部装置に対して距離算出処理の実行要求を送信する。
  (ステップS102)
 ステップS102では、車両A(ホスト)と、車両A(ホスト)から距離算出処理の実行要求を受信した外部装置、例えば車両Bやインフラが通信相手の正当性を確認するため認証処理を実行する。
  (ステップS103)
 ステップS103は、ステップS102における認証処理が成立したか否かを判定する判定ステップである。
 認証不成立の場合は、車両A(ホスト)と外部装置間の通信を終了し、車両A(ホスト)は、ステップS101に戻り、他の車両、あるいは信号機等のインフラ(道路設備)等、新たな外部装置に対して距離算出処理の実行要求を送信する。
 一方、認証処理が成立した場合は、ステップS104に進む。
  (ステップS104)
 車両A(ホスト)と、車両A(ホスト)から距離算出処理の実行要求を受信した外部装置、例えば車両Bやインフラが通信相手の正当性を確認するため認証処理が成立した場合は、ステップS104以下の処理を実行する。
 この場合、車両A(ホスト)に搭載されたセンサ検証装置100は、ステップS104において、車両Aと、外部装置(車両Bや、インフラ等)との距離を算出する。
 すなわち、車両A(ホスト)に搭載されたセンサ検証装置100は、センサ101を用いて外部装置(車両Bや、インフラ等)との距離を算出する。
 センサ101は例えばステレオカメラであり、センサ101により、外部装置(車両Bや、インフラ等)の画像を撮影し、撮影画像をデータ処理部102の距離算出部111に入力する。
 距離算出部111は、センサ101の検出情報、例えばステレオカメラを構成する異なる視点から撮影された複数の撮影画像等を入力して、カメラ撮影画像内の被写体までの距離を算出する。
 例えば図3に示す対向車両である車両B,20までの距離や、信号機であるインフラ(道路設備)30までの距離を示す距離データD1(自装置算出距離データD1)を算出する。
  (ステップS105)
 次に、車両A(ホスト)に搭載されたセンサ検証装置100は、ステップS105において、ステップS104で距離算出部111が算出した距離データ、すなわち自装置算出距離データD1と、この距離データD1を算出した際に取得したセンサ検出値である画像の撮影時間を示すタイムスタンプに対応付けてメモリ104に格納する。
 さらに、距離データD1を算出した際に利用したセンサ検出値である画像データ(ステレオ画像データ)もメモリに格納する。
 なお、画像データ(ステレオ画像データ)についてはメモリに格納しない構成も可能である。画像データ(ステレオ画像データ)をメモリに格納しない構成に関する実施例については後述する。
 車両A,10のセンサ検証装置100は、車両A,10のセンサ101の検出値(ステレオカメラ撮影画像)に基づく車両Aと外部装置間の距離の算出処理を継続的に実行し、算出した距離の時系列データを、距離算出タイミングを示すタイムスタンプとともにメモリに記録する。前述したようにタイムスタンプは、車両A,10が例えばNTP(Network Time Protocol)サーバ等のタイムサーバから受信する正確な時間情報を用いて付与する。
  (ステップS106)
 次に、車両A,10のセンサ検証装置100は、ステップS106において、外部装置(車両Bや、インフラ等)から、外部装置が算出した車両Aと外部装置間の距離を示す距離データD2(外部装置算出距離データD2)を、その距離算出タイミングを示すタイムスタンプとともに受信する。
  (ステップS107)
 次に、車両A(ホスト)に搭載されたセンサ検証装置100は、ステップS107において、ステップS106で、外部装置が算出し、外部装置から受信した距離データD2(外部装置算出距離データD2)を、その距離算出タイミングを示すタイムスタンプとともにメモリ104に格納する。
  (ステップS108)
 ステップS108以下の処理は、車両A,10のセンサ検証装置100のデータ処理部102内のセンサ状態判定部112が実行する。
 車両A,10のセンサ検証装置100のデータ処理部102内のセンサ状態判定部112は、ステップS108において、メモリに格納済みの車両A,10が継続的に算出した車両Aと外部装置(車両Bや、インフラ等)との間の自装置算出距離データD1の時系列データから、外部装置から受信した距離データ(外部装置算出距離データD2)に設定されたタイムスタンプと同一タイミングのタイムスタンプが設定された距離データ(自装置算出距離データD1)を選択取得して比較する。
  (ステップS109)
 次に、車両A,10のセンサ検証装置100は、ステップS109において、ステップS108における距離データ比較処理の結果についての検証処理を行う。
 すなわち、同時刻の距離算出タイミングにおいて算出された同じタイムスタンプが設定された2つの以下の距離データを比較する。
 (距離データD1)車両Aが算出し、車両Aのセンサ検証装置100内のメモリに格納された自装置算出距離データD1、
 (距離データD2)外部装置(車両Bやインフラ等)が算出し、外部装置から受信した外部装置算出距離データD2、
 車両A,10のセンサ検証装置100は、これら2つの距離データ、すなわち自装置算出距離データD1と、外部装置算出距離データD2について、その差分が予め規定したしきい値(Th)未満であるか否かを判定する。
 すなわち、
 |D1-D2|<Th
 上記判定式が成立するか否かを判定する。
 上記判定式が成立すると判定した場合は、ステップS110に進む。
 一方、上記判定式が不成立と判定した場合は、ステップS112に進む。
  (ステップS110)
 ステップS109において、
 |D1-D2|<Th
 上記判定式が成立すると判定した場合、すなわち、自装置算出距離データD1と、外部装置算出距離データD2について、その差分が予め規定したしきい値(Th)未満であると判定した場合、車両A,10のセンサ検証装置100は、ステップS110~S111の処理を実行する。
 車両A,10のセンサ検証装置100は、
 |D1-D2|<Th
 上記判定式が成立すると判定した場合、車両Aが算出し、車両Aのセンサ検証装置100内のメモリに格納された自装置算出距離データD1が正しい距離データであり、車両Aのセンサ検証装置100のセンサ101やデータ処理部102の距離算出部111が正常に動作していると判断する。この場合、センサ101や距離算出パラメータ等の補正処理としてのキャリブレーション処理が不要であると判断する。
 この場合、車両A,10のセンサ検証装置100は、まず、ステップS110において、外部装置算出距離データD2を送信してきた外部装置に対して、双方、すなわち車両A(ホスト)と外部装置双方の算出距離データ(D1,D2)の差分がしきい値未満であったことを通知する。
 外部装置は、車両A(ホスト)から、この通知を受信することで、外部装置(車両Bや、インフラ等)における距離算出が正常に行われている可能性が高いことを確認することができる。
  (ステップS111)
 さらに、車両A,10のセンサ検証装置100は、ステップS111において、車両Aのセンサ101やデータ処理部102の距離算出部111は正確な距離算出を実行しており、正常動作中であることを示すセンサ状態情報をメモリ104に記録する。
  (ステップS112)
 一方、ステップS109において、
 |D1-D2|<Th
 上記判定式が成立しないと判定した場合、すなわち、自装置算出距離データD1と、外部装置算出距離データD2について、その差分が予め規定したしきい値(Th)未満でないと判定した場合、車両A,10のセンサ検証装置100は、ステップS112~S113の処理を実行する。
 この場合、車両A,10のセンサ検証装置100は、車両Aが算出し、車両Aのセンサ検証装置100内のメモリに格納された自装置算出距離データD1が正しくない可能性がある距離データであり、車両Aのセンサ検証装置100のセンサ101やデータ処理部102の距離算出部111が正常に動作していない可能性があると判断する。
 この場合、センサ101や距離算出パラメータ等の補正処理としてのキャリブレーション処理が必要である可能性があると判断する。
 この場合、車両A,10のセンサ検証装置100は、まず、ステップS112において、外部装置算出距離データD2を送信してきた外部装置に対して、双方、すなわち車両A(ホスト)と外部装置双方の算出距離データ(D1,D2)の差分がしきい値以上であったことを通知する。
 外部装置は、車両A(ホスト)から、この通知を受信することで、外部装置(車両Bや、インフラ等)における距離算出が正常に行われていない可能性があることを確認することができる。
  (ステップS113)
 さらに、車両A,10のセンサ検証装置100は、ステップS113において、車両Aのセンサ101やデータ処理部102の距離算出部111は正確な距離算出を実行していない可能性があることを示すセンサ状態情報をメモリ104に記録する。
 図9を参照して、車両A,10のセンサ検証装置100がメモリ104に記録するデータの例について説明する。
 図9に示すように、メモリ104には以下の各データが記録される。
 (a1)タイムスタンプ
 (a2)センサ検出値(ステレオ画像等)
 (a3)自装置算出距離データD1
 (a4)各装置算出距離データ差分|D1-D2|と、しきい値Thとの比較結果
 (a5)センサ状態判定結果(正常=1,不明=0)
 「(a1)タイムスタンプ」は、自装置算出距離データD1を算出した際のセンサ101によるセンサ検出値(ステレオ画像等)の取得タイミングを示す時間情報である。
 「(a2)センサ検出値(ステレオ画像等)」は、センサ101によるセンサ検出値(ステレオ画像等)である。
 なお、車両A,10は、継続的にセンサ101によるセンサ検出値(ステレオ画像等)を取得し、メモリ104に格納するが、外部装置算出距離データD2との距離比較処理を行ったセンサ検出値(ステレオ画像等)以外のセンサ検出値(ステレオ画像等)は、その後、不要となるので、メモリ104から消去する。
 図9には、外部装置算出距離データD2との距離比較処理を行ったセンサ検出値(ステレオ画像等)のみを記録データとして残した例を示している。
 また、図に示す例は、センサ101がステレオ画像を撮影するステレオカメラである場合のセンサ検出値の例である。例えばセンサ101が、その他のセンサ、例えばLiDARや、TOFセンサ、ミリ波レーダー等の距離計測センサである場合は、これらのセンサによる計測距離データが格納される。
 また、センサ101が単眼カメラである場合は、単眼カメラによる1つの撮影画像が記録されることになる。
 「(a3)自装置算出距離データD1」は、車両A,10のセンサ101によって取得されたセンサ検出値(ステレオ画像等)に基づいてデータ処理部102の距離算出部111が算出した距離データである。車両A,10と外部装置(車両Bや、インフラ等)との間の距離データである。
 「(a4)各装置算出距離データ差分|D1-D2|と、しきい値Thとの比較結果」は、車両A,10のセンサ検証装置100のデータ処理部102のセンサ状態判定部112が実行した距離比較処理の結果が格納される。
 車両Aが算出し、車両Aのセンサ検証装置100内のメモリに格納された自装置算出距離データD1と、外部装置(車両Bやインフラ等)が算出し、外部装置から受信した外部装置算出距離データD2との差分|D1-D2|と、しきい値Thとを比較し、
 |D1-D2|<Th
 上記判定式を満たす場合は、[1]、満たさない場合は[0]が記録される。
 「(a5)センサ状態判定結果(正常=1,不明=0)」は、「(a4)各装置算出距離データ差分|D1-D2|と、しきい値Thとの比較結果」の値に応じたセンサ状態の判定結果が格納される。
 自装置と外部装置の算出距離地の差分がしきい値未満である場合、すなわち、
 |D1-D2|<Th
 上記判定式を満たす場合は、センサによる距離計測が正しく実行されていると判定され、センサ状態が正常であることを示す識別子[1]が記録される。
 一方、上記判定式をも満たさない場合は、センサによる距離計測が正しく実行されていない可能性があると判定され、センサ状態が正常か否か不明であることを示す識別子[0]が記録される。
 なお、車両A,10のセンサ検証装置100のメモリ104には、さらに、外部装置(車両Bや、インフラ等)から受信した外部装置算出距離データD2なども記録される。
 図10を参照して、メモリ104に記録される外部装置からの受信データの例について説明する。
 図10に示すように、車両A(ホスト)のセンサ検証装置100のメモリ104には、以下の各データが記録される。
 (b1)外部装置識別子(ID)
 (b2)タイムスタンプ
 (b3)外部装置算出距離データD2
 「(b1)外部装置識別子(ID)」は、車両A(ホスト)と通信を行い、車両A(ホスト)に、外部装置算出距離データD2を送信した外部装置(車両Bや、インフラ等)の識別子である。
 この外部装置識別子(ID)は、先に図7のフローを参照して説明したステップS102の認証処理において、車両A(ホスト)が外部装置(車両Bや、インフラ等)から受信する。
 外部装置識別子(ID)は、例えば外部装置がインフラであるか、車両であるかを示し、さらに各インフラ、車両の種類などを識別可能なデータとして構成される。
 図に示す識別子(ID)の例において、Cは車両、Iはインフラを示す。
 「(b2)タイムスタンプ」は、外部装置(車両Bや、インフラ等)が外部装置算出距離データD2を算出した際のセンサによるセンサ検出値(ステレオ画像等)の取得タイミングを示す時間情報である。
 「(b3)外部装置算出距離データD2」は、外部装置(車両Bや、インフラ等)によって算出された外部装置(車両Bや、インフラ等)と車両A(ホスト)間の距離データである。
 このように、車両A,10のセンサ検証装置100は、図9を参照して説明した自装置関連のデータと、図10を参照して説明した外部装置(車両Bや、インフラ等)から受信したデータをメモリ104に格納する。
 車両A,10のセンサ検証装置100は、センサ検証装置100内のセンサ101等のキャリブレーション処理を行う場合、メモリ104に格納されたデータを用いた処理を実行する。
 図11以下のフローチャートを参照して、車両A,10のセンサ検証装置100が実行するキャリブレーション処理のシーケンスについて説明する。
 図11に示すフローチャートは、先に説明した図8に示すフローチャートのステップS112~S113の処理の後に実行される処理を示すフローである。
 前述したように図8に示すフローチャートのステップS112~S113の処理は、図8に示すフローのステップS109において、自装置算出距離データD1と、外部装置算出距離データD2との差分としきい値Thとの比較処理を行った結果として、
 |D1-D2|<Th
 上記判定式が成立しないと判定した場合に実行される。
 すなわちステップS109において、自装置算出距離データD1と、外部装置算出距離データD2について、その差分が予め規定したしきい値(Th)未満でないと判定した場合、車両A,10のセンサ検証装置100は、ステップS112において、外部装置算出距離データD2を送信してきた外部装置に対して、双方、すなわち車両A(ホスト)と外部装置双方の算出距離データ(D1,D2)の差分がしきい値以上であったことを通知する。
 さらに、ステップS113において、車両Aのセンサ101やデータ処理部102の距離算出部111は正確な距離算出を実行していない可能性があることを示すセンサ状態情報をメモリ104に記録する。
 このステップS113の記録データは、例えば図9に示す以下の各データである。
 (a4)各装置算出距離データ差分|D1-D2|と、しきい値Thとの比較結果
 (a5)センサ状態判定結果(正常=1,不明=0)
 このように、ステップS109において、自装置算出距離データD1と、外部装置算出距離データD2について、その差分が予め規定したしきい値(Th)未満でないと判定した場合、ステップS112で外部装置(車両Bや、インフラ等)に対して通知する処理を行い、ステップS113でメモリに対するデータ記録を行った後、図11に示すフローチャートのステップS121以下の理処理を実行する。
 以下、図11に示すフローチャートの各ステップの処理の詳細について説明する。
  (ステップS121)
 車両Aのセンサ検証装置100は、ステップS121において、外部装置算出距離データD2を算出した外部装置が高信頼度距離を算出可能な外部装置(管理サーバが管理するインフラ等)であるか否かを判定する。
 なお、このステップS121の処理は、車両A,10のセンサ検証装置100のデータ処理部102内のセンサ状態判定部112が実行する。
 先に図5、図6を参照して説明したように、例えば信号機等のインフラは外部の管理サーバと接続し、管理サーバの制御によって定期的にインフラ内のセンサや距離算出部のメンテナンスとしてのキャリブレーションを行う構成とすることが可能である。
 このような定期的なキャリブレーション処理によって、管理サーバに接続されたインフラは常に正しい距離を算出可能な状態に維持することができる。
 図11に示すフローのステップS121では、車両Aが距離算出を依頼した外部装置が、このような定期的なメナンテナンスが行われ、正確な距離算出を行うことが可能な外部装置であるか否かを判定する処理が実行される。
 この判定処理は、例えば外部装置から受信した外部装置識別子(ID)に基づいて行う。
 先に図10を参照して説明したように、車両A(ホスト)のセンサ検証装置100のメモリ104には、「(b1)外部装置識別子(ID)」が格納されている。
 この「(b1)外部装置識別子(ID)」は、車両A(ホスト)と通信を行い、車両A(ホスト)に、外部装置算出距離データD2を送信した外部装置(車両Bや、インフラ等)の識別子である。
 この外部装置識別子(ID)は、先に図7のフローを参照して説明したステップS102の認証処理において、車両A(ホスト)が外部装置(車両Bや、インフラ等)から受信され、メモリ104に記録される。
 車両A(ホスト)のセンサ検証装置100は、外部装置から受信し、メモリ104に記録された外部装置識別子(ID)を参照して、外部装置が信頼できる距離データを算出可能な外部層とであるか否かを判定する。具体的には、例えば、外部装置がインフラであるか、それ以外の車両であるか等を判別する。
 先に説明したように、外部装置識別子(ID)は、例えば外部装置がインフラであるか、車両であるかを示し、さらに各インフラ、車両の種類などを識別可能なデータとして構成される。図10に示す示す識別子(ID)の例において、Cは車両、Iはインフラを示している。
 ステップS121において、外部装置算出距離データD2を算出した外部装置が高信頼度距離を算出可能な外部装置(管理サーバが管理するインフラ等)であると判定した場合は、ステップS123に進む。
 一方、ステップS121において、外部装置算出距離データD2を算出した外部装置が高信頼度距離を算出可能な外部装置(管理サーバが管理するインフラ等)でないと判定した場合は、ステップS122に進む。
 なお、ステップS123は、車両Aのセンサ等のキャリブレーション実行ステップである。
 外部装置算出距離データD2を算出した外部装置が高信頼度距離を算出可能な外部装置である場合、この外部装置算出距離データD2が正しい距離データであると推定される。
 さらに、先に説明した図8のフローのステップS109において、この外部装置算出距離データD2との差分がしきい値Th以上であると判定された自装置算出距離データD1は、誤った距離データであると判定される。
 これらの判定がなされた場合、ステップS123において車両Aのセンサが正しい距離を算出可能とするためのパラメータ補正処理等のキャリブレーション処理を実行する。
  (ステップS122)
 ステップS122は、ステップS121において、外部装置算出距離データD2を算出した外部装置が高信頼度距離を算出可能な外部装置(管理サーバが管理するインフラ等)でないと判定した場合に実行する。
 この場合、車両Aのセンサ検証装置100は、ステップS122において、予め規定したキャリブレーション実行条件を満たしているか否かを判定する。
 なお、このステップS122の処理は、車両A,10のセンサ検証装置100のデータ処理部102内のセンサ状態判定部112が実行する。
 予め規定したキャリブレーション実行条件とは、具体的には以下のような条件である。
 (条件)しきい値以上の差分が発生した距離比較処理の連続回数が規定数=N回に達したこと。
 ステップS122において、上記(条件)満たしていると判定した場合は、ステップS123に進み、キャリブレーション処理を実行する。
 一方、ステップS122において、上記(条件)満たしていないと判定した場合は、ステップS101に戻り、新たな外部装置と通信を実行して、自装置と新たな外部装置の算出した距離の比較処理を実行する。
 ステップS122の判定処理は、以下の判定を行う処理である。
 すなわち、車両Aが、異なる外部装置に対して、図7~図8に示すフローに従った処理を実行し、図8に示すステップS109の距離比較処理、すなわち、車両Aが算出した自装置算出距離データD1と、外部装置(車両Bやインフラ等)が算出した外部装置算出距離データD2との差分|D1-D2|と、しきい値Thとの比較処理において、
 |D1-D2|<Th
 上記判定式を満たさなかった回数が連続して、規定回数Nに達したか否かを判定する処理である。
 しきい値以上の差分が発生した距離比較処理の連続回数が規定数=N回に達した場合には、自装置、すなわち車両A側の算出距離、すなわち自装置算出距離データD1が誤っていると判定し、ステップS123に進み、自装置(車両A)のセンサ101のキャリブレーションを実行する。
 一方、しきい値以上の差分が発生した距離比較処理の連続回数が規定数=N回に達していない場合には、自装置算出距離データD1が誤った値であるか、外部装置の算出距離である外部装置算出距離データD2が誤ったデータであるかの判別が困難であるため、この場合は、ステップS101に戻り、新たな外部装置と通信を実行して、自装置と新たな外部装置の算出した距離の比較処理を実行する。
  (ステップS123)
 ステップS123の処理は、以下の2つのケースいずれかに該当する場合に実行する処理である。
 (ケース1)ステップS121において、外部装置算出距離データD2を算出した外部装置が高信頼度距離を算出可能な外部装置(管理サーバが管理するインフラ等)であると判定した場合。
 (ケース2)ステップS122において、しきい値以上の差分が発生した距離比較処理の連続回数が規定数=N回に達した場合。
 車両Aのセンサ検証装置100は、これら、いずれかのケースが発生した場合、自装置、すなわち車両A側の算出距離、すなわち自装置算出距離データD1が誤っていると判定し、ステップS123に進み、自装置(車両A)のセンサ101のキャリブレーションを実行する。
 このステップS123のキャリブレーション処理の詳細シーケンスについて、図12に示すフローチャートを参照して説明する。
 図12に示すフローチャートは、車両Aのセンサ検証装置100のデータ処理部102のキャリブレーション実行部113が実行する処理である。
 以下、図12に示すフローの各ステップの処理について、順次、説明する。
  (ステップS201)
 車両Aのセンサ検証装置100のデータ処理部102のキャリブレーション実行部113は、まず、ステップS201において、以下の処理を実行する。
 誤った算出距離データと判定した自装置算出距離データD1の算出処理に適用したセンサ検出値(ステレオ画像等)を、メモリ104から取得する。
 先に図9、図10を参照して説明したメモリ格納データを参照して具体的な処理例について説明する。
 メモリ104には、例えば図9に示すデータが格納されている。これらのデータ中、誤った算出距離データと判定した自装置算出距離データD1を図9に示すエントリ(3)のデータとする。
 図9に示すエントリ(3)の自装置算出距離データD1の値は、
 D1=352,425(mm)
 である。
 この自装置算出距離データD1が誤った距離データであると判定された距離データであるとする。
 ステップS201では、この誤った距離データと判定した自装置算出距離データD1、
 D1=352,425(mm)
 この距離データの算出処理に適用したセンサ検出値(ステレオ画像等)を、メモリ104から取得する。
 すなわち、図9に示すメモリ格納データ中のエントリ(3)の、
 (a2)センサ検出値(ステレオ画像)内に示す2枚の画像を取得する。
 これら2枚の画像は、異なる視点位置から、外部装置(車両)を撮影した2枚の画像である。
 この画像に含まれる被写体としての車両は、外部装置算出距離データD2を算出した車両であり、車両Aは、この外部装置算出距離データD2をタイムスタンプとともにメモリ104に格納している。
 すなわち、先に図10を参照して説明したメモリ格納データである。
  (ステップS202)
 次に、車両Aのセンサ検証装置100のデータ処理部102のキャリブレーション実行部113は、ステップS202において、以下の処理を実行する。
 誤った自装置算出距離データD1の算出タイミングと同じタイミングのタイムスタンプを持つ外部装置(車両Bや、インフラ等)の算出した正しい距離データと推定される外部装置算出距離データD2をメモリから取得する。
 メモリ104には、先に図10を参照して説明したように、外部装置からの受信データが格納されている。すなわち、メモリ104には、外部装置から受信した以下の各データが格納されている。
 (b1)外部装置識別子(ID)
 (b2)タイムスタンプ
 (b3)外部装置算出距離データD2
 キャリブレーション実行部113は、ステップS202において、図10に示す複数のエントリ(p),(q),(r)・・・から、先のステップS201で選択したセンサ検出値(ステレオ画像等)の撮影タイミングを示すタイムスタンプと同じ時間のタイムスタンプが設定されたエントリを選択する。
 先のステップS201で選択したセンサ検出値(ステレオ画像等)の撮影タイミングを示すタイムスタンプは、図9に示すメモリ格納データ中のエントリ(3)のタイムスタンプであり、その値は、
 タイムスタンプ=20211028140512
 である。
 このタイムスタンプは、図9に示すメモリ格納データ中のエントリ(3)のセンサ検出値(ステレオ画像等)の撮影タイミングを示す時間情報であり、
 2021年10月28日、14時05分12秒
 この時間にエントリ(3)のセンサ検出値(ステレオ画像等)の撮影がなされたことを示すデータである。
 ステップS202では、図10に示す複数のエントリ(p),(q),(r)・・・から、このタイムスタンプと同じ時間情報を持つタイムスタンプが設定されたエントリを選択する。
 図10に示すエントリ(p)~(r)中、
 図9に示すエントリ(3)のタイムスタンプ=20211028140512
 このタイムスタンプと同じタイムスタンプが設定されたエントリはエントリ(r)である。
 車両Aのセンサ検証装置100のデータ処理部102のキャリブレーション実行部113は、ステップS202において、この図10に示すメモリ格納データ、すなわち、外部装置からの受信データから、図9に示すエントリ(3)のタイムスタンプ=20211028140512と同じタイムスタンプが設定されたエントリ(r)の外部装置算出距離データD2を取得する。
 この図10に示すエントリ(r)の外部装置算出距離データD2は、図9に示すエントリ(3)の自装置算出距離データD1を算出したタイミングと全く同じタイミングで外部装置によって算出された距離データであり、正しい距離データであると推定される距離データである。
  (スップS203)
 次に、車両Aのセンサ検証装置100のデータ処理部102のキャリブレーション実行部113は、ステップS203において、以下の処理を実行する。
 ステップS201においてメモリ104から取得したセンサ検出値(ステレオ画像等)から、ステップS202においてメモリ104から取得した正しい距離データ(外部装置算出距離データD2)が算出されるように、車両A(ホスト)のセンサ101の内部パラメータ、外部パラメータを調整する。
 すなわち、図9に示すメモリ格納データ中のエントリ(3)のセンサ検出値(ステレオ画像)である2枚の画像から、正しい距離データと推定される図10に示すエントリ(r)の外部装置算出距離データD2が算出されるように車両A(ホスト)のセンサ101の内部パラメータ、外部パラメータを調整する。
 具体的には、例えば、センサ101の内部パラメータ(焦点距離、歪、画像中心)や、外部パラメータ(位置、姿勢)を調整し、正しい距離が算出できるようにキャリブレーション処理(補正処理)を実行する。
 このように、本開示の車両に搭載されたセンサ検証装置は、道路を走行中、値の車両や信号機等のインフラ等の外部装置と通信を実行し、相互に同じタイミングで同じ車両間距離、あるいは車両とインフラ間距離を算出し、これらの2つの算出は距離を比較することで、正しい距離算出が行われているか否かを検証する。
 さらに、正しい距離算出が行われていないと判定された場合は、正しい距離算出が可能となるようにセンサ等のキャリブレーション処理を実行する。
 車両は、他の車両やインフラとの距離算出処理を、道路走行中、様々なタイミングで実行することが可能であり、距離算出結果に応じたキャリブレーション処理を頻繁に行うことが可能となる。
 これらの処理により、センサによる距離算出精度低下を防止することが可能となり、安全性の高い自動運転や運転サポートを実現することが可能となる。
  [4.車両間、および車両とインフラ間の通信シーケンスについて]
 次に、本開示の処理を行う際に実行される車両間、および車両とインフラ間の通信シーケンスについて説明する。
 図13~図15を参照して、以下の3つのケースにおける通信シーケンスについて、順次説明する。
 (ケース1)車両Aと車両B間の通信シーケンス
 (ケース2)車両Aとインフラ間の通信シーケンス例1
 (ケース3)車両Aとインフラ間の通信シーケンス例2
  (ケース1)車両Aと車両B間の通信シーケンス
 まず、(ケース1)として、図13に示すシーケンス図を参照して、車両Aと車両B間で通信を行い、車両Aと車両B双方おいて、同一タイミングで車両AB間の距離を算出し、車両Aがこれら2つの算出距離を比較する処理を行う場合の車両A,B間の通信シーケンスについて説明する。
 図13には、左側に車両A、右側に車両Bを示している。
 図13に示すステップS301~S307のシーケンスに従って車両間の通信処理が実行される。
 以下、各ステップの処理について、順次、説明する。
  (ステップS301)
 まず、ステップS301において、車両Aが車両検出信号(Announce)を送信する。
 この車両検出信号(Announce)は、距離算出を実行してくれる車両を検出するためのアナウンス信号であり、特定の車両向けの送信信号ではない。不特定の車両に向けた信号、例えばブロードキャスト信号が送信される。
  (ステップS302)
 車両Aが送信した車両検出信号(Announce)を受信した車両Bは、ステップS302において、車両Aの車両検出信号(Announce)を受信したことを示す応答信号であるレスポンス(車両検出信号(Report))を車両Aに送信する。
  (ステップS303)
 次に、車両Bからの応答信号(車両検出信号(Report))を受信した車両Aは、ステップS303において、車両Aと車両B間の認証処理を開始する。
 この認証処理において、車両Aと車両Bは、例えば通信を行う車両Aと車両Bが、相互に信頼できる車両であることの確認処理としてのID交換処理や、通信データの暗号化処理に適用する鍵データ等の共有処理などを行う。
 認証が成立すると次のステップに進む。
 認証が不成立の場合は、その後の処理は実行されない。
  (ステップS304)
 ステップS303において認証処理が成立すると、次に、車両Aは、ステップS304において、車両Bに対して距離算出要求を送信する。すなわち、車両Aと車両B間の距離の算出処理を実行するように要求する。
  (ステップS305)
 車両Aが送信した距離算出要求を受信した車両Bは、ステップS305において、車両AB間の距離算出処理を実行し、算出した車両間距離データと距離算出時間を示すタイムスタンプを車両Aに送信する。
  (ステップS306)
 車両Bから、車両間距離データ(外部装置算出距離データD2)と距離算出時間を示すタイムスタンプを受信した車両Aは、車両A側で算出済みの車両AB間の距離データ(自装置算出距離データD1)から、車両Bから受信したタイムスタンプと同一のタイムスタンプが設定された自装置算出距離データD1を選択し、車両Bから受信した外部装置算出距離データD2と比較する。
 車両Aは、ステップS306において、この比較結果を車両Bに送信する。
 車両Aから車両Bに対する距離比較結果情報の通知処理は、先に図8を参照して説明したフローチャートのステップS110の処理とステップS112の処理に対応する。
 すなわち、図8を参照して説明したフローチャートのステップS109において、自装置算出距離データD1と、外部装置算出距離データD2との差分が規定しきい値未満であったか否かに応じて異なる距離比較結果情報の通知処理が実行される。
 車両Aが算出した自装置算出距離データD1と、車両Bが算出した外部装置算出距離データD2との差分が規定しきい値未満であった場合は、先に図8を参照して説明したフローチャートのステップS110の処理が実行される。
 この場合、車両Aは、外部装置算出距離データD2を送信してきた車両Bに対して、双方、すなわち車両AB双方の算出距離データ(D1,D2)の差分がしきい値未満であったことを通知する。
 車両Bは、車両Aからこの通知を受信することで車両Bにおいて距離算出が正常に行われている可能性が高いことを確認することができる。
 一方、車両Aが算出した自装置算出距離データD1と、車両Bが算出した外部装置算出距離データD2との差分が規定しきい値未満でなかった場合は、先に図8を参照して説明したフローチャートのステップS112の処理が実行される。
 この場合、車両Aは、外部装置算出距離データD2を送信してきた車両Bに対して、双方、すなわち車両AB双方の算出距離データ(D1,D2)の差分がしきい値未満でなかったことを通知する。
 車両Bは、車両Aからこの通知を受信することで車両Bにおいて距離算出が正常に行われていない可能性があることを確認することができる。
  (ステップS307)
 車両Aから、自装置算出距離データD1と外部装置算出距離データD2と距離比較結果情報の通知を受信した車両Bは、車両Aに対して、距離比較結果情報を受信したとこの確認応答を車両Aに送信する。
 以上、ステップS301~S307の通信処理が車両A,B間で実行される。
 車両Aは、これらの通信処理の後、必要に応じて車両Aに搭載されたセンサのキャリブレーション処理を行う。
 すなわち、先に図11に示すフローチャートを参照して説明したように、例えば、図11に示すフローのステップS122において、しきい値以上の差分が発生した距離比較処理の連続回数が規定数=N回に達したと判定された場合に、車両Aに搭載されたセンサのキャリブレーション処理を行う。
 センサのキャリブレーション処理は、例えば先に説明した図12に示すフローチャートに示すシーケンスに従って実行される。
  (ケース2)車両Aとインフラ間の通信シーケンス例1
 次に、(ケース2)として、図14に示すシーケンス図を参照して、車両Aと、例えば信号機等の道路設備であるインフラ間で通信を行い、車両Aとインフラ双方おいて、同一タイミングで車両Aとインフラ間の距離を算出し、車両Aがこれら2つの算出距離を比較する処理を行う場合の車両Aとインフラ間の通信シーケンスの例1について説明する。
 図14には、左側に車両A、右側にインフラを示している。
 図14に示すステップS401~S407のシーケンスに従って、車両とインフラ間の通信処理が実行される。
 以下、各ステップの処理について、順次、説明する。
  (ステップS401)
 まず、ステップS401において、車両Aがインフラ検出信号(Announce)を送信する。
 このインフラ検出信号(Announce)は、先に図13を参照して説明した車両AB間の通信シーケンスにおける車両検出信号(Announce)と同様の信号を利用可能である。距離算出を実行してくれるインフラを検出するためのアナウンス信号であり、特定のインフラや車両向けの送信信号ではない。不特定のインフラや車両に向けた信号、例えばブロードキャスト信号が送信される。
  (ステップS402)
 車両Aが送信したインフラ検出信号(Announce)を受信したインフラは、ステップS402において、車両Aのインフラ検出信号(Announce)を受信したことを示す応答信号であるレスポンス(インフラ検出信号(Report))を車両Aに送信する。
  (ステップS403)
 次に、インフラからの応答信号(インフラ検出信号(Report))を受信した車両Aは、ステップS403において、車両Aとインフラ間の認証処理を開始する。
 この認証処理において、車両Aとインフラは、例えば通信を行う車両Aとインフラが、相互に信頼できる車両とインフラであることの確認処理としてのID交換処理や、通信データの暗号化処理に適用する鍵データ等の共有処理などを行う。
 認証が成立すると次のステップに進む。
 認証が不成立の場合は、その後の処理は実行されない。
  (ステップS404)
 ステップS403において認証処理が成立すると、次に、車両Aは、ステップS404において、インフラに対して距離算出要求を送信する。すなわち、車両Aとインフラ間の距離の算出処理を実行するように要求する。
  (ステップS405)
 車両Aが送信した距離算出要求を受信したインフラは、ステップS405において、車両Aとインフラ間の距離算出処理を実行し、算出した車両インフラ間距離データと距離算出時間を示すタイムスタンプを車両Aに送信する。
  (ステップS406)
 インフラから、車両インフラ間距離データ(外部装置算出距離データD2)と距離算出時間を示すタイムスタンプを受信した車両Aは、車両A側で算出済みの車両Aとインフラ間の距離データ(自装置算出距離データD1)から、インフラから受信したタイムスタンプと同一のタイムスタンプが設定された自装置算出距離データD1を選択し、インフラから受信した外部装置算出距離データD2と比較する。
 車両Aは、ステップS406において、この比較結果をインフラに送信する。
 車両Aからインフラに対する距離比較結果情報の通知処理は、先に図8を参照して説明したフローチャートのステップS110の処理とステップS112の処理に対応する。
 すなわち、図8を参照して説明したフローチャートのステップS109において、自装置算出距離データD1と、外部装置算出距離データD2との差分が規定しきい値未満であったか否かに応じて異なる距離比較結果情報の通知処理が実行される。
 車両Aが算出した自装置算出距離データD1と、インフラが算出した外部装置算出距離データD2との差分が規定しきい値未満であった場合は、先に図8を参照して説明したフローチャートのステップS110の処理が実行される。
 この場合、車両Aは、外部装置算出距離データD2を送信してきたインフラに対して、双方、すなわち車両Aとインフラ双方の算出距離データ(D1,D2)の差分がしきい値未満であったことを通知する。
 一方、車両Aが算出した自装置算出距離データD1と、インフラが算出した外部装置算出距離データD2との差分が規定しきい値未満でなかった場合は、先に図8を参照して説明したフローチャートのステップS112の処理が実行される。
 この場合、車両Aは、外部装置算出距離データD2を送信してきたインフラに対して、双方、すなわち車両Aとインフラ双方の算出距離データ(D1,D2)の差分がしきい値未満でなかったことを通知する。
  (ステップS407)
 車両Aから、自装置算出距離データD1と外部装置算出距離データD2と距離比較結果情報の通知を受信したインフラは、車両Aに対して、距離比較結果情報を受信したことを示す確認応答を車両Aに送信する。
 以上、ステップS401~S407の通信処理が車両Aとインフラ間で実行される。
 車両Aは、これらの通信処理の後、必要に応じて車両Aに搭載されたセンサのキャリブレーション処理を行う。
 すなわち、先に図11に示すフローチャートを参照して説明したように、例えば、図11に示すフローのステップS121において、距離比較処理を実行した相手装置がインフラであると判定された場合、車両Aに搭載されたセンサのキャリブレーション処理を行う。
 センサのキャリブレーション処理は、例えば先に説明した図12に示すフローチャートに示すシーケンスに従って実行される。
  (ケース3)車両Aとインフラ間の通信シーケンス例2
 次に、(ケース3)として、図15に示すシーケンス図を参照して、車両Aと、例えば信号機等の道路設備であるインフラ間で通信を行い、車両Aとインフラ双方おいて、同一タイミングで車両Aとインフラ間の距離を算出し、車両Aがこれら2つの算出距離を比較する処理を行う場合の車両Aとインフラ間の通信シーケンスの例2について説明する。
 この例2は、先に図14を参照して説明したシーケンスと同様、車両Aとインフラ間で通信処理を行う例である。
 先に図14を参照して説明したシーケンスでは、まず、車両Aが距離測定可能なインフラに対して検出信号を送信していた。
 これに対して、図15に示す例は、インフラが、インフラに近づいてきた車両に対して主導的に距離測定、比較処理を実行させるシーケンスである。
 図15には、左側に車両A、右側にインフラを示している。
 図15に示すステップS501~S507のシーケンスに従って車両とインフラ間の通信処理が実行される。
 以下、各ステップの処理について、順次、説明する。
  (ステップS501)
 まず、ステップS501において、インフラが、インフラに近づいてきたインフラ近辺の車両に対して車両検出信号(Announce)を送信する。
 この車両検出信号(Announce)は、先に図13を参照して説明した車両AB間の通信シーケンスにおける車両検出信号(Announce)と同様の信号を利用可能である。
 車両検出信号(Announce)は、インフラに近づいてきた車両を検出するためのアナウンス信号であり、特定の車両向けの送信信号ではない。不特定の車両に向けた信号、例えばブロードキャスト信号が送信される。
  (ステップS502)
 インフラが送信した車両検出信号(Announce)を受信した車両Aは、ステップS502において、インフラからの車両検出信号(Announce)を受信したことを示す応答信号であるレスポンス(車両検出信号(Report))をインフラに送信する。
  (ステップS503)
 次に、車両Aからの応答信号(車両検出信号(Report))を受信したインフラは、ステップS503において、車両Aとインフラ間の認証処理を開始する。
 この認証処理において、車両Aとインフラは、例えば通信を行う車両Aとインフラが、相互に信頼できる車両とインフラであることの確認処理としてのID交換処理や、通信データの暗号化処理に適用する鍵データ等の共有処理などを行う。
 認証が成立すると次のステップに進む。
 認証が不成立の場合は、その後の処理は実行されない。
  (ステップS504)
 ステップS503において認証処理が成立すると、次に、車両Aは、ステップS504において、インフラに対して距離算出要求を送信する。すなわち、車両Aとインフラ間の距離の算出処理を実行するように要求する。
  (ステップS505)
 車両Aが送信した距離算出要求を受信したインフラは、ステップS505において、車両Aとインフラ間の距離算出処理を実行し、算出した車両インフラ間距離データと距離算出時間を示すタイムスタンプを車両Aに送信する。
  (ステップS506)
 インフラから、車両インフラ間距離データ(外部装置算出距離データD2)と距離算出時間を示すタイムスタンプを受信した車両Aは、車両A側で算出済みの車両Aとインフラ間の距離データ(自装置算出距離データD1)から、インフラから受信したタイムスタンプと同一のタイムスタンプが設定された自装置算出距離データD1を選択し、インフラから受信した外部装置算出距離データD2と比較する。
 車両Aは、ステップS506において、この比較結果をインフラに送信する。
 車両Aからインフラに対する距離比較結果情報の通知処理は、先に図8を参照して説明したフローチャートのステップS110の処理とステップS112の処理に対応する。
 すなわち、図8を参照して説明したフローチャートのステップS109において、自装置算出距離データD1と、外部装置算出距離データD2との差分が規定しきい値未満であったか否かに応じて異なる距離比較結果情報の通知処理が実行される。
 車両Aが算出した自装置算出距離データD1と、インフラが算出した外部装置算出距離データD2との差分が規定しきい値未満であった場合は、先に図8を参照して説明したフローチャートのステップS110の処理が実行される。
 この場合、車両Aは、外部装置算出距離データD2を送信してきたインフラに対して、双方、すなわち車両Aとインフラ双方の算出距離データ(D1,D2)の差分がしきい値未満であったことを通知する。
 一方、車両Aが算出した自装置算出距離データD1と、インフラが算出した外部装置算出距離データD2との差分が規定しきい値未満でなかった場合は、先に図8を参照して説明したフローチャートのステップS112の処理が実行される。
 この場合、車両Aは、外部装置算出距離データD2を送信してきたインフラに対して、双方、すなわち車両Aとインフラ双方の算出距離データ(D1,D2)の差分がしきい値未満でなかったことを通知する。
  (ステップS507)
 車両Aから、自装置算出距離データD1と外部装置算出距離データD2と距離比較結果情報の通知を受信したインフラは、車両Aに対して、距離比較結果情報を受信したことを示す確認応答を車両Aに送信する。
 以上、ステップS501~S507の通信処理が車両Aとインフラ間で実行される。
 車両Aは、これらの通信処理の後、必要に応じて車両Aに搭載されたセンサのキャリブレーション処理を行う。
 すなわち、先に図11に示すフローチャートを参照して説明したように、例えば、図11に示すフローのステップS121において、距離比較処理を実行した相手装置がインフラであると判定された場合、車両Aに搭載されたセンサのキャリブレーション処理を行う。
 センサのキャリブレーション処理は、例えば先に説明した図12に示すフローチャートに示すシーケンスに従って実行される。
  [5.(実施例2)距離測定時のセンサ検出情報である画像を記録せずにキャリブレーションを行う実施例について]
 次に、実施例2として距離測定時のセンサ検出情報である画像を記録せずにキャリブレーションを行う実施例について説明する。
 上述した実施例(実施例1)では、車両間、あるいは車両とインフラ間の距離を算出した際のセンサ検出値、例えばステレオカメラによって撮影されたLR画像をメモリ104に格納し、この記録画像を用いてセンサのキャリブレーション処理を行っていた。
 以下に説明する実施例2は、車両間、あるいは車両とインフラ間の距離を算出した際のセンサ検出値、例えばステレオカメラによって撮影された2つの異なる視点からの撮影画像、すなわち、左視点からの撮影画像であるL画像と右視点からの撮影画像であるR画像、これらのLR画像をメモリ104に格納しない実施例である。
 すなわち、以下に説明する実施例では、画像を利用することなくセンサのキャリブレーション処理を実行する実施例である。
 図16を参照してステレオカメラによって撮影されたLR画像をメモリ104に格納しない実施例2の処理について説明する。
 図16に示す(a)ステレオカメラ撮影画像は、例えば車両A,10のセンサ検証装置100のセンサ101によって撮影される視点の異なる2枚の画像であるL画像とR画像である。
 これら2枚の画像を用いて被写体である前方車両までの距離が算出される。
 前述した実施例1では、先に図9を参照して説明したように、算出した距離データである自装置算出距離データD1とともに、距離算出に適用したこれらの画像データについてもメモリ104に格納していた。
 メモリ104に記録された画像は、先に図12に示すフローチャートのステップS201を参照して説明したように、車両A,10において実行されるセンサ101のキャリブレーション処理に利用していた。
 本実施例2では、これらの画像データをメモリに記録しない。
 本実施例2では、メモリ104に格納された図16の右下に示すルックアップテーブルの修正処理を実行する。
 すなわち、センサのキャリブレーション処理において、図16右下に示す「(b)視差-距離対応ルックアップテーブル」の修正処理を実行する。
 図16の右下に示す「(b)視差-距離対応ルックアップテーブル」は、センサ101(ステレオカメラ)検出値に相当するLR画像の視差(同一被写体のずれピクセル(画素)数)と、各視差対応の距離値を対応付けたテーブルである。
 一般的にステレオカメラであるセンサ101の撮影したL画像とR画像から被写体距離を算出する場合、図16に示すステップS01~S03の処理が行われる。
 まず、ステップS01において、ステレオカメラであるセンサ101の撮影したL画像とR画像各々から、距離算出対象の被写体の画素位置を取得する。
 図に示す例では、車両のナンバープレートの左上端を距離算出対象被写体とする。
 L画像の車両のナンバープレートの左上端の画素座標が(XL,YL)である。
 一方、R画像の車両のナンバープレートの左上端の画素座標が(XR,YR)である。
 L画像とR画像は、異なる視点位置からの撮影画像であるので、LR画像の画素座標位置はわずかに異なることになる。
 カメラからの距離が遠い被写体ほど画素座標の位置ずれ(視差)は小さくなる。一方、カメラからの距離が近い被写体ほど画素座標の位置ずれ(視差)は大きくなる。
 この画素の位置ずれ(視差)量に基づいて被写体の距離を算出する手法がステレオ画像を用いた被写体距離算出手法である。
 図16に示す例では、図16ステップS02に示すように、LR各画像の車両のナンバープレートの左上端の視差Xsは、以下の式によって算出される。
 Xs=XL-XR
 次に、図16のステップS03に示すように、ステップS02で算出した視差Xsに基づいて、図16の右下に示す「(b)視差-距離対応ルックアップテーブル」から視差Xsに対応する被写体距離を抽出する。
 このような手順で、センサ101の検出値であるLR画像と、視差-距離対応ルックアップテーブルを用いてLR画像に含まれる被写体の距離を算出することができる。
 なお、被写体までの距離の算出方法は、視差-距離対応ルックアップテーブルを用いた方法に限定されず、例えば、
 D(被写体までの距離)=B(基線長)×f(焦点距離)/S(視差)
 上記の演算から求めてもよい。
 本実施例2では、例えば車両AB間の距離や、車両Aとインフラ間の距離算出時に用いたLR画像をメモリ104に格納しない。
 画像の代わりに車両AB間の距離や、車両Aとインフラ間の距離算出時にLR画像から取得した視差Xs、すなわち距離算出対象となる被写体のLR各画像の視差量、
 Xs=XL-XR
 この視差量をメモリ104に格納しておく。
 キャリブレーション処理の実行に際しては、メモリ104に格納された視差量(Xs)と、正しい距離データ、例えば外部装置(車両Bや、インフラ等)から取得した正しい距離データ(外部装置算出距離データD2)と、予めメモリ104に格納済みの図16の右下に示す「(b)視差-距離対応ルックアップテーブル」を用いて、「(b)視差-距離対応ルックアップテーブル」の修正処理を実行する。
 図17に示すフローチャートを参照して本実施例2におけるセンサのキャリブレーション処理のシーケンスについて説明する。
 図17に示すフローチャートは、先に説明した実施例(実施例1)において実行される図12に示すフローチャートに代わって実行される。
 先に説明した図12に示すフローチャートでは、ステップS201においてメモリ104に格納したセンサ検出データ(ステレオLR画像)を取得してセンサ101のキャリブレーション処理を実行していた。
 本実施例2では、LR画像を用いることなくセンサ101のキャリブレーション処理を実行する。
 なお、図17に示すフローチャートに従ったキャリブレーション処理は、先に説明した図7、図8、図11に示すフローに従った処理が行われて、図11に示すフローのステップS123のキャリブレーション処理として実行される処理である。
 なお、本実施例2では、図7に示すフローのステップS105において、センサ検出値として取得される画像(L画像、R画像)のメモリに対する格納処理は行われない。
 本実施例2では、ステップS105においてセンサ検出値である画像(L画像、R画像)から取得される視差Xs、すなわち距離算出対象となる被写体のLR各画像の視差量、
 Xs=XL-XR
 この視差量をセンサ検出値(ステレオ画像)の取得タイミングを示すタイムスタンプとともにメモリ104に格納する。
 図17に示すフローに従ったキャリブレーション処理は、図11に示すフローのステップS121、S122の判定処理の結果としてステップS123のキャリブレーション処理を実行すると判定された場合に行われる。
 すなわち、以下の2つのケースのいずれかに該当する場合に実行される。
 (ケース1)ステップS121において、外部装置算出距離データD2を算出した外部装置が高信頼度距離を算出可能な外部装置(管理サーバが管理するインフラ等)であると判定した場合。
 (ケース2)ステップS122において、しきい値以上の差分が発生した距離比較処理の連続回数が規定数=N回に達した場合。
 車両Aのセンサ検証装置100は、これら、いずれかのケースが発生した場合、自装置、すなわち車両A側の算出距離、すなわち自装置算出距離データD1が誤っていると判定し、ステップS123に進み、自装置(車両A)のセンサ101のキャリブレーションを実行する。
 図17に示すフローは、このステップS123のキャリブレーション処理の詳細シーケンスである。
 図17に示すフローチャートは、車両Aのセンサ検証装置100のデータ処理部102のキャリブレーション実行部113が実行する処理である。
 以下、図17に示すフローの各ステップの処理について、順次、説明する。
  (ステップS701)
 車両Aのセンサ検証装置100のデータ処理部102のキャリブレーション実行部113は、まず、ステップS701において、以下の処理を実行する。
 誤った算出距離データと判定した自装置算出距離データD1の算出処理に適用したセンサ検出値である画像(L画像、R画像)に基づいて算出された視差データXs、すなわち距離算出対象とした被写体(車両B、またはインフラ)のLR各画像の視差データ、
 Xs=XL-XR
 この視差データXs(ずれピクセル(画素)数)をメモリ104から取得する。
 この視差データXsは、具体的には、例えば図16に示す(a)ステレオカメラ画像であるL画像とR画像の同一被写体領域の画素位置(XL,YL)と(XR,YR)とのずれピクセル(画素)数に相当する。
 この視差データXs(ずれピクセル(画素)数)をメモリ104から取得する。
  (ステップS702)
 次に、車両Aのセンサ検証装置100のデータ処理部102のキャリブレーション実行部113は、ステップS702において、以下の処理を実行する。
 誤った自装置算出距離データD1の算出タイミングと同じタイミングのタイムスタンプを持つ外部装置(車両Bや、インフラ等)の算出した正しい距離データと推定される外部装置算出距離データD2をメモリから取得する。
 メモリ104には、先に図10を参照して説明したように、外部装置からの受信データが格納されている。すなわち、メモリ104には、外部装置から受信した以下の各データが格納されている。
 (b1)外部装置識別子(ID)
 (b2)タイムスタンプ
 (b3)外部装置算出距離データD2
 キャリブレーション実行部113は、ステップS702において、図10に示す複数のエントリ(p),(q),(r)・・・から、先のステップS701でメモリ104から取得した視差データXs(ずれピクセル(画素)数)に対応してメモリ104に記録されたタイムスタンプと同じ時刻のタイムスタンプが設定されたエントリを選択し、その選択エントリに記録された外部装置算出距離データD2を取得する。
 選択したエントリの外部装置算出距離データD2は、先のステップS701でメモリ104から取得した視差データXs(ずれピクセル(画素)数)を算出したステレオ画像の撮影タイミングと全く同じタイミングで外部装置によって算出された距離データであり、正しい距離データであると推定される距離データである。
  (スップS703)
 次に、車両Aのセンサ検証装置100のデータ処理部102のキャリブレーション実行部113は、ステップS703において、以下の処理を実行する。
 先のステップS701でメモリ104から取得した視差データXs(ずれピクセル(画素)数)から、正しい距離データ(外部装置算出距離データD2)が算出されるように、車両A(ホスト)のメモリ104に格納されている「視差-距離対応データ格納ルックアップテーブル」を修正する。
 この図17に示すシーケンスに従ったキャリブレーション処理により、車両A(ホスト)のメモリ104に格納されている「視差-距離対応データ格納ルックアップテーブル」が修正され、その後、修正された「視差-距離対応データ格納ルックアップテーブル」を用いることで、ステレオ画像(L画像とR画像)から算出される視差に基づいて、正しい距離を算出することが可能となる。
  [6.(実施例3)センサとして単眼カメラを用いた実施例について]
 次に、実施例3として、センサとして単眼カメラを用いた実施例について説明する。
 上述した実施例1,2では、例えば車両A,10のセンサ検証装置100において、距離を検出するセンサ101としてステレオカメラを用いた例を説明した。
 先に図4等を参照して説明したように、センサは、ステレオカメラに限らず距離を計測可能な様々なセンサが利用可能である。
 例えば、LiDAR(Light Detection and Ranging)、ToF(Time of Flight)センサ、ミリ波レーダー等のセンサや、単眼カメラなども利用可能である。
 なお、LiDAR(Light Detection and Ranging)やToFセンサ、ミリ波レーダーは、例えばレーザ光等の光を出力してオブジェクトによる反射光を解析して、周囲のオブジェクトの距離を計測するセンサである。
 以下、実施例3として、単眼カメラを用いてオブジェクト距離を算出する実施例について説明する。
 図18を参照して、単眼カメラの撮影画像から、オブジェクト距離を算出する処理の詳細について説明する。
 図18には、単眼カメラで撮影した3枚の時系列画像(a1),(a2),(a3)を示している。(a1)が時間t1の撮影画像、(a2)がその後の時間t2の撮影画像、(a3)がその後の時間t3の撮影画像である。車両が時間経過に伴い、次第に近づいてくる画像が撮影されている。
 各画像には消失点が検出されている。消失点は、実世界において平行な線分が撮像画像内で交わる無限遠方の点であり無限遠点(FOE:Focus of Expansion)とも呼ばれる。消失点はカメラの光軸に対して一意に決まる点である。
 単眼カメラで撮影した画像から検出される消失点と、距離算出対象とするオブジェクト、例えば図18に示す各画像内の車両の接地位置(グランドレベル)までの画素数、すなわち、
 消失点~オブジェクト接地位置間画素数は、カメラからオブジェクト(車両)までの距離に応じて異なる画素数となる。
 例えば、図18に示す(a1)時間t1の画像において、消失点~オブジェクト接地位置間画素数はn1である。
 また、(a2)時間t2の画像において、消失点~オブジェクト接地位置間画素数はn2である。
 さらに、(a3)時間t3の画像において、消失点~オブジェクト接地位置間画素数はn3である。
 このように、センサである単眼カメラによって撮影された画像内のオブジェクト(車両)がセンサ(単眼カメラ)に近づくにつれ、消失点~オブジェクト接地位置間画素数はn1,n2,n3と徐々に増加する。
 図18に示す各画像から理解されるように、単眼カメラの撮影画像内の消失点位置からオブジェクト接地位置までの画素数と、単眼カメラとオブジェクトまでの距離は一対一の関係にある。
 すなわち、単眼カメラの撮影画像内の消失点位置からオブジェクト接地位置までの画素数に基づいて、単眼カメラからオブジェクトまでの距離を算出することができる。
 図19は、単眼カメラの撮影画像内の消失点位置からオブジェクト接地位置までの画素数と、単眼カメラからオブジェクトまでの距離との対応関係を記録したルックアップテーブルの一例を示す図である。
 例えばこのルックアップテーブルを、車両A,10のセンサ検証装置100のメモリ104に格納しておく。
 車両A,10のセンサ検証装置100のデータ処理部102内の距離算出部111は、センサ101である単眼カメラの撮影画像を入力し、撮影画像から消失点を検出して、消失点位置からオブジェクト接地位置までの画素数を算出する。
 さらに、距離算出部111は、算出した画素数に基づいて、メモリ104に格納したルックアップテーブル、すなわち図19に示すルックアップテーブルを利用してオブジェクトまでの距離を算出する。
 このように、センサ101として単眼カメラを用いた構成においてもオブジェクト距離の算出が可能となる。
  [7.(実施例4)マーカーを設定して距離算出目標位置を明確化した実施例について]
 次に、実施例4として、マーカーを設定して距離算出目標位置を明確化した実施例について説明する。
 図20を参照してマーカーを設定して距離算出目標位置を明確化した具体例について説明する。
 図20には、車両A,10と、信号機をインフラ(道路設備)30の一例として示している。
 車両A,10は、車両A,10の前方方向に存在する様々なオブジェクトまでの距離を検出するセンサ11が装着されている。
 インフラ(道路設備)30にも、インフラ(道路設備)30の周囲に存在する様々なオブジェクトまでの距離を検出するセンサ31が装着されている。
 これらのセンサ11,31は、例えば、ステレオカメラである。
 車両A,10と、インフラ(道路設備)30は、いずれも車両とインフラ間の距離を同一タイミングで算出する。
 さらに、車両A,10は、車両A,10で算出した距離、すなわち自装置算出距離データD1と、インフラ30が算出した距離、すなわち外部装置算出距離データとを比較する。
 ここで、2つの装置、すなわち、車両A,10と、インフラ(道路設備)30は同じ2つの計測対象を設定した距離算出を行うことが必要となる。
 例えば信号機等のインフラ(道路設備)30のどのポイントを距離算出対象とするかで、算出される距離の値は異なってしまう。
 このような問題を防止するため、インフラ(道路設備)30に距離算出ポイントを示すマーカー32を設定する。
 車両A,10は、車両A,10からこのマーカー32までの距離を算出すればよい。
 なお、図20には、インフラ30にマーカー32を設定した例を示しているが、車両A,10側にもマーカーを設定してもよい。
 図21を参照して、インフラ30に距離計測位置を示すマーカー32を設定した場合の距離算出処理の一例を説明する。
 図21には、交差点に設置された2つの信号機としてのインフラa,30aとインフラb,30bを示している。
 交差点には2台の車両A,10と、車両B,20が停止している。
 車両A,10は、車両A,10前方のインフラa,30aと通信を実行し、双方で車両A-インフラa間の距離を算出する。
 車両A,10は、インフラa,30aのマーカー32aを検出して、車両A,10先頭部とマーカーa,32aとの間の距離を算出する。
 インフラa,30a側も、自装置の基準位置をマーカーa,32aとしてマーカーa,32aと車両A,10の先頭部との距離を算出する。
 このようにマーカーを設定することで、車両A,10aとインフラa,30aとが双方の算出距離対象を一致させることができ、より高精度な算出距離の比較処理が可能となる。
 なお、車両A,10の算出距離と、インフラa,30a側算出距離との比較処理は、車両A,10側で実行してもよいし、インフラa,30a側で実行してもよい。
 ただし、比較処理を実行した装置は、比較処理を実行していない装置側に比較結果を通知する。
 同様に、車両B,20は、車両B,20前方のインフラb,30bと通信を実行し、双方で車両B-インフラb間の距離を算出する。
 車両B,20は、インフラb,30bのマーカー32bを検出して、車両B,20先頭部とマーカーb,32bとの間の距離を算出する。
 インフラb,30b側も、自装置の基準位置をマーカーb,32bとしてマーカーb,32bと車両B,20の先頭部との距離を算出する。
 このようにマーカーを設定することで、車両B,20bとインフラb,30bとが双方の算出距離対象を一致させることができ、より高精度な算出距離の比較処理が可能となる。
 なお、車両B,20の算出距離と、インフラb,30bの算出距離との比較処理は、車両B,20側で実行してもよいし、インフラb,30b側で実行してもよい。
 ただし、比較処理を実行した装置は、比較処理を実行していない装置側に比較結果を通知する。
 図22は、車両とインフラ間の距離算出区間を、インフラに設定したマーカーと交差点付近に予め規定した位置、すなわち図に示すラインX,Yによって設定した例である。
 例えば図22に示すように、インフラa,30aはマーカーa,32aを有している。
 さらに、交差点にはラインX、ラインYが設定される。これらのラインは目視可能なラインとして道路上にペイントしてもよいが、目視できないラインとして設定してもよい。例えば、インフラa,30aは、予め道路上の各位置におけるラインXまでの距離データをメモリに保持する。
 例えば、車両A,10はインフラ30aが検出された時点から、継続的にインフラa,30aのマーカー32aまでの距離(自装置算出距離データD1)を算出して、タイムスタンプに対応付けてメモリに格納する。メモリには、ラインX通過時に算出した距離データ(自装置算出距離データD1)もタイムスタンプに対応付けられて格納される。
 一方、インフラa,30aは、車両A,10がラインXに到達した時点で、マーカーa,32aからラインX上の各車両位置までの距離データ(外部装置算出距離データD2)を算出して、車両A,10に、その距離算出タイミングを示すタイムスタンプとともに送信する。
 車両A,10は、インフラa,30aから受信した外部装置算出距離データD2と、この外部装置算出距離データD2とともに受信したタイムスタンプを取得し、このタイムスタンプと一致するタイムスタンプが対応付けられた自装置算出距離データD1をメモリから取得して比較する。
 すなわち、車両A,10のセンサ検証装置100は、2つの距離データ、自装置算出距離データD1と、外部装置算出距離データD2について、その差分が予め規定したしきい値(Th)未満であるか否かを判定する。
 |D1-D2|<Th
 上記判定式が成立するか否かを判定する。
 上記判定式が成立すると判定した場合は、車両Aが算出し、車両Aのセンサ検証装置100内のメモリに格納された自装置算出距離データD1が正しい距離データであり、車両Aのセンサ検証装置100のセンサ101やデータ処理部102の距離算出部111が正常に動作していると判断する。この場合、センサ101や距離算出パラメータ等の補正処理としてのキャリブレーション処理が不要であると判断する。
 一方、上記判定式が成立しないと判定した場合、すなわち、自装置算出距離データD1と、外部装置算出距離データD2について、その差分が予め規定したしきい値(Th)未満でないと判定した場合は、自装置算出距離データD1が誤った距離データであり、車両Aのセンサ検証装置100のセンサ101やデータ処理部102の距離算出部111が正常に動作していないと判断する。この場合、センサ101や距離算出パラメータ等の補正処理としてのキャリブレーション処理が必要であると判断し、キャリブレーション処理を実行する。
 図22に示す車両C,40もラインXに到達したポイントで、インフラa,30aと同様の処理を実行する。
 また、図22に示す車両B,20は、ラインYに到達したポイントで、インフラb,30bと同様の処理を実行する。
 このように、インフラ側のマーカーと、交差点に予め規定したラインを用いることで、距離算出ポイントが明確になり、より高精度な距離算出と算出距離の比較処理が実現される。
  [8.その他の実施例について]
 次に、その他の実施例について説明する。
 上述した実施例では車両や、信号機等のインフラ(道路設備)にセンサ検証装置を搭載した実施例について説明した。
 すなわち、先に図4を参照して説明した構成を持つセンサ検証装置を、車両や信号機等のインフラ(道路設備)に内蔵した構成とした場合の実施例について説明した。
 図4を参照して説明した構成を持つセンサ検証装置は車両やインフラ(道路設備)以外の様々な装置に装着することが可能である。
 図23を参照して具体例について説明する。
 図23には、(a)スマホ、(b)三眼カメラを示している。例えば、図4を参照して説明した構成を持つセンサ検証装置は、図23に示すスマホ410や、三眼カメラ420内に装着する構成としてもよい。
 図23に示すスマホ410は、IRセンサ411、RGBセンサ412、パターン光出力部413を有している。パターン光出力部413は、例えば格子状、あるいはストライプ上の光パターンを照射する。IRセンサ411、RGBセンサ412は、パターン光が照射された被写体を撮影する。
 IRセンサ411は赤外光画像を撮影し、RGBセンサ412はRGBカラー画像を撮影する。
 なお、パターン光出力部413は、画像撮影に利用するセンサによって赤外光、または可視光を選択的に出力する。
 IRセンサ411、RGBセンサ412の撮影画像が、例えば先に図4を参照して説明したセンサ検証装置100と同様の構成を持つスマホ410内のデータ処理部の距離算出部に入力され、距離算出部において被写体までの距離を算出する。
 さらに、図23に示す三眼カメラ420は視点の異なる3つの撮像部を有するカメラである。異なる3視点からの撮影画像を解析することで、2視点のステレオカメラより、高精度なオブジェクト距離の算出が可能となる。
 このような3つの視点以上のステレオカメラをセンサとして用いる構成としてもよい。
  [9.本開示のセンサ検証装置のハードウェア構成例について]
 次に、本開示のセンサ検証装置の具体的なハードウェア構成例について、図24を参照して説明する。
 図24は、先に図4を参照して説明した本開示のセンサ検証装置100のハードウェア構成の一例を示す図である。
 以下、図24に示すハードウェア構成の各構成要素について説明する。
 CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
 CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、カメラ等のセンサ、GPS等の状況データ取得部などよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続されている。
 なお、入力部506には、カメラ等のセンサ521からの入力情報も入力される。
 また、センサ検証装置が車両に搭載されている場合は、出力部507は車両の駆動部522に対する駆動情報も出力する。
 CPU501は、入力部506から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部507に出力する。
 入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
  [10.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) センサの検出値に基づいて、自装置と外部装置との装置間距離を自装置算出距離データD1として算出する距離算出部と、
 前記外部装置が算出した前記装置間距離を外部装置算出距離データD2として前記外部装置から受信する通信部と、
 前記自装置算出距離データD1と、前記外部装置算出距離データD2とを比較し、比較結果に基づいて前記センサが正しい距離値を計測可能な状態にあるか否かを判定するセンサ状態判定部、
 を有するセンサ検証装置。
 (2) 前記センサ状態判定部は、
 同一タイミングにおいて算出された前記自装置算出距離データD1と、前記外部装置算出距離データD2との差分を算出する(1)に記載のセンサ検証装置。
 (3) 前記センサ状態判定部は、
 前記自装置算出距離データD1、および前記外部装置算出距離データD2各々に対応付けられたタイムスタンプに基づいて同一タイミングの算出距離データを取得し、差分を算出する(2)に記載のセンサ検証装置。
 (4) 前記センサ状態判定部は、
 前記自装置算出距離データD1と、前記外部装置算出距離データD2との差分が規定しきい値未満であるか否かを判定し、
 規定しきい値未満である場合は、前記センサが正しい距離値を計測可能な状態にあると判定する(1)~(3)いずれかに記載のセンサ検証装置。
 (5) 前記センサ状態判定部は、
 前記自装置算出距離データD1と、前記外部装置算出距離データD2との差分が規定しきい値未満であるか否かを判定し、
 規定しきい値未満でない場合は、前記センサが正しい距離値を計測可能な状態にない可能性があると判定する(1)~(4)いずれかに記載のセンサ検証装置。
 (6) 前記センサ状態判定部は、
 前記自装置算出距離データD1と、前記外部装置算出距離データD2との差分が規定しきい値未満であるか否かを判定し、
 規定しきい値未満でない場合は、新たな外部装置との算出距離データ比較処理を実行し、自装置と外部装置との算出距離の差分が前記しきい値以上となった回数が予め規定した回数、連続した場合、
 前記センサが正しい距離値を計測可能な状態にないと判定する(1)~(5)いずれかに記載のセンサ検証装置。
 (7) 前記センサ検証装置は、車両に装着された装置であり、
 前記外部装置は外部車両、または道路設備としてのインフラのいずれかである(1)~(6)いずれかに記載のセンサ検証装置。
 (8) 前記距離算出部は、前記センサの検出値に基づいて、自車両と外部車両、またはインフラとの距離を自装置算出距離データD1として算出し、
 前記通信部は、外部車両、またはインフラが算出した外部装置算出距離データD2を、前記外部装置から受信する(7)に記載のセンサ検証装置。
 (9) 前記センサ状態判定部は、
 前記自装置算出距離データD1と、前記外部装置算出距離データD2との差分が規定しきい値未満であるか否かを判定し、
 規定しきい値未満でない場合は、
 前記外部装置が外部車両であるか、またはインフラであるかを判定し、
 前記外部装置がインフラである場合、
 前記センサが正しい距離値を計測可能な状態にないと判定する(7)または(8)に記載のセンサ検証装置。
 (10) 前記インフラは、管理サーバによって管理されたインフラであり、定期的なセンサのキャリブレーションが実行されているインフラである(9)に記載のセンサ検証装置。
 (11) 前記センサ状態判定部は、
 前記自装置算出距離データD1と、前記外部装置算出距離データD2との差分が規定しきい値未満であるか否かの判定結果を、前記通信部を介して前記外部装置に通知する(7)~(10)いずれかに記載のセンサ検証装置。
 (12) 前記センサ検証装置は、
 前記センサのキャリブレーション処理を実行するキャリブレーション実行部を有し、
 前記キャリブレーション実行部は、
 前記センサ状態判定部が、前記センサが正しい距離値を計測可能な状態にないと判定した場合、前記センサのキャリブレーション処理を実行する(1)~(11)いずれかに記載のセンサ検証装置。
 (13) 前記キャリブレーション実行部は、
 前記センサの内部パラメータ、および外部パラメータの少なくともいずれかを補正する処理を実行して、前記センサが正しい距離値を計測可能な状態にする(12)に記載のセンサ検証装置。
 (14) 前記センサは、ステレオカメラであり、
 前記キャリブレーション実行部は、
 メモリに格納されたステレオカメラの撮影画像と、正しい距離データを用いてキャリブレーション処理を実行する(12)または(13)に記載のセンサ検証装置。
 (15) 前記センサは、ステレオカメラであり、
 前記キャリブレーション実行部は、
 メモリに格納された視差と距離との対応データであるルックアップテーブルの補正処理を実行して、前記センサが正しい距離値を計測可能な状態にする(12)~(14)いずれかに記載のセンサ検証装置。
 (16) 前記センサは、
 ステレオカメラ、単眼カメラ、距離計測センサのいずれかである(1)~(15)いずれかに記載のセンサ検証装置。
 (17) 前記距離算出部は、
 前記外部装置に装着されたマーカーと自装置との距離を算出する(1)~(16)いずれかに記載のセンサ検証装置。
 (18) 自車両と外部装置によって構成されるセンサ検証システムであり、
 前記外部装置は、外部車両、またはインフラのいずれかであり、
 前記自車両は、
 センサの検出値に基づいて、前記自車両と前記外部装置との装置間距離を自装置算出距離データD1として算出する距離算出部と、
 前記外部装置が算出した前記装置間距離を外部装置算出距離データD2として前記外部装置から受信する通信部と、
 前記自装置算出距離データD1と、前記外部装置算出距離データD2とを比較し、比較結果に基づいて前記センサが正しい距離値を計測可能な状態にあるか否かを判定するとともに、前記比較結果を前記外部装置に通知するセンサ状態判定部、
 を有するセンサ検証システム。
 (19) センサ検証装置において実行するセンサ検証方法であり、
 距離算出部が、センサの検出値に基づいて、自装置と外部装置との装置間距離を自装置算出距離データD1として算出する距離算出ステップと、
 通信部が、前記外部装置が算出した前記装置間距離を外部装置算出距離データD2として前記外部装置から受信する通信ステップと、
 センサ状態判定部が、前記自装置算出距離データD1と、前記外部装置算出距離データD2とを比較し、比較結果に基づいて前記センサが正しい距離値を計測可能な状態にあるか否かを判定するセンサ状態判定ステップを実行するセンサ検証方法。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、センサが正常な距離を算出可能であるか否かを高頻度に検証して、高頻度なセンサキャリブレーションを可能とした装置、方法が実現される。
 具体的には、例えば、ステレオカメラ等のセンサの検出値に基づいて自車両と外部車両間距離、または自車両とインフラ間距離を自装置算出距離データD1として算出し、外部装置が算出した装置間距離を外部装置算出距離データD2として外部装置から受信し、自装置算出距離データD1と、外部装置算出距離データD2とを比較して、比較結果に基づいてセンサが正しい距離値を計測可能な状態にあるか否かを判定する。センサが正しい距離値を計測可能な状態にないと判定した場合、センサのキャリブレーション処理、または故障検出処理を実行する。
 本構成により、センサが正常な距離を算出可能であるか否かを高頻度に検証して、高頻度なセンサキャリブレーションを可能とした装置、方法が実現される。
  10,20,40 車両
  11,21,31 センサ
  30 インフラ
  32 マーカー
  50 管理サーバ
  51 通信ネットワーク
 100 センサ検証装置
 101 センサ
 102 データ処理部
 103 通信部
 104 メモリ
 105 位置情報取得部
 111 距離算出部
 112 センサ状態判定部
 113 キャリブレーション実行部
 114 位置解析部
 200 センサ検証装置
 201 センサ
 202 データ処理部
 203 通信部
 204 メモリ
 205 位置情報取得部
 300 センサ検証装置
 301 センサ
 302 データ処理部
 303 通信部
 304 メモリ
 410 スマホ
 411 IRセンサ
 412 RGBセンサ
 413 パターン光出力部
 420 3眼カメラ
 501 CPU
 502 ROM
 503 RAM
 504 バス
 505 入出力インタフェース
 506 入力部
 507 出力部
 508 記憶部
 509 通信部
 510 ドライブ
 511 リムーバブルメディア
 521 センサ
 522 駆動部

Claims (19)

  1.  センサの検出値に基づいて、自装置と外部装置との装置間距離を自装置算出距離データD1として算出する距離算出部と、
     前記外部装置が算出した前記装置間距離を外部装置算出距離データD2として前記外部装置から受信する通信部と、
     前記自装置算出距離データD1と、前記外部装置算出距離データD2とを比較し、比較結果に基づいて前記センサが正しい距離値を計測可能な状態にあるか否かを判定するセンサ状態判定部、
     を有するセンサ検証装置。
  2.  前記センサ状態判定部は、
     同一タイミングにおいて算出された前記自装置算出距離データD1と、前記外部装置算出距離データD2との差分を算出する請求項1に記載のセンサ検証装置。
  3.  前記センサ状態判定部は、
     前記自装置算出距離データD1、および前記外部装置算出距離データD2各々に対応付けられたタイムスタンプに基づいて同一タイミングの算出距離データを取得し、差分を算出する請求項2に記載のセンサ検証装置。
  4.  前記センサ状態判定部は、
     前記自装置算出距離データD1と、前記外部装置算出距離データD2との差分が規定しきい値未満であるか否かを判定し、
     規定しきい値未満である場合は、前記センサが正しい距離値を計測可能な状態にあると判定する請求項1に記載のセンサ検証装置。
  5.  前記センサ状態判定部は、
     前記自装置算出距離データD1と、前記外部装置算出距離データD2との差分が規定しきい値未満であるか否かを判定し、
     規定しきい値未満でない場合は、前記センサが正しい距離値を計測可能な状態にない可能性があると判定する請求項1に記載のセンサ検証装置。
  6.  前記センサ状態判定部は、
     前記自装置算出距離データD1と、前記外部装置算出距離データD2との差分が規定しきい値未満であるか否かを判定し、
     規定しきい値未満でない場合は、新たな外部装置との算出距離データ比較処理を実行し、自装置と外部装置との算出距離の差分が前記しきい値以上となった回数が予め規定した回数、連続した場合、
     前記センサが正しい距離値を計測可能な状態にないと判定する請求項1に記載のセンサ検証装置。
  7.  前記センサ検証装置は、車両に装着された装置であり、
     前記外部装置は外部車両、または道路設備としてのインフラのいずれかである請求項1に記載のセンサ検証装置。
  8.  前記距離算出部は、前記センサの検出値に基づいて、自車両と外部車両、またはインフラとの距離を自装置算出距離データD1として算出し、
     前記通信部は、外部車両、またはインフラが算出した外部装置算出距離データD2を、前記外部装置から受信する請求項7に記載のセンサ検証装置。
  9.  前記センサ状態判定部は、
     前記自装置算出距離データD1と、前記外部装置算出距離データD2との差分が規定しきい値未満であるか否かを判定し、
     規定しきい値未満でない場合は、
     前記外部装置が外部車両であるか、またはインフラであるかを判定し、
     前記外部装置がインフラである場合、
     前記センサが正しい距離値を計測可能な状態にないと判定する請求項7に記載のセンサ検証装置。
  10.  前記インフラは、管理サーバによって管理されたインフラであり、定期的なセンサのキャリブレーションが実行されているインフラである請求項9に記載のセンサ検証装置。
  11.  前記センサ状態判定部は、
     前記自装置算出距離データD1と、前記外部装置算出距離データD2との差分が規定しきい値未満であるか否かの判定結果を、前記通信部を介して前記外部装置に通知する請求項7に記載のセンサ検証装置。
  12.  前記センサ検証装置は、
     前記センサのキャリブレーション処理を実行するキャリブレーション実行部を有し、
     前記キャリブレーション実行部は、
     前記センサ状態判定部が、前記センサが正しい距離値を計測可能な状態にないと判定した場合、前記センサのキャリブレーション処理を実行する請求項1に記載のセンサ検証装置。
  13.  前記キャリブレーション実行部は、
     前記センサの内部パラメータ、および外部パラメータの少なくともいずれかを補正する処理を実行して、前記センサが正しい距離値を計測可能な状態にする請求項12に記載のセンサ検証装置。
  14.  前記センサは、ステレオカメラであり、
     前記キャリブレーション実行部は、
     メモリに格納されたステレオカメラの撮影画像と、正しい距離データを用いてキャリブレーション処理を実行する請求項12に記載のセンサ検証装置。
  15.  前記センサは、ステレオカメラであり、
     前記キャリブレーション実行部は、
     メモリに格納された視差と距離との対応データであるルックアップテーブルの補正処理を実行して、前記センサが正しい距離値を計測可能な状態にする請求項12に記載のセンサ検証装置。
  16.  前記センサは、
     ステレオカメラ、単眼カメラ、距離計測センサのいずれかである請求項1に記載のセンサ検証装置。
  17.  前記距離算出部は、
     前記外部装置に装着されたマーカーと自装置との距離を算出する請求項1に記載のセンサ検証装置。
  18.  自車両と外部装置によって構成されるセンサ検証システムであり、
     前記外部装置は、外部車両、またはインフラのいずれかであり、
     前記自車両は、
     センサの検出値に基づいて、前記自車両と前記外部装置との装置間距離を自装置算出距離データD1として算出する距離算出部と、
     前記外部装置が算出した前記装置間距離を外部装置算出距離データD2として前記外部装置から受信する通信部と、
     前記自装置算出距離データD1と、前記外部装置算出距離データD2とを比較し、比較結果に基づいて前記センサが正しい距離値を計測可能な状態にあるか否かを判定するとともに、前記比較結果を前記外部装置に通知するセンサ状態判定部、
     を有するセンサ検証システム。
  19.  センサ検証装置において実行するセンサ検証方法であり、
     距離算出部が、センサの検出値に基づいて、自装置と外部装置との装置間距離を自装置算出距離データD1として算出する距離算出ステップと、
     通信部が、前記外部装置が算出した前記装置間距離を外部装置算出距離データD2として前記外部装置から受信する通信ステップと、
     センサ状態判定部が、前記自装置算出距離データD1と、前記外部装置算出距離データD2とを比較し、比較結果に基づいて前記センサが正しい距離値を計測可能な状態にあるか否かを判定するセンサ状態判定ステップを実行するセンサ検証方法。
PCT/JP2022/038179 2021-11-17 2022-10-13 センサ検証装置、およびセンサ検証システム、並びにセンサ検証方法 WO2023090000A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280074904.1A CN118235012A (zh) 2021-11-17 2022-10-13 传感器验证装置、传感器验证系统及传感器验证方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021186811 2021-11-17
JP2021-186811 2021-11-17

Publications (1)

Publication Number Publication Date
WO2023090000A1 true WO2023090000A1 (ja) 2023-05-25

Family

ID=86396590

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/038179 WO2023090000A1 (ja) 2021-11-17 2022-10-13 センサ検証装置、およびセンサ検証システム、並びにセンサ検証方法

Country Status (2)

Country Link
CN (1) CN118235012A (ja)
WO (1) WO2023090000A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020042013A (ja) * 2018-09-12 2020-03-19 百度在線網絡技術(北京)有限公司 レーザレーダシステムに基づく距離測定方法、レーザレーダシステムに基づく距離測定装置及びコンピュータ読み取り可能な記憶媒体
JP2021062766A (ja) * 2019-10-15 2021-04-22 株式会社日立製作所 センサ健全性確認システム及び鉄道車両
JP2021099707A (ja) * 2019-12-23 2021-07-01 株式会社東芝 カメラ自動検査システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020042013A (ja) * 2018-09-12 2020-03-19 百度在線網絡技術(北京)有限公司 レーザレーダシステムに基づく距離測定方法、レーザレーダシステムに基づく距離測定装置及びコンピュータ読み取り可能な記憶媒体
JP2021062766A (ja) * 2019-10-15 2021-04-22 株式会社日立製作所 センサ健全性確認システム及び鉄道車両
JP2021099707A (ja) * 2019-12-23 2021-07-01 株式会社東芝 カメラ自動検査システム

Also Published As

Publication number Publication date
CN118235012A (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
US6999896B2 (en) Identical object determination method and apparatus and displacement correction method and apparatus
US20190056484A1 (en) Calibration for an autonomous vehicle lidar module
US20190056483A1 (en) Calibration for an autonomous vehicle lidar module
KR102008263B1 (ko) 융복합형 검지기 및 이를 이용한 교통 단속시스템
KR101490819B1 (ko) 차량용 레이더의 수평 정렬 보정 방법 및 보정 장치
CN105157608A (zh) 一种超限车辆的检测方法、装置及系统
KR101915363B1 (ko) Gps 음영 지역에서 차량을 측위하는 장치 및 그 방법
KR20120130199A (ko) 통행 속도와 차량 좌표를 결정한 후 이를 판별하고 도로교통법 위반을 자동으로 기록하는 방법 및 장치
KR20200064873A (ko) 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법
US10163341B2 (en) Double stereoscopic sensor
US12025463B2 (en) Server, vehicle, distributed transaction verification system, and distributed transaction verification method
CN102736084A (zh) 使用两个调制光源的用于对象检测系统的方法和设备
CN111105465B (zh) 一种摄像装置校准方法、装置、系统电子设备及存储介质
KR20200052751A (ko) 차량용 측위 장치 및 그의 측위 방법과 그를 포함하는 차량
WO2017094060A1 (ja) 通信制御装置、料金収受システム、通信制御方法及びプログラム
CN111784730A (zh) 一种对象跟踪方法、装置、电子设备及存储介质
WO2017094067A1 (ja) 通信領域規定方法、料金収受システム及びプログラム
WO2017094055A1 (ja) 料金収受システム、位置測定方法及びプログラム
WO2023090000A1 (ja) センサ検証装置、およびセンサ検証システム、並びにセンサ検証方法
US11831404B2 (en) Method for ascertaining signal propagation times, and system for fusing sensor data from at least two sensors for an object detection
CN112699700B (zh) 一种基于射频技术的智能机器人定位系统及方法
EP3273408B1 (en) Device and method for determining a distance to a vehicle
CN112710346B (zh) 用于同步至少两个传感器-系统的方法
CN116012405A (zh) 一种轨迹拼接方法、轨迹拼接装置及电子设备
JP2022500737A (ja) センサの画像区間の選択方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22895286

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280074904.1

Country of ref document: CN