WO2021140811A1 - センサエイミング装置、運転制御システム、及び補正量の推定方法 - Google Patents

センサエイミング装置、運転制御システム、及び補正量の推定方法 Download PDF

Info

Publication number
WO2021140811A1
WO2021140811A1 PCT/JP2020/045574 JP2020045574W WO2021140811A1 WO 2021140811 A1 WO2021140811 A1 WO 2021140811A1 JP 2020045574 W JP2020045574 W JP 2020045574W WO 2021140811 A1 WO2021140811 A1 WO 2021140811A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
sensor
information
positional relationship
correction amount
Prior art date
Application number
PCT/JP2020/045574
Other languages
English (en)
French (fr)
Inventor
俊輔 松尾
門司　竜彦
栗山　哲
晴輝 西村
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to CN202080088408.2A priority Critical patent/CN114829967A/zh
Priority to DE112020005320.2T priority patent/DE112020005320T5/de
Priority to JP2021569777A priority patent/JP7356517B2/ja
Priority to US17/790,008 priority patent/US20230044311A1/en
Publication of WO2021140811A1 publication Critical patent/WO2021140811A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023—Avoiding failures by using redundant parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G01S7/403—Antenna boresight in azimuth, i.e. in the horizontal plane
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4052—Means for monitoring or calibrating by simulation of echoes
    • G01S7/4082—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
    • G01S7/4091—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder during normal radar operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an in-vehicle control device, and more particularly to a sensor aiming device that corrects sensor data.
  • Driving support to achieve various purposes such as reducing traffic accidents, reducing the load on drivers, improving fuel efficiency to reduce the burden on the global environment, and providing transportation for vulnerable people to realize a sustainable society.
  • Systems and autonomous driving systems are being developed.
  • a plurality of vehicle peripheral monitoring sensors are provided in order to monitor the vehicle peripherals instead of the driver. Further, in order to guarantee the safety of these systems, a function of correcting even if the mounting angle of the vehicle peripheral monitoring sensor deviates is required.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2016-06759
  • image processing is performed on a first object detected by an electromagnetic wave sensor that detects the position of an object by transmitting and receiving electromagnetic waves, and an captured image.
  • the second object detected by the image sensor that detects the position of the object is the same object, and it is determined that the first object and the second object are the same object.
  • a shaft shift amount estimation device that calculates the angle formed by the first line segment connecting its own position and the first object and the second line segment connecting its own position and the second object as the shaft shift amount is described. (See summary).
  • Patent Document 2 Japanese Unexamined Patent Publication No. 2004-317507
  • the waveform of the reception intensity with respect to the scanning direction position has an inverted W shape, and the amount of axial deviation can be quantitatively calculated in each direction from this waveform.
  • the axis deviation including the roll direction of the radar is adjusted by using the adjustment target in which the light / dark pattern and the outer shape of the detection surface are set.
  • the fusion method after adjusting the radar axis, an image of the same adjustment target is imaged, and the axis of the camera is adjusted with respect to the radar based on the coordinate values on the image plane of a plurality of feature points in this image.
  • the axis adjustment method is described (see summary).
  • Patent Document 1 it is determined whether or not the object detected by the radio wave sensor and the object detected by the image sensor are the same object, and when it is determined that they are the same object, the amount of misalignment However, when the detected objects are not the same object, the calculation of the amount of misalignment is not performed. In addition, there is a problem that the detection points vary and the detection points differ among a plurality of sensors regardless of the width of the detected object. Further, in Patent Document 2, after adjusting the axis deviation using the detection information of the target by the radar alone, the axis deviation is adjusted by using the imaging of the target with the camera, but finally the axis deviation of the sensor is adjusted. There is a problem that the correction must be physically performed by human work or by using an axis adjusting device.
  • a typical example of the invention disclosed in the present application is as follows. That is, it is a sensor aiming device in which the observation result of the first target by the first sensor and the observation result of the second target by the second sensor are input, and the first target and the second target are input.
  • the target positional relationship processing unit that outputs the positional relationship information of the target, the observation result of the first target, and the observation result of the second target are converted into a predetermined unified coordinate system according to the coordinate conversion parameters, and predetermined.
  • the sensor observation information processing unit that synchronizes the time with the timing of the above and extracts the first target information representing the position of the first target and the second target information representing the position of the second target, and the first target.
  • a position estimation unit that estimates the position of the second target using information, the second target information, and the positional relationship information, and the second target information and the estimated position of the second target are used.
  • a sensor correction amount estimation unit that calculates a deviation amount of the second sensor and estimates a correction amount is provided, and the coordinate conversion parameter is changed based on the correction amount.
  • the axis deviation of the sensor can be corrected. Issues, configurations and effects other than those mentioned above will be clarified by the description of the following examples.
  • FIG. 1 It is a functional block diagram of the sensor fusion apparatus which has the sensor aiming function of Example 1.
  • FIG. It is a conceptual diagram which shows the processing method of the sensor fusion apparatus which has the sensor aiming function of Example 1.
  • FIG. It is a conceptual diagram which shows the processing method of the sensor fusion apparatus which has the sensor aiming function of Example 1.
  • FIG. It is a conceptual diagram which shows the processing method of the sensor fusion apparatus which has the sensor aiming function of Example 1.
  • FIG. It is a figure which shows the example of the sensor aiming process using the road structure in Example 1.
  • FIG. It is a figure which shows the example of the sensor aiming process using the road structure in Example 1.
  • FIG. It is a figure which shows the example of the sensor aiming process using the road structure in Example 1.
  • FIG. It is a figure which shows the example of the sensor aiming process using the road structure in Example 1.
  • FIG. 1 It is a figure which shows the example of the sensor aiming process using the road structure in Example 1.
  • FIG. 2 It is a figure which shows the example of the sensor aiming process using the road structure in Example 1.
  • FIG. It is a functional block diagram of the sensor fusion apparatus which has the sensor aiming function of Example 2.
  • FIG. It is a functional block diagram of the sensor fusion apparatus which has the sensor aiming function of Example 3.
  • FIG. It is a functional block diagram of the sensor fusion apparatus which has the sensor aiming function of Example 4.
  • FIG. 1 is a functional block diagram showing an embodiment of a sensor fusion device 1 having a sensor aiming function.
  • the sensor fusion device 1 of this embodiment includes a sensor observation information processing unit 100, a target positional relationship processing unit 110, a target positional relationship information storage unit 120, a position estimation unit 130, and a data integration unit 200.
  • the sensor aiming function is configured by each part other than the data integration unit 200 of the sensor fusion device 1, and the sensor aiming device is realized by each part other than the data integration unit 200. Further, the output signals of the first vehicle peripheral monitoring sensor 10a, the second vehicle peripheral monitoring sensor 10b, and the own vehicle behavior detection sensor 20 are input to the sensor fusion device 1.
  • the first and second vehicle peripheral monitoring sensors 10a and 10b are sensors that detect road structures (marking or road markings) around the own vehicle 800.
  • the first and second vehicle peripheral monitoring sensors 10a and 10b include a millimeter-wave radar, a camera (visible light, near-infrared, mid-infrared, far-infrared camera), LiDAR (Light Detection and Ringing), and sonar. , TOF (Time of Light) sensor or a sensor combining them, and the like are included.
  • the own vehicle behavior detection sensor 20 is a group of sensors that detect the speed, yaw rate, and steering angle of the own vehicle 800. Examples include a wheel speed sensor, a steering angle sensor, and the like.
  • the sensor fusion device 1 (electronic control device) and various sensors (first vehicle peripheral monitoring sensor 10a, second vehicle peripheral monitoring sensor 10b, etc.) of this embodiment are computers including an arithmetic unit, a memory, and an input / output device (the first vehicle peripheral monitoring sensor 10a, the second vehicle peripheral monitoring sensor 10b, etc.). Microcomputer) is included.
  • the arithmetic unit includes a processor and executes a program stored in memory. A part of the processing performed by the arithmetic unit by executing the program may be executed by another arithmetic unit (for example, hardware such as FPGA (Field Programmable Gate Array) or ASIC (Application Specific Integrated Circuit)).
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the memory includes ROM and RAM which are non-volatile storage elements.
  • the ROM stores an invariant program (for example, BIOS) and the like.
  • RAM is a high-speed and volatile storage element such as DRAM (Dynamic Random Access Memory) and a non-volatile storage element such as SRAM (Static Random Access Memory). Stores data that is sometimes used.
  • the input / output device is an interface that externally transmits the processing contents by the electronic control device or sensor and receives data from the outside according to a predetermined protocol.
  • the program executed by the arithmetic unit is stored in the non-volatile memory which is a non-temporary storage medium of the electronic control unit and the sensor.
  • the target positional relationship information storage unit 120 is a stationary object marker (for example, a guardrail support and beam, a road sign, a road marking such as a white line, a soundproof wall, and a road stud (chatter bar, cat's eye)) which is a target in the process described later. , Bot's dot, etc.)) position information is recorded.
  • a stationary object marker for example, a guardrail support and beam, a road sign, a road marking such as a white line, a soundproof wall, and a road stud (chatter bar, cat's eye)
  • the target type is also recorded in association with the position information.
  • the target type is a classification of a target indicating what the target is, and an arrangement state of detection points (one detection point, a constant arrangement pattern, etc.).
  • the own vehicle 800 is traveling at a speed of 0 or more in the direction of the own vehicle traveling path (that is, the own vehicle 800 may be running or stopped).
  • a first vehicle peripheral monitoring sensor 10a and a second vehicle peripheral monitoring sensor 10b are attached to the own vehicle 800.
  • the first target 300 is a target that can be detected with high accuracy by the first vehicle peripheral monitoring sensor 10a
  • the second target 400 is a target that can be detected with high accuracy by the second vehicle peripheral monitoring sensor 10b. Is.
  • the targets 300 and 400 are stationary targets whose positions are recorded in the target positional relationship information storage unit 120, and the non-targets 390 and 490 are target positions. It is a stationary object or a moving body whose position is not recorded in the relational information storage unit 120.
  • the second vehicle peripheral monitoring sensor 10b is attached to the own vehicle 800 with the second vehicle peripheral monitoring sensor 10b displaced horizontally by an angle ⁇ 1, and the first vehicle peripheral monitoring sensor 10a is attached.
  • the first target 300 and the first non-target 390, which are one detection point, are detected, and the second vehicle peripheral monitoring sensor 10b detects the second target 400 and the second non-target 490, which are one detection point.
  • FIG. 2A shows the sensor information before target extraction
  • FIG. 2B shows the position information of the extracted target
  • FIG. 2C shows the position information of the target after offset elimination.
  • the second target 400 and the second non-target 490 represented by solid lines indicate the positions observed by the second vehicle peripheral monitoring sensor 10b, and the second target 400 and the second target 400 represented by broken lines.
  • Non-target 490 indicates the true position.
  • the first vehicle peripheral monitoring sensor 10a detects the first target 300 and the first non-target 390, and at least the first target 300 and the first non-target 390.
  • the coordinates relative to the own vehicle 800 are output.
  • the second vehicle peripheral monitoring sensor 10b detects the second target 400 and the second non-target 490, and outputs the coordinates of the second target 400 and the second non-target 490 at least relative to the own vehicle 800. To do. If each target and non-target is a moving object, the absolute velocity should also be output.
  • the target positional relationship processing unit 110 generates a relative positional relationship between the first target 300 and the second target 400. Specifically, the target positional relationship information storage unit 120 receives the position information and target type of the first target 300 and the position information and target type of the second target 400 as inputs, and receives the first target 300 and the second target 300 and the second target type. It is converted into a relative positional relationship with the target 400. Further, the target positional relationship processing unit 110 outputs a predetermined axis deviation allowable range for each vehicle peripheral monitoring sensor 10 to the sensor observation information processing unit 100. Further, the target positional relationship processing unit 110 outputs the relative positional relationship between the first target 300 and the second target 400, the type of the first target 300, and the type of the second target 400 to the position estimation unit 130. To do.
  • the relative positional relationship is the unified relative coordinates of the second target 400 starting from the first target 300, or the unified relative coordinates of the first target 300 starting from the second target 400. It is calculated based on the coordinates of the targets 300 and 400 whose positions are recorded in the target position relationship information storage unit 120.
  • the unified relative coordinates are a coordinate system in which the coordinates to which the data output by the plurality of vehicle peripheral monitoring sensors 10a and 10b conform are collected.
  • the starting point is the center of the front end of the own vehicle 800.
  • the x-axis is defined in the front direction of the own vehicle 800, and the y-axis is defined in the left direction of the own vehicle 800.
  • the sensor observation information processing unit 100 mainly performs coordinate conversion of input sensor data, time synchronization of detection results between sensors, and target determination.
  • the coordinate conversion unit 100a of the sensor data is the relative coordinates of the first target 300 and the own vehicle 800, the relative coordinates of the first non-target 390 and the own vehicle 800, and the relative coordinates of the second target 400 and the own vehicle 800.
  • the coordinates and the relative coordinates of the second non-target 490 and the own vehicle 800 are converted into the unified relative coordinates with the own vehicle 800 by using the coordinate conversion parameters.
  • the speed, yaw rate, and steering angle detection results of the own vehicle 800 by the own vehicle behavior detection sensor 20 are input to the time synchronization unit 100b that synchronizes the detection times between the sensors.
  • the time synchronization unit 100b uses the input speed, yaw rate, and steering angle detection results of the own vehicle 800 to obtain the unified relative coordinates of the first target 300, the unified relative coordinates of the first non-target 390, and the second.
  • the unified relative coordinates of the target 400 and the unified relative coordinates of the second non-target 490 are corrected to the unified relative coordinates at a predetermined timing, and the time of the detection result of each sensor is synchronized.
  • the unified relative coordinates of the non-target 490 are output to the data integration unit 200 and the target determination unit 100c. If the target and non-target are mobiles, the absolute velocity should also be output.
  • the target determination unit 100c determines the target. Specifically, the target determination unit 100c has unified relative coordinates of the first target 300 time-synchronized from the time synchronization unit 100b, unified relative coordinates of the first non-target 390 time-synchronized, and time-synchronized first. The unified relative coordinates of the second target 400, the unified relative coordinates of the second non-target 490 time-synchronized, and the axis shift tolerance are received as inputs. The target determination unit 100c extracts the first target 300 and the second target 400 based on the axial deviation allowable range of the vehicle peripheral monitoring sensor 10a and the vehicle peripheral monitoring sensor 10b, and the unified relative coordinates of the first target 300. And the unified relative coordinates of the second target 400 are output to the position estimation unit 130 (see FIG. 2B).
  • the sensor observation information processing unit 100 has a unified relative coordinate and absolute velocity of the time-synchronized first target 300, a unified relative coordinate and absolute velocity of the time-synchronized first non-target 390, and a time-synchronized first.
  • the unified relative coordinates and absolute velocity of the target 400 of 2 and the unified relative coordinates and absolute velocity of the second non-target 490 time-synchronized are output to the data integration unit 200. Further, the sensor observation information processing unit 100 outputs the unified relative coordinates of the second target 400 to the correction value estimation unit 140.
  • the data integration unit 200 integrates all the input information and outputs the integration result to the operation control device 2.
  • the driving control device 2 is an automatic driving system (AD-ECU) or a driving support system that controls the driving of a vehicle by using the output from the sensor fusion device 1.
  • the position estimation unit 130 estimates the true unified relative coordinates of the second target 400. Specifically, the position estimation unit 130 includes the relative positional relationship between the first target 300 and the second target 400, the type of the first target 300, the type of the second target 400, and the first target 300. The unified relative coordinates of the second target 400 and the unified relative coordinates of the second target 400 are input. The position estimation unit 130 uses the relative positional relationship between the first target 300 and the second target 400 (the position is recorded in the target positional relationship information storage unit 120) acquired from the target positional relationship processing unit 110. , The offset between the x-axis (vertical) direction and the y-axis (horizontal) position of the first target 300 and the second target 400 is erased (see FIG. 2C).
  • the position of the first target 300 after the offset is erased becomes the true position of the second target 400.
  • the unified relative coordinates of the first target 300, the type of the first target 300, the unified relative coordinates of the second target 400, and the type of the second target 400 after offset elimination are output to the correction amount estimation unit 140. To.
  • the correction amount estimation unit 140 estimates the deviation amount and calculates the correction amount.
  • the deviation amount estimation unit 140a includes the unified relative coordinates of the first target 300 after offset elimination, the type of the first target 300, the unified relative coordinates of the second target 400, and the second target 400.
  • the type of the first target 300 and the unified relative coordinates of the mounting position of the first vehicle peripheral monitoring sensor 10a and the unified relative coordinates of the mounting position of the second vehicle peripheral monitoring sensor 10b are used.
  • the amount of misalignment of the second vehicle peripheral monitoring sensor 10b is calculated by using the calculation method according to the type of the second target 400.
  • the correction amount calculation unit 140b calculates the sensor coordinate conversion correction value based on the axis deviation amount of the second vehicle peripheral monitoring sensor 10b calculated by the deviation amount estimation unit 140a, and outputs the sensor coordinate conversion correction value to the sensor observation information processing unit 100. To do.
  • the sensor observation information processing unit 100 changes the coordinate conversion parameters based on the sensor coordinate conversion correction value received from the correction amount estimation unit 140.
  • the correction amount estimation unit 140 may calculate the coordinate conversion parameters and output the changed coordinate conversion parameters to the sensor observation information processing unit 100.
  • the second vehicle peripheral monitoring sensor 10b is attached to the own vehicle 800 with the second vehicle peripheral monitoring sensor 10b displaced horizontally by an angle ⁇ 1, and the first vehicle peripheral monitoring sensor 10a is attached.
  • the first targets 300, 310, 320 and the first non-target 390, which are detection points having a constant arrangement pattern, are detected, and the second vehicle peripheral monitoring sensor 10b is a second target 400, which is one detection point.
  • FIG. 3A shows the sensor information before target extraction
  • FIG. 3B shows the position information of the extracted target
  • FIG. 3C shows the position information of the target after offset elimination.
  • the second target 400 and the second non-target 490 represented by solid lines indicate the positions observed by the second vehicle peripheral monitoring sensor 10b
  • Non-target 490 indicates the true position.
  • the first vehicle peripheral monitoring sensor 10a detects the first targets 300 to 320 and the first non-target 390, and detects the first targets 300 to 320 and the first non-target.
  • the coordinates of the target 390 at least relative to the own vehicle 800 are output.
  • the second vehicle peripheral monitoring sensor 10b detects the second target 400 and the second non-target 490, and outputs the coordinates of the second target 400 and the second non-target 490 at least relative to the own vehicle 800.
  • the first targets 300 to 320 are components of a road structure having a periodic arrangement pattern at intervals of several meters or less. Further, when each target and non-target are moving bodies, the absolute velocity may also be output.
  • the target positional relationship processing unit 110 generates a relative positional relationship between the first targets 300 to 320 and the second target. Specifically, the target positional relationship information storage unit 120 receives the position information and target type of the first targets 300 to 320 and the position information and target type of the second target 400 as inputs, and receives the first targets 300 to 320 as inputs. And the relative positional relationship of the second target 400. The axis deviation allowable range is output to the sensor observation information processing unit 100. Further, the relative positional relationship between the first road structure 500 having a specific arrangement pattern composed of the first targets 300 to 320 and the second target 400, the types of the first targets 300 to 320, and the first. The type of the target 400 of 2 is output to the position estimation unit 130.
  • the sensor observation information processing unit 100 mainly performs coordinate conversion of input sensor data, time synchronization of detection results between sensors, and target determination.
  • the coordinate conversion unit 100a of the sensor data includes the relative coordinates of the first targets 300 to 320 and the own vehicle 800, the relative coordinates of the first non-target 390 and the own vehicle 800, and the second target 400 and the own vehicle 800. And the relative coordinates of the second non-target 490 and the own vehicle 800 are converted into the unified relative coordinates with the own vehicle 800 by using the coordinate conversion parameters.
  • the speed, yaw rate, and steering angle detection results of the own vehicle 800 by the own vehicle behavior detection sensor 20 are input to the time synchronization unit 100b that synchronizes the detection times between the sensors.
  • the time synchronization unit 100b uses the input speed, yaw rate, and steering angle detection results of the own vehicle 800 to obtain the unified relative coordinates of the first targets 300 to 320, the unified relative coordinates of the first non-target 390, and the first non-target 390.
  • the unified relative coordinates of the target 400 of 2 and the unified relative coordinates of the second non-target 490 are corrected to the unified relative coordinates at a predetermined timing, and the time of the detection result of each sensor is synchronized.
  • the unified relative coordinates of the second non-target 490 are output to the data integration unit 200 and the target determination unit 100c. If the target and non-target are mobiles, the absolute velocity should also be output.
  • the target determination unit 100c determines the target. Specifically, the target determination unit 100c has unified relative coordinates of the first targets 300 to 320 time-synchronized from the time synchronization unit 100b, unified relative coordinates of the first non-target 390 time-synchronized, and time-synchronized. It also receives the unified relative coordinates of the second target 400, the unified relative coordinates of the time-synchronized second non-target 490, and the axis shift tolerance as inputs. The target determination unit 100c extracts the first target 300 to 320 and the second target 400 based on the axial deviation allowable range of the vehicle peripheral monitoring sensor 10a and the vehicle peripheral monitoring sensor 10b, and the first target 300 to 320. The unified relative coordinates of the above and the unified relative coordinates of the second target 400 are output to the position estimation unit 130 (see FIG. 3B).
  • the sensor observation information processing unit 100 is time-synchronized with the unified relative coordinates and absolute velocity of the time-synchronized first targets 300 to 320, the unified relative coordinates and absolute velocity of the time-synchronized first non-target 390, and time-synchronized.
  • the unified relative coordinates and absolute velocity of the second target 400 and the unified relative coordinates and absolute velocity of the second non-target 490 time-synchronized are output to the data integration unit 200. Further, the sensor observation information processing unit 100 outputs the unified relative coordinates of the second target 400 to the correction value estimation unit 140.
  • the position estimation unit 130 estimates the true lateral position of the second target 400. Specifically, in the position estimation unit 130, the relative positional relationship between the first targets 300 to 320 and the second target 400, the types of the first targets 300 to 320, the types of the second target 400, and the first The unified relative coordinates of the targets 300 to 320 and the unified relative coordinates of the second target 400 are input.
  • the position estimation unit 130 is the own vehicle 800 of the first road structure 500 having a specific arrangement pattern composed of the first targets 300 to 320 based on the unified relative coordinates of the first targets 300 to 320 and the target type. Calculate the horizontal position in the unified coordinate system as seen from.
  • the offsets in the x-axis (vertical) direction and the y (horizontal) direction of the first target 300 and the first road structure 500 are eliminated (see FIG. 3C).
  • the lateral position of the first road structure 500 after the offset elimination becomes the true lateral position of the second target 400.
  • the horizontal position in the unified relative coordinates of the first road structure 500 after offset elimination, the types of the first targets 300 to 320, the unified relative coordinates of the second target 400, and the type of the second target 400 are corrected. It is output to the quantity estimation unit 140.
  • the correction amount estimation unit 140 estimates the deviation amount and calculates the correction amount.
  • the deviation amount estimation unit 140a includes the unified relative coordinates of the first target 300 after offset elimination, the types of the first targets 300 to 320, the unified relative coordinates of the first road structure 500, and the first.
  • the first target receives the type of the target 400 of 2 as an input, and uses the unified relative coordinates of the mounting position of the first vehicle peripheral monitoring sensor 10a and the unified relative coordinates of the mounting position of the second vehicle peripheral monitoring sensor 10b.
  • the amount of misalignment of the second vehicle peripheral monitoring sensor 10b is calculated by using the calculation method according to the types of 300 to 320 and the type of the second target 400.
  • the correction amount calculation unit 140b calculates the sensor coordinate conversion correction value based on the axis deviation amount of the second vehicle peripheral monitoring sensor 10b calculated by the deviation amount estimation unit 140a, and outputs the sensor coordinate conversion correction value to the sensor observation information processing unit 100. To do.
  • the second vehicle peripheral monitoring sensor 10b is attached to the own vehicle 800 with the second vehicle peripheral monitoring sensor 10b displaced horizontally by an angle ⁇ 1, and the first vehicle peripheral monitoring sensor 10a is attached.
  • the first targets 300, 310, 320, which are detection points having a constant arrangement pattern, are detected, and the second vehicle peripheral monitoring sensor 10b detects the second targets 400, 410, 320, which are detection points having a constant arrangement pattern.
  • FIG. 4A shows the sensor information before target extraction
  • FIG. 4B shows the position information of the extracted target
  • FIG. 4C shows the position information of the target after offset elimination.
  • the second target 400 and the second non-target 490 represented by solid lines indicate the positions observed by the second vehicle peripheral monitoring sensor 10b, and the second target 400 and the second target 400 represented by broken lines.
  • Non-target 490 indicates the true position.
  • the first vehicle peripheral monitoring sensor 10a detects the first targets 300 to 320 and the first non-target 390, and detects the first targets 300 to 320 and the first non-target.
  • the coordinates of the target 390 at least relative to the own vehicle 800 are output.
  • the second vehicle peripheral monitoring sensor 10b detects the second targets 400 to 420 and the second non-target 490, and the second target 400 to 420 and the second non-target 490 at least the own vehicle 800.
  • the first targets 300 to 320 are components of a road structure having a periodic arrangement pattern at intervals of several meters or less.
  • the second targets 400 to 420 are components of a road structure having a periodic arrangement pattern at intervals of several meters or less. Further, when each target and non-target are moving bodies, the absolute velocity may also be output.
  • the target positional relationship processing unit 110 has a specific arrangement pattern composed of the first road structure 500 having a specific arrangement pattern composed of the first targets 300 to 320 and the second targets 400 to 420.
  • a relative positional relationship with the second road structure 600 is generated.
  • the target positional relationship information storage unit 120 receives the position information and target types of the first targets 300 to 320 and the position information and target types of the second targets 400 to 420 as inputs, and receives the first road structure. It is converted into a relative positional relationship between the object 500 and the second road structure 600.
  • the axis deviation allowable range is output to the sensor observation information processing unit 100.
  • the target positional relationship processing unit 110 determines the relative positional relationship between the first road structure 500 and the second road structure 600, the types of the first targets 300 to 320, and the types of the second targets 400 to 420. Is output to the position estimation unit 130.
  • the sensor observation information processing unit 100 mainly performs coordinate conversion of input sensor data, time synchronization of detection results between sensors, and target determination.
  • the coordinate conversion unit 100a converts the coordinates of the sensor data. Specifically, the coordinate conversion unit 100a includes the relative coordinates of the first target 300 to 320 and the own vehicle 800, the relative coordinates of the first non-target 390 with the own vehicle 800, and the second targets 400 to 420. The relative coordinates with the own vehicle 800 and the relative coordinates between the second non-target 490 and the own vehicle 800 are converted into unified relative coordinates with the own vehicle 800 using the coordinate conversion parameters.
  • the time synchronization unit 100b synchronizes the time between the sensor data detected at different times. Specifically, the detection result of the speed, yaw rate, and steering angle of the own vehicle 800 by the own vehicle behavior detection sensor 20 is input to the time synchronization unit 100b. The time synchronization unit 100b uses the input speed, yaw rate, and steering angle detection results of the own vehicle 800 to obtain the unified relative coordinates of the first targets 300 to 320, the unified relative coordinates of the first non-target 390, and the first non-target 390.
  • the unified relative coordinates of the two targets 400 to 420 and the unified relative coordinates of the second non-target 490 are corrected to the unified relative coordinates at a predetermined timing, and the time of the detection result of each sensor is synchronized.
  • the unified relative coordinates of the second non-target 490 are output to the data integration unit 200 and the target determination unit 100c. If the target and non-target are mobiles, the absolute velocity should also be output.
  • the target determination unit 100c determines the target. Specifically, the target determination unit 100c has unified relative coordinates of the first targets 300 to 320 time-synchronized from the time synchronization unit 100b, unified relative coordinates of the first non-target 390 time-synchronized, and time-synchronized. It also receives the unified relative coordinates of the second targets 400 to 420, the unified relative coordinates of the second non-target 490 time-synchronized, and the axis shift tolerance as inputs. The target determination unit 100c extracts the first targets 300 to 320 and the second targets 400 to 420 based on the axial deviation allowable range of the vehicle peripheral monitoring sensor 10a and the vehicle peripheral monitoring sensor 10b, and extracts the first target 300. The unified relative coordinates of up to 320 and the unified relative coordinates of the second targets 400 to 420 are output to the position estimation unit 130 (see FIG. 4B).
  • the sensor observation information processing unit 100 is time-synchronized with the unified relative coordinates and absolute velocity of the time-synchronized first targets 300 to 320, the unified relative coordinates and absolute velocity of the time-synchronized first non-target 390, and time-synchronized.
  • the unified relative coordinates and absolute velocity of the second targets 400 to 420 and the unified relative coordinates and absolute velocity of the second non-target 490 time-synchronized are output to the data integration unit 200.
  • the sensor observation information processing unit 100 outputs the unified relative coordinates of the second targets 400 to 420 to the correction value estimation unit 140.
  • the position estimation unit 130 estimates an approximate function in the true unified relative coordinates of the second road structure 600 composed of the second targets 400 to 420. Specifically, in the position estimation unit 130, the relative positional relationship between the first targets 300 to 320 and the second targets 400 to 420, the types of the first targets 300 to 320, and the second targets 400 to 420 The type, the unified relative coordinates of the first targets 300 to 320, and the unified relative coordinates of the second targets 400 to 420 are input.
  • the position estimation unit 130 is the own vehicle 800 of the first road structure 500 having a specific arrangement pattern composed of the first targets 300 to 320 based on the unified relative coordinates of the first targets 300 to 320 and the target type. Calculate the approximation function in the unified relative coordinates seen from.
  • the position estimation unit 130 self of the second road structure 600 having a specific arrangement pattern composed of the second targets 400 to 420 based on the unified relative coordinates of the second targets 400 to 420 and the target type. Calculate the approximation function in the unified relative coordinates seen from the car 800.
  • the relative positional relationship between the first road structure 500 and the second road structure 600 acquired from the target positional relationship processing unit 110 (the position is recorded in the target positional relationship information storage unit 120) is used.
  • the offsets of the first road structure 500 and the second road structure 600 in the x-axis (vertical) direction and the y-axis (horizontal) direction are eliminated (see FIG. 4C).
  • the approximation function in the unified relative coordinates of the first road structure 500 after the offset elimination becomes the true approximation function of the second road structure 600.
  • Approximation function in unified relative coordinates of the first road structure 500 after offset elimination, types of first targets 300 to 320, approximation function in unified relative coordinates of second road structure 600, and second target 400 are output to the correction amount estimation unit 140.
  • the correction amount estimation unit 140 estimates the deviation amount and calculates the correction amount. Specifically, in the deviation amount estimation unit 140a, the approximation function of the first road structure 500 after offset elimination, the types of the first targets 300 to 320, the unified relative coordinates of the second road structure 600, and The type of the second target 400 to 420 is received as an input, and the unified relative coordinates of the mounting position of the first vehicle peripheral monitoring sensor 10a and the unified relative coordinates of the mounting position of the second vehicle peripheral monitoring sensor 10b are used. The amount of misalignment of the second vehicle peripheral monitoring sensor 10b is calculated by using the calculation method according to the type of the target 300 to 320 of 1 and the type of the second target 400 to 420.
  • the correction amount calculation unit 140b calculates the sensor coordinate conversion correction value based on the axis deviation amount of the second vehicle peripheral monitoring sensor 10b calculated by the deviation amount estimation unit 140a, and outputs the sensor coordinate conversion correction value to the sensor observation information processing unit 100. To do.
  • the correction amount by the horizontal axis deviation amount (angle ⁇ 1) of the second vehicle peripheral monitoring sensor 10b can be obtained by using the relative positional relationship between the targets in this way.
  • the positions of the targets acquired by the plurality of vehicle peripheral monitoring sensors 10 can be integrated into the unified relative coordinates.
  • first vehicle peripheral monitoring sensor 10a is a camera and the second vehicle peripheral monitoring sensor 10b is a radar.
  • FIG. 5 is a diagram showing the observation results of road signs by the vehicle peripheral monitoring sensor 10.
  • the first vehicle peripheral monitoring sensor 10a (camera) observes the sign plate 1000, which is a structure having a certain size, as the first target 300.
  • the second vehicle peripheral monitoring sensor 10b (radar) detects the support column 1010 as the second target 400.
  • the position estimation unit 130 is the first target 300 (sign board 1000) and the second target 300 (sign board 1000).
  • the offset of the first target 300 is calculated using the relative positional relationship of the target 400 (post 1010), and the offset of the first target 300 is erased using the relative positional relationship with the observed position of the first target 300.
  • the correction amount estimation unit 140 calculates the amount of misalignment of the second vehicle peripheral monitoring sensor 10b and the amount of correction associated therewith using the position of the first target 300 after the offset is erased.
  • FIG. 6 is a diagram showing the observation result of the guardrail by the vehicle peripheral monitoring sensor 10.
  • the distance between the columns 1110 is determined according to the length of the beam 1100, so that the first vehicle peripheral monitoring sensor 10a (camera) is a structure having a certain size, the beam 1100. Is observed as the second targets 300, 310, 320. On the other hand, the second vehicle peripheral monitoring sensor 10b (radar) observes the columns 1110 having a constant arrangement pattern as the second targets 400, 410, 420.
  • the relative positional relationship between the beam and the column is determined, so that the position estimation unit 130 has the first targets 300, 310, 320 (beam 1100) and the second targets 400, 410, 420 (
  • the offsets of the first targets 300, 310, and 320 are calculated using the relative positional relationship of the columns 1110), and the first target 300 is calculated using the observation positions of the first targets 300, 310, 320 and the relative positional relationship. , 310, 320 are erased.
  • the correction amount estimation unit 140 calculates the amount of misalignment of the second vehicle peripheral monitoring sensor 10b and the amount of correction associated therewith using the positions of the first targets 300, 310, and 320 after the offset is erased.
  • FIG. 7 is a diagram showing the observation results of white lines and road signs by the vehicle peripheral monitoring sensor 10.
  • the first vehicle peripheral monitoring sensor 10a (camera) observes the white lines (outside lanes, lane boundaries, etc.) 1200 painted on the road surface as the first targets 300, 310, 320.
  • the second vehicle peripheral monitoring sensor 10b (radar) detects the road sign 1210 as the second target 400.
  • the position of the white line as the road structure and the position of the road sign are measured in advance and recorded in the target positional relationship information storage unit 120.
  • the position estimation unit 130 calculates the offset of the first target 300, 310, 320 by using the relative positional relationship between the first target 300, 310, 320 (white line 1210) and the second target 400 (road sign 1210). Then, the offset of the first target 300, 310, 320 is erased by using the relative positional relationship with the observation position of the first target 300, 310, 320.
  • the correction amount estimation unit 140 calculates the amount of misalignment of the second vehicle peripheral monitoring sensor 10b and the amount of correction associated therewith using the positions of the first targets 300, 310, and 320 after the offset is erased.
  • FIG. 8 is a diagram showing the observation results of the white line and the soundproof wall by the vehicle peripheral monitoring sensor 10.
  • the first vehicle peripheral monitoring sensor 10a (camera) observes the white lines (outside lanes, lane boundaries, etc.) 1300 painted on the road surface as the first targets 300, 310, 320.
  • the second vehicle peripheral monitoring sensor 10b (radar) detects the soundproof wall 1310 as the second targets 400, 410, 420.
  • the position of the white line 1300 and the position of the soundproof wall 1310 as the road structure are measured in advance and recorded in the target position relationship information storage unit 120.
  • the position estimation unit 130 uses the relative positional relationship between the first targets 300, 310, 320 (white line 1300) and the second targets 400, 410, 420 (soundproof wall 1310) to use the first targets 300, 310, 320.
  • the offset of the first target 300, 310, 320 is calculated, and the offset of the first target 300, 310, 320 is erased by using the relative positional relationship with the observation position of the first target 300, 310, 320.
  • the correction amount estimation unit 140 calculates the amount of misalignment of the second vehicle peripheral monitoring sensor 10b and the amount of correction associated therewith using the positions of the first targets 300, 310, and 320 after the offset is erased.
  • FIG. 9 is a diagram showing the observation results of white lines and road studs (cat's eye, cat's eye, bot's dot, etc.) by the vehicle peripheral monitoring sensor 10.
  • the first vehicle peripheral monitoring sensor 10a (camera) observes the white line (outside lane line, lane boundary line, etc.) 1400 painted on the road surface as the first targets 300, 310, 320.
  • the second vehicle peripheral monitoring sensor 10b (radar) detects the road tack 1410 as the second targets 400, 410, 420.
  • the position of the white line as the road structure and the position of the road tack are measured in advance and recorded in the target positional relationship information storage unit 120.
  • the position estimation unit 130 uses the relative positional relationship between the first targets 300, 310, 320 (white line 1400) and the second targets 400, 410, 420 (road tack 1410) to use the first targets 300, 310, 320.
  • the offset of the first target 300, 310, 320 is calculated, and the offset of the first target 300, 310, 320 is erased by using the relative positional relationship with the observation position of the first target 300, 310, 320.
  • the correction amount estimation unit 140 calculates the amount of misalignment of the second vehicle peripheral monitoring sensor 10b and the amount of correction associated therewith using the positions of the first targets 300, 310, and 320 after the offset is erased.
  • FIG. 10 is a functional block diagram showing another embodiment of the sensor fusion device 1 having a sensor aiming function.
  • the differences from the first embodiment will be mainly described, the same components will be designated by the same reference numerals, and the description thereof will be omitted.
  • the sensor fusion device 1 of this embodiment has a factory-shipped environmental information storage unit 120a instead of the target positional relationship information storage unit 120 in the configuration of the first embodiment.
  • the factory-shipped environment information storage unit 120a receives the factory-shipped environment information as input from the target relative position setting unit 30a, and outputs the factory-shipped environment information to the target positional relationship processing unit 110 as necessary.
  • the factory-shipped environmental information storage unit 120a includes the position information of the first target 300 and the second vehicle peripheral monitoring sensor observed by the first vehicle peripheral monitoring sensor 10a, which are predetermined for aiming in the factory or maintenance site.
  • the position information of the second target 400 observed by 10b, the type of the first target 300, and the type of the second target 400 are included.
  • the unified relative coordinates of the first target 300 and the unified relative coordinates of the second target 400 are included. But it may be. Further, the position information may be absolute coordinates on the map.
  • the aiming performer can perform the first target 300 and the second predetermined target 300 and the second.
  • the surrounding environment for sensor aiming can be constructed by using the target 400 of the above, and sensor aiming can be carried out.
  • FIG. 11 is a functional block diagram showing another embodiment of the sensor fusion device 1 having a sensor aiming function.
  • the differences from the first embodiment will be mainly described, the same components will be designated by the same reference numerals, and the description thereof will be omitted.
  • the sensor fusion device 1 of this embodiment has a normal traveling environment information storage unit 120b instead of the target positional relationship information storage unit 120 in the configuration of the first embodiment.
  • the normal driving environment information storage unit 120b receives the normal driving environment information as input from the sensing information distribution unit 30b, and outputs the normal driving environment information to the target positional relationship processing unit 110 as needed.
  • the normal driving environment information storage unit 120b is a road structure defined by the vehicle 800 traveling position on the map in the sensing information distribution unit 30b, the type of road structure installed in the vicinity thereof, traffic regulations, and the like. Includes relative positions (eg array patterns).
  • the normal driving environment information storage unit 120b has the absolute coordinates of the first target 300 observed by the first vehicle peripheral monitoring sensor 10a, the type of the first target 300, the absolute coordinates of the second target 400, and Includes a second target 400 type.
  • the normal traveling environment information storage unit 120b may include a relative positional relationship between the first target 300 and the second target 400.
  • the sensor fusion device 1 is the first vehicle peripheral monitoring sensor during normal driving by having the environment information storage unit 120b during normal driving and setting the normal driving mode to perform sensor aiming.
  • Sensor aiming can be performed using the observation information (first target 300, second target 400) of the 10a and the second vehicle peripheral monitoring sensor 10b.
  • FIG. 12 is a functional block diagram showing another embodiment of the sensor fusion device 1 having a sensor aiming function.
  • the differences from the first embodiment will be mainly described, the same components will be designated by the same reference numerals, and the description thereof will be omitted.
  • the sensor fusion device 1 of this embodiment has a time series estimation unit 150 in addition to the configuration of the first embodiment.
  • the time series estimation unit 150 receives the unified relative coordinates and absolute velocity of the first target 300 after offset elimination from the position estimation unit 130 as inputs, and uses the unified relative coordinates and absolute velocity of the first target 300 to time.
  • By using the time-series position data of the target aiming is possible even for a sensor that requires several frames for recognizing a road structure.
  • Example 4 since aiming is performed using a plurality of observation points, an aiming error can be reduced.
  • the first and second vehicle peripheral monitoring sensors 10a and 10b may be the same type of sensor or different types of sensors.
  • the vehicle peripheral monitoring sensors 10a and 10b include millimeter-wave radar, cameras (visible light, near-infrared, mid-infrared, far-infrared cameras), LiDAR (Light Detection and Ranking), sonar, and TOF (Time of Flyt). Any sensor may be used, such as a sensor or a sensor in which they are combined.
  • the in-vehicle device has calculated the sensor coordinate conversion correction value, but a computer connected so as to be able to communicate with the vehicle may calculate the sensor coordinate conversion correction value.
  • the sensor fusion device 1 (sensor aiming device) of the present embodiment includes the target positional relationship processing unit 110 that outputs the positional relationship information of the first target 300 and the second target 400, and the first target positional relationship processing unit 110.
  • the observation result of the target 300 and the observation result of the second target 400 are converted into a predetermined unified coordinate system according to the coordinate conversion parameters, and the time is synchronized at a predetermined timing to represent the position of the first target 300.
  • the sensor observation information processing unit 100 that extracts the second target information representing the position of the first target information and the second target 400, and the first target information, the second target information, and the positional relationship information are used.
  • Correction amount estimation that calculates the deviation amount of the second sensor using the position estimation unit 130 that estimates the position of the target 400 of 2 and the second target information and the estimated position of the second target, and estimates the correction amount. Since the unit 140 is provided and the coordinate conversion parameter is changed based on the correction amount, the correction by the horizontal axis deviation amount (angle ⁇ 1) of the second vehicle peripheral monitoring sensor 10b is used by using the relative positional relationship between the targets. The amount can be obtained, and the positions of the targets acquired by the plurality of vehicle peripheral monitoring sensors 10 can be integrated into the unified relative coordinates.
  • the target positional relationship processing unit 110 outputs predetermined positional relationship information in the factory default mode
  • the axial deviation of the sensor can be accurately corrected by using the predetermined target, and the environment can be selected. Can be aimed at.
  • the axis deviation of the sensor can be corrected by using a simple target that can be used in the maintenance shop.
  • the axis deviation of the sensor can be accurately corrected by using a target with high recognition accuracy.
  • the position estimation unit 130 uses the observation result of the first target 300 and the observation result of the second target 400 during traveling in the normal traveling mode to obtain the first target information and the second target. Since the information is extracted, it is possible to correct the misalignment of the sensor during normal driving without relying on maintenance.
  • the position of the first target 300 that changes with time is accumulated, and the accumulated position is determined to be a constant array pattern. Since the time series estimation unit 150 that recognizes the first target using the determined array pattern is provided, it is possible to accurately correct the axial deviation of the sensor by using a plurality of observation points.
  • the present invention is not limited to the above-described embodiment, and includes various modifications and equivalent configurations within the scope of the attached claims.
  • the above-described examples have been described in detail in order to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to those having all the described configurations.
  • a part of the configuration of one embodiment may be replaced with the configuration of another embodiment.
  • the configuration of another embodiment may be added to the configuration of one embodiment.
  • other configurations may be added / deleted / replaced with respect to a part of the configurations of each embodiment.
  • each of the above-described configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit, and the processor realizes each function. It may be realized by software by interpreting and executing the program to be executed.
  • Information such as programs, tables, and files that realize each function can be stored in a storage device such as a memory, hard disk, SSD (Solid State Drive), or a recording medium such as an IC card, SD card, DVD, or BD. it can.
  • a storage device such as a memory, hard disk, SSD (Solid State Drive), or a recording medium such as an IC card, SD card, DVD, or BD. it can.
  • control lines and information lines indicate those that are considered necessary for explanation, and do not necessarily indicate all the control lines and information lines that are necessary for implementation. In practice, it can be considered that almost all configurations are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

センサの軸ずれを補正する。センサエイミング装置であって、第１のターゲット及び第２のターゲットの位置関係情報を出力するターゲット位置関係処理部と、前記第１のターゲットの観測結果及び前記第２のターゲットの観測結果とを座標変換パラメータに応じて所定の統一座標系へ変換し、所定のタイミングに時刻同期し、前記第１ターゲットの位置を表す第１のターゲット情報及び前記第２のターゲットの位置を表す第２のターゲット情報を抽出するセンサ観測情報処理部と、前記第１のターゲット情報、前記第２のターゲット情報、及び前記位置関係情報を用いて前記第２のターゲットの位置を推定する位置推定部と、前記第２のターゲット情報と前記第２のターゲットの推定位置を用いて前記第２のセンサのずれ量を算出し、補正量を推定するセンサ補正量推定部と、を備え、前記補正量に基づいて、前記座標変換パラメータを変更する。

Description

センサエイミング装置、運転制御システム、及び補正量の推定方法
　本発明は、車載制御装置に関し、特にセンサデータを補正するセンサエイミング装置に関する。
　交通事故の低減、ドライバーの負荷軽減、地球環境負荷の低減に向けた燃費の改善、サステナブルな社会の実現に向けた交通弱者への移動手段の提供などの様々な目的を実現すべく、運転支援システム及び自動運転システムが開発されている。これら運転支援システム及び自動運転システムでは、ドライバーの代わりに車両周辺を監視するため、複数の車両周辺監視センサが設けられる。さらに、これらのシステムの安全性を保障するためには、前記車両周辺監視センサの取り付け角度がずれた場合でも補正を行う機能が求められる。
　本技術分野の背景技術として、以下の先行技術がある。特許文献１（特開２０１６－０６５７５９号公報）には、衝突軽減装置において、電磁波を送受信することによって物体の位置を検出する電磁波センサによって検出された第１物体と、撮像画像を画像処理することによって物体の位置を検出する画像センサによって検出された第２物体とが同一の物体であるか否かを判定し、第１物体と第２物体とが同一の物体であると判定された場合に、自身の位置および第１物体を結ぶ第１線分と、自身の位置および第２物体を結ぶ第２線分とのなす角を軸ずれ量として演算する軸ずれ量推定装置が記載されている（要約参照）。
　また、特許文献２（特開２００４－３１７５０７公報）には、走査方向位置に対する受信強度の波形が逆Ｗ字状となり、この波形から軸ずれ量が各方向について定量的に算出可能となるよう、検出表面の明暗パターンと外形が設定されている調整用ターゲットを使用し、レーダのロール方向を含む軸ずれを調整する。また、フュージョン方式では、レーダの軸調整後に、同一の調整用ターゲットの画像を撮像し、この画像中の複数の特徴点の画像面上の座標値に基づいて、カメラのレーダに対する軸調整を行う軸調整方法が記載されている（要約参照）。
特開２０１６－０６５７５９号公報 特開２００４－３１７５０７号公報
　しかしながら、特許文献１では、電波センサによって検出された物体と画像センサによって検出された物体とが同一の物体であるか否かを判定し、同一の物体であると判定された場合に軸ずれ量を演算するが、検出された物体が同一物体でない場合において、軸ずれ量の演算を実施しない。加えて、検出した物体の横幅の大小に関わらず、検知点のばらつきや複数のセンサ間における検知点の相違が生じるという課題がある。また、特許文献２では、レーダ単体でターゲットの検出情報を用いた軸ずれ調整を行ったのち、カメラでの同ターゲットの撮像を用いた軸ずれ調整を行うが、最終的にセンサの軸ずれの補正を人的作業乃至軸調整装置を用いて物理的に行わなければならないという課題がある。
　本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、第１のセンサによる第１のターゲットの観測結果と、第２のセンサによる第２のターゲットの観測結果とが入力されるセンサエイミング装置であって、前記第１のターゲット及び前記第２のターゲットの位置関係情報を出力するターゲット位置関係処理部と、前記第１のターゲットの観測結果及び前記第２のターゲットの観測結果とを座標変換パラメータに応じて所定の統一座標系へ変換し、所定のタイミングに時刻同期し、前記第１ターゲットの位置を表す第１のターゲット情報及び前記第２のターゲットの位置を表す第２のターゲット情報を抽出するセンサ観測情報処理部と、前記第１のターゲット情報、前記第２のターゲット情報、及び前記位置関係情報を用いて前記第２のターゲットの位置を推定する位置推定部と、前記第２のターゲット情報と前記第２のターゲットの推定位置を用いて前記第２のセンサのずれ量を算出し、補正量を推定するセンサ補正量推定部と、を備え、前記補正量に基づいて、前記座標変換パラメータを変更することを特徴とする。
　本発明によれば、センサの軸ずれを補正できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
実施例１のセンサエイミング機能を有するセンサフュージョン装置の機能ブロック図である。 実施例１のセンサエイミング機能を有するセンサフュージョン装置の処理方法を示す概念図である。 実施例１のセンサエイミング機能を有するセンサフュージョン装置の処理方法を示す概念図である。 実施例１のセンサエイミング機能を有するセンサフュージョン装置の処理方法を示す概念図である。 実施例１における道路構造物を用いたセンサエイミング処理の例を示す図である。 実施例１における道路構造物を用いたセンサエイミング処理の例を示す図である。 実施例１における道路構造物を用いたセンサエイミング処理の例を示す図である。 実施例１における道路構造物を用いたセンサエイミング処理の例を示す図である。 実施例１における道路構造物を用いたセンサエイミング処理の例を示す図である。 実施例２のセンサエイミング機能を有するセンサフュージョン装置の機能ブロック図である。 実施例３のセンサエイミング機能を有するセンサフュージョン装置の機能ブロック図である。 実施例４のセンサエイミング機能を有するセンサフュージョン装置の機能ブロック図である。
　以下、本発明を実施するための形態を図面を参照して詳細に説明する。なお、発明を実施するための形態を説明するための全図において、同一の機能を有するブロック又はエレメントには同一の符号を付し、その繰り返しの説明は省略する。
　＜実施例１＞　
図１は、センサエイミング機能を有するセンサフュージョン装置１の一実施例を示す機能ブロック図である。
　図１に示すように、本実施例のセンサフュージョン装置１は、センサ観測情報処理部１００、ターゲット位置関係処理部１１０、ターゲット位置関係情報記憶部１２０、位置推定部１３０、及びデータ統合部２００を有する。センサエイミング機能は、センサフュージョン装置１のデータ統合部２００以外の各部によって構成され、データ統合部２００以外の各部によってセンサエイミング装置が実現される。また、センサフュージョン装置１には、第１の車両周辺監視センサ１０ａ、第２の車両周辺監視センサ１０ｂ、及び自車挙動検知センサ２０の出力信号が入力される。
　第１及び第２の車両周辺監視センサ１０ａ及び１０ｂは、自車８００の周囲の道路構造物（物標乃至路面表示物）を検知するセンサである。一例として、第１及び第２の車両周辺監視センサ１０ａ及び１０ｂは、ミリ波レーダ、カメラ（可視光、近赤外、中赤外、遠赤外カメラ）、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ソナー、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）センサ又はそれらを組み合わせたセンサなどが含まれる。
　自車挙動検知センサ２０は、自車８００の速度、ヨーレート及び舵角を検知するセンサ群である。一例として、車輪速センサ、舵角センサなどが含まれる。
　本実施例のセンサフュージョン装置１（電子制御装置）や各種センサ（第１の車両周辺監視センサ１０ａ、第２の車両周辺監視センサ１０ｂなど）は、演算装置、メモリ及び入出力装置を含む計算機（マイコン）を含んでいる。
　演算装置は、プロセッサを含み、メモリに格納されたプログラムを実行する。演算装置がプログラムを実行して行う処理の一部を、他の演算装置（例えば、ＦＰＧＡ（Field Programable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェア）で実行してもよい。
　メモリは、不揮発性の記憶素子であるＲＯＭ及びＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子、及びＳＲＡＭ（Static Random Access Memory）のような不揮発性の記憶素子であり、演算装置が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。
　入出力装置は、所定のプロトコルに従って、電子制御装置やセンサによる処理内容の外部送信及び外部からのデータ受信を行うインターフェースである。
　演算装置が実行するプログラムは、電子制御装置やセンサの非一時的記憶媒体である不揮発性のメモリに格納される。
　ターゲット位置関係情報記憶部１２０は、以後に説明する処理においてターゲットとなる静止物標（例えば、ガードレールの支柱とビーム、道路標識、白線などの道路標示、防音壁、道路鋲（チャッターバー、キャッツアイ、ボッツドットなど））の位置情報が記録されている。例えば、静止物標の位置情報を地図情報として保持している。また、ターゲットとなる静止物標の位置情報の他、ターゲット種別も位置情報と関連付けて記録されている。ここで、ターゲット種別とは、物標が何であるかを示すターゲットの分類と、検知点の配列状態（検知点が一つ、又は一定の配列パターンなど）である。
　図２から図４おいて、自車８００は自車進行経路の方向に速度０以上で走行している（すなわち、自車８００は走行中でも停止中でもよい）。自車８００には、第１の車両周辺監視センサ１０ａと第２の車両周辺監視センサ１０ｂが取り付けられている。また、自車８００周辺には、第１の車両周辺監視センサ１０ａが観測する第１のターゲット３００及び第１の非ターゲット３９０と、第２の車両周辺監視センサ１０ｂが観測する第２のターゲット４００及び第２の非ターゲット４９０が存在している。ここで、第１のターゲット３００は第１の車両周辺監視センサ１０ａが高精度に検知可能なターゲットであり、第２のターゲット４００は第２の車両周辺監視センサ１０ｂが高精度に検知可能なターゲットである。なお、車両周辺監視センサ１０ａ、１０ｂが観測する物標のうち、ターゲット３００、４００はターゲット位置関係情報記憶部１２０に位置が記録されている静止物標であり、非ターゲット３９０、４９０はターゲット位置関係情報記憶部１２０に位置が記録されていない静止物標や移動体である。
　次に、本発明の一実施例のセンサエイミング機能を有するセンサフュージョン装置１の処理を図１から図４を用いて説明する。
　図２（Ａ）から図２（Ｃ）は、第２の車両周辺監視センサ１０ｂが角度θ１だけ水平方向に軸ずれして自車８００へ取り付けられており、第１の車両周辺監視センサ１０ａは一つの検知点である第１のターゲット３００及び第１の非ターゲット３９０を検知し、第２の車両周辺監視センサ１０ｂは一つの検知点である第２のターゲット４００及び第２の非ターゲット４９０を検知している状態における処理方法の概念を示す。図２（Ａ）はターゲット抽出前のセンサ情報を示し、図２（Ｂ）は抽出されたターゲットの位置情報を示し、図２（Ｃ）はオフセット消去後のターゲットの位置情報を示す。図において、実線で表される第２のターゲット４００及び第２の非ターゲット４９０は第２の車両周辺監視センサ１０ｂが観測した位置を示し、破線で表される第２のターゲット４００及び第２の非ターゲット４９０は真の位置を示す。
　図２（Ａ）に示すように、第１の車両周辺監視センサ１０ａは、第１のターゲット３００及び第１の非ターゲット３９０を検知し、第１のターゲット３００及び第１の非ターゲット３９０の少なくとも自車８００との相対座標を出力する。第２の車両周辺監視センサ１０ｂは、第２のターゲット４００及び第２の非ターゲット４９０を検知して、第２のターゲット４００及び第２の非ターゲット４９０の少なくとも自車８００との相対座標を出力する。各ターゲット及び非ターゲットが移動体である場合、絶対速度も出力するとよい。
　ターゲット位置関係処理部１１０は、第１のターゲット３００と第２のターゲット４００の相対位置関係を生成する。具体的には、ターゲット位置関係情報記憶部１２０から第１のターゲット３００の位置情報及びターゲット種別と第２のターゲット４００の位置情報及びターゲット種別を入力として受け取り、第１のターゲット３００と第２のターゲット４００との相対位置関係に変換する。また、ターゲット位置関係処理部１１０は、車両周辺監視センサ１０毎に予め定められている軸ずれ許容範囲をセンサ観測情報処理部１００に出力する。また、ターゲット位置関係処理部１１０は、第１のターゲット３００と第２のターゲット４００との相対位置関係、第１のターゲット３００の種別、及び第２のターゲット４００の種別を位置推定部１３０へ出力する。
　ここで、相対位置関係とは、第１のターゲット３００を起点とした第２のターゲット４００の統一相対座標、又は第２のターゲット４００を起点とした第１のターゲット３００の統一相対座標であり、ターゲット位置関係情報記憶部１２０に位置が記録されているターゲット３００、４００の座標によって算出される。また、統一相対座標は、複数の車両周辺監視センサ１０ａ、１０ｂが出力するデータが準拠する座標が纏められる座標系であり、例えば図２（Ｄ）に示すように、自車８００前端中央を起点として、自車８００前方方向にｘ軸、自車８００左方向にｙ軸を定義する。
　センサ観測情報処理部１００は、主に入力されたセンサデータの座標変換、センサ間の検知結果の時刻同期及びターゲット判定を行う。
　センサデータの座標変換部１００ａは、第１のターゲット３００と自車８００との相対座標、第１の非ターゲット３９０と自車８００との相対座標、第２のターゲット４００と自車８００との相対座標、及び第２の非ターゲット４９０と自車８００との相対座標を、座標変換パラメータを用いて自車８００との統一相対座標に変換する。
　センサ間の検知時刻を同期する時刻同期部１００ｂには、自車挙動検知センサ２０による自車８００の速度、ヨーレート及び舵角の検知結果が入力される。時刻同期部１００ｂは、入力された自車８００の速度、ヨーレート及び舵角の検知結果を用いて、第１のターゲット３００の統一相対座標、第１の非ターゲット３９０の統一相対座標、第２のターゲット４００の統一相対座標、及び第２の非ターゲット４９０の統一相対座標を、所定のタイミングにおける統一相対座標に補正して、各センサの検知結果の時刻を同期する。時刻同期された第１のターゲット３００の統一相対座標、時刻同期された第１の非ターゲット３９０の統一相対座標、時刻同期された第２のターゲット４００の統一相対座標、及び時刻同期された第２の非ターゲット４９０の統一相対座標は、データ統合部２００及びターゲット判定部１００ｃに出力される。ターゲット及び非ターゲットが移動体である場合、絶対速度も出力するとよい。
　ターゲット判定部１００ｃは、ターゲットを判定する。具体的には、ターゲット判定部１００ｃは、時刻同期部１００ｂから時刻同期された第１のターゲット３００の統一相対座標、時刻同期された第１の非ターゲット３９０の統一相対座標、時刻同期された第２のターゲット４００の統一相対座標、時刻同期された第２の非ターゲット４９０の統一相対座標、及び軸ずれ許容範囲を入力として受け取る。ターゲット判定部１００ｃは、車両周辺監視センサ１０ａ及び車両周辺監視センサ１０ｂの軸ずれ許容範囲に基づいて、第１のターゲット３００及び第２のターゲット４００を抽出し、第１のターゲット３００の統一相対座標及び第２のターゲット４００の統一相対座標を、位置推定部１３０に出力する（図２（Ｂ）参照）。
　さらに、センサ観測情報処理部１００は、時刻同期された第１のターゲット３００の統一相対座標及び絶対速度、時刻同期された第１の非ターゲット３９０の統一相対座標及び絶対速度、時刻同期された第２のターゲット４００の統一相対座標及び絶対速度、時刻同期された第２の非ターゲット４９０の統一相対座標及び絶対速度を、データ統合部２００に出力する。また、センサ観測情報処理部１００は、第２のターゲット４００の統一相対座標を補正値推定部１４０に出力する。
　データ統合部２００は、全ての入力情報を統合し、統合結果を運転制御装置２に出力する。運転制御装置２は、センサフュージョン装置１からの出力を用いて車両の運転を制御する自動運転システム（ＡＤ－ＥＣＵ）や運転支援システムである。
　位置推定部１３０は、第２のターゲット４００の真の統一相対座標を推定する。具体的には、位置推定部１３０には、第１のターゲット３００と第２のターゲット４００との相対位置関係、第１のターゲット３００の種別、第２のターゲット４００の種別、第１のターゲット３００の統一相対座標、及び第２のターゲット４００の統一相対座標が入力される。位置推定部１３０は、ターゲット位置関係処理部１１０から取得した（ターゲット位置関係情報記憶部１２０に位置が記録されている）第１のターゲット３００と第２のターゲット４００との相対位置関係を用いて、第１のターゲット３００と第２のターゲット４００のｘ軸（縦）方向とｙ軸（横）位置のオフセットを消去する（図２（Ｃ）参照）。オフセット消去後の第１のターゲット３００の位置が、第２のターゲット４００の真の位置となる。オフセット消去後の第１のターゲット３００の統一相対座標、第１のターゲット３００の種別、第２のターゲット４００の統一相対座標、及び第２のターゲット４００の種別は、補正量推定部１４０へ出力される。
　補正量推定部１４０は、ずれ量を推定し、補正量を算出する。具体的には、ずれ量推定部１４０ａは、オフセット消去後の第１のターゲット３００の統一相対座標、第１のターゲット３００の種別、第２のターゲット４００の統一相対座標、及び第２のターゲット４００の種別を入力として受け取り、第１の車両周辺監視センサ１０ａの取り付け位置の統一相対座標及び第２の車両周辺監視センサ１０ｂの取り付け位置の統一相対座標を用いて、第１のターゲット３００の種別及び第２のターゲット４００の種別に応じた計算方法を用いて第２の車両周辺監視センサ１０ｂの軸ずれ量を算出する。補正量算出部１４０ｂは、ずれ量推定部１４０ａにて算出された第２の車両周辺監視センサ１０ｂの軸ずれ量に基づいて、センサ座標変換補正値を計算し、センサ観測情報処理部１００に出力する。
　センサ観測情報処理部１００（センサデータの座標変換部１００ａ）は、補正量推定部１４０から受け取ったセンサ座標変換補正値に基づいて、座標変換パラメータを変更する。なお、補正量推定部１４０が座標変換パラメータを計算して、変更後の座標変換パラメータをセンサ観測情報処理部１００に出力してもよい。
　図３（Ａ）から図３（Ｃ）は、第２の車両周辺監視センサ１０ｂが角度θ１だけ水平方向に軸ずれして自車８００へ取り付けられており、第１の車両周辺監視センサ１０ａは一定の配列パターンを有する検知点である第１のターゲット３００、３１０、３２０及び第１の非ターゲット３９０を検知し、第２の車両周辺監視センサ１０ｂは一つの検知点である第２のターゲット４００及び第２の非ターゲット４９０を検知している状態における処理方法の概念を示す。図３（Ａ）はターゲット抽出前のセンサ情報を示し、図３（Ｂ）は抽出されたターゲットの位置情報を示し、図３（Ｃ）はオフセット消去後のターゲットの位置情報を示す。図において、実線で表される第２のターゲット４００及び第２の非ターゲット４９０は第２の車両周辺監視センサ１０ｂが観測した位置を示し、破線で表される第２のターゲット４００及び第２の非ターゲット４９０は真の位置を示す。
　図３の状態における処理フローについて、図２の状態における処理フローの相違点を主に、以下に説明する。
　図３（Ａ）に示すように、第１の車両周辺監視センサ１０ａは、第１のターゲット３００～３２０及び第１の非ターゲット３９０を検知し、第１のターゲット３００～３２０及び第１の非ターゲット３９０の少なくとも自車８００との相対座標を出力する。第２の車両周辺監視センサ１０ｂは、第２のターゲット４００及び第２の非ターゲット４９０を検知して、第２のターゲット４００及び第２の非ターゲット４９０の少なくとも自車８００との相対座標を出力する。第１のターゲット３００～３２０は数ｍ以内の間隔にて周期的な配列パターンを有する道路構造物の構成要素である。また、各ターゲット及び非ターゲットが移動体である場合、絶対速度も出力するとよい。
　ターゲット位置関係処理部１１０は、第１のターゲット３００～３２０と第２のターゲットの相対位置関係を生成する。具体的には、ターゲット位置関係情報記憶部１２０から第１のターゲット３００～３２０の位置情報及びターゲット種別、第２のターゲット４００の位置情報及びターゲット種別を入力として受け取り、第１のターゲット３００～３２０と第２のターゲット４００の相対位置関係に変換する。軸ずれ許容範囲をセンサ観測情報処理部１００に出力する。また、第１のターゲット３００～３２０から構成される特定の配列パターンを有する第１の道路構造物５００と第２のターゲット４００との相対位置関係、第１のターゲット３００～３２０の種別、及び第２のターゲット４００の種別を位置推定部１３０へ出力する。
　センサ観測情報処理部１００は、主に入力されたセンサデータの座標変換、センサ間の検知結果の時刻同期及びターゲット判定を行う。
　センサデータの座標変換部１００ａは、第１のターゲット３００～３２０と自車８００との相対座標、第１の非ターゲット３９０と自車８００との相対座標、第２のターゲット４００と自車８００との相対座標、及び第２の非ターゲット４９０と自車８００との相対座標を、座標変換パラメータを用いて自車８００との統一相対座標に変換する。
　センサ間の検知時刻を同期する時刻同期部１００ｂには、自車挙動検知センサ２０による自車８００の速度、ヨーレート及び舵角の検知結果が入力される。時刻同期部１００ｂは、入力された自車８００の速度、ヨーレート及び舵角の検知結果を用いて、第１のターゲット３００～３２０の統一相対座標、第１の非ターゲット３９０の統一相対座標、第２のターゲット４００の統一相対座標、及び第２の非ターゲット４９０の統一相対座標を所定のタイミングにおける統一相対座標に補正して、各センサの検知結果の時刻を同期する。時刻同期された第１のターゲット３００～３２０の統一相対座標、時刻同期された第１の非ターゲット３９０の統一相対座標、時刻同期された第２のターゲット４００の統一相対座標、及び時刻同期された第２の非ターゲット４９０の統一相対座標は、データ統合部２００及びターゲット判定部１００ｃに出力される。ターゲット及び非ターゲットが移動体である場合、絶対速度も出力するとよい。
　ターゲット判定部１００ｃは、ターゲットを判定する。具体的には、ターゲット判定部１００ｃは、時刻同期部１００ｂから時刻同期された第１のターゲット３００～３２０の統一相対座標、時刻同期された第１の非ターゲット３９０の統一相対座標、時刻同期された第２のターゲット４００の統一相対座標、時刻同期された第２の非ターゲット４９０の統一相対座標、及び軸ずれ許容範囲を入力として受け取る。ターゲット判定部１００ｃは、車両周辺監視センサ１０ａ及び車両周辺監視センサ１０ｂの軸ずれ許容範囲に基づいて、第１のターゲット３００～３２０及び第２のターゲット４００を抽出し、第１のターゲット３００～３２０の統一相対座標及び第２のターゲット４００の統一相対座標を、位置推定部１３０に出力する（図３（Ｂ）参照）。
　さらに、センサ観測情報処理部１００は、時刻同期された第１のターゲット３００～３２０の統一相対座標及び絶対速度、時刻同期された第１の非ターゲット３９０の統一相対座標及び絶対速度、時刻同期された第２のターゲット４００の統一相対座標及び絶対速度、時刻同期された第２の非ターゲット４９０の統一相対座標及び絶対速度を、データ統合部２００に出力する。また、センサ観測情報処理部１００は、第２のターゲット４００の統一相対座標を補正値推定部１４０に出力する。
　位置推定部１３０は、第２のターゲット４００の真の横位置を推定する。具体的には、位置推定部１３０には、第１のターゲット３００～３２０と第２のターゲット４００の相対位置関係、第１のターゲット３００～３２０の種別、第２のターゲット４００の種別、第１のターゲット３００～３２０の統一相対座標、及び第２のターゲット４００の統一相対座標が入力される。位置推定部１３０は、第１のターゲット３００～３２０の統一相対座標及びターゲット種別より、第１のターゲット３００～３２０から構成される特定の配列パターンを有する第１の道路構造物５００の自車８００から見た統一座標系における横位置を算出する。次に、ターゲット位置関係処理部１１０から取得した（ターゲット位置関係情報記憶部１２０に位置が記録されている）第２のターゲット４００と第１の道路構造物５００との相対位置関係を用いて、第１のターゲット３００と第１の道路構造物５００のｘ軸（縦）方向及びｙ（横）軸方向のオフセットを消去する（図３（Ｃ）参照）。オフセット消去後の第１の道路構造物５００の横位置が、第２のターゲット４００の真の横位置となる。オフセット消去後の第１の道路構造物５００の統一相対座標における横位置、第１のターゲット３００～３２０の種別、第２のターゲット４００の統一相対座標、及び第２のターゲット４００の種別は、補正量推定部１４０へ出力される。
　補正量推定部１４０は、ずれ量を推定し、補正量を算出する。具体的には、ずれ量推定部１４０ａは、オフセット消去後の第１のターゲット３００の統一相対座標、第１のターゲット３００～３２０の種別、第１の道路構造物５００の統一相対座標、及び第２のターゲット４００の種別を入力として受け取り、第１の車両周辺監視センサ１０ａの取り付け位置の統一相対座標及び第２の車両周辺監視センサ１０ｂの取り付け位置の統一相対座標を用いて、第１のターゲット３００～３２０の種別及び第２のターゲット４００の種別に応じた計算方法を用いて第２の車両周辺監視センサ１０ｂの軸ずれ量を算出する。補正量算出部１４０ｂは、ずれ量推定部１４０ａにて算出された第２の車両周辺監視センサ１０ｂの軸ずれ量に基づいて、センサ座標変換補正値を計算し、センサ観測情報処理部１００に出力する。
　図４（Ａ）から図４（Ｃ）は、第２の車両周辺監視センサ１０ｂが角度θ１だけ水平方向に軸ずれして自車８００へ取り付けられており、第１の車両周辺監視センサ１０ａは一定の配列パターンを有する検知点である第１のターゲット３００、３１０、３２０を検知し、第２の車両周辺監視センサ１０ｂは一定の配列パターンを有する検知点である第２のターゲット４００、４１０、４２０を検知している状態における処理方法の概念を示す。
図４（Ａ）はターゲット抽出前のセンサ情報を示し、図４（Ｂ）は抽出されたターゲットの位置情報を示し、図４（Ｃ）はオフセット消去後のターゲットの位置情報を示す。図において、実線で表される第２のターゲット４００及び第２の非ターゲット４９０は第２の車両周辺監視センサ１０ｂが観測した位置を示し、破線で表される第２のターゲット４００及び第２の非ターゲット４９０は真の位置を示す。
　図４の状態における処理フローについて、図３の状態における処理フローの相違点を主に、以下に説明する。
　図４（Ａ）に示すように、第１の車両周辺監視センサ１０ａは、第１のターゲット３００～３２０及び第１の非ターゲット３９０を検知し、第１のターゲット３００～３２０及び第１の非ターゲット３９０の少なくとも自車８００との相対座標を出力する。第２の車両周辺監視センサ１０ｂは、第２のターゲット４００～４２０及び第２の非ターゲット４９０を検知して、第２のターゲット４００～４２０及び第２の非ターゲット４９０の少なくとも自車８００との相対座標を出力する。第１のターゲット３００～３２０は数ｍ以内の間隔にて周期的な配列パターンを有する道路構造物の構成要素である。第２のターゲット４００～４２０は数ｍ以内の間隔にて周期的な配列パターンを有する道路構造物の構成要素である。また、各ターゲット及び非ターゲットが移動体である場合、絶対速度も出力するとよい。
　ターゲット位置関係処理部１１０は、第１のターゲット３００～３２０から構成される特定の配列パターンを有する第１の道路構造物５００と第２のターゲット４００～４２０から構成される特定の配列パターンを有する第２の道路構造物６００との相対位置関係を生成する。具体的には、ターゲット位置関係情報記憶部１２０から第１のターゲット３００～３２０の位置情報及びターゲット種別と第２のターゲット４００～４２０の位置情報及びターゲット種別を入力として受け取り、第１の道路構造物５００と第２の道路構造物６００との相対位置関係に変換する。軸ずれ許容範囲をセンサ観測情報処理部１００に出力する。また、ターゲット位置関係処理部１１０は、第１の道路構造物５００と第２の道路構造物６００の相対位置関係、第１のターゲット３００～３２０の種別、及び第２のターゲット４００～４２０の種別を位置推定部１３０へ出力する。
　センサ観測情報処理部１００は、主に入力されたセンサデータの座標変換、センサ間の検知結果の時刻同期及びターゲット判定を行う。
　座標変換部１００ａは、センサデータの座標を変換する。具体的には、座標変換部１００ａは、第１のターゲット３００～３２０と自車８００との相対座標、第１の非ターゲット３９０の自車８００との相対座標、第２のターゲット４００～４２０と自車８００との相対座標、及び第２の非ターゲット４９０と自車８００との相対座標を、座標変換パラメータを用いて自車８００との統一相対座標に変換する。
　時刻同期部１００ｂは、異なる時刻に検知されたセンサデータ間で時刻を同期する。具体的には、時刻同期部１００ｂには、自車挙動検知センサ２０による自車８００の速度、ヨーレート及び舵角の検知結果が入力される。時刻同期部１００ｂは、入力された自車８００の速度、ヨーレート及び舵角の検知結果を用いて、第１のターゲット３００～３２０の統一相対座標、第１の非ターゲット３９０の統一相対座標、第２のターゲット４００～４２０の統一相対座標が、及び第２の非ターゲット４９０の統一相対座標を所定のタイミングにおける統一相対座標に補正して、各センサの検知結果の時刻を同期する。時刻同期された第１のターゲット３００～３２０の統一相対座標、時刻同期された第１の非ターゲット３９０の統一相対座標、時刻同期された第２のターゲット４００～４２０の統一相対座標、及び時刻同期された第２の非ターゲット４９０の統一相対座標は、データ統合部２００及びターゲット判定部１００ｃに出力される。ターゲット及び非ターゲットが移動体である場合、絶対速度も出力するとよい。
　ターゲット判定部１００ｃは、ターゲットを判定する。具体的には、ターゲット判定部１００ｃは、時刻同期部１００ｂから時刻同期された第１のターゲット３００～３２０の統一相対座標、時刻同期された第１の非ターゲット３９０の統一相対座標、時刻同期された第２のターゲット４００～４２０の統一相対座標、時刻同期された第２の非ターゲット４９０の統一相対座標、及び軸ずれ許容範囲を入力として受け取る。ターゲット判定部１００ｃは、車両周辺監視センサ１０ａ及び車両周辺監視センサ１０ｂの軸ずれ許容範囲に基づいて、第１のターゲット３００～３２０及び第２のターゲット４００～４２０を抽出し、第１のターゲット３００～３２０の統一相対座標及び第２のターゲット４００～４２０の統一相対座標を、位置推定部１３０に出力する（図４（Ｂ）参照）。
　さらに、センサ観測情報処理部１００は、時刻同期された第１のターゲット３００～３２０の統一相対座標及び絶対速度、時刻同期された第１の非ターゲット３９０の統一相対座標及び絶対速度、時刻同期された第２のターゲット４００～４２０の統一相対座標及び絶対速度、時刻同期された第２の非ターゲット４９０の統一相対座標及び絶対速度をデータ統合部２００に出力する。また、センサ観測情報処理部１００は、第２のターゲット４００～４２０の統一相対座標を補正値推定部１４０に出力する。
　位置推定部１３０は、第２のターゲット４００～４２０から構成される第２の道路構造物６００の真の統一相対座標における近似関数を推定する。具体的には、位置推定部１３０には、第１のターゲット３００～３２０と第２のターゲット４００～４２０との相対位置関係、第１のターゲット３００～３２０の種別、第２のターゲット４００～４２０の種別、第１のターゲット３００～３２０の統一相対座標、及び第２のターゲット４００～４２０の統一相対座標が入力される。位置推定部１３０は、第１のターゲット３００～３２０の統一相対座標及びターゲット種別より、第１のターゲット３００～３２０から構成される特定の配列パターンを有する第１の道路構造物５００の自車８００から見た統一相対座標における近似関数を算出する。また、位置推定部１３０は、第２のターゲット４００～４２０の統一相対座標及びターゲット種別より、第２のターゲット４００～４２０から構成される特定の配列パターンを有する第２の道路構造物６００の自車８００から見た統一相対座標における近似関数を算出する。次に、ターゲット位置関係処理部１１０から取得した（ターゲット位置関係情報記憶部１２０に位置が記録されている）第１の道路構造物５００と第２の道路構造物６００との相対位置関係を用いて、第１の道路構造物５００と第２の道路構造物６００のｘ軸（縦）方向及びｙ軸（横）方向のオフセットを消去する（図４（Ｃ）参照）。オフセット消去後の第１の道路構造物５００の統一相対座標における近似関数が、第２の道路構造物６００の真の近似関数となる。オフセット消去後の第１の道路構造物５００の統一相対座標における近似関数、第１のターゲット３００～３２０の種別、第２の道路構造物６００の統一相対座標における近似関数、及び第２のターゲット４００～４２０の種別は、補正量推定部１４０へ出力される。
　補正量推定部１４０は、ずれ量を推定し、補正量を算出する。具体的には、ずれ量推定部１４０ａでは、オフセット消去後の第１の道路構造物５００の近似関数、第１のターゲット３００～３２０の種別、第２の道路構造物６００の統一相対座標、及び第２のターゲット４００～４２０の種別を入力として受け取り、第１の車両周辺監視センサ１０ａの取り付け位置の統一相対座標及び第２の車両周辺監視センサ１０ｂの取り付け位置の統一相対座標を用いて、第１のターゲット３００～３２０の種別及び第２のターゲット４００～４２０の種別に応じた計算方法を用いて第２の車両周辺監視センサ１０ｂの軸ずれ量を算出する。補正量算出部１４０ｂは、ずれ量推定部１４０ａにて算出された第２の車両周辺監視センサ１０ｂの軸ずれ量に基づいて、センサ座標変換補正値を計算し、センサ観測情報処理部１００に出力する。
　本実施例のセンサフュージョン装置１では、このようにターゲット間の相対位置関係を用いて、第２の車両周辺監視センサ１０ｂの水平方向の軸ずれ量（角度θ１）による補正量を求めることができ、複数の車両周辺監視センサ１０が取得した物標の位置を統一相対座標に統合できる。
　次に、図５から図９を用いて、実際に設置されている道路構造物を用いたセンサエイミングの例を説明する。第１の車両周辺監視センサ１０ａがカメラであり、第２の車両周辺監視センサ１０ｂがレーダである場合を考える。
　図５は、車両周辺監視センサ１０による道路標識の観測結果を示す図である。
　道路構造物としての道路標識は、第１の車両周辺監視センサ１０ａ（カメラ）では一定の大きさを有する構造物である標識板１０００を第１のターゲット３００として観測する。一方、第２の車両周辺監視センサ１０ｂ（レーダ）は支柱１０１０を第２のターゲット４００として検知する。
　道路構造物としての標識は、標識板１０００の大きさ及び板下高（支柱１０１０の長さ）が決まっているので、位置推定部１３０は第１のターゲット３００（標識板１０００）と第２のターゲット４００（支柱１０１０）の相対位置関係を用いて、第１のターゲット３００のオフセットを算出し、第１のターゲット３００の観測位置と相対位置関係を用いて、第１のターゲット３００のオフセットを消去する。補正量推定部１４０は、オフセット消去後の第１のターゲット３００の位置を用いて、第２の車両周辺監視センサ１０ｂの軸ずれ量及びこれに伴う補正量を算出する。
　図６は、車両周辺監視センサ１０によるガードレールの観測結果を示す図である。
　道路構造物としてのガードレールは、ビーム１１００の長さに応じて支柱１１１０の間隔が決まっているので、第１の車両周辺監視センサ１０ａ（カメラ）は一定の大きさを有する構造物であるビーム１１００を第２のターゲット３００、３１０、３２０として観測する。一方、第２の車両周辺監視センサ１０ｂ（レーダ）は一定の配列パターンを有する支柱１１１０を第２のターゲット４００、４１０、４２０として観測する。
　道路構造物としてのガードレールは、ビームと支柱の相対位置関係が決まっているので、位置推定部１３０は第１のターゲット３００、３１０、３２０（ビーム１１００）と第２のターゲット４００、４１０、４２０（支柱１１１０）の相対位置関係を用いて、第１のターゲット３００、３１０、３２０のオフセットを算出し、第１のターゲット３００、３１０、３２０の観測位置と相対位置関係を用いて第１のターゲット３００、３１０、３２０のオフセットを消去する。補正量推定部１４０は、オフセット消去後の第１のターゲット３００、３１０、３２０の位置を用いて、第２の車両周辺監視センサ１０ｂの軸ずれ量及びこれに伴う補正量を算出する。
　図７は、車両周辺監視センサ１０による白線及び道路標識の観測結果を示す図である。
　第１の車両周辺監視センサ１０ａ（カメラ）は、路面にペイントされた白線（車道外側線、車線境界線など）１２００を第１のターゲット３００、３１０、３２０として観測する。一方、第２の車両周辺監視センサ１０ｂ（レーダ）は道路標識１２１０を第２のターゲット４００として検知する。
　道路構造物としての白線の位置と道路標識の位置は予め測定されて、ターゲット位置関係情報記憶部１２０に記録されている。位置推定部１３０は第１のターゲット３００，３１０、３２０（白線１２１０）と第２のターゲット４００（道路標識１２１０）の相対位置関係を用いて、第１のターゲット３００、３１０、３２０のオフセットを算出し、第１のターゲット３００、３１０、３２０の観測位置と相対位置関係を用いて第１のターゲット３００、３１０、３２０のオフセットを消去する。補正量推定部１４０は、オフセット消去後の第１のターゲット３００、３１０、３２０の位置を用いて、第２の車両周辺監視センサ１０ｂの軸ずれ量及びこれに伴う補正量を算出する。
　図８は、車両周辺監視センサ１０による白線及び防音壁の観測結果を示す図である。
　第１の車両周辺監視センサ１０ａ（カメラ）は、路面にペイントされた白線（車道外側線、車線境界線など）１３００を第１のターゲット３００、３１０、３２０として観測する。一方、第２の車両周辺監視センサ１０ｂ（レーダ）は防音壁１３１０を第２のターゲット４００、４１０、４２０として検知する。
　道路構造物としての白線１３００の位置と防音壁１３１０の位置は予め測定されて、ターゲット位置関係情報記憶部１２０に記録されている。位置推定部１３０は第１のターゲット３００、３１０、３２０（白線１３００）と第２のターゲット４００、４１０、４２０（防音壁１３１０）の相対位置関係を用いて、第１のターゲット３００、３１０、３２０のオフセットを算出し、第１のターゲット３００、３１０、３２０の観測位置と相対位置関係を用いて第１のターゲット３００、３１０、３２０のオフセットを消去する。補正量推定部１４０は、オフセット消去後の第１のターゲット３００、３１０、３２０の位置を用いて、第２の車両周辺監視センサ１０ｂの軸ずれ量及びこれに伴う補正量を算出する。
　図９は、車両周辺監視センサ１０による白線及び道路鋲（チャッターバー、キャッツアイ、ボッツドットなど）の観測結果を示す図である。
　第１の車両周辺監視センサ１０ａ（カメラ）は、路面にペイントされた白線（車道外側線、車線境界線など）１４００を第１のターゲット３００、３１０、３２０として観測する。一方、第２の車両周辺監視センサ１０ｂ（レーダ）は道路鋲１４１０を第２のターゲット４００、４１０、４２０として検知する。
　道路構造物としての白線の位置と道路鋲の位置は予め測定されて、ターゲット位置関係情報記憶部１２０に記録されている。位置推定部１３０は第１のターゲット３００、３１０、３２０（白線１４００）と第２のターゲット４００、４１０、４２０（道路鋲１４１０）の相対位置関係を用いて、第１のターゲット３００、３１０、３２０のオフセットを算出し、第１のターゲット３００、３１０、３２０の観測位置と相対位置関係を用いて第１のターゲット３００、３１０、３２０のオフセットを消去する。補正量推定部１４０は、オフセット消去後の第１のターゲット３００、３１０、３２０の位置を用いて、第２の車両周辺監視センサ１０ｂの軸ずれ量及びこれに伴う補正量を算出する　
　＜実施例２＞
　図１０は、センサエイミング機能を有するセンサフュージョン装置１の別の実施例を示す機能ブロック図である。実施例２において、実施例１との相違点を主に説明し、同じ構成には同じ符号を付し、その説明を省略する。
　図１０に示すように、本実施例のセンサフュージョン装置１は、実施例１の構成におけるターゲット位置関係情報記憶部１２０に代えて、工場出荷時環境情報記憶部１２０ａを有する。工場出荷時環境情報記憶部１２０ａは、ターゲット相対位置設定部３０ａより工場出荷時環境情報を入力として受け取り、ターゲット位置関係処理部１１０へ必要に応じて出力する。工場出荷時環境情報記憶部１２０ａは、工場や整備場におけるエイミング用に予め規定された、第１の車両周辺監視センサ１０ａが観測する第１のターゲット３００の位置情報と第２の車両周辺監視センサ１０ｂが観測する第２のターゲット４００の位置情報、第１のターゲット３００の種別、及び第２のターゲット４００の種別を含む。自車８００と第１のターゲット３００及び／又は第２のターゲット４００との相対位置関係が一意に定められる場合、第１のターゲット３００の統一相対座標及び第２のターゲット４００の統一相対座標を含んでもよい。また、位置情報は、地図上の絶対座標でもよい。
　本実施例では、工場出荷時環境情報記憶部１２０ａを有し、工場出荷時モードに設定してセンサエイミングを実行することによって、エイミング実施者は、予め定められた第１のターゲット３００及び第２のターゲット４００を用いてセンサエイミング用の周辺環境を構築し、センサエイミングを実施できる。
　＜実施例３＞
　図１１は、センサエイミング機能を有するセンサフュージョン装置１の別の実施例を示す機能ブロック図である。実施例３において、実施例１との相違点を主に説明し、同じ構成には同じ符号を付し、その説明を省略する。
　図１１に示すように、本実施例のセンサフュージョン装置１は、実施例１の構成におけるターゲット位置関係情報記憶部１２０に代えて、通常走行時環境情報記憶部１２０ｂを有する。通常走行時環境情報記憶部１２０ｂは、センシング情報配信部３０ｂより通常走行時環境情報を入力として受け取り、通常走行時環境情報をターゲット位置関係処理部１１０へ必要に応じて出力する。通常走行時環境情報記憶部１２０ｂは、センシング情報配信部３０ｂにおける地図上の自車８００走行位置、その周辺に設置されている道路構造物の種類、及び交通法規などによって規定された道路構造物の相対位置（例えば配列パターン）を含む。つまり、通常走行時環境情報記憶部１２０ｂは、第１の車両周辺監視センサ１０ａが観測する第１のターゲット３００の絶対座標、第１のターゲット３００の種別、第２のターゲット４００の絶対座標、及び第２のターゲット４００の種別を含む。通常走行時環境情報記憶部１２０ｂは、第１のターゲット３００と第２のターゲット４００との相対位置関係を含んでもよい。
　本実施例では、通常走行時環境情報記憶部１２０ｂを有し、通常走行時モードに設定してセンサエイミングを実行することによって、センサフュージョン装置１は、通常走行時における第１の車両周辺監視センサ１０ａ及び第２の車両周辺監視センサ１０ｂの観測情報（第１のターゲット３００、第２のターゲット４００）を用いてセンサエイミングを実施できる。
　＜実施例４＞
　図１２は、センサエイミング機能を有するセンサフュージョン装置１の別の実施例を示す機能ブロック図である。実施例４において、実施例１との相違点を主に説明し、同じ構成には同じ符号を付し、その説明を省略する。
　図１２に示すように、本実施例のセンサフュージョン装置１は、実施例１の構成の他、時系列推定部１５０を有する。時系列推定部１５０は、位置推定部１３０からオフセット消去後の第１のターゲット３００の統一相対座標及び絶対速度を入力として受け取り、第１のターゲット３００の統一相対座標及び絶対速度を用いて、時間によって変化する第１のターゲット３００の位置をトラッキングして蓄積することによって、蓄積されたデータを一定の配列パターンであると判定して、図３及び図４の補正方法を適用する。ターゲットの時系列の位置データを用いることによって、道路構造物の認識に数フレームを要するセンサについてもエイミングが可能となる。
　実施例４によると、複数の観測点を用いてエイミングを行うので、エイミングの誤差を低減できる。
　以上に説明した実施例において、第１及び第２の車両周辺監視センサ１０ａ、１０ｂは、同じ種類のセンサでも、異なる種類のセンサでもよい。また、車両周辺監視センサ１０ａ、１０ｂは、ミリ波レーダ、カメラ（可視光、近赤外、中赤外、遠赤外カメラ）、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ソナー、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）センサ又はそれらを組み合わせたセンサなど、いずれのセンサでもよい。
　また、各実施例に記載の機能ブロックの構成、処理フロー、動作は任意に組み合わせても構わない。
　さらに、以上の説明では、車載装置（ＥＣＵ）がセンサ座標変換補正値を計算したが、車両と通信可能に接続された計算機がセンサ座標変換補正値を計算してもよい。
　以上に説明したように、本実施例のセンサフュージョン装置１（センサエイミング装置）は、第１のターゲット３００及び第２のターゲット４００の位置関係情報を出力するターゲット位置関係処理部１１０と、第１のターゲット３００の観測結果及び第２のターゲット４００の観測結果とを座標変換パラメータに応じて所定の統一座標系へ変換し、所定のタイミングに時刻同期し、第１のターゲット３００の位置を表す第１のターゲット情報及び第２のターゲット４００の位置を表す第２のターゲット情報を抽出するセンサ観測情報処理部１００と、第１のターゲット情報、第２のターゲット情報、及び位置関係情報を用いて第２のターゲット４００の位置を推定する位置推定部１３０と、第２のターゲット情報と第２のターゲットの推定位置を用いて第２のセンサのずれ量を算出し、補正量を推定する補正量推定部１４０とを備え、補正量に基づいて座標変換パラメータを変更するので、ターゲット間の相対位置関係を用いて、第２の車両周辺監視センサ１０ｂの水平方向の軸ずれ量（角度θ１）による補正量を求めることができ、複数の車両周辺監視センサ１０が取得した物標の位置を統一相対座標に統合できる。
　また、ターゲット位置関係処理部１１０は、工場出荷時モードにおいて、予め定められた位置関係情報を出力するので、予め定められたターゲットを用いてセンサの軸ずれを正確に補正でき、環境を選ばずにエイミングできる。また、整備場でも使用可能な簡単なターゲットを用いてセンサの軸ずれを補正できる。また、認識精度が高いターゲットを用いてセンサの軸ずれを正確に補正できる。
　また、位置推定部１３０は、通常走行時モードにおいて、走行中の第１のターゲット３００の観測結果と第２のターゲット４００の観測結果とを用いて、第１のターゲット情報及び前記第２のターゲット情報を抽出するので、整備によらないで、通常の走行中にセンサの軸ずれを補正できる。
　また、第１のターゲット３００の統一座標系における位置及び絶対速度を用いて、時間によって変化する第１のターゲット３００の位置を蓄積し、蓄積された位置を一定の配列パターンであると判定し、前記判定された配列パターンを用いて前記第１のターゲットを認識する時系列推定部１５０を備えるので、複数の観測点を用いて、センサの軸ずれを正確に補正できる。
　なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
　また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
　各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ、ＢＤ等の記録媒体に格納することができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
１　センサフュージョン装置、２　運転制御装置、１０ａ、１０ｂ　車両周辺監視センサ、２０　自車挙動検知センサ、３０ａ　ターゲット相対位置設定部、３０ｂ　センシング情報配信部、１００　センサ観測情報処理部、１００ａ　座標変換部、１００ｂ　時刻同期部、１００ｃ　ターゲット判定部、１１０　ターゲット位置関係処理部、１２０　ターゲット位置関係情報記憶部、１２０ａ　工場出荷時環境情報記憶部、１２０ｂ　通常走行時環境情報記憶部、１３０　位置推定部、１４０　補正量推定部、１４０ａ　ずれ量推定部、１４０ｂ　補正量算出部、１５０　時系列推定部、２００　データ統合部

Claims (8)

  1. 　第１のセンサによる第１のターゲットの観測結果と、第２のセンサによる第２のターゲットの観測結果とが入力されるセンサエイミング装置であって、
    　前記第１のターゲット及び前記第２のターゲットの位置関係情報を出力するターゲット位置関係処理部と、
    　前記第１のターゲットの観測結果及び前記第２のターゲットの観測結果とを座標変換パラメータに応じて所定の統一座標系へ変換し、所定のタイミングに時刻同期し、前記第１のターゲットの位置を表す第１のターゲット情報及び前記第２のターゲットの位置を表す第２のターゲット情報を抽出するセンサ観測情報処理部と、
    　前記第１のターゲット情報、前記第２のターゲット情報、及び前記位置関係情報を用いて前記第２のターゲットの位置を推定する位置推定部と、
    　前記第２のターゲット情報と前記第２のターゲットの推定位置を用いて前記第２のセンサのずれ量を算出し、補正量を推定する補正量推定部と、を備え、
    　前記補正量に基づいて、前記座標変換パラメータを変更することを特徴とするセンサエイミング装置。
  2. 　請求項１に記載のセンサエイミング装置であって、
    　前記第１のターゲットと前記第２のターゲットは、一つの道路構造物の構成要素であることを特徴とするセンサエイミング装置。
  3. 　請求項１に記載のセンサエイミング装置であって、
    　前記第１のターゲットと前記第２のターゲットは、異なる物標であることを特徴とするセンサエイミング装置。
  4. 　請求項１に記載のセンサエイミング装置であって、
    　前記ターゲット位置関係処理部は、工場出荷時モードにおいて、予め定められた位置関係情報を出力することを特徴とするセンサエイミング装置。
  5. 　請求項１に記載のセンサエイミング装置であって、
    　前記位置推定部は、通常走行時モードにおいて、走行中の前記第１のターゲットの観測結果と前記第２のターゲットの観測結果とを用いて、前記第１のターゲット情報及び前記第２のターゲット情報を抽出することを特徴とするセンサエイミング装置。
  6. 　請求項１に記載のセンサエイミング装置であって、
    　前記第１のターゲットの統一座標系における位置及び絶対速度を用いて、時間によって変化する前記第１のターゲットの位置を蓄積し、前記蓄積された位置を一定の配列パターンであると判定し、前記判定された配列パターンを用いて前記第１のターゲットを認識する時系列推定部を備えることを特徴とするセンサエイミング装置。
  7. 　車両の運転を制御する運転制御システムであって、
    　二つ以上の物標センサの観測結果を統合して出力するセンサフュージョン装置と、
    　前記センサフュージョン装置からの出力を用いて車両の運転を制御する運転制御装置とを備え、
    　前記センサフュージョン装置は、
    　第１のセンサによる第１のターゲットの観測結果と、第２のセンサによる第２のターゲットの観測結果とが入力され、
    　前記第１のターゲット及び前記第２のターゲットの位置関係情報を出力するターゲット位置関係処理部と、
    　前記第１のターゲットの観測結果及び前記第２のターゲットの観測結果とを座標変換パラメータに応じて所定の統一座標系へ変換し、所定のタイミングに時刻同期し、前記第１のターゲットの位置を表す第１のターゲット情報及び前記第２のターゲットの位置を表す第２のターゲット情報を抽出するセンサ観測情報処理部と、
    　前記第１のターゲット情報、前記第２のターゲット情報、及び前記位置関係情報を用いて前記第２のターゲットの位置を推定する位置推定部と、
    　前記第２のターゲット情報と前記第２のターゲットの推定位置を用いて前記第２のセンサのずれ量を算出し、補正量を推定する補正量推定部と、を有し、
    　前記補正量に基づいて、前記座標変換パラメータを変更することを特徴とする運転制御システム。
  8. 　二つ以上のセンサの観測結果を用いて、前記センサの観測結果の補正パラメータを計算するセンサエイミング装置が実行するセンサデータの補正量の推定方法であって、
    　前記推定方法は、
    　第１のセンサによる第１のターゲットの観測結果と、第２のセンサによる第２のターゲットの観測結果とが入力される入力手順と、
    　前記第１のターゲット及び前記第２のターゲットの位置関係情報を出力するターゲット位置関係処理手順と、
    　前記第１のターゲットの観測結果及び前記第２のターゲットの観測結果とを座標変換パラメータに応じて所定の統一座標系へ変換し、所定のタイミングに時刻同期し、前記第１のターゲットの位置を表す第１のターゲット情報及び前記第２のターゲットの位置を表す第２のターゲット情報を抽出するセンサ観測情報処理手順と、
    　前記第１のターゲット情報、前記第２のターゲット情報、及び前記位置関係情報を用いて前記第２のターゲットの位置を推定する位置推定手順と、
    　前記第２のターゲット情報と前記第２のターゲットの推定位置を用いて前記第２のセンサのずれ量を算出し、補正量を推定する補正量推定手順と、を備え、
    　前記補正量に基づいて、前記座標変換パラメータを変更する手順とを含むことを特徴とする推定方法。
PCT/JP2020/045574 2020-01-10 2020-12-08 センサエイミング装置、運転制御システム、及び補正量の推定方法 WO2021140811A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080088408.2A CN114829967A (zh) 2020-01-10 2020-12-08 传感器对准装置、驾驶控制系统以及修正量的推断方法
DE112020005320.2T DE112020005320T5 (de) 2020-01-10 2020-12-08 Sensorausrichtungseinrichtung, fahrsteuersystem und korrekturbetragschätzverfahren
JP2021569777A JP7356517B2 (ja) 2020-01-10 2020-12-08 センサエイミング装置、運転制御システム、及び補正量の推定方法
US17/790,008 US20230044311A1 (en) 2020-01-10 2020-12-08 Sensor aiming device, driving control system, and correction amount estimation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020002880 2020-01-10
JP2020-002880 2020-01-10

Publications (1)

Publication Number Publication Date
WO2021140811A1 true WO2021140811A1 (ja) 2021-07-15

Family

ID=76788572

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/045574 WO2021140811A1 (ja) 2020-01-10 2020-12-08 センサエイミング装置、運転制御システム、及び補正量の推定方法

Country Status (5)

Country Link
US (1) US20230044311A1 (ja)
JP (1) JP7356517B2 (ja)
CN (1) CN114829967A (ja)
DE (1) DE112020005320T5 (ja)
WO (1) WO2021140811A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220289245A1 (en) * 2019-08-02 2022-09-15 Hitachi Astemo, Ltd. Aiming device, drive control system, and method for calculating correction amount of sensor data
KR20220108544A (ko) * 2021-01-27 2022-08-03 주식회사 에이치엘클레무브 레이더 제어 장치 및 방법
JP2022150929A (ja) * 2021-03-26 2022-10-07 本田技研工業株式会社 軸ずれ推定装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003057334A (ja) * 2001-08-15 2003-02-26 Fujitsu Ten Ltd レーダの水平方向軸ずれ発生検出装置、軸ずれ量決定装置、および軸ずれ補正装置
JP2004317507A (ja) * 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法
JP2016065759A (ja) * 2014-09-24 2016-04-28 株式会社デンソー 軸ずれ量推定装置
JP2016103225A (ja) * 2014-11-28 2016-06-02 株式会社デンソー 車両の走行制御装置
JP2019152617A (ja) * 2018-03-06 2019-09-12 トヨタ自動車株式会社 物体認識装置及び車両走行制御システム
KR20200057341A (ko) * 2018-11-16 2020-05-26 현대모비스 주식회사 객체 검출 센서의 장착 오차 판단 장치 및 방법
JP2020143969A (ja) * 2019-03-05 2020-09-10 トヨタ自動車株式会社 車両搭載用のライダ軸ずれ検出装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10852419B2 (en) * 2017-10-20 2020-12-01 Texas Instruments Incorporated System and method for camera radar fusion
US11796657B2 (en) * 2017-10-26 2023-10-24 Pioneer Corporation Control device, control method, program, and storage medium
JP7199269B2 (ja) * 2019-03-20 2023-01-05 日立Astemo株式会社 外界センシング情報処理装置
US20210033722A1 (en) * 2019-07-29 2021-02-04 Trackman A/S System and method for inter-sensor calibration
US20220289245A1 (en) * 2019-08-02 2022-09-15 Hitachi Astemo, Ltd. Aiming device, drive control system, and method for calculating correction amount of sensor data
US11798191B2 (en) * 2020-03-27 2023-10-24 Intel Corporation Sensor calibration and sensor calibration detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003057334A (ja) * 2001-08-15 2003-02-26 Fujitsu Ten Ltd レーダの水平方向軸ずれ発生検出装置、軸ずれ量決定装置、および軸ずれ補正装置
JP2004317507A (ja) * 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法
JP2016065759A (ja) * 2014-09-24 2016-04-28 株式会社デンソー 軸ずれ量推定装置
JP2016103225A (ja) * 2014-11-28 2016-06-02 株式会社デンソー 車両の走行制御装置
JP2019152617A (ja) * 2018-03-06 2019-09-12 トヨタ自動車株式会社 物体認識装置及び車両走行制御システム
KR20200057341A (ko) * 2018-11-16 2020-05-26 현대모비스 주식회사 객체 검출 센서의 장착 오차 판단 장치 및 방법
JP2020143969A (ja) * 2019-03-05 2020-09-10 トヨタ自動車株式会社 車両搭載用のライダ軸ずれ検出装置

Also Published As

Publication number Publication date
JP7356517B2 (ja) 2023-10-04
DE112020005320T5 (de) 2022-11-10
US20230044311A1 (en) 2023-02-09
CN114829967A (zh) 2022-07-29
JPWO2021140811A1 (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
WO2021140811A1 (ja) センサエイミング装置、運転制御システム、及び補正量の推定方法
EP3470789A1 (en) Autonomous driving support apparatus and method
JP6773540B2 (ja) 車載用画像処理装置
US9053554B2 (en) Object detection device using an image captured with an imaging unit carried on a movable body
US10836388B2 (en) Vehicle control method and apparatus
US10429492B2 (en) Apparatus for calculating misalignment quantity of beam sensor
US20140340518A1 (en) External sensing device for vehicle, method of correcting axial deviation and recording medium
US20180137376A1 (en) State estimating method and apparatus
JP6776202B2 (ja) 車載カメラのキャリブレーション装置及び方法
US20070182623A1 (en) Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
US20050278112A1 (en) Process for predicting the course of a lane of a vehicle
JP6458651B2 (ja) 路面標示検出装置及び路面標示検出方法
US20180361854A1 (en) Target determination apparatus and driving assistance system
WO2017145541A1 (ja) 移動体
JP2018091652A (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム
US12077178B2 (en) Aiming device, driving control system, and method for calculating correction amount for sensor data
US20170254881A1 (en) Apparatus for detecting axial misalignment
US20220289245A1 (en) Aiming device, drive control system, and method for calculating correction amount of sensor data
WO2020235466A1 (ja) 車両制御システム及び車両制御方法
US10970870B2 (en) Object detection apparatus
KR102709976B1 (ko) 횡방향 이동의 타당성 검증 방법 및 그 장치
JP6465919B2 (ja) 障害物検知システム
EP3701281B1 (en) Using data from a radar sensor for machine learning based perception
US20230182728A1 (en) Collision determination apparatus, collision determination method, collision avoidance system
US11667295B2 (en) Apparatus and method for recognizing object

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912711

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021569777

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20912711

Country of ref document: EP

Kind code of ref document: A1