WO2022014270A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
WO2022014270A1
WO2022014270A1 PCT/JP2021/023503 JP2021023503W WO2022014270A1 WO 2022014270 A1 WO2022014270 A1 WO 2022014270A1 JP 2021023503 W JP2021023503 W JP 2021023503W WO 2022014270 A1 WO2022014270 A1 WO 2022014270A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
mobile device
processing apparatus
vehicle
reference point
Prior art date
Application number
PCT/JP2021/023503
Other languages
English (en)
French (fr)
Inventor
一貴 平石
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/004,679 priority Critical patent/US20230251350A1/en
Publication of WO2022014270A1 publication Critical patent/WO2022014270A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4052—Means for monitoring or calibrating by simulation of echoes
    • G01S7/4082—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
    • G01S7/4091—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder during normal radar operation

Definitions

  • This disclosure relates to information processing devices, information processing methods and information processing programs.
  • an information processing device capable of performing calibration without being affected by the presence or absence of map information or changes in the environment and without depending on the position and posture of the mobile device itself. Propose an information processing program.
  • the information processing device of one form according to the present disclosure is other than the one mobile device extracted from the measurement results acquired from each of the plurality of sensors mounted on the one mobile device. It includes a generation unit that generates calibration parameters between the sensors with another mobile device as a reference point.
  • FIG. 1 is a schematic explanatory diagram of an information processing method according to an embodiment of the present disclosure.
  • FIG. 2 is an explanatory diagram of calibration parameters.
  • the information processing method relates to calibration of a plurality of sensors mounted on a mobile device.
  • the mobile device is, for example, a vehicle.
  • the sensor is an in-vehicle sensor mounted on a vehicle, for example, a millimeter wave radar.
  • the information processing according to the embodiment is executed by the information processing apparatus 10 mounted on the vehicle V s.
  • the vehicle V s may be referred to as "own vehicle V s".
  • the information is combined if the relative arrangement relationship between the in-vehicle sensors, that is, the relative position and the relative angle are not accurately grasped. The accuracy of the information processing will be reduced.
  • the mounting position, mounting angle, etc. may change from the beginning due to aging, vibration, etc. For this reason, it is preferable to perform calibration as appropriate while the vehicle is running, etc., so that the relative arrangement relationship between the in-vehicle sensors can always be accurately grasped.
  • a reference point other vehicles other than the vehicle V s to be extracted from the measurement results obtained from each of a plurality of sensors mounted on the vehicle V s, between the sensor We decided to generate calibration parameters.
  • the description will be given by taking another vehicle as an example as a reference point, but this is not limited to the vehicle, and may be, for example, a motorcycle, a bicycle, a pedestrian, or the like.
  • the vehicles are smaller than each other, so that the reference points can be set without considering the vehicle width as in the case of vehicles.
  • the information processing method by using a vehicle other than the own vehicle V s as a calibration standard, only the sensor information is used without using the position and attitude of the own vehicle V s. Calibrate between sensors directly from. Specifically, each sensor targets another vehicle in motion and estimates the relative position and relative angle between the sensors so that the views from both sensors are the same.
  • the information processing apparatus 10 during running of the vehicle V s, for example, the first millimeter wave that is installed in the vehicle V s Generate calibration parameters between radar 3 and second millimeter wave radar 5.
  • the first millimeter-wave radar 3 and the second millimeter-wave radar 5 may be hereinafter referred to as "both radars 3 and 5".
  • the calibration parameters between the radars 3 and 5 are parameters related to the 6 axes indicating the relative position and the relative angle between the radars 3 and 5.
  • the calibration parameters are the x-direction, y-direction, z-direction of both radars 3 and 5, and the relative quantities of the roll angle, pitch angle, and yaw angle around these three axes. These are ⁇ x, ⁇ y, ⁇ z, ⁇ roll, ⁇ pitch, and ⁇ yaw. These six unknown variables can be calculated if there are four points that can be detected simultaneously from both radars 3 and 5.
  • both radars 3 and 5 simultaneously have at least 4 or more other vehicles V. It is determined whether or not n and V f are detected (step S1).
  • the information processing apparatus 10 uses these vehicles V n and V f as reference points as reference points and performs calibration parameters between the radars 3 and 5. Is generated (step S2).
  • the information processing apparatus 10 uses, for example, one of the detection points of the vehicle V f , which has a high reliability, as a “low accuracy reference point” for another vehicle V f far from the own vehicle V s. Treat as.
  • another vehicle V n at a distance closer to the own vehicle V s is one "high accuracy corresponding to the edge of the vehicle V n of the detection points such vehicles V n Treat as a "reference point”.
  • the "low accuracy reference point" includes at least the ambiguity of the vehicle width of the vehicle V f.
  • the information processing apparatus 10 by using the edge of such a vehicle V n as "highly accurate reference point” to avoid ambiguity due to "low precision reference point” to guarantee the accuracy of the calibration.
  • the other vehicle V n may be referred to as a “short-distance vehicle”.
  • other vehicles V f may be referred to as "long-distance vehicles”.
  • the information processing apparatus 10 the generated calibration parameter, and outputs, for example, to the ECU mounted on the vehicle V s (Electronic Control Unit).
  • the ECU uses the calibration parameters output from the information processing apparatus 10 to correct and combine the measurement results of the first millimeter-wave radar 3 and the second millimeter-wave radar 5, for example, automatic driving, driving support, and the like. Vehicle control, etc. will be executed.
  • the information processing method according to the embodiment can be made without being affected by the changes in the presence or the environment map information, and without depending on the position and the attitude of the vehicle V s, the calibration ..
  • calibration is performed when a predetermined calibration cycle arrives, but the calibration is not limited to this.
  • the calibration is not limited to this.
  • after performing calibration using the calibration parameters during running of the vehicle V s projects a measurement result of one of the radar to the other radar coordinate system, to evaluate the error in such a coordinate system, errors If it is out of the permissible range, calibration may be performed again.
  • Such an example will be described later with reference to FIG.
  • FIG. 3 is a diagram showing a configuration example of the information processing system 1 according to the embodiment of the present disclosure.
  • the information processing system 1 includes a first millimeter-wave radar 3, a second millimeter-wave radar 5, an information processing device 10, and an ECU 20.
  • First millimeter wave radar 3 and the second millimeter-wave radar 5 is, for example, a distance measuring sensor provided in the left and right ends near the front portion of the vehicle V s.
  • the information processing apparatus 10 uses both vehicles V n and V f other than the own vehicle V s extracted from the measurement results acquired from the first millimeter wave radar 3 and the second millimeter wave radar 5 as reference points. It is a device that generates calibration parameters between radars 3 and 5.
  • the ECU 20 uses the calibration parameters generated by the information processing apparatus 10 to correct and combine the measurement results of the first millimeter-wave radar 3 and the second millimeter-wave radar 5, for example, a vehicle related to automatic driving, driving support, and the like. It is a device that executes control and the like.
  • the first millimeter-wave radar 3, the second millimeter-wave radar 5, the information processing device 10, and the ECU 20 are connected to each other so as to be able to communicate with each other via an in-vehicle network such as CAN (Controller Area Network).
  • the connection form of the in-vehicle network may be wired or wireless.
  • FIG. 3 shows two millimeter-wave radars, a first millimeter-wave radar 3 and a second millimeter-wave radar 5, but the number of millimeter-wave radars is not limited, and even if the number is 3 or more. good. Similarly, the number of ECUs 20 may be plural.
  • FIG. 4 is a block diagram showing a configuration example of the information processing apparatus 10 according to the embodiment of the present disclosure. Note that FIG. 4 shows only the components necessary for explaining the features of the present embodiment, and the description of general components is omitted.
  • each component shown in FIG. 4 is a functional concept and does not necessarily have to be physically configured as shown in the figure.
  • the specific form of distribution / integration of each block is not limited to the one shown in the figure, and all or part of it may be functionally or physically distributed in any unit according to various loads and usage conditions. It can be integrated and configured.
  • the information processing apparatus 10 includes a storage unit 11 and a control unit 12.
  • the storage unit 11 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory), a ROM (Read Only Memory), or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the storage unit 11 stores the parameter information 111 and the allowable range information 112.
  • the parameter information 111 is information including calibration parameters generated by the generation unit 123 described later.
  • the permissible range information 112 is information that defines the permissible range of errors in the measurement results of the first millimeter-wave radar 3 and the second millimeter-wave radar 5 when projected onto the same coordinate system using the calibration parameters. Includes thresholds and the like.
  • the control unit 12 is a controller, and for example, various programs stored in the storage unit 11 are executed using the RAM as a work area by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like. Is realized by. Further, the control unit 12 can be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 12 has an acquisition unit 121, an extraction unit 122, a generation unit 123, and an evaluation unit 124, and realizes or executes the functions and operations of information processing described below.
  • the acquisition unit 121 acquires the measurement results of each of the first millimeter-wave radar 3 and the second millimeter-wave radar 5. Further, the acquisition unit 121 outputs the acquired measurement result to the extraction unit 122 and the evaluation unit 124.
  • the extraction unit 122 has the above-mentioned height when at least four or more other vehicles V n and V f are simultaneously detected within the viewing angles of both radars 3 and 5 based on the measurement results output from the acquisition unit 121. Extract the accuracy reference point and the low accuracy reference point.
  • the extraction unit 122 has a high-precision reference point extraction unit 122a and a low-precision reference point extraction unit 122b.
  • the high-precision reference point extraction unit 122a extracts a high-precision reference point.
  • the low-precision reference point extraction unit 122b extracts the low-precision reference point.
  • FIG. 5 is an explanatory diagram (No. 1) of the extraction process.
  • FIG. 6 is an explanatory diagram (No. 2) of the extraction process.
  • FIG. 7 is an explanatory diagram (No. 3) of the extraction process.
  • the extraction unit 122 first determines another vehicle V n having at least a part within a predetermined distance d from the own vehicle V s based on the measurement result output from the acquisition unit 121. Specify as a "short-range vehicle".
  • the distance d is, for example, 10 m.
  • the extraction unit 122 identifies another vehicle V f that exists farther than a predetermined distance d from the own vehicle V s as a “long-distance vehicle”.
  • the high-precision reference point extraction unit 122a measures the measurement results of the first millimeter-wave radar 3 and the second millimeter-wave radar 5. Therefore, a high-precision reference point is extracted.
  • high-precision reference point extracting section 122a estimates the shape of the vehicle V n from detected regarding the vehicle V n, a detection point corresponding the estimated shape the edge of the vehicle V n as a precision reference point Extract.
  • the "edge” referred to here is the end point farthest from the central portion of the shape of the vehicle V n , in other words, the end point closest to the own vehicle V s .
  • the low-precision reference point extraction unit 122b has measured the measurement results of the first millimeter-wave radar 3 and the second millimeter-wave radar 5. Therefore, a low-precision reference point is extracted.
  • the low-precision reference point extraction unit 122b extracts the most reliable detection point among the detection points related to the vehicle Vf as the low-precision reference point.
  • the reliability depends on the reflection intensity at each detection point, and the detection point having the highest reflection intensity among the detection points related to the vehicle Vf is extracted as the low accuracy reference point.
  • the low-precision reference point includes ambiguity for the vehicle width w.
  • the vehicle width w is, for example, about 1.5 to 2.0 m.
  • the extraction unit 122 outputs each extracted reference point to the generation unit 123.
  • the generation unit 123 generates a calibration parameter between the first millimeter wave radar 3 and the second millimeter wave radar 5 based on each reference point output from the extraction unit 122.
  • the generation unit 123 stores the generated calibration parameter in the parameter information 111 and outputs it to the ECU 20.
  • the evaluation unit 124 measures both of the first millimeter-wave radar 3 and the second millimeter-wave radar 5 by projecting the measurement result of one of the first millimeter-wave radar 3 and the second millimeter-wave radar 5 onto the other coordinate system using the calibration parameter of the parameter information 111. Evaluate the resulting error.
  • the evaluation unit 124 determines whether or not the error of the measurement results of both radars 3 and 5 when projected onto the same coordinate system is out of the allowable range based on the allowable range information 112. Then, when the error is out of the permissible range, the evaluation unit 124 causes the extraction unit 122 to re-extract each reference point based on the acquisition result of the acquisition unit 121, and causes the generation unit 123 to regenerate the calibration parameter.
  • FIG. 8 is a flowchart showing a processing procedure of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • FIG. 9 is a flowchart showing a processing procedure of the calibration parameter generation process shown in FIG.
  • the acquisition unit 121 acquires the measurement results of both radars 3 and 5 (step S101). Then, it is determined whether or not a predetermined calibration cycle has arrived (step S102).
  • the evaluation unit 124 subsequently determines whether or not the error in the measurement results of both radars 3 and 5 is out of the allowable range (step). S103).
  • step S103, No the control unit 12 repeats the process from step S101.
  • step S102 when the calibration cycle has arrived (step S102, Yes), or when the error is out of the allowable range (step S103, Yes), the calibration parameter generation process is executed (step S103).
  • control unit 12 repeats the process from step S101.
  • the extraction unit 122 determines whether or not at least four or more other vehicles V n and V f exist within the viewing angles of both radars 3 and 5 (as shown in FIG. 9). Step S201).
  • step S201 when 4 or more other vehicles V n and V f do not exist (step S201, No), the acquisition unit 121 acquires the measurement results of both radars 3 and 5 (step S202), and processes from step S201. repeat.
  • the extraction unit 122 extracts a high-precision reference point from the short-distance vehicle and a low-precision reference point from the long-distance vehicle, respectively.
  • Step S203 As in urban, other vehicles V n, when V f satisfies there are many, the measurement result reliability, the vehicle V s and other vehicles V n, the positional relationship between the V f, the vehicle V s and other Select any at least four other vehicles V n , V f that are easy to use as a reference point depending on the relative speed with the vehicles V n , V f, and the like.
  • the generation unit 123 generates a calibration parameter based on each extracted reference point (step S204). Then, the generation unit 123 outputs the generated calibration parameter to the ECU 20, and ends one calibration parameter generation process.
  • the in-vehicle sensor is, for example, a millimeter-wave radar, but the present invention is not limited to this example.
  • Vehicle sensors for example, LiDAR reading the three-dimensional structure of the surroundings of the host vehicle V s (Light Detection and Ranging, Laser Imaging Detection and Ranging) may be.
  • LiDAR detects the distance and relative velocity to a surrounding object by irradiating a surrounding object with a laser beam such as an infrared laser and measuring the time until it is reflected and returned.
  • the information processing apparatus 10 can perform calibration between LiDAR using the information of other vehicles V n and V f acquired by LiDAR as a detection point.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • the extraction unit 122 and the generation unit 123 shown in FIG. 4 may be integrated.
  • FIG. 10 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the information processing apparatus 10.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600.
  • Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by such a program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, CAN, the Internet, etc.).
  • an external network 1550 for example, CAN, the Internet, etc.
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as MO (Magneto-Optical disk)
  • tape medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • MO Magneto-optical disk
  • the CPU 1100 of the computer 1000 realizes the function of the control unit 12 by executing the information processing program loaded on the RAM 1200.
  • the information processing program according to the present disclosure and the data in the storage unit 11 are stored in the HDD 1400.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • part or all configurations of the information processing apparatus 10 a CPU mounted on the vehicle V s, other processors, such as ECU, may be provided in an external device such as a cloud server.
  • an external device such as a cloud server
  • the measurement results of multiple sensors are transmitted to the external device via the external network 1550, and the processing results executed by the external device are acquired via the external network 1550. do.
  • the information processing apparatus 10 the vehicle V s first millimeter wave radar 3 and a mounted (corresponding to an example of "one mobile device") 2 mm wave radar 5 (corresponding to an example of “multiple sensors”)
  • Other vehicles V n , V f an example of “other mobile devices” other than the own vehicle V s extracted from the measurement results obtained from each.
  • a generation unit 123 which generates calibration parameters between the radars 3 and 5, is provided with the reference point (corresponding to). As a result, calibration can be performed without being affected by the presence or absence of map information or changes in the environment, and without depending on the position and posture of the mobile device itself.
  • the present technology can also have the following configurations.
  • a generator that generates calibration parameters between the sensors using a mobile device other than the one mobile device extracted from the measurement results acquired from each of the plurality of sensors mounted on the one mobile device as a reference point.
  • the generator is The reference point is at least 4 or more of the other mobile devices.
  • the generator is The reference point is at least one or more of the other mobile devices existing within a predetermined distance from the one mobile device.
  • the generator is Generate the calibration parameters for the 6-axis orientation of the sensor.
  • the generator is Different reference points are set according to the distance from the one mobile device to the other mobile device.
  • the information processing apparatus is for the other mobile device existing within a predetermined distance, the detection point corresponding to the edge of the other mobile device among the detection points of the sensor related to the other mobile device is set as the reference point. , The information processing apparatus according to (5) above. (7) The generator is For the other mobile device farther than a predetermined distance, the most reliable detection point among the detection points of the sensor related to the other mobile device is set as the reference point. The information processing apparatus according to (5) or (6) above. (8) The reliability depends on the reflection intensity at the detection point. The information processing apparatus according to (7) above. (9) The generator is Generate the calibration parameters in a predetermined cycle, The information processing apparatus according to any one of (1) to (8).
  • the generator is If the error in the measurement result by each of the sensors is out of a predetermined tolerance, the calibration parameter is generated.
  • the information processing apparatus according to any one of (1) to (9).
  • (11) The one sensor and the other sensor by projecting the measurement result of one of the plurality of sensors onto the coordinate system of another sensor other than the one sensor by using the calibration parameter. Further equipped with an evaluation unit for evaluating the error of the measurement result of the above, The generator is When the evaluation unit determines that the error is out of the permissible range, the calibration parameter is generated.
  • the other mobile device is an object that is moving relative to the one mobile device.
  • the other moving device is a moving object.
  • the information processing apparatus according to (12) above.
  • the sensor is a millimeter wave radar.
  • the information processing apparatus according to any one of (1) to (13).
  • the moving device is a vehicle.
  • the information processing apparatus according to any one of (1) to (14).
  • (16) Generating calibration parameters between the sensors using a mobile device other than the one mobile device extracted from the measurement results obtained from each of the plurality of sensors mounted on the one mobile device as a reference point.
  • Information processing methods including.
  • An information processing program that executes.
  • Information processing system 3 1st millimeter wave radar 5 2nd millimeter wave radar 10 Information processing device 111 Parameter information 112 Allowable range information 121 Acquisition unit 122 Extraction unit 122a High precision reference point extraction unit 122b Low precision reference point extraction unit 123 Generation unit 124 Evaluation unit 20 ECU

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

情報処理装置（１０）は、自車両（Ｖｓ）（「一の移動装置」の一例に相当）に搭載された第１ミリ波レーダ（３）および第２ミリ波レーダ（５）（「複数のセンサ」の一例に相当）それぞれから取得された測定結果から抽出される自車両（Ｖｓ）以外の他の車両（Ｖｎ），（Ｖｆ）（「他の移動装置」の一例に相当）を基準点として、両レーダ（３），（５）間のキャリブレーションパラメータを生成する生成部（１２３）、を備える。

Description

情報処理装置、情報処理方法および情報処理プログラム
　本開示は、情報処理装置、情報処理方法および情報処理プログラムに関する。
　近年、自動運転や運転支援に必要な情報を検知することを目的として、複数の車載センサから取得される情報を組み合わせることで、単体の車載センサより高い検知精度を得るための技術が検討されている。
　ここで、複数の車載センサから取得される情報を組み合わせて利用する際、車載センサ間の相対的な配置関係を正確に把握できていないと、組み合わせた情報の精度に低下が生じてしまう。この点に鑑み、例えば地図情報を基準として車載センサのキャリブレーションを行う技術などが提案されている。
特開２０１８－０９６７１５号公報
　しかしながら、上述した従来技術を用いた場合、地図情報を基準とするため、該当する地図情報が存在しない領域ではキャリブレーションを行うことができない。また、該当する地図情報が存在しても、工事や災害等による環境の変化により地図情報との間に乖離が生じている領域では、やはりキャリブレーションを行うことができない。
　また、地図情報との間に乖離が生じていない領域であったとしても、キャリブレーションを精度よく行うためには、そもそも自車両の位置および姿勢を精度よく推定する必要がある。
　そこで、本開示では、地図情報の存否や環境の変化に影響されることなく、また、移動装置自体の位置および姿勢に依ることなく、キャリブレーションを行うことができる情報処理装置、情報処理方法および情報処理プログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、一の移動装置に搭載された複数のセンサそれぞれから取得された測定結果から抽出される前記一の移動装置以外の他の移動装置を基準点として、前記センサ間のキャリブレーションパラメータを生成する生成部と、を備える。
本開示の実施形態に係る情報処理方法の概要説明図である。 キャリブレーションパラメータの説明図である。 本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係る情報処理装置の構成例を示すブロック図である。 抽出処理の説明図（その１）である。 抽出処理の説明図（その２）である。 抽出処理の説明図（その３）である。 本開示の実施形態に係る情報処理装置の処理手順を示すフローチャートである。 図８に示すキャリブレーションパラメータ生成処理の処理手順を示すフローチャートである。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．本開示の実施形態の概要
　　２．情報処理システムの構成
　　　２－１．全体構成
　　　２－２．情報処理装置の構成
　　３．情報処理装置の処理手順
　　４．変形例
　　　４－１．第１の変形例
　　　４－２．第２の変形例
　　　４－３．第３の変形例
　　　４－４．その他の変形例
　　５．ハードウェア構成
　　６．むすび
＜＜１．本開示の実施形態の概要＞＞
　図１は、本開示の実施形態に係る情報処理方法の概要説明図である。また、図２は、キャリブレーションパラメータの説明図である。
　本開示の実施形態に係る情報処理方法は、移動装置に搭載された複数のセンサのキャリブレーションに関する。図１に示すように、移動装置は、例えば車両である。センサは、車両に搭載された車載センサであり、例えばミリ波レーダである。
　実施形態に係る情報処理は、車両Ｖｓに搭載される情報処理装置１０によって実行される。なお、以下では、車両Ｖｓについては、「自車両Ｖｓ」と称する場合がある。
　ところで、複数の車載センサから取得される情報を組み合わせて利用する情報処理システムにおいては、車載センサ間の相対的な配置関係、すなわち相対位置および相対角度が正確に把握されていなければ、情報を組み合わせた際の精度に低下が生じてしまう。
　一方で、車載センサのような車載部品は、経年変化や振動等により、取り付け位置や取り付け角度等が当初から変化してしまうことがある。このため、車両の走行中等に適宜キャリブレーションを行って、車載センサ間の相対的な配置関係を常に正確に把握しておくことが好ましい。
　こうした車載センサのキャリブレーションを行う既存技術しては、例えば地図情報を基準としてキャリブレーションを行うものが知られている。しかしながら、かかる既存技術によれば、地図情報を基準とするため、該当する地図情報が存在しない領域ではキャリブレーションを行うことができない。
　また、該当する地図情報が存在しても、工事や災害等による環境の変化により地図情報との間に乖離が生じている領域では、やはりキャリブレーションを行うことができない。また、地図情報との間に乖離が生じていない領域であったとしても、キャリブレーションを精度よく行うためには、そもそも自車両Ｖｓの位置および姿勢を精度よく推定する必要がある。
　そこで、実施形態に係る情報処理方法では、自車両Ｖｓに搭載された複数のセンサそれぞれから取得された測定結果から抽出される自車両Ｖｓ以外の他の車両を基準点として、センサ間のキャリブレーションパラメータを生成することとした。以下では基準点として、他の車両を例に挙げて説明をするが、これは車両に限られたものではなく、例えばバイクや自転車、歩行者などであってもよい。これらを基準点とする場合には、車両を比較し小さいため、車両のように車幅を考慮することなく基準点として設定をすることが可能である。
　すなわち、実施形態に係る情報処理方法では、自車両Ｖｓ以外の走行中の他の車両をキャリブレーションの基準とすることで、自車両Ｖｓの位置および姿勢を用いることなく、センサの情報のみから直接センサ間のキャリブレーションを行う。具体的には、それぞれのセンサで、走行中の他の車両をターゲットとし、両センサからの視え方が同じになるように、センサ間の相対位置と相対角度とを推定する。
　より具体的には、図１に示すように、実施形態に係る情報処理方法では、情報処理装置１０が、自車両Ｖｓの走行中に、例えば自車両Ｖｓに搭載された第１ミリ波レーダ３および第２ミリ波レーダ５の間のキャリブレーションパラメータを生成する。なお、第１ミリ波レーダ３および第２ミリ波レーダ５については、以下、「両レーダ３，５」と称する場合がある。
　ここで、両レーダ３，５間のキャリブレーションパラメータは、両レーダ３，５間の相対位置および相対角度を示す６軸に関するパラメータである。
　具体的には、図２に示すように、キャリブレーションパラメータは、両レーダ３，５それぞれのｘ方向、ｙ方向、ｚ方向およびこれら３軸まわりのｒｏｌｌ角、ｐｉｔｃｈ角、ｙａｗ角の各相対量である、Δｘ、Δｙ、Δｚ、Δｒｏｌｌ、Δｐｉｔｃｈ、Δｙａｗである。かかる６個の未知変数は、両レーダ３，５から同時に検出可能な点が４点あれば算出することが可能である。
　図１の説明に戻る。そこで、実施形態に係る情報処理方法では、図１に示すように、情報処理装置１０は、例えば所定のキャリブレーション周期の到来時において、両レーダ３，５が同時に少なくとも４以上の他の車両Ｖｎ，Ｖｆを検出したか否かを判定する（ステップＳ１）。
　そして、情報処理装置１０は、少なくとも４以上の他の車両Ｖｎ，Ｖｆが検出された場合に、これらの車両Ｖｎ，Ｖｆを基準点として、両レーダ３，５間のキャリブレーションパラメータを生成する（ステップＳ２）。
　このとき、情報処理装置１０は、自車両Ｖｓから遠い距離にある他の車両Ｖｆについては、かかる車両Ｖｆの検出点のうちの例えば信頼度の高い一つを「低精度基準点」として取り扱う。一方で、情報処理装置１０は、自車両Ｖｓから近い距離にある他の車両Ｖｎについては、かかる車両Ｖｎの検出点のうちの車両Ｖｎのエッジに相当する一つを「高精度基準点」として取り扱う。
　例えば、遠い距離にある他の車両Ｖｆについては、その検出点は、レーダの分解能上、物体のどこから反射して来ているか識別することは困難である。したがって、「低精度基準点」は、少なくとも車両Ｖｆの車幅分の曖昧さを含むこととなる。
　ただし、近い距離にある他の車両Ｖｎについては、車両Ｖｎの形状まで取得することが可能である。したがって、情報処理装置１０は、かかる車両Ｖｎのエッジを「高精度基準点」として利用することで、「低精度基準点」による曖昧さを回避し、キャリブレーションの精度を担保する。
　なお、こうした各基準点の抽出処理については、図５～図７を用いた説明で後述する。また、以下では、他の車両Ｖｎについては、「近距離車両」と称する場合がある。同じく、他の車両Ｖｆについては、「遠距離車両」と称する場合がある。
　そして、情報処理装置１０は、生成したキャリブレーションパラメータを、例えば車両Ｖｓに搭載されたＥＣＵ（Electronic　Control　Unit）へと出力する。そして、ＥＣＵは、情報処理装置１０から出力されたキャリブレーションパラメータを用いて、第１ミリ波レーダ３および第２ミリ波レーダ５それぞれの測定結果を補正しつつ組み合わせ、例えば自動運転や運転支援等に関する車両制御等を実行することとなる。
　このように、実施形態に係る情報処理方法では、自車両Ｖｓに搭載された第１ミリ波レーダ３および第２ミリ波レーダ５それぞれから取得された測定結果から抽出される自車両Ｖｓ以外の他の車両Ｖｎ，Ｖｆを基準点として、両レーダ３，５間のキャリブレーションパラメータを生成することとした。
　したがって、実施形態に係る情報処理方法によれば、地図情報の存否や環境の変化に影響されることなく、また、自車両Ｖｓの位置および姿勢に依ることなく、キャリブレーションを行うことができる。
　なお、上述した説明では、例えば所定のキャリブレーション周期の到来時においてキャリブレーションを行うこととしたが、これに限られるものではない。例えばキャリブレーションの実施後に、自車両Ｖｓの走行中にキャリブレーションパラメータを用いて一方のレーダの測定結果を他方のレーダの座標系へ投射し、かかる座標系における誤差を評価して、誤差が許容範囲外であれば改めてキャリブレーションを行うようにしてもよい。かかる例については、図８を用いた説明で後述する。
　以下、上述した実施形態に係る情報処理方法を適用した情報処理システム１の構成例について、より具体的に説明する。
＜＜２．情報処理システムの構成＞＞
＜２－１．全体構成＞
　まず、情報処理システム１の全体構成について説明する。図３は、本開示の実施形態に係る情報処理システム１の構成例を示す図である。図３に示すように、情報処理システム１は、第１ミリ波レーダ３と、第２ミリ波レーダ５と、情報処理装置１０と、ＥＣＵ２０とを含む。
　第１ミリ波レーダ３および第２ミリ波レーダ５は、例えば自車両Ｖｓのフロント部の左右両端付近に設けられる測距センサである。
　情報処理装置１０は、第１ミリ波レーダ３および第２ミリ波レーダ５それぞれから取得された測定結果から抽出される自車両Ｖｓ以外の他の車両Ｖｎ，Ｖｆを基準点として、両レーダ３，５間のキャリブレーションパラメータを生成する装置である。
　ＥＣＵ２０は、情報処理装置１０によって生成されたキャリブレーションパラメータを用いて、第１ミリ波レーダ３および第２ミリ波レーダ５それぞれの測定結果を補正しつつ組み合わせ、例えば自動運転や運転支援等に関する車両制御等を実行する装置である。
　第１ミリ波レーダ３、第２ミリ波レーダ５、情報処理装置１０およびＥＣＵ２０は、例えばＣＡＮ（Controller　Area　Network）等の車載ネットワークを介して相互通信可能に接続される。なお、車載ネットワークの接続形態は、有線および無線を問わない。
　また、図３には、第１ミリ波レーダ３および第２ミリ波レーダ５の２つのミリ波レーダを示しているが、ミリ波レーダの個数を限定するものではなく、３以上であってもよい。また、同じくＥＣＵ２０は複数個であってもよい。
＜２－２．情報処理装置の構成＞
　次に、情報処理装置１０の構成例について説明する。図４は、本開示の実施形態に係る情報処理装置１０の構成例を示すブロック図である。なお、図４では、本実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。
　換言すれば、図４に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
　また、図４を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。
　図４に示すように、情報処理装置１０は、記憶部１１と、制御部１２とを備える。記憶部１１は、例えば、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図４に示す例では、記憶部１１は、パラメータ情報１１１と、許容範囲情報１１２とを記憶する。
　パラメータ情報１１１は、後述する生成部１２３によって生成されるキャリブレーションパラメータを含む情報である。許容範囲情報１１２は、キャリブレーションパラメータを用いて同じ座標系に投射した場合の、第１ミリ波レーダ３および第２ミリ波レーダ５それぞれの測定結果の誤差の許容範囲を規定する情報であり、閾値等を含む。
　制御部１２は、コントローラ（controller）であり、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、記憶部１１に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現することができる。
　制御部１２は、取得部１２１と、抽出部１２２と、生成部１２３と、評価部１２４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
　取得部１２１は、第１ミリ波レーダ３および第２ミリ波レーダ５それぞれの測定結果を取得する。また、取得部１２１は、取得した測定結果を抽出部１２２および評価部１２４へ出力する。
　抽出部１２２は、取得部１２１から出力された測定結果に基づき、両レーダ３，５の視野角内に同時に少なくとも４以上の他の車両Ｖｎ，Ｖｆが検出される場合に、上述した高精度基準点および低精度基準点を抽出する。
　抽出部１２２は、高精度基準点抽出部１２２ａと、低精度基準点抽出部１２２ｂとを有する。高精度基準点抽出部１２２ａは、高精度基準点を抽出する。低精度基準点抽出部１２２ｂは、低精度基準点を抽出する。
　ここで、抽出部１２２が実行する抽出処理について、図５～図７を用いてより具体的に説明する。図５は、抽出処理の説明図（その１）である。また、図６は、抽出処理の説明図（その２）である。また、図７は、抽出処理の説明図（その３）である。
　図５に示すように、抽出部１２２は、取得部１２１から出力された測定結果に基づいて、まず自車両Ｖｓから所定の距離ｄ以内に少なくとも一部が存在する他の車両Ｖｎを「近距離車両」として特定する。距離ｄは、例えば１０ｍである。
　また、抽出部１２２は、自車両Ｖｓから所定の距離ｄより遠くに存在する他の車両Ｖｆを「遠距離車両」として特定する。
　そして、図６に示すように、「近距離車両」である他の車両Ｖｎについては、高精度基準点抽出部１２２ａが、第１ミリ波レーダ３および第２ミリ波レーダ５それぞれの測定結果につき、高精度基準点を抽出する。
　具体的には、高精度基準点抽出部１２２ａは、車両Ｖｎに関する検出点から車両Ｖｎの形状を推定し、推定した形状から車両Ｖｎのエッジに相当する検出点を高精度基準点として抽出する。
　なお、ここにいう「エッジ」は、車両Ｖｎの形状の中央部から最も遠い端点であり、言い換えれば自車両Ｖｓに対し最も近い端点である。図６の例の場合、略Ｌ字状で表される車両Ｖｎの輪郭Ｏの角部に相当する。
　また、図７に示すように、「遠距離車両」である他の車両Ｖｆについては、低精度基準点抽出部１２２ｂが、第１ミリ波レーダ３および第２ミリ波レーダ５それぞれの測定結果につき、低精度基準点を抽出する。
　具体的には、低精度基準点抽出部１２２ｂは、車両Ｖｆに関する検出点のうち、最も信頼度の高い検出点を低精度基準点として抽出する。図７の例の場合、信頼度は各検出点における反射強度に依り、車両Ｖｆに関する検出点のうち、最も反射強度の高い検出点が低精度基準点として抽出される。なお、上述したように、低精度基準点は、車幅ｗ分の曖昧さを含む。車幅ｗは、例えば１．５～２．０ｍ程度である。
　図４の説明に戻る。また、抽出部１２２は、抽出した各基準点を生成部１２３へ出力する。生成部１２３は、抽出部１２２から出力された各基準点に基づいて、第１ミリ波レーダ３および第２ミリ波レーダ５間のキャリブレーションパラメータを生成する。
　また、生成部１２３は、生成したキャリブレーションパラメータをパラメータ情報１１１へ格納するとともに、ＥＣＵ２０へ出力する。
　評価部１２４は、パラメータ情報１１１のキャリブレーションパラメータを用いて、第１ミリ波レーダ３および第２ミリ波レーダ５のうちの一方の測定結果を他方の座標系へ投射することによって、双方の測定結果の誤差を評価する。
　具体的には、評価部１２４は、許容範囲情報１１２に基づいて、同じ座標系に投射した場合の両レーダ３，５それぞれの測定結果の誤差が許容範囲外であるか否かを判定する。そして、評価部１２４は、誤差が許容範囲外である場合に、取得部１２１の取得結果に基づいて抽出部１２２に各基準点を再抽出させ、生成部１２３にキャリブレーションパラメータを再生成させる。
＜＜３．情報処理装置の処理手順＞＞
　次に、実施形態に係る情報処理装置１０が実行する処理手順について、図８および図９を用いて説明する。図８は、本開示の実施形態に係る情報処理装置１０の処理手順を示すフローチャートである。また、図９は、図８に示すキャリブレーションパラメータ生成処理の処理手順を示すフローチャートである。
　図８に示すように、まず取得部１２１が、両レーダ３，５の測定結果を取得する（ステップＳ１０１）。そして、所定のキャリブレーション周期が到来しているか否かが判定される（ステップＳ１０２）。
　ここで、キャリブレーション周期が到来していない場合（ステップＳ１０２，Ｎｏ）、つづいて評価部１２４が、両レーダ３，５の測定結果の誤差が許容範囲外であるか否かを判定する（ステップＳ１０３）。
　そして、誤差が許容範囲外でない場合（ステップＳ１０３，Ｎｏ）、制御部１２は、ステップＳ１０１からの処理を繰り返す。
　一方、キャリブレーション周期が到来している場合（ステップＳ１０２，Ｙｅｓ）、または、誤差が許容範囲外である場合（ステップＳ１０３，Ｙｅｓ）、キャリブレーションパラメータ生成処理が実行される（ステップＳ１０３）。
　そして、キャリブレーションパラメータ生成処理が実行された後、制御部１２は、ステップＳ１０１からの処理を繰り返す。
　キャリブレーションパラメータ生成処理では、図９に示すように、抽出部１２２が、両レーダ３，５の視野角内に他の車両Ｖｎ，Ｖｆが少なくとも４以上存在するか否かを判定する（ステップＳ２０１）。
　ここで、他の車両Ｖｎ，Ｖｆが４以上存在しない場合（ステップＳ２０１，Ｎｏ）、取得部１２１が、両レーダ３，５の測定結果を取得し（ステップＳ２０２）、ステップＳ２０１からの処理を繰り返す。
　一方、他の車両Ｖｎ，Ｖｆが４以上存在する場合（ステップＳ２０１，Ｙｅｓ）、抽出部１２２が、近距離車両から高精度基準点を、遠距離車両から低精度基準点を、それぞれ抽出する（ステップＳ２０３）。市街地のように、他の車両Ｖｎ，Ｖｆが多数存在する場合には、測定結果の信頼度、車両Ｖｓと他の車両Ｖｎ，Ｖｆとの位置関係、車両Ｖｓと他の車両Ｖｎ，Ｖｆとの相対速度等により基準点としやすい任意の少なくとも４つの他の車両Ｖｎ，Ｖｆを選択する。
　そして、生成部１２３が、抽出された各基準点に基づいて、キャリブレーションパラメータを生成する（ステップＳ２０４）。そして、生成部１２３が、生成したキャリブレーションパラメータをＥＣＵ２０へ出力し、一回のキャリブレーションパラメータ生成処理を終了する。
＜＜４．変形例＞＞
　なお、上述してきた実施形態には、いくつかの変形例を挙げることができる。
＜４－１．第１の変形例＞
　上述した実施形態では、車載センサは、例えばミリ波レーダであることとしたが、かかる例に限定されるものではない。車載センサは、例えば、自車両Ｖｓの周辺環境の三次元的な構造を読み取るＬｉＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）であってもよい。ＬｉＤＡＲは、赤外線レーザー等のレーザー光線を周囲の物体に照射し、反射して戻るまでの時間を計測することにより、周囲にある物体までの距離や相対速度を検知する。情報処理装置１０は、ＬｉＤＡＲにより取得される他の車両Ｖｎ，Ｖｆの情報を検出点として、ＬｉＤＡＲ間のキャリブレーションを行うことができる。
＜４－２．第２の変形例＞
　また、上述した実施形態の各図では、車両Ｖｓ，Ｖｎ，Ｖｆのいずれもが乗用車である例を示したが、車両は例えばオートバイであってもよい。オートバイである場合、車幅ｗ分の曖昧さが軽減されるため、キャリブレーションの精度をより高めることが可能となる。
＜４－３．第３の変形例＞
　また、上述した実施形態では、他の車両Ｖｎ，Ｖｆもまた走行中である例を挙げたが、他の車両Ｖｎ，Ｖｆは、自車両Ｖｓに対し相対的に移動していればよい。このため、他の車両Ｖｎ，Ｖｆは、走行中の自車両Ｖｓに対し、例えば駐停車中であってもよい。
＜４－４．その他の変形例＞
　また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、図４に示した抽出部１２２および生成部１２３は統合されてもよい。
　また、上記してきた実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、本実施形態のシーケンス図或いはフローチャートに示された各ステップは、適宜順序を変更することが可能である。
＜＜５．ハードウェア構成＞＞
　上述してきた実施形態に係る情報処理装置１０は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。図１０は、情報処理装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばＣＡＮやインターネット等）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１２の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１１内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。また、情報処理装置１０の一部又は全部の構成は、車両Ｖｓに搭載されたＣＰＵ、ＥＣＵなどのプロセッサの他、クラウドサーバなどの外部装置に備えられてもよい。クラウドサーバなどの外部装置によって実行される場合、外部ネットワーク１５５０を介して、複数のセンサの測定結果を外部装置に送信し、外部装置によって実行された処理の結果を、外部ネットワーク１５５０を介して取得する。
＜＜６．むすび＞＞
　以上説明したように、本開示の一実施形態によれば、情報処理装置１０は、自車両Ｖｓ（「一の移動装置」の一例に相当）に搭載された第１ミリ波レーダ３および第２ミリ波レーダ５（「複数のセンサ」の一例に相当）それぞれから取得された測定結果から抽出される自車両Ｖｓ以外の他の車両Ｖｎ，Ｖｆ（「他の移動装置」の一例に相当）を基準点として、両レーダ３，５間のキャリブレーションパラメータを生成する生成部１２３、を備える。これにより、地図情報の存否や環境の変化に影響されることなく、また、移動装置自体の位置および姿勢に依ることなく、キャリブレーションを行うことができる。
　以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　一の移動装置に搭載された複数のセンサそれぞれから取得された測定結果から抽出される前記一の移動装置以外の他の移動装置を基準点として、前記センサ間のキャリブレーションパラメータを生成する生成部、
　を備える、情報処理装置。
（２）
　前記生成部は、
　少なくとも４以上の前記他の移動装置を前記基準点とする、
　前記（１）に記載の情報処理装置。
（３）
　前記生成部は、
　前記一の移動装置から所定の距離以内に存在する少なくとも１以上の前記他の移動装置を前記基準点とする、
　前記（２）に記載の情報処理装置。
（４）
　前記生成部は、
　前記センサの６軸方向に関する前記キャリブレーションパラメータを生成する、
　前記（２）または（３）に記載の情報処理装置。
（５）
　前記生成部は、
　前記一の移動装置から前記他の移動装置までの距離に応じて異なる前記基準点を設定する、
　前記（１）～（４）のいずれか一つに記載の情報処理装置。
（６）
　前記生成部は、
　所定の距離以内に存在する前記他の移動装置に対しては、当該他の移動装置に関する前記センサの検出点のうち、当該他の移動装置のエッジに相当する前記検出点を前記基準点とする、
　前記（５）に記載の情報処理装置。
（７）
　前記生成部は、
　所定の距離より遠い前記他の移動装置に対しては、当該他の移動装置に関する前記センサの検出点のうち、最も信頼度の高い前記検出点を前記基準点とする、
　前記（５）または（６）に記載の情報処理装置。
（８）
　前記信頼度は、前記検出点における反射強度による、
　前記（７）に記載の情報処理装置。
（９）
　前記生成部は、
　所定の周期で前記キャリブレーションパラメータを生成する、
　前記（１）～（８）のいずれか一つに記載の情報処理装置。
（１０）
　前記生成部は、
　前記センサのそれぞれによる前記測定結果の誤差が所定の許容範囲外である場合に、前記キャリブレーションパラメータを生成する、
　前記（１）～（９）のいずれか一つに記載の情報処理装置。
（１１）
　前記キャリブレーションパラメータを用いて、複数の前記センサのうちの一のセンサの前記測定結果を前記一のセンサ以外の他のセンサの座標系へ投射することによって、前記一のセンサおよび前記他のセンサの前記測定結果の誤差を評価する評価部
　をさらに備え、
　前記生成部は、
　前記評価部によって前記誤差が前記許容範囲外であると判定された場合に、前記キャリブレーションパラメータを生成する、
　前記（１０）に記載の情報処理装置。
（１２）
　前記他の移動装置は、前記一の移動装置に対して相対的に移動中の物体である、
　前記（１）～（１１）のいずれか一つに記載の情報処理装置。
（１３）
　前記他の移動装置は、走行中の物体である、
　前記（１２）に記載の情報処理装置。
（１４）
　前記センサは、ミリ波レーダである、
　前記（１）～（１３）のいずれか一つに記載の情報処理装置。
（１５）
　前記一の移動装置は、車両である、
　前記（１）～（１４）のいずれか一つに記載の情報処理装置。
（１６）
　一の移動装置に搭載された複数のセンサそれぞれから取得された測定結果から抽出される前記一の移動装置以外の他の移動装置を基準点として、前記センサ間のキャリブレーションパラメータを生成すること、
　を含む、情報処理方法。
（１７）
　コンピュータに、
　一の移動装置に搭載された複数のセンサそれぞれから取得された測定結果から抽出される前記一の移動装置以外の他の移動装置を基準点として、前記センサ間のキャリブレーションパラメータを生成すること、
　を実行させる、情報処理プログラム。
　１　情報処理システム
　３　第１ミリ波レーダ
　５　第２ミリ波レーダ
　１０　情報処理装置
　１１１　パラメータ情報
　１１２　許容範囲情報
　１２１　取得部
　１２２　　抽出部
　１２２ａ　高精度基準点抽出部
　１２２ｂ　低精度基準点抽出部
　１２３　生成部
　１２４　評価部
　２０　ＥＣＵ

Claims (17)

  1. 　一の移動装置に搭載された複数のセンサそれぞれから取得された測定結果から抽出される前記一の移動装置以外の他の移動装置を基準点として、前記センサ間のキャリブレーションパラメータを生成する生成部、
    　を備える、情報処理装置。
  2. 　前記生成部は、
    　少なくとも４以上の前記他の移動装置を前記基準点とする、
    　請求項１に記載の情報処理装置。
  3. 　前記生成部は、
    　前記一の移動装置から所定の距離以内に存在する少なくとも１以上の前記他の移動装置を前記基準点とする、
    　請求項２に記載の情報処理装置。
  4. 　前記生成部は、
    　前記センサの６軸方向に関する前記キャリブレーションパラメータを生成する、
    　請求項２に記載の情報処理装置。
  5. 　前記生成部は、
    　前記一の移動装置から前記他の移動装置までの距離に応じて異なる前記基準点を設定する、
    　請求項１に記載の情報処理装置。
  6. 　前記生成部は、
    　所定の距離以内に存在する前記他の移動装置に対しては、当該他の移動装置に関する前記センサの検出点のうち、当該他の移動装置のエッジに相当する前記検出点を前記基準点とする、
    　請求項５に記載の情報処理装置。
  7. 　前記生成部は、
    　所定の距離より遠い前記他の移動装置に対しては、当該他の移動装置に関する前記センサの検出点のうち、最も信頼度の高い前記検出点を前記基準点とする、
    　請求項５に記載の情報処理装置。
  8. 　前記信頼度は、前記検出点における反射強度に依る、
    　請求項７に記載の情報処理装置。
  9. 　前記生成部は、
    　所定の周期で前記キャリブレーションパラメータを生成する、
    　請求項１に記載の情報処理装置。
  10. 　前記生成部は、
    　前記センサのそれぞれによる前記測定結果の誤差が所定の許容範囲外である場合に、前記キャリブレーションパラメータを生成する、
    　請求項１に記載の情報処理装置。
  11. 　前記キャリブレーションパラメータを用いて、複数の前記センサのうちの一のセンサの前記測定結果を前記一のセンサ以外の他のセンサの座標系へ投射することによって、前記一のセンサおよび前記他のセンサの前記測定結果の誤差を評価する評価部
    　をさらに備え、
    　前記生成部は、
    　前記評価部によって前記誤差が前記許容範囲外であると判定された場合に、前記キャリブレーションパラメータを生成する、
    　請求項１０に記載の情報処理装置。
  12. 　前記他の移動装置は、前記一の移動装置に対して相対的に移動中の物体である、
    　請求項１に記載の情報処理装置。
  13. 　前記他の移動装置は、走行中の物体である、
    　請求項１２に記載の情報処理装置。
  14. 　前記センサは、ミリ波レーダである、
    　請求項１に記載の情報処理装置。
  15. 　前記一の移動装置は、車両である、
    　請求項１に記載の情報処理装置。
  16. 　一の移動装置に搭載された複数のセンサそれぞれから取得された測定結果から抽出される前記一の移動装置以外の他の移動装置を基準点として、前記センサ間のキャリブレーションパラメータを生成すること、
    　を含む、情報処理方法。
  17. 　コンピュータに、
    　一の移動装置に搭載された複数のセンサそれぞれから取得された測定結果から抽出される前記一の移動装置以外の他の移動装置を基準点として、前記センサ間のキャリブレーションパラメータを生成すること、
    　を実行させる、情報処理プログラム。
PCT/JP2021/023503 2020-07-15 2021-06-22 情報処理装置、情報処理方法および情報処理プログラム WO2022014270A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/004,679 US20230251350A1 (en) 2020-07-15 2021-06-22 Information processing device, information processing method, and information processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-121447 2020-07-15
JP2020121447 2020-07-15

Publications (1)

Publication Number Publication Date
WO2022014270A1 true WO2022014270A1 (ja) 2022-01-20

Family

ID=79555255

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023503 WO2022014270A1 (ja) 2020-07-15 2021-06-22 情報処理装置、情報処理方法および情報処理プログラム

Country Status (2)

Country Link
US (1) US20230251350A1 (ja)
WO (1) WO2022014270A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007163258A (ja) * 2005-12-13 2007-06-28 Alpine Electronics Inc 車載センサの補正装置および方法
JP2017215196A (ja) * 2016-05-31 2017-12-07 パナソニックＩｐマネジメント株式会社 レーダ装置
US20180307238A1 (en) * 2017-04-20 2018-10-25 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
JP2020067402A (ja) * 2018-10-25 2020-04-30 株式会社デンソー センサ校正方法、及びセンサ校正装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007163258A (ja) * 2005-12-13 2007-06-28 Alpine Electronics Inc 車載センサの補正装置および方法
JP2017215196A (ja) * 2016-05-31 2017-12-07 パナソニックＩｐマネジメント株式会社 レーダ装置
US20180307238A1 (en) * 2017-04-20 2018-10-25 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
JP2020067402A (ja) * 2018-10-25 2020-04-30 株式会社デンソー センサ校正方法、及びセンサ校正装置

Also Published As

Publication number Publication date
US20230251350A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
US9630625B2 (en) Apparatus and method for identifying surrounding vehicles
JP2001227982A (ja) センサシステムの校正方法
CN112130158B (zh) 对象距离测量装置和方法
US20220136823A1 (en) Estimation of the trailer position relative to truck position and articulation angle between truck and trailer using an electromagnetic or optical sensor
CN108780149B (zh) 通过传感器的间接测量来改进对机动车辆周围的至少一个物体的检测的方法，控制器，驾驶员辅助系统和机动车辆
US11408989B2 (en) Apparatus and method for determining a speed of a vehicle
EP4119977A1 (en) Method and apparatus for calibrating a vehicle-mounted lidar, vehicle and storage medium
CN114236564B (zh) 动态环境下机器人定位的方法、机器人、装置及存储介质
US10974730B2 (en) Vehicle perception system on-line diangostics and prognostics
CN111492258A (zh) 用于确定车辆所行驶的道路与测量或雷达传感器的检测方向之间的安装角度的方法和装置
WO2019171821A1 (ja) 列車位置推定装置
US11592559B2 (en) Vehicle sensor fusion
CN111806421B (zh) 车辆姿态确定系统和方法
JP2022100793A (ja) 車両走行システム、死角推定方法
US11587286B2 (en) Method of adjusting grid spacing of height map for autonomous driving
US20230094836A1 (en) Method for Detecting Moving Objects in the Surroundings of a Vehicle, and Motor Vehicle
CN112781893B (zh) 一种车载传感器性能测试数据的空间同步方法、装置及存储介质
WO2022014270A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US11828841B2 (en) Method and device for estimating the height of a reflector of a vehicle
CN110726534B (zh) 一种视觉装置视场范围测试方法及装置
KR101755514B1 (ko) 차량의 피치 각도를 산출하기 위한 장치 및 그 방법
US11449067B1 (en) Conflict resolver for a lidar data segmentation system of an autonomous vehicle
CN116182905A (zh) 激光雷达和组合惯导的时空外参标定方法、装置及系统
WO2022256976A1 (zh) 稠密点云真值数据的构建方法、系统和电子设备
JP7452374B2 (ja) 物体検知装置および物体検知プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21843519

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21843519

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP