WO2021171758A1 - 測距センサの校正システム、及び測距センサの校正方法 - Google Patents

測距センサの校正システム、及び測距センサの校正方法 Download PDF

Info

Publication number
WO2021171758A1
WO2021171758A1 PCT/JP2020/047794 JP2020047794W WO2021171758A1 WO 2021171758 A1 WO2021171758 A1 WO 2021171758A1 JP 2020047794 W JP2020047794 W JP 2020047794W WO 2021171758 A1 WO2021171758 A1 WO 2021171758A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
calibration
ranging
sensors
distance measuring
Prior art date
Application number
PCT/JP2020/047794
Other languages
English (en)
French (fr)
Inventor
制時 今川
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US17/796,161 priority Critical patent/US20230103773A1/en
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to EP20922346.0A priority patent/EP4113058A4/en
Priority to AU2020431041A priority patent/AU2020431041B2/en
Publication of WO2021171758A1 publication Critical patent/WO2021171758A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a calibration system and a calibration method of a distance measuring sensor mounted on a vehicle and measuring a distance between a vehicle and an object.
  • Patent Document 1 is known as a distance measuring system that calculates a distance between a vehicle such as an automobile or a train and another object by using a distance measuring sensor such as a stereo camera.
  • Patent Document 1 discloses a system equipped with an active range finder (ARF) that measures a distance by projection in addition to a stereo camera. Specifically, it is disclosed that the emitted light of the ARF is used as the auxiliary light of the stereo camera, and the distance measurement result of the stereo camera is corrected by using the distance measurement result of the ARF.
  • ARF active range finder
  • the distance measurement system it is required to accurately measure the distance to the object.
  • a measurement error occurs due to changes over time and changes in the environment (temperature, humidity, atmospheric pressure, etc.). Therefore, it is necessary to periodically detect the measurement error in the distance measuring sensor and calibrate the distance measuring sensor.
  • a separate ranging sensor (ARF, etc.) capable of high-precision ranging is provided separately, and a ranging sensor (stereo camera) to be calibrated based on the ranging result of the high-precision ranging means.
  • a ranging sensor stereo camera
  • Etc. It is possible to perform calibration.
  • providing a separate distance measuring means for calibration leads to an increase in cost.
  • the distance measuring possible distance may not match between the high-precision distance measuring means and the distance measuring means to be calibrated.
  • the maximum ranging range of an ARF is generally shorter than the maximum ranging range of a stereo camera. Therefore, there is a problem that the stereo camera to be calibrated cannot be calibrated over the entire ranging range.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a distance measuring sensor calibration system capable of performing calibration operations even while driving at low cost without adding a special configuration. do.
  • the calibration system for the distance measuring sensor according to the present invention is installed at least in the first direction along the traveling direction of the vehicle and in the second direction opposite to the first direction. It is provided with a plurality of distance measuring sensors configured to be capable of measuring a distance, and a calibration processing unit constituting the plurality of distance measuring sensors.
  • the calibration processing unit is measured by the distance between a plurality of calibration targets arranged in the vicinity of the traveling path of the vehicle, the distance between the plurality of distance measuring sensors, and each of the plurality of distance measuring sensors. It is configured to calibrate the plurality of ranging sensors based on the distance.
  • a plurality of distance measuring sensors are installed at least in the first direction along the traveling direction of the vehicle and in the second direction opposite to the first direction. Then, each of the plurality of distance measuring sensors calculates the distances to the plurality of calibration targets arranged in the vicinity of the traveling path of the vehicle, and the distances between the plurality of calibration targets and the plurality of measurements. It is characterized in that the plurality of distance measurement sensors are calibrated based on the distance between the distance sensors and the distance measured by each of the plurality of distance measurement sensors.
  • the present invention it is possible to provide a calibration system and a calibration method for a distance measuring sensor capable of performing a calibration operation even while traveling at low cost without using a special configuration device.
  • the operation of the calibration system 11 of the first embodiment will be described together with the calibration targets 310 and 320 that form a part of the system. It is a graph explaining the relationship between the distance to an object measured by a stereo camera, and the error (error ratio) of the measured value.
  • FIG. 1 is a block diagram showing a configuration of a calibration system 11 for a distance measuring sensor according to the first embodiment.
  • the calibration system 11 is mounted on a vehicle, for example, a railroad vehicle, as will be described later.
  • the vehicle is equipped with a plurality of stereo cameras (110, 120) as an example of the distance measuring sensor.
  • the calibration system 11 is mounted on a vehicle to perform calibration of the stereo cameras 110 and 120.
  • one of the stereo cameras 110 and 120 is arranged so as to face the traveling direction of the vehicle, and the other is arranged so as to face a direction different from the traveling direction of the vehicle (for example, the opposite direction). That is, the plurality of stereo cameras are not all arranged so as to face the traveling direction, but at least one is arranged so as to face a direction different from the traveling direction (for example, the opposite direction).
  • the calibration system 11 includes, for example, a CPU 12, an FPGA (Field Programmable Grid Array) 13, a ROM 14, a RAM 15, a communication control unit 16, and a display control unit 17 as hardware configurations.
  • the CPU 12 and the FPGA 13 are connected to the stereo cameras 110 and 120, receive the output signals of the stereo cameras 110 and 120, and are configured to enable various arithmetic processes.
  • the ROM 14 stores a calibration program that regulates the operation of the calibration system 11. By executing this calibration program, the distance calculation unit 18 and the calibration processing unit 19 are realized. Further, the RAM 15 stores the results of various operations and other data necessary for the operation.
  • the communication control unit 16 is configured to be able to control the transmission and reception of various data and commands with, for example, an external computer. Further, the display control unit 17 is configured to be able to control the display of various information including measurement results on a display or the like (not shown).
  • FIG. 2 shows an example of the schematic configuration of the stereo cameras 110 and 120.
  • the stereo cameras 110 and 120 include, for example, lenses 101, 102, image pickup devices 103, 104 (for example, a CCD camera), and a housing 105.
  • the stereo cameras 110 and 120 measure the distance to the target object according to the principle of trigonometry.
  • the stereo cameras 110 and 120 obtain the difference between the position of the pixel on which the target object is projected on one of the image sensors 103 and 104 and the position of the pixel projected on the other of the image sensors 103 and 104 as the focal length.
  • the distance to the target object is calculated based on the baseline length, focal length, and pixel pitch of the left and right image sensors. For example, in an object at infinity, the positions of the images projected on the left and right image sensors 103 and 104 are the same, and the parallax is zero.
  • FIG. 3 shows an overall image of the vehicle 200 including the arrangement positions of the stereo cameras 110 and 120.
  • the stereo cameras 110 and 120 are arranged at the frontmost portion and the rearmost portion of the vehicle 200, respectively, and are arranged so as to be able to image in opposite directions with respect to the traveling direction of the vehicle 200.
  • the stereo cameras 110 and 120 are arranged at a distance Ls, for example, when the trains constituting the vehicle 200 are arranged along a straight line.
  • the vehicle 200 may, for example, travel from right to left in FIG. 3 or conversely from left to right in FIG.
  • the stereo camera 120 facing the traveling direction measures the distance to the object.
  • the stereo camera 110 facing the traveling direction measures the distance to the object.
  • notification / warning via a display unit (display) or alarm unit (not shown) or train running is performed according to the distance measurement result of the stereo camera 110 or 120.
  • Control deceleration control or stop control
  • the stereo camera facing the opposite side of the traveling direction captures an image after the vehicle 200 has already passed, it does not provide information for preventing an accident of the vehicle 200 even if it is operating. Therefore, the stereo camera facing the side opposite to the traveling direction of the vehicle 200 (for example, the stereo camera 110 when traveling from right to left in FIG. 3) is turned off in the normal state, or is set to the standby mode. Can be left.
  • the stereo camera facing the opposite side of the traveling direction can be turned on or start the operation when performing the calibration operation described later, and can provide the distance information necessary for the calibration operation.
  • the calibration system 11 is capable of executing a calibration operation using the calibration targets 310 and 320 along the traveling path (railroad track) of the vehicle 200.
  • the calibration targets 310 and 320 are arranged at positions along the traveling path (railroad track) of the vehicle 200 with a known distance Lt.
  • the calibration targets 310 and 320 may be arranged at a position close to the railroad track, for example, a few meters away from the railroad track.
  • the distance Lt is measured in advance, and the distance data may be stored in, for example, ROM 14.
  • the calibration targets 310 and 320 may be arranged at any position on the line, but from the viewpoint of measuring the stereo cameras 110 and 120 with high accuracy and performing the calibration operation with high accuracy. It is preferably arranged on a straight road sufficiently longer than the length of the vehicle 200.
  • the principle of calibration operation in the calibration system of the first embodiment will be described with reference to FIG. It is assumed that the distance Lt between the calibration targets 310 and 320 is known, and the distance Ls between the stereo cameras 110 and 120 is known. In this situation, it is assumed that the stereo camera 110 measures the distance S1 from the stereo camera 110 to the calibration target 310, and the stereo camera 120 measures the distance S2 from the stereo camera 120 to the calibration target 320.
  • the calibration system of the first embodiment is configured to perform calibration of the stereo camera that has detected a farther distance among the stereo cameras 110 and 120 based on the measurement error ⁇ measured according to this (Equation 2). ing.
  • this point will be described with reference to FIGS. 5 to 9.
  • FIG. 5 is a graph for explaining the relationship between the distance to an object measured by a stereo camera and the error (error ratio) of the measured value.
  • the positions of the lenses 101 and 102 and the image sensors 103 and 104 may shift due to changes in temperature, humidity, and diameter (pixel shift), but this pixel shift causes a certain offset error in the parallax.
  • the error (error ratio) of the measurement distance calculated from the parallax increases as the pixel shift increases.
  • the error is small.
  • the stereo cameras 110 and 120 measure the distances S1 and S2, respectively, if S1 ⁇ S2, the measurement result (distance S1) of the stereo camera 110 has an error as compared with the stereo camera 120 (distance S2). Is considered to be small. Therefore, in the first embodiment, the measurement error ⁇ specified by the above (Equation 2) is used for calibrating the stereo camera 120 that measures a longer distance.
  • the stereo camera 120 facing the traveling direction starts the distance measurement operation (step S11).
  • the stereo camera 120 monitors the front side (to the left of the paper) at a predetermined cycle.
  • the vehicle 200 continues to travel toward the left side, the vehicle 200 approaches the calibration target 310 (in FIG. 6, the calibration target 320 is further to the left of the calibration target 310 and is not shown).
  • the distance S2 between the calibration target 310 and the stereo camera 120 becomes a predetermined distance or less (for example, 50 m or less) (Yes in step S12)
  • the stereo camera 110 on the side opposite to the traveling direction in which the power is turned off is set.
  • the power is turned on (ON), and the measurement operation for the calibration operation is started (step S13).
  • the stereo camera 110 may be set to a power saving mode or the like instead of being turned off before the calibration operation is started. Further, the stereo camera 110 may be in a state in which the power is always turned on and continuous imaging is possible, like the stereo camera 120.
  • the CPU 12 transmits a synchronization signal to the stereo cameras 110 and 120.
  • the stereo cameras 110 and 120 acquire images of the calibration targets 310 and 320 at substantially the same time (at about the same time) according to the synchronization signal, and measure the distances S1 and S2 at substantially the same time (step S15).
  • the timing at which the stereo cameras 110 and 120 acquire the image is arbitrary, but it is preferable that the stereo cameras 110 and 120 acquire the image substantially at the same time.
  • a synchronization signal for image acquisition can be output from the CPU 12. Note that the measurement timings of the stereo cameras 110 and 120 do not necessarily have to be simultaneous, as long as the data regarding the time relationship between the measurement results of the stereo camera 110 and the measurement results of the stereo camera 120 can be obtained. May be different.
  • the distance calculation unit 18 calculates the distances S1 and S2 based on the images obtained by the stereo cameras 110 and 120. Then, the distances S1 and S2 are substituted into the above (Equation 2) to calculate the error ⁇ .
  • the calibration operation of the stereo camera 120 is executed by the calculated error ⁇ . That is, of the stereo cameras 110 and 120, the stereo camera 120 that has measured a longer distance is calibrated based on the calculated error ⁇ (step S16).
  • the CPU 12 determines.
  • the synchronization signal is transmitted to the stereo cameras 110 and 120 again.
  • the stereo cameras 110 and 120 simultaneously acquire images of the calibration targets 310 and 320 according to this synchronization signal, and measure the distances S1 and S2 substantially simultaneously (step S18).
  • the error ⁇ is calculated again. At this time, since S1> S2, this error ⁇ is used for calibrating the stereo camera 110 that has measured a long distance S1 (step S19).
  • step S20 When the vehicle 200 passes the calibration target 320 (step S20), as shown in FIG. 9, the stereo camera 110 rearward in the traveling direction continues the measurement of the calibration target 320. Then, when the distance S1 between the stereo camera 110 and the calibration target 320 becomes a predetermined value (for example, 50 m) or more (Yes in step S21), it is determined that the calibration operation is completed, and the power of the stereo camera 110 is turned on. Turns off and stops the measurement operation. With the above, the calibration operation of the stereo cameras 110 and 120 is completed.
  • a predetermined value for example, 50 m
  • the distance Lt between the calibration targets 310 and 320 needs to be determined according to the shortest measurable distances R1min and R2min and the longest measurable distances R1max and R2max of the stereo cameras 110 and 120. This is because the front and rear stereo cameras 110 and 120 need to measure the distances to the corresponding calibration targets 310 and 320. Specifically, it is necessary to set the distance Lt so as to satisfy the following (Equation 3). Ls + R1min + R2min ⁇ Lt ⁇ Ls + R1max + R2max ... (Equation 3)
  • the distance Lt is the distance Ls of Rmax and Rmin. It is preferable that it is substantially equal to the added value. That is, it is preferable to set the distance Lt so that the following (Equation 4) holds. Lt ⁇ Ls + Rmax + Rmin ... (Equation 4).
  • the calibration targets 310 and 320 may be targets specially set for performing the calibration operation of the present embodiment, but may include a plurality of existing structures (eg, utility poles, signs, etc.) of them.
  • the calibration targets 310 and 320 can also be obtained by measuring the distance between them in advance.
  • the existing structure may be processed (for example, a target for this calibration operation is attached to the existing structure or drawn).
  • a test run can be performed to search for an object suitable as the calibration target using the stereo camera 110 or 120.
  • an object that forms an image near the center of the image sensor of the stereo camera 110 or 120 and can stably obtain the parallax of the object is preferable.
  • an object in which more parallax can be obtained within the range of the object and the dispersion value of the obtained parallax is small is suitable as a calibration target.
  • the calibration targets 310 and 320 having known distances are imaged by the stereo cameras 110 and 120 arranged in front of and behind the vehicle 200, whereby the stereo cameras 110 and / Or 120 calibrations are performed.
  • FIGS. Perform the calibration operation by executing the procedure shown in 8.
  • the calibration can be performed only by the stereo cameras 110 and 120, and no other distance measuring means is required.
  • the present embodiment it is possible to provide a calibration system and a calibration method for a distance measuring sensor capable of performing a calibration operation even during traveling at low cost without using a special device.
  • the calibration operation of the present embodiment can be performed during the normal traveling (high-speed traveling) of the vehicle 200, but can also be performed during the low-speed traveling or the stopped. Further, it is also possible to install an equivalent calibration target in the garage of the vehicle and execute the calibration operation while parking in the garage, not limited to the traveling path of the vehicle.
  • FIG. 11 is a flowchart illustrating the order of calibration operations in the calibration system of the second embodiment.
  • the stereo camera 120 facing the traveling direction is calibrated, and then the stereo camera 110 facing the opposite direction to the traveling direction is calibrated. Therefore, steps S17 to S19 in FIG. 10 are omitted. That is, only the calibration of the stereo camera 120 facing the traveling direction is executed, and the calibration of the stereo camera 110 facing the direction opposite to the traveling direction is omitted.
  • the calibration of the stereo camera 110 can be performed when the traveling direction of the vehicle 200 changes to the right.
  • the calibration system of the distance measuring sensor according to the third embodiment will be described.
  • the basic structure of the third embodiment is the same as that of the first embodiment, and the operation is the same as that described with reference to FIGS. 6 to 9.
  • the placement positions of the calibration targets 310 and 320 are different from those in the first embodiment.
  • the calibration targets 310 and 320 are near the boundary between the straight line portion L1 and the curved portions L2 and L2'of the line, and are on a substantially extension line of the straight line portion L1. Placed in. In FIG. 12, both the calibration targets 310 and 320 are arranged on a substantially extension line of the straight line portion L1. Alternatively, either one of the calibration targets 310 and 320 can be placed at the position of the straight portion L1. That is, at least one of the calibration targets 310 and 320 can be arranged on a substantially extension line of the straight line portion.
  • the calibration targets 310 and 320 are preferably imaged near the center of the image sensor of the stereo cameras 110 and 120. This is because the periphery of the lenses 101 and 102 has a larger distortion, and there are a plurality of factors of image deviation. For example, in the periphery of an image, enlargement / reduction occurs due to the temperature characteristics of the lens, which causes a shift in the image position. On the other hand, the deviation of the image position occurring at the center of the image is considered to be the angular deviation of the optical axis. In order to form an image of the calibration targets 310 and 320 near the center of the image sensor, it is preferable to arrange the calibration targets 310 and 320 at positions as shown in FIG. Alternatively, it is preferable to select an existing structure under the same conditions as the calibration target.
  • FIG. 13 is a first specific example of the calibration targets 310 and 320.
  • the calibration targets 310 and 320 preferably have a high and appropriate spatial frequency in order to enable stable distance measurement by the stereo cameras 110 and 120. From this point of view, the calibration targets 310 and 320 of the first specific example of FIG. 13 have a plurality of circular marks arranged at equal intervals with black circles on a white background.
  • FIG. 14 is a second specific example of the calibration targets 310 and 320, and the black rectangular marks are arranged so as to form a so-called checkered pattern.
  • FIG. 15 is a third specific example of the calibration targets 310 and 320, and has a mosaic pattern in which black rectangular marks, gray rectangular marks, and white rectangular marks are arranged in a matrix.
  • FIG. 16 is a fourth specific example of the calibration targets 310 and 320, and has a large pattern having a low spatial frequency and a small pattern having a high spatial frequency superimposed. In the illustrated example, two kinds of patterns of different spatial frequencies are included, but this is an example, and three or more kinds of patterns of spatial frequencies may be included.
  • FIG. 17 is a fifth specific example of the calibration targets 310 and 320, and has a large pattern having a low spatial frequency and a small pattern having a high spatial frequency divided into different regions (upper and lower).
  • the present invention is not limited to these embodiments.
  • the calibration operation is performed using the detection results of a plurality of stereo cameras (distance measuring sensors) arranged in front of and behind the vehicle 200, but in addition to these stereo cameras, another distance measuring is performed.
  • a fusion sensor equipped with a sensor for example, a high-precision ranging sensor such as LIDAR may be separately provided.
  • LIDAR high-precision ranging sensor
  • GPS Global Positioning System
  • ATS Automatic Train Stop
  • the correct answer value can be obtained by performing the measurement when the vehicle is stopped or while the vehicle is running at a low speed. If the detection accuracy of the correct answer value is equivalent to that of the stereo camera 110, the calibration result can be obtained with the same accuracy.
  • the present invention is not limited to the above-mentioned examples, but includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations.
  • it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
  • 11 Calibration system, 12 ... CPU, 13 ... FPGA, 14 ... ROM, 15 ... RAM, 16 ... Communication control unit, 17 ... Display control unit, 101, 102 ... Lens, 103, 104 ... Imaging element, 110, 120 ... Stereo camera, 200 ... vehicle, 310, 320 ... calibration target.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

特別な構成を追加することなく、低コストで、走行中でも校正動作が実行可能な測距センサの校正システムを提供する。この測距センサの校正システムは、少なくとも車両の進行方向に沿った第１方向、及び第１方向とは反対方向の第２方向に向けて設置され、距離を測定可能に構成された複数の測距センサと、複数の測距センサを構成する校正処理部とを備える。校正処理部は、車両の走行路の近傍に配置される複数の校正用ターゲットの間の距離、複数の測距センサの間の距離、及び複数の測距センサの各々により計測される距離に基づいて、複数の測距センサの校正を行うよう構成される。

Description

測距センサの校正システム、及び測距センサの校正方法
　本発明は、車両に搭載されて車両と物体との間の測距を行う測距センサの校正システム及び校正方法に関するものである。
　ステレオカメラ等の測距センサを用いて、自動車や列車等の車両と他の物体との間の距離を算出する測距システムが、例えば特許文献１により知られている。この特許文献１には、ステレオカメラに加え、投光により距離を測定するアクティブレンジファインダ（ＡＲＦ）を搭載したシステムが開示されている。具体的には、ＡＲＦの出射光を用いてステレオカメラの補助光とすること、ＡＲＦの測距結果を用いてステレオカメラの測距結果を補正することが開示されている。
　測距システムにおいては、物体までの距離を正確に測定することが求められる。しかし、物体までの距離を測定する測距センサでは、経時変化や環境（温度、湿度、気圧など）の変化に伴い測定誤差が生じる。このため、測距センサにおいて定期的に測定誤差を検出し、測距センサを校正する必要がある。
　特許文献１のように、高精度な測距が可能な別個の測距手段（ＡＲＦ等）を別個に設け、高精度測距手段の測距結果に基づいて校正対象の測距センサ（ステレオカメラ等）の校正を実行することは可能である。しかし、校正のために別途の測距手段を設けることは、コストの増加に繋がる。また、高精度の測距手段と、校正対象の測距手段との間で、測距可能距離が一致しないことがあり得る。例えば、ＡＲＦの最大測距範囲は、一般にステレオカメラの最大測距範囲より短い。このため、校正対象であるステレオカメラを、全測距範囲に亘って校正することができないという問題がある。
　また、従来公知の多くのシステムでは、走行中に校正動作を行うことが困難である。停止中のみ校正が可能なシステムでは、校正動作の実行頻度が低下して適切なタイミングで校正が出来ず、その間に測距センサの誤差が許容限度を超えてしまうことが生じ得る。
特開２００５－７７１３０号公報
　本発明は、上記の問題に鑑みてなされたものであり、特別な構成を追加することなく、低コストで、走行中でも校正動作が実行可能な測距センサの校正システムを提供することを目的とする。
　上記の課題を解決するために、本発明に係る測距センサの校正システムは、少なくとも車両の進行方向に沿った第１方向、及び前記第１方向とは反対方向の第２方向に向けて設置され、距離を測定可能に構成された複数の測距センサと、前記複数の測距センサを構成する校正処理部とを備える。前記校正処理部は、前記車両の走行路の近傍に配置される複数の校正用ターゲットの間の距離、前記複数の測距センサの間の距離、及び前記複数の測距センサの各々により計測される距離に基づいて、前記複数の測距センサの校正を行うよう構成される。
　また、本発明に係る測距センサの校正方法は、少なくとも車両の進行方向に沿った第１方向、及び前記第１方向とは反対方向の第２方向に向けて、複数の測距センサを設置し、前記複数の測距センサの各々により、前記車両の走行路の近傍に配置される複数の校正用ターゲットまでの距離を算出し、前記複数の校正用ターゲットの間の距離、前記複数の測距センサの間の距離、及び前記複数の測距センサの各々により計測された距離に基づいて、前記複数の測距センサの校正を行うことを特徴とする。
　本発明によれば、特別な構成装置を使用することなく、低コストで、走行中でも校正動作が実行可能な測距センサの校正システム及び校正方法を提供することができる。
第１の実施の形態の測距センサの校正システム１１の構成を示すブロック図である。 ステレオカメラ１１０、１２０の構成の一例を示す概略図である。 ステレオカメラ１１０、１２０の概略構成の一例を示す。 第１の実施の形態の校正システム１１の動作を、同システムの一部を構成する校正用ターゲット３１０及び３２０とともに説明する。 ステレオカメラにより計測される物体までの距離と、その計測値の誤差（誤差比）との関係を説明するグラフである。 第１の実施の形態による校正システムの構成動作の実行手順を説明する概略図である。 第１の実施の形態による校正システムの構成動作の実行手順を説明する概略図である。 第１の実施の形態による校正システムの構成動作の実行手順を説明する概略図である。 第１の実施の形態による校正システムの構成動作の実行手順を説明する概略図である。 第１の実施の形態による校正システムの構成動作の実行手順を説明するフローチャートである。 第２の実施の形態による校正システムの構成動作の実行手順を説明するフローチャートである。 第３の実施の形態による校正システムの校正用ターゲット３１０、３２０の配置の例を示している。 校正用ターゲットの具体例の１つを示す。 校正用ターゲットの具体例の１つを示す。 校正用ターゲットの具体例の１つを示す。 校正用ターゲットの具体例の１つを示す。 校正用ターゲットの具体例の１つを示す。
　以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。
　本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
[第１の実施の形態]
　図１～図３を参照して、第１の実施の形態に係る測距センサの校正システムを説明する。図１は、第１の実施の形態の測距センサの校正システム１１の構成を示すブロック図である。この校正システム１１は、後述するように、車両、例えば鉄道の車両に搭載される。車両には、後述するように測距センサの一例としてのステレオカメラが複数台、例えば２台（１１０、１２０）搭載されている。本校正システム１１は、このステレオカメラ１１０、１２０の校正を実行するため、車両に搭載される。また、ステレオカメラ１１０、１２０のうちの一方は、車両の進行方向を向くように配置され、他方は車両の進行方向とは異なる方向（例えば反対方向）を向くように配置される。すなわち、複数台のステレオカメラは、全て進行方向を向くように配置されているのではなく、少なくとも１台は進行方向とは異なる方向（例えば反対方向）を向くように配置される。
　本校正システム１１は、ハードウエア構成として、例えば、ＣＰＵ１２、ＦＰＧＡ（Field Programmable Grid Array）１３、ＲＯＭ１４、ＲＡＭ１５、通信制御部１６、及び表示制御部１７を備える。このＣＰＵ１２、及びＦＰＧＡ１３は、ステレオカメラ１１０及び１２０と接続されており、ステレオカメラ１１０及び１２０の出力信号を受信し、各種演算処理を可能に構成されている。
　ＲＯＭ１４には、本校正システム１１の動作を規定する校正プログラムが格納されている。この校正用プログラムが実行されることにより、距離算出部１８と校正処理部１９とが実現する。また、ＲＡＭ１５は、各種演算の結果や、その他動作に必要なデータを格納する。
　通信制御部１６は、例えば外部のコンピュータと各種データやコマンドの送受信を制御可能に構成されている。また、表示制御部１７は、図示しないディスプレイ等において、計測結果を含む各種情報の表示を制御可能に構成されている。
　図２にステレオカメラ１１０、１２０の概略構成の一例を示す。ステレオカメラ１１０及び１２０は、例えばレンズ１０１、１０２、撮像素子１０３、１０４（例えばＣＣＤカメラ）、及び筐体１０５を備えて構成される。ステレオカメラ１１０、１２０は、三角法の原理より対象物体までの距離を測定する。
　具体的にステレオカメラ１１０、１２０は、対象物体が撮像素子１０３、１０４の一方に投影される画素の位置と、撮像素子１０３、１０４の他方に投影される画素の位置との差を視差として求め、左右の撮像素子の基線長、焦点距離、画素ピッチに基づき、対象物体までの距離を算出する。例えば、無限遠にある物体は、左右の撮像素子１０３、１０４に投影される画像の位置は等しく、視差は０である。したがって、環境（温度、湿度、圧力等）の変化、レンズ形状の経年変化、レンズ１０１、１０２と撮像素子１０３、１０４との間の相対的な位置関係の変化、レンズ１０１、１０２の光軸のズレ、基線長のズレなどを含む構造の変化が生じた場合には、その変化は測距結果に影響を与え、測定誤差の原因となる。
　図３は、ステレオカメラ１１０、及び１２０の配置位置を含む、車両２００の全体像を示している。ステレオカメラ１１０、及び１２０は、車両２００の最前部と、最後部とにそれぞれ配置され、互いに車両２００の進行方向に関し反対方向を撮像可能に配置されている。ステレオカメラ１１０と１２０は、例えば車両２００を構成する列車が直線に沿って配置されている場合において、距離Ｌｓをあけて配置される。
　車両２００は、例えば図３の右から左に向けて走行する場合と、逆に図３の左から右に向かって走行する場合とがある。右から左に走行する場合、進行方向に向いているステレオカメラ１２０が対象物との距離を計測する。逆に、左から右に走行する場合、進行方向に向いているステレオカメラ１１０が対象物との距離を計測する。
　車両２００が左右のいずれの方向に進行する場合でも、ステレオカメラ１１０又は１２０の測距結果に応じ、表示部（ディスプレイ）や警報部（図示せず）を介した報知・警告や、列車の走行制御（減速制御、又は停止制御）が行われる。なお、進行方向とは反対側を向いたステレオカメラは、車両２００が既に通過した後の画像を撮像するので、動作していたとしても、車両２００の事故を防止するための情報を提供しない。従って、車両２００の進行方向と反対側を向いたステレオカメラ（例えば、図３の右から左に走行する場合におけるステレオカメラ１１０）は、通常状態では電源をＯＦＦとされているか、又はスタンバイモードとしておくことができる。ただし、進行方向と反対側を向いたステレオカメラは、後述する校正動作を行う場合において電源投入され又は動作を開始し、校正の動作のために必要な距離情報を提供することができる。
　図４を参照して、第１の実施の形態の校正システム１１の動作を、同システムの一部を構成する校正用ターゲット３１０及び３２０とともに説明する。この校正システム１１は、車両２００の走行路（線路）に沿って、校正用ターゲット３１０及び３２０を用いて校正動作を実行可能とされている。
　校正用ターゲット３１０及び３２０は、車両２００の走行路（線路）に沿った位置において、既知の距離Ｌｔをあけて配置されている。走行路が線路の場合、校正用ターゲット３１０及び３２０は、線路から近接した位置、例えば線路から数ｍ離れた位置に配置され得る。距離Ｌｔは予め計測され、その距離データは、例えばＲＯＭ１４などに記憶されていてもよい。なお、校正用ターゲット３１０及び３２０は、線路のいずれの位置に配置されていてもよいが、ステレオカメラ１１０及び１２０の測定を高精度に行う観点、及び、校正動作を高精度に行う観点から、車両２００の長さよりも十分に長い直線路に配置されているのが好適である。
　図４を参照して、第１の実施の形態の校正システムにおける校正動作の原理を説明する。校正用ターゲット３１０と３２０の間の距離Ｌｔが既知であり、更にステレオカメラ１１０と１２０の間の距離Ｌｓが既知であるとする。この状況において、ステレオカメラ１１０により、ステレオカメラ１１０から校正用ターゲット３１０までの距離Ｓ１が測定され、更にステレオカメラ１２０により、ステレオカメラ１２０から校正用ターゲット３２０までの距離Ｓ２が測定されたとする。
　このとき、距離Ｓ１及びＳ２に測定誤差が無ければ、Ｌｔ＝Ｌｓ＋Ｓ１＋Ｓ２…（式１）が成立する。しかし、実際には、距離Ｓ１及びＳ２は測定誤差を含んでおり、合計の測定誤差がΔであるとすると、測定誤差Δは、Δ＝Ｓ２－（Ｌｔ－Ｌｓ－Ｓ１）…（式２）となる。
　第１の実施の形態の校正システムは、この（式２）に従って計測された測定誤差Δに基づき、ステレオカメラ１１０及び１２０のうち、より遠い距離を検出したステレオカメラの校正を実行するよう構成されている。以下、この点を図５～図９を参照して説明する。
　図５は、ステレオカメラにより計測される物体までの距離と、その計測値の誤差（誤差比）との関係を説明するグラフである。物体までの距離（計測値）が大きくなるほど、誤差は大きくなる。また、ステレオカメラでは、温度や湿度、径時変化によりレンズ１０１、１０２と撮像素子１０３、１０４の位置がずれる場合があるが（画素ずれ）、この画素ずれによって視差に一定のオフセット誤差が生じ、視差から算出する計測距離の誤差（誤差比）は、画素ずれが大きくなるほど大きくなる。
　図５に示すように、物体までの距離が小さい場合には、誤差は小さい。例えば、ステレオカメラ１１０、１２０が、それぞれ距離Ｓ１、Ｓ２を計測する場合において、Ｓ１＜Ｓ２であれば、ステレオカメラ１１０の測定結果（距離Ｓ１）は、ステレオカメラ１２０（距離Ｓ２）に比べ、誤差が少ないと考えられる。このため、第１の実施の形態では、上記の（式２）により特定された測定誤差Δを、より長い距離を計測したステレオカメラ１２０の校正に用いる。
　以下、第１の実施の形態による校正システムの校正動作の実行手順を、図６～図９の概略図、及び図１０のフローチャートを参照して説明する。図６～図９において、車両２００は、紙面の右側から左側に向かって走行しているものとする。
　校正動作が開始されると、進行方向（前方）を向いているステレオカメラ１２０が測距動作を開始する（ステップＳ１１）。ステレオカメラ１２０は、所定の周期で前方（紙面左方向）を監視する。左側に向かって車両２００が走行を継続すると、車両２００は校正用ターゲット３１０に接近する（図６では、校正用ターゲット３２０は更に校正用ターゲット３１０の左方向にあり、図示されていない）。校正用ターゲット３１０とステレオカメラ１２０との間の距離Ｓ２が所定距離以下（例えば５０ｍ以下）となると（ステップＳ１２のYes）、電源ＯＦＦ状態にされていた進行方向とは反対側のステレオカメラ１１０にも電源が投入（ＯＮ）され、校正動作のための測定動作が開始される（ステップＳ１３）。なお、ステレオカメラ１１０は、校正動作の開始前には電源ＯＦＦ状態とされる代わりに、省電力モード等に設定されていてもよい。また、ステレオカメラ１１０も、ステレオカメラ１２０と同様に、常時電源ＯＮとされ、連続して撮像が可能な状態とされていてもよい。
　図７に示すように、車両２００が校正用ターゲット３１０と３２０との間まで移動すると（ステップＳ１４）、ＣＰＵ１２は、ステレオカメラ１１０及び１２０に対し同期信号を送信する。ステレオカメラ１１０及び１２０は、この同期信号に従い、略同時（略同時刻）に校正用ターゲット３１０及び３２０の画像を取得し、距離Ｓ１及びＳ２を略同時に計測する（ステップＳ１５）。どのタイミングでステレオカメラ１１０及び１２０が画像を取得するかは任意であるが、ステレオカメラ１１０及び１２０において略同時に画像を取得するのが好適である。一例として、ステレオカメラ１１０が計測する距離Ｓ１が５０ｍとなった場合に、画像取得のための同期信号をＣＰＵ１２から出力させることができる。なお、ステレオカメラ１１０の測定結果、及びステレオカメラ１２０の測定結果の間の時間的関連性に関するデータが得られるのであれば、ステレオカメラ１１０と１２０の測定タイミングは必ずしも同時でなくてもよく、僅かに異なっていても良い。
　ステレオカメラ１１０及び１２０で得られた画像に基づき、距離算出部１８で距離Ｓ１及びＳ２を算出する。そして、この距離Ｓ１及びＳ２を上記の（式２）に代入して誤差Δを演算する。この演算された誤差Δにより、ステレオカメラ１２０の校正動作が実行される。すなわち、ステレオカメラ１１０及び１２０のうち、より長い距離を計測したステレオカメラ１２０を、演算された誤差Δに基づいて校正する（ステップＳ１６）。
　図７の状態から更に車両が左方向に進み、図８のようにステレオカメラ１２０から校正用ターゲット３２０までの距離Ｓ２が所定値以下、例えば５０ｍ以下になると（ステップＳ１７のYes）、ＣＰＵ１２は、再びステレオカメラ１１０及び１２０に対し同期信号を送信する。ステレオカメラ１１０及び１２０は、この同期信号に従い、同時に校正用ターゲット３１０及び３２０の画像を取得し、距離Ｓ１及びＳ２を略同時に計測する（ステップＳ１８）。得られたＳ１及びＳ２を（式２）に代入して、誤差Δを再度演算する。このとき、Ｓ１＞Ｓ２であるため、この誤差Δは、長い距離Ｓ１を計測したステレオカメラ１１０の校正に用いられる（ステップＳ１９）。
　車両２００が校正用ターゲット３２０を通過すると（ステップＳ２０）、図９に示すように、進行方向の後方のステレオカメラ１１０は、校正用ターゲット３２０の測定を継続する。そして、ステレオカメラ１１０と校正用ターゲット３２０の間の距離Ｓ１が所定値（例えば５０ｍ）以上となったとき（ステップＳ２１のYes）、校正用動作が終了したと判断し、ステレオカメラ１１０の電源をＯＦＦし、測定動作を停止する。以上により、ステレオカメラ１１０及び１２０の校正動作が終了する。
　なお、校正用ターゲット３１０及び３２０の間の距離Ｌｔは、ステレオカメラ１１０及び１２０の最短測定可能距離Ｒ１ｍｉｎ、Ｒ２ｍｉｎ、及び最長測定可能距離Ｒ１ｍａｘ、Ｒ２ｍａｘに従って決定される必要がある。前後のステレオカメラ１１０、１２０が、いずれも対応する校正用ターゲット３１０、３２０までの距離を測定する必要があるためである。具体的には、次の（式３）を満たすよう、距離Ｌｔを設定する必要がある。
　Ｌｓ＋Ｒ１ｍｉｎ＋Ｒ２ｍｉｎ＜Ｌｔ＜Ｌｓ＋Ｒ１ｍａｘ＋Ｒ２ｍａｘ…（式３）
　なお、２つのステレオカメラ１１０、１２０の最短測定可能距離、最長測定可能距離が互いに等しい場合（Ｒ１ｍｉｎ＝Ｒ２ｍｉｎ＝Ｒｍｉｎ、Ｒ１ｍａｘ＝Ｒ２ｍａｘ＝Ｒｍａｘ）、距離Ｌｔは、距離Ｌｓに、ＲｍａｘとＲｍｉｎとを加算した値に略等しいのが好ましい。すなわち、次の（式４）が成り立つように距離Ｌｔを設定するのが好ましい。
　Ｌｔ≒Ｌｓ＋Ｒｍａｘ＋Ｒｍｉｎ…（式４）。
　校正用ターゲット３１０及び３２０は、本実施の形態の校正動作の実施のために特別に設定されるターゲットであってもよいが、既存の複数の構造物（例えば電柱、標識など）を、それらの間の距離を予め計測することで校正用ターゲット３１０及び３２０とすることもできる。又は、既存の構造物を加工（例えば、既存の構造物に本校正動作のためのターゲットを取り付けるか、又は描画）しても良い。既存の構造物等を校正用ターゲットとする場合には、例えば試験走行を実行して校正用ターゲットとして好適な物体を、ステレオカメラ１１０又は１２０を用いて探索することができる。校正用ターゲットとしては、ステレオカメラ１１０又は１２０の撮像素子の中央付近に結像し、当該物体の視差を安定して得られる物体が好ましい。具体的には、当該物体の範囲内でより多くの視差が得られること、得られた視差の分散値が小さい物体が、校正用ターゲットとして好適である。
　以上説明したように、第１の実施の形態では、距離が既知の校正用ターゲット３１０及び３２０を、車両２００の前後に配置されたステレオカメラ１１０及び１２０で撮像することで、ステレオカメラ１１０及び／又は１２０の校正が実行される。このとき、校正用ターゲットまでの距離が近いステレオカメラの計測値（測距値）が、校正用ターゲットまでの距離がより遠いステレオカメラの計測値よりも誤差が少ないことに鑑み、図７及び図８で示した手順を実行し、校正動作を行う。この第１の実施の形態によれば、ステレオカメラ１１０及び１２０のみで校正を実行することが可能になり、それ以外の測距手段を必要としない。すなわち、本実施の形態によれば、特別な装置を使用することなく、低コストで、走行中でも校正動作が実行可能な測距センサの校正システム及び校正方法を提供することができる。なお、本実施形態の校正動作は、車両２００の通常の走行中（高速走行中）に行うこともできるが、低速走行中、又は停止中に行うことも可能である。また、車両の走行路に限らず、車両の車庫に同等の校正用ターゲットを設置し、車庫への駐車中に校正動作を実行することもできる。
［第２の実施の形態］
　次に、図１１を参照して、第２の実施の形態に係る測距センサの校正システムを説明する。第２の実施の形態の基本的な構造は第１の実施の形態と同一である。ただし、校正動作が第１の実施の形態と異なっている。図１１は、第２の実施の形態の校正システムにおける校正動作の順序を説明するフローチャートである。
　第１の実施の形態では、まず進行方向を向いたステレオカメラ１２０の校正を実行し、次いで進行方向とは反対方向を向いたステレオカメラ１１０の校正を実行したが、この第２の実施の形態では、図１０のステップＳ１７～Ｓ１９は省略している。すなわち、進行方向を向いたステレオカメラ１２０の校正のみを実行し、進行方向とは反対方向を向いたステレオカメラ１１０の校正は省略している。ステレオカメラ１１０の校正は、車両２００の進行方向が右方向に変った場合において実行することができる。
［第３の実施の形態］
　次に、図１２を参照して、第３の実施の形態に係る測距センサの校正システムを説明する。第３の実施の形態の基本的な構造は第１の実施の形態と同一であり、また動作も図６～図９で説明したのと同様である。ただし、この第３の実施の形態では、校正用ターゲット３１０及び３２０の配置位置が第１の実施の形態と異なっている。
　この第３の実施の形態では、図１２に示すように、校正用ターゲット３１０及び３２０は、線路の直線部分Ｌ１と曲線部分Ｌ２、Ｌ２’の境界付近であって、直線部分Ｌ１の略延長線上に配置される。図１２では、校正用ターゲット３１０及び３２０がいずれも直線部分Ｌ１の略延長線上に配置されている。これに代えて、校正用ターゲット３１０及び３２０のいずれか一方を、直線部分Ｌ１の位置に配置することも可能である。すなわち、校正用ターゲット３１０及び３２０は、少なくともいずれか一方を直線部分の略延長線上に配置することもできる。
　校正用ターゲット３１０及び３２０は、ステレオカメラ１１０及び１２０の撮像素子の中心付近で撮像されるのが好ましい。これは、レンズ１０１及び１０２の周辺はより歪が大きく、画像ズレの要因が複数存在するためである。例えば画像周辺ではレンズの温度特性により拡大縮小が発生し、これによる像位置のずれが生じる。一方画像中心で発生している画像位置のずれは光軸の角度ずれと考えられる。校正用ターゲット３１０及び３２０を撮像素子中心付近で結像させるためには、図１２のような位置に校正用ターゲット３１０及び３２０を配置することが好適である。または、同条件の既存の構造物を校正用ターゲットとして選択することが好ましい。
（校正用ターゲットの具体例）
　図１３～図１７を参照して、校正用ターゲット３１０、３２０の具体例を説明する。
　図１３は、校正用ターゲット３１０、３２０の第１の具体例である。校正用ターゲット３１０、３２０は、ステレオカメラ１１０、１２０により安定的に測距可能とするため、高く適切な空間周波数を有することが好ましい。図１３の第１の具体例の校正用ターゲット３１０、３２０は、この観点から、白地に黒丸で等間隔に配置された複数の円形マークを有している。
　図１４は、校正用ターゲット３１０、３２０の第２の具体例であり、黒い矩形マークを所謂市松模様となるように配置している。図１５は、校正用ターゲット３１０、３２０の第３の具体例であり、黒い矩形マーク、灰色の矩形マーク、及び白い矩形マークを、マトリクス状に配列したモザイク模様を有している。
　図１６は、校正用ターゲット３１０、３２０の第４の具体例であり、空間周波数が低い大きな模様と、空間周波数が高い小さな模様とを重畳した形で有している。図示の例では、２種類の異なる空間周波数の模様が含まれているが、これは一例であり、３種類以上の空間周波数の模様が含まれていても良い。図１７は、校正用ターゲット３１０、３２０の第５の具体例であり、空間周波数が低い大きな模様と、空間周波数が高い小さな模様とを異なる領域（上下）に分割した形で有している。
（変形例）
　以上、発明の実施の形態を説明したが、本発明はこれらの実施の形態に限定されるものではない。例えば、上記の実施の形態では、車両２００の前方及び後方に配置した複数のステレオカメラ（測距センサ）の検出結果を用いて校正動作を実行するが、これらステレオカメラに加え、別の測距センサ、例えばＬＩＤＡＲのような高精度の測距センサを搭載するフュージョンセンサを別途設けてもよいことは言うまでもない。この場合、被校正センサと校正用センサとで各々の測距範囲が異なっても校正を行うことができ、同等の効果が得ることができる。
　また、上記実施の形態では、一のステレオカメラを校正するために、他方の（反対方向を向いた）ステレオカメラからの測距情報を使用しているが、本発明はこれに限ったものではない。例えば、ＧＰＳ（Global Positioning System）やＡＴＳ(Automatic Train Stop)を用いて車両２００の位置及び校正用ターゲットの位置を検出し、自己位置と校正用ターゲットとの距離を算出し、これを正解値とすることができる。また、車両２００の高速走行にてＧＰＳやＡＴＳの計測誤差が増大する場合は、停止時や低速走行中に計測を行い、正解値を得ることができる。正解値の検出精度がステレオカメラ１１０と同等であれば、校正結果も同等の精度が得られる。
　本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１１…校正システム、　１２…ＣＰＵ、　１３…ＦＰＧＡ、　１４…ＲＯＭ、　１５…ＲＡＭ、　１６…通信制御部、　１７…表示制御部、　１０１、１０２…レンズ、　１０３、１０４…　撮像素子、　１１０、１２０…ステレオカメラ、　２００…車両、　３１０、３２０…校正用ターゲット。

Claims (17)

  1. 　少なくとも車両の進行方向に沿った第１方向、及び前記第１方向とは反対方向の第２方向に向けて設置され、距離を測定可能に構成された複数の測距センサと、
    　前記複数の測距センサを構成する校正処理部と
    を備え、
    　前記校正処理部は、前記車両の走行路の近傍に配置される複数の校正用ターゲットの間の距離、前記複数の測距センサの間の距離、及び前記複数の測距センサの各々により計測される距離に基づいて、前記複数の測距センサの校正を行うよう構成された、測距センサの校正システム。
  2. 　前記複数の校正用ターゲットの間の距離をＬｔ、前記複数の測距センサの間の距離をＬｓ、前記複数の測距センサのうちの第１の測距センサの測距結果をＳ１、前記複数の測距センサのうちの第２の測距センサの測距結果をＳ２、誤差をΔとするとき、
    　前記校正処理部は、誤差ΔをΔ＝Ｓ２－（Ｌｔ－Ｌｓ－Ｓ１）により算出する、請求項１に記載の測距センサの校正システム。
  3. 　前記複数の測距センサの測距結果は、略同時刻に取得される、請求項１に記載の測距センサの校正システム。
  4. 　前記校正処理部は、前記複数の測距センサのうち、前記校正用ターゲットまでの距離が第１の距離である測距センサの測定結果に基づいて、前記校正用ターゲットまでの距離が前記第１の距離よりも長い第２の距離である測距センサの校正を実行する、請求項１に記載の測距センサの校正システム。
  5. 　前記複数の測距センサはステレオカメラである、請求項１に記載の測距センサの校正システム。
  6. 　前記校正処理部は、前記車両が前記複数の校正用ターゲットの間を走行中において、前記複数の測距センサのうち、前記第１方向を向いた第１の測距センサを、前記第２方向を向いた第２の測距センサの測距結果に基づいて校正し、次いで前記第２の測距センサを、前記第１の測距センサの測距結果に基づいて校正するよう構成された、請求項１に記載の測距センサの校正システム。
  7. 　前記複数の測距センサのうち、前記第２の測距センサは、前記車両が前記校正用ターゲットの付近に位置する場合に電源投入され、又は測距動作を開始するよう構成されている、請求項６に記載の測距センサの校正システム。
  8. 　前記複数の校正用ターゲットの間の距離をＬｔ、前記複数の測距センサの間の距離をＬｓ、前記複数の測距センサのうちの第１の測距センサの最短測定可能距離をＲ１ｍｉｎ、前記第１の測距センサの最長測定可能距離をＲ１ｍａｘ、前記複数の測距センサのうちの第２の測距センサの最短測定可能距離をＲ２ｍｉｎ、前記第２の測距センサの最長測定可能距離をＲ２ｍａｘとしたとき、
    　Ｌｔは、
    Ｌｓ＋Ｒ１ｍｉｎ＋Ｒ２ｍｉｎ＜Ｌｔ＜Ｌｓ＋Ｒ１ｍａｘ＋Ｒ２ｍａｘ
    を満たすよう設定される、請求項１に記載の測距センサの校正システム。
  9. 　前記複数の校正用ターゲットの間の距離をＬｔ、前記複数の測距センサの間の距離をＬｓ、前記複数の測距センサの測距可能範囲が互いに等しく、最短測定可能距離がＲｍｉｎ、最長測定可能範囲がＲｍａｘである場合、
    Ｌｔは、
    Ｌｔ≒Ｌｓ＋Ｒｍｉｎ＋Ｒｍａｘ
    を満たすように設定される、請求項１に記載の測距センサの校正システム。
  10. 　前記複数の校正用ターゲットは、前記車両の走行路のうちの直線部分に設置される
    ことを特徴とする請求項１に記載の測距センサの校正システム。
  11. 　前記複数の校正用ターゲットの少なくとも１つは、前記車両の走行路のうちの直線部分と曲線部分との境界付近であって、前記直線部分の略延長線上に位置する
    ことを特徴とする請求項１に記載の測距センサの校正システム。
  12. 　前記校正処理部は、電柱を含む既存の設備、又は前記既存の設備を加工して生成されたターゲットを前記複数の校正用ターゲットとして得られた前記複数の測距センサによる測定結果を用いて校正処理を実行する、請求項１に記載の測距センサの校正システム。
  13. 　少なくとも車両の進行方向に沿った第１方向、及び前記第１方向とは反対方向の第２方向に向けて、複数の測距センサを設置し、
    　前記複数の測距センサの各々により、前記車両の走行路の近傍に配置される複数の校正用ターゲットまでの距離を算出し、
    　前記複数の校正用ターゲットの間の距離、前記複数の測距センサの間の距離、及び前記複数の測距センサの各々により計測された距離に基づいて、前記複数の測距センサの校正を行う
    　ことを特徴とする、測距センサの校正方法。
  14. 　前記複数の校正用ターゲットの間の距離をＬｔ、前記複数の測距センサの間の距離をＬｓ、前記複数の測距センサのうちの第１の測距センサの測距結果をＳ１、前記複数の測距センサのうちの第２の測距センサの測距結果をＳ２、誤差をΔとするとき、
    　誤差ΔをΔ＝Ｓ２－（Ｌｔ－Ｌｓ－Ｓ１）により算出する、請求項１３に記載の測距センサの校正方法。
  15. 　前記複数の測距センサの測距結果は、略同時刻に取得される、請求項１３に記載の測距センサの校正方法。
  16. 　前記複数の測距センサのうち、前記校正用ターゲットまでの距離が第１の距離である測距センサの測定結果に基づいて、前記校正用ターゲットまでの距離が前記第１の距離よりも長い第２の距離である測距センサの校正を実行する、請求項１３に記載の測距センサの校正方法。
  17. 　前記車両が前記複数の校正用ターゲットの間を走行中において、前記複数の測距センサのうち、前記第１方向を向いた第１の測距センサを、前記第２方向を向いた第２の測距センサの測距結果に基づいて校正し、次いで前記第２の測距センサを、前記第１の測距センサの測距結果に基づいて校正する、請求項１３に記載の測距センサの校正方法。
PCT/JP2020/047794 2020-02-27 2020-12-22 測距センサの校正システム、及び測距センサの校正方法 WO2021171758A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/796,161 US20230103773A1 (en) 2020-02-27 2020-12-20 Ranging Sensor Calibration System and Ranging Sensor Calibration Method
EP20922346.0A EP4113058A4 (en) 2020-02-27 2020-12-22 SYSTEM AND METHOD FOR CALIBRATING A DISTANCE SENSOR
AU2020431041A AU2020431041B2 (en) 2020-02-27 2020-12-22 Ranging sensor calibration system and ranging sensor calibration method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020031771A JP7386098B2 (ja) 2020-02-27 2020-02-27 測距センサの校正システム、及び測距センサの校正方法
JP2020-031771 2020-02-27

Publications (1)

Publication Number Publication Date
WO2021171758A1 true WO2021171758A1 (ja) 2021-09-02

Family

ID=77490888

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047794 WO2021171758A1 (ja) 2020-02-27 2020-12-22 測距センサの校正システム、及び測距センサの校正方法

Country Status (5)

Country Link
US (1) US20230103773A1 (ja)
EP (1) EP4113058A4 (ja)
JP (1) JP7386098B2 (ja)
AU (1) AU2020431041B2 (ja)
WO (1) WO2021171758A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341458A (ja) * 1997-06-10 1998-12-22 Toyota Motor Corp 車載ステレオカメラの校正方法、および、その方法を適用した車載ステレオカメラ
JP2005077130A (ja) 2003-08-28 2005-03-24 Olympus Corp 物体認識装置
JP2009294109A (ja) * 2008-06-05 2009-12-17 Fujitsu Ltd キャリブレーション装置
WO2017209015A1 (ja) * 2016-06-03 2017-12-07 Ｋｙｂ株式会社 ステレオカメラの設置パラメータ校正方法
WO2018173907A1 (ja) * 2017-03-23 2018-09-27 日立オートモティブシステムズ株式会社 車両制御装置
JP2020113908A (ja) * 2019-01-11 2020-07-27 パナソニックＩｐマネジメント株式会社 乗り物用カメラの校正方法及び校正用マーカのセット

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008042018A1 (de) * 2008-09-12 2010-03-18 Robert Bosch Gmbh Verfahren zum Justieren oder Kalibrieren eines Fahrzeugumfeldsensors sowie Fahrzeugumfeldsensor-Justier- oder Kalibrier-Anordnung
JP5440461B2 (ja) * 2010-09-13 2014-03-12 株式会社リコー 校正装置、距離計測システム、校正方法および校正プログラム
JP6182866B2 (ja) * 2012-03-21 2017-08-23 株式会社リコー 校正装置、距離計測装置及び車両
JP6427984B2 (ja) * 2013-06-27 2018-11-28 株式会社リコー 測距装置、車両、測距装置の校正方法
JP6620869B2 (ja) * 2014-01-28 2019-12-18 株式会社リコー 校正方法、校正装置、及びプログラム
EP3358364A4 (en) * 2015-09-30 2019-03-13 Sony Corporation SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING, PROGRAM AND OBJECT DETECTION SYSTEM
WO2017109973A1 (ja) * 2015-12-25 2017-06-29 パイオニア株式会社 距離推定装置、距離推定方法及びプログラム
US11158076B2 (en) * 2016-06-08 2021-10-26 Sony Corporation Imaging control device and method, and vehicle
EP3550326A1 (en) * 2018-04-03 2019-10-09 Continental Automotive GmbH Calibration of a sensor arrangement
US11403891B2 (en) * 2019-11-01 2022-08-02 Gm Cruise Holdings Llc Autonomous setup and takedown of calibration environment for vehicle sensor calibration

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341458A (ja) * 1997-06-10 1998-12-22 Toyota Motor Corp 車載ステレオカメラの校正方法、および、その方法を適用した車載ステレオカメラ
JP2005077130A (ja) 2003-08-28 2005-03-24 Olympus Corp 物体認識装置
JP2009294109A (ja) * 2008-06-05 2009-12-17 Fujitsu Ltd キャリブレーション装置
WO2017209015A1 (ja) * 2016-06-03 2017-12-07 Ｋｙｂ株式会社 ステレオカメラの設置パラメータ校正方法
WO2018173907A1 (ja) * 2017-03-23 2018-09-27 日立オートモティブシステムズ株式会社 車両制御装置
JP2020113908A (ja) * 2019-01-11 2020-07-27 パナソニックＩｐマネジメント株式会社 乗り物用カメラの校正方法及び校正用マーカのセット

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4113058A4

Also Published As

Publication number Publication date
EP4113058A1 (en) 2023-01-04
US20230103773A1 (en) 2023-04-06
JP2021135174A (ja) 2021-09-13
EP4113058A4 (en) 2024-04-17
AU2020431041B2 (en) 2023-11-09
AU2020431041A1 (en) 2022-08-25
JP7386098B2 (ja) 2023-11-24

Similar Documents

Publication Publication Date Title
EP3100002B1 (en) Camera calibration method
WO2018079297A1 (ja) 故障検知装置
US9726754B2 (en) Method and device for calibrating a 3D TOF camera system
JP4861034B2 (ja) 車載カメラのキャリブレーションシステム
US7697029B2 (en) Image display apparatus and method
JP6458439B2 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
US7501980B2 (en) Method and device for calibrating sensors in a motor vehicle
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
GB2484795A (en) Operation of a vehicle sensor
JP2008249666A (ja) 車両位置特定装置および車両位置特定方法
KR20120105761A (ko) 외부 환경 가시화 장치 및 그 방법
JP2010044009A (ja) 車両周辺監視装置
CN105809669A (zh) 一种用于校准图像检测设备的方法和装置
JP2009014481A (ja) 距離計測装置とそのキャリブレーション方法
JP2003315442A (ja) 車載レーダ装置の位置調整装置および位置調整方法
US11914028B2 (en) Object detection device for vehicle
WO2021171758A1 (ja) 測距センサの校正システム、及び測距センサの校正方法
US20200366883A1 (en) Stereo camera device
CN114720951A (zh) 一种车载毫米波雷达与摄像头航向角联合标定方法
US11473906B2 (en) Method and device for aligning a calibration device
US10384608B2 (en) Vehicle-mounted stereo camera device and method for correcting the same
US20220365193A1 (en) Method for estimating correction angles in a radar sensor for motor vehicles
US20200096606A1 (en) Vehicle inspection system and vehicle inspection method
JP2007267231A (ja) 車載カメラの光軸ずれ検出装置、車載カメラの光軸ずれ検出方法
WO2017042995A1 (ja) 車載用ステレオカメラ装置、およびその補正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20922346

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020431041

Country of ref document: AU

ENP Entry into the national phase

Ref document number: 2020431041

Country of ref document: AU

Date of ref document: 20201222

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020922346

Country of ref document: EP

Effective date: 20220927