WO2017057042A1 - 信号処理装置、信号処理方法、プログラム、および、物体検出システム - Google Patents

信号処理装置、信号処理方法、プログラム、および、物体検出システム Download PDF

Info

Publication number
WO2017057042A1
WO2017057042A1 PCT/JP2016/077398 JP2016077398W WO2017057042A1 WO 2017057042 A1 WO2017057042 A1 WO 2017057042A1 JP 2016077398 W JP2016077398 W JP 2016077398W WO 2017057042 A1 WO2017057042 A1 WO 2017057042A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
image
signal processing
coordinate system
vehicle
Prior art date
Application number
PCT/JP2016/077398
Other languages
English (en)
French (fr)
Inventor
寿夫 山崎
研一 川崎
亮 澤井
辰吾 鶴見
貝野　彰彦
琢人 元山
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/761,195 priority Critical patent/US10670697B2/en
Priority to EP16851216.8A priority patent/EP3358364A4/en
Publication of WO2017057042A1 publication Critical patent/WO2017057042A1/ja
Priority to US16/866,312 priority patent/US11061111B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4052—Means for monitoring or calibrating by simulation of echoes
    • G01S7/4082—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
    • G01S7/4091—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder during normal radar operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to a signal processing device, a signal processing method, a program, and an object detection system, and in particular, a signal processing device, a signal processing method, a program, and an object detection system that can accurately perform object detection.
  • a signal processing device a signal processing method, a program, and an object detection system that can accurately perform object detection.
  • Patent Document 1 discloses a radar apparatus that detects an object in front of the host vehicle as an object, and an object detection apparatus that corrects a shift in the detection direction axis of the imaging apparatus in accordance with the traveling environment of the host vehicle.
  • a technique for suppressing calibration at a place unsuitable for calibration from information and navigation information is disclosed.
  • the present disclosure has been made in view of such a situation, and makes it possible to accurately detect an object.
  • the target is reliable by the reliability determination unit that determines whether the target is reliable by communication with the target whose position information is known, and the reliability determination unit
  • a calibration processing unit that performs a calibration process for eliminating the shift of the coordinate system occurring in the stereo image and radar image where the target is detected.
  • the signal processing method or program determines whether or not the target is reliable through communication with a target whose position information is known, and when the target is determined to be reliable, Including a step of performing a calibration process for eliminating the shift of the coordinate system occurring in the stereo image and the radar image in which is detected.
  • An object detection system uses a stereo image capturing apparatus that acquires a stereo image by capturing images with a plurality of image capturing units, and uses a radio wave in a predetermined wavelength range to be within an irradiation range of the radio wave. Whether or not the target is reliable by communication with a radar device that acquires a radar image in which the position of an object is detected, a communication device that communicates with a target whose position information is known, and the target via the communication device A reliability determination unit that determines whether the target is reliable by the reliability determination unit, and a coordinate system generated in the stereo image and the radar image in which the target is detected.
  • a signal processing device including a calibration processing unit that performs a calibration process for eliminating the deviation;
  • Calibration processing is performed to eliminate the shift of the coordinate system occurring in the image and the radar image.
  • object detection can be performed accurately.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram illustrating a configuration example of an in-vehicle sensor (object detection system) in which a signal processing device to which the present technology is applied is incorporated.
  • the in-vehicle sensor 11 includes a millimeter wave radar 12, a right camera 13R, a left camera 13L, a position measuring device 14, a communication device 15, and a signal processing device 16.
  • the millimeter wave radar 12 can detect the position of an object within the millimeter wave irradiation range using millimeter wave radio waves (hereinafter referred to as millimeter waves). For example, the millimeter wave radar 12 irradiates millimeter waves forward in the traveling direction of the vehicle, and sets the traveling direction as the Z axis and the horizontal direction orthogonal to the traveling direction as the X axis. A radar image indicating the position is supplied to the signal processing device 16.
  • millimeter waves hereinafter referred to as millimeter waves.
  • the right camera 13R and the left camera 13L are arranged at the same height and at a predetermined interval in the lateral direction, and image the front in the traveling direction of the vehicle.
  • the right camera image which is an image captured by the right camera 13R
  • the left camera image which is an image captured by the left camera 13L
  • the positional relationship between the right camera 13R and the left camera 13L is accurately calibrated.
  • a pair of the right camera 13R and the left camera 13L is also referred to as a stereo camera 13 as appropriate, and a right camera image and a left camera image are also referred to as a stereo image unless otherwise distinguished.
  • the position measuring device 14 can measure the current position by receiving a radio wave from the satellite by using a satellite navigation system such as GPS (Global Positioning System), and outputs position information obtained by the measurement as a signal. This is supplied to the processing device 16. Further, the position measurement device 14 may measure the position information by matching a travel route on the map data based on, for example, acceleration data or travel distance data.
  • a satellite navigation system such as GPS (Global Positioning System)
  • GPS Global Positioning System
  • the communication device 15 can perform communication complying with the Wi-Fi standard, for example, and communicates with a target (a target 22 shown in FIG. 3 described later) having a communication function as described later.
  • the communication device 15 can perform communication via a mobile communication network used for communication by a mobile phone, and can acquire various types of information such as map data via a network such as the Internet. Can do.
  • the signal processing device 16 Based on the radar image supplied from the millimeter wave radar 12 and the stereo image supplied from the stereo camera 13, the signal processing device 16 accurately specifies the position of an object such as a vehicle shown in those images. Signal processing. For example, the object specified by the signal processing device 16 is recognized as an obstacle to the traveling of the vehicle, supplied to a vehicle braking system (not shown), and used for automatic driving control for avoiding a collision with the object. . Further, the signal processing device 16 can perform a calibration process for adjusting a shift between the coordinate axes of the radar image and the stereo image when it is determined that the target is reliable as will be described later. The detailed configuration of the signal processing device 16 will be described later with reference to FIG.
  • the position of the vehicle shown in the stereo image captured by the stereo camera 13 is specified based on a coordinate system as shown in the upper left of FIG. That is, in the stereo image of the stereo camera 13, the horizontal direction orthogonal to the traveling direction of the vehicle is the X axis, the vertical direction orthogonal to the traveling direction of the vehicle is the Y axis, and the traveling direction of the vehicle is the Z axis.
  • the position of the vehicle is specified based on the coordinate system.
  • the position of the vehicle shown in the radar image acquired by the millimeter wave radar 12 is specified based on a coordinate system as shown in the upper right of FIG. That is, in the radar image of the millimeter wave radar 12, the position of the vehicle is specified based on a coordinate system in which the horizontal direction orthogonal to the traveling direction of the vehicle is the X axis and the traveling direction of the vehicle is the Z axis.
  • the signal processing device 16 can specify the position of the vehicle using both the stereo image and the radar image. For example, the vehicle A displayed in front of the right side of the stereo image. Corresponds to the laser image shown in the lower right of the radar image.
  • the signal processing device 16 maps a vehicle detected from these images to a coordinate system in the real space, thereby An accurate and more robust vehicle position can be identified.
  • the coordinate system of the stereo image and the coordinate system of the radar image are adjusted using a large-scale system at the time of shipment of the in-vehicle sensor 11 so as to coincide with the coordinate system of the real space.
  • deviations may occur in those coordinate systems, and there is a possibility that the vehicle detected from the stereo image and the radar image cannot be accurately detected.
  • the in-vehicle sensor 11 appropriately performs a calibration process for eliminating the deviation between the coordinate axes of the radar image and the stereo image, and matches the correspondence of the detected objects to accurately detect the objects. Need to be able to. That is, when each of the stereo camera 13 and the millimeter wave radar 12 detects the same vehicle, the adjustment that maps to match the same position in the coordinate system of the real space is compared with the time of shipment. It is important to do simply.
  • the in-vehicle sensor 11 can perform a calibration process using, for example, a target as shown in FIG.
  • FIG. 3 shows the positional relationship between the vehicle 21 on which the vehicle-mounted sensor 11 is mounted and the four targets 22A to 22D.
  • the in-vehicle sensor 11 has a millimeter wave radar 12 and a stereo camera 13 in front of the vehicle 21 inside the windshield of the vehicle 21 so that an object in front of the vehicle 21 can be detected. Fixed to face.
  • the targets 22A to 22D are installed on the road shoulder at a predetermined height that can be detected by the millimeter wave radar 12 and the stereo camera 13 of the in-vehicle sensor 11.
  • the targets 22A to 22D can be installed at a known constant interval (or a specific encoded interval) with an appearance like a reflector provided at the upper end of a guardrail post.
  • the height at which the targets 22A to 22D are installed is preferably about 1 meter with the highest calibration accuracy, for example, with emphasis on human recognition.
  • the in-vehicle sensor 11 acquires a stereo image and a radar image of the same coordinate system as described above with reference to FIG. To do.
  • the horizontal direction orthogonal to the traveling direction of the vehicle is taken as the X axis
  • the vertical direction perpendicular to the traveling direction of the vehicle is taken as the Y axis.
  • the targets 22A to 22D are detected in a coordinate system in which the traveling direction is the Z axis.
  • the millimeter wave radar 12 detects the targets 22A to 22D in a coordinate system in which the horizontal direction orthogonal to the traveling direction of the vehicle is the X axis and the traveling direction of the vehicle is the Z axis.
  • the signal processing device 16 maps the targets 22A to 22D detected from the stereo image and the targets 22A to 22D detected from the radar image to the coordinate system in the real space. To do.
  • the signal processing device 16 performs calibration so as to eliminate the deviation when the positions of the targets 22A to 22D detected from the stereo image and the radar image are generated.
  • the position information of the targets 22A to 22D is known according to the coordinate system in the real space, and the signal processing device 16 can refer to the map data in which the position information is registered. Then, the signal processing device 16 performs calibration by rotating or translating the coordinate system of the stereo image and the radar image so that the deviation from the known positions of the targets 22A to 22D is minimized.
  • the targets 22A to 22D are installed in public places such as road shoulders, the reliability that the objects detected by the stereo image and the radar image are actually registered in the map data is low. There is concern. That is, in order to perform the calibration process accurately, it is necessary to ensure the reliability of the targets 22A to 22D.
  • the signal processing device 16 is configured to perform a calibration process when it is determined that the targets 22A to 22D are reliable.
  • targets 22 when it is not necessary to distinguish each of the targets 22A to 22D as appropriate, they are simply referred to as targets 22.
  • FIG. 5 is a block diagram illustrating a configuration example of the signal processing device 16.
  • the signal processing device 16 includes an own vehicle position specifying unit 31, a storage unit 32, a target installation area determination unit 33, a reliability determination unit 34, a calibration processing unit 35, and an object detection processing unit 36. It is prepared for.
  • the own vehicle position specifying unit 31 specifies the position of the vehicle 21 (hereinafter, appropriately referred to as the own vehicle position) according to the position information supplied from the position measurement device 14 of FIG. 1, and sets the own vehicle position of the vehicle 21 as a target. It supplies to the region judgment part 33.
  • the storage unit 32 stores map data in which arrangement information indicating the position where the target 22 is installed is registered.
  • the map data can be acquired or updated via a network such as the Internet by communication of the communication device 15 in FIG.
  • the target installation area determination unit 33 Based on the own vehicle position of the vehicle 21 supplied from the own vehicle position specifying unit 31, the target installation area determination unit 33 acquires the installation position of the target 22 closest to the own vehicle position from the map data in the storage unit 32. To do. Then, the target installation area determination unit 33 determines whether the vehicle position of the vehicle 21 is within an installation area that is a predetermined range centered on the installation position of the target 22. When the target installation area determination unit 33 determines that the position of the vehicle 21 is within the installation area of the target 22, the target installation area determination unit 33 supplies the determination result to the reliability determination unit 34 to perform reliability determination. Make it.
  • the reliability determination unit 34 requests, for example, a digital signature from the target 22 through communication with the target 22 via the communication device 15 in FIG. 1, and uses the digital signature transmitted from the target 22.
  • the reliability of the target 22 can be determined.
  • the calibration processing unit 35 is a calibration that eliminates the deviation of the coordinate system that occurs in the stereo image and radar image in which the target 22 is detected when the reliability determination unit 34 determines that the target 22 is reliable. Process. The calibration processing by the calibration processing unit 35 will be described later with reference to FIGS.
  • the object detection processing unit 36 detects an object in front of the vehicle 21 based on the stereo image and the radar image according to the coordinate system to which the calibration by the calibration processing unit 35 is applied.
  • the object detection processing unit 36 can accurately perform object detection.
  • the reliability determination unit 34 performs the determination of reliability, thereby performing the determination process more appropriately. Can do.
  • FIG. 6 is a block diagram illustrating a configuration example of the signal processing device included in the target 22.
  • the signal processing device 51 includes a receiving unit 52, a signature creating unit 53, and a transmitting unit 54.
  • the target 22 includes a communication device (not shown) that performs communication based on, for example, the Wi-Fi standard, as with the communication device 15 of the in-vehicle sensor 11.
  • the receiving unit 52 When receiving the signature request through communication with the signal processing device 51, the receiving unit 52 notifies the signature creating unit 53 that a digital signature has been requested.
  • the signature creation unit 53 calculates a hash value of predetermined data with a hash function, for example, and encrypts the hash value with the secret key of the signal processing device 51. Then, the signature creation unit 53 supplies the predetermined data and the encrypted hash value to the transmission unit 54 as a digital signature.
  • the transmitting unit 54 transmits the digital signature (predetermined data and the encrypted hash value) created by the signature creating unit 53 to the signal processing device 51 via the communication device.
  • the signal processing device 51 of the target 22 can transmit a digital signature in response to a signature request from the signal processing device 16.
  • the reliability determination unit 34 decrypts the encrypted hash value transmitted from the target 22 as a digital signature with the public key of the signal processing device 51. In addition, the reliability determination unit 34 calculates a hash value by using a hash function for predetermined data transmitted together with the encrypted hash value. Then, the reliability determination unit 34 compares the hash value calculated from the predetermined data with the hash value decrypted with the public key, and determines that the target 22 is reliable when they match.
  • the public key of the signal processing device 51 is registered in the map data stored in the storage unit 32 together with the position information of the target 22, for example.
  • the calibration processing by the calibration processing unit 35 is performed.
  • the calibration processing unit 35 A stereo image and a radar image are acquired via the object detection processing unit 36.
  • stereo images (right camera image and left camera image) as shown in the upper part of FIG. 7 are supplied to the calibration processing unit 35.
  • the targets 22A to 22D are configured such that they can be identified by, for example, a two-dimensional code attached to the targets 22A to 22D themselves.
  • the calibration processing unit 35 can individually detect the targets 22A to 22D by recognizing the stereo image and recognizing the two-dimensional code. That is, as shown on the left side in the middle of FIG. 7, the calibration processing unit 35 can identify each of the targets 22A to 22D.
  • the calibration processing unit 35 estimates the distance to the captured object based on the parallax between the right camera image and the left camera image, and the estimated distance as shown on the right side of the middle stage of FIG.
  • the represented distance image can be acquired.
  • the calibration process part 35 specifies the distance to each of the targets 22A thru
  • the radar image as shown on the upper right side of FIG. 8 is supplied to the calibration processing unit 35. Then, the calibration processing unit 35 reads the arrangement information of the targets 22A to 22D from the storage unit 32.
  • the calibration processing unit 35 performs alignment (correspondence detection processing) between the targets 22A to 22D shown in the radar image and the arrangement information of the targets 22A to 22D, as shown in the lower part of FIG. In addition, each of the targets 22A to 22D can be specified.
  • the calibration process part 35 maps the targets 22A thru
  • the calibration processing unit 35 sets the coordinate system of the stereo image so that the deviation between the targets 22A to 22D detected from the stereo image and the targets 22A to 22D based on the position information acquired from the map data is minimized. Rotate or translate. Thereby, the calibration processing unit 35 performs calibration of the coordinate system of the stereo image.
  • the calibration processing unit 35 adjusts the coordinate system of the radar image so that the deviation between the targets 22A to 22D detected from the radar image and the targets 22A to 22D based on the position information acquired from the map data is minimized. Rotate or translate Thereby, the calibration processing unit 35 performs calibration of the coordinate system of the radar image.
  • the object detected from the stereo image By performing calibration so that the coordinate system of the stereo image and the coordinate system of the radar image match the coordinate system of the real space (the error is minimized), the object detected from the stereo image, The position of the object detected from the radar image can be matched.
  • the signal processing device 16 is set to perform signal processing periodically (for example, every fixed time or every fixed mileage).
  • the own vehicle position specifying unit 31 acquires position information from the position measuring device 14, specifies the own vehicle position of the vehicle 21, and supplies the own vehicle position of the vehicle 21 to the target installation area determination unit 33. .
  • step S12 the target installation area determination unit 33 acquires, from the map data in the storage unit 32, the installation position of the target 22 that is closest to the vehicle position based on the vehicle position of the vehicle 21 supplied in step S11. To do.
  • step S13 the target installation area determination unit 33 determines whether or not the vehicle position of the vehicle 21 is within the installation area of the target 22, based on the installation position of the target 22 acquired in step S12.
  • the target installation area determination unit 33 determines that the vehicle position of the vehicle 21 is not within the installation area of the target 22, the signal processing ends.
  • the target installation area determination unit 33 determines that the vehicle position of the vehicle 21 is within the installation area of the target 22, the process proceeds to step S14.
  • step S14 the reliability determination unit 34 performs a target reliability determination process as described with reference to FIG.
  • step S15 the reliability determination unit 34 determines whether all the targets 22 in the installation area are reliable according to the processing result of the target reliability determination process.
  • the reliability determination unit 34 determines that all the targets 22 in the installation area are unreliable (that is, there is even one unreliable target 22)
  • the signal processing ends.
  • the reliability determination unit 34 determines that all the targets 22 in the installation area are reliable, the process proceeds to step S16.
  • step S16 after the calibration processing unit 35 performs the calibration processing described with reference to FIG. 12, the signal processing is ended.
  • FIG. 11 is a flowchart for explaining the target reliability determination process performed in step S14 of FIG.
  • the reliability determination unit 34 stores the arrangement information of the target 22 estimated to be detected from the stereo image and the radar image based on the own vehicle position and the traveling direction of the vehicle 21 in the storage unit 32. Read out from the map data. For example, the reliability determination unit 34 acquires arrangement information of the target 22 in the irradiation range of the millimeter wave in front of the vehicle 21 on the map data.
  • step S ⁇ b> 22 the reliability determination unit 34 requests the communication device 15 to sign the target 22 whose arrangement information has been acquired in step S ⁇ b> 21 in a predetermined order, and the communication device 15 Send a signature request to.
  • the signal processing device 51 of the target 22 transmits a digital signature in response to a signature request from the signal processing device 16.
  • step S23 the reliability determination unit 34 receives the digital signature (predetermined data and the encrypted hash value) transmitted from the target 22 via the communication device 15.
  • step S24 the reliability determination unit 34 determines whether the digital signature has been successfully received in step S23. If it is determined that the digital signature has not been successfully received, the process returns to step S22. The signature request is repeatedly transmitted. On the other hand, if the reliability determination unit 34 determines in step S24 that the digital signature has been successfully received, the process proceeds to step S25.
  • step S25 the reliability determination unit 34 decrypts the encrypted hash value transmitted from the target 22 as a digital signature with the public key of the signal processing device 51.
  • step S26 the reliability determination unit 34 calculates a hash value by using a hash function for predetermined data transmitted together with the encrypted hash value. Then, the reliability determination unit 34 compares the hash value calculated from the predetermined data with the hash value decrypted with the public key.
  • step S27 the reliability determination unit 34 determines whether the hash values match as a result of the comparison in step S26.
  • step S27 when the reliability determination unit 34 determines that the hash values match, the process proceeds to step S28. And the reliability determination part 34 acquires the determination result that it can trust with respect to the target 22 used as the object of a process.
  • step S27 when the reliability determination unit 34 determines in step S27 that the hash values do not match, the process proceeds to step S29. And the reliability determination part 34 acquires the determination result that it cannot trust with respect to the target 22 used as the object of a process.
  • step S28 or S29 the process proceeds to step S30, and the reliability determination unit 34 determines whether or not the determination result has been acquired for all the targets 22 for which the arrangement information has been acquired in step S21.
  • step S30 when the reliability determination unit 34 determines that all the targets 22 are not processed and has acquired the determination result, the process returns to step S22, and the next target 22 that has not yet acquired the determination result. In the following, the same processing is repeated. On the other hand, when the reliability determination unit 34 determines in step S30 that the determination result has been acquired for all the targets 22 as a processing target, the target reliability determination process is terminated.
  • FIG. 12 is a flowchart for explaining the calibration process performed in step S16 of FIG.
  • step S41 the calibration processing unit 35 acquires a stereo image and a radar image via the object detection processing unit 36.
  • step S ⁇ b> 42 the calibration processing unit 35 stores the arrangement information of the target 22 estimated to be detected from the stereo image and the radar image based on the vehicle position and the traveling direction of the vehicle 21 in the storage unit 32. Read out from the map data. For example, the calibration processing unit 35 acquires arrangement information of the target 22 in the millimeter wave irradiation range in front of the vehicle 21 on the map data.
  • step S43 the calibration processing unit 35 performs image recognition on the stereo image using the distance image obtained using the parallax of the stereo image acquired in step S41.
  • the distance to the individually recognized target 22 is specified.
  • step S44 the calibration processing unit 35, as described above with reference to FIG. 8, sets the position information of the target 22 detected in the radar image acquired in step S41 and the arrangement information of the target 22 acquired in step S42. By matching, the target 22 is specified individually.
  • step S45 the calibration processing unit 35 maps the target 22 specified from the stereo image in step S43 and the target 22 specified from the radar image in step S44 to a real space coordinate system. Then, the calibration processing unit 35 performs calibration so that the deviation between the known position of the target 22 and the position of the target 22 specified from the stereo image and the radar image is eliminated. Thereafter, the calibration processing unit 35 supplies the calibration result (rotation and translation of the coordinate system) to the object detection processing unit 36, and the object detection processing unit 36 detects the object according to the coordinate system to which the calibration is applied. Thus, the calibration process is terminated.
  • the calibration processing unit 35 detects the correspondence between the arrangement information of the target 22 and the target 22 detected in the radar image.
  • the placement information of the target 22 is also referred to as pre-placement information.
  • the position of the target 22 is specified in the world coordinate system.
  • Y Det (k) is a fixed value.
  • K targets in the sensor coordinate system of the millimeter wave radar 12 or the stereo camera 13, K or more targets may be detected due to the influence of disturbance or the like.
  • the target position f in the pre-arrangement information, there are five targets, but in the sensor coordinate system, the target position f is detected as a target by noise, for example, and the target detection positions a to f are 6 Targets have been detected.
  • the detection of the correspondence between the five target positions 1 to 5 on the world coordinate system and the six target detection positions a to f on the sensor coordinate system is most likely performed by a three-dimensional point of a different coordinate system. It can be solved by considering it as a graph matching problem that finds the correspondences that overlap well.
  • the correspondence (connection) between the five target positions 1 to 5 on the world coordinate system and the six target detection positions a to f on the sensor coordinate system is represented by a matrix variable X of M rows and N columns, and (1).
  • the subscript i of x is a variable for identifying a target on the world coordinate system (0 ⁇ i ⁇ M + 1)
  • the subscript j of x is a variable for identifying a target on the sensor coordinate system (0 ⁇ j ⁇ N + 1).
  • x i, j represents whether or not the i th target on the world coordinate system and the j th target on the sensor coordinate system are connected, and is “1” when connected, “0” when not connected. It is a variable that takes
  • the target position 1 on the world coordinate system and the target detection position a on the sensor coordinate system For example, as shown by a thick solid line in FIG. 15, the target position 1 on the world coordinate system and the target detection position a on the sensor coordinate system, the target position 2 on the world coordinate system and the target detection position b on the sensor coordinate system. , Target position 3 on the world coordinate system, target detection position c on the sensor coordinate system, target position 4 on the world coordinate system, target detection position d on the sensor coordinate system, and target position 5 on the world coordinate system
  • the matrix variable X representing the correspondence is expressed by the following equation (2).
  • the calibration processing unit 35 obtains X that maximizes the score function score (X) using the matrix variable X represented by the equation (2).
  • the score function score (X) is expressed by the following equation (3).
  • i1 and i2 are variables that identify targets on the world coordinate system
  • j1 and j2 are variables that identify targets on the sensor coordinate system.
  • l i1, i2 is the length of the line segment connecting P MAP (i1) and P MAP (i2) on the world coordinate system
  • h j1, j2 is P Det (j1) and P Det on the sensor coordinate system This represents the length of the line segment connecting (j2).
  • S (l i1, i2 , h j1, j2 ) represents the similarity between the line length l i1, i2 and the line length h j1, j2 , and the line length l i1, i2 and the line The closer the minute length h j1, j2 is, the larger the value becomes.
  • Similarity S (l i1, i2, h j1, j2) for example, the length of the line segment l i1, i2 and the line segment of length h j1, j2 of the difference d (l i1, i2, h j1, j2
  • the following equation (4) using) can be employed.
  • the first correspondence detection process described above is a detection method that uses the target pre-position information, but the target detected by the radar three-dimensional coordinate system and the camera three-dimensional coordinates without using the target pre-position information. It is also possible to detect the correspondence with the target detected by the system.
  • the calibration processing unit 35 determines at least one of the target position P MMW (k) on the radar three-dimensional coordinate system and the target position P cam (k) on the camera three-dimensional coordinate system. By superimposing by sliding a predetermined amount, it is possible to match the targets arranged in the nearest vicinity. ⁇ 5. Detailed explanation of calculation of positional relationship>
  • the calibration processing unit 35 calculates the positional relationship between the millimeter wave radar 12 and the stereo camera 13 using a plurality of targets whose correspondences have been specified as described above.
  • the position of the kth target (0 ⁇ k ⁇ K + 1) among the K targets for which the correspondence relationship has been specified is P in the radar three-dimensional coordinate system.
  • MMW (k) [X MMW (k) Y A Z MMW (k)] T.
  • P cam (k) [X cam (k) Y cam (k) Z cam (K)] T.
  • T represents transposition
  • Y A represents a predetermined fixed value.
  • the calibration processing unit 35 is an expression representing the positional relationship between the target position P MMW (k) on the radar three-dimensional coordinate system and the target position P cam (k) on the camera three-dimensional coordinate system for each of the K targets. Substituting into (5) and solving the optimization problem using the least square method or the like, the rotation matrix R and the translation vector V in equation (5) are calculated.
  • k is a variable (0 ⁇ k ⁇ K + 1) for identifying a predetermined one of a plurality (K) of targets
  • P cam (k) is a camera three-dimensional coordinate system.
  • the detected target detection position of the kth target, P MMW (k) represents the target detection position of the kth target detected in the radar three-dimensional coordinate system.
  • Expression (5) is an expression for converting the target detection position P MMW (k) of the k-th target detected in the radar three-dimensional coordinate system into the target detection position P cam (k) on the camera three-dimensional coordinate system.
  • the rotation matrix R represents the attitude of the millimeter wave radar 12 with respect to the stereo camera 13
  • the translation vector V represents the position of the millimeter wave radar 12 with respect to the stereo camera 13.
  • the rotation matrix R Since there are three variables of the rotation matrix R and three variables of the translation vector V, if at least six target detection positions can be obtained, the rotation matrix R and the translation vector V of Expression (5) are calculated. be able to. Note that the rotation matrix R can be expressed by a quaternion in addition to using the least square method.
  • the communication device 15 employs a communication method other than Wi-Fi, for example, communication using visible light, communication using millimeter waves output from the millimeter wave radar 12, and the like. May be.
  • the signal processing device 16 may always refer to the latest map data via a network by communication via the communication device 15.
  • the millimeter wave radar 12 and the stereo camera 13 are mounted so that the detection direction faces the front of the vehicle 21 and the object in front of the vehicle 21 is detected.
  • the detection direction is not limited to the front of the vehicle 21.
  • the in-vehicle sensor 11 detects an object behind the vehicle.
  • the present technology can be mounted on a moving object that moves on land, such as a robot, in addition to the vehicle. is there.
  • the series of processes including the calibration process described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 19 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable recording medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads, for example, the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. Is performed.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable recording medium 211 to the drive 210. Further, the program can be received by the communication unit 209 via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting, and can be installed in the storage unit 208. In addition, the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can also take the following structures.
  • a reliability determination unit that determines whether the target is reliable by communication with a target whose position information is known;
  • a calibration process for performing a calibration process for eliminating a shift of a coordinate system occurring in a stereo image and a radar image in which the target is detected when the reliability determination unit determines that the target is reliable.
  • a signal processing device that performs a calibration process for eliminating a shift of a coordinate system occurring in a stereo image and a radar image in which the target is detected when the reliability determination unit determines that the target is reliable.
  • An own vehicle position specifying unit for specifying a current position of a vehicle on which the signal processing device is mounted; Reference to map data in which a plurality of target placement positions are registered, and target installation area determination that causes the reliability determination unit to make a determination when the current position of the vehicle is within the target installation area
  • the signal processing apparatus further including: (3) The calibration processing unit Individually recognizing the target shown in the stereo image by performing image recognition on the stereo image; The signal processing device according to (1) or (2), wherein the distance of the target that is individually recognized is specified using a distance image obtained by using parallax of the stereo image.
  • the calibration processing unit individually recognizes the targets detected in the radar image by aligning the position information of the known target with the target detected in the radar image.
  • the signal processing device according to any one of (1) to (3).
  • the calibration processing unit maps the target recognized from the stereo image and the radar image to a coordinate system in a real space based on the known position information of the target, and shifts from the known position of the target.
  • the signal processing device according to any one of (1) to (4), wherein the calibration is performed by rotating or translating the coordinate system of the stereo image and the radar image so that the minimum value is minimized.
  • the reliability determination unit requests a digital signature from the target and determines the reliability of the target using the digital signature transmitted from the target. (1) to (5) The signal processing device according to any one of the above.
  • a signal processing method including a step of performing a calibration process for eliminating a shift of a coordinate system occurring in a stereo image and a radar image in which the target is detected when it is determined that the target is reliable.
  • a stereo image capturing device that acquires a stereo image by capturing images with a plurality of image capturing units;
  • a radar device that acquires a radar image obtained by detecting a position of an object within an irradiation range of the radio wave using radio waves in a predetermined wavelength range;
  • a communication device for communicating with a target whose position information is known;
  • a reliability determination unit that determines whether or not the target is reliable by communication with the target via the communication device; and the target when the target is determined to be reliable by the reliability determination unit
  • An object detection system comprising: a calibration processing unit that performs a calibration process that eliminates a shift in a coordinate system that has occurred in the stereo image and the radar image in which the image is detected.
  • 11 in-vehicle sensor 12 millimeter wave radar, 13 stereo camera, 13R right camera, 13L left camera, 14 position measuring device, 15 communication device, 16 signal processing device, 21 vehicle, 22 target, 31 own vehicle position specifying unit, 32 storage Part, 33 target installation area judgment part, 34 reliability judgment part, 35 calibration processing part, 36 object detection processing part

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本開示は、物体検出を正確に行うことができるようにする信号処理装置、信号処理方法、プログラム、および、物体検出システムに関する。 ステレオカメラは、右カメラおよび左カメラにより撮像を行うことでステレオ画像を取得し、ミリ波レーダは、ミリ波帯の電波であるミリ波を利用して、ミリ波の照射範囲内にある物体の位置を検出したレーダ画像を取得する。そして、位置情報が既知のターゲットとの通信装置を介した通信により、ターゲットが信頼できるか否かを判定し、ターゲットが信頼できると判定された場合に、ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行う。本技術は、例えば、自動運転制御を行う車両に搭載される車載センサに適用できる。

Description

信号処理装置、信号処理方法、プログラム、および、物体検出システム
　本開示は、信号処理装置、信号処理方法、プログラム、および、物体検出システムに関し、特に、物体検出を正確に行うことができるようにした信号処理装置、信号処理方法、プログラム、および、物体検出システムに関する。
　近年、自動車等の車両において、前方の車や歩行者を検知して自動でブレーキ制御等を行うことにより、衝突を回避する衝突回避システムの導入が進んでいる。
　前方の車や歩行者などの物体の検知には、ステレオカメラで撮像された画像の画像認識や、ミリ波レーダやレーザレーダなどによるレーダ情報が用いられる。また、センサフュージョンと呼ばれる、ステレオカメラとレーダの両方を用いた物体検出システムの開発も進んでいる。このような物体検出システムでは、ステレオカメラとレーダとのキャリブレーションを正確に行うことが必要となる。
　例えば、特許文献１には、自車両の前方の物体を対象物として検出するレーダ装置および撮像装置の検出方向軸のズレの補正を自車両の走路環境に応じて行う物体検出装置において、車両進行情報とナビゲーション情報からキャリブレーションに適さない場所でのキャリブレーションを抑制する技術が開示されている。
特開２０１１－２１６０１１号公報
　ところで、キャリブレーションに利用するために路肩などに設置されたターゲットを用いることで、より正確なキャリブレーションを行うことができるが、そのターゲットが信頼できるものである必要がある。つまり、信頼できるターゲットを利用してキャリブレーションを行うことで、より正確に物体検出を行うことができるようになる。
　本開示は、このような状況に鑑みてなされたものであり、物体検出を正確に行うことができるようにするものである。
　本開示の一側面の信号処理装置は、位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定する信頼性判定部と、前記信頼性判定部により前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うキャリブレーション処理部とを備える。
　本開示の一側面の信号処理方法またはプログラムは、位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定し、前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うステップを含む。
　本開示の一側面の物体検出システムは、複数の撮像部により撮像を行うことでステレオ画像を取得するステレオ画像撮像装置と、所定の波長域の電波を利用して、その電波の照射範囲内にある物体の位置を検出したレーダ画像を取得するレーダ装置と、位置情報が既知のターゲットと通信を行う通信装置と、前記通信装置を介した前記ターゲットとの通信により、前記ターゲットが信頼できるか否かを判定する信頼性判定部と、前記信頼性判定部により前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されている前記ステレオ画像および前記レーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うキャリブレーション処理部と有する信号処理装置とを備える。
　本開示の一側面においては、位置情報が既知のターゲットとの通信により、ターゲットが信頼できるか否かが判定され、そのターゲットが信頼できると判定された場合に、そのターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理が行われる。
　本開示の一側面によれば、物体検出を正確に行うことができる。
本技術を適用した信号処理装置が組み込まれる車載センサの構成例を示すブロック図である。 ステレオ画像とレーダ画像における車両の対応関係を説明する図である。 車両とターゲットとの位置関係を示す図である。 ステレオ画像とレーダ画像におけるターゲットの対応関係を説明する図である。 信号処理装置の構成例を示すブロック図である。 ターゲットが備える信号処理装置の構成例を示すブロック図である。 ステレオ画像におけるターゲットの特定を説明する図である。 レーダ画像におけるターゲットの特定を説明する図である。 ターゲットを用いたキャリブレーションを説明する図である。 信号処理を説明するフローチャートである。 ターゲット信頼性判定処理を説明するフローチャートである。 キャリブレーション処理を説明するフローチャートである。 第１の対応検出処理について説明する図である。 第１の対応検出処理について説明する図である。 第１の対応検出処理について説明する図である。 第１の対応検出処理について説明する図である。 第２の対応検出処理について説明する図である。 位置関係の算出について説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。なお、説明は以下の順序で行う。
１．車載センサの構成例
２．信号処理装置の構成例
３．キャリブレーション処理の処理フロー
４．対応検出処理
５．位置関係の算出
６．コンピュータ構成例
　＜１．車載センサの構成例について＞
　図１は、本技術を適用した信号処理装置が組み込まれる車載センサ（物体検出システム）の構成例を示すブロック図である。
　図１に示すように、車載センサ１１は、ミリ波レーダ１２、右カメラ１３Ｒ、左カメラ１３Ｌ、位置計測装置１４、通信装置１５、および信号処理装置１６を備えて構成される。
　ミリ波レーダ１２は、ミリ波帯の電波（以下、ミリ波と称する）を利用して、ミリ波の照射範囲内にある物体の位置を検出することができる。例えば、ミリ波レーダ１２は、車両の進行方向の前方に向かってミリ波を照射して、その進行方向をＺ軸とし、進行方向に対して直交する水平方向をＸ軸として、検出した物体の位置を示すレーダ画像を信号処理装置１６に供給する。
　右カメラ１３Ｒおよび左カメラ１３Ｌは、同一の高さで、横方向に所定の間隔を空けて配置されており、車両の進行方向の前方を撮像する。例えば、右カメラ１３Ｒが撮像した画像である右カメラ画像と、左カメラ１３Ｌが撮像した画像である左カメラ画像とは、それぞれの配置位置の違いから、視差（横方向のずれ）を有する画像となっている。また、右カメラ１３Ｒおよび左カメラ１３Ｌの位置関係は正確にキャリブレーションされている。なお、以下適宜、右カメラ１３Ｒおよび左カメラ１３Ｌの一組をステレオカメラ１３とも称し、右カメラ画像と左カメラ画像を特に区別しない場合、ステレオ画像とも称する。
　位置計測装置１４は、例えば、ＧＰＳ（Global Positioning System）などの衛星航法システムを利用し、衛星からの電波を受信することで現在位置を計測することができ、その計測により得られる位置情報を信号処理装置１６に供給する。また、位置計測装置１４は、例えば、加速度データや走行距離データに基づいて、地図データ上の走行経路をマッチングすることにより位置情報を計測してもよい。
　通信装置１５は、例えば、Wi-Fiの規格に準拠した通信を行うことができ、後述するような通信機能を備えたターゲット（後述する図３に示すターゲット２２）と通信を行う。また、通信装置１５は、携帯電話機による通信に利用される移動体通信網を介した通信を行うことができ、インターネットなどのネットワークを経由して各種の情報、例えば、地図データなどを取得することができる。
　信号処理装置１６は、ミリ波レーダ１２から供給されるレーダ画像、および、ステレオカメラ１３から供給されるステレオ画像に基づいて、それらの画像に映されている車両などの物体の位置を正確に特定する信号処理を行う。例えば、信号処理装置１６によって特定された物体は、車両の走行に対する障害物として認識され、図示しない後段の車両制動システムに供給され、その物体との衝突を回避する自動運転制御などに利用される。また、信号処理装置１６は、後述するようにターゲットが信頼できるものであると判定された場合に、レーダ画像の座標軸およびステレオ画像の座標軸のズレを調整するキャリブレーション処理を行うことができる。なお、信号処理装置１６の詳細な構成については、図５を参照して後述する。
　ここで、ステレオ画像とレーダ画像の対応関係について、図２を参照して説明する。
　例えば、車載センサ１１では、ステレオカメラ１３により撮像されたステレオ画像に写されている車両の位置は、図２の左上に示すような座標系に基づいて特定される。即ち、ステレオカメラ１３のステレオ画像では、車両の進行方向に対して直交する水平方向をＸ軸とし、車両の進行方向に対して直交する垂直方向をＹ軸とし、車両の進行方向をＺ軸とした座標系に基づいて、車両の位置が特定される。
　また、車載センサ１１では、ミリ波レーダ１２により取得されるレーダ画像に示される車両の位置は、図２の右上に示すような座標系に基づいて特定される。即ち、ミリ波レーダ１２のレーダ画像では、車両の進行方向に対して直交する水平方向をＸ軸とし、車両の進行方向をＺ軸としたとした座標系に基づいて、車両の位置が特定される。
　このような座標系に基づいて、信号処理装置１６は、ステレオ画像およびレーダ画像の両方を用いて車両の位置を特定することができ、例えば、ステレオ画像の右側の手前に映されている車両Ａは、レーダ画像の右下に示されるレーザー像に対応する。
　例えば、図２の下側に示すように、信号処理装置１６は、ステレオ画像およびレーダ画像が供給されると、それらの画像から検出された車両を実空間の座標系にマッピングすることで、より正確な、かつ、よりロバストな車両の位置を特定することができる。一般的に、ステレオ画像の座標系およびレーダ画像の座標系は、実空間の座標系に一致するように、車載センサ１１の出荷時に大掛かりなシステムを用いて調整される。しかしながら、車載センサ１１の使用に伴う経年変化などにより、それらの座標系にズレが発生することがあり、ステレオ画像およびレーダ画像から検出された車両を正確に検出することができなくなる恐れがある。
　従って、車載センサ１１は、レーダ画像の座標軸およびステレオ画像の座標軸のズレを解消するためのキャリブレーション処理を適切に行って、それぞれ検出された物体の対応関係を一致させ、物体を正確に検出することができるようにする必要がある。即ち、ステレオカメラ１３およびミリ波レーダ１２それぞれが同一の車両を検出した場合に、実空間の座標系において、同一の位置に一致するようにマッピングされるような調整を、出荷時と比較して簡易的に行うことが重要となる。
　そこで、車載センサ１１は、例えば、図３に示すようなターゲットを利用して、キャリブレーション処理を行うことができる。
　図３には、車載センサ１１が搭載された車両２１と、４つのターゲット２２Ａ乃至２２Ｄとの位置関係が示されている。
　図３に示すように、車載センサ１１は、車両２１の前方の物体を検出することができるように、車両２１のフロントガラスの内側に、ミリ波レーダ１２およびステレオカメラ１３が車両２１の前方に向かうように固定される。
　また、ターゲット２２Ａ乃至２２Ｄは、車載センサ１１のミリ波レーダ１２およびステレオカメラ１３により検出可能な所定の高さで、路肩に設置される。例えば、ターゲット２２Ａ乃至２２Ｄは、既知の一定の間隔（または、特定の符号化された間隔）で、ガードレールの支柱の上端に設けられる反射板のような見た目で設置することができる。また、ターゲット２２Ａ乃至２２Ｄが設置される高さは、例えば、人物の認識を重視して、キャリブレーション精度が最も良い１メートル程度とすることが望ましい。
　そして、車両２１およびターゲット２２Ａ乃至２２Ｄが、図３に示すような位置関係であるとき、車載センサ１１は、図２を参照して上述したのと同様の座標系のステレオ画像およびレーダ画像を取得する。
　即ち、図４の上段に示すように、ステレオカメラ１３では、車両の進行方向に対して直交する水平方向をＸ軸とし、車両の進行方向に対して直交する垂直方向をＹ軸とし、車両の進行方向をＺ軸としたとした座標系で、ターゲット２２Ａ乃至２２Ｄが検出される。また、ミリ波レーダ１２では、車両の進行方向に対して直交する水平方向をＸ軸とし、車両の進行方向をＺ軸としたとした座標系で、ターゲット２２Ａ乃至２２Ｄが検出される。
　そして、信号処理装置１６は、図４の下側に示すように、実空間の座標系に、ステレオ画像から検出されたターゲット２２Ａ乃至２２Ｄ、および、レーダ画像から検出されたターゲット２２Ａ乃至２２Ｄをマッピングする。
　このとき、信号処理装置１６は、ステレオ画像およびレーダ画像から検出されたターゲット２２Ａ乃至２２Ｄの位置にズレが発生している場合、そのズレを解消するようなキャリブレーションを行う。例えば、ターゲット２２Ａ乃至２２Ｄの位置情報は実空間の座標系に従って既知とされており、信号処理装置１６は、それらの位置情報が登録された地図データを参照することができる。そして、信号処理装置１６は、ターゲット２２Ａ乃至２２Ｄの既知の位置とのズレが最小となるように、ステレオ画像およびレーダ画像の座標系をそれぞれ回転または並進させることによりキャリブレーションを行う。
　ところで、ターゲット２２Ａ乃至２２Ｄは、路肩などの公共の場所に設置されていることより、ステレオ画像およびレーダ画像により検出された物体が、本当に地図データに登録されているものであるという信頼性が低いことが懸念される。つまり、キャリブレーション処理を正確に行うためには、ターゲット２２Ａ乃至２２Ｄの信頼性を確保する必要がある。
　そこで、信号処理装置１６は、ターゲット２２Ａ乃至２２Ｄが信頼できると判定した場合に、キャリブレーション処理を行うことができるように構成される。なお、以下適宜、ターゲット２２Ａ乃至２２Ｄそれぞれを区別する必要がない場合、単に、ターゲット２２と称する。
　＜２．信号処理装置の構成例について＞
　図５は、信号処理装置１６の構成例を示すブロック図である。
　図５に示すように、信号処理装置１６は、自車位置特定部３１、記憶部３２、ターゲット設置地域判断部３３、信頼性判定部３４、キャリブレーション処理部３５、および物体検出処理部３６を備えて構成される。
　自車位置特定部３１は、図１の位置計測装置１４から供給される位置情報に従って、車両２１の位置（以下適宜、自車位置と称する）を特定し、車両２１の自車位置をターゲット設置地域判断部３３に供給する。
　記憶部３２には、ターゲット２２が設置されている位置を示す配置情報が登録された地図データが記憶されている。例えば、この地図データは、図１の通信装置１５の通信によりインターネットなどのネットワークを経由して、取得または更新することができる。
　ターゲット設置地域判断部３３は、自車位置特定部３１から供給される車両２１の自車位置に基づいて、その自車位置に最も近いターゲット２２の設置位置を、記憶部３２の地図データから取得する。そして、ターゲット設置地域判断部３３は、車両２１の自車位置が、ターゲット２２の設置位置を中心とした所定範囲である設置地域内であるかを判断する。ターゲット設置地域判断部３３は、車両２１の自車位置がターゲット２２の設置地域内であると判断した場合には、その判断結果を信頼性判定部３４に供給して、信頼性の判定を行わせる。
　信頼性判定部３４は、図１の通信装置１５を介したターゲット２２との通信により、例えば、ターゲット２２に対してデジタル署名を要求し、ターゲット２２から送信されてくるデジタル署名を利用して、ターゲット２２の信頼性を判定することができる。
　キャリブレーション処理部３５は、信頼性判定部３４によりターゲット２２が信頼できると判定された場合に、ターゲット２２が検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行う。なお、キャリブレーション処理部３５によるキャリブレーション処理については、図７乃至図９を参照して後述する。
　物体検出処理部３６は、キャリブレーション処理部３５によるキャリブレーションが適用された座標系に従って、ステレオ画像およびレーダ画像に基づいて、車両２１の前方にある物体の検出を行う。
　以上のように構成される信号処理装置１６では、信頼性判定部３４により信頼性があると判定されたターゲット２２を利用してステレオ画像およびレーダ画像のキャリブレーションを行うことで、より正確にキャリブレーションを行うことができる。これにより、そのキャリブレーションが適用された座標系に従って、物体検出処理部３６は、物体検出を正確に行うことができる。また、ターゲット設置地域判断部３３によりターゲット２２の設置地域内であると判断された場合に、信頼性判定部３４による信頼性の判定を行うようにすることで、より適切に判定処理を行うことができる。
　図６は、ターゲット２２が備える信号処理装置の構成例を示すブロック図である。
　図６に示すように、信号処理装置５１は、受信部５２、署名作成部５３、および送信部５４を備えて構成される。また、ターゲット２２は、車載センサ１１の通信装置１５と同様に、例えば、Wi-Fiの規格に準拠した通信を行う通信装置（図示せず）を備えている。
　受信部５２は、信号処理装置５１との通信により署名要求を受信すると、デジタル署名が要求されたことを署名作成部５３に通知する。
　署名作成部５３は、例えば、ハッシュ関数で所定のデータのハッシュ値を算出し、そのハッシュ値を信号処理装置５１の秘密鍵で暗号化する。そして、署名作成部５３は、所定のデータと、暗号化したハッシュ値とを、デジタル署名として送信部５４に供給する。
　送信部５４は、署名作成部５３において作成されたデジタル署名（所定のデータ、および、暗号化したハッシュ値）を、通信装置を介して信号処理装置５１に送信する。
　このように、ターゲット２２の信号処理装置５１は、信号処理装置１６からの署名要求に応じてデジタル署名を送信することができる。
　そして、信号処理装置１６では、信頼性判定部３４が、デジタル署名としてターゲット２２から送信されてきた、暗号化されたハッシュ値を信号処理装置５１の公開鍵で復号する。また、信頼性判定部３４は、暗号化されたハッシュ値とともに送信されてきた所定のデータについてハッシュ関数によりハッシュ値を算出する。そして、信頼性判定部３４は、所定のデータから算出したハッシュ値と、公開鍵で復号したハッシュ値を比較して、それらが一致した場合、ターゲット２２が信頼できるものと判定する。なお、信号処理装置５１の公開鍵は、例えば、ターゲット２２の位置情報とともに、記憶部３２に記憶される地図データに登録されている。
　このように、信号処理装置１６では、デジタル署名を利用してターゲット２２が信頼できるものと判定された場合に、キャリブレーション処理部３５によるキャリブレーション処理が行われる。
　ここで、図７乃至図９を参照して、キャリブレーション処理部３５によるキャリブレーション処理について説明する。
　例えば、車両２１およびターゲット２２Ａ乃至２２Ｄが、上述した図３に示すような位置関係であり、信頼性判定部３４によりターゲット２２Ａ乃至２２Ｄが信頼できると判定されると、キャリブレーション処理部３５は、物体検出処理部３６を介して、ステレオ画像およびレーダ画像を取得する。
　このとき、キャリブレーション処理部３５には、図７の上段に示すようなステレオ画像（右カメラ画像および左カメラ画像）が供給される。ここで、ターゲット２２Ａ乃至２２Ｄは、例えば、ターゲット２２Ａ乃至２２Ｄ自身に貼られている二次元コードなどにより、それぞれを識別することができるように構成されている。
　従って、キャリブレーション処理部３５は、ステレオ画像に対する画像認識を行って二次元コードを認識することにより、ターゲット２２Ａ乃至２２Ｄを個別に検出することができる。即ち、図７の中段の左側に示すように、キャリブレーション処理部３５は、ターゲット２２Ａ乃至２２Ｄそれぞれを識別することができる。
　また、キャリブレーション処理部３５は、右カメラ画像および左カメラ画像の視差に基づいて、写されている物体までの距離を推定し、図７の中段の右側に示すように、推定された距離により表される距離画像を取得することができる。
　そして、キャリブレーション処理部３５は、ターゲット２２Ａ乃至２２Ｄを個別に検出した画像と、距離画像とのアンドを取る（論理積を演算する）ことによって、ターゲット２２Ａ乃至２２Ｄそれぞれまでの距離を特定することができる。また、キャリブレーション処理部３５は、個別に検出されたターゲット２２Ａ乃至２２Ｄに対応する箇所における距離画像の平均値または中央値を、ターゲット２２Ａ乃至２２Ｄそれぞれまでの距離として特定することができる。
　また、このとき、キャリブレーション処理部３５には、図８の上段右側に示すようなレーダ画像が供給される。そして、キャリブレーション処理部３５は、記憶部３２からターゲット２２Ａ乃至２２Ｄの配置情報を読み出す。
　従って、キャリブレーション処理部３５は、レーダ画像に映されているターゲット２２Ａ乃至２２Ｄと、ターゲット２２Ａ乃至２２Ｄの配置情報との位置合わせ（対応検出処理）を行うことにより、図８の下段に示すように、ターゲット２２Ａ乃至２２Ｄそれぞれを特定することができる。
　そして、図９に示すように、キャリブレーション処理部３５は、ステレオ画像から検出されたターゲット２２Ａ乃至２２Ｄと、レーダ画像から検出されたターゲット２２Ａ乃至２２Ｄとを、実空間の座標系にマッピングする。
　さらに、キャリブレーション処理部３５は、ステレオ画像から検出されたターゲット２２Ａ乃至２２Ｄと、地図データから取得した位置情報に基づくターゲット２２Ａ乃至２２Ｄとのズレが最小となるように、ステレオ画像の座標系を回転または並進させる。これにより、キャリブレーション処理部３５は、ステレオ画像の座標系のキャリブレーションを行う。
　同様に、キャリブレーション処理部３５は、レーダ画像から検出されたターゲット２２Ａ乃至２２Ｄと、地図データから取得した位置情報に基づくターゲット２２Ａ乃至２２Ｄとのズレが最小となるように、レーダ画像の座標系を回転または並進させる。これにより、キャリブレーション処理部３５は、レーダ画像の座標系のキャリブレーションを行う。
　このように、ステレオ画像の座標系およびレーダ画像の座標系が、実空間の座標系に一致する（誤差が最小になる）ようにキャリブレーションを行うことで、ステレオ画像から検出される物体と、レーダ画像から検出される物体との位置を一致させることができる。
　＜３．キャリブレーション処理の処理フローについて＞
　図１０乃至図１２を参照して、信号処理装置１６において実行される信号処理について説明する。
　例えば、信号処理装置１６は、定期的（例えば、一定時間または一定走行距離ごと）に信号処理を行うように設定されている。ステップＳ１１において、自車位置特定部３１は、位置計測装置１４から位置情報を取得し、車両２１の自車位置を特定して、車両２１の自車位置をターゲット設置地域判断部３３に供給する。
　ステップＳ１２において、ターゲット設置地域判断部３３は、ステップＳ１１で供給された車両２１の自車位置に基づいて、その自車位置に最も近いターゲット２２の設置位置を、記憶部３２の地図データから取得する。
　ステップＳ１３において、ターゲット設置地域判断部３３は、ステップＳ１２で取得したターゲット２２の設置位置に基づいて、車両２１の自車位置が、ターゲット２２の設置地域内であるか否かを判定する。そして、ターゲット設置地域判断部３３が、車両２１の自車位置はターゲット２２の設置地域内でないと判定した場合、信号処理は終了する。一方、ターゲット設置地域判断部３３が、車両２１の自車位置はターゲット２２の設置地域内であると判定した場合、処理はステップＳ１４に進む。
　ステップＳ１４において、信頼性判定部３４は、図１１を参照して説明するようなターゲット信頼性判定処理を行う。
　ステップＳ１５において、信頼性判定部３４は、ターゲット信頼性判定処理の処理結果に従って、設置地域内にある全てのターゲット２２が信頼できるか否かを判定する。そして、信頼性判定部３４が、設置地域内にある全てのターゲット２２が信頼できない（即ち、１つでも信頼できないターゲット２２がある）と判定した場合、信号処理は終了する。一方、信頼性判定部３４が、設置地域内にある全てのターゲット２２が信頼できると判定した場合、処理はステップＳ１６に進む。
　ステップＳ１６において、キャリブレーション処理部３５が、図１２を参照して説明するようなキャリブレーション処理を行った後、信号処理は終了される。
　次に、図１１は、図１０のステップＳ１４で行われるターゲット信頼性判定処理を説明するフローチャートである。
　ステップＳ２１において、信頼性判定部３４は、車両２１の自車位置および進行方向に基づいて、ステレオ画像およびレーダ画像により検出されると推定されるターゲット２２の配置情報を、記憶部３２に記憶されている地図データから読み出して取得する。例えば、信頼性判定部３４は、地図データ上で、車両２１の前方におけるミリ波の照射範囲内にあるターゲット２２の配置情報を取得する。
　ステップＳ２２において、信頼性判定部３４は、通信装置１５に対して、ステップＳ２１で配置情報を取得したターゲット２２を、所定の順で処理の対象として署名を要求し、通信装置１５は、ターゲット２２に署名要求を送信する。これに応じて、図６を参照して上述したように、ターゲット２２の信号処理装置５１は、信号処理装置１６からの署名要求に応じてデジタル署名を送信する。
　ステップＳ２３において、信頼性判定部３４は、通信装置１５を介して、ターゲット２２から送信されてくるデジタル署名（所定のデータ、および、暗号化したハッシュ値）を受信する。
　ステップＳ２４において、信頼性判定部３４は、ステップＳ２３におけるデジタル署名の受信に成功したか否かを判定し、デジタル署名の受信に成功していないと判定した場合には、処理はステップＳ２２に戻って、署名要求の送信を繰り返して行う。一方、ステップＳ２４において、信頼性判定部３４が、デジタル署名の受信に成功したと判定した場合、処理はステップＳ２５に進む。
　ステップＳ２５において、信頼性判定部３４は、デジタル署名としてターゲット２２から送信されてきた、暗号化されたハッシュ値を信号処理装置５１の公開鍵で復号する。
　ステップＳ２６において、信頼性判定部３４は、暗号化されたハッシュ値とともに送信されてきた所定のデータについてハッシュ関数によりハッシュ値を算出する。そして、信頼性判定部３４は、所定のデータから算出したハッシュ値と、公開鍵で復号したハッシュ値を比較する。
　ステップＳ２７において、信頼性判定部３４は、ステップＳ２６における比較の結果、ハッシュ値が一致したか否かを判定する。
　ステップＳ２７において、信頼性判定部３４が、ハッシュ値が一致したと判定した場合、処理はステップＳ２８に進む。そして、信頼性判定部３４は、処理の対象となっているターゲット２２に対して信頼できるという判定結果を取得する。
　一方、ステップＳ２７において、信頼性判定部３４が、ハッシュ値が一致しなかったと判定した場合、処理はステップＳ２９に進む。そして、信頼性判定部３４は、処理の対象となっているターゲット２２に対して信頼できないという判定結果を取得する。
　ステップＳ２８またはＳ２９の処理後、処理はステップＳ３０に進み、信頼性判定部３４は、ステップＳ２１で配置情報を取得した全てのターゲット２２を処理対象として判定結果を取得したか否かを判定する。
　ステップＳ３０において、信頼性判定部３４が、全てのターゲット２２を処理対象として判定結果を取得していないと判定した場合、処理はステップＳ２２に戻り、まだ判定結果を取得していない次のターゲット２２を処理対象として、以下、同様の処理が繰り返される。一方、ステップＳ３０において、信頼性判定部３４が、全てのターゲット２２を処理対象として判定結果を取得したと判定した場合、ターゲット信頼性判定処理は終了される。
　次に、図１２は、図１０のステップＳ１６で行われるキャリブレーション処理を説明するフローチャートである。
　ステップＳ４１において、キャリブレーション処理部３５は、物体検出処理部３６を介して、ステレオ画像およびレーダ画像を取得する。
　ステップＳ４２において、キャリブレーション処理部３５は、車両２１の自車位置および進行方向に基づいて、ステレオ画像およびレーダ画像により検出されると推定されるターゲット２２の配置情報を、記憶部３２に記憶されている地図データから読み出して取得する。例えば、キャリブレーション処理部３５は、地図データ上で、車両２１の前方におけるミリ波の照射範囲内にあるターゲット２２の配置情報を取得する。
　ステップＳ４３において、キャリブレーション処理部３５は、図７を参照して上述したように、ステップＳ４１で取得したステレオ画像の視差を利用して求められる距離画像を用いて、ステレオ画像に対する画像認識を行うことにより個別に認識したターゲット２２までの距離を特定する。
　ステップＳ４４において、キャリブレーション処理部３５は、図８を参照して上述したように、ステップＳ４２で取得したターゲット２２の配置情報と、ステップＳ４１で取得したレーダ画像において検出されたターゲット２２との位置合わせを行うことで、ターゲット２２を個別に特定する。
　ステップＳ４５において、キャリブレーション処理部３５は、ステップＳ４３でステレオ画像から特定されたターゲット２２、および、ステップＳ４４でレーダ画像から特定されたターゲット２２を、実空間の座標系にマッピングする。そして、キャリブレーション処理部３５は、ターゲット２２の既知の位置と、ステレオ画像およびレーダ画像それぞれから特定されたターゲット２２の位置とのズレが解消されるようにキャリブレーションを行う。その後、キャリブレーション処理部３５は、キャリブレーション結果（座標系の回転および並進）を物体検出処理部３６に供給し、物体検出処理部３６は、キャリブレーションが適用された座標系に従って物体を検出するように設定を行い、キャリブレーション処理は終了される。
　ここで、キャリブレーション処理部３５が、ターゲット２２の配置情報と、レーダ画像において検出されたターゲット２２との対応を検出する処理について説明する。なお、以下では、ターゲット２２の配置情報を事前配置情報とも称し、事前配置情報では、世界座標系でターゲット２２の位置が特定されている。
＜４．対応検出処理の詳細説明＞
＜第１の対応検出処理＞
　まず、キャリブレーション処理部３５が行う、ターゲットの事前配置情報を用いた第１の対応検出処理についてさらに詳しく説明する。
　図１３に示されるように、ｋ番目のターゲットの位置が、ターゲットの事前配置情報では、所定の場所を原点とする世界座標系上のＰMAP（ｋ）＝[ＸMAP（ｋ）　ＹMAP（ｋ）　ＺMAP（ｋ）]Tで表され、ミリ波レーダ１２またはステレオカメラ１３のセンサ座標系では、ＰDet（ｋ）＝[ＸDet（ｋ）　ＹDet（ｋ）　ＺDet（ｋ）]Tで表されるとする。
　なお、センサ座標系がレーダ３次元座標系である場合には、ＹDet（ｋ）は固定値となる。また、ターゲットはＫ個であるが、ミリ波レーダ１２またはステレオカメラ１３のセンサ座標系では、外乱等の影響により、Ｋ個以上のターゲットが検出される場合がある。図１３の例では、事前配置情報では５個のターゲットであるのに対して、センサ座標系では、ターゲット位置ｆが、例えば、ノイズによりターゲットとして検出されており、ターゲット検出位置a乃至ｆの６個のターゲットが検出されている。
　このように、世界座標系上の５個のターゲット位置１乃至５と、センサ座標系上の６個のターゲット検出位置ａ乃至ｆとの対応関係の検出は、異なる座標系の３次元点が最も良く重なる対応関係を見つけるグラフマッチング問題とみなして解くことができる。
　世界座標系上の５個のターゲット位置１乃至５と、センサ座標系上の６個のターゲット検出位置ａ乃至ｆとの対応可能な組み合わせは、図１４に示される場合だけ有り得る。
　世界座標系上の５個のターゲット位置１乃至５と、センサ座標系上の６個のターゲット検出位置ａ乃至ｆとの対応関係（接続）をＭ行Ｎ列の行列変数Ｘで表すと、以下の式（１）で表すことができる。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、Ｍは世界座標系上のターゲットの個数（図１３の例ではＭ＝５）、Ｎは、センサ座標系上のターゲットの個数（図１３の例ではＮ＝６）である。また、ｘの添え字ｉは、世界座標系上のターゲットを識別する変数（０＜ｉ＜Ｍ＋１）、ｘの添え字ｊは、センサ座標系上のターゲットを識別する変数（０＜ｊ＜Ｎ＋１）を表す。ｘi,jは、世界座標系上のｉ番目のターゲットと、センサ座標系上のｊ番目のターゲットの接続の有無を表し、接続されているとき“１”、接続されていないとき“０”をとる変数である。
　例えば、図１５において太実線で示されるように、世界座標系上のターゲット位置１とセンサ座標系上のターゲット検出位置a、世界座標系上のターゲット位置２とセンサ座標系上のターゲット検出位置ｂ、世界座標系上のターゲット位置３とセンサ座標系上のターゲット検出位置ｃ、世界座標系上のターゲット位置４とセンサ座標系上のターゲット検出位置ｄ、及び、世界座標系上のターゲット位置５とセンサ座標系上のターゲット検出位置ｅが対応している場合には、対応関係を表す行列変数Ｘは、以下の式（２）で表される。
Figure JPOXMLDOC01-appb-M000002
　そして、キャリブレーション処理部３５は、式（２）で表される行列変数Ｘを用いたスコア関数score(Ｘ)を最大化するようなＸを求める。スコア関数score(Ｘ)は、次の式（３）で表される。
Figure JPOXMLDOC01-appb-M000003
　式（３）において、ｉ１及びｉ２は、世界座標系上のターゲットを識別する変数であり、ｊ１及びｊ２は、センサ座標系上のターゲットを識別する変数である。ｌi1,i2は、世界座標系上のＰMAP（ｉ１）とＰMAP（ｉ２）とを結ぶ線分の長さ、ｈj1,j2は、センサ座標系上のＰDet（ｊ１）とＰDet（ｊ２）とを結ぶ線分の長さを表す。
　Ｓ（ｌi1,i2，ｈj1,j2）は、線分の長さｌi1,i2と線分の長さｈj1,j2の類似度を表し、線分の長さｌi1,i2と線分の長さｈj1,j2が近い値であるほど大きな値となる。類似度Ｓ（ｌi1,i2，ｈj1,j2）は、例えば、線分の長さｌi1,i2と線分の長さｈj1,j2の差分ｄ（ｌi1,i2，ｈj1,j2）を用いた次の式（４）を採用することができる。
Figure JPOXMLDOC01-appb-M000004
　以上のようにして算出されるスコア関数score(Ｘ)は、図１６に示されるように、例えば、世界座標系上のターゲット１と４の線分と、センサ座標系上のターゲットａとｄの線分が対応するならば、両者の線分の長さｌ1,4とｌa,dは、ほぼ等しくなり、差分ｄ（ｌi1,i2，ｈj1,j2）＝ｄ（ｌ1,4，ｈa,d）は小さくなる、という考えに基づくものである。
＜第２の対応検出処理＞
　上述した第１の対応検出処理は、ターゲットの事前配置情報を用いた検出方法であるが、ターゲットの事前配置情報を用いずに、レーダ３次元座標系で検出されたターゲットと、カメラ３次元座標系で検出されたターゲットとの対応関係を検出することもできる。
　例えば、キャリブレーション処理部３５は、図１７に示されるように、レーダ３次元座標系上のターゲット位置ＰMMW（ｋ）とカメラ３次元座標系上のターゲット位置Ｐcam（ｋ）の少なくとも一方を所定量スライドさせることで重畳させ、最近傍に配置されたターゲットどうしを対応させることができる。
＜５．位置関係の算出の詳細説明＞
　キャリブレーション処理部３５は、上述したように対応関係が特定された複数のターゲットを用いて、ミリ波レーダ１２とステレオカメラ１３の位置関係を算出する。
　具体的には、図１８に示されるように、対応関係が特定されたＫ個のターゲットのうちの、ｋ番目（０＜ｋ＜Ｋ＋１）のターゲットの位置が、レーダ３次元座標系では、ＰMMW（ｋ）＝[ＸMMW（ｋ）　ＹA　ＺMMW（ｋ）]Tで表され、カメラ３次元座標系では、Ｐcam（ｋ）＝[Ｘcam（ｋ）　Ｙcam（ｋ）　Ｚcam（ｋ）]Tで表される。ここで、Ｔは転置を表し、ＹAは、所定の固定値を表す。
　キャリブレーション処理部３５は、Ｋ個のターゲットそれぞれについて、レーダ３次元座標系上のターゲット位置ＰMMW（ｋ）とカメラ３次元座標系上のターゲット位置Ｐcam（ｋ）との位置関係を表す式（５）に代入し、最小二乗法などを用いて最適化問題を解くことにより、式（５）の回転行列Ｒと並進ベクトルＶを算出する。
Figure JPOXMLDOC01-appb-M000005
　式（５）において、ｋは、複数（Ｋ個）のターゲットのうちの所定の１つを識別する変数（０＜ｋ＜Ｋ＋１）であり、Ｐcam（ｋ）は、カメラ３次元座標系で検出されたｋ番目のターゲットのターゲット検出位置、ＰMMW（ｋ）は、レーダ３次元座標系で検出されたｋ番目のターゲットのターゲット検出位置を表す。
　式（５）は、レーダ３次元座標系で検出されたｋ番目のターゲットのターゲット検出位置ＰMMW（ｋ）を、カメラ３次元座標系上のターゲット検出位置Ｐcam（ｋ）に変換する式に相当する。回転行列Ｒは、ステレオカメラ１３を基準にしたミリ波レーダ１２の姿勢を表し、並進ベクトルＶは、ステレオカメラ１３を基準にしたミリ波レーダ１２の位置を表す。
　回転行列Ｒの変数は３個、並進ベクトルＶの変数は３個であるので、少なくとも６個のターゲット検出位置を取得することができれば、式（５）の回転行列Ｒと並進ベクトルＶは算出することができる。なお、回転行列Ｒは、最小二乗法を用いる他、四元数で表現して解くことも可能である。
　このようにして算出されたミリ波レーダ１２とステレオカメラ１３の位置関係に従って、具体的には、式（５）の回転行列Ｒと並進ベクトルＶに従って、ミリ波レーダ１２とステレオカメラ１３の位置関係を算出される。
　なお、本実施の形態では、通信装置１５は、例えば、Wi-Fi以外の通信方式、例えば、可視光を利用した通信や、ミリ波レーダ１２から出力されるミリ波を利用した通信などを採用してもよい。また、信号処理装置１６は、記憶部３２に記憶されている地図データを参照する他、通信装置１５を介した通信によりネットワーク経由で、常に最新の地図データを参照するようにしてもよい。
　また、図３に示したように、ミリ波レーダ１２およびステレオカメラ１３は、検出方向が車両２１の前方を向くように搭載され、車両２１の前方の物体を検出する場合について説明したが、物体の検出方向は、車両２１の前方に限られない。例えば、ミリ波レーダ１２とステレオカメラ１３が車両２１の後方を向くように搭載されている場合には、車載センサ１１は、車両の後方の物体を検出する。
　さらに、上述した例では、車載センサ１１が車両に搭載される例について説明したが、本技術は、車両の他、例えば、ロボット等のその他の陸上を移動する移動物体に搭載することも可能である。
＜６．コンピュータ構成例について＞
　上述したキャリブレーション処理を含む一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２１１を駆動する。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータでは、プログラムは、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定する信頼性判定部と、
　前記信頼性判定部により前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うキャリブレーション処理部と
　を備える信号処理装置。
（２）
　前記信号処理装置が搭載される車両の現在位置を特定する自車位置特定部と、
　複数の前記ターゲットの配置位置が登録されている地図データを参照し、前記車両の現在位置が、前記ターゲットの設置領域内である場合に、前記信頼性判定部による判定を行わせるターゲット設置地域判断部と
　をさらに備える上記（１）に記載の信号処理装置。
（３）
　前記キャリブレーション処理部は、
　　前記ステレオ画像に対する画像認識を行うことにより前記ステレオ画像に映されている前記ターゲットを個別に認識し、
　　前記ステレオ画像の視差を利用して求められる距離画像を用いて、個別に認識した前記ターゲットの距離を特定する
　上記（１）または（２）に記載の信号処理装置。
（４）
　前記キャリブレーション処理部は、既知である前記ターゲットの位置情報と、前記レーダ画像において検出された前記ターゲットとの位置合わせを行うことで、前記レーダ画像において検出された前記ターゲットを個別に認識する
　上記（１）から（３）までのいずれかに記載の信号処理装置。
（５）
　前記キャリブレーション処理部は、前記ターゲットの既知の位置情報に基づく実空間の座標系に、前記ステレオ画像および前記レーダ画像から認識された前記ターゲットをそれぞれマッピングし、前記ターゲットの既知の位置とのズレが最小となるように前記ステレオ画像および前記レーダ画像の座標系をそれぞれ回転または並進させることによりキャリブレーションを行う
　上記（１）から（４）までのいずれかに記載の信号処理装置。
（６）
　前記信頼性判定部は、前記ターゲットに対してデジタル署名を要求し、前記ターゲットから送信されてくる前記デジタル署名を利用して前記ターゲットの信頼性を判定する
　上記（１）から（５）までのいずれかに記載の信号処理装置。
（７）
　位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定し、
　前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行う
　ステップを含む信号処理方法。
（８）
　位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定し、
　前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行う
　ステップを含む信号処理をコンピュータに実行させるプログラム。
（９）
　複数の撮像部により撮像を行うことでステレオ画像を取得するステレオ画像撮像装置と、
　所定の波長域の電波を利用して、その電波の照射範囲内にある物体の位置を検出したレーダ画像を取得するレーダ装置と、
　位置情報が既知のターゲットと通信を行う通信装置と、
　前記通信装置を介した前記ターゲットとの通信により、前記ターゲットが信頼できるか否かを判定する信頼性判定部と、前記信頼性判定部により前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されている前記ステレオ画像および前記レーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うキャリブレーション処理部と有する信号処理装置と
　を備える物体検出システム。
　１１　車載センサ，　１２　ミリ波レーダ，　１３　ステレオカメラ，　１３Ｒ　右カメラ，　１３Ｌ　左カメラ，　１４　位置計測装置，　１５　通信装置，　１６　信号処理装置，　２１　車両，　２２　ターゲット，　３１　自車位置特定部，　３２　記憶部，　３３　ターゲット設置地域判断部，　３４　信頼性判定部，　３５　キャリブレーション処理部，　３６　物体検出処理部

Claims (9)

  1. 　位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定する信頼性判定部と、
    　前記信頼性判定部により前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うキャリブレーション処理部と
    　を備える信号処理装置。
  2. 　前記信号処理装置が搭載される車両の現在位置を特定する自車位置特定部と、
    　複数の前記ターゲットの配置位置が登録されている地図データを参照し、前記車両の現在位置が、前記ターゲットの設置領域内である場合に、前記信頼性判定部による判定を行わせるターゲット設置地域判断部と
    　をさらに備える請求項１に記載の信号処理装置。
  3. 　前記キャリブレーション処理部は、
    　　前記ステレオ画像に対する画像認識を行うことにより前記ステレオ画像に映されている前記ターゲットを個別に認識し、
    　　前記ステレオ画像の視差を利用して求められる距離画像を用いて、個別に認識した前記ターゲットの距離を特定する
    　請求項１に記載の信号処理装置。
  4. 　前記キャリブレーション処理部は、既知である前記ターゲットの位置情報と、前記レーダ画像において検出された前記ターゲットとの位置合わせを行うことで、前記レーダ画像において検出された前記ターゲットを個別に認識する
    　請求項１に記載の信号処理装置。
  5. 　前記キャリブレーション処理部は、前記ターゲットの既知の位置情報に基づく実空間の座標系に、前記ステレオ画像および前記レーダ画像から認識された前記ターゲットをそれぞれマッピングし、前記ターゲットの既知の位置とのズレが最小となるように前記ステレオ画像および前記レーダ画像の座標系をそれぞれ回転または並進させることによりキャリブレーションを行う
    　請求項１に記載の信号処理装置。
  6. 　前記信頼性判定部は、前記ターゲットに対してデジタル署名を要求し、前記ターゲットから送信されてくる前記デジタル署名を利用して前記ターゲットの信頼性を判定する
    　請求項１に記載の信号処理装置。
  7. 　位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定し、
    　前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行う
    　ステップを含む信号処理方法。
  8. 　位置情報が既知のターゲットとの通信により、前記ターゲットが信頼できるか否かを判定し、
    　前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されているステレオ画像およびレーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行う
    　ステップを含む信号処理をコンピュータに実行させるプログラム。
  9. 　複数の撮像部により撮像を行うことでステレオ画像を取得するステレオ画像撮像装置と、
    　所定の波長域の電波を利用して、その電波の照射範囲内にある物体の位置を検出したレーダ画像を取得するレーダ装置と、
    　位置情報が既知のターゲットと通信を行う通信装置と、
    　前記通信装置を介した前記ターゲットとの通信により、前記ターゲットが信頼できるか否かを判定する信頼性判定部と、前記信頼性判定部により前記ターゲットが信頼できると判定された場合に、前記ターゲットが検出されている前記ステレオ画像および前記レーダ画像に発生している座標系のズレを解消するキャリブレーション処理を行うキャリブレーション処理部と有する信号処理装置と
    　を備える物体検出システム。
PCT/JP2016/077398 2015-09-30 2016-09-16 信号処理装置、信号処理方法、プログラム、および、物体検出システム WO2017057042A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/761,195 US10670697B2 (en) 2015-09-30 2016-09-16 Signal processing apparatus, signal processing method, and object detection system
EP16851216.8A EP3358364A4 (en) 2015-09-30 2016-09-16 SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING, PROGRAM AND OBJECT DETECTION SYSTEM
US16/866,312 US11061111B2 (en) 2015-09-30 2020-05-04 Signal processing apparatus, signal processing method, and object detection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015193357 2015-09-30
JP2015-193357 2015-09-30

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/761,195 A-371-Of-International US10670697B2 (en) 2015-09-30 2016-09-16 Signal processing apparatus, signal processing method, and object detection system
US16/866,312 Continuation US11061111B2 (en) 2015-09-30 2020-05-04 Signal processing apparatus, signal processing method, and object detection system

Publications (1)

Publication Number Publication Date
WO2017057042A1 true WO2017057042A1 (ja) 2017-04-06

Family

ID=58427627

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077398 WO2017057042A1 (ja) 2015-09-30 2016-09-16 信号処理装置、信号処理方法、プログラム、および、物体検出システム

Country Status (3)

Country Link
US (2) US10670697B2 (ja)
EP (1) EP3358364A4 (ja)
WO (1) WO2017057042A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212346A1 (ja) * 2017-05-18 2018-11-22 パイオニア株式会社 制御装置、走査システム、制御方法、およびプログラム
JP2019086393A (ja) * 2017-11-07 2019-06-06 トヨタ自動車株式会社 物体認識装置
JP2020042819A (ja) * 2018-09-07 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 運動ベクトル場の決定方法、運動ベクトル場の決定装置、機器、コンピュータ読み取り可能な記憶媒体及び車両
JP2020047276A (ja) * 2018-09-19 2020-03-26 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド センサーキャリブレーション方法と装置、コンピュータ機器、媒体及び車両

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10921133B2 (en) * 2017-12-07 2021-02-16 International Business Machines Corporation Location calibration based on movement path and map objects
DE102018200396A1 (de) * 2018-01-11 2019-07-11 Robert Bosch Gmbh Radarsystem mit mindestens einer verschlüsselbaren Datenleitung
DE112019001657T5 (de) * 2018-03-29 2021-01-14 Sony Corporation Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper
KR102675522B1 (ko) * 2018-09-07 2024-06-14 삼성전자주식회사 센서들에 대한 정렬 모델 조정 방법 및 그 방법을 수행하는 전자 장치
TWI734932B (zh) * 2018-09-17 2021-08-01 為昇科科技股份有限公司 雷達偵測角度校正系統及其方法
CN109409331A (zh) * 2018-11-27 2019-03-01 惠州华阳通用电子有限公司 一种基于雷达的防疲劳驾驶方法
CN109901123B (zh) * 2018-12-24 2023-12-01 文远知行有限公司 传感器标定方法、装置、计算机设备和存储介质
CN112558023B (zh) * 2019-09-25 2024-03-26 华为技术有限公司 传感器的标定方法和装置
CN111383285B (zh) * 2019-11-25 2023-11-24 的卢技术有限公司 一种基于毫米波雷达与摄像机传感器融合标定方法及系统
CN111008671B (zh) * 2019-12-23 2023-08-18 Oppo广东移动通信有限公司 姿势识别方法和装置、电子设备、计算机可读存储介质
JP7386098B2 (ja) * 2020-02-27 2023-11-24 株式会社日立製作所 測距センサの校正システム、及び測距センサの校正方法
CN111953934B (zh) * 2020-07-03 2022-06-10 北京航空航天大学杭州创新研究院 目标标示方法及装置
CN112859024B (zh) * 2021-04-01 2024-05-28 东风汽车集团股份有限公司 一种车载毫米波雷达标定装置及标定方法
CN113205563B (zh) * 2021-06-03 2022-11-18 河南科技大学 一种自动驾驶传感器联合标定靶和标定方法
CN115797463A (zh) * 2022-11-28 2023-03-14 湖南华诺星空电子技术有限公司 一种fod雷达与相机的神经网络训练方法及全局标定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007218738A (ja) * 2006-02-16 2007-08-30 Kumamoto Univ 校正装置、物標検知装置および校正方法
JP2010151682A (ja) * 2008-12-25 2010-07-08 Topcon Corp レーザスキャナ及びレーザスキャナ測定システム及びレーザスキャナ測定システムの較正方法及び較正用ターゲット
US20110122257A1 (en) * 2009-11-25 2011-05-26 Honeywell International Inc. Geolocation of objects in an area of interest
JP2012147085A (ja) * 2011-01-07 2012-08-02 Sumitomo Electric Ind Ltd 通信システム
WO2014159620A1 (en) * 2013-03-14 2014-10-02 Samuels Mark A Encoded calibration device and systems and methods thereof
JP5695271B1 (ja) * 2013-09-19 2015-04-01 株式会社小松製作所 通信装置およびこれを備えた作業車両

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5012270B1 (ja) * 1969-03-08 1975-05-10
JP2007024590A (ja) * 2005-07-13 2007-02-01 Toyota Motor Corp 物体検出装置
JP4304517B2 (ja) * 2005-11-09 2009-07-29 トヨタ自動車株式会社 物体検出装置
JP5145585B2 (ja) * 2007-06-08 2013-02-20 国立大学法人 熊本大学 物標検出装置
JP5012270B2 (ja) * 2007-07-10 2012-08-29 トヨタ自動車株式会社 物体検出装置
EP2491344B1 (en) * 2009-10-22 2016-11-30 TomTom Global Content B.V. System and method for vehicle navigation using lateral offsets
JP2011216011A (ja) 2010-04-01 2011-10-27 Toyota Motor Corp 物体検出装置
JP5632762B2 (ja) * 2011-01-25 2014-11-26 パナソニック株式会社 測位情報形成装置、検出装置、及び測位情報形成方法
US10132745B2 (en) * 2013-03-14 2018-11-20 Mark A. Samuels Encoded calibration device and systems and methods thereof
US9367067B2 (en) * 2013-03-15 2016-06-14 Ashley A Gilmore Digital tethering for tracking with autonomous aerial robot
US9671493B1 (en) * 2014-09-19 2017-06-06 Hrl Laboratories, Llc Automated scheduling of radar-cued camera system for optimizing visual inspection (detection) of radar targets

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007218738A (ja) * 2006-02-16 2007-08-30 Kumamoto Univ 校正装置、物標検知装置および校正方法
JP2010151682A (ja) * 2008-12-25 2010-07-08 Topcon Corp レーザスキャナ及びレーザスキャナ測定システム及びレーザスキャナ測定システムの較正方法及び較正用ターゲット
US20110122257A1 (en) * 2009-11-25 2011-05-26 Honeywell International Inc. Geolocation of objects in an area of interest
JP2012147085A (ja) * 2011-01-07 2012-08-02 Sumitomo Electric Ind Ltd 通信システム
WO2014159620A1 (en) * 2013-03-14 2014-10-02 Samuels Mark A Encoded calibration device and systems and methods thereof
JP5695271B1 (ja) * 2013-09-19 2015-04-01 株式会社小松製作所 通信装置およびこれを備えた作業車両

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3358364A4 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212346A1 (ja) * 2017-05-18 2018-11-22 パイオニア株式会社 制御装置、走査システム、制御方法、およびプログラム
JPWO2018212346A1 (ja) * 2017-05-18 2020-03-19 パイオニア株式会社 制御装置、走査システム、制御方法、およびプログラム
JP2021120682A (ja) * 2017-05-18 2021-08-19 パイオニア株式会社 制御装置
US11511747B2 (en) 2017-05-18 2022-11-29 Pioneer Corporation Control device, scanning system, control method, and program
JP2023017824A (ja) * 2017-05-18 2023-02-07 パイオニア株式会社 制御装置
JP2019086393A (ja) * 2017-11-07 2019-06-06 トヨタ自動車株式会社 物体認識装置
JP2020042819A (ja) * 2018-09-07 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 運動ベクトル場の決定方法、運動ベクトル場の決定装置、機器、コンピュータ読み取り可能な記憶媒体及び車両
US11227395B2 (en) 2018-09-07 2022-01-18 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for determining motion vector field, device, storage medium and vehicle
JP2020047276A (ja) * 2018-09-19 2020-03-26 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド センサーキャリブレーション方法と装置、コンピュータ機器、媒体及び車両
US11042762B2 (en) 2018-09-19 2021-06-22 Baidu Online Network Technology (Beijing) Co., Ltd. Sensor calibration method and device, computer device, medium, and vehicle

Also Published As

Publication number Publication date
US20200264276A1 (en) 2020-08-20
US11061111B2 (en) 2021-07-13
US20180259621A1 (en) 2018-09-13
EP3358364A1 (en) 2018-08-08
EP3358364A4 (en) 2019-03-13
US10670697B2 (en) 2020-06-02

Similar Documents

Publication Publication Date Title
WO2017057042A1 (ja) 信号処理装置、信号処理方法、プログラム、および、物体検出システム
JP7160040B2 (ja) 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
CN109920246B (zh) 一种基于v2x通信与双目视觉的协同局部路径规划方法
US10565736B2 (en) Image processing apparatus and method, program, and image processing system
US10788830B2 (en) Systems and methods for determining a vehicle position
EP3378033B1 (en) Systems and methods for correcting erroneous depth information
US11206388B2 (en) Image processing apparatus and image processing method for aligning polarized images based on a depth map and acquiring a polarization characteristic using the aligned polarized images
JP6881307B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP5152244B2 (ja) 追従対象車特定装置
JP7259749B2 (ja) 情報処理装置、および情報処理方法、プログラム、並びに移動体
US9767372B2 (en) Target detection apparatus and target detection method
JPWO2017159382A1 (ja) 信号処理装置および信号処理方法
US10761191B2 (en) Systems and methods for LiDAR detection
WO2019026715A1 (ja) 制御装置、および制御方法、プログラム、並びに移動体
WO2017057061A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20220018932A1 (en) Calibration apparatus, calibration method, program, and calibration system and calibration target
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20220058428A1 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
JP2019086393A (ja) 物体認識装置
WO2019093136A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
EP3223188A1 (en) A vehicle environment mapping system
US20210142501A1 (en) Information processing device, information processing method, and program
WO2022226531A1 (en) Vision based cooperative vehicle localization system and method for gps-denied environments

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851216

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15761195

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016851216

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: JP