JP7160040B2 - 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム - Google Patents

信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム Download PDF

Info

Publication number
JP7160040B2
JP7160040B2 JP2019538057A JP2019538057A JP7160040B2 JP 7160040 B2 JP7160040 B2 JP 7160040B2 JP 2019538057 A JP2019538057 A JP 2019538057A JP 2019538057 A JP2019538057 A JP 2019538057A JP 7160040 B2 JP7160040 B2 JP 7160040B2
Authority
JP
Japan
Prior art keywords
image
distance
stereo camera
time
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019538057A
Other languages
English (en)
Other versions
JPWO2019039279A1 (ja
Inventor
寿夫 山崎
琢人 元山
健太郎 土場
泰広 周藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019039279A1 publication Critical patent/JPWO2019039279A1/ja
Application granted granted Critical
Publication of JP7160040B2 publication Critical patent/JP7160040B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本開示は、信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システムに関し、特に、複数のセンサによる検出結果を適切に組み合わせて使用できるようにした信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システムに関する。
複数のセンサによる検出結果を組み合わせて利用することにより、検出精度を向上させる技術が提案されている。
この技術では、まず、キャリブレーションにより、基準となる第１の物体検出センサにより所定の物体が所定の位置で検出される時刻情報と、キャリブレーションの対象となる第２の物体検出センサにより同一の所定の物体が同一の所定の位置で検出される時刻情報との時刻のズレが、時刻ズレ量として予め求められる。
この際、第１の物体検出センサおよび第２の物体検出センサにより同一の物体が、同一の状態で検出される時刻情報については、正確なUTC(協定世界時：Coordinated Universal Time)を用いたハードウェアタイムスタンプが使用される。
そして、実際に物体を検出する際には、第２の物体検出センサによる、第１の物体検出センサとの検出時刻の時刻ズレを、予め求めた時刻ズレ量に基づいた、カルマンフィルタにより予測して補償し、第１の物体検出センサの検出結果と、第２の物体検出センサの検出結果とを同期させ、組み合わせて使用する（非特許文献１参照）。
このように、物体が検出される際の時刻情報が揃えられた第１の物体検出センサ、および第２の物体検出センサのそれぞれの検出結果が組み合わされることにより、検出結果の精度が向上される。
尚、この場合、第１の物体検出センサ、および第２の物体検出センサのそれぞれの検出時刻として、それぞれ正確なUTCによるタイムスタンプが付与される必要がある。
2011 IEEE Intelligent Vehicles Symposium (IV) Baden-Baden, Germany, June 5-9, 2011 Precise Timestamping and Temporal Synchronization in Multi-Sensor Fusion
ところで、複数の異なる物体検出センサとして、ミリ波レーダとステレオカメラとを用いて、それぞれの検出結果を組み合わせて、より正確で、かつ、よりロバストな検出物体距離情報を求める場合、非特許文献１と同様に、予め検出される時刻情報のズレである時刻ズレ量を求めて、カルマンフィルタを用いて時刻ズレを予測処理により求め、補正することが考えられる。
しかしながら、カルマンフィルタを用いた予測処理に係る負荷が大きい上、時刻ズレを予測するのみであり、必ずしも適切な補正ができない。
また、検出対象が異なる物体検出センサ間の検出時刻のズレ時間を高精度に検出することができないため、精度の低い時刻ズレの情報に基づいた、カルマンフィルタにより予測される時刻ズレの予測精度には限界があった。
本開示は、このような状況に鑑みてなされたものであり、特に、複数の物体検出センサの検出結果を適切に同期して組み合わせることで、検出結果の精度を向上させるものである。
本開示の第１の側面の信号処理装置は、物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダからなる第２の物体検出部と、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、基準時刻を発生する基準時刻発生部と、前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、前記距離画像における、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するレーダ像目標物検出部とを含み、前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出する信号処理装置である。
前記第１の物体検出部、もしくは前記第２の物体検出部の少なくとも一方による前記物体の検出結果をバッファリングするバッファリング部と、前記バッファリング部による遅延量を前記時刻ズレ量に応じて設定して、前記時刻ズレを補正する時刻ズレ補正部とをさらに含ませるようにすることができる。
前記所定の目標物は、前記時刻ズレ量を測定するための物体であり、前記第１の物体検出部により検出可能な第１の被検出部位と、前記第２の物体検出部により検出可能な第２の被検出部位とを含ませるようにすることができる。
前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含ませるようにすることができ、前記距離画像目標物検出部には、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定させ、対応する前記ステレオカメラ画像の時刻情報と共に検出させ、前記レーダ像目標物検出部には、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置と、前記ステレオカメラ画像距離とにより特定される位置の近傍の範囲の、前記レーダ像における応答強度が高い距離を、前記所定の目標物までの距離であるレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出させるようにすることができる。
前記所定の目標物には、前記ミリ波レーダのレーダ波の反射率が所定値よりも高いレーダ反射体と、前記ステレオカメラ画像により認識可能なマーカとを含ませるようにすることができる。
前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部と、前記レーダ像における反射断面積分布に基づいて、前記レーダ像内の前記所定の目標物の位置を検出する反射断面積目標物位置検出部とをさらに含ませるようにすることができ、前記距離画像目標物検出部には、前記距離画像における、前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定させ、対応する前記ステレオカメラ画像の時刻情報と共に検出させ、前記レーダ像目標物検出部には、前記反射断面積目標物位置検出部により検出された前記レーダ像内における前記所定の目標物の位置に対応する距離をレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出させるようにすることができる。
前記距離画像算出部、前記距離画像目標物検出部、前記レーダ像目標物検出部、および前記時刻ズレ検出部には、所定の時間間隔で繰り返し、前記距離画像を生成させ、前記ステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出させ、前記レーダ像距離を、対応する前記レーダ像の時刻情報と共に検出させ、時刻ズレ量を検出させるようにすることができる。
前記所定の目標物は、前走車のナンバープレート、または、道路標識とすることができる。
本開示の第１の側面の信号処理方法は、物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出処理と、ミリ波帯の電波を用いて、レーダ像として取得するミリ波レーダにより、物体を検出する第２の物体検出処理と、前記第１の物体検出処理により所定の目標物が検出される第１の時刻と、前記第２の物体検出処理により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出処理と、基準時刻を発生する基準時刻発生処理と、前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出処理と、前記距離画像における、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出処理と、前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するレーダ像目標物検出処理とを含み、前記時刻ズレ検出処理は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出する信号処理方法である。
本開示の第１の側面のプログラムは、物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダからなる第２の物体検出部と、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、基準時刻を発生する基準時刻発生部と、前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、前記距離画像における、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するレーダ像目標物検出部とを含む処理をコンピュータに実行させ、前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出するプログラムである。
本開示の第１の側面の移動体は、物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダからなる第２の物体検出部と、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、基準時刻を発生する基準時刻発生部と、前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、前記距離画像における、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するレーダ像目標物検出部とを含み、前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出する移動体である。
本開示の第１の側面の信号処理システムは、所定の目標物と信号処理装置とからなる信号処理システムであって、前記信号処理装置は、物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダからなる第２の物体検出部と、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、基準時刻を発生する基準時刻発生部と、前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、前記距離画像における、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するレーダ像目標物検出部とを含み、前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出し、前記所定の目標物は、前記第１の物体検出部により検出可能な第１の被検出部位と、前記第２の物体検出部により検出可能な第２の被検出部位とを含む信号処理システムである。
本開示の第１の側面においては、物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなる第１の物体検出部により、前記ステレオカメラ画像から前記物体が検出され、ミリ波レーダからなる第２の物体検出部により、物体がミリ波帯の電波により検出され、レーダ像として取得され、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレが時刻ズレ量として検出、基準時刻が発生され、前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離が算出され、前記距離を画素値とする距離画像として生成され、前記距離画像における、前記所定の目標物までの距離であるステレオカメラ画像距離が、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出され、前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離が、対応する前記レーダ像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出され、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分が時刻ズレ量として検出される。
本開示の第２の側面の信号処理装置は、物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、物体をレーザ光により検出するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）からなり、前記レーザ光の反射強度に応じたLIDAR画像として撮影する第２の物体検出部と、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、基準時刻を発生する基準時刻発生部と、前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するLIDAR画像目標物検出部とを含み、前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出する信号処理装置である。
前記ステレオカメラ画像より所定の視差に基づいて画素単位で被写体までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の時刻情報と共に検出するLIDAR画像目標物検出部とを含ませるようにすることができ、前記時刻ズレ検出部には、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出させるようにすることができる。
前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含ませるようにすることができ、前記距離画像目標物検出部には、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定させ、対応する前記ステレオカメラ画像の時刻情報と共に検出させ、前記LIDAR画像には、前記レーザ光の反射強度を各画素の画素値とするLIDAR反射強度画像、および前記レーザ光の被写体までの往復時間に基づいてToF（Time of Flight）法で求められる距離画像からなるLIDAR距離画像を含ませ、前記LIDAR画像目標物検出部には、前記LIDAR反射強度画像より、反射強度が特に高い位置を、前記所定の目標物の位置とみなし、対応する前記LIDAR距離画像における位置の距離を、前記所定の目標物までの距離であるLIDAR画像距離として、対応する前記レーザ光の反射強度に応じた画像の時刻情報と共に検出させるようにすることができる。
前記所定の目標物には、前記LIDARのレーザ光の反射率が所定値よりも高いレーザ反射体と、前記ステレオカメラ画像により認識可能なマーカとを含ませるようにすることができる。
前記時刻ズレ検出部には、複数の前記時刻ズレを求めさせ、統計処理により時刻ズレ量を検出させるようにしてもよい。
本開示の第２の側面の信号処理方法は、物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出処理と、レーザ光により物体を検出するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）により、前記レーザ光の反射強度に応じたLIDAR画像として撮影する第２の物体検出処理と、前記第１の物体検出処理により所定の目標物が検出される第１の時刻と、前記第２の物体検出処理により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出処理と、基準時刻を発生する基準時刻発生処理と、前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出処理と、前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出処理と、前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するLIDAR画像目標物検出処理とを含み、
前記時刻ズレ検出処理は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出する信号処理方法である。
本開示の第２の側面のプログラムは、物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、物体をレーザ光により検出するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）からなり、前記レーザ光の反射強度に応じたLIDAR画像として撮影する第２の物体検出部と、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、基準時刻を発生する基準時刻発生部と、前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するLIDAR画像目標物検出部とを含む処理をコンピュータに実行させ、前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出するプログラムである。
本開示の第２の側面の移動体は、物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、物体をレーザ光により検出するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）からなり、前記レーザ光の反射強度に応じたLIDAR画像として撮影する第２の物体検出部と、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、基準時刻を発生する基準時刻発生部と、前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するLIDAR画像目標物検出部とを含み、前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出する移動体である。
本開示の第２の側面の信号処理システムは、所定の目標物と信号処理装置とからなる信号処理システムであって、前記信号処理装置は、物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、物体をレーザ光により検出するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）からなり、前記レーザ光の反射強度に応じたLIDAR画像として撮影する第２の物体検出部と、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、基準時刻を発生する基準時刻発生部と、前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するLIDAR画像目標物検出部とを含み、前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出し、前記所定の目標物は、前記第１の物体検出部により検出可能な第１の被検出部位と、前記第２の物体検出部により検出可能な第２の被検出部位とを含む信号処理システムである。
本開示の第２の側面においては、物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなる第１の物体検出部により、前記ステレオカメラ画像から前記物体が検出され、物体をレーザ光により検出するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）からなる第２の物体検出部により、前記レーザ光の反射強度に応じたLIDAR画像として前記物体が撮影され、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレが時刻ズレ量として検出され、基準時刻が発生され、前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離が算出され、前記距離を画素値とする距離画像として生成され、前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離が、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出され、前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離が、対応する前記LIDAR画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出され、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分が時刻ズレ量として検出される。
本開示の一側面によれば、特に、複数の物体検出センサによる複数の検出結果を適切に同期して組み合わせるようにすることで、検出結果の精度を向上させることが可能となる。
本開示の概要を説明する図である。 車両と目標物との位置関係を説明する図である。 ステレオカメラ画像とレーダ像との時刻ズレを説明する図である。 本開示の車両に搭載されるセンサ部の構成例を説明する図である。 本開示の目標物の構成例を説明する図である。 本開示の移動体を制御する移動体制御システムの構成例を説明するブロック図である。 図６のデータ取得部におけるセンサ部の構成例を説明するブロック図である。 図６の車外情報検出部の構成例を説明するブロック図である。 図８の物体検出処理部の構成例を説明するブロック図である。 図８の物体検出処理部の動作を説明する図である。 時刻ズレ量の求め方を説明する図である。 キャリブレーション処理を説明するフローチャートである。 検出物体距離画像生成処理を説明するフローチャートである。 目標物の代用物の例を説明する図である。 本開示の応用例の物体検出処理部の構成例を説明するブロック図である。 目標物の代用物をナンバープレートにする場合のレーダ像の例を説明する図である。 目標物をナンバープレートにした場合のキャリブレーション処理を説明するフローチャートである。 ミリ波レーダに代えてLIDARを用いたセンサ部の変形例を説明するブロック図である。 図１８のセンサ部に対応する目標物の構成例を説明する図である。 図１８のセンサ部に対応する物体検出処理部の構成例を説明するブロック図である。 LIDAR反射強度画像とLIDAR距離画像とを説明する図である。 キャリブレーション処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．本開示の好適な実施の形態
３．応用例
４．変形例
５．ソフトウェアにより実行させる例
＜＜１．本開示の概要＞＞
本開示の移動体は、自車両の周囲の状況を高精度に認識し、認識結果に応じて自走する移動体である。以降において、本開示の移動体については、車両である場合の例について説明を進めるが、移動体であれば、車両以外であってよいことはいうまでもない。
本開示の移動体は、ミリ波レーダと、ステレオカメラとからなるセンサ部を備えており、進行方向前方を監視し、ミリ波レーダにより取得されるレーダ像と、ステレオカメラにより撮影されるステレオカメラ画像とから、それらを組み合わせた検出物体距離画像を、自車両の周辺情報として出力する。
本開示の移動体は、この検出物体距離画像に基づいて、例えば、自車両の周辺情報を認識し、認識結果に基づいて自走する。
より詳細には、例えば、図１の左下部で示される自車両である車両１１が、道路Ｒの左側の車線を図中上方に移動しているとき、対向車線に車両１１に近い方から順に車両Ｃ１，Ｃ２が、図中の下方向に移動しており、また、車両１１と同一の車線であって、車両１１より前方に、図中の上方に移動する車両Ｃ３，Ｃ４が存在するものとする。尚、図１は、車両１１を上方から見たときの、周囲の車両との関係を示す図である。
図１の左下部のとき、車両１１におけるステレオカメラは、例えば、図１の左上部で示されるようなステレオカメラ画像Ｐ１を撮影する。すなわち、ステレオカメラ画像Ｐ１は、車両１１の進行方向に対して直交する水平方向をＸ軸とし、車両１１の進行方向に対して直交する垂直方向をＹ軸とし、車両１１の進行方向をＺ軸とした座標系の情報となる。
すなわち、ステレオカメラ画像Ｐ１においては、図１の左上部で示されるように、ＸＹ平面からみたＺ方向に奥行きのある像となり、図中右側前方に対向車線を走行する車両Ｃ１，Ｃ２が画像Ｓｔ１，Ｓｔ２として映し出され、図中左側前方に先行車である車両Ｃ３，Ｃ４が画像Ｓｔ３，Ｓｔ４として映し出されている。
一方、車両１１におけるミリ波レーダにより取得されるレーダ像Ｐ２は、図１の右上部で示されるように、車両１１の進行方向に対して直交する水平方向をＸ軸とし、車両の進行方向をＺ軸とした座標系の情報となる。
すなわち、レーダ像Ｐ２においては、図１の右上部で示されるように、ＸＺ平面からみた像となり、図中右側に対向車線を走行する車両Ｃ１，Ｃ２の応答の強度に応じたレーダ像Ｒ１，Ｒ２が映し出されており、図中左側前方に先行車である車両Ｃ３，Ｃ４の応答の強度に応じたレーダ像Ｒ３，Ｒ４が映し出されている。
そして、このステレオカメラ画像Ｐ１とレーダ像Ｐ２とが組み合わされることにより、図１の右下部で示されるような、実空間の座標系にマッピングされ、車両１１からみた走行方向前方に対して、より正確で、かつ、よりロバストな周辺の車両Ｃ１乃至Ｃ４の位置を特定することができる。
すなわち、図１の右下部においては、画像Ｓｔ１乃至Ｓｔ４のそれぞれと対応してレーダ像Ｒ１乃至Ｒ４の情報が重畳されており、ステレオカメラ画像における画像Ｓｔ１乃至Ｓｔ４と、レーダ像Ｒ１乃至Ｒ４との相互の情報を使用して、実空間における座標系にマッピングすることにより、車両１１からみた走行方向前方に対して、より正確で、かつ、よりロバストな周辺の車両Ｃ１乃至Ｃ４の位置情報の取得が可能となる。
ところで、ステレオカメラ画像とレーダ像とから車両Ｃ１乃至Ｃ４を検出し、実空間の座標系にマッピングする場合、ステレオカメラ画像とレーダ像とは同一時刻に撮影（取得）した画像を利用する必要がある。
ステレオカメラ画像とレーダ像との撮影（取得）時刻が異なれば、車両１１、または撮影対象車両Ｃ１乃至Ｃ４が動いている場合、ステレオカメラ画像およびレーダ像に写る対象物の位置が相互にズレてしまうので、適切にマッピングすることができない。
この点について、電気的にタイミングを合わせることで同一時刻に撮影しているとみなし、撮影時刻のズレについては考慮せずに処理しても、マッピングを実現することはできるが、精度に限界があった。
また、GPS（Global Positioning System）等の高精度の時刻を用いたタイムスタンプを撮影画像に付与し、時刻を合わせて処理する技術も存在するが、高精度な時刻を用いたタイムスタンプを付加する機能を常用することは現実的ではなく、タイムスタンプをつけたとしても、通常、タイムスタンプはデータがセンサから送られてきてから付与されるものであり、バッファ送信のレイテンシまで考慮することができない。
さらに、クロックを同期する技術も存在するが、複数の物体検出センサを用いるシステムにおいて、各物体検出センサのクロックが独立していることは一般的であり、それぞれの内部クロックのドリフトによる時刻ズレは生じてしまう。
また、複数の物体検出センサの各クロックが独立していなくても、複数の物体検出センサのそれぞれにクロックを配信するためのバッファによる遅延が存在し、クロックのドリフトにより時刻ズレは生じる。
さらに、ミリ波レーダでのレーダ像が取得される時刻を時刻t_radar_1とし、ステレオカメラにおける左カメラで画像が撮影される時刻を時刻t_lcamera_1とし、右カメラで画像が撮影される時刻を時刻t_rcamera_1とする。
また、基準時刻は常に生成されており、レーダ像が信号処理されたタイミングで時刻t_radar_sが付加されるものとする。同様に、左カメラの画像信号処理がなされた後に左カメラ画像が出力されるときに時刻t_lcamera_sが付加され、画像信号処理がなされた後に右カメラ画像が出力されるときに時刻t_rcamera_sが付加されるものとする。
レーダ像の信号処理に係る処理時間が処理時間t_radar_pであるものとし、左カメラの画像信号処理に係る処理時間が処理時間t_lcamera_pであるものとし、右カメラの画像信号処理に係る処理時間が処理時間t_rcamera_pであるものとする。
レーダ像およびステレオカメラ画像が取得される、レーダ像、およびステレオカメラ画像の実際の撮影（取得）時刻（ミリ波レーダの場合はレーダ波が受信される時刻）は、基準時刻と、それぞれの処理に係る処理時間の関係から、以下の式（１）乃至（３）で表される。
t_radar_1=t_radar_s－t_radar_p
・・・（１）
t_lcamera_1=t_lcamera_s－t_lcamera_p
・・・（２）
t_rcamera_1=t_rcamera_s－t_rcamera_p
・・・（３）
しかしながら、それぞれの信号処理や時刻情報の付加に係る処理、さらには、レーダ像およびステレオカメラ画像が転送される転送経路における各種の認識不能な要因によるエラーが含まれる。結果として、撮影（取得）時刻（ミリ波レーダの場合はレーダ波が受信される時刻）は、以下の式（４）乃至式（６）で示されるように表現される。
t_radar_1=t_radar_s－t_radar_p＋error_radar
・・・（４）
t_lcamera_1=t_lcamera_s－t_lcamera_p＋error_lcamera
・・・（５）
t_rcamera_1=t_rcamera_s－t_rcamera_p＋error_rcamera
・・・（６）
すなわち、エラー項であるerror_radar，error_lcamera，error_rcameraを測定することができないため、実際の撮影（取得）時刻（レーダの場合はレーダ波受信時刻）を特定することは困難であり、結果として、時刻ズレが生じる。
尚、ここでの時間は絶対時間である必要はなく、等間隔のパルス（いわゆるクロック）とそのカウント回数であればよい。
したがって、撮影（取得）されたステレオカメラ画像とレーダ像との時刻ズレが適切に補正され、それぞれ検出された物体の対応関係が一致するように、同期を図る必要がある。
即ち、ステレオカメラによるステレオカメラ画像およびミリ波レーダによるレーダ像のそれぞれが同一の車両を、同一の位置で適切に検出するには、実空間の座標系において、同一の車両が、同一の位置にマッピングされるように、同一時刻のステレオカメラ画像とレーダ像とを用いることが重要となる。
そこで、本開示においては、ステレオカメラと、ミリ波レーダとのいずれのセンサにおいても、検出可能な目標物を用いて、レーダ像とステレオカメラ画像との取得に係る時刻ズレを、距離を変化させながら予めキャリブレーションにより時刻ズレ量として検出し、キャリブレーションにより予め求めた時刻ズレ量の情報を用いて、時刻ズレを補正することで、同一時刻のステレオカメラ画像とレーダ像とを取得できるようにする。
＜ステレオカメラ画像が検出される時刻と、ミリ波レーダによるレーダ像が検出される時刻との時刻ズレ量の求め方の概要＞
本開示のキャリブレーションシステムは、例えば、図２で示されるように、前方を監視領域とする、ミリ波レーダとステレオカメラとを有するセンサ部３１を備えた車両１１と、監視領域内に設けられた目標物１２とから構成される。
このように車両１１と目標物１２とから構成されるキャリブレーションシステムは、キャリブレーション処理により、車両１１と目標物１２との距離Ｄを変化させながら、ミリ波レーダとステレオカメラとの検出結果を用いて、それぞれの検出結果が得られる時刻情報から、時刻間の差分である時刻ズレ量を求め、車両１１に記憶させる。車両１１は、通常の検出物体距離画像を生成する際に、キャリブレーション処理により求められた時刻ズレ量を用いて、ミリ波レーダのレーダ像とステレオカメラのステレオカメラ画像との取得に係る時刻ズレを補正して、検出物体距離画像を生成する。
＜センサ部の構成の概要＞
ここで、図３を参照して、センサ部３１の構成の概要について説明する。
センサ部３１は、ステレオカメラ５１、ミリ波レーダ５２、信号出力部５３、および基準時刻生成部５４を備えている。
ステレオカメラ５１は、左右の所定の視差を備えた画像を撮影するカメラ５１Ｌ，５１Ｒとから構成されており、車両１１の前方を撮影し、基準時刻生成部５４より供給される基準時刻に対応するタイムスタンプからなる時刻情報を付与して、信号出力部５３に出力する。
ミリ波レーダ５２は、ミリ波帯の電波を監視領域に対して放出し、検出物体による反射波を検出することで、検出物体の方向と距離を、例えば、レーダ波の往復時間から測定して、レーダ像を生成し、基準時刻生成部５４より供給される基準時刻に対応するタイムスタンプからなる時刻情報を付与して、信号出力部５３に出力する。
信号出力部５３は、検出時刻を示す時刻情報であるタイムスタンプが付与されているステレオカメラ画像およびレーダ像を、図６を参照して後述する車両制御システム１００の自動運転制御部１１２の検出部１３１の車外情報検出部１４１に出力する。
基準時刻生成部５４は、基準となる時刻を発生しステレオカメラ５１およびミリ波レーダ５２に出力する。
＜目標物の構成例＞
次に、図４を参照して、キャリブレーション時に使用される目標物１２の構成例について説明する。
目標物１２は、センサ部３１のステレオカメラ５１、およびミリ波レーダ５２により検出可能な任意の高さで設置される。
また、目標物１２は、ミリ波レーダ５２より発せられるレーダ波を反射し、かつ、ステレオカメラ５１により撮影可能な物体であれば良く、具体的には、金属製であり、かつ、光の反射がステレオカメラによる測距に影響しない程度に、光が反射しない、例えば、つや消し処理や紙が貼り付けられているものであることが望ましい。
さらに、目標物１２は、効率よくミリ波レーダ５２より発生られるミリ波を所定の反射率よりも高い反射率で反射するために、図４で示されるように、金属製の四角錐の矩形面を開放するように構成したレーダ反射体７１から構成される。
また、目標物１２は、四角錐の開放面を車両１１の前方に設けられたセンサ部３１のミリ波レーダ５２の方向に向ける面とし、開放面にパターンが印刷された紙からなるマーカ７２が貼りつけられている。このパターンとしては、例えば、QR（Quick Response）コードなどでもよい。
目標物１２は、このような構成により、ミリ波レーダ５２によるミリ波の電波を反射させることで、ミリ波レーダ５２により検出される構成で、かつ、ステレオカメラ５１によりマーカ７２が撮影されることで、ミリ波レーダ５２においても、ステレオカメラ５１においても測距に対応する構成とされている。
なお、目標物１２を構成するレーダ反射体７１の形状は四角錐に限定されるものではなく、三角錐や球等の送信されたミリ波をミリ波レーダ５２で受信可能な方向へ反射する形状であればどの様な形状でもよい。
また、ステレオカメラ５１による測距の精度を高めるためにパターンが印刷された紙からなるマーカ７２が貼り付けられているが、レーダ反射体７１の矩形面を塞ぎ直接印字しても良いし、光の反射が起こらないようなレーダ反射体７１を構成する金属体へのつや消し処理のみでもよい。
さらに、光の反射が起こらないような処理を施すことが困難である場合、目標物１２からの位置が既知のステレオカメラに写る物体（以下カメラターゲット）、例えば、適切な図柄が印刷されたボード等を用いてもよい。
ただし、この場合は、後述する目標物１２の移動に際して、レーダ反射体７１とカメラターゲットは位置関係が変化しない様に移動させるか、所定の時刻の位置関係を知ることができる様にしなければならない。
＜時刻ズレ量の求め方の概要＞
次に、図５を参照して、図２乃至図４を参照して説明した車両１１のセンサ部３１と目標物１２とを用いたキャリブレーション処理による時刻ズレ量の具体的な求め方の概要について説明する。
例えば、図５の左上部で示されるような、ステレオカメラ画像Ｐ１１が撮影される場合、ステレオカメラ画像Ｐ１１においては、対象物体となる目標物１２の画像Ｓｔ１１が、（水平方向座標，距離座標）＝（ｘｓ，ｚｓ）として検出される。
一方、キャリブレーション処理において、例えば、図５の右上部で示されるような、レーダ像Ｐ１２が取得される場合、レーダ像Ｐ１２においては、対象物体となる目標物１２のレーダ像Ｒ１１が、（水平方向座標，距離座標）＝（ｘｒ，ｚｒ）として検出される。
尚、このときのステレオカメラ画像Ｐ１１と、レーダ像Ｐ１２とが、それぞれ同一位置に目標物１２が存在しているときのものであれば、ステレオカメラ画像Ｐ１１とレーダ像Ｐ１２とに基づいて生成される距離物体検出画像は、図５の左下部で示されるものとなり、目標物１２の画像Ｓｔ１１と、レーダ像Ｒ１１とが完全に一致する位置に存在することになる。
従って、目標物１２の実空間内での位置が一致する図５の左上部で示されるステレオカメラ画像Ｐ１１と、図５の右上部で示されるレーダ像Ｐ１２とが検出される時刻の差分が時刻ズレ量として求められる。
図５の右下部のグラフは、キャリブレーション処理により、図２における車両１１と目標物１２までの距離Ｚ（＝Ｄ）と、ステレオカメラ画像Ｐ１１が検出される時刻、および、レーダ像Ｐ１２が検出される時刻との、それぞれの関係を示す波形である。
ここで、図５の右下部において、波形Ｌ１が、距離Ｚ（＝Ｄ）とレーダ像Ｐ１２が検出される時刻との関係を示すグラフであり、波形Ｌ２が、距離Ｚ（＝Ｄ）とステレオカメラ画像Ｐ１１が検出される時刻との関係を示すグラフである。
そして、波形Ｌ１，Ｌ２における距離ｚｓ＝ｚｒのそれぞれの時刻の差分が、各距離における時刻ズレ量ｄとして求められる。
この時刻ズレ量ｄを用いて、ステレオカメラ５１により撮影されるステレオカメラ画像の時刻情報と、ミリ波レーダによりレーダ像が検出される時刻情報とのズレを補正することで、同期の取れたステレオカメラ画像とレーダ像とが組み合わされて、距離物体検出画像を生成することが可能となる。
すなわち、キャリブレーション処理により予め、ステレオカメラ５１により撮影されるステレオカメラ画像が検出される時刻情報と、ミリ波レーダ５２により検出されるレーダ像が検出される時刻情報との時刻ズレ量が求められる。そして、実際の検出物体距離画像が生成される際には、予め求めておいた時刻ズレ量が用いられて、ステレオカメラ５１により撮影されるステレオカメラ画像が検出される時刻情報と、ミリ波レーダ５２により検出されるレーダ像が検出される時刻情報との時刻ズレが補正されることにより、ステレオカメラ画像とレーダ像とが同期して組み合わされて、高精度な検出物体距離画像が生成される。
＜＜２．本開示の好適な実施の形態＞＞
＜車両を制御する車両制御システムの構成例＞
次に、図６を参照して、車両１１を制御する車両制御システムの詳細な構成例について説明する。図６は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮影装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮影する撮影装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。尚、データ取得部１０２は、図３を参照して説明したステレオカメラ５１およびミリ波レーダ５２を有するセンサ部３１を備えている。また、ステレオカメラ５１およびミリ波レーダ５２の詳細な構成については、図７を参照して後述する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮影装置により撮影された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜データ取得部の構成例＞
次に、図７を参照して、上述したセンサ部３１の詳細な構成を含むデータ取得部１０２の構成例について説明する。尚、データ取得部１０２の構成を説明するにあたり、図３を参照して説明したセンサ部３１の構成と同一の機能を備えた構成については、同一の符号を付すものとし、その説明は適宜省略する。
ステレオカメラ５１は、カメラ５１Ｌ，５１Ｒを備えており、それぞれ所定の視差を備えた左右の２枚の画像を撮影する。ステレオカメラ５１のカメラ５１Ｌは、左側の画像を撮影し、撮像素子２０１Ｌ、画像信号処理部２０２Ｌ、および時刻情報付加部２０３Ｌより構成されている。また、カメラ５１Ｒは、右側の画像を撮影し、撮像素子２０１Ｒ、画像信号処理部２０２Ｒ、および時刻情報付加部２０３Ｒより構成されている。
尚、撮像素子２０１Ｌ，２０１Ｒ、画像信号処理部２０２Ｌ，２０２Ｒ、および時刻情報付加部２０３Ｌ，２０３Ｒのそれぞれについて、左右を特に区別する必要がない場合、単に、撮像素子２０１、画像信号処理部２０２、および時刻情報付加部２０３と称するものとし、その他の構成も同様に称するものとする。
撮像素子２０１は、CMOS（Complementary Metal Oxide Semiconductor）やCCD（Charge Coupled Device）などから構成されるイメージセンサであり、車両１１の前方の監視領域の画像を撮影し、撮影した画像を画像信号として画像信号処理部２０２に出力する。尚、撮像素子２０１Ｌ，２０１Ｒは、所定の視差が生じるように構成されており、視差に応じて画素単位で測距することが可能とされている。
画像信号処理部２０２は、撮像素子２０１より供給される画像信号に対して、デモザイク処理、ホワイトバランス調整、γ補正など、所定の処理を施して、左右のそれぞれのステレオカメラ画像として時刻情報付加部２０３に出力する。
時刻情報付加部２０３は、基準時刻生成部５４より供給される基準時刻からなる時刻情報を、ステレオカメラ画像単位でタイムスタンプとして付加して信号出力部５３に出力する。
ミリ波レーダ５２は、ミリ波アンテナ２１１、レーダ受信信号処理部２１２、および時刻情報付加部２１３を備えている。
ミリ波アンテナ２１１は、ステレオカメラ５１の監視領域に対応する領域に対してミリ波帯の電波を発生して放出すると共に、放出されたミリ波帯の電波に対して、車両、歩行者、およびその他の障害物などから反射される反射波を受信し、受信信号に変換して受信信号処理部２１２に出力する。
受信信号処理部２１２は、ミリ波アンテナ２１１より供給される受信信号に対して、増幅処理やノイズ除去処理等、さらに、往復時間に基づいた距離測定などの信号処理を施して、レーダ像として時刻情報付加部２１３に出力する。
時刻情報付加部２１３は、基準時刻生成部５４より供給される基準時刻からなる時刻情報をレーダ像単位でタイムスタンプとして付加して信号出力部５３に出力する。
＜車外情報検出部の構成例＞
次に、図８を参照して、車外情報検出部１４１の構成例について説明する。
車外情報検出部１４１は、キャリブレーション処理部２３１および検出物体距離画像生成部２３２を備えている。
キャリブレーション処理部２３１は、キャリブレーション処理時において、時系列にセンサ部３１より供給されてくる、時刻情報を含むステレオカメラ画像と、時刻情報を含むレーダ像とに基づいて、時刻ズレ量を求めて記憶する。また、キャリブレーション処理部２３１は、検出物体距離画像生成処理時に、キャリブレーション処理時に求めた時刻ズレ量の情報を検出物体距離画像生成部２３２に供給する。
より詳細には、キャリブレーション処理部２３１は、物体検出処理部２５１、記憶部２５２、時刻ズレ検出部２５３、および時刻ズレ記憶部２５４を備えている。
物体検出処理部２５１は、センサ部３１より時系列に供給されてくる、ステレオカメラ画像に基づいた目標物１２の物体検出位置と、レーダ像に基づいた目標物１２の物体検出位置とを求め、時刻情報と対応付けて記憶部２５２に記憶させる。尚、物体検出処理部２５１の詳細な構成と動作については、図９，図１０を参照して後述する。
時刻ズレ検出部２５３は、記憶部２５２に、目標物１２までの距離が一致する、ステレオカメラ画像の時刻情報と、レーダ像の時刻情報とを用いて、時刻ズレ量を検出し、時刻ズレ記憶部２５４に記憶させる。尚、時刻ズレ量の検出方法の詳細については、図１１を参照して詳細を後述する。
検出物体距離画像生成部２３２は、検出物体画像生成処理において、キャリブレーション処理時に求められた時刻ズレ量を用いて、時系列にセンサ部３１より供給されてくる、時刻情報を含むステレオカメラ画像、および時刻情報を含むレーダ像における時刻ズレを補正することで、適切に同期させて、検出物体距離画像を生成する。
より詳細には、検出物体距離画像生成部２３２は、遅延バッファ２７１、時刻ズレ補正処理部２７２、および画像処理部２７３を備えている。
遅延バッファ２７１は、時刻情報を含むステレオカメラ画像、および時刻情報を含むレーダ像のいずれか、時刻ズレ量分だけ先に供給される画像をバッファリングする。尚、図８においては、レーダ像が先に供給されることを前提とした構成とされており、遅延バッファ２７１は、レーダ像をバッファリングする構成となっているが、ステレオカメラ画像の方が先に供給される場合、ステレオカメラ画像をバッファリングする構成とする。また、ステレオカメラ画像とレーダ像とが、どちらが先に供給するかわからない場合もあり得るので、そのような場合には、両方バッファリングできる構成とし、ステレオカメラ画像とレーダ像とのうち、先に供給されるものをバッファリングするようにしてもよい。
時刻ズレ補正処理部２７２は、時刻ズレ量を時刻ズレ記憶部２５４より読み出し、時刻ズレ量分だけ後から供給される画像が供給されるタイミングで、遅延バッファ２７１にバッファリングされている対応する画像を読み出して、併せて画像処理部２７３に供給する。図８の例においては、ステレオカメラ画像が後から供給されるので、時刻ズレ補正処理部２７２は、ステレオカメラ画像が供給されたタイミングにおいて、時刻ズレ量に対応する時間だけ遅延バッファ２７１にバッファリングされたレーダ像を読み出すことにより、時刻ズレを補正した、すなわち、時刻ズレの無い状態に同期したステレオカメラ画像とレーダ像とを、画像処理部２７３に供給する。
画像処理部２７３は、時刻ズレの無い、すなわち、時刻情報が合った（同期した）ステレオカメラ画像とレーダ像とを用いて、例えば、図１における右下部の画像に示されるような検出物体距離画像を生成して状況認識部１５３に出力する。
＜物体検出処理部の構成例＞
次に、図９を参照して、物体検出処理部２５１の構成例について説明する。
物体検出処理部２５１は、距離画像算出部２９１、距離画像目標物検出部２９２、ステレオカメラ画像目標物検出部２９３、およびレーダ像目標物検出部２９４を備えている。
距離画像算出部２９１は、ステレオカメラ画像を構成する視差のある２枚の画像から画素単位で距離を求め、求められた距離を画素値とする距離画像を生成する。すなわち、例えば、図１０の上段で示されるようにステレオカメラ画像を構成する視差のある２枚の画像ＰＬ，ＰＲが存在する場合、視差に応じて画素単位で距離を算出し、算出した距離を画素値とする距離画像Ｐ３１を生成する。
ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像から目標物１２が写っている画像上の位置、すなわち、目標物１２の座標位置を検出し、距離画像目標物検出部２９２およびレーダ像目標物検出部２９４に出力する。
より詳細には、目標物１２には、ステレオカメラ画像内において、画像で認識可能なマーカ７２が貼り付けられている（または印刷されるなどされている）ので、ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像内におけるマーカ７２を認識することで目標物１２の座標位置（ｘ，ｙ）を認識する。マーカ７２は、例えば、QR（Quick Response）コードなどでもよい。
すなわち、図１０の上段で示されるように、ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像を構成する視差のある２枚の画像ＰＬ，ＰＲより求められるステレオカメラ画像Ｐ３２のうち、目標物１２の像Ｓｔ１０１の座標位置（ｘ，ｙ）を求める。
尚、ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像内において、目標物１２のみが撮影されている場合、ステレオカメラ画像内における像は目標物１２であることが明らかであるので、必須の構成ではない。
距離画像目標物検出部２９２は、距離画像算出部２９１より供給される距離画像上の目標物１２の座標位置（ｘ，ｙ）の画素値（=距離）から、目標物１２までの距離を推定し、目標物１２の距離ｚｓとして出力すると共に、レーダ像目標物検出部２９４に出力する。
すなわち、図１０の中段の距離画像Ｐ３１は、画像上の位置の実距離を画素値とした画像であるから、距離画像目標物検出部２９２は、目標物１２の像Ｓｔ１０１の座標位置（ｘ，ｙ）における距離画像Ｐ３１の画素値（ｘ，ｙ，ｚｓ）を特定することにより、図１０の下段における距離画像Ｐ３３で示されるように目標物１２の距離ｚｓを求めることができる。
レーダ像目標物検出部２９４は、図５の右上部で示されるレーダ像Ｐ１２で示されるように、目標物１２の応答の位置が距離そのものとなるので、ステレオカメラ画像目標物検出部２９３より供給される目標物１２のｘ位置と、距離画像目標物検出部２９２からの求められた目標物の距離ｚｓとに基づいて特定される位置付近のレーダ応答が強い位置を目標物１２の検出位置とみなし、その距離を目標物１２の距離ｚｓとして出力する。
尚、目標物１２のみが撮影されていることが保証されている場合、反射位置のｚ位置をそのまま目標物１２の距離ｚｒとして出力するようにしてもよい。
＜時刻ズレ量の検出方法の詳細＞
次に、図１１を参照して、時刻ズレ量の検出方法の詳細について説明する。
物体検出処理部２５１により求められたレーダ像に基づいた目標物１２の距離ｚｒと、ステレオカメラ画像に基づいた目標物１２の距離ｚｓとは、それぞれ時刻情報と対応付けられて記憶部２５２に記憶されている。
記憶部２５２に記憶される、レーダ像に基づいた目標物１２の距離ｚｒと、ステレオカメラ画像に基づいた目標物１２の距離ｚｓとの最小数は、想定される最大の時刻ズレ量となる時間に撮影される枚数分となる。例えば、最大の時刻ズレ量に対応する時間がtmであり、ステレオカメラ画像とレーダ像とが同じフレームレートf（fps）で撮影（取得）されるとき、最小数はtm×f枚となる。尚、レーダ像に基づいた目標物１２の距離ｚｒと、ステレオカメラ画像に基づいた目標物１２の距離ｚｓとについては、以下、単に距離ｚｒ、距離ｚｓとも称するものとする。
時刻ズレ検出部２５３は、時刻情報と対応する距離ｚｒ、および時刻情報と対応する距離ｚｓのうち、いずれか一方を読み出し、基準距離とする。
続いて、時刻ズレ検出部２５３は、基準距離を取得した距離ｚｒ、または距離ｚｓではない他方の距離ｚｒまたは距離ｚｓのうち、基準距離と等しい、または、基準距離との差が最小となるを距離ｚｒまたは距離ｚｓ検索し、それぞれの時刻情報の差分を時刻ズレ量として時刻ズレ記憶部２５４に保存する。
すなわち、図１１で示されるように、レーダ像から求められた目標物１２までの距離が検出された時刻情報と距離ｚｒとの関係は波形Ｌ１として示され、ステレオカメラ画像から求められた目標物１２の距離がｚｓ検出された時刻情報と距離との関係は、波形Ｌ２として示される。
目標物１２は、車両１１との距離が変化し続ける状態で撮影されるため、時刻情報と共に検出された目標物１２の距離は変化するはずである。もし、時刻ズレが存在しない場合、同じ時刻に撮影された画像から検出された目標物１２の距離は一致することになるが、図１１で示されるように、差分が生じるとき、その差分が時刻ズレ量となる。
時刻ズレ検出部２５３は、それぞれの時刻情報と距離の関係を近似式として表し、その近似式の差分から時刻ズレ量を求める。すなわち、図１１の場合、距離ｚｓ１（＝ｚｒ１），ｚｓ２（＝ｚｒ２），ｚｓ３（＝ｚｒ３）において、それぞれ時刻ｔ１，ｔ２，ｔ３およびｔ１１，ｔ１２，ｔ１３がそれぞれ求められるので、距離と時刻情報の関係から波形Ｌ１，Ｌ２のそれぞれについて近似式を生成して、距離に応じた時刻ズレ量を求める。
また、時刻ズレ検出部２５３は、その他の手法で時刻ズレ量を求めてもよく、例えば、複数の地点の時刻ズレ量を求め、それらの平均や中央値等の統計量を利用して時刻ズレ量として求めるようにしても良い。すなわち、図１１で示されるように、時刻ズレ検出部２５３は、距離ｚｓ１（＝ｚｒ１），ｚｓ２（＝ｚｒ２），ｚｓ３（＝ｚｒ３）・・・のそれぞれの差分時間ｄ１，ｄ２，ｄ３・・・の平均値や中央値等の統計量を利用して時刻ズレ量を求めるようにしてもよい。
＜図８の車外情報検出部によるキャリブレーション処理＞
次に、図１２のフローチャートを参照して、図８の車外情報検出部１４１によるキャリブレーション処理について説明する。
ステップＳ１１において、目標物１２、および車両１１の少なくともいずれかの移動が開始される。すなわち、例えば、図２で示されるように、車両１１、および目標物１２対向している距離Ｄが変化するように、少なくともいずれかの移動が開始される。
ステップＳ１２において、ステレオカメラ５１は、ステレオカメラ画像を撮影して、撮影した時刻情報であるタイムスタンプを付して車外情報検出部１４１の物体検出処理部２５１に出力する。同時に、ミリ波レーダ５２は、レーダ像を生成して、レーダ像を生成した時刻情報であるタイムスタンプを付して車外情報検出部１４１に出力する。
ステップＳ１３において、物体検出処理部２５１の距離画像算出部２９１は、所定の視差を有する２枚の画像からなるステレオカメラ画像に基づいて、画素単位で距離を求め、各画素の画素値を、求めた距離の値とする距離画像を生成し、ステレオカメラ画像を撮影した時刻情報であるタイムスタンプと共に距離画像目標物検出部２９２に出力する。
ステップＳ１４において、ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像に基づいて、画像内における目標物１２を構成するマーカ７２の座標位置（ｘ，ｙ）である目標物位置として特定し、距離画像目標物検出部２９２、およびレーダ像目標物検出部２９４に出力する。なお、レーダ像目標物検出部２９４に対しては、ｘ座標のみが供給されるようにしてもよい。
ステップＳ１５において、距離画像目標物検出部２９２は、目標物１２が検出された、ステレオカメラ画像内の座標位置（ｘ，ｙ）に対応する、距離画像の画素値を、ステレオカメラ画像から求められる目標物１２の距離ｚｓとして、レーダ像目標物検出部２９４に供給するとともに、タイムスタンプの情報である時刻情報と共に記憶部２５２に出力して、記憶させる。
ステップＳ１６において、レーダ像目標物検出部２９４は、ステレオカメラ画像目標物検出部２９３より供給された、ステレオカメラ画像より求められる目標物１２の座標位置（ｘ，ｙ）のうちのｘ座標と、距離画像目標物検出部２９２より供給される距離ｚｓに基づいて、レーダ像内の対応する位置近傍で最もレーダ応答の高い位置を目標物１２の位置である目標物距離として検出する。
ステップＳ１７において、レーダ像目標物検出部２９４は、目標物１２の位置として特定されたレーダ像内の応答値を、レーダ像より求められる目標物１２までの距離ｚｒである目標物距離として記憶部２５２に出力して、記憶させる。
ステップＳ１８において、時刻ズレ検出部２５３は、ステレオカメラ画像に基づいた目標物１２までの距離および時刻情報、並びに、レーダ像に基づいた目標物１２までの距離および時刻情報が、それぞれ所定回数分だけ、記憶部２５２に記憶されているか否かを判定する。
ステップＳ１８において、ステレオカメラ画像に基づいた目標物１２までの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいた目標物１２までの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されていない場合、処理は、ステップＳ１２に戻る。すなわち、ステレオカメラ画像に基づいた目標物１２までの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいた目標物１２までの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されるまで、ステップＳ１２乃至Ｓ１８の処理が繰り返される。
そして、ステップＳ１２乃至Ｓ１８の処理が所定回数だけ繰り返されて、ステップＳ１８において、ステレオカメラ画像に基づいた目標物１２までの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいた目標物１２までの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されたとみなされた場合、処理は、ステップＳ１９に進む。
ステップＳ１９において、時刻ズレ検出部２５３は、記憶部２５２に記憶されている、ステレオカメラ画像に基づいた目標物１２までの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいた目標物１２までの距離ｚｒおよび時刻情報を読み出して、距離ｚｓおよび距離ｚｒのそれぞれの時刻に対する近似式を求める。
すなわち、時刻ズレ検出部２５３は、例えば、図１１の波形Ｌ１，Ｌ２に対応する、距離ｚｓおよび距離ｚｒのそれぞれの時刻に対する近似式を求める。
ステップＳ２０において、時刻ズレ検出部２５３は、求めた近似式に基づいて、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻を求める。
すなわち、時刻ズレ検出部２５３は、例えば、図１１で示されるように、近似式で求められる距離ｚｒ１における時刻ｔ１、距離ｚｒ２における時刻ｔ２、および距離ｚｒ３における時刻ｔ３、並びに、距離ｚｓ１における時刻ｔ１１、距離ｚｓ２における時刻ｔ１２、および距離ｚｓ３における時刻ｔ１３を求める。
ステップＳ２１において、時刻ズレ検出部２５３は、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻の差分である差分時刻より、時刻ズレ量を求め、時刻ズレ記憶部２５４に記憶させる。
すなわち、時刻ズレ検出部２５３は、図１１で示されるように、差分時間ｄ１（＝時刻ｔ１１－時刻ｔ１）、差分時間ｄ２（＝時刻ｔ１２－時刻ｔ２）、差分時間ｄ３（＝時刻ｔ１３－時刻ｔ３）をそれぞれ求めて、平均値や中央値を時刻ズレ量として求め、時刻ズレ記憶部２５４に記憶させる。
以上の処理により、ステレオカメラ５１とミリ波レーダ５２との同一距離のステレオカメラ画像とレーダ像との取得する時刻ズレ量を求めることが可能となる。求められた時刻ズレ量を用いることにより、ステレオカメラ５１とミリ波レーダ５２との検出結果を高精度に同期して組み合わせた検出物体距離画像を生成することが可能となり、検出物体距離画像の精度を向上させることが可能となる。
＜検出物体距離画像生成処理＞
次に、図１３のフローチャートを参照して、検出物体距離画像生成処理について説明する。
ステップＳ３１において、ステレオカメラ５１は、ステレオカメラ画像を撮影して、撮影した時刻情報であるタイムスタンプを付して車外情報検出部１４１の物体検出処理部２５１に出力する。同時に、ミリ波レーダ５２は、レーダ像を生成して、レーダ像を生成した時刻情報であるタイムスタンプを付して車外情報検出部１４１に出力する。
ただし、同時に処理をしても、上述したように同一の物体に対する同一の距離のステレオカメラ画像とレーダ像とは、供給されるタイミングに時刻ズレが生じる。
尚、ここでは、レーダ像が、時刻ズレ量に対応する時間だけステレオカメラ画像よりも先に供給されるものとして説明を進めるが、レーダ像およびステレオカメラ画像のそれぞれが供給される順序はキャリブレーションに応じたものとなり、前後することがある。
ステップＳ３２において、遅延バッファ２７１は、レーダ像をバッファリングする。
ステップＳ３３において、時刻ズレ補正処理部２７２は、時刻ズレ記憶部２５４に記憶されている時刻ズレ量の情報を読み出して、読み出した時刻ズレ量に対応する時間だけバッファリングされているレーダ像と、同時に、供給されるステレオカメラ画像とを併せて画像処理部２７３に供給する。
ステップＳ３４において、画像処理部２７３は、供給されたステレオカメラ画像とレーダ像とを組み合わせて、検出物体距離画像を生成し、例えば、状況認識部１５３に出力する。
すなわち、ステレオカメラ画像は、レーダ像に対して、時刻ズレ量に対応する時間だけ遅れて供給されるので、新たなステレオカメラ画像が供給されるタイミングにおいて、遅延バッファ２７１にバッファリングされているレーダ像のうち、現在時刻から時刻ズレ量に対応する時間だけバッファリングされたレーダ像を読み出すことにより、ステレオカメラ画像とレーダ像とを対象物体が同一距離に存在する同一タイミングに調整することが可能となる。
結果として、ステレオカメラ画像とレーダ像とを、高い精度で同期させた上で、組み合わせた検出物体距離画像を生成することが可能となる。尚、以上においては、ステレオカメラ画像とレーダ像とを用いて、目標物となる治具を検出する例について説明してきたが、目標物は、方式の異なるセンサで同時に検出できる物体であればよいので、方式の異なるセンサで同時に検出できる物体であれば、本開示の治具のような物体でなくてもよい。
＜＜３．応用例＞＞
＜目標物の代用物を用いる例＞
以上においては、時刻ズレ量の検出は、キャリブレーション処理により求められる例について説明してきた。しかしながら、キャリブレーション処理は、工場出荷時など目標物１２が設けられた特定の条件下でのみなされる処理であるため、経年劣化などに伴って、時刻ズレ量が変化すると、ステレオカメラ画像とレーダ像との同期に係る精度が低下してしまう恐れがある。
目標物１２は、ステレオカメラ５１およびミリ波レーダ５２のいずれにおいても同一位置で検出可能なものであるが、走行に際して、目標物１２の代用物を設定することで、走行中に繰り返しキャリブレーション処理を実行することができる。
目標物１２の代用物としては、例えば、図１４の画像Ｐ５１で示されるように、車両３００の後部に取り付けられているナンバープレート３０１や、道路標識３０２などが考えられる。
車両３００の後部に取り付けられているナンバープレート３０１や、道路標識３０２は、取付位置や形状などが予め決められているため、ステレオカメラ画像およびレーダ像のいずれからも検出することが可能である。
したがって、目標物１２の代用物として利用することで、走行中に繰り返しキャリブレーション処理を実行することが可能となる。
＜目標物の代用物をナンバープレートとした場合の物体検出処理部の構成例＞
図１５は、目標物１２の代用物をナンバープレート３０１とした場合の物体検出処理部２５１の構成例を示している。なお、図９の物体検出処理部２５１と同一の機能を備えた構成については、同一の符号を付しており、適宜その説明は省略するものとする。
すなわち、図１５の物体検出処理部２５１において、図９の物体検出処理部２５１と異なる点は、距離画像目標物検出部２９２、ステレオカメラ画像目標物検出部２９３、およびレーダ像目標物検出部２９４に代えて、距離画像ナンバープレート検出部３１１、ステレオカメラ画像ナンバープレート検出部３１２、およびレーダ像ナンバープレート検出部３２４が設けられている点である。また、反射断面積分布推定部３２１、車両位置推定部３２２、および反射断面積分布データベース３２３が新たに設けられている。
ステレオカメラ画像ナンバープレート検出部３１２は、ステレオカメラ画像から画像認識によりナンバープレートを検出し、画像内の座標位置（ｘ，ｙ）を検出して、距離画像ナンバープレート検出部３１１に供給する。
距離画像ナンバープレート検出部３１１は、距離画像算出部２９１より供給される距離画像上のナンバープレートの座標位置（ｘ，ｙ）の距離を、ナンバープレートまでの距離として特定し、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓとして出力する。
反射断面積分布推定部３２１は、レーダ像における応答の強度に係る反射断面積分布を推定し、推定した反射断面積分布を車両位置推定部３２２に供給する。
車両位置推定部３２２は、反射断面積分布推定部３２１より供給される反射断面積分布を、反射断面積分布データベース３２３に格納されている、車種毎の反射断面積分布と照合し、車種を特定するとともに、レーダ像内における車両の座標位置を推定する。
レーダ像ナンバープレート検出部３２４は、レーダ像内の車両の座標位置に基づいて、車両の位置をレーダ像に基づいたナンバープレートの距離ｚｒとして出力する。
すなわち、図１６のレーダ像Ｐ６１における反射断面積分布３６１で示されるように、送信されたミリ波の反射波による反射断面積分布には車種に応じた特徴があるため、予め車種毎の反射断面積分布が格納されたデータベースと照合し、照合結果に基づいて、車種と車両の位置を特定することができる。図１６においては、上向きに開口部を持つ方形状の反射断面積分布が車両の特徴と位置を表している。
車両１１の位置が特定できれば、車両１１とナンバープレートは、略同一の距離であるとみなせるので、目標物１２と同様に機能させることができる。
また、十分に解像度が高いミリ波レーダ５２である場合、より正確に車の形状を求めることが可能であり、ナンバープレートの距離の検出を実現することができる。
＜図１４の物体検出処理部を用いたキャリブレーション処理＞
次に、図１７のフローチャートを参照して、図１４の物体検出処理部２５１を用いたキャリブレーション処理について説明する。
ステップＳ５１において、センサ部３１は、所定の時間が経過したか否かを判定する。ステップＳ５１において、所定の時間が経過しない場合、処理は、ステップＳ６３に進み、車外情報検出部１４１は、終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ５１に戻る。すなわち、処理の終了が指示されず、かつ、所定の時間が経過するまで、ステップＳ５１，Ｓ６３の処理が繰り返される。
尚、図１７のフローチャートを参照して説明するキャリブレーション処理は、通常の走行状態において、所定の時間間隔で繰り返される処理であるため、検出物体距離画像生成処理が実行されるときに並列的になされるか、または、検出物体距離画像生成処理を所定の時間間隔で停止させ、その間になされる処理である。
ステップＳ５１において、所定の時間が経過したとみなされた場合、処理は、ステップＳ５２に進む。
ステップＳ５２において、ステレオカメラ５１は、ステレオカメラ画像を撮影して、撮影した時刻情報であるタイムスタンプを付して車外情報検出部１４１の物体検出処理部２５１に出力する。同時に、ミリ波レーダ５２は、レーダ像を生成して、レーダ像を生成した時刻情報であるタイムスタンプを付して車外情報検出部１４１に出力する。
ステップＳ５３において、物体検出処理部２５１の距離画像算出部２９１は、所定の視差を有する２枚の画像からなるステレオカメラ画像に基づいて、画素単位で距離を求め、各画素の画素値を、求めた距離の値とする距離画像を生成し、ステレオカメラ画像を撮影した時刻情報であるタイムスタンプと共に距離画像ナンバープレート検出部３１１に出力する。
ステップＳ５４において、ステレオカメラ画像ナンバープレート検出部３１２は、ステレオカメラ画像に基づいて、画像内におけるナンバープレートを認識し、認識されたナンバープレートの座標位置（ｘ，ｙ）を特定し、距離画像ナンバープレート検出部３１１に出力する。
ステップＳ５５において、距離画像ナンバープレート検出部３１１は、ナンバープレートが検出された、ステレオカメラ画像内の座標位置（ｘ，ｙ）に対応する、距離画像の画素値を、ステレオカメラ画像から求められるナンバープレートの距離ｚｓとして、タイムスタンプの情報と共に記憶部２５２に出力して、記憶させる。
ステップＳ５６において、反射断面積分布推定部３２１は、レーダ像内の応答より、反射断面積分布を推定し、推定した反射断面積分布を車両位置推定部３２２に出力する。
ステップＳ５７において、車両位置推定部３２２は、レーダ像内の応答により推定された反射断面積分布に基づいて、レーダ像内における車両の座標位置を特定し、特定した座標位置の情報をレーダ像ナンバープレート検出部３１３に出力する。
ステップＳ５８において、レーダ像ナンバープレート検出部３２４は、レーダ像内の車両の座標位置に基づいて、車両の位置をレーダ像に基づいたナンバープレートの距離ｚｒとして、レーダ像のタイムスタンプの情報と共に記憶部２５２に出力して、記憶させる。
ステップＳ５９において、時刻ズレ検出部２５３は、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶部２５２に記憶されているか否かを判定する。
ステップＳ５９において、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されていない場合、処理は、ステップＳ５２に戻る。すなわち、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されるまで、ステップＳ５２乃至Ｓ５９の処理が繰り返される。
そして、ステップＳ５２乃至Ｓ５９の処理が所定回数だけ繰り返されて、ステップＳ５９において、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されたとみなされた場合、処理は、ステップＳ６０に進む。
ステップＳ６０において、時刻ズレ検出部２５３は、記憶部２５２に記憶されている、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報を読み出して、距離ｚｓおよび距離ｚｒのそれぞれの時刻に対する近似式を求める。
ステップＳ６１において、時刻ズレ検出部２５３は、求めた近似式に基づいて、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻を求める。
ステップＳ６２において、時刻ズレ検出部２５３は、距離毎の、距離ｚｓおよび距離ｚｒのそれぞれの時刻の差分より、時刻ズレ量を求め、時刻ズレ記憶部２５４に記憶させる。
以上の処理により、検出対象を目標物１２に代えてナンバープレートとしても、ステレオカメラ５１とミリ波レーダ５２との同一距離のステレオカメラ画像とレーダ像との取得する時刻ズレ量を、走行中に所定の時間間隔で繰り返し求めることが可能となる。
結果として、所定の時間間隔で、繰り返し時刻ズレ量が更新されて記憶されることにより、経年劣化などにより変化する時刻ズレ量に対応して、ステレオカメラ５１とミリ波レーダ５２との検出結果を組み合わせた検出物体距離画像の精度を向上させることが可能となる。
また、以上においては、目標物１２の代用物として車両のナンバープレートを用いる例について説明してきたが、形状や大きさが特定されており、目標物１２の代用物として認識できるものであれば、ナンバープレート以外のものでもよく、例えば、道路標識を利用するようにしてもよい。尚、検出物体距離画像生成処理については、図１３を参照して説明した処理と同様であるので、その説明は省略する。
＜＜４．変形例＞＞
＜ミリ波レーダに代えてLIDARを設けるようにした変形例＞
以上においては、ステレオカメラ５１により撮影されるステレオカメラ画像と、ミリ波レーダ５２によるレーダ像とを組み合わせて検出物体距離画像を生成する例について説明してきたが、センサ部３１を構成する複数のセンサは、ステレオカメラ５１およびミリ波レーダ５２以外の組み合わせであってもよい。
例えば、ミリ波レーダ５２に代えて、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）と称するレーザ光を用いた距離画像と、ステレオカメラ画像における座標位置（ｘ，ｙ）のそれぞれに対応する距離情報の画素値からなる距離画像を用いるようにして、ステレオカメラ画像と組み合わせるようにしてもよい。尚、以降において、LIDARを用いて取得される距離画像をLIDAR距離画像と称する。
LIDAR距離画像は、ステレオカメラ画像を用いて得られる距離画像と比べて解像度が低いが、距離精度が高いという特徴がある。
図１８は、ミリ波レーダ５２に代えて、LIDAR３７１を設けるようにしたセンサ部３１の構成例が示されている。尚、図１８のセンサ部３１において、図７のセンサ部３１における構成と同一の機能を備えた構成については、同一の符号を付しており、説明を適宜省略する。
すなわち、図１８のセンサ部３１において、図７のセンサ部３１と異なるのは、ミリ波レーダ５２に代えてLIDAR３７１を設けた点である。
LIDAR３７１は、レーザ投受光部３８１、信号処理部３８２、および時刻情報付加部３８３を備えている。
レーザ投受光部３８１は、車両１１の走行方向前方の監視領域に対して、所定の解像度でレーザ光を投光すると共に、投光したレーザ光の反射光を受光し、反射光の受光強度からなる信号や、投光したタイミングと受光したタイミングとを示す信号を信号処理部３８２に供給する。
信号処理部３８２は、反射光の受光強度からなるLIDAR反射強度画像を生成すると共に、投光したレーザ光の投光したタイミングと、受光したタイミングとから求められるレーザ光の往復時間に基づいて、いわゆるToF（Time of Flight）法により距離を求め、LIDAR距離画像を生成し、LIDAR反射強度画像とLIDAR距離画像とをペアにして時刻情報付加部３８３に出力する。
時刻情報付加部３８３は、基準時刻生成部５４より供給される基準時刻の情報を、LIDAR反射強度画像とLIDAR距離画像とのペア毎にタイムスタンプとして付加して信号出力部５３に出力する。尚、以降において、LIDAR反射強度画像とLIDAR距離画像とのペアを、単にLIDAR画像とも称する。
＜LIDARを用いる場合の目標物の構成例＞
次に、図１９を参照して、ミリ波レーダ５２に代えてLIDAR３７１を設けるセンサ部３１を用いる場合の目標物の構成例について説明する。
図１９で示されるように、センサ部３１にミリ波レーダ５２に代えてLIDAR３７１を設ける場合の目標物３９０は、左右にLIDAR３７１から投光されるレーザの反射率が所定値よりも高いレーザ反射体３９２－１，３９２－２が設けられており、中央には、マーカ７２と同様のマーカ３９１が設けられている。
＜センサ部にLIDARを用いる場合の物体検出処理部の構成例＞
次に、図２０を参照して、センサ部３１にLIDAR３７１を用いる場合の物体検出処理部２５１の構成例について説明する。尚、図２０の物体検出処理部２５１において、図９の物体検出処理部２５１における構成と同一の機能を備えた構成については、同一の符号を付しており、適宜、説明を省略する。
図２０の物体検出処理部２５１において、図９の物体検出処理部２５１と異なる点は、レーダ像目標物検出部２９４に代えて、LIDAR画像目標物検出部４０１が設けられている点である。
LIDAR画像目標物検出部４０１は、LIDAR画像を構成する、LIDAR反射強度画像およびLIDAR距離画像に基づいて、目標物３９０の距離ｚｒを求める。
図２１の左部で示されるように、例えば、画像中の左部に人Ｈ１が撮影され、右側に目標物３９０が撮影されるようなステレオカメラ画像Ｐ７１が撮影される場合を考える。
この場合、図２１の中央部の画像Ｐ７２で示されるように、LIDAR反射強度画像が撮影される。図２１においてLIDAR反射強度画像は、反射強度が高いほど明るい画素とされ、反射強度が低いほど暗い画素とされる。目標物３９０におけるレーザ反射体３９２－１，３９２－２は、他の物体よりも、レーザ光の反射率が高いことから反射強度が高くなる。LIDAR画像目標物検出部４０１は、LIDAR反射強度画像Ｐ７２に基づいて、他の領域よりも反射強度の高い領域を、目標物３９０の存在する領域として特定し、対応する座標位置（ｘ，ｙ）を読み出す。
LIDAR画像目標物検出部４０１は、図２１の右部で示されるLIDAR距離画像Ｐ７３における、LIDAR反射強度画像Ｐ７２より求められた目標物３９０の座標位置（ｘ，ｙ）に対応する距離を、LIDAR画像に基づいた目標物３９０までの距離として求める。尚、LIDAR距離画像Ｐ７３においては、距離が遠いほど暗い画素とされ、距離が近いほど明るい画素とされる。
＜図２０の物体検出処理部を用いたキャリブレーション処理＞
次に、図２２のフローチャートを参照して、図２０の物体検出処理部を用いたキャリブレーション処理について説明する。尚、図２２のフローチャートにおけるステップＳ９１乃至Ｓ９５の処理は、図１２のフローチャートを参照して説明したステップＳ１１乃至Ｓ１５の処理と同様であるので、その説明は省略するものとする。
ステップＳ９６において、LIDAR画像目標物検出部４０１は、LIDAR反射強度画像に基づいて、他の領域よりも反射強度の高い領域を、目標物３９０の存在する領域として特定し、対応する座標位置（ｘ，ｙ）を目標物位置として検出する。
ステップＳ９７において、LIDAR画像目標物検出部４０１は、LIDAR距離画像における、LIDAR反射強度画像より求められた目標物３９０の座標位置（ｘ，ｙ）に対応する距離をLIDAR距離画像に基づいた目標物３９０までの距離を、LIDAR画像に基づいた目標物距離ｚｒとして検出し、時刻情報と対応付けて記憶部２５２に出力して記憶させる。
ステップＳ９２乃至Ｓ９８の処理を繰り返して、所定回数分だけ、記憶部２５２に記憶された後、処理は、ステップＳ９９に進む。
ステップＳ９９において、時刻ズレ検出部２５３は、記憶部２５２に記憶されている、ステレオカメラ画像に基づいた目標物３９０までの距離ｚｓおよび時刻情報、並びに、LIDAR画像に基づいた目標物までの距離ｚｒおよび時刻情報を読み出して、距離ｚｓおよび距離ｚｒのそれぞれの時刻に対する近似式を求める。
ステップＳ１００において、時刻ズレ検出部２５３は、求めた近似式に基づいて、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻を求める。
ステップＳ１０１において、時刻ズレ検出部２５３は、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻差分より、時刻ズレ量を求め、時刻ズレ記憶部２５４に記憶させる。
以上の処理により、ステレオカメラ５１とLIDAR３７１との同一距離のステレオカメラ画像とLIDAR画像との取得する時刻ズレ量を求めることが可能となる。求められた時刻ズレ量を用いることにより、ステレオカメラ５１とLIDAR３７１との検出結果を組み合わせた検出物体距離画像の精度を向上させることが可能となる。尚、検出物体距離画像生成処理については、図１３を参照して説明した処理と同様であるので、その説明は省略する。
＜＜５．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
図２３は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図２３におけるCPU１００１が、図６における自動運転制御部１１２の機能を実現させる。また、図２３における記憶部１００８が、図６における記憶部１１１を実現する。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 物体を検出する第１の物体検出部と、
物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含む信号処理装置。
＜２＞ 前記第１の物体検出部、もしくは前記第２の物体検出部の少なくとも一方による前記物体の検出結果をバッファリングするバッファリング部と、
前記バッファリング部による遅延量を前記時刻ズレ量に応じて設定して、前記時刻ズレを補正する時刻ズレ補正部とをさらに含む
＜１＞に記載の信号処理装置。
＜３＞ 前記所定の目標物は、前記時刻ズレ量を測定するための物体であり、
前記第１の物体検出部により検出可能な第１の被検出部位と、
前記第２の物体検出部により検出可能な第２の被検出部位とを含む
＜１＞または＜２＞に記載の信号処理装置。
＜４＞ 前記第１の物体検出部は、前記物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラであり、
前記第２の物体検出部は、前記物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダであり、
基準時刻を発生する基準時刻発生部をさらに含み、
前記ステレオカメラ画像および前記レーダ像は、それぞれ生成されたタイミングにおける前記基準時刻からなる時刻情報を含む
＜１＞に記載の信号処理装置。
＜５＞ 前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、
前記距離画像における、前記所定の目標物までの距離をステレオカメラ画像距離として、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、
前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の時刻情報と共に検出するレーダ像目標物検出部とを含み、
前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出する
＜４＞に記載の信号処理装置。
＜６＞ 前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含み、
前記距離画像目標物検出部は、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
前記レーダ像目標物検出部は、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置と、前記ステレオカメラ画像距離とにより特定される位置の近傍の範囲の、前記レーダ像における応答強度が高い距離を、前記所定の目標物までの距離であるレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出する
＜５＞に記載の信号処理装置。
＜７＞ 前記所定の目標物は、
前記ミリ波レーダのレーダ波の反射率が所定値よりも高いレーダ反射体と、
前記ステレオカメラ画像により認識可能なマーカとを含む
＜５＞に記載の信号処理装置。
＜８＞ 前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部と、
前記レーダ像における反射断面積分布に基づいて、前記レーダ像内の前記所定の目標物の位置を検出する反射断面積目標物位置検出部とをさらに含み、
前記距離画像目標物検出部は、前記距離画像における、前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
前記レーダ像目標物検出部は、前記反射断面積目標物位置検出部により検出された前記レーダ像内における前記所定の目標物の位置に対応する距離をレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出する
＜５＞に記載の信号処理装置。
＜９＞ 前記距離画像算出部、前記距離画像目標物検出部、前記レーダ像目標物検出部、および前記時刻ズレ検出部は、所定の時間間隔で繰り返し、前記距離画像を生成し、前記ステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出し、前記レーダ像距離を、対応する前記レーダ像の時刻情報と共に検出し、時刻ズレ量を検出する
＜８＞に記載の信号処理装置。
＜１０＞ 前記所定の目標物は、前走車のナンバープレート、または、道路標識である
＜８＞に記載の信号処理装置。
＜１１＞ 前記第１の物体検出部は、前記物体を、所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラであり、
前記第２の物体検出部は、前記物体を、レーザ光により検出し、前記レーザ光の反射強度に応じた画像として撮影するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）であり、
基準時刻を発生する基準時刻発生部をさらに含み、
前記ステレオカメラ画像、並びに、前記LIDARにより撮影されるLIDAR画像は、それぞれ生成されたタイミングにおける前記基準時刻からなる時刻情報を含む
＜１＞に記載の信号処理装置。
＜１２＞ 前記ステレオカメラ画像より所定の視差に基づいて画素単位で被写体までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、
前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、
前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の時刻情報と共に検出するLIDAR画像目標物検出部とを含み、
前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出する
＜１１＞に記載の信号処理装置。
＜１３＞ 前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含み、
前記距離画像目標物検出部は、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
前記LIDAR画像は、前記レーザ光の反射強度を各画素の画素値とするLIDAR反射強度画像、および前記レーザ光の被写体までの往復時間に基づいてToF（Time of Flight）法で求められる距離画像からなるLIDAR距離画像を含み、
前記LIDAR画像目標物検出部は、前記LIDAR反射強度画像より、反射強度が特に高い位置を、前記所定の目標物の位置とみなし、対応する前記LIDAR距離画像における位置の距離を、前記所定の目標物までの距離であるLIDAR画像距離として、対応する前記レーザ光の反射強度に応じた画像の時刻情報と共に検出する
＜１２＞に記載の信号処理装置。
＜１４＞ 前記所定の目標物は、
前記LIDARのレーザ光の反射率が所定値よりも高いレーザ反射体と、
前記ステレオカメラ画像により認識可能なマーカとを含む
＜１１＞に記載の信号処理装置。
＜１５＞ 前記時刻ズレ検出部は、複数の前記時刻ズレを求め、統計処理により時刻ズレ量を検出する
＜１＞乃至＜１４＞のいずれかに記載の信号処理装置。
＜１６＞ 物体を検出する第１の物体検出処理と、
前記第１の物体検出処理とは異なる方法で物体を検出する第２の物体検出処理と、
前記第１の物体検出処理により所定の目標物が検出される第１の時刻と、前記第２の物体検出処理により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含む信号処理方法。
＜１７＞ 物体を検出する第１の物体検出部と、
物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含む処理をコンピュータに実行させるプログラム。
＜１８＞ 物体を検出する第１の物体検出部と、
物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含む移動体。
＜１９＞ 所定の目標物と信号処理装置とからなる信号処理システムにおいて、
前記信号処理装置は、
物体を検出する第１の物体検出部と、
物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
前記第１の物体検出部により前記所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
を含み、
前記所定の目標物は、
前記第１の物体検出部により検出可能な第１の被検出部位と、
前記第２の物体検出部により検出可能な第２の被検出部位と
を含む
信号処理システム。
１１ 車両， １２ 目標物， ２１ 偏光カメラ， ５１ ステレオカメラ， ５１Ｌ，５１Ｒ カメラ， ５２ ミリ波レーダ， ５３ 信号出力部， ５４ 基準時刻生成部， ７１ レーダ反射体， ７２ マーカ， １０２ データ取得部， １１２ 自動運転制御部， １４１ 外部情報検出部， １５２ 状況認識部， ２０１Ｌ，２０１Ｒ 撮像素子， ２０２Ｌ，２０２Ｒ 画像信号処理部， ２０３Ｌ，２０３Ｒ 時刻情報付加部， ２１１ ミリ波アンテナ， ２１２ レーダ受信信号処理部， ２１３ 時刻情報付加部， ２３１ キャリブレーション処理部， ２３２ 検出物体距離画像生成部， ２５１ 物体検出処理部， ２５２ 記憶部， ２５３ 時刻ズレ検出部， ２５４ 時刻ズレ記憶部， ２７１ 遅延バッファ， ２７２ 時刻ズレ補正処理部， ２７３ 画像処理部， ２９１ 距離画像算出部， ２９２ 距離画像目標物検出部， ２９３ ステレオカメラ画像目標物検出部， ２９４ レーダ像目標物検出部， ３０１ ナンバープレート， ３０２ 道路標識， ３１１ 距離画像算出部， ３１２ ステレオカメラ画像ナンバープレート検出部， ３２１ 反射断面積分布推定部， ３２２ 車両位置推定部， ３２３ 反射断面積分布データベース， ３２４ レーダ像ナンバープレート検出部， ３７１ LIDAR， ３８１ レーザ投受光部， ３８２ 信号処理部， ３８３ 時刻情報付加部， ３９０ 目標物， ３９１ マーカ， ３９２－１，３９２－２ レーザ反射体， ４０１ LIDAR画像目標物検出部

Claims (20)

  1. 物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、
    物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダからなる第２の物体検出部と、
    前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、
    基準時刻を発生する基準時刻発生部と、
    前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、
    前記距離画像における、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、
    前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するレーダ像目標物検出部とを含み、
    前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出する
    信号処理装置。
  2. 前記第１の物体検出部、もしくは前記第２の物体検出部の少なくとも一方による前記物体の検出結果をバッファリングするバッファリング部と、
    前記バッファリング部による遅延量を前記時刻ズレ量に応じて設定して、前記時刻ズレを補正する時刻ズレ補正部とをさらに含む
    請求項１に記載の信号処理装置。
  3. 前記所定の目標物は、前記時刻ズレ量を測定するための物体であり、
    前記第１の物体検出部により検出可能な第１の被検出部位と、
    前記第２の物体検出部により検出可能な第２の被検出部位とを含む
    請求項１に記載の信号処理装置。
  4. 前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含み、
    前記距離画像目標物検出部は、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
    前記レーダ像目標物検出部は、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置と、前記ステレオカメラ画像距離とにより特定される位置の近傍の範囲の、前記レーダ像における応答強度が高い距離を、前記所定の目標物までの距離であるレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出する
    請求項１に記載の信号処理装置。
  5. 前記所定の目標物は、
    前記ミリ波レーダのレーダ波の反射率が所定値よりも高いレーダ反射体と、
    前記ステレオカメラ画像により認識可能なマーカとを含む
    請求項１に記載の信号処理装置。
  6. 前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部と、
    前記レーダ像における反射断面積分布に基づいて、前記レーダ像内の前記所定の目標物の位置を検出する反射断面積目標物位置検出部とをさらに含み、
    前記距離画像目標物検出部は、前記距離画像における、前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
    前記レーダ像目標物検出部は、前記反射断面積目標物位置検出部により検出された前記レーダ像内における前記所定の目標物の位置に対応する距離をレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出する
    請求項１に記載の信号処理装置。
  7. 前記距離画像算出部、前記距離画像目標物検出部、前記レーダ像目標物検出部、および前記時刻ズレ検出部は、所定の時間間隔で繰り返し、前記距離画像を生成し、前記ステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出し、前記レーダ像距離を、対応する前記レーダ像の時刻情報と共に検出し、時刻ズレ量を検出する
    請求項６に記載の信号処理装置。
  8. 前記所定の目標物は、前走車のナンバープレート、または、道路標識である
    請求項６に記載の信号処理装置。
  9. 物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出処理と、
    ミリ波帯の電波を用いて、レーダ像として取得するミリ波レーダにより、物体を検出する第２の物体検出処理と、
    前記第１の物体検出処理により所定の目標物が検出される第１の時刻と、前記第２の物体検出処理により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出処理と、
    基準時刻を発生する基準時刻発生処理と、
    前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出処理と、
    前記距離画像における、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出処理と、
    前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するレーダ像目標物検出処理とを含み、
    前記時刻ズレ検出処理は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出する
    信号処理方法。
  10. 物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、
    物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダからなる第２の物体検出部と、
    前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、
    基準時刻を発生する基準時刻発生部と、
    前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、
    前記距離画像における、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、
    前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するレーダ像目標物検出部とを含む処理をコンピュータに実行させ、
    前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出する
    プログラム。
  11. 物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、
    物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダからなる第２の物体検出部と、
    前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、
    基準時刻を発生する基準時刻発生部と、
    前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、
    前記距離画像における、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、
    前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するレーダ像目標物検出部とを含み、
    前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出する
    移動体。
  12. 所定の目標物と信号処理装置とからなる信号処理システムにおいて、
    前記信号処理装置は、
    物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、
    物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダからなる第２の物体検出部と、
    前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、
    基準時刻を発生する基準時刻発生部と、
    前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、
    前記距離画像における、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、
    前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するレーダ像目標物検出部とを含み、
    前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出し、
    前記所定の目標物は、
    前記第１の物体検出部により検出可能な第１の被検出部位と、
    前記第２の物体検出部により検出可能な第２の被検出部位と
    を含む
    信号処理システム。
  13. 物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、
    物体をレーザ光により検出するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）からなり、前記レーザ光の反射強度に応じたLIDAR画像として撮影する第２の物体検出部と、
    前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、
    基準時刻を発生する基準時刻発生部と、
    前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、
    前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、
    前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するLIDAR画像目標物検出部とを含み、
    前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出する
    信号処理装置。
  14. 前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含み、
    前記距離画像目標物検出部は、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
    前記LIDAR画像は、前記レーザ光の反射強度を各画素の画素値とするLIDAR反射強度画像、および前記レーザ光の被写体までの往復時間に基づいてToF（Time of Flight）法で求められる距離画像からなるLIDAR距離画像を含み、
    前記LIDAR画像目標物検出部は、前記LIDAR反射強度画像より、反射強度が特に高い位置を、前記所定の目標物の位置とみなし、対応する前記LIDAR距離画像における位置の距離を、前記所定の目標物までの距離であるLIDAR画像距離として、対応する前記レーザ光の反射強度に応じた画像の時刻情報と共に検出する
    請求項１３に記載の信号処理装置。
  15. 前記所定の目標物は、
    前記LIDARのレーザ光の反射率が所定値よりも高いレーザ反射体と、
    前記ステレオカメラ画像により認識可能なマーカとを含む
    請求項１３に記載の信号処理装置。
  16. 前記時刻ズレ検出部は、複数の前記時刻ズレを求め、統計処理により時刻ズレ量を検出する
    請求項１３に記載の信号処理装置。
  17. 物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出処理と、
    レーザ光により物体を検出するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）により、前記レーザ光の反射強度に応じたLIDAR画像として撮影する第２の物体検出処理と、
    前記第１の物体検出処理により所定の目標物が検出される第１の時刻と、前記第２の物体検出処理により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出処理と、
    基準時刻を発生する基準時刻発生処理と、
    前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出処理と、
    前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出処理と、
    前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するLIDAR画像目標物検出処理とを含み、
    前記時刻ズレ検出処理は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出する
    信号処理方法。
  18. 物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、
    物体をレーザ光により検出するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）からなり、前記レーザ光の反射強度に応じたLIDAR画像として撮影する第２の物体検出部と、
    前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、
    基準時刻を発生する基準時刻発生部と、
    前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、
    前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、
    前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するLIDAR画像目標物検出部とを含む処理をコンピュータに実行させ、
    前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出する
    プログラム。
  19. 物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、
    物体をレーザ光により検出するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）からなり、前記レーザ光の反射強度に応じたLIDAR画像として撮影する第２の物体検出部と、
    前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、
    基準時刻を発生する基準時刻発生部と、
    前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、
    前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、
    前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するLIDAR画像目標物検出部とを含み、
    前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出する
    移動体。
  20. 所定の目標物と信号処理装置とからなる信号処理システムにおいて、
    前記信号処理装置は、
    物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラからなり、前記ステレオカメラ画像から前記物体を検出する第１の物体検出部と、
    物体をレーザ光により検出するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）からなり、前記レーザ光の反射強度に応じたLIDAR画像として撮影する第２の物体検出部と、
    前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と、
    基準時刻を発生する基準時刻発生部と、
    前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像として生成する距離画像算出部と、
    前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出する距離画像目標物検出部と、
    前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の、生成されたタイミングにおける前記基準時刻からなる時刻情報と共に検出するLIDAR画像目標物検出部とを含み、
    前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出し、
    前記所定の目標物は、
    前記第１の物体検出部により検出可能な第１の被検出部位と、
    前記第２の物体検出部により検出可能な第２の被検出部位と
    を含む
    信号処理システム。
JP2019538057A 2017-08-22 2018-08-08 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム Active JP7160040B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017159406 2017-08-22
JP2017159406 2017-08-22
PCT/JP2018/029731 WO2019039279A1 (ja) 2017-08-22 2018-08-08 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム

Publications (2)

Publication Number Publication Date
JPWO2019039279A1 JPWO2019039279A1 (ja) 2020-10-15
JP7160040B2 true JP7160040B2 (ja) 2022-10-25

Family

ID=65438678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019538057A Active JP7160040B2 (ja) 2017-08-22 2018-08-08 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム

Country Status (4)

Country Link
US (1) US11328444B2 (ja)
EP (1) EP3674747B1 (ja)
JP (1) JP7160040B2 (ja)
WO (1) WO2019039279A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7092540B2 (ja) * 2018-04-04 2022-06-28 パナソニックホールディングス株式会社 交通監視システムおよび交通監視方法
JP2020057869A (ja) * 2018-09-28 2020-04-09 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 撮像装置
WO2020203241A1 (ja) * 2019-03-29 2020-10-08 ソニーセミコンダクタソリューションズ株式会社 情報処理方法、プログラム、及び、情報処理装置
US10928508B2 (en) * 2019-04-12 2021-02-23 Ford Global Technologies, Llc Camera and radar fusion
US11861957B2 (en) * 2019-05-09 2024-01-02 Argo AI, LLC Time master and sensor data collection for robotic system
US11891086B2 (en) 2019-05-13 2024-02-06 Hitachi Astemo, Ltd. Vehicle control system
JP7333195B2 (ja) * 2019-05-15 2023-08-24 株式会社Subaru 自動運転支援システム
JP7344031B2 (ja) * 2019-07-19 2023-09-13 株式会社Subaru 画像処理装置
US20210033722A1 (en) * 2019-07-29 2021-02-04 Trackman A/S System and method for inter-sensor calibration
JP7140291B2 (ja) * 2019-10-08 2022-09-21 株式会社デンソー 同期装置、同期方法、同期プログラム
CN110753167B (zh) * 2019-11-13 2022-04-08 广州文远知行科技有限公司 时间同步方法、装置、终端设备及存储介质
CN112819896B (zh) * 2019-11-18 2024-03-08 商汤集团有限公司 传感器的标定方法及装置、存储介质和标定系统
JP7290104B2 (ja) 2019-12-23 2023-06-13 株式会社デンソー 自己位置推定装置、方法及びプログラム
JP2021110631A (ja) * 2020-01-10 2021-08-02 株式会社デンソー 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法
JP7288409B2 (ja) * 2020-02-05 2023-06-07 マツダ株式会社 車両用制御装置
JP7367585B2 (ja) * 2020-03-30 2023-10-24 株式会社アイシン 物体検出システム
KR20220010900A (ko) * 2020-07-20 2022-01-27 현대모비스 주식회사 차량용 레이더 장치 및 제어방법
US11619708B2 (en) 2020-07-28 2023-04-04 Trackman A/S System and method for inter-sensor calibration
US12055632B2 (en) 2020-10-13 2024-08-06 Waymo Llc LIDAR based stereo camera correction
CN112365545B (zh) * 2020-10-15 2023-02-24 中国科学院宁波材料技术与工程研究所 基于大平面复合靶标的激光雷达与可见光相机的标定方法
CN112911265B (zh) * 2021-02-01 2023-01-24 北京都视科技有限公司 融合处理器及融合处理系统
JP2022146480A (ja) * 2021-03-22 2022-10-05 リコーインダストリアルソリューションズ株式会社 ステレオカメラ装置
CN113099385B (zh) * 2021-04-09 2022-10-04 北京骑胜科技有限公司 停车监测方法、系统和设备
CN113219447B (zh) * 2021-04-09 2024-07-16 国电南瑞科技股份有限公司 一种基于毫米波阵列的输电线距离稳定测量方法
JP7559796B2 (ja) 2021-05-26 2024-10-02 株式会社デンソー センサ制御装置、センサ制御方法、センサ制御プログラム
WO2022249838A1 (ja) * 2021-05-26 2022-12-01 株式会社デンソー センサ制御装置、センサ制御方法、センサ制御プログラム
CN113327297B (zh) * 2021-06-30 2022-06-17 湖南科技大学 基于深度学习的深海海底障碍物测量系统与识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091654A (ja) 1999-09-22 2001-04-06 Nippon Signal Co Ltd:The 車載用障害物検出装置
JP2003315442A (ja) 2002-04-22 2003-11-06 Mitsubishi Electric Corp 車載レーダ装置の位置調整装置および位置調整方法
JP2004037239A (ja) 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
JP2004347471A (ja) 2003-05-22 2004-12-09 Fuji Heavy Ind Ltd 先行車両検出装置
JP2011220732A (ja) 2010-04-06 2011-11-04 Honda Motor Co Ltd 車両の周辺監視装置
US20140218226A1 (en) 2013-02-01 2014-08-07 GM Global Technology Operations LLC Method and apparatus for remote object sensing employing compressive sensing
JP2017125829A (ja) 2016-01-13 2017-07-20 株式会社リコー 距離測定装置、移動体装置及び距離測定方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11047976B2 (en) * 2015-09-30 2021-06-29 Sony Corporation Information processing apparatus, information processing method and program
US10596964B2 (en) * 2016-01-13 2020-03-24 Ricoh Company, Ltd. Distance measurement device, moveable device, and distance measuring method
WO2018212346A1 (ja) * 2017-05-18 2018-11-22 パイオニア株式会社 制御装置、走査システム、制御方法、およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091654A (ja) 1999-09-22 2001-04-06 Nippon Signal Co Ltd:The 車載用障害物検出装置
JP2003315442A (ja) 2002-04-22 2003-11-06 Mitsubishi Electric Corp 車載レーダ装置の位置調整装置および位置調整方法
JP2004037239A (ja) 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
JP2004347471A (ja) 2003-05-22 2004-12-09 Fuji Heavy Ind Ltd 先行車両検出装置
JP2011220732A (ja) 2010-04-06 2011-11-04 Honda Motor Co Ltd 車両の周辺監視装置
US20140218226A1 (en) 2013-02-01 2014-08-07 GM Global Technology Operations LLC Method and apparatus for remote object sensing employing compressive sensing
JP2017125829A (ja) 2016-01-13 2017-07-20 株式会社リコー 距離測定装置、移動体装置及び距離測定方法

Also Published As

Publication number Publication date
EP3674747A1 (en) 2020-07-01
EP3674747B1 (en) 2023-04-12
EP3674747A4 (en) 2020-09-02
US20200211219A1 (en) 2020-07-02
JPWO2019039279A1 (ja) 2020-10-15
US11328444B2 (en) 2022-05-10
WO2019039279A1 (ja) 2019-02-28

Similar Documents

Publication Publication Date Title
JP7160040B2 (ja) 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
US11427218B2 (en) Control apparatus, control method, program, and moving body
US11860640B2 (en) Signal processing device and signal processing method, program, and mobile body
JP7259749B2 (ja) 情報処理装置、および情報処理方法、プログラム、並びに移動体
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
WO2017057042A1 (ja) 信号処理装置、信号処理方法、プログラム、および、物体検出システム
JP2019028861A (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN112543876B (zh) 用于自动驾驶车辆中的传感器同步性数据分析的系统
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7180670B2 (ja) 制御装置、制御方法、並びにプログラム
WO2019044571A1 (ja) 画像処理装置、および画像処理方法、プログラム、並びに移動体
US20220018932A1 (en) Calibration apparatus, calibration method, program, and calibration system and calibration target
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
JPWO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
US11366237B2 (en) Mobile object, positioning system, positioning program, and positioning method
WO2020261838A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP6984256B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
US20210065387A1 (en) Signal processing apparatus and signal processing method, program, and moving body
JPWO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R151 Written notification of patent or utility model registration

Ref document number: 7160040

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151