JP7356517B2 - センサエイミング装置、運転制御システム、及び補正量の推定方法 - Google Patents

センサエイミング装置、運転制御システム、及び補正量の推定方法 Download PDF

Info

Publication number
JP7356517B2
JP7356517B2 JP2021569777A JP2021569777A JP7356517B2 JP 7356517 B2 JP7356517 B2 JP 7356517B2 JP 2021569777 A JP2021569777 A JP 2021569777A JP 2021569777 A JP2021569777 A JP 2021569777A JP 7356517 B2 JP7356517 B2 JP 7356517B2
Authority
JP
Japan
Prior art keywords
target
sensor
information
positional relationship
targets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021569777A
Other languages
English (en)
Other versions
JPWO2021140811A1 (ja
Inventor
俊輔 ▲松▼尾
竜彦 門司
哲 栗山
晴輝 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of JPWO2021140811A1 publication Critical patent/JPWO2021140811A1/ja
Application granted granted Critical
Publication of JP7356517B2 publication Critical patent/JP7356517B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023Avoiding failures by using redundant parts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4004Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026Antenna boresight
    • G01S7/403Antenna boresight in azimuth, i.e. in the horizontal plane
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4052Means for monitoring or calibrating by simulation of echoes
    • G01S7/4082Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
    • G01S7/4091Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder during normal radar operation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S7/4972Alignment of sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215Sensor drifts or sensor failures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/35Data fusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車載制御装置に関し、特にセンサデータを補正するセンサエイミング装置に関する。
交通事故の低減、ドライバーの負荷軽減、地球環境負荷の低減に向けた燃費の改善、サステナブルな社会の実現に向けた交通弱者への移動手段の提供などの様々な目的を実現すべく、運転支援システム及び自動運転システムが開発されている。これら運転支援システム及び自動運転システムでは、ドライバーの代わりに車両周辺を監視するため、複数の車両周辺監視センサが設けられる。さらに、これらのシステムの安全性を保障するためには、前記車両周辺監視センサの取り付け角度がずれた場合でも補正を行う機能が求められる。
本技術分野の背景技術として、以下の先行技術がある。特許文献1(特開2016-065759号公報)には、衝突軽減装置において、電磁波を送受信することによって物体の位置を検出する電磁波センサによって検出された第1物体と、撮像画像を画像処理することによって物体の位置を検出する画像センサによって検出された第2物体とが同一の物体であるか否かを判定し、第1物体と第2物体とが同一の物体であると判定された場合に、自身の位置および第1物体を結ぶ第1線分と、自身の位置および第2物体を結ぶ第2線分とのなす角を軸ずれ量として演算する軸ずれ量推定装置が記載されている(要約参照)。
また、特許文献2(特開2004-317507公報)には、走査方向位置に対する受信強度の波形が逆W字状となり、この波形から軸ずれ量が各方向について定量的に算出可能となるよう、検出表面の明暗パターンと外形が設定されている調整用ターゲットを使用し、レーダのロール方向を含む軸ずれを調整する。また、フュージョン方式では、レーダの軸調整後に、同一の調整用ターゲットの画像を撮像し、この画像中の複数の特徴点の画像面上の座標値に基づいて、カメラのレーダに対する軸調整を行う軸調整方法が記載されている(要約参照)。
特開2016-065759号公報 特開2004-317507号公報
しかしながら、特許文献1では、電波センサによって検出された物体と画像センサによって検出された物体とが同一の物体であるか否かを判定し、同一の物体であると判定された場合に軸ずれ量を演算するが、検出された物体が同一物体でない場合において、軸ずれ量の演算を実施しない。加えて、検出した物体の横幅の大小に関わらず、検知点のばらつきや複数のセンサ間における検知点の相違が生じるという課題がある。また、特許文献2では、レーダ単体でターゲットの検出情報を用いた軸ずれ調整を行ったのち、カメラでの同ターゲットの撮像を用いた軸ずれ調整を行うが、最終的にセンサの軸ずれの補正を人的作業乃至軸調整装置を用いて物理的に行わなければならないという課題がある。
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、第1のセンサによる第1のターゲットの観測結果と、第2のセンサによる第2のターゲットの観測結果とが入力されるセンサエイミング装置であって、前記第1のターゲット及び前記第2のターゲットの位置関係情報を出力するターゲット位置関係処理部と、前記第1のターゲットの観測結果及び前記第2のターゲットの観測結果とを座標変換パラメータに応じて所定の統一座標系へ変換し、所定のタイミングに時刻同期し、前記第1ターゲットの位置を表す第1のターゲット情報及び前記第2のターゲットの位置を表す第2のターゲット情報を抽出するセンサ観測情報処理部と、前記第1のターゲット情報、及び前記位置関係情報を用いて前記第2のターゲットの位置を推定する位置推定部と、前記第2のターゲット情報と前記第2のターゲットの推定位置を用いて前記第2のセンサのずれ量を算出し、補正量を推定するセンサ補正量推定部と、を備え、前記補正量に基づいて、前記座標変換パラメータを変更することを特徴とする。
本発明によれば、センサの軸ずれを補正できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
実施例1のセンサエイミング機能を有するセンサフュージョン装置の機能ブロック図である。 実施例1のセンサエイミング機能を有するセンサフュージョン装置の処理方法を示す概念図である。 実施例1のセンサエイミング機能を有するセンサフュージョン装置の処理方法を示す概念図である。 実施例1のセンサエイミング機能を有するセンサフュージョン装置の処理方法を示す概念図である。 実施例1における道路構造物を用いたセンサエイミング処理の例を示す図である。 実施例1における道路構造物を用いたセンサエイミング処理の例を示す図である。 実施例1における道路構造物を用いたセンサエイミング処理の例を示す図である。 実施例1における道路構造物を用いたセンサエイミング処理の例を示す図である。 実施例1における道路構造物を用いたセンサエイミング処理の例を示す図である。 実施例2のセンサエイミング機能を有するセンサフュージョン装置の機能ブロック図である。 実施例3のセンサエイミング機能を有するセンサフュージョン装置の機能ブロック図である。 実施例4のセンサエイミング機能を有するセンサフュージョン装置の機能ブロック図である。
以下、本発明を実施するための形態を図面を参照して詳細に説明する。なお、発明を実施するための形態を説明するための全図において、同一の機能を有するブロック又はエレメントには同一の符号を付し、その繰り返しの説明は省略する。
<実施例1>
図1は、センサエイミング機能を有するセンサフュージョン装置1の一実施例を示す機能ブロック図である。
図1に示すように、本実施例のセンサフュージョン装置1は、センサ観測情報処理部100、ターゲット位置関係処理部110、ターゲット位置関係情報記憶部120、位置推定部130、及びデータ統合部200を有する。センサエイミング機能は、センサフュージョン装置1のデータ統合部200以外の各部によって構成され、データ統合部200以外の各部によってセンサエイミング装置が実現される。また、センサフュージョン装置1には、第1の車両周辺監視センサ10a、第2の車両周辺監視センサ10b、及び自車挙動検知センサ20の出力信号が入力される。
第1及び第2の車両周辺監視センサ10a及び10bは、自車800の周囲の道路構造物(物標乃至路面表示物)を検知するセンサである。一例として、第1及び第2の車両周辺監視センサ10a及び10bは、ミリ波レーダ、カメラ(可視光、近赤外、中赤外、遠赤外カメラ)、LiDAR(Light Detection and Ranging)、ソナー、TOF(Time of Flight)センサ又はそれらを組み合わせたセンサなどが含まれる。
自車挙動検知センサ20は、自車800の速度、ヨーレート及び舵角を検知するセンサ群である。一例として、車輪速センサ、舵角センサなどが含まれる。
本実施例のセンサフュージョン装置1(電子制御装置)や各種センサ(第1の車両周辺監視センサ10a、第2の車両周辺監視センサ10bなど)は、演算装置、メモリ及び入出力装置を含む計算機(マイコン)を含んでいる。
演算装置は、プロセッサを含み、メモリに格納されたプログラムを実行する。演算装置がプログラムを実行して行う処理の一部を、他の演算装置(例えば、FPGA(Field Programable Gate Array)やASIC(Application Specific Integrated Circuit)などのハードウェア)で実行してもよい。
メモリは、不揮発性の記憶素子であるROM及びRAMを含む。ROMは、不変のプログラム(例えば、BIOS)などを格納する。RAMは、DRAM(Dynamic Random Access Memory)のような高速かつ揮発性の記憶素子、及びSRAM(Static Random Access Memory)のような不揮発性の記憶素子であり、演算装置が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。
入出力装置は、所定のプロトコルに従って、電子制御装置やセンサによる処理内容の外部送信及び外部からのデータ受信を行うインターフェースである。
演算装置が実行するプログラムは、電子制御装置やセンサの非一時的記憶媒体である不揮発性のメモリに格納される。
ターゲット位置関係情報記憶部120は、以後に説明する処理においてターゲットとなる静止物標(例えば、ガードレールの支柱とビーム、道路標識、白線などの道路標示、防音壁、道路鋲(チャッターバー、キャッツアイ、ボッツドットなど))の位置情報が記録されている。例えば、静止物標の位置情報を地図情報として保持している。また、ターゲットとなる静止物標の位置情報の他、ターゲット種別も位置情報と関連付けて記録されている。ここで、ターゲット種別とは、物標が何であるかを示すターゲットの分類と、検知点の配列状態(検知点が一つ、又は一定の配列パターンなど)である。
図2から図4おいて、自車800は自車進行経路の方向に速度0以上で走行している(すなわち、自車800は走行中でも停止中でもよい)。自車800には、第1の車両周辺監視センサ10aと第2の車両周辺監視センサ10bが取り付けられている。また、自車800周辺には、第1の車両周辺監視センサ10aが観測する第1のターゲット300及び第1の非ターゲット390と、第2の車両周辺監視センサ10bが観測する第2のターゲット400及び第2の非ターゲット490が存在している。ここで、第1のターゲット300は第1の車両周辺監視センサ10aが高精度に検知可能なターゲットであり、第2のターゲット400は第2の車両周辺監視センサ10bが高精度に検知可能なターゲットである。なお、車両周辺監視センサ10a、10bが観測する物標のうち、ターゲット300、400はターゲット位置関係情報記憶部120に位置が記録されている静止物標であり、非ターゲット390、490はターゲット位置関係情報記憶部120に位置が記録されていない静止物標や移動体である。
次に、本発明の一実施例のセンサエイミング機能を有するセンサフュージョン装置1の処理を図1から図4を用いて説明する。
図2(A)から図2(C)は、第2の車両周辺監視センサ10bが角度θ1だけ水平方向に軸ずれして自車800へ取り付けられており、第1の車両周辺監視センサ10aは一つの検知点である第1のターゲット300及び第1の非ターゲット390を検知し、第2の車両周辺監視センサ10bは一つの検知点である第2のターゲット400及び第2の非ターゲット490を検知している状態における処理方法の概念を示す。図2(A)はターゲット抽出前のセンサ情報を示し、図2(B)は抽出されたターゲットの位置情報を示し、図2(C)はオフセット消去後のターゲットの位置情報を示す。図において、実線で表される第2のターゲット400及び第2の非ターゲット490は第2の車両周辺監視センサ10bが観測した位置を示し、破線で表される第2のターゲット400及び第2の非ターゲット490は真の位置を示す。
図2(A)に示すように、第1の車両周辺監視センサ10aは、第1のターゲット300及び第1の非ターゲット390を検知し、第1のターゲット300及び第1の非ターゲット390の少なくとも自車800との相対座標を出力する。第2の車両周辺監視センサ10bは、第2のターゲット400及び第2の非ターゲット490を検知して、第2のターゲット400及び第2の非ターゲット490の少なくとも自車800との相対座標を出力する。各ターゲット及び非ターゲットが移動体である場合、絶対速度も出力するとよい。
ターゲット位置関係処理部110は、第1のターゲット300と第2のターゲット400の相対位置関係を生成する。具体的には、ターゲット位置関係情報記憶部120から第1のターゲット300の位置情報及びターゲット種別と第2のターゲット400の位置情報及びターゲット種別を入力として受け取り、第1のターゲット300と第2のターゲット400との相対位置関係に変換する。また、ターゲット位置関係処理部110は、車両周辺監視センサ10毎に予め定められている軸ずれ許容範囲をセンサ観測情報処理部100に出力する。また、ターゲット位置関係処理部110は、第1のターゲット300と第2のターゲット400との相対位置関係、第1のターゲット300の種別、及び第2のターゲット400の種別を位置推定部130へ出力する。
ここで、相対位置関係とは、第1のターゲット300を起点とした第2のターゲット400の統一相対座標、又は第2のターゲット400を起点とした第1のターゲット300の統一相対座標であり、ターゲット位置関係情報記憶部120に位置が記録されているターゲット300、400の座標によって算出される。また、統一相対座標は、複数の車両周辺監視センサ10a、10bが出力するデータが準拠する座標が纏められる座標系であり、例えば図2(D)に示すように、自車800前端中央を起点として、自車800前方方向にx軸、自車800左方向にy軸を定義する。
センサ観測情報処理部100は、主に入力されたセンサデータの座標変換、センサ間の検知結果の時刻同期及びターゲット判定を行う。
センサデータの座標変換部100aは、第1のターゲット300と自車800との相対座標、第1の非ターゲット390と自車800との相対座標、第2のターゲット400と自車800との相対座標、及び第2の非ターゲット490と自車800との相対座標を、座標変換パラメータを用いて自車800との統一相対座標に変換する。
センサ間の検知時刻を同期する時刻同期部100bには、自車挙動検知センサ20による自車800の速度、ヨーレート及び舵角の検知結果が入力される。時刻同期部100bは、入力された自車800の速度、ヨーレート及び舵角の検知結果を用いて、第1のターゲット300の統一相対座標、第1の非ターゲット390の統一相対座標、第2のターゲット400の統一相対座標、及び第2の非ターゲット490の統一相対座標を、所定のタイミングにおける統一相対座標に補正して、各センサの検知結果の時刻を同期する。時刻同期された第1のターゲット300の統一相対座標、時刻同期された第1の非ターゲット390の統一相対座標、時刻同期された第2のターゲット400の統一相対座標、及び時刻同期された第2の非ターゲット490の統一相対座標は、データ統合部200及びターゲット判定部100cに出力される。ターゲット及び非ターゲットが移動体である場合、絶対速度も出力するとよい。
ターゲット判定部100cは、ターゲットを判定する。具体的には、ターゲット判定部100cは、時刻同期部100bから時刻同期された第1のターゲット300の統一相対座標、時刻同期された第1の非ターゲット390の統一相対座標、時刻同期された第2のターゲット400の統一相対座標、時刻同期された第2の非ターゲット490の統一相対座標、及び軸ずれ許容範囲を入力として受け取る。ターゲット判定部100cは、車両周辺監視センサ10a及び車両周辺監視センサ10bの軸ずれ許容範囲に基づいて、第1のターゲット300及び第2のターゲット400を抽出し、第1のターゲット300の統一相対座標及び第2のターゲット400の統一相対座標を、位置推定部130に出力する(図2(B)参照)。
さらに、センサ観測情報処理部100は、時刻同期された第1のターゲット300の統一相対座標及び絶対速度、時刻同期された第1の非ターゲット390の統一相対座標及び絶対速度、時刻同期された第2のターゲット400の統一相対座標及び絶対速度、時刻同期された第2の非ターゲット490の統一相対座標及び絶対速度を、データ統合部200に出力する。また、センサ観測情報処理部100は、第2のターゲット400の統一相対座標を補正値推定部140に出力する。
データ統合部200は、全ての入力情報を統合し、統合結果を運転制御装置2に出力する。運転制御装置2は、センサフュージョン装置1からの出力を用いて車両の運転を制御する自動運転システム(AD-ECU)や運転支援システムである。
位置推定部130は、第2のターゲット400の真の統一相対座標を推定する。具体的には、位置推定部130には、第1のターゲット300と第2のターゲット400との相対位置関係、第1のターゲット300の種別、第2のターゲット400の種別、第1のターゲット300の統一相対座標、及び第2のターゲット400の統一相対座標が入力される。位置推定部130は、ターゲット位置関係処理部110から取得した(ターゲット位置関係情報記憶部120に位置が記録されている)第1のターゲット300と第2のターゲット400との相対位置関係を用いて、第1のターゲット300と第2のターゲット400のx軸(縦)方向とy軸(横)位置のオフセットを消去する(図2(C)参照)。オフセット消去後の第1のターゲット300の位置が、第2のターゲット400の真の位置となる。オフセット消去後の第1のターゲット300の統一相対座標、第1のターゲット300の種別、第2のターゲット400の統一相対座標、及び第2のターゲット400の種別は、補正量推定部140へ出力される。
補正量推定部140は、ずれ量を推定し、補正量を算出する。具体的には、ずれ量推定部140aは、オフセット消去後の第1のターゲット300の統一相対座標、第1のターゲット300の種別、第2のターゲット400の統一相対座標、及び第2のターゲット400の種別を入力として受け取り、第1の車両周辺監視センサ10aの取り付け位置の統一相対座標及び第2の車両周辺監視センサ10bの取り付け位置の統一相対座標を用いて、第1のターゲット300の種別及び第2のターゲット400の種別に応じた計算方法を用いて第2の車両周辺監視センサ10bの軸ずれ量を算出する。補正量算出部140bは、ずれ量推定部140aにて算出された第2の車両周辺監視センサ10bの軸ずれ量に基づいて、センサ座標変換補正値を計算し、センサ観測情報処理部100に出力する。
センサ観測情報処理部100(センサデータの座標変換部100a)は、補正量推定部140から受け取ったセンサ座標変換補正値に基づいて、座標変換パラメータを変更する。なお、補正量推定部140が座標変換パラメータを計算して、変更後の座標変換パラメータをセンサ観測情報処理部100に出力してもよい。
図3(A)から図3(C)は、第2の車両周辺監視センサ10bが角度θ1だけ水平方向に軸ずれして自車800へ取り付けられており、第1の車両周辺監視センサ10aは一定の配列パターンを有する検知点である第1のターゲット300、310、320及び第1の非ターゲット390を検知し、第2の車両周辺監視センサ10bは一つの検知点である第2のターゲット400及び第2の非ターゲット490を検知している状態における処理方法の概念を示す。図3(A)はターゲット抽出前のセンサ情報を示し、図3(B)は抽出されたターゲットの位置情報を示し、図3(C)はオフセット消去後のターゲットの位置情報を示す。図において、実線で表される第2のターゲット400及び第2の非ターゲット490は第2の車両周辺監視センサ10bが観測した位置を示し、破線で表される第2のターゲット400及び第2の非ターゲット490は真の位置を示す。
図3の状態における処理フローについて、図2の状態における処理フローの相違点を主に、以下に説明する。
図3(A)に示すように、第1の車両周辺監視センサ10aは、第1のターゲット300~320及び第1の非ターゲット390を検知し、第1のターゲット300~320及び第1の非ターゲット390の少なくとも自車800との相対座標を出力する。第2の車両周辺監視センサ10bは、第2のターゲット400及び第2の非ターゲット490を検知して、第2のターゲット400及び第2の非ターゲット490の少なくとも自車800との相対座標を出力する。第1のターゲット300~320は数m以内の間隔にて周期的な配列パターンを有する道路構造物の構成要素である。また、各ターゲット及び非ターゲットが移動体である場合、絶対速度も出力するとよい。
ターゲット位置関係処理部110は、第1のターゲット300~320と第2のターゲットの相対位置関係を生成する。具体的には、ターゲット位置関係情報記憶部120から第1のターゲット300~320の位置情報及びターゲット種別、第2のターゲット400の位置情報及びターゲット種別を入力として受け取り、第1のターゲット300~320と第2のターゲット400の相対位置関係に変換する。軸ずれ許容範囲をセンサ観測情報処理部100に出力する。また、第1のターゲット300~320から構成される特定の配列パターンを有する第1の道路構造物500と第2のターゲット400との相対位置関係、第1のターゲット300~320の種別、及び第2のターゲット400の種別を位置推定部130へ出力する。
センサ観測情報処理部100は、主に入力されたセンサデータの座標変換、センサ間の検知結果の時刻同期及びターゲット判定を行う。
センサデータの座標変換部100aは、第1のターゲット300~320と自車800との相対座標、第1の非ターゲット390と自車800との相対座標、第2のターゲット400と自車800との相対座標、及び第2の非ターゲット490と自車800との相対座標を、座標変換パラメータを用いて自車800との統一相対座標に変換する。
センサ間の検知時刻を同期する時刻同期部100bには、自車挙動検知センサ20による自車800の速度、ヨーレート及び舵角の検知結果が入力される。時刻同期部100bは、入力された自車800の速度、ヨーレート及び舵角の検知結果を用いて、第1のターゲット300~320の統一相対座標、第1の非ターゲット390の統一相対座標、第2のターゲット400の統一相対座標、及び第2の非ターゲット490の統一相対座標を所定のタイミングにおける統一相対座標に補正して、各センサの検知結果の時刻を同期する。時刻同期された第1のターゲット300~320の統一相対座標、時刻同期された第1の非ターゲット390の統一相対座標、時刻同期された第2のターゲット400の統一相対座標、及び時刻同期された第2の非ターゲット490の統一相対座標は、データ統合部200及びターゲット判定部100cに出力される。ターゲット及び非ターゲットが移動体である場合、絶対速度も出力するとよい。
ターゲット判定部100cは、ターゲットを判定する。具体的には、ターゲット判定部100cは、時刻同期部100bから時刻同期された第1のターゲット300~320の統一相対座標、時刻同期された第1の非ターゲット390の統一相対座標、時刻同期された第2のターゲット400の統一相対座標、時刻同期された第2の非ターゲット490の統一相対座標、及び軸ずれ許容範囲を入力として受け取る。ターゲット判定部100cは、車両周辺監視センサ10a及び車両周辺監視センサ10bの軸ずれ許容範囲に基づいて、第1のターゲット300~320及び第2のターゲット400を抽出し、第1のターゲット300~320の統一相対座標及び第2のターゲット400の統一相対座標を、位置推定部130に出力する(図3(B)参照)。
さらに、センサ観測情報処理部100は、時刻同期された第1のターゲット300~320の統一相対座標及び絶対速度、時刻同期された第1の非ターゲット390の統一相対座標及び絶対速度、時刻同期された第2のターゲット400の統一相対座標及び絶対速度、時刻同期された第2の非ターゲット490の統一相対座標及び絶対速度を、データ統合部200に出力する。また、センサ観測情報処理部100は、第2のターゲット400の統一相対座標を補正値推定部140に出力する。
位置推定部130は、第2のターゲット400の真の横位置を推定する。具体的には、位置推定部130には、第1のターゲット300~320と第2のターゲット400の相対位置関係、第1のターゲット300~320の種別、第2のターゲット400の種別、第1のターゲット300~320の統一相対座標、及び第2のターゲット400の統一相対座標が入力される。位置推定部130は、第1のターゲット300~320の統一相対座標及びターゲット種別より、第1のターゲット300~320から構成される特定の配列パターンを有する第1の道路構造物500の自車800から見た統一座標系における横位置を算出する。次に、ターゲット位置関係処理部110から取得した(ターゲット位置関係情報記憶部120に位置が記録されている)第2のターゲット400と第1の道路構造物500との相対位置関係を用いて、第1のターゲット300と第1の道路構造物500のx軸(縦)方向及びy(横)軸方向のオフセットを消去する(図3(C)参照)。オフセット消去後の第1の道路構造物500の横位置が、第2のターゲット400の真の横位置となる。オフセット消去後の第1の道路構造物500の統一相対座標における横位置、第1のターゲット300~320の種別、第2のターゲット400の統一相対座標、及び第2のターゲット400の種別は、補正量推定部140へ出力される。
補正量推定部140は、ずれ量を推定し、補正量を算出する。具体的には、ずれ量推定部140aは、オフセット消去後の第1のターゲット300の統一相対座標、第1のターゲット300~320の種別、第1の道路構造物500の統一相対座標、及び第2のターゲット400の種別を入力として受け取り、第1の車両周辺監視センサ10aの取り付け位置の統一相対座標及び第2の車両周辺監視センサ10bの取り付け位置の統一相対座標を用いて、第1のターゲット300~320の種別及び第2のターゲット400の種別に応じた計算方法を用いて第2の車両周辺監視センサ10bの軸ずれ量を算出する。補正量算出部140bは、ずれ量推定部140aにて算出された第2の車両周辺監視センサ10bの軸ずれ量に基づいて、センサ座標変換補正値を計算し、センサ観測情報処理部100に出力する。
図4(A)から図4(C)は、第2の車両周辺監視センサ10bが角度θ1だけ水平方向に軸ずれして自車800へ取り付けられており、第1の車両周辺監視センサ10aは一定の配列パターンを有する検知点である第1のターゲット300、310、320を検知し、第2の車両周辺監視センサ10bは一定の配列パターンを有する検知点である第2のターゲット400、410、420を検知している状態における処理方法の概念を示す。
図4(A)はターゲット抽出前のセンサ情報を示し、図4(B)は抽出されたターゲットの位置情報を示し、図4(C)はオフセット消去後のターゲットの位置情報を示す。図において、実線で表される第2のターゲット400及び第2の非ターゲット490は第2の車両周辺監視センサ10bが観測した位置を示し、破線で表される第2のターゲット400及び第2の非ターゲット490は真の位置を示す。
図4の状態における処理フローについて、図3の状態における処理フローの相違点を主に、以下に説明する。
図4(A)に示すように、第1の車両周辺監視センサ10aは、第1のターゲット300~320及び第1の非ターゲット390を検知し、第1のターゲット300~320及び第1の非ターゲット390の少なくとも自車800との相対座標を出力する。第2の車両周辺監視センサ10bは、第2のターゲット400~420及び第2の非ターゲット490を検知して、第2のターゲット400~420及び第2の非ターゲット490の少なくとも自車800との相対座標を出力する。第1のターゲット300~320は数m以内の間隔にて周期的な配列パターンを有する道路構造物の構成要素である。第2のターゲット400~420は数m以内の間隔にて周期的な配列パターンを有する道路構造物の構成要素である。また、各ターゲット及び非ターゲットが移動体である場合、絶対速度も出力するとよい。
ターゲット位置関係処理部110は、第1のターゲット300~320から構成される特定の配列パターンを有する第1の道路構造物500と第2のターゲット400~420から構成される特定の配列パターンを有する第2の道路構造物600との相対位置関係を生成する。具体的には、ターゲット位置関係情報記憶部120から第1のターゲット300~320の位置情報及びターゲット種別と第2のターゲット400~420の位置情報及びターゲット種別を入力として受け取り、第1の道路構造物500と第2の道路構造物600との相対位置関係に変換する。軸ずれ許容範囲をセンサ観測情報処理部100に出力する。また、ターゲット位置関係処理部110は、第1の道路構造物500と第2の道路構造物600の相対位置関係、第1のターゲット300~320の種別、及び第2のターゲット400~420の種別を位置推定部130へ出力する。
センサ観測情報処理部100は、主に入力されたセンサデータの座標変換、センサ間の検知結果の時刻同期及びターゲット判定を行う。
座標変換部100aは、センサデータの座標を変換する。具体的には、座標変換部100aは、第1のターゲット300~320と自車800との相対座標、第1の非ターゲット390の自車800との相対座標、第2のターゲット400~420と自車800との相対座標、及び第2の非ターゲット490と自車800との相対座標を、座標変換パラメータを用いて自車800との統一相対座標に変換する。
時刻同期部100bは、異なる時刻に検知されたセンサデータ間で時刻を同期する。具体的には、時刻同期部100bには、自車挙動検知センサ20による自車800の速度、ヨーレート及び舵角の検知結果が入力される。時刻同期部100bは、入力された自車800の速度、ヨーレート及び舵角の検知結果を用いて、第1のターゲット300~320の統一相対座標、第1の非ターゲット390の統一相対座標、第2のターゲット400~420の統一相対座標が、及び第2の非ターゲット490の統一相対座標を所定のタイミングにおける統一相対座標に補正して、各センサの検知結果の時刻を同期する。時刻同期された第1のターゲット300~320の統一相対座標、時刻同期された第1の非ターゲット390の統一相対座標、時刻同期された第2のターゲット400~420の統一相対座標、及び時刻同期された第2の非ターゲット490の統一相対座標は、データ統合部200及びターゲット判定部100cに出力される。ターゲット及び非ターゲットが移動体である場合、絶対速度も出力するとよい。
ターゲット判定部100cは、ターゲットを判定する。具体的には、ターゲット判定部100cは、時刻同期部100bから時刻同期された第1のターゲット300~320の統一相対座標、時刻同期された第1の非ターゲット390の統一相対座標、時刻同期された第2のターゲット400~420の統一相対座標、時刻同期された第2の非ターゲット490の統一相対座標、及び軸ずれ許容範囲を入力として受け取る。ターゲット判定部100cは、車両周辺監視センサ10a及び車両周辺監視センサ10bの軸ずれ許容範囲に基づいて、第1のターゲット300~320及び第2のターゲット400~420を抽出し、第1のターゲット300~320の統一相対座標及び第2のターゲット400~420の統一相対座標を、位置推定部130に出力する(図4(B)参照)。
さらに、センサ観測情報処理部100は、時刻同期された第1のターゲット300~320の統一相対座標及び絶対速度、時刻同期された第1の非ターゲット390の統一相対座標及び絶対速度、時刻同期された第2のターゲット400~420の統一相対座標及び絶対速度、時刻同期された第2の非ターゲット490の統一相対座標及び絶対速度をデータ統合部200に出力する。また、センサ観測情報処理部100は、第2のターゲット400~420の統一相対座標を補正値推定部140に出力する。
位置推定部130は、第2のターゲット400~420から構成される第2の道路構造物600の真の統一相対座標における近似関数を推定する。具体的には、位置推定部130には、第1のターゲット300~320と第2のターゲット400~420との相対位置関係、第1のターゲット300~320の種別、第2のターゲット400~420の種別、第1のターゲット300~320の統一相対座標、及び第2のターゲット400~420の統一相対座標が入力される。位置推定部130は、第1のターゲット300~320の統一相対座標及びターゲット種別より、第1のターゲット300~320から構成される特定の配列パターンを有する第1の道路構造物500の自車800から見た統一相対座標における近似関数を算出する。また、位置推定部130は、第2のターゲット400~420の統一相対座標及びターゲット種別より、第2のターゲット400~420から構成される特定の配列パターンを有する第2の道路構造物600の自車800から見た統一相対座標における近似関数を算出する。次に、ターゲット位置関係処理部110から取得した(ターゲット位置関係情報記憶部120に位置が記録されている)第1の道路構造物500と第2の道路構造物600との相対位置関係を用いて、第1の道路構造物500と第2の道路構造物600のx軸(縦)方向及びy軸(横)方向のオフセットを消去する(図4(C)参照)。オフセット消去後の第1の道路構造物500の統一相対座標における近似関数が、第2の道路構造物600の真の近似関数となる。オフセット消去後の第1の道路構造物500の統一相対座標における近似関数、第1のターゲット300~320の種別、第2の道路構造物600の統一相対座標における近似関数、及び第2のターゲット400~420の種別は、補正量推定部140へ出力される。
補正量推定部140は、ずれ量を推定し、補正量を算出する。具体的には、ずれ量推定部140aでは、オフセット消去後の第1の道路構造物500の近似関数、第1のターゲット300~320の種別、第2の道路構造物600の統一相対座標、及び第2のターゲット400~420の種別を入力として受け取り、第1の車両周辺監視センサ10aの取り付け位置の統一相対座標及び第2の車両周辺監視センサ10bの取り付け位置の統一相対座標を用いて、第1のターゲット300~320の種別及び第2のターゲット400~420の種別に応じた計算方法を用いて第2の車両周辺監視センサ10bの軸ずれ量を算出する。補正量算出部140bは、ずれ量推定部140aにて算出された第2の車両周辺監視センサ10bの軸ずれ量に基づいて、センサ座標変換補正値を計算し、センサ観測情報処理部100に出力する。
本実施例のセンサフュージョン装置1では、このようにターゲット間の相対位置関係を用いて、第2の車両周辺監視センサ10bの水平方向の軸ずれ量(角度θ1)による補正量を求めることができ、複数の車両周辺監視センサ10が取得した物標の位置を統一相対座標に統合できる。
次に、図5から図9を用いて、実際に設置されている道路構造物を用いたセンサエイミングの例を説明する。第1の車両周辺監視センサ10aがカメラであり、第2の車両周辺監視センサ10bがレーダである場合を考える。
図5は、車両周辺監視センサ10による道路標識の観測結果を示す図である。
道路構造物としての道路標識は、第1の車両周辺監視センサ10a(カメラ)では一定の大きさを有する構造物である標識板1000を第1のターゲット300として観測する。一方、第2の車両周辺監視センサ10b(レーダ)は支柱1010を第2のターゲット400として検知する。
道路構造物としての標識は、標識板1000の大きさ及び板下高(支柱1010の長さ)が決まっているので、位置推定部130は第1のターゲット300(標識板1000)と第2のターゲット400(支柱1010)の相対位置関係を用いて、第1のターゲット300のオフセットを算出し、第1のターゲット300の観測位置と相対位置関係を用いて、第1のターゲット300のオフセットを消去する。補正量推定部140は、オフセット消去後の第1のターゲット300の位置を用いて、第2の車両周辺監視センサ10bの軸ずれ量及びこれに伴う補正量を算出する。
図6は、車両周辺監視センサ10によるガードレールの観測結果を示す図である。
道路構造物としてのガードレールは、ビーム1100の長さに応じて支柱1110の間隔が決まっているので、第1の車両周辺監視センサ10a(カメラ)は一定の大きさを有する構造物であるビーム1100を第2のターゲット300、310、320として観測する。一方、第2の車両周辺監視センサ10b(レーダ)は一定の配列パターンを有する支柱1110を第2のターゲット400、410、420として観測する。
道路構造物としてのガードレールは、ビームと支柱の相対位置関係が決まっているので、位置推定部130は第1のターゲット300、310、320(ビーム1100)と第2のターゲット400、410、420(支柱1110)の相対位置関係を用いて、第1のターゲット300、310、320のオフセットを算出し、第1のターゲット300、310、320の観測位置と相対位置関係を用いて第1のターゲット300、310、320のオフセットを消去する。補正量推定部140は、オフセット消去後の第1のターゲット300、310、320の位置を用いて、第2の車両周辺監視センサ10bの軸ずれ量及びこれに伴う補正量を算出する。
図7は、車両周辺監視センサ10による白線及び道路標識の観測結果を示す図である。
第1の車両周辺監視センサ10a(カメラ)は、路面にペイントされた白線(車道外側線、車線境界線など)1200を第1のターゲット300、310、320として観測する。一方、第2の車両周辺監視センサ10b(レーダ)は道路標識1210を第2のターゲット400として検知する。
道路構造物としての白線の位置と道路標識の位置は予め測定されて、ターゲット位置関係情報記憶部120に記録されている。位置推定部130は第1のターゲット300,310、320(白線1210)と第2のターゲット400(道路標識1210)の相対位置関係を用いて、第1のターゲット300、310、320のオフセットを算出し、第1のターゲット300、310、320の観測位置と相対位置関係を用いて第1のターゲット300、310、320のオフセットを消去する。補正量推定部140は、オフセット消去後の第1のターゲット300、310、320の位置を用いて、第2の車両周辺監視センサ10bの軸ずれ量及びこれに伴う補正量を算出する。
図8は、車両周辺監視センサ10による白線及び防音壁の観測結果を示す図である。
第1の車両周辺監視センサ10a(カメラ)は、路面にペイントされた白線(車道外側線、車線境界線など)1300を第1のターゲット300、310、320として観測する。一方、第2の車両周辺監視センサ10b(レーダ)は防音壁1310を第2のターゲット400、410、420として検知する。
道路構造物としての白線1300の位置と防音壁1310の位置は予め測定されて、ターゲット位置関係情報記憶部120に記録されている。位置推定部130は第1のターゲット300、310、320(白線1300)と第2のターゲット400、410、420(防音壁1310)の相対位置関係を用いて、第1のターゲット300、310、320のオフセットを算出し、第1のターゲット300、310、320の観測位置と相対位置関係を用いて第1のターゲット300、310、320のオフセットを消去する。補正量推定部140は、オフセット消去後の第1のターゲット300、310、320の位置を用いて、第2の車両周辺監視センサ10bの軸ずれ量及びこれに伴う補正量を算出する。
図9は、車両周辺監視センサ10による白線及び道路鋲(チャッターバー、キャッツアイ、ボッツドットなど)の観測結果を示す図である。
第1の車両周辺監視センサ10a(カメラ)は、路面にペイントされた白線(車道外側線、車線境界線など)1400を第1のターゲット300、310、320として観測する。一方、第2の車両周辺監視センサ10b(レーダ)は道路鋲1410を第2のターゲット400、410、420として検知する。
道路構造物としての白線の位置と道路鋲の位置は予め測定されて、ターゲット位置関係情報記憶部120に記録されている。位置推定部130は第1のターゲット300、310、320(白線1400)と第2のターゲット400、410、420(道路鋲1410)の相対位置関係を用いて、第1のターゲット300、310、320のオフセットを算出し、第1のターゲット300、310、320の観測位置と相対位置関係を用いて第1のターゲット300、310、320のオフセットを消去する。補正量推定部140は、オフセット消去後の第1のターゲット300、310、320の位置を用いて、第2の車両周辺監視センサ10bの軸ずれ量及びこれに伴う補正量を算出する
<実施例2>
図10は、センサエイミング機能を有するセンサフュージョン装置1の別の実施例を示す機能ブロック図である。実施例2において、実施例1との相違点を主に説明し、同じ構成には同じ符号を付し、その説明を省略する。
図10に示すように、本実施例のセンサフュージョン装置1は、実施例1の構成におけるターゲット位置関係情報記憶部120に代えて、工場出荷時環境情報記憶部120aを有する。工場出荷時環境情報記憶部120aは、ターゲット相対位置設定部30aより工場出荷時環境情報を入力として受け取り、ターゲット位置関係処理部110へ必要に応じて出力する。工場出荷時環境情報記憶部120aは、工場や整備場におけるエイミング用に予め規定された、第1の車両周辺監視センサ10aが観測する第1のターゲット300の位置情報と第2の車両周辺監視センサ10bが観測する第2のターゲット400の位置情報、第1のターゲット300の種別、及び第2のターゲット400の種別を含む。自車800と第1のターゲット300及び/又は第2のターゲット400との相対位置関係が一意に定められる場合、第1のターゲット300の統一相対座標及び第2のターゲット400の統一相対座標を含んでもよい。また、位置情報は、地図上の絶対座標でもよい。
本実施例では、工場出荷時環境情報記憶部120aを有し、工場出荷時モードに設定してセンサエイミングを実行することによって、エイミング実施者は、予め定められた第1のターゲット300及び第2のターゲット400を用いてセンサエイミング用の周辺環境を構築し、センサエイミングを実施できる。
<実施例3>
図11は、センサエイミング機能を有するセンサフュージョン装置1の別の実施例を示す機能ブロック図である。実施例3において、実施例1との相違点を主に説明し、同じ構成には同じ符号を付し、その説明を省略する。
図11に示すように、本実施例のセンサフュージョン装置1は、実施例1の構成におけるターゲット位置関係情報記憶部120に代えて、通常走行時環境情報記憶部120bを有する。通常走行時環境情報記憶部120bは、センシング情報配信部30bより通常走行時環境情報を入力として受け取り、通常走行時環境情報をターゲット位置関係処理部110へ必要に応じて出力する。通常走行時環境情報記憶部120bは、センシング情報配信部30bにおける地図上の自車800走行位置、その周辺に設置されている道路構造物の種類、及び交通法規などによって規定された道路構造物の相対位置(例えば配列パターン)を含む。つまり、通常走行時環境情報記憶部120bは、第1の車両周辺監視センサ10aが観測する第1のターゲット300の絶対座標、第1のターゲット300の種別、第2のターゲット400の絶対座標、及び第2のターゲット400の種別を含む。通常走行時環境情報記憶部120bは、第1のターゲット300と第2のターゲット400との相対位置関係を含んでもよい。
本実施例では、通常走行時環境情報記憶部120bを有し、通常走行時モードに設定してセンサエイミングを実行することによって、センサフュージョン装置1は、通常走行時における第1の車両周辺監視センサ10a及び第2の車両周辺監視センサ10bの観測情報(第1のターゲット300、第2のターゲット400)を用いてセンサエイミングを実施できる。
<実施例4>
図12は、センサエイミング機能を有するセンサフュージョン装置1の別の実施例を示す機能ブロック図である。実施例4において、実施例1との相違点を主に説明し、同じ構成には同じ符号を付し、その説明を省略する。
図12に示すように、本実施例のセンサフュージョン装置1は、実施例1の構成の他、時系列推定部150を有する。時系列推定部150は、位置推定部130からオフセット消去後の第1のターゲット300の統一相対座標及び絶対速度を入力として受け取り、第1のターゲット300の統一相対座標及び絶対速度を用いて、時間によって変化する第1のターゲット300の位置をトラッキングして蓄積することによって、蓄積されたデータを一定の配列パターンであると判定して、図3及び図4の補正方法を適用する。ターゲットの時系列の位置データを用いることによって、道路構造物の認識に数フレームを要するセンサについてもエイミングが可能となる。
実施例4によると、複数の観測点を用いてエイミングを行うので、エイミングの誤差を低減できる。
以上に説明した実施例において、第1及び第2の車両周辺監視センサ10a、10bは、同じ種類のセンサでも、異なる種類のセンサでもよい。また、車両周辺監視センサ10a、10bは、ミリ波レーダ、カメラ(可視光、近赤外、中赤外、遠赤外カメラ)、LiDAR(Light Detection and Ranging)、ソナー、TOF(Time of Flight)センサ又はそれらを組み合わせたセンサなど、いずれのセンサでもよい。
また、各実施例に記載の機能ブロックの構成、処理フロー、動作は任意に組み合わせても構わない。
さらに、以上の説明では、車載装置(ECU)がセンサ座標変換補正値を計算したが、車両と通信可能に接続された計算機がセンサ座標変換補正値を計算してもよい。
以上に説明したように、本実施例のセンサフュージョン装置1(センサエイミング装置)は、第1のターゲット300及び第2のターゲット400の位置関係情報を出力するターゲット位置関係処理部110と、第1のターゲット300の観測結果及び第2のターゲット400の観測結果とを座標変換パラメータに応じて所定の統一座標系へ変換し、所定のタイミングに時刻同期し、第1のターゲット300の位置を表す第1のターゲット情報及び第2のターゲット400の位置を表す第2のターゲット情報を抽出するセンサ観測情報処理部100と、第1のターゲット情報、第2のターゲット情報、及び位置関係情報を用いて第2のターゲット400の位置を推定する位置推定部130と、第2のターゲット情報と第2のターゲットの推定位置を用いて第2のセンサのずれ量を算出し、補正量を推定する補正量推定部140とを備え、補正量に基づいて座標変換パラメータを変更するので、ターゲット間の相対位置関係を用いて、第2の車両周辺監視センサ10bの水平方向の軸ずれ量(角度θ1)による補正量を求めることができ、複数の車両周辺監視センサ10が取得した物標の位置を統一相対座標に統合できる。
また、ターゲット位置関係処理部110は、工場出荷時モードにおいて、予め定められた位置関係情報を出力するので、予め定められたターゲットを用いてセンサの軸ずれを正確に補正でき、環境を選ばずにエイミングできる。また、整備場でも使用可能な簡単なターゲットを用いてセンサの軸ずれを補正できる。また、認識精度が高いターゲットを用いてセンサの軸ずれを正確に補正できる。
また、位置推定部130は、通常走行時モードにおいて、走行中の第1のターゲット300の観測結果と第2のターゲット400の観測結果とを用いて、第1のターゲット情報及び前記第2のターゲット情報を抽出するので、整備によらないで、通常の走行中にセンサの軸ずれを補正できる。
また、第1のターゲット300の統一座標系における位置及び絶対速度を用いて、時間によって変化する第1のターゲット300の位置を蓄積し、蓄積された位置を一定の配列パターンであると判定し、前記判定された配列パターンを用いて前記第1のターゲットを認識する時系列推定部150を備えるので、複数の観測点を用いて、センサの軸ずれを正確に補正できる。
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、ICカード、SDカード、DVD、BD等の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
1 センサフュージョン装置、2 運転制御装置、10a、10b 車両周辺監視センサ、20 自車挙動検知センサ、30a ターゲット相対位置設定部、30b センシング情報配信部、100 センサ観測情報処理部、100a 座標変換部、100b 時刻同期部、100c ターゲット判定部、110 ターゲット位置関係処理部、120 ターゲット位置関係情報記憶部、120a 工場出荷時環境情報記憶部、120b 通常走行時環境情報記憶部、130 位置推定部、140 補正量推定部、140a ずれ量推定部、140b 補正量算出部、150 時系列推定部、200 データ統合部

Claims (8)

  1. 第1のセンサによる第1のターゲットの観測結果と、第2のセンサによる第2のターゲットの観測結果とが入力されるセンサエイミング装置であって、
    前記第1のターゲット及び前記第2のターゲットの位置関係情報を出力するターゲット位置関係処理部と、
    前記第1のターゲットの観測結果及び前記第2のターゲットの観測結果とを座標変換パラメータに応じて所定の統一座標系へ変換し、所定のタイミングに時刻同期し、前記第1のターゲットの位置を表す第1のターゲット情報及び前記第2のターゲットの位置を表す第2のターゲット情報を抽出するセンサ観測情報処理部と、
    前記第1のターゲット情報、及び前記位置関係情報を用いて前記第2のターゲットの位置を推定する位置推定部と、
    前記第2のターゲット情報と前記第2のターゲットの推定位置を用いて前記第2のセンサのずれ量を算出し、補正量を推定する補正量推定部と、を備え、
    前記補正量に基づいて、前記座標変換パラメータを変更することを特徴とするセンサエイミング装置。
  2. 請求項1に記載のセンサエイミング装置であって、
    前記第1のターゲットと前記第2のターゲットは、一つの道路構造物の構成要素であることを特徴とするセンサエイミング装置。
  3. 請求項1に記載のセンサエイミング装置であって、
    前記第1のターゲットと前記第2のターゲットは、異なる物標であることを特徴とするセンサエイミング装置。
  4. 請求項1に記載のセンサエイミング装置であって、
    前記ターゲット位置関係処理部は、工場出荷時モードにおいて、予め定められた位置関係情報を出力することを特徴とするセンサエイミング装置。
  5. 請求項1に記載のセンサエイミング装置であって、
    前記位置推定部は、通常走行時モードにおいて、走行中の前記第1のターゲットの観測結果と前記第2のターゲットの観測結果とを用いて、前記第1のターゲット情報及び前記第2のターゲット情報を抽出することを特徴とするセンサエイミング装置。
  6. 請求項1に記載のセンサエイミング装置であって、
    前記第1のターゲットの統一座標系における位置及び絶対速度を用いて、時間によって変化する前記第1のターゲットの位置を蓄積し、前記蓄積された位置を一定の配列パターンであると判定し、前記判定された配列パターンを用いて前記第1のターゲットを認識する時系列推定部を備えることを特徴とするセンサエイミング装置。
  7. 車両の運転を制御する運転制御システムであって、
    二つ以上の物標センサの観測結果を統合して出力するセンサフュージョン装置と、
    前記センサフュージョン装置からの出力を用いて車両の運転を制御する運転制御装置とを備え、
    前記センサフュージョン装置は、
    第1のセンサによる第1のターゲットの観測結果と、第2のセンサによる第2のターゲットの観測結果とが入力され、
    前記第1のターゲット及び前記第2のターゲットの位置関係情報を出力するターゲット位置関係処理部と、
    前記第1のターゲットの観測結果及び前記第2のターゲットの観測結果とを座標変換パラメータに応じて所定の統一座標系へ変換し、所定のタイミングに時刻同期し、前記第1のターゲットの位置を表す第1のターゲット情報及び前記第2のターゲットの位置を表す第2のターゲット情報を抽出するセンサ観測情報処理部と、
    前記第1のターゲット情報、前記第2のターゲット情報、及び前記位置関係情報を用いて前記第2のターゲットの位置を推定する位置推定部と、
    前記第2のターゲット情報と前記第2のターゲットの推定位置を用いて前記第2のセンサのずれ量を算出し、補正量を推定する補正量推定部と、を有し、
    前記補正量に基づいて、前記座標変換パラメータを変更することを特徴とする運転制御システム。
  8. 二つ以上のセンサの観測結果を用いて、前記センサの観測結果の補正パラメータを計算するセンサエイミング装置が実行するセンサデータの補正量の推定方法であって、
    前記センサエイミング装置は、所定のプログラムを実行する演算装置と、前記演算装置が実行するプログラムを格納するメモリとを有し、
    前記推定方法は、
    前記演算装置が、第1のセンサによる第1のターゲットの観測結果と、第2のセンサによる第2のターゲットの観測結果とが入力を受ける入力手順と、
    前記演算装置が、前記第1のターゲット及び前記第2のターゲットの位置関係情報を出力するターゲット位置関係処理手順と、
    前記演算装置が、前記第1のターゲットの観測結果及び前記第2のターゲットの観測結果とを座標変換パラメータに応じて所定の統一座標系へ変換し、所定のタイミングに時刻同期し、前記第1のターゲットの位置を表す第1のターゲット情報及び前記第2のターゲットの位置を表す第2のターゲット情報を抽出するセンサ観測情報処理手順と、
    前記演算装置が、前記第1のターゲット情報、及び前記位置関係情報を用いて前記第2のターゲットの位置を推定する位置推定手順と、
    前記演算装置が、前記第2のターゲット情報と前記第2のターゲットの推定位置を用いて前記第2のセンサのずれ量を算出し、補正量を推定する補正量推定手順と、
    前記演算装置が、前記補正量に基づいて、前記座標変換パラメータを変更する手順とを含むことを特徴とする推定方法。
JP2021569777A 2020-01-10 2020-12-08 センサエイミング装置、運転制御システム、及び補正量の推定方法 Active JP7356517B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020002880 2020-01-10
JP2020002880 2020-01-10
PCT/JP2020/045574 WO2021140811A1 (ja) 2020-01-10 2020-12-08 センサエイミング装置、運転制御システム、及び補正量の推定方法

Publications (2)

Publication Number Publication Date
JPWO2021140811A1 JPWO2021140811A1 (ja) 2021-07-15
JP7356517B2 true JP7356517B2 (ja) 2023-10-04

Family

ID=76788572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021569777A Active JP7356517B2 (ja) 2020-01-10 2020-12-08 センサエイミング装置、運転制御システム、及び補正量の推定方法

Country Status (5)

Country Link
US (1) US20230044311A1 (ja)
JP (1) JP7356517B2 (ja)
CN (1) CN114829967A (ja)
DE (1) DE112020005320T5 (ja)
WO (1) WO2021140811A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021024712A1 (ja) * 2019-08-02 2021-02-11 日立オートモティブシステムズ株式会社 エイミング装置、運転制御システム、及びセンサデータの補正量の計算方法
KR20220108544A (ko) * 2021-01-27 2022-08-03 주식회사 에이치엘클레무브 레이더 제어 장치 및 방법
JP2022150929A (ja) * 2021-03-26 2022-10-07 本田技研工業株式会社 軸ずれ推定装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003057334A (ja) 2001-08-15 2003-02-26 Fujitsu Ten Ltd レーダの水平方向軸ずれ発生検出装置、軸ずれ量決定装置、および軸ずれ補正装置
JP2004317507A (ja) 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法
JP2016065759A (ja) 2014-09-24 2016-04-28 株式会社デンソー 軸ずれ量推定装置
JP2016103225A (ja) 2014-11-28 2016-06-02 株式会社デンソー 車両の走行制御装置
JP2019152617A (ja) 2018-03-06 2019-09-12 トヨタ自動車株式会社 物体認識装置及び車両走行制御システム
JP2020143969A (ja) 2019-03-05 2020-09-10 トヨタ自動車株式会社 車両搭載用のライダ軸ずれ検出装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10852419B2 (en) * 2017-10-20 2020-12-01 Texas Instruments Incorporated System and method for camera radar fusion
US11796657B2 (en) * 2017-10-26 2023-10-24 Pioneer Corporation Control device, control method, program, and storage medium
KR102647928B1 (ko) * 2018-11-16 2024-03-15 현대모비스 주식회사 객체 검출 센서의 장착 오차 판단 장치 및 방법
JP7199269B2 (ja) * 2019-03-20 2023-01-05 日立Astemo株式会社 外界センシング情報処理装置
US20210033722A1 (en) * 2019-07-29 2021-02-04 Trackman A/S System and method for inter-sensor calibration
WO2021024712A1 (ja) * 2019-08-02 2021-02-11 日立オートモティブシステムズ株式会社 エイミング装置、運転制御システム、及びセンサデータの補正量の計算方法
US11798191B2 (en) * 2020-03-27 2023-10-24 Intel Corporation Sensor calibration and sensor calibration detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003057334A (ja) 2001-08-15 2003-02-26 Fujitsu Ten Ltd レーダの水平方向軸ずれ発生検出装置、軸ずれ量決定装置、および軸ずれ補正装置
JP2004317507A (ja) 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法
JP2016065759A (ja) 2014-09-24 2016-04-28 株式会社デンソー 軸ずれ量推定装置
JP2016103225A (ja) 2014-11-28 2016-06-02 株式会社デンソー 車両の走行制御装置
JP2019152617A (ja) 2018-03-06 2019-09-12 トヨタ自動車株式会社 物体認識装置及び車両走行制御システム
JP2020143969A (ja) 2019-03-05 2020-09-10 トヨタ自動車株式会社 車両搭載用のライダ軸ずれ検出装置

Also Published As

Publication number Publication date
CN114829967A (zh) 2022-07-29
WO2021140811A1 (ja) 2021-07-15
DE112020005320T5 (de) 2022-11-10
JPWO2021140811A1 (ja) 2021-07-15
US20230044311A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
JP7356517B2 (ja) センサエイミング装置、運転制御システム、及び補正量の推定方法
EP3470789A1 (en) Autonomous driving support apparatus and method
EP3581451B1 (en) Lane keeping assist system and method for improving safety in preceding vehicle follower longitudinal control
JP6773540B2 (ja) 車載用画像処理装置
JP5206752B2 (ja) 走行環境認識装置
US7034742B2 (en) Road curvature estimation and automotive target state estimation system
CN114721000A (zh) 基于相机的拖车识别和盲区调整
JP6458651B2 (ja) 路面標示検出装置及び路面標示検出方法
JP6776202B2 (ja) 車載カメラのキャリブレーション装置及び方法
CN110040135A (zh) 车辆控制装置和用于车辆的控制方法
KR102386317B1 (ko) 차량 및 그 충돌 회피 방법
WO2019172103A1 (ja) 信号処理システム、及びその評価システム、並びにその信号処理システムに用いられる信号処理装置
US20210263154A1 (en) Vehicle sensor fusion
US11168985B2 (en) Vehicle pose determining system and method
JP6493000B2 (ja) 路面標示検出装置及び路面標示検出方法
US20220281476A1 (en) Aiming device, driving control system, and method for calculating correction amount for sensor data
EP3549056A1 (en) Information processing device, imaging device, apparatus control system, movable body, information processing method, and computer program product
JP7162142B2 (ja) エイミング装置、運転制御システム、及びセンサデータの補正量の計算方法
JP2002334330A (ja) 車両認識装置
EP3701281B1 (en) Using data from a radar sensor for machine learning based perception
JP7385774B2 (ja) 車両制御システム、外界認識装置、および、車両制御方法
JP7374057B2 (ja) 信号処理装置
JP4231883B2 (ja) 画像処理装置及びその方法
JP6604052B2 (ja) 走路境界推定装置及び走路境界推定方法
KR20220078811A (ko) 가상 주행 경로 제공 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230922

R150 Certificate of patent or registration of utility model

Ref document number: 7356517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150