JP7231054B2 - 誤差推定装置、誤差推定方法、誤差推定プログラム - Google Patents

誤差推定装置、誤差推定方法、誤差推定プログラム Download PDF

Info

Publication number
JP7231054B2
JP7231054B2 JP2021551660A JP2021551660A JP7231054B2 JP 7231054 B2 JP7231054 B2 JP 7231054B2 JP 2021551660 A JP2021551660 A JP 2021551660A JP 2021551660 A JP2021551660 A JP 2021551660A JP 7231054 B2 JP7231054 B2 JP 7231054B2
Authority
JP
Japan
Prior art keywords
image
error
external light
reflection
acquires
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021551660A
Other languages
English (en)
Other versions
JPWO2021070813A1 (ja
Inventor
龍介 大畠
聖人 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of JPWO2021070813A1 publication Critical patent/JPWO2021070813A1/ja
Application granted granted Critical
Publication of JP7231054B2 publication Critical patent/JP7231054B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183Compensation of inertial measurements, e.g. for temperature effects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689Motion occurring during a rolling shutter mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manufacturing & Machinery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Description

関連出願の相互参照
この出願は、2019年10月8日に日本に出願された特許出願第2019-185387号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
本開示は、慣性センサに生じるバイアス誤差の推定処理技術に、関する。
近年の車両には、外界から感知する光の反射点距離に応じた反射距離画像を取得する光学センサと、外界から感知する外光に応じた外光画像を取得する外界カメラとが、慣性情報を取得する慣性センサと共に搭載されている。こうした車両において、例えば温度変化等に応じて慣性センサに生じるバイアス誤差を補正する技術が、特許文献1に開示されている。
特表2018―526626号公報
さて、特許文献1の開示技術では、視覚慣性オドメトリとして、カメラにより取得された画像が、バイアス誤差の補正に利用される。視覚慣性オドメトリでは、補正すべきバイアス誤差を推定するために、カメラの取得画像において特徴点を追跡する必要がある。カメラの取得画像に特徴点が少ない場合、バイアス誤差の推定精度は確保され難くなる。
本開示の課題は、バイアス誤差を高精度に推定する誤差推定装置を、提供することにある。本開示の別の課題は、バイアス誤差を高精度に推定する誤差推定方法を、提供することにある。本開示のさらに別の課題は、バイアス誤差を高精度に推定する誤差推定プログラムを、提供することにある。
以下、課題を解決するための本開示の技術的手段について、説明する。
本開示の第一態様は、
慣性情報を取得する慣性センサと、外界から感知する光の反射点距離に応じた反射距離画像を取得する光学センサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、慣性センサに生じるバイアス誤差の推定処理を遂行する誤差推定装置であって、
バイアス誤差を予測する誤差予測部と、
ローリングシャッタにより光学センサが取得する反射距離画像と、グローバルシャッタにより外界カメラが取得する外光画像とに基づき、誤差予測部によるバイアス誤差の再予測の要否を判定する処理判定部と、を備える。
本開示の第二態様は、
慣性情報を取得する慣性センサと、外界から感知する光の反射点距離に応じた反射距離画像を取得する光学センサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、慣性センサに生じるバイアス誤差の推定処理を遂行する誤差推定方法であって、
バイアス誤差を予測する予測プロセスと、
ローリングシャッタにより光学センサが取得する反射距離画像と、グローバルシャッタにより外界カメラが取得する外光画像とに基づき、予測プロセスによるバイアス誤差の再予測の要否を判定する判定プロセスと、を含む。
本開示の第三態様は、
慣性情報を取得する慣性センサと、外界から感知する光の反射点距離に応じた反射距離画像を取得する光学センサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、慣性センサに生じるバイアス誤差の推定処理を遂行するために記憶媒体に格納され、プロセッサに実行させる命令を含む誤差推定プログラムであって、
命令は、
バイアス誤差を予測させる予測プロセスと、
ローリングシャッタにより光学センサが取得する反射距離画像と、グローバルシャッタにより外界カメラが取得する外光画像とに基づき、予測プロセスによるバイアス誤差の再予測の要否を判定させる判定プロセスと、を含む。
これら第一~第三態様の推定処理によると、ローリングシャッタにより光学センサが取得の反射距離画像と、グローバルシャッタにより外界カメラが取得の外光画像との差は、バイアス誤差の予測が正確なほど、小さくすることができる。そこで、バイアス誤差の再予測の要否が反射距離画像と外光画像とに基づき判定されることによれば、バイアス誤差が正確に予測されるまで、推定処理が繰り返され得る。故に、バイアス誤差を高精度に推定することが可能となる。
本開示の第四態様は、
慣性情報を取得する慣性センサと、外界から感知する光の反射点距離に応じた反射距離画像を取得する光学センサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、慣性センサに生じるバイアス誤差の推定処理を遂行する誤差推定装置であって、
バイアス誤差を予測する誤差予測部と、
誤差予測部により予測されるバイアス誤差を、慣性情報に対して補正する誤差補正部と、
一括露光するグローバルシャッタにより外界カメラが外光画像を取得するシャッタフレーム内での車両の運動による移動量を、シャッタフレーム内に順次露光するローリングシャッタにより光学センサが取得する反射距離画像に対して、誤差補正部によりバイアス誤差の補正される慣性情報に基づき補償する運動補償部と、
運動補償部により移動量の補償される反射距離画像と、外光画像との対比により、それら画像の差分を抽出する差分抽出部と、
誤差予測部によるバイアス誤差の予測まで推定処理を差し戻すか否かを、差分抽出部により抽出される差分に基づき判定する処理判定部と、を備える。
本開示の第五態様は、
慣性情報を取得する慣性センサと、外界から感知する光の反射点距離に応じた反射距離画像を取得する光学センサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、慣性センサに生じるバイアス誤差の推定処理を遂行する誤差推定方法であって、
バイアス誤差を予測する予測プロセスと、
予測プロセスにより予測されるバイアス誤差を、慣性情報に対して補正する補正プロセスと、
一括露光するグローバルシャッタにより外界カメラが外光画像を取得するシャッタフレーム内での車両の運動による移動量を、シャッタフレーム内に順次露光するローリングシャッタにより光学センサが取得する反射距離画像に対して、補正プロセスによりバイアス誤差の補正される慣性情報に基づき補償する補償プロセスと、
補償プロセスにより移動量の補償される反射距離画像と、外光画像との対比により、それら画像の差分を抽出する抽出プロセスと、
予測プロセスによるバイアス誤差の予測まで推定処理を差し戻すか否かを、抽出プロセスにより抽出される差分に基づき判定する判定プロセスと、を含む。
本開示の第六態様は、
慣性情報を取得する慣性センサと、外界から感知する光の反射点距離に応じた反射距離画像を取得する光学センサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、慣性センサに生じるバイアス誤差の推定処理を遂行するために記憶媒体に格納され、プロセッサに実行させる命令を含む誤差推定プログラムであって、
命令は、
バイアス誤差を予測させる予測プロセスと、
予測プロセスにより予測されるバイアス誤差を、慣性情報に対して補正させる補正プロセスと、
一括露光するグローバルシャッタにより外界カメラが外光画像を取得するシャッタフレーム内での車両の運動による移動量を、シャッタフレーム内に順次露光するローリングシャッタにより光学センサが取得する反射距離画像に対して、補正プロセスによりバイアス誤差の補正される慣性情報に基づき補償させる補償プロセスと、
補償プロセスにより移動量の補償される反射距離画像と、外光画像との対比により、それら画像の差分を抽出させる抽出プロセスと、
予測プロセスによるバイアス誤差の予測まで推定処理を差し戻すか否かを、抽出プロセスにより抽出される差分に基づき判定させる判定プロセスと、を含む。
これら第四~第六態様の推定処理によると、一括露光するグローバルシャッタにより外界カメラが外光画像を取得のシャッタフレーム内にて、順次露光するローリングシャッタにより光学センサが取得の反射距離画像に対しては、車両運動による移動量が補償される。このとき、バイアス誤差の補正される慣性情報に基づき移動量の補償される反射距離画像では、バイアス誤差の予測が正確なほど、外光画像との対比により抽出される差分が小さくなる。そこで、バイアス誤差の予測まで推定処理を差し戻すか否かが、反射距離画像と外光画像との差分に基づき判定されることによれば、バイアス誤差が正確に予測されるまで推定処理が繰り返され得る。故に、バイアス誤差を高精度に推定することが可能である。
第一実施形態による誤差推定装置の全体構成を示すブロック図である。 第一実施形態による誤差推定装置の詳細構成を示すブロック図である。 第一実施形態による外界カメラ(a)及び光学センサ(b)を説明するための模式図である。 第一実施形態による外界画像(a)及び反射距離画像(b)を説明するための模式図である。 第一実施形態による運動補償ブロックを説明するための模式図である。 第一実施形態による運動補償ブロックを説明するための模式図である。 第一実施形態による差分抽出ブロックを説明するための模式図である。 第一実施形態による差分抽出ブロックを説明するための模式図である。 第一実施形態による誤差推定方法を示すフローチャートである。 第二実施形態による光学センサを説明するための模式図である。 第二実施形態による誤差推定装置の詳細構成を示すブロック図である。
以下、複数の実施形態を図面に基づき説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
(第一実施形態)
図1に示すように、第一実施形態による誤差推定装置1は、車両3に搭載される。車両3は、自己位置推定といった運動推定の結果に基づき走行する、例えば高度運転支援車又は自動運転車等である。尚、以下の説明では、水平面上における車両3の水平方向のうち横方向及び前後方向をそれぞれ単に、横方向及び前後方向という。また、以下の説明では、水平面上における車両3の鉛直方向を単に、鉛直方向という。
車両3には、誤差推定装置1と共に、センサ系2が搭載される。図1,2に示すようにセンサ系2は、慣性センサ20と光学センサ22と外界カメラ24とを少なくとも含んで、構成される。
慣性センサ20は、例えば車両3の運動推定等に活用可能な慣性情報Ibを取得する、所謂IMU(Inertial Measurement Unit)である。慣性センサ20は、車両3の前後方向と横方向と鉛直方向との三軸まわりにおける、例えば角度、角速度及び角加速度等のうち少なくとも一種類を、慣性情報Ibとして取得する。そこで慣性センサ20は、例えばジャイロ及び加速度センサ等のうち少なくとも一種類を含んで、構成される。
第一実施形態の光学センサ22は、例えば車両3の運動推定等に活用可能な反射距離画像Irを取得する、所謂LIDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)である。光学センサ22は、車両3の外界に向けてレーザ光を照射して当該レーザ光の反射光を受光することにより、レーザ光が反射された反射点までの距離(反射点距離)に応じた反射距離画像Irを取得する。これにより反射距離画像Irは、レーザ光を反射した物体までの距離を示す情報を含む画像となる。図2に示すように光学センサ22は、レーザ素子220、撮像素子221及び撮像回路222を有している。
撮像回路222は、断続的なパルスビーム状で、かつ横方向にビームステアリング角だけ走査されるように、レーザ素子220から車両3の外界へ向かう赤外線レーザ光(以下、単にレーザ光という)を、照射制御する。このレーザ光照射に伴って撮像回路222は、撮像素子221の構成画素において横方向に単列又は複数の縦画素列を、横方向に駆動されるビームステアリング角に対応した走査ライン毎に順次露光並びに順次走査する、ローリングシャッタを実現する。即ちローリングシャッタとは、所定のフレームサイズの画像の分割画像を、時間差を伴って順次取得するシャッタ方式を、意味する。撮像回路222は、撮像素子221の露光された画素毎に感知される反射光の、レーザ光照射時点からの到達時間に応じた当該反射光の反射点までの距離値を、それら画素毎に対応したビームステアリング角と関連付けてデータ化することで、反射距離画像Irを取得する。
ここで、撮像素子221の露光された画素毎に感知される反射光の強度に応じた輝度値が、それら画素毎に対応したビームステアリング角と関連付けて撮像回路222によりデータ化されることで、反射距離画像Irに含まれていてもよい。また撮像素子221には、断続的なレーザ光照射のインターバル中に車両3の外界から感知する外光に応じて、撮像する機能が備えられていてもよい。この場合、撮像素子221の露光された画素毎に感知される外光の強度に応じた輝度値が、それら画素毎に対応したビームステアリング角と関連付けて撮像回路242によりデータ化されることで、反射距離画像Irに含まれていてもよい。
外界カメラ24は、例えば車両3の運動推定等に活用可能な外光画像Ioを取得する、所謂車載カメラである。外界カメラ24は、車両3の外界から外光を受光して撮像することにより、当該外光の強度に応じた外光画像Ioを取得する。外界カメラ24は、撮像素子241及び撮像回路242を有している。
撮像回路242は、撮像素子241の構成画素において横方向に複数の縦画素列を、それぞれ対応する走査ラインで一括露光並びに一括走査する、グローバルシャッタを実現する。即ちグローバルシャッタとは、所定のフレームサイズの画像を一括で取得するシャッタ方式を、意味する。撮像回路242は、撮像素子241の露光された画素毎に感知される外光の強度に応じた輝度値を、それら画素毎に対応した画素角と関連付けてデータ化することで、外光画像Ioを取得する。
外界カメラ24において全ての走査ラインが走査されるグローバルシャッタフレームFoには、光学センサ22において全ての走査ラインが走査されるローリングシャッタフレームFrに対して、短い画像取得期間であるフレーム期間と、近接した開始タイミングとが、設定されている。そこで、図3に示すようにフレームFo,Frの開始タイミングが同期されている場合に、外光画像Ioと比べて反射距離画像Irは、図4に示すように見かけ上、車両3の走行側とは逆側に圧縮且つ当該圧縮分だけ余分に外界を観測して、取得されることになる。尚、図4は、各画像Ir,Ioそのものではなく、各画像Ir,Ioに映る外界範囲を模式的に示している。
図1に示すように第一実施形態の誤差推定装置1は、例えばLAN(Local Area Network)、ワイヤハーネス及び内部バス等のうち少なくとも一種類を介して、センサ系2の各構成要素20,22,24に接続されている。誤差推定装置1は、少なくとも一つの専用コンピュータを含んで構成される。誤差推定装置1を構成する専用コンピュータは、車両3の自己位置を推定するロケータのECU(Electronic Control Unit)であってもよい。誤差推定装置1を構成する専用コンピュータは、車両3の高度運転支援又は自動運転を制御するECUであってもよい。誤差推定装置1を構成する専用コンピュータは、車両3と外界との間の通信を制御するECUであってもよい。
誤差推定装置1は、こうした専用コンピュータを含んで構成されることで、メモリ10及びプロセッサ12を少なくとも一つずつ有している。メモリ10は、コンピュータにより読み取り可能なプログラム及びデータを非一時的に記憶する、例えば半導体メモリ、磁気媒体及び光学媒体等のうち少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。プロセッサ12は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)及びRISC(Reduced Instruction Set Computer)-CPU等のうち少なくとも一種類を、コアとして含む。プロセッサ12は、メモリ10に記憶された誤差推定プログラムに含まれる複数の命令を、実行する。これにより誤差推定装置1は、慣性センサ20に生じるバイアス誤差Bの推定処理を遂行するための複数の機能ブロックを、図2に示すように構築する。尚、以下の説明では、バイアス誤差Bの推定処理を単に、誤差推定処理という。
誤差推定装置1により構築される複数の機能ブロックには、誤差補正ブロック100、運動補償ブロック120、差分抽出ブロック140、処理判定ブロック160及び誤差予測ブロック180が含まれる。
誤差補正ブロック100には、後に詳述するように誤差予測ブロック180により予測されることでメモリ10に記憶された最新のバイアス誤差Bが、入力される(即ち、読み出される)。それと共に誤差補正ブロック100には、時刻kにて慣性センサ20により取得された最新の慣性情報Ibが、入力される。ここで時刻kは、グローバルシャッタフレームFoの開始タイミング(図3参照)を表している。
こうした入力を受けて誤差補正ブロック100は、最新の慣性情報Ibに対して、最新のバイアス誤差Bを補正する。この補正は、慣性情報Ibからバイアス誤差Bを減算することで、実現される。
図2に示す運動補償ブロック120には、誤差補正ブロック100によりバイアス誤差Bの補正された時刻kでの慣性情報Ibが、入力される。それと共に運動補償ブロック120には、時刻kを開始タイミングとするグローバルシャッタフレームFo内に光学センサ22により取得された最新の反射距離画像Irが、入力される。図5に示すように最新の反射距離画像Irは、走査ライン毎の各画素に関して、距離値Lr[k,i,j]と、ビームステアリング角θr[k,i,j]及びψr[k,i,j]とを、最新データ値として含む。
ここで[k,i,j]は、時刻kと、走査ライン毎の並び順且つ走査順を表す走査番号iと、走査ライン毎の各画素を表す画素番号jとにより、最新データ値Lr,θr,ψrを特定するインデックスである。即ちLr[k,i,j],θr[k,i,j]及びψr[k,i,j]は、下記数1の時刻h(図3参照)を走査タイミングとする走査ライン毎の最新データ値として、運動補償ブロック120へ入力される。
Figure 0007231054000001
ここで上記数1は、フレームFo,Frの開始タイミング間での同期ずれ時間を加味した時刻hを、時刻kと走査番号iと走査ライン間での時間間隔Δh(図5参照)とを用いて近似的に定義している。そこで図6に示すようにθr[k,i,j]は、レーザ素子220により照射されてから撮像素子221のうち、番号i,jでの特定画素により時刻hにて感知されるレーザ光に関して、鉛直方向におけるビームステアリング角を表している。一方でψr[k,i,j]は、レーザ素子220により照射されてから撮像素子221のうち、番号i,jでの特定画素により時刻hにて感知されるレーザ光に関して、横方向におけるビームステアリング角を、表している。
こうした入力を受けて運動補償ブロック120は、反射距離画像Irの最新データ値に対して、グローバルシャッタフレームFo内での車両3の運動(図3参照)による移動量を、バイアス誤差Bの補正された慣性情報Ibに基づき、補償する。具体的に運動補償ブロック120は、バイアス誤差Bの補正された慣性情報Ibに基づく各種の航法演算のうち少なくとも一種類により、時刻kにおける車両3の自己位置P[k,i]及び方向余弦行列C[k,i]を算出する。
ここで[k,i]は、時刻kと走査番号iとにより、算出結果P,Cを特定するインデックスである。即ちP[k,i]及びC[k,i]は、同一走査ラインの画素同士では共通に算出される。そこで運動補償ブロック120は、最新データ値Lr[k,i,j]、θr[k,i,j]及びψr[k,i,j]に対して、グローバルシャッタフレームFo内では走査番号i毎に変化する車両3の移動量を、算出結果P[k,i]及びC[k,i]を用いた下記数2により補償する。その結果として運動補償ブロック120は、走査ライン毎の各画素に関して、車両移動量の補償された反射距離画像Irの最新データ値となる下記数2の三次元極座標R[k,i,j]を、算出する。尚、以下の説明では、グローバルシャッタフレームFo内での車両3の移動量を単に、車両移動量という。
Figure 0007231054000002
図2に示すように差分抽出ブロック140は、反射距離画像Ir及び外光画像Ioをそれぞれ前処理するサブブロック142,144と、それら前処理された画像Ir,Io同士を対比処理するサブブロック146とを、有している。
差分抽出ブロック140におけるサブブロック142には、運動補償ブロック120により算出された自己位置P[k,i]及び方向余弦行列C[k,i]のうち、時刻kに対応する自己位置P[k,1]及び方向余弦行列C[k,1]が、入力される。それと共にサブブロック142には、運動補償ブロック120により車両移動量の補償された反射距離画像Irが、入力される。
こうした入力を受けてサブブロック142は、グローバルシャッタフレームFoの開始タイミングである時刻kからのずれ分を、反射距離画像Irに対して補償する。具体的にサブブロック142は、車両移動量の補償された反射距離画像Irの最新データ値として運動補償ブロック120により算出された各画素の三次元極座標R[k,i,j]を、下記数3の三次元直交座標Rr[k,i,j]へそれぞれ変換する。
Figure 0007231054000003
ここで上記数3は、グローバルシャッタフレームFoの開始タイミングである時刻kでの方向余弦行列C[k,1]の転置行列CT[k,1]と、グローバルシャッタフレームFo内の三次元極座標R[k,i,j]とを用いて、三次元直交座標Rr[k,i,j]を定義している。そこでサブブロック142は、座標変換された反射距離画像Irの最新データ値となる各画素の三次元直交座標Rr[k,i,j]に対してさらに、時刻hにおける時刻kからのずれ分を、時刻kでの自己位置P[k,1]を用いた下記数4により補償する。その結果としてサブブロック142は、各画素に対応するレーザ光反射点を時刻kにて車両3から観た場合の相対的な位置情報として、下記数4の相対直交座標x,y,zを算出する。
Figure 0007231054000004
サブブロック142はさらに、算出した各画素の相対直交座標x,y,zを、下記数5~7により変換する。その結果としてサブブロック142は、距離値Lr[k,i,j]と、ビームステアリング角θr[k,i,j]及びψr[k,i,j]とを、時刻kに合わせてずれの補償された反射距離画像Irの最新データ値として、算出する。
Figure 0007231054000005
Figure 0007231054000006
Figure 0007231054000007
図2に示す差分抽出ブロック140においてサブブロック144には、サブブロック142により算出された反射距離画像Irの最新データ値のうちビームステアリング角θr[k,i,j]及びψr[k,i,j]が、入力される。それと共にサブブロック144には、時刻kを開始タイミングとするグローバルシャッタフレームFo内に外界カメラ24により取得された最新の外光画像Ioが、入力される。図7に示すように最新の外光画像Ioは、走査ライン毎の各画素に関して、輝度値So[k,m,n]と、画素角θo[k,m,n]及びψo[k,m,n]とを、最新データ値として含む。
ここで[k,m,n]は、時刻kと、走査ライン毎の並び順を表す走査番号mと、走査ライン毎の各画素を表す画素番号nとにより、最新データ値So,θo,ψoを特定するインデックスである。ここで、外光画像Ioに関する走査番号mの最大値は、反射距離画像Irに関する走査番号iの最大値よりも大きく、また外光画像Ioに関する画素番号nの最大値は、反射距離画像Irに関する画素番号jの最大値よりも大きい。即ち外光画像Ioは、反射距離画像Irよりも多い画素数にて高精細に生成される。
また、図8に示すようにθo[k,m,n]は、撮像素子241のうち番号m,nでの特定画素により時刻kにて感知される外光に関して、鉛直方向における画素角を表している。一方でψo[k,i,j]は、撮像素子241のうち番号m,nでの特定画素により時刻kにて感知される外光に関して、横方向における画素角を表している。
こうした入力を受けてサブブロック144は、反射距離画像Irと外光画像Ioとのうち、高精細側を低精細側に合わせて補間する。即ちサブブロック144は、高精細側の外光画像Ioを低精細側の反射距離画像Irに対して、補間によりマッチングさせる。具体的にサブブロック144は、各画素でのビームステアリング角θr[k,i,j]及びψr[k,i,j]に対して、それぞれ下記数8,9を満たすインデックスの画素角θo及びψoを、図7の如く探索する。
Figure 0007231054000008
Figure 0007231054000009
ここで上記数8は、横方向に相互隣接する画素のインデックスを、[k,m,n]及び[k,m+1,n]と表記している。この表記下にて上記数8は、θo[k,m,n]及びθo[k,m+1,n]を用いて、ビームステアリング角θr[k,i,j]の探索条件を定義している。一方で上記数9は、鉛直方向に相互隣接する画素のインデックスを、[k,m,n]及び[k,m,n+1]と表記している。この表記下にて上記数9は、画素角θo[k,m,n]及びθo[k,m,n+1]を用いて、ビームステアリング角ψr[k,i,j]の探索条件を定義している。これらのことからサブブロック144は、各画素でのビームステアリング角θr[k,i,j]及びψr[k,i,j]に外光画像Io上にて該当する座標の輝度値So[k,i,j]を、下記数10~12の内分補間(図7参照)により算出する。
Figure 0007231054000010
Figure 0007231054000011
Figure 0007231054000012
ここで上記数10は、横方向に相互隣接する画素のインデックスを、[k,m,n]及び[k,m+1,n]と表記している。この表記下にて上記数10は、画素角θo[k,m,n]及びθo[k,m+1,n]と、それぞれ対応する輝度値So[k,m,n]及びSo[k,m+1,n]と、ビームステアリング角θr[k,i,j]とを用いて、変数S1を定義している。
一方で上記数11は、鉛直方向に相互隣接する画素のインデックスを、[k,m,n]及び[k,m,n+1]と表記している。また上記数11は、横方向に相互隣接する画素のインデックスを[k,m,n]及び[k,m+1,n]と表記した場合に、後者[k,m+1,n]の画素とは鉛直方向に隣接する画素のインデックスを[k,m+1,n+1]と表記している(図7参照)。換言すれば上記数11は、鉛直方向に相互隣接する画素のインデックスを[k,m,n]及び[k,m,n+1]と表記した場合に、後者[k,1,n+1]の画素とは横方向に隣接する画素のインデックスを[k,m+1,n+1]と表記しているともいえる(図7参照)。これらの表記下にて上記数11は、画素角θo[k,m,n+1]及びθo[k,m+1,n+1]と、それぞれ対応する輝度値So[k,m,n+1]及びSo[k,m+1,n+1]と、ビームステアリング角θr[k,i,j]とを用いて、変数S2を定義している。
さらに上記数12は、鉛直方向に相互隣接する画素のインデックスを、[k,m,n]及び[k,m,n+1]と表記している。この表記下にて上記数12は、画素角ψo[k,m,n]及びψo[k,m,n+1]と、上記数10,11の変数S1,S2と、ビームステアリング角ψr[k,i,j]とを用いて、補間された外光画像Ioの輝度値So[k,i,j]を定義している。
図2に示す差分抽出ブロック140においてサブブロック146には、サブブロック142により算出された反射距離画像Irの最新データ値として、距離値Lr[k,i,j]が入力される。この入力を受けてサブブロック146は、距離値Lr[k,i,j]に対する各種のフィルタ処理のうち少なくとも一種類により、最新の反射距離画像Irにおけるエッジを抽出する。その結果としてサブブロック146は、抽出したエッジに対応する各画素に関して、横方向又は鉛直方向に相互隣接する画素同士での距離値Lr[k,i,j]の差を、エッジ画像値Lre[k,i,j]として算出する。
サブブロック146には、サブブロック144により補間された外光画像Ioの最新データ値として、輝度値So[k,i,j]が入力される。この入力を受けてサブブロック146は、輝度値So[k,i,j]に対する各種のフィルタ処理のうち少なくとも一種類により、最新の外光画像Ioにおけるエッジを抽出する。その結果としてサブブロック146は、抽出したエッジに対応する各画素に関して、横方向又は鉛直方向に相互隣接する画素同士での輝度値So[k,i,j]の差を、エッジ画像値Soe[k,i,j]として算出する。
サブブロック146は、こうした算出されたエッジ画像値Lre[k,i,j]及びSoe[k,i,j]に関して、互いに対応する各画素毎に反射距離画像Irと外光画像Ioとを対比することで、それら画像Io,Irの差分E[k,i,j]を抽出する。具体的にサブブロック146は、インデックスの同じエッジ画像値Lre[k,i,j]及びSoe[k,i,j]同士を、それぞれのバラツキ範囲により正規化してから対比する下記数13により、それら画像値間の差分E[k,i,j]を算出する。即ちサブブロック146は、反射距離画像Irと外光画像Ioとのエッジに関する画像値Lre[k,i,j]及びSoe[k,i,j]同士をそれぞれのバラツキ範囲により正規化してから、それらエッジ同士の対比並びに差分抽出を実行する。
Figure 0007231054000013
ここで上記数13の右辺第一項は、反射距離画像Irにおけるエッジ画像値Lre[k,i,j]の最大値及び最小値を、それぞれLremax[k,i,j]及びLremin[k,i,j]と表記している。この表記下にて上記数13の右辺第一項は、最大値Lremax[k,i,j]から最小値Lremin[k,i,j]を差し引いたバラツキ範囲により、エッジ画像値Lre[k,i,j]を正規化(即ち、無次元化)している。
一方で上記数13の右辺第二項は、外光画像Ioにおけるエッジ画像値Soe[k,i,j]の最大値及び最小値を、それぞれSoemax[k,i,j]及びSoemin[k,i,j]と表記している。この表記下にて上記数13の右辺第一項は、最大値Soemax[k,i,j]から最小値Soemin[k,i,j]を減算したバラツキ範囲により、エッジ画像値Soe[k,i,j]を正規化(即ち、無次元化)している。
図2に示す処理判定ブロック160には、差分抽出ブロック140のうちサブブロック146により抽出された最新の画像Io,Ir同士における差分E[k,i,j]が、入力される。この入力を受けて処理判定ブロック160は、誤差予測ブロック180によるバイアス誤差Bの予測へと誤差推定処理を差し戻すか否かを、差分E[k,i,j]に基づき判定する。これは、差し戻しによるバイアス誤差Bの再予測の要否を差分E[k,i,j]に基づき判定することと、同義となる。
このとき、互いに対応するエッジ同士の各画素毎に差分E[k,i,j]を2乗和した値が許容範囲内にある場合には、バイアス誤差Bの予測が正確であるとして、差し戻しによる再予測は不要との判定を処理判定ブロック160が下す。このように差し戻し不要との判定が下された場合のバイアス誤差Bは、例えば車両3の運動推定等において慣性情報Ibの補正に活用される。尚、以下の説明では、各画素毎に差分E[k,i,j]を2乗和した値を単に、差分E[k,i,j]の2乗和という。
これに対して、差分E[k,i,j]の2乗和が許容範囲外にある場合には、バイアス誤差Bの予測が不正確であるとして、差し戻しによる再予測を要するとの判定を処理判定ブロック160が下す。このように差戻し要との判定が下された場合のバイアス誤差Bは、後に詳述する誤差予測ブロック180により、メモリ10に記憶の最新値とは異なる値へ予測し直される。
ここで、誤差予測ブロック180の判定基準となる許容範囲は、差分E[k,i,j]として正確と判断可能な値の上限を閾値として、当該閾値以下の数値範囲に設定されてもよい。許容範囲は、差分E[k,i,j]としては不正確と判断すべき値の下限を閾値として、当該閾値未満の数値範囲に設定されてもよい。
図2に示す誤差予測ブロック180には、始動した車両3の走行開始から初回の誤差推定処理要との判断に伴って、メモリ10に記憶されているバイアス誤差Bの初期値が、入力される(即ち、読み出される)。この入力を受けて誤差予測ブロック180は、時刻kにおける最新のバイアス誤差Bを初期値に仮予測して、メモリ10に記憶する。ここでバイアス誤差Bの初期値は、予め設定された固定値であってもよい。バイアス誤差Bの初期値は、過去の誤差推定処理にて予測された可変値であってもよい。
誤差予測ブロック180には、処理判定ブロック160により差し戻し要との判定が下された場合に、不正確予測のバイアス誤差Bがメモリ10から入力される(即ち、読み出される)。この入力を受けて誤差予測ブロック180は、不正確予測のバイアス誤差Bに誤差調整値を加算することで、時刻kにおける最新のバイアス誤差Bを再予測して、メモリ10に記憶する。このとき誤差予測ブロック180は、今回及び前回の誤差推定処理にて抽出された差分E[k,i,j]間での増減結果に応じて、誤差調整値の符号及び初期値からの可変量を調整する。そこで誤差予測ブロック180には、差し戻し要との判定が下された場合に、メモリ10に記憶されている誤差調整値の初期値も、入力される(即ち、読み出される)。ここで誤差調整値の初期値は、予め設定された固定値であってもよい。誤差調整値の初期値は、過去の誤差推定処理にて予測された可変値であってもよい。
以上より第一実施形態では、誤差補正ブロック100が「誤差補正部」に相当し、運動補償ブロック120が「運動補償部」が相当する。また第一実施形態では、差分抽出ブロック140が「差分抽出部」に相当し、処理判定ブロック160が「処理判定部」に相当し、誤差予測ブロック180が「誤差予測部」に相当する。
ここまで説明した機能ブロック100,120,140,160,180の共同により、誤差推定装置1が誤差推定処理を遂行して実現される誤差推定方法のフローを、図9に従って以下に説明する。尚、本フローは、始動した車両3の走行開始後に繰り返されるグローバルシャッタフレームFo毎に、実行される。また、本フローにおいて各「S」とは、誤差推定プログラムに含まれた複数命令により実行される複数ステップを、それぞれ意味する。さらに、以下の説明においてインデックスの表記は、省略されている。
S101において誤差予測ブロック180は、グローバルシャッタフレームFoの開始される時刻kにて慣性センサ20に生じているバイアス誤差Bを、メモリ10に記憶された初期値に仮予測して、メモリ10に記憶する。
S102において誤差補正ブロック100は、慣性センサ20により時刻kに取得された最新の慣性情報Ibに対して、S101又は後述のS108により直前に予測された最新のバイアス誤差Bを、補正する。
S103において運動補償ブロック120は、時刻kに開始されたグローバルシャッタフレームFo内に光学センサ22により取得された最新の反射距離画像Irに対して、グローバルシャッタフレームFo内での車両移動量を、補償する。このときの補償は、S102によりバイアス誤差Bの補正された慣性情報Ibに、基づく。
S104において差分抽出ブロック140のサブブロック142は、S103により車両移動量の補償された反射距離画像Irに対して、グローバルシャッタフレームFoの開始タイミングである時刻kからのずれ分を、補償する。
S105において差分抽出ブロック140のサブブロック144は、時刻kに開始されたグローバルシャッタフレームFo内に外界カメラ24により取得された最新の外光画像Ioを、S104によりずれ補償された反射距離画像Irに合わせて、補間する。このときの補間は、高精細側の外光画像Ioを低精細側の反射距離画像Irに合わせて、マッチングさせる。
S106において差分抽出ブロック140のサブブロック146は、S104によりずれ補償された反射距離画像Irと、S105により補間された外光画像Ioとを、対比することで差分Eを抽出する。このときの対比並びに差分抽出は、反射距離画像Irと外光画像Ioとのエッジに関する画像値Lre,Soeがそれぞれのバラツキ範囲により正規化されてから、それらエッジ同士に対して実行される。
S107において処理判定ブロック160は、バイアス誤差Bの再予測まで誤差推定処理を差し戻すか否かを、S106により抽出された差分Eに基づき、判定する。その結果、差戻し不要との判定が下された場合、本フローが終了する。
一方で差し戻し要との判定が下された場合、S108において誤差予測ブロック180は、時刻kでのバイアス誤差Bを再予測してメモリ10に記憶してから、再度S102を実行させる。このときの再予測は、今回及び前回の誤差推定処理にて差分抽出ブロック140により抽出された差分E間での増減結果に応じて、不正確予測のバイアス誤差Bに加算する誤差調整値の可変量を調整することで、実現される。
以上より第一実施形態では、S101,S108が「予測プロセス」に相当し、S102が「補正プロセス」に相当し、S103が「補償プロセス」に相当する。また第一実施形態では、S104,S105,S106が「抽出プロセス」に相当し、S107が「判定プロセス」に相当する。
(作用効果)
以上説明した第一実施形態の作用効果を、以下に説明する。
第一実施形態の推定処理によると、ローリングシャッタにより光学センサ22が取得の反射距離画像Irと、グローバルシャッタにより外界カメラ24が取得の外光画像との差は、バイアス誤差Bの予測が正確なほど、小さくすることができる。そこで、バイアス誤差Bの再予測の要否が反射距離画像Irと外光画像Ioとに基づき判定されることによれば、バイアス誤差Bが正確に予測されるまで推定処理が繰り返され得る。故に、バイアス誤差Bを高精度に推定することが可能となる。
第一実施形態の推定処理によると、一括露光するグローバルシャッタにより外界カメラ24が外光画像Ioを取得のグローバルシャッタフレームFo内にて、順次露光するローリングシャッタにより光学センサ22が取得の反射距離画像Irに対しては、車両移動量が補償される。このとき、バイアス誤差Bの補正される慣性情報Ibに基づき車両移動量の補償される反射距離画像Irでは、バイアス誤差Bの予測が正確なほど、外光画像Ioとの対比により抽出される差分Eが小さくなる。そこで、バイアス誤差Bの予測まで誤差推定処理を差し戻すか否かが、反射距離画像Irと外光画像Ioとの差分Eに基づき判定されることによれば、バイアス誤差Bが正確に予測されるまで誤差推定処理が繰り返され得る。故に、バイアス誤差Bを高精度に推定することが可能である。
第一実施形態による反射距離画像Irは、グローバルシャッタフレームFoの開始タイミングからのずれ分を補償されてから、外光画像Ioと対比される。これによれば、グローバルシャッタフレームFo内でのローリングシャッタにより光学センサ22が順次露光して取得された反射距離画像Irは、グローバルシャッタフレームFoの開始タイミングにて外光画像Ioと共に取得された画像となるように、補償され得る。即ち、補償された反射距離画像Irは外光画像Ioと実質同時に取得と擬制され得ることから、それら画像Ir,Ioの対比により正確に差分Eを抽出して、バイアス誤差Bを高精度に推定することが可能となる。
第一実施形態による反射距離画像Irと外光画像Ioとは、高精細側を低精細側に合わせて補間されてから、対比される。これによれば、精細度の違いによる画像Ir,Io同士のアンマッチングを解消した上で対比により、正確に差分Eを抽出することができるので、バイアス誤差Bを高精度に推定することが可能となる。
第一実施形態による反射距離画像Irと外光画像Ioとは、エッジ同士を対比される。これによれば、対比の容易なエッジ同士からは差分Eを正確に抽出し易くなるので、バイアス誤差Bを高精度に推定することが可能となる。
第一実施形態による反射距離画像Irと外光画像Ioとは、画像値Lre,Soe同士をそれぞれのバラツキ範囲により正規化されてから、対比される。これによれば、正規化の結果としてスケール合わせされた画像値Lre,Soe同士の対比により、正確に差分Eを抽出することができるので、バイアス誤差Bを高精度に推定することが可能となる。
(第二実施形態)
図10,11に示すように第二実施形態は、第一実施形態の変形例である。
第二実施形態の光学センサ2022は、例えば車両3の運動推定等に活用可能な反射距離画像Irを取得する、所謂ステレオカメラである。光学センサ2022は、車両3の外界において外光を反射する反射点から感知した当該外光に応じて、反射距離画像Irを取得する。具体的に光学センサ2022は、第一撮像部2220、第二撮像部2221及び撮像回路2222を有している。
第一撮像部2220及び第二撮像部2221は、車両3における鉛直方向に沿って光学中心が合うように配置されている。第一撮像部2220及び第二撮像部2221には、それぞれ第一撮像素子2220a及び第二撮像部素子2221aが、設けられている。撮像回路2222は、各撮像素子2220a,2221aの構成画素において横方向に複数の縦画素列を、それぞれ対応する走査ライン毎に同期して順次露光並びに順次走査する、ローリングシャッタを実現する。撮像回路2222は、各撮像素子2220a,2221aにおいて同期走査された走査ライン同士での画素毎の感知情報に基づく三角測量演算により、それら画素毎の奥行き情報を生成する。そこで撮像回路2222は、同期走査された走査ライン同士での画素毎の奥行き情報として、車両3の外界における外光の反射点までの距離値を、それら画素毎に対応したビームステアリング角と関連付けてデータ化することで、反射距離画像Irを取得する。
このような第二実施形態によると、レーザ光の反射光を感知する第一実施形態の光学センサ22に代えて、外光の反射光を感知する光学センサ2022を用いても、第一実施形態と同様の作用効果を発揮することが可能となる。
(他の実施形態)
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
変形例における誤差推定装置1は、デジタル回路及びアナログ回路のうち少なくとも一方をプロセッサとして含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)、及びCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、備えていてもよい。
変形例における差分抽出ブロック140のサブブロック142及びS104では、反射距離画像Irにおける時刻kからのずれ分が、外光画像Ioにおいて補償されてもよい。変形例における反射距離画像Irは、外光画像Ioよりも高精細であってもよい。この場合における差分抽出ブロック140のサブブロック144及びS105では、高精細側の反射距離画像Irが低精細側の外光画像Ioに合わせて補間されてもよい。
変形例における差分抽出ブロック140のサブブロック142,146及びS104,S106では、反射距離画像Irの距離値Lrと関連付けて同画像Irに含まれる輝度値が、当該距離値Lrに代えて用いられてもよい。変形例における差分抽出ブロック140のサブブロック146及びS106では、反射距離画像Irの距離値Lrと外光画像Ioの輝度値Soがそのまま画像値として、対比並びに差分抽出へ供されてもよい。変形例における差分抽出ブロック140のサブブロック146及びS106では、反射距離画像Irと外光画像Ioとのうち、一方が他方に合わせて正規化されてから、対比並びに差分抽出へ供されてもよい。

Claims (27)

  1. 慣性情報(Ib)を取得する慣性センサ(20)と、外界から感知する光の反射点距離に応じた反射距離画像(Ir)を取得する光学センサ(22)と、外界から感知する外光に応じた外光画像(Io)を取得する外界カメラ(24)と、を搭載した車両(3)において、前記慣性センサに生じるバイアス誤差(B)の推定処理を遂行する誤差推定装置(1)であって、
    前記バイアス誤差を予測する誤差予測部(180)と、
    ローリングシャッタにより前記光学センサが取得する前記反射距離画像と、グローバルシャッタにより前記外界カメラが取得する前記外光画像とに基づき、前記誤差予測部による前記バイアス誤差の再予測の要否を判定する処理判定部(160)と、を備える誤差推定装置。
  2. 前記車両の運動により生じる前記反射距離画像の圧縮分を、前記バイアス誤差の補正された前記慣性情報に基づき補償する運動補償部(120)を、さらに備え、
    前記処理判定部は、前記運動補償部により補償される前記反射距離画像と、前記外光画像とに基づき、前記バイアス誤差の補正の要否を判定する請求項1に記載の誤差推定装置。
  3. 前記運動補償部により補償される前記反射距離画像と、前記外光画像との対比により、それら画像の差分(E)を抽出する差分抽出部(140)を、さらに備え、
    前記処理判定部は、前記差分抽出部により抽出される、前記反射距離画像と前記外光画像との前記差分に基づき、前記バイアス誤差の補正の要否を判定する請求項2に記載の誤差推定装置。
  4. 慣性情報(Ib)を取得する慣性センサ(20)と、外界から感知する光の反射点距離に応じた反射距離画像(Ir)を取得する光学センサ(22)と、外界から感知する外光に応じた外光画像(Io)を取得する外界カメラ(24)と、を搭載した車両(3)において、前記慣性センサに生じるバイアス誤差(B)の推定処理を遂行する誤差推定装置(1)であって、
    前記バイアス誤差を予測する誤差予測部(180)と、
    前記誤差予測部により予測される前記バイアス誤差を、前記慣性情報に対して補正する誤差補正部(100)と、
    一括露光するグローバルシャッタにより前記外界カメラが前記外光画像を取得するシャッタフレーム(Fo)内での前記車両の運動による移動量を、前記シャッタフレーム内に順次露光するローリングシャッタにより前記光学センサが取得する前記反射距離画像に対して、前記誤差補正部により前記バイアス誤差の補正される前記慣性情報に基づき補償する運動補償部(120)と、
    前記運動補償部により前記移動量の補償される前記反射距離画像と、前記外光画像との対比により、それら画像の差分(E)を抽出する差分抽出部(140)と、
    前記誤差予測部による前記バイアス誤差の予測まで前記推定処理を差し戻すか否かを、前記差分抽出部により抽出される前記差分に基づき判定する処理判定部(160)と、を備える誤差推定装置。
  5. 前記差分抽出部は、前記グローバルシャッタにおけるシャッタフレーム(Fo)の開始タイミングからのずれ分を前記反射距離画像に対して補償してから、前記反射距離画像を前記外光画像と対比する請求項3又は4に記載の誤差推定装置。
  6. 前記差分抽出部は、前記反射距離画像と前記外光画像とのうち高精細側を低精細側に合わせて補間してから、それら画像を対比する請求項3~5のいずれか一項に記載の誤差推定装置。
  7. 前記差分抽出部は、前記反射距離画像と前記外光画像とのエッジ同士を対比する請求項3~6のいずれか一項に記載の誤差推定装置。
  8. 前記差分抽出部は、前記反射距離画像と前記外光画像との画像値(Lre,Soe)同士を、それぞれのバラツキ範囲により正規化してから、対比する請求項3~7のいずれか一項に記載の誤差推定装置。
  9. 前記ローリングシャッタの画像取得時間は、前記グローバルシャッタの画像取得時間よりも短く設定される請求項1~8のいずれか一項に記載の誤差推定装置。
  10. 慣性情報(Ib)を取得する慣性センサ(20)と、外界から感知する光の反射点距離に応じた反射距離画像(Ir)を取得する光学センサ(22)と、外界から感知する外光に応じた外光画像(Io)を取得する外界カメラ(24)と、を搭載した車両(3)において、前記慣性センサに生じるバイアス誤差(B)の推定処理を遂行する誤差推定方法であって、
    前記バイアス誤差を予測する予測プロセス(S101,S108)と、
    ローリングシャッタにより前記光学センサが取得する前記反射距離画像と、グローバルシャッタにより前記外界カメラが取得する前記外光画像とに基づき、前記予測プロセスによる前記バイアス誤差の再予測の要否を判定する判定プロセス(S107)と、を含む誤差推定方法。
  11. 前記車両の運動により生じる前記反射距離画像の圧縮分を、前記バイアス誤差の補正された前記慣性情報に基づき補償する補償プロセス(S103)を、さらに含み、
    前記判定プロセスは、前記補償プロセスにより補償される前記反射距離画像と、前記外光画像とに基づき、前記バイアス誤差の補正の要否を判定する請求項10に記載の誤差推定方法。
  12. 前記補償プロセスにより補償される前記反射距離画像と、前記外光画像との対比により、それら画像の差分(E)を抽出する抽出プロセス(S104,S105,S106)を、さらに含み、
    前記判定プロセスは、前記抽出プロセスにより抽出される、前記反射距離画像と前記外光画像との前記差分に基づき、前記バイアス誤差の補正の要否を判定する請求項11に記載の誤差推定方法。
  13. 慣性情報(Ib)を取得する慣性センサ(20)と、外界から感知する光の反射点距離に応じた反射距離画像(Ir)を取得する光学センサ(22)と、外界から感知する外光に応じた外光画像(Io)を取得する外界カメラ(24)と、を搭載した車両(3)において、前記慣性センサに生じるバイアス誤差の推定処理を遂行する誤差推定方法であって、
    前記バイアス誤差を予測する予測プロセス(S101,S108)と、
    前記予測プロセスにより予測される前記バイアス誤差を、前記慣性情報に対して補正する補正プロセス(S102)と、
    一括露光するグローバルシャッタにより前記外界カメラが前記外光画像を取得するシャッタフレーム(Fo)内での前記車両の運動による移動量を、前記シャッタフレーム内に順次露光するローリングシャッタにより前記光学センサが取得する前記反射距離画像に対して、前記補正プロセスにより前記バイアス誤差の補正される前記慣性情報に基づき補償する補償プロセス(S103)と、
    前記補償プロセスにより前記移動量の補償される前記反射距離画像と、前記外光画像との対比により、それら画像の差分(E)を抽出する抽出プロセス(S104,S105,S106)と、
    前記予測プロセスによる前記バイアス誤差の予測まで前記推定処理を差し戻すか否かを、前記抽出プロセスにより抽出される前記差分に基づき判定する判定プロセス(S107)と、を含む誤差推定方法。
  14. 前記抽出プロセスは、前記グローバルシャッタにおけるシャッタフレーム(Fo)の開始タイミングからのずれ分を前記反射距離画像に対して補償してから、前記反射距離画像を前記外光画像と対比する請求項12又は13に記載の誤差推定方法。
  15. 前記抽出プロセスは、前記反射距離画像と前記外光画像とのうち高精細側を低精細側に合わせて補間してから、それら画像を対比する請求項12~14のいずれか一項に記載の誤差推定方法。
  16. 前記抽出プロセスは、前記反射距離画像と前記外光画像とのエッジ同士を対比する請求項12~15のいずれか一項に記載の誤差推定方法。
  17. 前記抽出プロセスは、前記反射距離画像と前記外光画像との画像値(Lre,Soe)同士を、それぞれのバラツキ範囲により正規化してから、対比する請求項12~16のいずれか一項に記載の誤差推定方法。
  18. 前記ローリングシャッタの画像取得時間は、前記グローバルシャッタの画像取得時間よりも短く設定される請求項10~17のいずれか一項に記載の誤差推定方法。
  19. 慣性情報(Ib)を取得する慣性センサ(20)と、外界から感知する光の反射点距離に応じた反射距離画像(Ir)を取得する光学センサ(22)と、外界から感知する外光に応じた外光画像(Io)を取得する外界カメラ(24)と、を搭載した車両(3)において、前記慣性センサに生じるバイアス誤差(B)の推定処理を遂行するために記憶媒体(10)に格納され、プロセッサ(12)に実行させる命令を含む誤差推定プログラムであって、
    前記命令は、
    前記バイアス誤差を予測させる予測プロセス(S101,S108)と、
    ローリングシャッタにより前記光学センサが取得する前記反射距離画像と、グローバルシャッタにより前記外界カメラが取得する前記外光画像とに基づき、前記予測プロセスによる前記バイアス誤差の再予測の要否を判定させる判定プロセス(S107)と、を含む誤差推定プログラム。
  20. 前記命令は、
    前記車両の運動により生じる前記反射距離画像の圧縮分を、前記バイアス誤差の補正された前記慣性情報に基づき補償させる補償プロセス(S103)を、さらに含み、
    前記判定プロセスは、前記補償プロセスにより補償される前記反射距離画像と、前記外光画像とに基づき、前記バイアス誤差の補正の要否を判定させる請求項19に記載の誤差推定プログラム。
  21. 前記命令は、
    前記補償プロセスにより補償される前記反射距離画像と、前記外光画像との対比により、それら画像の差分(E)を抽出させる抽出プロセス(S104,S105,S106)を、さらに含み、
    前記判定プロセスは、前記抽出プロセスにより抽出される、前記反射距離画像と前記外光画像との前記差分に基づき、前記バイアス誤差の補正の要否を判定させる請求項20に記載の誤差推定プログラム。
  22. 慣性情報(Ib)を取得する慣性センサ(20)と、外界から感知する光の反射点距離に応じた反射距離画像(Ir)を取得する光学センサ(22)と、外界から感知する外光に応じた外光画像(Io)を取得する外界カメラ(24)と、を搭載した車両(3)において、前記慣性センサに生じるバイアス誤差の推定処理を遂行するために記憶媒体(10)に格納され、プロセッサ(12)に実行させる命令を含む誤差推定プログラムであって、
    前記命令は、
    前記バイアス誤差を予測させる予測プロセス(S101,S108)と、
    前記予測プロセスにより予測される前記バイアス誤差を、前記慣性情報に対して補正させる補正プロセス(S102)と、
    一括露光するグローバルシャッタにより前記外界カメラが前記外光画像を取得するシャッタフレーム(Fo)内での前記車両の運動による移動量を、前記シャッタフレーム内に順次露光するローリングシャッタにより前記光学センサが取得する前記反射距離画像に対して、前記補正プロセスにより前記バイアス誤差の補正される前記慣性情報に基づき補償させる補償プロセス(S103)と、
    前記補償プロセスにより前記移動量の補償される前記反射距離画像と、前記外光画像との対比により、それら画像の差分(E)を抽出させる抽出プロセス(S104,S105,S106)と、
    前記予測プロセスによる前記バイアス誤差の予測まで前記推定処理を差し戻すか否かを、前記抽出プロセスにより抽出される前記差分に基づき判定させる判定プロセス(S107)と、を含む誤差推定プログラム。
  23. 前記抽出プロセスは、前記グローバルシャッタにおけるシャッタフレーム(Fo)の開始タイミングからのずれ分を前記反射距離画像に対して補償させてから、前記反射距離画像を前記外光画像と対比させる請求項21又は22に記載の誤差推定プログラム。
  24. 前記抽出プロセスは、前記反射距離画像と前記外光画像とのうち高精細側を低精細側に合わせて補間させてから、それら画像を対比させる請求項21~23のいずれか一項に記載の誤差推定プログラム。
  25. 前記抽出プロセスは、前記反射距離画像と前記外光画像とのエッジ同士を対比させる請求項21~24のいずれか一項に記載の誤差推定プログラム。
  26. 前記抽出プロセスは、前記反射距離画像と前記外光画像との画像値(Lre,Soe)同士を、それぞれのバラツキ範囲により正規化させてから、対比させる請求項21~25のいずれか一項に記載の誤差推定プログラム。
  27. 前記ローリングシャッタの画像取得時間は、前記グローバルシャッタの画像取得時間よりも短く設定される請求項21~26のいずれか一項に記載の誤差推定プログラム。
JP2021551660A 2019-10-08 2020-10-06 誤差推定装置、誤差推定方法、誤差推定プログラム Active JP7231054B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019185387 2019-10-08
JP2019185387 2019-10-08
PCT/JP2020/037852 WO2021070813A1 (ja) 2019-10-08 2020-10-06 誤差推定装置、誤差推定方法、誤差推定プログラム

Publications (2)

Publication Number Publication Date
JPWO2021070813A1 JPWO2021070813A1 (ja) 2021-04-15
JP7231054B2 true JP7231054B2 (ja) 2023-03-01

Family

ID=75437429

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021551660A Active JP7231054B2 (ja) 2019-10-08 2020-10-06 誤差推定装置、誤差推定方法、誤差推定プログラム

Country Status (4)

Country Link
US (1) US11802772B2 (ja)
JP (1) JP7231054B2 (ja)
CN (1) CN114514412B (ja)
WO (1) WO2021070813A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481044B2 (en) * 2017-05-18 2019-11-19 TuSimple Perception simulation for improved autonomous vehicle control
CN112203076B (zh) * 2020-09-16 2022-07-29 青岛小鸟看看科技有限公司 Vr系统中多摄像头曝光中心点的对齐方法、系统
CN114323033B (zh) * 2021-12-29 2023-08-29 北京百度网讯科技有限公司 基于车道线和特征点的定位方法、设备及自动驾驶车辆

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011252833A (ja) 2010-06-03 2011-12-15 Mitsubishi Electric Corp 位置標定装置、位置標定方法および位置標定プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000097968A (ja) * 1998-09-25 2000-04-07 Japan Aviation Electronics Industry Ltd 速度計および速度測定方法
JP4329677B2 (ja) * 2004-11-09 2009-09-09 セイコーエプソン株式会社 動き検出装置
JP2009141805A (ja) * 2007-12-07 2009-06-25 Canon Inc 撮像装置及びその制御方法
US8494225B2 (en) * 2010-02-19 2013-07-23 Julian L. Center Navigation method and aparatus
US9121866B2 (en) * 2013-03-15 2015-09-01 Autoliv Asp, Inc. System and method for inertial sensor offset compensation
JP2015070488A (ja) * 2013-09-30 2015-04-13 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US9277361B2 (en) * 2014-02-20 2016-03-01 Google Inc. Methods and systems for cross-validating sensor data acquired using sensors of a mobile device
US9766075B2 (en) * 2014-05-02 2017-09-19 Thales Visionix, Inc. Registration for vehicular augmented reality using auto-harmonization
US10012504B2 (en) * 2014-06-19 2018-07-03 Regents Of The University Of Minnesota Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps
US9880263B2 (en) 2015-04-06 2018-01-30 Waymo Llc Long range steerable LIDAR system
US10324195B2 (en) 2015-07-27 2019-06-18 Qualcomm Incorporated Visual inertial odometry attitude drift calibration
CN106291645B (zh) * 2016-07-19 2018-08-21 东南大学 适于高维gnss/ins深耦合的容积卡尔曼滤波方法
US10466774B2 (en) * 2016-11-22 2019-11-05 Honeywell International Inc. NTE display systems and methods with optical trackers
WO2019080046A1 (zh) * 2017-10-26 2019-05-02 深圳市大疆创新科技有限公司 惯性测量单元的漂移标定方法、设备及无人飞行器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011252833A (ja) 2010-06-03 2011-12-15 Mitsubishi Electric Corp 位置標定装置、位置標定方法および位置標定プログラム

Also Published As

Publication number Publication date
CN114514412A (zh) 2022-05-17
WO2021070813A1 (ja) 2021-04-15
US11802772B2 (en) 2023-10-31
CN114514412B (zh) 2024-06-04
US20220228871A1 (en) 2022-07-21
JPWO2021070813A1 (ja) 2021-04-15

Similar Documents

Publication Publication Date Title
JP7231054B2 (ja) 誤差推定装置、誤差推定方法、誤差推定プログラム
US20230360260A1 (en) Method and device to determine the camera position and angle
EP3367677B1 (en) Calibration apparatus, calibration method, and calibration program
US9589326B2 (en) Depth image processing apparatus and method based on camera pose conversion
US6438507B1 (en) Data processing method and processing device
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
CN108692719B (zh) 物体检测装置
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
WO2020140164A1 (en) Systems and methods for updating a high-definition map
CN107121132A (zh) 求取车辆环境图像的方法和设备及识别环境中对象的方法
US20210387636A1 (en) Method for estimating distance to and location of autonomous vehicle by using mono camera
CN113240813B (zh) 三维点云信息确定方法及装置
JP7140291B2 (ja) 同期装置、同期方法、同期プログラム
JP7173373B2 (ja) 同期装置、同期方法、および同期プログラム
KR20110089299A (ko) 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체
EP3176750B1 (en) Vision system for a motor vehicle and method of controlling a vision system
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
CN111260538B (zh) 基于长基线双目鱼眼相机的定位及车载终端
US11740103B2 (en) Map creation device, map creation system, map creation method, and storage medium
JP2021051347A (ja) 距離画像生成装置及び距離画像生成方法
US10726528B2 (en) Image processing apparatus and image processing method for image picked up by two cameras
JP7067479B2 (ja) 変位計測装置、変位計測システム、変位計測方法及びプログラム
US11847784B2 (en) Image processing apparatus, head-mounted display, and method for acquiring space information
JP2020201587A (ja) 撮像装置、車両及びプログラム
JPH11190611A (ja) 3次元計測方法およびその方法を用いた3次元計測処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230130

R151 Written notification of patent or utility model registration

Ref document number: 7231054

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151