JP7140291B2 - 同期装置、同期方法、同期プログラム - Google Patents
同期装置、同期方法、同期プログラム Download PDFInfo
- Publication number
- JP7140291B2 JP7140291B2 JP2021551661A JP2021551661A JP7140291B2 JP 7140291 B2 JP7140291 B2 JP 7140291B2 JP 2021551661 A JP2021551661 A JP 2021551661A JP 2021551661 A JP2021551661 A JP 2021551661A JP 7140291 B2 JP7140291 B2 JP 7140291B2
- Authority
- JP
- Japan
- Prior art keywords
- synchronization
- reflected wave
- image
- time
- wave image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4911—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4913—Circuits for detection, sampling, integration or read-out
- G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Description
この出願は、2019年10月8日に日本に出願された特許出願第2019-185388号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
本開示は、同期処理技術に関する。
近年の車両には、電磁波の照射により得られる反射波に応じた反射波画像を取得するレーダセンサと、外界から感知する外光に応じた外光画像を取得する外界カメラとが、共に搭載されている。こうした車両においてレーダセンサと外界カメラとを同期させるため、各々の取得画像に時刻情報を付加する技術が、特許文献1に開示されている。
しかし、特許文献1の開示技術では、レーダセンサ及び外界カメラと、同期処理を遂行する処理回路との間の経路にて、画像信号の遅延が生じる。その結果、処理回路が画像信号を受けて付加した時刻情報は、レーダセンサ及び外界カメラのそれぞれが実際に画像を取得した正規時刻からの誤差を、含んでしまうおそれがあった。
本開示の課題は、レーダセンサと外界カメラとを高精度に同期させる同期装置を、提供することにある。本開示の別の課題は、レーダセンサと外界カメラとを高精度に同期させる同期方法を、提供することにある。本開示のさらに別の課題は、レーダセンサと外界カメラとを高精度に同期させる同期プログラムを、提供することにある。
以下、課題を解決するための本開示の技術的手段について、説明する。
本開示の第一態様は、
電磁波を照射することにより得られる反射波に応じた反射波画像を取得するレーダセンサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、レーダセンサ及び外界カメラに対する同期処理を遂行する同期装置であって、
レーダセンサ及び外界カメラ間の同期ずれ時間を予測する同期予測部と、
外界カメラのシャッタフレーム間における反射波画像の時間変化量を算出する変化量算出部と、
同期予測部により予測される同期ずれ時間がシャッタフレームの開始タイミングからずれた同期タイミングでの反射波画像を、変化量算出部により算出される時間変化量に基づき推定する画像推定部と、
画像推定部により推定される同期タイミングでの反射波画像と、外光画像とを対比することにより、それら画像の差分を抽出する差分抽出部と、
同期予測部による同期ずれ時間の予測まで同期処理を差し戻すか否かを、差分抽出部により算定される差分に基づき判定する処理判定部と、を備える。
電磁波を照射することにより得られる反射波に応じた反射波画像を取得するレーダセンサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、レーダセンサ及び外界カメラに対する同期処理を遂行する同期装置であって、
レーダセンサ及び外界カメラ間の同期ずれ時間を予測する同期予測部と、
外界カメラのシャッタフレーム間における反射波画像の時間変化量を算出する変化量算出部と、
同期予測部により予測される同期ずれ時間がシャッタフレームの開始タイミングからずれた同期タイミングでの反射波画像を、変化量算出部により算出される時間変化量に基づき推定する画像推定部と、
画像推定部により推定される同期タイミングでの反射波画像と、外光画像とを対比することにより、それら画像の差分を抽出する差分抽出部と、
同期予測部による同期ずれ時間の予測まで同期処理を差し戻すか否かを、差分抽出部により算定される差分に基づき判定する処理判定部と、を備える。
本開示の第二態様は、
電磁波を照射することにより得られる反射波に応じた反射波画像を取得するレーダセンサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、レーダセンサ及び外界カメラに対する同期処理を遂行する同期方法であって、
レーダセンサ及び外界カメラ間の同期ずれ時間を予測する予測プロセスと、
外界カメラのシャッタフレーム間における反射波画像の時間変化量を算出する算出プロセスと、
予測プロセスにより予測される同期ずれ時間がシャッタフレームの開始タイミングからずれた同期タイミングでの反射波画像を、算出プロセスにより算出される時間変化量に基づき推定する推定プロセスと、
推定プロセスにより推定される同期タイミングでの反射波画像と、外光画像とを対比することにより、それら画像の差分を抽出する抽出プロセスと、
予測プロセスによる同期ずれ時間の予測まで同期処理を差し戻すか否かを、抽出プロセスにより抽出される差分に基づき判定する判定プロセスと、を含む。
電磁波を照射することにより得られる反射波に応じた反射波画像を取得するレーダセンサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、レーダセンサ及び外界カメラに対する同期処理を遂行する同期方法であって、
レーダセンサ及び外界カメラ間の同期ずれ時間を予測する予測プロセスと、
外界カメラのシャッタフレーム間における反射波画像の時間変化量を算出する算出プロセスと、
予測プロセスにより予測される同期ずれ時間がシャッタフレームの開始タイミングからずれた同期タイミングでの反射波画像を、算出プロセスにより算出される時間変化量に基づき推定する推定プロセスと、
推定プロセスにより推定される同期タイミングでの反射波画像と、外光画像とを対比することにより、それら画像の差分を抽出する抽出プロセスと、
予測プロセスによる同期ずれ時間の予測まで同期処理を差し戻すか否かを、抽出プロセスにより抽出される差分に基づき判定する判定プロセスと、を含む。
本開示の第三態様は、
電磁波を照射することにより得られる反射波に応じた反射波画像を取得するレーダセンサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、レーダセンサ及び外界カメラに対する同期処理を遂行するために記憶媒体に格納され、プロセッサに実行させる命令を含む同期プログラムであって、
命令は、
レーダセンサ及び外界カメラ間の同期ずれ時間を予測させる予測プロセスと、
外界カメラのシャッタフレーム間における反射波画像の時間変化量を算出させる算出プロセスと、
予測プロセスにより予測される同期ずれ時間がシャッタフレームの開始タイミングからずれた同期タイミングでの反射波画像を、算出プロセスにより算出される時間変化量に基づき推定させる推定プロセスと、
推定プロセスにより推定される同期タイミングでの反射波画像と、外光画像とを対比させることにより、それら画像の差分を抽出させる抽出プロセスと、
予測プロセスによる同期ずれ時間の予測まで同期処理を差し戻すか否かを、抽出プロセスにより抽出される差分に基づき判定させる判定プロセスと、を含む。
電磁波を照射することにより得られる反射波に応じた反射波画像を取得するレーダセンサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、レーダセンサ及び外界カメラに対する同期処理を遂行するために記憶媒体に格納され、プロセッサに実行させる命令を含む同期プログラムであって、
命令は、
レーダセンサ及び外界カメラ間の同期ずれ時間を予測させる予測プロセスと、
外界カメラのシャッタフレーム間における反射波画像の時間変化量を算出させる算出プロセスと、
予測プロセスにより予測される同期ずれ時間がシャッタフレームの開始タイミングからずれた同期タイミングでの反射波画像を、算出プロセスにより算出される時間変化量に基づき推定させる推定プロセスと、
推定プロセスにより推定される同期タイミングでの反射波画像と、外光画像とを対比させることにより、それら画像の差分を抽出させる抽出プロセスと、
予測プロセスによる同期ずれ時間の予測まで同期処理を差し戻すか否かを、抽出プロセスにより抽出される差分に基づき判定させる判定プロセスと、を含む。
これら第一~第三態様の同期処理によると、外界カメラにおけるシャッタフレームの開始タイミングからレーダセンサ及び外界カメラ間の同期ずれ時間がずれた同期タイミングでの反射波画像は、同フレーム間における反射波画像の時間変化量に基づき推定される。この同期タイミングでの反射波画像が外光画像と対比されることにより抽出される差分は、同期ずれ時間の予測が正確なほど、小さくなる。そこで、同期ずれ時間の予測まで同期処理を差し戻すか否かが、反射波画像と外光画像との差分に基づき判定されることによれば、同期ずれ時間が正確に予測されるまで同期処理が繰り返され得る。故に、レーダセンサと外界カメラとを高精度に同期させることが可能である。
以下、複数の実施形態を図面に基づき説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
(第一実施形態)
図1に示すように第一実施形態による同期装置1は、車両3に搭載される。車両3は、自己位置推定といった運動推定の結果に基づき走行する、例えば高度運転支援車又は自動運転車等である。尚、以下の説明では、水平面上における車両3の水平方向のうち横方向及び前後方向をそれぞれ単に、横方向及び前後方向という。また、以下の説明では、水平面上における車両3の鉛直方向を単に、鉛直方向という。
図1に示すように第一実施形態による同期装置1は、車両3に搭載される。車両3は、自己位置推定といった運動推定の結果に基づき走行する、例えば高度運転支援車又は自動運転車等である。尚、以下の説明では、水平面上における車両3の水平方向のうち横方向及び前後方向をそれぞれ単に、横方向及び前後方向という。また、以下の説明では、水平面上における車両3の鉛直方向を単に、鉛直方向という。
車両3には、同期装置1と共に、センサ系2が搭載される。図1,2に示すようにセンサ系2は、慣性センサ20とレーダセンサ22と外界カメラ24とを少なくとも含んで、構成される。
慣性センサ20は、例えば車両3の運動推定等に活用可能な慣性情報Ibを取得する、所謂IMU(Inertial Measurement Unit)である。慣性センサ20は、車両3の前後方向と横方向と鉛直方向との三軸まわりにおける、例えば角度、角速度及び角加速度等のうち少なくとも一種類を、慣性情報Ibとして取得する。そこで慣性センサ20は、例えばジャイロ及び加速度センサ等のうち少なくとも一種類を含んで、構成される。
第一実施形態のレーダセンサ22は、例えば車両3の運動推定等に活用可能な反射波画像Irを取得する、所謂LIDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)である。レーダセンサ22は、車両3の外界へ電磁波を照射することで得られる反射波に応じた反射波画像Irを、取得する。図2に示すようにレーダセンサ22は、レーザ素子220、撮像素子221及び撮像回路222を有している。
撮像回路222は、レーザ素子220から車両3の外界へ向かう電磁波としての赤外線レーザ光(以下、単にレーザ光という)を、横方向でのビームステアリング角の変化に応じて断続的となるパルスビーム状に、照射制御する。このレーザ光照射に伴って撮像回路222は、撮像素子221の構成画素において横方向に単列又は複数列の縦画素列を、横方向に駆動されるビームステアリング角に対応した走査ライン毎に順次露光並びに順次走査する、ローリングシャッタを実現する。撮像回路222は、撮像素子221の露光された画素毎に反射波として感知される反射光の、レーザ光照射時点からの到達時間に応じた当該反射光の反射点までの距離値を、それら画素毎に対応したビームステアリング角と関連付けてデータ化することで、反射波画像Irを取得する。
ここで、撮像素子221の露光された画素毎に感知される反射波としての反射光の強度に応じた輝度値が、それら画素毎に対応したビームステアリング角と関連付けて撮像回路222によりデータ化されることで、反射波画像Irに含まれていてもよい。また撮像素子221には、断続的なレーザ光照射のインターバル中に車両3の外界から感知する外光に応じて、撮像する機能が備えられていてもよい。この場合、撮像素子221の露光された画素毎に感知される外光の強度に応じた輝度値が、それら画素毎に対応したビームステアリング角と関連付けて撮像回路242によりデータ化されることで、反射波画像Irに含まれていてもよい。
外界カメラ24は、例えば車両3の運動推定等に活用可能な外光画像Ioを取得する、所謂車載カメラである。外界カメラ24は、車両3の外界から感知する外光に応じた外光画像Ioを、取得する。外界カメラ24は、撮像素子241及び撮像回路242を有している。
撮像回路242は、撮像素子241の構成画素において横方向に複数列の縦画素列を、それぞれ対応する走査ラインで一括露光並びに一括走査する、グローバルシャッタを実現する。撮像回路242は、撮像素子241の露光された画素毎に感知される外光の強度に応じた輝度値を、それら画素毎に対応した画素角と関連付けてデータ化することで、外光画像Ioを取得する。
外界カメラ24において全ての走査ラインが走査されるグローバルシャッタフレームFoには、レーダセンサ22において全ての走査ラインが走査されるローリングシャッタフレームFrに対して、短いフレーム期間と、近接した開始タイミングとが、設定されている。そこで、図3に示すようにフレームFo,Frの開始タイミングが正確に同期されている場合に、外光画像Ioと比べて反射波画像Irは、図4に示すように見かけ上、車両3の走行側とは逆側に圧縮且つ当該圧縮分だけ余分に外界を観測して、取得されることになる。尚、図4は、各画像Ir,Ioそのものではなく、各画像Ir,Ioに映る外界範囲を模式的に示している。
図1に示すように第一実施形態の同期装置1は、例えばLAN(Local Area Network)、ワイヤハーネス及び内部バス等のうち少なくとも一種類を介して、センサ系2の各構成要素20,22,24に接続されている。同期装置1は、少なくとも一つの専用コンピュータを含んで構成される。同期装置1を構成する専用コンピュータは、車両3の自己位置を推定するロケータのECU(Electronic Control Unit)であってもよい。同期装置1を構成する専用コンピュータは、車両3の高度運転支援又は自動運転を制御するECUであってもよい。同期装置1を構成する専用コンピュータは、車両3と外界との間の通信を制御するECUであってもよい。
同期装置1は、こうした専用コンピュータを含んで構成されることで、メモリ10及びプロセッサ12を、少なくとも一つずつ有している。メモリ10は、コンピュータにより読み取り可能なプログラム及びデータを非一時的に記憶する、例えば半導体メモリ、磁気媒体及び光学媒体等のうち少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。プロセッサ12は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)及びRISC(Reduced Instruction Set Computer)-CPU等のうち少なくとも一種類を、コアとして含む。プロセッサ12は、メモリ10に記憶された同期プログラムに含まれる複数の命令を、実行する。これにより同期装置1は、レーダセンサ22と外界カメラ24とに対する同期処理を遂行するための複数の機能ブロックを、図2に示すように構築する。尚、以下の説明では、レーダセンサ22及び外界カメラ24に対する同期処理を単に、同期処理という。
同期装置1により構築される複数の機能ブロックには、誤差補正ブロック100、運動補償ブロック110、変化量算出ブロック120、画像推定ブロック130、差分抽出ブロック140、処理判定ブロック160及び同期予測ブロック180が含まれる。
誤差補正ブロック100には、時刻kにて慣性センサ20により取得された最新の慣性情報Ibが、入力される。それと共に誤差補正ブロック100には、各種の航法演算のうち少なくとも一種類により時刻kに関して推定された最新のバイアス誤差Bが、入力される。ここで時刻kは、グローバルシャッタフレームFoの開始タイミング(図3参照)を表している。
こうした入力を受けて誤差補正ブロック100は、最新の慣性情報Ibに対して、最新のバイアス誤差Bを補正する。この補正は、慣性情報Ibからバイアス誤差Bを減算することで、実現される。
図2に示す運動補償ブロック110には、誤差補正ブロック100によりバイアス誤差Bの補正された時刻kでの慣性情報Ibが、入力される。それと共に運動補償ブロック110には、時刻kを開始タイミングとするグローバルシャッタフレームFo内にレーダセンサ22により取得された最新の反射波画像Irが、入力される。図5に示すように最新の反射波画像Irは、走査ライン毎の各画素に関して、距離値Lr[k,i,j]と、ビームステアリング角θr[k,i,j]及びψr[k,i,j]とを、最新データ値として含む。
ここで[k,i,j]は、時刻kと、走査ライン毎の並び順且つ走査順を表す走査番号iと、走査ライン毎の各画素を表す画素番号jとにより、最新データ値Lr,θr,ψrを特定するインデックスである。即ちLr[k,i,j],θr[k,i,j]及びψr[k,i,j]は、下記数1の時刻h(図3参照)を走査タイミングとする走査ライン毎の最新データ値として、運動補償ブロック110へ入力される。
ここで上記数1は、フレームFo,Frの開始タイミング間での同期ずれ時間Tを加味した時刻hを、時刻kと走査番号iと走査ライン間での時間間隔Δh(図5参照)とを用いて近似的に定義している。そこで図6に示すようにθr[k,i,j]は、レーザ素子220により照射されてから撮像素子221のうち番号i,jでの特定画素により時刻hにて感知されるレーザ光に関して、鉛直方向におけるビームステアリング角を表している。一方でψr[k,i,j]は、レーザ素子220により照射されてから撮像素子221のうち番号i,jでの特定画素により時刻hにて感知されるレーザ光に関して、横方向におけるビームステアリング角を、表している。
こうした入力を受けて運動補償ブロック110は、反射波画像Irの最新データ値に対して、グローバルシャッタフレームFo内での車両3の運動(図3参照)による移動量を、バイアス誤差Bの補正された慣性情報Ibに基づき、補償する。具体的に運動補償ブロック110は、バイアス誤差Bの補正された慣性情報Ibに基づく各種の航法演算のうち少なくとも一種類により、時刻kにおける車両3の自己位置P[k,i]及び方向余弦行列C[k,i]を算出する。
ここで[k,i]は、時刻kと走査番号iとにより、算出結果P,Cを特定するインデックスである。即ちP[k,i]及びC[k,i]は、同一走査ラインの画素同士では共通に算出される。そこで運動補償ブロック110は、最新データ値Lr[k,i,j]、θr[k,i,j]及びψr[k,i,j]に対して、グローバルシャッタフレームFo内では走査番号i毎に変化する車両3の移動量を、算出結果P[k,i]及びC[k,i]を用いた下記数2により補償する。その結果として運動補償ブロック110は、走査ライン毎の各画素に関して、下記数2の三次元極座標R[k,i,j]を算出する。このとき、算出された三次元極座標R[k,i,j]は、車両3の移動量が補償された反射波画像Irの最新データ値として、時刻kと関連付けてメモリ10に記憶される。尚、以下の説明では、グローバルシャッタフレームFo内での車両3の移動量を単に、車両移動量という。
図2に示す変化量算出ブロック120には、運動補償ブロック110により車両移動量を補償されてメモリ10に記憶された最新及び前回の反射波画像Irが、入力される(即ち、読み出される)。この入力を受けて変化量算出ブロック120は、グローバルシャッタフレームFo間における反射波画像Irの時間変化量ΔR[k,i,j]を、算出する。具体的に変化量算出ブロック120は、開始タイミングの前後するグローバルシャッタフレームFoにそれぞれ取得された最新及び前回の反射波画像Irを、時刻以外のインデックスが共通の三次元極座標R同士にて、下記数3により対比する。その結果として変化量算出ブロック120は、時刻kでの最新の微分値となる時間変化量ΔR[k,i,j]を、各画素に関して算出する。
ここで上記数3は、今回時刻kに開始のグローバルシャッタフレームFoにおける座標R[k,i,j]と、前回時刻k-1に開始のグローバルシャッタフレームFoにおける座標R[k-1,i,j]とを用いて、それら座標間の差分により変化量ΔR[k,i,j]を定義している。そこで変化量算出ブロック120は、今回及び前回の同期処理にて先立つブロック100,110での補正及び補償により算出された三次元極座標R[k,i,j]及びR[k-1,i,j]を、用いる。但し、始動した車両3の走行開始から初回の同期処理に限って変化量算出ブロック120は、当該初回前にブロック100,110での補正及び補償を経て算出される三次元極座標R[k-1,i,j]を、当該初回の三次元極座標R[k,i,j]と共に用いる。
図2に示す画像推定ブロック130には、変化量算出ブロック120により算出された最新の時間変化量ΔR[k,i,j]が、入力される。それと共に画像推定ブロック130には、運動補償ブロック110により車両移動量を補償されてメモリ10に記憶された最新の反射波画像Irが、入力される(即ち、読み出される)。さらに変化量算出ブロック120には、後に詳述するように同期予測ブロック180により予測されることでメモリ10に記憶された最新の同期ずれ時間Tが、入力される(即ち、読み出される)。
こうした入力を受けて画像推定ブロック130は、グローバルシャッタフレームFoの開始タイミングを時刻kとして、最新の同期ずれ時間Tがその符号の向きに時刻kからずれたタイミング(即ち、時刻k+T)を、図7に示す如く同期タイミングtsに設定する。尚、図7は、同期ずれ時間Tの符号がプラス(+)の場合の反射波画像Irそのものではなく、当該画像Irに映る外界範囲を模式的に示している。そこで画像推定ブロック130は、この同期タイミングtsにおける反射波画像Irを、時刻kでの時間変化量ΔR[k,i,j]に基づき推定する。具体的に画像推定ブロック130は、時間変化量ΔR[k,i,j]と同期ずれ時間Tとを用いた下記数4により、最新の反射波画像Irにおける三次元極座標R[k,i,j]を変換する。その結果として画像推定ブロック130は、同期タイミングtsにおける反射波画像Irの推定極座標Rp[k,i,j]を、各画素に関して算出する。
ここで上記数4は、今回時刻kに開始のグローバルシャッタフレームFoにおける座標R[k,i,j]と、同時刻kでの変化量ΔR[k,i,j]及び同期ずれ時間Tと、同フレームFoのフレーム期間Δkとを用いて、同期タイミングtsでの座標Rp[k,i,j]を推定している。そこで画像推定ブロック130は、同期タイミングtsでの推定データ値として、推定極座標Rp[k,i,j]を含む反射波画像Irを、生成するのである。
図2に示すように差分抽出ブロック140は、反射波画像Ir及び外光画像Ioをそれぞれ前処理するサブブロック142,144と、それら前処理された画像Ir,Io同士を対比処理するサブブロック146とを、有している。
差分抽出ブロック140におけるサブブロック142には、運動補償ブロック110により算出された自己位置P[k,i]及び方向余弦行列C[k,i]のうち、時刻kに対応する自己位置P[k,1]及び方向余弦行列C[k,1]が、入力される。それと共にサブブロック142には、画像推定ブロック130により推定された同期タイミングtsでの反射波画像Irが、入力される。
こうした入力を受けてサブブロック142は、グローバルシャッタフレームFoの開始タイミングである時刻kからのずれ分を、反射波画像Irに対して補償する。具体的にサブブロック142は、同期タイミングtsでの反射波画像Irの推定データ値として画像推定ブロック130により算出された各画素の推定極座標Rp[k,i,j]を、下記数5の三次元直交座標Rr[k,i,j]へそれぞれ変換する。
ここで上記数5は、グローバルシャッタフレームFoの開始タイミングである時刻kでの方向余弦行列C[k,1]の転置行列CT[k,1]と、同フレームFo内の推定極座標Rp[k,i,j]とを用いて、三次元直交座標Rr[k,i,j]を定義している。そこでサブブロック142は、座標変換された反射波画像Irの最新データ値となる各画素の三次元直交座標Rr[k,i,j]に対してさらに、時刻hにおける時刻kからのずれ分を、時刻kでの自己位置P[k,1]を用いた下記数6により補償する。その結果としてサブブロック142は、各画素に対応するレーザ光反射点を時刻kに車両3から観た場合の相対的な位置情報として、下記数6の相対直交座標x,y,zを算出する。
サブブロック142はさらに、算出した各画素の相対直交座標x,y,zを、下記数7~9により変換する。その結果としてサブブロック142は、距離値Lr[k,i,j]と、ビームステアリング角θr[k,i,j]及びψr[k,i,j]とを、時刻kに合わせてずれの補償された反射波画像Irの最新データ値として、算出する。
図2に示す差分抽出ブロック140においてサブブロック144には、サブブロック142により算出された反射波画像Irの最新データ値のうちビームステアリング角θr[k,i,j]及びψr[k,i,j]が、入力される。それと共にサブブロック144には、時刻kを開始タイミングとするグローバルシャッタフレームFo内に外界カメラ24により取得された最新の外光画像Ioが、入力される。図8に示すように最新の外光画像Ioは、走査ライン毎の各画素に関して、輝度値So[k,m,n]と、画素角θo[k,m,n]及びψo[k,m,n]とを、最新データ値として含む。
ここで[k,m,n]は、時刻kと、走査ライン毎の並び順を表す走査番号mと、走査ライン毎の各画素を表す画素番号nとにより、最新データ値So,θo,ψoを特定するインデックスである。ここで、外光画像Ioに関する走査番号mの最大値は、反射波画像Irに関する走査番号iの最大値よりも大きく、また外光画像Ioに関する画素番号nの最大値は、反射波画像Irに関する画素番号jの最大値よりも大きい。即ち外光画像Ioは、反射波画像Irよりも多い画素数にて高精細に生成される。
また、図9に示すようにθo[k,m,n]は、撮像素子241のうち番号m,nでの特定画素により時刻kにて感知される外光に関して、鉛直方向における画素角を表している。一方でψo[k,i,j]は、撮像素子241のうち番号m,nでの特定画素により時刻kにて感知される外光に関して、横方向における画素角を表している。
こうした入力を受けてサブブロック144は、反射波画像Irと外光画像Ioとのうち、高精細側を低精細側に合わせて補間する。即ちサブブロック144は、高精細側の外光画像Ioを低精細側の反射波画像Irに対して、補間によりマッチングさせる。具体的にサブブロック144は、各画素でのビームステアリング角θr[k,i,j]及びψr[k,i,j]に対して、それぞれ下記数10,11を満たすインデックスの画素角θo及びψoを、図8の如く探索する。
ここで上記数10は、横方向に相互隣接する画素のインデックスを、[k,m,n]及び[k,m+1,n]と表記している。この表記下にて上記数10は、θo[k,m,n]及びθo[k,m+1,n]を用いて、ビームステアリング角θr[k,i,j]の探索条件を定義している。一方で上記数11は、鉛直方向に相互隣接する画素のインデックスを、[k,m,n]及び[k,m,n+1]と表記している。この表記下にて上記数11は、画素角θo[k,m,n]及びθo[k,m,n+1]を用いて、ビームステアリング角ψr[k,i,j]の探索条件を定義している。これらのことからサブブロック144は、各画素でのビームステアリング角θr[k,i,j]及びψr[k,i,j]に外光画像Io上にて該当する座標の輝度値So[k,i,j]を、下記数12~14の内分補間(図8参照)により算出する。
ここで上記数12は、横方向に相互隣接する画素のインデックスを、[k,m,n]及び[k,m+1,n]と表記している。この表記下にて上記数12は、画素角θo[k,m,n]及びθo[k,m+1,n]と、それぞれ対応する輝度値So[k,m,n]及びSo[k,m+1,n]と、ビームステアリング角θr[k,i,j]とを用いて、変数S1を定義している。
一方で上記数13は、鉛直方向に相互隣接する画素のインデックスを、[k,m,n]及び[k,m,n+1]と表記している。また上記数13は、横方向に相互隣接する画素のインデックスを[k,m,n]及び[k,m+1,n]と表記した場合に、後者[k,m+1,n]の画素とは鉛直方向に隣接する画素のインデックスを[k,m+1,n+1]と表記している(図8参照)。換言すれば上記数13は、鉛直方向に相互隣接する画素のインデックスを[k,m,n]及び[k,m,n+1]と表記した場合に、後者[k,1,n+1]の画素とは横方向に隣接する画素のインデックスを[k,m+1,n+1]と表記しているともいえる(図8参照)。これらの表記下にて上記数13は、画素角θo[k,m,n+1]及びθo[k,m+1,n+1]と、それぞれ対応する輝度値So[k,m,n+1]及びSo[k,m+1,n+1]と、ビームステアリング角θr[k,i,j]とを用いて、変数S2を定義している。
さらに上記数14は、鉛直方向に相互隣接する画素のインデックスを、[k,m,n]及び[k,m,n+1]と表記している。この表記下にて上記数14は、画素角ψo[k,m,n]及びψo[k,m,n+1]と、上記数12,13の変数S1,S2と、ビームステアリング角ψr[k,i,j]とを用いて、補間された外光画像Ioの輝度値So[k,i,j]を定義している。
図2に示す差分抽出ブロック140においてサブブロック146には、サブブロック142により算出された反射波画像Irの最新データ値として、距離値Lr[k,i,j]が入力される。この入力を受けてサブブロック146は、距離値Lr[k,i,j]に対する各種のフィルタ処理のうち少なくとも一種類により、最新の反射波画像Irにおけるエッジを抽出する。その結果としてサブブロック146は、抽出したエッジに対応する各画素に関して、横方向又は鉛直方向に相互隣接する画素同士での距離値Lr[k,i,j]の差を、エッジ画像値Lre[k,i,j]として算出する。
サブブロック146には、サブブロック144により補間された外光画像Ioの最新データ値として、輝度値So[k,i,j]が入力される。この入力を受けてサブブロック146は、輝度値So[k,i,j]に対する各種のフィルタ処理のうち少なくとも一種類により、最新の外光画像Ioにおけるエッジを抽出する。その結果としてサブブロック146は、抽出したエッジに対応する各画素に関して、横方向又は鉛直方向に相互隣接する画素同士での輝度値So[k,i,j]の差を、エッジ画像値Soe[k,i,j]として算出する。
サブブロック146は、こうした算出されたエッジ画像値Lre[k,i,j]及びSoe[k,i,j]に関して、互いに対応する各画素毎に反射波画像Irと外光画像Ioとを対比することで、それら画像Io,Irの差分E[k,i,j]を抽出する。具体的にサブブロック146は、インデックスの同じエッジ画像値Lre[k,i,j]及びSoe[k,i,j]同士を、それぞれのバラツキ範囲により正規化してから対比する下記数15により、それら画像値間の差分E[k,i,j]を算出する。即ちサブブロック146は、反射波画像Irと外光画像Ioとのエッジに関する画像値Lre[k,i,j]及びSoe[k,i,j]同士をそれぞれのバラツキ範囲により正規化してから、それらエッジ同士の対比並びに差分抽出を実行する。
ここで上記数15の右辺第一項は、反射波画像Irにおけるエッジ画像値Lre[k,i,j]の最大値及び最小値を、それぞれLremax[k,i,j]及びLremin[k,i,j]と表記している。この表記下にて上記数15の右辺第一項は、最大値Lremax[k,i,j]から最小値Lremin[k,i,j]を差し引いたバラツキ範囲により、エッジ画像値Lre[k,i,j]を正規化(即ち、無次元化)している。
一方で上記数15の右辺第二項は、外光画像Ioにおけるエッジ画像値Soe[k,i,j]の最大値及び最小値を、それぞれSoemax[k,i,j]及びSoemin[k,i,j]と表記している。この表記下にて上記数15の右辺第一項は、最大値Soemax[k,i,j]から最小値Soemin[k,i,j]を減算したバラツキ範囲により、エッジ画像値Soe[k,i,j]を正規化(即ち、無次元化)している。
図2に示す処理判定ブロック160には、差分抽出ブロック140のうちサブブロック146により抽出された最新の画像Io,Ir同士における差分E[k,i,j]が、入力される。この入力を受けて処理判定ブロック160は、同期予測ブロック180による同期ずれ時間Tの予測まで同期処理を差し戻すか否かを、差分E[k,i,j]に基づき判定する。
このとき、互いに対応するエッジ同士の各画素毎に差分E[k,i,j]を2乗和した値が許容範囲内にある場合には、同期ずれ時間Tの予測が正確であるとして、差し戻しは不要との判定を処理判定ブロック160が下す。差し戻し不要との判定が下された場合の同期ずれ時間Tは、例えば車両3の運動推定等に活用される際に、レーダセンサ22と外界カメラ24との同期が実現される。尚、以下の説明では、各画素毎に差分E[k,i,j]を2乗和した値を単に、差分E[k,i,j]の2乗和という。
これに対して、差分E[k,i,j]の2乗和が許容範囲外にある場合には、同期ずれ時間Tの予測が不正確であるとして、差し戻しを要するとの判定を処理判定ブロック160が下す。差戻し要との判定が下された場合の同期ずれ時間Tは、後に詳述する同期予測ブロック180により、メモリ10に記憶の最新値とは異なる値へ予測し直される。
ここで、同期予測ブロック180の判定基準となる許容範囲は、差分E[k,i,j]として正確と判断可能な値の上限を閾値として、当該閾値以下の数値範囲に設定されてもよい。許容範囲は、差分E[k,i,j]としては不正確と判断すべき値の下限を閾値として、当該閾値未満の数値範囲に設定されてもよい。
図2に示す同期予測ブロック180には、始動した車両3の走行開始から初回の同期処理要との判断に伴って、メモリ10に記憶されている同期ずれ時間Tの初期値が、入力される(即ち、読み出される)。この入力を受けて同期予測ブロック180は、時刻kにおける最新の同期ずれ時間Tを初期値に仮予測して、メモリ10に記憶する。ここで同期ずれ時間Tの初期値は、予め設定された固定値であってもよい。同期ずれ時間Tの初期値は、過去の同期処理にて予測された可変値であってもよい。
同期予測ブロック180には、処理判定ブロック160により差し戻し要との判定が下された場合に、不正確予測の同期ずれ時間Tがメモリ10から入力される(即ち、読み出される)。この入力を受けて同期予測ブロック180は、不正確予測の同期ずれ時間Tにずれ調整値を加算することで、時刻kにおける最新の同期ずれ時間Tを再予測して、メモリ10に記憶する。このとき同期予測ブロック180は、今回及び前回の同期処理にて抽出された差分E[k,i,j]の2乗和間での増減結果に応じて、ずれ調整値の符号及び初期値からの可変量を調整する。そこで同期予測ブロック180には、差し戻し要との判定が下された場合に、メモリ10に記憶されているずれ調整値の初期値も、入力される(即ち、読み出される)。ここでずれ調整値の初期値は、予め設定された固定値であってもよい。ずれ調整値の初期値は、過去の同期処理にて予測された可変値であってもよい。
以上より第一実施形態では、運動補償ブロック110が「運動補償部」が相当し、変化量算出ブロック120が「変化量算出部」に相当し、画像推定ブロック130が「画像推定部」が相当する。さらに第一実施形態では、差分抽出ブロック140が「差分抽出部」に相当し、処理判定ブロック160が「処理判定部」に相当し、同期予測ブロック180が「同期予測部」に相当する。
ここまで説明した機能ブロック100,110,120,130,140,160,180の共同により、同期装置1が同期処理を遂行して実現される同期方法のフローを、図10に従って以下に説明する。尚、本フローは、始動した車両3の走行開始後に繰り返されるグローバルシャッタフレームFo毎に、実行される。また、本フローにおいて各「S」とは、同期プログラムに含まれた複数命令により実行される複数ステップを、それぞれ意味する。さらに、以下の説明においてインデックスの表記は、省略されている。
S101において同期予測ブロック180は、グローバルシャッタフレームFoの開始される時刻kにてレーダセンサ22と外界カメラ24との間に生じている同期ずれ時間Tを、メモリ10に記憶された初期値に仮予測して、メモリ10に記憶する。
S102において誤差補正ブロック100は、慣性センサ20により時刻kに取得された最新の慣性情報Ibに対して、最新のバイアス誤差Bを補正する。S103において運動補償ブロック110は、時刻kに開始されたグローバルシャッタフレームFo内にレーダセンサ22により取得された最新の反射波画像Irに対して、同フレームFo内での車両移動量を、補償する。このときの補償は、S102によりバイアス誤差Bの補正された慣性情報Ibに、基づく。
S104において変化量算出ブロック120は、グローバルシャッタフレームFo間における反射波画像Irの時間変化量ΔRとして、車両移動量の補償された最新及び前回画像Ir間の変化量ΔRを算出する。尚、始動した車両3の走行開始から初回の同期処理を遂行する本フローの実行前には、S101と同様な補正及びS102と同様な補償がそれぞれ一回ずつ実行されることで、当該初回における時間変化量ΔRに必要な三次元極座標Rが算出されている。
S105において画像推定ブロック130は、時刻kにおけるグローバルシャッタフレームFoの開始タイミングから、S101又は後述のS110により直前に予測された最新の同期ずれ時間T分をずらした同期タイミングtsでの反射波画像Irを、推定する。このときの画像推定は、S104により算出された時間変化量ΔRに、基づく。
S106において差分抽出ブロック140のサブブロック142は、S105により推定された同期タイミングtsでの反射波画像Irに対して、グローバルシャッタフレームFoの開始タイミングである時刻kからのずれ分を、補償する。
S107において差分抽出ブロック140のサブブロック144は、時刻kに開始されたグローバルシャッタフレームFo内に外界カメラ24により取得された最新の外光画像Ioを、S106によりずれ補償された反射波画像Irに合わせて、補間する。このときの補間は、高精細側の外光画像Ioを低精細側の反射波画像Irに合わせて、マッチングさせる。
S108において差分抽出ブロック140のサブブロック146は、S106によりずれ補償された反射波画像Irと、S107により補間された外光画像Ioとを、対比することで差分Eを抽出する。このときの対比並びに差分抽出は、反射波画像Irと外光画像Ioとのエッジに関する画像値Lre,Soeがそれぞれのバラツキ範囲により正規化されてから、それらエッジ同士に対して実行される。
S109において処理判定ブロック160は、同期ずれ時間Tの予測まで同期処理を差し戻すか否かを、S108により抽出された差分Eに基づき、判定する。その結果、差戻し不要との判定が下された場合、本フローが終了する。
一方で差し戻し要との判定が下された場合、S110において同期予測ブロック180は、時刻kでの同期ずれ時間Tを再予測してメモリ10に記憶してから、再度S102を実行させる。このときの再予測は、今回及び前回の同期処理にて抽出された差分E間での増減結果に応じて、不正確予測の同期ずれ時間Tに加算するずれ調整値の可変量を調整することで、実現される。
以上より第一実施形態では、S101,S110が「予測プロセス」に相当し、S103が「補償プロセス」に相当し、S104が「算出プロセス」に相当する。また第一実施形態では、S105が「推定プロセス」に相当し、S106,S107,S108が「抽出プロセス」に相当し、S109が「判定プロセス」に相当する。
(作用効果)
以上説明した第一実施形態の作用効果を、以下に説明する。
以上説明した第一実施形態の作用効果を、以下に説明する。
第一実施形態の同期処理によると、外界カメラ24におけるグローバルシャッタフレームFoの開始タイミングからレーダセンサ22及び外界カメラ24間の同期ずれ時間Tがずれた同期タイミングtsでの反射波画像Irは、同フレームFo間における反射波画像Irの時間変化量ΔRに基づき推定される。この同期タイミングtsでの反射波画像Irが外光画像Ioと対比されることにより抽出される差分Eは、同期ずれ時間Tの予測が正確なほど、小さくなる。そこで、同期ずれ時間Tの予測まで同期処理を差し戻すか否かが、反射波画像Irと外光画像Ioとの差分Eに基づき判定されることによれば、同期ずれ時間Tが正確に予測されるまで同期処理が繰り返され得る。故に、レーダセンサ22と外界カメラ24とを高精度に同期させることが可能である。
第一実施形態による反射波画像Irは、グローバルシャッタフレームFoの開始タイミングからのずれ分を補償されてから、外光画像Ioと対比される。これによれば、グローバルシャッタフレームFo内に取得された反射波画像Irは、同フレームFoの開始タイミングにて外光画像Ioと共に取得された画像となるように、補償され得る。即ち、補償された反射波画像Irは、外光画像Ioと実質同時に取得と擬制され得ることから、それら画像Ir,Ioの対比により正確に差分Eを抽出して、レーダセンサ22と外界カメラ24とを高精度に同期させることが可能となる。
第一実施形態によると、グローバルシャッタのフレームFo間における反射波画像Irの変化量算出に先立って、同フレームFo内での車両移動量が反射波画像Irに対して補償される。これによれば、グローバルシャッタのフレームFo内に(具体的にはローリングシャッタのフレームFr毎に)、変化する車両移動量を補償した上での時間変化量ΔRが、算出されることになる。故に、そうした時間変化量ΔRに基づき予測される同期タイミングtsの反射波画像Irからは、外光画像Ioとの差分Eを正確に抽出して、レーダセンサ22と外界カメラ24とを高精度に同期させることが可能となる。
第一実施形態による反射波画像Irと外光画像Ioとは、高精細側を低精細側に合わせて補間されてから、対比される。これによれば、精細度の違いによる画像Ir,Io同士のアンマッチングを解消した上で対比により、正確に差分Eを抽出することができるので、レーダセンサ22と外界カメラ24とを高精度に同期させることが可能となる。
第一実施形態による反射波画像Irと外光画像Ioとは、エッジ同士を対比される。これによれば、対比の容易なエッジ同士からは差分Eを正確に抽出し易くなるので、レーダセンサ22と外界カメラ24とを高精度に同期させることが可能となる。
第一実施形態による反射波画像Irと外光画像Ioとは、画像値Lre,Soe同士をそれぞれのバラツキ範囲により正規化されてから、対比される。これによれば、正規化の結果としてスケール合わせされた画像値Lre,Soe同士の対比により、正確に差分Eを抽出することができるので、レーダセンサ22と外界カメラ24とを高精度に同期させることが可能となる。
(第二実施形態)
図11に示すように第二実施形態は、第一実施形態の変形例である。
図11に示すように第二実施形態は、第一実施形態の変形例である。
第二実施形態のレーダセンサ2022は、例えば車両3の運動推定等に活用可能な反射波画像Irを取得する、所謂イメージングレーダである。レーダセンサ2022は、車両3の外界から電磁波としてのミリ波(電波)の照射により得られる反射波に応じた反射波画像Irを、取得する。レーダセンサ2022は、送信アンテナ2220、受信アンテナ2221及び撮像回路2222を有している。
撮像回路2222は、アレイ状に配置される複数の送信アンテナ2220から、車両3の外界へ向かう電磁波として、ミリ波をパルスビーム状に照射制御する。このミリ波照射に伴って撮像回路2222は、アレイ状に配置される複数の受信アンテナ2221に対応した構成画素において横方向に複数列の縦画素列を、それぞれ対応する走査ライン毎に走査する。撮像回路2222は、ミリ波照射時点からの、感知した反射波の到達時間に応じた、当該反射波の反射点までの距離値を、画素毎に対応したビームステアリング角と関連付けてデータ化することで、反射波画像Irを取得する。
第二実施形態の差分抽出ブロック2140には、外光画像Ioを前処理するサブブロック2145が、追加されている。サブブロック2145には、サブブロック144により補間された外光画像Ioが、入力される。この入力を受けてサブブロック2145は、補間された外光画像Ioから、レーダセンサ2220による物体捕捉率の高い特定物標を、抽出する。
ここで、レーダセンサ2220による物体捕捉率の高い特定物標とは、理想的には、外界の物体部分のうち、車両3から視て奥方向に凹んだコーナ部分を、意味する。但し、外光画像Ioからは、外界の物体部分のうち、車両3から視て奥方向に凹んだコーナ部分と、車両3から視て手前方向に凸のコーナ部分とを、判別することが難しい。そこでサブブロック2145は、外界の物体部分のうち凹んだコーナ部分と凸のコーナ部分との両方を、外光画像Ioから抽出する。
第二実施形態の差分抽出ブロック2140は、第一実施形態のサブブロック146に代えて、前処理された画像Ir,Io同士を対比処理するサブブロック2146を、有している。サブブロック2146には、サブブロック2145により外光画像Ioから抽出された特定物標の特徴量である最新データ値として、輝度値So[k,i,j]が入力される。
この入力以外の機能についてサブブロック2146は、第一実施形態のサブブロック146と同様の機能を実現する。その結果、反射波画像Irと外光画像Ioとの対比は、それら画像Ir,Ioに映る特定物標、即ちコーナ部分に関して実現される。
第二実施形態による同期装置1のフローでは、図12に示すように、第一実施形態のS108に代えて、S2110,S2111が順次実行される。S2110において差分抽出ブロック2140のサブブロック2146は、S107により補間された外光画像Ioから、レーダセンサ2220による物体捕捉率が高い特定物標を、抽出する。
S2111において差分抽出ブロック2140のサブブロック2146は、S106によりずれ補償された反射波画像Irと、S2110により抽出された外光画像Ioの特定物標とを、対比することで差分Eを抽出する。このときの対比並びに差分抽出は、反射波画像Irと外光画像Ioとの特定物標同士のエッジに関する画像値Lre,Soeがそれぞれのバラツキ範囲により正規化されてから、それらエッジ同士に対して実行される。
以上より第二実施形態では、差分抽出ブロック140,2140が「差分抽出部」に相当し、S106,S107,S2110,S2111が「抽出プロセス」に相当する。
ここまで説明した第二実施形態によると、車両3の外界へ照射する電磁波が赤外線レーザ光となる第一実施形態のレーダセンサ22に代えて、当該電磁波がミリ波となるレーダセンサ2022を用いても、第一実施形態と同様の作用効果を発揮することが可能となる。
(他の実施形態)
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
変形例における同期装置1は、デジタル回路及びアナログ回路のうち少なくとも一方をプロセッサとして含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)、及びCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、備えていてもよい。
変形例における誤差補正ブロック100及びS102は、省略されてもよい。この場合における運動補償ブロック110及びS103では、慣性センサ20により時刻kに取得された最新の慣性情報Ibに基づき、車両移動量が補償されてもよい。
変形例における差分抽出ブロック140,2140のサブブロック142及びS106では、反射波画像Irにおける時刻kからのずれ分が、外光画像Ioにおいて補償されてもよい。変形例における反射波画像Irは、外光画像Ioよりも高精細であってもよい。この場合における差分抽出ブロック140,2140のサブブロック144及びS107では、高精細側の反射波画像Irが低精細側の外光画像Ioに合わせて補間されてもよい。
変形例における差分抽出ブロック140,2140のサブブロック142,146,2146及びS106,S108,S2111では、反射波画像Irの距離値Lrと関連付けて同画像Irに含まれる輝度値又は強度値が、当該距離値Lrに代えて用いられてもよい。変形例における差分抽出ブロック140,2140のサブブロック146,2146及びS108,S2111では、反射波画像Irの距離値Lrと外光画像Ioの輝度値Soがそのまま画像値として、対比並びに差分抽出へ供されてもよい。変形例における差分抽出ブロック140,2140のサブブロック146,2146及びS108,S2111では、反射波画像Irと外光画像Ioとのうち、一方が他方に合わせて正規化されてから、対比並びに差分抽出へ供されてもよい。
変形例におけるレーダセンサ22は、グローバルシャッタにより反射波画像Irを取得する構成であってもよい。この場合のさらなる変形例では、ブロック100,110,142及びS102,S103,S106が省略されてもよい。ここで、さらなる変形例のサブブロック144及びS107では、グローバルシャッタフレームFo内に取得の最新画像Ir,Ioのうち、高精細側が低精細側に合わせて補間されるとよい。また、さらなる変形例のサブブロック146及びS108では、グローバルシャッタフレームFo内に取得の最新画像Ir,Io同士が対比されるとよい。
Claims (18)
- 電磁波を照射することにより得られる反射波に応じた反射波画像(Ir)を取得するレーダセンサ(22,2022)と、外界から感知する外光に応じた外光画像(Io)を取得する外界カメラ(24)と、を搭載した車両(3)において、前記レーダセンサ及び前記外界カメラに対する同期処理を遂行する同期装置(1)であって、
前記レーダセンサ及び前記外界カメラ間の同期ずれ時間(T)を予測する同期予測部(180)と、
前記外界カメラのシャッタフレーム(Fo)間における前記反射波画像の時間変化量(ΔR)を算出する変化量算出部(120)と、
前記同期予測部により予測される前記同期ずれ時間が前記シャッタフレームの開始タイミングからずれた同期タイミング(ts)での前記反射波画像を、前記変化量算出部により算出される前記時間変化量に基づき推定する画像推定部(130)と、
前記画像推定部により推定される前記同期タイミングでの前記反射波画像と、前記外光画像とを対比することにより、それら画像の差分(E)を抽出する差分抽出部(140,2140)と、
前記同期予測部による前記同期ずれ時間の予測まで前記同期処理を差し戻すか否かを、前記差分抽出部により算定される前記差分に基づき判定する処理判定部(160)と、を備える同期装置。 - 前記差分抽出部は、前記反射波画像に対して前記シャッタフレームの前記開始タイミングからのずれ分を補償してから、前記反射波画像を前記外光画像と対比する請求項1に記載の同期装置。
- 前記変化量算出部による前記時間変化量の算出に先立って、前記シャッタフレーム内での前記車両の運動による移動量を、前記反射波画像に対して補償する運動補償部(110)を、さらに備える請求項2に記載の同期装置。
- 前記差分抽出部は、前記反射波画像と前記外光画像とのうち高精細側を低精細側に合わせて補間してから、それら画像を対比する請求項1~3のいずれか一項に記載の同期装置。
- 前記差分抽出部は、前記反射波画像と前記外光画像とのエッジ同士を対比する請求項1~4のいずれか一項に記載の同期装置。
- 前記差分抽出部は、前記反射波画像と前記外光画像との画像値(Lre,Soe)同士を、それぞれのバラツキ範囲により正規化してから、対比する請求項1~5のいずれか一項に記載の同期装置。
- 電磁波を照射することにより得られる反射波に応じた反射波画像(Ir)を取得するレーダセンサ(22)と、外界から感知する外光に応じた外光画像(Io)を取得する外界カメラ(24)と、を搭載した車両(3)において、前記レーダセンサ及び前記外界カメラに対する同期処理を遂行する同期方法であって、
前記レーダセンサ及び前記外界カメラ間の同期ずれ時間(T)を予測する予測プロセス(S101,S110)と、
前記外界カメラのシャッタフレーム(Fo)間における前記反射波画像の時間変化量(ΔR)を算出する算出プロセス(S104)と、
前記予測プロセスにより予測される前記同期ずれ時間が前記シャッタフレームの開始タイミングからずれた同期タイミング(ts)での前記反射波画像を、前記算出プロセスにより算出される前記時間変化量に基づき推定する推定プロセス(S105)と、
前記推定プロセスにより推定される前記同期タイミングでの前記反射波画像と、前記外光画像とを対比することにより、それら画像の差分(E)を抽出する抽出プロセス(S106,S107,S108,S2110,S2111)と、
前記予測プロセスによる前記同期ずれ時間の予測まで前記同期処理を差し戻すか否かを、前記抽出プロセスにより抽出される前記差分に基づき判定する判定プロセス(S109)と、を含む同期方法。 - 前記抽出プロセスは、前記反射波画像に対して前記シャッタフレームの前記開始タイミングからのずれ分を補償してから、前記反射波画像を前記外光画像と対比する請求項7に記載の同期方法。
- 前記算出プロセスによる前記時間変化量の算出に先立って、前記シャッタフレーム内での前記車両の運動による移動量を、前記反射波画像に対して補償する補償プロセス(S103)を、さらに含む請求項8に記載の同期方法。
- 前記抽出プロセスは、前記反射波画像と前記外光画像とのうち高精細側を低精細側に合わせて補間してから、それら画像を対比する請求項7~9のいずれか一項に記載の同期方法。
- 前記抽出プロセスは、前記反射波画像と前記外光画像とのエッジ同士を対比する請求項7~10のいずれか一項に記載の同期方法。
- 前記抽出プロセスは、前記反射波画像と前記外光画像との画像値(Lre,Soe)同士を、それぞれのバラツキ範囲により正規化してから、対比する請求項7~11のいずれか一項に記載の同期方法。
- 電磁波を照射することにより得られる反射波に応じた反射波画像(Ir)を取得するレーダセンサ(22)と、外界から感知する外光に応じた外光画像(Io)を取得する外界カメラ(24)と、を搭載した車両(3)において、前記レーダセンサ及び前記外界カメラに対する同期処理を遂行するために記憶媒体(10)に格納され、プロセッサ(12)に実行させる命令を含む同期プログラムであって、
前記命令は、
前記レーダセンサ及び前記外界カメラ間の同期ずれ時間(T)を予測させる予測プロセス(S101,S110)と、
前記外界カメラのシャッタフレーム(Fo)間における前記反射波画像の時間変化量(ΔR)を算出させる算出プロセス(S104)と、
前記予測プロセスにより予測される前記同期ずれ時間が前記シャッタフレームの開始タイミングからずれた同期タイミング(ts)での前記反射波画像を、前記算出プロセスにより算出される前記時間変化量に基づき推定させる推定プロセス(S105)と、
前記推定プロセスにより推定される前記同期タイミングでの前記反射波画像と、前記外光画像とを対比させることにより、それら画像の差分(E)を抽出させる抽出プロセス(S106,S107,S108,S2110,S2111)と、
前記予測プロセスによる前記同期ずれ時間の予測まで前記同期処理を差し戻すか否かを、前記抽出プロセスにより抽出される前記差分に基づき判定させる判定プロセス(S109)と、を含む同期プログラム。 - 前記抽出プロセスは、前記反射波画像に対して前記シャッタフレームの前記開始タイミングからのずれ分を補償させてから、前記反射波画像を前記外光画像と対比させる請求項13に記載の同期プログラム。
- 前記命令は、
前記算出プロセスによる前記時間変化量の算出に先立って、前記シャッタフレーム内での前記車両の運動による移動量を、前記反射波画像に対して補償させる補償プロセス(S103)を、さらに含む請求項14に記載の同期プログラム。 - 前記抽出プロセスは、前記反射波画像と前記外光画像とのうち高精細側を低精細側に合わせて補間させてから、それら画像を対比させる請求項13~15のいずれか一項に記載の同期プログラム。
- 前記抽出プロセスは、前記反射波画像と前記外光画像とのエッジ同士を対比させる請求項13~16のいずれか一項に記載の同期プログラム。
- 前記抽出プロセスは、前記反射波画像と前記外光画像との画像値(Lre,Soe)同士を、それぞれのバラツキ範囲により正規化させてから、対比させる請求項13~17のいずれか一項に記載の同期プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019185388 | 2019-10-08 | ||
JP2019185388 | 2019-10-08 | ||
PCT/JP2020/037853 WO2021070814A1 (ja) | 2019-10-08 | 2020-10-06 | 同期装置、同期方法、同期プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021070814A1 JPWO2021070814A1 (ja) | 2021-04-15 |
JP7140291B2 true JP7140291B2 (ja) | 2022-09-21 |
Family
ID=75437520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021551661A Active JP7140291B2 (ja) | 2019-10-08 | 2020-10-06 | 同期装置、同期方法、同期プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220229184A1 (ja) |
JP (1) | JP7140291B2 (ja) |
CN (1) | CN114556157A (ja) |
WO (1) | WO2021070814A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102615478B1 (ko) * | 2019-10-24 | 2023-12-19 | 현대모비스 주식회사 | 자동차용 센서 통합 모듈 |
CN114217665A (zh) * | 2021-12-21 | 2022-03-22 | 清华大学 | 一种相机和激光雷达时间同步方法、装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019039279A1 (ja) | 2017-08-22 | 2019-02-28 | ソニー株式会社 | 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム |
US20190163198A1 (en) | 2017-11-29 | 2019-05-30 | Qualcomm Incorporated | Radar aided visual inertial odometry initialization |
JP7063861B2 (ja) | 2017-03-14 | 2022-05-09 | 株式会社トプコン | 涙液層厚み測定装置及び方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0763861A (ja) * | 1993-08-30 | 1995-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 並列計算型降雨レーダ画像予測装置 |
-
2020
- 2020-10-06 JP JP2021551661A patent/JP7140291B2/ja active Active
- 2020-10-06 WO PCT/JP2020/037853 patent/WO2021070814A1/ja active Application Filing
- 2020-10-06 CN CN202080070199.9A patent/CN114556157A/zh active Pending
-
2022
- 2022-04-05 US US17/658,073 patent/US20220229184A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7063861B2 (ja) | 2017-03-14 | 2022-05-09 | 株式会社トプコン | 涙液層厚み測定装置及び方法 |
WO2019039279A1 (ja) | 2017-08-22 | 2019-02-28 | ソニー株式会社 | 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム |
US20190163198A1 (en) | 2017-11-29 | 2019-05-30 | Qualcomm Incorporated | Radar aided visual inertial odometry initialization |
Non-Patent Citations (1)
Title |
---|
MASIH, S. et al.,"Synchronizing Multiple Data Streams by Time For Vehicle Control",2018 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV),2018年10月22日,Pages 1686 - 1691,DOI:10.1109/IVS.2018.8500470 |
Also Published As
Publication number | Publication date |
---|---|
US20220229184A1 (en) | 2022-07-21 |
JPWO2021070814A1 (ja) | 2021-04-15 |
CN114556157A (zh) | 2022-05-27 |
WO2021070814A1 (ja) | 2021-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10764517B2 (en) | Stereo assist with rolling shutters | |
EP3367677B1 (en) | Calibration apparatus, calibration method, and calibration program | |
JP5472538B2 (ja) | 距離計測装置及び環境地図生成装置 | |
JP7231054B2 (ja) | 誤差推定装置、誤差推定方法、誤差推定プログラム | |
EP2533191B1 (en) | Image processing system, image processing method, and program | |
JP7140291B2 (ja) | 同期装置、同期方法、同期プログラム | |
JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
US20210387636A1 (en) | Method for estimating distance to and location of autonomous vehicle by using mono camera | |
JP4042750B2 (ja) | 画像処理装置、コンピュータプログラム、及び画像処理方法 | |
US20220254165A1 (en) | Synchronization device, synchronization method, and non-transitory tangible computer readable storage medium | |
JP2006322795A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2004032244A (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
US20150271472A1 (en) | System and method for stereoscopic photography | |
KR102195040B1 (ko) | 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법 | |
CN111260538B (zh) | 基于长基线双目鱼眼相机的定位及车载终端 | |
US10726528B2 (en) | Image processing apparatus and image processing method for image picked up by two cameras | |
CN113780050A (zh) | 高级驾驶员辅助系统和在其中检测对象的方法 | |
JP2003346144A (ja) | 建物外形抽出方法およびシステム | |
Broggi et al. | Handling rolling shutter effects on semi-global matching in automotive scenarios | |
EP4030746A1 (en) | Image processing device and stereo camera device using same | |
WO2023244252A1 (en) | 3d vision system with automatically calibrated stereo vision sensors and lidar sensor | |
Usami et al. | Stereo Vision System for Advanced Vehicle Safety System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7140291 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |