JP7173373B2 - 同期装置、同期方法、および同期プログラム - Google Patents

Description

関連出願の相互参照

この出願は、２０１９年１１月１日に日本に出願された特許出願第２０１９－２００２２２号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。

この明細書における開示は、複数のセンサの検出データを同期する技術に関する。

特許文献１には、受信した時刻情報に基づいて複数のセンサ間の時刻を同期する技術が開示されている。特許文献１のシステムでは、ＮＴＰサーバから受信した時刻情報に基づいて、各センサの時刻データを補正する。

特開２００８－５１７６１号公報

ところで、イメージセンサの検出データと、他のセンサとの検出データとの同期においては、イメージセンサによる検出タイミングに合わせて検出データ同士を同期させることが望まれている。しかし、特許文献１の技術では、受信した時刻情報に基づいて、イメージセンサの検出タイミングの時刻を特定することが困難であった。したがって、特許文献１の技術では、検出データ同士を正確に同期させることができなかった。

開示される目的は、検出データ同士を正確に同期可能な同期装置、同期方法、および同期プログラムを提供することである。

この明細書に開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。また、請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、技術的範囲を限定するものではない。

開示された同期装置のひとつは、イメージセンサを含む複数のセンサを搭載する車両において用いられる同期装置であって、車両の運動状態に関するデータとして、イメージセンサによる検出データに含まれる時系列データ、およびイメージセンサ以外の他センサによる検出データに含まれる時系列データを取得するセンサ情報取得部と、時系列データ同士のマッチングに必要なずらし時間を算出するずらし時間算出部と、ずらし時間に基づいて、イメージセンサによる検出データと、他センサによる検出データとを同期させる同期部と、を備え、センサ情報取得部は、イメージセンサによる時系列の画像データから抽出された特徴点の変化量に基づく時系列の角速度データを、イメージセンサによる検出データに含まれる時系列データとして取得し、車両に作用する慣性力から車両の角速度を検出する慣性センサによる時系列の角速度データを、他センサによる検出データに含まれる時系列データとして取得し、同期部は、イメージセンサによる検出データを基準として、慣性センサによる検出データを、ずらし時間だけ遅らせる。

開示された同期方法のひとつは、イメージセンサを含む複数のセンサを搭載する車両において用いられ、プロセッサによって実行される同期方法であって、車両の運動状態に関するデータとして、イメージセンサによる検出データに含まれる時系列データ、およびイメージセンサ以外の他センサによる検出データに含まれる時系列データを取得する取得プロセスと、時系列データ同士のマッチングに必要なずらし時間を算出する算出プロセスと、ずらし時間に基づいて、イメージセンサによる検出データと、他センサによる検出データとを同期させる同期プロセスと、を含み、取得プロセスでは、イメージセンサによる時系列の画像データから抽出された特徴点の変化量に基づく時系列の角速度データを、イメージセンサによる検出データに含まれる時系列データとして取得し、車両に作用する慣性力から車両の角速度を検出する慣性センサによる時系列の角速度データを、他センサによる検出データに含まれる時系列データとして取得し、同期プロセスでは、イメージセンサによる検出データを基準として、慣性センサによる検出データを、ずらし時間だけ遅らせる。

開示された同期プログラムのひとつは、イメージセンサを含む複数のセンサを搭載する車両において用いられ、記憶媒体に格納され、プロセッサに実行させる命令を含む同期プログラムであって、命令は、車両の運動状態に関するデータとして、イメージセンサによる検出データに含まれる時系列データ、およびイメージセンサ以外の他センサによる検出データに含まれる時系列データを取得させる取得プロセスと、時系列データ同士のマッチングに必要なずらし時間を算出させる算出プロセスと、ずらし時間に基づいて、イメージセンサによる検出データと、他センサによる検出データとを同期させる同期プロセスと、を含み、取得プロセスでは、イメージセンサによる時系列の画像データから抽出された特徴点の変化量に基づく時系列の角速度データを、イメージセンサによる検出データに含まれる時系列データとして取得させ、車両に作用する慣性力から車両の角速度を検出する慣性センサによる時系列の角速度データを、他センサによる検出データに含まれる時系列データとして取得させ、同期プロセスでは、イメージセンサによる検出データを基準として、慣性センサによる検出データを、ずらし時間だけ遅らせる。

この開示によれば、イメージセンサの検出データに基づく時系列データと、他センサの検出データに基づく時系列データとのマッチングに必要なずらし時間に基づいて、検出データ同士が同期される。ずらし時間の算出にイメージセンサの検出データが用いられることにより、イメージセンサの検出タイミングに合わせて相対的に他センサの検出データが同期されることとなる。故に、イメージセンサの検出タイミングに対するより正確な検出データの同期が可能となる。以上により、検出データ同士を正確に同期可能な同期装置、同期方法、および同期プログラムが提供され得る。

同期装置を含むシステムを示す図である。 同期装置が実行する同期方法の一例を示すフローチャートである。 図２のサブルーチン処理を示すフローチャートである。 図３の処理を示すイメージ図である。

（第１実施形態）
第１実施形態の同期装置１００について、図１～図４を参照しながら説明する。同期装置１００は、車両に搭載された電子制御装置である。同期装置１００は、車両に搭載された複数のセンサによる検出データ間の時刻を同期させる。時刻同期された複数の検出データは、例えば車両の自己位置推定において利用される。同期装置１００は、ＩＭＵ１０、カメラ２０、および自己位置推定装置２００と通信バス等を介して接続されている。

ＩＭＵ１０は、車両に作用する慣性力を検出する車載センサである。ＩＭＵ１０は、例えば３軸ジャイロセンサおよび３軸加速度センサを有する６軸のモーションセンサによって提供される。ＩＭＵ１０は、３軸ジャイロセンサによって車両のヨー方向、ピッチ方向、およびロール方向に作用する各角速度を検出可能である。すなわち、ＩＭＵ１０は、車両の運動状態に関するデータとして、後述のイメージセンサ２１と同じ状態量に関するデータを検出可能なセンサである。また、ＩＭＵ１０は、３軸加速度センサによって車両の前後方向、上下方向、および左右方向に作用する各加速度を検出する。ＩＭＵ１０は、各ジャイロセンサおよび各加速度センサの計測結果を、ＩＭＵ１０による検出データ（慣性データ）として、同期装置１００に逐次出力する。ＩＭＵ１０は、「他センサ」の一例である。

カメラ２０は、イメージセンサ２１によって車両周辺の所定範囲を所定のフレームレートで撮像した画像データ、および画像データの解析結果の少なくとも一方を検出データとして出力する撮像デバイスである。カメラ２０は、例えば車両の前方を撮像範囲として車両の所定位置に固定されている。カメラ２０は、例えば、フロントウインドウの上端部、ルームミラー付近、またはインストルメントパネル上面部等に取り付けられている。

カメラ２０は、図示しないレンズユニットと、イメージセンサ２１と、制御部２２とを備える。レンズユニットは撮像範囲からの光像をイメージセンサ２１の受光面上に結像させる。イメージセンサ２１は、撮像範囲の画像を撮像する撮像素子である。イメージセンサ２１は、受光面上に結像した光を電気信号に変換する。イメージセンサ２１は、ＣＣＤセンサまたはＣＭＯＳセンサ等により提供される。イメージセンサ２１は、電気信号を制御部２２に逐次出力する。イメージセンサ２１は、継続的な画像の撮像により、ＩＭＵ１０にて検出される状態量と同じ状態量である角速度を、車両の運動状態を示すデータとして検出可能なセンサである。角速度は、後述の角速度算出プログラムにより、画像から解析される。

制御部２２は、プロセッサ２３、メモリ２４、入出力インターフェース、およびこれらを接続するバス等を備えたコンピュータを主体として含む構成である。プロセッサ２３は、演算処理のためのハードウェアである。プロセッサ２３は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）およびＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ等のうち、少なくとも一種類をコアとして含む。

メモリ２４は、コンピュータにより読み取り可能なプログラムおよびデータ等を非一時的に格納または記憶する、例えば半導体メモリ、磁気媒体および光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。メモリ２４は、プロセッサ２３によって実行される種々のプログラムを格納している。

制御部２２は、イメージセンサ２１による撮像時の露光状態を含めたイメージセンサ２１の撮像作動を制御する。具体的には、制御部２２は、イメージセンサ２１における画素の電子シャッタのタイミングを調整して露光時間を制御し、読み出しラインを選択し、選択された読み出しラインに該当する画素の行選択および列選択を実行して信号を取得する。または、制御部２２は、各画素の信号を一括して取得してもよい。制御部２２は、イメージセンサ２１から出力された電気信号を画像処理し、実景の画像データを生成する。

また、制御部２２は、角速度算出プログラムの実行により、画像処理機能と協働して車両のヨー方向、ピッチ方向、ロール方向の各角速度を算出する角速度算出機能を備えている。制御部２２は、例えば、角速度の算出にビジュアルオドメトリを用いる。具体的には、制御部２２は、時系列の画像データから特徴点を抽出し、当該特徴点のフレーム毎の座標の変化量に基づき角速度を算出する。制御部２２にて算出される角速度には、少なくともピッチ方向の角速度（ピッチレート）およびロール方向の角速度（ロールレート）が含まれている。制御部２２は、画像データおよび対応する角速度データを、カメラ２０による検出データとして同期装置１００に逐次提供する。

自己位置推定装置２００は、車両の自己位置を推定する電子制御装置である。自己位置推定装置２００は、制御部２２と同様に、プロセッサ２０１、メモリ２０２、入出力インターフェース、およびこれらを接続するバス等を備えたコンピュータを主体として含む構成である。自己位置推定装置２００では、メモリ２０２に格納された自己位置推定プログラムに含まれる複数の命令をプロセッサ２０１にて実行することで、自己位置推定機能を実現する。例えば、自己位置推定装置２００は、ＩＭＵ１０による検出データに基づくデッドレコニングによって車両の移動量を予測する。そして、自己位置推定装置２００は、カメラ２０による検出データと、高精度地図の地物情報とのマッチングによって、車両の横および前後位置の補正量を算出する。自己位置推定装置２００は、これらの情報を組み合わせることで、車両の現在位置および進行方位を、自己位置情報として推定する。推定された自己位置情報は、例えば自動運転または高度運転支援における車両の走行制御等に利用される。

同期装置１００は、複数の車載センサからの検出データを処理し、当該検出データを必要とするＥＣＵ等の車載装置に提供する電子制御装置である。同期装置１００は、プロセッサ１０１、メモリ１０２、入出力インターフェース、およびこれらを接続するバス等を備えたコンピュータを主体として含む構成である。プロセッサ１０１は、演算処理のためのハードウェアである。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）およびＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ等のうち、少なくとも一種類をコアとして含む。

メモリ１０２は、コンピュータにより読み取り可能なプログラムおよびデータ等を非一時的に格納または記憶する、例えば半導体メモリ、磁気媒体および光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。メモリ１０２は、後述の同期プログラム等、プロセッサ１１によって実行される種々のプログラムを格納している。

プロセッサ１０１は、メモリ１０２に格納された同期プログラムに含まれる複数の命令を、実行する。これにより同期装置１００は、運転支援するための機能ブロックを、複数構築する。このように同期装置１００では、運転支援するためにメモリ１０２に格納されたプログラムが複数の命令をプロセッサ１０１に実行させることで、複数の機能ブロックが構築される。具体的に、同期装置１００には、センサ情報取得部１１０、ずらし時間算出部１２０、および同期部１３０等の機能部が構築される。

センサ情報取得部１１０は、ＩＭＵ１０およびカメラ２０から出力された検出データを取得する。特に、センサ情報取得部１１０は、各検出データに含まれる時系列の角速度データを取得する。

具体的には、センサ情報取得部１１０は、ＩＭＵ１０から出力された角速度データを時系列にバッファリングし、ＩＭＵ１０による時系列の角速度データとして時系列データＡを生成する。さらに、センサ情報取得部１１０は、カメラ２０から出力された角速度データを時系列にバッファリングし、カメラ２０による時系列の角速度データとして時系列データＢを生成する。時系列データＡ，Ｂの各値は、タイマやリアルタイムクロック等により規定される時刻情報と対応付けられている。時刻情報は、同期装置１００にて設定されてもよいし、ＩＭＵ１０およびカメラ２０、または他のＥＣＵ等にて設定されたものであってもよい。各時系列データＡ，Ｂは、少なくともピッチレートデータおよびロールレートデータを含んでいる。なお、センサ情報取得部１１０は、ＩＭＵ１０およびカメラ２０、または他のＥＣＵにて生成された時系列データＡ，Ｂを取得してもよい。センサ情報取得部１１０は、時系列データＡ，Ｂを所定の周期ごとに生成し、ずらし時間算出部１２０へと提供する。

ずらし時間算出部１２０は、時系列データＡと、時系列データＢとのマッチングに必要なずらし時間を算出する。ここでマッチングとは、各時系列データＡ，Ｂが時刻軸上で実質的に一致することを意味する。具体的には、ずらし時間算出部１２０は、時系列データＡ，Ｂのいずれか一方を初期時刻から時間的にずらした場合に、時系列データＡ，Ｂ同士の類似度が最も大きくなる時間のずれ幅を、ずらし時間として探索する。ずらし時間の探索において、ずらし時間算出部１２０は、例えば時系列データＡ，Ｂ同士が一致する尤度を、類似度を示すパラメータとする。ここで尤度は、時系列データＡ，Ｂ同士が一致する確率を示す値である。この場合、尤度が大きいほど類似度が大きいため、ずらし時間算出部１２０は、尤度の最も大きいずらし時間を探索する。

ずらし時間算出部１２０は、所定の周期ごとに生成された複数組の時系列データＡ，Ｂに関して、各組ごとにずらし時間の候補値ｔを算出する。ずらし時間算出部１２０は、この各組ごとに算出された複数の候補値ｔから、実際のデータ同期に利用するずらし時間を決定する。例えば、ずらし時間算出部１２０は、複数の候補値ｔの中央値を算出し、当該中央値をずらし時間とする。ずらし時間算出部１２０は、算出したずらし時間を、同期部１３０へと提供する。

同期部１３０は、ずらし時間に基づいて、カメラ２０の検出データと、ＩＭＵ１０の検出データとを同期させる。例えば、同期部１３０は、カメラ２０の検出データを基準として、ＩＭＵ１０の検出データをずらし時間だけ遅らせることで、同期を行う。すなわち、カメラ２０の検出データの時刻情報は変更されず、ＩＭＵ１０の検出データの時刻情報が、ずらし時間だけ遅れた時刻に補正される。同期部１３０は、同期済みの各検出データを、自己位置推定装置２００等に逐次提供する。

なお、同期部１３０は、ずらし時間を検出データ間の同期情報として出力する構成であってもよい。この場合、自己位置推定装置２００が、センサフュージョン処理の前処理として、ずらし時間に基づく検出データの時刻情報を補正する。この場合には、同期情報の出力が、同期部１３０による検出データ間の時刻のずれの補正に相当する。

次に、機能ブロックの共同により、同期装置１００が実行する同期方法のフローを、図４を参照しつつ、図２および図３に従って以下に説明する。なお、後述するフローにおいて「Ｓ」とは、プログラムに含まれた複数命令によって実行される、フローの複数ステップを意味する。

まずＳ１０では、センサ情報取得部１１０にて、ＩＭＵ１０およびカメラ２０から提供された検出データに含まれる角速度のデータをバッファリングし、時系列データＡ，Ｂを生成する。次にＳ２０では、ずらし時間算出部１２０にて、生成した時系列データＡ，Ｂに基づいて、ずらし時間の候補値ｔを決定する。

Ｓ２０の処理について図３および図４を参照して詳記する。図３のフローチャートは、Ｓ２０におけるサブルーチン処理を示す。図４のグラフは、横軸を時刻、縦軸を角速度として各時系列データＡ，Ｂをプロットしたものである。まず図３のＳ２１では、時系列データＡに含まれる値から任意の注目点ａｔ，ｉを設定し、当該注目点ａｔ，ｉと時刻の近い時系列データＢにおける２点を選択する（図４の上段参照）。

次に、Ｓ２２にて、選択した時系列データＢの２点間を補間線Ｌｉにより補間する（図４の中段参照）。例えば、Ｓ２２では、スプライン曲線または３次関数曲線等の所定の補間曲線によって、２点間が補間される。または、直線によって２点間が補間されてもよい。次に、Ｓ２３では、注目点ａｔ，ｉから時刻軸に垂線Ｌｐを下した場合の、垂線Ｌｐと補間線Ｌｉとが交わる点を、時系列データＢにおける比較点ｂｔ，ｉに設定する（図４の下段参照）。換言すれば、Ｓ２２およびＳ２３にて、注目点ａｔ，ｉと同時刻に検出したと仮定した場合の時系列データＢの値が推定される。

次に、Ｓ２４では、時系列データＡの全ての注目点に対して比較点が設定されたか否かを判定する。比較点の設定されていない注目点が残っている場合には、ステップＳ２１に戻る。一方で、全ての注目点に対して比較点が設定されたと判定されると、Ｓ２５へと進む。

Ｓ２５では、注目点群と比較点群との尤度が最大となるずらし時間を、類似度の最も大きい候補値ｔとして決定する。例えば、Ｓ２５では、尤度が最大値Ｒｍａｘとなるような候補値ｔが、以下の数式（１）に基づき探索される。この場合、尤度は、正規化相互相関の大きさとして算出される。

候補値ｔが算出されると、Ｓ２６へと進む。なお、注目点を設定する時系列データと、比較点を設定する時系列データは、逆であってもよい。

Ｓ２６では、算出した候補値ｔの数が、予め設定された所定数に到達したか否かを判定する。到達していないと判定されると、Ｓ２７へと進む。Ｓ２７では、次の時系列データＡ，Ｂ、すなわち直前の処理で候補値ｔの算出に利用した時系列データＡ，Ｂと異なる時刻における時系列データＡ，Ｂを準備する。Ｓ２７の処理を実行すると、Ｓ２１へと戻り、次の時系列データＡ，Ｂに基づいて、新たなずらし時間の候補値ｔを算出する。

一方で、Ｓ２５にて、候補数が所定数に到達したと判定されると、Ｓ２８へと進む。Ｓ２８では、複数の候補値ｔの中央値を、ずらし時間として算出する。次に、図３のサブルーチンを終了して図２のＳ３０へと進む。Ｓ３０では、同期部１３０にて、ＩＭＵ１０による検出データの時刻をずらし時間だけ遅らせることで、検出データ同士を同期する。次に、Ｓ４０では、同期部１３０にて、同期済みの検出データを自己位置推定装置２００に出力することで、一連の処理を終了する。

なお、上述のＳ１０が「取得プロセス」、Ｓ２０が「算出プロセス」、Ｓ３０が「同期プロセス」の一例である。

次に第１実施形態の同期装置１００のもたらす作用効果について説明する。

同期装置１００は、イメージセンサ２１による検出データに基づく時系列データと、他センサとしてのＩＭＵ１０による検出データに基づく時系列データとのマッチングに必要なずらし時間を算出する。そして、同期装置１００は、ずらし時間に基づいて、イメージセンサ２１による検出データと、ＩＭＵ１０による検出データとを同期させる。これによれば、イメージセンサ２１の検出データに基づいてずらし時間が算出されるので、イメージセンサ２１の検出タイミングに合わせて検出データ同士が同期され得る。故に、より正確な同期が可能な同期装置１００が提供され得る。また、これにより、測位衛星からの測位信号を利用することなくセンサ間の同期が可能となる。

また、センサ情報取得部１１０の取得する時系列データには、車両の角速度データが含まれる。角速度は、加速度や速度等、車両の運動状態に関する他のパラメータに比較して、時間的な変動が激しい、特徴的な時系列データとなり得る。故に、時系列データＡ，Ｂ同士の類似度がより高いずらし時間を算出し易くなる。したがって、同期のロバスト性をより高めることができる。

加えて、角速度データには、車両のピッチレートデータが含まれる。ピッチレートデータは、ロールレートデータおよびヨーレートデータに比較して、走行に伴う車両の姿勢変化を大きく反映し得る。故に、時系列データが、時間的な変動のより激しいものとなり得る。したがって、同期のロバスト性が一層向上し得る。

さらに、時系列データとして、ピッチレートデータとロールレートデータとが取得される。ロールレートデータは、ヨーレートデータと比較して走行に伴う車両の姿勢変化を大きく反映し得る。したがって、ピッチレートデータに加えてロールレートデータをずらし時間の算出に利用することで、同期のロバスト性がさらに向上し得る。

また、カメラ２０による検出データを基準にして、慣性センサであるＩＭＵ１０による検出データをずらし時間だけ遅らせることによれば、遅れが発生し易いカメラ２０による検出データに、ＩＭＵ１０による検出データの時刻を合わせることができる。

また、ずらし時間の候補値ごとに時系列データＡ，Ｂ同士の類似度が算出され、当該類似度の最も大きい候補値がずらし時間として採用される。これによれば、時系列データＡ，Ｂ同士がマッチングするずらし時間が、時系列データＡ，Ｂ同士の類似度により算出され得る。したがって、より正確な検出データ同士の同期が可能となる。

さらに、時系列データＡ，Ｂ同士が一致する尤度の大きさが類似度として算出され、尤度の最も大きい候補値が、ずらし時間として採用される。これによれば、時系列データＡ，Ｂ同士がマッチングするずらし時間が、時系列データＡ，Ｂ同士の一致する尤度の大きさに基づき算出され得る。

（第２実施形態）
第２実施形態では、第１実施形態における同期装置１００の変形例について説明する。第２実施形態においてずらし時間算出部１２０は、時系列データＡ，Ｂ同士が一致する尤度最大となる時間に代えて、時系列データＡ，Ｂ同士の残差が最小となる時間を、ずらし時間の候補値として算出する。この場合、例えばずらし時間算出部１２０は、時系列データＡ，Ｂの値同士の差分値を時刻ごとに算出し、当該差分値または差分値に基づく値の総和を示すパラメータを、残差を示す値とする。

具体的には、ずらし時間算出部１２０は、第１実施形態と同様に注目点群に対応する比較点群を設定した後、Ｓ２５にて以下の数式（２）に基づき、データ間の差分二乗和が最小値Ｓ１ｍｉｎとなる候補値ｔを探索する。

または、ずらし時間算出部１２０は、以下の数式（３）に基づき、データ間の差分絶対値和が最小値Ｓ２ｍｉｎとなる候補値ｔを探索してもよい。

以上のように、ずらし時間算出部１２０は、時系列データＡ，Ｂ同士の残差が最小となる時間を、ずらし時間の候補値として算出可能である。この場合、ずらし時間算出部１２０は、尤度の大きさに基づいて候補値を算出する場合と比較して、計算量を抑制することができる。

（他の実施形態）
この明細書における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および／または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および／または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および／または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、さらに請求の範囲の記載と均等の意味及び範囲内での全ての変更を含むものと解されるべきである。

上述の実施形態において、同期装置１００は、カメラ２０から角速度データを取得するとした。これに代えて、同期装置１００は、カメラ２０から画像データを取得し、当該画像データを解析することで、角速度データを生成する構成であってもよい。

上述の実施形態において、同期装置１００は、車両のピッチレートおよびロールレートを利用してセンサ間同期を実行するとしたが、センサ間同期に利用する運動状態のデータは、これに限定されない。同期装置１００は、ピッチレート、ロールレート、およびヨーレートのうち、少なくとも１つ以上の時系列データを利用してずらし時間を算出することができる。また、同期装置１００は、車両の加速度、または速度等の時系列データを利用してずらし時間を算出してもよい。同期装置１００は、車両の運動状態に関連するデータであれば、いずれのデータであってもずらし時間の算出に利用することができる。

上述の実施形態において、同期装置１００は、イメージセンサ２１を有するカメラ２０の画像データを検出データとして取得するとした。これに代えて、同期装置１００は、イメージセンサ２１を有するＬＩＤＡＲによる点群データを検出データとして取得してもよい。

上述の実施形態において、同期装置１００は、カメラ２０の検出データとＩＭＵ１０の検出データとを同期させるとした。これに代えて、同期装置１００は、カメラ２０の検出データと、ＬＩＤＡＲまたは他のカメラの検出データとを同期させる構成であってもよい。また、同期装置１００は、ＬＩＤＡＲの検出データとＩＭＵ１０の検出データとを同期させる構成であってもよい。

上述の実施形態において、ずらし時間算出部１２０は、複数のずらし時間の候補の中央値を、ずらし時間として算出するとした。これに代えて、ずらし時間算出部１２０は、複数の候補の平均値をずらし時間として算出する構成であってもよい。また、ずらし時間算出部１２０は、所定の時間間隔ごとに設定された投票値に、算出した候補値を投票し、投票された候補値の数の最も多い投票値をずらし時間として算出してもよい。この場合、ずらし時間算出部１２０は、候補値の投票先を、候補値を丸め込んだ場合に当該候補値が該当する投票値とすればよい。

同期装置１００は、デジタル回路およびアナログ回路のうち少なくとも一方をプロセッサとして含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ（System on a Chip）、ＰＧＡ（Programmable Gate Array）、およびＣＰＬＤ（Complex Programmable Logic Device）等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、備えていてもよい。

同期装置１００は、１つのコンピュータ、またはデータ通信装置によってリンクされた一組のコンピュータ資源によって提供され得る。例えば、上述の実施形態における同期装置１００の提供する機能の一部は、他のＥＣＵによって実現されてもよい。

Claims (13)

1. イメージセンサ（２１）を含む複数のセンサ（１０，２１）を搭載する車両において用いられる同期装置であって、
   前記車両の運動状態に関するデータとして、前記イメージセンサによる検出データに含まれる時系列データ、および前記イメージセンサ以外の他センサによる検出データに含まれる時系列データを取得するセンサ情報取得部（１１０）と、
   前記時系列データ同士のマッチングに必要なずらし時間を算出するずらし時間算出部（１２０）と、
   前記ずらし時間に基づいて、前記イメージセンサによる前記検出データと、前記他センサによる前記検出データとを同期させる同期部（１３０）と、
   を備え、
   前記センサ情報取得部は、前記イメージセンサによる時系列の画像データから抽出された特徴点の変化量に基づく時系列の角速度データを、前記イメージセンサによる前記検出データに含まれる前記時系列データとして取得し、前記車両に作用する慣性力から前記車両の角速度を検出する慣性センサによる時系列の角速度データを、前記他センサによる前記検出データに含まれる前記時系列データとして取得し、
   前記同期部は、前記イメージセンサによる前記検出データを基準として、前記慣性センサによる前記検出データを、前記ずらし時間だけ遅らせる同期装置。
2. 前記センサ情報取得部は、前記車両のピッチレートデータを含む前記角速度データを取得する請求項１に記載の同期装置。
3. 前記センサ情報取得部は、前記ピッチレートデータに加えて、前記車両のロールレートデータを取得する請求項２に記載の同期装置。
4. 前記ずらし時間算出部は、前記ずらし時間の候補値を複数設定して前記候補値ごとの前記時系列データ同士の類似度を算出し、前記類似度が最も大きくなる前記候補値を、前記ずらし時間に採用する請求項１から請求項３のいずれか１項に記載の同期装置。
5. 前記ずらし時間算出部は、前記時系列データ同士が一致する尤度の大きさを前記類似度として算出し、前記尤度が最も大きくなる前記候補値を前記ずらし時間に採用する請求項４に記載の同期装置。
6. 前記ずらし時間算出部は、前記時系列データ同士の残差の大きさを前記類似度として算出し、前記残差が最も小さくなる候補値を前記ずらし時間に採用する請求項４に記載の同期装置。
7. イメージセンサ（２１）を含む複数のセンサ（１０，２１）を搭載する車両において用いられ、プロセッサ（１０１）によって実行される同期方法であって、
   前記車両の運動状態に関するデータとして、前記イメージセンサによる検出データに含まれる時系列データ、および前記イメージセンサ以外の他センサによる検出データに含まれる時系列データを取得する取得プロセス（Ｓ１０）と、
   前記時系列データ同士のマッチングに必要なずらし時間を算出する算出プロセス（Ｓ２０）と、
   前記ずらし時間に基づいて、前記イメージセンサによる前記検出データと、前記他センサによる前記検出データとを同期させる同期プロセス（Ｓ３０）と、
   を含み、
   前記取得プロセスでは、前記イメージセンサによる時系列の画像データから抽出された特徴点の変化量に基づく時系列の角速度データを、前記イメージセンサによる前記検出データに含まれる前記時系列データとして取得し、前記車両に作用する慣性力から前記車両の角速度を検出する慣性センサによる時系列の角速度データを、前記他センサによる前記検出データに含まれる前記時系列データとして取得し、
   前記同期プロセスでは、前記イメージセンサによる前記検出データを基準として、前記慣性センサによる前記検出データを、前記ずらし時間だけ遅らせる同期方法。
8. 前記取得プロセスでは、前記車両のピッチレートデータを含む前記角速度データを取得する請求項７に記載の同期方法。
9. 前記取得プロセスでは、前記ピッチレートデータに加えて、前記車両のロールレートデータを取得する請求項８に記載の同期方法。
10. 前記算出プロセスでは、前記ずらし時間の候補値を複数設定して前記候補値ごとの前記時系列データ同士の類似度を算出し、前記類似度が最も大きくなる前記候補値を、前記ずらし時間に採用する請求項７から請求項９のいずれか１項に記載の同期方法。
11. 前記算出プロセスでは、前記時系列データ同士の相互相関の大きさを前記類似度として算出し、前記相互相関が最も大きくなる候補値を前記ずらし時間に採用する請求項１０に記載の同期方法。
12. 前記算出プロセスでは、前記時系列データ同士の残差の大きさを前記類似度として算出し、前記残差が最も小さくなる候補値を前記ずらし時間に採用する請求項１０に記載の同期方法。
13. イメージセンサ（２１）を含む複数のセンサ（１０，２１）を搭載する車両において用いられ、記憶媒体（１０２）に格納され、プロセッサ（１０１）に実行させる命令を含む同期プログラムであって、
    前記命令は、
    前記車両の運動状態に関するデータとして、前記イメージセンサによる検出データに含まれる時系列データ、および前記イメージセンサ以外の他センサによる検出データに含まれる時系列データを取得させる取得プロセス（Ｓ１０）と、
    前記時系列データ同士のマッチングに必要なずらし時間を算出させる算出プロセス（Ｓ２０）と、
    前記ずらし時間に基づいて、前記イメージセンサによる前記検出データと、前記他センサによる前記検出データとを同期させる同期プロセス（Ｓ３０）と、
    を含み、
    前記取得プロセスでは、前記イメージセンサによる時系列の画像データから抽出された特徴点の変化量に基づく時系列の角速度データを、前記イメージセンサによる前記検出データに含まれる前記時系列データとして取得させ、前記車両に作用する慣性力から前記車両の角速度を検出する慣性センサによる時系列の角速度データを、前記他センサによる前記検出データに含まれる前記時系列データとして取得させ、
    前記同期プロセスでは、前記イメージセンサによる前記検出データを基準として、前記慣性センサによる前記検出データを、前記ずらし時間だけ遅らせる同期プログラム。

Images