JP6771696B2 - データ同期装置、データ同期方法およびデータ同期プログラム - Google Patents

Description

本発明は、データ同期装置、データ同期方法およびデータ同期プログラムに関するものである。

近年、自動運転のように、多数のセンサを搭載し、そこから得られるデータの分析等を行う研究が盛んになっている。自動運転では、車両は、搭載した各種センサを用いて車両周囲の障害物を認識し、障害物を避けながら移動する。

車両周囲の障害物を認識するに当たり、各センサから得られるデータについて、時刻同期が行われていることが重要である。時刻同期が行われていない場合、得られた結果と実際の周囲の障害物との関係が一致せず、データ分析に支障がある。

センサデータをリアルタイムに使用するのではなく、センサデータを記録しておき、後にオフラインで使用する場合、時刻同期が行われていないデータの利用には問題がある。これは、周囲の障害物がどのように配置されていたか等、実際に起きたこととデータとの整合性が取れないからである。

一般的には、同一のシステムにセンサを取り付け、同一の時刻を付与することにより、同期がなされる。複数のシステムで別々に取得したデータを使用する場合、システム間での同期が必要になる。

一度システム間での同期を行ったとしても、システム運用の間にズレが生じることもあり、定期的な同期処理が必要である。

複数のシステムによるデータ取得の例としては、事前に車両に取り付けられたセンサのデータをＣＡＮ経由で取得しながら、車両に別に取り付けた、ＣＡＮに繋がっていないドライブレコーダでカメラ画像を取得する、という状況がある。「ＣＡＮ」は、Ｃａｒ Ａｒｅａ Ｎｅｔｗｏｒｋの略語である。近年の車両には、ＣＡＮから一部のセンサデータを取り出せるようなコネクタも取り付けられており、ドライバがデータを取れるようになっている。

特許文献１および特許文献２には、センサデータ記録時に同期を行う手法が記載されている。

特許文献３には、車両の相対速度と他車両の相対速度とを比較した結果に基づいて、他車両から受信した相対速度のデータの時間遅れ量を算出し、この時間遅れ量によって、抽出した他車両の状態量のデータを補正する手法が記載されている。

特開２０１１−１５９０９３号公報 特開２０１４−０１１６３３号公報 特開２００７−２６４８８４号公報

特許文献１および特許文献２に記載の手法は、センサデータを記録しておき、後にオフラインで使用する場合には適用できない。

複数のシステムにより得られた、同期されていないセンサデータを同期させるためには、何らかの形で同期点を検知する必要がある。特許文献３に記載の手法では、相対速度等、同じ意味を持つデータを複数のシステムで取得し、そのデータを一致させることで同期を行っている。

同じデータを取得していない複数のシステム間の同期のためには、単純にデータを一致させるのとは別の形で同期点を検知する必要がある。

本発明は、異なる種類のデータ間で時刻同期を行うことを目的とする。

本発明の一態様に係るデータ同期装置は、
車両に設置されたカメラによって前記車両の外を撮影して得られた画像の時系列データのうち、前記車両がある動きをしていたときのデータ範囲を第１データ範囲として推定する第１推定部と、
前記車両に設置された加速度センサによって得られた加速度の時系列データのうち、前記車両が前記動きをしていたときのデータ範囲を第２データ範囲として推定する第２推定部と、
前記第１推定部により推定された第１データ範囲に対応する時間範囲と、前記第２推定部により推定された第２データ範囲に対応する時間範囲とに基づいて、前記画像の時系列データと前記加速度の時系列データとの間の時刻同期を行う同期部と
を備える。

本発明では、カメラによって得られた画像の時系列データのうち、車両がある「動き」をしていたときのデータ範囲に対応する時間範囲と、加速度センサによって得られた加速度の時系列データのうち、車両がその「動き」をしていたときのデータ範囲に対応する時間範囲とが参照される。そのため、本発明によれば、画像の時系列データと加速度の時系列データという、異なる種類のデータ間で時刻同期を行うことができる。

実施の形態１に係るデータ同期システムの構成を示す図。 実施の形態１に係るデータ同期装置の構成を示すブロック図。 実施の形態１に係るデータ同期装置の動作を示すフローチャート。 実施の形態１における、特徴点群のフレーム間での移動方向の分類例を示す図。 実施の形態１における、特徴点群のフレーム間での移動方向の変化例を示す図。 実施の形態１の変形例に係るデータ同期装置の構成を示すブロック図。 実施の形態３に係るデータ同期装置の構成を示すブロック図。

以下、本発明の実施の形態について、図を用いて説明する。各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。なお、本発明は、以下に説明する実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。例えば、以下に説明する実施の形態のうち、２つ以上の実施の形態が組み合わせられて実施されても構わない。あるいは、以下に説明する実施の形態のうち、１つの実施の形態または２つ以上の実施の形態の組み合わせが部分的に実施されても構わない。

実施の形態１．
本実施の形態について、図１から図５を用いて説明する。

＊＊＊構成の説明＊＊＊
図１を参照して、本実施の形態に係るデータ同期システム１０の構成を説明する。

データ同期システム１０は、データ同期装置２０と、車両３０に搭載されたカメラ３１と、車両３０に搭載された加速度センサ３２と、カメラ３１で撮影された動画を記録する動画記録用システム４１と、加速度センサ３２で取得された加速度の値を記録する加速度記録用システム４２とを備える。

動画記録用システム４１および加速度記録用システム４２は、コンピュータである。動画記録用システム４１および加速度記録用システム４２は、例えば、ＰＣである。「ＰＣ」は、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒの略語である。

前述したように、同じデータを取得していない複数のシステム間の同期のためには、単純にデータを一致させるのとは別の形で同期点を検知する必要がある。車両３０が右左折といった何らかのアクションを起こしていることがセンサデータで判断できれば、そのアクションに基づいて、同じアクションを起こしているセンサデータの範囲が同じ時間を示すとみなし、同期を行うことが可能である。

あるセンサデータからまったく異なるセンサデータの値を推測し、その結果をもとに同期を行うことも可能である。本実施の形態では、カメラ３１の画像から車両３０の加速度が推定され、加速度センサ３２で得た加速度値と比較される。このようにすることで、センサデータを記録しておき、後にオフラインで使用する場合でも、センサデータにより同期点が得られるため、記録時の同期が不要になる。その結果、手違いにより記録時の同期をし損なったデータに対しても事後に同期が行えることになり、データの有用性が上がる。

図２を参照して、本実施の形態に係るデータ同期装置２０の構成を説明する。

データ同期装置２０は、コンピュータである。データ同期装置２０は、プロセッサ２１を備えるとともに、メモリ２２等の他のハードウェアを備える。プロセッサ２１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

データ同期装置２０は、機能要素として、第１推定部５１と、第２推定部５２と、同期部５３とを備える。第１推定部５１は、移動ベクトル算出部６１と、支配方向決定部６２と、動作フレーム決定部６３とを備える。同期部５３は、ズレ量算出部６４と、ズレ調整部６５とを備える。

第１推定部５１、第２推定部５２および同期部５３の機能は、ソフトウェアにより実現される。具体的には、第１推定部５１、第２推定部５２および同期部５３の機能は、データ同期プログラムにより実現される。データ同期プログラムは、第１推定部５１、第２推定部５２および同期部５３により行われる処理をそれぞれ第１推定処理、第２推定処理および同期処理としてコンピュータに実行させるプログラムである。データ同期プログラムは、コンピュータ読取可能な媒体に記録されて提供されてもよいし、記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。

プロセッサ２１は、データ同期プログラムを実行する装置である。プロセッサ２１は、例えば、ＣＰＵである。「ＣＰＵ」は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略語である。

メモリ２２は、データ同期プログラムをあらかじめまたは一時的に記憶する装置である。メモリ２２は、例えば、ＲＡＭ、フラッシュメモリまたはこれらの組み合わせである。「ＲＡＭ」は、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略語である。

メモリ２２には、動画データ３３と、加速度データ３４とが記憶される。動画データ３３は、車両３０に設置されたカメラ３１によって車両３０の外を撮影して得られた画像の時系列データである。加速度データ３４は、車両３０に設置された加速度センサ３２によって得られた加速度の時系列データである。動画データ３３および加速度データ３４は、それぞれ動画記録用システム４１および加速度記録用システム４２から送信され、図示していない通信デバイスで受信される。

通信デバイスは、データ同期プログラムに入力されるデータを受信するレシーバと、データ同期プログラムから出力されるデータを送信するトランスミッタとを備える。通信デバイスは、例えば、通信チップまたはＮＩＣである。「ＮＩＣ」は、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略語である。

データ同期プログラムは、メモリ２２からプロセッサ２１に読み込まれ、プロセッサ２１によって実行される。メモリ２２には、データ同期プログラムだけでなく、ＯＳも記憶されている。「ＯＳ」は、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略語である。プロセッサ２１は、ＯＳを実行しながら、データ同期プログラムを実行する。なお、データ同期プログラムの一部または全部がＯＳに組み込まれていてもよい。

データ同期プログラムおよびＯＳは、補助記憶装置に記憶されていてもよい。補助記憶装置は、例えば、ＨＤＤ、フラッシュメモリまたはこれらの組み合わせである。「ＨＤＤ」は、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略語である。データ同期プログラムおよびＯＳは、補助記憶装置に記憶されている場合、メモリ２２にロードされ、プロセッサ２１によって実行される。

データ同期装置２０は、プロセッサ２１を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、データ同期プログラムの実行を分担する。それぞれのプロセッサは、例えば、ＣＰＵである。

データ同期プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ２２、補助記憶装置、または、プロセッサ２１内のレジスタまたはキャッシュメモリに記憶される。

動画データ３３および加速度データ３４は、補助記憶装置に記憶されてもよいし、外部のストレージに記憶されてもよい。

データ同期装置２０は、１台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。データ同期装置２０が複数台のコンピュータで構成されている場合は、第１推定部５１、第２推定部５２および同期部５３の機能が、各コンピュータに分散されて実現されてもよい。

＊＊＊動作の説明＊＊＊
図３を参照して、本実施の形態に係るデータ同期装置２０の動作を説明する。データ同期装置２０の動作は、本実施の形態に係るデータ同期方法に相当する。

ステップＳ１からステップＳ３において、第１推定部５１は、走行中の車両３０の前方を撮影して得られた動画データ３３から車両３０の挙動として車両３０が右左折動作をしているフレーム範囲を抽出する。

具体的には、ステップＳ１において、第１推定部５１の移動ベクトル算出部６１は、動画の各フレームの特徴点を抽出し、フレーム間での特徴点の移動量としてオプティカルフローを求める。すなわち、移動ベクトル算出部６１は、入力された動画データ３３の各フレームに対し、フレーム上の特徴点が次以降のフレームでどの方向に動いているかを算出する。移動ベクトル算出部６１は、各フレームに対し、特徴点およびその方向を示すベクトルを求める。

ステップＳ２において、第１推定部５１の支配方向決定部６２は、ステップＳ１で得られた移動量の支配的な方向として各フレームで最も多くの特徴点の移動ベクトルが向いている方向を算出する。すなわち、支配方向決定部６２は、移動ベクトル算出部６１で得られたベクトルに対し、フレーム内で最も多い方向となるベクトルを各フレームにおける支配的方向として抽出し、出力する。

ステップＳ３において、第１推定部５１の動作フレーム決定部６３は、各フレームの支配的な方向をもとに車両３０が右左折をしていると推定されるフレーム範囲を第１データ範囲として求める。すなわち、動作フレーム決定部６３は、支配方向決定部６２で得られた各フレームの支配的な方向をもとに、動画フレームのうち車両３０が右左折動作をしていると推定されるフレーム群を抽出する。

ステップＳ４において、第２推定部５２は、車両３０の左右方向の加速度データ３４から車両３０が右左折動作をしているデータ範囲を第２データ範囲として抽出する。すなわち、第２推定部５２は、入力された加速度データ３４をもとに、車両３０が右左折をしていると推定される範囲を抽出する。

ステップＳ５において、同期部５３のズレ量算出部６４は、第１推定部５１と第２推定部５２とで得られた結果から動画データ３３と加速度データ３４との時間ズレ量を推測する。すなわち、ズレ量算出部６４は、第１推定部５１および第２推定部５２によって得られた、動画データ３３および加速度データ３４における車両３０の右左折のデータ範囲をもとに、両データのマッチングを行うことで両データの時間的ズレ量を求める。右左折動作は一度の走行で複数回起こり得るため、このマッチング処理およびそれにより得られる時間的ズレ量は複数個求められる。

ステップＳ６において、同期部５３のズレ量算出部６４は、ステップＳ５で推測されたズレ量によって動画データ３３および加速度データ３４の同期を取る。すなわち、ズレ調整部６５は、ズレ量算出部６４から得られた時間的ズレ量をもとに、加速度データ３４を動画データ３３に同期させる。

以上説明したように、第１推定部５１は、動画データ３３のうち、車両３０がある「動き」をしていたときのデータ範囲を第１データ範囲として推定する。具体的には、第１推定部５１は、動画データ３３に含まれている画像のフレームそれぞれの特徴点群を抽出し、抽出した特徴点群のフレーム間での移動方向の偏りから、第１データ範囲を求める。

第２推定部５２は、加速度データ３４のうち、車両３０が上記「動き」をしていたときのデータ範囲を第２データ範囲として推定する。具体的には、第２推定部５２は、加速度データ３４に示されている加速度の変動から、第２データ範囲を求める。

同期部５３は、第１推定部５１により推定された第１データ範囲に対応する時間範囲と、第２推定部５２により推定された第２データ範囲に対応する時間範囲とに基づいて、動画データ３３と加速度データ３４との間の時刻同期を行う。具体的には、同期部５３は、第１データ範囲に対応する時間範囲と、第２データ範囲に対応する時間範囲とのズレ量を算出し、算出したズレ量から、時刻同期を行う。

上記「動き」は、本実施の形態では右左折であるが、右左折のいずれか一方でもよいし、後退、停止またはＵターンといった、右左折以外の動きでもよい。

図３のほかに、図４および図５を参照して、データ同期装置２０の動作の詳細を説明する。

ステップＳ１において、移動ベクトル算出部６１は、動画データ３３の各フレームを走査し、動画フレーム上の特徴点を抽出する。移動ベクトル算出部６１は、当該特徴点の次のフレームにおける位置を算出し、各位置から特徴点の移動方向を示すベクトルを算出する。特徴点は１フレームごとに複数抽出され、特徴点ごとに移動量が算出される。この処理には、任意の手法を用いてよいが、本実施の形態では既存技術であるオプティカルフロー算出手法が用いられる。処理の際、特徴点の移動方向算出に用いるフレームは各フレームの次のフレームではなく一定数後のフレームでも構わない。

ステップＳ２において、支配方向決定部６２は、移動ベクトル算出部６１で得られたベクトルの中から、フレーム内で最も多い方向となるベクトルを抽出する。実際には、ベクトルには微小なズレがあり、同一の方向のベクトルが出るとは限らない。そのため、本実施の形態では、図４に示すように、動画の２次元フレームの平面が中心軸周りに１６分割されて各ベクトルの方向がどの領域に含まれるかが求められる。最も多くのベクトルが含まれる領域の中心方向が支配的方向とされる。つまり、フレームｉに対し、支配的な方向Ｄ（ｉ）として図４に実線矢印で示した１６本のベクトルｄｖ（ｊ）のうちどれかが得られることになる。ｊは１以上１６以下の整数である。なお、方向の分類数は、車両３０の直進動作と右左折動作とを判別できるような数であれば、１６個でなくてもよい。

ステップＳ３において、動作フレーム決定部６３は、支配方向決定部６２で得られたＤ（ｉ）をもとに、動画フレームのうち車両３０が右左折動作をしていると推定されるフレーム群を抽出する。図５に示すように、右左折時には、車両３０の正面から撮った動画から得られた特徴点の移動方向は左方向または右方向に偏る。すなわち、Ｄ（ｉ）としてｄｖ（１）もしくはｄｖ（１６）またはｄｖ（８）もしくはｄｖ（９）が連続して現れる。この連続性をチェックすることにより、右左折フレーム範囲Ｆｌｒ（Ｄ（ｉ））＝｛｛ｘ１，ｘ２｝，｛ｘ３，ｘ４｝，・・・｝を得ることができる。すなわち、動画のｘ１フレーム目からｘ２フレーム目、ｘ３フレーム目からｘ４フレーム目、・・・が、車両３０が右左折をしている範囲として得られる。動画が車両３０の正面以外から撮影されている場合、右左折時にベクトルの方向は左右となるとは限らないが、カメラ３１の撮影方向が分かれば変換可能であるため問題ない。

なお、特徴点が車両３０と異なる動きをしている移動体上にある場合、車両３０が右左折していても必ずしもそれに応じたベクトルが得られるとは限らないが、車両３０の周囲に移動体が多数あるのでない限り、静止物上の特徴点が多く取られる。その結果として支配方向決定部６２で静止物上の特徴点の移動方向が支配的な方向として算出されるため、動作フレーム決定部６３での動作に影響はない。

ステップＳ４において、第２推定部５２は、加速度データ３４をもとに車両３０が右左折動作をしていると推定されるデータ範囲を抽出する。右左折開始直前までは、車両３０の左右方向の加速度は状況によって様々であるが、ドライバが右左折しようとする際、ドライバはハンドルを右または左に切る動作を必ず行う。この動作は、加速度をかけようとする動作である。つまり、右左折の直前と右左折の瞬間とで、加速度が変動することになる。また、右左折時には、車両３０が、曲がった後に、曲がった方向とは逆の方向に加速度をかけて車両３０の向きを戻すため、右方向および左方向の両方の加速度がかかる。このことを利用し、加速度データ３４から車両３０が右左折を行っている範囲のデータＡｌｒ（Ａｃｃ）＝｛｛ｙ１，ｙ２｝，｛ｙ３，ｙ４｝，・・・｝を抽出することができる。すなわち、加速度データ３４の先頭ｙ１サンプル目からｙ２サンプル目、ｙ３サンプル目からｙ４サンプル目、・・・が、車両３０が右左折をしている範囲として得られる。

ステップＳ５において、ズレ量算出部６４は、第１推定部５１および第２推定部５２で得られた結果のマッチングを行い、両者のズレを求める。すなわち、ズレ量算出部６４は、第１推定部５１で得られたフレーム範囲Ｆｌｒ（Ｄ（ｉ））に対し、第２推定部５２で得られたデータ範囲Ａｌｒ（Ａｃｃ）を重ねあわせ、両データ間のズレ量を求める。

具体的には、ズレ量算出部６４は、Ｆｌｒ（Ｄ（ｉ））における右左折フレーム範囲｛ｘｉ，ｘｉ＋１｝と対応するＡｌｒ（Ａｃｃ）の右左折データ範囲｛ｙｉ，ｙｉ＋１｝を求める。このとき、加速度データ３４と動画データ３３との時刻ズレが大きくないとの仮定を置き、｛ｘｉ，ｘｉ＋１｝の時刻に最も近い時刻となる｛ｙｉ，ｙｉ＋１｝を選ぶとしても構わない。動画データ３３のフレームレートをｆとしたとき、先頭からｘｉフレーム目＝ｘｉ／ｆ秒目とする。

ズレ量算出部６４は、得られた｛ｙｉ，ｙｉ＋１｝に対し、Δｔｉ１＝（ｙｉ−ｘｉ／ｆ）およびΔｔｉ２＝（ｙｉ＋１−ｘｉ＋１／ｆ）を算出する。これは、｛ｙｉ，ｙｉ＋１｝で与えられる時間幅と｛ｘｉ，ｘｉ＋１｝で与えられる時間幅とが同一とは限らないためである。ズレ量算出部６４は、先頭および終了時のそれぞれのズレ量Δｔｉ１，Δｔｉ２を求め、ここから｛ｘｉ，ｘｉ＋１｝および｛ｙｉ，ｙｉ＋１｝間のズレ量Δｔｉを算出する。本実施の形態では、Δｔｉ＝（Δｔｉ１＋Δｔｉ２）／２とする。

ステップＳ６において、ズレ調整部６５は、ズレ量算出部６４から得られた時間的ズレ量をもとに、加速度データ３４を動画データ３３に同期させる。ｘｉ＜＝ｘ＜＝ｘｉ＋１とすると、得られたズレ量Δｔｉから、フレームｘに対応する加速度の値はｘ／ｆ＋Δｔｉ時の値になる。このことを利用し、右左折時のフレームに対応する加速度が算出される。加速度のサンプリングレートと動画のフレームレートとの違いにより対応するデータが存在しない場合は、該当する時刻前後のデータで補間することにより加速度を算出できる。

右左折期間｛ｘｉ，ｘｉ＋１｝および｛ｘｉ＋２，ｘｉ＋３｝に対し、ｘｉ＋１＜＝ｘ’＜＝ｘｉ＋２とすると、右左折期間外のフレームｘ’については、前後の右左折期間でのズレ量を鑑み、対応する加速度の値をｘ’／ｆ＋（Δｔｉ＋Δｔｉ＋２）／２時の値とすればよい。最初の右左折期間より前のフレームと、最後の右左折期間より後のフレームとについては、外挿により対応する加速度を算出できる。

このようにして得られた加速度は、動画の各フレームに対応したデータとなり、動画と同期していることになる。すなわち、本実施の形態によれば、データ取得時に同期が行われていなくても、データだけを見ることで同期を行うことができる。

動画または加速度のどちらかと同期しているデータも、このシステム経由で同期できる。例えば、加速度データ３４を取得したシステムと同じシステムまたは同じ時刻で取ったミリ波センサのデータがあるならば、本実施の形態により動画とミリ波センサの検知結果とを同期させることができる。

＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態では、カメラ３１によって得られた動画データ３３のうち、車両３０がある「動き」をしていたときのデータ範囲に対応する時間範囲と、加速度センサ３２によって得られた加速度データ３４のうち、車両３０がその「動き」をしていたときのデータ範囲に対応する時間範囲とが参照される。そのため、本実施の形態によれば、動画データ３３と加速度データ３４という、異なる種類のデータ間で時刻同期を行うことができる。

＊＊＊他の構成＊＊＊
本実施の形態では、第１推定部５１、第２推定部５２および同期部５３の機能がソフトウェアにより実現されるが、変形例として、第１推定部５１、第２推定部５２および同期部５３の機能がハードウェアにより実現されてもよい。この変形例について、主に本実施の形態との差異を説明する。

図６を参照して、本実施の形態の変形例に係るデータ同期装置２０の構成を説明する。

データ同期装置２０は、電子回路２３等のハードウェアを備える。

電子回路２３は、第１推定部５１、第２推定部５２および同期部５３の機能を実現する専用のハードウェアである。電子回路２３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＦＰＧＡ、ＡＳＩＣ、または、これらのうちいくつか、もしくは、すべての組み合わせである。「ＩＣ」は、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略語である。「ＧＡ」は、Ｇａｔｅ Ａｒｒａｙの略語である。「ＦＰＧＡ」は、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略語である。「ＡＳＩＣ」は、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略語である。

データ同期装置２０は、電子回路２３を代替する複数の電子回路を備えていてもよい。これら複数の電子回路は、全体として第１推定部５１、第２推定部５２および同期部５３の機能を実現する。それぞれの電子回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＦＰＧＡ、ＡＳＩＣ、または、これらのうちいくつか、もしくは、すべての組み合わせである。

別の変形例として、第１推定部５１、第２推定部５２および同期部５３の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、第１推定部５１、第２推定部５２および同期部５３の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。

プロセッサ２１および電子回路２３は、いずれも処理回路である。すなわち、データ同期装置２０の構成が図２および図６のいずれに示した構成であっても、第１推定部５１、第２推定部５２および同期部５３の動作は、処理回路により行われる。

実施の形態２．
本実施の形態について、主に実施の形態１との差異を説明する。

本実施の形態では、第１推定部５１は、動画データ３３に対して機械学習を行うことで、第１データ範囲を求める。第２推定部５２は、加速度データ３４に対して機械学習を行うことで、第２データ範囲を求める。

実施の形態１では、動画データ３３および加速度データ３４から車両３０の右左折の状態をセンサの値の変動そのものを見て判断しているが、本実施の形態では、これを機械学習で検出している。機械学習以外の既存の技術が用いられても構わない。

実施の形態３．
本実施の形態について、主に実施の形態１との差異を、図７を用いて説明する。

本実施の形態では、図７に示すように、第１推定部５１は、移動ベクトル算出部６１と、支配方向決定部６２と、動作フレーム決定部６３とのほかに、移動体除去部６６を備える。

移動体除去部６６は、移動ベクトル算出部６１により抽出された、動画データ３３に含まれている画像のフレームそれぞれの特徴点群のうち、画像に写っている移動体の特徴点を除去する。支配方向決定部６２は、移動体除去部６６により移動体の特徴点が除去されてから、移動ベクトル算出部６１により抽出された特徴点群のフレーム間での移動方向を算出する。

実施の形態１では、特徴点の移動ベクトルを算出後、その結果をそのまま支配方向決定部６２で使用しているが、本実施の形態では、事前にフレーム内の移動体を、前後フレームを使った画像処理により検知して除去し、移動体の上にない特徴点の移動ベクトルのみを抽出している。

本実施の形態では、移動ベクトル算出部６１の結果に対し、移動体除去部６６でフィルタリングを行うことで静止物上の特徴点の移動ベクトルのみを得ることができる。これにより車両３０の動きを反映したベクトルのみを抽出することができる。つまり、支配方向決定部６２で得られる支配的な方向と車両３０の動きとがより正確に関連付けられる。

実施の形態４．
本実施の形態について、主に実施の形態１との差異を説明する。

本実施の形態では、第１推定部５１の支配方向決定部６２は、第１推定部５１の移動ベクトル算出部６１により抽出された特徴点群のフレーム間での移動量に応じて、当該特徴点群のフィルタリングを行ってから、当該特徴点群のフレーム間での移動方向を算出する。

実施の形態１では、特徴点の移動ベクトルを算出する際の条件付けはないが、本実施の形態では、長さが一定値α以上のベクトルだけを選んでいる。短いベクトルは誤差の影響が大きくなるため、そのようなベクトルを除外することで支配的方向の算出をより正確にできる。

実施の形態５．
本実施の形態について、主に実施の形態１との差異を説明する。

本実施の形態では、同期部５３は、第１推定部５１により推定された第１データ範囲における、動画データ３３に含まれている画像のフレームそれぞれの特徴点群のフレーム間での移動量と、第２推定部５２により推定された第２データ範囲における、加速度データ３４に示されている加速度の変動量との関係を分析する。同期部５３は、分析結果を時刻同期に利用する。

実施の形態１では、｛ｘｉ，ｘｉ＋１｝および｛ｙｉ，ｙｉ＋１｝のマッチングに先頭および終了フレームの時刻のみを使用しているが、本実施の形態では、先頭および終了フレームのベクトルの長さの変化と加速度の変化との関係からマッチングを行っている。これは、加速度の変化から与えられる車両３０の速度の変化が、移動ベクトルの長さに関係があるためである。速度が速ければ単位時間当たりの変動が大きくなり、移動ベクトルが長くなる。

実施の形態６．
本実施の形態について、主に実施の形態１との差異を説明する。

本実施の形態では、第１推定部５１は、動画データ３３に含まれている画像のフレームそれぞれを複数の部分画像に分割し、部分画像ごとの移動方向の偏りから、第１データ範囲を求める。

実施の形態１では、特徴点の移動ベクトルの支配的方向をフレーム全体の結果から算出しているが、本実施の形態では、動画フレームを複数の部分画像に分割し、各部分画像に含まれる特徴点の移動ベクトルの支配的方向を算出し、その結果を利用している。そのため、本実施の形態によれば、フレーム全体では求められないような車両３０の挙動も求められる。例えば、直進時は画像内の消失点方向に移動ベクトルが集中するため、このような状態も得られる。

これにより、直進等、右左折以外の車両３０の動作も算出でき、動作フレーム決定部６３で求められるフレーム範囲が多くなる。加速度データ３４に車両３０の進行方向の加速度のデータを追加し、第２推定部５２に入力することで直進時のデータ範囲を求めることにより、より多くのデータでズレ量算出部６４によるズレ量推定を行うことができ、結果としてより正確な同期ができることになる。

１０ データ同期システム、２０ データ同期装置、２１ プロセッサ、２２ メモリ、２３ 電子回路、３０ 車両、３１ カメラ、３２ 加速度センサ、３３ 動画データ、３４ 加速度データ、４１ 動画記録用システム、４２ 加速度記録用システム、５１ 第１推定部、５２ 第２推定部、５３ 同期部、６１ 移動ベクトル算出部、６２ 支配方向決定部、６３ 動作フレーム決定部、６４ ズレ量算出部、６５ ズレ調整部、６６ 移動体除去部。

Claims (13)

1. 車両に設置されたカメラによって前記車両の外を撮影して得られた画像の時系列データのうち、前記車両がある動きをしていたときのデータ範囲を第１データ範囲として推定する第１推定部と、
   前記車両に設置された加速度センサによって得られた加速度の時系列データのうち、前記車両が前記動きをしていたときのデータ範囲を第２データ範囲として推定する第２推定部と、
   前記第１推定部により推定された第１データ範囲に対応する時間範囲と、前記第２推定部により推定された第２データ範囲に対応する時間範囲とに基づいて、前記画像の時系列データと前記加速度の時系列データとの間の時刻同期を行う同期部と
   を備えるデータ同期装置。
2. 前記動きは、右左折の少なくともいずれかである請求項１に記載のデータ同期装置。
3. 前記同期部は、前記第１データ範囲に対応する時間範囲と、前記第２データ範囲に対応する時間範囲とのズレ量を算出し、算出したズレ量から、前記時刻同期を行う請求項１または２に記載のデータ同期装置。
4. 前記第１推定部は、前記画像の時系列データに含まれている前記画像のフレームそれぞれの特徴点群を抽出し、抽出した特徴点群のフレーム間での移動方向の偏りから、前記第１データ範囲を求める請求項１から３のいずれか１項に記載のデータ同期装置。
5. 前記第１推定部は、前記特徴点群のうち、前記画像に写っている移動体の特徴点を除去してから、前記移動方向を算出する請求項４に記載のデータ同期装置。
6. 前記第１推定部は、前記特徴点群のフレーム間での移動量に応じて、前記特徴点群のフィルタリングを行ってから、前記移動方向を算出する請求項４または５に記載のデータ同期装置。
7. 前記第１推定部は、前記画像のフレームそれぞれを複数の部分画像に分割し、部分画像ごとの前記移動方向の偏りから、前記第１データ範囲を求める請求項４から６のいずれか１項に記載のデータ同期装置。
8. 前記第２推定部は、前記加速度の時系列データに示されている前記加速度の変動から、前記第２データ範囲を求める請求項４から７のいずれか１項に記載のデータ同期装置。
9. 前記同期部は、前記第１データ範囲における、前記特徴点群のフレーム間での移動量と、前記第２データ範囲における、前記加速度の変動量との関係を分析し、分析結果を前記時刻同期に利用する請求項８に記載のデータ同期装置。
10. 前記第１推定部は、前記画像の時系列データに対して機械学習を行うことで、前記第１データ範囲を求める請求項１から９のいずれか１項に記載のデータ同期装置。
11. 前記第２推定部は、前記加速度の時系列データに対して機械学習を行うことで、前記第２データ範囲を求める請求項１から１０のいずれか１項に記載のデータ同期装置。
12. 第１推定部が、車両に設置されたカメラによって前記車両の外を撮影して得られた画像の時系列データのうち、前記車両がある動きをしていたときのデータ範囲を第１データ範囲として推定し、
    第２推定部が、前記車両に設置された加速度センサによって得られた加速度の時系列データのうち、前記車両が前記動きをしていたときのデータ範囲を第２データ範囲として推定し、
    同期部が、前記第１推定部により推定された第１データ範囲に対応する時間範囲と、前記第２推定部により推定された第２データ範囲に対応する時間範囲とに基づいて、前記画像の時系列データと前記加速度の時系列データとの間の時刻同期を行うデータ同期方法。
13. コンピュータに、
    車両に設置されたカメラによって前記車両の外を撮影して得られた画像の時系列データのうち、前記車両がある動きをしていたときのデータ範囲を第１データ範囲として推定する第１推定処理と、
    前記車両に設置された加速度センサによって得られた加速度の時系列データのうち、前記車両が前記動きをしていたときのデータ範囲を第２データ範囲として推定する第２推定処理と、
    前記第１推定処理により推定された第１データ範囲に対応する時間範囲と、前記第２推定処理により推定された第２データ範囲に対応する時間範囲とに基づいて、前記画像の時系列データと前記加速度の時系列データとの間の時刻同期を行う同期処理と
    を実行させるデータ同期プログラム。

Images