JP7112255B2

JP7112255B2 - 車両データの時刻同期装置及び方法

Info

Publication number: JP7112255B2
Application number: JP2018107572A
Authority: JP
Inventors: 善隆平嶋
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2018-06-05
Filing date: 2018-06-05
Publication date: 2022-08-03
Anticipated expiration: 2038-06-05
Also published as: JP2019212015A

Description

本発明は、車両データの時刻同期装置及び方法に関する。

従来、車両データを収集するデータ収集システムが提案されている（例えば、特許文献１）。車両データの一例は、ＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）バス等の車両に搭載されたネットワーク（車両の専用ネットワーク）を介して車速センサ等の車両センサにより取得される車両データである。車両データの他の例は、車両に搭載されたネットワークとは異なる経路を介して後付けの機器により取得される車両データである。後付けの機器の例は、カメラ、レーダ等である。

このようなデータ収集システムにおいて、例えば、車両に搭載されたネットワークを介して車両センサにより取得される車両データとしてＣＡＮデータが収集され、車両に搭載されたネットワークとは異なる経路を介して後付けの機器により取得される車両データとしてカメラ画像データが収集される。

特開２００７－２９３５３６号公報

ＣＡＮバス上を流れるデータには同じ時刻が付与されるが、後付けの機器により取得されたＣＡＮバス上を流れないデータ、例えば、カメラ画像データに付された時刻は、ＣＡＮバス上を流れるデータの時刻と同期していない。したがって、同一のイベント（例えば、車両の走行状態から停止状態への変化）が検出されたＣＡＮデータに付された時刻は、同一のイベントが検出されたカメラ画像データに付された時刻と異なることがある。この場合、ＣＡＮデータによって反映される車両の状況は、カメラ画像データによって反映される車両の状況に対応しなくなり、ＣＡＮデータ及びカメラ画像データを分析等に用いるのに適さなくなる。このために、ＣＡＮデータ及びカメラ画像データを分析等に用いる場合には、ＣＡＮデータとカメラ画像データの時刻との時刻同期を行う作業が必要となる。

本発明の目的は、車両データの時刻同期を正確に行うことができる車両データの時刻同期装置及び方法を提供することである。

本発明による車両データの時刻同期装置は、第１の時刻が付された第１の車両データと、第２の時刻が付された第２の車両データとを収集する車両データ収集部と、第１の車両データ及び第２の車両データから同一のイベントを検出するイベント検出部と、第１の車両データと第２の車両データとの時刻同期を、同一のイベントが検出された第１の車両データの第１の時刻及び同一のイベントが検出された第２の車両のデータの第２の時刻との差に基づいて行う時刻同期部と、を備える。

好適には、第１の車両データは、衛星測位システムからの信号に基づいて求められた車両の位置に関するデータであり、第２の車両データは、車両に搭載されたネットワークを介して車両のセンサ若しくは機器から車両データ収集部に送信されたデータ、又は、車両に搭載されたネットワークとは異なる経路を介して機器若しくはセンサから車両データ収集部に送信された車両の機器又はセンサの出力データである。

好適には、第１の車両データは、車両に搭載されたネットワークを介して車両のセンサ又は機器から車両データ収集部に送信されたデータと、車両に搭載されたネットワークとは異なる経路を介して機器又はセンサから車両データ収集部に送信された車両の機器又はセンサの出力データのうちの一方であり、第２の車両データは、そのうちの他方である。

好適には、時刻同期部は、時刻同期を行う際の時刻補正のための補正値を、同一のイベントが出現した第１の車両データの時刻と同一のイベントが出現した第２の車両のデータの時刻との差に基づいて、同一のイベントが生じる度に繰り返し算出する。

好適には、同一のイベントは、車両の移動に関するイベントである。

好適には、車両の移動に関するイベントは、車両の走行状態から停止状態への変化又は車両の停止状態から走行状態への変化である。

好適には、第１の車両データ又は第２の車両データは、車両に搭載されたネットワークとは異なる経路を介して車両のカメラから車両データ収集部に送信された画像データであり、イベント検出部は、画像データのそれぞれに対応する画像に含まれる静止物の画像の中の位置の変化に基づいて、同一のイベントとして車両の移動を検出する。

好適には、第１の車両データは、車両の位置に関するデータであり、イベント検出部は、位置の変化に基づいて、同一のイベントとして車両の移動を検出する。

好適には、車両データの時刻同期装置は、車載機又はサーバである。

本発明による車両データの時刻同期方法は、第１の時刻が付された第１の車両データと、第２の時刻が付された第２の車両データとをコンピュータによって収集するステップと、第１の車両データ及び第２の車両データから同一のイベントをコンピュータによって検出するステップと、第１の車両データと第２の車両データとの時刻同期を、同一のイベントが検出された第１の車両データの第１の時刻及び同一のイベントが検出された第２の車両のデータの第２の時刻との差に基づいてコンピュータによって行うステップと、を備える。

本発明によれば、車両データの時刻同期を正確に行うことができる車両データの時刻同期装置及び方法を提供することができる。

本発明による車両データの時刻同期装置として用いられる車載機１の構成図である。図１に示す車載機１のＣＰＵ１３の内部クロック補正手順の一例を示すフローチャートである。図１に示す車載機１の時刻同期制御手順の一例を示すフローチャートである。図１に示す車載機１の時刻同期を説明するための図である。本発明による車両データの時刻同期装置として用いられるサーバ６を有する通信システムの構成図である。本発明による車両データの時刻同期装置として用いられるサーバ６’を有する通信システムの構成図である。

本発明による車両データの時刻同期装置及び方法を、図面を参照しながら詳細に説明する。図面中、同一構成要素には同一符号を付すものとする。
図１は、本発明による車両データの時刻同期装置として用いられる車載機１の構成図である。車載機１は、例えば、ドライブレコーダであり、ＧＰＳ受信機２、車両状態のセンシング等を行うＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）３、カメラ４及びレーダ５が接続され、ＲＯＭ１１、ＲＡＭ１２及びＣＰＵ１３を備える。

ＧＰＳ受信機２は、衛星測位システム信号（ＧＰＳ信号）を衛星測位システム（図示せず）から受信し、ＧＰＳ受信機２によって受信されたＧＰＳ信号は、経路１４を介してＣＰＵ１３に供給される。ＧＰＳ信号は、衛星測位システムからの信号の一例である。

ＥＣＵ３は、例えば、車速センサ、ジャイロセンサ、ヨーレートセンサ、舵角センサ、ブレーキ圧センサ、アクセル開度センサ、Ｇセンサ等である。車速センサは、車載機１が搭載されている車両の速度を検出する。ジャイロセンサは、車体の姿勢及び進行方向を検知する。ヨーレートセンサは、ヨーレート（車両の重心の上下方向軸周りの回転角速度）を検知する。舵角センサは、ドライバにより操作されるステアリングホイールの舵角（操舵角度）又はステアリングホイールの舵角に応じた実舵角（転舵角度）を検出する。ブレーキ圧センサは、ドライバによって踏み込まれたブレーキの圧を検出する。アクセル開度センサは、ドライバによって踏み込まれたアクセルの開度を検出する。Ｇセンサは、車両の重力加速度を検出する。

ＥＣＵ３は、車速、姿勢、進行方向、ヨーレート、操舵角度、転舵角度、ブレーキ圧、アクセル開度、重力加速度等の検出結果のデータを、ＣＡＮデータとしてＣＡＮバス１５を介して車載機１に供給する。車載機１に供給されたＣＡＮデータには、車載機１に到達した時刻が付される。ＣＡＮデータが車載機１に到達した時刻は、第１の時刻又は第２の時刻の一例であり、ＣＰＵ１３の内部クロックに基づいて決定される。ＣＡＮデータは、第１の車両データ又は第２の車両データの一例であり、車両に搭載されたネットワークを介して車両のセンサ又は機器から車両データ収集部に送信されたデータの一例である。ＣＡＮバス１５は、車両に搭載されたネットワークの一例である。

カメラ４は、可視光カメラ等によって構成され、車両の周辺を撮像できるように車外又は車内に後付けされ、車両周辺の撮影画像データを、経路１６を介して車載機１に供給する。車載機１に供給された撮影画像データには、車載機１に到達した時刻が付される。撮影画像データが車載機１に到達した時刻は、第１の時刻又は第２の時刻の一例であり、ＣＰＵ１３の内部クロックに基づいて決定される。カメラ４は、車両のカメラの一例である。撮影画像データは、第１の車両データ又は第２の車両データの一例であり、車両の機器又はセンサの出力データの一例であり、かつ、画像データの一例である。経路１６は、車両に搭載されたネットワークとは異なる経路の一例である。撮影画像データが車載機１に到達した時刻は、第１の時刻又は第２の時刻の一例である。

レーダ５は、車両に後付けされ、ミリ波を発信し、ミリ波が障害物で反射した反射波を受信することによって周囲の障害物を検知する。ミリ波を発信してから戻ってくるまでの時間に基づいて車両と障害物との間の距離に関するレーダ５の検出結果のデータは、経路１７を介してＣＰＵ１３に供給される。車載機１に供給されたレーダ５の検出結果のデータには、車載機１に到達した時刻が付される。レーダ５の検出結果のデータが車載機１に到達した時刻は、第１の時刻又は第２の時刻の一例であり、ＣＰＵ１３の内部クロックに基づいて決定される。レーダ５の検出結果のデータは、第１の車両データ又は第２の車両データの一例であり、かつ、車両の機器又はセンサの出力データの一例である。経路１７は、車両に搭載されたネットワークとは異なる経路の一例である。

ＲＯＭ１１は、ＣＰＵ１３に接続され、内部クロック補正コンピュータプログラム、時刻同期制御コンピュータ制御プログラム等の各種制御コンピュータプログラム及び各種データを格納する。ＲＡＭ１２は、ＣＰＵ１３に接続され、ＧＰＳ信号を用いることによって測定される衛星測位システムとＧＰＳ受信機２との間の距離に基づいてＣＰＵ１３によって計算された時刻及び車両の位置に関するデータを格納する。計算された時刻は、第１の時刻の一例であり、内部クロック補正コンピュータプログラムを実行する際に基準時刻として用いることができる正確な時刻である。計算された時刻及び車両の位置に関するデータは、第１の車両データの一例であり、かつ、車両の位置に関するデータである。

本実施の形態では、ＲＡＭ１２は、車載機１に到達した時刻が付されたＣＡＮデータ、車載機１に到達した時刻が付された撮影画像データ、車載機１に到達した時刻が付されたレーダ５の検出結果のデータ等の各種データも格納する。計算された時刻、ＣＡＮデータに付された時刻、撮影画像データに付された時刻及びレーダ５の検出結果のデータに付された時刻は、互いに同期していない。また、本実施の形態では、ＲＡＭ１２は、後に説明する補正値も格納する。

ＣＰＵ１３は、ＧＰＳ受信機２、ＥＣＵ３、カメラ４及びレーダ５がそれぞれ経路１４、ＣＡＮバス１５、経路１６及び経路１７を介して接続され、ＲＯＭ１１に格納された各種制御プログラムを実行する。本実施の形態では、ＣＰＵ１３は、ＣＰＵ１３によって実行される制御プログラムによってソフトウェア的に構成される又はＣＰＵ１３内の専用回路によりハードウェア的に構成される車両データ収集部１３ａ、イベント検出部１３ｂ及び時刻同期部１３ｃを備える。

車両データ収集部１３ａは、ＣＰＵ１３によって計算された時刻及び車両の位置に関するデータ、車載機１に到達した時刻が付されたＣＡＮデータ、車載機１に到達した時刻が付された撮影画像データ及び車載機１に到達した時刻が付されたレーダ５の検出結果のデータをＲＡＭ１２から収集する。

イベント検出部１３ｂは、計算された時刻及び車両の位置に関するデータ、ＣＡＮデータ、撮影画像データ及びレーダ５の検出結果のデータのうちの少なくとも二つから同一のイベントを検出する。「同一のイベント」とは、車両データ（例えば、計算された時刻及び車両の位置に関するデータ）において検出されるイベントと別の車両データ（例えば、ＣＡＮデータ）において検出されるイベントとが同一であることを意味する。また、イベント検出部１３ｂは、車両データにおいてイベント（例えば、車両の停止状態から走行状態への変化）が出現した時刻と別の車両データにおいて同一種類のイベント（例えば、車両の停止状態から走行状態への変化）が出現した時刻との差が予め決定された値（例えば、５秒）である場合、これらのイベントを同一のイベントと識別する。

本実施の形態において、イベント検出部１３ｂは、計算された時刻及び車両の位置に関するデータに含まれる車両の位置の変化に基づいて、車両の走行状態から停止状態への変化又は車両の停止状態から走行状態への変化である車両の移動に関するイベントを、計算された時刻及び車両の位置に関するデータから検出する。

また、イベント検出部１３ｂは、ＣＡＮデータに含まれる速度の変化に基づいて、車両の走行状態から停止状態への変化又は車両の停止状態から走行状態への変化である車両の移動に関するイベントを、ＣＡＮデータから検出する。

また、イベント検出部１３ｂは、撮影画像データについて画像認識を行うことによって、車両の走行状態から停止状態への変化又は車両の停止状態から走行状態への変化である車両の移動に関するイベントを、撮影画像データから検出する。

イベント検出部１３ｂは、撮影画像データから検出したイベントに対応する画像（映像）に含まれる静止物（例えば、信号機）を認識するために、例えば、認識対象物（信号機）の画像とその他の画像（背景等）の画像との輝度差を利用してこれらの間の境界認識すなわちエッジ検出を行う。エッジ検出を行うに際し、検出精度を高めるために、前処理としての空間フィルタリングを用いたノイズ除去等の画像処理手法を用いてもよい。

また、イベント検出部１３ｂは、車両の走行状態から停止状態への変化又は車両の停止状態から走行状態への変化である車両の移動に関するイベントを検出するために、画像に含まれる静止物の画像の中の位置の変化を判定する。イベント検出部１３ｂは、画像に含まれる静止物の画像の中の位置の変化を判定するために、車両データ収集部１３ａが収集した撮影画像データにそれぞれ対応する画像の各点が全体として収束するような無限遠点又は消失点を求めるとともに、画像中の静止物の画像として認識された画像の中から静止物の縁部、中央部、面積、色彩等の特徴点を抽出し、その特徴点の時間的な移動を移動ベクトル（オプティカルフロー）として求める。

そして、イベント検出部１３ｂは、求めたオプティカルフローが消失点から発散する方向に向かっているか否か（収束する方向に向かっているか否か）に応じて、車両の走行状態から停止状態への変化又は車両の停止状態から走行状態への変化である車両の移動に関するイベントを検出する。

さらに、イベント検出部１３ｂは、レーダ５の検出結果のデータに含まれる車両と障害物との間の距離に基づいて、車両の移動に関するイベント等のイベントをレーダ５の検出結果のデータから検出する。

時刻同期部１３ｃは、時刻同期を行う際の時刻補正のための補正値を、同一のイベント（例えば、車両の停止状態から走行状態への変化）が出現したデータ（例えば、計算された時刻及び車両の位置に関するデータ）の時刻と同一のイベント（例えば、車両の停止状態から走行状態への変化）が出現した他のデータ（例えば、ＣＡＮデータ）の時刻との差に基づいて算出する。また、時刻同期部１３ｃは、異なる経路を介してそれぞれ取得したデータ（例えば、計算された時刻及び車両の位置に関するデータ及びＣＡＮデータ）において同一のイベントが生じる度に補正値を繰り返し算出し、算出した補正値をＲＡＭ１２に格納する。

そして、時刻同期部１３ｃは、算出した補正値に基づいて、同一のイベントが出現したデータ（例えば、計算された時刻及び車両の位置に関するデータ）の時刻と同一のイベントが出現した他のデータ（例えば、ＣＡＮデータ）との時刻同期を行う。

時刻同期部１３ｃが算出する補正値は、データの種類の組合せごとに異なる。例えば、計算された時刻及び車両の位置に関するデータとＣＡＮデータとの時刻同期を行う際の時刻補正のための補正値は、計算された時刻及び車両の位置に関するデータと撮影画像データとの時刻同期を行う際の時刻補正のための補正値と異なる。

本実施の形態では、時刻同期部１３ｃは、車載機５のＣＰＵ１３の内部クロックの補正を行う。図２は、図１に示す車載機１のＣＰＵ１３の内部クロック補正手順の一例を示すフローチャートである。このフローは、内部クロック補正コンピュータプログラムに基づいて、主にＣＰＵ１３により、車載機１の各要素と協働して実行される。このフローは、車両のイグニションスイッチがオンである間に所定の時間間隔ごとに実行される。

先ず、ＧＰＳ受信機２は、ＧＰＳ信号を受信する（ステップＳ１）。次に、ＣＰＵ１３は、ＧＰＳ信号を用いることによって測定される衛星測位システムとＧＰＳ受信機２との間の距離を測定し、測定した距離に基づいて、時刻及び車両の位置を計算する（ステップＳ２）。次に、ＣＰＵ１３は、計算された時刻に基づいて内部クロックを補正し、計算された時刻及び車両の位置に関するデータをＲＡＭ１２に一時的に格納する（ステップＳ３）。その後、ＣＰＵ１３は、処理を終了する。

このように内部クロックを補正することによって、ＣＡＮデータが車載機１に到達した時刻、撮影画像データが車載機１に到達した時刻及びレーダ５の検出結果のデータが車載機１に到達した時刻は、内部クロックを補正しない場合に比べて正確になる。

図３は、図１に示す車載機５時刻同期制御手順の一例を示すフローチャートである。このフローは、時刻同期制御コンピュータプログラムに基づいて、主にＣＰＵ１３により、車載機１の各要素と協働して実行される。このフローは、車両のイグニションスイッチがオンである間に所定の時間間隔ごとに実行される。

先ず、車両データ収集部１３ａは、計算された時刻及び車両の位置に関するデータ、車載機１に到達した時刻が付されたＣＡＮデータ、車載機１に到達した時刻が付された撮影画像データ及び車載機１に到達した時刻が付されたレーダ５の検出結果のデータをＲＡＭ１２から収集する（ステップＳ１１）。

次に、イベント検出部１３ｂは、異なる経路を介してそれぞれ取得したデータから同一のイベントが検出されたか否かを判定する（ステップＳ１２）。異なる経路を介してそれぞれ取得したデータから同一のイベントが検出された場合（ステップＳ１２のＹＥＳ）、時刻同期部１３ｃは、同一のイベントが検出されたデータの時刻同期を行う際の時刻補正のための補正値を算出する（ステップＳ１３）。次に、時刻同期部１３ｃは、ＲＡＭ１２に格納された補正値のうちのステップＳ１３で算出した補正値に対応する補正値を、ステップＳ１３で算出した補正値に更新する（ステップＳ１４）。次に、時刻同期部１３ｃは、ＲＡＭ１２に格納された補正値に基づいて、同一のイベントが検出された複数のデータの時刻同期を行う（ステップＳ１５）。次に、時刻同期部１３ｃは、時刻同期が行われたデータをＲＡＭ１２に格納する（ステップＳ１６）。その後、ＣＰＵ１３は、処理を終了する。一方、ステップＳ１２において異なる経路を介してそれぞれ取得したデータから同一のイベントが検出されなかった場合（ステップＳ１２のＮＯ）、処理は、ステップＳ１５に進む。

図４は、図１に示す車載機５の時刻同期を説明するための図である。図４において、車両の停止状態から走行状態への変化である動き始めを同一のイベントとして検出する場合について説明する。図４Ａにおいて、車載機１で撮影画像データを受信した時刻ｔ１が１７：００：０５から１７：００：１０の直前までの間の撮影画像データに対応する画像の信号機Ｓの位置が変化せず、時刻ｔ１が１７：００：１０の直後の撮影画像データに対応する画像の信号機Ｓの位置が変化したことを示す。イベント検出部１３ｂは、静止物である信号機の画像中の位置の変化を検出することによって、車両の停止状態から走行状態への変化である動き始めをイベントとして検出する。

図４Ｂにおいて、車載機１でＣＡＮデータを受信した時刻ｔ２が１７：００：１０から１７：００：１５の直前までの間のＣＡＮデータに含まれる速度ｖが０であり、時刻ｔ１が１７：００：１５の直後のＣＡＮデータに含まれる速度ｖがｖ₁（ｖ₁＞０）になったことを示す。イベント検出部１３ｂは、速度ｖの０からｖ₁への変化を検出することによって、車両の停止状態から走行状態への変化である動き始めを、図４Ａにおける撮影画像データの動き始めのイベントと同一のイベントとして検出する。

図４Ｃにおいて、ＧＰＳ信号を用いることによって取得した時刻ｔ３が１７：００：０７から１７：００：１２の直前までの間のＧＰＳ信号を用いることによって取得した車両の位置（ｘ，ｙ）が（ｘ₀，ｙ₀）であり、時刻ｔ３が１７：００：１２の直後のＧＰＳ信号を用いることによって取得した車両の位置（ｘ，ｙ）が（ｘ₁，ｙ₁）（ｘ₀≠ｘ₁，ｙ₀≠ｙ₁）になったことを示す。イベント検出部１３ｂは、車両の位置（ｘ，ｙ）の（ｘ₀，ｙ₀）から（ｘ₁，ｙ₁）への変化を検出することによって、車両の停止状態から走行状態への変化である動き始めを、図４Ａにおける撮影画像データの動き始めのイベント及び図４ＢにおけるＣＡＮデータの動き始めのイベントと同一のイベントとして検出する。

図４に示す例では、車両の停止状態から走行状態への変化である動き始めを検出したときの時刻ｔ１、時刻ｔ２及び時刻ｔ３がそれぞれ１７：００：１０、１７：００：１５及び１７：００：１２であるので、ＧＰＳ信号を用いて取得した時刻を基準とした場合、時刻ｔ３に対する時刻ｔ１の補正値は＋２となり、時刻ｔ３に対する時刻ｔ２の補正値は－３となる。

本実施の形態によれば、計算された時刻及び車両の位置に関するデータ、車載機１に到達した時刻が付されたＣＡＮデータ、車載機１に到達した時刻が付された撮影画像データとの間の時刻同期を正確に行うことができる。

また、補正値を繰り返し算出することによって、時刻同期の精度を向上させることができる。また、車両の走行状態から停止状態への変化又は車両の停止状態から走行状態への変化である車両の移動に関するイベントを検出することによって、イベントの検出が容易になる。

図５は、本発明による車両データの時刻同期装置として用いられるサーバ６を有する通信システムの構成図である。図５に示すシステムにおいて、車載機１’は、ＲＯＭ１１’、ＲＡＭ１２’，ＣＰＵ１３’及び通信部１８を備える。ＲＯＭ１１’は、図１のＲＯＭ１１と略同一構成を有し、ＲＡＭ１２’は、図１のＲＡＭ１２と略同一の構成を有し、ＣＰＵ１３’は、図１の車両データ収集部１３ａ、イベント検出部１３ｂ及び時刻同期部１３ｃを備えない点を除いて図１のＣＰＵ１３と略同一の構成を有する。

通信部１８は、ＣＰＵ１３’に接続され、通信ネットワーク７に接続するためのインタフェース回路を有する。そして、通信部１８は、通信ネットワーク７が準拠する通信方式に従ってサーバ６と通信を行う。

サーバ６は、通信部２１、ＲＯＭ２２、ＲＡＭ２３及びＣＰＵ２４を備える。通信部２１は、ＣＰＵ２４に接続され、通信ネットワーク７に接続するためのインタフェース回路を有する。そして、通信部２１は、通信ネットワーク７が準拠する通信方式に従って車載機１’と通信を行う。

ＲＯＭ２２は、図１のＲＯＭ１１と略同一構成を有し、ＲＡＭ２３は、図１のＲＡＭ１２と略同一の構成を有し、ＣＰＵ２４は、図１の車両データ収集部１３ａ、イベント検出部１３ｂ及び時刻同期部１３ｃにそれぞれ対応する図１の車両データ収集部２４ａ、イベント検出部２４ｂ及び時刻同期部２４ｃを備え、図１のＣＰＵ１３と略同一の構成を有する。

本実施の形態では、計算された時刻及び車両の位置に関するデータ、サーバ６に到達した時刻が付されたＣＡＮデータ、サーバ６に到達した時刻が付された撮影画像データ及びサーバ６に到達した時刻が付されたレーダ５の検出結果のデータがＲＡＭ２３に格納される。例えば、同期時刻部２４ｃは、計算された時刻及び車両の位置に関するデータ、サーバ６に到達した時刻が付されたＣＡＮデータ、サーバ６に到達した時刻が付された撮影画像データとの間の時刻同期を行い、時刻同期が行われたこれらのデータは、サーバ６から車載機１’に送信され、ＲＡＭ１２’に格納される。

本実施の形態によれば、計算された時刻及び車両の位置に関するデータ、サーバ６に到達した時刻が付されたＣＡＮデータ、サーバ６に到達した時刻が付された撮影画像データとの間の時刻同期をサーバ６側で行うことによって、車載機１’における演算の負荷を軽減することができる。

図６は、本発明による車両データの時刻同期装置として用いられるサーバ６’を有する通信システムの構成図である。図６に示すシステムにおいて、車載機１”は、ＲＯＭ１１”、ＲＡＭ１２”，ＣＰＵ１３”及び通信部１８を備える。ＲＯＭ１１”は、図１のＲＯＭ１１と略同一構成を有し、ＲＡＭ１２”は、図１のＲＡＭ１２と略同一の構成を有し、ＣＰＵ１３’は、図１の車両データ収集部１３ａ、イベント検出部１３ｂ及び時刻同期部１３ｃの代わりに時刻同期部１３ｃ”を備える点を除いて図１のＣＰＵ１３と略同一の構成を有する。

サーバ６’は、通信部２１、ＲＯＭ２２’、ＲＡＭ２３’及びＣＰＵ２４’を備える。ＲＯＭ２２’は、図１のＲＯＭ１１と略同一構成を有し、ＲＡＭ２３’は、図１のＲＡＭ１２と略同一の構成を有し、ＣＰＵ２４’は、図１の車両データ収集部１３ａ及びイベント検出部１３ｂにそれぞれ対応する図１の車両データ収集部２４ａ及びイベント検出部２４ｂと、補正値算出部２４ｄを備え、図１のＣＰＵ１３と略同一の構成を有する。補正値算出部２４ｄは、時刻同期を行う際の時刻補正のための補正値を算出する。

本実施の形態では、計算された時刻及び車両の位置に関するデータ、サーバ６’に到達した時刻が付されたＣＡＮデータ、サーバ６’に到達した時刻が付された撮影画像データ及びサーバ６’に到達した時刻が付されたレーダ５の検出結果のデータがＲＡＭ２３に格納される。また、本実施の形態では、補正値算出部２４ｄは、時刻補正のための補正値を算出し、算出された補正値に関するデータがサーバ６’から車載機１”に送信され、時刻同期部１３ｃ”は、車載機１”に送信された補正値に関するデータに含まれる補正値に基づいて時刻同期を行う。

本実施の形態によれば、時刻同期を行う際の時刻補正のための補正値をサーバ６’側で算出することによって、車載機１”における演算の負荷を軽減することができる。

本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。例えば、上記実施の形態において、３種類のデータの間の時刻同期を行う場合について説明したが、２種類又は４種類以上のデータの間の時刻同期を行う場合にも本発明を適用することができる。２種類のデータの間の時刻同期は、例えば、計算された時刻及び車両の位置に関するデータと車載機１に到達した時刻が付されたＣＡＮデータ若しくは車載機１に到達した時刻が付された撮影画像データとの間の時刻同期、又は、車載機１に到達した時刻が付されたＣＡＮデータと車載機１に到達した時刻が付された撮影画像データとの間の時刻同期である。４種類以上のデータの間の時刻同期は、例えば、計算された時刻及び車両の位置に関するデータ、車載機１に到達した時刻が付されたＣＡＮデータ、車載機１に到達した時刻が付された撮影画像データ及び車載機１に到達した時刻が付されたレーダ５の検出結果のデータの間の時刻同期である。２種類又は４種類以上のデータの間の時刻同期を行う場合もデータの間の時刻同期を正確に行うことができる。また、繰り返し算出した補正値の平均値の算出等の学習を行い、学習した結果（例えば、補正値の平均値）を、時刻同期を行う際に用いてもよい。

また、イベントとして車両の移動に関するイベントとして、車両の走行状態から停止状態への変化又は車両の停止状態から走行状態への変化の他に車両の後退、右折、左折、車両の障害物の回避、車間距離の変化等を用いることができる。車両の後退をイベントとして用いる場合、例えば、計算された時刻及び車両の位置に関するデータに含まれる車両の位置の変化をイベントとして検出するとともにＣＡＮデータに含まれる速度の変化をイベントとして検出する。車両の右折又は左折をイベントとして用いる場合、例えば、ＣＡＮデータに含まれるヨーレート又は操舵角度の変化をイベントとして検出するとともに画像中の右から左に流れる変化をイベントとして検出する。車両の障害物の回避又は車間距離の変化をイベントとして用いる場合、例えば、ＣＡＮデータに含まれるブレーキ圧、アクセル開度、重力加速度の変化をイベントとして検出するとともに画像に示される急減速又は急加速の状態をイベントとして検出する。

さらに、イベントとして車両の移動に関するイベントを検出する場合について説明したが、イベントとしてドライバの挙動に関するイベントを用いてもよい。ドライバの挙動に関するイベントを検出するために、例えば、移動物（例えば、歩行者）が飛び出してきたことを示す画像をイベントとして検出するとともにドライバに装着されたウエアラブルデバイスが取得した心拍数の変化をイベントとして検出する。

１，１’，１” 車載機
２ＧＰＳ受信機
３ＥＣＵ
４カメラ
５レーダ
６，６’ サーバ
７通信ネットワーク
１１，１１’，１１”，２２，２２’ ＲＯＭ
１２，１２’，１２”，２３，２３’ ＲＡＭ
１３，１３’，１３”，２４，２４’ ＣＰＵ
１３ａ，２４ａ車両データ収集部
１３ｂ，２４ｂイベント検出部
１３ｃ，１３ｃ”，２４ｃ時刻同期部
１４，１６，１７経路
１５ＣＡＮバス
１８，２１通信部
２４ｄ補正値算出部

Claims

第１の時刻が付された第１の車両データと、第２の時刻が付された第２の車両データとを収集する車両データ収集部と、
前記第１の車両データ及び前記第２の車両データから同一のイベントを検出するイベント検出部と、
前記第１の車両データと前記第２の車両データとの時刻同期を、前記同一のイベントが検出された前記第１の車両データの前記第１の時刻及び前記同一のイベントが検出された前記第２の車両データの前記第２の時刻との差に基づいて行う時刻同期部と、
を備え、
前記第１の車両データは、車両に搭載されたネットワークを介して車両のセンサ又は機器から前記車両データ収集部に送信されたデータと、車両に搭載されたネットワークとは異なる経路を介して機器又はセンサから前記車両データ収集部に送信された車両の機器又はセンサの出力データのうちの一方であり、前記第２の車両データは、そのうちの他方である車両データの時刻同期装置。
第１の時刻が付された第１の車両データと、第２の時刻が付された第２の車両データとを収集する車両データ収集部と、
前記第１の車両データ及び前記第２の車両データから同一のイベントを検出するイベント検出部と、
前記第１の車両データと前記第２の車両データとの時刻同期を、前記同一のイベントが検出された前記第１の車両データの前記第１の時刻及び前記同一のイベントが検出された前記第２の車両データの前記第２の時刻との差に基づいて行う時刻同期部と、
を備え、
前記同一のイベントは、車両の移動に関するイベントであり、
前記車両の移動に関するイベントは、車両の走行状態から停止状態への変化又は車両の停止状態から走行状態への変化である車両データの時刻同期装置。
第１の時刻が付された第１の車両データと、第２の時刻が付された第２の車両データとを収集する車両データ収集部と、
前記第１の車両データ及び前記第２の車両データから同一のイベントを検出するイベント検出部と、
前記第１の車両データと前記第２の車両データとの時刻同期を、前記同一のイベントが検出された前記第１の車両データの前記第１の時刻及び前記同一のイベントが検出された前記第２の車両データの前記第２の時刻との差に基づいて行う時刻同期部と、
を備え、
前記第１の車両データ又は前記第２の車両データは、車両に搭載されたネットワークとは異なる経路を介して車両のカメラから前記車両データ収集部に送信された画像データであり、前記イベント検出部は、前記画像データのそれぞれに対応する画像に含まれる静止物の前記画像の中の位置の変化に基づいて、前記同一のイベントとして車両の移動を検出する車両データの時刻同期装置。
第１の時刻が付された第１の車両データと、第２の時刻が付された第２の車両データとを収集する車両データ収集部と、
前記第１の車両データ及び前記第２の車両データから同一のイベントを検出するイベント検出部と、
前記第１の車両データと前記第２の車両データとの時刻同期を、前記同一のイベントが検出された前記第１の車両データの前記第１の時刻及び前記同一のイベントが検出された前記第２の車両データの前記第２の時刻との差に基づいて行う時刻同期部と、
を備え、
前記第１の車両データは、車両の位置に関するデータであり、前記イベント検出部は、前記位置の変化に基づいて、前記同一のイベントとして車両の移動を検出する車両データの時刻同期装置。
前記時刻同期部は、前記時刻同期を行う際の時刻補正のための補正値を、前記同一のイベントが出現した前記第１の車両データの時刻と前記同一のイベントが出現した前記第２の車両データの時刻との差に基づいて、前記同一のイベントが生じる度に繰り返し算出する請求項１に記載の車両データの時刻同期装置。
前記同一のイベントは、車両の移動に関するイベントである請求項１に記載の車両データの時刻同期装置。
前記車両データの時刻同期装置は、車載機又はサーバである請求項１～６のいずれか一項に記載の車両データの時刻同期装置。
第１の時刻が付された第１の車両データと、第２の時刻が付された第２の車両データとをコンピュータによって収集するステップと、
前記第１の車両データ及び前記第２の車両データから同一のイベントを前記コンピュータによって検出するステップと、
前記第１の車両データと前記第２の車両データとの時刻同期を、前記同一のイベントが検出された前記第１の車両データの前記第１の時刻及び前記同一のイベントが検出された前記第２の車両データの前記第２の時刻との差に基づいて前記コンピュータによって行うステップと、
を備え、
前記第１の車両データは、車両に搭載されたネットワークを介して車両のセンサ又は機器から前記コンピュータに送信されたデータと、車両に搭載されたネットワークとは異なる経路を介して機器又はセンサから前記コンピュータに送信された車両の機器又はセンサの出力データのうちの一方であり、前記第２の車両データは、そのうちの他方である車両データの時刻同期方法。
第１の時刻が付された第１の車両データと、第２の時刻が付された第２の車両データとをコンピュータによって収集するステップと、
前記第１の車両データ及び前記第２の車両データから同一のイベントを前記コンピュータによって検出するステップと、
前記第１の車両データと前記第２の車両データとの時刻同期を、前記同一のイベントが検出された前記第１の車両データの前記第１の時刻及び前記同一のイベントが検出された前記第２の車両データの前記第２の時刻との差に基づいて前記コンピュータによって行うステップと、
を備え、
前記同一のイベントは、車両の移動に関するイベントであり、
前記車両の移動に関するイベントは、車両の走行状態から停止状態への変化又は車両の停止状態から走行状態への変化である車両データの時刻同期方法。
第１の時刻が付された第１の車両データと、第２の時刻が付された第２の車両データとをコンピュータによって収集するステップと、
前記第１の車両データ及び前記第２の車両データから同一のイベントを前記コンピュータによって検出するステップと、
前記第１の車両データと前記第２の車両データとの時刻同期を、前記同一のイベントが検出された前記第１の車両データの前記第１の時刻及び前記同一のイベントが検出された前記第２の車両データの前記第２の時刻との差に基づいて前記コンピュータによって行うステップと、
を備え、
前記第１の車両データ又は前記第２の車両データは、車両に搭載されたネットワークとは異なる経路を介して車両のカメラから前記コンピュータに送信された画像データであり、前記コンピュータは、前記画像データのそれぞれに対応する画像に含まれる静止物の前記画像の中の位置の変化に基づいて、前記同一のイベントとして車両の移動を検出する車両データの時刻同期方法。
第１の時刻が付された第１の車両データと、第２の時刻が付された第２の車両データとをコンピュータによって収集するステップと、
前記第１の車両データ及び前記第２の車両データから同一のイベントを前記コンピュータによって検出するステップと、
前記第１の車両データと前記第２の車両データとの時刻同期を、前記同一のイベントが検出された前記第１の車両データの前記第１の時刻及び前記同一のイベントが検出された前記第２の車両データの前記第２の時刻との差に基づいて前記コンピュータによって行うステップと、
を備え、
前記第１の車両データは、車両の位置に関するデータであり、前記コンピュータは、前記位置の変化に基づいて、前記同一のイベントとして車両の移動を検出する車両データの時刻同期方法。