JP7122984B2 - データ同期装置、車載システム - Google Patents

Description

本発明は、車載ネットワークを流れる画像データを制御データと同期させる技術に関する。

車両の運転を支援する技術として、車載カメラが撮像した画像を用いて車両の異常挙動を認識する技術が開発されている。１例として、正常挙動時における撮像画像と異常挙動時における撮像画像をそれぞれ学習器に学習させておき、実際の運転時における撮像画像を学習器に対して入力することにより、車両の挙動を自動認識することが考えられる。

このような機械学習に基づく自動認識を実施するためには、正常挙動時と異常挙動時それぞれの撮像画像を学習データとしてあらかじめ学習器に学習させる必要がある。学習データとしては、画像データの他に、車載ネットワークを介して送受信される制御データを用いることもできる。画像データと制御データを対応付けて学習させることにより、学習効果が向上することが期待できる。

下記特許文献１は、『電子制御ユニット（ＥＣＵ）間の通信の情報を適切に分別することで、ＡＤＡＳの機能を有する車両での通信の分析のための処理を効率的に行えるようにする情報処理装置を提供する。』ことを課題として、『ＡＤＡＳの機能に関連する所定制御を実行するＥＣＵを含むＥＣＵ間の車載ネットワークでの通信についての分析用の情報を収集する情報処理装置１００は、車載ネットワークで逐次送信された複数の通信データを受信する受信部１１０と、実行された所定制御の終了の時である制御終了時を検知してその制御終了時を含む分析対象期間を特定する特定部１３０と、受信部１１０により受信された通信データを、分析対象期間内に受信された通信データである分析対象通信データと分析対象期間外に受信された通信データである分析対象外通信データとに分別し、分別の結果に基づいて分析対象通信データについての分析のための所定処理を実行する処理部１４０とを備える。』という技術を記載している（要約参照）。

特開２０１８－１７０７１９号公報

学習データを生成する手段としては、車両を実際に走行させながら画像データと制御データを収集するのが効率的である。ただし画像データと制御データを対応付ける必要があるので、画像データを取得した時刻と、その画像データに対応する制御データを取得した時刻とが、概ね一致している必要がある。

画像データと制御データはそれぞれ別の装置から送信されるので（画像データは撮像装置から出力され、制御データは例えば他の車載制御装置から出力される）、これらを個別に取得した後に対照比較することにより、同じ時刻のデータを特定する必要がある。しかし撮像装置は撮像周期（例えば動画像の時間フレーム）ごとに静止画像を撮像するので、画像データ量は膨大となる。したがって全ての画像データを取得すると、画像データと制御データを同期させる作業は非常に手間がかかる。このことが学習プロセスの効率を下げる要因となる可能性がある。制御データはさらに多量となる場合もあるので、効率をさらに低下させる要因となる。

特許文献１のような従来技術においては、分析対象期間外における受信データを除外することについては考慮されているものの、上記学習データのように大量の画像データと制御データを同期させることについては考慮されていない。これは、車両走行時に実際に撮像した画像データを用いて学習を実施する際に、画像データと制御データを同期させるための技術的難易度が比較的高かったことに起因すると考えられる。

本発明は、上記のような課題に鑑みてなされたものであり、車載ネットワークを流れる画像データと制御データを効率的に同期させることができる技術を提供することを目的とする。

本発明に係るデータ同期装置は、画像データと制御データを同期させるための同期カウンタを生成して車載ネットワークに対して出力し、前記同期カウンタにしたがって、前記画像データと前記制御データを取得して記憶装置に格納する。

本発明に係るデータ同期装置によれば、画像データを撮像する周期と同期した制御データを選択的に収集することができる。これにより、画像データと制御データの同期性を確保しつつ、データ総量を抑制することにより、データ分析作業の効率を向上させることができる。

実施形態１に係る車載システム１０の構成図である。 画像データとＣＡＮデータを同期させる別実装例を示す模式図である。 データ同期装置１００の動作を説明するシーケンス図である。 実施形態２において同期カウンタ生成部１３０が生成する同期カウンタの経時変化を示すグラフである。 実施形態３に係る車載システム１０の構成図である。 実施形態５に係る車載システム１０の構成図である。

＜実施の形態１＞
図１は、本発明の実施形態１に係る車載システム１０の構成図である。車載システム１０は、車両が搭載するネットワークシステムである。車載システム１０は、データ同期装置１００、カメラＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２００、記憶装置３００を備える。これら装置は、車載ネットワーク４１０を介して接続されている。車載ネットワーク４１０は、例えばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのプロトコルを用いて各装置が相互通信するネットワークである。

カメラＥＣＵ２００は、車両が搭載しているカメラを用いて画像を撮像し、その画像データをデータ同期装置１００に対して送信する装置である。カメラＥＣＵ２００は、撮像周期ごとに画像を撮像する。カメラＥＣＵ２００は、同期カウンタ処理部２１０、画像処理部２２０、画像出力部２３０を備える。同期カウンタ処理部２１０については後述する。画像処理部２２０は、撮像信号を処理することにより画像データを生成する。画像出力部２３０は、車載ネットワーク４１０とは別の信号線４２０を介して、画像データをデータ同期装置１００に対して出力する。

データ同期装置１００は、画像データと制御データを同期させる装置である。ここでいう同期とは、画像データを撮像した時刻と制御データを取得した時刻が一致していることをいう。データ同期装置１００は、ある時刻において撮像した画像データと、その時刻において取得した制御データとをペアにして、両者の時刻が一致している旨を表すデータ（例えば撮像時刻または取得時刻）とともに、記憶装置３００へ格納する。これにより両データは同期を確保した状態で記憶装置３００に格納されることになる。

データ同期装置１００は、画像収集部１１０、画像データバッファ１２０、同期カウンタ生成部１３０、収集条件テーブル１４０、データ収集部１５０、ＣＡＮデータバッファ１６０、同期出力部１７０、を備える。

画像収集部１１０、同期カウンタ生成部１３０、データ収集部１５０、同期出力部１７０は、これらの機能を実装した回路デバイスなどのハードウェアを用いて構成することもできるし、これらの機能を実装したソフトウェアを演算装置が実行することにより構成することもできる。画像データバッファ１２０とＣＡＮデータバッファ１６０は、メモリデバイスなどの記憶装置を用いて構成することができる。

画像収集部１１０は、カメラＥＣＵ２００から画像データを収集して画像データバッファ１２０内に一時的に格納する。画像収集部１１０は、例えばカメラＥＣＵ２００の撮像周期ごとに、画像データを収集する。データ収集部１５０は、車載ネットワーク４１０からＣＡＮデータ（例えば他のＥＣＵが出力した、車両の制御演算のために用いる制御データ）を収集してＣＡＮデータバッファ１６０に一時的に格納する。画像データバッファ１２０とＣＡＮデータバッファ１６０は、同期した画像データと制御データを記憶装置３００に格納するまでの間、画像データと制御データを蓄積できる程度のサイズを有する。

同期カウンタ生成部１３０は、収集条件テーブル１４０が記述している収集条件にしたがって、同期カウンタを生成する。同期カウンタ生成部１３０は、生成した同期カウンタを記述した同期データを車載ネットワーク４１０に対して出力する。同期カウンタ処理部２１０はその同期データを受け取り、画像データにその同期カウンタを埋め込む。例えば画像データのヘッダ部分に同期カウンタを埋め込むことができる。

収集条件テーブル１４０が指定する収集条件としては、例えば時間間隔が挙げられる。この場合、同期カウンタ生成部１３０は少なくともその時間間隔を特定することができる値を同期カウンタとして生成する。例えばその時間間隔ごとに同期カウンタをカウントアップして車載ネットワーク４１０に対して出力する。

データ収集部１５０は、車載ネットワーク４１０から収集した画像データに埋め込まれている同期カウンタと、収集条件テーブル１４０が指定する収集条件を比較する。両者が合致したとき、データ収集部１５０はその旨を同期出力部１７０に対して通知する。同期出力部１７０は、収集条件に合致した画像データを画像データバッファ１２０から読み出して記憶装置３００に格納するとともに、その画像データの撮像時刻と同じ時刻において取得したＣＡＮデータをＣＡＮデータバッファ１６０から読み出して記憶装置３００に格納する。さらに、画像データとＣＡＮデータが同期している旨（例えば画像データの撮像時刻またはＣＡＮデータの取得時刻）を表すデータを、これらデータと対応付けて記憶装置３００に格納する。

以上の構成により、記憶装置３００は、同じ時刻に取得した画像データとＣＡＮデータを対応付けて格納することになる。したがって画像データとＣＡＮデータとの間の同期性を確保することができる。さらに、収集条件に合致したときのみ画像データとＣＡＮデータを記憶装置３００に格納するので、記憶装置３００が格納するデータ件数を抑制することができる。したがって、画像データとＣＡＮデータを対応付ける作業の効率を向上させることができる。

図２は、画像データとＣＡＮデータを同期させる別実装例を示す模式図である。画像データバッファ１２０とＣＡＮデータバッファ１６０がそれぞれデータを保存する時点において、あらかじめ両データを同期させておいてもよい。以下図２にしたがって、そのための具体的な構成と動作例を説明する。

図２において、画像データバッファ１２０とＣＡＮデータバッファ１６０はそれぞれデータキューとして構成されている。画像収集部１１０は、収集条件テーブル１４０にしたがって、収集条件に合致した画像データをカメラＥＣＵ２００から取得し、画像データバッファ１２０へ格納する。このとき、画像データ本体とともに、キュー内の通番や取得時刻などの関連情報を併せて格納する。データ収集部１５０も同様に、収集条件に合致するＣＡＮデータと関連情報をＣＡＮデータバッファ１６０へ格納する。これにより、各バッファ内に格納されている両データは、通番が同じであれば同じ時刻において取得されたものであることになる。

同期出力部１７０は、各バッファ内の同じ通番のデータを取得し、記憶装置３００へ格納する。同期出力部１７０は、取得した両データを各バッファから削除する。各バッファに格納される時点において、画像データとＣＡＮデータは同期されているので、同期出力部１７０は記憶装置３００へ格納する前の時点で両データの取得時刻をチェックする必要はない。換言すると同期出力部１７０は、画像データバッファ１２０とＣＡＮデータバッファ１６０を介して、データ収集部１５０（または画像収集部１１０）から収集条件を間接的に受け取ったことになる。

図３は、データ同期装置１００の動作を説明するシーケンス図である。ここでは図２で説明したように、画像データバッファ１２０とＣＡＮデータバッファ１６０がデータキューとして構成されている場合を想定する。以下図３にしたがって、各機能部の動作を説明する。

同期カウンタ生成部１３０は、収集条件に合致するか否かを繰り返し判断する（Ｓ３０１）。例えば周期的にカウント値をインクリメントする場合、その周期ごとに収集条件を充足することになる。収集条件に合致したとき、同期カウンタ生成部１３０は同期カウンタを生成する（Ｓ３０２）。収集条件に合致していなければステップＳ３０１に戻る。

画像収集部１１０は、同期カウンタ生成部１３０とは別に独立して動作することができる。画像収集部１１０は、収集条件に合致するか否かを繰り返し判断する（Ｓ３１１）。収集条件に合致したとき、画像収集部１１０はカメラＥＣＵ２００から画像データを取得して画像データバッファ１２０へ格納する（Ｓ３１２）。同期カウンタ生成部１３０が同期カウンタを生成するタイミングと、画像収集部１１０がカメラＥＣＵ２００から画像データを取得するタイミングは、必ずしも同じでなくともよい。画像データとＣＡＮデータが同期されていれば足りるからである。図３においてＳ３０１とＳ３１１が時間軸上でずれているのは、そのことを表している。

データ収集部１５０は、同期カウンタ生成部１３０および画像収集部１１０とは別に独立して動作することができる。データ収集部１５０は、収集条件に合致するか否かを繰り返し判断する（Ｓ３２１）。収集条件に合致したとき、データ収集部１５０は車載ネットワーク４１０からＣＡＮデータを取得してＣＡＮデータバッファ１６０へ格納する（Ｓ３２２）。同期カウンタ生成部１３０が同期カウンタを生成するタイミングと、データ収集部１５０が車載ネットワーク４１０からＣＡＮデータを取得するタイミングは、必ずしも同じでなくともよい。ただし画像データとＣＡＮデータは同期している必要があるので、Ｓ３１２とＳ３２２は同時に（あるいは学習処理上において同時とみなすことができる程度の時間差で）実施することが望ましい。

＜実施の形態２＞
車両が複数のカメラを搭載している場合、画像処理部２２０は各カメラが撮像した画像をそれぞれ処理して画像データを生成する。この画像処理はある程度の演算負荷を要するので、同じ時刻において撮像した画像を同時に画像データバッファ１２０へ格納しようとすると、過大な演算負荷がかかる可能性がある。またデータ送受信負荷や画像データバッファ１２０のＩ／Ｏ負荷が過大になる可能性もある。そこで本発明の実施形態２では、各カメラが撮像した画像データを画像データバッファ１２０へ収集するタイミングをカメラごとにずらす動作例について説明する。車載システム１０の構成は実施形態１と同様である。

図４は、本実施形態２において同期カウンタ生成部１３０が生成する同期カウンタの経時変化を示すグラフである。ここでは車両がカメラを３つ搭載しており、時間経過にともなってカウンタ値が単調増加する例を示した。カメラＥＣＵ２００は各カメラから画像信号を取得する。図４における「同期間隔」は、収集条件テーブル１４０が指定する収集条件に相当する。すなわち図４においては、「同期間隔」ごとに画像データとＣＡＮデータを記憶装置３００へ格納することを想定する。

図４における黒丸は、各カメラの同期カウンタを表している。同期カウンタ生成部１３０は、まず１番目のカメラが撮像した画像データ（第１画像データ）を取得するタイミングを指定する同期カウンタ（第１同期カウンタ）を生成する。同期カウンタ生成部１３０はさらに、第１画像データを画像処理部２２０が処理するために要する処理時間と概ね等しい時間が経過した時点で、２番目のカメラが撮像した画像データ（第２画像データ）を取得するタイミングを指定する同期カウンタ（第２同期カウンタ）を生成する。この同期カウンタ間の時間間隔を、図２において「カウンタ間隔」と表記した。２番目のカメラと３番目のカメラとの間のカウンタ間隔も同様である。

図４のように、カメラごとの同期カウンタが互いに重ならないようにすることにより、各カメラが同時に撮影した画像データであっても、それらを収集する際の演算負荷やＩ／Ｏ負荷などを軽減することができる。これにより、データ同期化以外の処理に対して与える影響などを緩和することができる。また負荷増大にともなう同期ずれなどの不具合も抑制することができる。

同期カウンタ生成部１３０は、画像処理部２２０による処理時間に代えて、データ同期装置１００が第１画像データを受け取ってから第２画像データを受け取るまでの時間差と概ね等しい時間が経過した時点で、第２同期カウンタを生成してもよい。これは、カメラＥＣＵ２００が信号線４２０に対して第１画像データを出力してから第２画像データを出力するまでの時間差に相当するものである。さらには、画像処理部２２０による処理時間と信号線４２０による送信時間をともに加味して、第２同期カウンタを生成してもよい。

＜実施の形態３＞
以上の実施形態において、画像データとＣＡＮデータを同期させた上で記憶装置３００に格納することにより、データ件数を抑制することを説明した。他方で、画像データについてはデータ量を抑制するとしても、ＣＡＮデータについては多数取得することが望ましい場合も考えられる。そこで本発明の実施形態３では、記憶装置３００に格納する画像データの件数とＣＡＮデータの件数の割合を指定する動作例を説明する。車載システム１０の構成は実施形態１～２と同様である。

本実施形態３において、収集条件テーブル１４０は、画像データを収集する条件を記述するとともに、画像データの件数に対するＣＡＮデータの件数の割合を記述している。例えば画像データ１つに対してＣＡＮデータを１０個収集する、などの条件を記述することができる。同期出力部１７０はその条件にしたがって、記憶装置３００に対して画像データを１つ格納するごとに、画像データと同じ時刻のＣＡＮデータおよびその近傍のＣＡＮデータを、記憶装置３００に対して合計１０個格納する。

カメラＥＣＵ２００は動画像のフレームごとに画像データを生成するので、画像収集部１１０は少なくとも２フレーム以上の時間間隔で画像データをカメラＥＣＵ２００から収集することが望ましい。データ収集部１５０と同期出力部１７０は、画像収集部１１０が画像データを収集する時間間隔よりも短い周期で、ＣＡＮデータを収集する。

ＣＡＮデータバッファ１６０をデータキューとして構成する場合（例えば図２の例）、データ収集部１５０は、画像データ：ＣＡＮデータの割合が収集条件に合致するようにＣＡＮデータを収集する。収集条件として、画像データ件数：ＣＡＮデータ件数＝１：Ｎである場合、同期出力部１７０は、画像データバッファ１２０から画像データを１件取り出すごとに、ＣＡＮデータバッファ１６０からＣＡＮデータをＮ件取り出す。

ＣＡＮデータを多数格納することにより、ＣＡＮデータの経時変化などをより詳細に分析することができる。例えば制御パラメータの微分値や変曲点などを分析することができる。これらの分析結果と画像データを併せて学習器に学習させることにより、学習効果をさらに高めることが期待される。

＜実施の形態４＞
以上の実施形態において、同期出力部１７０は、画像データバッファ１２０から画像データを取得するとともに、ＣＡＮデータバッファ１６０からＣＡＮデータを取得し、記憶装置３００に格納する。この処理は、データ収集部１５０が指定する収集タイミングにおいて、同じ時刻の画像データとＣＡＮデータを既に各バッファへ格納済みであることが前提となっている。しかし通信負荷や演算負荷によっては、例えば画像データを画像データバッファ１２０に格納する処理が遅れ、画像データバッファ１２０が格納している画像データの時刻とＣＡＮデータバッファ１６０が格納しているＣＡＮデータの時刻がずれている可能性がある。そこで本発明の実施形態４においては、同期出力部１７０が各データを記憶装置３００へ格納する際に、各バッファが格納しているデータの時刻を再チェックする構成例を説明する。

図５は、本実施形態３に係る車載システム１０の構成図である。本実施形態３において同期カウンタ生成部１３０と同期出力部１７０は、車載ネットワーク４１０を介して、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）時刻を取得する。例えば車載ネットワーク４１０に接続されている他ＥＣＵからＧＰＳ時刻を取得することができる。その他適当な手段によりＧＰＳ時刻を取得してもよい。ＧＰＳ時刻に関する動作以外は実施形態１～３と同様であるので、以下では主にＧＰＳ時刻を用いる動作について説明する。

同期カウンタ生成部１３０は、取得したＧＰＳ時刻を用いて同期カウンタを生成する。例えばＧＰＳ時刻を表すビット列の一部（例えば最上位ビットから順に必要に応じて）を同期カウンタとして用いる。ＧＰＳ時刻は時間経過にともなって単調増加するので、この場合の同期カウンタも単調増加するカウンタとなる。データ収集部１５０は、その同期カウンタを収集条件と比較する。

同期出力部１７０は、データ収集部１５０が指定する収集タイミングにおいて、画像データを取得するとともにＧＰＳ時刻を取得する。同期出力部１７０は、画像データに埋め込まれている同期カウンタと、車載ネットワーク４１０から取得したＧＰＳ時刻とを比較する。同期出力部１７０は、両者が大きく乖離している（あらかじめ定めた許容値以上の差がある）場合、画像データとＣＡＮデータを同期することに失敗した旨のエラーを出力する。両者が大きく乖離している場合、カメラＥＣＵ２００が画像データを生成する処理が遅延しているか、または信号線４２０におけるデータ伝送が遅延していると考えられるからである。両者の差分が許容範囲内である場合は、画像データとＣＡＮデータを記憶装置３００に格納する。

本実施形態４によれば、例えば車載ネットワーク４１０のトラフィックや演算負荷が過大となって画像データとＣＡＮデータとの間の同期が確保できないとき、その画像データまたはＣＡＮデータは同期していないものとして取り扱うことができる。これにより学習データの信頼性を高めることができる。

ＧＰＳ時刻を用いて同期カウンタを生成することにより、上記動作の他に、以下のような動作を実現することもできる。画像収集部１１０は収集条件テーブル１４０が定める収集条件にしたがって画像データを収集するとともに、収集条件に合致する画像データを画像データバッファ１２０へ格納する。データ収集部１５０も収集条件に合致するＣＡＮデータをＣＡＮデータバッファ１６０へ格納する。画像データバッファ１２０とＣＡＮデータバッファ１６０は、データキューとして構成しておく。同期出力部１７０は、画像データバッファ１２０とＣＡＮデータバッファ１６０からそれぞれ同じ通番のデータを取り出す際に、各データの取得時刻をチェックする。取得時刻が大きく乖離している（許容範囲以上の差分がある）場合、その画像データとＣＡＮデータのペアは同期エラーとして取り扱う。取得時刻が許容範囲内であれば、記憶装置３００へ格納する。これらにより、実施形態１で説明した動作に加えて、ＧＰＳ時刻に基づいて、取得時刻のずれをチェックすることができる。

＜実施の形態５＞
図６は、本発明の実施形態５に係る車載システム１０の構成図である。本実施形態５において、画像収集部１１０と画像データバッファ１２０は、データ同期装置１００とは別の装置として構成されている。例えば画像収集部１１０は、車載ネットワーク４１０に接続されたＥＣＵとして構成することができる。画像データバッファ１２０は、画像収集部１１０が備える記憶装置として構成することができる。その他構成は実施形態１～４と同様である。

画像収集部１１０は、実施形態１～４と同様にカメラＥＣＵ２００から画像データを取得して画像データバッファ１２０へ格納する。同期出力部１７０と画像データバッファ１２０との間は、車載ネットワーク４１０を介して接続してもよいし、車載ネットワーク４１０とは別のデータ線を介して接続してもよい。

本実施形態５において、データ同期装置１００は画像データを常時収集せず、データ収集部１５０が指定する収集タイミングにおいてのみ画像データバッファ１２０から画像データを取得する。これによりデータ同期装置１００は、画像データを常時収集するための通信能力やデータ処理能力を備える必要がなくなるので、データ同期装置１００のコストを抑制することができる。したがって学習データを収集するコストを抑制することができる。

＜本発明の変形例について＞
本発明は上記実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

以上の実施形態において、記憶装置３００は、データ同期装置１００が備える装置として構成してもよいし、データ同期装置１００とは別の外部装置として構成してもよい。記憶装置３００とデータ同期装置１００との間は、車載ネットワーク４１０を介して接続してもよいし、その他適当なデータ線を介して接続してもよい。さらには、インターネットなどの外部ネットワークを介して、記憶装置３００とデータ同期装置１００を接続してもよい。

以上の実施形態において、同期カウンタ生成部１３０は、同期カウンタとして単調増加以外のカウンタ値を生成してもよい。例えばある上限値に達すると下限値に戻って再び増加するカウンタを用いることが考えられる。あるいは、何らかの規則にしたがって値が離散的に変化するカウンタを用いることが考えられる。すなわち、画像データを取得した時刻とＣＡＮデータを取得した時刻をそれぞれ特定することができれば、任意の同期カウンタを用いることができる。

以上の実施形態において、同期出力部１７０は、画像データを取得した時刻とＣＡＮデータを取得した時刻それぞれを表すデータを、記憶装置３００に対して格納してもよいし格納しなくともよい。すなわち、記憶装置３００が格納している画像データとＣＡＮデータをペアにして用いることができるのであれば、それらデータの取得時刻は必ずしも必要ではない。

以上の実施形態において、同期カウンタ処理部２１０は、画像データのヘッダ以外の部分に同期カウンタを埋め込むこともできる。例えば画像本体部分に重畳するようにして、同期カウンタの画像表現を埋め込むことができる。例えば算用数字の画像を画像本体に重ね合わせることができる。カウント値を表すバーコードなどその他態様の画像を埋め込んでもよい。

以上の実施形態において、車載ネットワーク４１０と信号線４２０は、同じ種類のネットワークでもよいし、異なる種類のネットワークでもよい。例えば車載ネットワーク４１０の通信速度が十分速い場合は、信号線４２０として車載ネットワーク４１０を用いてもよい。

以上の実施形態においては、車両が搭載する車載システム１０を例示したが、本発明は車載システム以外のネットワークシステムにおいても適用することができる。すなわち、撮像装置が撮像した画像データと、制御対象機器を制御するための制御データとを同期させる任意のネットワークシステムにおいて、本発明を適用することができる。

１０：車載システム
１００：データ同期装置
１１０：画像収集部
１２０：画像データバッファ
１３０：同期カウンタ生成部
１４０：収集条件テーブル
１５０：データ収集部
１６０：ＣＡＮデータバッファ
１７０：同期出力部
２００：カメラＥＣＵ
２１０：同期カウンタ処理部
２２０：画像処理部
２３０：画像出力部
３００：記憶装置
４１０：車載ネットワーク
４２０：信号線

Claims (14)

1. ネットワークを流れる画像データと前記ネットワークを流れる制御データを同期させるデータ同期装置であって、
   前記画像データと前記制御データを同期させるための同期カウンタを生成し、前記ネットワークを流れる同期データとして前記ネットワークに対して出力する、同期カウンタ生成部、
   前記制御データと前記同期データを前記ネットワークから周期的に取得するとともに、前記同期データが記述している前記同期カウンタにしたがって前記画像データを保存するタイミングを決定する、データ収集部、
   前記データ収集部が決定した前記タイミングにしたがって前記画像データと前記制御データを取得して記憶装置に格納する同期出力部、
   を備えることを特徴とするデータ同期装置。
2. 前記データ同期装置はさらに、前記画像データを撮像する撮像装置に対して前記ネットワークを介して接続して前記画像データを取得する画像収集部を備える
   ことを特徴とする請求項１記載のデータ同期装置。
3. 前記画像収集部は、前記画像データとともに、前記画像データに埋め込まれた前記同期データを取得し、
   前記データ収集部は、前記画像データに埋め込まれた前記同期データから前記同期カウンタを取得する
   ことを特徴とする請求項２記載のデータ同期装置。
4. 前記同期カウンタ生成部は、時間経過にともなって値が規則的に変動する前記同期カウンタを生成し、
   前記データ収集部は、前記同期カウンタが収集条件を満たすごとに、その時点を前記タイミングとして確定する
   ことを特徴とする請求項１記載のデータ同期装置。
5. 前記ネットワークは、第１撮像装置が撮像した第１画像データと第２撮像装置が撮像した第２画像データを伝送し、
   前記同期カウンタ生成部は、前記第１画像データを前記制御データと同期させるための第１同期カウンタを生成するとともに、前記第２画像データを前記制御データと同期させるための第２同期カウンタを生成し、
   前記同期カウンタ生成部は、前記同期出力部が前記第１画像データを取得してから前記同期出力部が前記第２画像データを取得するまでの時間差に対応する値を、前記第１同期カウンタと前記第２同期カウンタとの間のカウンタ差分値として前記第１同期カウンタに対して加算することにより、前記第２同期カウンタを生成する
   ことを特徴とする請求項４記載のデータ同期装置。
6. 前記同期カウンタ生成部は、演算装置が前記第１画像データを処理するために要する処理時間に対応する値を、前記カウンタ差分値として前記第１同期カウンタに対して加算することにより、前記第２同期カウンタを生成する
   ことを特徴とする請求項５記載のデータ同期装置。
7. 前記同期カウンタ生成部は、前記ネットワークが前記第１画像データを前記データ同期装置に対して発信してから前記ネットワークが前記第２画像データを前記データ同期装置に対して発信するまでの時間差に対応する値を、前記カウンタ差分値として前記第１同期カウンタに対して加算することにより、前記第２同期カウンタを生成する
   ことを特徴とする請求項５記載のデータ同期装置。
8. 前記ネットワークは、撮像装置が画像を撮像する時間フレームごとに生成された各前記画像データを伝送し、
   前記画像収集部は、２つ以上の前記時間フレームごとに前記画像データを取得し、
   前記同期出力部は、前記画像収集部が前記画像データを取得する時間間隔以下の周期で前記制御データを取得して前記記憶装置に格納する
   ことを特徴とする請求項２記載のデータ同期装置。
9. 前記同期カウンタ生成部は、前記ネットワークを介してＧＰＳ時刻を取得するとともに、前記取得したＧＰＳ時刻を用いて前記同期カウンタを生成し、
   前記同期出力部は、前記ネットワークを介してＧＰＳ時刻を取得するとともに、前記ネットワークを介して取得したＧＰＳ時刻と前記同期カウンタ生成部が生成した前記同期カウンタを比較し、
   前記同期出力部は、前記ネットワークを介して取得したＧＰＳ時刻と前記同期カウンタ生成部が生成した前記同期カウンタとの間の差分が閾値以上である場合は、前記画像データと前記制御データを同期させることに失敗した旨のエラー通知を出力する
   ことを特徴とする請求項１記載のデータ同期装置。
10. 前記同期カウンタ生成部は、前記ネットワークを介してＧＰＳ時刻を取得するとともに、前記取得したＧＰＳ時刻を用いて前記同期カウンタを生成し、
    前記データ同期装置はさらに、
    前記タイミングに合致する前記画像データを一時的に保存する画像データバッファ、
    前記タイミングに合致する前記制御データを一時的に保存する制御データバッファ、
    を備え、
    前記同期出力部は、前記画像データバッファが格納している前記画像データと、前記制御データバッファが格納している前記制御データを、前記記憶装置に対して格納する
    ことを特徴とする請求項１記載のデータ同期装置。
11. 前記同期出力部は、前記画像データと前記制御データを前記記憶装置に対して格納するとともに、前記画像データを取得した時刻と前記制御データを取得した時刻が同期している旨を表すデータを前記記憶装置に保存する
    ことを特徴とする請求項１記載のデータ同期装置。
12. 前記ネットワークは、車両が搭載する車載ネットワークを有しており、
    前記車載ネットワークは、前記制御データとして、前記車両を制御するための制御演算において用いるパラメータを記述したデータを伝送する
    ことを特徴とする請求項１記載のデータ同期装置。
13. 請求項１記載のデータ同期装置、
    前記画像データを撮像する撮像装置、
    を備え、
    前記データ同期装置と前記撮像装置は、前記ネットワークを介して互いに接続されており、
    前記撮像装置は、前記ネットワークを介して前記同期データを取得し、
    前記撮像装置は、前記取得した同期データを前記画像データに埋め込み、その画像データを前記ネットワークに対して出力する
    ことを特徴とするデータ同期システム。
14. 前記データ同期システムはさらに、
    前記撮像装置に対して前記ネットワークを介して接続して前記画像データを取得する画像収集装置、
    前記画像収集装置が取得した前記画像データを一時的に格納する画像データバッファ、
    を備え、
    前記同期出力部は、前記画像データバッファから前記画像データを取得して前記記憶装置に格納する
    ことを特徴とする請求項１３記載のデータ同期システム。

Images