JP6098458B2

JP6098458B2 - 情報処理装置

Info

Publication number: JP6098458B2
Application number: JP2013194315A
Authority: JP
Inventors: 誠一古田
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2013-09-19
Filing date: 2013-09-19
Publication date: 2017-03-22
Anticipated expiration: 2033-09-19
Also published as: JP2015060612A

Description

本発明は、情報処理装置に関するものである。

従来、複数の複数映像時刻同期表示端末と、複数の映像配信装置とがネットワークを介して接続された映像配信システムにおいて、複数映像時刻同期表示端末が、映像配信装置と時刻同期を行い、映像配信装置に対して利用者の映像要求を要求し、実際に映像が表示されるまでの伝送遅延時間を取得し、伝送遅延時間を考慮して映像配信装置に対して映像を要求し、受信した複数の映像を時刻同期させて表示するようにしたものがある（例えば、特許文献１参照）。

また、位置情報、加速度情報、周辺温度情報、各種センサー情報等の収集データを収集し、収集した複数の収集データを記憶媒体に記憶させるデータロガーや、車両の前方を撮影したカメラ画像や室内カメラ映像、加速度情報等の収集データを記憶媒体に記憶させるドライブレコーダ等、各種データ収集機器が商品化されている。

また、スマートフォン等の携帯端末においては、内蔵カメラで撮影した車両前方の撮影画像と、ＧＰＳ衛星からの測位情報に基づく位置情報等の各種情報を関連付けして記憶媒体に記憶させたり、データをセンターへアップロードするようなアプリがあり、ドライブレコーダのように使用することも可能となっている。

特開２００５−１６７６８８号公報

上記したデータロガー、ドライブレコーダ、携帯端末等においては、個別に収集データを収集するようになっているが、異なる機器で同一期間内に収集された各種収集データを、時刻の同期をとるように再現できると便利である。

例えば、データロガーで収集した位置情報や加速度情報と、携帯端末の内蔵カメラで撮影したカメラ映像を、時刻の同期をとるように再現できると、カメラ映像と位置情報や加速度情報の関係を容易に認識することが可能となる。

しかし、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データは、例えば、収集データの収集開始タイミングが異なっていたり、収集データの収集周期が異なっている場合があるため、このような複数の収集データを、時刻の同期をとるように再現するといったことは困難である。

本発明は上記問題に鑑みたもので、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを、時刻の同期をとるように再現できるようにすることを目的とする。

上記目的を達成するため、請求項１に記載の発明は、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを取得する取得手段と、時間軸の基準となるタイムラインと対応付けされ、予め定められた周期毎に区切られた複数のスロットに、同一期間内に収集された複数の収集データを、複数の収集データに含まれるタイムスタンプを用いて収集時刻を同期させるように収納する処理を行うスロット収納手段と、タイムラインと複数のスロットに収納された複数のデータを関連付けし、時刻の同期をとるように複数のデータを出力することが可能なデータベースを生成するデータベース生成手段と、を備えたことを特徴としている。

このような構成によれば、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを取得し、時間軸の基準となるタイムラインと対応付けされ、予め定められた周期毎に区切られた複数のスロットに、同一期間内に収集された複数の収集データを、複数の収集データに含まれるタイムスタンプを用いて収集時刻を同期させるように収納する処理を行い、タイムラインと複数のスロットに収納された複数のデータを関連付けし、時刻の同期をとるように複数のデータを出力することが可能なデータベースが生成されるので、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを、時刻の同期をとるように再現することができる。

本発明の一実施形態に係る情報処理装置の全体構成を示す図である。本情報処理装置のフローチャートである。スロットについて説明するための図である。スロットに収納する収集データについて説明するための図である。データ抜けまたは不連続箇所の補間について説明するための図である。スロットに収納する収集データについて説明するための図である。変形例について説明するための図である。収集されたデータのデータフォーマットと、データベース化されたスロットのデータの例を示した図である。時刻範囲とエリアを指定してデータベース内の検索を行った場合の検索結果について説明するための図である。

本発明の一実施形態に係る情報処理装置の全体構成を図１に示す。本情報処理装置は、モニタ５０ａおよびキーボード５０ｂが接続されたサーバ５０により構成されている。このサーバ５０には、ネットワーク網を介してサーバ５１およびサーバ５２が接続されている。サーバ５１には、無線ＬＡＮアクセスポイント４１が接続されており、サーバ５２には、無線ＬＡＮアクセスポイント４２が接続されている。なお、サーバ５０〜５２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスクドライブ、Ｉ／Ｏ等を備えたコンピュータとして構成されている。

ビデオカメラ１０は、映像を撮影し、撮影した映像および音声を記憶媒体に記憶させるものである。本実施形態におけるビデオカメラ１０は、無線ＬＡＮ機能を有しており、無線ＬＡＮを経由して記憶媒体に記憶された映像および音声を送出することが可能となっている。

携帯端末２０は、内蔵カメラ、加速度を検出する加速度センサ、温度を検出する温度検出部等を備えている。また、本実施形態における携帯端末２０は、無線ＬＡＮに接続する機能を有しており、無線ＬＡＮを経由して、携帯端末２０により撮影されたカメラ映像および音声、加速度センサにより検出された加速度を表す加速度情報、温度検出部で検出された気温を表す気温情報を送出することが可能となっている。

車両情報収集モジュール３０は、ＧＰＳ衛星からの測位情報を受信し、当該測位情報に基づいて車両の現在位置を特定するための現在位置情報を出力するＧＰＳ受信部、車両の加速度を検出する加速度センサを備えている。車両情報収集モジュール３０は、無線ＬＡＮに接続する機能を有しており、無線ＬＡＮを経由して、車両の現在位置を特定するための情報および車両の加速度を表す加速度情報を送出することが可能となっている。

サーバ５１は、無線ＬＡＮアクセスポイント４１を介して接続されたビデオカメラ１０より送出される映像および音声を受信すると、受信した映像および音声をサーバ５０へ転送する。

また、サーバ５２は、無線ＬＡＮアクセスポイント４２を介して接続された携帯端末２０より、カメラ映像および音声、加速度を表す加速度情報、気温情報等の情報を受信すると、受信した情報をサーバ５０へ転送する。

サーバ５０のハードディスクドライブには、異なる機器で個別の収集タイミングで収集された複数の収集データが記憶されるようになっている。具体的には、ビデオカメラ１０により撮影された映像および音声、携帯端末２０により撮影されたカメラ映像および音声、携帯端末２０の加速度センサにより検出された加速度を表す加速度情報、携帯端末２０の温度検出部で検出された気温を表す気温情報、車両情報収集モジュール３０のＧＰＳ受信部より出力された現在位置情報、車両情報収集モジュール３０の加速度センサで検出された車両の加速度を表す加速度情報等の各種収集データが記憶されるようになっている。

本実施形態におけるサーバ５０は、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを、時刻の同期をとるように出力することを可能とするデータに加工する処理を行う。

図２に、サーバ５０のフローチャートを示す。本実施形態では、ビデオカメラ１０により撮影された映像と、携帯端末２０により同一期間に撮影されたカメラ映像と、携帯端末２０の加速度センサにより同一期間に検出された加速度を表す加速度情報と、車両情報収集モジュール３０のＧＰＳ受信部より同一期間に出力された現在位置情報を対象として、上記処理を行うものとする。

サーバ５０は、作業者の操作により上記対象の収集データが指定され、上記処理の開始が指示されると、図２に示す処理を実施する。

まず、同一期間内に収集された複数の収集データを取得する（Ｓ１００）。ここでは、ビデオカメラ１０により撮影された映像と、携帯端末２０により撮影されたカメラ映像と、携帯端末２０の加速度センサにより検出された加速度を表す加速度情報と、車両情報収集モジュール３０のＧＰＳ受信部より出力された現在位置情報を取得するものとする。

次に、収集データをスロットに収納する（Ｓ１０２）。本実施形態において、時間軸の基準となるタイムラインと対応付けされ、予め定められた周期毎に区切られた複数のスロットがハードディスク上の記憶領域に用意されている。

図３に、タイムラインとＩＤ１〜ＩＤ３のスロットの例を示す。ＩＤ１のスロットは１秒周期で区切られており、ＩＤ２のスロットは０．５秒周期で区切られており、ＩＤ３のスロットは０．２５秒周期で区切られている。収集データは、時間軸の基準となるタイムラインと対応付けされ、予め定められた周期毎に区切られた複数のスロットに収納される。なお、タイムラインは、時刻を表す情報である。

具体的には、取得した各収集データの収集周期を特定し、収集周期に合わせて収集データを各スロットに収納する。例えば、ＧＰＳ受信部より出力された現在位置情報は、収集周期＝１秒として特定し、１秒周期に区切られたスロットに収納する。また、３０ｆｐｓ（ＦｒａｍｅｐｅｒＳｅｃｏｎｄ）のフレームレートの映像の場合、収集周期＝１／３０秒として特定し、１／３０秒周期に区切られた各スロットに映像を構成している静止画を収納する。

なお、収集データをスロットに収納する際には、図４に示すように、各収集データに含まれるタイムスタンプに基づいて、各収集データに共通に含まれる同期基準時刻Ｔ１を特定し、この同期基準時刻Ｔ１を含むように各収集データを各スロットに収納する。なお、タイムスタンプは、収集データの収集時刻を特定するための情報である。タイムスタンプには、収集開始時刻と収集終了時刻が付与されるものや、収集開始時刻と収集終了時刻とともに一定周期毎に収集時刻が付与されるものなどがある。本実施形態では、各収集データのうち、収集開始時刻の最も遅い収集データの収集開始時刻を同期基準時刻Ｔ１として特定する。

次に、スロットのデータを読み出す（Ｓ１０４）。すなわち、収集データを収納した全てのスロットのデータを読み出す。

次に、スロットから読み出した収集データにデータ抜けまたは不連続となる箇所があるか否かを判定する（Ｓ１０６）。例えば、ビデオカメラ１０で撮影された映像データをサーバ５１がキャプチャーする際に、サーバ５１のＣＰＵの付加が高い場合、映像データの取りこぼしが発生する。このようなデータの取りこぼしが発生した場合、スロットから読み出した収集データにデータ抜けが発生する。また、ビデオカメラ１０で撮影された映像データをサーバ５１が受信する際に、通信環境が悪い場合、映像データの送信途中で通信異常となる。このように、映像データの送信途中で通信異常となると、ビデオカメラ１０で撮影された映像データに不連続となる箇所が発生する。ここでは、このようなデータ抜けや不連続箇所を見つけるため、データ抜けまたは不連続となる箇所があるか否かを判定する。

ここで、スロットから読み出した収集データにデータ抜けまたは不連続となる箇所がある場合、Ｓ１０６の判定はＹＥＳとなり、データ抜け補間処理を行う（Ｓ１０８）。このデータ抜け補間処理は、図５（ａ）に示すように、データ抜けまたは不連続となる箇所がある場合、図５（ｂ）に示すように、データ抜けまたは不連続となっている箇所の収集データを補間する。例えば、データ抜けまたは不連続となる箇所の前後の収集データの平均値を用いてデータ抜けまたは不連続となっている箇所の収集データを補間する。

次に、スロットに収納した収集データを、同期をとるようにシフトさせる（Ｓ１１０）。具体的には、図６に示すように、各スロットに収納した各収集データの同期基準時刻Ｔ１を、タイムライン上の同期基準時刻Ｔ１と一致させるように、各スロットに収納した各収集データをシフトさせる。

次に、スロットのデータをデータベース化する（Ｓ１１２）。具体的には、時間軸の基準となるタイムラインと、複数のスロットに収納された複数のデータを関連付けし、時刻の同期をとるように複数のデータを出力することが可能なデータベースを生成する。

次に、Ｓ１１２にて生成したデータベースをハードディスクドライブに記憶させ（Ｓ１１４）、本処理を終了する。

なお、上記データベースは、時間軸の基準となるタイムラインと、各スロットに収集時刻を同期させるように収納した複数の収集データを関連付けされたものとなっているので、各スロットから同一の収集時刻の複数の収集データを順次読み出すようにして、時刻の同期をとるように出力することが可能である。

例えば、ユーザ操作によって同期基準時刻Ｔ１からの再現が指示されると、タイムライン上の同期基準時刻Ｔ１に対応する位置を特定し、この同期基準時刻Ｔ１に対応する位置から、ビデオカメラ１０により撮影された映像と、携帯端末２０により撮影されたカメラ映像と、携帯端末２０の加速度センサにより検出された加速度を表す加速度情報と、車両情報収集モジュール３０のＧＰＳ受信部より出力された現在位置情報とを順次読み出して再現する。

すなわち、時刻の経過に伴って、ビデオカメラ１０により撮影された映像と、携帯端末２０により撮影されたカメラ映像と、携帯端末２０の加速度センサにより検出された加速度を表す加速度情報と、車両情報収集モジュール３０のＧＰＳ受信部より出力された現在位置情報とが、同期して変化するようにモニタ５０ａの表示部に表示される。

ここで、収集データのデータフォーマットと情報処理装置によりデータベース化されたデータについて説明する。図８に、デジタルカメラにより収集されたデータのデータフォーマット例と、本情報処理装置によりデータベース化されたデータ例を示す。図８（ａ）は、ＧＰＳ衛星からの測位情報に基づく現在位置特定機能を有するビデオカメラにより収集されたデータのデータフォーマット例を示したものである。図に示すように、このデータフォーマットには、機器ナンバー（機器ＮＯ）、日時（ＧＭＴ）、位置情報タイプ、位置情報、データタイプ、開始時刻、収録時間、データフォーマット、データポインタ、データ（映像データ）、チェックサム等の情報が含まれる。

ここでは、情報処理装置は、デジタルカメラにより収集されたデータを取得すると、取得した情報に含まれる日時（ＧＭＴ）および開始時刻からタイムスタンプを特定するとともに、取得した情報に含まれる複数の位置情報をポジションスタンプとし、タイムスタンプとポジションスタンプとデータを関連付けしたデータベースを生成する。このようにして、図８（ｂ）に示すような、時刻と位置情報とデータを関連付けしたデータが生成される。

このような、タイムスタンプとポジションスタンプとデータを関連付けしたデータベースを生成しておくことで、例えば、図９に示すように、時刻範囲とエリアを指定してデータベース内の検索を行うと、指定した時刻範囲で、かつ、指定したエリア内で、様々な機器で収集された情報を容易に抽出することが可能となる。特に、大量のデータベースが構築されている場合、このように、エリアを限定して検索を行うことで、データ処理における処理付加を低減することが可能である。また、連続したポジションスタンプを抽出したり、連続したポジションスタンプから移動した方向を特定するといったことも可能である。

上記した構成によれば、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを取得し、時間軸の基準となるタイムラインと対応付けされ、予め定められた周期毎に区切られた複数のスロットに、同一期間内に収集された複数の収集データを、複数の収集データに含まれるタイムスタンプを用いて収集時刻を同期させるように収納する処理を行い、タイムラインと複数のスロットに収納された複数のデータを関連付けし、時刻の同期をとるように複数のデータを出力することが可能なデータベースが生成されるので、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを、時刻の同期をとるように再現することができる。

また、複数のスロットに収納された複数のデータにデータ抜けがある場合、当該データ抜けとなっている箇所の前後の収集データに基づいてデータ抜けとなっている箇所の収集データを補間するので、複数のスロットに収納された複数のデータにデータ抜けがある場合でも、データ抜けのないようにすることが可能である。

また、複数のスロットに収納された複数のデータに不連続箇所がある場合、当該不連続箇所の前後の収集データに基づいて不連続箇所の収集データを補間するので、複数のスロットに収納された複数のデータに不連続箇所がある場合でも、不連続箇所を補正することが可能である。

なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。

例えば、上記実施形態では、Ｓ１１２にて、時間軸の基準となるタイムラインと、各スロットに収集時刻を同期させるように収納した複数の収集データを関連付けし、時刻の同期をとるように複数の収集データを出力することが可能なデータベースを生成した後、Ｓ１１２にて、このデータベースを記憶させるようにしたが、図７に示すように、Ｓ１１２にて、データベースを生成した後、データベースに基づいて、時刻の同期をとるように同一期間内に収集された複数の収集データを出力するようにしてもよい。

また、上記実施形態では、サーバ５１およびサーバ５２を介してサーバ５０に各種収集データが入力される構成を示したが、例えば、メモリカード等の記憶媒体を介してサーバ５０に各種収集データが入力されるように構成してもよい。

また、上記実施形態では、サーバ５０がサーバ５１およびサーバ５２を介して各種収集データを取得する構成を示したが、例えば、各種収集データの中からデータマイニング技術を用いて有用な情報（パターンやルール）を抽出したデータを格納したデータマイニングサーバや、ビッグデータと呼ばれる大量の収集データを格納したビッグデータサーバから異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを取得し、当該同一期間内に収集された複数の収集データを、収集時刻を同期させるように収納する処理を行うように構成してもよい。

また、上記実施形態では、サーバ５０が、異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを取得し、当該同一期間内に収集された複数の収集データを、収集時刻を同期させるように収納する処理を行う構成を示したが、例えば、位置情報、加速度情報、周辺温度情報等の収集データを収集し、収集した複数の収集データを記憶媒体に記憶させるデータロガーにおいて、近距離無線通信インタフェースを介して異なる機器で個別の収集タイミングで同一期間内に収集された収集データを取得し、上記した位置情報、加速度情報、周辺温度情報等の収集データと、近距離無線通信インタフェースを介して収集された複数の収集データを、収集時刻を同期させるように収納する処理を行うように構成してもよい。このように、予め用意されたインタフェースを介して新たな収集データを取得し、上記した位置情報、加速度情報、周辺温度情報等の収集データと、予め用意されたインタフェースを介して収集された複数の収集データを、収集時刻を同期させるように収納する処理を行い、タイムラインと複数のスロットに収納された複数のデータを関連付けし、時刻の同期をとるように複数のデータを出力することが可能なデータベースを生成するように構成することで、データロガーで新たな収集データを追加して収集することが可能となり機能拡張することが可能である。

また、上記実施形態では、複数のスロットに収納された複数のデータにデータ抜けがある場合や複数のスロットに収納された複数のデータに不連続箇所がある場合、当該データ抜けとなっている箇所の前後の収集データに基づいてデータ抜けとなっている箇所の収集データを補間したり、不連続箇所の前後の収集データに基づいて不連続箇所の収集データを補間するようにしたが、このような手法に限定されることなく、別の手法を用いてデータ補間するようにしてもよい。また、補間の手法を複数用意しておき、ユーザが選択できるように構成してもよい。

なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、Ｓ１００が取得手段に相当し、Ｓ１０２、Ｓ１１０がスロット収納手段に相当し、Ｓ１１２がデータベース生成手段に相当し、Ｓ１０６、Ｓ１０８が補間手段に相当し、Ｓ１１４がデータベース記憶制御手段に相当し、Ｓ２１４がデータ出力手段に相当する。

１０ビデオカメラ
２０携帯端末
３０車両情報収集モジュール
４１、４２無線ＬＡＮアクセスポイント
５０〜５２サーバ

Claims

異なる機器で個別の収集タイミングで同一期間内に収集された複数の収集データを取得する取得手段と、
時間軸の基準となるタイムラインと対応付けされ、予め定められた周期毎に区切られた複数のスロットに、前記同一期間内に収集された複数の収集データを、前記複数の収集データに含まれるタイムスタンプを用いて収集時刻を同期させるように収納する処理を行うスロット収納手段と、
前記タイムラインと前記複数のスロットに収納された前記複数のデータを関連付けし、時刻の同期をとるように前記複数のデータを出力することが可能なデータベースを生成するデータベース生成手段と、を備えたことを特徴とする情報処理装置。
前記複数のスロットに収納された前記複数のデータにデータ抜けがある場合、当該データ抜けとなっている箇所の前後の収集データに基づいて前記データ抜けとなっている箇所の収集データを補間する補間手段を備えたことを特徴とする請求項１に記載の情報処理装置。
前記複数のスロットに収納された前記複数のデータに不連続箇所がある場合、当該不連続箇所の前後の収集データに基づいて前記不連続箇所の収集データを補間する補間手段を備えたことを特徴とする請求項１または２に記載の情報処理装置。
前記データベース生成手段により生成された前記データベースを記憶媒体に記憶させるデータベース記憶制御手段を備えたことを特徴とする請求項１ないし３のいずれか１つに記載の情報処理装置。
前記データベース生成手段により生成された前記データベースを読み出して、時刻の同期をとるように前記同一期間内に収集された複数の収集データを出力するデータ出力手段と、を備えたことを特徴とする請求項１ないし３のいずれか１つに記載の情報処理装置。