JP6543533B2 - データ処理装置 - Google Patents

Description

本発明は、車両に設けられたカメラで撮影される画像データに関連する情報を送信可能な送信装置、それを受信する受信装置、これらの装置を含む通信システム、また、受信装置から出力されるデータを処理するデータ処理装置に関する。

従来から、例えば自動車等の車両は、加速度センサやジャイロセンサ等の各種のセンサで検出された自動車の運動情報を示すセンサデータを取得し、それらのセンサデータに基づき、車体の姿勢の制御や、車体に加えられる振動の制御を行うシステムを備えている。例えば特許文献１に記載のシステムは、ＣＡＮ（Controller Area Network）通信システムを利用して、各ノード（制御ユニットやセンサ）間でデータを効率良く送受信するように構成されている。

特開2003-264567号公報

近年では、車両に設置されたカメラで撮影された画像データを、その後の研究開発に利用するケースが増えてきている。この場合、研究開発者や作業者は、センサデータおよび画像データを効率良く取り扱うことができることが望まれる。

本発明の目的は、センサデータおよび画像データを効率良く取り扱うことができるようにするための通信システムの技術を提供することにある。

上記目的を達成するため、本発明の一形態に係るデータ処理装置は、送信装置と受信装置とを含む通信システムの、前記受信装置から出力されるデータを処理する装置である。この場合、前記データ処理装置は、車両に設けられたカメラで撮影される画像データを取得する取得部と、前記取得部による前記画像データの取得ごとに、前記画像データを個別に識別する識別情報を生成してこれを送信する送信部とを有する。前記受信装置は、前記車両に設けられた前記車両の動きを検出するセンサから出力され、前記識別情報より送信頻度が高いセンサデータと、前記送信装置から送信される前記識別情報とを時系列で受信する受信部を有する。前記データ処理装置は、前記識別情報の受信時刻周辺の複数の時刻で、前記受信部によりそれぞれ受信されたセンサデータに基づき、前記識別情報の受信時刻におけるセンサデータを補間する補間手段を具備する。

このような構成によれば、受信装置は、同じ１つの時間軸上におけるセンサデータおよび識別情報を受信することができる。これにより、研究開発者または作業者は、センサデータおよび画像データを効率良く取り扱うことができる。

前記データ処理装置は、車両内ＬＡＮ（Local Area Network）に接続可能に構成されていてもよい。前記車両内ＬＡＮは、異なる複数の転送速度でデータを転送可能な複数のバスを有し、前記センサによる前記センサデータの出力時間間隔が、前記送信部による前記識別情報の送信時間間隔よりも短く、かつ、前記センサデータが前記複数のバスのうち第１のバスを介して第１の転送速度で前記受信装置に送信されてもよい。この場合、前記送信部は、前記複数のバスのうち第２のバスを介して第２の転送速度で前記識別情報を送信することができる。

前記データ処理装置は、前記取得部により取得される前記画像データを、前記識別情報にそれぞれ関連付ける関連付け手段をさらに具備してもよい。これにより、オンライン処理での処理効率が向上する。

以上、本発明によれば、センサデータおよび画像データを効率良く取り扱うことができる。

図１は、本発明の一実施形態に係る通信システムの構成を示す図である。 図２は、ショベルカーにセンサおよびカメラが設置される例を示す。 図３Ａは、センサデータの送信間隔および画像番号の送信間隔を模式的に示す図である。図３Ｂは、受信側ＰＣによる各センサデータおよび画像番号の受信間隔を模式的に示す図である。 図４は、画像データ取り込み部における送信側ＰＣの処理を示すフローチャートである。 図５は、受信側ＰＣから出力される、ＣＡＮシステムにおけるセンサデータおよび画像番号を含む受信データの例を示す。 図６は、センサデータと、それが補間された補間データの例を示す。

以下、図面を参照しながら、本発明の実施形態を説明する。

図１は、本発明の一実施形態に係る通信システムの構成を示す図である。通信システム１００は、センサデータ取り込み部１０、画像データ取り込み部３０、およびデータロギング部５０を含む。通信システム１００は、車両内ＬＡＮ（Local Area Network）システムのうち、例えば、ＣＡＮ（Controller Area Network）を利用する。

センサデータ取り込み部１０は、車両の動きを検出する複数のセンサおよびアナログＣＡＮコンバータ１５を有する。

複数のセンサとしては、例えば、加速度センサ１１、ジャイロセンサ１２、ストロークセンサ１３を含む。加速度センサ１１、ジャイロセンサ１２は、複数の検出軸を有していてもよい。センサは複数設けられるのではなく、加速度センサ１１、ジャイロセンサ１２、ストロークセンサ１３のうち、いずれか１つであってもよい。加速度センサ１１、ジャイロセンサ１２、およびストロークセンサ１３が、それぞれ複数設けられていてもよい。

アナログＣＡＮコンバータ１５は、例えば加速度センサ１１およびジャイロセンサ１２からそれぞれ出力されるアナログの加速度および角速度のデータ（センサデータ）を、デジタルのセンサデータにそれぞれ変換し、これらのセンサデータをデータロギング部５０へ送信する機能を有する。アナログＣＡＮコンバータ１５は、受けたセンサデータの順番でこれらセンサデータを出力する。

ストロークセンサ１３は、例えば、自動車のショックアブソーバや、ショベルカー等の建設機械に利用されるシリンダのロッドのストローク（変位）を検出して、デジタルのストローク値を出力する機能を有する。このストローク値であるセンサデータは、データロギング部５０へ出力される。なお、ストロークセンサ１３がアナログ値を出力するタイプのものであれば、そのアナログ値は、アナログＣＡＮコンバータ１５などでデジタルデータに変換される。

加速度センサ１１およびジャイロセンサ１２から出力されるそれぞれのセンサデータの時間間隔（ここでは、アナログＣＡＮコンバータ１５からのセンサデータの出力時間間隔）と、ストロークセンサ１３から出力されるセンサデータの時間間隔は異なる。アナログＣＡＮコンバータ１５からのセンサデータの出力時間間隔が約5msであり、ストロークセンサ１３によるセンサデータの出力時間間隔が約10msである。もちろん、これらセンサデータの出力時間間隔がすべて同じになるような構成であってもよい。

画像データ取り込み部３０は、カメラ２１、送信側ＰＣ（Personal Computer）２２、およびＣＡＮアダプタ２３を有する。

送信側ＰＣ２２は、「送信装置」として機能する。送信側ＰＣ２２は、カメラ２１で撮影された画像データを取得する機能（取得部）を有する。また、送信側ＰＣ２２は、その画像データの取得ごとに、取得された画像データを個別に識別する識別情報を生成して、これをＣＡＮアダプタ２３に送信する機能（送信部）を有する。識別情報は、例えば取得された画像データ（時系列の画像データ）に対応するシーケンシャルな画像番号である。以下では、識別情報を「画像番号」として説明する。

また、送信側ＰＣ２２は、取得した画像データを、これにファイル名を付して記憶部に保存する機能を有する。ファイル名も画像データを個別に識別する識別情報であるが、本実施形態では、このファイル名による識別情報と、画像番号による識別情報とを区別している。画像データを記憶する記憶部は、例えば送信側ＰＣ２２に内蔵されるものであってもよいし、送信側ＰＣ２２に外付けで接続されたもの（他のネットワークを介して接続される形態も含む）であってもよい。

上記画像データのファイル名として、例えば画像番号に対応する名称が設定される。例えば、画像番号に拡張子を付けた情報が、ファイル名として生成されてもよいし、画像番号を識別可能に含む番号に拡張子を付けた情報が、ファイル名として生成されてもよい。あるいは、画像番号が所定のアルゴリズムで変換された情報が、ファイル名として生成されてもよい。

例として、画像データのファイル名が"Cam_0001.bmp"、"Cam_0002.bmp"、・・・、"Cam_1500.bmp"に設定され、画像番号が、"0001"、"0002"、・・・、"1500"に設定される。この場合、例えば画像データ"Cam_0001.bmp"の画像番号が0001である。

ＣＡＮアダプタ２３は、送信側ＰＣ２２から送信される画像番号のデータを、ＣＡＮシステムの形式に変換する機能を有する。

データロギング部５０は、第１ＣＡＮバス５１、第２ＣＡＮバス５２、ＣＡＮアダプタ５３、受信側ＰＣ５４を有する。

第１ＣＡＮバス５１と第２ＣＡＮバス５２の機能の主な違いは、データの転送速度である。例えば、第１ＣＡＮバス５１のそれは1Mbps、第２ＣＡＮバス５２のそれは500kbpsである。

第１ＣＡＮバス５１は、アナログＣＡＮコンバータ１５から出力されるセンサデータをＣＡＮアダプタ５３に転送する。第２ＣＡＮバス５２は、ストロークセンサデータと、画像データ取り込み部３０のＣＡＮアダプタ２３から出力される画像番号とをＣＡＮアダプタ５３に転送する。なお、ストロークセンサ１３の出力データをストローク量にするための変換処理がオフラインで行われる場合もある。

ＣＡＮアダプタ５３は、第１ＣＡＮバス５１および第２ＣＡＮバス５２から転送される各センサデータおよび画像番号を、受信側ＰＣ５４が持つシステムに有効な形式に変換する機能を有する。

受信側ＰＣ５４は、「受信装置」として機能する。受信側ＰＣ５４は、ＣＡＮアダプタ５３で変換されたセンサデータおよび画像番号を時系列で受信し、それらのデータを出力する機能を有する。

センサデータ取り込み部１０および画像データ取り込み部３０が、各センサデータ、画像番号の転送速度の違いに応じて、第１ＣＡＮバス５１および第２ＣＡＮバス５２のいずれか一方に選択的に接続されている。送信側ＰＣ２２が画像データを取得する時間間隔は、例えば40msである。したがって送信側ＰＣ２２は、その時間間隔で約40msごとに、画像番号を生成して、ＣＡＮアダプタ２３を介してデータロギング部５０に送信する。

送信側ＰＣ２２、受信側ＰＣ５４は、それぞれ、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のハードウェアを有する。上記ＲＯＭやその他の図示しない記憶部には、必要なソフトウェアが格納される。

センサデータ取り込み部１０における各センサ、また、画像データ取り込み部３０のカメラ２１は、目的に応じて車両の所定の位置にそれぞれ設置される。センサが設置される車両としては、例えば一般車両、作業用車両、または被牽引車両等、どのような車両であってもよい。

図２は、作業用車両として、例えばショベルカーにセンサおよびカメラ２１が設置される例を示す。例えば、ショベルカーのキャビン２１０に、加速度センサ１１、ジャイロセンサ１２、およびカメラ２１が設置される。一方、ストロークセンサ１３は、ブームシリンダ、アームシリンダ、および／または、バケットシリンダに設置される。後述するように、加速度センサ１１、ジャイロセンサ１２およびストロークセンサ１３で検出されるセンサデータに基づいて、所定の演算式を利用して、水平面に対するキャビン２１０の姿勢（傾斜角）、また、水平面に対するブーム２２０、アーム２３０、および／またはバケット２４０の姿勢（傾斜角）が算出される。

一方、カメラ２１で撮影された画像データは、エッジ処理や濃淡処理等、所定の画像処理が行われ、所定のソフトウェアで、上述のキャビン２１０の姿勢（傾斜角）、また、ブーム２２０、アーム２３０、および／またはバケット２４０の姿勢（傾斜角）が算出される。なお、この場合は、カメラ２１は複数台設けらることが好ましい。以降の説明では、キャビン２１０、ブーム２２０、アーム２３０、および／またはバケット２４０の姿勢を、「機体の姿勢」、または単に「姿勢」と言う。

センサデータに基づき算出された姿勢と、画像データに基づき算出された姿勢は、後述するように、互いに比較および評価の対象となり得る。

図３Ａは、センサデータ取り込み部１０による各センサデータの送信間隔、および、画像データ取り込み部３０による画像番号の送信間隔を模式的に示す図である。センサデータの送信間隔は、本実施形態では、アナログＣＡＮコンバータ１５による送信間隔、およびストロークセンサによる出力間隔である。

図３Ａ、Ｂでは、横軸を時間で示し、白丸がセンサデータの送信タイミング、黒丸が画像番号の送信タイミングを示す。センサデータ取り込み部１０は、２種類の送信間隔（例えば上記したように約5msと約10ms）で各センサデータを送信するので、センサデータの送信間隔ｐ１は実質的一定にはならない。一方、画像データ取り込み部３０（送信側ＰＣ２２）は、上述したように、画像番号の実質的に一定の送信間隔（約40ms）ｐ２で、画像番号を生成して送信する。

図４は、画像データ取り込み部３０における送信側ＰＣ２２のプログラムによる処理を示すフローチャートである。このように送信側ＰＣ２２は、画像取込関数を用いて、カメラ２１から画像データを取得し(ステップ１０１)、画像番号をカウントアップする(ステップ１０２)。そして、送信側ＰＣ２２は、画像番号送信関数を用いて、カウントされた（生成された）画像番号を、ＣＡＮバス（第２ＣＡＮバス５２）へ送信する(ステップ１０３)。

図３Ｂは、受信側ＰＣ５４による各センサデータおよび画像番号の受信間隔を模式的に示す図である。センサデータの送信間隔より画像番号の送信間隔が長いため、受信側ＰＣ５４においても、センサデータの受信間隔より画像番号の受信間隔が長くなる。受信側ＰＣ５４による各データの受信間隔は、実質的一定とならず、例えば約200ms〜600msとなる。しかし、受信側ＰＣ５４がこれを実質的に一定間隔で受信するように、受信側ＰＣ５４またはＣＡＮアダプタ５３が構成されていてもよい。

なお、本実施形態では、複数のセンサが設けられる。したがって、受信側ＰＣ５４は、センサデータの種類に関わらず、それらのセンサからセンサデータが出力される順番でそれらを受信する。

このように、受信側ＰＣ５４は、ＣＡＮシステム内で、同じ１つの時間軸上における、センサデータ、および画像データの画像番号を受信することができる。したがって、受信側ＰＣ５４は、センサデータ取り込み部１０および画像データ取り込み部３０によるデータの送信の時系列、つまり受信側ＰＣ５４による受信の時系列で、センサデータおよび画像番号を取得できる。受信側ＰＣ５４は、これらデータを含む受信データ５５（図１参照）を出力する。

図５は、受信側ＰＣ５４から出力される、センサデータおよび画像番号を含む受信データ５５の例を示す。図５の左側から右側にかけて、メッセージナンバー、時刻（センシング開始からの経過時間）、使用されたバス（第１ＣＡＮバス５１か第２ＣＡＮバス５２か）、ＩＤ、データ長、および実データを示す。

メッセージナンバーは、受信側ＰＣ５４による時系列の受信ごとにカウントアップされて付与される番号である。ＩＤとは、各種センサおよびカメラ２１を示すＩＤである。この例では、合計９個のセンサ（５つの加速度センサ１１、１つのジャイロセンサ１２、３つのストロークセンサ１３）、また、４つのカメラ２１の、合計１３個のＩＤがある。実データは、センサデータの実データと、画像番号の実データである。

研究開発者または作業者（以下、これらを単に「作業者」と言う）は、どのＩＤがどのセンサおよびカメラ２１に対応するかを認識している。したがって、作業者は、実データのうちのどのデータがどのセンサのデータであるか、また実データのうちどの画像番号が、どのカメラ２１で撮影された画像データのそれであるかを認識できる。上述したように、画像番号は、画像データ取り込み部３０側に保存された画像データのファイル名に対応しているので、作業者は、どの画像番号がどの画像データに対応するかを認識できる。

作業者は、受信側ＰＣ５４、または図示しない別のコンピュータ（データ処理装置）を用いて、センサデータに基づく機体の姿勢、および、画像番号に対応する画像データに基づく機体の姿勢を上述した方法により得ることができる。そして作業者は、センサデータに基づき算出された姿勢と、画像データに基づき算出された姿勢とを比較することで、画像データに基づき算出された姿勢を評価することができる。すなわち、あるタイミングで撮影された画像データに基づき算出された姿勢が、その撮影タイミングまたはその近辺で検出されたセンサデータに基づき算出された姿勢に対して、どれだけの誤差を持つか、といった評価を、作業者はすることができる。

以上のように、本実施形態によれば、作業者は、センサデータおよび画像データを、同じ１つのシステム（例えばＣＡＮシステム）内で効率良く取り扱うことができる。

また、本実施形態では、センサデータおよび画像番号の送信間隔が異なる場合に、ＣＡＮシステムの転送速度の異なる第１ＣＡＮバス５１、第２ＣＡＮバス５２が設けられ、画像データ取り込み部３０が、その転送速度に応じたバスに選択的に接続される。これにより、センサデータおよび画像番号の送信間隔の違いがあっても、効率的な送信処理が可能となる。

本実施形態では、送信側ＰＣ２２と受信側ＰＣ５４とを同期させる必要がなくこれらを同期させなくても、送信側ＰＣ２２は、センサデータおよび画像番号（あるいは画像データでもよい）を１つのファイルとして送信し、また、受信側ＰＣ５４はこれを受信することができる。また、同期が不要であるため、同期を実現するためのハードウェアおよびソフトウェアを必要としない。

次に、センサデータの補間処理について説明する。

受信側ＰＣ５４、または図示しないデータ処理装置は、画像番号の受信時刻周辺の複数の時刻でそれぞれ受信されたセンサデータに基づき、当該画像番号の受信時刻におけるセンサデータを補間する機能（補間手段）を備える。図３Ａに示したように、受信側ＰＣ５４は、センサデータおよび画像番号を時系列で受信するが、センサデータと画像番号とを同時に受信することはない。したがって、画像番号の受信時刻にできるだけ近いタイミングに対応する、補間されたセンサデータが得られることにより、正確な姿勢演算および評価が可能となる。

具体例として、画像番号の受信直前に受信された第１のセンサデータと、その画像番号の受信直後に受信された第２のセンサデータとに基づき、線形補間が行われる。これにより、画像番号の受信時刻に近い、またはそれと実質同一時刻における仮想のセンサデータを得ることができる。

ここで、上記第１のセンサデータ、第２のセンサデータは、同じ１つのセンサで検出されたセンサデータである。つまりこれは、例えば複数の加速度センサ１１が設けられる場合、１つの加速度センサ１１からの第１のセンサデータおよび第２のセンサデータという意味である。あるいは、１つのジャイロセンサ１２および１つのストロークセンサ１３の合計２個のセンサが設けられる場合、それらのうちいずれか１つのセンサで検出された第１のセンサデータおよび第２のセンサデータを意味する。

図６は、センサデータ（生データ）と、それが線形補間されたデータ（線形補間データ）の例を示す。センサデータとしては、特定の１つのストロークセンサ１３のセンサデータを示している。これと同様に、加速度センサ１１、ジャイロセンサ１２についても、線形補間データを生成することができる。

線形補間に限られず、別のアルゴリズムに基づく補間処理が実行されるようにしてもよい。第１のセンサデータ（センサ値）と、第２のセンサデータ（センサ値）とに基づく演算ではなく、例えば、それらセンサ値と、それらセンサ値の受信時刻とに基づき、補間処理が実行されるようにしてもよい。

あるいは、第１のセンサデータおよび第２のセンサデータの２つのデータだけでなく、画像番号の受信時刻周辺に受信された３つ以上のセンサデータに基づき、補間処理が実行されるようにしてもよい。

本発明は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

上記実施形態では、送信側ＰＣ２２は、画像データの識別情報として画像番号を生成した。しかし、送信側ＰＣ２２は、画像データの取得ごとにその取得のタイミングで時刻情報を生成し、これら画像データ（のファイル名）と時刻情報を関連付けて記憶するようにしてもよい。この場合、送信側ＰＣ２２は、その画像データおよび時刻情報の対応情報を、データロギング部に送信すればよい。また、センサデータ取り込み部１０は、各センサデータに時刻情報を付して、または、センサデータを識別する番号とその時刻情報の対応情報を、データロギング部５０に送信する。このような構成によれば、受信側ＰＣ５４は、センサデータおよび画像データの、それぞれの時刻情報を得ることができ、１つの時間軸上のセンサデータおよび画像データを得ることができる。

上記実施形態では、作業者が、オフラインにより、機体の姿勢を演算し、その演算結果に基づき、センサデータと画像データを比較して評価を行った。すなわち、作業者は、受信側ＰＣ５４が受信データ５５の生成および保存を完了した後、その受信データ５５と、画像データ取り込み部３０側で保存された画像データとに基づき、受信側ＰＣ５４またはデータ処理装置を用いて、機体の姿勢の演算および評価を行った。

しかし、受信側ＰＣ５４が受信データ５５の生成および保存処理の完了後、受信側ＰＣ５４またはデータ処理装置が、所定の評価のためのソフトウェアを用いてオンラインで（自動で）、機体の姿勢を演算してもよい。また、受信側ＰＣ５４またはデータ処理装置が、その演算結果に基づき、センサデータおよび画像データの比較による評価処理を実行するようにしてもよい。

なお、上記オンライン処理の場合、受信側ＰＣ５４またはデータ処理装置は、姿勢の演算処理の前に、画像データ取り込み部３０側で保存された画像データをダウンロードする必要がある。しかし、送信側ＰＣ２２は、画像データを取得することを契機として、受信側ＰＣ５４またはデータ処理装置に取得した画像データを送信し、受信側ＰＣ５４またはデータ処理装置が受信した画像データを保存してもよい。実際には、このようなオンライン処理には膨大な時間がかかるので、現実には実行されない場合があることが予想される。しかしながら、送信側ＰＣ２２は、画像データのファイル名（およびその画像の実データ）と、画像番号とを関連付けて記憶する機能（関連付け手段）を有することにより、受信側ＰＣ５４またはデータ処理装置は効率的な処理を実行することができる。

上記実施形態に係る通信システムは、ＣＡＮを利用したが、これに限られず、ＬＩＮ（Local Interconnect Network）、または、FlexRay等、他の公知の車両内ＬＡＮを利用してもよい。

上記実施形態の説明では、車両の姿勢を算出することを例に挙げた。しかし、これに限られず、上記動きセンサと、カメラ２１により撮影された画像データとに基づき、カメラ２１による撮影対象の動き情報（速度、加速度など）を算出するようにし、その情報を、センサデータとの比較および評価の対象としてもよい。

以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。

１１…加速度センサ
１２…ジャイロセンサ
１３…ストロークセンサ
２１…カメラ
２２…送信側ＰＣ
５４…受信側ＰＣ
５５…受信データ（センサデータおよび画像番号）
１００…通信システム

Claims (3)

1. 送信装置と受信装置とを含む通信システムの、前記受信装置から出力されるデータを処理するデータ処理装置であって、
   前記送信装置は、
   車両に設けられたカメラで撮影される画像データを取得する取得部と、
   前記取得部による前記画像データの取得ごとに、前記画像データを個別に識別する識別情報を生成してこれを送信する送信部とを有し、
   前記受信装置は、
   前記車両に設けられた前記車両の動きを検出するセンサから出力され、前記識別情報より送信頻度が高いセンサデータと、前記送信装置から送信される前記識別情報とを時系列で受信する受信部を有し、
   前記データ処理装置は、
   前記識別情報の受信時刻周辺の複数の時刻で、前記受信部によりそれぞれ受信されたセンサデータに基づき、前記識別情報の受信時刻におけるセンサデータを補間する補間手段を具備する
   データ処理装置。
2. 請求項１に記載のデータ処理装置であって、
   前記送信装置は、車両内ＬＡＮ（Local Area Network）に接続可能に構成され、
   前記車両内ＬＡＮが、異なる複数の転送速度でデータを転送可能な複数のバスを有し、前記センサによる前記センサデータの出力時間間隔が、前記送信部による前記識別情報の送信時間間隔よりも短く、かつ、前記センサデータが前記複数のバスのうち第１のバスを介して第１の転送速度で前記受信装置に送信される場合、前記送信部は、前記複数のバスのうち第２のバスを介して第２の転送速度で前記識別情報を送信する
   データ処理装置。
3. 請求項１または２に記載のデータ処理装置であって、
   前記取得部により取得される前記画像データを、前記識別情報にそれぞれ関連付ける関連付け手段
   をさらに具備するデータ処理装置。

Images