JP7164721B2 - センサデータ処理方法、装置、電子機器及びシステム - Google Patents

Description

（関連出願の相互参照）
本願は、２０１９年６月２５日に提出された出願番号が２０１９１０５５６２５８．２である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願の実施例は、インテリジェント走行技術に関し、特にセンサデータ処理方法、装置、電子機器及びシステムに関する。

運転支援及び自動運転は、インテリジェント運転分野における２つの重要な技術である。運転支援又は自動運転により、交通事故の発生を減少させることができるため、インテリジェント運転分野において重要な役割を果たしている。運転支援技術及び自動運転技術を実行するために、種々のセンサの協働が必要である。種々のセンサはそれぞれ、車両の異なる箇所に設けられ、路面画像、車両運転データなどをリアルタイムで収集する。運転支援システム又は自動運転システムは、各センサにより収集されたデータに基づいて、経路計画などの制御操作を行う。車両に取り付けられるセンサのトリガ時刻、トリガソースが異なる可能性があるため、種々のセンサ及び各種のセンサのうちの複数のセンサの間に、同期しないという問題が存在し得る。

本願の実施例は、センサデータ処理方法、装置、電子機器及びシステムを提供する。

第１態様によれば、本願の実施例は、センサデータ処理方法を提供する。前記方法は、第１時刻におけるインテリジェント機器の第１センサの第１ターゲットデータを取得することと、第２時刻における前記インテリジェント機器の第２センサの第２ターゲットデータを取得することであって、前記第１時刻及び前記第２時刻は、前記インテリジェント機器のクロックにおける異なる時刻である、ことと、前記インテリジェント機器の、前記第１時刻における第１姿勢及び前記第２時刻における第２姿勢を取得することであって、前記第１姿勢と前記第２姿勢は異なる、ことと、前記第１姿勢及び前記第２姿勢に基づいて、前記第１ターゲットデータに対して補償処理を行い、前記第１センサの、前記第２時刻における補償データを得ることと、を含む。

第２態様によれば、本願の実施例は、センサデータ処理装置を更に提供する。前記装置は、第１時刻におけるインテリジェント機器の第１センサの第１ターゲットデータを取得するように構成される第１取得モジュールと、第２時刻における前記インテリジェント機器の第２センサの第２ターゲットデータを取得するように構成される第２取得モジュールであって、前記第１時刻及び前記第２時刻は、前記インテリジェント機器のクロックにおける異なる時刻である、第２取得モジュールと、前記インテリジェント機器の、前記第１時刻における第１姿勢及び前記第２時刻における第２姿勢を取得するように構成される第３取得モジュールであって、前記第１姿勢と第２姿勢は異なる、第３取得モジュールと、前記第１姿勢及び前記第２姿勢に基づいて、前記第１ターゲットデータに対して補償処理を行い、前記第１センサの、前記第２時刻における補償データを得るように構成される補償モジュールと、を備える。

第３態様によれば、本願の実施例は、インテリジェント走行制御方法を更に提供する。前記方法は、インテリジェント走行制御装置が、インテリジェント機器に設けられるセンサの検出データを取得することであって、前記検出データは、上記第１態様に記載のセンサデータ処理方法で得られたものである、ことと、前記インテリジェント走行制御装置が、前記検出データに基づいて、インテリジェント機器に対してインテリジェント走行制御を行うことと、を含む。

第４態様によれば、本願の実施例は、インテリジェント走行制御装置を更に提供する。前記装置は、インテリジェント機器に設けられるセンサの検出データを取得するように構成される取得モジュールであって、前記検出データは、上記第１態様に記載のセンサデータ処理方法で得られたものである、取得モジュールと、前記検出データに基づいて、インテリジェント機器に対してインテリジェント走行制御を行うように構成されるインテリジェント走行制御モジュールと、を備える。

第５態様によれば、本願の実施例は、電子機器を更に提供する。前記電子機器は、プログラム命令を記憶するように構成されるメモリと、前記メモリにおけるプログラム命令を呼び出して実行し、上記第１態様に記載の方法のステップを実行するように構成されるプロセッサと、を備える。

第６態様によれば、本願の実施例は、インテリジェント走行システムを更に提供する。前記システムは、通信可能に接続されるセンサ、上記第５態様に記載の電子機器及び上記第４態様に記載のインテリジェント走行制御装置を備える。

第７態様によれば、本願の実施例は、可読記憶媒体を更に提供する。前記可読記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムは、上記第１態様に記載の方法のステップを実行するように構成され、又は、前記コンピュータプログラムは、上記第３態様に記載の方法のステップを実行するように構成される。

本願の実施例により提供されるセンサデータ処理方法、装置、電子機器及びシステムは、第１センサの、第１時刻における第１ターゲットデータ及び第２センサの、第２時刻における第２ターゲットデータを取得した後、インテリジェント機器の、第１時刻における姿勢情報及びインテリジェント機器の、第２時刻における姿勢情報に基づいて、第１ターゲットデータに対して補償処理を行い、第１センサの、第２時刻における補償データを得る。第２センサの第２ターゲットデータも第２時刻の監視データであるため、第１センサのデータに対して補償処理を行うことで、第１センサの、第２センサに対応する時刻におけるデータを得ることができる、即ち、得られた第１センサの第１ターゲットデータ及び第２センサの第２ターゲットデータはいずれも同一時刻におけるデータである。これにより、第１センサと第２センサの同期を実現する。該方法は、ソフトウェア方式でセンサの同期を実現するため、複数のセンサの同期トリガを行うための専用ハードウェアを別途配置する必要がなく、複数のセンサのデータ同期に必要なハードウェアコストを低減させる。

本願の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の記述に必要な図面を簡単に説明する。勿論、下記図面は、本願の幾つかの実施例であり、当業者は、これらの図面に基づいて、創造的な労力なしに他の図面を得ることもできる。
本願の実施例によるセンサデータ処理方法の適用シーンを示す概略図である。 本願の実施例によるセンサデータ処理方法を示す第１フローチャートである。 上記プロセスにより第１センサ及び第２センサに対してデータ同期を行うことを示す概略図である。 本願の実施例によるセンサデータ処理方法を示す第２フローチャートである。 本願の実施例によるセンサデータ処理方法を示す第３フローチャートである。 本願の実施例によるセンサデータ処理方法を示す第４フローチャートである。 本願の実施例によるセンサデータ処理方法を示す第５フローチャートである。 本願の実施例によるセンサデータ処理方法を示す第６フローチャートである。 第１オリジナルデータに対してフレーム内部データ同期を行い第１ターゲットデータを取得する例を示す図である。 本願の実施例によるセンサデータ処理方法を示す第７フローチャートである。 同一タイプのセンサの同期の例を示す図である。 本願の実施例によるセンサデータ処理装置のモジュール構造を示す第１図である。 本願の実施例によるセンサデータ処理装置のモジュール構造を示す第２図である。 本願の実施例によるセンサデータ処理装置のモジュール構造を示す第３図である。 本願の実施例によるセンサデータ処理装置のモジュール構造を示す第４図である。 本願の実施例によるセンサデータ処理装置のモジュール構造を示す第５図である。 本願の実施例によるセンサデータ処理装置のモジュール構造を示す第６図である。 本願の実施例による電子機器の構造を示す概略図である。 本願の実施例によるインテリジェント走行制御方法を示すフローチャートである。 本願の実施例によるインテリジェント走行制御装置の構造を示す概略図である。 本願の実施例によるインテリジェント走行システムを示す概略図である。

本願の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本願の一部の実施例である。本発明における実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本発明の保護範囲に含まれる。

図１は、本願の実施例によるセンサデータ処理方法の適用シーンを示す概略図である。図１に示すように、該方法は、センサが取り付けられた車両、ロボット、盲導機器などのインテリジェント機器に適用可能である。インテリジェント機器に取り付けられるセンサのタイプは、カメラ、レーザレーダ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ：ＬｉＤＡＲ）、ミリ波レーダ（Ｒａｄｉｏ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ：ＲＡＤＡＲ）、高精度慣性ナビゲータ、コントローラエリアネットワークバス（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔ－ｗｏｒｋ Ｂｕｓ：ＣＡＮＢＵＳ）などの少なくとも１つのセンサを含んでもよい。インテリジェント機器に設けられる同一のタイプのセンサの数は、１つ又は複数であり得る。例えば、１つ又は複数のセンサ、１つ又は複数のレーザレーダなどを設けてもよい。異なるセンサは、インテリジェント機器の異なる箇所に設けられてもよい。図１において、カメラ及びＬｉＤＡＲを例として示す。ここで、カメラは、インテリジェント機器の周辺環境の画像をリアルタイムで撮って、撮られた画像をインテリジェント機器のインテリジェント走行システムに報告することができる。ＬｉＤＡＲは、レーザパルスを送受信することで、インテリジェント機器の周辺の三次元点座標を得て、ポイントクラウドデータを形成し、ポイントクラウドデータをインテリジェント機器のインテリジェント走行システムに報告することができる。ＲＡＤＡＲは、電磁波を用いて、インテリジェント機器の周辺の地面、車両、木などの物体を探測し、そのエコーを受信し、物体の方位、高さ、距離などの情報を得て、インテリジェント機器のインテリジェント走行システムに報告する。ＣＡＮＢＵＳは、シリアルデータ伝送方式で、例えば、車両のアクセル運転パラメータ、ハンドル運転パラメータ、車輪速度などのような、インテリジェント機器の運転パラメータをインテリジェント機器のインテリジェント走行システムに伝送する。インテリジェント走行システムは、各センサから報告されたデータに基づいて、例えば、車両位置決め、経路計画、経路逸脱警告及び交通流分析などのインテリジェント走行制御を行う。

説明しやすくするために、本願の下記実施例において、インテリジェント機器のインテリジェント走行システムを「システム」と総称する。

図２は、本願の実施例によるセンサデータ処理方法を示す第１フローチャートである。図２に示すように、該方法は、以下を含む。

Ｓ２０１において、第１時刻におけるインテリジェント機器の第１センサの第１ターゲットデータを取得する。

Ｓ２０２において、第２時刻におけるインテリジェント機器の第２センサの第２ターゲットデータを取得し、該第１時刻及び上記第２時刻は、インテリジェント機器のクロックにおける異なる時刻である。

選択的に、システムは、第１センサ及び第２センサにデータ報告命令を送信し、第１センサ及び第２センサは、データ報告命令を受信した後にデータを検出し、検出されたデータをシステムに送信することができる。又は、第１センサ及び第２センサは、所定の周期に応じて、データを自動的に検出し、検出されたデータをシステムに送信することもできる。

Ｓ２０３において、インテリジェント機器の、上記第１時刻における第１姿勢及び上記第２時刻における第２姿勢を取得し、該第１姿勢と該第２姿勢は異なる。

Ｓ２０４において、上記第１姿勢及び上記第２姿勢に基づいて、上記第１ターゲットデータに対して補償処理を行い、上記第１センサの、上記第２時刻における補償データを得る。

ここで、上記第１センサ及び上記第２センサは、インテリジェント機器における任意の２つのセンサであってもよい。インテリジェント機器に、１つ又は複数の同一タイプのセンサが設けられてもよい。上記第１センサと上記第２センサは、タイプが異なる２つのセンサであってもよく、同一タイプの２つのセンサであってもよい。

一例において、上記第１センサは、ＬｉＤＡＲであってもよく、上記第２センサは、カメラであってもよい。

第１センサがＬｉＤＡＲであり、第２センサがカメラである場合、カメラにより検出されたデータが二次元情報であり、ＬｉＤＡＲにより検出されたデータが三次元情報であるため、後続で補償処理を行う時に、データに対して回転、平行移動などの操作を行う必要があるため、二次元情報を検出するカメラを参考として第２センサとし、三次元情報を検出するＬｉＤＡＲにより検出された三次元データに対して回転平行移動などの動き補償操作を行い、このように、補償処理時に余計の深度誤差が入らないことを保証する。

もう１つの例において、上記第１センサ及び上記第２センサはいずれもＬｉＤＡＲであってもよい。

本願の実施例において、インテリジェント機器が車両であることを例として、各センサは、自身の独立するクロックを使用してもよく、車両のインテリジェント運転システムと同一のクロックを使用してもよい。本実施例に記載の第１時刻及び第２時刻はいずれも、車両のインテリジェント運転システムのクロックの時刻である。各センサは、報告されるデータに時刻情報を含めるなどの方式で、センサのクロックにおける、データの検出時刻をシステムに報告することができる。本願の実施例において、各センサからデータを送信する時刻は、システムがデータを受信する時刻に等しいか又は近似する。第１センサのクロックがシステムのクロックと同じである場合、上記第１時刻は、第１センサがデータを送信する時の第１センサ自身のクロックの時刻であり、システムがデータを受信する時のシステムのクロックの時刻でもある。第１センサ自身のクロックがシステムのクロックと異なる場合、システムは、第１センサ自身のクロックにおけるデータ送信時刻と第１センサとシステムとのクロック差異に基づいて、上記第１時刻を得る必要がある。該プロセスを下記実施例において詳しく説明する。上記第２時刻の処理方法は、第１時刻の処理方法と類似し、ここで、詳細な説明を省略する。

第１センサと第２センサは、トリガソースが異なるという要因、トリガ時刻が異なるという要因などにより、同期しないという問題がある。例えば、第１センサは、ＬｉＤＡＲであり、第２センサは、カメラである。ＬｉＤＡＲは、一回転度に１フレームのデータをシステムに報告し、カメラは、自体の撮影周期に応じてシステムにデータを報告することができる。従って、ＬｉＤＡＲとカメラが同時に動作を開始しても、システムに報告されるデータは、同一時刻におけるデータではない可能性もある。例えば、ＬｉＤＡＲは、車両の前方１００メートルに一人がいることを検出し、それに対してカメラにより撮られたものは、車両前方１２０メートルに一人がいることであり得る。該問題によれば、本実施例において、第１時刻と第２時刻はいずれもシステムのクロックの時刻であることを前提として、第２センサを第１センサの参照センサとして、システムが第２センサの第２ターゲットデータを受信する第２時刻を、第１センサがデータを送信する第１時刻の参考時刻とし、車両の、第１時刻における第１姿勢及び車両の、第２時刻における第２姿勢に基づいて、第１ターゲットデータに対して補償処理を行い、第１センサの、第２時刻における補償データを得る。第２センサの第２ターゲットデータも第２時刻の検出データであるため、第１センサのデータに対して補償処理を行うことで、第１センサの、第２センサに対応する時刻におけるデータを得ることができる。つまり、得られた第１センサの第１ターゲットデータ及び第２センサの第２ターゲットデータはいずれも同一時刻におけるデータである。これにより、第１センサと第２センサの同期を実現する。該方法は、ソフトウェア方式でセンサの同期を実現するため、複数のセンサの同期トリガを行うための専用ハードウェアを別途配置する必要がなく、複数のセンサのデータ同期に必要なハードウェアコストを低減させる。

図３は、上記プロセスにより第１センサ及び第２センサに対してデータ同期を行うことを示す概略図である。図３に示すように、第１センサがＬｉＤＡＲであり、第２センサがカメラであることを例として、第１センサ及び第２センサは、一定の周期に応じてデータフレームを報告する。ＬｉＤＡＲにより報告されるデータフレームをレーダフレーム（又はＬｉＤＡＲフレーム）と呼んでもよく、カメラにより報告されるデータフレームをカメラフレーム（又はデータフレーム）と呼んでもよい。１つの周期において、システムは、Ｔｌ時刻（即ち、第１時刻）で１つのレーダフレームを受信し、Ｔｃ時刻（即ち、第２時刻）で、１つのカメラフレームを受信する。カメラを参照センサとして、上記プロセスを用いることで、Ｔｌ時刻のレーダフレームの、Ｔｃ時刻におけるデータを得ることができる。Ｔｃ時刻で、レーダデータ及びカメラデータを同時に取得することに相当する。これにより、ＬｉＤＡＲとカメラの同期を実現する。

上記例において、各センサは、検出されたデータをリアルタイムでシステムに送信する。データに対してセンサデータ同期を行う。もう１つのシーンにおいて、各センサにより検出されたデータに対して予め録画を行い、各センサにより録画されたデータに対してデータ再生を行うこともできる。データ再生を行う場合、各センサのデータに対して同期を行うことができる。

図４は、各センサの録画データのデータ再生時の同期処理を示す第２概略図である。図４に示すように、カメラの検出データを予め録画することで一連のカメラフレームを得る。各カメラフレームはいずれも、検出時の時間タイムスタンプを記録する。ＣＡＮＢＵＳ／高精度慣性ナビゲータの検出データに対して予め録画を行い、一連の車両運転データを得る。ＬｉＤＡＲの検出データに対して予め録画を行い、一連のレーダフレームを得、各レーダフレームはいずれも、検出時のタイムスタンプを記録する。データ再生を行う時、１フレームのカメラフレーム及び１フレームのレーダフレームを読み取ると同時に、録画したＣＡＮＢＵＳ／高精度慣性ナビゲータの検出データに基づいて、車両の姿勢列を得る。更に、該１フレームのカメラフレームのタイムスタンプに基づいて、該１フレームのカメラフレームを検出する時の車両の姿勢を得て、該１フレームのレーダフレームのタイムスタンプに基づいて、該１フレームのレーダフレームを検出する時の姿勢を得る。更に、得られた２つの姿勢に基づいて、レーダフレームをカメラフレームの検出時刻の下に補償する。これにより、カメラフレームとレーダフレームの同期を実現させ、更に、同期しているカメラフレーム及びレーダフレームに基づいて、運転制御などの操作を行うことができる。

具体的な実施プロセスにおいて、インテリジェント機器における複数のセンサについて、そのうちの１つを参照センサである第２センサとして選択し、他のセンサを該参照センサに別々に同期させることで、インテリジェント機器における各センサの同期を実現する。

本実施例において、第１センサの、第１時刻における第１ターゲットデータ及び第２センサの、第２時刻における第２ターゲットデータをそれぞれ取得した後、インテリジェント機器の、第１時刻における第１姿勢及びインテリジェント機器の、第２時刻における第２姿勢に基づいて、第１ターゲットデータに対して補償処理を行い、第１センサの、第２時刻における補償データを得る。第２センサの第２ターゲットデータも第２時刻の監視データであるため、第１センサのデータに対して補償処理を行うことで、第１センサの、第２センサに対応する時刻におけるデータを得ることができる。つまり、得られた第１センサの第１ターゲットデータ及び第２センサの第２ターゲットデータはいずれも同一時刻におけるデータである。これにより、第１センサと第２センサの同期を実現する。該方法は、ソフトウェア方式でセンサの同期を実現するため、複数のセンサの同期トリガを行うための専用ハードウェアを別途配置する必要がなく、複数のセンサのデータ同期に必要なハードウェアコストを低減させる。

図５は、本願の実施例によるセンサデータ処理方法を示す第３フローチャートである。図５に示すように、上記ステップＳ２０４において、第１姿勢及び第２姿勢に基づいて第１ターゲットデータに対して補償処理を行う場合の１つの選択可能な方式は、以下を含む。

Ｓ５０１において、上記第１姿勢に基づいて、上記第１センサの、上記第１時刻における第１座標系を決定する。

Ｓ５０２において、上記第２姿勢に基づいて、上記第１センサの、上記第２時刻における第２座標系を決定する。

Ｓ５０３において、上記第１座標系及び上記第２座標系に基づいて、上記第１ターゲットデータに対して補償処理を行い、上記第１センサの、上記第２時刻における補償データを得る。

選択的に、インテリジェント機器が車両であることを例として、車両は、運転状態で、各時刻に対応する姿勢を有する。異なる時刻で姿勢は変化し得る。姿勢の変化は、回転及び平行移動を含み得る。車両の各時刻における姿勢、即ち回転と平行移動に基づいて、センサの姿勢を得ることができる。センサの各姿勢はいずれも１つの座標系に対応する。各姿勢でセンサにより検出されたワールド座標系における点は、いずれも該座標系における点であり、即ち、検出された点の座標値は、いずれも、該座標系における座標値である。本実施例において、車両は、第１時刻及び第２時刻で、それぞれ、対応する姿勢を有し、更に、それぞれ、第１姿勢に対応する第１座標系及び第２姿勢に対応する第２座標系を有し、ワールド座標系における１つの点に対して、第１座標系及び第２座標系の変換に基づいて、該点の、第２座標系における座標値を導きだすことができ、つまり、第２時刻における座標値を導きだすことができる。第１センサにより検出されたデータにおける各点に対していずれも上記処理を実行することで、第１センサにより検出されたデータの、第２時刻における検出データを得ることができる。

以下、例により、第１座標系及び第２座標系に基づいて第１センサの第１ターゲットデータに対して補償処理を行うプロセスを説明する。

ワールド座標系において、１つの点Ｘが存在し、第１時刻がｔ０時刻であり、第２時刻がｔｎ時刻であり、ｔ０時刻における車両の姿勢がＰ０であり、該Ｐ０に対応する座標系は、第１座標系であり、該ｔ０で該第１座標系において得られた点Ｘの座標データはｘ０であるとすれば、ｘ０とＸの関係は、下記式（１）を満たす。
Ｘ＝Ｐ０×ｘ０ （１）
第２時刻がｔｎ時刻であり、車両の姿勢がＰｎであり、該Ｐｎに対応する座標系は、第２座標系であり、該ｔｎ時刻で該第２座標系において得られた点Ｘの座標データは、ｘｎであるとすれば、ｘｎとＸの関係は、下記式（２）を満たす。
Ｘ＝Ｐｎ×ｘｎ （２）
上記式（１）及び式（２）から分かるように、ｘ０とｘｎの関係は、下記式（３）を満たす。
Ｐ０×ｘ０＝Ｐｎ×ｘｎ （３）
上記式（３）に対して変換処理を行うことでｘｎを得ることができる。ｘｎは、下記式（４）で表される。
ｘｎ＝Ｐｎ^－１×Ｐ０×ｘ０ （４）
上記プロセスにおいて、ワールド座標系における１つの点に対して、第１センサにより、第１時刻ｔ０で、ｔ０時刻における該点の姿勢に対応する第１座標系における座標、ｔ０時刻及びｔｎ時刻にそれぞれ対応する姿勢を検出することで、第１センサが第２時刻ｔｎで該点を検出する時、ｔｎ時刻における該点に対応する姿勢に対応する第２座標系における座標を導きだすことができる。第１ターゲットデータに対応する各点に対していずれも上記処理を行うことで、第１センサの、ｔｎ時刻における検出データを得ることができる。

上記処理プロセスにおいて、車両の、第１時刻における第１姿勢及び車両の、第２時刻における第２姿勢に基づいて補償処理を行うため、補償処理の前に、まず、車両の、第１時刻における第１姿勢及び車両の、第２時刻における第２姿勢を取得することができる。

選択可能な実施形態において、インテリジェント機器の姿勢列をまず生成してから、インテリジェント機器の姿勢列に基づいて、インテリジェント機器の、第１時刻における第１姿勢及びインテリジェント機器の、第２時刻における第２姿勢を得ることができる。

図６は、本願の実施例によるセンサデータ処理方法を示す第４フローチャートである。図６に示すように、インテリジェント機器の姿勢列を生成し、インテリジェント機器の姿勢列に基づいて、第１姿勢及び第２姿勢を決定するプロセスは以下を含む。

Ｓ６０１において、インテリジェント機器に設けられた、姿勢検出機能を有するセンサにより、複数の時刻で検出された姿勢検出データをそれぞれ取得し、該複数の時刻のうちの各時刻はいずれもインテリジェント機器のクロックの時刻である。

Ｓ６０２において、上記姿勢検出データに基づいて、インテリジェント機器の姿勢列を生成する。

選択的に、インテリジェント機器が車両であることを例として、車両に設けられた、姿勢検出機能を有するセンサは、ＣＡＮＢＵＳ、高精度慣性ナビゲータ等のセンサであってもよい。システムは、ＣＡＮＢＵＳ、高精度慣性ナビゲータ等のセンサから報告された、例えば車両の車輪速、ハンドルなどの運転データのような姿勢検出データをリアルタイムで受信することができる。システムは、これらの姿勢検出データに基づいて、車両の、複数の時刻における姿勢を算出し、更に、姿勢列を構築することができる。

Ｓ６０３において、インテリジェント機器の姿勢列、上記第１時刻及び上記第２時刻に基づいて、上記第１姿勢及び上記第２姿勢を決定する。

選択的に、インテリジェント機器の姿勢列は、各時刻における姿勢からなる。具体的な実施プロセスにおいて、１つの場合に、第１時刻は、姿勢列における１つの姿勢に対応する時刻であり得、つまり、姿勢列に、第１時刻と姿勢情報とのマッピング関係が直接的に存在する。この場合、姿勢列から、第１時刻に対応する姿勢情報を直接的に取得することができる。第２時刻における姿勢情報に対して同様な処理を行う。つまり、姿勢列に、第２時刻と姿勢情報とのマッピング関係が直接的に存在すれば、姿勢列から、第２時刻に対応する姿勢情報を直接的に取得することができる。

もう１つのケースにおいて、前記姿勢列に前記第１時刻における姿勢が含まれないことに応答して、前記第１時刻に基づいて、前記インテリジェント機器の姿勢列に対して補償処理を行い、前記第１姿勢を得て、及び／又は、前記姿勢列に前記第２時刻における姿勢が含まれないことに応答して、前記第２時刻に基づいて、前記インテリジェント機器の姿勢列に対して補償処理を行い、前記第２姿勢を得る。

本実施例において、姿勢列に、第１時刻に対応する姿勢情報が存在しない可能性があるため、第１時刻に基づいて、インテリジェント機器の姿勢列に対して補償処理を行い、インテリジェント機器の、第１時刻における第１姿勢を得ることができる。ここで、姿勢列に対して行われる補償処理は、例えば、補間処理であってもよい。例示的に、第１時刻は、ｔ３時刻であり、インテリジェント機器の姿勢列に、ｔ３時刻に対応する姿勢情報が存在しないため、姿勢列から、ｔ３時刻に最も近い２つの隣接時刻をサーチすることができ、例えば、ｔ４及びｔ５時刻を見つけ、ｔ４とｔ５時刻が隣接すると共に、ｔ３時刻は、ｔ４とｔ５との間の時刻である。ｔ４時刻における姿勢情報及びｔ５時刻における姿勢情報を利用して補間処理を行い、ｔ３時刻に対応する姿勢情報を得る。第２時刻に対して、上記プロセスにより処理を行うこともできる。ここで、詳細な説明を省略する。

上記実施例において、第１姿勢及び第２姿勢に基づいて、第１センサの第１ターゲットデータに対して補償処理を行うプロセスにおいて、用いられるデータは、上記第１ターゲットデータである。上記第１ターゲットデータは、第１センサが直接的に検出した未処理データであってもよく、又は、上記第１ターゲットデータは、第１センサにより検出されたオリジナルデータを事前同期処理したデータであってもよい。幾つかのシーンにおいて、例えば、第１センサがＬｉＤＡＲである場合、ＬｉＤＡＲが１回転し、１回転のデータを検出した後にシステムに１フレームのデータを報告する。ＬｉＤＡＲが１回転するために、一定の時間長を経過する必要があるため、ＬｉＤＡＲからシステムに報告される１つのＬｉＤＡＲフレームデータにおいて、各サブデータの実際の検出時刻が相違している。ここで、１つのＬｉＤＡＲフレームデータは、複数のデータパケットが含まれてもよい。各データパケットは、１つのサブデータである。このようなシーンにおいて、第１センサのデータに対して補償処理を行い、参照センサである第２センサとのデータ同期を実現する前に、まず、第１センサから送信されたデータにおける各サブデータに対して同期を行い、第１センサから送信された各フレームのデータのフレーム内部同期を実現することができる。ここで、上記各サブデータに対して同期を行うことは、各サブデータのうちの１つのサブデータの送信時刻を参考時刻として、他のサブデータに対して補償処理を行い、他のサブデータの、該参考時刻におけるサブデータを得ることである。

選択可能な形態において、まず、第１センサから報告される、上記第１ターゲットデータに対応する第１オリジナルデータに含まれる第３時刻、上記第１センサのクロックとインテリジェント機器のクロックとの差異情報に基づいて、上記第１時刻を決定することができる。

本実施例において、第１オリジナルデータは、第１センサによりシステムに報告される、フレーム内部同期処理されていないデータであり、第１ターゲットデータは、フレーム内部同期処理されたデータである。

第１センサは、第１オリジナルデータを報告する時に、第１オリジナルデータにデータを検出する時刻、即ち、上記第３時刻を含めて報告することができる。

この場合、第１時刻におけるインテリジェント機器の第１センサの第１ターゲットデータを取得する前に、システムは、第３時刻を含む第１オリジナルデータを受信した後、第１センサのクロックとインテリジェント機器のクロックとの差異情報に基づいて、第３時刻に対応するインテリジェント機器のクロックにおける第１時刻を決定することができる。前記第３時刻は、第１センサが第１ターゲットデータに対応する第１オリジナルデータを検出する時刻を標識するために用いられ、該第３時刻は、第１センサのクロックの時刻である。

選択的に、第１センサのクロックとインテリジェント機器のクロックとの差異情報は、特定の手段により事前取得可能である。例示的に、第１センサは全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：ＧＰＳ）に基づいたものである場合、ＧＰＳのクロックとインテリジェント機器のクロックの誤差に基づいて、第１センサとインテリジェント機器の常時のクロック差異情報を決定することができる。

また、上記第２時刻について、第２時刻におけるインテリジェント機器の第２センサの第２ターゲットデータを取得する前に、第２センサのクロックとインテリジェント機器のクロックとの差異情報に基づいて、前記第２センサが前記第２ターゲットデータを報告する時に一緒に報告される第４時刻に対応する前記インテリジェント機器のクロックにおける前記第２時刻を決定することもでき、該第４時刻は、前記第２ターゲットデータの検出時刻を標識するために用いられ、該第４時刻は、上記第２センサのクロックの時刻である。

一例において、上記第２センサは、カメラなどのような、ビデオフレームを収集するできるセンサであれば、まず、第２センサを用いて、インテリジェント機器の時計の複数のビデオフレームを撮影し、各ビデオフレームを撮影する時刻の情報と各ビデオフレームに対応する時計に表示される時刻情報とに対して比較分析を行い、第２センサのクロックとインテリジェント機器のクロックとの差異情報を得る。

以下、第１センサにより報告される第１オリジナルデータに含まれる第３時刻に基づいてフレーム内部データ同期処理を行うプロセスを説明する。

図７は、本願の実施例によるセンサデータ処理方法を示す第５フローチャートである。図７に示すように、第１オリジナルデータに対してフレーム内部データ同期を行い、第１ターゲットデータを取得するプロセスは以下を含む。

Ｓ７０１において、第１センサから報告された第１オリジナルデータを受信し、該第１オリジナルデータは、複数のサブデータを含み、各サブデータは、対応する検出時刻を有し、上記第３時刻は、上記第１オリジナルデータに含まれる複数のデータの検出時刻の参考時刻である。

選択的に、第１センサから報告された第１オリジナルデータは、複数のサブデータを含むとともに、各サブデータの検出時刻を含む。つまり、各サブデータはいずれも、対応する検出時刻を有する。システムは、これらの検出時刻のうちの１つの時刻を第３時刻として選択して参考時刻とし、他の時刻のサブデータをそれぞれ該参考時刻のデータの下に補償し、該参考時刻における全てのサブデータを得、これらのサブデータからなるデータは、第１ターゲットデータである。これにより、第１センサのフレーム内部データ同期を実現する。例示的に、複数の検出時刻のうちの最も遅い時刻を上記第３時刻として選択することができる。

Ｓ７０２において、インテリジェント機器の、各サブデータの検出時刻における姿勢及び各サブデータに基づいて、上記第１センサの、上記第１時刻における上記第１ターゲットデータを取得する。

本実施例において、第１センサから報告された第１オリジナルデータを受信した後、該第１オリジナルデータを構成する各サブデータの検出時刻における姿勢に基づいて、第１オリジナルデータにおける複数のサブデータに対するフレーム内部データ同期を完了し、センサ同期の正確性を更に向上させることができる。

図８は、本願の実施例によるセンサデータ処理方法を示す第６フローチャートである。図８に示すように、上記ステップＳ７０２の１つの選択可能な実施形態は以下を含む。

Ｓ８０１において、インテリジェント機器の、各サブデータの検出時刻における姿勢に基づいて、第１センサの各サブデータの検出時刻における座標系を決定する。

各検出時刻における座標系の決定プロセスは、第１時刻における第１座標系の決定プロセスと同じであり、前記実施例を参照することができ、ここで、詳細な説明を省略する。

Ｓ８０２において、上記第１センサの、上記第３時刻以外の各サブデータの検出時刻における座標系及び上記第１センサの、上記第３時刻における座標系に基づいて、第３時刻以外の各サブデータの、上記第３時刻における対応するサブデータをそれぞれ決定する。

本ステップにおいて、第３時刻を参考時刻とし、他の検出時刻のサブデータを第３時刻の下にそれぞれ補償し、各サブデータの同期を実現する。

ここで、サブデータの検出時刻の座標系及び第３時刻の座標系に基づいて、サブデータの、第３時刻における対応するサブデータを決定するプロセスは、上記ステップＳ５０３における処理プロセスと一致し、上記ステップＳ５０３及び式（１）から（４）に関する説明を参照することができ、ここで、詳細な説明を省略する。

Ｓ８０３において、第３時刻以外の各サブデータの、上記第３時刻における対応するサブデータに対して整合処理を行い、上記第１センサの、上記第１時刻における上記第１ターゲットデータを得る。

選択的に、各サブデータの、第３時刻における対応するサブデータに対して元の検出時刻に応じて順序付け組み合わせを行い、上記第１ターゲットデータを得ることができる。該第１ターゲットデータにおける全てのサブデータはいずれも、第３時刻に対応する座標系におけるデータであり、つまり、第１ターゲットデータにおける全てのサブデータは、同期データである。第１センサのクロックで、該第１ターゲットデータは、第３時刻に対応する座標系におけるデータである。上述から分かるように、第３時刻に対応するインテリジェント機器のクロックの時刻は、第１時刻であるため、インテリジェント機器のクロックで、上記第１ターゲットデータは、第１時刻の検出データである。

図９は、第１オリジナルデータに対してフレーム内部データ同期を行い第１ターゲットデータを取得する例を示す図である。図９に示すように、第１センサがＬｉＤＡＲであることを例として、ＬｉＤＡＲから報告された各フレームのデータに、ｎ＋１個のデータパケットが含まれ、各データパケットは、１つの検出時刻に対応する。ｎ番目のデータパケット（データパケットｎ）の検出時刻を参考時刻として、データパケット０からデータパケットｎ－１をそれぞれデータパケットｎに対応する時刻の下に補償し、１フレームのデータのフレーム内部同期を実現することができる。

上述において、複数のサブデータからなる第１オリジナルデータに対してフレーム内部同期を行い、第１ターゲットデータを得るプロセスを説明した。具体的な実施プロセスにおいて、インテリジェント機器に、複数の同一タイプのセンサが含まれ、且つ該同一のタイプのセンサの検出データが複数のサブデータを含む上記形態であり、第１センサが複数の同一タイプのセンサのうちの１つであれば、第１センサと第２センサに対して同期を行う前に、まず、上記複数のサブデータの同期方法に基づいて、同一タイプの複数のセンサの検出データを同期を実現することもできる。

図１０は、本願の実施例によるセンサデータ処理方法を示す第７フローチャートである。図１０に示すように、同一タイプの複数のセンサの検出データに対して同期を行うプロセスは以下を含む。

Ｓ１００１において、第３センサから報告された第２オリジナルデータを受信し、該第３センサのタイプは、上記第１センサのタイプと同じであり、該第２オリジナルデータは、複数のサブデータを含み、各サブデータは、対応する検出時刻を有し、上記第３時刻は、上記第２オリジナルデータに含まれる複数のデータの検出時刻の参考時刻である。

Ｓ１００２において、インテリジェント機器の、上記第２オリジナルデータの各サブデータの検出時刻における姿勢及び上記第２オリジナルデータの各サブデータに基づいて、上記第３センサの、上記第１時刻における第３ターゲットデータを取得する。

本実施例において、第１センサの１つの検出時刻である第３時刻を第３センサ同期時の参考時刻とし、第３センサから報告された第２オリジナルデータにおける各サブデータの姿勢に基づいて、第２オリジナルデータにおける各サブデータを第３時刻の下に補償することができる。このような処理を行った後、第２オリジナルデータにおける全てのサブデータが同期され、同期した第３ターゲットデータを得る。これと同時に、第３センサは、第１センサの第３時刻を参考時刻とするため、第３センサの同期した第３ターゲットデータと第１センサの同期した第２ターゲットデータは、同期したものである。

図１１は、同一タイプのセンサの同期の例を示す図である。図１１に示すように、第１センサがＬｉＤＡＲであり、第３センサ及び第４センサもＬｉＤＡＲであることを例として、各ＬｉＤＡＲから報告された各フレームのデータにいずれも、ｎ＋１個のデータパケットが含まれ、各データパケットは、１つの検出時刻に対応する。従って、第１センサのｎ番目のデータパケット（データパケットｎ）の検出時刻を参考時刻として、第１センサのデータパケット０からデータパケットｎ－１をそれぞれデータパケットｎに対応する時刻の下に補償し、且つ、第３センサのデータパケット０からデータパケットｎをそれぞれ第１センサのデータパケットｎに対応する時刻の下に補償し、第４センサのデータパケット０からデータパケットｎをそれぞれ第１センサのデータパケットｎに対応する時刻の下に補償し、第１センサ、第３センサ、第４センサのそれぞれのフレーム内部同期、第１センサ、第３センサ、第４センサ間のインターフレーム同期を実現することができる。

本実施例において、インテリジェント機器に複数の同一タイプのセンサが存在し、且つ該タイプのセンサから報告された検出データに複数のサブデータが含まれる時、１つのセンサの検出データにおける１つのサブデータの検出時刻を参考時刻として、同一タイプの他のセンサのうちの各センサに対して、該センサの全てのサブデータをいずれも該参考時刻の下に補償することができる。該処理により、各センサのフレーム内部同期を実現することができるだけでなく、同一のタイプのセンサ間のインターフレーム同期を同時に実現することもできる。

幾つかの選択可能な実施例において、前記第１姿勢及び前記第２姿勢に基づいて、前記第１ターゲットデータに対して補償処理を行い、前記第１センサの、前記第２時刻における補償データを得ることは、前記第１姿勢及び前記第２姿勢に基づいて、前記第１ターゲットデータ及び前記第３ターゲットデータに対して補償処理を行い、前記第１センサの、前記第２時刻における補償データ及び前記第３センサの、前記第２時刻における補償データを得ることを含む。

上記プロセスにより、同一タイプの第３センサと第１センサの同期を実現した後、第１姿勢及び第２姿勢に基づいて第１ターゲットデータに対して補償処理を行うと同時に、第１姿勢及び第２姿勢に基づいて第３ターゲットデータに対して補償処理を行い、第１センサの、第２時刻における補償データ及び第３センサの、第２時刻における補償データを得ることができる。第１センサと第３センサは同一タイプのセンサとして、同期が実現したため、これを基に、第２センサとの同期を更に実現することで、センサ同期の正確性を更に実現することができる。

図１２は、本願の実施例によるセンサデータ処理装置のモジュール構造を示す第１図である。図１２に示すように、該装置は、
第１時刻におけるインテリジェント機器の第１センサの第１ターゲットデータを取得するように構成される第１取得モジュール１２０１と、
第２時刻における前記インテリジェント機器の第２センサの第２ターゲットデータを取得するように構成される第２取得モジュール１２０２であって、前記第１時刻及び前記第２時刻は、前記インテリジェント機器のクロックにおける異なる時刻である、第２取得モジュール１２０２と、
前記インテリジェント機器の、前記第１時刻における第１姿勢及び前記第２時刻における第２姿勢を取得するように構成される第３取得モジュール１２０３であって、前記第１姿勢と前記第２姿勢は異なる、第３取得モジュール１２０３と、
前記第１姿勢及び前記第２姿勢に基づいて、前記第１ターゲットデータに対して補償処理を行い、前記第１センサの、前記第２時刻における補償データを得るように構成される補償モジュール１２０４と、を備える。

該装置は、上記方法の実施例を実現するために用いられ、その実現原理及び技術的効果は類似しており、ここで、詳細な説明を省略する。

もう１つの実施例において、前記補償モジュール１２０４は、前記第１姿勢に基づいて、前記第１センサの、前記第１時刻における第１座標系を決定し、前記第２姿勢に基づいて、前記第１センサの、前記第２時刻における第２座標系を決定し、前記第１座標系及び前記第２座標系に基づいて、前記第１ターゲットデータに対して補償処理を行い、前記第１センサの、前記第２時刻における補償データを得るように構成される。

もう１つの実施例において、前記第３取得モジュール１２０３は、前記インテリジェント機器に設けられた、姿勢検出機能を有するセンサにより複数の時刻で検出されたインテリジェント機器の姿勢検出データをそれぞれ取得することであって、前記複数の時刻のうちの各時刻はいずれも前記インテリジェント機器のクロックの時刻であることと、前記インテリジェント機器に設けられた、姿勢検出機能を有するセンサにより複数の時刻で検出されたインテリジェント機器の姿勢検出データに基づいて、前記インテリジェント機器の姿勢列を生成することと、前記インテリジェント機器の姿勢列、前記第１時刻及び前記第２時刻に基づいて、前記第１姿勢及び前記第２姿勢を決定することと、を実行するように構成される。

もう１つの実施例において、第３取得モジュール１２０３は、前記姿勢列に前記第１時刻における姿勢が含まれないことに応答して、前記第１時刻に基づいて、前記インテリジェント機器の姿勢列に対して補償処理を行い、前記第１姿勢を得て、及び／又は、前記姿勢列に前記第２時刻における姿勢が含まれないことに応答して、前記第２時刻に基づいて、前記インテリジェント機器の姿勢列に対して補償処理を行い、前記第２姿勢を得るように構成される。

図１３は、本願の実施例によるセンサデータ処理装置のモジュール構造を示す第２図である。図１３に示すように、該装置は、前記第１センサのクロックと前記インテリジェント機器のクロックとの差異情報に基づいて、第３時刻に対応する前記インテリジェント機器のクロックにおける前記第１時刻を決定するように構成される第１決定モジュール１２０５であって、前記第３時刻は、第１センサが前記第１ターゲットデータに対応する第１オリジナルデータを検出する時刻を標識するために用いられ、前記第３時刻は、前記第１センサのクロックの時刻である、第１決定モジュール１２０５を更に備える。

もう１つの実施例において、第１取得モジュール１２０１は、前記第１センサから報告された前記第１オリジナルデータを受信することであって、前記第１オリジナルデータは、複数のサブデータを含み、各サブデータは、対応する検出時刻を有し、前記第３時刻は、前記第１オリジナルデータに含まれる複数のサブデータの検出時刻の参考時刻である、ことと、前記インテリジェント機器の、各サブデータの検出時刻における姿勢及び各サブデータに基づいて、前記第１センサの、前記第１時刻における前記第１ターゲットデータを取得することと、を実行するように構成される。

もう１つの実施例において、第１取得モジュール１２０１は、前記インテリジェント機器の、各サブデータの検出時刻における姿勢に基づいて、前記第１センサの各サブデータの検出時刻における座標系を決定し、前記第１センサの前記第３時刻以外の各サブデータの検出時刻における座標系及び前記第１センサの前記第３時刻における座標系に基づいて、前記第３時刻以外の各サブデータの、前記第３時刻における対応するサブデータをそれぞれ決定し、前記第３時刻以外の各サブデータの、前記第３時刻における対応するサブデータに対して整合処理を行い、前記第１センサの、前記第１時刻における前記第１ターゲットデータを得るように構成される。

図１４は、本願の実施例によるセンサデータ処理装置のモジュール構造を示す第３図である。図１４に示すように、該装置は、第３センサから報告された第２オリジナルデータを受信するように構成される受信モジュール１２０６であって、前記第３センサのタイプは、前記第１センサのタイプと同じであり、前記第２オリジナルデータは、複数のサブデータを含み、各サブデータは、対応する検出時刻を有し、前記第３時刻は、前記第２オリジナルデータに含まれる複数のデータの検出時刻の参考時刻である、受信モジュール１２０６と、
前記インテリジェント機器の、前記第２オリジナルデータの各サブデータの検出時刻における姿勢及び前記第２オリジナルデータの各サブデータに基づいて、前記第３センサの、前記第１時刻における第３ターゲットデータを取得するように構成される第４取得モジュール１２０７と、を更に備え、
補償モジュール１２０４は、前記第１姿勢及び前記第２姿勢に基づいて、前記第１ターゲットデータ及び前記第３ターゲットデータに対して補償処理を行い、前記第１センサの、前記第２時刻における補償データ及び前記第３センサの、前記第２時刻における補償データを得るように構成される。

図１５は、本願の実施例によるセンサデータ処理装置のモジュール構造を示す第４図である。図１５に示すように、該装置は、前記第１決定モジュール１２０５が前記第１センサのクロックと前記インテリジェント機器のクロックとの差異情報に基づいて、第３時刻に対応する前記インテリジェント機器のクロックにおける前記第１時刻を決定する前に、ＧＰＳのクロックと前記インテリジェント機器のクロックの誤差に基づいて、前記第１センサのクロックと前記インテリジェント機器のクロックとの差異情報を取得するように構成される第５取得モジュール１２０８を更に備える。

図１６は、本願の実施例によるセンサデータ処理装置のモジュール構造を示す第５図である。図１６に示すように、該装置は、前記第２取得モジュール１２０２が第２時刻におけるインテリジェント機器の第２センサの第２ターゲットデータを取得する前に、前記第２センサのクロックと前記インテリジェント機器のクロックとの差異情報に基づいて、前記第２センサが前記第２ターゲットデータを報告する時に一緒に報告される第４時刻に対応する前記インテリジェント機器のクロックにおける前記第２時刻を決定するように構成される第２決定モジュール１２０９であって、前記第４時刻は、前記第２ターゲットデータの検出時刻を標識するために用いられ、前記第４時刻は、前記第２センサのクロックの時刻である、第２決定モジュール１２０９を更に備える。

図１７は、本願の実施例によるセンサデータ処理装置のモジュール構造を示す第６図である。図１７に示すように、該装置は、前記第２センサを用いて、前記インテリジェント機器の時計の複数のビデオフレームを撮影するように構成される撮影モジュール１２１０と、
各前記ビデオフレームを撮影する時刻の情報と各前記ビデオフレームに対応する時計に表示される時刻情報とに対して比較分析を行い、前記第２センサのクロックと前記インテリジェント機器のクロックとの差異情報を得るように構成される分析モジュール１２１１と、を更に備える。

もう１つの実施例において、前記第２センサは、カメラであり、前記第１センサは、レーザレーダ又はミリ波レーダである。

上記装置の各モジュールの分割は、ただロジック機能の分割であり、実際に実現する時は全て又は一部が１つの物理エンティティに集積されてもよく、物理的に別個のものであってもよいことに留意されたい。また、これらのモジュールは全て、処理素子によりソフトウェアを呼び出すという形態で実現してもよく、ハードウェアの形態で実現してもよい。また、一部のモジュールは、処理素子によりソフトウェアを呼び出すという形態で実現してもよく、一部のモジュールは、ハードウェアの形態で実現してもよい。例えば、決定モジュールは、単独で設置された処理素子であってもよく、上記装置の１つのチップに集積されて実現してもよい。また、プログラムコードの形態で、上記装置のメモリに記憶され、上記装置の１つの処理素子により上記決定モジュールの機能を呼び出して実行することもできる。他のモジュールの実現は、これと類似する。また、これらのモジュールの全て又は一部は、集積されてもよく、独立して実現してもよい。ここで記載の処理素子は、信号処理能力を持つ集積回路であってもよい。実現プロセスにおいて、上記方法の各ステップ及び各モジュールは、プロセッサ素子におけるハードウェアの集積論理回路又はソフトウェア形態の命令により完了されてもよい。

例えば、上記これらのモジュールは、上記方法を実行するように構成される１つ又は複数の集積回路であってもよい。例えば、１つ又は複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、又は、１つ又は複数のマイクロプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、又は、１つ又は複数のフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）等であってもよい。また例えば、上記１つのモジュールは、処理素子によりプログラムコードを呼び出すという形態で実現する時、該処理素子は、例えば中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）のような汎用プロセッサ又はプログラムコードを呼び出すことができる他のプロセッサであってもよい。また例えば、これらのモジュールは、集積されて、システムオンチップ（Ｓｙｓｔｅｍ－Ｏｎ－ａ－Ｃｈｉｐ：ＳＯＣ）の形態で実現してもよい。

上記実施例において、ソフトウェア、ハードウェア、ファームウェア又はその任意の組み合わせにより全体的又は部分的に実現可能である。ソフトウェアで実現する時、コンピュータプログラム製品の形態で全体的又は部分的に実現可能である。前記コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータに前記コンピュータプログラム命令をロードして実行する場合、本願の実施例に記載のプロセス又は機能を全体的にまたは部分的に発生する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブルデバイスであってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、又は、１つのコンピュータ可読記憶媒体からもう１つのコンピュータ可読記憶媒体に伝送されてもよい。例えば、前記コンピュータ命令を、１つのウェブサイト、コンピュータ、サーバ又はデータセンタから、有線（例えば、同軸ケーブル、光ファイバー、デジタル加入者回線（ＤＳＬ））又は無線（例えば、赤外、無線、マイクロウェーブ等）の方式で、もう１つのウェブサイト、コンピュータ、サーバ又はデータセンタに伝送することができる。前記コンピュータ可読記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であってもよく、又は、１つ又は複数の利用可能な媒体で集積されたサーバ、データセンタなどのデータ記憶装置であってもよい。前記利用可能な媒体は、磁気媒体（例えば、フレキシブルディスク、ハードディスク、磁気ディスク）、光媒体（例えば、ＤＶＤ）、又は半導体媒体（例えば、Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ：ＳＳＤ）等であってもよい。

図１８は、本願の実施例による電子機器の構造を示す概略図である。図１８に示すように、該電子機器１８００は、プロセッサ１８１と、メモリ１８２と、を備え、前記メモリ１８２は、コンピュータ命令を記憶するように構成され、前記プロセッサ１８１は、前記コンピュータ命令を実行する時、上記図１から図１０に示す実施例の解決手段を実現する。

選択的に、電子機器１８００に、他の機器と通信するための通信インタフェース１８３を更に備えられてもよい。電子機器１８００に、システムバス１８４を更に備えてもよく、システムバス１８４は、これらのアセンブリ間の接続通信を実現するように構成されることは、理解されるべきである。

ここで、システムバス１８４は、ペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ：ＰＣＩ）バス又は拡張業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ：ＥＩＳＡ）バスなどであってもよい。前記システムバス１８４は、アドレスバス、データバス、制御バスなどに分けられてもよい。図示の便宜上、図面において１本の太線のみで表されるが、１本のバス又は１つのタイプのバスのみがあることを表しない。通信インタフェース１８３は、データベースアクセス装置と他の機器（例えば、クライアント、読み書きライブラリ及び読出し専用ライブラリ）との通信を実現するために用いられる。メモリ１８２は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）を含んでもよく、例えば少なくとも１つの磁気ディスクメモリのような不揮発性メモリ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ）を含んでもよい。

上記プロセッサ１８１は、ＣＰＵ、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ：ＮＰ）等を含む汎用プロセッサであってもよい。ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであってもよい。

図１９は、本願の実施例によるインテリジェント走行制御方法を示すフローチャートである。上記実施例を基に、本願の実施例は、インテリジェント走行制御方法を更に提供する。前記方法は、以下を含む。

Ｓ１９０１において、インテリジェント機器に設けられる第１センサ及び第２センサの検出データを取得し、該検出データは、本願の実施例により提供されるセンサデータ処理方法で得られたものである。

Ｓ１９０２において、前記検出データに基づいて、インテリジェント機器に対してインテリジェント走行制御を行う。

本実施例の実行主体は、インテリジェント走行制御装置であってもよい。本実施例のインテリジェント走行制御装置及び上記実施例に記載の電子機器は、同一の機器に位置してもよく、異なる機器に単独で設けられてもよい。ここで、本実施例のインテリジェント走行制御装置と上記電子機器は、通信可能に接続される。

ここで、第１センサ及び第２センサの検出データは、上記実施例の方法で得られたものであり、具体的なプロセスは、上記実施例の説明を参照し、ここで、詳細な説明を省略する。

具体的には、電子機器は、上記センサデータ処理方法を実行し、インテリジェント機器に設けられる第１センサ及び第２センサの検出データを取得し、インテリジェント機器に設けられる第１センサ及び第２センサの検出データを出力する。インテリジェント走行制御装置は、上記第１センサ及び第２センサの検出データを取得し、検出データに基づいてインテリジェント機器に対してインテリジェント走行制御を行う。

本実施例の走行支援、自動走行及び／又は走行支援と自動走行との間の走行モード切替などを含む。上記インテリジェント走行制御は、制動、走行速度の変更、走行方向の変更、車線保持、ランプ状態の変更、走行モードの切り替えなどを含んでもよい。ここで、走行モードの切り替えは、走行支援と自動走行との間の切り替えであってもよい。例えば、インテリジェント走行制御により、走行支援を自動走行に切り替える。

本実施例が提供するインテリジェント走行制御方法、インテリジェント走行制御装置は、インテリジェント機器に設けられるセンサの検出データを取得し、インテリジェント機器に設けられるセンサの検出データに基づいて、インテリジェント走行制御を行うことで、インテリジェント走行の安全性及び信頼性を向上させる。

図２０は、本願の実施例によるインテリジェント走行制御装置の構造を示す概略図である。図２０に示すように、上記実施例を基に、本願の実施例のインテリジェント走行制御装置２０００は、インテリジェント機器に設けられる第１センサ及び第２センサの検出データをそれぞれ取得するように構成される取得モジュール２００１であって、前記検出データは、上記センサデータ処理方法で得られたものである、取得モジュール２００１と、
前記検出データに基づいてインテリジェント機器に対してインテリジェント走行制御を行うように構成されるインテリジェント走行制御モジュール２００２と、を備える。

本願の実施例のインテリジェント走行制御装置は、上述した方法の実施例の技術的解決手段を実行するために用いられる。その実現原理及び技術的効果は類似しており、ここで、詳細な説明を省略する。

図２１は、本願の実施例によるインテリジェント走行システムを示す概略図である。図２１に示すように、本実施例のインテリジェント走行システム２１００は、通信可能に接続されるセンサ２１０１、電子機器１８００及びインテリジェント走行制御装置２０００を備える。電子機器１８００は、図１８に示すとおりであり、インテリジェント走行制御装置２０００は、図２０に示すとおりである。ここで、センサ２１０１は、上述した実施例に記載のカメラ、ＬｉＤＡＲ、ＲＡＤＡＲ、高精度慣性ナビゲータ等のセンサのうちの少なくとも１つを含んでもよい。

具体的に、図２１に示すように、実際に使用する時、センサ２１０１は、インテリジェント機器の周辺環境を検出し、生検出データを得て、これらの検出データを電子機器１８００に送信し、電子機器１８００は、これらの生検出データを受信した後、上記センサデータ処理データに基づいて、データ同期を行い、同期した検出データを得る。電子機器１８００は、同期した検出データをインテリジェント走行制御装置２０００に送信し、インテリジェント走行制御装置２０００は、同期した検出データに基づいて、インテリジェント機器に対してインテリジェント走行制御を行う。

本願の実施例は、記憶媒体を更に提供する。前記記憶媒体に命令が記憶されており、コンピュータで実行される時、コンピュータに上記図１から図１０のうちいずれか１つに示す実施例の方法を実行させ、又は、コンピュータに上記図１９に示す実施例の方法を実行させる。

本願の実施例は、命令を実行するチップを更に提供する。前記チップは、上記図１から図１０のうちいずれか１つに示す実施例の方法を実行するように構成され、又は、前記チップは、上記図１９に示す実施例の方法を実行するように構成される。

本願の実施例は、プログラム製品を更に提供する。前記プログラム製品は、コンピュータプログラムを含み、前記コンピュータプログラムは、記憶媒体に記憶され、少なくとも１つのプロセッサは、前記記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも１つのプロセッサは、前記コンピュータプログラムを実行する時、上記図１から図１０のうちいずれか１つに示す実施例の方法を実現することができ、又は、前記少なくとも１つのプロセッサは、前記コンピュータプログラムを実行する時、上記図１９に示す実施例の方法を実現することができる。

本願の実施例において、「少なくとも１つ」は、１つ又は複数を表し、「複数」は、２つ以上を表す。「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。ここで、Ａ、Ｂは、奇数又は偶数であってもよい。文字「／」は一般的には、前後関連対象が「又は」という関係であることを示す。式において、文字「／」前後関連対象が「除算」という関係であることを示す。「以下少なくとも一項（個）」又はそれと類似した表現は、これらの項の任意の組み合わせを表し、奇数項（個）又は偶数項（個）の任意の組み合わせを含む。例えば、ａ、ｂ、又はｃのうちの少なくとも一項（個）は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ又はａ－ｂ－ｃを表すことができ、ここで、ａ、ｂ、ｃは、１つであってもよく、複数個であってもよい。

本願の実施例に係わる種々の数字番号は単に説明を容易にするために区別するためのものに過ぎず、本願の実施例の範囲を限定するものではないことは、理解されるべきである。

本願の実施例において、各ステップの番号の大きさは、実行順番を意味するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まり、本願の実施例の実施プロセスを限定するものではないことは、理解されるべきである。

最後に説明しておきたいこととして、上記各実施例は本願の技術的解決手段を説明するためのものに過ぎず、本願の技術的解決手段を限定するものではない。上述した各実施例を参照しながら本発明を詳しく説明したが、依然として前記各実施例に記載の技術的解決手段を修正し、又はその一部又は全ての技術的特徴に対して均等物による置換を行うことができ、これらの修正や置換によって、対応する技術的解決手段の本質が本願の各実施例の技術的解決手段の範囲から逸脱することはないことが、当業者であれば、理解すべきである。

Claims (17)

1. センサデータ処理方法であって、
   第１時刻におけるインテリジェント機器の第１センサの第１ターゲットデータを取得することと、
   第２時刻における前記インテリジェント機器の第２センサの第２ターゲットデータを取得することであって、前記第１時刻及び前記第２時刻は、前記インテリジェント機器のクロックにおける異なる時刻である、ことと、
   前記インテリジェント機器の、前記第１時刻における第１姿勢及び前記第２時刻における第２姿勢を取得することであって、前記第１姿勢と前記第２姿勢は異なる、ことと、
   前記第１姿勢及び前記第２姿勢に基づいて、前記第１ターゲットデータに対して補償処理を行い、前記第１センサの、前記第２時刻における補償データを得ることと、を含む、センサデータ処理方法。
2. 前記第１姿勢及び前記第２姿勢に基づいて、前記第１ターゲットデータに対して補償処理を行い、前記第１センサの、前記第２時刻における補償データを得ることは、
   前記第１姿勢に基づいて、前記第１センサの、前記第１時刻における第１座標系を決定することと、
   前記第２姿勢に基づいて、前記第１センサの、前記第２時刻における第２座標系を決定することと、
   前記第１座標系及び前記第２座標系に基づいて、前記第１ターゲットデータに対して補償処理を行い、前記第１センサの、前記第２時刻における補償データを得ることと、を含むことを特徴とする
   請求項１に記載の方法。
3. 前記インテリジェント機器の、前記第１時刻における第１姿勢及び前記第２時刻における第２姿勢を取得することは、
   前記インテリジェント機器に設けられた、姿勢検出機能を有するセンサにより複数の時刻で検出された姿勢検出データをそれぞれ取得することであって、前記複数の時刻のうちの各時刻はいずれも前記インテリジェント機器のクロックの時刻であることと、
   前記姿勢検出データに基づいて、前記インテリジェント機器の姿勢列を生成することと、
   前記インテリジェント機器の姿勢列、前記第１時刻及び前記第２時刻に基づいて、前記第１姿勢及び前記第２姿勢を決定することと、を含むことを特徴とする
   請求項２に記載の方法。
4. 前記インテリジェント機器の姿勢列、前記第１時刻及び前記第２時刻に基づいて、前記第１姿勢及び前記第２姿勢を決定することは、
   前記姿勢列に前記第１時刻における姿勢が含まれないことに応答して、前記第１時刻に基づいて、前記インテリジェント機器の姿勢列に対して補償処理を行い、前記第１姿勢を得て、及び／又は、
   前記姿勢列に前記第２時刻における姿勢が含まれないことに応答して、前記第２時刻に基づいて、前記インテリジェント機器の姿勢列に対して補償処理を行い、前記第２姿勢を得ることを含むことを特徴とする
   請求項３に記載の方法。
5. 前記第１時刻におけるインテリジェント機器の第１センサの第１ターゲットデータを取得する前に、前記方法は、
   前記第１センサのクロックと前記インテリジェント機器のクロックとの差異情報に基づいて、第３時刻に対応する前記インテリジェント機器のクロックにおける前記第１時刻を決定するをさらに含み、前記第３時刻は、第１センサが前記第１ターゲットデータに対応する第１オリジナルデータを検出する時刻を標識するために用いられ、前記第３時刻は、前記第１センサのクロックの時刻であることを特徴とする
   請求項１－４のいずれか一項に記載の方法。
6. 第１時刻におけるインテリジェント機器の第１センサの第１ターゲットデータを取得することは、
   前記第１センサから報告された前記第１オリジナルデータを受信することであって、前記第１オリジナルデータは、複数のサブデータを含み、各サブデータは、対応する検出時刻を有し、前記第３時刻は、前記第１オリジナルデータに含まれる複数のサブデータの検出時刻の参考時刻である、ことと、
   前記インテリジェント機器の、各サブデータの検出時刻における姿勢及び各サブデータに基づいて、前記第１センサの、前記第１時刻における前記第１ターゲットデータを取得することと、を含むことを特徴とする
   請求項５に記載の方法。
7. 前記インテリジェント機器の、各サブデータの検出時刻における姿勢及び各サブデータに基づいて、前記第１センサの、前記第１時刻における前記第１ターゲットデータを取得することは、
   前記インテリジェント機器の、各サブデータの検出時刻における姿勢に基づいて、前記第１センサの各サブデータの検出時刻における座標系を決定することと、
   前記第１センサの前記第３時刻以外の各サブデータの検出時刻における座標系及び前記第１センサの前記第３時刻における座標系に基づいて、前記第３時刻以外の各サブデータの、前記第３時刻における対応するサブデータをそれぞれ決定することと、
   前記第３時刻以外の各サブデータの、前記第３時刻における対応するサブデータに対して整合処理を行い、前記第１センサの、前記第１時刻における前記第１ターゲットデータを得ることと、を含むことを特徴とする
   請求項６に記載の方法。
8. 前記第１姿勢及び前記第２姿勢に基づいて、前記第１ターゲットデータに対して補償処理を行い、前記第１センサの、前記第２時刻における補償データを得る前に、前記方法は、
   第３センサから報告された第２オリジナルデータを受信することであって、前記第３センサのタイプは、前記第１センサのタイプと同じであり、前記第２オリジナルデータは、複数のサブデータを含み、各サブデータは、対応する検出時刻を有し、前記第３時刻は、前記第２オリジナルデータに含まれる複数のデータの検出時刻の参考時刻である、ことと、
   前記インテリジェント機器の、前記第２オリジナルデータの各サブデータの検出時刻における姿勢及び前記第２オリジナルデータの各サブデータに基づいて、前記第３センサの、前記第１時刻における第３ターゲットデータを取得することと、を更に含み、
   前記第１姿勢及び前記第２姿勢に基づいて、前記第１ターゲットデータに対して補償処理を行い、前記第１センサの、前記第２時刻における補償データを得ることは、
   前記第１姿勢及び前記第２姿勢に基づいて、前記第１ターゲットデータ及び前記第３ターゲットデータに対して補償処理を行い、前記第１センサの、前記第２時刻における補償データ及び前記第３センサの、前記第２時刻における補償データを得ることを含むことを特徴とする
   請求項５－７のいずれか一項に記載の方法。
9. 前記第１センサのクロックと前記インテリジェント機器のクロックとの差異情報に基づいて、第３時刻に対応する前記インテリジェント機器のクロックにおける前記第１時刻を決定する前に、前記方法は、
   全地球測位システムＧＰＳのクロックと前記インテリジェント機器のクロックとの誤差に基づいて、前記第１センサのクロックと前記インテリジェント機器のクロックとの差異情報を決定することを更に含むことを特徴とする
   請求項５－８のいずれか一項に記載の方法。
10. 第２時刻における前記インテリジェント機器の第２センサの第２ターゲットデータを取得する前に、前記方法は、
    前記第２センサのクロックと前記インテリジェント機器のクロックとの差異情報に基づいて、前記第２センサが前記第２ターゲットデータを報告する時に一緒に報告される第４時刻に対応する前記インテリジェント機器のクロックにおける前記第２時刻を決定することを更に含み、前記第４時刻は、前記第２ターゲットデータの検出時刻を標識するために用いられ、前記第４時刻は、前記第２センサのクロックの時刻であることを特徴とする
    請求項１－９のいずれか一項に記載の方法。
11. 前記第２センサのクロックと前記インテリジェント機器のクロックとの差異情報に基づいて、前記第２センサが前記第２ターゲットデータを報告する時に一緒に報告される第４時刻に対応する前記インテリジェント機器のクロックにおける前記第２時刻を決定する前に、前記方法は、
    前記第２センサを用いて、前記インテリジェント機器の時計の複数のビデオフレームを撮影することと、
    各前記ビデオフレームを撮影する時刻の情報と各前記ビデオフレームに対応する時計に表示される時刻情報とに対して比較分析を行い、前記第２センサのクロックと前記インテリジェント機器のクロックとの差異情報を得ることと、を更に含むことを特徴とする
    請求項１０に記載の方法。
12. センサデータ処理装置であって、
    第１時刻におけるインテリジェント機器の第１センサの第１ターゲットデータを取得するように構成される第１取得モジュールと、
    第２時刻における前記インテリジェント機器の第２センサの第２ターゲットデータを取得するように構成される第２取得モジュールであって、前記第１時刻及び前記第２時刻は、前記インテリジェント機器のクロックにおける異なる時刻である、第２取得モジュールと、
    前記インテリジェント機器の、前記第１時刻における第１姿勢及び前記第２時刻における第２姿勢を取得するように構成される第３取得モジュールであって、前記第１姿勢と第２姿勢は異なる、第３取得モジュールと、
    前記第１姿勢及び前記第２姿勢に基づいて、前記第１ターゲットデータに対して補償処理を行い、前記第１センサの、前記第２時刻における補償データを得るように構成される補償モジュールと、を備える、センサデータ処理装置。
13. インテリジェント走行制御方法であって、
    インテリジェント機器に設けられる第１センサ及び第２センサの検出データを取得することであって、前記検出データは、請求項１－１１のいずれか一項に記載のセンサデータ処理方法で得られたものである、ことと、
    前記検出データに基づいて、インテリジェント機器に対してインテリジェント走行制御を行うことと、を含む、インテリジェント走行制御方法。
14. インテリジェント走行制御装置であって、
    インテリジェント機器に設けられる第１センサ及び第２センサの検出データを取得するように構成される取得モジュールであって、前記検出データは、請求項１－１１のいずれか一項に記載のセンサデータ処理方法で得られたものである、取得モジュールと、
    前記検出データに基づいて、インテリジェント機器に対してインテリジェント走行制御を行うように構成されるインテリジェント走行制御モジュールと、を備える、インテリジェント走行制御装置。
15. 電子機器であって、
    コンピュータ命令を記憶するように構成されるメモリと、
    前記メモリにおけるコンピュータ命令を呼び出して実行し、請求項１－１１のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサと、を備える、電子機器。
16. インテリジェント走行システムであって、通信可能に接続されるセンサ、請求項１５記載の電子機器及び請求項１４に記載のインテリジェント走行制御装置を備える、インテリジェント走行システム。
17. 可読記憶媒体であって、コンピュータプログラムが記憶されており、前記コンピュータプログラムは、コンピュータに、請求項１－１１のいずれか一項に記載の方法のステップ、又は、請求項１３に記載の方法のステップを実行させるように構成される、可読記憶媒体。

Images