JP7164721B2 - センサデータ処理方法、装置、電子機器及びシステム - Google Patents

センサデータ処理方法、装置、電子機器及びシステム Download PDF

Info

Publication number
JP7164721B2
JP7164721B2 JP2021533178A JP2021533178A JP7164721B2 JP 7164721 B2 JP7164721 B2 JP 7164721B2 JP 2021533178 A JP2021533178 A JP 2021533178A JP 2021533178 A JP2021533178 A JP 2021533178A JP 7164721 B2 JP7164721 B2 JP 7164721B2
Authority
JP
Japan
Prior art keywords
time
data
sensor
intelligent device
clock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021533178A
Other languages
English (en)
Other versions
JP2022513780A (ja
Inventor
ロン ドン
Original Assignee
シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド filed Critical シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド
Publication of JP2022513780A publication Critical patent/JP2022513780A/ja
Application granted granted Critical
Publication of JP7164721B2 publication Critical patent/JP7164721B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Clocks (AREA)

Description

(関連出願の相互参照)
本願は、2019年6月25日に提出された出願番号が201910556258.2である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願の実施例は、インテリジェント走行技術に関し、特にセンサデータ処理方法、装置、電子機器及びシステムに関する。
運転支援及び自動運転は、インテリジェント運転分野における2つの重要な技術である。運転支援又は自動運転により、交通事故の発生を減少させることができるため、インテリジェント運転分野において重要な役割を果たしている。運転支援技術及び自動運転技術を実行するために、種々のセンサの協働が必要である。種々のセンサはそれぞれ、車両の異なる箇所に設けられ、路面画像、車両運転データなどをリアルタイムで収集する。運転支援システム又は自動運転システムは、各センサにより収集されたデータに基づいて、経路計画などの制御操作を行う。車両に取り付けられるセンサのトリガ時刻、トリガソースが異なる可能性があるため、種々のセンサ及び各種のセンサのうちの複数のセンサの間に、同期しないという問題が存在し得る。
本願の実施例は、センサデータ処理方法、装置、電子機器及びシステムを提供する。
第1態様によれば、本願の実施例は、センサデータ処理方法を提供する。前記方法は、第1時刻におけるインテリジェント機器の第1センサの第1ターゲットデータを取得することと、第2時刻における前記インテリジェント機器の第2センサの第2ターゲットデータを取得することであって、前記第1時刻及び前記第2時刻は、前記インテリジェント機器のクロックにおける異なる時刻である、ことと、前記インテリジェント機器の、前記第1時刻における第1姿勢及び前記第2時刻における第2姿勢を取得することであって、前記第1姿勢と前記第2姿勢は異なる、ことと、前記第1姿勢及び前記第2姿勢に基づいて、前記第1ターゲットデータに対して補償処理を行い、前記第1センサの、前記第2時刻における補償データを得ることと、を含む。
第2態様によれば、本願の実施例は、センサデータ処理装置を更に提供する。前記装置は、第1時刻におけるインテリジェント機器の第1センサの第1ターゲットデータを取得するように構成される第1取得モジュールと、第2時刻における前記インテリジェント機器の第2センサの第2ターゲットデータを取得するように構成される第2取得モジュールであって、前記第1時刻及び前記第2時刻は、前記インテリジェント機器のクロックにおける異なる時刻である、第2取得モジュールと、前記インテリジェント機器の、前記第1時刻における第1姿勢及び前記第2時刻における第2姿勢を取得するように構成される第3取得モジュールであって、前記第1姿勢と第2姿勢は異なる、第3取得モジュールと、前記第1姿勢及び前記第2姿勢に基づいて、前記第1ターゲットデータに対して補償処理を行い、前記第1センサの、前記第2時刻における補償データを得るように構成される補償モジュールと、を備える。
第3態様によれば、本願の実施例は、インテリジェント走行制御方法を更に提供する。前記方法は、インテリジェント走行制御装置が、インテリジェント機器に設けられるセンサの検出データを取得することであって、前記検出データは、上記第1態様に記載のセンサデータ処理方法で得られたものである、ことと、前記インテリジェント走行制御装置が、前記検出データに基づいて、インテリジェント機器に対してインテリジェント走行制御を行うことと、を含む。
第4態様によれば、本願の実施例は、インテリジェント走行制御装置を更に提供する。前記装置は、インテリジェント機器に設けられるセンサの検出データを取得するように構成される取得モジュールであって、前記検出データは、上記第1態様に記載のセンサデータ処理方法で得られたものである、取得モジュールと、前記検出データに基づいて、インテリジェント機器に対してインテリジェント走行制御を行うように構成されるインテリジェント走行制御モジュールと、を備える。
第5態様によれば、本願の実施例は、電子機器を更に提供する。前記電子機器は、プログラム命令を記憶するように構成されるメモリと、前記メモリにおけるプログラム命令を呼び出して実行し、上記第1態様に記載の方法のステップを実行するように構成されるプロセッサと、を備える。
第6態様によれば、本願の実施例は、インテリジェント走行システムを更に提供する。前記システムは、通信可能に接続されるセンサ、上記第5態様に記載の電子機器及び上記第4態様に記載のインテリジェント走行制御装置を備える。
第7態様によれば、本願の実施例は、可読記憶媒体を更に提供する。前記可読記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムは、上記第1態様に記載の方法のステップを実行するように構成され、又は、前記コンピュータプログラムは、上記第3態様に記載の方法のステップを実行するように構成される。
本願の実施例により提供されるセンサデータ処理方法、装置、電子機器及びシステムは、第1センサの、第1時刻における第1ターゲットデータ及び第2センサの、第2時刻における第2ターゲットデータを取得した後、インテリジェント機器の、第1時刻における姿勢情報及びインテリジェント機器の、第2時刻における姿勢情報に基づいて、第1ターゲットデータに対して補償処理を行い、第1センサの、第2時刻における補償データを得る。第2センサの第2ターゲットデータも第2時刻の監視データであるため、第1センサのデータに対して補償処理を行うことで、第1センサの、第2センサに対応する時刻におけるデータを得ることができる、即ち、得られた第1センサの第1ターゲットデータ及び第2センサの第2ターゲットデータはいずれも同一時刻におけるデータである。これにより、第1センサと第2センサの同期を実現する。該方法は、ソフトウェア方式でセンサの同期を実現するため、複数のセンサの同期トリガを行うための専用ハードウェアを別途配置する必要がなく、複数のセンサのデータ同期に必要なハードウェアコストを低減させる。
本願の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の記述に必要な図面を簡単に説明する。勿論、下記図面は、本願の幾つかの実施例であり、当業者は、これらの図面に基づいて、創造的な労力なしに他の図面を得ることもできる。
本願の実施例によるセンサデータ処理方法の適用シーンを示す概略図である。 本願の実施例によるセンサデータ処理方法を示す第1フローチャートである。 上記プロセスにより第1センサ及び第2センサに対してデータ同期を行うことを示す概略図である。 本願の実施例によるセンサデータ処理方法を示す第2フローチャートである。 本願の実施例によるセンサデータ処理方法を示す第3フローチャートである。 本願の実施例によるセンサデータ処理方法を示す第4フローチャートである。 本願の実施例によるセンサデータ処理方法を示す第5フローチャートである。 本願の実施例によるセンサデータ処理方法を示す第6フローチャートである。 第1オリジナルデータに対してフレーム内部データ同期を行い第1ターゲットデータを取得する例を示す図である。 本願の実施例によるセンサデータ処理方法を示す第7フローチャートである。 同一タイプのセンサの同期の例を示す図である。 本願の実施例によるセンサデータ処理装置のモジュール構造を示す第1図である。 本願の実施例によるセンサデータ処理装置のモジュール構造を示す第2図である。 本願の実施例によるセンサデータ処理装置のモジュール構造を示す第3図である。 本願の実施例によるセンサデータ処理装置のモジュール構造を示す第4図である。 本願の実施例によるセンサデータ処理装置のモジュール構造を示す第5図である。 本願の実施例によるセンサデータ処理装置のモジュール構造を示す第6図である。 本願の実施例による電子機器の構造を示す概略図である。 本願の実施例によるインテリジェント走行制御方法を示すフローチャートである。 本願の実施例によるインテリジェント走行制御装置の構造を示す概略図である。 本願の実施例によるインテリジェント走行システムを示す概略図である。
本願の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本願の一部の実施例である。本発明における実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本発明の保護範囲に含まれる。
図1は、本願の実施例によるセンサデータ処理方法の適用シーンを示す概略図である。図1に示すように、該方法は、センサが取り付けられた車両、ロボット、盲導機器などのインテリジェント機器に適用可能である。インテリジェント機器に取り付けられるセンサのタイプは、カメラ、レーザレーダ(Light Detection And Ranging:LiDAR)、ミリ波レーダ(Radio Detection And Ranging:RADAR)、高精度慣性ナビゲータ、コントローラエリアネットワークバス(Controller Area Net-work Bus:CANBUS)などの少なくとも1つのセンサを含んでもよい。インテリジェント機器に設けられる同一のタイプのセンサの数は、1つ又は複数であり得る。例えば、1つ又は複数のセンサ、1つ又は複数のレーザレーダなどを設けてもよい。異なるセンサは、インテリジェント機器の異なる箇所に設けられてもよい。図1において、カメラ及びLiDARを例として示す。ここで、カメラは、インテリジェント機器の周辺環境の画像をリアルタイムで撮って、撮られた画像をインテリジェント機器のインテリジェント走行システムに報告することができる。LiDARは、レーザパルスを送受信することで、インテリジェント機器の周辺の三次元点座標を得て、ポイントクラウドデータを形成し、ポイントクラウドデータをインテリジェント機器のインテリジェント走行システムに報告することができる。RADARは、電磁波を用いて、インテリジェント機器の周辺の地面、車両、木などの物体を探測し、そのエコーを受信し、物体の方位、高さ、距離などの情報を得て、インテリジェント機器のインテリジェント走行システムに報告する。CANBUSは、シリアルデータ伝送方式で、例えば、車両のアクセル運転パラメータ、ハンドル運転パラメータ、車輪速度などのような、インテリジェント機器の運転パラメータをインテリジェント機器のインテリジェント走行システムに伝送する。インテリジェント走行システムは、各センサから報告されたデータに基づいて、例えば、車両位置決め、経路計画、経路逸脱警告及び交通流分析などのインテリジェント走行制御を行う。
説明しやすくするために、本願の下記実施例において、インテリジェント機器のインテリジェント走行システムを「システム」と総称する。
図2は、本願の実施例によるセンサデータ処理方法を示す第1フローチャートである。図2に示すように、該方法は、以下を含む。
S201において、第1時刻におけるインテリジェント機器の第1センサの第1ターゲットデータを取得する。
S202において、第2時刻におけるインテリジェント機器の第2センサの第2ターゲットデータを取得し、該第1時刻及び上記第2時刻は、インテリジェント機器のクロックにおける異なる時刻である。
選択的に、システムは、第1センサ及び第2センサにデータ報告命令を送信し、第1センサ及び第2センサは、データ報告命令を受信した後にデータを検出し、検出されたデータをシステムに送信することができる。又は、第1センサ及び第2センサは、所定の周期に応じて、データを自動的に検出し、検出されたデータをシステムに送信することもできる。
S203において、インテリジェント機器の、上記第1時刻における第1姿勢及び上記第2時刻における第2姿勢を取得し、該第1姿勢と該第2姿勢は異なる。
S204において、上記第1姿勢及び上記第2姿勢に基づいて、上記第1ターゲットデータに対して補償処理を行い、上記第1センサの、上記第2時刻における補償データを得る。
ここで、上記第1センサ及び上記第2センサは、インテリジェント機器における任意の2つのセンサであってもよい。インテリジェント機器に、1つ又は複数の同一タイプのセンサが設けられてもよい。上記第1センサと上記第2センサは、タイプが異なる2つのセンサであってもよく、同一タイプの2つのセンサであってもよい。
一例において、上記第1センサは、LiDARであってもよく、上記第2センサは、カメラであってもよい。
第1センサがLiDARであり、第2センサがカメラである場合、カメラにより検出されたデータが二次元情報であり、LiDARにより検出されたデータが三次元情報であるため、後続で補償処理を行う時に、データに対して回転、平行移動などの操作を行う必要があるため、二次元情報を検出するカメラを参考として第2センサとし、三次元情報を検出するLiDARにより検出された三次元データに対して回転平行移動などの動き補償操作を行い、このように、補償処理時に余計の深度誤差が入らないことを保証する。
もう1つの例において、上記第1センサ及び上記第2センサはいずれもLiDARであってもよい。
本願の実施例において、インテリジェント機器が車両であることを例として、各センサは、自身の独立するクロックを使用してもよく、車両のインテリジェント運転システムと同一のクロックを使用してもよい。本実施例に記載の第1時刻及び第2時刻はいずれも、車両のインテリジェント運転システムのクロックの時刻である。各センサは、報告されるデータに時刻情報を含めるなどの方式で、センサのクロックにおける、データの検出時刻をシステムに報告することができる。本願の実施例において、各センサからデータを送信する時刻は、システムがデータを受信する時刻に等しいか又は近似する。第1センサのクロックがシステムのクロックと同じである場合、上記第1時刻は、第1センサがデータを送信する時の第1センサ自身のクロックの時刻であり、システムがデータを受信する時のシステムのクロックの時刻でもある。第1センサ自身のクロックがシステムのクロックと異なる場合、システムは、第1センサ自身のクロックにおけるデータ送信時刻と第1センサとシステムとのクロック差異に基づいて、上記第1時刻を得る必要がある。該プロセスを下記実施例において詳しく説明する。上記第2時刻の処理方法は、第1時刻の処理方法と類似し、ここで、詳細な説明を省略する。
第1センサと第2センサは、トリガソースが異なるという要因、トリガ時刻が異なるという要因などにより、同期しないという問題がある。例えば、第1センサは、LiDARであり、第2センサは、カメラである。LiDARは、一回転度に1フレームのデータをシステムに報告し、カメラは、自体の撮影周期に応じてシステムにデータを報告することができる。従って、LiDARとカメラが同時に動作を開始しても、システムに報告されるデータは、同一時刻におけるデータではない可能性もある。例えば、LiDARは、車両の前方100メートルに一人がいることを検出し、それに対してカメラにより撮られたものは、車両前方120メートルに一人がいることであり得る。該問題によれば、本実施例において、第1時刻と第2時刻はいずれもシステムのクロックの時刻であることを前提として、第2センサを第1センサの参照センサとして、システムが第2センサの第2ターゲットデータを受信する第2時刻を、第1センサがデータを送信する第1時刻の参考時刻とし、車両の、第1時刻における第1姿勢及び車両の、第2時刻における第2姿勢に基づいて、第1ターゲットデータに対して補償処理を行い、第1センサの、第2時刻における補償データを得る。第2センサの第2ターゲットデータも第2時刻の検出データであるため、第1センサのデータに対して補償処理を行うことで、第1センサの、第2センサに対応する時刻におけるデータを得ることができる。つまり、得られた第1センサの第1ターゲットデータ及び第2センサの第2ターゲットデータはいずれも同一時刻におけるデータである。これにより、第1センサと第2センサの同期を実現する。該方法は、ソフトウェア方式でセンサの同期を実現するため、複数のセンサの同期トリガを行うための専用ハードウェアを別途配置する必要がなく、複数のセンサのデータ同期に必要なハードウェアコストを低減させる。
図3は、上記プロセスにより第1センサ及び第2センサに対してデータ同期を行うことを示す概略図である。図3に示すように、第1センサがLiDARであり、第2センサがカメラであることを例として、第1センサ及び第2センサは、一定の周期に応じてデータフレームを報告する。LiDARにより報告されるデータフレームをレーダフレーム(又はLiDARフレーム)と呼んでもよく、カメラにより報告されるデータフレームをカメラフレーム(又はデータフレーム)と呼んでもよい。1つの周期において、システムは、Tl時刻(即ち、第1時刻)で1つのレーダフレームを受信し、Tc時刻(即ち、第2時刻)で、1つのカメラフレームを受信する。カメラを参照センサとして、上記プロセスを用いることで、Tl時刻のレーダフレームの、Tc時刻におけるデータを得ることができる。Tc時刻で、レーダデータ及びカメラデータを同時に取得することに相当する。これにより、LiDARとカメラの同期を実現する。
上記例において、各センサは、検出されたデータをリアルタイムでシステムに送信する。データに対してセンサデータ同期を行う。もう1つのシーンにおいて、各センサにより検出されたデータに対して予め録画を行い、各センサにより録画されたデータに対してデータ再生を行うこともできる。データ再生を行う場合、各センサのデータに対して同期を行うことができる。
図4は、各センサの録画データのデータ再生時の同期処理を示す第2概略図である。図4に示すように、カメラの検出データを予め録画することで一連のカメラフレームを得る。各カメラフレームはいずれも、検出時の時間タイムスタンプを記録する。CANBUS/高精度慣性ナビゲータの検出データに対して予め録画を行い、一連の車両運転データを得る。LiDARの検出データに対して予め録画を行い、一連のレーダフレームを得、各レーダフレームはいずれも、検出時のタイムスタンプを記録する。データ再生を行う時、1フレームのカメラフレーム及び1フレームのレーダフレームを読み取ると同時に、録画したCANBUS/高精度慣性ナビゲータの検出データに基づいて、車両の姿勢列を得る。更に、該1フレームのカメラフレームのタイムスタンプに基づいて、該1フレームのカメラフレームを検出する時の車両の姿勢を得て、該1フレームのレーダフレームのタイムスタンプに基づいて、該1フレームのレーダフレームを検出する時の姿勢を得る。更に、得られた2つの姿勢に基づいて、レーダフレームをカメラフレームの検出時刻の下に補償する。これにより、カメラフレームとレーダフレームの同期を実現させ、更に、同期しているカメラフレーム及びレーダフレームに基づいて、運転制御などの操作を行うことができる。
具体的な実施プロセスにおいて、インテリジェント機器における複数のセンサについて、そのうちの1つを参照センサである第2センサとして選択し、他のセンサを該参照センサに別々に同期させることで、インテリジェント機器における各センサの同期を実現する。
本実施例において、第1センサの、第1時刻における第1ターゲットデータ及び第2センサの、第2時刻における第2ターゲットデータをそれぞれ取得した後、インテリジェント機器の、第1時刻における第1姿勢及びインテリジェント機器の、第2時刻における第2姿勢に基づいて、第1ターゲットデータに対して補償処理を行い、第1センサの、第2時刻における補償データを得る。第2センサの第2ターゲットデータも第2時刻の監視データであるため、第1センサのデータに対して補償処理を行うことで、第1センサの、第2センサに対応する時刻におけるデータを得ることができる。つまり、得られた第1センサの第1ターゲットデータ及び第2センサの第2ターゲットデータはいずれも同一時刻におけるデータである。これにより、第1センサと第2センサの同期を実現する。該方法は、ソフトウェア方式でセンサの同期を実現するため、複数のセンサの同期トリガを行うための専用ハードウェアを別途配置する必要がなく、複数のセンサのデータ同期に必要なハードウェアコストを低減させる。
図5は、本願の実施例によるセンサデータ処理方法を示す第3フローチャートである。図5に示すように、上記ステップS204において、第1姿勢及び第2姿勢に基づいて第1ターゲットデータに対して補償処理を行う場合の1つの選択可能な方式は、以下を含む。
S501において、上記第1姿勢に基づいて、上記第1センサの、上記第1時刻における第1座標系を決定する。
S502において、上記第2姿勢に基づいて、上記第1センサの、上記第2時刻における第2座標系を決定する。
S503において、上記第1座標系及び上記第2座標系に基づいて、上記第1ターゲットデータに対して補償処理を行い、上記第1センサの、上記第2時刻における補償データを得る。
選択的に、インテリジェント機器が車両であることを例として、車両は、運転状態で、各時刻に対応する姿勢を有する。異なる時刻で姿勢は変化し得る。姿勢の変化は、回転及び平行移動を含み得る。車両の各時刻における姿勢、即ち回転と平行移動に基づいて、センサの姿勢を得ることができる。センサの各姿勢はいずれも1つの座標系に対応する。各姿勢でセンサにより検出されたワールド座標系における点は、いずれも該座標系における点であり、即ち、検出された点の座標値は、いずれも、該座標系における座標値である。本実施例において、車両は、第1時刻及び第2時刻で、それぞれ、対応する姿勢を有し、更に、それぞれ、第1姿勢に対応する第1座標系及び第2姿勢に対応する第2座標系を有し、ワールド座標系における1つの点に対して、第1座標系及び第2座標系の変換に基づいて、該点の、第2座標系における座標値を導きだすことができ、つまり、第2時刻における座標値を導きだすことができる。第1センサにより検出されたデータにおける各点に対していずれも上記処理を実行することで、第1センサにより検出されたデータの、第2時刻における検出データを得ることができる。
以下、例により、第1座標系及び第2座標系に基づいて第1センサの第1ターゲットデータに対して補償処理を行うプロセスを説明する。
ワールド座標系において、1つの点Xが存在し、第1時刻がt0時刻であり、第2時刻がtn時刻であり、t0時刻における車両の姿勢がP0であり、該P0に対応する座標系は、第1座標系であり、該t0で該第1座標系において得られた点Xの座標データはx0であるとすれば、x0とXの関係は、下記式(1)を満たす。
X=P0×x0 (1)
第2時刻がtn時刻であり、車両の姿勢がPnであり、該Pnに対応する座標系は、第2座標系であり、該tn時刻で該第2座標系において得られた点Xの座標データは、xnであるとすれば、xnとXの関係は、下記式(2)を満たす。
X=Pn×xn (2)
上記式(1)及び式(2)から分かるように、x0とxnの関係は、下記式(3)を満たす。
P0×x0=Pn×xn (3)
上記式(3)に対して変換処理を行うことでxnを得ることができる。xnは、下記式(4)で表される。
xn=Pn-1×P0×x0 (4)
上記プロセスにおいて、ワールド座標系における1つの点に対して、第1センサにより、第1時刻t0で、t0時刻における該点の姿勢に対応する第1座標系における座標、t0時刻及びtn時刻にそれぞれ対応する姿勢を検出することで、第1センサが第2時刻tnで該点を検出する時、tn時刻における該点に対応する姿勢に対応する第2座標系における座標を導きだすことができる。第1ターゲットデータに対応する各点に対していずれも上記処理を行うことで、第1センサの、tn時刻における検出データを得ることができる。
上記処理プロセスにおいて、車両の、第1時刻における第1姿勢及び車両の、第2時刻における第2姿勢に基づいて補償処理を行うため、補償処理の前に、まず、車両の、第1時刻における第1姿勢及び車両の、第2時刻における第2姿勢を取得することができる。
選択可能な実施形態において、インテリジェント機器の姿勢列をまず生成してから、インテリジェント機器の姿勢列に基づいて、インテリジェント機器の、第1時刻における第1姿勢及びインテリジェント機器の、第2時刻における第2姿勢を得ることができる。
図6は、本願の実施例によるセンサデータ処理方法を示す第4フローチャートである。図6に示すように、インテリジェント機器の姿勢列を生成し、インテリジェント機器の姿勢列に基づいて、第1姿勢及び第2姿勢を決定するプロセスは以下を含む。
S601において、インテリジェント機器に設けられた、姿勢検出機能を有するセンサにより、複数の時刻で検出された姿勢検出データをそれぞれ取得し、該複数の時刻のうちの各時刻はいずれもインテリジェント機器のクロックの時刻である。
S602において、上記姿勢検出データに基づいて、インテリジェント機器の姿勢列を生成する。
選択的に、インテリジェント機器が車両であることを例として、車両に設けられた、姿勢検出機能を有するセンサは、CANBUS、高精度慣性ナビゲータ等のセンサであってもよい。システムは、CANBUS、高精度慣性ナビゲータ等のセンサから報告された、例えば車両の車輪速、ハンドルなどの運転データのような姿勢検出データをリアルタイムで受信することができる。システムは、これらの姿勢検出データに基づいて、車両の、複数の時刻における姿勢を算出し、更に、姿勢列を構築することができる。
S603において、インテリジェント機器の姿勢列、上記第1時刻及び上記第2時刻に基づいて、上記第1姿勢及び上記第2姿勢を決定する。
選択的に、インテリジェント機器の姿勢列は、各時刻における姿勢からなる。具体的な実施プロセスにおいて、1つの場合に、第1時刻は、姿勢列における1つの姿勢に対応する時刻であり得、つまり、姿勢列に、第1時刻と姿勢情報とのマッピング関係が直接的に存在する。この場合、姿勢列から、第1時刻に対応する姿勢情報を直接的に取得することができる。第2時刻における姿勢情報に対して同様な処理を行う。つまり、姿勢列に、第2時刻と姿勢情報とのマッピング関係が直接的に存在すれば、姿勢列から、第2時刻に対応する姿勢情報を直接的に取得することができる。
もう1つのケースにおいて、前記姿勢列に前記第1時刻における姿勢が含まれないことに応答して、前記第1時刻に基づいて、前記インテリジェント機器の姿勢列に対して補償処理を行い、前記第1姿勢を得て、及び/又は、前記姿勢列に前記第2時刻における姿勢が含まれないことに応答して、前記第2時刻に基づいて、前記インテリジェント機器の姿勢列に対して補償処理を行い、前記第2姿勢を得る。
本実施例において、姿勢列に、第1時刻に対応する姿勢情報が存在しない可能性があるため、第1時刻に基づいて、インテリジェント機器の姿勢列に対して補償処理を行い、インテリジェント機器の、第1時刻における第1姿勢を得ることができる。ここで、姿勢列に対して行われる補償処理は、例えば、補間処理であってもよい。例示的に、第1時刻は、t3時刻であり、インテリジェント機器の姿勢列に、t3時刻に対応する姿勢情報が存在しないため、姿勢列から、t3時刻に最も近い2つの隣接時刻をサーチすることができ、例えば、t4及びt5時刻を見つけ、t4とt5時刻が隣接すると共に、t3時刻は、t4とt5との間の時刻である。t4時刻における姿勢情報及びt5時刻における姿勢情報を利用して補間処理を行い、t3時刻に対応する姿勢情報を得る。第2時刻に対して、上記プロセスにより処理を行うこともできる。ここで、詳細な説明を省略する。
上記実施例において、第1姿勢及び第2姿勢に基づいて、第1センサの第1ターゲットデータに対して補償処理を行うプロセスにおいて、用いられるデータは、上記第1ターゲットデータである。上記第1ターゲットデータは、第1センサが直接的に検出した未処理データであってもよく、又は、上記第1ターゲットデータは、第1センサにより検出されたオリジナルデータを事前同期処理したデータであってもよい。幾つかのシーンにおいて、例えば、第1センサがLiDARである場合、LiDARが1回転し、1回転のデータを検出した後にシステムに1フレームのデータを報告する。LiDARが1回転するために、一定の時間長を経過する必要があるため、LiDARからシステムに報告される1つのLiDARフレームデータにおいて、各サブデータの実際の検出時刻が相違している。ここで、1つのLiDARフレームデータは、複数のデータパケットが含まれてもよい。各データパケットは、1つのサブデータである。このようなシーンにおいて、第1センサのデータに対して補償処理を行い、参照センサである第2センサとのデータ同期を実現する前に、まず、第1センサから送信されたデータにおける各サブデータに対して同期を行い、第1センサから送信された各フレームのデータのフレーム内部同期を実現することができる。ここで、上記各サブデータに対して同期を行うことは、各サブデータのうちの1つのサブデータの送信時刻を参考時刻として、他のサブデータに対して補償処理を行い、他のサブデータの、該参考時刻におけるサブデータを得ることである。
選択可能な形態において、まず、第1センサから報告される、上記第1ターゲットデータに対応する第1オリジナルデータに含まれる第3時刻、上記第1センサのクロックとインテリジェント機器のクロックとの差異情報に基づいて、上記第1時刻を決定することができる。
本実施例において、第1オリジナルデータは、第1センサによりシステムに報告される、フレーム内部同期処理されていないデータであり、第1ターゲットデータは、フレーム内部同期処理されたデータである。
第1センサは、第1オリジナルデータを報告する時に、第1オリジナルデータにデータを検出する時刻、即ち、上記第3時刻を含めて報告することができる。
この場合、第1時刻におけるインテリジェント機器の第1センサの第1ターゲットデータを取得する前に、システムは、第3時刻を含む第1オリジナルデータを受信した後、第1センサのクロックとインテリジェント機器のクロックとの差異情報に基づいて、第3時刻に対応するインテリジェント機器のクロックにおける第1時刻を決定することができる。前記第3時刻は、第1センサが第1ターゲットデータに対応する第1オリジナルデータを検出する時刻を標識するために用いられ、該第3時刻は、第1センサのクロックの時刻である。
選択的に、第1センサのクロックとインテリジェント機器のクロックとの差異情報は、特定の手段により事前取得可能である。例示的に、第1センサは全地球測位システム(Global Positioning System:GPS)に基づいたものである場合、GPSのクロックとインテリジェント機器のクロックの誤差に基づいて、第1センサとインテリジェント機器の常時のクロック差異情報を決定することができる。
また、上記第2時刻について、第2時刻におけるインテリジェント機器の第2センサの第2ターゲットデータを取得する前に、第2センサのクロックとインテリジェント機器のクロックとの差異情報に基づいて、前記第2センサが前記第2ターゲットデータを報告する時に一緒に報告される第4時刻に対応する前記インテリジェント機器のクロックにおける前記第2時刻を決定することもでき、該第4時刻は、前記第2ターゲットデータの検出時刻を標識するために用いられ、該第4時刻は、上記第2センサのクロックの時刻である。
一例において、上記第2センサは、カメラなどのような、ビデオフレームを収集するできるセンサであれば、まず、第2センサを用いて、インテリジェント機器の時計の複数のビデオフレームを撮影し、各ビデオフレームを撮影する時刻の情報と各ビデオフレームに対応する時計に表示される時刻情報とに対して比較分析を行い、第2センサのクロックとインテリジェント機器のクロックとの差異情報を得る。
以下、第1センサにより報告される第1オリジナルデータに含まれる第3時刻に基づいてフレーム内部データ同期処理を行うプロセスを説明する。
図7は、本願の実施例によるセンサデータ処理方法を示す第5フローチャートである。図7に示すように、第1オリジナルデータに対してフレーム内部データ同期を行い、第1ターゲットデータを取得するプロセスは以下を含む。
S701において、第1センサから報告された第1オリジナルデータを受信し、該第1オリジナルデータは、複数のサブデータを含み、各サブデータは、対応する検出時刻を有し、上記第3時刻は、上記第1オリジナルデータに含まれる複数のデータの検出時刻の参考時刻である。
選択的に、第1センサから報告された第1オリジナルデータは、複数のサブデータを含むとともに、各サブデータの検出時刻を含む。つまり、各サブデータはいずれも、対応する検出時刻を有する。システムは、これらの検出時刻のうちの1つの時刻を第3時刻として選択して参考時刻とし、他の時刻のサブデータをそれぞれ該参考時刻のデータの下に補償し、該参考時刻における全てのサブデータを得、これらのサブデータからなるデータは、第1ターゲットデータである。これにより、第1センサのフレーム内部データ同期を実現する。例示的に、複数の検出時刻のうちの最も遅い時刻を上記第3時刻として選択することができる。
S702において、インテリジェント機器の、各サブデータの検出時刻における姿勢及び各サブデータに基づいて、上記第1センサの、上記第1時刻における上記第1ターゲットデータを取得する。
本実施例において、第1センサから報告された第1オリジナルデータを受信した後、該第1オリジナルデータを構成する各サブデータの検出時刻における姿勢に基づいて、第1オリジナルデータにおける複数のサブデータに対するフレーム内部データ同期を完了し、センサ同期の正確性を更に向上させることができる。
図8は、本願の実施例によるセンサデータ処理方法を示す第6フローチャートである。図8に示すように、上記ステップS702の1つの選択可能な実施形態は以下を含む。
S801において、インテリジェント機器の、各サブデータの検出時刻における姿勢に基づいて、第1センサの各サブデータの検出時刻における座標系を決定する。
各検出時刻における座標系の決定プロセスは、第1時刻における第1座標系の決定プロセスと同じであり、前記実施例を参照することができ、ここで、詳細な説明を省略する。
S802において、上記第1センサの、上記第3時刻以外の各サブデータの検出時刻における座標系及び上記第1センサの、上記第3時刻における座標系に基づいて、第3時刻以外の各サブデータの、上記第3時刻における対応するサブデータをそれぞれ決定する。
本ステップにおいて、第3時刻を参考時刻とし、他の検出時刻のサブデータを第3時刻の下にそれぞれ補償し、各サブデータの同期を実現する。
ここで、サブデータの検出時刻の座標系及び第3時刻の座標系に基づいて、サブデータの、第3時刻における対応するサブデータを決定するプロセスは、上記ステップS503における処理プロセスと一致し、上記ステップS503及び式(1)から(4)に関する説明を参照することができ、ここで、詳細な説明を省略する。
S803において、第3時刻以外の各サブデータの、上記第3時刻における対応するサブデータに対して整合処理を行い、上記第1センサの、上記第1時刻における上記第1ターゲットデータを得る。
選択的に、各サブデータの、第3時刻における対応するサブデータに対して元の検出時刻に応じて順序付け組み合わせを行い、上記第1ターゲットデータを得ることができる。該第1ターゲットデータにおける全てのサブデータはいずれも、第3時刻に対応する座標系におけるデータであり、つまり、第1ターゲットデータにおける全てのサブデータは、同期データである。第1センサのクロックで、該第1ターゲットデータは、第3時刻に対応する座標系におけるデータである。上述から分かるように、第3時刻に対応するインテリジェント機器のクロックの時刻は、第1時刻であるため、インテリジェント機器のクロックで、上記第1ターゲットデータは、第1時刻の検出データである。
図9は、第1オリジナルデータに対してフレーム内部データ同期を行い第1ターゲットデータを取得する例を示す図である。図9に示すように、第1センサがLiDARであることを例として、LiDARから報告された各フレームのデータに、n+1個のデータパケットが含まれ、各データパケットは、1つの検出時刻に対応する。n番目のデータパケット(データパケットn)の検出時刻を参考時刻として、データパケット0からデータパケットn-1をそれぞれデータパケットnに対応する時刻の下に補償し、1フレームのデータのフレーム内部同期を実現することができる。
上述において、複数のサブデータからなる第1オリジナルデータに対してフレーム内部同期を行い、第1ターゲットデータを得るプロセスを説明した。具体的な実施プロセスにおいて、インテリジェント機器に、複数の同一タイプのセンサが含まれ、且つ該同一のタイプのセンサの検出データが複数のサブデータを含む上記形態であり、第1センサが複数の同一タイプのセンサのうちの1つであれば、第1センサと第2センサに対して同期を行う前に、まず、上記複数のサブデータの同期方法に基づいて、同一タイプの複数のセンサの検出データを同期を実現することもできる。
図10は、本願の実施例によるセンサデータ処理方法を示す第7フローチャートである。図10に示すように、同一タイプの複数のセンサの検出データに対して同期を行うプロセスは以下を含む。
S1001において、第3センサから報告された第2オリジナルデータを受信し、該第3センサのタイプは、上記第1センサのタイプと同じであり、該第2オリジナルデータは、複数のサブデータを含み、各サブデータは、対応する検出時刻を有し、上記第3時刻は、上記第2オリジナルデータに含まれる複数のデータの検出時刻の参考時刻である。
S1002において、インテリジェント機器の、上記第2オリジナルデータの各サブデータの検出時刻における姿勢及び上記第2オリジナルデータの各サブデータに基づいて、上記第3センサの、上記第1時刻における第3ターゲットデータを取得する。
本実施例において、第1センサの1つの検出時刻である第3時刻を第3センサ同期時の参考時刻とし、第3センサから報告された第2オリジナルデータにおける各サブデータの姿勢に基づいて、第2オリジナルデータにおける各サブデータを第3時刻の下に補償することができる。このような処理を行った後、第2オリジナルデータにおける全てのサブデータが同期され、同期した第3ターゲットデータを得る。これと同時に、第3センサは、第1センサの第3時刻を参考時刻とするため、第3センサの同期した第3ターゲットデータと第1センサの同期した第2ターゲットデータは、同期したものである。
図11は、同一タイプのセンサの同期の例を示す図である。図11に示すように、第1センサがLiDARであり、第3センサ及び第4センサもLiDARであることを例として、各LiDARから報告された各フレームのデータにいずれも、n+1個のデータパケットが含まれ、各データパケットは、1つの検出時刻に対応する。従って、第1センサのn番目のデータパケット(データパケットn)の検出時刻を参考時刻として、第1センサのデータパケット0からデータパケットn-1をそれぞれデータパケットnに対応する時刻の下に補償し、且つ、第3センサのデータパケット0からデータパケットnをそれぞれ第1センサのデータパケットnに対応する時刻の下に補償し、第4センサのデータパケット0からデータパケットnをそれぞれ第1センサのデータパケットnに対応する時刻の下に補償し、第1センサ、第3センサ、第4センサのそれぞれのフレーム内部同期、第1センサ、第3センサ、第4センサ間のインターフレーム同期を実現することができる。
本実施例において、インテリジェント機器に複数の同一タイプのセンサが存在し、且つ該タイプのセンサから報告された検出データに複数のサブデータが含まれる時、1つのセンサの検出データにおける1つのサブデータの検出時刻を参考時刻として、同一タイプの他のセンサのうちの各センサに対して、該センサの全てのサブデータをいずれも該参考時刻の下に補償することができる。該処理により、各センサのフレーム内部同期を実現することができるだけでなく、同一のタイプのセンサ間のインターフレーム同期を同時に実現することもできる。
幾つかの選択可能な実施例において、前記第1姿勢及び前記第2姿勢に基づいて、前記第1ターゲットデータに対して補償処理を行い、前記第1センサの、前記第2時刻における補償データを得ることは、前記第1姿勢及び前記第2姿勢に基づいて、前記第1ターゲットデータ及び前記第3ターゲットデータに対して補償処理を行い、前記第1センサの、前記第2時刻における補償データ及び前記第3センサの、前記第2時刻における補償データを得ることを含む。
上記プロセスにより、同一タイプの第3センサと第1センサの同期を実現した後、第1姿勢及び第2姿勢に基づいて第1ターゲットデータに対して補償処理を行うと同時に、第1姿勢及び第2姿勢に基づいて第3ターゲットデータに対して補償処理を行い、第1センサの、第2時刻における補償データ及び第3センサの、第2時刻における補償データを得ることができる。第1センサと第3センサは同一タイプのセンサとして、同期が実現したため、これを基に、第2センサとの同期を更に実現することで、センサ同期の正確性を更に実現することができる。
図12は、本願の実施例によるセンサデータ処理装置のモジュール構造を示す第1図である。図12に示すように、該装置は、
第1時刻におけるインテリジェント機器の第1センサの第1ターゲットデータを取得するように構成される第1取得モジュール1201と、
第2時刻における前記インテリジェント機器の第2センサの第2ターゲットデータを取得するように構成される第2取得モジュール1202であって、前記第1時刻及び前記第2時刻は、前記インテリジェント機器のクロックにおける異なる時刻である、第2取得モジュール1202と、
前記インテリジェント機器の、前記第1時刻における第1姿勢及び前記第2時刻における第2姿勢を取得するように構成される第3取得モジュール1203であって、前記第1姿勢と前記第2姿勢は異なる、第3取得モジュール1203と、
前記第1姿勢及び前記第2姿勢に基づいて、前記第1ターゲットデータに対して補償処理を行い、前記第1センサの、前記第2時刻における補償データを得るように構成される補償モジュール1204と、を備える。
該装置は、上記方法の実施例を実現するために用いられ、その実現原理及び技術的効果は類似しており、ここで、詳細な説明を省略する。
もう1つの実施例において、前記補償モジュール1204は、前記第1姿勢に基づいて、前記第1センサの、前記第1時刻における第1座標系を決定し、前記第2姿勢に基づいて、前記第1センサの、前記第2時刻における第2座標系を決定し、前記第1座標系及び前記第2座標系に基づいて、前記第1ターゲットデータに対して補償処理を行い、前記第1センサの、前記第2時刻における補償データを得るように構成される。
もう1つの実施例において、前記第3取得モジュール1203は、前記インテリジェント機器に設けられた、姿勢検出機能を有するセンサにより複数の時刻で検出されたインテリジェント機器の姿勢検出データをそれぞれ取得することであって、前記複数の時刻のうちの各時刻はいずれも前記インテリジェント機器のクロックの時刻であることと、前記インテリジェント機器に設けられた、姿勢検出機能を有するセンサにより複数の時刻で検出されたインテリジェント機器の姿勢検出データに基づいて、前記インテリジェント機器の姿勢列を生成することと、前記インテリジェント機器の姿勢列、前記第1時刻及び前記第2時刻に基づいて、前記第1姿勢及び前記第2姿勢を決定することと、を実行するように構成される。
もう1つの実施例において、第3取得モジュール1203は、前記姿勢列に前記第1時刻における姿勢が含まれないことに応答して、前記第1時刻に基づいて、前記インテリジェント機器の姿勢列に対して補償処理を行い、前記第1姿勢を得て、及び/又は、前記姿勢列に前記第2時刻における姿勢が含まれないことに応答して、前記第2時刻に基づいて、前記インテリジェント機器の姿勢列に対して補償処理を行い、前記第2姿勢を得るように構成される。
図13は、本願の実施例によるセンサデータ処理装置のモジュール構造を示す第2図である。図13に示すように、該装置は、前記第1センサのクロックと前記インテリジェント機器のクロックとの差異情報に基づいて、第3時刻に対応する前記インテリジェント機器のクロックにおける前記第1時刻を決定するように構成される第1決定モジュール1205であって、前記第3時刻は、第1センサが前記第1ターゲットデータに対応する第1オリジナルデータを検出する時刻を標識するために用いられ、前記第3時刻は、前記第1センサのクロックの時刻である、第1決定モジュール1205を更に備える。
もう1つの実施例において、第1取得モジュール1201は、前記第1センサから報告された前記第1オリジナルデータを受信することであって、前記第1オリジナルデータは、複数のサブデータを含み、各サブデータは、対応する検出時刻を有し、前記第3時刻は、前記第1オリジナルデータに含まれる複数のサブデータの検出時刻の参考時刻である、ことと、前記インテリジェント機器の、各サブデータの検出時刻における姿勢及び各サブデータに基づいて、前記第1センサの、前記第1時刻における前記第1ターゲットデータを取得することと、を実行するように構成される。
もう1つの実施例において、第1取得モジュール1201は、前記インテリジェント機器の、各サブデータの検出時刻における姿勢に基づいて、前記第1センサの各サブデータの検出時刻における座標系を決定し、前記第1センサの前記第3時刻以外の各サブデータの検出時刻における座標系及び前記第1センサの前記第3時刻における座標系に基づいて、前記第3時刻以外の各サブデータの、前記第3時刻における対応するサブデータをそれぞれ決定し、前記第3時刻以外の各サブデータの、前記第3時刻における対応するサブデータに対して整合処理を行い、前記第1センサの、前記第1時刻における前記第1ターゲットデータを得るように構成される。
図14は、本願の実施例によるセンサデータ処理装置のモジュール構造を示す第3図である。図14に示すように、該装置は、第3センサから報告された第2オリジナルデータを受信するように構成される受信モジュール1206であって、前記第3センサのタイプは、前記第1センサのタイプと同じであり、前記第2オリジナルデータは、複数のサブデータを含み、各サブデータは、対応する検出時刻を有し、前記第3時刻は、前記第2オリジナルデータに含まれる複数のデータの検出時刻の参考時刻である、受信モジュール1206と、
前記インテリジェント機器の、前記第2オリジナルデータの各サブデータの検出時刻における姿勢及び前記第2オリジナルデータの各サブデータに基づいて、前記第3センサの、前記第1時刻における第3ターゲットデータを取得するように構成される第4取得モジュール1207と、を更に備え、
補償モジュール1204は、前記第1姿勢及び前記第2姿勢に基づいて、前記第1ターゲットデータ及び前記第3ターゲットデータに対して補償処理を行い、前記第1センサの、前記第2時刻における補償データ及び前記第3センサの、前記第2時刻における補償データを得るように構成される。
図15は、本願の実施例によるセンサデータ処理装置のモジュール構造を示す第4図である。図15に示すように、該装置は、前記第1決定モジュール1205が前記第1センサのクロックと前記インテリジェント機器のクロックとの差異情報に基づいて、第3時刻に対応する前記インテリジェント機器のクロックにおける前記第1時刻を決定する前に、GPSのクロックと前記インテリジェント機器のクロックの誤差に基づいて、前記第1センサのクロックと前記インテリジェント機器のクロックとの差異情報を取得するように構成される第5取得モジュール1208を更に備える。
図16は、本願の実施例によるセンサデータ処理装置のモジュール構造を示す第5図である。図16に示すように、該装置は、前記第2取得モジュール1202が第2時刻におけるインテリジェント機器の第2センサの第2ターゲットデータを取得する前に、前記第2センサのクロックと前記インテリジェント機器のクロックとの差異情報に基づいて、前記第2センサが前記第2ターゲットデータを報告する時に一緒に報告される第4時刻に対応する前記インテリジェント機器のクロックにおける前記第2時刻を決定するように構成される第2決定モジュール1209であって、前記第4時刻は、前記第2ターゲットデータの検出時刻を標識するために用いられ、前記第4時刻は、前記第2センサのクロックの時刻である、第2決定モジュール1209を更に備える。
図17は、本願の実施例によるセンサデータ処理装置のモジュール構造を示す第6図である。図17に示すように、該装置は、前記第2センサを用いて、前記インテリジェント機器の時計の複数のビデオフレームを撮影するように構成される撮影モジュール1210と、
各前記ビデオフレームを撮影する時刻の情報と各前記ビデオフレームに対応する時計に表示される時刻情報とに対して比較分析を行い、前記第2センサのクロックと前記インテリジェント機器のクロックとの差異情報を得るように構成される分析モジュール1211と、を更に備える。
もう1つの実施例において、前記第2センサは、カメラであり、前記第1センサは、レーザレーダ又はミリ波レーダである。
上記装置の各モジュールの分割は、ただロジック機能の分割であり、実際に実現する時は全て又は一部が1つの物理エンティティに集積されてもよく、物理的に別個のものであってもよいことに留意されたい。また、これらのモジュールは全て、処理素子によりソフトウェアを呼び出すという形態で実現してもよく、ハードウェアの形態で実現してもよい。また、一部のモジュールは、処理素子によりソフトウェアを呼び出すという形態で実現してもよく、一部のモジュールは、ハードウェアの形態で実現してもよい。例えば、決定モジュールは、単独で設置された処理素子であってもよく、上記装置の1つのチップに集積されて実現してもよい。また、プログラムコードの形態で、上記装置のメモリに記憶され、上記装置の1つの処理素子により上記決定モジュールの機能を呼び出して実行することもできる。他のモジュールの実現は、これと類似する。また、これらのモジュールの全て又は一部は、集積されてもよく、独立して実現してもよい。ここで記載の処理素子は、信号処理能力を持つ集積回路であってもよい。実現プロセスにおいて、上記方法の各ステップ及び各モジュールは、プロセッサ素子におけるハードウェアの集積論理回路又はソフトウェア形態の命令により完了されてもよい。
例えば、上記これらのモジュールは、上記方法を実行するように構成される1つ又は複数の集積回路であってもよい。例えば、1つ又は複数の特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、又は、1つ又は複数のマイクロプロセッサ(Digital Signal Processor:DSP)、又は、1つ又は複数のフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)等であってもよい。また例えば、上記1つのモジュールは、処理素子によりプログラムコードを呼び出すという形態で実現する時、該処理素子は、例えば中央演算処理装置(Central Processing Unit:CPU)のような汎用プロセッサ又はプログラムコードを呼び出すことができる他のプロセッサであってもよい。また例えば、これらのモジュールは、集積されて、システムオンチップ(System-On-a-Chip:SOC)の形態で実現してもよい。
上記実施例において、ソフトウェア、ハードウェア、ファームウェア又はその任意の組み合わせにより全体的又は部分的に実現可能である。ソフトウェアで実現する時、コンピュータプログラム製品の形態で全体的又は部分的に実現可能である。前記コンピュータプログラム製品は、1つ又は複数のコンピュータ命令を含む。コンピュータに前記コンピュータプログラム命令をロードして実行する場合、本願の実施例に記載のプロセス又は機能を全体的にまたは部分的に発生する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブルデバイスであってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、又は、1つのコンピュータ可読記憶媒体からもう1つのコンピュータ可読記憶媒体に伝送されてもよい。例えば、前記コンピュータ命令を、1つのウェブサイト、コンピュータ、サーバ又はデータセンタから、有線(例えば、同軸ケーブル、光ファイバー、デジタル加入者回線(DSL))又は無線(例えば、赤外、無線、マイクロウェーブ等)の方式で、もう1つのウェブサイト、コンピュータ、サーバ又はデータセンタに伝送することができる。前記コンピュータ可読記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であってもよく、又は、1つ又は複数の利用可能な媒体で集積されたサーバ、データセンタなどのデータ記憶装置であってもよい。前記利用可能な媒体は、磁気媒体(例えば、フレキシブルディスク、ハードディスク、磁気ディスク)、光媒体(例えば、DVD)、又は半導体媒体(例えば、Solid State Disk:SSD)等であってもよい。
図18は、本願の実施例による電子機器の構造を示す概略図である。図18に示すように、該電子機器1800は、プロセッサ181と、メモリ182と、を備え、前記メモリ182は、コンピュータ命令を記憶するように構成され、前記プロセッサ181は、前記コンピュータ命令を実行する時、上記図1から図10に示す実施例の解決手段を実現する。
選択的に、電子機器1800に、他の機器と通信するための通信インタフェース183を更に備えられてもよい。電子機器1800に、システムバス184を更に備えてもよく、システムバス184は、これらのアセンブリ間の接続通信を実現するように構成されることは、理解されるべきである。
ここで、システムバス184は、ペリフェラルコンポーネントインターコネクト(Peripheral Component Interconnect:PCI)バス又は拡張業界標準アーキテクチャ(Extended Industry Standard Architecture:EISA)バスなどであってもよい。前記システムバス184は、アドレスバス、データバス、制御バスなどに分けられてもよい。図示の便宜上、図面において1本の太線のみで表されるが、1本のバス又は1つのタイプのバスのみがあることを表しない。通信インタフェース183は、データベースアクセス装置と他の機器(例えば、クライアント、読み書きライブラリ及び読出し専用ライブラリ)との通信を実現するために用いられる。メモリ182は、ランダムアクセスメモリ(Random Access Memory:RAM)を含んでもよく、例えば少なくとも1つの磁気ディスクメモリのような不揮発性メモリ(Non-Volatile Memory)を含んでもよい。
上記プロセッサ181は、CPU、ネットワークプロセッサ(Network Processor:NP)等を含む汎用プロセッサであってもよい。DSP、ASIC、FPGA又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであってもよい。
図19は、本願の実施例によるインテリジェント走行制御方法を示すフローチャートである。上記実施例を基に、本願の実施例は、インテリジェント走行制御方法を更に提供する。前記方法は、以下を含む。
S1901において、インテリジェント機器に設けられる第1センサ及び第2センサの検出データを取得し、該検出データは、本願の実施例により提供されるセンサデータ処理方法で得られたものである。
S1902において、前記検出データに基づいて、インテリジェント機器に対してインテリジェント走行制御を行う。
本実施例の実行主体は、インテリジェント走行制御装置であってもよい。本実施例のインテリジェント走行制御装置及び上記実施例に記載の電子機器は、同一の機器に位置してもよく、異なる機器に単独で設けられてもよい。ここで、本実施例のインテリジェント走行制御装置と上記電子機器は、通信可能に接続される。
ここで、第1センサ及び第2センサの検出データは、上記実施例の方法で得られたものであり、具体的なプロセスは、上記実施例の説明を参照し、ここで、詳細な説明を省略する。
具体的には、電子機器は、上記センサデータ処理方法を実行し、インテリジェント機器に設けられる第1センサ及び第2センサの検出データを取得し、インテリジェント機器に設けられる第1センサ及び第2センサの検出データを出力する。インテリジェント走行制御装置は、上記第1センサ及び第2センサの検出データを取得し、検出データに基づいてインテリジェント機器に対してインテリジェント走行制御を行う。
本実施例の走行支援、自動走行及び/又は走行支援と自動走行との間の走行モード切替などを含む。上記インテリジェント走行制御は、制動、走行速度の変更、走行方向の変更、車線保持、ランプ状態の変更、走行モードの切り替えなどを含んでもよい。ここで、走行モードの切り替えは、走行支援と自動走行との間の切り替えであってもよい。例えば、インテリジェント走行制御により、走行支援を自動走行に切り替える。
本実施例が提供するインテリジェント走行制御方法、インテリジェント走行制御装置は、インテリジェント機器に設けられるセンサの検出データを取得し、インテリジェント機器に設けられるセンサの検出データに基づいて、インテリジェント走行制御を行うことで、インテリジェント走行の安全性及び信頼性を向上させる。
図20は、本願の実施例によるインテリジェント走行制御装置の構造を示す概略図である。図20に示すように、上記実施例を基に、本願の実施例のインテリジェント走行制御装置2000は、インテリジェント機器に設けられる第1センサ及び第2センサの検出データをそれぞれ取得するように構成される取得モジュール2001であって、前記検出データは、上記センサデータ処理方法で得られたものである、取得モジュール2001と、
前記検出データに基づいてインテリジェント機器に対してインテリジェント走行制御を行うように構成されるインテリジェント走行制御モジュール2002と、を備える。
本願の実施例のインテリジェント走行制御装置は、上述した方法の実施例の技術的解決手段を実行するために用いられる。その実現原理及び技術的効果は類似しており、ここで、詳細な説明を省略する。
図21は、本願の実施例によるインテリジェント走行システムを示す概略図である。図21に示すように、本実施例のインテリジェント走行システム2100は、通信可能に接続されるセンサ2101、電子機器1800及びインテリジェント走行制御装置2000を備える。電子機器1800は、図18に示すとおりであり、インテリジェント走行制御装置2000は、図20に示すとおりである。ここで、センサ2101は、上述した実施例に記載のカメラ、LiDAR、RADAR、高精度慣性ナビゲータ等のセンサのうちの少なくとも1つを含んでもよい。
具体的に、図21に示すように、実際に使用する時、センサ2101は、インテリジェント機器の周辺環境を検出し、生検出データを得て、これらの検出データを電子機器1800に送信し、電子機器1800は、これらの生検出データを受信した後、上記センサデータ処理データに基づいて、データ同期を行い、同期した検出データを得る。電子機器1800は、同期した検出データをインテリジェント走行制御装置2000に送信し、インテリジェント走行制御装置2000は、同期した検出データに基づいて、インテリジェント機器に対してインテリジェント走行制御を行う。
本願の実施例は、記憶媒体を更に提供する。前記記憶媒体に命令が記憶されており、コンピュータで実行される時、コンピュータに上記図1から図10のうちいずれか1つに示す実施例の方法を実行させ、又は、コンピュータに上記図19に示す実施例の方法を実行させる。
本願の実施例は、命令を実行するチップを更に提供する。前記チップは、上記図1から図10のうちいずれか1つに示す実施例の方法を実行するように構成され、又は、前記チップは、上記図19に示す実施例の方法を実行するように構成される。
本願の実施例は、プログラム製品を更に提供する。前記プログラム製品は、コンピュータプログラムを含み、前記コンピュータプログラムは、記憶媒体に記憶され、少なくとも1つのプロセッサは、前記記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも1つのプロセッサは、前記コンピュータプログラムを実行する時、上記図1から図10のうちいずれか1つに示す実施例の方法を実現することができ、又は、前記少なくとも1つのプロセッサは、前記コンピュータプログラムを実行する時、上記図19に示す実施例の方法を実現することができる。
本願の実施例において、「少なくとも1つ」は、1つ又は複数を表し、「複数」は、2つ以上を表す。「及び/又は」は、関連対象の関連関係を説明するためのものであり、3通りの関係が存在することを表す。例えば、A及び/又はBは、Aのみが存在すること、AとBが同時に存在すること、Bのみが存在するという3つの場合を表す。ここで、A、Bは、奇数又は偶数であってもよい。文字「/」は一般的には、前後関連対象が「又は」という関係であることを示す。式において、文字「/」前後関連対象が「除算」という関係であることを示す。「以下少なくとも一項(個)」又はそれと類似した表現は、これらの項の任意の組み合わせを表し、奇数項(個)又は偶数項(個)の任意の組み合わせを含む。例えば、a、b、又はcのうちの少なくとも一項(個)は、a、b、c、a-b、a-c、b-c又はa-b-cを表すことができ、ここで、a、b、cは、1つであってもよく、複数個であってもよい。
本願の実施例に係わる種々の数字番号は単に説明を容易にするために区別するためのものに過ぎず、本願の実施例の範囲を限定するものではないことは、理解されるべきである。
本願の実施例において、各ステップの番号の大きさは、実行順番を意味するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まり、本願の実施例の実施プロセスを限定するものではないことは、理解されるべきである。
最後に説明しておきたいこととして、上記各実施例は本願の技術的解決手段を説明するためのものに過ぎず、本願の技術的解決手段を限定するものではない。上述した各実施例を参照しながら本発明を詳しく説明したが、依然として前記各実施例に記載の技術的解決手段を修正し、又はその一部又は全ての技術的特徴に対して均等物による置換を行うことができ、これらの修正や置換によって、対応する技術的解決手段の本質が本願の各実施例の技術的解決手段の範囲から逸脱することはないことが、当業者であれば、理解すべきである。

Claims (17)

  1. センサデータ処理方法であって、
    第1時刻におけるインテリジェント機器の第1センサの第1ターゲットデータを取得することと、
    第2時刻における前記インテリジェント機器の第2センサの第2ターゲットデータを取得することであって、前記第1時刻及び前記第2時刻は、前記インテリジェント機器のクロックにおける異なる時刻である、ことと、
    前記インテリジェント機器の、前記第1時刻における第1姿勢及び前記第2時刻における第2姿勢を取得することであって、前記第1姿勢と前記第2姿勢は異なる、ことと、
    前記第1姿勢及び前記第2姿勢に基づいて、前記第1ターゲットデータに対して補償処理を行い、前記第1センサの、前記第2時刻における補償データを得ることと、を含む、センサデータ処理方法。
  2. 前記第1姿勢及び前記第2姿勢に基づいて、前記第1ターゲットデータに対して補償処理を行い、前記第1センサの、前記第2時刻における補償データを得ることは、
    前記第1姿勢に基づいて、前記第1センサの、前記第1時刻における第1座標系を決定することと、
    前記第2姿勢に基づいて、前記第1センサの、前記第2時刻における第2座標系を決定することと、
    前記第1座標系及び前記第2座標系に基づいて、前記第1ターゲットデータに対して補償処理を行い、前記第1センサの、前記第2時刻における補償データを得ることと、を含むことを特徴とする
    請求項1に記載の方法。
  3. 前記インテリジェント機器の、前記第1時刻における第1姿勢及び前記第2時刻における第2姿勢を取得することは、
    前記インテリジェント機器に設けられた、姿勢検出機能を有するセンサにより複数の時刻で検出された姿勢検出データをそれぞれ取得することであって、前記複数の時刻のうちの各時刻はいずれも前記インテリジェント機器のクロックの時刻であることと、
    前記姿勢検出データに基づいて、前記インテリジェント機器の姿勢列を生成することと、
    前記インテリジェント機器の姿勢列、前記第1時刻及び前記第2時刻に基づいて、前記第1姿勢及び前記第2姿勢を決定することと、を含むことを特徴とする
    請求項2に記載の方法。
  4. 前記インテリジェント機器の姿勢列、前記第1時刻及び前記第2時刻に基づいて、前記第1姿勢及び前記第2姿勢を決定することは、
    前記姿勢列に前記第1時刻における姿勢が含まれないことに応答して、前記第1時刻に基づいて、前記インテリジェント機器の姿勢列に対して補償処理を行い、前記第1姿勢を得て、及び/又は、
    前記姿勢列に前記第2時刻における姿勢が含まれないことに応答して、前記第2時刻に基づいて、前記インテリジェント機器の姿勢列に対して補償処理を行い、前記第2姿勢を得ることを含むことを特徴とする
    請求項3に記載の方法。
  5. 前記第1時刻におけるインテリジェント機器の第1センサの第1ターゲットデータを取得する前に、前記方法は、
    前記第1センサのクロックと前記インテリジェント機器のクロックとの差異情報に基づいて、第3時刻に対応する前記インテリジェント機器のクロックにおける前記第1時刻を決定するをさらに含み、前記第3時刻は、第1センサが前記第1ターゲットデータに対応する第1オリジナルデータを検出する時刻を標識するために用いられ、前記第3時刻は、前記第1センサのクロックの時刻であることを特徴とする
    請求項1-4のいずれか一項に記載の方法。
  6. 第1時刻におけるインテリジェント機器の第1センサの第1ターゲットデータを取得することは、
    前記第1センサから報告された前記第1オリジナルデータを受信することであって、前記第1オリジナルデータは、複数のサブデータを含み、各サブデータは、対応する検出時刻を有し、前記第3時刻は、前記第1オリジナルデータに含まれる複数のサブデータの検出時刻の参考時刻である、ことと、
    前記インテリジェント機器の、各サブデータの検出時刻における姿勢及び各サブデータに基づいて、前記第1センサの、前記第1時刻における前記第1ターゲットデータを取得することと、を含むことを特徴とする
    請求項5に記載の方法。
  7. 前記インテリジェント機器の、各サブデータの検出時刻における姿勢及び各サブデータに基づいて、前記第1センサの、前記第1時刻における前記第1ターゲットデータを取得することは、
    前記インテリジェント機器の、各サブデータの検出時刻における姿勢に基づいて、前記第1センサの各サブデータの検出時刻における座標系を決定することと、
    前記第1センサの前記第3時刻以外の各サブデータの検出時刻における座標系及び前記第1センサの前記第3時刻における座標系に基づいて、前記第3時刻以外の各サブデータの、前記第3時刻における対応するサブデータをそれぞれ決定することと、
    前記第3時刻以外の各サブデータの、前記第3時刻における対応するサブデータに対して整合処理を行い、前記第1センサの、前記第1時刻における前記第1ターゲットデータを得ることと、を含むことを特徴とする
    請求項6に記載の方法。
  8. 前記第1姿勢及び前記第2姿勢に基づいて、前記第1ターゲットデータに対して補償処理を行い、前記第1センサの、前記第2時刻における補償データを得る前に、前記方法は、
    第3センサから報告された第2オリジナルデータを受信することであって、前記第3センサのタイプは、前記第1センサのタイプと同じであり、前記第2オリジナルデータは、複数のサブデータを含み、各サブデータは、対応する検出時刻を有し、前記第3時刻は、前記第2オリジナルデータに含まれる複数のデータの検出時刻の参考時刻である、ことと、
    前記インテリジェント機器の、前記第2オリジナルデータの各サブデータの検出時刻における姿勢及び前記第2オリジナルデータの各サブデータに基づいて、前記第3センサの、前記第1時刻における第3ターゲットデータを取得することと、を更に含み、
    前記第1姿勢及び前記第2姿勢に基づいて、前記第1ターゲットデータに対して補償処理を行い、前記第1センサの、前記第2時刻における補償データを得ることは、
    前記第1姿勢及び前記第2姿勢に基づいて、前記第1ターゲットデータ及び前記第3ターゲットデータに対して補償処理を行い、前記第1センサの、前記第2時刻における補償データ及び前記第3センサの、前記第2時刻における補償データを得ることを含むことを特徴とする
    請求項5-7のいずれか一項に記載の方法。
  9. 前記第1センサのクロックと前記インテリジェント機器のクロックとの差異情報に基づいて、第3時刻に対応する前記インテリジェント機器のクロックにおける前記第1時刻を決定する前に、前記方法は、
    全地球測位システムGPSのクロックと前記インテリジェント機器のクロックとの誤差に基づいて、前記第1センサのクロックと前記インテリジェント機器のクロックとの差異情報を決定することを更に含むことを特徴とする
    請求項5-8のいずれか一項に記載の方法。
  10. 第2時刻における前記インテリジェント機器の第2センサの第2ターゲットデータを取得する前に、前記方法は、
    前記第2センサのクロックと前記インテリジェント機器のクロックとの差異情報に基づいて、前記第2センサが前記第2ターゲットデータを報告する時に一緒に報告される第4時刻に対応する前記インテリジェント機器のクロックにおける前記第2時刻を決定することを更に含み、前記第4時刻は、前記第2ターゲットデータの検出時刻を標識するために用いられ、前記第4時刻は、前記第2センサのクロックの時刻であることを特徴とする
    請求項1-9のいずれか一項に記載の方法。
  11. 前記第2センサのクロックと前記インテリジェント機器のクロックとの差異情報に基づいて、前記第2センサが前記第2ターゲットデータを報告する時に一緒に報告される第4時刻に対応する前記インテリジェント機器のクロックにおける前記第2時刻を決定する前に、前記方法は、
    前記第2センサを用いて、前記インテリジェント機器の時計の複数のビデオフレームを撮影することと、
    各前記ビデオフレームを撮影する時刻の情報と各前記ビデオフレームに対応する時計に表示される時刻情報とに対して比較分析を行い、前記第2センサのクロックと前記インテリジェント機器のクロックとの差異情報を得ることと、を更に含むことを特徴とする
    請求項10に記載の方法。
  12. センサデータ処理装置であって、
    第1時刻におけるインテリジェント機器の第1センサの第1ターゲットデータを取得するように構成される第1取得モジュールと、
    第2時刻における前記インテリジェント機器の第2センサの第2ターゲットデータを取得するように構成される第2取得モジュールであって、前記第1時刻及び前記第2時刻は、前記インテリジェント機器のクロックにおける異なる時刻である、第2取得モジュールと、
    前記インテリジェント機器の、前記第1時刻における第1姿勢及び前記第2時刻における第2姿勢を取得するように構成される第3取得モジュールであって、前記第1姿勢と第2姿勢は異なる、第3取得モジュールと、
    前記第1姿勢及び前記第2姿勢に基づいて、前記第1ターゲットデータに対して補償処理を行い、前記第1センサの、前記第2時刻における補償データを得るように構成される補償モジュールと、を備える、センサデータ処理装置。
  13. インテリジェント走行制御方法であって、
    インテリジェント機器に設けられる第1センサ及び第2センサの検出データを取得することであって、前記検出データは、請求項1-11のいずれか一項に記載のセンサデータ処理方法で得られたものである、ことと、
    前記検出データに基づいて、インテリジェント機器に対してインテリジェント走行制御を行うことと、を含む、インテリジェント走行制御方法。
  14. インテリジェント走行制御装置であって、
    インテリジェント機器に設けられる第1センサ及び第2センサの検出データを取得するように構成される取得モジュールであって、前記検出データは、請求項1-11のいずれか一項に記載のセンサデータ処理方法で得られたものである、取得モジュールと、
    前記検出データに基づいて、インテリジェント機器に対してインテリジェント走行制御を行うように構成されるインテリジェント走行制御モジュールと、を備える、インテリジェント走行制御装置。
  15. 電子機器であって、
    コンピュータ命令を記憶するように構成されるメモリと、
    前記メモリにおけるコンピュータ命令を呼び出して実行し、請求項1-11のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサと、を備える、電子機器。
  16. インテリジェント走行システムであって、通信可能に接続されるセンサ、請求項15記載の電子機器及び請求項14に記載のインテリジェント走行制御装置を備える、インテリジェント走行システム。
  17. 可読記憶媒体であって、コンピュータプログラムが記憶されており、前記コンピュータプログラムは、コンピュータに、請求項1-11のいずれか一項に記載の方法のステップ、又は、請求項13に記載の方法のステップを実行させるように構成される、可読記憶媒体。
JP2021533178A 2019-06-25 2020-02-26 センサデータ処理方法、装置、電子機器及びシステム Active JP7164721B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910556258.2A CN112214009B (zh) 2019-06-25 2019-06-25 传感器数据处理方法、装置、电子设备及系统
CN201910556258.2 2019-06-25
PCT/CN2020/076813 WO2020258901A1 (zh) 2019-06-25 2020-02-26 传感器数据处理方法、装置、电子设备及系统

Publications (2)

Publication Number Publication Date
JP2022513780A JP2022513780A (ja) 2022-02-09
JP7164721B2 true JP7164721B2 (ja) 2022-11-01

Family

ID=74048283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021533178A Active JP7164721B2 (ja) 2019-06-25 2020-02-26 センサデータ処理方法、装置、電子機器及びシステム

Country Status (4)

Country Link
JP (1) JP7164721B2 (ja)
KR (1) KR20210087495A (ja)
CN (1) CN112214009B (ja)
WO (1) WO2020258901A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112880674A (zh) * 2021-01-21 2021-06-01 深圳市镭神智能系统有限公司 一种行驶设备的定位方法、装置、设备及存储介质
CN112902951A (zh) * 2021-01-21 2021-06-04 深圳市镭神智能系统有限公司 一种行驶设备的定位方法、装置、设备及存储介质
CN113033483B (zh) * 2021-04-20 2024-02-02 北京百度网讯科技有限公司 检测目标对象的方法、装置、电子设备和存储介质
CN113724303B (zh) * 2021-09-07 2024-05-10 广州文远知行科技有限公司 点云与图像匹配方法、装置、电子设备和存储介质
CN114520855B (zh) * 2021-12-31 2024-03-15 广州文远知行科技有限公司 基于多模块数据的图像帧渲染方法、装置及存储介质
CN115167612B (zh) * 2022-07-14 2023-06-16 北京中科心研科技有限公司 同步数据的墙上时间和增补包方法、装置及设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009222438A (ja) 2008-03-13 2009-10-01 Toyota Motor Corp 移動体用測位装置
JP5416026B2 (ja) 2010-04-23 2014-02-12 本田技研工業株式会社 車両の周辺監視装置
JP6787102B2 (ja) 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5906655A (en) * 1997-04-02 1999-05-25 Caterpillar Inc. Method for monitoring integrity of an integrated GPS and INU system
JP2008003779A (ja) * 2006-06-21 2008-01-10 Hitachi Ltd 予防安全自動車の計測データ処理装置
CN103353304B (zh) * 2013-06-25 2016-02-03 深圳市宇恒互动科技开发有限公司 一种对三维惯性运动感测进行补偿的方法及装置
US20150127284A1 (en) * 2013-11-03 2015-05-07 Microsoft Corporation Sensor Data Time Alignment
CN103940434B (zh) * 2014-04-01 2017-12-15 西安交通大学 基于单目视觉和惯性导航单元的实时车道线检测系统
CN104112363B (zh) * 2014-07-04 2016-05-25 西安交通大学 多传感数据时空同步方法及道路多传感数据车载采集系统
CN104501814B (zh) * 2014-12-12 2017-05-10 浙江大学 一种基于视觉和惯性信息的姿态与位置估计方法
DE102016212326A1 (de) * 2016-07-06 2018-01-11 Robert Bosch Gmbh Verfahren zur Verarbeitung von Sensordaten für eine Position und/oder Orientierung eines Fahrzeugs
CN106546238B (zh) * 2016-10-26 2020-09-01 北京小鸟看看科技有限公司 可穿戴设备及在可穿戴设备中确定用户位移的方法
US10145945B2 (en) * 2017-01-11 2018-12-04 Toyota Research Institute, Inc. Systems and methods for automatically calibrating a LIDAR using information from a secondary vehicle
CN107462892B (zh) * 2017-07-28 2021-11-30 深圳市远弗科技有限公司 基于多超声传感器的移动机器人同步定位与地图构建方法
US10599931B2 (en) * 2017-08-21 2020-03-24 2236008 Ontario Inc. Automated driving system that merges heterogenous sensor data
CN107976193B (zh) * 2017-11-21 2020-10-27 出门问问信息科技有限公司 一种行人航迹推断方法、装置、航迹推断设备及存储介质
CN108168918B (zh) * 2017-12-25 2019-12-27 中铁第四勘察设计院集团有限公司 用于轨道自动测量车同步测量的同步自动控制系统及方法
CN108957466B (zh) * 2018-04-18 2022-01-25 广东宝乐机器人股份有限公司 移动机器人的雷达数据补偿方法、装置、设备和存储介质
CN109270534B (zh) * 2018-05-07 2020-10-27 西安交通大学 一种智能车激光传感器与相机在线标定方法
CN109218562B (zh) * 2018-09-07 2021-04-27 百度在线网络技术(北京)有限公司 时钟同步方法、装置、设备、存储介质和车辆

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009222438A (ja) 2008-03-13 2009-10-01 Toyota Motor Corp 移動体用測位装置
JP5416026B2 (ja) 2010-04-23 2014-02-12 本田技研工業株式会社 車両の周辺監視装置
JP6787102B2 (ja) 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法

Also Published As

Publication number Publication date
JP2022513780A (ja) 2022-02-09
CN112214009A (zh) 2021-01-12
CN112214009B (zh) 2022-07-26
KR20210087495A (ko) 2021-07-12
WO2020258901A1 (zh) 2020-12-30

Similar Documents

Publication Publication Date Title
JP7164721B2 (ja) センサデータ処理方法、装置、電子機器及びシステム
CN107452016B (zh) 用于处理图像数据的方法和设备和用于车辆的驾驶员辅助系统
CN110095786B (zh) 基于一线激光雷达的三维点云地图生成方法及系统
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
CN109099920B (zh) 基于多传感器关联的传感器目标精确定位方法
KR102340830B1 (ko) 복수의 이종 센서의 융합을 위한 데이터 처리 시스템 및 방법
US12008768B2 (en) Spatially-aware camera and method thereof
CN113160327A (zh) 一种点云补全的实现方法和系统
CN111353453A (zh) 用于车辆的障碍物检测方法和装置
CN112013877A (zh) 毫米波雷达与惯性测量单元的检测方法及相关装置
CN113240813A (zh) 三维点云信息确定方法及装置
CN114268787B (zh) 基于ar-hud的延时补偿方法、装置、设备及存储介质
US20200348692A1 (en) Systems and methods for creating and using risk profiles for fleet management of a fleet of vehicles
US20200072968A1 (en) Method for indicating obstacle by smart roadside unit
CN115760636A (zh) 激光雷达点云的畸变补偿方法、装置、设备及存储介质
CN115661014A (zh) 一种点云数据处理方法、装置和电子设备、存储介质
JP2019200481A (ja) 端末装置および収集方法
CN113299058B (zh) 交通事故责任的认定方法、装置、介质以及电子设备
CN116642511A (zh) Ar导航图像渲染方法、装置、电子设备及存储介质
KR102540637B1 (ko) 다중 센서 동기화 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN114170126B (zh) 一种点云稠密化方法、装置和电子设备
CN110971327A (zh) 用于环境目标的时间同步方法及装置
JP2511082B2 (ja) 移動物体の三次元位置測定装置
CN115147475B (zh) 目标位置定位方法、装置、设备及存储介质
EP4155758A1 (en) Information processing device, control method, and non-transitory computer-readable media

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221020

R150 Certificate of patent or registration of utility model

Ref document number: 7164721

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150