JP7287999B2 - 測位方法及び装置、自動運転車両、電子機器、並びに記憶媒体 - Google Patents

Description

本願の実施例は、コンピュータ技術分野に関し、特に自動運転技術分野に関し、具体的に、測位方法及び装置、自動運転車両、電子機器、並びに記憶媒体に関する。

自動運転技術の発展に伴い、如何に車両と歩行者の安全を確保するように車両の正確な測位を実現するかは、早急に解決すべき問題となっている。

従来技術において、自動運転車両の測位方法は、主に視覚オドメーターに基づいて実現されているが、従来の視覚オドメーターは、主に単眼カメラまたは双眼カメラにより測位を実現し、例えば、フレーム間の移動を積算してポーズを推定する。

しかし、本願の発明者は、本提案を実施する際に、従来技術においてカメラが移動中に揺れやすいので、推定されたポーズの精度が低くなるという問題が存在することを発見した。

正確な測位のための測位方法及び装置、自動運転車両、電子機器、並びに記憶媒体を提供する。

第１の態様によれば、自動運転車両に適用される測位方法を提供し、前記測位方法は、
所定の時間帯で慣性測定ユニットにより測定された第１ポーズ情報を収集し、前記時間帯で車輪速度計により測定された第２ポーズ情報を収集し、そのうち、前記時間帯が、カメラにより隣接するフレームの画像を収集する時のサンプリング時間間隔であることと、
前記第１ポーズ情報、前記第２ポーズ情報及び前記隣接するフレームの画像に基づいて、測位情報を生成することと、
前記測位情報に基づいて、前記自動運転車両の走行を制御することと、を含む。

本願の実施例において、慣性測定ユニットと車輪速度計のそれぞれに対応する第１ポーズ情報と第２ポーズ情報を組み合わせることにより、測位情報を予測し、カメラに対して、慣性測定ユニットと車輪速度計が外部環境に干渉されにくいため、測位情報が外部環境に干渉されることを避け、測位情報の精度と信頼性を向上させ、さらに自動運転車両の安全且つ確実な走行を実現することができる。

第２の態様によれば、測位装置を提供し、前記測位装置は、
所定の時間帯で慣性測定ユニットにより測定された第１ポーズ情報を収集し、前記時間帯で車輪速度計により測定された第２ポーズ情報を収集するために用いられ、そのうち、前記時間帯が、カメラにより隣接するフレームの画像を収集する時のサンプリング時間間隔である収集モジュールと、
前記第１ポーズ情報、前記第２ポーズ情報及び前記隣接するフレームの画像に基づいて、測位情報を生成するための生成モジュールと、
前記測位情報に基づいて、自動運転車両の走行を制御するための制御モジュールと、を含む。

第３の態様によれば、電子機器を提供し、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが上記実施例のいずれか１つに記載の測位方法を実行できるように、前記少なくとも１つのプロセッサにより実行される。

第４の態様によれば、自動運転車両を提供し、前記車両は、上記実施例に記載の測位装置、又は、上記実施例に記載の電子機器を含む。

第５の態様によれば、コンピュータ命令が記憶された非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、コンピュータに上記実施例の何れか１つに記載の測位方法を実行させるために用いられる。

第６の態様によれば、測位方法を提供し、前記測位方法は、
所定の時間帯で少なくとも２つのセンサのそれぞれにより測定された対応するポーズ情報を収集し、そのうち、前記時間帯が、カメラにより隣接するフレームの画像を収集する時のサンプリング時間間隔であることと、
各前記ポーズ情報と前記隣接するフレームの画像に基づいて、測位情報を生成することと、を含む。

第７の態様によれば、コンピュータプログラムは、前記コンピュータプログラムは、コンピュータ可読記憶媒体に記憶され、電子機器の少なくとも１つのプロセッサは、前記コンピュータ可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも１つのプロセッサは、前記コンピュータプログラムを実行することによって、前記電子機器に上記実施例の何れか１つに記載の測位方法を実行させる。

本願の実施例の技術的手段により、カメラにより測位する際に、測位情報が外部環境に干渉されやすいという関連技術の欠点を解決し、正確な測位を実現し、さらに自動運転車両が安全且つ確実に走行することができるという技術的効果を実現する。

なお、この部分に記載されている内容は、本願の実施例の肝心な又は重要な特徴を特定することを意図しておらず、本願の範囲を限定するものでもない。本願の他の特徴は、以下の説明を通じて容易に理解される。

図面は、本技術案をよりよく理解するために使用され、本願を限定するものではない。

本願の実施例の適用シーンの概略図である。 本願の別の実施例の適用シーンの概略図である。 本願の実施例の測位方法のフローチャートである。 本願の別の実施例の測位方法のフローチャートである。 本願の融合ポーズ情報を生成する方法のフローチャートである。 本願の隣接するフレームの画像と融合ポーズ情報に基づいて測位情報を生成する方法のフローチャートである。 本願の更に別の実施例の測位方法のフローチャートである。 本願の実施例の測位装置の概略図である。 本願の実施例の電子機器のブロック図である。 本願の更に別の実施例の測位方法のフローチャートである。

以下、図面を組み合わせて本願の例示的な実施例を説明し、理解を容易にするために、その中には本願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

図１を参照して、図１は、本願の実施例の測位方法の適用シーンの概略図である。

図１に示す適用シーンにおいて、自動運転車両１００が直進の道路で走行しており、自動運転車両１００は、プロセッサ（図示せず）を含み、プロセッサは、本願の実施例の測位方法を実行して、自動運転車両１００に対応する測位情報を決定し、測位情報に基づいて自動運転車両１００を制御して運転戦略を調整することができる。

そのうち、運転戦略は、自動運転車両の走行状態を特徴付けるためのものであり、運転戦略は、減速、駐車、加速及び曲がりなどを含む。

例えば、自動運転車両が赤信号に遭遇すると、プロセッサは、自動運転車両が直進の運転戦略を減速の運転戦略に調整し、又は直進の運転戦略を駐車の運転戦略に調整するように制御することができ、自動運転車両の前の車が加速し、且つ自動運転車両と前の車との距離が遠い場合、プロセッサは、自動運転車両が直進の運転戦略を加速の運転戦略に調整するように制御することができる。

図１に示す適用シーンにおいて、プロセッサが自動運転車両１００の測位情報を決定した後、自動運転車両が左折を実行できる交差点に近いことが分かり、自動運転車両１００の路線が左折の道路に対応する場合、自動運転車両１００が有効な運転を実現するように左折する必要があり、その場合、プロセッサは、測位情報に基づいて、自動運転車両１００が直進の運転戦略を左折の運転戦略に調整するように制御することができる。

そのうち、プロセッサが、自動運転車両１００が直進の運転戦略を左折の運転戦略に調整するように制御する場合、具体的には、図２に示すシーングラフを参照することができる。

関連技術において、自動運転車両を測位する時、主に単眼カメラ又は両眼カメラを用いて測位を行い、例えば、フレーム間の移動を積算してポーズを推定する。

しかし、カメラが移動中に揺れやすく、カメラによる図像の取得は周囲の環境から影響を受けやすいので、関連技術における手段によれば、推定されたポーズの精度が低く、即ち決定された測位情報が正確でないという問題が生じやすい。

上記の技術的問題を解決するために、本願の発明者は、創造的な労働をした後、本願の発明の構想を得た。即ち、カメラが画像を取得する際の環境への依存を極力取り除き、揺れ時に生成された測位情報を修正することにより、高精度の測位情報を得ることができる。

以下、具体的な実施例を通じて、本願の技術的手段及び如何に本願の技術的手段により上記技術的問題を解決するかについて詳細に説明する。以下のいくつかの具体的な実施例は、互いに組み合わせることができ、同じ又は類似する概念又はプロセスについて、一部の実施例において繰り返して説明しない場合がある。以下、図面を参照しながら、本願の実施例を説明する。

図３を参照して、図３は、本願の実施例の測位方法のフローチャートである。

図３に示すように、当該方法は、以下のステップを含む。

Ｓ１０１：所定の時間帯で慣性測定ユニットにより測定された第１ポーズ情報を収集し、前記時間帯で車輪速度計により測定された第２ポーズ情報を収集し、そのうち、前記時間帯が、カメラにより隣接するフレームの画像を収集する時のサンプリング時間間隔である。

そのうち、本願の実施例の実行主体は、測位装置とすることができ、測位装置は、具体的に、自動運転車両に設置されたコンピュータ、サーバ、プロセッサ、車載端末、リモート情報プロセッサ（車載Ｔ－ＢＯＸ）及びチップ（例えば、埋め込み型チップ）などであってもよい。

例えば、本願の実施例の測位方法を図１に示す適用シーンに適用する場合、本願の実施例の測位方法の実行主体は、プロセッサであってもよい。

そのうち、前記時間帯は、カメラにより収集された隣接するフレームの画像に関連しており、具体的に、隣接するフレームの画像に対応する時間間隔に基づいて決定された時間帯であってもよい。つまり、カメラにより収集された第１フレームの画像の時間をＴ０とし、第２フレームの画像の時間をＴ１とし、且つ第１フレームの画像と第２フレームの画像が隣接する２つのフレームの画像である場合、時間帯＝Ｔ１－Ｔ０である。ポーズ情報は、位置情報と姿勢情報を含む。

このステップにおいて、前記時間帯で慣性測定ユニットにより測定されたポーズ情報（即ち第１ポーズ情報）、及び車輪速度計により測定されたポーズ情報（第２ポーズ情報）をそれぞれ収集する。

そのうち、慣性測定ユニット（Ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ、ＩＭＵ）は、物体の姿勢角（又は角速度）や加速度などを測定する装置である。一般的には、１つのＩＭＵは、３つの単軸の加速度計と３つの単軸のジャイロスコープを含み、加速度計は、物体のキャリヤ座標系における独立した三軸での加速度信号を検出し、ジャイロスコープは、ナビゲーション座標系に対するキャリヤの角速度信号を検出し、物体の三次元空間での角速度と加速度を測定する。

つまり、第１ポーズ情報は、慣性測定ユニットにより収集された自動運転車両に対応する位置情報及び／又は姿勢情報を特徴付けるために用いられ、姿勢情報は、姿勢角、角速度及び加速度などの情報を含む。即ち、本願の実施例において、慣性測定ユニットは、自動運転車両の姿勢角、角速度及び加速度などの情報を測定することができ、慣性測定ユニットにより測定された関連情報を第１ポーズ情報として決定することができる。

そのうち、車輪速度計は、車輪速度センサとも呼ばれ、第２ポーズ情報は、車輪速度計により収集された自動運転車両に対応する位置情報及び／又は姿勢情報を特徴付けるために用いられ、姿勢情報は、速度と加速度などの情報を含む。即ち、本願の実施例において、車輪速度計は、自動運転車両の速度と加速度などの情報を収集するために用いられ、収集された関連情報を第２ポーズ情報として決定することができる。

なお、第１ポーズ情報と第２ポーズ情報における「第１」と「第２」は、慣性測定ユニットにより収集された関連情報と車輪速度計により収集された関連情報を区別するためのものである。

Ｓ１０２：第１ポーズ情報、第２ポーズ情報及び隣接するフレームの画像に基づいて、測位情報を生成する。

このステップにおいて、第１ポーズ情報、第２ポーズ情報及び隣接するフレームの画像に基づいて、測位情報を予測すると理解することができる。

本願の実施例において、慣性測定ユニットと車輪速度計のそれぞれに対応する第１ポーズ情報と第２ポーズ情報を組み合わせることにより、測位情報を予測し、カメラに対して、慣性測定ユニットと車輪速度計が外部環境に干渉されにくいため、測位情報が外部環境に干渉されることを避け、測位情報の精度と信頼性を向上させることができる。

Ｓ１０３：測位情報に基づいて、自動運転車両の走行を制御する。

このステップにおいて、測位情報を決定した後、自動運転車両の走行を制御することができ、例えば、自動運転車両の運転戦略を調整することができ、図１に示すように、測位情報に基づいて、自動運転車両の運転戦略を直進の運転戦略から左折の運転戦略に調整するように制御することにより、自動運転車両を安全且つ確実に運転させることができる。

上記の分析から分かるように、本願の実施例は、測位方法を提供し、当該測位方法は、自動運転車両に適用でき、当該測位方法は、所定の時間帯で慣性測定ユニットにより測定された第１ポーズ情報を収集し、前記時間帯で車輪速度計により測定された第２ポーズ情報を収集し、そのうち、前記時間帯が、カメラにより隣接するフレームの画像を収集する時のサンプリング時間間隔であることと、第１ポーズ情報、第２ポーズ情報及び隣接するフレームの画像に基づいて、測位情報を生成することと、測位情報に基づいて、自動運転車両の走行を制御することと、を含み、慣性測定ユニットと車輪速度計のそれぞれに対応する第１ポーズ情報と第２ポーズ情報を組み合わせることにより、測位情報を予測し、カメラに対して、慣性測定ユニットと車輪速度計が外部環境に干渉されにくいため、測位情報が外部環境に干渉されることを避け、測位情報の精度と信頼性を向上させ、さらに自動運転車両の安全且つ確実な走行を実現することができる。

測位情報を生成する具体的なプロセスを読者により明確に理解させるために、図４における本願の実施例の測位方法を参照しながら、詳細に説明する。そのうち、図４は、本願の別の実施例の測位方法のフローチャートである。

図４に示すように、当該測位方法は、以下のステップを含む。

Ｓ２０１：所定の時間帯で慣性測定ユニットにより測定された第１ポーズ情報を収集し、時間帯で車輪速度計により測定された第２ポーズ情報を収集し、そのうち、時間帯が、カメラが隣接するフレームの画像を収集する時のサンプリング時間間隔である。

そのうち、Ｓ２０１についての説明は、Ｓ１０１を参照することができ、ここで繰り返して説明しない。

Ｓ２０２：第１ポーズ情報と第２ポーズ情報を融合処理し、融合ポーズ情報を生成する。

測位情報を決定するためのポーズ情報の信頼性を確保するために、このステップにおいて、第１ポーズ情報と第２ポーズ情報を融合処理する。

つまり、このステップは、測位情報を生成するためのポーズ情報の信頼性と精度を可能な限り高めるために、２つのポーズ情報を相互に修正するプロセスであってもよい。

図５から分かるように、いくつかの実施例において、Ｓ２０２は、具体的に、Ｓ２１～Ｓ２３を含むことができる。

Ｓ２１：車輪速度計の慣性測定ユニットに対する座標変換パラメータを取得する。

具体的には、慣性測定ユニットに対する車輪速度計の回転と変位などのパラメータを校正することができる。即ち、慣性測定ユニットの座標系を基準とし、慣性測定ユニットを原点座標とし、慣性測定ユニットに対する車輪速度計の回転と変位などのパラメータを取得して、座標変換パラメータを決定する。

Ｓ２２：座標変換パラメータに基づいて、第２ポーズ情報を座標変換する。

このステップは、第２ポーズ情報を車輪速度計座標系から慣性測定ユニット座標系のポーズ情報に変換することであると理解してよい。

そのうち、変換の具体的な計算方法は、従来技術における座標変換の式を参照することができ、ここで繰り返して説明しない。

Ｓ２３：第１ポーズ情報と座標変換後の第２ポーズ情報を融合して、融合ポーズ情報を生成する。

なお、Ｓ２２を経た後、慣性測定ユニット座標系を基準とした第２ポーズ情報（即ち座標変換後の第２ポーズ情報）を得ることができ、それによって、２つのポーズ情報をより迅速かつ簡便に融合することができる。

上記の分析から分かるように、本願の実施例において、座標変換パラメータを決定した後、座標変換パラメータに基づいて、第２ポーズ情報を座標変換し、第１ポーズ情報と座標変換後の第２ポーズ情報に基づいて融合ポーズ情報を生成し、融合プロセスが同じ座標系に基づいているため、融合プロセスの速度を高めることができ、且つ融合プロセスの信頼性と精度を確保することができ、さらに融合ポーズ情報の精度と信頼性を確保する技術的効果を実現することができる。

Ｓ２０３：隣接するフレームの画像と融合ポーズ情報に基づいて、測位情報を生成する。

融合ポーズ情報の精度が比較的高く、外部環境に干渉されにくいため、本願の実施例において、融合ポーズ情報及び隣接するフレームの画像に基づいて測位情報を生成することで、隣接するフレームの画像に基づいて測位情報を生成する時、外部環境の干渉を受けやすい問題を避け、さらに測位情報の精度と信頼性を向上させることができる。

図６から分かるように、いくつかの実施例において、Ｓ２０３は、具体的に、Ｓ３１～Ｓ３３を含むことができる。

Ｓ３１：隣接するフレームの画像に基づいて、所定の誤差を満たす融合ポーズ情報を決定する。

そのうち、隣接するフレームの画像は、特徴点が予め設定された画像座標情報を含むので、Ｓ３１は、具体的に、画像座標情報と融合ポーズ情報を所定の誤差モデルに入力し、誤差モデルから出力された結果が所定の誤差を満たす融合ポーズ情報を取得することを含むことができる。

そのうち、誤差モデルは、カメラの内部パラメータとカメラの外部パラメータを含み、カメラの外部パラメータは、前記慣性測定ユニットに対するカメラの回転パラメータと変位パラメータを含む。

Ｓ３２：所定の誤差を満たす融合ポーズ情報から回転情報と変位情報を抽出する。

本願の実施例において、隣接するフレームの画像の関連情報とカメラの関連情報を組み合わせることにより、誤差を満たす回転情報と変位情報を決定し、回転情報と変位情報の誤差をできるだけ低くし、測位情報の精度と信頼性を向上させることができる。

Ｓ３３：回転情報と変位情報を測位情報として決定する。

Ｓ２０４：測位情報に基づいて、自動運転車両の走行を制御する。

そのうち、Ｓ２０４についての説明は、Ｓ１０３を参照することができ、ここで繰り返して説明しない。

第１ポーズ情報と第２ポーズ情報を得るための具体的なプロセスを読者により明確に理解させるために、図７を参照しながら、本願の実施例の測位方法を詳細に説明する。そのうち、図７は、本願の更に別の実施例の測位方法のフローチャートである。

図７に示すように、当該方法は、以下のステップを含む。

Ｓ３０１：慣性測定ユニットにより所定の時間帯で測定された第１測定数据を収集する。

Ｓ３０２：第１測定数据を積分し、第１ポーズ情報を生成する。

上記の例から分かるように、慣性測定ユニットは、自動運転車両の姿勢角、角速度、回転、速度及び変位などの情報を測定することができ、第１測定数据は、慣性測定ユニットにより収集された自動運転車両に対応する姿勢角、角速度、回転、速度及び変位などのデータである。

本願の実施例において、第１測定データを得た後、第１測定データを積分し、第１ポーズ情報を生成する。

一般的には、第１測定データは離散型データであるため、積分により第１測定データを処理する場合、一部の情報をフィルタリングすることができるが、回転、速度及び変位が保留される。

したがって、第１測定データを積分することにより、一部の第１測定データをフィルタリングすることができ、後続の計算の冗長を回避し、計算の効率を向上させることができる。また、冗長情報をフィルタリングするため、第１ポーズ情報の正確性と信頼性を確保し、測位情報の信頼性と精度を実現することができる。

Ｓ３０３：車輪速度計により前記時間帯で測定された第２測定データを収集する。

Ｓ３０４：第２測定データを積分し、第２ポーズ情報を生成する。

同様に、本願の実施例において、第２測定データを得た後、第２測定データを積分し、第２ポーズ情報を生成する。

一般的には、第２測定データは離散型データであるので、積分により第２測定データを処理する場合、一部の情報をフィルタリングできるが、速度と変位が保留される。

したがって、第２測定データを積分することにより、一部の第２測定データをフィルタリングすることができ、後続の計算の冗長を回避し、計算の効率を向上させることができる。また、冗長情報をフィルタリングするため、第２ポーズ情報の正確性と信頼性を確保し、測位情報の信頼性と精度を実現することができる。

Ｓ３０５：第１ポーズ情報、第２ポーズ情報及び隣接するフレームの画像に基づいて、測位情報を生成する。

そのうち、Ｓ３０５についての説明は、Ｓ１０２を参照するか、又はＳ２０２～Ｓ２０３を参照することができ、ここで繰り返して説明しない。

Ｓ３０６：測位情報に基づいて、自動運転車両の走行を制御する。

Ｓ３０７：Ｓ３０７についての説明は、Ｓ１０３を参照することができ、ここで繰り返して説明しない。

本願の実施例の別の態様によれば、本願の実施例は、さらに、上記方法の実施例に対応する測位装置を提供し、上記任意の実施例に記載の測位方法を実現するために用いられる。

図８を参照して、図８は、本願の実施例の測位装置の概略図である。

図８に示すように、当該装置は、
所定の時間帯で慣性測定ユニットにより測定された第１ポーズ情報を収集し、前記時間帯で車輪速度計により測定された第２ポーズ情報を収集するために用いられ、そのうち、前記時間帯が、カメラにより隣接するフレームの画像を収集する時のサンプリング時間間隔である収集モジュール１１と、
前記第１ポーズ情報、前記第２ポーズ情報及び前記隣接するフレームの画像に基づいて、測位情報を生成するための生成モジュール１２と、
前記測位情報に基づいて、自動運転車両の走行を制御するための制御モジュール１３と、を含む。

いくつかの実施例において、前記生成モジュール１２は、前記第１ポーズ情報と前記第２ポーズ情報を融合処理し、融合ポーズ情報を生成し、前記隣接するフレームの画像と前記融合ポーズ情報に基づいて、前記測位情報を生成するために用いられる。

いくつかの実施例において、前記生成モジュール１２は、前記車輪速度計の前記慣性測定ユニットに対する座標変換パラメータを取得し、前記座標変換パラメータに基づいて前記第２ポーズ情報を座標変換し、前記第１ポーズ情報と座標変換後の第２ポーズ情報を融合して、前記融合ポーズ情報を生成するために用いられる。

いくつかの実施例において、前記生成モジュール１２は、前記隣接するフレームの画像に基づいて、所定の誤差を満たす融合ポーズ情報を決定し、前記所定の誤差を満たす融合ポーズ情報から回転情報と変位情報を抽出し、前記回転情報と前記変位情報を前記測位情報として決定するために用いられる。

いくつかの実施例において、前記隣接するフレームの画像は、特徴点が予め設定された画像座標情報を含み、前記生成モジュール１２は、前記画像座標情報と前記融合ポーズ情報を所定の誤差モデルに入力し、前記誤差モデルから出力された結果が所定の誤差を満たす融合ポーズ情報を取得するために用いられる。

いくつかの実施例において、前記誤差モデルは、前記カメラの内部パラメータと前記カメラの外部パラメータを含み、前記カメラの外部パラメータは、前記慣性測定ユニットに対する前記カメラの回転パラメータと変位パラメータを含む。

いくつかの実施例において、前記収集モジュール１１は、前記慣性測定ユニットにより前記時間帯で測定された第１測定データを収集し、前記第１測定データを積分し、前記第１ポーズ情報を生成するために用いられる。

いくつかの実施例において、前記収集モジュール１１は、前記車輪速度計により前記時間帯で測定された第２測定データを収集し、前記第２測定データを積分し、前記第２ポーズ情報を生成するために用いられる。

本願の実施例に基づいて、本願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。

図９を参照して、図９は、本願の実施例の電子機器のブロック図である。

そのうち、電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルアシスタント、セルラ電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本願の実施を制限することを意図したものではない。

図９に示すように、当該電子機器は、１つ又は複数のプロセッサ１０１と、メモリ１０２と、高速インタフェース及び低速インタフェースを含む各コンポーネントを接続するためのインタフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、電子機器内で実行される命令を処理することができ、当該命令は、外部入力／出力装置（例えば、インタフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリ内又はメモリに記憶されている命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び／又は複数のバスを、複数のメモリと一緒に使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、一部の必要な操作（例えば、サーバアレイ、１グループのブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図９では、１つのプロセッサ１０１を例とする。

メモリ１０２は、本願の実施例により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。そのうち、前記メモリには、前記少なくとも１つのプロセッサに本願の実施例により提供される測位方法を実行させるように、少なくとも１つのプロセッサにより実行可能な命令が記憶されている。本願の実施例の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本願の実施例により提供される測位方法を実行させるためのコンピュータ命令が記憶されている。

メモリ１０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本願の実施例におけるプログラム命令／モジュールのような非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するために用いられることができる。プロセッサ１０１は、メモリ１０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の方法の実施例における測位方法を実現する。

メモリ１０２は、プログラム記憶エリアとデータ記憶エリアとを含むことができ、その中で、プログラム記憶エリアは、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶エリアは、電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ１０２は、高速ランダムアクセスメモリを含んでもよく、非一時的なメモリをさらに含んでもよく、例えば、少なくとも１つの磁気ディスクメモリ装置、フラッシュメモリデバイス、又は他の非一時的なソリッドステートメモリ装置である。いくつかの実施例において、メモリ１０２は、プロセッサ１０１に対して遠隔に設定されたメモリを選択的に含み、これらの遠隔メモリは、ネットワークを介して電子機器に接続可能である。上記のネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、ブロックチェーンベースのサービスネットワーク（Ｂｌｏｃｋ－ｃｈａｉｎ－ｂａｓｅｄ Ｓｅｒｖｉｃｅ Ｎｅｔｗｏｒｋ，ＢＳＮ）、モバイル通信ネットワーク、及びこれらの組み合わせを含むが、これらに限定されない。

電子機器は、入力装置１０３と出力装置１０４とをさらに含むことができる。プロセッサ１０１、メモリ１０２、入力装置１０３及び出力装置１０４は、バス又は他の方式を介して接続することができ、図９では、バスを介して接続することを例とする。

入力装置１０３は、入力された数字又は文字情報を受信し、電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置１０４は、ディスプレイデバイス、補助照明装置（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、ディスプレイデバイスはタッチスクリーンであってもよい。

本願の実施例により、コンピュータプログラムをさらに提供し、前記コンピュータプログラムは、コンピュータ可読記憶媒体に記憶され、電子機器の少なくとも１つのプロセッサは、コンピュータ可読記憶媒体からコンピュータプログラムを読み取ることができ、少なくとも１つのプロセッサは、コンピュータプログラムを実行することによって、電子機器に上記実施例に記載の測位方法を実行させる。

本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施され、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高レベルのプロセス及び／又は対象指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピュータプログラムを実施することができる。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」の用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」の用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクションを提供するために、コンピュータ上で、ここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルネットワーク（ＬＡＮ）と、ブロックチェーンベースのサービスネットワーク（Ｂｌｏｃｋ－ｃｈａｉｎ－ｂａｓｅｄ Ｓｅｒｖｉｃｅ Ｎｅｔｗｏｒｋ，ＢＳＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

コンピューティングシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント－サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。

本願の実施例の別の態様に基づいて、本願の実施例は、さらに自動運転車両を提供し、前記自動運転車両は、上記実施例に記載の測位装置、又は、上記実施例に記載の電子機器を含む。

本願の実施例の別の態様に基づいて、本願の実施例は、さらに測位方法を提供する。

図１０を参照して、図１０は、本願の更に別の実施例の測位方法のフローチャートである。

図１０に示すように、当該測位方法は、Ｓ１～Ｓ２を含む。

Ｓ１：所定の時間帯で少なくとも２つのセンサのそれぞれにより測定された対応するポーズ情報を収集し、そのうち、前記時間帯が、カメラにより隣接するフレームの画像を収集する時のサンプリング時間間隔である。

そのうち、センサは複数であり、１つのセンサは１つのポーズ情報に対応する。即ち、各センサは、いずれも自動運転車両のポーズ情報を収集する。

センサは、慣性測定ユニット、車輪速度計及びレーダーセンサなどであってもよく、ここでは一々列挙しない。

具体的に、センサが２つである場合、１つのセンサは、上記の例で説明した慣性測定ユニットとすることができ、対応するポーズ情報は上記の例における第１ポーズ情報であり、もう１つのセンサは、上記の例で説明した車輪速度計とすることができ、対応するポーズ情報は上記の例における第２ポーズ情報である。

Ｓ２：各ポーズ情報及び隣接するフレームの画像に基づいて、測位情報を生成する。

本願の実施例において、各ポーズ情報に基づいて、隣接するフレームの画像に対応する測位情報を修正し、信頼性の高い測位情報を生成することに相当する。具体的なプロセスは、上記の例を参照することができ、ここで繰り返して説明しない。

上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定しない。

上記の発明を実施するための形態は、本願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本願の保護範囲内に含まれるべきである。

Claims (15)

1. 自動運転車両に適用される測位方法であって、
   所定の時間帯で慣性測定ユニットにより測定された第１ポーズ情報を収集し、前記時間帯で車輪速度計により測定された第２ポーズ情報を収集し、そのうち、前記時間帯が、カメラにより隣接するフレームの画像を収集する時のサンプリング時間間隔であることと、
   前記第１ポーズ情報、前記第２ポーズ情報及び前記時間帯に対応する前記隣接するフレームの画像に基づいて、測位情報を生成することと、
   前記測位情報に基づいて、前記自動運転車両の走行を制御することと、を含み、
   前記第１ポーズ情報、前記第２ポーズ情報及び前記隣接するフレームの画像に基づいて、測位情報を生成することは、
   前記第１ポーズ情報と前記第２ポーズ情報を融合処理し、融合ポーズ情報を生成することと、
   前記隣接するフレームの画像と前記融合ポーズ情報に基づいて、前記測位情報を生成することと、を含み、
   前記隣接するフレームの画像は、特徴点が予め設定された画像座標情報を含み、前記隣接するフレームの画像と前記融合ポーズ情報に基づいて、前記測位情報を生成することは、
   前記画像座標情報と前記融合ポーズ情報を所定の誤差モデルに入力することと、
   前記誤差モデルから出力された結果が所定の誤差を満たす融合ポーズ情報を取得することと、
   前記所定の誤差を満たす融合ポーズ情報から回転情報と変位情報を抽出し、前記回転情報と前記変位情報を前記測位情報として決定することと、を含み、
   前記誤差モデルは、
   

   

   であり、そのうち、
   

   

   は誤差であり、
   

   

   は第ｊフレームの画像の逆深度であり、
   

   

   は第ｉフレームの画像の逆深度であり、
   

   

   は回転パラメータであり、
   

   

   は第ｊフレームの画像の回転であり、
   

   

   は第ｉフレームの画像の回転であり、
   

   

   は特徴点の第ｉフレームの画像での画像座標情報であり、
   

   

   は変位パラメータであり、
   

   

   は第ｊフレームの画像の変位であり、
   

   

   は特徴点の第ｊフレームの画像での画像座標情報である、ことを特徴とする測位方法。
2. 前記第１ポーズ情報と第２ポーズ情報を融合処理し、融合ポーズ情報を生成することは、
   前記車輪速度計の前記慣性測定ユニットに対する座標変換パラメータを取得することと、
   前記座標変換パラメータに基づいて前記第２ポーズ情報を座標変換することと、
   前記第１ポーズ情報と座標変換後の第２ポーズ情報を融合して、前記融合ポーズ情報を生成することと、を含むことを特徴とする請求項１に記載の測位方法。
3. 前記誤差モデルは、前記カメラの内部パラメータと前記カメラの外部パラメータを含み、前記カメラの外部パラメータは、前記慣性測定ユニットに対する前記カメラの回転パラメータと変位パラメータを含むことを特徴とする請求項１に記載の測位方法。
4. 前記所定の時間帯で慣性測定ユニットにより測定された第１ポーズ情報を収集することは、
   前記慣性測定ユニットにより前記時間帯で測定された第１測定データを収集することと、
   前記第１測定データを積分し、前記第１ポーズ情報を生成することと、を含むことを特徴とする請求項１～請求項３のいずれか１項に記載の測位方法。
5. 前記時間帯で車輪速度計により測定された第２ポーズ情報を収集することは、
   前記車輪速度計により前記時間帯で測定された第２測定データを収集することと、
   前記第２測定データを積分し、前記第２ポーズ情報を生成することと、を含むことを特徴とする請求項１～請求項３のいずれか１項に記載の測位方法。
6. 所定の時間帯で慣性測定ユニットにより測定された第１ポーズ情報を収集し、前記時間帯で車輪速度計により測定された第２ポーズ情報を収集するために用いられ、そのうち、前記時間帯が、カメラにより隣接するフレームの画像を収集する時のサンプリング時間間隔である収集モジュールと、
   前記第１ポーズ情報、前記第２ポーズ情報及び前記時間帯に対応する前記隣接するフレームの画像に基づいて、測位情報を生成するための生成モジュールと、
   前記測位情報に基づいて、自動運転車両の走行を制御するための制御モジュールと、
   を含み、
   前記生成モジュールは、前記第１ポーズ情報と前記第２ポーズ情報を融合処理し、融合ポーズ情報を生成し、前記隣接するフレームの画像と前記融合ポーズ情報に基づいて、前記測位情報を生成するために用いられ、
   前記隣接するフレームの画像は、特徴点が予め設定された画像座標情報を含み、前記生成モジュールは、前記画像座標情報と前記融合ポーズ情報を所定の誤差モデルに入力し、前記誤差モデルから出力された結果が所定の誤差を満たす融合ポーズ情報を取得し、前記所定の誤差を満たす融合ポーズ情報から回転情報と変位情報を抽出し、前記回転情報と前記変位情報を前記測位情報として決定するために用いられ、
   前記誤差モデルは、
   

   

   であり、そのうち、
   

   

   は誤差であり、
   

   

   は第ｊフレームの画像の逆深度であり、
   

   

   は第ｉフレームの画像の逆深度であり、
   

   

   は回転パラメータであり、
   

   

   は第ｊフレームの画像の回転であり、
   

   

   は第ｉフレームの画像の回転であり、
   

   

   は特徴点の第ｉフレームの画像での画像座標情報であり、
   

   

   は変位パラメータであり、
   

   

   は第ｊフレームの画像の変位であり、
   

   

   は特徴点の第ｊフレームの画像での画像座標情報である、ことを特徴とする測位装置。
7. 前記生成モジュールは、前記車輪速度計の前記慣性測定ユニットに対する座標変換パラメータを取得し、前記座標変換パラメータに基づいて前記第２ポーズ情報を座標変換し、前記第１ポーズ情報と座標変換後の第２ポーズ情報を融合して、前記融合ポーズ情報を生成するために用いられることを特徴とする請求項６に記載の測位装置。
8. 前記誤差モデルは、前記カメラの内部パラメータと前記カメラの外部パラメータを含み、前記カメラの外部パラメータは、前記慣性測定ユニットに対する前記カメラの回転パラメータと変位パラメータを含むことを特徴とする請求項６に記載の測位装置。
9. 前記収集モジュールは、前記慣性測定ユニットにより前記時間帯で測定された第１測定データを収集し、前記第１測定データを積分し、前記第１ポーズ情報を生成するために用いられることを特徴とする請求項６～請求項８のいずれか１項に記載の測位装置。
10. 前記収集モジュールは、前記車輪速度計により前記時間帯で測定された第２測定データを収集し、前記第２測定データを積分し、前記第２ポーズ情報を生成するために用いられることを特徴とする請求項６～請求項８のいずれか１項に記載の測位装置。
11. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を備える電子機器であって、
    前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが請求項１～請求項５のいずれか１項に記載の測位方法を実行できるように、前記少なくとも１つのプロセッサにより実行される
    ことを特徴とする電子機器。
12. 請求項６～請求項１０のいずれか１項に記載の測位装置、又は、請求項１１に記載の電子機器を含むことを特徴とする自動運転車両。
13. コンピュータ命令が記憶された非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項１～請求項５のいずれか１項に記載の測位方法を実行させるために用いられることを特徴とするコンピュータ読み取り可能な記憶媒体。
14. 所定の時間帯で少なくとも２つのセンサのそれぞれにより測定された対応するポーズ情報を収集し、そのうち、前記時間帯が、カメラにより隣接するフレームの画像を収集する時のサンプリング時間間隔であることと、
    各前記ポーズ情報と前記隣接するフレームの画像に基づいて、測位情報を生成することと、を含み、
    各前記ポーズ情報と前記隣接するフレームの画像に基づいて、測位情報を生成することは、
    各前記ポーズ情報を融合処理し、融合ポーズ情報を生成することと、
    前記隣接するフレームの画像と前記融合ポーズ情報に基づいて、前記測位情報を生成することと、を含み、
    前記隣接するフレームの画像は、特徴点が予め設定された画像座標情報を含み、前記隣接するフレームの画像と前記融合ポーズ情報に基づいて、前記測位情報を生成することは、
    前記画像座標情報と前記融合ポーズ情報を所定の誤差モデルに入力することと、
    前記誤差モデルから出力された結果が所定の誤差を満たす融合ポーズ情報を取得することと、
    前記所定の誤差を満たす融合ポーズ情報から回転情報と変位情報を抽出し、前記回転情報と前記変位情報を前記測位情報として決定することと、を含み、
    前記誤差モデルは、
    

    

    であり、そのうち、
    

    

    は誤差であり、
    

    

    は第ｊフレームの画像の逆深度であり、
    

    

    は第ｉフレームの画像の逆深度であり、
    

    

    は回転パラメータであり、
    

    

    は第ｊフレームの画像の回転であり、
    

    

    は第ｉフレームの画像の回転であり、
    

    

    は特徴点の第ｉフレームの画像での画像座標情報であり、
    

    

    は変位パラメータであり、
    

    

    は第ｊフレームの画像の変位であり、
    

    

    は特徴点の第ｊフレームの画像での画像座標情報である、ことを特徴とする測位方法。
15. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサで実行されると、コンピュータに請求項１～請求項５のいずれか１項に記載の測位方法を実行させる、ことを特徴とするコンピュータプログラム。

Images