JP7635776B2 - 無人車両及び無人航空機の位置を判定するための方法および機器 - Google Patents

無人車両及び無人航空機の位置を判定するための方法および機器 Download PDF

Info

Publication number
JP7635776B2
JP7635776B2 JP2022502387A JP2022502387A JP7635776B2 JP 7635776 B2 JP7635776 B2 JP 7635776B2 JP 2022502387 A JP2022502387 A JP 2022502387A JP 2022502387 A JP2022502387 A JP 2022502387A JP 7635776 B2 JP7635776 B2 JP 7635776B2
Authority
JP
Japan
Prior art keywords
environment
positioning signals
determining
model
signal paths
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022502387A
Other languages
English (en)
Other versions
JP2022541185A (ja
Inventor
ペーテル デュル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2022541185A publication Critical patent/JP2022541185A/ja
Application granted granted Critical
Publication of JP7635776B2 publication Critical patent/JP7635776B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/428—Determining position using multipath or indirect path propagation signals in position determination
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/22—Multipath-related issues
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本開示は、無人車両(UV)の位置判定に関する。特に、実施例は、UVの位置を判定する方法および機器に関する。その他の実施例は、無人航空機(UAV)に関連する。
全地球測位システム(GPS)のような全地球航法衛星システム(GNSS)は、しばしば、ドローン、自律走行車などのような自律走行車両のための絶対的でグローバルに参照される位置情報を提供するために使用される。しかしながら、そのようなシステムが依存する無線信号は、ロボットの環境内の大きな構造物によって遮断されたり、反射されたりして、位置推定値の品質の低下、または、全体的な混乱につながる可能性がある。
そのため、位置判定の改善が求められる場合がある。
この要求は、独立クレームに従った機器及び方法によって満たされる。有利な実施形態が、従属請求によって指定される。
第1の態様によれば、本開示は、UVの位置を判定するための方法を提供する。この方法は、GNSSの複数の衛星から測位信号（位置決め信号）を受信するステップを含む。さらに、この方法は、(i)UVの環境の3次元モデル及び(ii)測位信号のそれぞれに対して可能性のある信号経路に基づいて、UVの位置を推定するステップを含む。
可能性のある信号経路の少なくとも一部は、UVの環境内の1つ以上の物体による測位信号の反射を含む。
第2の態様によれば、本開示は、プログラムがUVのプロセッサまたはプログラマブルハードウェア上で実行されるときに、本明細書に記載されるようにUVの位置を判定する方法を実行するために、UVを制御するプログラムコードを有するプログラムを記憶した非一時的機械可読媒体を提供する。
第3の態様によれば、本開示は、UVの位置を判定するための機器を提供する。この機器は、GNSSの複数の衛星から測位信号を受信するように構成された受信器回路を備える。更に、機器は、(i)UVの環境の3次元モデル及び(ii)測位信号のそれぞれに対して可能性のある信号経路に基づいて、UVの位置を推定するように構成された処理回路を含む。測位信号のそれぞれに対して可能性のある信号経路の少なくとも一部は、UVの環境内の1つ以上の物体による測位信号の反射を含む。
第4の態様によれば、本開示は、本明細書に記載するUAVの位置を判定するための機器を具備するUAVを提供する。
機器および/または方法のいくつかの例を、単なる例として、添付の図面を参照して、以下で説明する。
UVの位置を判定する方法の一例のフローチャートを示す。 一環境におけるUAVの一例を示す。 このUAVの環境の3次元モデルの2次元表現の一例を示す。 UVの位置を推定するためのアーキテクチャの一例を示す。 一環境におけるUAVの別の例を示す。 UAVの位置を判定する機器を備えるUAVの一例を示す。
ここで、いくつかの例が図示されている添付図面を参照して、種々の例をさらに完全に説明する。これらの図において、線、層および/または領域の厚さは、明瞭化のために誇張されている。
従って、さらなる例は、種々の変更および代替の形態を行うことが可能であるが、それらのいくつかの特定の例を図に示し、続いて、詳細に説明する。しかしながら、この詳細な説明は、記載される特定の形態にさらなる例を限定するものではない。さらなる例は、本開示の範囲内に入るすべての修正、同等のもの、および代替を含み得る。
同一または類似の符号は、図の説明全体を通して同様または類似の構成要件を指すが、この構成要件は、同一または類似の機能性を提供しながら、互いに比較したときに、同一または修正された形態で実施されてもよい。
一構成要件が別の要素に「接続されている」または「連結されている」と称される場合、これらの構成要件は、直接接続されてもよく、または1つ以上の介在要素を介して連結されてもよい。二つの構成要件AとBが"または"を用いて組み合わされている場合、明示的にも暗黙的にも定義されていなければ、これはすべての可能な組み合わせ、すなわち、Aだけ、Bだけ、AとBだけ、を開示していると理解されるべきである。
同じ組み合わせのための代替語句は、「AおよびBのうちの少なくとも1つ」または「Aおよび/またはB」である。同様のことが、2つ以上の構成要件の組合せについて準用される。
特定の例を説明する目的で本明細書において使用される用語は、さらなる例を限定するものではない。「1つの～」及び「この～」のような単数形が使用され、単一の構成要件のみを使用する場合は常に、明示的にも暗黙的にも「必須」と定義されていないが、さらなる例では、同じ機能を実装するために複数の構成要件を使用することもできる。同様に、機能性が複数の構成要件を使用して実装されるものとして後に説明される場合、さらなる例は、単一の構成要件または処理エンティティを使用して同一の機能を実装してもよい。
「～を含む、備える、具備する」という用語は、明示された特徴、整数、ステップ、オペレーション、プロセス、動作、要素および/または構成要件の存在を明記するが、1つ以上の他の特徴、整数、ステップ、オペレーション、プロセス、動作、要素および/または構成要件の存在を妨げないし、それらのグループを排除しないことが理解されるであろう。
特に定義されていない限り、(技術用語および科学用語を含む)全ての用語は、本明細書において、当該例が属する当該技術分野の通常の意味において使用される。
図1は、UVの位置を判定するためのUVの方法100のフローチャートを示す。ここでは、簡潔にするため、提案手法を主にUAVを用いて説明する。しかしながら、本技術はUAVに限定されるものではなく、無人地上車両(UGV)のような他の無人車両と同様に使用されてもよいことに留意されたい。
UAV200を含む例示的なシーンを図2に示す。図2から分かるように、UAV200は、2つの複数階の建物210と220の間に配置される。さらに図示されているのは、例えばGPS、GLObalnaja NAwigazionnaja Sputnikowaja Sistema (GLONASS)、GalileoまたはBeidouのようなGNSSの4つの衛星230-1,…,230-4である。4つの衛星230-1,…,230-4の各々は、UAV200のための地理空間位置決めを可能にする1つ以上の位置決め信号（測位信号）を提供する。
特に、UAV200は、位置信号(例えば、無線周波数信号)が衛星からUAV200の受信機まで移動するのに要する時間(および、さらなる量、例えば、ドップラーシフトなど)を正確に測定し得る。
図2から分かるように、UAV200の環境(周囲領域)における建物210及び220の幾何学的形状は、位置決め信号の伝搬に影響を及ぼす。例えば、4つの衛星230-1,…,230-4の位置決め信号は、UAV200が位置決め信号の一部を受信できないように、または、反射された位置決め信号のみを受信できるように、UAV200の環境内の物体によってブロックまたは反射され得る。
図2の例では、衛星230-1の位置決め信号231-1は、位置決め信号231-1のUAV200への見通し線伝搬がないように、建物220によって反射される。衛星230-4の位置決め信号231-4は、UAV200が位置決め信号231-4を受信できないように、建物220によって完全に遮断されている。衛星230-2及び230-3の位置決め信号231-2及び231-3のみが、UAV200の環境に影響されず、その結果、位置決め信号231-1のUAV200への見通し線伝搬が行われている。
いずれかの衛星230-1,…,230-4の位置決め信号が遮断されていると、UAV200を位置判定に使用することができない。衛星2301,…,230-4のうちの1つの位置決め信号が反射される場合、位置決め信号を非反射信号のように扱う(すなわち、見通し伝搬を仮定する)と、衛星までの距離が誤って推定されるので、誤った位置推定につながる。
なお、図2に示されている建物210及び220は、UAV200の環境における対象物の一例にすぎない。GNSSの衛星とUAV200との間にある、いかなる大きな自然または人工の物体(構造物)も、衛星の位置決め信号を完全に遮断したり、反射させたりする可能性がある。例えば、このような物体は、都市における高層ビルディング、山の領域における大きな岩、谷、ダムなどである可能性がある。
方法100は、UVの環境に物体が存在する場合にも、UAV200のようなUVの位置をより正確に判定することを可能にする。図1に戻って参照すると、方法100は、(例えば、図2に示すように)GNSSの複数の衛星からの測位信号を受信するステップ(102)を含む。さらに、方法100は、(i)UVの環境の3次元モデルおよび(ii)位置決め信号の各々に対する可能性のある信号経路に基づいて、UVの位置を推定(判定)するステップ(104)を含む。
この可能性のある信号経路の少なくとも一部は、UVの環境内の1つ以上の物体による位置決め信号の反射を含む。言い換えると、可能性のある信号経路の少なくともいくつかは、UVの環境内の1つ以上の物体によって位置決め信号の反射を再生成する信号経路である。UVの環境の3次元モデルは、UVの環境における少なくとも位置、方向および物体の形状に関する情報を含む。
UVの環境の3次元モデルと、位置決め信号の反射を再現する可能な信号経路とに基づいてUVの位置を推定することによって、また、反射された位置決め信号によって提供される情報を、UVの位置を判定するために使用してもよい。UVの現在位置(または推定値)を変化させ、かつUVの環境の3次元モデルおよび衛星の事前に知られている位置を考慮することにより、位置決め信号の各々に対する可能な信号経路を決定することができる(例えば、確率モデルを使用する)。
位置決め信号の各々に対する可能な信号経路の中で、それぞれの最有望な信号経路は、位置決め信号(またはそれから導出された/それに関連する情報)に基づいて決定されてもよい。したがって、位置決め信号が1つ以上の反射を介してUVに到着する衛星へのUVの距離も、正しく(または、少なくとも、従来のアプローチと比較して高い精度で)判定され得る。従来のアプローチと比較して、また、反射された位置決め信号が、したがって、正確な位置決定のために使用されてもよい。
従って、受信した全ての位置信号を測位に用いることができる。例えば、位置決め信号231-1、231-2および231-3は、すべて、提案された技術に従って、UAV200の位置決定のために使用されてもよい。
図2に描かれた景観の例示的な3次元モデルの2次元表現が、図3に示されている。図3から分かるように、実世界に存在する建物210および220の幾何学的形状は、UAV200の環境の3次元モデル内の物体310-1、310-2および320によってモデル化される。さらに、物体310および320は、意味的にラベル付けされる。物体310-1、310-2および320は、建物としてラベル付けされている。
UAV200の環境の3次元モデル内の物体にラベルすることにより、GNSSの衛星230-1,…,230-4の位置信号に対する物体(構造)の影響を予測することができる。図1に示すように、物体は、それぞれの物体の材料クラス(例えば、建物、ガラス、コンクリート、スチール、ストーン、ロックなどに適した材料)に関する情報で意味的にラベル付けされてもよい。代替的または追加的に、物体は、それぞれの物体の無線周波数特性(例えば、無線周波数反射率、無線周波数吸収など)に関する情報で意味的にラベル付けされてもよい。
図3の例では、UAV200の環境の3次元モデルは、建物210および220をモデル化するための静的オブジェクトのみを含む。他の例では、UVの環境の3次元モデルは、車のような実世界における動的(移動)物体をモデル化するための少なくとも1つの移動(動的)物体を含み得る。例えば、UVの環境を移動する車は、時間の経過とともに異なる方向に位置決め信号(例えば、GPS信号)を反射し、そのドップラーシフトにさらに影響を及ぼし得る。
1つ以上の動的オブジェクト(例えば、モデリングジオメトリ、ポーズ、材料特性および速度)を含むUVの環境の意味モデルは、UVの位置推定がさらに改善され得るように、移動する車の影響を予測することを可能にし得る。言い換えると、実装によっては、動的に動くオブジェクトの影響を考慮する場合がある。
図1に示すように、方法100は、UVの1つ以上のセンサのセンサデータに基づいて、UVの環境の3次元モデルを決定するステップ(106)をさらに含んでもよい。
例えば、UVの環境の3次元モデルを決定するステップ(106)と、UVの位置を推定するステップ(104)とは、同時に実行されてもよい。いくつかの例では、UVの1つ以上のセンサは、少なくとも光学センサ(例えば、静止カメラまたは動画カメラ)と、イナーシャル測定ユニット(IMU、慣性計測装置)とを含む。任意に、または代替として、UVの1つ以上のセンサは、例えば、磁力計、気圧計、レーダーセンサおよびLIDARセンサ他のセンサを含んでもよい。
UVの環境の3次元モデルを決定する(106)ために、UVの位置(例えば、UAV200)を同時に推定する(104)アーキテクチャの一例を図4に示す。
同時位置決め・マッピング、SLAMアルゴリズム410は、光学センサのセンサデータ401、402およびIMUに基づいて、UVの環境の3次元表現を決定するために使用される。任意に、さらなるセンサ(例えば、気圧計、レーダーセンサなど)からのセンサデータは、UVの環境の3次元表現を決定するために、SLAMアルゴリズムに提供されてもよい。UVの環境の3次元表現に加えて、SLAMアルゴリズムは、UVに対するポーズ（姿勢）推定値404と速度推定値405とを決定する。
さらに、画像分類アルゴリズム420は、光センサのセンサデータ401によって表されるUV環境の少なくとも1つの物体を、複数の所定のカテゴリのうちの1つに分類するために使用される。物体のカテゴリを決定するために、センサデータ401は、画像分類アルゴリズム420によって評価される。すなわち、分類すると、UVの環境の少なくとも1つの物体は、光センサのセンサデータ401に基づいている。
例えば、教師なし、半教師あり、または教師あり分類(例えば、たたみ込みニューラルネットワークを使用)を画像分類のために使用することができる。画像分類アルゴリズム420の出力は、それぞれの分類されたカテゴリを示すUVの環境の3次元表現403内のオブジェクトに対する意味ラベル406である。上述したように、事前定義されたカテゴリは、無線周波数の特性および/または材料クラスであってもよい。
UVの環境の3次元表現における少なくとも1つの物体は、UVの環境430の3次元モデルを得るために、分類されたカテゴリで意味的にラベル付けされる。
SLAMアルゴリズム410は、GNSSの衛星から受信した位置決め信号のそれぞれについて、可能な信号経路についての確率モデルを表すパーティクルフィルタ440と共に使用される。パーティクルフィルタ440は、SLAMアルゴリズム410、UVの環境の3次元モデル430、衛星の位置407および位置決め信号に関連する情報408から、UVに対するポーズ推定値404および速度推定値405を入力として受け取る。
衛星の位置407は先験的に知られている。位置決め信号に関連する情報408は、例えば、位置決め信号自体またはそれから導出された量(例えば、UVへの到達時間、衛星からUVへの伝搬時間など)であってもよい。
パーティクルフィルタ440は、位置決め信号の各々について可能性のある信号経路の中で、それぞれの最も可能性の高い信号経路を決定するために使用される。パーティクルフィルタ440は、位置決め信号が様々な方法で反射されるか、または、まったく反射されない可能性を含む確率モデルとして理解され得る。UVに対する姿勢推定値404および速度推定値405に基づいて、位置決め信号の各々に対する可能性のある信号経路の中で、それぞれの最も可能性の高い信号経路が、UVの環境の3次元モデル430、衛星の位置407および位置決め信号に関連する情報408を使用して、パーティクルフィルタによって決定されてもよい。
換言すれば、反射位置決め信号の経路は、パーティクルフィルタ440によって推定されてもよい。従って、パーティクルフィルタ440は、UVに対する現在のポーズ推定の事後確率を最大化することを可能にする。
パーティクルフィルタ440の出力は、ポーズ推定値および速度推定値を更新するために、SLAMアルゴリズム410によって使用される。換言すれば、SLAMアルゴリズム410のポーズ推定値404および速度推定値405は、位置決め信号の各々について可能性のある信号経路の中のそれぞれの最も可能性の高い信号経路に基づいて更新される。
SLAMアルゴリズム410の更新された姿勢推定値によって示される位置は、UVの位置として決定される。
更に、UVの環境の3次元モデル430は、更新された姿勢推定値及びSLAMアルゴリズム410の更新された速度推定値に基づいて更新される。
図4の例の点線を介して交換されるデータは、不確実性情報を含んでもよい。
図4に示されるアーキテクチャは、UVの位置、およびUVの環境の幾何学的形状および特性を、衛星からの位置決め信号の経路(既知の位置を有する)と同時に推定することを可能にし得る。
この提案された技術は、UVの環境の意味的に注釈された、グローバルに参照されたモデルを介して、利用可能な(すなわち、受信された)すべての位置決め信号からの情報を組み合わせることを可能にしてもよい。上述したように、UVの環境のモデルは、画像データの意味分類と組み合わせてSLAMによって得られてもよい。
衛星の(事前に知られている)位置を、位置決め信号の経路における(UVの環境のモデルによって与えられる)障害物の3次元形状、位置、方位と共に使用することは、1つ以上の再反射を介してUVのGNSS受信機に到着する信号であっても、位置情報の精度を高めるための情報を提供することがある。(UVの環境のモデルによって与えられる)環境の推定されたジオメトリに付加される意味情報は、位置決め信号に対する物体(構造体)の影響(例えば、物体が位置決め信号を吸収するか反映するか)を予測することを可能にする。
提案した技術は、GNSSの衛星が発する位置決め信号に対して直接予測し、それらの影響を考慮するために、UVの環境における(大きい)物体/構造物の位置、配向度、形状および材料を視覚的に推定することができる。したがって、都市の大きな建物や山地の大きな岩など、大きな構造を持つ環境でのGNSSベースの位置推定の精度が向上する可能性がある。
図4の例では、パーティクルフィルタ440が使用されるが、代替例では、カルマンフィルタまたは期待値最大化フィルタなどの別のフィルタが使用されてもよいことに留意されたい。
従来のアプローチと比較して、提案した技術は、UVの環境中の物体/構造物によって反射された位置決め信号から位置及び速度情報を抽出することを可能にする。図5は、UAV 500が道路橋510の下を飛行している場面の一例を示す。GNSSの4つの衛星520-1,…,520-4のいずれにも直接の見通し線はない。衛星520-2および520-3の位置決め信号521-2および521-3は、道路橋510によって遮断される。衛星520-1および520-4の位置決め信号521-1および521-4は、土壌530によって反射される。
図5に示されているような状況において、提案された技術は、UAV500の推定位置を更新するために、位置決め信号521-1および521-4から追加の情報を得ることを可能にする。UAV500の環境の意味的に注釈された3次元モデルは、位置決め信号521-1および521-4から位置を正確に推定できるように、位置決め信号521-1および521-4の反射を予測することを可能にする。
本提案の技術による位置判定を用いたUVの一例をさらに図6に示す。図6において、UVは、複数のロータ640-1、640-2を備えるマルチロータドローン(例えば、クアッドコプタまたはバイコプタ)として描かれたUAV600である。ただし、UVはこれに限定されないことに留意する。一般に、UVは、任意のタイプのUGVまたはUAV、例えば、モノコプパ、固定翼のUAV(例えば、平面または垂直テイクオフおよびランディング、VTOL、航空機)、または自律走行車であってもよい。
UAV600は、UAV600の位置を判定する機器610を備える。機器610は、受信アンテナ630に連結され、GNSS(例えば、GPS)の複数の衛星から位置信号601を受信するように構成された受信機回路611を備える。さらに、機器610は、処理回路612を備える。例えば、処理回路612は、単一の専用プロセッサ、単一の共用プロセッサ、または複数の個々のプロセッサであってもよく、その一部またはすべてが共用されていてもよいデジタルシグナルプロセッサハードウェア、特定用途向け集積回路またはフィールドプログラマブルゲートアレイであってもよい。
処理回路612は、ソフトウェア、ランダム・アクセス・メモリおよび/または不揮発性メモリを記憶するための例えば読み出し専用メモリに任意に連結することができる。機器610は、従来のハードウェアおよび/またはカスタムの他のハードウェアをさらに備えることができる。
処理回路612は、受信された位置決め信号601に関連するデータと、オプションでUAVの1つ以上のセンサ(例えば、光学センサ620またはIMU)からのさらなるデータとを受信する。処理回路612は、UAV600の位置を判定するために、上述した技術に従ってデータを処理する。
UAV600は、他のハードウェア、従来型および/またはカスタム(例えば、リモートコントロールの制御信号を受信するためのアンテナ)をさらに備えることができる。
以下の例は、さらなる実施形態に関連する。
（１）無人車両UVの位置を判定するための方法であって、
全地球航法衛星システムの複数の衛星から測位信号を受信するステップと、
(i)UVの環境の3次元モデル及び(ii)前記測位信号のそれぞれに対して可能性のある信号経路に基づいて、UVの位置を推定するステップと
を含み、
前記可能性のある信号経路の少なくとも一部は、UVの環境内の1つ以上の物体による前記測位信号の反射を含む
方法。
（２）（１）に記載の方法であって、
前記UVの環境の3次元モデル内の物体は、それぞれの物体の無線周波数特性及び/または材料クラスに関する情報で意味的にラベル付けされている
方法。
（３）（１）または（２）に記載の方法であって、
前記UVの環境の3次元モデルが、静的オブジェクトのみを含む
方法。
（４）（１）または（２）に記載の方法であって、
前記UVの環境の前記3次元モデルが、少なくとも1つの移動物体を含む
方法。
（５）（１）～（４）のいずれか１つに記載の方法であって、
UVの1つ以上のセンサのセンサデータに基づいて、前記UVの環境の3次元モデルを決定するステップ(106)をさらに含む
方法。
（６）（５）に記載の方法であって、
UVの前記1つ以上のセンサは、少なくとも光学センサ及び慣性計測装置を含む
方法。
（７）（６）に記載の方法であって、
前記UVの環境の3次元モデルを決定するステップは、前記光学センサ及び前記慣性計測装置のセンサデータに基づいて、同時位置決め・マッピング、SLAMアルゴリズムを使用してUVの環境の3次元表現を決定するステップと、
前記光学センサのセンサデータに基づいて、前記光学センサのセンサデータによって表されるUVの環境の少なくとも1つの物体を、複数の事前定義されたカテゴリのうちの1つに分類するステップと、
UVの環境の3次元表現内の前記少なくとも1つの物体を、UVの環境の3次元モデルを得るために、前記分類されたカテゴリで意味的にラベル付けするステップと、
を含む
方法。
（８）（７）に記載の方法であって、
前記事前定義されたカテゴリは、無線周波数特性及び/または材料クラスである
方法。
（９）（７）または（８）に記載の方法であって、
前記測位信号のそれぞれについて可能性のある信号経路は、パーティクルフィルタによって表され、
前記方法は、前記パーティクルフィルタを使用して、前記測位信号のそれぞれについて可能性のある信号経路の中でそれぞれの最も可能性の高い信号経路を決定することを含む
方法。
（１０）（９）に記載の方法であって、
前記パーティクルフィルタは、前記SLAMアルゴリズム、前記UVの環境の3次元モデル、前記衛星の位置、及び、前記測位信号に関連する情報から、UVに対する姿勢推定値及び速度推定値を入力として受信する
方法。
（１１）（９）または（１０）に記載の方法であって、
前記方法は、前記測位信号のそれぞれに対して可能性のある信号経路の中のそれぞれの最も可能性の高い信号経路に基づいて、前記SLAMアルゴリズムの姿勢推定値及び速度推定値を更新するステップをさらに含む
方法。
（１２）（１１）に記載の方法であって、
前記UVの位置を推定するステップは、UVの位置として、前記SLAMアルゴリズムの前記更新された姿勢推定値によって示された位置を判定することを含む
方法。
（１３）（１１）または（１２）に記載の方法であって、
前記SLAMアルゴリズムの更新された姿勢推定値及び更新された速度推定値に基づいて、前記UVの環境の3次元モデルを更新するステップをさらに含む
方法。
（１４）（１）～（１３）のいずれか１つに記載の方法であって、
UVによって実行される
方法。
（１５）（１）～（１４）のいずれか１つに記載の方法であって、
UVは、無人航空機UAVである
方法。
（１６）（１５）に記載の方法であって、
UAVは、マルチロータドローンである
方法。
（１７）プログラムが無人車両のプロセッサまたはプログラマブルハードウェア上で実行されるときに、（１）～（１６）のいずれか１つに記載された無人車両の位置を判定するための方法を実行するために、無人車両を制御するプログラムコードを有するプログラムを記憶した
非一時的機械可読媒体。
（１８）無人車両UVの位置を判定するための機器であって、
全地球航法衛星システムの複数の衛星から測位信号を受信するように構成された受信器回路と、
(i)UVの環境の3次元モデル及び(ii)前記測位信号のそれぞれに対して可能性のある信号経路に基づいて、UVの位置を推定するように構成された処理回路と
を具備し、
前記測位信号のそれぞれに対して可能性のある信号経路の少なくとも一部は、UVの環境内の1つ以上の物体による前記測位信号の反射を含む
機器。
（１９）（１８）に記載の無人車両UVの位置を判定するための機器を具備する無人航空機UAV。
（２０）（１９）に記載の無人航空機であって、
前記無人航空機UAVは、マルチロータドローンである
無人航空機。
他の例の類似の特徴を置き換えるために、または、他の例に特徴を追加的に導入するために、先に詳述した実施例および図のうちの1つ以上と共に記載した態様および特徴を、他の例のうちの1つ以上と組み合わせることもできる。
明細書および図面は、本開示の原理を単に例示しているに過ぎない。さらに、本明細書に記載される全ての例は、主に、読者が本開示の原理を、さらに、発明者が当該技術分野をさらに進展させるのに貢献した概念を理解するのを助けるための、単なる例示的な目的のためのものであるように、明示的に意図されたものである。本明細書に記載される全ての記述は、本開示の原理、態様、および例、ならびに、それらの具体例を記述するものであり、それらの等価を包含することを意図している。
ブロック図は、例えば、本開示の原理を実施するハイレベルな回路図を図示することができる。同様に、フローチャート、フロー図、状態遷移図、疑似コードは、例えば、非一時的機械可読媒体(例えば、フロッピーディスク、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM、またはFLASH(登録商標)メモリ)で実質的に表され、プロセッサまたはプログラマブルハードウェアによって実行され、そのようなプロセッサまたはプログラマブルハードウェアが明示的に示されているか否かにかかわらず、様々なプロセス、動作またはステップを表すことができる。明細書または請求の範囲に開示されている方法は、これらの方法のそれぞれの作用を実行するための手段を有する装置によって実施される。
本明細書または請求の範囲に開示されている複数の作用、プロセス、動作、ステップまたは機能の開示は、例えば技術的な理由を明示的または黙示的に明記しない限り、特定の順序内にあると解釈してはならないことが理解されるべきである。従って、複数の作用または機能の開示は、そのような作用または機能が技術的理由から交換可能でない限り、これらを特定の順序に限定しないであろう。さらに、いくつかの例では、単一の作用、機能、プロセス、動作またはステップは、それぞれ複数のサブの作用、機能、プロセス、動作またはステップを含み得るか、または、それらに分けられ得る。このようなサブの作用は、明示的に除外されない限り、含まれてもよく、また、この単一の作用の開示の一部であってもよい。
さらに、以下のクレームは、ここでは、詳細な説明に組み込まれ、ここで、各クレームは、別個の例として、自立してもよい。各クレームは、別個の例として自立してもよいが、従属クレームは、1つ以上の他のクレームとの特定の組合せに対する複数のクレームにおいて言及してもよいが、他の例も、従属クレームまたは独立クレームの発明の内容との組合せを含んでもよいことに留意されたい。
このような組み合わせは、特定の組み合わせが意図されていないと記載されていない限り、本明細書では明示的に提案される。さらに、たとえこのクレームが独立クレームに直接従属していなくても、当該クレームの特徴を他の独立クレームにも含めることが意図されている。

Claims (18)

  1. 無人車両UVの位置を判定するための方法(100)であって、
    全地球航法衛星システムの複数の衛星から測位信号を受信するステップ(102)と、
    (i)UVの環境の3次元モデル及び(ii)前記測位信号のそれぞれに対して可能性のある信号経路に基づいて、UVの位置を推定するステップ(104)と
    を含み、
    前記可能性のある信号経路の少なくとも一部は、UVの環境内の1つ以上の物体による前記測位信号の反射を含み、
    前記測位信号のそれぞれについて可能性のある信号経路は、パーティクルフィルタによって表され、
    前記パーティクルフィルタは、SLAMアルゴリズム、前記UVの環境の3次元モデル、前記衛星の位置、及び、前記測位信号に関連する情報から、UVに対する姿勢推定値及び速度推定値を入力として受信し、
    前記方法は、前記パーティクルフィルタを使用して、前記測位信号のそれぞれについて可能性のある信号経路の中でそれぞれの最も可能性の高い信号経路を決定することを含む
    方法。
  2. 請求項１に記載の方法であって、
    前記UVの環境の3次元モデル内の物体は、それぞれの物体の無線周波数特性及び/または材料クラスに関する情報で意味的にラベル付けされている
    方法。
  3. 請求項１に記載の方法であって、
    前記UVの環境の3次元モデルが、静的オブジェクトのみを含む
    方法。
  4. 請求項１に記載の方法であって、
    前記UVの環境の前記3次元モデルが、少なくとも1つの移動物体を含む
    方法。
  5. 請求項１に記載の方法であって、
    UVの1つ以上のセンサのセンサデータに基づいて、前記UVの環境の3次元モデルを決定するステップ(106)をさらに含む
    方法。
  6. 請求項５に記載の方法であって、
    UVの前記1つ以上のセンサは、少なくとも光学センサ及び慣性計測装置を含む
    方法。
  7. 請求項６に記載の方法であって、
    前記UVの環境の3次元モデルを決定するステップは、前記光学センサ及び前記慣性計測装置のセンサデータに基づいて、同時位置決め・マッピング、SLAMアルゴリズムを使用してUVの環境の3次元表現を決定するステップと、
    前記光学センサのセンサデータに基づいて、前記光学センサのセンサデータによって表されるUVの環境の少なくとも1つの物体を、複数の事前定義されたカテゴリのうちの1つに分類するステップと、
    UVの環境の3次元表現内の前記少なくとも1つの物体を、UVの環境の3次元モデルを得るために、前記分類されたカテゴリで意味的にラベル付けするステップと、
    を含む
    方法。
  8. 請求項７に記載の方法であって、
    前記事前定義されたカテゴリは、無線周波数特性及び/または材料クラスである
    方法。
  9. 請求項７に記載の方法であって、
    前記方法は、前記測位信号のそれぞれに対して可能性のある信号経路の中のそれぞれの最も可能性の高い信号経路に基づいて、前記SLAMアルゴリズムの姿勢推定値及び速度推定値を更新するステップをさらに含む
    方法。
  10. 請求項９に記載の方法であって、
    前記UVの位置を推定するステップは、UVの位置として、前記SLAMアルゴリズムの前記更新された姿勢推定値によって示された位置を判定することを含む
    方法。
  11. 請求項９に記載の方法であって、
    前記SLAMアルゴリズムの更新された姿勢推定値及び更新された速度推定値に基づいて、前記UVの環境の3次元モデルを更新するステップをさらに含む
    方法。
  12. 請求項１に記載の方法であって、
    UVによって実行される
    方法。
  13. 請求項１に記載の方法であって、
    UVは、無人航空機UAVである
    方法。
  14. 請求項１３に記載の方法であって、
    UAVは、マルチロータドローンである
    方法。
  15. プログラムが無人車両のプロセッサまたはプログラマブルハードウェア上で実行されるときに、請求項１に記載された無人車両の位置を判定するための方法を実行するために、
    無人車両を制御するプログラムコードを有するプログラムを記憶した
    非一時的機械可読媒体。
  16. 無人車両UVの位置を判定するための機器(610)であって、
    全地球航法衛星システムの複数の衛星から測位信号を受信するように構成された受信器回路(611)と、
    (i)UVの環境の3次元モデル及び(ii)前記測位信号のそれぞれに対して可能性のある信号経路に基づいて、UVの位置を推定するように構成された処理回路(612)と
    を具備し、
    前記測位信号のそれぞれに対して可能性のある信号経路の少なくとも一部は、UVの環境内の1つ以上の物体による前記測位信号の反射を含み、
    前記測位信号のそれぞれについて可能性のある信号経路は、パーティクルフィルタによって表され、
    前記パーティクルフィルタは、SLAMアルゴリズム、前記UVの環境の3次元モデル、前記衛星の位置、及び、前記測位信号に関連する情報から、UVに対する姿勢推定値及び速度推定値を入力として受信するように構成され、
    前記処理回路(612)は、前記パーティクルフィルタを使用して、前記測位信号のそれぞれについて可能性のある信号経路の中でそれぞれの最も可能性の高い信号経路を決定するように構成される
    機器。
  17. 請求項１６に記載の無人車両UVの位置を判定するための機器(610)を具備する無人航空機(600)。
  18. 請求項１７に記載の無人航空機であって、
    前記無人航空機(600)は、マルチロータドローンである
    無人航空機。
JP2022502387A 2019-07-22 2020-05-15 無人車両及び無人航空機の位置を判定するための方法および機器 Active JP7635776B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19187607 2019-07-22
EP19187607.7 2019-07-22
PCT/EP2020/063604 WO2021013400A1 (en) 2019-07-22 2020-05-15 Method and apparatus for determining a position of an unmanned vehicle, and unmanned aerial vehicle

Publications (2)

Publication Number Publication Date
JP2022541185A JP2022541185A (ja) 2022-09-22
JP7635776B2 true JP7635776B2 (ja) 2025-02-26

Family

ID=67438398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022502387A Active JP7635776B2 (ja) 2019-07-22 2020-05-15 無人車両及び無人航空機の位置を判定するための方法および機器

Country Status (5)

Country Link
US (1) US12099129B2 (ja)
EP (1) EP4004602B1 (ja)
JP (1) JP7635776B2 (ja)
CN (1) CN114144700B (ja)
WO (1) WO2021013400A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12148206B2 (en) 2022-03-31 2024-11-19 Wing Aviation Llc Method for controlling an unmanned aerial vehicle to avoid obstacles
US12602924B2 (en) 2022-03-31 2026-04-14 Wing Aviation Llc Method for semantic localization of an unmanned aerial vehicle
CN115310867A (zh) * 2022-09-27 2022-11-08 北京易控智驾科技有限公司 无人车的调度平台、无人车、调度方法及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010534849A (ja) 2007-07-31 2010-11-11 テレ アトラス ベスローテン フエンノートシャップ 位置を判定する方法及び装置
WO2014188919A1 (ja) 2013-05-20 2014-11-27 一般財団法人生産技術研究奨励会 位置検出装置、位置検出システム及び位置検出方法
US20170299727A1 (en) 2015-10-01 2017-10-19 The Regents Of The University Of California System and method for localization and tracking
US20180038694A1 (en) 2016-02-09 2018-02-08 5D Robotics, Inc. Ultra wide band radar localization
WO2019135364A1 (ja) 2018-01-05 2019-07-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080033645A1 (en) * 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
CN114675671B (zh) * 2014-09-05 2025-10-21 深圳市大疆创新科技有限公司 多传感器环境地图构建
US10495762B2 (en) * 2017-05-19 2019-12-03 Qualcomm Incorporated Non-line-of-sight (NLoS) satellite detection at a vehicle using a camera
US11169274B2 (en) * 2018-10-30 2021-11-09 Here Global B.V. Method, apparatus, and computer program product for establishing location
US11340354B2 (en) * 2019-06-26 2022-05-24 Nio Usa, Inc. Methods to improve location/localization accuracy in autonomous machines with GNSS, LIDAR, RADAR, camera, and visual sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010534849A (ja) 2007-07-31 2010-11-11 テレ アトラス ベスローテン フエンノートシャップ 位置を判定する方法及び装置
WO2014188919A1 (ja) 2013-05-20 2014-11-27 一般財団法人生産技術研究奨励会 位置検出装置、位置検出システム及び位置検出方法
US20170299727A1 (en) 2015-10-01 2017-10-19 The Regents Of The University Of California System and method for localization and tracking
US20180038694A1 (en) 2016-02-09 2018-02-08 5D Robotics, Inc. Ultra wide band radar localization
WO2019135364A1 (ja) 2018-01-05 2019-07-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
US12099129B2 (en) 2024-09-24
JP2022541185A (ja) 2022-09-22
WO2021013400A1 (en) 2021-01-28
CN114144700A (zh) 2022-03-04
EP4004602B1 (en) 2025-10-08
US20220252737A1 (en) 2022-08-11
EP4004602A1 (en) 2022-06-01
CN114144700B (zh) 2025-09-05

Similar Documents

Publication Publication Date Title
Wen et al. GNSS NLOS exclusion based on dynamic object detection using LiDAR point cloud
Wen et al. Tightly coupled GNSS/INS integration via factor graph and aided by fish-eye camera
EP4318397B1 (en) Method of computer vision based localisation and navigation and system for performing the same
US10365363B2 (en) Mobile localization using sparse time-of-flight ranges and dead reckoning
KR102463176B1 (ko) 위치 추정 장치 및 방법
US20170023659A1 (en) Adaptive positioning system
CN108873038A (zh) 自主泊车定位方法及定位系统
US8315794B1 (en) Method and system for GPS-denied navigation of unmanned aerial vehicles
JP7635776B2 (ja) 無人車両及び無人航空機の位置を判定するための方法および機器
Dumble et al. Airborne vision-aided navigation using road intersection features
Sabatini et al. Navigation and guidance system architectures for small unmanned aircraft applications
Wang et al. UGV‐UAV robust cooperative positioning algorithm with object detection
Wen 3D LiDAR aided GNSS and its tightly coupled integration with INS via factor graph optimization
Bai et al. Real-time GNSS NLOS detection and correction aided by sky-pointing camera and 3D LiDAR
Wang et al. Sky-view images aided NLOS detection and suppression for tightly coupled GNSS/INS system in urban canyon areas
Marut et al. Visual-based landing system of a multirotor UAV in GNSS denied environment
de Haag et al. sUAS swarm navigation using inertial, range radios and partial GNSS
Li et al. AutoMine: A Multimodal Dataset for Robot Navigation in Open‐Pit Mines
Lu et al. GRVINS: tightly coupled GNSS-range-visual-inertial system
Gu et al. SLAM with 3dimensional-GNSS
Zahran et al. Augmented radar odometry by nested optimal filter aided navigation for UAVS in GNSS denied environment
Hu et al. Visual-Inertial-GNSS Fusion Positioning for Vehicles With Deep Learning-Based Feature Extraction and Outlier Detection
De Vivo et al. Nonvisible satellite estimation algorithm for improved uav navigation in mountainous regions
Ronen et al. Development Challenges and Performance Analysis of Drone Visual/Inertial SLAM in a Global Reference
CN120800366B (zh) 基于msckf的多历元抗差导航系统的紧组合定位方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250127

R150 Certificate of patent or registration of utility model

Ref document number: 7635776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150