JP2023541424A - 車両位置決定方法および車両位置決定装置 - Google Patents
車両位置決定方法および車両位置決定装置 Download PDFInfo
- Publication number
- JP2023541424A JP2023541424A JP2023516263A JP2023516263A JP2023541424A JP 2023541424 A JP2023541424 A JP 2023541424A JP 2023516263 A JP2023516263 A JP 2023516263A JP 2023516263 A JP2023516263 A JP 2023516263A JP 2023541424 A JP2023541424 A JP 2023541424A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- determining
- image
- correction value
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012937 correction Methods 0.000 claims abstract description 28
- 238000003384 imaging method Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 8
- 230000004807 localization Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012907 on board imaging Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/18—Propelling the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3476—Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/408—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本開示は、安定ランドマークに基づいて車両の補正位置を決定するための方法及び装置に関する。 この方法は、車両の直近の既知の位置ベクトルを決定することと、撮像デバイスを使用して車両の周辺内の画像を取り込むことと、事前に構築された車両の周辺の基準マップに基づいて、取り込まれた画像内の安定ランドマークを識別することと、決定された車両の直近の既知の位置ベクトルと識別された安定ランドマークとに基づいて、車両の位置の補正値を決定することと、決定された補正値に基づいて車両の更新位置を決定することとを含む。
Description
本発明は、車両位置を決定することに概ね関する。より具体的には、全地球航法衛星システム(GNSS)と、慣性計測ユニット(IMU)と、既定の安定ランドマークとの組合せに基づく車両位置の正確な位置特定に関する。
近年、自律運転がますます現実味を帯びてきており、車両内で全体的または部分的に自律システムを実装するために必要とされるツールおよび技術は、様々な自律機能を処理および実行するための十分に正確かつ有用なデータを提供しなければならなくなっている。自律車両システムについて極めて重要なことは、任意の時間における車両の環境内の正確な位置を決定することである。これは、車両が出発地から目的地まで正確に移動することを可能にするだけでなく、近くの車両、歩行者、インフラなどと車両が衝突しないことを確実にする。
自律運転システムには、サブレーン精度(つまり一般的にはデシメートルレベルの精度)での位置特定が必要である。このような位置特定は、高速道路で見られるような晴天かつ見通しのよい条件下では、リアルタイムキネマティック(RTK)または精密単独測位(PPP)を含む高精度GNSS技術を使用することによって実現可能である。しかしながら、接近して位置する建物およびその他の様々な密集したインフラを有する都市条件では、GNSSは、信号障害や多重路伝搬などの悪影響をしばしば受ける。これは、GNSSセンサが十分な精度で車両の位置を特定する能力を妨げる。この障害に対する解決策は、妨害地域においてGNSS決定位置を強化するための付加的な測位方法を実施することを含む。付加的な測位方法は、デッドレコニング、IMU測定の統合、ビジュアルオドメトリ、カメラまたはLIDAR測定のいずれかに基づく同時ローカライゼーションおよびマッピング(SLAM)アルゴリズム、マップまたは点群マッチング、特徴および/またはランドマークを基準とする位置特定、およびこれらの組合せを含む。
これらの方法は、2つの個別のカテゴリ、すなわち慣性法およびマップベースの方法に分類することができる。慣性法は、IMU、ビジュアルオドメトリ、およびSLAMアルゴリズムを実施する方法を含む。これらは、車両の現在の環境についての事前知識がなくても、現在のセンサ読取り値に基づいて車両位置の推定値を決定するために使用される。これらの手法の欠点は、GNSS信号が失われたときに車両位置の推定値がその正確な値からずれることである。このずれは、直近の既知の正確な位置から走行した時間または距離とともに増加する。
マップベースの方法(マップまたは点群マッチングと、特徴またはランドマークに基づく位置特定とを含む)においては、車両位置を決定するために、事前に生成された基準マップなどの環境に関する事前知識が使用される。これにより、周囲環境の既知の詳細に基づいて車両位置の推定値のずれを補償することができる。マップベースの方法は、GNSSと結び付けられた場合、慣性法と比較して精度の向上をもたらす。これは、位置推定値が、正確なGNSS信号が利用不可能になったときから走行した時間または距離に無関係であるためである。従来のマップベースの方法の種類によっては、例えば、以前取り込まれた画像または基準マップを構築するために使用される点群データに基づいて、特定のエリアのマップが最初に生成される。そして車両がそのエリアを移動中であってGNSS信号を正確に受信できないときに、車両は、車載撮像デバイスから現在の画像を取り込み、システムは、車両の正確な位置を決定するために、取り込まれた画像と事前に生成されたマップとのマッチングを試みる。
しかしながら、現在のマップベースの方法は非効率的であることが多く、最良の一致(best match)を決定するために複数の基準マップの可能性を分析する必要がある。それにより、時間と走行中の車両上では容易に利用できない演算能力との両方が必要である。したがって、都市条件において車両位置を決定する方法を改善することが望ましい。
本開示は、直近の既知の位置と、安定ランドマークと、車両の現在の周囲の基準マップとの組み合わせに基づいて車両の位置を決定する方法を提供する。一実施形態では、車両の周辺の基準マップを予め決定し、マップ内で安定ランドマークを識別および位置特定する。何が安定ランドマークとして適格であるかを判断するために、対象エリアの複数の画像をある期間にわたって取り込み、一定のままで変化しない特徴を安定していると見なす。
ランドマークが安定していると識別されると、そのランドマークをマップ内の基準点として使用することで、直近の既知の位置に結びつけられた車両の位置を決定してもよい。本開示の一実施形態では、車両の位置ベクトルを決定する。この位置ベクトルは、車両が走行している速度および方向を表す。都市環境、または現在位置ベクトルを決定することが困難な同様の環境では、直近の既知の位置ベクトルを決定する。さらに、直近の既知の位置ベクトルおよび車両の現在の周辺内の安定ランドマークに基づいて、現在位置の補正値を決定する。
車両の周辺の画像を、例えば車載カメラによって取り込んで車両の現在位置を決定するために使用する。取り込まれた画像は、安定ランドマークと、車両の位置を定めるために、カメラの方向を示すデータとを含んでいてもよい。更なる実施形態では、慣性計測ユニット(IMU)を実装して、GNSS信号に基づく位置精度が閾値を下回った後のある期間にわたって車両の位置を決定することにより、直近の既知の位置が正確であると判断される時間を延ばす。IMUから読み出されたデータの精度がIMU閾値を下回った後、基準マップと取り込まれた画像とに基づいて、車両位置の補正値を計算する。
上述の実施形態およびここで述べられる実施形態のその他の効果については、少なくとも本概要と、以下の詳細な説明と、添付の図面とを参照することにより、当業者にとって明らかとなろう。
自律運転用途では、慣性法が有効であり続ける時間は非常に限られているため、位置決定の精度が閾値を下回る時間が長引く場合は、慣性法よりもマップベースの方法が優れた位置推定を行うことができる。しかしながら、既存のマップベースの方法は、いくつかの課題を抱えている。環境の時間的変動、および、他の車両や仮設インフラなどによって引き起こされる遮り(オクルージョン)などは、取り込まれた現在の画像と基準マップとの間の一致を効率的かつ正確に決定する際の障害となる。道路標識または信号機などのランドマークは消失したり移動されたりする可能性がある。車線区分線はすり減る可能性がある。木の葉、雪、泥、仮設または半永久的な交通標識などの出現・消失によって、自律運転車両の撮像デバイスが認識する環境が著しく変化する可能性がある。基準マップはすぐに古くなる可能性があり、不正確なマップのみを頼ることは、不正確な位置決定につながる。マップマッチングまたは特徴マッチングアルゴリズムは、これらの未知の変化に起因して機能しなくなる可能性があり、車両位置が不明なままとなるか、または不正確な位置となる。さらに、マップベースの方法のみを頼ることにより、更なる課題を引き起こす可能性がある。というのは、直近の既知の位置に頼らずにGNSS位置からマップベース位置に直接シフトするには、短時間のうちに画像をマップに肯定一致(positive match)させる必要があり、多くの場合、正確な位置推定を維持しながらそのような迅速なマッチングを正確に行うことは、車両の速度に起因して、不可能ではないが難しい。
車両位置決定方法の一実施形態は、安定ランドマークを有する基準マップを作成することと、GNSSシステムおよびIMUシステムと併せて基準マップを使用して車両の正確な現在位置を決定することとを含む。開示された方法は、GNSSのみから決定され得る車両の現在位置の精度が閾値を下回るときに使用され得る。
以下の説明において、安定ランドマークを含む基準マップの生成について説明する。基準マップの生成は、位置決定の最中の車両以外の車両に対して行われてもよい。なぜなら、基準マップは、何が安定ランドマークとして適格かを判断するために、長期間にわたって多数の画像の取り込みを必要とするからである。生成された基準マップは、車両による将来のアクセスのために(例えば、図2に示す方法の間に使用するために)その後記憶してもよい。
図1は、一実施形態に係る、少なくとも1つの安定ランドマークを識別するための方法100のフローチャートである。
ステップ110では、様々な地理的エリアの複数の画像を、ある期間にわたって撮像デバイスによって取り込む。撮像デバイスは、カメラ、LIDARセンサなどを含んでもよい。例えば、1つ以上の撮像デバイスを備えた車両は、様々な地理的エリアを移動し、ある期間にわたって各エリアにおける複数の方向および視点から画像を取り込む。一実施形態では、上記期間は少なくとも1年であり、それぞれの季節を通して画像を取り込むことが可能である。
ステップ120では、取り込まれた画像内に示される1つ以上のランドマークに関連する地理参照空間情報を受信する。地理参照空間情報は、物理的位置に関連付けられた、画像内のランドマークに関連する注目点(points of interest)を含む。このような関連付けは、手動で、もしくは例えばコンピュータビジョンや機械学習などを介した自動タグ付けを使用して行うことができる。一実施形態では、地理参照空間情報は、LIDARから集められた情報、モバイルマッピングシステムから集められた情報、または、写真測量を使用して3D点群に処理された収集画像から集められた情報に基づいて決定される。
ステップ130では、同一エリアの画像内の地理参照空間情報をある期間にわたって比較する。例えば、そのエリアの第1の画像は秋に取り込まれ、第2の画像は冬に取り込まれ、第3の画像は春に取り込まれ、第4の画像は夏に取り込むことができる。様々な物体、要素、または、注目点は、いくつかの画像には現れるが、他の画像には現れない。例えば、葉は、春および夏には木に存在するが、秋または冬には存在しない場合がある。同様に、迂回標識またはトラフィックコーンなどの仮設交通アイテムは、第1の画像には現れるが、第2、第3、または第4の画像には現れない場合がある。対照的に、例えば木または街灯柱は、そのエリアの各画像内に一貫して存在し得る。
ステップ140では、この期間で変化する画像の要素は、地理参照空間情報から除外される。残りの要素は、安定ランドマークとして指定される。一実施形態では、容易に識別可能なランドマーク(例えば、大きな長方形の建物または橋)のみが安定ランドマークとして指定される。これによって、より効率的かつ高速な識別が可能となる。
ステップ150では、安定ランドマークの地理参照空間情報に前処理をして、地理参照空間情報を3次元マップに関連させる。一実施形態では、3次元マップを安定ランドマークなしで事前に生成する。前処理は、安定ランドマークの注目点(例えば、コーナーや認識された形状または色など)を、3次元マップ内の既知の位置座標にマッチングすることを含む。一実施形態では、地理参照空間情報の前処理は、体積構造作成、高密度深度計算、及び特徴点検出のうちの少なくとも1つを含む。したがって、前処理は、安定ランドマークを3次元マップ内の既知の位置に関連付けることを含む。マップは、安定ランドマークを含むように更新され、本明細書中で述べるように車両位置を決定するための基準マップとして使用されてもよい。
マップは、画像、点群データ、それらの組み合わせなどを含み得る。一実施形態では、マップは、各安定ランドマークに関連付けられた特徴点をさらに含む。特徴点は、車両によって取り込まれた画像をマップに効率的にマッチングすることを可能とするために、各安定ランドマークの注目点(コーナーまたは認識された形状など)を示す特徴記述子を含んでもよい。
加えて、安定ランドマークの位置決め情報は、基準マップ内に埋め込まれる。したがって、マップは地理参照空間画像情報を含んでおり、安定ランドマークを、外部標準(例えば、緯度座標や経度座標など)と、周囲環境内の安定ランドマークの配置(例えば、周辺環境内ではその安定ランドマークが他の2つ以上の安定ランドマークの間に位置していると識別される)とを基準に設定された位置にリンクさせる。安定ランドマークの位置は、デシメートルレベルの精度で識別される。視覚インデックスを基準マップに基づいて構築してもよい。このインデックスは、画像とその位置との関連付けを含む。
基準マップおよびその中で識別された安定ランドマークは、GNSSに基づく位置決定が所要閾値を下回るときに現在位置を決定するために、走行中の車両によって使用されてもよい。一実施形態では、基準マップは、必要に応じて車両の位置特定装置がマップにアクセス可能なように、リモートアクセス可能な記憶装置、または、アクセス可能な車載記憶装置に保存される。
図2は、車両がエリアを移動中にGNSSに基づく位置決定の精度が所要閾値を下回るときに車両位置を決定するための方法200のフローチャートである。閾値を下回る(つまり超える)原因としては、エリア内のインフラまたは物体からのGNSS信号の妨害や、GNSS信号の多重路伝搬、位置決定のために使用されるGNSS衛星が地平線より下がることによる受信GNSS信号の弱化などがあり得る。例えば、GNSSは、多くの場合、位置を決定するために3つ以上の衛星信号を使用する。1つ以上の衛星からの信号が、前述の理由などのために、走行中の車両のGNSSレシーバによって受信または使用できない場合、所要閾値を超えることになり、GNSSは車両の正確な位置決定を行うのに十分ではなくなる。
ステップ210では、GNSSに基づく位置決定の精度が所要閾値を下回るかどうかを判断する。下回る場合は、この方法ではステップ220に進む。そうでない場合は、ステップ210での判断を繰り返す。一実施形態では、所要閾値を超えたという判断は、設定された期間を経て初めて行われる。更に別の実施形態では、ステップ210は任意のステップであり、方法200は、GNSS信号の強度または可用性にかかわらず、連続的に実行される。
ステップ220では、車両の直近の既知の位置ベクトルを決定する。位置ベクトルは、車両が走行している速度および方向を含む。直近の既知の位置ベクトルは、車両またはGNSSレシーバから直接決定され得る直近の既知の速度と、車載コンパスから決定され得る直近の既知の方向とに基づく。一実施形態では、直近の既知の位置ベクトルは、GNSSに基づく位置など、十分に正確であると見なされる車両の直近の既知の位置に基づいて決定される。一実施形態では、直近の既知の位置ベクトルは、推定現在位置を決定するために、現在の車両速度と結び付けられる。
一実施形態では、車両の直近の既知の位置ベクトルを、GNSS信号に加えてさらに慣性計測ユニット(IMU)に基づいて決定してもよい。直近の既知の位置ベクトルはGNSSのみに基づいて決定してもよく、IMUは、所要閾値を超えた後にのみ使用される。
更なる実施形態では、直近の既知の位置ベクトルは、GNSSに基づく位置決定が所要閾値を下回った後に、IMUのみに基づいて決定される。IMUは、閾値を超えてから車両がどれだけ走行したかを判断するために、車両の内部走行距離計と共に使用されてもよい。更に別の実施形態では、IMUは、常にGNSSと共にデータを決定するように構成され、直近の既知の位置ベクトルは、常にGNSSとIMUの両方からのデータに基づく。
IMUは、限られた時間において十分な精度を提供する。例えば、閾値を超えてから5秒以内は1デシメートル内の精度である。しかしながら、一実施形態では、限られた時間の後でもIMUから位置ベクトルを決定し、直近の既知の位置ベクトルの代わりに車両位置の近似値を決定する。
ステップ230では、車両が走行している周辺の1つ以上の画像が、例えば、車載カメラなどの車載撮像デバイスを用いて取り込まれる。周辺は、車両を中心とした設定半径の距離、または、車両に搭載された撮像デバイスからの視野(例えば、車両前方または周辺の可視風景)を含んでもよい。
ステップ240では、車両の周辺の安定ランドマークを、取り込まれた1つ以上の画像から識別し、基準マップと比較する。安定ランドマークは、車両環境の画像内で識別可能な特徴であり、永久的または半永久的であると判断されるため基準点として信頼できる。
一実施形態では、安定ランドマークは、車両の周辺の事前に構築された基準マップに基づいて識別される。この基準マップは、例えば図1で説明した基準マップのように、基準点として信頼できると判断された1つ以上の安定ランドマークを含む。基準マップは、車両内に局在的に格納されてもよいし、例えば車両からアクセス可能な外部またはクラウドベースのサーバ上にリモートで格納されてもよい。基準マップの安定ランドマークは、コンピュータビジョン、機械学習、スケール不変特徴変換(SIFT:scale-invariant feature transform)特徴検出アルゴリズムなどを使用して、取り込まれた画像の識別された安定ランドマークにマッチングされる。
ステップ250では、直近の既知の位置ベクトルと識別された安定ランドマークとに基づいて、補正値を決定する。補正値は以下のように表されてもよい。つまり、事前に構築された基準マップをMとする。時間tにおける直近の既知の位置ベクトルXの推定値が既知であり、車載撮像デバイスからの画像Iが取り込まれる。f(t)とX+x’に位置する仮想カメラに対するMの投影像との間の類似性の尤度を最大化する、直近の既知の位置ベクトルXに対する補正値x’が決定される。補正値は、最小二乗調整、ランダムサンプルコンセンサス(RANSAC)などの既知の最適化アルゴリズムを使用して決定される。
一実施形態では、仮想カメラをX+x’に配置して、補正された位置における車両の周辺の画像を構築し、構築された人工画像が実際のカメラによって取り込まれた実際の画像に最も類似するようにする。補正値x’が分かれば、その位置は既知であると高精度で判断され、直近の既知の位置ベクトルに対して補正が加えられる。補正値が分からない場合は、または、類似性の尤度が閾値を下回る場合は、画像Iは破棄される。そのような場合、位置の推定を補正値x’なしでIMUのみに基づく推定に拡大してもよい。そして次の画像が処理される。
一実施形態では、複数の視覚的に類似する画像フレームが、視覚インデックスを使用してデータベースから読み出される。これら複数の視覚的に類似する画像フレームの各々は、車両周辺のシーンを示す。視覚インデックスは、事前に構築された基準マップとの関連付けであり、視覚的に類似する画像は、基準マップ内の位置と関連付けられる。複数の視覚的に類似する画像フレームは、カメラ位置を推定し、補正値x’を決定するために使用される。
一例として、視覚的に類似する画像フレームは、図1に示す方法において説明されるように、事前に収集される。これらの画像は、設定された間隔で(例えば1メートル毎に)道路から取り込んでもよいし、その道路のすべての車線から取り込んでもよい。したがって、視覚インデックスは、複数の視点からのシーンの複数の画像を含む。補正値の決定は、現在取り込んだ画像を、この現在取り込んだ画像に最も類似している視覚インデックス内の画像とマッチングさせることを含む。そのようなマッチングは、画像マッチングアルゴリズムを使用して行われる。
特定の基準画像についてのカメラ位置は、特徴マッチングに基づいて推定してもよく、結果として、
によって表される2D-3D対応点の集合となる。最小ソルバーおよびRANSACを用いて、再投影誤差が以下の式によって表されるように、インライアの集合でクエリ画像ωqの位置を推定する。
ここで、再投影誤差は十分に小さく(例えば誤差閾値を下回り)、ωrはマップに記憶された基準画像の位置である。πはカメラ投影像を示し、ωcは車両を基準とするカメラの位置を示す。十分にロバストな推定が決定されれば、すべてのインライアに対する再投影誤差の合計を、ωqによって最適化できる。
によって表される2D-3D対応点の集合となる。最小ソルバーおよびRANSACを用いて、再投影誤差が以下の式によって表されるように、インライアの集合でクエリ画像ωqの位置を推定する。
ここで、再投影誤差は十分に小さく(例えば誤差閾値を下回り)、ωrはマップに記憶された基準画像の位置である。πはカメラ投影像を示し、ωcは車両を基準とするカメラの位置を示す。十分にロバストな推定が決定されれば、すべてのインライアに対する再投影誤差の合計を、ωqによって最適化できる。
更なる実施形態では、インライア集合と、異なる基準画像からの位置推定値とが集められて、すべての再投影誤差の合計の最適化がもう一度行われる。
ステップ260では、補正に基づいて更新位置を決定する。一実施形態では、更新位置は、位置特定の調整(例えば更新されたGPS座標の組など)を含む。更なる実施形態では、更新位置は、車両の速度に対する調整をさらに含む。
図3は、本開示の実施形態に係る装置300のブロック図である。一実施形態では、装置300は、図2と併せて説明したように、車両において使用される、現在位置を決定するための位置特定装置として実現できる。更なる実施形態では、装置300は、図1と併せて説明したように、車両において使用される、基準マップ構築用の画像を収集するための収集装置として実現できる。
装置300は、データ記憶デバイス320とメモリ330とに操作可能に接続されたプロセッサ310を備えている。プロセッサ310は、装置300の動作を定義するコンピュータプログラム命令を実行することにより、装置300の動作全般を制御する。コンピュータプログラム命令は、データ記憶デバイス320または他のコンピュータ可読媒体に記憶され、コンピュータプログラム命令の実行が必要なときにメモリ330にロードされてもよい。したがって、少なくとも図1ないし図3の方法ステップは、メモリ330および/またはデータ記憶デバイス320に記憶されているコンピュータプログラム命令により定義され、これらのコンピュータプログラム命令を実行するプロセッサ310により制御され得る。例えば、コンピュータプログラム命令は、少なくとも図1ないし図2の方法ステップにより定義されるアルゴリズムを実行するように当業者によってプログラムされたコンピュータ実行可能コードとして実現できる。
装置300はまた、ネットワーク(不図示)を介して他のデバイスと通信するための1つ以上のネットワークインタフェースを含んでいる。装置300は、測位衛星システムから信号を受信するように構成されたGNSSレシーバ340と、装置300が設置された車両の慣性測定値(例えば、加速度、角速度、向きなど)を決定するように構成された任意のIMU360とをさらに含む。装置300は、設定された車両周辺の環境の静止画像、ビデオ、またはその両方を取り込むように構成された、カメラまたはLIDARセンサ等の撮像デバイス370をさらに含んでもよい。装置300の様々な要素は、バス380を介して互いに接続される。
プロセッサ310は、汎用マイクロプロセッサと専用マイクロプロセッサとの両方を含んでいてもよく、装置300の唯一のプロセッサであっても、複数のプロセッサの1つであってもよい。プロセッサ310は、例えば、1つ以上の中央処理装置(CPU)で構成されてもよい。プロセッサ310、データ記憶デバイス320、および/またはメモリ330は、1つ以上の特定用途向け集積回路(ASIC)および/または1つ以上のフィールド・プログラマブル・ゲート・アレイ(FPGA)を含むか、これらによって補完されるか、またはこれらに内蔵されてもよい。
データ記憶デバイス320およびメモリ330はそれぞれ、有形の非一時的コンピュータ可読記憶媒体で構成される。データ記憶デバイス320およびメモリ330はそれぞれ、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、ダブルデータレート同期型ダイナミックランダムアクセスメモリ(DDR RAM)、または他のランダムアクセスの固体メモリ装置などの高速ランダムアクセスメモリを含んでいてもよく、内蔵ハードディスク、リムーバブルディスクなどの1つ以上の磁気ディスク記憶装置、光磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリ装置、消却・プログラム可能型読取専用メモリ(EPROM)、電気的消却・プログラム可能型読取専用メモリ(EEPROM)などの半導体メモリ装置、コンパクトディスク読取専用メモリ(CD-ROM)、デジタル多用途ディスク読取専用メモリ(DVD-ROM)ディスクなどの不揮発性メモリ、またはその他の不揮発性固体記憶装置を含んでいてもよい。
実際のコンピュータ、コンピュータシステム、またはコンピューティングデバイスの実装は、別の構造を有していたり別の構成要素を備えていたりしてもよいことや、装置300は単に例示のために構成要素の一部を高レベルで表現したものであることを、当業者であれば容易に認識するであろう。
本明細書に記載のすべてのシステムおよび方法は、デジタル回路を用いて、または公知のコンピュータプロセッサ、メモリユニット、記憶デバイス、コンピュータソフトウェアや他の構成要素を用いる1つ以上のコンピュータを用いて実現されてもよい。典型的には、コンピュータは、命令を実行するためのプロセッサと、命令およびデータを記憶するための1つ以上のメモリとを備えている。また、コンピュータは、1つ以上の磁気ディスク、内部ハードディスクおよびリムーバブルディスク、光磁気ディスク、光ディスクなどの、1つ以上の大容量記憶装置を備えていてもよく、または1つ以上の大容量記憶装置に接続されていてもよい。
本明細書に記載のすべてのシステムおよび方法は、クライアント-サーバ関係において動作するコンピュータを用いて実現してもよい。一般的には、そのようなシステムでは、クライアントコンピュータは、サーバコンピュータから離れて配置され、ネットワークを介して通信する。クライアント-サーバ関係は、クライアントコンピュータとサーバコンピュータとのそれぞれで実行されるコンピュータプログラムによって定義および制御されてもよい。本開示において、車両は、スタンドアロンネットワーク接続を備えてもよく、または携帯電話などの二次デバイスを介して外部データにアクセスすることに頼ってもよい。
本明細書に記載のすべてのシステムおよび方法は、プログラマブルプロセッサに実行されるように、情報担体(例えば、非一時的機械可読記憶装置)において有形具現化されたコンピュータプログラム製品を用いて実施されてもよい。本明細書に記載の方法ステップは、そのようなプロセッサによって実行できる1つ以上のコンピュータプログラムを用いて実施されてもよい。コンピュータプログラムは、任意の動作を行ったり、任意の結果を得たりするためにコンピュータにおいて直接的または間接的に使用することができる1組のコンピュータプログラム命令であってもよい。コンピュータプログラムは、コンパイラ型言語やインタープリタ型言語などの任意の方式のプログラミング言語で記載してもよく、スタンドアロンプログラムとして、またはモジュール、構成要素、サブルーチンや演算環境での利用に適した他のユニットとしてなど、任意の方式で展開してもよい。
以上の「発明を実施するための形態」は、あらゆる点において例示的であって限定的ではないものとして理解されるべきであり、本明細書に開示される本発明概念の範囲は、「発明を実施するための形態」から判断されるのではなく、各特許法において認められる全容に渡って解釈される特許請求の範囲から判断されるべきものである。当然のことながら、本明細書に図示、説明された実施形態は、本発明概念の原理を例示したにすぎず、本発明概念の範囲および趣旨から逸脱することなく、当業者によって様々な修正が行われてもよい。当業者は、本発明の概念の範囲および趣旨から逸脱することなく、他の様々な特徴の組合せを実現できるであろう。
Claims (22)
- 車両の直近の既知の位置ベクトルを決定することと、
撮像デバイスを使用して前記車両の周辺内の画像を取り込むことと、
事前に構築された前記車両の周辺の基準マップに基づいて、取り込まれた前記画像内の安定ランドマークを識別することと、
前記直近の既知の位置ベクトルと前記安定ランドマークとに基づいて、前記車両の位置の補正値を決定することと、
決定された前記補正値に基づいて前記車両の更新位置を決定することと、
を備える、ことを特徴とする、車両位置決定方法。 - 前記車両の位置の前記補正値を決定することは、
取り込まれた前記画像を、取り込まれた前記画像に最も類似している視覚インデックス内の画像とマッチングさせることをさらに備える、
ことを特徴とする、請求項1に記載の方法。 - 取り込まれた前記画像をマッチングさせることは、特徴マッチングと再投影誤差の最小化とに基づく、
ことを特徴とする、請求項2に記載の方法。 - 前記再投影誤差は、
で表され、πは前記撮像デバイスの投影像を示し、ωcは前記車両を基準とする前記撮像デバイスの位置を示し、ωqはクエリ画像の位置を示し、ωrは前記基準マップに記憶された基準画像の位置を示す、
ことを特徴とする、請求項3に記載の方法。 - 前記車両の位置の前記補正値を決定することは、全地球航法衛星システム(GNSS)に基づく前記車両の位置決定の位置精度が所要閾値を下回るときに行われる、
ことを特徴とする、請求項1に記載の方法。 - 前記車両の前記直近の既知の位置ベクトルは、少なくとも部分的に慣性計測ユニット(IMU)に基づいて決定される、ことを特徴とする、請求項1に記載の方法。
- 前記車両の位置の前記補正値を決定することは、前記IMUから読み出されたデータの精度が閾値を下回るときに行われる、
ことを特徴とする、請求項6に記載の方法。 - 前記撮像デバイスは、カメラおよびLIDARセンサのうちの少なくとも1つを含む、ことを特徴とする、請求項1に記載の方法。
- 事前に構築された前記基準マップは、複数の安定ランドマークに関する地理参照空間情報に基づくものであり、前記複数の安定ランドマークは、ある期間にわたって取り込まれた画像に基づいて決定される、
ことを特徴とする、請求項1に記載の方法。 - 装置自身の位置を決定するように構成された全地球航法衛星システム(GNSS)レシーバと、
撮像デバイスと、
プロセッサと、
車両の位置を決定するためのコンピュータプログラム命令を記憶するメモリとを備えた装置であって、
前記コンピュータプログラム命令は前記プロセッサ上で実行されると前記プロセッサに複数の動作を実行させ、前記複数の動作は、
前記GNSSレシーバに基づいて前記車両の直近の既知の位置ベクトルを決定することと、
前記撮像デバイスを使用して前記車両の周辺内の画像を取り込むことと、
事前に構築された前記車両の周辺の基準マップに基づいて、取り込まれた前記画像内の安定ランドマークを識別することと、
決定された前記車両の前記直近の既知の位置ベクトルと識別された前記安定ランドマークとに基づいて、前記車両の位置の補正値を決定することと、
決定された前記補正値に基づいて前記車両の更新位置を決定することと、
を備える、ことを特徴とする、装置。 - 前記車両の位置の前記補正値を決定することは、
取り込まれた前記画像を、取り込まれた前記画像に最も類似している視覚インデックス内の画像とマッチングさせることをさらに備える、
ことを特徴とする、請求項10に記載の装置。 - 取り込まれた前記画像をマッチングさせることは、特徴マッチングと再投影誤差の最小化とに基づく、
ことを特徴とする、請求項11に記載の装置。 - 前記再投影誤差は、
で表され、πは前記撮像デバイスの投影像を示し、ωcは前記車両を基準とする前記撮像デバイスの位置を示し、ωqはクエリ画像の位置を示し、ωrは前記基準マップに記憶された基準画像の位置を示す、
ことを特徴とする、請求項12に記載の装置。 - 前記車両の位置の前記補正値を決定することは、全地球航法衛星システム(GNSS)に基づく前記車両の位置決定の位置精度が所要閾値を下回るときに行われる、
ことを特徴とする、請求項10に記載の装置。 - 前記車両の前記直近の既知の位置ベクトルは、少なくとも部分的に慣性計測ユニット(IMU)に基づいて決定される、
ことを特徴とする、請求項10に記載の装置。 - 前記車両の位置の前記補正値を決定することは、前記IMUから読み出されたデータの精度が閾値を下回るときに行われる、
ことを特徴とする、請求項15に記載の装置。 - 前記撮像デバイスは、カメラおよびLIDARセンサのうちの少なくとも1つを含む、
ことを特徴とする、請求項10に記載の装置。 - 事前に構築された前記基準マップは、複数の安定ランドマークに関する地理参照空間情報に基づくものであり、前記複数の安定ランドマークは、ある期間にわたって取り込まれた画像に基づいて決定される、
ことを特徴とする、請求項10に記載の装置。 - 車両の位置を決定するためのコンピュータプログラム命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータプログラム命令はプロセッサ上で実行されると前記プロセッサに複数の動作を実行させ、前記複数の動作は、
前記車両の直近の既知の位置ベクトルを決定することと、
撮像デバイスを使用して前記車両の周辺内の画像を取り込むことと、
事前に構築された前記車両の周辺の基準マップに基づいて、取り込まれた前記画像内の安定ランドマークを識別することと、
前記直近の既知の位置ベクトルと前記安定ランドマークとに基づいて、前記車両の位置の補正値を決定することと、
決定された前記補正値に基づいて前記車両の更新位置を決定することと、
を備える、ことを特徴とする、非一時的コンピュータ可読媒体。 - 前記車両の位置の前記補正値を決定することは、
取り込まれた前記画像を、取り込まれた前記画像に最も類似している視覚インデックス内の画像とマッチングさせることをさらに備える、
ことを特徴とする、請求項19に記載の非一時的コンピュータ可読媒体。 - 取り込まれた前記画像をマッチングさせることは、特徴マッチングと再投影誤差の最小化とに基づく、
ことを特徴とする、請求項19に記載の非一時的コンピュータ可読媒体。 - 前記再投影誤差は、
で表され、πは前記撮像デバイスの投影像を示し、ωcは前記車両を基準とする前記撮像デバイスの位置を示し、ωqはクエリ画像の位置を示し、ωrは前記基準マップに記憶された基準画像の位置を示す、ことを特徴とする、請求項21に記載の非一時的コンピュータ可読媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/RU2020/000477 WO2022055382A1 (en) | 2020-09-10 | 2020-09-10 | A method and device for determining a vehicle position |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023541424A true JP2023541424A (ja) | 2023-10-02 |
Family
ID=80470546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023516263A Pending JP2023541424A (ja) | 2020-09-10 | 2020-09-10 | 車両位置決定方法および車両位置決定装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11846520B2 (ja) |
EP (1) | EP4211423A1 (ja) |
JP (1) | JP2023541424A (ja) |
CN (1) | CN116097128A (ja) |
WO (1) | WO2022055382A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11604476B1 (en) | 2018-10-05 | 2023-03-14 | Glydways Inc. | Road-based vehicle guidance system |
US20230092861A1 (en) * | 2021-09-20 | 2023-03-23 | GM Global Technology Operations LLC | Communication-based vehicle safety message generation and processing |
CN115014377A (zh) * | 2022-06-27 | 2022-09-06 | 中国第一汽车股份有限公司 | 一种导航方法、系统及存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9201424B1 (en) * | 2013-08-27 | 2015-12-01 | Google Inc. | Camera calibration using structure from motion techniques |
US11370422B2 (en) * | 2015-02-12 | 2022-06-28 | Honda Research Institute Europe Gmbh | Method and system in a vehicle for improving prediction results of an advantageous driver assistant system |
WO2017172778A1 (en) * | 2016-03-28 | 2017-10-05 | Sri International | Collaborative navigation and mapping |
US9672446B1 (en) * | 2016-05-06 | 2017-06-06 | Uber Technologies, Inc. | Object detection for an autonomous vehicle |
CN111542860A (zh) * | 2016-12-30 | 2020-08-14 | 迪普迈普有限公司 | 用于自主车辆的高清地图的标志和车道创建 |
US10380890B2 (en) | 2017-02-08 | 2019-08-13 | Baidu Usa Llc | Autonomous vehicle localization based on walsh kernel projection technique |
KR102326077B1 (ko) * | 2017-06-15 | 2021-11-12 | 엘지전자 주식회사 | 3차원 공간의 이동 객체를 식별하는 방법 및 이를 구현하는 로봇 |
US10935978B2 (en) | 2017-10-30 | 2021-03-02 | Nio Usa, Inc. | Vehicle self-localization using particle filters and visual odometry |
US20190316929A1 (en) * | 2018-04-17 | 2019-10-17 | Faraday&Future Inc. | System and method for vehicular localization relating to autonomous navigation |
JP7326720B2 (ja) * | 2018-10-26 | 2023-08-16 | 富士通株式会社 | 移動体位置推定システムおよび移動体位置推定方法 |
WO2021046578A1 (en) * | 2019-09-05 | 2021-03-11 | NetraDyne, Inc. | Vehicular sensor system calibration |
US11373389B2 (en) * | 2020-06-23 | 2022-06-28 | Tusimple, Inc. | Partitioning images obtained from an autonomous vehicle camera |
-
2020
- 2020-09-10 CN CN202080103841.9A patent/CN116097128A/zh active Pending
- 2020-09-10 EP EP20953450.2A patent/EP4211423A1/en active Pending
- 2020-09-10 WO PCT/RU2020/000477 patent/WO2022055382A1/en unknown
- 2020-09-10 JP JP2023516263A patent/JP2023541424A/ja active Pending
- 2020-09-10 US US17/276,470 patent/US11846520B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2022055382A1 (en) | 2022-03-17 |
CN116097128A (zh) | 2023-05-09 |
US20220074757A1 (en) | 2022-03-10 |
EP4211423A1 (en) | 2023-07-19 |
US11846520B2 (en) | 2023-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108303721B (zh) | 一种车辆定位方法及系统 | |
KR102425272B1 (ko) | 디지털 지도에 대한 위치를 판별하기 위한 방법 및 시스템 | |
CN108369420B (zh) | 用于自主定位的设备和方法 | |
EP3343172B1 (en) | Creation and use of enhanced maps | |
Schreiber et al. | Laneloc: Lane marking based localization using highly accurate maps | |
EP2133662B1 (en) | Methods and system of navigation using terrain features | |
Brenner | Extraction of features from mobile laser scanning data for future driver assistance systems | |
CN108627175A (zh) | 用于识别车辆位置的系统和方法 | |
US11846520B2 (en) | Method and device for determining a vehicle position | |
JP5404861B2 (ja) | 静止物地図生成装置 | |
CN110221328A (zh) | 一种组合导航方法和装置 | |
Zang et al. | Accurate vehicle self-localization in high definition map dataset | |
WO2013149149A1 (en) | Method to identify driven lane on map and improve vehicle position estimate | |
JP2008065087A (ja) | 静止物地図生成装置 | |
JPWO2020039937A1 (ja) | 位置座標推定装置、位置座標推定方法およびプログラム | |
WO2022062480A1 (zh) | 移动设备的定位方法和定位装置 | |
JP7114165B2 (ja) | 位置計算装置、及び、位置計算プログラム | |
CN115135963A (zh) | 用于在场景地图中生成3d参考点的方法 | |
US20190293444A1 (en) | Lane level accuracy using vision of roadway lights and particle filter | |
KR102543871B1 (ko) | 도로정보 변화 영역 보완 방법 및 시스템 | |
Bao et al. | Vehicle self-localization using 3D building map and stereo camera | |
CN115409910A (zh) | 一种语义地图构建方法、视觉定位方法及相关设备 | |
CN109997052B (zh) | 利用交叉传感器特征点参考生成环境模型并定位的方法和系统 | |
CN113227713A (zh) | 生成用于定位的环境模型的方法和系统 | |
US20220122316A1 (en) | Point cloud creation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230905 |