JP6637088B2 - ウォルシュ・カーネル・投影技術に基づく自動運転車両の位置決め - Google Patents

ウォルシュ・カーネル・投影技術に基づく自動運転車両の位置決め Download PDF

Info

Publication number
JP6637088B2
JP6637088B2 JP2018021136A JP2018021136A JP6637088B2 JP 6637088 B2 JP6637088 B2 JP 6637088B2 JP 2018021136 A JP2018021136 A JP 2018021136A JP 2018021136 A JP2018021136 A JP 2018021136A JP 6637088 B2 JP6637088 B2 JP 6637088B2
Authority
JP
Japan
Prior art keywords
candidate
feature space
candidate cells
similarity score
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018021136A
Other languages
English (en)
Other versions
JP2018128456A (ja
Inventor
クアン ワン
クアン ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of JP2018128456A publication Critical patent/JP2018128456A/ja
Application granted granted Critical
Publication of JP6637088B2 publication Critical patent/JP6637088B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G08G1/13Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station the indicator being in the form of a map
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

本発明の実施例は、主に自動運転車両の運転に関する。より具体的に、本発明の実施形態は、自動運転車両の位置決めの効率及び精度を向上することに関する。
車両が自動運転モード(例えば、無人運転)で走行している場合、乗員、特に運転手を運転に関連するいくつかの責任から解放することができる。自動運転モードで走行している場合、当該車両が車載センサを使用して様々な場所へ案内されることができ、それによりヒューマン・インタラクションの最も少ない場合、又は乗客なしの場合に走行することを可能にする。
自動運転の一つの基本的な挑戦は、様々な重要情報が注釈されている高解像度(HD)地図に対して自動運転車両の位置を効率的に、正確に、リアルタイムで決定することである。最悪の場合でも、精度は10cm以内が必要である。高解像度(HD)地図におけるADV位置は、ADVシステム構成要素(例えば、感知、計画及び制御)により用いられて、精確でタイムリーにADV運転決定をする。ADVのHD地図における位置を決定するように、一つ又は複数のADV位置センサは、当該ADVに含まれたり、搭載されたりする。センサは、全地球測位システム(GPS)や慣性測定ユニット(IMU)、無線感知及び測距(RADAR)、光感知及び測距(LIDAR)を含む。既存のハードウェアに基づく測位システム(例えば、全地球測位システム(GPS)及び慣性測定ユニットセンサ(IMU))は、特に、複素信号閉塞状況を有するダイナミックな都市環境において、HDマップに対して必要な精度を提供することができない。
既存の自動運転車両の位置決め方法は、一般的に3つの主要なカテゴリーがあり、即ち、2D方法、3D方法、及び2D-3Dの融合方法である。これらの3つ方法のうち、レーザスキャナ(例えばLIDARセンサ)を用いた3Dに基づく方法は、その高精度と信頼性のため、現在人気がある。従来のLIDARセンサを用いてHD地図におけるADV位置を決定する方法には、計算的に高価であり、ただ普通の正確さとロバスト性を有する。
本発明の一つの態様は自動運転車両(ADV)を操作するためのコンピュータ実施方法を提供し、この方法は、前記自動運転車両の周りのセルの自動運転車両の特徴空間における複数の候補セルの第1サブセットを決定するステップと、前記複数の候補セルの第1サブセットにおける候補セルのそれぞれに対して、第1次元基礎ベクトルを使用して前記自動運転車両の特徴空間におけるサブセットを地図特徴空間に投影することにより、前記候補セルを囲む前記自動運転車両の特徴空間の前記サブセットと、前記地図特徴空間との間の類似性点数を決定し、前記類似性点数が不十分な類似性を示すと判断されたことに応答して、前記候補セルを拒絶としてマークし、さもなければ、前記類似性点数と前記候補セルとを関連付けて記憶するステップと、前記複数の候補セルにおいて最高の類似性点数を有する、前記複数の候補セルにおける候補セルの少なくとも一部に基づいて、前記地図特徴空間に対する前記自動運転車両の位置を決定するステップと、を含む。
本発明のもう一つの態様は不発揮性の機械可読媒体を提供し、前記不発揮性の機械可読媒体にコマンドが記憶されており、前記コマンドがプロセッサにより実行されると、前記プロセッサに以下の操作を実行させ、前記操作は、前記自動運転車両の周りのセルの自動運転車両の特徴空間における複数の候補セルの第1サブセットを決定するステップと、前記複数の候補セルの第1サブセットにおける候補セルのそれぞれに対して、第1次元基礎ベクトルを使用して前記自動運転車両の特徴空間におけるサブセットを地図特徴空間に投影することにより、前記候補セルを囲む前記自動運転車両の特徴空間の前記サブセットと、前記地図特徴空間との間の類似性点数を決定し、前記類似性点数が不十分な類似性を示すと判断されたことに応答して、前記候補セルを拒絶としてマークし、さもなければ、前記類似性点数と前記候補セルとを関連付けて記憶するステップと、前記複数の候補セルにおいて最高の類似性点数を有する、前記複数の候補セルにおける候補セルの少なくとも一部に基づいて、前記地図特徴空間に対する前記自動運転車両の位置を決定するステップと、を含む。
本発明のもう一つの態様はデータ処理システムを提供し、このデータ処理システムはプロセッサと、前記プロセッサに連結されてコマンドを記憶するメモリと、を含み、前記メモリがプロセッサにより実行されると、前記プロセッサに以下の操作を実行させる、データ処理システムであって、前記操作は、前記自動運転車両の周りのセルの自動運転車両の特徴空間における複数の候補セルの第1サブセットを決定するステップと、前記複数の候補セルの第1サブセットにおける候補セルのそれぞれに対して、第1次元基礎ベクトルを使用して前記自動運転車両の特徴空間におけるサブセットを地図特徴空間に投影することにより、前記候補セルを囲む前記自動運転車両の特徴空間の前記サブセットと、前記地図特徴空間との間の類似性点数を決定し、前記類似性点数が不十分な類似性を示すと判断されたことに応答して、前記候補セルを拒絶としてマークし、さもなければ、前記類似性点数と前記候補セルとを関連付けて記憶するステップと、前記複数の候補セルにおいて最高の類似性点数を有する、前記複数の候補セルにおける候補セルの少なくとも一部に基づいて、前記地図特徴空間に対する前記自動運転車両の位置を決定するステップと、を含む。
本発明の実施形態は図面の各図において限定的ではなく例示的な形態で示され、図面における同じ図面符号が類似した素子を示す。
本発明の一つの実施形態にかかるネットワークシステムの概略を示すブロック図である。 本発明の一つの実施形態にかかる自動運転車両(ADV)センサ及び制御モジュールの例を示すブロック図である。 本発明の一つの実施形態にかかる自動車両用の感知及び計画システムの例を示すブロック図である。 いくつかの実施形態にかかる候補セルの捜索空間により囲まれるADVを示し、候補セルの捜索空間は、HD地図に対するADVの位置を決定するようにHD地図を捜索することに用いられる。 いくつかの実施形態にかかる候補セルのアレイ又はグリードにより囲まれるADV及びADVの候補捜索空間を囲むADV特徴空間を示し、候補セルのアレイ又はグリードは、HD地図に対するADVの位置を決定するようにHD地図を捜索することに用いられる。 いくつかの実施形態にかかるHD地図特徴空間を捜索してHD地図に対するADVの位置を決定する方法の概要をブロック図で示す。 いくつかの実施形態にかかる、投影技術を使用してADVの周りの候補特徴空間の捜索を実行することでHD地図に対するADVの位置を決定する方法をブロック図で示す。 いくつかの実施形態にかかる、最初に投影技術を使用した後に、ADVの周りの候補特徴空間における残った候補セルの類似点数を決定する方法をブロック図で示す。 いくつかの実施形態にかかる、HD地図特徴空間を前処理してHD地図特徴空間における特徴の数を減少する方法をブロック図で示す。 本発明の一つの実施形態にかかるデータ処理システムを示すブロック図である。
以下、説明の詳細を参照しながら、本発明の様々な実施形態及び態様を説明し、図面は、前記様々な実施形態を示す。以下の説明及び図面は、本発明を説明するためのものであり、本発明を限定するものではない。本発明の様々な実施形態を完全に理解するために、多数の特定の詳細を説明する。なお、いくつかの例では、本発明の実施形態に対する簡単な説明を提供するために、周知又は従来技術の詳細について説明していない。
本明細書において「一つの実施形態」又は「実施形態」の記載は、当該実施形態と組み合わせて説明された特定特徴、構造又は特性が本発明の少なくとも一つの実施形態に含まれてもよいことを意味している。語句「一つの実施形態では」は、本明細書全体において同一実施形態を指すとは限らない。
第一の実施形態において、高解像度(HD)地図に対してADVの位置を決定する方法は、全地球測位衛星の位置データを使用してADVの近似位置を決定することを含む。GPS位置に対応するHD地図を含むデータベースをアクセスして当該HD地図の注釈付きの特徴空間を取得する。典型的なGPSの読み取り値について、約3メートル以内である場合は正確である。HD地図は、例えば、10cmx10cmのセルを含み、セルは各セルに関する高度、及び(例えば、複数のLIDARの読み取り値から取得された)強度値を有する。強度値は、LIDARを反射する目標の表面性質を示す。LIDARレーザを直接に反射する硬い表面を有するものは、強度が高い。柔らかい又は不規則な表面を有するもの(例えば、ブッシュ又は人間)は、強度が低い。HD地図は、各セルに用いられる注釈を含み、注釈にセル生成用のセンサ強度の読み取り値の平均値と、複数のセンサの読み取り値から取得された、セル生成用の高度情報の分散とが含まれる。各セルは、さらに、HD地図に対してADVの位置を決定するための位置情報を含んでもよい。
ADVは、センサ、例えば、LIDARを使用して、ADVの周りのセンサデータの3Dポイントクラウドを収集することできる。センサデータは、分析して例えば10cmx10cm或いはもっと小さいセルに分解されることができる。HD地図と同じように、セルの集合がADVの周りの特徴空間を生成するために用いられる。特徴空間は、ADVに対するセルの(x、y)座標と、センサ読み取り値の平均強度と、センサデータにおける高度読み取り値の分散とを含む。ADV特徴空間からADVの周りの、例えば、32x32候補セルの候補捜索空間を選択することができ、前記候補捜索空間は3mx3mの物理区間を示す。候補セルを通る(step through)ようにステップサイズを選択することができる。例えば、候補セルの周りの候補特徴空間とHD地図特徴空間との類似度について、2つのステップサイズとは、候補セルにおける1つおきのセルが、当該候補セルの周りの特徴空間の類似度を決定するために用いられることを意味している。候補セルの周りの候補特徴空間は、1024x1024個のセル(各辺が約100メートルの正方形)であってもよい。HD地図が約1024x1024個のセルのHD地図特徴空間を有してもよい。各トラバースされた候補セルのために類似度計量を決定することができる。類似度計量は、候補セルの周りの特徴空間とHD地図の特徴空間との類似のレベルを定量化する。類似度計量は、候補セルの強度特性の平均値と、当該セルの高度特性の分散の少なくとも一部に基づいてもよい。本実施形態において、第一候補セルの類似度が計算されてもよい。最高の類似度を持つ候補セルは決定されることができる。
他の実施形態において、ADVが、HD地図に対する更新を生成するために3Dポイントクラウド情報を収集することできる。例えば、グローバルポジショニング衛星位置データを使用してADVの近似位置を決定することができる。ADVの近似位置に対応するHD地図の一部を取得することができる。一つの実施形態において、HD地図の部分は、少なくとも、1024x1024個のセルの大きさ(各エッジは約100メートルの正方形)を有する。ADVは、LIDARのようなセンサを使用してADVの周りのセンサデータの3Dポイントクラウドを収集する。3Dポイントクラウドは、分析して例えば10cmx10cm或いはもっと小さいセルに分解されることができる。セルの集合がADVの周りの特徴空間を生成するために用いられる。特徴空間は、ADVに対するセルの(x、y)座標と、センサ読み取り値の平均強度と、センサデータにおける高度読み取り値の分散とを含む。ADV特徴空間からADVの周りの、例えば、32x32候補セルの候補捜索空間を選択することができ、前記候補捜索空間は3mx3mの物理区間を示す。候補セルを通るようにステップサイズを選択することができる。例えば、2つのステップサイズとは、候補セルにおける1つおきのセルが、候補セルの周りの候補特徴空間とHD地図の特徴空間との類似性をチェックすることに用いれることを意味している。候補セルの周りの候補特徴空間は、1024x1024個のセル(毎各辺が約100メートルの正方形)であってもよい。HD地図が約1024x1024個のセルのHD地図特徴空間を有してもよい。各候補セルのために類似度計量を決定することができる。類似度計量は、候補セルの強度特性の平均値と、当該セルの高度特性の分散の少なくとも一部に基づいてもよい。最高の類似度を持つ候補セルは決定されることができる。
ADV特徴区間がHD地図に位置合わせされた後に、ADV特徴区間をサーバにアップロードして、さらに分析を行ってHD地図を更新することができる。一つの実施例において、サーバが、アップロードされたADV特徴区間とHD地図の特徴区間との差異を分析する。差異は、新しい建物や木、人、異なる一時的なものなどを含む。一つの実施形態において、セルの高度情報は、セル内容の信頼できる指標である。例えば、一つ又は複数の高い建物は、HD地図において相対的に一定なものであり、例えば、動的な人間(だから強度が変更する)及び高さが比較的に低い建物よりも一定である。
他の一実施形態では、大量、高速変化のデータセット(例えば、ADVの周りのADV特徴空間)を記憶するための改良されたデータ構造は、予め配分された、又は静的で更新可能なインデックスによりインデックスされる特徴空間セルのアレイを含む。実施形態において、特徴空間セルのアレイは、前回の特徴空間の計算から距離が変更した(ずれた)セルの数を決定することができる。x座標インデックスアレイ及びy座標インデックスアレイが、特徴空間セルのグリードのインデックスを回転したり、改めて位置合わせたりすることに用いられ、新データを追加することができる。よって、特徴空間のグリードの一部ではなくなる旧データを上書するようになる。第1時間t0〜第2時間t1の間に変更されていないデータが第2時間t1において同一のグリード空間メモリに保持されることを可能にする。これは、大量のメモリの「移動」操作が節約されるとともに、ADVが物理的移動してADV特徴空間データが更新されるときに、メモリ空間の配分と開放のオーバヘッドが節約される。
図1は本発明に係る一実施形態に係るネットワークシステムの概略を示すブロック図である。図1を参照して、ネットワーク配置100はネットワーク102によって1つ以上のサーバ103〜104に通信可能に接続することができる自動運転車両101を含む。1つの自動運転車両101を示すが、ネットワーク102によって複数の自動運転車両は互いに接続され、及び/又はサーバ103〜104に接続されることができる。ネットワーク102は、任意のタイプのネットワーク、例えば有線又は無線のローカルエリアネットワーク(LAN)、例えばインターネットのような広域ネットワーク(WAN)、セルラーネットワーク、衛星ネットワーク又はその組み合わせであってもよい。サーバ103〜104は任意のタイプのサーバ又はサーバクラスタ、例えばWebサーバ又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ又はその組み合わせであってもよい。サーバ103〜104は、データ分析サーバ、内容サーバ、交通情報サーバ、地図(マップ)及び興味のあるポイント(MPOI)サーバ又は位置サーバ等であってもよい。以下に、図9を参照し、例示のサーバシステムを説明する。一つ又は複数のサーバ103は、機器学習エンジン103A、地図更新モジュール103B及び地図グリードモジュール103Cを有する分析システムを含んでもよい。
自動運転車両101とは、運転手からの制御入力が非常に少ない又はない場合に案内して環境を通過する自動運転モードに設置される車両である。自動運転車両101は、車両が走行している環境にかかる情報を検出するように配置される一つ又は複数のセンサを含むセンサシステム115を備える。車両及びその関連するコントローラが、検出された情報で案内して環境を通過する。自動運転車両101が手動モード、完全自動運転モード又は部分自動運転モードで運転される。
一実施形態において、自動運転車両101は、感知及び計画システム110と、車両制御システム111と、無線通信システム112と、ユーザインターフェースシステム113と、センサシステム115とを含むが、これらに制限されない。自動運転車両101は、通常の車両に含まれるある一般的な構成要素(部材)、例えばエンジン、車輪、ハンドル、変速器等をさらに含んでもよく、前記構成要素は、車両制御システム111及び/又は感知及び計画システム110により多種の通信信号及び/又はコマンド(例えば加速信号又はコマンド、減速信号又はコマンド、ステアリング信号又はコマンド、ブレーキ信号又はコマンド等)を使用して制御されることができる。
サーバ103は、機器学習エンジン103A、地図更新モジュール103B及び地図グリードモジュール103Cを有するデータ分析システムを含んでもよい。各このようなモジュールは、ソフトウェア、ハードウェア又はそれらの組み合わせによって実施されてもよい。実施形態において、機器学習エンジン103A、地図更新モジュール103B及び地図グリードモジュール103Cは、少なくとも一つのハードウェアプロセッサを含む。
地図更新モジュール103Bは、複数のADVからADV特徴空間データ及びADV特徴空間に関する大体の地理的位置を受信することができる。機器学習エンジン103Aは、特定の地理的位置における大量のADV特徴空間を処理することができ、機器学習を使用して前記地理的位置における特徴空間の高解像度(HD)地図を生成する。実施形態において、ADV特徴空間情報を収集するADVは高解像度GPSを含んで、ADV特徴空間に関する地理的位置を正確に決定することに用いられる。地図更新モジュール103Bは、HD地図特徴空間とともに使用される投影カーネルセット、例えば、Gray Codeカーネルを決定することができる。実施形態において、Gray Codeカーネルは、投影カーネルのWalsh−Hadamardシーケンスである。単一のADV特徴空間又は生成されたHD地図特徴空間は、テスト画像として用いられ、カーネルを使用してHD地図特徴空間を前処理する。投影カーネルは、順に応用される順位付けのセットを含み、各投影カーネルの次元のためにGray Code地図を生成し、生成されたGray Code地図と投影カーネルの次元及び特徴空間と関連付けられて記憶する。実施形態において、500個ほど多い投影カーネルの次元を生成してHD地図特徴空間とともに使用されることができる。実施形態において、カーネル投影ベクトルを使用してHD地図特徴空間を前処理することは、各連続する投影カーネルの類似性取得量の間の関係を決定し、ADVに用いられる投影カーネルの次元の数を決定して、候補セルを中心とするADV特徴空間とHD地図特徴空間との間の類似性点数を決定することに用いられる。実施形態において、決定された投影カーネルの次元の数が五(5)であってもよい。Gray Codeカーネルの各次元に用いられるHD特徴空間地図及び関連するカーネル投影は、地図グリード103Cとして記憶されてもよい。
構成要素110〜115は、インターコネクト、バス、ネットワーク又はそれらの組み合わせを介して互いに通信可能に接続することができる。例えば、構成要素110〜115は、コントローラローカルエリアネットワーク(CAN)バスを介して互いに通信可能に接続することができる。CANバスは、マイクロコントローラ及び装置がホストコンピューターのない応用において互いに通信することを許可するような車両バス標準として設計される。それは、最初に自動車内における多重(multiplex)電線のために設計されたメッセージに基づくプロトコルであるが、他のたくさんの環境(状況)にも用いられる。
図2は本発明の一つの実施形態にかかる自動車両(ADV)センサ及び制御モジュールの例を示すブロック図である。
いま、図2を参照して、一実施形態において、センサシステム115は、一つ以上のカメラ211と、全地球測位システム(GPS)ユニット212と、慣性計測ユニット(IMU)213と、レーダーユニット214と、光検出及び測距(LIDAR)ユニット215とを含むが、これらに制限されない。GPSシステム212は、送受信機を含んでもよく、前記送受信機は、自動運転車両の位置に関する情報を提供するように操作されることができる。IMUユニット213は、慣性加速度に基づいて自動運転車両の位置及び方向の変化を感知することができる。レーダーユニット214は、無線信号を使用して自動運転車両のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、対象を感知する以外、レーダーユニット214は、さらに対象の速度及び/又は走行方向を感知することができる。LIDARユニット215はレーザを使用して自動運転車両の所在する環境における対象を感知することができる。その他のシステム構成要素以外、LIDARユニット215は一つ以上のレーザ光源、レーザースキャナ及び一つ以上の検出器をさらに含んでもよい。カメラ211は、自動運転車両の周辺環境の画像をキャプチャするための一つ以上の装置を含んでもよい。カメラ211は、スチルカメラ及び/又はビデオカメラであってもよい。カメラは、例えば回転及び/又は傾斜のプラットフォームに取り付けられる、機械的に移動可能なものであってもよい。
センサシステム115は、その他のセンサ、例えばソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ、及びオーディオセンサ(例えばマイクロフォン)をさらに含んでもよい。オーディオセンサは、自動運転車両101周辺の環境から音をキャプチャするように配置されてもよい。ステアリングセンサは、ハンドル、車両の車輪又はその組み合わせのステアリング角を感知するように配置されることができる。スロットルセンサ及びブレーキセンサは、それぞれ車両のスロットル位置及びブレーキ位置を感知する。いくつかの場合、スロットルセンサ及びブレーキセンサは、集積型スロットル/ブレーキセンサに一体化されてもよい。
一実施形態において、車両制御システム111は、ステアリングユニット201と、スロットルユニット202(加速ユニットとも呼ばれる)と、ブレーキユニット203とを含むが、これらに制限されない。ステアリングユニット201は、車両の方向又は走行方向を調整することに用いられる。スロットルユニット202は、モーター又はエンジンの速度を制御して、さらに車両の速度及び加速度を制御することに用いられる。ブレーキユニット203は、摩擦を提供することによって車両の車輪又はタイヤをスローダウンして車両を減速させることに用いられる。注意すべきなのは、図2に示すような構成要素はハードウェア、ソフトウェア又はその組み合わせで実現されることができる。
図1を再び参照して、無線通信システム112は、自動運転車両101と、例えば装置、センサ、その他の車両等の外部システムとの間に通信することを可能にする。例えば、無線通信システム112は、一つ以上の装置に直接に又は通信ネットワークを介して無線通信し、例えばネットワーク102によってサーバ103〜104に通信することができる。無線通信システム112は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク(WLAN)(例えばWiFi)を使用して他の構成要素やシステムに通信することができる。無線通信システム112は、例えば赤外線リンク、ブ経路ゥースを使用して装置(例えば、乗客の移動装置、表示装置、車両101内のスピーカー)に直接に通信することができる。ユーザインターフェースシステム113は、車両101内で実行される周辺装置の一部であってもよく、例えばキーボード、タッチスクリーンディスプレイ装置、マイクロフォン、及びスピーカー等を含む。
自動運転車両101の一部又はすべての機能は、特に自動運転モードで操作する場合、感知及び計画システム110により制御されたり管理されたりすることができる。感知及び計画システム110は、必要なハードウェア(例えば、プロセッサ、メモリ、記憶装置)、及びソフトウェア(例えば、オペレーティングシステム、計画及びルーティングプログラム)を含み、センサシステム115、車両制御システム111、無線通信システム112、及び/又はユーザインターフェースシステム113から情報を受信し、受信された情報を処理し、出発地から目的地までの経路や経路を計画し、そして計画及び制御情報に基づいて車両101を運転させる。あるいは、感知及び計画システム110と車両制御システム111とは一体化されてもよい。実施形態において、感知及び計画システム110の計画部分をオフすることができる。実施形態において、車両制御システム111をオフすることができる。そして、自動運転車両101は、計画及び制御モジュールがオフされているときに人間の運転手により運転されることができる。本文に記載の実施形態は、オンされている計画システム110及び車両制御システム111を使用する。
操作中、乗客とするユーザは、例えばユーザインターフェース113によって旅程の出発位置及び目的位置を指定することができる。感知及び計画システム110は旅程関連データを取得する。例えば、感知及び計画システム110は、MPOIサーバから位置及び経路情報を取得することができ、前記MPOIサーバはサーバ103〜104の一部であってもよい。位置サーバは、位置サービスを提供し、かつMPOIサーバはマップサービス及びある位置のPOIを提供する。あるいは、このような位置及びMPOI情報は、感知及び計画システム110の不揮発性記憶装置にローカルにキャッシュされることができる。
自動運転車両101が経路に沿って走行する期間に、感知及び計画システム110は、さらに交通情報システムやサーバ(TIS)からリアルタイム交通情報を取得できる。注意すべきなのは、サーバ103〜104は、第三者エンティティにより動作されることができる。あるいは、サーバ103〜104の機能は、感知及び計画システム110と一体化されてもよい。リアルタイム交通情報、MPOI情報、位置情報、及びセンサシステム115が検出又は感知したリアルタイムなローカル環境データ(例えば、障害物、対象、付近車両)に基づいて、感知及び計画システム110は、安全で効果的に指定した目的地に到達するように、最適な経路を計画し、かつ計画した経路により例えば車両制御システム111を介して車両101を運転することができる。
自動運転車両101において、実際の窓又は物理的な窓を存在しない可能性がある。勿論、「窓」(本文に仮想窓と呼ばれる)は、表示装置(即ち、車窓形状に成形された平坦又は湾曲しているスクリーン表示装置)で示されたり置き換えられたりすることができる。表示装置は、タッチパネルを有することが好ましい。表示装置は、まるでユーザが透明の窓を透して実際の物理的内容を見ている(観察している)ように、適している一つ又は複数のカメラでリアルタイムで動的に収集された画像又は画像ストリーム(例えば、ビデオ)を表示する。各「窓」(例えば、表示装置)について、対応する表示チャンネルを有し、リアルタイムで表示しようとする、拡張現実システム(例えば、データ処理システム110)により集中処理可能な対応内容を流れ出すことができる。
本文に記載の実施形態において、自動運転車両101が、計画及び制御モジュールがオンされて自動モードで運転する場合、センサシステム115における各センサからの出力を記録することができる。車両制御システム111の構成要素の入力は、計画モジュール110により提供されることができる。
図3は本発明の一つの実施形態にかかる、ADVの感知及び計画システム110と、センサシステム115と、車両制御システム111とを含むシステム300を示すブロック図である。システム300は、図1の自動運転車両101の一部として実現されることができる。図3を参照して、感知及び計画システム110は、位置決めモジュール301、感知モジュール302、決定モジュール303、計画モジュール304、制御モジュール305、地図更新モジュール306を含むが、これに限定されない。
モジュール301〜306の一部又は全部は、ソフトウェア、ハードウェア、又はそれらの組み合わせによって実現されてもよい。例えば、これらのモジュールが不揮発性の記憶装置352にインストールされ、メモリ351にロードされて一つ又は複数のプロセッサ(図示せず)によって実行されてもよい。一部又は全部のモジュールは、図2に示す車両制御システム111における一部又は全部のモジュールに通信可能に連結されたり、統合されたりしてもよい。また、モジュール301〜306の一部、一つの集積モジュールとして一体化されてもよい。
位置決めモジュール301(地図と経路モジュールとも呼ばれる)は、ユーザの行程や経路に関連する任意のデータを管理する。ユーザは、例えば、ユーザインタフェースを介してログインして行程の出発位置と目的地を指定することができる。位置決めモジュール301は、自動運転車両300の他の構成要素(例えば、地図及び経路情報311)と通信して行程に関連するデータを取得する。例えば、位置決めモジュール301は、位置サーバ、地図及びPOI(MPOI)サーバから位置と経路情報を取得することができる。位置サーバは、位置情報サービスを提供し、MPOIサーバは地図サービスと、地図サービスとある位置のPOIとを提供し、地図及び経路情報311の一部としてキャッシュされてもよい。自動運転車両300が経路に沿って走行する期間に、位置決めモジュール301は、さらに交通情報システムやサーバからリアルタイム交通情報を取得することができる。
位置決めモジュール301は、ADVの位置を高精度に決定することを目的とする。例えば、GPSを使用してADVの位置を大体決定する。GPS座標は、GPS位置を中心とし、かつ、約100mx100mのセルを有するHD地図特徴空間の高解像度(HD)の地図を取得するために用いられる。感知モジュール302のADV車載センサは、ADVの周りの約100mx100mのセルを有するADV特性空間を生成することができる。HD地図に対するADVの実際位置を決定するために、位置決めモジュール301は、ADV特徴空間の候補部分における候補セルとHD地図との最適マッチングを見つけることができる。前記マッチングは、ADVと、GPS位置を中心とするHD地図特徴空間とのずれを決定する。このずれを使用して、HD地図特徴空間とあわせてADVの実際の高精度位置を決定することができる。
位置決めモジュール301は、位置モジュール301Aと、投影捜索モジュール301Bと、類似性捜索モジュール301Cとを含む。位置モジュール301Aは、感知モジュール302におけるセンサからセンサデータの3Dポイントクラウドを取得することができる。3Dポイントクラウドは、ADVの周りのセンサデータを示す。位置モジュール301Aは、3Dポイントクラウドを分析してデータのセルのADV特徴空間を生成することができ、各セルは、10cmx10cmの面積を表す。各セルは、ADV特徴空間における(x、y)座標、平均強度及び高度分散を有してもよい。実施形態において、ADV特徴空間は、ADVの周りの1024x1024個のセルを含むことができる。位置モジュール301Aは、さらに、例えば、GPS読み取り値又はセルタワーと協調することによりADVの大体位置を取得することができる。位置モジュール301Aは、GPS座標の周りの約1024x1024個のセルのHD地図特徴空間を示すセルの高解像度(HD)地図をさらに取得することができる。HD地図特徴空間における各セルは、実際の座標(例えば、高解像度GPS又は他の座標系)においてセルの実際位置を示す(x、y)座標を有する。HD地図特徴空間における各セルは、さらに、セルの平均強度及びセルにおける高度分散を含んでもよい。HD地図特徴空間は、HD地図特徴空間における各セルの実際の高解像度位置や町住所情報、商業情報、レストラン、ガソリンスタンド、他の有用情報が含まれる注釈を含んでもよい。
GPSの近似精確度は約3メートルの解像度である。投影捜索モジュール301Bは、ADVの周りの、例えば、32x32個のセルの候補空間を決定し、候補空間における各候補セルの周りの例えば1024x1024個のセルのADV特徴空間と、例えば1024x1024個のセルのHD地図特徴空間とをマッチングすることができる。
投影捜索モジュール301Bは、ADVの周りの、例えば、32x32個のセルの候補空間を決定することができる。候補空間における各候補セルに対して、投影捜索モジュール301Bが、候補セルの周りの例えば1024x1024個のセルのADV特徴空間と、例えば1024x1024個のセルのHD地図特徴空間とをマッチングすることができる。投影捜索モジュール301Bは、カーネル投影方法を使用して各候補セルの周りのADV特徴空間とHD地図特徴空間との間の類似性点数又は距離測度を決定することができる。実施形態において、投影捜索モジュール301Bが、候補空間の第1サブセットにおける各候補セルの周りのADV特徴空間のマッチングを決定することができる。投影捜索モジュール301Bは、第1サブセットにおける候補セルの周りの各ADV特徴空間とHD地図特徴空間とをマッチングするように、投影カーネルセットを決定することができる。実施形態において、投影カーネルセットは、Gray Codeカーネルを含んでもよい。実施例において、最低段階(第1)次元の投影ベクトルが候補セルの周りのADV特徴空間とHD地図特徴空間の類似性の最大部分を取得するように、投影カーネルセットが順位付けのセットである。後続次元の投影カーネルは、益々多くなる特徴空間エネルギーをキャプチャーすることができる。したがって、少量のカーネル投影だけを使用することで、大量のマッチング情報を決定することができる。投影捜索モジュール301Bは、第1サブセットにおける各候補セルの周りのADV特徴空間を、HD地図特徴空間の第1投影カーネルに投影することができる。実施形態において、類似性点数が閾値量を満たしなければ、候補セルがHD地図特徴空間と十分に類似するの周りのADV特徴空間を有しないので、次のカーネル投影を実行するためのコストが拒絶される。投影捜索モジュール301Bは、連続するカーネル投影次元を使用して各候補セルの周りのADV特徴空間をHD地図特徴空間に繰り返して投影して、更新された類似性点数を取得する。実施形態において、候補セルが更新された類似性点数を有し、当該更新された類似点数がHD特徴空間に十分にマッチングしている程度を示さない場合、当該候補セルを拒絶としてマークすることができる。実施形態において、投影捜索モジュール301Bは、投影カーネルの第2後続次元を使用して各候補選択肢を繰り返す前に、第1次元における各候補選択肢を繰り返すことができる。実施形態において、投影捜索モジュール301Bは、カーネル投影次元の各繰り返しにおける最高の類似性候補選択肢を決定し、単一の候補が、拒絶されていない候補セルの一つよりも多い繰り返しの最適なマッチング候補であるか否かを判断することができる。最適なマッチング候補であれば、当該候補セルは、HD地図特徴空間に位置合わせるべきのADV特徴空間の中心とする最適なマッチング候補としてみなされることができる。実施形態において、投影捜索モジュール301Bは、単一の候補が常に最適な候補になったり、一つの候補以外のすべての候補が拒絶されたり、すべての拒絶されていない候補セルがすでに投影カーネルのすべての次元に繰り返されたり、閾値の数の拒絶されていない候補が残ったりするまで、投影カーネルの増えている次元を使用して候補セルを繰り返し続けることができる。候補空間における残ったセルが候補空間の第2サブセットに形成するとともに、類似性捜索モジュール301Cが類似度計量を使用して候補空間における残ったセルを捜索することができる。
類似性捜索モジュール301Cが候補セルの第2サブセットから選択肢を捜索することができる。第2サブセットにおける候補セルは、投影捜索モジュール301Bにより捜索されていない。類似性捜索モジュール301Cにより捜索される各選択肢に対して、捜索に用いられる選択肢を選択し、候補セルの周りのADV特徴セル(例えば、1024x1024個のセル)の候補空間と、例えば、1024x1024個のセルのHD地図特徴空間とをマッチングすることができる。実施形態において、候補セルの周りのADV特徴セルの候補空間が024x1024個のセルであってもよい。候補セル特徴空間(例えば、1024x1024個のセル)をHD地図特徴空間(例えば、1024x1024個のセル)へのハイブリットガウスフィットを実行ための類似度を使用して候補セルの周りのADV空間のマッチングを実行する。類似度計量の式は以下の通りであり:
ただし、P(z|x,y,m)は、候補セルの周りの候補特徴空間とHD地図特徴空間との間の類似性点数を示し、i及びjがイテレータであり、それぞれ1〜1024の範囲において変動する。(x,y)は候補セルの座標であり、mは地図特徴空間セルデータを示し、zはADV特徴空間セルデータを示し、rは値の平均値を示し、σは値の分散を示し、かつ、αは調節パラメータである。実施形態において、exp関数の分子にADV特徴空間セルデータ及びHD地図特徴空間セルデータの平均強度を使用し、exp関数の分母にADV特徴空間セルデータ及びHD地図特徴空間セルデータの高度分散を使用する。類似度計量は、32x32個の候補空間セルの第2サブセットにおける各候補セルの類似性点数を決定するために用いられる。候補セルにおける最高の類似性点数が決定される。ADV特徴空間におけるADV座標と最適なマッチングセルのずれ量は、HD地図特徴空間に対するADVの高解像度位置の決定に使用されることができる。
投影捜索モジュール301B及び類似性捜索モジュール301Cは、上記の類似度の全部又は一部を使用して候補セルの周りのADV特徴空間とHD地図特徴空間との間の類似性点数を決定することができる。実施形態において、投影カーネルセットにおける各カーネル投影に対して、投影捜索モジュール301Bは、候補セルのADV特徴空間をHD地図特徴空間に投影し、類似度計量をADV特徴空間とHD地図特徴空間との類似性の測度とすることできる。類似性点数は、1.0以下の類似性を有する値の繰り返し乗算積を示す。それぞれの1.0以下のデータのセットの乗算積が小さくなるしかなく、候補セルの周りのADV特徴空間をHD地図特徴空間との間の大部の類似性が、カーネル投影の前のいくつか(例えば、5個)の次元においてキャプチャーされるため、候補セルが拒絶されるべきか否かを容易に判断することができ、なぜならば、類似度計量が低すぎて、候補のADV特徴空間がHD地図特徴空間にと十分に類似していることによりHD地図特徴空間の最適な類似性マッチングとしてみなされることは決して発生しない。
他の実施例において、類似度計量は、常に増加している項の対数の総和を示す。実施形態において、類似性点数の対数の総和が最低値である場合、候補セルのADV特徴空間とHD地図特徴空間とが最も類似している。実施形態において、類似度計量は、exp、αのうちの一つまたは複数を低減し、括弧内の1/2因子をα乗に低減することができ、その値を2乗してマイナス符号を除くことができる。実施形態において、類似度における項の総和が閾値よりも高いときに、候補セルが拒絶されるべきと決定することができ、なぜならば、類似度計量が、十分に低くなることにより候補セルのADV特徴空間とHD地図特徴空間との最適な類似性マッチングを示すことは決して発生しない。
類似性捜索モジュール301Cは、上記の類似度計量(書いてある全体)を使用して候補セルの周りのADV特徴空間とHD地図特徴空間との間の類似性点数を決定することができる。実施形態において、投影捜索モジュール301Bは、候補セルの第1サブセットを処理し、候補セルの周りのADV特徴空間とHD地図特徴空間とがよくマッチングしていないことを示す類似性点数を有する候補セルを拒絶する。閾値の数の拒絶されていない候補セルだけが残った場合、最適なマッチング候補セルを見つけるまで、類似性捜索モジュール301Cを使用して候補セルの第2サブセット(残りの拒絶されていない候補セルを含む)を捜索することができる。当該最適なマッチング候補セルは、HD地図特徴空間と最もマッチングしているADV特徴空間の中心である。この最適なマッチング候補セルは、HD地図特徴空間におけるずれ量の計算に使用されることにより、HD地図特徴空間におけるADV位置が決定される。
感知及び計画システム110は、感知モジュール302を含んでもよい。センサシステム115により提供されたセンサデータ、及び位置決めモジュール301により得られた位置決め情報に基づいて、感知モジュール302は周辺環境に対する感知を決定する。感知情報は、普通の運転者が自分で運転している車両周辺から感知したもの(状況)を示すことができる。感知情報は、例えば対象形式で現される車線配置(例えば、直線又はカーブ)、トラフィック信号、他の車両の相対位置、歩行者、建築物、横断歩道又はその他の交通関連標識(例えば、停止標識、譲り標識)などを含んでもよい。
感知モジュール302は、コンピュータビジョンシステム又はコンピュータビジョンシステムの機能を含んでもよく、自動運転車両環境における対象及び/又は特徴を認識するように、1つ以上のカメラによりキャプチャされた画像を処理及び分析することに用いられる。前記対象は交通信号、車道の境界線、他の車両、歩行者及び/又は障害物等を含んでもよい。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオトラッキング及びその他のコンピュータビジョン技術を使用することができる。いくつかの実施形態において、コンピュータビジョンシステムは、環境の地図を描き、対象を追跡し、かつ対象の速度を推定することなどができる。感知モジュール302は、その他のセンサ(例えばレーダー及び/又はLIDAR)により提供されたその他のセンサデータに基づいて対象を検出することもできる。
それぞれの対象に対して、決定モジュール303は、如何に対象を処理するか決定をすることができる。例えば、特定の対象(例えば、交差経路における他の車両)及び対象を記述するメタデータ(例えば、速度、方向、ステアリング角)に対して、決定モジュール303は、遇う対象に如何に対応する(例えば、追い越し、道譲り、停止、通過)ことを決定する。決定モジュール303は、不揮発性の記憶装置352に記憶されてもよい1セットのルール(例えば交通ルール)に基づいてこのような決定をすることができる。
感知されたそれぞれの対象に対する決定に基づいて、計画モジュール304は、自動運転車両のために経路又は経路及び運転パラメータ(例えば、距離、速度及び/又はステアリング角)を計画する。すなわち、所定対象に対して、決定モジュール303は前記対象に対して如何に対応するかを決定し、計画モジュール304は如何に実行するかを決定する。例えば、所定対象に対して、決定モジュール303は、前記対象を追い越すことを決定することができ、計画モジュール304は、前記対象の左側に追い越すか、右側に追い越すかを決定することができる。計画モジュール304は、計画及び制御データを生成し、車両300が次の移動周期(例えば、次の経路/経路セグメント)に如何に移動するかを記述する情報を含む。例えば、計画及び制御データは車両300が30マイル/時間(mph)の速度で10メートル移動し、次に25mphの速度で右車線に変更するように指示することができる。
計画及び制御データに基づいて、制御モジュール305は計画及び制御データにより定義された経路又は経路に基づいて、車両制御システム111へ適切なコマンド又は信号を送信することによって自動運転車両を制御及び運転する。前記経路又は経路に沿って違う時点で適時に適切な車両設置又は運転パラメータ(例えば、スロットル、ブレーキ及びステアリングコマンド)を使用して車両を第1点から第2点まで運転するように、計画及び制御データは十分な情報を含む。
注意すべきなのは、決定モジュール303及び計画モジュール304は、集積モジュールに一体化されてもよい。決定モジュール303/計画モジュール304は、自動運転車両の運転経路を決定するために、ナビゲーションシステム又はナビゲーションシステムの機能を含んでもよい。例えば、ナビゲーションシステムは、自動運転車両が以下の経路に沿って移動することを実現するための一連の速度及び進行方向を決定することができ、前記経路は、最終目的地に至る道路に基づく経路に沿って自動運転車両を大体前進するとともに、感知された障害物を大体避けることができる。目的地はユーザインターフェースシステム113により実現されたユーザ入力に基づいて設定されることができる。ナビゲーションシステムは、自動運転車両が走行していると同時に走行経路を動的に更新することができる。ナビゲーションシステムは、自動運転車両用の走行経路を決定するように、GPSシステム及び1つ以上の地図からのデータを合併することができる。
決定モジュール303/計画モジュール304は、自律走行車環境における潜在障害物を、認識・評価・回避又はその他の方式で迂回するために、衝突回避システム又は衝突回避システムの機能をさらに含んでもよい。例えば、衝突回避システムは、以下の方式によって自律走行車のナビゲーションにおける変更を実現することができ、制御システム111の中の1つ以上のサブシステムを動作してターン操縦、ステアリング操縦、ブレーキ操縦等を採る。衝突回避システムは、周辺の交通モード、道路状況等に基づいて障害物を回避可能な操縦を自動的に決定することができる。衝突回避システムは、その他のセンサシステムは、自律走行車がターンして入ろうとする隣接領域における車両、建築障害物等が検出された際にターン操縦を採らないように配置されることができる。衝突回避システムは、使用可能でありかつ自律走行車の乗員の安全性を最大化させる操縦を自動的に選択することができる。衝突回避システムは、自律走行車の乗員室内で最小の加速度を出現させることが予測された回避操縦を選択することができる。
地図更新モジュール306は、ADVの大体位置においてADV特徴空間データを収集してHD地図特徴空間を取得することに使用され、上記のように位置決めモジュール301に使用される技術によりADV特徴空間とHD地図特徴空間とを位置合わせて、対応するHD地図特徴空間に対してADV特徴空間をサーバ(例えば、分析及び前処理に用いられADVに使用されるサーバ103)にアップロードする。図1、地図更新モジュール103B及び地図グリード103Cを参照し、サーバ端末の機能が上記のように記載されている。
不揮発性の記憶装置352は、地図及び経路情報311、地図グリード312を含んでもよい。地図及び経路情報は、到着のナビゲーション操作の順位及び目的地の決定に使用されることができる。ナビゲーション操作は、経路の重み及び属性(例えば、速度、交通、信号、道路類型など)を特徴づけるグラフにおける弧として表示されることができる。地図グリード312は、特定の走行位置(例えば、「米国内」又は「カリフォルニア内」又は「サンフランシスコ内」)におけるすべての既知のHD地図グリード特徴空間の完全な地図グリードであってもよい。実施形態において、必要に応じてサーバ(例えば、サーバ103又は104)からADVの周りの半径範囲(例えば、100マイル半径範囲)の地図グリード312をダウンロードすることができる。
注意すべきなのは、前記の示されたとともに記述された一部又は全部の構成要素は、ソフトウェア、ハードウェア又はその組み合わせで実現されることができる。例えば、このような構成要素は、不揮発性の記憶装置にインストールされるとともに記憶されたソフトウェアとして実現されてもよく、前記ソフトウェアは、本出願にわたって記載の手順又は動作を実施するように、プロセッサ(図示せず)でメモリにロードして実行されてもよい。あるいは、このような構成要素は、(集積回路(例えば特定用途向けIC又はASIC)、デジタル信号プロセッサ(DSP)、又はフィールドプログラマブルゲートアレイ(FPGA))にプログラミングされ又は嵌め込みされた専用ハードウェアにおける実行可能なコードとして実現されてもよく、前記実行可能なコードは、アプリケーションからの対応するドライバープログラム及び/又はオペレーティングシステムによってアクセスされてもよい。なお、このような構成要素は、プロセッサ又はプロセッサコアにおける特定のハードウェアロジックとして実現されてもよく、ソフトウェア構成要素が1つ以上の特定コマンドによってアクセス可能なコマンドセットの一部とすることができる。
図4Aは、いくつかの実施形態にかかる候補セルの捜索空間410により囲まれるADVを示し、候補セルの捜索空間410は、HD地図に対するADVの位置を決定するようにHD地図を捜索するために用いられる。
ADV101は、感知モジュール302から3Dポイントクラウドデータを受信する位置決めモジュール301を有していもよい。位置モジュール301Aは、3Dポイントクラウドデータに基づいて1024x1024個のセルのADV特徴空間を生成することができる。各セルは、例えば、10cmx10cmであってもよく、ADVに対する(x、y)座標、平均強度、高度分散、及び他のセンサデータを含んでもよい。上記のように、図3を参照し、位置決めモジュール301は、現実世界及びADVの周りの現実世界を示すHD地図に対するADVの精確位置を決定することを目的とする。ADVは、例えば、GPS読み取り値を使用してADVの周りの現実世界を示すHD地図部分を取得することができる。HD地図は、1024個のセルx1024個のセルであってもよく、各セルが、例えば、10cmx10cmを示す。投影捜索モジュール301B及び類似性捜索モジュール301Cは、ADV特徴空間から候補捜索空間410を選択することができる。候補捜索空間410は、ADVを囲むADV特徴空間のサブセットである。候補捜索空間410は、例えば32x32個のセルである。投影捜索モジュール301B及び類似性捜索モジュール301Cは、最高の類似性点数を有する候補セル415を決定することができる。そして、最高の類似性点数を有する候補セル415がHD地図特徴空間の中心と一致すると決定されることができる。ADVとHD地図の中心とのずれ量を決定することができ、前記ずれ量は、HD地図特徴空間に対応する現実世界におけるADVの位置を高精度に決定することに使用されることができる。
時間t1において、上記の操作を繰り返すことができる。ADVが移動していることを仮想すると、時間t1でのADV特徴空間と、時間t0でのADV特徴空間とが、いくつかの共通データを有することができる。図4Aは、時間t0及び時間t1における32x32の候補捜索空間410を示す。類似の思想は、時間t0及び時間t1でのADV特徴空間全体(1024x1024個のセル)に適用される。ADVの移動につれて、位置決めモジュール301が、ADVがどのぐらい移動したか、及び、捜索空間410におけるデータが、時間t1と時間t0とにおいてどのぐらい同じであるかを確認することができる。したがって、例えば、候補捜索空間に収容されているデータ構造内においてデータをシフトすることよりも、論理的に時間t1でのデータの新しい候補捜索空間セルで置き換えるとが好ましい。インデックスのアレイは、ADVの移動に適する各x座標及びy座標の方向にシフトすることができるが、データ構造においてデータをシフトしない。図4Aに示すように、ADVが右へ移動することにつれて、時間t1における候補捜索空間410に新しいデータが増加される。図に示される例において、新しい捜索候補空間データが候補捜索空間の列0,2,4及び6に記憶されることにより、古いデータが上書きされる。実施形態において、ADVが時間t0から時間t1に進むと、新しい候補捜索空間セルが、論理的に、例えば、列32,33などに追加される。32x32個セルの例の候補捜索空間において、候補捜索アレイ空間のx座標インデックスは、増大(32を法とする)されて、新しいADV特徴空間データが追加された候補捜索空間データインデックスを取得する。したがって、論理列32が0(32は32を法とする)になり、論理列33が1(33は32を法とする)などになる。候補捜索空間グリードのy座標は、同じように計算されることができる。32x32の候補捜索空間にデータ追加する上記の例は、約1024x1024個のセルのADV特徴空間まで拡張可能である。実施形態において、ADV特徴空間は、ADV特徴空間データアレイの法の計算(modulus computation)を容易にするように、1024x1024個のセルであってもよい。
図4Bは、いくつかの実施例にかかる候補セルのアレイ又はグリードにより囲まれるADV及び候補捜索空間430の周りのADV特徴空間を示し、候補セルのアレイ又はグリード410は、HD地図特徴空間430に対するADVの位置を決定するようにHD地図特徴空間430を捜索するために用いられる。
上記のように、位置決めモジュール301は、センサデータの3Dポイントクラウドにより生成されたADV特徴空間425を、ADVにより取得された位置(例えば、GPS座標)を中心とする高解像度(HD)地図特徴空間430に位置合わせることを目的とする。ADV特徴空間425を、HD地図特徴空間430に位置合わせることは、ADVの現実世界における位置及びHD地図に対する位置を高精度に決定する過程中の操作である。
図4Bは、ADV特徴空間425及びHD地図特徴空間430の範囲に設置された図4Aの候補捜索空間410を示す。HD地図特徴空間430は、ADVの大体位置を取得するための位置センサ(例えば、GPS座標又はセルラータワー座標)の精確度の制限によりADV特徴空間425からずれている可能性がある。候補捜索空間410においてトラバースされた各候補セルに対して、候補セルの周りの約1024x1024個のセルの特徴空間と、HD地図特徴空間430とを比較し、候補セルの類似性点数を決定する。ADV候補捜索空間410における候補セルうち、最高の類似性点数を有する候補セル415は、ADV特徴空間425をHD地図特徴空間430に最適に位置合わせるセルとして選択される。ADVからADV候補捜索空間410においてHD地図特徴空間に対して最高の類似性点数を有する候補セル415までのずれ量を決定する。前記ずれ量は、ADVのHD地図に対する位置及び現実世界における位置を決定することに使用される。
図5は、ブロック図でいくつかの実施例にかかる、HD地図特徴空間430を捜索してHD地図に対するADVの位置を決定する方法500の概要を示す。
操作505において、感知モジュール302の複数のセンサうちの一つを使用してADVの大体の地理的位置を決定することができる。GPS、セルラータワー三角測定又は他のセンサシステムを使用して前記地理的位置を決定することができる。
操作510において、地図グリードモジュール312は、遠距離サーバ103(地図グリード103C)から前記地理的位置に対応するHD地図の一部を検索することができる。実施形態において、HD地図の一部又は全部は、ADV記憶装置(例えば、記憶装置351又は不揮発性の記憶装置352)から検索される。
操作515において、位置決めモジュール301は、ADVの感知及び計画システム110におけるセンサにより生成されたADVの周りの特徴空間を検索することができる。位置決めモジュール301は、ADVの感知及び計画システム110により生成された特徴空間からADVを囲むADV特徴空間425(例えば1024x1024)を検索することができる。
操作520において、位置決めモジュール301は、候補捜索空間410(例えば32x32個のセル)を決定して、ADVがHD地図特徴空間430における位置を決定することに用いられる。
操作600において、投影捜索モジュール301B及び類似性捜索モジュール301Cは、このような候補セルを決定することに用いられ、当該候補セルは、当該候補セルを周れている、HD地図特徴空間430に最適にマッチングしているADV特徴空間425を有する。以下の記載に、図6を参照し、操作600を詳細に説明する。
操作525において、位置決めモジュール301は、ADVと、候補セルを囲む、最適マッチングしているADV特徴空間425を有する候補セルとの間のずれ量を決定するために用いられる。
操作503において、ずれ量は、ADVがHD地図特徴空間430に対する位置を高精度に決定するために用いられる。
図6は、いくつかの実施例にかかる、投影技術を使用してADVの周りの候補特徴空間410の捜索を実行することでHD地図に対するADVの位置を決定する方法600をブロック図で示す。方法600において、投影捜索方法を使用して(例えば、32x32)候補捜索特徴空間410におけるすべての候補セルの第1サブセットを処理することができる。投影捜索方法において、候補セルの周りのADV特徴空間425とHD地図特徴空間430との間の類似性点数を生成するように、Gray Codeカーネルのシーケンス(例えば、Walsh−Hadamardカーネル投影ベクトル)を使用して候補セルの周りのADV特徴空間425にHD地図特徴空間430に繰り返して投影することができる。閾値の数の候補セルのみが残って捜索待ちになる場合に、投影方法を使用して候補セルの類似性点数のオーバヘッドが、上記の類似度公式による演算よりも大きい恐れがある。カーネル投影技術により捜索される候補セルは、候補セル410の第1サブセットを含んでもよい。算出された類似性点数により捜索される残った候補セルは、候補セルの第2サブセットを含んでもよい。
操作605において、変数が初期化されて方法600に使用される。変数candREMが候補特徴空間410における拒絶されていない候補セルの数を示す。実施形態において、拒絶されていない候補セルは、類似性点数が決定されていない候補セルを含んでもよい。変数candREMは、candMAXに初期化されることができる。定数candMAXは、候補特徴空間410における候補セルの総数の最大数を示すことができる。32x32の候補セル空間において、candMAXは、1024に初期化されることができる。変数「dim」は、1に初期化される。変数「dim」は、方法600にて処理されている投影カーネルの次元を示す。変数「cand」は、1に初期化される。変数「cand」は、方法600にて処理されている候補捜索特徴410における現在の候補セルを示す。方法600でいずれの特定の候補セルを複数回処理し、例えば、後続のカーネル投影の次元で複数回処理を行う。アレイSIMILARITY[x]は、次元「candMAX」を有する。アレイSIMILARITY[x]は、変数「cand」によりインデックスされるとともに、現在の候補セル「cand」の現在更新された類似性点数を記憶する。一つ又は複数のカーネル投影の次元にわたって更新された候補セルの類似性点数が類似性点数の繰り返し乗算積として示される実施形態において、すべてのアレイ元素に対して、アレイSIMILARITY[x]を1に初期化することができる。カーネル投影次元ごとに候補セルの類似性点数を決定するため、現在のカーネル投影次元dimに対して、SIMILARITY「cand」に現在候補セルの類似性点数を乗算して得られた乗算積を使用してSIMILARITY「cand」を更新することができる。複数のカーネル投影次元にわたって更新された候補セルの類似性点数が類似性点数の繰り返し総和(例えば、対数総和点数更新方法)をとして示される実施形態において、すべてのアレイ元素に対して、アレイSIMILARITY[x]を0に初期化することができる。すべてのアレイ元素に対して、アレイ(又はビットベクトル)REJECTED[x]をFALSEに初期化することができる。アレイREJECTED[x]は、更なる類似性点数の決定に応じて特定の候補セルが当該候補セルの類似性点数が低すぎて候補セルが最高の点数候補セルに成らないため拒絶されるかを追跡する。
操作610において、残った候補セルの数candREMが閾値の最小値よりも小さいか否かを判断することができる。変数candREMが、例えば32x32個のセルにおいて、閾値を満たしていない類似性点数を有するので拒絶されることはないセルの数を示す。残った拒絶されていないセルの数がcandMINよりも小さい場合、上記の類似度計量式を使用して候補セルの類似性点数を決定することができる。
操作610において、残った候補セルの数が閾値の最小値candMINよりも小さい場合、方法600が操作700において継続し、さもなければ、方法600が操作625において継続する。
操作700において、上記の類似度計量式を使用して候補セルcandの周りのADV特徴空間425とHD地図特徴空間430との間の類似性点数を決定することができる。下文において、図7を参照し、操作700を詳細に説明する。方法600が操作615において継続する。
操作615において、SIMLARITY[x]アレイに記憶されているすべてのセルの最高の類似性点数を決定する。実施形態において、アレイSIMILARITY[x]を順に捜索して最高の類似性点数を有する選択肢を決定することができる。
操作620において、SIMILARITY[x]における最高の類似性点数を有する候補セルの座標に戻り、図5の操作525及び530において当該座標を使用してADVがHD地図特徴空間におけるずれ量を決定する。そして、方法600が終了する。
操作610において残った候補セルの数candREMが候補セル数の最小値candMINよりも小さくないい場合、操作625において現在のカーネル投影の次元が、カーネル投影の次元の最大数以上であるかを判断することができる。実施形態において、カーネル投影の次元の最大数が500であってもよい。現在の次元がカーネル投影の次元の最大数以上であれば、方法600が操作700において継続し、さもなければ、方法600が操作630において継続する。
操作630において、32x32セル候補空間に対して、現在の候補番号candが候補空間における選択肢の最大数(例えば、1024)以上である場合、方法600が操作635において継続し、さもなければ、方法600が操作640において継続する
操作635において、現在の候補番号candを1にリセットし、現在の投影カーネルの次元dimをインクリメントすることができる。方法600が改めて操作610に戻る。
操作630において、現在の候補番号candが候補空間における選択肢の最大数candMAX以上でないと判断された場合、操作640において現在の候補セルcandがこの前に既に拒絶されたかを判断することができる。REJECTED「cand」がTUREである場合、候補セルcandがこの前に既に拒絶された。操作640においてREJECTED「cand」がTUREである場合、方法600が操作665において継続し、さもなければ、方法600が操作645において継続する。
操作645において、ADV特徴空間425とHD地図特徴空間430との間の類似性点数を決定するように、現在の次元カーネル投影ベクトルを使用して現在の候補セルcandの周りのADV特徴空間425をHD地図特徴空間430に投影する。
操作650において、現在候補セルcandの周りのADV特徴空間425とHD地図特徴空間430との間の類似性点数Eが、現在候補セルcandの類似性点数SIMILARITY「cand」の更新に使用される。
操作655において、現在の候補セルcandの更新された類似性点数SIMILARITY「cand」が閾値の標準を満足しない場合、操作660において、REJECTED「cand」=TUREに設定し、残った候補セルの数candREMをディクリメントして現在の候補セルを拒絶する。閾値標準のチェックは、類似性決定技術に依存する。候補セルcandの周りのADV特徴空間425とHD地図特徴空間430との類似性を決定するのに使用される実施形態が、繰り返し値の乗算積に決定される場合、最高の類似性点数(最大値1.0まで)を探し、拒絶用の閾値は例えば0.7であってもよい。即ち、更新後の類似性点数SIMILARITY「cand」が0.7よりも小さい場合、拒絶する。対数による総和を求める技術を使用した実施形態において、繰り返した類似性点数の最小総和を探す。したがって、更新後の類似性点数SIMILARITY「cand」が閾値総和よりも大きい場合、操作660において、候補セルを拒絶するとともに、REJECTED「cand」をTUREに設定する。
方法600が操作655において継続する。
操作655において、現在の候補値をインクリメントして、cand=cand+1になり、方法600が操作610において継続する。
図7は、いくつかの実施例にかかる、最初に投影技術を使用した後に、ADVの周りの候補特徴空間425における残った候補セルの類似点数を決定する方法700をブロック図で示す。上記のように、投影捜索モジュール301Bが、カーネル投影方法を使用して候補セルの第1サブセットを捜索する。32x32個のセル候補捜索空間について、最小閾値の数(例えば50)の拒絶されていない候補セルが残って捜索され待ちになる場合、カーネル投影方法の使用によるオーバヘッドは、上記した類似性点数計量を使用して類似性点数を計算するオーバヘッドよりも大きい。したがって、候補セルの第2サブセットは、拒絶されていない及び/又はカーネル投影方法で捜索されていない候補セルを含む。類似性点数を決定する一つの方式は、本文に記載の類似度計量を使用して類似性点数を計算するものである。本文に記載した類似度計量は、候補セル特徴空間及びHD地図特徴空間のハイブリットガウスフィットを使用しており、前記ハイブリットガウスフィットは、候補セル特徴空間及びHD地図特徴空間における各セルの強度の平均値を使用する。候補セル特徴空間及びHD地図特徴空間のハイブリットガウスフィットは、候補特徴空間及びHD地図特徴空間における各セルの高度の分散をさらに使用する。
操作705において、可変の候補セルインデックス変数candは、1に初期化されることができる。
操作710において、現在候補セルインデックスcandが、候補セルの最大数candMAX以上であるか否かを判断することができる。候補空間が32x32個のセルの実施形態において、candMAXが1024個のセル(32x32)であってもよい。
操作710において現在の候補インデックスcandがcandMAX以上であると判断された場合、方法700が終了することができ、なぜならば、すべての候補セルが方法600におけるカーネル投影技術により決定された類似性点数を有したり、方法700における類似性度量計算により決定された類似性点数を有したりするためである。
操作710において現在の候補インデックスcandがcandMAX以下であると判断された場合、方法700が操作715において継続する。
操作715において、現在候補セルが、この前に既に拒絶された(REJECTED「cand」=TURE)か否かを判断することができる。現在候補セルがこの前に既に拒絶された場合、方法700が操作730において継続し、さもなければ、方法700が操作720において継続する。
操作720において、カーネル投影技術を使用して当該候補セルに対して類似性点数を決定したか否かを判断することができる。これは、SIMILARITY「cand」値をチェックして、当該値が図6の方法600における操作605の初期化値に異なるかを観察することにより判断されるものである。上記のように、類似性点数がカーネル投影の類似性点数の繰り返し乗算積として決定される場合、上記操作605におけるすべてのSIMILARITY「x」アレイ元素の初期化値が1であってもよく、当該候補セルの類似性点数が繰り返しカーネル投影の類似性点数の総和(対数総和方法)として決定される場合、上記操作605におけるすべてのSIMILARITY「x」アレイ元素の初期化値が0であってもよい。現在の候補選択肢の類似性点数SIMILARITY「cand」は、方法600におけるカーネル投影技術により決定される場合、方法700が操作730において継続する。さもなければ、方法700が操作725において継続する。
操作725において、上記の類似性計量式により現在の候補セルの周りの候補特徴空間425とHD地図特徴空間との間の類似性点数を計算し、前記点数をSIMILARITY「cand」に記憶する。
操作730において、現在候補セルは、次の順序の候補セルにインクリメントされることができ、cand=cand+1。
図8は、いくつかの実施例にかかる、HD地図特徴空間を前処理してHD地図特徴空間430における特徴の数を減少する方法800ブロック図でを示す。HD地図特徴空間430は、HD地図のサブセットとしての1024x1024セル特徴空間を含んでもよい。方法800は、地図グリード103Cを生成すように、サーバ103(機器学習エンジン103A及び/又は地図更新モジュール103Bうちの一つ又は複数)により実行されてもよい。HD地図における特徴は、カーネル投影の順序付けシーケンスを使用してHD地図特徴空間に投影されることができる。距離測度(例えば、上記の類似性計量式)は、HD地図特徴空間における特定位置での距離測度を決定するために用いられる。特定位置での距離測度が小さければ小さいほど、テスト画像の一部とHD地図特徴空間の局所窓(local window)に類似になる。比較的少ない投影を使用することは、テスト画像の一部に十分に類似していない大量の局所窓を拒絶することができる。例えば、(例えば256個カーネルにおける)前の10個カーネルは、テスト画像の一部とHD地図特徴空間における局所窓との間の70%の距離測度を収集することができる。実施形態において、カーネルの順序付けセットは、Gray Codeシーケンスを含む。実施形態において、カーネルの順序付けセットは、カーネルベクトルのWalsh−Hadamardシーケンスを含む。方法800において、カーネル投影ベクトルを使用してテスト画像をHD地図特徴空間に投影している間においてWalsh−Hadamard木を生成することができる。Walsh−Hadamard木は、テスト画像の一部に十分に類似していないHD地図の特徴を濾過するためのGray Codeモードマッチング木を含んで、モードマッチング分析に使用されるようになる。
操作805において、大量の特徴空間を含むHD地図から特徴空間430を選択することができる。
操作810において、HD地図特徴空間430に対して投影カーネルの順序付けセットを生成することができる。実施形態において、投影カーネルは、Gray Codeカーネル(GCK)を含む。実施形態において、投影カーネルはWalsh−Hadamardカーネルの順序付けシーケンスを含む。
操作815において、投影カーネルのシーケンスを使用してテスト画像を取得してHD地図特徴空間430に投影することがきる。実施形態において、テスト画像は、HD地図特徴空間430を含んでもよい。実施形態において、テスト画像は、操作805において選択された特徴空間430の地理的位置に対応する複数のADV特徴空間に応じて生成された画像を含んでもよい。機器学習エンジン103Aは、複数のADVから複数の特徴空間を受信するとともに、機器学習技術を使用してテスト画像を生成することができる。
操作820において、操作810において生成されたカーネル投影の順序付けセットから第1次元のカーネルを選択して投影することができる。
操作825において、選択された投影カーネルを使用してテスト画像を、選択されたHD地図特徴空間430に投影することがきる。前記投影は、HD地図特徴空間430をHD地図特徴空間430における複数の局所窓に分解することができる。
操作830において、この前に選択されたカーネル投影(存在する場合)で生成された距離測度に基づいて、HD地図特徴空間430の拒絶されていない局所窓の距離測度を更新することができる。
操作835において、閾値を満足しない距離測度を有するHD地図特徴空間430の局所窓を拒絶することができる。カーネル投影を使用してHD地図特徴空間430の窓を拒絶することは、HD地図特徴空間430における特徴の数を低減するため、ADV特徴空間がHD地図特徴空間により効率的、リアルタイムで投影されるようになり、演算量がより少なくなる。
操作840において、選択された投影カーネルの次元のHD地図特徴空間430の拒絶窓の記録及び他のカーネル投影データと、HD地図特徴空間430及び選択されたカーネル投影の次元とを関連付けて記憶することができる。実施形態において、他のカーネル投影データは、テスト画像を使用して生成されたGray Codeフィルタ、HD地図特徴空間430及び選択されたカーネル投影ベクトルを含む。
操作845において、HD地図特徴空間430の特徴減少が完了したか否かを判断することができる。テスト画像及びHD地図特徴空間430に対してすべての投影カーネル次元を処理完了した場合、特徴減少が完了したと考えられてもよい。実施形態において、500個ほど多いカーネル投影次元が存在してもよく、特徴減少が500番目の次元カーネル投影において完了する。実施形態において、HD地図特徴空間における、拒絶されていない部分の数が予定の値に達する場合、特徴減少が完了したと考えられてもよい。
操作845において特徴空間減少が完了したと判断された場合、方法800が終了し、さもなければ、方法800が操作850において継続する。
操作850において、次のカーネル投影ベクトルを順に選択することでき、方法800は、操作825において継続する。
図9は本発明の一実施形態と共に使用可能なデータ処理システムの例示を示したブロック図である。例えば、システム900は、以上で説明された前記過程又は方法の何れか一つを実行する如何なるデータ処理システム、例えば、図1の感知及び計画システム110、制御システム111のような自動運転車両システム101、又は、サーバ103〜104のうちの何れか一つを示すことができる。システム900は異なる構成要素を多く具備することができる。これらの構成要素は、集積回路(IC)、集積回路の一部、分散型電子装置又は回路基板(例えば、コンピュータシステムのマザーボード又はインサートカード)に適用される他のモジュールとして実行可能し、或いは他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実施可能である。
注意すべきなのは、システム900はコンピュータシステムの複数の構成要素のハイレベルビューを示した。理解すべきなのは、いくつかの実施例に付加的な構成要素を具備してもよい。また、他の実施例において、示された構成要素の異なる配置を具備してもよい。システム900は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、モバイルフォン、メディアプレーヤ、パーソナルデジタルアシスタント(PDA)、スマート腕時計、パーソナル通信機、ゲーム装置、ネットワークルータ又はハブ、無線アクセスポイント(AP)又はリピータ、セットトップボックス或いはそれらの組み合わせを示すことができる。また、単一の機器又はシステムのみが示されたが、用語「機器」又は「システム」はさらに独立又は共同で一つ(又は複数)のコマンドセットを実行することにより、本文に説明された任意の一つ又は複数の方法を実行する機器或いはシステムの如何なるセットを含むことを理解すべきである。
一実施形態において、システム900は、バス又は相互接続構成要素910を介して接続されるプロセッサ901、メモリ903及び装置905〜908を具備する。プロセッサ901は、そのうちに単一のプロセッサコア、又は複数のプロセッサコアを含む単一のプロセッサ、又は複数のプロセッサを表すことができる。プロセッサ901は、一つ又は複数の汎用プロセッサ、例えばマイクロプロセッサ、中央処理ユニット(CPU)などを表すことができる。より具体的に、プロセッサ901は複雑コマンドセット演算(CISC)マイクロプロセッサ、縮小コマンドセット演算(RISC)マイクロプロセッサ、超長コマンドワード(VLIW)マイクロプロセッサ、或いは他のコマンドセットを実施するプロセッサ、或いはコマンドセットの組み合わせを実施するプロセッサであってもよい。プロセッサ901はさらに一つ又は複数の専用プロセッサ、例えば専用集積回路(ASIC)、セルラー又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号化プロセッサ、コプロセッサ、組み込みプロセッサ、或いはコマンド処理可能な任意の他のタイプのロジックであってもよい。
プロセッサ901(低電力マルチコアプロセッサソケット、例えば超低電圧プロセッサであってもよい)は前記システムの各構成要素と通信用のメイン処理ユニットと中央ハブとして使用可能である。このようなプロセッサは、システムオンチップ(SoC)として実施可能である。プロセッサ901は、本明細書に説明される動作及びステップを実行するためのコマンドを実行するように配置される。システム900は、選択可能なグラフィックサブシステム904と通信するグラフィックインターフェースをさらに含んでもよく、グラフィックサブシステム904は、表示コントローラ、グラフィックプロセッサ及び/又は表示装置をさらに備えてもよい。
プロセッサ901はメモリ903と通信可能である。ある実施形態において、メモリ903は複数のメモリ装置を介して実施されることにより定量のシステム記憶が提供可能である。メモリ903は、一つ又は複数の揮発性記憶装置(或いはメモリ)、例えばランダムアクセスメモリ(RAM)、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、スタティックRAM(SRAM)又は他のタイプの記憶装置を含んでもよい。メモリ903はプロセッサ901又は他の任意の装置により実行されるコマンドシーケンスを含む情報を記憶可能である。例えば、各オペレーティングシステム、装置ドライバー、ファームウェア(例えば、基本入出力システム又はBIOS)及び/又はアプリの実行可能なコード及び/又はデータは、メモリ903にロードされ且つプロセッサ901により実行可能である。オペレーティングシステムは、任意のタイプのオペレーティングシステム、例えばロボットオペレーティングシステム(ROS)、Microsoft(R)会社からのWindows(R)オペレーティングシステム、アップル会社からのMacOS(R)/iOS(R)、Google(R)会社からのAndroiD(R)、Linux、Unix、或いは他のリアルタイム又は組み込みオペレーティングシステムであってもよい。
システム900は、IO装置、例えば装置905〜908をさらに含んでもよく、ネットワークインターフェース装置905、選択可能な入力装置906、及び他の選択可能なIO装置907を含む装置905〜908を含む。ネットワークインターフェース装置905は、無線送受信機及び/又はネットワークインターフェースカード(NIC)を含んでもよい。前記無線送受信機は、WiFi送受信機、赤外線送受信機、ブ経路ゥース送受信機、WiMax送受信機、無線セルラー電話送受信機、衛星送受信機(例えば、全地球測位システム(GPS)送受信機)、他の無線周波数(RF)送受信機或いはそれらの組み合わせであってもよい。NICはイーサネットカードであってもよい。
入力装置906は、マウス、タッチパネル、タッチスクリーン(表示装置904と集積されてもよい)、指示装置(例えばスタイラス)及び/又はキーボード(例えば、物理キーボード又はタッチスクリーンの一部として表示される仮想キーボード)を含んでもよい。例えば、入力装置906はタッチパネルに接続されるタッチパネルコントローラを含んでもよい。タッチパネルとタッチパネルコントローラは、例えば複数種類のタッチセンシティブ技術(コンデンサ、抵抗、赤外と表面音波の技術を含むが、それらに限定されない)のうちの何れか一つ、及び他の近隣センサアレイ又はタッチパネルと接触する一つ又は複数のポイントを決定するための他の素子を使用してその接触、移動又は中断を検出する。
IO装置907は、オーディオ装置を含むことができる。オーディオ装置は、音声認識、音声複製、デジタル記録及び/又は電話機能などの音声の機能をサポートして促進するように、スピーカ及び/又はマイクを含むことができる。他のIO装置907は、汎用シリアルバス(USB)ポートやパラレルポート、シリアルポート、印刷機、ネットインタフェース、バスブリッジ(例えば、PCI-PCIブリッジ)、センサ(例えば、加速度計のような動きセンサ、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等)又はそれらの組み合わせをさらに含むことができる。装置907は、結像処理サブシステム(例えば、カメラ)を含んでもよい。前記結像処理サブシステムは、カメラ機能(例えば、写真及びビデオ断片の記録)を促進するための電荷カップリング装置(CCD)又は相補型金属酸化物半導体(CMOS)光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ(図示せず)によって相互接続部材910に接続されてもよく、キーボード又は熱センサのような他の装置は、組み込みコントローラ(図示せず)により制御されてもよく、これはシステム900の特定配置又は設計により決められる。I/O装置907は、さらにRADARシステム(無線探知及び測距)と、LIDARシステム(光検出及び測距)と、GPSシステム(全地球位置決めシステム)とを含んでもよく、また、セルラータワーで検出・三角測量できるセルラー電話サブシステム、マイク及び他のオーディオレコーダー/ビデオレコーダー、位置検出器、距離検出器、時間検出器、速度検出器、加速度検出器、水平検出器及び垂直水準検出器、配向センサ及び方位センサを用いてもよい。
データ、アプリ、一つ又は複数のオペレーティングシステムなどの不揮発性の記憶を提供するように、大容量の記憶装置(図示せず)がプロセッサ901に連結されてもよい。各種の実施形態において、より薄いかつ軽いシステムの設計を図るとともに、システムの応答特性を改進するように、このような大容量の記憶装置は、固体デバイス(SSD)を介して実施されてもよい。なお、他の実施形態において、大容量メモリは、主にハードディスクドライブ(HDD)で実現されてもよく、容量が小さいSSD記憶装置は、SSDキャッシュとして停電イベント期間にコンテキスト状態及び他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現することができる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース(SPI)によってプロセッサ901に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムのBIOS及び他のファームウェアを備える。
記憶装置908は、本文に記載された任意の一つ又は複数の方法或いは機能を体現する一つ又は複数のコマンドセット又はソフトウェア(例えば、モジュール、ユニット及び/又はロジック928)が記憶されるコンピュータアクセス可能な記憶媒体909(機器読取可能な記憶媒体或いはコンピュータ読取可能な媒体とも呼ばれる)を含んでもよい。処理モジュール/ユニット/ロジック928は、前記構成要素のうちの何れか一つ、例えば、自動運転車両101(ADV)の位置決めモジュール301、感知モジュール302、運転決定モジュール303、計画モジュール304、制御モジュール305、地図更新モジュール306、及びセンサデータを処理してADVの計画及び制御モジュールを駆動する一つ又は複数のモジュールを示すことができる。処理モジュール/ユニット/ロジック928は、データ処理システム900、メモリ903及びプロセッサ901により実行される期間にメモリ903内及び/又はプロセッサ901内に完全又は少なくとも部分的に存在されてもよい。データ処理システム900、メモリ903及びプロセッサ901も機器読取可能な記憶媒体として構成される。処理モジュール/ユニット/ロジック928は、ネットワークによりネットワークインターフェース装置905を介して送受信可能である。
コンピュータ可読記憶媒体909は、以上で説明されたいくつかのソフトウェア機能を不揮発性的に記憶してもよい。コンピュータ可読記憶媒体909は、例示的な実施形態において単一の媒体として示されたが、「コンピュータ可読記憶媒体」という用語は前記一つ又は複数のコマンドセットを記憶する単一の媒体又は複数の媒体(例えば、集中式又は分散式のデータベース及び/又は関連のキャッシュ及びサーバ)を含むと理解すべきである。「コンピュータ可読記憶媒体」という用語は、コマンドセットを記憶し又はコーディング可能な任意の媒体を含むと理解すべきである。前記コマンドセットは、機器により実行され且つ前記機器に本発明の任意の一つ又は複数の方法を実行させるために用いられる。従って、「コンピュータ可読記憶媒体」という用語は、ソリッドステートメモリ及び光学媒体と磁気媒体又は任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
本文に記載の処理モジュール/ユニット/ロジック928、構成要素及び他の特徴は、独立なハードウェア構成要素として実施され、又はハードウェア構成要素(例えば、ASICS、FPGA、DSP又は類似の装置)の機能に統合されるように実施可能である。また、処理モジュール/ユニット/ロジック928は、ハードウェア装置におけるファームウェア又は機能回路として実施可能である。また、処理モジュール/ユニット/ロジック928は、ハードウェア装置とソフトウェア構成要素の如何なる組み合わせで実施されてもよい。処理ロジックは、例えば、図8を参照して説明した、投影のカーネルのシーケンスを使用したHD地図の空間特徴の前処理を含んでもよい。処理ロジックは、さらに、例えば、図5〜7を参照して説明した、投影捜索モジュール301B又は類似性捜索モジュール301Cによるカーネル投影技術を使用してHD地図の空間特徴に対するADVの位置を決定するロジックを含んでもよい。
注意すべきなのは、システム900、データ処理システムの各種の構成要素を有するように示されているが、構成要素の相互接続のいかなる特定のアーキテクチャー又は方式を示すものではないことに注意すべきであり、それは、このような詳細が本発明の実施形態に密接な関係がないためである。また、より少ない構成要素又はより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバ及び/又は他のデータ処理システムは、本発明の実施形態と共に使用されてもよい。
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズム及び記号表現で示される。これらのアルゴリズムの説明及び表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した動作列(sequence of operations)と考えられる。これらの動作とは、物理量に対して物理的動作を行う必要となるステップを指す。
ただし、これらのすべての及び類似の用語は、いずれも適切な物理量に関連付けられ、かつただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語(例えば、添付している特許請求の範囲に説明された用語)による説明とは、コンピュータシステム又は類似の電子計算装置の動作及び処理であり、前記コンピュータシステム又は電子計算装置は、コンピュータシステムのレジスタ及びメモリに物理(例えば、電子)量としてデータを示し、かつ前記データをコンピュータシステムメモリ又はレジスタ又は他のこのような情報記憶装置、伝送又は表示装置内において類似に物理量として示される他のデータに変換する。
本発明の実施形態は、さらに本明細書における動作を実行するためのコンピュータプログラムに関する。このようなコンピュータプログラムは、不揮発性コンピュータ可読媒体に記憶される。機器可読媒体は、機器(例えば、コンピュータ)可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読(例えば、コンピュータ可読)媒体は、機器(例えば、コンピュータ)可読記憶媒体(例えば、読み出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ)を備える。
上記図面に示される手順又は方法は、ハードウェア(例えば、回路、専用ロジック等)、ソフトウェア(例えば、不揮発性コンピュータ可読媒体に具現化される)、又は両方の組合せを含む処理ロジックにより実行されてもよい。前記手順又は方法は、本明細書において特定の順序に応じて説明されるが、説明された動作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの動作は、順番ではなく並行に実行されてもよい。
本発明の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本発明の実施形態の教示を実現できることを理解すべきである。
以上の明細書では、本発明の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本発明のより広い趣旨及び範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書及び図面を理解すべきである。

Claims (15)

  1. 自動運転車両(ADV)を操作するためのコンピュータ実施方法であって、
    前記自動運転車両の周りのセルの自動運転車両の特徴空間における複数の候補セルの第1サブセットを決定するステップと、
    前記複数の候補セルの第1サブセットにおける候補セルのそれぞれに対して、
    第1次元基礎ベクトルを使用して前記自動運転車両の特徴空間におけるサブセットを地図特徴空間に投影することにより、前記候補セルを囲む前記自動運転車両の特徴空間の前記サブセットと、前記地図特徴空間との間の類似性点数を決定し、
    前記類似性点数が不十分な類似性を示すと判断されたことに応答して、前記候補セルを拒絶としてマークし、さもなければ、前記類似性点数と前記候補セルとを関連付けて記憶するステップと、
    前記複数の候補セルにおける候補セルのカウント数が候補セルの閾値の数よりも小さいと判断されており、前記カウント数の各候補セルのいずれも拒絶されておらず、かつ前記候補セルに関連付けて記憶された類似性点数を有しないことと、基礎ベクトルの最大次元数に達していると判断されたこととのうちの一つに応じて、前記複数の候補セルの第2サブセットを決定するステップであって、前記複数の候補セルの第2サブセットにおける各候補セルの何れも拒絶されておらず、かつ前記候補セルに関連付けて記憶された類似性点数を有しないとともに、前記第2サブセットにおける各候補セルの何れも中央値強度及び高度分散を有するステップと、
    前記第2サブセットにおける各候補セルに対して、前記中央値強度及び高度分散を使用して、前記候補セルを囲む前記自動運転車両の特徴空間のサブセットと、前記地図特徴空間との間の類似性点数を決定するステップと、
    前記複数の候補セルにおいて最高の類似性点数を有する、前記複数の候補セルにおける候補セルの少なくとも一部に基づいて、前記地図特徴空間に対する前記自動運転車両の位置を決定するステップと、を含む、
    ことを特徴とする自動運転車両を操作するためのコンピュータ実施方法。
  2. 前記地図特徴空間に対する前記自動運転車両の位置を決定するステップは、
    拒絶されていない前記複数の候補セルにおいて前記最高の類似性点数を有する前記候補セルの座標を決定するステップを含む、
    ことを特徴とする請求項1に記載の方法。
  3. 前記複数の候補セルの第1サブセットは、前記複数の候補セルにおけるすべての候補セルを含む、
    ことを特徴とする請求項1に記載の方法。
  4. 拒絶としてマークされていない前記候補セルに応答して、第2次元基礎ベクトルを使用して前記自動運転車両の特徴空間の前記サブセットを前記地図特徴空間に投影して前記候補セルと前記地図特徴空間との間の第2類似性点数を決定するステップと、
    前記第2類似性点数及び前記候補セルの記憶された類似性点数を使用することにより、更新される類似性点数を決定するステップと、
    前記更新される類似性点数が不十分な類似性を示すと判断されたことに応答して、前記候補セルを拒絶としてマークし、さもなければ、前記更新される類似性点数と前記候補セルとを関連付けて記憶するスタップと、
    をさらに含む、ことを特徴とする請求項1に記載の方法。
  5. 前記第1次元基礎ベクトル及び前記第2次元基礎ベクトルのそれぞれが、Gray Codeカーネルの順序付けシーケンスを含む、
    ことを特徴とする請求項4に記載の方法。
  6. コマンドが記憶されており、前記コマンドがプロセッサにより実行されると、前記プロセッサに以下の操作を実行させる、不発揮性の機械可読媒体であって
    前記操作は
    前記自動運転車両の周りのセルの自動運転車両の特徴空間における複数の候補セルの第1サブセットを決定するステップと、
    前記複数の候補セルの第1サブセットにおける候補セルのそれぞれに対して、
    第1次元基礎ベクトルを使用して前記自動運転車両の特徴空間におけるサブセットを地図特徴空間に投影することにより、前記候補セルを囲む前記自動運転車両の特徴空間の前記サブセットと、前記地図特徴空間との間の類似性点数を決定し、
    前記類似性点数が不十分な類似性を示すと判断されたことに応答して、前記候補セルを拒絶としてマークし、さもなければ、前記類似性点数と前記候補セルとを関連付けて記憶するステップと、
    前記複数の候補セルにおける候補セルのカウント数が候補セルの閾値の数よりも小さいと判断されており、前記カウント数の各候補セルのいずれも拒絶されておらず、かつ前記候補セルに関連付けて記憶された類似性点数を有しないことと、基礎ベクトルの最大次元数に達していると判断されたこととのうちの一つに応じて、前記複数の候補セルの第2サブセットを決定するステップであって、前記複数の候補セルの第2サブセットにおける各候補セルの何れも拒絶されておらず、かつ前記候補セルに関連付けて記憶された類似性点数を有しないとともに、前記第2サブセットにおける各候補セルの何れも中央値強度及び高度分散を有するステップと、
    前記第2サブセットにおける各候補セルに対して、前記中央値強度及び高度分散を使用して、前記候補セルを囲む前記自動運転車両の特徴空間のサブセットと、前記地図特徴空間との間の類似性点数を決定するステップと、
    前記複数の候補セルにおいて最高の類似性点数を有する、前記複数の候補セルにおける候補セルの少なくとも一部に基づいて、前記地図特徴空間に対する前記自動運転車両の位置を決定するステップと、を含む、
    ことを特徴とする不発揮性の機械可読媒体。
  7. 前記地図特徴空間に対する前記自動運転車両の位置を決定するステップは、
    拒絶されていない前記複数の候補セルにおいて前記最高の類似性点数を有する前記候補セルの座標を決定するステップを含む、
    ことを特徴とする請求項に記載の媒体。
  8. 前記複数の候補セルの第1サブセットは、前記複数の候補セルにおけるすべての候補セルを含む、
    ことを特徴とする請求項に記載の媒体。
  9. 前記操作は
    拒絶としてマークされていない前記候補セルに応答して、第2次元基礎ベクトルを使用して前記自動運転車両の特徴空間の前記サブセットを前記地図特徴空間に投影して前記候補セルと前記地図特徴空間との間の第2類似性点数を決定するステップと、
    前記第2類似性点数及び前記候補セルの記憶された類似性点数を使用することにより、更新される類似性点数を決定するステップと、
    前記更新される類似性点数が不十分な類似性を示すと判断されたことに応答して、前記候補セルを拒絶としてマークし、さもなければ、前記更新される類似性点数と前記候補セルとを関連付けて記憶するスタップと、
    をさらに含む、ことを特徴とする請求項に記載の媒体。
  10. 前記第1次元基礎ベクトル及び前記第2次元基礎ベクトルのそれぞれが、Gray Codeカーネルの順序付けシーケンスを含む、
    ことを特徴とする請求項に記載の媒体。
  11. プロセッサと、
    前記プロセッサに連結されてコマンドを記憶するメモリと、を含み、
    前記メモリがプロセッサにより実行されると、前記プロセッサに以下の操作を実行させる、データ処理システムであって、
    前記操作は、
    前記自動運転車両の周りのセルの自動運転車両の特徴空間における複数の候補セルの第1サブセットを決定するステップと、
    前記複数の候補セルの第1サブセットにおける候補セルのそれぞれに対して、
    第1次元基礎ベクトルを使用して前記自動運転車両の特徴空間におけるサブセットを地図特徴空間に投影することにより、前記候補セルを囲む前記自動運転車両の特徴空間の前記サブセットと、前記地図特徴空間との間の類似性点数を決定し、
    前記類似性点数が不十分な類似性を示すと判断されたことに応答して、前記候補セルを拒絶としてマークし、さもなければ、前記類似性点数と前記候補セルとを関連付けて記憶するステップと、
    前記複数の候補セルにおける候補セルのカウント数が候補セルの閾値の数よりも小さいと判断されており、前記カウント数の各候補セルのいずれも拒絶されておらず、かつ前記候補セルに関連付けて記憶された類似性点数を有しないことと、基礎ベクトルの最大次元数に達していると判断されたこととのうちの一つに応じて、前記複数の候補セルの第2サブセットを決定するステップであって、前記複数の候補セルの第2サブセットにおける各候補セルの何れも拒絶されておらず、かつ前記候補セルに関連付けて記憶された類似性点数を有しないとともに、前記第2サブセットにおける各候補セルの何れも中央値強度及び高度分散を有するステップと、
    前記第2サブセットにおける各候補セルに対して、前記中央値強度及び高度分散を使用して、前記候補セルを囲む前記自動運転車両の特徴空間のサブセットと、前記地図特徴空間との間の類似性点数を決定するステップと、
    前記複数の候補セルにおいて最高の類似性点数を有する、前記複数の候補セルにおける候補セルの少なくとも一部に基づいて、前記地図特徴空間に対する前記自動運転車両の位置を決定するステップと、
    を含む、ことを特徴とするデータ処理システム。
  12. 前記地図特徴空間に対する前記自動運転車両の位置を決定するステップは、
    拒絶されていない前記複数の候補セルにおいて前記最高の類似性点数を有する前記候補セルの座標を決定するステップを含む、
    ことを特徴とする請求項1に記載のシステム。
  13. 前記複数の候補セルの第1サブセットは、前記複数の候補セルにおけるすべての候補セルを含む、
    ことを特徴とする請求項1に記載のシステム。
  14. 前記操作は、
    拒絶としてマークされていない前記候補セルに応答して、第2次元基礎ベクトルを使用して前記自動運転車両の特徴空間の前記サブセットを前記地図特徴空間に投影して前記候補セルと前記地図特徴空間との間の第2類似性点数を決定するステップと、
    前記第2類似性点数及び前記候補セルの記憶された類似性点数を使用することにより、更新される類似性点数を決定するステップと、
    前記更新される類似性点数が不十分な類似性を示すと判断されたことに応答して、前記候補セルを拒絶としてマークし、さもなければ、前記更新される類似性点数と前記候補セルとを関連付けて記憶するスタップと、
    をさらに含む、ことを特徴とする請求項1に記載のシステム。
  15. 前記第1次元基礎ベクトル及び前記第2次元基礎ベクトルのそれぞれが、Gray Codeカーネルの順序付けシーケンスを含む、
    ことを特徴とする請求項1に記載のシステム。
JP2018021136A 2017-02-08 2018-02-08 ウォルシュ・カーネル・投影技術に基づく自動運転車両の位置決め Active JP6637088B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/427,973 2017-02-08
US15/427,973 US10380890B2 (en) 2017-02-08 2017-02-08 Autonomous vehicle localization based on walsh kernel projection technique

Publications (2)

Publication Number Publication Date
JP2018128456A JP2018128456A (ja) 2018-08-16
JP6637088B2 true JP6637088B2 (ja) 2020-01-29

Family

ID=61188723

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018021136A Active JP6637088B2 (ja) 2017-02-08 2018-02-08 ウォルシュ・カーネル・投影技術に基づく自動運転車両の位置決め

Country Status (4)

Country Link
US (1) US10380890B2 (ja)
EP (1) EP3361278B1 (ja)
JP (1) JP6637088B2 (ja)
CN (1) CN108399218B (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110832348B (zh) 2016-12-30 2023-08-15 辉达公司 用于自主车辆的高清晰度地图的点云数据丰富
EP3343172B1 (en) * 2017-01-03 2024-03-13 iOnRoad Technologies Ltd. Creation and use of enhanced maps
KR102249599B1 (ko) * 2017-03-21 2021-05-07 현대자동차 주식회사 차량 모듈의 소프트웨어 업데이트 정보 제공 서버 및 방법
US10438074B2 (en) * 2017-06-14 2019-10-08 Baidu Usa Llc Method and system for controlling door locks of autonomous driving vehicles based on lane information
US10300789B2 (en) * 2017-07-25 2019-05-28 Denso International America, Inc. Vehicle heads-up display
US11077756B2 (en) * 2017-11-23 2021-08-03 Intel Corporation Area occupancy determining device
CN109840448A (zh) * 2017-11-24 2019-06-04 百度在线网络技术(北京)有限公司 用于无人驾驶车辆的信息输出方法和装置
US10824162B2 (en) 2018-01-03 2020-11-03 Uatc, Llc Low quality pose lane associator
WO2019227375A1 (en) * 2018-05-31 2019-12-05 Qualcomm Incorporated Inspection route communications
US10810792B2 (en) * 2018-05-31 2020-10-20 Toyota Research Institute, Inc. Inferring locations of 3D objects in a spatial environment
US11087153B2 (en) * 2018-10-31 2021-08-10 Cognizant Technology Solutions India Pvt. Ltd. Traffic light recognition system and method
JP7351079B2 (ja) * 2018-11-30 2023-09-27 ソニーグループ株式会社 制御装置、制御方法及びプログラム
US10809073B2 (en) * 2018-12-05 2020-10-20 Here Global B.V. Local window-based 2D occupancy grids for localization of autonomous vehicles
US11536844B2 (en) * 2018-12-14 2022-12-27 Beijing Voyager Technology Co., Ltd. Dynamic sensor range detection for vehicle navigation
CN113366495B (zh) 2018-12-21 2024-03-22 伟摩有限责任公司 搜索自主车辆传感器数据存储库
US10809736B2 (en) * 2018-12-27 2020-10-20 Baidu Usa Llc ST-graph learning based decision for autonomous driving vehicle
CN113678168B (zh) * 2019-01-28 2023-12-15 弗劳恩霍夫应用研究促进协会 空间中的元素定位
US10733511B1 (en) * 2019-01-30 2020-08-04 StradVision, Inc. Learning method and learning device for updating HD map by reconstructing 3D space by using depth estimation information and class information on each object, which have been acquired through V2X information integration technique, and testing method and testing device using the same
EP3729333A4 (en) * 2019-02-19 2020-12-16 SZ DJI Technology Co., Ltd. AUTONOMOUS NAVIGATION BASED ON LOCAL DETECTION, AND ASSOCIATED SYSTEMS AND PROCESSES
CN109885929B (zh) * 2019-02-19 2023-07-07 百度在线网络技术(北京)有限公司 自动驾驶决策规划数据复现方法及装置
CN109933856B (zh) * 2019-02-19 2023-07-07 百度在线网络技术(北京)有限公司 自动驾驶决策规划数据复现方法及装置
AU2020371624A1 (en) * 2019-10-21 2022-05-26 Piper Networks, Inc. Transit location systems and methods using LIDAR
CN110989619B (zh) * 2019-12-23 2024-01-16 阿波罗智能技术(北京)有限公司 用于定位对象的方法、装置、设备和存储介质
CN111679303B (zh) * 2019-12-30 2023-07-28 全球能源互联网研究院有限公司 一种多源定位信息融合的综合定位方法及装置
US11827214B2 (en) * 2020-03-05 2023-11-28 Huawei Technologies Co., Ltd. Machine-learning based system for path and/or motion planning and method of training the same
CN116097128A (zh) * 2020-09-10 2023-05-09 拓普康定位系统公司 用于对车辆位置进行确定的方法和设备
US11170476B1 (en) 2020-10-15 2021-11-09 Aeva, Inc. Techniques for fast point cloud filtering using a series cascaded filter
KR20220065126A (ko) * 2020-11-12 2022-05-20 현대자동차주식회사 다중 센서 기반 주행 차로 인식 장치 및 방법
CN113297349B (zh) * 2021-05-18 2022-05-31 中国人民解放军国防科技大学 一种基于知识图谱的ros软件包推荐方法及系统
CN117388898B (zh) * 2023-12-12 2024-03-08 国家海洋局南海调查技术中心(国家海洋局南海浮标中心) 一种融合多源数据分析的北斗定位系统

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0427818A (ja) * 1990-05-23 1992-01-30 Japan Aviation Electron Ind Ltd デジタルマップを用いた移動体位置測定装置
JP2584564B2 (ja) * 1992-04-15 1997-02-26 住友電気工業株式会社 車両位置検出装置
AUPQ181699A0 (en) * 1999-07-23 1999-08-19 Cmte Development Limited A system for relative vehicle navigation
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8538673B2 (en) * 2008-10-31 2013-09-17 Czech Technical University In Prague System and method for planning/replanning collision free flight plans in real or accelerated time
JP4934167B2 (ja) * 2009-06-18 2012-05-16 クラリオン株式会社 位置検出装置および位置検出プログラム
GB201116959D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Vehicle localisation with 2d laser scanner and 3d prior scans
EP2776216B1 (en) * 2011-11-11 2022-08-31 iRobot Corporation Robot apparautus and control method for resuming operation following a pause.
US8885151B1 (en) * 2012-09-04 2014-11-11 Google Inc. Condensing sensor data for transmission and processing
CN102879003B (zh) * 2012-09-07 2015-02-25 重庆大学 基于gps终端的面向车辆位置跟踪的地图匹配方法
US9633564B2 (en) * 2012-09-27 2017-04-25 Google Inc. Determining changes in a driving environment based on vehicle behavior
US9274525B1 (en) * 2012-09-28 2016-03-01 Google Inc. Detecting sensor degradation by actively controlling an autonomous vehicle
US9037403B2 (en) * 2013-03-26 2015-05-19 Toyota Motor Engineering & Manufacturing North America, Inc. Intensity map-based localization with adaptive thresholding
WO2015156821A1 (en) * 2014-04-11 2015-10-15 Nissan North America, Inc. Vehicle localization system
US20150316386A1 (en) * 2014-04-30 2015-11-05 Toyota Motor Engineering & Manufacturing North America, Inc. Detailed map format for autonomous driving
GB201407643D0 (en) * 2014-04-30 2014-06-11 Tomtom Global Content Bv Improved positioning relatie to a digital map for assisted and automated driving operations
US9506769B2 (en) * 2014-06-30 2016-11-29 Intel Corporation System and method for familiarity-based navigation
JP6245140B2 (ja) * 2014-10-27 2017-12-13 株式会社デンソー 対象物識別装置、運転支援システム、車両および対象物識別方法
KR101877553B1 (ko) * 2014-11-14 2018-07-11 한국전자통신연구원 차량 자율주행 시스템 및 이를 이용한 차량 주행 방법
CN104869634B (zh) * 2015-04-30 2019-03-01 百度在线网络技术(北京)有限公司 定位结果的修正方法和装置
US9862488B2 (en) * 2015-08-28 2018-01-09 Mcafee, Llc Location verification and secure no-fly logic for unmanned aerial vehicles
US10229363B2 (en) * 2015-10-19 2019-03-12 Ford Global Technologies, Llc Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
US9916703B2 (en) * 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US9990548B2 (en) * 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
US10545229B2 (en) * 2016-04-22 2020-01-28 Huawei Technologies Co., Ltd. Systems and methods for unified mapping of an environment
CN106023210B (zh) * 2016-05-24 2017-12-12 百度在线网络技术(北京)有限公司 无人车、无人车定位方法、装置和系统
CN106052697B (zh) * 2016-05-24 2017-11-14 百度在线网络技术(北京)有限公司 无人车、无人车定位方法、装置和系统
US10203209B2 (en) * 2016-05-25 2019-02-12 Regents Of The University Of Minnesota Resource-aware large-scale cooperative 3D mapping using multiple mobile devices
US10066946B2 (en) * 2016-08-26 2018-09-04 Here Global B.V. Automatic localization geometry detection
US10802450B2 (en) * 2016-09-08 2020-10-13 Mentor Graphics Corporation Sensor event detection and fusion
US10579065B2 (en) * 2016-11-23 2020-03-03 Baidu Usa Llc Algorithm and infrastructure for robust and efficient vehicle localization
US10436595B2 (en) * 2017-02-02 2019-10-08 Baidu Usa Llc Method and system for updating localization maps of autonomous driving vehicles

Also Published As

Publication number Publication date
CN108399218B (zh) 2022-01-04
JP2018128456A (ja) 2018-08-16
EP3361278A1 (en) 2018-08-15
EP3361278B1 (en) 2023-10-25
US20180225968A1 (en) 2018-08-09
US10380890B2 (en) 2019-08-13
CN108399218A (zh) 2018-08-14

Similar Documents

Publication Publication Date Title
JP6637088B2 (ja) ウォルシュ・カーネル・投影技術に基づく自動運転車両の位置決め
JP6644742B2 (ja) 頑健で効率的な車両測位用のアルゴリズム及びインフラ
JP6906011B2 (ja) オブジェクトの二次元境界枠を自動運転車両の三次元位置に転換するための方法[method for transforming 2d bounding boxes of objects into 3d positions for autonomous driving vehicles (advs)]
JP6738932B2 (ja) シミュレーションプラットフォームに配置された、機械学習モデルを訓練するためのシステム及び方法
JP6831880B2 (ja) 自動運転のための事前収集の静的反射図に基づく自動lidarキャリブレーション
JP6722312B2 (ja) 自動運転に用いられる感知と計画のコラボレーションフレームワーク
CN108387241B (zh) 更新自动驾驶车辆的定位地图的方法和系统
JP6722280B2 (ja) 自律走行車の交通予測における予測軌跡の評価フレームワーク
KR102062608B1 (ko) 자율 주행 차량의 제어 피드백에 기초한 맵 업데이트 방법 및 시스템
JP6578331B2 (ja) 自律走行車のコマンド遅延を決定するための方法
JP6890639B2 (ja) 自動運転のための交差検証に基づく自動lidarキャリブレーション
CN110386142A (zh) 用于自动驾驶车辆的俯仰角校准方法
US20210373161A1 (en) Lidar localization using 3d cnn network for solution inference in autonomous driving vehicles
CN110239562A (zh) 自动驾驶车辆的基于周围车辆行为的实时感知调整与驾驶调适
JP2019204509A (ja) 移動障害物を回避する自動運転のための運転経路の決定
JP6757442B2 (ja) 自動運転車における車線後処理
JP2020523552A (ja) 自動運転車両の経路計画のための運転シナリオに基づく車線ガイドライン
KR20200037737A (ko) 자율 주행 차량을 위한 보행자 확률 예측 시스템
JP6908674B2 (ja) 自動運転車両を動作させるための所定のキャリブレーションテーブルに基づく車両制御システム
JP2019192234A (ja) 複数のキューを利用したオブジェクト追跡
JP2020083310A (ja) 車両挙動予測のための圧縮環境特徴の表示
JP2021511999A (ja) 自動運転車両の3ポイントターンの最適プランナー切り替え方法
CN111629947B (zh) 自动驾驶车辆的用于生成参考线的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191219

R150 Certificate of patent or registration of utility model

Ref document number: 6637088

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250