JP2024055902A - 手続き的な世界の生成 - Google Patents

手続き的な世界の生成 Download PDF

Info

Publication number
JP2024055902A
JP2024055902A JP2024021114A JP2024021114A JP2024055902A JP 2024055902 A JP2024055902 A JP 2024055902A JP 2024021114 A JP2024021114 A JP 2024021114A JP 2024021114 A JP2024021114 A JP 2024021114A JP 2024055902 A JP2024055902 A JP 2024055902A
Authority
JP
Japan
Prior art keywords
data
error
simulated environment
road
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024021114A
Other languages
English (en)
Inventor
グラハム ドラン ジェームス
レイモンド ブルックス ダグラス
Original Assignee
ズークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ズークス インコーポレイテッド filed Critical ズークス インコーポレイテッド
Publication of JP2024055902A publication Critical patent/JP2024055902A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/06—Curved planar reformation of 3D line structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

【課題】模擬環境を生成する既存の技術は、コンピュータ的には集中的な、且つ時間のかかる手動の生成を必要とする。【解決手段】本発明では、道路メッシュに関連付けられた第１の領域と、模擬環境に関連付けられた補足データに関連付けられた第２の領域とを整列させることと、道路メッシュと補足データとの間の誤差を決定することと、誤差を低減するための混合されたデータを生成するために道路メッシュ及び補足データを混合すること、または道路メッシュを補足データと実質的に整列させるために道路メッシュを変形することのうちの少なくとも１つを実行することと、自律ロボットコンピューティングデバイスによって使用される修正された模擬環境を出力することを含む動作を実行させるシステムを提供する。【選択図】図５

Description

本開示は、手続き的な世界の生成に関する。
（優先権出願）
本ＰＣＴ国際出願は、２０１８年１０月１７日に出願された米国特許出願第１６／１６３，４７８号の優先権の継続および主張であり、これは、２０１８年８月９日に出願された「Procedural World and Agent Generation」と題する米国仮特許出願第６２／７１６，８３９の優先権を主張する。また、本ＰＣＴ国際出願は、２０１８年１０月１７日に出願された米国特許出願第１６／１６３，４６６号の優先権の継続および主張である。前述のすべての出願の内容全体は、参照により本明細書に組み込まれる。
模擬世界環境（「模擬環境」）は、さまざまな環境のレンダリングを含む。このようなレンダリングは、例えば、道路、車両、歩行者などを含んでよい。模擬環境は、訓練、テスト、および／またはシステムの認証を強化することに有用であってよい。模擬環境を生成する既存の技術は、コンピュータ的には集中的な、且つ時間のかかる手動の生成を必要とする。
詳細な説明は、添付の図面を参照して説明される。図面において、参照番号の最左端の桁は、参照番号が最初に現れる図面を同定する。異なる図面における同一の参照番号の使用は、類似、または同一のコンポーネント、または特徴を示す。
本明細書で説明されるように、模擬環境を手続き的にレンダリングする例示を図示する。 本明細書で説明されるように、模擬環境のレンダリングの手続きのさまざまな態様の非限定的な例示を図示する。 本明細書で説明されるように、模擬環境のレンダリングの手続きのさまざまな態様の非限定的な例示を図示する。 本明細書で説明されるように、模擬環境のレンダリングの手続きのさまざまな態様の非限定的な例示を図示する。 本明細書で説明されるように、模擬環境のレンダリングの手続きのさまざまな態様の非限定的な例示を図示する。 本明細書で説明されるように、模擬環境のレンダリングの手続きのさまざまな態様の非限定的な例示を図示する。 本明細書で説明されるように、模擬環境のレンダリングの手続きのさまざまな態様の非限定的な例示を図示する。 本明細書で説明されるように、模擬環境を手続き的にレンダリングする例示的なシステムを図示するブロック図である。 本明細書で説明されるように、模擬環境を手続き的にレンダリングする例示プロセスを図示する。 本明細書で説明されるように、補完データを道路メッシュと統合させる例示的なプロセスを図示する。 本明細書で説明されるように、オブジェクトを模擬環境へとレンダリングする例示的なプロセスを図示する。
ここで説明される技術は、手続き的な世界の生成のさまざまな態様に向けられている。つまり、本明細書で説明される技術は、ナビゲーション、プラニング、および／または意思決定をする車両によって用いられるシステムおよび／またはコンポーネントをテスト、認証、または訓練する際に用いられる模擬世界を手続き的に生成することに向けられている。本明細書で説明される少なくともある例示において、このように生成された模擬世界は、実際の世界の環境を表現するよう生成されることができ、少なくともある例示において、可能な限り正確である。本明細書で説明される技術は、このような模擬環境がどのように生成されることができるかを説明する。
一例示において、本明細書で説明される技術は、実際の環境内でさまざまなセンサーシステムからセンサーデータを受信することに向けられる。センサーシステムは、光検出および測距（ＬＩＤＡＲ）センサー、無線検出および測距（ＲＡＤＡＲ）センサー、超音波トランスデューサー、音波航法および測距（ＳＯＮＡＲ）センサー、飛行時間（ＴｏＦ）センサー、位置センサー（例えば、全地球測位システム（ＧＰＳ）、コンパスなど）、慣性センサー（例えば、慣性測定ユニット、加速度計、磁気計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度など）、ホイールエンコーダー、マイク、環境センサー（例えば、温度センサー、湿度センサー、光センサー、圧力センサーなど）などを含んでよいが、これらに限定されない。センサーデータを用いることで、本明細書で説明される技術は、実際の環境に関連付けられる道路ネットワークデータ、および実際の環境に関連付けられる道路メッシュを生成、受信、および／またはそうでなければアクセスすることが可能である。本明細書で説明される技術は、道路ネットワークデータを道路メッシュに関連付け、模擬環境を生成することが可能である。つまり、実際の環境を表現するデータが模擬環境を生成することに用いられることが可能である。ある例示において、模擬環境は、第３のデータ（例えば、第３者からのデータ）で補完されることが可能であり、これは、本明細書で「補完データ」として参照されてよい。本明細書で説明される技術は、さらに、オブジェクトおよび表面の詳細を模擬環境へと手続き的にレンダリングすることに向けられる。結果として生じる模擬環境は、ナビゲーション、プラニング、および／または意思決定のための自律走行車のような自律型ロボットのコンピューティングデバイスによって用いられる、システムおよび／またはコンポーネントをテスト、認証、および／または訓練することに用いられてよい。
模擬環境は、訓練、テストを強化すること、および／または自律走行車に搭載されたシステム（例えば、人工知能（ＡＩ）スタックの１つまたは複数のコンポーネント）を認証することに用いられることが可能である。例えば、少なくとも１つの例示において、模擬環境は、自律走行車（例えば、このようなシステムで用いられるモデル）に搭載されて用いられる訓練システムに有用であってよく、例えば、実際のデータが容易に利用できない場合と、実際の環境内でテストすることが安全ではない場合と、そうでなければ利用できるより多くのデータの大きさを生成するためとがある。少なくとも１つの例示において、模擬環境は、まれなもしくは低い頻度で発生する状況、および／またはオブジェクトのための訓練データを生成することに用いられてよい。さらに、模擬環境は、例えば、実際の環境が利用できないか、もしくは安全ではない場合のいずれか、またはそうでなければグラウンドトゥルースが利用できない場合に、自律走行車（例えば、モデルおよび／またはシステムがその上で実行されている場合）の性能をテストすることに有用であってよい。
さらに、ある例示において、模擬環境に関連付けられるセンサーデータは、（例えば、オクルージョン、ノイズ、ドリフトなどに起因して）実際の環境に関連付けられるセンサーデータより正確である場合があり、それ故、模擬環境は、実際の環境に関連して得られた観測を検証することに用いられてよい。ある例示において、模擬環境は、（例えば、自律走行車に搭載された１つまたは複数のセンサーシステムの）較正に用いられてよい。上記のように、本明細書で説明される技術は、さまざまな状況において、模擬環境を生成することおよび模擬環境に用いられることに向けられている。
本明細書で説明される技術は、さまざまな計算効率を提供する。例えば、本明細書で説明される手続き的なレンダリング技術を用いることによって、コンピューティングデバイスは、より少ない計算リソースを必要とし、模擬世界は、従来の技術を介して利用できるものより速く生成されることが可能である。従来の技術は、スケーラブルではない。例えば、新しい地理的位置の模擬環境を生成することは、従来の技術を用いて、数日、または数か月かかることさえある。自律走行車に搭載された訓練システム、テストシステム、および／または認証システム（例えば、ＡＩスタックの１または複数のコンポーネント）に必要とされる数である、数十、数百、および数千の新しい模擬環境を生成すること（例えば、このような自律走行車が対応する新しい実際の環境に配置される前に）は、数か月、または数年さえかかることで、新しい実際の環境へと入る前に自律走行車に搭載されたこのような訓練システム、テストシステム、および／または認証システム（例えば、ＡＩスタックの１つまたは複数のコンポーネント）の能力を制限する。本明細書で説明される技術は、実際の環境から収集されるセンサーデータを活用して、そのデータを三次データで補完し、従来の技術で利用できるものより効率的に（例えば、対応する実際の環境に対して）実質的に正確な模擬環境を生成するという点で先行技術とは異なる。さらに、本明細書で説明される技術は、オブジェクトおよび／もしくは表面の詳細の追加をランダム化ならびに／またはパラメーター化することによって、模擬環境の外観をカスタマイズするように、大規模でスケーラブルな模擬環境をより少ない時間、且つより少ない計算リソースで生成することを可能とする。
さらに、本明細書で説明される技術は、安全性における改善に向けられている。つまり、本明細書で説明される生成技術から生じる模擬環境は、自律走行車に搭載された、テストシステム、訓練システム、および認証システムに用いられることが可能であり、このようなシステムを保証することは、実際の環境内で配置された場合に、自律走行車を安全に操作することが可能である。つまり、本明細書で説明される生成技術から生じる模擬環境は、プランナシステムをテスト、訓練、および認証することに用いられることが可能であり、これは、自律走行車が実際の環境内で軌道に沿って自律走行車をナビゲーションすることに用いられてよい。したがって、本明細書で説明される技術によって可能となるこのような訓練、テスト、および認証は、自律走行車が実際の世界の環境内で安全に動作することが可能であることを保証する機会を提供することが可能である。それ故、本明細書で説明される技術は、安全で影響力のあるナビゲーションを改善する。
図１は、本明細書で説明されるような手続き的な世界の生成を表現する概略図１００を図示する。一例示において、１つまたは複数のコンピューティングデバイスは、本明細書で説明されるように、模擬環境を手続き的にレンダリングすることが可能である。
少なくとも１つの例示において、データ収集デバイス１０２は、センサーシステム１０４を利用し、実際の環境に関連付けられるセンサーデータ１０６を収集することが可能である。上記のように、センサーシステム１０４は、ＬＩＤＡＲセンサー、ＲＡＤＡＲセンサー、超音波トランスドューサー、ＳＯＮＡＲセンサー、ＴｏＦセンサー、位置センサー（例えば、ＧＰＳ、コンパスなど）、慣性センサー（例えば、慣性測定ユニット、加速度計、磁気計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度など）、ホイールエンコーダー、マイク、環境センサー（例えば、温度センサー、湿度センサー、光センサー、圧力センサーなど）などを含んでよいが、これらに限定されない。センサーシステム１０４は、センサーデータ１０６を出力してよく、これは、コンピューティングデバイスによって受信されてよい。ある例示において、データ収集デバイス１０２は、図１に図示されるように、実際の環境を横断する自律走行車であってよい。しかしながら、データ収集デバイス１０２は、実際の環境内で、センサーデータ１０６を収集することが可能である任意のコンピューティングデバイスであってよい。
コンピューティングデバイスは、道路ネットワークデータ１０８および／または道路メッシュ１１０を受信、生成、および／またはそうでなければアクセスしてよく、これは、少なくとも部分的にセンサーデータ１０６に基づいてよい。少なくとも１つの例示において、道路ネットワークデータ１０８は、例えば、運転レーン要素、自転車レーン要素、駐車レーン要素、横断歩道要素、交差点要素、レーン分割要素、信号機要素、一時停止標識要素、停止線要素、譲れ標識要素、譲れ線要素、ドライブウェイ要素、スピードバンプ要素、ジェイウォーキング領域（例えば、仮想横断歩道）、軌道通過点（例えば、周知の軌道）、乗員ピックアップポイント、標識位置要素、ジオフェンス要素などの１つまたは複数を示す２次元（２Ｄ）表現または３次元（３Ｄ）表現であってよい。ある例示において、道路ネットワークデータ１０８は、道路ネットワークデータの特定の部分の属性を示す情報で符号化されてよい。例えば、道路ネットワークデータ１０８における道路線は、道路線が自転車レーン要素、駐車レーン要素、または横断歩道要素に関連付けられていることを示す情報で符号化されることが可能である。
道路メッシュ１１０は、３Ｄタイル（これは、以下で説明されるように、位置決めシステムによって出力されてよい）を含んでよい。このような道路ネットワークデータ１０８および／または道路メッシュ１１０に関連付けられる追加の詳細は、２０１８年３月２１日に出願された米国特許出願第１５／９２７，８０６号および２０１８年３月６日に出願された米国特許出願第１５／９１３，６４７号において説明され、その両方のすべての内容は、参照により本明細書に組み込まれる。コンピューティングデバイスは、道路ネットワークデータ１０８を道路メッシュ１１０に関連付け、模擬環境１１２を生成することが可能である。このような統合は、少なくともあるインスタンスにおいて、（２Ｄデータまたは３Ｄデータとして）道路ネットワークデータ１０８を道路メッシュ１１０へと投影することを含んでよい。つまり、本明細書で説明される技術は、実際の世界のデータ（例えば、センサーデータ１０６）に基づいて、模擬環境（例えば、模擬環境１１２）を生成することに向けられている。
結果として生じる模擬環境１１２は、（例えば、対応する実際の環境を考慮して）正確な高さおよび表面の詳細を含んでよい。しかしながら、ある例示において、例えば、道路メッシュ１１０を構築している場合に、オクルージョン（例えば、駐車している車、狭い路地など）に起因して、模擬環境内に欠損（例えば、不完全なデータ）があってよい。少なくとも１つの例示において、コンピューティングデバイスは、既存の模擬環境を補完する第２の代替データソースにアクセスする（例えば、且つ欠損を埋める）ことが可能である。例えば、少なくとも１つの例示において、コンピューティングデバイスは、第３者のソースおよび／またはシステム１１４からのデータにアクセスすることが可能であり、このような補完データ１１６を活用し、既存の模擬環境１１２を補完することが可能である。補完データ１１６は、現在のデータセット（例えば、道路ネットワークデータ１０８および道路メッシュ１１０）を超えることが可能であることによって、補完データ１１６は、データ収集技術に関連付けられるオクルージョンおよび／またはその他の欠陥に起因して、データ収集デバイス１０２がそうでなければ利用できない実際の環境に関連付けられる情報を提供する。少なくとも１つの例示において、補完データ１１６は、米国地質調査所（ＵＳＧＳ）のデータ評価モデル（ＤＥＭ）データなどを含んでよい。ＵＳＧＳのＤＥＭデータは、ラスター標高データ（例えば、数値標高マップ）を有するデータセットを含んでよい。ＵＳＧＳのＤＥＭデータは、関連するデータ（例えば、道路ネットワークデータおよび道路メッシュ）程正確ではない場合があるが、ＵＳＧＳのＤＥＭデータは、多くの場合、より完全である。つまり、ＵＳＧＳのＤＥＭデータは、欠損を有さない場合があるので、このようなデータは、（例えば、データ収集におけるオクルージョンまたは他の欠陥に起因して）データが欠測しているデータセットを補完することに用いられることが可能である。追加または代替の例示において、補完データ１１６は、実際の環境に関連付けられるツリーマップデータ、実際の環境に関連付けられるカラー画像データ、環境に関連付けられるマップデータなどを含んでよい。
さらに、コンピューティングデバイスは、環境内のオブジェクトの特性に関連付けられるデータを活用し、模擬環境１１２をさらに補完することが可能である。少なくとも１つの例示において、コンピューティングデバイスは、格納されたオブジェクトのフットプリントデータストレージ１１８にアクセスすることが可能であり、これは、建物または他の静止オブジェクトのフットプリントを表現する格納されたオブジェクトデータ１２０を格納する。ある例示において、このようなフットプリントは、高さ、分類（例えば、住宅、商業など）などに関するアノテーションに関連付けられることが可能である。コンピューティングデバイスは、ファサード部分およびルールセットを生成するガイドメッシュとして、フットプリントおよび関連するアノテーション（例えば、格納されたオブジェクトデータ１２０）を利用することが可能である。例えば、一例示において、コンピューティングデバイスは、ルールセットを個々の格納されたオブジェクトのフットプリントに関連付けることが可能である。ルールセットは、オブジェクトのさまざまな部分に関連付ける表面の詳細および／またはテクスチャを示すことが可能である。このようなルールセットは、ランダムに、または１つもしくは複数のパラメーター（例えば、高さ、分類など）に基づいて、個々の格納されたオブジェクトのフットプリントに関連付けられることが可能である。このようなルールセットは、格納されたオブジェクトのフットプリントに対応するオブジェクトのファサード部分を生成する方法を示すことが可能である。例えば、ルールセットは、ファサード部分を生成することに用いられてよいテクスチャへの参照を含んでよい。非限定的な例示として、ルールセットは、商業オフィスビルの１階に特定のメッシュ、テクスチャなど（例えば、建物の分類）を用いること、このような建物などの２階（および続く階）に異なるメッシュ、テクスチャなどを用いることを示してよい。それ故、ルールセットの実行は、表面の詳細（例えば、ファサード）を模擬環境内でオブジェクトに追加することが可能である。このような詳細の追加は、実際の外観の模擬環境が手続き的に生成されることを可能とする。例えば、ファサードの詳細は、影付け機能および／または窓の反射に影響を与える場合があり、これは、模擬環境に複雑さを加えることが可能であることによって、実際の状態を表現する。
少なくとも１つの例示において、建物のフットプリント、高さ、テクスチャリング、および分類をランダムに定義してよい。これらのフットプリントに関連付けられるデータがマップ内での位置の指示を有さない例示（例えば、フットプリントがランダムに決定された場合、マップに依存しないフットプリントのデータストレージから取得された場合など）において、このようなフットプリントは、整列されるか、またはそうではない場合配置されてよく、そうすることによって、少なくとも１つのファサードが道路ネットワークにおける車道と整列するように配置され、１つまたは複数のルール（例えば、車道から特定の距離に配置され、分類に基づいて、他の建物から最小または最大の距離、特定の方向に向けられているなど）などに従って間隔が空けられる。このようなルールセットが適用された場合に、もっともらしい外観の建物は、模擬環境１１２において自動的に（例えば、人間のモデリングなしで）生成されることが可能である。このようなルールを利用することで、設計者の時間および／または計算リソースに多大な投資をすることなく、外観の異なる模擬環境を手続き的に生成することを可能とする。つまり、このようなルールを利用することは、（例えば、比較的単純なルールを介して）複雑な模擬環境が生成されることが可能である効率を高める。
ある例示において、コンピューティングデバイスは、テクスチャリングデータを利用し、例えば、リアルタイムのレンダリングの間に、模擬環境１１２に表面の詳細を追加することが可能である。このような例示において、コンピューティングデバイスは、表面の詳細データストレージ１３０にアクセスすることが可能であり、これは、表面の詳細データ１３２を格納する。表面の詳細データ１３２、これは、「テクスチャリングデータ」とも称され、模擬環境１１２内のオブジェクトに追加されてよい詳細（例えば、欠陥、パッチ、マーキングなど）を含んでよく、このようなオブジェクトを（技術者の作業負荷を大幅に増加させることなく、または、そうでなければ必要となるアルゴリズム的にカスタマイズするための追加の計算をすることなく）固有に見えるようにさせる。少なくとも１つの例示において、コンピューティングデバイスは、まばらな仮想テクスチャを利用し、１回の描画で模擬環境１１２をレンダリングすることを可能とし、これは、性能を向上させ、且つ計算リソースを低減させる。このような例示において、それぞれのサーフェル（例えば、表面の要素）は、（識別のような）固有のデータに関連付けられてよく、これによって、個々のサーフェルが割り当てられ、アドレスが指定され、さらにアサインされてよい。さらに、ある例示において、コンピューティングデバイスは、模擬環境１１２内でレンダリングされるオブジェクトのそれぞれの表面に複数のブラシストローク状のデカールを追加することができる。少なくともある例示において、さまざまなデカールは、さまざまな領域および構造の分類に適用され（例えば、写実的な汚れや煤、落書き、ゴミなどは、例えば、路地における建物のファサードに適用されてよい）、任意の手続きベースのテクスチャリングを変更（例えば、関連する分類が与えられた表面の上にテクスチャのパターンを適用）することができる。本明細書で説明される技術は、設計者にいくつかの異なるテクスチャをモデル化させることを可能とし、これは、模擬環境１１２全体で用いられることが可能である。表面の詳細を模擬環境１１２に追加することは、模擬環境１１２内および模擬環境１１２と他の模擬環境との間で多様性を高めることが可能である。
結果として生じる模擬環境１３４は、模擬コンピューティングシステムによる使用のために出力されてよい。少なくとも１つの例示において、模擬環境１３４は、自律走行車に搭載された訓練システム、テストシステム、および／または認証システム（例えば、ＡＩスタックの１つまたは複数のコンポーネント）を強化することに有用であってよい。例えば、少なくとも１つの例示において、模擬環境１３４は、自律走行車（例えば、このようなシステムで用いられるモデル）に搭載されて用いられる訓練システムに有用であってよく、例えば、実際のデータが容易に利用できない場合と、実際の環境内でテストすることが安全ではない場合と、そうでなければ利用できるより多くのデータの大きさを生成するためとがある。少なくとも１つの例示において、模擬環境１３４は、まれなもしくは低い頻度で発生する状況、および／またはオブジェクトのための訓練データを生成することに用いられてよい。さらに、模擬環境１３４は、例えば、実際の環境が利用できないか、もしくは安全ではない場合のいずれか、またはそうでなければグラウンドトゥルースが利用できない場合に、自律走行車（例えば、モデルおよび／またはシステムがその上で実行されている場合）の性能をテストすることに有用であってよい。模擬環境を有することによって、人間ベースのデータのアノテーションを必要とはせずに、このような認証のために正確なグラウンドトゥルース測定値が決定されることが可能である。さらに、ある例示において、模擬環境１３４に関連付けられるセンサーデータは、（例えば、オクルージョン、ノイズ、ドリフトなどに起因して）実際の環境に関連付けられるセンサーデータより正確である場合があり、それ故、模擬環境１３４は、実際の環境に関連して得られた観測を検証することに用いられてよい。ある例示において、模擬環境１３４は、（例えば、自律走行車に搭載された１つまたは複数のセンサーシステムの）較正に用いられてよい。
図２Ａ～図２Ｆは、本明細書で説明されるように、模擬環境のレンダリングの手続きのさまざまな態様の非限定的な例示を図示する。
上記のように、データ収集デバイス１０２は、センサーシステム１０４を介して実際の環境に関連付けられるセンサーデータ１０６を生成することが可能である。コンピューティングデバイスは、図２Ａに図示されるように、センサーデータ１０６を受信してよく、道路ネットワークデータ１０８を受信、生成、および／またはそうでなければアクセスしてよい。少なくとも１つの例示において、道路ネットワークデータ１０８は、例えば、運転レーン要素、自転車レーン要素、駐車レーン要素、横断歩道要素、交差点要素、レーン分割要素、信号機要素、一時停止標識要素、停止線要素、譲れ標識要素、譲れ線要素、ドライブウェイ要素、スピードバンプ要素、ジェイウォーキング領域（例えば、仮想横断歩道）、軌道通過点（例えば、周知の軌道）、乗員ピックアップポイント、標識位置要素、ジオフェンス要素などの１つまたは複数を示す２Ｄ表現または３Ｄ表現であってよい。さらに、コンピューティングデバイスは、道路メッシュ１１０を生成することが可能である。少なくとも１つの例示において、図２Ｂに図示されるように、センサーデータ１０６は、ＬＩＤＡＲデータを含んでよく、これは、実際の環境を表現する３Ｄの点群を生成することに用いられてよい。少なくとも１つの例示において、コンピューティングデバイスは、３Ｄの点群に基づいて道路メッシュ１１０を生成することが可能である。道路メッシュ１１０は、３Ｄタイル（これは、以下で説明されるように、位置決めシステムによって出力されてよい）を含んでよい。コンピューティングデバイスは、道路ネットワークデータ１０８を道路メッシュ１１０に関連付け、模擬環境１１２を生成することが可能である。このような統合は、少なくともあるインスタンスにおいて、（２Ｄデータまたは３Ｄデータとして）道路ネットワークデータ１０８を道路メッシュ１１０へと投影することを含んでよい。
結果として生じる模擬環境１１２は、（例えば、対応する実際の環境を考慮して）正確な高さおよび表面の詳細を含んでよい。しかしながら、ある例示において、例えば、道路メッシュ１１０を構築する場合に、オクルージョン（例えば、駐車している車、狭い路地など）に起因して、模擬環境内（例えば、不完全なデータ）に欠損があってよい。少なくとも１つの例示において、コンピューティングデバイスは、既存の模擬環境を補完する第２の代替データソースにアクセスする（例えば、且つ欠損を埋める）ことが可能である。図２Ｃは、図２Ａおよび図２Ｂに表現されているように、実際の環境の同じ部分に対応する補完データ１１６の非限定的な例示を図示している。例えば、少なくとも１つの例示において、コンピューティングデバイスは、（例えば、道路ネットワークデータ１０８および／または道路メッシュ１１０を補完データ１１６と統合させることによって）第三者のソースおよび／またはシステム１１４からのデータにアクセスし、このような補完データ１１６を活用し、既存の模擬環境１１２を補完することが可能である。上記のように、補完データ１１６は、実際の環境に関連付けられるＵＳＧＳ ＤＥＭデータ、実際の環境に関連付けられるツリーマップデータ、実際の環境に関連付けられるカラー画像データ、環境に関連付けられるマップデータなどを含んでよい。
さらに、コンピューティングデバイスは、環境内のオブジェクトの特性に関連付けられるデータを活用し、模擬環境１１２をさらに補完することが可能である。少なくとも１つの例示において、コンピューティングデバイスは、格納されたオブジェクトのフットプリントデータストレージ１１８にアクセスすることが可能であり、これは、建物または他の静止オブジェクトのフットプリントを表現する格納されたオブジェクトデータ１２０を格納する。ある例示において、このようなフットプリントは、高さ、分類（例えば、住宅、商業など）などに関するアノテーションに関連付けられることが可能である。上記のように、コンピューティングデバイスは、ファサード部分を生成するガイドメッシュとして、フットプリントおよび関連するアノテーション（例えば、格納されたオブジェクトデータ１２０）を利用することが可能である。少なくとも１つの例示において、建物のフットプリント、高さ、テクスチャリング、ルールセット、および／または分類は、ランダムに定義されてよい。これらのフットプリントに関連付けられるデータがマップ内での位置の指示を有さない例示（例えば、フットプリントがランダムに決定された場合、マップに依存しないフットプリントのデータストレージから取得された場合など）において、このようなフットプリントは、整列されるか、またはそうではない場合配置されてよく、そうすることによって、少なくとも１つのファサードが道路ネットワークにおける車道と整列するように配置され、１つまたは複数のルール（例えば、車道から特定の距離に配置され、分類に基づいて、他の建物から最小または最大の距離、特定の方向に向けられているなど）などに従って間隔が空けられる。図２Ｄに図示されるように、このようなルールセットが適用された場合に、もっともらしい外観の建物は、模擬環境１１２内で自動的に生成されることが可能である。
ある例示において、コンピューティングデバイスは、テクスチャリングデータを利用し、例えば、リアルタイムのレンダリングの間に、模擬環境１１２に表面の詳細を追加することが可能である。このような例示において、コンピューティングデバイスは、表面の詳細データストレージ１３０にアクセスすることが可能であり、これは、表面の詳細データ１３２を格納する。表面の詳細データ１３２、これは、「テクスチャリングデータ」とも称され、模擬環境１１２内のオブジェクトに追加されてよい詳細（例えば、欠陥、パッチ、マーキングなど）を含んでよく、このようなオブジェクトを（技術者の作業負荷を大幅に増加させることなく）固有に見えるようにさせる。図２Ｅに図示されるように、少なくとも１つの例示において、コンピューティングデバイスは、まばらな仮想テクスチャを利用し、１回の描画で模擬環境１１２をレンダリングすることを可能とし、これは、性能を向上させ、且つ計算リソースを低減させる。このような例示において、それぞれのサーフェルは、（識別のような）固有のデータに関連付けられてよく、これによって、個々のサーフェルが割り当てられ、アドレスが指定され、さらにアサインされてよい。図２Ｅにおいて、説明の目的のために単一の英数字として描かれているが、このような識別は、それ程限定的であることを意味するものではない。さらに、ある例示において、コンピューティングデバイスは、模擬環境１１２内でレンダリングされるオブジェクトのそれぞれの表面に複数のブラシストローク状のデカールを追加することができる。少なくともある例示において、さまざまなデカールは、さまざまな領域および構造の分類に適用され（例えば、写実的な汚れや煤、落書き、ゴミなどは、例えば、路地における建物のファサードに適用されてよい）、任意の手続きベースのテクスチャリングを変更（例えば、関連する分類が与えられた表面の上にテクスチャのパターンを適用）する。
図２Ｆは、本明細書で説明されるように、結果として生じる模擬環境１３４の非限定的な例示を図示し、これは、自律走行車に搭載された訓練システム、テストシステム、および／または認証システム（例えば、ＡＩスタックの１つまたは複数のコンポーネント）を強化するためのものであってよい。つまり、ある例示において、結果として生じる模擬環境１３４は、自律走行車の車載システムによって用いられる訓練アルゴリズム、テストアルゴリズム、および／または認証アルゴリズムに用いられてよく、これは、自律走行車を制御することに用いられることに用いられてよい。
図３は、模擬環境を手続き的にレンダリングする例示的なシステムを図示するブロック図である。
少なくとも１つの例示において、車両３０２は、１つまたは複数の車両コンピューティングデバイス３０４、１つまたは複数のセンサーシステム３０６、１つまたは複数のエミッター３０８、１つまたは複数の通信接続３１０、少なくとも１つの直接接続３１２、および１つまたは複数のドライブシステム３１４を含んでよい。例示の目的で、車両３０２は、米国国家幹線道路交通安全局によって発行されたレベル５の分類に従って動作するよう構成される自律走行車であってよく、これは、運転者（または乗員）が車両を常に制御することを期待するのではなく、全体行程のすべての安全上重要な機能を実行することが可能である車両を説明している。このような例示において、車両３０２は、すべての駐車機能を含む、始動から停止までのすべての機能を制御するよう構成されてよいため、空いていてよい。これは単に例示であり、本明細書で説明されるシステムおよび方法は、運転者によって常に手動で制御される必要がある車両から、部分的または完全に自律的に制御されているものまでを含む任意の地上、空中、または水上車両へと組み込まれてよい。つまり、説明された例示において、車両３０２は、自律走行車であるが、車両３０２は、任意の他のタイプの車両であってよい。
少なくとも１つの例示において、車両３０２は、（例えば、データ収集デバイス１０２の）データ収集デバイスであってよい。追加のまたは代替の例示において、上記のＡＩスタックの１つまたは複数のコンポーネントが車両３０２に関連付けられてよい。つまり、本明細書で説明される模擬環境は、車両３０２を参照して以下で説明される１つまたは複数のコンポーネントを訓練、テスト、および／または認証することに用いられることが可能である。
車両コンピューティングデバイス３０４は、プロセッサ３１６およびプロセッサ３１６と通信可能に結合されたメモリ３１８を含んでよい。説明された例示において、車両コンピューティングデバイス３０４のメモリ３１８は、位置決めシステム３２０、知覚システム３２２、予測システム３２４、プラニングシステム３２６、および１つまたは複数のシステムコントローラ３２８を格納する。さらに、メモリ３１８は、ストレージ２３０を含んでよく、これは、マップ、モデルなどを格納してよい。マップは、トポロジー（交差点など）、車道、山脈、道路、地形、および一般的な環境などであるが、これらに限定されない環境についての情報を提供することが可能である、２次元、３次元、またはＮ次元でモデル化される任意の数のデータ構造であってよい。マップは、実際の環境または模擬環境に関連付けられてよい。モデルは、以下で説明されるように、マシンによって訓練されたモデルを含んでよい。
少なくとも１つの例示において、位置決めシステム３２０は、センサーシステム３０６および／またはマップに関連付けられる（例えば、マップの）マップデータから受信されるセンサーデータに少なくとも部分的に基づいて、ローカルマップおよび／またはグローバルマップに関連する車両３０２の姿勢（例えば、位置および向き）を決定することが可能である。少なくとも１つの例示において、位置決めシステム３２０は、較正すること（センサーシステム３０６のうちのいずれか１つまたは複数の関連付けられるさまざまな内因性および外因性パラメーターを決定すること）、位置決めすること、およびマッピングすることを実質的に同時に実行する操作を実行することが可能である較正システムを含むか、または関連付けられてよい。このようなシステムに関連付けられる追加の詳細は、２０１７年８月１１日に出願された米国特許出願第１５／６７５，４８７号に記載されており、これは、２０１７年８月１１日に出願された米国特許出願第１５／６７５，８５３号に関連し、これらの両方のすべての内容が参照により本明細書に組み込まれる。上記のように、位置決めシステム３２０は、センサーシステム３０６によって受信されるセンサーデータに基づいて、道路ネットワークデータおよび／または道路メッシュを出力することが可能である。
少なくとも１つの例示において、知覚システム３２２は、センサーシステム３０６から受信されるセンサーデータに少なくとも部分的に基づいて、オブジェクトの検出、セグメンテーション、および／または分類を実行することが可能である。少なくとも１つの例示において、知覚システム３２２は、（例えば、センサーシステム３０６から）生のセンサーデータを受信することが可能である。他の例示において、知覚システム３２２は、（例えば、センサーシステム３０６から）処理されたセンサーデータを受信することが可能である。例えば、少なくとも１つの例示において、知覚システム３２２は、カメラデータ（例えば、画像）を受信および処理する視覚システムからデータを受信することが可能である。少なくとも１つの例示において、視覚システムは、１つまたは複数の画像処理アルゴリズムを利用し、画像内で識別されるオブジェクトに対してオブジェクトの検出、セグメンテーション、および／または分類を実行することを可能とする。ある例示において、視覚システムは、境界ボックス（またはインスタンスセグメンテーションのような他の意味情報）を識別されるオブジェクトに関連付けてよく、識別されるオブジェクトの分類に関連付けられる信頼スコアを関連付けてよい。ある例示において、オブジェクトは、ディスプレイを介してレンダリングされた場合に、知覚されるクラスに基づいて色がつけられてよい。少なくとも他の例示において、同様のプロセス（検出、分類、セグメンテーションなど）は、１つまたは複数の他のモダリティ（例えば、ＬＩＤＡＲ、ＲＡＤＡＲ、ＴｏＦセンサーなど）のための知覚システム３２２によって実行されてよい。
予測システム３２４は、センサーシステム３０６からのセンサーデータ、（例えば、ストレージ２３０内に存在し得るマップの）マップに関連付けられるマップデータ、および／または知覚システム３２２から出力される知覚データ（例えば、処理されたセンサデータ）にアクセスしてよく、車両３０２の環境内の１つまたは複数のオブジェクトに関連付けられる予測を出力してよい。少なくとも１つの例示において、プラニングシステム３２６は、センサーシステム３０６から受信されるセンサーデータおよび／または知覚システム３２２によって実行される任意の決定に少なくとも部分的に基づいて、車両３０２を制御することに用いるルートおよび／または軌道を決定することが可能である。位置決めシステム、知覚システム、予測システム、および／またはプラニングシステムの追加の詳細は、２０１７年４月４日に発行された米国特許第９，６１２，１２３号、および２０１７年６月２３日に出願された米国特許出願第１５／６３２，２０８号において使用できることが認められてよく、これらの両方のすべての内容は、参照により本明細書に組み込まれる。ある例示において（例えば、車両３０２が自律走行車ではない場合）、前述のシステムおよび／またはコンポーネントの１つまたは複数を車両３０２から除いてよい。上記のシステムは、車両３０２に「搭載された」ものとして説明されているが、他の実装形態おいて、システムは、遠隔に配置され、および／または車両３０２にアクセス可能であってよい。
少なくとも１つの例示において、位置決めシステム３２０、知覚システム３２２、予測システム３２４、および／またはプラニングシステム３２６は、上記のようにセンサーデータを処理することが可能であり、ネットワーク３３２を介してそれぞれの出力をコンピューティングデバイス３３４に送信することが可能である。少なくとも１つの例示において、位置決めシステム３２０、知覚システム３２２、予測システム３２４、および／またはプラニングシステム３２６は、ほぼリアルタイムなどの所定の期間が経過した後で、特定の周波数でそれぞれの出力をコンピューティングデバイス３３４に送信することが可能である。
少なくとも１つの例示において、車両コンピューティングデバイス３０４は、１つまたは複数のシステムコントローラ３２８を含んでよく、これは、車両３０２のステアリング、推進、ブレーキ、安全性、エミッター、通信、および他のシステムを制御するよう構成されてよい。これらのシステムコントローラ３２８は、ドライブシステム３１４および／または車両３０２の他のコンポーネントに対応するシステムと通信および／または制御することが可能である。
少なくとも１つの例示において、センサーシステム３０６は、センサーシステム１０４に対応してよく、ＬＩＤＡＲセンサー、ＲＡＤＡＲセンサー、ＴｏＦセンサー、超音波トランスデューサー、ＳＯＮＡＲセンサー、位置センサー（例えば、ＧＰＳ、コンパスなど）、慣性センサー（例えば、慣性測定ユニット、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度など）、マイクロフォン、ホイールエンコーダー、環境センサー（例えば、温度センサー、湿度センサー、光センサー、圧力センサーなど）などを含む。センサーシステム３０６は、これらのそれぞれの多様なインスタンスまたは他のタイプのセンサーを含んでよい。例えば、ＬＩＤＡＲセンサーは、車両３０２の角部、前部、後部、側部、および／または上部に位置する個々のＬＩＤＡＲセンサーを含んでよい。別の例示として、カメラセンサーは、車両３０２の外部および／または内部のさまざまな位置に配置される多様なカメラを含んでよい。センサーシステム３０６は、車両コンピューティングデバイス３０４に入力を提供してよい。ある例示において、センサーシステム３０６は、センサーデータを車両コンピューティングデバイス３０４に送信する前に、センサーデータの少なくとも一部を前処理することが可能である。少なくとも１つの例示において、センサーシステム３０６は、ネットワーク３３２を介して、ほぼリアルタイムなどの所定の期間が経過した後で、特定の周波数でセンサーデータをコンピューティングデバイス３３４に送信することが可能である。
また、車両３０２は、上記のように、光および／または音を発する１つまたは複数のエミッター３０８を含んでよい。本例示におけるエミッター３０８は、内部音声および視覚エミッターを含み、車両３０２の乗員と通信する。例示の目的であり、限定ではなく、内部エミッターは、スピーカー、光、記号、ディスプレイ画面、タッチ画面、触覚エミッター（例えば、振動および／または力フィードバック）、機械的アクチュエータ（例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど）などを含んでよい。本例示におけるエミッター３０８は、外部エミッターも含む。例示の目的であり、限定ではなく、本例示における外部エミッターは、歩行者、他の運転者、他の近くの車両などと視覚的に通信する光エミッター（例えば、インジケーターライト、標識、ライトアレイなど）歩行者、他のドライバー、他の近くの車両などと音声で通信する１つまたは複数の音声エミッター（例えば、スピーカー、スピーカーアレイ、ホーンなど）などを含む。少なくとも１つの例示において、エミッター３０８は、車両３０２の外部および／または内部のさまざまな位置に配置されてよい。
また、車両３０２は、車両３０２と他のローカルまたはリモートコンピューティングデバイスとの間の通信を可能とする通信接続３１０を含んでよい。例えば、通信接続３１０は、車両３０２および／またはドライブシステム３１４上の他のローカルコンピューティングデバイスとの通信を容易にすることが可能である。また、通信接続３１０は、車両が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号など）と通信することを可能とすることが可能である。また、通信接続３１０は、車両３０２が遠隔操作のコンピューティングデバイスと、または他の遠隔サービスと通信することを可能とする。
通信接続３１０は、車両コンピューティングデバイス３０４を別のコンピューティングデバイスまたはネットワーク３３２などのネットワークに接続する物理的および／または論理インターフェースを含んでよい。例えば、通信接続３１０は、ＩＥＥＥ８０２．１１規格によって定義される周波数などを介するＷｉ－Ｆｉベースの通信を可能とすることができ、ブルートゥース（登録商標）などの短距離無線周波数、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースで接続することを可能とする任意の適切な有線または無線通信プロトコルを可能とすることができる。
直接接続３１２は、ドライブシステム３１４および車両３０２の他のコンポーネントを直接接続してよい。
少なくとも１つの例示において、車両３０２は、ドライブシステム３１４を含んでよい。ある例示において、車両３０２は、単一のドライブシステム３１４を有してよい。少なくとも１つの例示において、車両３０２が多様なドライブシステム３１４を有する場合、個々のドライブシステム３１４は、車両３０２の両端に（例えば、前部および後部など）に配置されてよい。少なくとも１つの例示において、ドライブシステム３１４は、ドライブシステム３１４の状態および／または車両３０２の周囲の状態を検出するセンサーシステムを含んでよい。例示の目的であり、限定ではなく、センサーシステムは、ドライブモジュールのホイールの回転を感知するホイールエンコーダー（例えば、ロータリーエンコーダー）、ドライブモジュールの位置および加速度を測定する慣性センサー（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたはその他の画像センサー、ドライブモジュールの周囲におけるオブジェクトを音声的に検出する超音波センサー、ＬＩＤＡＲセンサー、ＲＡＤＡＲセンサーなどを含んでよい。ホイールエンコーダーのようなあるセンサーは、ドライブシステム３１４に固有であってよい。ある場合において、ドライブシステム３１４にあるセンサーシステムは、車両３０２の対応するシステム（例えば、センサーシステム３０６）と重複または補完してよい。
ドライブシステム３１４は、高電圧バッテリー、車両３０２を推進するモーター、バッテリーからの直流電流を他の車両システムによって利用される交流電流へと変換するインバーター、ステアリングモーターおよびステアリングラック（これは、電動であってよい）を含むステアリングシステム、油圧または電気アクチュエータを含むブレーキシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を軽減し、且つ制御を維持するために制動力の分散をするスタビリティー制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周囲を照らすヘッド／テールライトなどの照明）、および１つまたは複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバーター、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどのようなその他の電装コンポーネント）を含む多くの車両システムを含んでよい。さらに、ドライブシステム３１４は、ドライブモジュールコントローラを含んでよく、これは、センサーシステムからデータを受信し、且つ前処理をし、さまざまな車両システムの動作を制御することが可能である。ある例示において、ドライブモジュールコントローラは、プロセッサおよびプロセッサと通信可能に結合されたメモリを含んでよい。メモリは、１つまたは複数のモジュールを格納してよく、ドライブモジュール３１４のさまざまな機能を実行する。さらに、ドライブモジュール３１４は、また、それぞれのドライブモジュールと他のローカルと、または遠隔のコンピューティングデバイスとによって、通信を可能とする通信接続を含む。
ある例示において、車両コンピューティングデバイス３０４、センサーシステム３０６、エミッター３０８、および通信接続３１０は、例えば、模擬環境を「トラバースすること」に利用する模擬車両または模擬システムとして実際の車両の外部に実装されてよい。つまり、車両コンピューティングデバイス３０４、センサーシステム３０６、エミッター３０８、および通信接続３１０は、上記のような模擬の目的のために模擬自律走行車として用いられてよい。
上記のように、車両３０２は、ネットワーク３３２を介して、センサーデータをコンピューティングデバイス３３４に送信することが可能である。つまり、ある例示において、車両３０２は、図１を参照して上記で説明されるようにデータ収集デバイス１０２であってよい。本考察の目的のために、図１を参照して上記で説明されるコンピューティングデバイスは、車両コンピューティングデバイス３０４および／またはコンピューティングデバイス３３４を参照してよい。ある例示において、車両３０２は、生センサーデータをコンピューティングデバイス３３４に送信することが可能である。他の例示において、車両３０２は、処理されたセンサーデータおよび／またはセンサーデータの表現（例えば、位置決めシステム３２０、知覚システム３２２、予測システム３２４、および／またはプラニングシステム３２６から出力されるデータ）をコンピューティングデバイス３３４に送信することが可能である。ある例示において、車両３０２は、リアルタイムに近い時間などにおいて、所定の期間が経過した後で、センサーデータを特定の周波数でコンピューティングデバイス３３４に送信することが可能である。
コンピューティングデバイス３３４は、車両３０２および／または１つまたは複数のデータ収集デバイス３３６（これは、車両３０２のような他の車両を含んでよい）から（生または処理された）センサーデータを受信することが可能であり、同様に、１つまたは複数の第三者のソースおよび／またはシステム３３８からデータを受信することが可能である。少なくとも１つの例示において、コンピューティングデバイス３３４は、プロセッサ３４０およびプロセッサ３４０と通信可能に結合されたメモリ３４２を含んでよい。説明された例示において、コンピューティングデバイス３３４のメモリ３４２は、模擬システム３４４、訓練システム３４６、評価システム３４８、マップストレージ３５０（例えば、１つまたは複数のマップ、道路ネットワークデータ、道路メッシュなど）、訓練データストレージ３５２（例えば、訓練システム３４６にアクセス可能な訓練データを格納する）、モデルストレージ３５４（例えば、訓練システム３４６によって出力されるモデル）、格納されたオブジェクトのフットプリントデータストレージ３５６、および表面の詳細データストレージ３５８を格納する。ある例示において、１つまたは複数のシステムおよび／またはストレージリポジトリは、コンピューティングデバイス３３４のメモリ３４２に関連付けられることの代わりに、またはそれに加えて、車両３０２に関連付けられてよい。
模擬システム３４４は、模擬環境を生成することが可能である。少なくとも１つの例示において、模擬システム３４４は、図１～図２Ｇを参照して上記で説明されるように、手続き的な生成（例えば、アルゴリズム的なデータの作成）を介して模擬環境を生成することが可能である。また、追加の詳細は、以下で説明される。少なくとも１つの例示において、模擬システム３４４は、格納されたオブジェクトのフットプリントデータストレージ３５６および／または表面の詳細データストレージ３５８にアクセスし、模擬環境を手続き的にレンダリングすることが可能である。１つの例示において、格納されたオブジェクトのフットプリントデータストレージ３５６は、図１を参照して上記で説明されるオブジェクトのフットプリントデータストレージ１１８に対応してよく、図１を参照し、上記で説明されるように、表面の詳細データストレージ３５８は、表面の詳細データストレージ１３０に対応してよい。ある例示において、格納されたオブジェクトのフットプリントデータストレージ３５６および／または表面の詳細データストレージ３５８は、図３に図示されるように、メモリ３４２の中に格納されてよい。追加または代替の例示において、格納されたオブジェクトのフットプリントデータストレージ３５６および／または表面の詳細データストレージ３５８は、遠隔に格納され、且つコンピューティングデバイス３３４にアクセス可能であってよく、および／またはそこに格納されたデータは、第三者のソースおよび／またはシステム３３８からコンピューティングデバイス３３４に提供されてよい。ある例示において、格納されたオブジェクトデータおよび／または表面のテクスチャデータは、ほぼリアルタイムで生成されることが可能である。
少なくとも１つの例示において、以下で説明されるように、模擬システム３４４は、模擬環境内でオブジェクトを手続き的にレンダリングすることが可能である。つまり、ある例示において、上記のデータ（例えば、３Ｄタイル、道路ネットワークデータ、補完データなど）は、対応する実際の環境と比較した場合にまだ欠陥を有する。このような例示において、模擬システム３４４は、さまざまな経験則を利用し、模擬環境内でオブジェクトをレンダリングすることが可能である。このようなオブジェクトの非限定的な例示において、街灯柱および／または街灯柱を信号機に接続する柱、駐車標識（例えば、これは、道路ネットワークデータから決定された駐車レーンに基づいてレンダリングされることが可能である）、駐車メーター（例えば、これは、道路ネットワークデータから決定された駐車レーンに基づいてレンダリングされることが可能である）、一時停止標識（例えば、これは、道路ネットワークデータから決定された停止線に基づいてレンダリングされることが可能である）などを含む。追加の詳細は、図６を参照して以下で説明される。
少なくとも１つの例示において、評価システム３４８は、知覚システム３２２（または知覚システム３２２へとデータを入力する別のシステム（例えば、視覚システム、ＬＩＤＡＲシステムなど））を用いて、対応する実際の環境に対して模擬環境、またはその一部がどれだけ現実的であるかを評価することが可能である。ある例示において、２つの環境（例えば、実際の環境対模擬環境）では、人間にとっては異なって見える場合があるが、例えば、本明細書で定義されているようなロボットシステム（例えば、自律走行車）にとっては（例えば、ニューラルネットワークのアクティブ化に基づいて）同じように知覚される場合がある。少なくとも１つの例示において、評価システム３４８は、機械で訓練されたモデルを用いてデータを分析し、模擬環境の本物らしさを評価することが可能である。例えば、少なくとも１つの例示において、評価システム３４８は、システム（例えば、視覚システム、ＬＩＤＡＲシステムなど）に関連付けられる（例えば、模擬環境に基づく）ニューラルネットワークの第１の中間出力を（例えば、対応する実際の環境に基づく）ニューラルネットワークの第２の中間出力と分析することが可能であり、模擬環境に関連付けられるニューラルネットワークのアクティブ化が、対応する実際の環境に関連付けられるニューラルネットワークのアクティブ化と比較された場合に、どれだけ類似しているか表現し得る類似性測定基準（例えば、差）を決定することが可能である。
少なくともある例示において、このようなアクティブ化は、入力空間の領域を対応するグリッドへと離散化し、且つ入力データおよび比較データに対して関連するグリッドにおけるアクティブ化のヒストグラムを構築することによって比較することが可能である。一度決定されると、ヒストグラムは、例えば、サポートベクターマシン（ＳＶＭ）によって分析されてよく、ここで、距離（例えば、統計的な距離）は、２つのデータセットがどれだけ類似しているかを判断することに用いられる。ある例示において、異なるセンサーのデータタイプは、異なる関心のあるパラメーター（例えば、模擬環境の本物らしさを改善するために調整される異なるパラメーター）に関連付けることができる。例えば、視覚システムでは、関心のあるパラメーターは、明るさ、露出などであってよく、ＬＩＤＡＲシステムでは、関心のあるパラメーターは、角度、距離、強度、センサーモダリティーなどであってよい。
少なくとも１つの例示において、訓練システム３４６は、どのパラメーターが知覚システム３２２にとって重要であるか（例えば、知覚システム３２２が実際の環境を知覚しているかのように模擬環境を知覚し得るためには、どのパラメーターが重要であるか）を学習するデータモデルを訓練することが可能である。つまり、少なくとも１つの例示において、訓練システム３４６は、データモデルを訓練し、１つまたは複数の識別されるパラメーターに基づいて本物らしさを評価することが可能である。訓練および／またはこのようなモデルの使用に関連する追加の詳細は、２０１８年１０月１７日に本明細書と同時にこのようにして出願された米国特許出願第１６／１６３，４３５号に記載されており、そのすべての内容は参照により本明細書に組み込まれる。
上記のように、少なくとも１つの例示において、評価システム３４８は、（例えば、上記のように）機械で訓練されたモデルを用いてデータを分析し、模擬環境の本物らしさを評価することが可能である。つまり、評価システム３４８は、模擬環境を分析し、対応する実際の環境がニューラルネットワークをどのようにアクティブ化するのかと同様に、このような模擬環境がニューラルネットワークをアクティブ化するかを判断することが可能である。少なくとも１つの例示において、評価システム３４８は、機械で訓練されたモデルを利用し、実際の環境に関連付けられる第１の中間出力と対応する模擬環境に関連付けられる第２の中間出力とを比較して、第１の中間出力と第２の中間出力との間の類似性の表現である類似性測定基準（例えば、差、距離など）を決定することが可能である。ある例示において、第１の中間出力および第２の中間出力は、画像、データの一部（例えば、データに関連付けられる個々のオブジェクトに対応するもの）などから導出されてよい。例えば、少なくとも１つの例示において、第１の中間出力は、実際の環境に関連付けられる画像における第１の知覚オブジェクトに関連付けられてよく、第２の中間出力は、模擬環境に関連付けられる画像における第２の知覚オブジェクトに関連付けられてよい。類似性測定基準（例えば、差、距離など）が閾値を満たさない場合（例えば、第１の中間出力および第２の中間出力は、類似している）、評価システム３４８は、模擬環境が実際の環境を現実的に表現している（例えば、ニューラルネットワークのアクティブ化は、類似している）と判断することが可能である。しかしながら、類似性測定基準（例えば、差、距離など）が閾値を満たすか、または超える場合、評価システム３４８は、１つまたは複数のパラメーターを調整し、１つまたは複数の測定基準への変化を観察することが可能である。例えば、評価システム３４８は、写実性を改善するために、明るさ、露出などのパラメーターを調整することが可能である。
上記のように、模擬環境は、訓練、テスト、および／または車両３０２のような自律走行車に搭載された認証システム（例えば、ＡＩスタックの１つまたは複数のコンポーネント）を強化することに有用であってよい。少なくとも１つの例示において、模擬環境は、実際の環境からの訓練データが不十分である（例えば、まれなオブジェクト、まれな状況などであることだが）訓練データモデルのために有用であってよい。このような例示において、結果として生じるデータモデルは、車両３０２によってプロビジョニングされるか、またはアクセス可能であってよく、車両３０２は、リアルタイム（例えば、実際の環境内で運転している間、またはそうでなければ動作している間）で、オブジェクトを分類するデータモデルを利用することが可能である。つまり、知覚システム３２２は、（模擬環境に関連付けられる模擬データに基づいて訓練された）搭載されたデータモデルを利用し、ほぼリアルタイムでオブジェクトを分類することが可能である。
非限定的な例示として、実際の環境からの訓練データは、車両３０２を訓練するためには不十分であり、まれなイベント／オブジェクト（例えば、頻繁に見られない信号機のタイプ）を認識する。少なくとも１つの例示において、模擬環境を実際の環境と比較することによって、データモデルは、特定のパラメーターが交通信号分類器の訓練にとって重要であることを学習することができる。例えば、このようなパラメーターは、電球の変色、陰影、レンズの歪み、信号機の汚れ、フィラメントの焼き切れ、明るさの変化、電球の回転、電球の強度などを含んでよい。パラメーターの識別に基づいて訓練システム３４６は、交通信号に関連付けられる模擬環境を調整することが可能であり、調整された模擬環境に基づいて交通信号分類器を訓練することが可能である。このような分類器は、車両３０２によってプロビジョニングされるか、またはアクセス可能であってよく、車両３０２は、リアルタイムで信号機を分類するデータモデルを利用することが可能である。例えば、知覚システム３２２は、（模擬環境を生成することに用いられる模擬データに基づいて訓練された）搭載された分類器をほぼリアルタイムで利用し、交通信号を分類することが可能である。つまり、上記のように、少なくとも１つの例示において、分類器は、模擬データで訓練されてよく、実際のデータを評価することに用いられてよい。ある例示において、分類器は実際のデータで訓練されてよく、模擬データを用いて認証されてよい。このような例示において、識別される相違は、分類器を改善することに用いられてよい。少なくともある例示において、このようなまれな例示は、例えば、模擬画像データに基づく交通信号検出器、実際のデータで実行している検出器、および検出が見落とされた場所を決定することを訓練することによって識別されてよい。同様に、模擬パラメーターが正しくないと判断することは、実際のデータでアルゴリズム（例えば、上記と同一の検出器）を訓練すること、模擬データでこのような検出器を実行させること、および見落とされたオブジェクトを検出することを含んでよい。
さらに、模擬環境は、位置決めシステム３２０によって用いられる位置決めアルゴリズムを認証および／または更新することに有用であってよい。例えば、実際の環境内で、ＧＰＳセンサーは、位置のずれを経験し、結果として誤差を蓄積する場合がある。したがって、車両３０２を位置決めすることに用いられる位置決めアルゴリズムを認証するために、評価システム３４８は、模擬環境を用いてよく、ここで、車両３０２の姿勢がさまざまな時間（すべての時間を含む）で周知であり、（例えば、位置および／または方向のグラウンドトゥルースとして、模擬姿勢に依存することによって）対応する実際の環境に関連付けられるセンサーデータを評価して、位置決めアルゴリズムを認証する。このような例示において、センサーシステム３０６は、模擬環境に関連付けられるセンサーデータを生成してよく、センサーデータは、知覚システム３２２によって分析されてよい。知覚システム３２２（例えば、実際の環境内の位置に関連付けられている）の出力は、模擬環境内で対応する位置に関連付けられているセンサーデータを考慮して認証されてよい。つまり、模擬環境内の位置に関連付けられるセンサーデータは、実際の環境内で対応する位置のグラウンドトゥルースとして機能してよい。一例示として、模擬環境（例えば、車両３０２の姿勢が周知である場合）に関連して記録されるＬＩＤＡＲデータは、実際の環境内で対応する位置に関連して記録されるＬＩＤＡＲデータと比較されてよく、位置決定アルゴリズムは、適宜更新されてよい。さらに、模擬環境は、センサーシステム３０６のＲＡＤＡＲまたは他のセンサーを認証することに有用であってよい。ある例示において、模擬環境は、（例えば、センサーシステム１０６の）センサーを較正するグラウンドトゥルースデータを提供することが可能である。他の例示は、模擬におけるロールシャッターの認証、さまざまなセンサーの（例えば、１つまたは複数の内因性または外因性の）較正などを含むが、これらに限定されない。理解されるように、本明細書で説明される技術は、他のさまざまなシステム、サブシステムなどの認証、較正、訓練などに用いられてよい。
車両３０２のプロセッサ３１６およびコンピューティングデバイス３３４のプロセッサ３４０は、本明細書で説明されるようにデータを処理し、且つ操作を実行する命令を実行することが可能である任意の適切なプロセッサであってよい。限定ではなく例示として、プロセッサ３１６および３４０は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、または電子データを処理して、その電子データをレジスタおよび／またはメモリに格納し得る他の電子データへと変換する任意の他のデバイスまたはデバイスの一部を含んでよい。ある例示において、関連回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、および他のハードウェアデバイスは、また、それらが符号化された命令を実装するよう構成される限り、プロセッサとみなしてよい。
メモリ３１８および３４２は、非一時的なコンピュータ可読媒体の例示である。メモリ３１８およびメモリ３４２は、オペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを格納してよく、本明細書で説明される方法およびさまざまなシステムに起因する機能を実装する。さまざまな実装において、メモリは、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または情報を格納し得る他の任意のタイプのメモリのような任意の適切なメモリ技術を用いて実装されてよい。本明細書で説明されるアーキテクチャ、システム、および個々の要素は、他の多くの論理的、プログラム的、および物理的なコンポーネントを含んでよく、それらが添付図面において図示されるものは、単に本明細書での説明に関連する例示にすぎない。
図３は、分散システムとして図示されている一方で、代替の例示において、車両３０２のコンポーネントは、コンピューティングデバイス３３４に関連付けられてよく、および／またはコンピューティングデバイス３３４のコンポーネントは、車両３０２に関連付けられてよいということに注意されたい。つまり、車両３０２は、コンピューティングデバイス３３４に関連付けられる機能の１つまたは複数を実行してよく、逆もまた同様である。
図４～図６は、本明細書で説明される技術を含む例示的な方法を図示するフローチャートである。図４～図６に図示される方法は、利便性および理解の容易さのために図３に図示されるシステム３００を参照して説明される。しかしながら、図４～図６に図示される方法は、システム３００を用いて実行されることに限定されない。さらに、本明細書で説明されるシステム３００は、図４～図６に図示される方法を実行することに限定されない。
方法４００～６００は、論理フローグラフにおけるブロックの集合として図示されており、ここで、ハードウェア、ソフトウェア、またはそれらの組み合わせで実施され得る一連の操作を表現する。ソフトウェアのコンテキストにおいて、ブロックは、プロセッサによって実行された場合に、列挙された操作を実行する１つまたは複数のコンピュータ可読媒体に格納されたコンピュータ実行可能命令を表現する。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、または特定の抽象的なデータタイプを実装するルーティン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。操作が記載された順序は、制限として解釈されることを意図するものではなく、任意の数の記載されたブロックは、任意の順序および／または並行して組み合わされてよく、プロセスを実装する。操作が記載された順序は、制限として解釈されることを意図するものではなく、任意の数の記載されたブロックは、任意の順序および／または並行して組み合わされてプロセスを実装してよい。ある例示において、プロセス１つまたは複数のブロックは、完全に除かれてよい。さらに、方法４００～６００は、全体的もしくは部分的に互いに、または他の方法で組み合わされてよい。
図４は、模擬環境を生成する、および／または訓練、テスト、認証などのために模擬環境を用いるために例示的なプロセス４００を図示する。
ブロック４０２は、道路ネットワークデータにアクセスすることを示している。車両コンピューティングデバイス３０４は、道路ネットワークデータを受信、生成、および／またはそうでなければアクセスすることが可能である。ある例示において、道路ネットワークデータは、少なくとも部分的にセンサーデータに基づいてよい。少なくとも１つの例示において、道路ネットワークデータは、例えば、運転レーン要素、自転車レーン要素、駐車レーン要素、横断歩道要素、交差点要素、レーン分割要素、信号機要素、一時停止標識要素、停止線要素、譲れ標識要素、譲れ線要素、ドライブウェイ要素、スピードバンプ要素、ジェイウォーキング領域（例えば、仮想横断歩道）、軌道通過点（例えば、周知の軌道）、乗員ピックアップポイント、標識位置要素、ジオフェンス要素などの１つまたは複数を示す２Ｄ表現または３Ｄ表現であってよい。上記のように、ある例示において、道路ネットワークデータは、道路ネットワークデータの特定の部分の属性を示す情報で符号化されてよい。少なくとも１つの例示において、模擬システム３４４は、道路ネットワークデータにアクセスしてよい。上記のように、ある例示において、道路ネットワークデータは、マップデータストレージ３５０に格納されてよい。
ブロック４０４は、道路メッシュにアクセスすることを示している。少なくとも１つの例示において、車両コンピューティングデバイス３０４は、道路メッシュ１１０を生成してよい。少なくとも１つの例示において、車両コンピューティングデバイス３０４は、ＬＩＤＡＲデータを受信してよく、これは、実際の環境の表現である３Ｄ点群を生成することに用いられてよい。少なくとも１つの例示において、車両コンピューティングデバイス３０４は、３Ｄの点群に基づいて道路メッシュ１１０を生成することが可能である。上記のように、道路メッシュ１１０は、３Ｄタイルを含んでよい。模擬システム３４４は、３Ｄタイルにアクセスしてよく、これは、ある例示において、マップストレージ３５０に格納されてよい。
ブロック４０６は、道路ネットワークデータと道路メッシュとを結合させることで模擬環境を生成することを示している。模擬システム３４４は、道路ネットワークデータを道路メッシュに関連付け、模擬環境を生成することが可能である。このような関連は、少なくともあるインスタンスにおいて、道路ネットワークデータを（２Ｄデータまたは３Ｄデータとして）道路メッシュへと投影することを含んでよい。これは、道路セグメントの中央を決定させ、投影にあたり道路メッシュからの対応する領域にセグメントを実質的に整列させることによって行うことができる。任意の外れ値（例えば、投影の後に道路メッシュと整列しない表面（例えば、整列またはマップの生成における誤差のために樹木へと投影された歩道））は、必要に応じて決定され、平滑化されてよい。結果として生じる模擬環境は、（例えば、対応する実際の環境を考慮して）正確な高さおよび表面の詳細を含んでよい。
ブロック４０８は、代替データソースからの補完データにアクセスすることを示している。ある例示において、例えば、道路メッシュを構築している場合に、オクルージョン（例えば、駐車している車、狭い路地など）に起因して、模擬環境内に欠損（例えば、不完全なデータ）があってよい。少なくとも１つの例示において、模擬システム３４４は、既存の模擬環境を補完する第２の代替データソースにアクセスする（例えば、且つ欠損を埋める）ことが可能である。例えば、少なくとも１つの例示において、模擬システム３４４は、第三者のソースおよび／またはシステム３３８からのデータにアクセスすることが可能であり、ブロック４１０に示されるように、補完データを模擬環境へと結合させることによって、このようなデータを活用し、既存の模擬環境を補完することが可能である。少なくとも１つの例示において、上記で説明されるように、補完データは、実際の環境に関連付けられるＵＳＧＳ ＤＥＭデータ、実際の環境に関連付けられるツリーマップデータ、実際の環境に関連付けられるカラー画像データ、環境に関連付けられるマップデータなどを含んでよい。ある例示において、補完データは、模擬環境の生成に用いられる３Ｄタイルと自然に整列しない。道路メッシュおよび補完データの整列に関連する詳細は、図５を参照して以下で説明される。
ブロック４１２は、模擬環境内でオブジェクトのレンダリングを示している。模擬システム３４４は、環境内でオブジェクトの特性に関連付けられるデータを活用し、模擬環境をさらに補完することが可能である。少なくとも１つの例示において、模擬システム３４４は、建物または他の静止オブジェクトのフットプリントを表現するデータにアクセスしてよく、これは、格納されたオブジェクトのフットプリントデータストレージ３５６に格納してよい。ある例示において、このようなフットプリントは、高さ、分類（例えば、住宅、商業など）ルールセット（例えば、テクスチャリング）などに関するアノテーションに関連付けられてよい。模擬システム３４４は、ファサード部分を生成するガイドメッシュとしてフットプリントおよび関連するアノテーションを利用してよい。少なくとも１つの例示において、建物のフットプリント、高さ、テクスチャリング、および分類は、ランダムに定義されてよい。ある例示において、テクスチャ、高さ、またはフットプリントの事前に定義されたセットが定義されてよい。テクスチャ、高さ、フットプリントなどの１つまたは複数のランダム配列の結果として生じるセットは、順番に模擬環境に追加する建物のセットとして用いられる。これらのフットプリントに関連付けられるデータがマップ内での位置の指示を有さない例示（例えば、フットプリントがランダムに決定された場合、マップに依存しないフットプリントのデータストレージから取得された場合など）において、このようなフットプリントは、整列されるか、またはそうではない場合配置にされてよく、そうすることによって、少なくとも１つのファサードが道路ネットワークにおける車道と整列するように配置され、１つまたは複数のルール（例えば、車道から特定の距離に配置され、分類に基づいて、他の建物から最小または最大の距離、特定の方向に向けられているなど）などに従って間隔が空けられる。このようなルールセットが適用された場合に、もっともらしい外観の建物が自動的に（例えば、人間のモデリングなしで）生成され、建物を含む模擬環境を生成することが可能である。
ブロック４１４は、模擬環境内でオブジェクトに関連付けられるレンダリング表面の詳細を示している。ある例示において、模擬システム３４４は、テクスチャリングデータを利用し、例えば、リアルタイムのレンダリングの間に、模擬環境に表面の詳細を追加することが可能である。このようなテクスチャリングは、詳細（欠陥、パッチ、マーキングなど）を模擬環境内でオブジェクトに追加し、このようなオブジェクトを固有に（技術者の作業負荷を大幅に増加させることなく）見せる。少なくとも１つの例示において、模擬システム３４４は、まばらな仮想テクスチャを利用してよく、１回の描画で模擬環境をレンダリングし、これは、性能を向上させ、且つ計算リソースを低減させる。このような例示において、それぞれのサーフェルは、（識別のような）固有のデータに関連付けられてよく、これによって、個々のサーフェルが割り当てられ、アドレスが指定され、さらにアサインされてよい。さらに、ある例示において、模擬システム３４４は、模擬環境でレンダリングされるオブジェクトのそれぞれの表面に複数のブラシストローク状のデカールを追加することができる。少なくともある例示において、さまざまなデカールは、（例えば、写実的な汚れや煤、落書き、ゴミなどは、例えば、路地における建物のファサードに適用されてよい）さまざまな領域および構造の分類に適用されてよく、そうするために、任意の手続きベースのテクスチャリングを変更（例えば、関連する分類が与えられた表面の上にテクスチャのパターンを適用）する。
少なくとも１つの例示において、模擬システム３４４は、模擬環境の表面をパラメーター化し、固有のテクスチャ座標空間を作成することが可能である。このような例示において、それぞれのサーフェルは、テクスチャを個別に参照するピクセルのセットに関連付けてよく、これは、表面の詳細データストレージ３５８に格納されてよい。したがって、実行時に、模擬システム３４４は、模擬コンピューティングデバイスのビューポートを介して見られ得る模擬環境の部分に関連付けられる詳細（例えば、テクスチャ）をレンダリングする（例えば、シェーディングシステムへの）単一のドローコールを利用してよい。ある例示において、模擬環境は、複数のテクスチャに関連付けられ（例えば、材料の異なる特性に関連付けられ）てよく、それぞれのテクスチャは、実行時に、個別のドローコールを介してレンダリングされてよい。このような技術は、プロセッサ３４０の作業負荷を低減し、これによって、実行時の計算効率を提供する。少なくとも１つの例示において、テクスチャの特性が変更された場合、このような変更は、テクスチャに関連して表面の詳細データストレージ３５８に格納されてよく、実行時に、変更は、レンダリングされるテクスチャに反映されてよい。つまり、スクリプトは、表面の詳細データストレージ３５８において、テクスチャに関連付けられるテクスチャデータを更新することが可能であり、これによって、すべての技術を再検討することが必要なく、実行時に模擬環境でレンダリングされるテクスチャの更新に影響を与える。
ブロック４１６は、模擬環境を出力することを示している。少なくとも１つの例示において、模擬システム３４４は、模擬環境を出力することが可能である。上記のように、模擬環境は、訓練、テスト、および／または車両３０２のような自律走行車に搭載された認証システム（例えば、ＡＩスタックの１つまたは複数のコンポーネント）を強化するために有用であってよい。少なくとも１つの例示において、模擬環境は、実際の環境からの訓練データが不十分である（例えば、まれなオブジェクト、まれな状況などであることだが）訓練データモデルのために有用であってよい。このような例示において、結果として生じるデータモデルは、車両３０２にプロビジョニングされるか、または車両３０２によってアクセス可能であってよく、車両３０２は、リアルタイム（例えば、実際の環境内で運転している間、またはそうでなければ動作している間）で、オブジェクトを分類するデータモデルを利用することが可能である。つまり、知覚システム３２２は、（模擬環境に関連付けられる模擬データに基づいて訓練された）搭載されたデータモデルを利用し、ほぼリアルタイムでオブジェクトを分類することが可能である。少なくともいくつかの例示において、模擬環境に関連付けられるデータを用いて訓練されたこのようなデータモデルは、実際のセンサーデータに基づく実際の環境内で、オブジェクトを出力することができる。軌道（および対応する制御）は、次に、模擬データで訓練されたこのようなデータモデルの出力に少なくとも部分的に基づいて、自律走行車が実際の環境を安全にナビゲーションするために決定されることができる。
上記のように、少なくとも１つの例示において、評価システム３４８は、（例えば、上記のように）機械で訓練されたモデルを用いて知覚データを分析し、模擬環境の本物らしさを評価することが可能である。少なくとも１つの例示において、評価システム３４８は、機械で訓練されたモデルを利用し、実際の環境に関連付けられる（例えば、ニューラルネットワークのレイヤーに関連付けられる）第１の中間出力と対応する模擬環境に関連付けられる（例えば、ニューラルネットワークの同一のレイヤーに関連付けられる）第２の中間出力とを比較して、第１の中間出力と第２の中間出力との間の類似性の表現である類似性測定基準（例えば、差、距離など）を決定することが可能である。ある例示において、第１の中間出力および第２の中間出力は、画像、データの一部（例えば、データに関連付けられる個々のオブジェクトに対応するもの）などに対応することが可能である。類似性測定基準（例えば、差、距離など）が閾値を満たさない場合（例えば、第１の中間出力および第２の中間出力が類似している）、上記のように、評価システム３４８は、模擬環境が現実的に実際の環境を表現することを判断してよく、模擬環境を出力してよい。しかしながら、類似性測定基準（例えば、差、距離など）が閾値を満たすか、または超える場合、評価システム３４８は、１つまたは複数のパラメーターを調整し、１つまたは複数の測定基準への変化を観察することが可能である。例えば、評価システム３４８は、写実性を改善するために、明るさ、露出などのパラメーターを調整することが可能である。類似性測定基準（例えば、差、距離など）が閾値より低い場合（例えば、第１の中間出力および第２の中間出力が類似している）に、評価システム３４８は、模擬環境が現実的に実際の環境を表現することを判断してよい。
図５は、補完データを模擬環境に結合させる例示的なプロセス５００を図示している。
ブロック５０２は、補完データと模擬環境に関連付けられる道路メッシュとの整列を示している。上記のように、ある例示において、模擬システム３４４は、補完データで道路メッシュ（例えば、３Ｄタイル）を補完することが可能である。最初に、模擬システム３４４は、補完データと道路メッシュとを大まかに整列させることが可能である。補完データは、模擬環境の生成に用いられる道路メッシュの３Ｄタイルと自然に整列しない場合がある。
ブロック５０４は、補完データと模擬環境に関連付けられる道路メッシュとの間の誤差を判断することを示している。少なくとも１つの例示において、模擬システム３４４は、補完データと道路メッシュとの間の誤差を定期的に測定することが可能である。少なくとも１つの例示において、このような測定は、例えば、大きな平坦な空間（例えば、駐車場、大きな交差点など）など、補完データが正確であると予測される領域で行われてよい。このような空間は、閾値領域を満たすか、または超える（例えば、「大きい」）、および／または閾値（例えば、「平坦」）より低い領域にわたって標高の最大変化に関連付けられる実際の環境の領域に対応してよい。少なくとも１つの例示において、このような測定は、道路メッシュおよび補完データにおいて見える領域、ならびに／または遮るものがない、および／もしくはそうでなければ樹木、建物などのオブジェクトがない（例えば、ＵＳＧＳからの空中スキャンなど）領域で行われてよい。少なくとも１つの例示において、誤差は、道路メッシュ内の指定された位置から測定されてよい。ある例示において、指定された位置は、中心線であってよく、これは、道路ネットワークデータおよび／または道路メッシュから導出されてよい。例えば、道路メッシュに示されているように、運転線の中心は、誤差が測定され得る中心線として指定されてよい。少なくともある例示において、誤差は、このような領域の決定された中心点から測定されてよい。つまり、道路メッシュが根拠であると判断してよく、誤差は、根拠から測定されてよい。非限定的な例示として、誤差は、道路メッシュと補完データとの間の差（例えば、ユークリッド距離）に関連付けられていてよい。ある例示において、誤差は、高さ誤差である場合があり、道路メッシュと補完データとの間の垂直距離を測定する。誤差は、単一の測定値、複数の測定値の平均、領域にわたる最大値、領域にわたる最小値、総合誤差、または補完データと道路メッシュと間の差および／または距離を表現する別の統計的に有意な測定である場合がある。
ブロック５０６は、誤差が閾値を満たしているか、または超えているかを判断することを示している。少なくとも１つの例示において、ブロック５０８に示されるように、模擬システム３４４は、誤差を閾値と比較することが可能であり、誤差が閾値を満たさないか、または超えないという判断に基づいて、模擬システム３４４は、全体的な融合技術、局所的な融合技術、線形融合技術、滑らかな曲線（特定の半径を有する）の融合技術などの融合技術などに限定されないが、これらを実行することが可能であり、補完データを道路メッシュと融合する。少なくとも１つの例示において、このような融合技術は、減衰を伴ってよく、これによって、模擬システム３４４が選択された領域から離れるにつれて誤差が次第に重要ではなくなっていく。つまり、道路メッシュの中心線では、以下で説明されるように、誤差は、修正または軽減されてよいが、中心線から連続的にさらに離れている模擬環境の他の部分は、融合されてよく、誤差を修正またはそうでなければ軽減する。
誤差が閾値を満たすか、または超えるという判断に基づいて、模擬システム３４４は、融合する前に、ブロック５１０に示されるように、変形格子を適用して、補完データを道路メッシュと実質的に整列させることが可能である。第三者のソースのデータまたはマッピングシステムからのマップのいずれかへの調整は、誤差を決定するために用いられる領域（例えば、大きくて平坦な領域）において、このような誤差を駆動させられてよく、模擬環境の残りの領域全体に伝播させられてよい。少なくとも１つの例示において、模擬環境システム３４４は、補完データに調整を施し、補完データを道路メッシュと局所的に整列させることが可能である。追加または代替の例示において、模擬システム３４４は、道路メッシュに調整を施し、道路メッシュを補完データと局所的に整列させることが可能である。例えば、少なくとも１つの例示において、模擬システム３４４は、重心重み付けを適用し、誤差（またはデータにおける他の補間）を低減させることが可能である。結果として、模擬システム３４４は、補完データに基づいて、道路ネットワークデータと道路メッシュとを統合させることで結果として生じる模擬環境より完全である洗練された模擬環境を出力することが可能である。つまり、模擬環境内の欠損は、埋められることが可能であり、これによって、補完データで模擬環境を強化する。
ある例示において、フローは、最初にブロック５０６からブロック５０８に進んでよい。ブロック５０８では、変形は、交差点のような大きくて平坦な領域での誤差に基づいて局所的に適用されてよい。補間は、最初の交差点（または領域など）からすべての隣接する交差点への誤差の間に適用されてよい。少なくとも１つの例示において、このような補間は、線形であってよいが、他のすべての補間（例えば、多項式、バイキュービックなど）が考慮される。このような選択された領域の中心点から離れている道路メッシュのこれらの領域に対して、重心座標（または他のバイキュービックなどの補間）が適用され、道路メッシュを補完データに調整する。
フローが最初にブロック５０８に進むこれらの例示において、フローは、次にブロック５１０に進むことができる。このような例示において、道路メッシュを補完データに調整しているにもかかわらず、メッシュと補完データとの間に追加の誤差が見つかる場合がある。このような例示において、ブロック５１０は、さらなる変形（またはそうでなければメッシュまたは補完データの１つまたは複数を調整すること）を含んでよい。このような変形は、局所的な変形（例えば、道路メッシュデータが、選択した領域の中心での高さ情報のソースの１００％、および中心からある半径を超えた高さ情報の０％、Ｓ曲線に続いている場合か、またはそうでない場合）に従って実行されることができる。データ（メッシュまたは補完のいずれか）を局所的に変形させることによって、メッシュデータと補完データとの境界の間をスムーズに遷移させることが可能である。
図６は、本明細書で説明されるように、模擬環境内で交通信号の柱のようなオブジェクトを手続き的にレンダリングする例示的なプロセス６００を図示している。少なくとも１つの例示において、模擬システム３４４は、模擬環境内でオブジェクトを手続き的にレンダリングすることが可能である。つまり、ある例示において、上記のデータ（例えば、３Ｄタイル、道路ネットワークデータ、補完データなど）は、対応する実際の環境と比較した場合にまだ欠陥を有する。このような例示において、模擬システム３４４は、さまざまな経験則を利用し、模擬環境内でオブジェクトをレンダリングすることが可能である。プロセス６００は、このようなプロセスの例示を示している。
ブロック６０２は、模擬環境内で交通信号の位置を決定することを示している。少なくともいくつかの例示において、例えば、道路ネットワークデータおよび／または道路メッシュに関連付けられて、交通信号の位置についてのデータが提供されるか、またはそうでなければ決定されてよい。少なくとも１つの例示において、模擬システム３４４は、このようなデータに基づいて交通信号の位置を決定することが可能である。しかしながら、このようなデータは、交通情報がない場合がある。
ブロック６０４は、交通信号を通過する少なくとも１つの平面を生成することを示している。少なくとも１つの例示において、模擬システム３４４は、交通信号を通過する１つまたは複数の平面（例えば、光源の照明の方向を指す表面法線を有する少なくとも１つの平面）を生成することが可能である。ある例示において、模擬システム３４４は、２つまたはそれより多くの平面（例えば、交通信号の下で道路に平行である第１の平面、および交通信号の下で道路に直角である第２の平面）を生成することが可能である。
ブロック６０６は、道路ネットワークデータから交通信号に近接する歩道を決定することを示している。少なくとも１つの例示において、模擬システム３４４は、例えば、上記の道路ネットワークデータに基づいて、交通信号に近接する歩道を識別することが可能である。
ブロック６０８は、歩道に最も近い点を決定することを示している。少なくとも１つの例示において、模擬システム３４４は、周囲の歩道に最も近い点を決定することが可能である。このようなシステムは、さまざまな経路プラニングアルゴリズム（例えば、Ａ＊、Ｄ＊など、マンハッタン制約（９０度の制約を強制）を組み込み、および／または街灯の柱のカーブの数を最小限に抑えたりする）を交通信号の位置から最も近い歩道ポイントまでの最短経路を見つけるべく組み込むことができる。
ブロック６１０は、模擬環境内で街灯の柱を交通信号に接続する街灯の柱および柱のレンダリングを示す。模擬システム３４４は、このような決定された経路を利用してよく、街灯の柱をレンダリングし、これは、街灯の柱を交通信号に接続する柱に関連付けられてよい。少なくとも１つの例示において、模擬システム３４４は、第三者のソースおよび／またはシステム３３８からのデータにアクセスすることが可能であり、これは、街灯の柱および柱の位置、向き、様式などのルールを示す。例えば、非限定的な例示として、このようなデータは、街灯の柱が交通信号の右約２０フィートに配置されるべきであることを示してよい。
プロセス６００は、街灯の柱を交通信号に接続する街灯の柱および柱をレンダリングすることに向けられているが、追加または代替の例示において、プロセス６００は、模擬環境へと他のオブジェクトを追加することに向けられてよい。非限定的な例示は、駐車標識（例えば、これは、道路ネットワークデータから決定された駐車レーンに基づいてレンダリングされることが可能である）、駐車メーター（例えば、これは、道路ネットワークデータから決定された駐車レーンに基づいてレンダリングされることが可能である）、一時停止標識（例えば、これは、道路ネットワークデータから決定された停止線に基づいてレンダリングされることが可能である）などを含む。このような例示において、模擬システム３４４は、第三者のソースおよび／またはシステム３３８からのデータにアクセスすることが可能であり、これは、オブジェクトの位置、向き、様式などのルールを示す。少なくとも１つの例示において、模擬環境内でのこのようなオブジェクトのレンダリングは、パラメーター化されてよく、模擬システム３４４は、第三者のソースおよび／またはシステム３３８によって示されるようにルールを順守してよい。
（例示的な条項）
Ａ．コンピュータ実装方法は、実際の環境内で複数のデータ収集デバイスからセンサーデータを受信することと、実際の環境に関連付けられる道路ネットワークデータを実際の環境に関連付けられる道路ネットワークデータにアクセスすることと、少なくとも部分的にセンサーデータに基づいて実際の環境に関連付けられる道路メッシュを生成することと、道路ネットワークデータを道路メッシュと統合させて、模擬環境を生成することと、格納されたオブジェクトのフットプリントのデータストレージにアクセスすることと、格納されたオブジェクトのフットプリントのデータストレージから格納されたオブジェクトのフットプリントを選択することと、格納されたオブジェクトのフットプリントに対応する少なくとも１つのオブジェクトを模擬環境へとレンダリングすることと、少なくとも１つのオブジェクトに関連付けられる表面の詳細をレンダリングすることと、模擬環境を自律ロボットコンピューティングデバイスによって用いられるアルゴリズムのテスト、認証、または訓練のうちの少なくとも１つのために、ナビゲーション、プラニング、または意思決定のうちの少なくとも１つに対して出力することとを備える。
Ｂ．段落Ａに記載のコンピュータ実装方法では、道路ネットワークデータは、実際の環境の２次元表現を含み、且つ運転レーン要素、自転車レーン要素、駐車レーン要素、または横断歩道の要素のうちの少なくとも１つの表示を含む。
Ｃ．段落Ａ～Ｂのいずれかに記載のコンピュータ実装方法では、道路メッシュは、マッピングシステムから出力される複数の３次元タイルを含む。
Ｄ．段落Ａ～Ｃのいずれかに記載のコンピュータ実装方法では、道路ネットワークデータと道路メッシュとを統合させることは、道路ネットワークデータにおける道路セグメントを道路メッシュの対応する領域に整列させることと、道路セグメントの少なくとも一部を道路メッシュへと投影することとを含む。
Ｅ．段落Ａ～Ｄのいずれかに記載のコンピュータ実装方法では、格納されたオブジェクトのフットプリントは、高さ、分類を表示するアノテーション、またはオブジェクトに関連付けられるテクスチャを示すルールセットのうちの少なくとも１つに関連付けられ、コンピュータ実装方法は、少なくとも部分的にアノテーションに基づいて格納されたオブジェクトのフットプリントに対応する少なくとも１つのオブジェクトを模擬環境へとレンダリングすることをさらに備える。
Ｆ．段落Ａ～Ｅのいずれかに記載のコンピュータ実装方法では、表面の詳細は、欠陥テクスチャ、パッチテクスチャ、またはマーキングテクスチャのうちの少なくとも１つを含む。
Ｇ．段落Ａ～Ｆのいずれかに記載のコンピュータ実装方法では、表面の詳細は、１回の描画でまばらな仮想テクスチャを用いて追加される。
Ｈ．システムは、少なくとも１つのプロセッサと、少なくとも１つのプロセッサによって実行された場合に、少なくとも１つのプロセッサに、実際の環境に関連付けられる道路ネットワークデータにアクセスすることと、実際の環境に関連付けられる道路メッシュを生成することと、道路ネットワークデータを道路メッシュに関連付けて、模擬環境を生成することと、少なくとも部分的に少なくとも１つのルールに基づいて、少なくとも１つのオブジェクトを模擬環境へと手続き的にレンダリングすることと、模擬環境を自律ロボットコンピューティングデバイスによって用いられるアルゴリズムのテスト、認証、または訓練のうちの少なくとも１つのために、自律ロボットコンピューティングデバイスを制御することに対して出力することとを含む動作を実行させるコンピュータ可読命令とを備える。
Ｉ．段落Ｈに記載のシステムでは、動作は、少なくとも１つの格納されたオブジェクトフットプリントを含むデータストレージにアクセスすることと、データストレージから格納されたオブジェクトのフットプリントを選択することと、少なくとも部分的に少なくとも１つのルールに基づいて、格納されたオブジェクトのフットプリントに対応する少なくとも１つのオブジェクトを模擬環境へとレンダリングすることとをさらに含む。
Ｊ．段落Ｉに記載のシステムでは、ルールは、道路ネットワークデータにおける個々のオブジェクトと車道との間の距離の表示、複数のオブジェクトの個々のオブジェクト間の距離の表示、または複数のオブジェクトの個々のオブジェクトの方向を含む。
Ｋ．段落Ｉに記載のシステムでは、少なくとも１つの格納されたオブジェクトのフットプリントは、オブジェクトの特性を示すアノテーションに関連付けられ、特性が高さまたは分類を含む。
Ｌ．段落Ｋに記載のシステムでは、少なくとも１つの格納されたオブジェクトのフットプリントは、オブジェクトをテクスチャリングするルールセットに関連付けられ、ルールセットが特性に基づいて少なくとも１つの格納されたオブジェクトのフットプリントに関連付けられる。
Ｍ．段落Ｈ～Ｌのいずれかに記載のシステムでは、動作は、まばらな仮想テクスチャを用いて、少なくとも１つのオブジェクトに関連付けられる表面の詳細をレンダリングすることをさらに含む。
Ｎ．段落Ｈ～Ｍのいずれかに記載のシステムでは、動作は、少なくとも部分的に道路ネットワークデータに基づいて、交通信号の位置を決定することと、交通信号を通過する少なくとも１つの平面を生成することと、道路ネットワークデータから交通信号に近接する歩道を決定することと、プラニングアルゴリズムを用いて、歩道に最も近いポイントを決定することと、街灯の柱および柱を模擬環境内で街灯の柱を交通信号に接続するためにレンダリングすることとをさらに含む。
Ｏ．非一時的なコンピュータ可読命令は、実行された場合に、１つのまたは複数のプロセッサに、実際の環境に関連付けられる道路ネットワークデータにアクセスすることと、実際の環境に関連付けられる道路メッシュを生成することと、道路ネットワークデータを道路メッシュと統合させて、模擬環境を生成することと、少なくとも１つのオブジェクトを少なくとも部分的に少なくとも１つのルールに基づいて、模擬環境へと手続き的にレンダリングすることと、模擬環境をコンピューティングデバイスを介して出力することとを含む動作を実行させる。
Ｐ．段落Ｏに記載の非一時的なコンピュータ可読媒体では、模擬環境を出力することは、模擬コンピューティングデバイスを介して、模擬環境を自律走行車によって用いられるアルゴリズムのテスト、認証、または訓練のうちの少なくとも１つのために、自律走行車を制御することに対して出力することを含む。
Ｑ．段落Ｏ～Ｐのいずれかに記載の非一時的なコンピュータ可読媒体では、動作は、少なくとも１つの格納されたオブジェクトのフットプリントを含むデータストレージにアクセスして、少なくとも１つの格納されたオブジェクトのフットプリントは、対応するオブジェクトの高さまたは分類を示す少なくとも１つのアノテーションに関連付けられることと、格納されたオブジェクトのフットプリントをデータストレージから選択することと、格納されたオブジェクトのフットプリントに対応する少なくとも１つのオブジェクトを道路ネットワークデータにおける個々のオブジェクトと車道との間の距離の表示、複数のオブジェクトの個々のオブジェクト間の距離の表示、または複数のオブジェクトの個々のオブジェクトの向きの表示に少なくとも部分的に基づいて、模擬環境へとレンダリングすることとをさらに含む。
Ｒ．段落Ｑに記載の非一時的なコンピュータ可読媒体では、動作は、ルールセットを少なくとも部分的に少なくとも１つのアノテーションに基づいて、格納されたオブジェクトのフットプリントに関連付けることと、オブジェクトに関連付けられるテクスチャを少なくとも部分的にルールセットに基づいてレンダリングすることとをさらに含む。
Ｓ．段落Ｏ～Ｒのいずれかに記載の非一時的なコンピュータ可読媒体では、動作は、複数の格納されたオブジェクトのフットプリントを含むデータストレージにアクセスすることであって、個々の格納されたオブジェクトのフットプリントは、それぞれのアノテーションに関連付けられることと、複数の格納されたオブジェクトのフットプリントのうちの１つまたは複数の格納されたオブジェクトに対応する１つまたは複数のオブジェクトを組み合わせてレンダリングすることとをさらに含む。
Ｔ．段落Ｏ～Ｓのいずれかに記載のシステムでは、動作は、少なくとも部分的に道路ネットワークデータに基づいて、交通信号の位置を決定することと、交通信号を通過する少なくとも１つの平面を生成することと、道路ネットワークデータから交通信号に近接する歩道を決定することと、プラニングアルゴリズムを用いて、歩道に最も近いポイントを決定することと、街灯の柱および柱を模擬環境内で街灯の柱を交通信号に接続するためにレンダリングすることとをさらに含む。
Ｕ．コンピュータ実装方法は、実際の環境内で複数のデータ収集デバイスからセンサーデータを受信するステップと、実際の環境に関連付けられる道路ネットワークデータであって、少なくとも部分的に前記環境に基づいて道路ネットワークデータにアクセスするステップと、少なくとも部分的にセンサーデータに基づいて実際の環境に関連付けられる道路メッシュを決定するステップと、道路ネットワークデータをメッシュに関連付けて、模擬環境を生成するステップであって、模擬環境は、実際の環境に対して不完全であるステップと、実際の環境に関連付けられる補完データにアクセスするステップであって、補完データは、複数のデータ収集デバイスに利用不可能である実際の環境に関連付けられる情報を提供するステップと、補完データを模擬環境に関連付けて、模擬環境を変更された模擬環境として補完するステップと、変更された模擬環境を自律ロボットコンピューティングデバイスによって用いられるアルゴリズムのテスト、認証、または訓練のうちの少なくとも１つのために、ナビゲーション、プラニング、または意思決定のうちの少なくとも１つに対して出力するステップとを備える。
Ｖ．段落Ｕに記載のコンピュータ実装方法では、補完データは、ラスターベースの数値標高モデルを格納する地理空間ファイルフォーマットを含む。
Ｗ．段落Ｖに記載のコンピュータ実装方法では、地理空間ファイルフォーマットは、米国地質調査所（ＵＳＧＳ）のデータ評価モデル（ＤＥＭ）基準に関連付けられている。
Ｘ．段落Ｕ～Ｗのいずれかに記載のコンピュータ実装方法では、模擬環境は、駐車中の車または路地に関連付けられるセンサーデータにおけるオクルージョンに起因して不完全である。
Ｙ．段落Ｕ～Ｘのいずれかに記載のコンピュータ実装方法は、補完データの第１の部分と道路メッシュの第２の部分との間の誤差を決定するステップであって、第１の部分および第２の部分は、実際の環境の同一の領域に関連付けられているステップと、誤差が誤差量の閾値を満たしているか、または超えているかを判断するステップと、補完データまたは道路メッシュのうちの少なくとも１つを調整するステップとをさらに含む。
Ｚ．段落Ｙに記載のコンピュータ実装方法では、誤差は、実際の環境の同一の領域に関連付けられる平均の誤差のうちの少なくとも１つを含む。
ＡＡ．段落Ｙに記載のコンピュータ実装方法では、変形格子を補完データの少なくとも一部または道路メッシュの対応する部分の１つまたは複数に適用するステップであって、補完データと道路メッシュとを実質的に整列させ、誤差を低減させるステップをさらに含む。
ＡＢ．システムは、少なくとも１つのプロセッサと、少なくとも１つのプロセッサによって実行された場合に、少なくとも１つのプロセッサに、実際の環境内で少なくとも１つのデータ収集デバイスからセンサーデータを受信することと、実際の環境に関連付けられる道路ネットワークデータまたは実際の環境に関連付けられる道路メッシュのうちの少なくとも１つをセンサーデータに関連付けられる道路メッシュにアクセスすることと、模擬環境を道路ネットワークデータまたは道路メッシュのうちの少なくとも１つに基づいて生成することと、補完データを模擬環境に関連付けて、変更された模擬環境を生成することと、変更された模擬環境を自律ロボットコンピューティングデバイスによって用いられるアルゴリズムのテスト、認証、または訓練のうちの少なくとも１つのために、自律ロボットコンピューティングデバイスを制御する少なくとも１つに対して出力することとを含む動作を実行させる１つまたは複数のコンピュータ可読命令とを備えるシステム。
ＡＣ．段落ＡＢに記載のシステムでは、模擬環境は、実際の環境内で少なくとも１つのオクルージョンに起因して不完全である。
ＡＤ．段落ＡＢ～ＡＣのいずれかに記載のシステムでは、少なくとも１つのオクルージョンに起因して少なくとも１つのデータ収集デバイスがそうでなければ利用不可能である実際の環境に関連付けられる情報を提供する。
ＡＥ．段落ＡＢ～ＡＤのいずれかに記載のシステムでは、道路ネットワークデータは、実際の環境の２次元表現を含み、且つ運転レーン要素、自転車レーン要素、駐車レーン要素、または横断歩道要素のうちの少なくとも１つの表示を含む。
ＡＦ．段落ＡＢ～ＡＥのいずれかに記載のシステムでは、道路メッシュは、マッピングシステムから出力される複数の３次元タイルを含む。
ＡＧ．段落ＡＢ～ＡＦのいずれかに記載のシステムでは、動作は、道路ネットワークデータおよび道路メッシュにアクセスすることと、少なくとも部分的に道路ネットワークデータを道路メッシュへと投影することに基づいて、道路ネットワークデータと道路メッシュとを関連させることとをさらに含む。
ＡＨ．段落ＡＢ～ＡＧのいずれかに記載のシステムでは、補完データは、第三者のソースまたはシステムによって収集される標高データを含む。
ＡＩ．段落ＡＢ～ＡＨのいずれかに記載のシステムでは、動作は、補完データの第１の部分と道路メッシュの第２の部分との間の高さ誤差を測定することと、高さ誤差が誤差量の閾値を満たすか、または超えるかを判断することと、変形格子を第１の部分または第２の部分の１つまたは複数に適用して、高さ誤差を低減させることとをさらに含む。
ＡＪ．命令を格納する非一時的なコンピュータ可読媒体は、実行された場合に、１つまたは複数のプロセッサに、実際の環境に関連付けられる道路ネットワークデータまたは実際の環境に関連付けられる道路メッシュのうちの少なくとも１つにアクセスすることと、模擬環境を道路ネットワークデータまたは道路メッシュのうちの少なくとも１つに基づいて生成することと、補完データを模擬環境に関連付けて、変更された模擬環境を生成することと、変更された模擬環境を自律ロボットコンピューティングデバイスによって用いられるアルゴリズムのテスト、認証、または訓練のうちの少なくとも１つのために、自律ロボットコンピューティングデバイスを制御する少なくとも１つに対して出力することとを含む動作を実行させる。
ＡＫ．段落ＡＪに記載の非一時的なコンピュータ可読媒体では、補完データは、第三者のソースまたはシステムによって収集される標高データを含む。
ＡＬ．段落ＡＪ～ＡＫのいずれかに記載の非一時的なコンピュータ可読媒体では、補完データは、米国地質調査所（ＵＳＧＳ）データ評価モデル（ＤＥＭ）基準に関連付けられる地理空間ファイル形式を含む。
ＡＭ．段落ＡＪ～ＡＬのいずれかに記載の非一時的なコンピュータ可読媒体では、補完データの第１の部分と道路メッシュの第２の部分との間の高さの差を測定して、第１の部分および第２の部分は、オブジェクトのない実際の環境の同一の領域に関連付けられていることと、差が差の閾値を満たすか、または超えるかを判断することと、変形格子を第１の部分または第２の部分の１つまたは複数に適用して、誤差を低減させることとをさらに含む。
ＡＮ．段落ＡＪ～ＡＭのいずれかに記載の非一時的なコンピュータ可読媒体では、少なくとも１つのオクルージョンに起因して少なくとも１つのデータ収集デバイスがそうでなければ利用不可能である実際の環境に関連付けられる情報を提供する。
上記のような例示的な条項が特定の実装に対して説明される一方で、本書類の文脈において、本例示的な内容は、また、方法、デバイス、システム、コンピュータ可読媒体、および／または別の実装を介して、実装されることが可能であることを理解されたい。
（結論）
本明細書で説明される技術の１つまたは複数の例示が記載されているが、さまざまな変更、追加、置換、およびそれらの均等物が本明細書で説明される技術の範囲内に含まれる。
例示の説明において、本明細書の一部を形成する添付の図面を参照し、これは説明の方法として請求される発明の主題の詳細な具体的な例示を示す。他の例示は、用いられてよく、構造的変更のような変更または代替がされてよいことを理解されたい。このような例示、変更または代替は、意図される発明の請求される主題に対する範囲から必ずしも逸脱するものではない。本明細書におけるステップは、特定の順序で提供されてよいが、ある場合においては、順序は、変更され得ることによって、説明されるシステムおよび方法の機能を変更させることなく、特定の入力が異なる時間または異なる順序で提供される。開示された手順は、また、異なる順序で実行されてよい。さらに、本明細書におけるさまざまな計算は、開示された順序で実行される必要はなく、計算の代替順序を用いる他の例示は、容易に実装されてよい。並べ替えに加えて、計算は、また、サブ計算へと分解され、同一の結果が得られることが可能である。

Claims (20)

  1. １つまたは複数のプロセッサと、
    実行された場合に、前記１つまたは複数のプロセッサに、
    第１のアライメントとして、道路メッシュに関連付けられた第１の領域と、模擬環境に関連付けられた補足データに関連付けられた第２の領域とを整列させることと、
    前記第１のアライメントに少なくとも部分的に基づいて、前記道路メッシュと前記補足データとの間の誤差を決定することと、
    前記誤差に少なくとも部分的に基づいて、
    前記誤差を低減するための混合されたデータを生成するために前記道路メッシュ及び前記補足データを混合すること、または
    第２のアライメントとして、前記道路メッシュを前記補足データと実質的に整列させるために前記道路メッシュを変形することであって、前記第２のアライメントは前記第１のアライメントと異なる、前記変形すること、
    のうちの少なくとも1つを実行することと、
    前記混合することまたは前記変形することに少なくとも部分的に基づいて、自律ロボットコンピューティングデバイスによって使用される修正された模擬環境を出力することと、
    を含む動作を実行させるコンピュータ実行可能命令を格納する１つまたは複数の非一時的なコンピュータ可読媒体と、
    を備えるシステム。
  2. 前記補足データは、標高データを含む地理空間ファイルフォーマットを含む、請求項１に記載のシステム。
  3. 前記誤差は、単一の測定値、複数の測定値の平均値、領域にわたる最大値、領域にわたる最小値、または前記道路メッシュの第１の部分と前記補足データの第２の部分との間の差を表す合計誤差のうちの少なくとも１つを含む、請求項１に記載のシステム。
  4. 前記動作は、
    前記誤差を誤差の閾値量と比較することと、
    前記誤差の閾値量を超えない誤差に少なくとも部分的にさらに基づいて前記混合すること、または
    前記誤差の閾値量の誤差を満たす、または超えることに少なくとも部分的に基づいて前記変形すること、
    のうちの少なくとも１つを実行することと、をさらに含む、請求項１に記載のシステム。
  5. 前記動作は、前記混合することまたは前記変形することに少なくとも部分的に基づいて修正された模擬環境を生成すること、をさらに含む、請求項１に記載のシステム。
  6. 前記誤差は、垂直距離誤差または水平距離誤差である、請求項１に記載のシステム。
  7. 前記誤差は、前記道路メッシュの第１の部分と前記補足データの第２の部分との間の誤差を含む、請求項１に記載のシステム。
  8. コンピュータ実装方法であって、
    第１のアライメントとして、道路メッシュに関連付けられた第１の領域と、模擬環境に関連付けられた補足データに関連付けられた第２の領域とを整列させるステップと、
    前記第１のアライメントに少なくとも部分的に基づいて、前記道路メッシュと前記補足データとの間の誤差を決定するステップと、
    前記誤差に少なくとも部分的に基づいて、
    前記誤差を低減するための混合されたデータを生成するために前記道路メッシュ及び前記補足データを混合するステップ、または
    第２のアライメントとして、前記道路メッシュを前記補足データと実質的に整列させるために前記道路メッシュを変形するステップであって、前記第２のアライメントは前記第１のアライメントと異なる、前記変形するステップ、
    のうちの少なくとも1つを実行するステップと、
    前記混合するステップまたは前記変形するステップに少なくとも部分的に基づいて、自律ロボットコンピューティングデバイスによって使用される修正された模擬環境を出力するステップと、
    を含むコンピュータ実装方法。
  9. 前記補足データは、標高データを含む地理空間ファイルフォーマットを含む、請求項８に記載のコンピュータ実装方法。
  10. 前記模擬環境は、少なくとも１つのデータ収集デバイスからのセンサーデータから決定された実際の環境に関連付けられる、請求項８に記載のコンピュータ実装方法。
  11. 前記道路メッシュは、複数の３次元タイルを含む、請求項８に記載のコンピュータ実装方法。
  12. 前記誤差を誤差の閾値量と比較するステップと、
    前記誤差の閾値量を超えない誤差に少なくとも部分的にさらに基づいて前記混合するステップ、または
    前記誤差の閾値量の誤差を満たす、または超えることに少なくとも部分的に基づいて前記変形するステップ、
    のうちの少なくとも１つを実行するステップと、をさらに含む、請求項８に記載のコンピュータ実装方法。
  13. 前記道路メッシュと前記補足データとの間の前記誤差を決定するステップは、前記道路メッシュと前記補足データとの間の前記誤差を定期的に測定して、複数の測定値の平均値、領域にわたる最大値、または領域にわたる最小値を決定するステップを含む、請求項８に記載のコンピュータ実装方法。
  14. 前記誤差を測定するステップは、前記道路メッシュ内の指定された位置で前記誤差を測定するステップを含み、
    前記指定された位置は、道路中心線を含む、請求項８に記載のコンピュータ実装方法。
  15. 前記混合するステップは、前記道路メッシュと前記補足データとを混合するためのグローバル混合、ローカル混合、線形混合、滑らかな曲線混合のうちの少なくとも１つを含む、請求項８に記載のコンピュータ実装方法。
  16. 混合のレベルが、前記道路メッシュの中心線と前記補足データの領域との間の距離に少なくとも部分的に基づいている、請求項８に記載のコンピュータ実装方法。
  17. 前記道路メッシュの境界と前記補足データの境界との間の遷移を平滑化するステップをさらに含む、請求項８に記載のコンピュータ実装方法。
  18. 前記補足データは、第三者のソースまたはシステムによって収集された標高データを含む、請求項８に記載のコンピュータ実装方法。
  19. 前記補足データは、米国地質調査所（ＵＳＧＳ）データ評価モデル（ＤＥＭ）標準に関連付けられた地理空間ファイルフォーマットを含む、請求項８に記載のコンピュータ実装方法。
  20. 前記補足データは、少なくとも１つのオクルージョンのために少なくとも１つのデータ収集デバイスが利用できない実際の環境に関連付けられた情報を提供する、請求項８に記載のコンピュータ実装方法。
JP2024021114A 2018-08-09 2024-02-15 手続き的な世界の生成 Pending JP2024055902A (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201862716839P 2018-08-09 2018-08-09
US62/716,839 2018-08-09
US16/163,478 2018-10-17
US16/163,478 US11068627B2 (en) 2018-08-09 2018-10-17 Procedural world generation
US16/163,466 2018-10-17
US16/163,466 US11138350B2 (en) 2018-08-09 2018-10-17 Procedural world generation using tertiary data
PCT/US2019/045805 WO2020033767A1 (en) 2018-08-09 2019-08-08 Procedural world generation
JP2021506712A JP7440490B2 (ja) 2018-08-09 2019-08-08 手続き的な世界の生成

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021506712A Division JP7440490B2 (ja) 2018-08-09 2019-08-08 手続き的な世界の生成

Publications (1)

Publication Number Publication Date
JP2024055902A true JP2024055902A (ja) 2024-04-19

Family

ID=69406006

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021506712A Active JP7440490B2 (ja) 2018-08-09 2019-08-08 手続き的な世界の生成
JP2024021114A Pending JP2024055902A (ja) 2018-08-09 2024-02-15 手続き的な世界の生成

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021506712A Active JP7440490B2 (ja) 2018-08-09 2019-08-08 手続き的な世界の生成

Country Status (5)

Country Link
US (5) US10832093B1 (ja)
EP (1) EP3834178A1 (ja)
JP (2) JP7440490B2 (ja)
CN (1) CN112639888A (ja)
WO (1) WO2020033767A1 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678244B2 (en) 2017-03-23 2020-06-09 Tesla, Inc. Data synthesis for autonomous control systems
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11599751B2 (en) * 2017-12-28 2023-03-07 Intel Corporation Methods and apparatus to simulate sensor data
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US10832093B1 (en) 2018-08-09 2020-11-10 Zoox, Inc. Tuning simulated data for optimized neural network activation
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
WO2020055767A1 (en) * 2018-09-10 2020-03-19 Mapbox, Inc. Mapping objects detected in images to geographic positions
US11030364B2 (en) * 2018-09-12 2021-06-08 Ford Global Technologies, Llc Evaluating autonomous vehicle algorithms
JP7040374B2 (ja) * 2018-09-14 2022-03-23 トヨタ自動車株式会社 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
US11132211B1 (en) * 2018-09-24 2021-09-28 Apple Inc. Neural finite state machines
CA3115784A1 (en) 2018-10-11 2020-04-16 Matthew John COOPER Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11238370B2 (en) * 2018-12-31 2022-02-01 Woven Planet North America, Inc. Approaches for determining sensor calibration
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
JP7115402B2 (ja) * 2019-04-10 2022-08-09 株式会社デンソー レーダ装置
DE102019205962A1 (de) * 2019-04-25 2020-10-29 Robert Bosch Gmbh Verfahren zur Generierung von digitalen Bildpaaren als Trainingsdaten für Neuronale Netze
US11379632B2 (en) * 2019-05-28 2022-07-05 Applied Intuition, Inc. Simulated-driving-environment generation
US11391257B2 (en) * 2019-07-23 2022-07-19 Ford Global Technologies, Llc Power supply during vehicle startup
US11529886B2 (en) 2019-07-23 2022-12-20 Ford Global Technologies, Llc Power supply during vehicle off state
US11625574B2 (en) * 2019-10-28 2023-04-11 MakinaRocks Co., Ltd. Method for generating abnormal data
EP4051549A4 (en) * 2019-11-15 2024-04-24 Waymo Llc GENERATION OF ENVIRONMENTAL DATA
US11820397B2 (en) * 2019-11-16 2023-11-21 Uatc, Llc Localization with diverse dataset for autonomous vehicles
JP7413011B2 (ja) * 2019-12-27 2024-01-15 キヤノンメディカルシステムズ株式会社 医用情報処理装置
US11765067B1 (en) * 2019-12-28 2023-09-19 Waymo Llc Methods and apparatus for monitoring a sensor validator
US11694089B1 (en) * 2020-02-04 2023-07-04 Rockwell Collins, Inc. Deep-learned photorealistic geo-specific image generator with enhanced spatial coherence
KR20220143119A (ko) * 2020-02-21 2022-10-24 엣지 케이스 리서치, 잉크. 인지 시스템용 훈련 데이터 후보의 자동 식별
KR102159052B1 (ko) * 2020-05-12 2020-09-23 주식회사 폴라리스쓰리디 영상 분류 방법 및 장치
US11163921B1 (en) * 2020-09-01 2021-11-02 TeleqoTech Managing a smart city
CN112052549B (zh) * 2020-09-09 2021-03-05 中国测绘科学研究院 一种小网眼聚集区道路选取方法
DE102021104110A1 (de) * 2021-02-22 2022-08-25 Dspace Gmbh Verfahren zur Parametrierung einer Bildsynthese aus einem 3D-Modell
WO2022272262A1 (en) * 2021-06-24 2022-12-29 Paypal, Inc. Federated machine learning management
JP7058434B1 (ja) * 2021-07-07 2022-04-22 株式会社エクサウィザーズ 生成方法、情報処理装置、プログラム、及び情報処理システム
WO2023039261A1 (en) * 2021-09-10 2023-03-16 Cyngn, Inc. System and method of adaptive, real-time vehicle system identification for autonomous driving
DE102021133968B4 (de) 2021-12-21 2023-06-29 Dspace Gmbh Verfahren und Anordnung zum Parametrieren einer Emulationslogik
US20240033631A1 (en) * 2022-07-29 2024-02-01 Niantic, Inc. Maintaining object alignment in 3d map segments

Family Cites Families (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69913150T2 (de) * 1998-07-20 2004-08-26 The Procter & Gamble Company, Cincinnati Robotersystem
US6587787B1 (en) * 2000-03-15 2003-07-01 Alpine Electronics, Inc. Vehicle navigation system apparatus and method providing enhanced information regarding geographic entities
US6941289B2 (en) 2001-04-06 2005-09-06 Sas Institute Inc. Hybrid neural network generation system and method
US6856830B2 (en) 2001-07-19 2005-02-15 Bin He Method and apparatus of three dimension electrocardiographic imaging
CN1549171A (zh) * 2003-05-15 2004-11-24 季永萍 基于网格计算的高新技术市场界定标准的实现装置
CN2629653Y (zh) 2003-05-30 2004-08-04 张艳春 人体前庭感觉功能稳定性测试仪
EP1725960A2 (en) * 2004-03-10 2006-11-29 Renault s.a.s. A validation method for embedded systems
US7660441B2 (en) * 2004-07-09 2010-02-09 Southern California, University System and method for fusing geospatial data
CN100561161C (zh) * 2006-06-09 2009-11-18 大连理工大学 一种用于海洋平台的调谐质量阻尼器半实物仿真测试方法和系统
US20070288410A1 (en) * 2006-06-12 2007-12-13 Benjamin Tomkins System and method of using genetic programming and neural network technologies to enhance spectral data
US20080033645A1 (en) * 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
CN1916968A (zh) * 2006-09-01 2007-02-21 上海大学 三维虚拟现实用矩阵实现模拟环境光照射的设置方法
US8341595B2 (en) * 2007-05-30 2012-12-25 Roam Data Inc System and method for developing rich internet applications for remote computing devices
CA2629653A1 (en) 2008-05-30 2009-11-30 Gerard Voon Neural links/artificial intelligence/computer/multidimensional technologies iii
JP5339953B2 (ja) 2009-02-17 2013-11-13 三菱電機株式会社 三次元地図補正装置及び三次元地図補正プログラム
US20100312736A1 (en) * 2009-06-05 2010-12-09 The Regents Of The University Of California Critical Branching Neural Computation Apparatus and Methods
US8559673B2 (en) * 2010-01-22 2013-10-15 Google Inc. Traffic signal mapping and detection
JP5440219B2 (ja) * 2010-01-29 2014-03-12 株式会社デンソー 地図データ及び地図データ作成方法
CN101794459A (zh) * 2010-02-09 2010-08-04 北京邮电大学 一种立体视觉影像与三维虚拟物体的无缝融合方法
CN101887379B (zh) * 2010-06-18 2013-03-06 北京航空航天大学 一种基于虚拟网卡的无线信道仿真方法
US8504034B2 (en) * 2010-11-09 2013-08-06 Ntt Docomo, Inc. System and method for population tracking, counting, and movement estimation using mobile operational data and/or geographic information in mobile network
JP5402957B2 (ja) * 2011-02-09 2014-01-29 株式会社デンソー 電子機器
US9736466B2 (en) * 2011-05-27 2017-08-15 Zspace, Inc. Optimizing stereo video display
US20160189544A1 (en) * 2011-11-16 2016-06-30 Autoconnect Holdings Llc Method and system for vehicle data collection regarding traffic
GB201204657D0 (en) * 2011-11-18 2012-05-02 Tomtom North America Inc Methods for providing 3D building information
US20130162665A1 (en) * 2011-12-21 2013-06-27 James D. Lynch Image view in mapping
US8706393B2 (en) 2012-01-10 2014-04-22 Ford Global Technologies, Llc Intersection collision avoidance with adaptable vehicle dimensions
US9122270B2 (en) * 2012-01-13 2015-09-01 Mitsubishi Electric Research Laboratories, Inc. Hybrid adaptively sampled distance fields
CA2869374C (en) * 2012-04-05 2019-04-16 Hitachi, Ltd. Map data creation device, autonomous movement system and autonomous movement control device
US9171464B2 (en) * 2012-06-10 2015-10-27 Apple Inc. Encoded representation of route data
US9367065B2 (en) 2013-01-25 2016-06-14 Google Inc. Modifying behavior of autonomous vehicles based on sensor blind spots and limitations
US9989650B2 (en) * 2013-02-13 2018-06-05 Here Global B.V. Position in urban canyons
US9141107B2 (en) 2013-04-10 2015-09-22 Google Inc. Mapping active and inactive construction zones for autonomous driving
CN104219074A (zh) * 2013-05-31 2014-12-17 成都勤智数码科技股份有限公司 数据中心动态可视化系统
WO2014202258A1 (en) * 2013-06-21 2014-12-24 National University Of Ireland, Maynooth A method for mapping an environment
US9719801B1 (en) * 2013-07-23 2017-08-01 Waymo Llc Methods and systems for calibrating sensors using road map data
US9786178B1 (en) 2013-08-02 2017-10-10 Honda Motor Co., Ltd. Vehicle pedestrian safety system and methods of use and manufacture thereof
CN103559541A (zh) * 2013-10-30 2014-02-05 南京邮电大学 一种大数据中面向乱序数据流的反向传播方法
CN103593514B (zh) * 2013-10-30 2016-06-01 中国运载火箭技术研究院 多谱段合成环境模拟系统
US10423875B2 (en) * 2014-01-07 2019-09-24 Stephen L. Thaler Electro-optical device and method for identifying and inducing topological states formed among interconnecting neural modules
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
US9547989B2 (en) 2014-03-04 2017-01-17 Google Inc. Reporting road event data and sharing with other vehicles
EP3550539A1 (en) 2014-03-15 2019-10-09 Urban Engines, Inc. Solution for highly customized interactive mobile maps
CN104951836A (zh) * 2014-03-25 2015-09-30 上海市玻森数据科技有限公司 基于神经网络技术的发帖预测系统
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US9475422B2 (en) * 2014-05-22 2016-10-25 Applied Invention, Llc Communication between autonomous vehicle and external observers
US9335764B2 (en) * 2014-05-27 2016-05-10 Recreational Drone Event Systems, Llc Virtual and augmented reality cockpit and operational control systems
KR101593637B1 (ko) * 2014-08-19 2016-02-15 재단법인 대구경북과학기술원 근육 세포 활성화 모델링 시스템 및 그 방법
US9878155B1 (en) 2015-01-05 2018-01-30 Hrl Laboratories, Llc Method for neurostimulation enhanced team performance
US11370422B2 (en) * 2015-02-12 2022-06-28 Honda Research Institute Europe Gmbh Method and system in a vehicle for improving prediction results of an advantageous driver assistant system
KR20160112186A (ko) * 2015-03-18 2016-09-28 삼성전자주식회사 뉴럴 네트워크에서 이벤트에 기반한 학습 방법 및 장치
US9135559B1 (en) 2015-03-20 2015-09-15 TappingStone Inc. Methods and systems for predictive engine evaluation, tuning, and replay of engine performance
US10026222B1 (en) * 2015-04-09 2018-07-17 Twc Patent Trust Llt Three dimensional traffic virtual camera visualization
CN104850684A (zh) * 2015-04-17 2015-08-19 江苏物联网研究发展中心 针对vissim的路网参数校正方法
US20160342861A1 (en) * 2015-05-21 2016-11-24 Mitsubishi Electric Research Laboratories, Inc. Method for Training Classifiers to Detect Objects Represented in Images of Target Environments
KR101645689B1 (ko) * 2015-06-26 2016-08-05 (주)네모파트너즈엔이씨 스마트 전력수요자원 네모모델링데이터 시뮬레이션 모듈을 통한 전력수요관리사업 프로젝트 경제성 분석장치 및 방법
US10169917B2 (en) * 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
WO2017035663A1 (en) * 2015-09-03 2017-03-09 Miovision Technologies Incorporated System and method for detecting and tracking objects
US9898869B2 (en) * 2015-09-09 2018-02-20 Microsoft Technology Licensing, Llc Tactile interaction in virtual environments
JP7036732B2 (ja) * 2015-11-04 2022-03-15 ズークス インコーポレイテッド 自律車両のためのシミュレーションシステムおよび方法
US10496766B2 (en) * 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9612123B1 (en) * 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
WO2017079341A2 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US10397019B2 (en) 2015-11-16 2019-08-27 Polysync Technologies, Inc. Autonomous vehicle platform and safety architecture
US10482380B2 (en) * 2015-12-30 2019-11-19 Amazon Technologies, Inc. Conditional parallel processing in fully-connected neural networks
US9701307B1 (en) 2016-04-11 2017-07-11 David E. Newman Systems and methods for hazard mitigation
US10545229B2 (en) 2016-04-22 2020-01-28 Huawei Technologies Co., Ltd. Systems and methods for unified mapping of an environment
CN111860811B (zh) 2016-04-27 2024-01-16 中科寒武纪科技股份有限公司 一种用于执行人工神经网络全连接层正向运算的装置和方法
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
US10140515B1 (en) 2016-06-24 2018-11-27 A9.Com, Inc. Image recognition and classification techniques for selecting image and audio data
CN109416873B (zh) * 2016-06-24 2022-02-15 瑞士再保险有限公司 具有自动化风险控制系统的自主或部分自主机动车辆及其相应方法
CN106157339B (zh) * 2016-07-05 2019-06-18 华南理工大学 基于低秩顶点轨迹子空间提取的动画网格序列压缩方法
US10210451B2 (en) 2016-07-22 2019-02-19 Alpine Electronics of Silicon Valley, Inc. Neural network applications in resource constrained environments
KR102518532B1 (ko) 2016-11-11 2023-04-07 현대자동차주식회사 자율주행차량의 경로 결정장치 및 그 방법
KR20180060860A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 객체들 간의 충돌을 방지하는 충돌 방지 장치 및 방법
KR20240005161A (ko) * 2016-12-09 2024-01-11 톰톰 글로벌 콘텐트 비.브이. 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템
CN110168578B (zh) * 2017-01-30 2024-02-06 渊慧科技有限公司 具有任务特定路径的多任务神经网络
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
CN106910139A (zh) * 2017-02-22 2017-06-30 北京石油化工学院 一种煤矿突透水灾害应急疏散模拟方法
US20180247156A1 (en) * 2017-02-24 2018-08-30 Xtract Technologies Inc. Machine learning systems and methods for document matching
CA2998249A1 (en) * 2017-03-17 2018-09-17 Edatanetworks Inc. Artificial intelligence engine incenting merchant transaction with consumer affinity
US10509692B2 (en) * 2017-05-31 2019-12-17 2236008 Ontario Inc. Loosely-coupled lock-step chaining
US10838848B2 (en) * 2017-06-01 2020-11-17 Royal Bank Of Canada System and method for test generation
US10268191B1 (en) * 2017-07-07 2019-04-23 Zoox, Inc. Predictive teleoperator situational awareness
FR3069690A1 (fr) 2017-07-25 2019-02-01 Parrot Drones Dispositif electronique et procede de generation, a partir d'au moins une paire d'images successives d'une scene, d'une carte de profondeur de la scene, drone et programme d'ordinateur associes
US10831202B1 (en) 2017-09-01 2020-11-10 Zoox, Inc. Onboard use of scenario description language
US10802485B2 (en) 2017-10-09 2020-10-13 Here Global B.V. Apparatus, method and computer program product for facilitating navigation of a vehicle based upon a quality index of the map data
RU2756439C1 (ru) * 2017-10-24 2021-09-30 Ниссан Норт Америка, Инк. Определение локализации для работы транспортного средства
GB2568087B (en) * 2017-11-03 2022-07-20 Imagination Tech Ltd Activation functions for deep neural networks
CN107943286B (zh) * 2017-11-14 2023-02-28 国网山东省电力公司 一种增强漫游沉浸感的方法
CN108182650B (zh) * 2017-12-22 2021-02-02 王金刚 一种城市空间北斗网格标识与仿真可视化系统
US10324467B1 (en) 2017-12-29 2019-06-18 Apex Artificial Intelligence Industries, Inc. Controller systems and methods of limiting the operation of neural networks to be within one or more conditions
US10944767B2 (en) 2018-02-01 2021-03-09 International Business Machines Corporation Identifying artificial artifacts in input data to detect adversarial attacks
US20190235521A1 (en) 2018-02-01 2019-08-01 GM Global Technology Operations LLC System and method for end-to-end autonomous vehicle validation
US11829886B2 (en) 2018-03-07 2023-11-28 International Business Machines Corporation Epistemic and aleatoric deep plasticity based on sound feedback
CN108932289B (zh) 2018-05-23 2021-10-15 北京华健蓝海医疗科技有限责任公司 一种基于信息抽取和深度学习的问题回答处理方法及系统
US10642275B2 (en) * 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
US11514515B2 (en) 2018-07-17 2022-11-29 Adobe Inc. Generating synthetic data using reject inference processes for modifying lead scoring models
US10783389B2 (en) 2018-08-02 2020-09-22 Denso International America, Inc. Systems and methods for avoiding misrecognition of traffic signs and signals by hacking
US10832093B1 (en) 2018-08-09 2020-11-10 Zoox, Inc. Tuning simulated data for optimized neural network activation

Also Published As

Publication number Publication date
US11138350B2 (en) 2021-10-05
US10832093B1 (en) 2020-11-10
JP7440490B2 (ja) 2024-02-28
WO2020033767A1 (en) 2020-02-13
US20200051327A1 (en) 2020-02-13
CN112639888A (zh) 2021-04-09
US11861790B2 (en) 2024-01-02
US20210365610A1 (en) 2021-11-25
US20210027111A1 (en) 2021-01-28
US11615223B2 (en) 2023-03-28
US11068627B2 (en) 2021-07-20
JP2021534484A (ja) 2021-12-09
US20200050716A1 (en) 2020-02-13
EP3834178A1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
JP7440490B2 (ja) 手続き的な世界の生成
US11150660B1 (en) Scenario editor and simulator
US11521009B2 (en) Automatically generating training data for a lidar using simulated vehicles in virtual space
US11574089B2 (en) Synthetic scenario generator based on attributes
JP6548691B2 (ja) 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
US11568100B2 (en) Synthetic scenario simulator based on events
US11275673B1 (en) Simulated LiDAR data
US10872228B1 (en) Three-dimensional object detection
CN114072840A (zh) 自动驾驶的深度引导视频修复
US20230150549A1 (en) Hybrid log simulated driving
CN114761298A (zh) 使用传感器数据进行高度估计
JP2023503827A (ja) アップサンプリング、損失、および損失均衡による深度データモデルトレーニング
JP2022502919A (ja) 画像スキャンラインのタイムスタンプ
JP2024513666A (ja) ログデータに基づいたシミュレートされた環境でのオブジェクトのインスタンス化
US11801865B2 (en) Object tracking by generating velocity grids
US20220269836A1 (en) Agent conversions in driving simulations
US20220266859A1 (en) Simulated agents based on driving log data
US11814059B1 (en) Simulating autonomous driving using map data and driving data
JP2023502598A (ja) 統計モデルを用いる衝突モニタリング
US11915436B1 (en) System for aligning sensor data with maps comprising covariances
US11808582B1 (en) System processing scenario objects during simulation
US11814070B1 (en) Simulated driving error models
US11928399B1 (en) Simulating object occlusions
Liang et al. Research on Navigation Recognition Optimization of Unmanned Self-Built Map
WO2022182561A1 (en) Agent conversions in driving simulations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240318