JP7841887B2 - 自律マシン・アプリケーションのための交差点領域検出及び分類 - Google Patents

自律マシン・アプリケーションのための交差点領域検出及び分類

Info

Publication number
JP7841887B2
JP7841887B2 JP2021575374A JP2021575374A JP7841887B2 JP 7841887 B2 JP7841887 B2 JP 7841887B2 JP 2021575374 A JP2021575374 A JP 2021575374A JP 2021575374 A JP2021575374 A JP 2021575374A JP 7841887 B2 JP7841887 B2 JP 7841887B2
Authority
JP
Japan
Prior art keywords
signed distance
intersection
distance function
vehicle
signed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021575374A
Other languages
English (en)
Other versions
JP2022538813A (ja
Inventor
ファム、トラング
エルヴァス、ベルタ ロドリゲス
パク、ミンウ
ニスター、デイヴィッド
クヴィジェティック、ネダ
Original Assignee
エヌビディア コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヌビディア コーポレーション filed Critical エヌビディア コーポレーション
Publication of JP2022538813A publication Critical patent/JP2022538813A/ja
Application granted granted Critical
Publication of JP7841887B2 publication Critical patent/JP7841887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/20—Drawing from basic elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、自律マシン・アプリケーションのための交差点領域検出及び分類に関する。
自律運転システム及び高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）は、様々なタスク－たとえば、車線保持、車線変更、車線指定、カメラ較正、方向転換、進路プランニング、及びローカリゼーションなど－を実行するために、様々なセンサ、たとえば、カメラ、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサなど、を使用し得る。たとえば、自律及びＡＤＡＳシステムが独立して効率的に動作するために、リアルタイム又はほぼリアルタイムの車両の周辺環境の理解が生み出され得る。この理解は、様々な分界、たとえば、車線、道路境界、交差点、及び／又は同類のもの、に関して環境内の物体、障害物、車線及び／又は交差点の位置及びタイプに関する情報を含み得る。周辺環境の情報は、どの進路又は軌道をたどるか、道路のルールをどのように適用するか、いつ、どこで、及び／又はどのくらいで停止するかなどの決定を下すときに、車両によって使用され得る。
一実例として、自律型又は半自律型車両の環境内の交差点の位置、属性、及びレイアウトに関する情報－たとえば、他の車両又は歩行者がどこに位置し得るか、他の車両が交差点を横断する優先権を有するかどうか、及び／又は同類のもの－は、進路プランニング、障害物回避、及び／又は制御決定を行うときに、有益であることが判明し得る。これは、車両が都市及び／又は準都市運転環境において動作しているとき、特に重要であり、そこでは、交差点の理解及び進路プランニングは、幹線道路運転環境に関連する変数の数が増えることにより、極めて重大になる。たとえば、車両が、減速して完全に停止して、双方向の複数車線運転環境において交差点を横切る優先権を有する他の車両を待たなければならない場合、交差点エリアの位置及びクラス（たとえば、横断歩道、車両が進入、車両が出て行く、車線なしなど）を判定することは、安全で効果的な自律及び／又は半自律運転にとって極めて重大になる。
従来のシステムでは、交差点は、交差点及び周辺環境のいくつかの特徴を個々に検出し、結合することによって、解釈され得る。たとえば、交差点を検出するために、交差点エリア、複数の物体（たとえば、交通信号灯、一時停止標識）、車両の場所、車両の向き、車線、自由空間境界などが、個別に検出され得－たとえば、複数の別個のディープ・ニューラル・ネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を使用して－、そして、単一の交差点の結合された理解を生み出すためにつなぎ合わせられ得る。しかしながら、そのような解決法は、交差点検出のために関連特徴を認識するための及び異なる交通優先権ルールに従いながら交差点を安全に横切るために各交差点の様々な特徴を結合するための正確で詳細なネットワークを必要とする。結果として、交差点が複雑であればあるほど、より詳細な注釈がＤＮＮをトレーニングするために必要とされる－それによって、交差点検出のスケーラビリティを低下させると同時に、交差点エリアの正確な検出及び分類の複雑性を増大させる。具体的には、これらの従来のシステムは、交差点を横切るための優先権を有する競合者であり得る車両及び／又は交差点を横断する歩行者のより明確で完全な理解を実現しないことがある。加えて、多数の従来のシステムはまた、センサ・データにおいて閉塞に遭遇する－たとえば、車両のセンサの知覚フィールドの部分を遮る建物、又は他の車両若しくは物体を原因として－交差点エリアを頑強に検出することができない。
他の従来のシステムは、個々に検出された特徴を、車両の走行表面の予め記憶された高解像度（ＨＤ）、３次元（３Ｄ）マップ内の特徴と比較することによって、交差点を分析し得る。しかしながら、そのようなマップベースの解決法は、マップの正確性及び可用性に大きく依存する。したがって、マップがある特定のエリアについて古くなった又は入手不可能なとき、これらの従来のシステムは機能しない。たとえば、より大きい地理的領域（たとえば、都市、州、国）にマニュアルでラベル付けすることが、様々な交差点タイプを有する位置において車両が独立して効果的にナビゲートするために、必要とされるとき、プロセスは、ロジスティックにより複雑になり得る。これらの従来のシステムはまた、マップにおいて反映され得ない一時的交差点条件（たとえば、警察官の交通整理又は停止したスクール・バス）が存在するとき、機能しない。
米国特許出願第１６／１０１，２３２号
本開示の実施例は、自律マシン・アプリケーションのための交差点競合エリア検出に関する。交差点の領域－及びそれに対応する分類－を検出してリアルタイム又はほぼリアルタイムで交差点の理解を全体論的に生み出すために、ディープ・ニューラル・ネットワーク（ＤＮＮ）を使用して車両の１つ又は複数のセンサからのセンサ・データを処理する、システム及び方法が、開示される。
従来のシステム、たとえば、前述のもの、とは対照的に、本システムは、車両のライブ知覚を使用して車両の環境内の交差点競合エリアを検出及び分類することができる。たとえば、マシン学習モデル－ＤＮＮなど－は、交差点に対応する出力－たとえば、交差点領域又はエリア及びそのクラスに対応する符号付き距離関数－を計算するようにトレーニングされ得、ポストプロセッサは、この情報を使用して交差点領域位置及び分類を効果的に正確に判定し得る。出力は、検出された交差点エリアの３Ｄ世界空間位置を判定するために、様々な技法－たとえば、平滑化、クラスタリング、閾値化、アップサンプリングなど－を使用して後処理され得る。交差点エリアのこれらの世界空間位置及び／又は分類は、安全に正確に交差点をナビゲートするために車両によって使用され得る。たとえば、ＤＮＮの出力は、各交差点エリアの位置及びそれに対応する分類を判定するために、直接的に又は間接的に（たとえば、復号を介して）使用され得る。
交差点の各交差点領域の理解を生み出すためのリアルタイム又はほぼリアルタイムでの全体論的手法の使用の結果として、システムは、交差点の先行経験又は知識を必要とせずに、及び交差点のいくつかの特徴を個別に検出してから結合する必要なしに、各交差点を診断することを学習することができるので、交差点競合エリアを検出及び分類するプロセスは、比較的時間がかからず、計算機負荷が低く、よりスケーラブルになり得る。結果として、車両は、ＨＤマップに依存せずに－又は依存するＨＤマップに加えて－より自由に街、都市環境、及び／又は他の位置を自律的に進む能力を有し得る。
自律マシン・アプリケーションのための交差点競合エリア検出のための本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。
本開示のいくつかの実施例による、車両のセンサからの出力を使用して交差点をナビゲートするために交差点エリアを検出するようにニューラル・ネットワークをトレーニングするための例示的プロセスを示す例示的データ流れ図である。 本開示のいくつかの実施例による、交差点エリアを検出するようにニューラル・ネットワークをトレーニングするためのグラウンド・トゥルース・データを生成するための画像の例示的注釈のイラストレーションである。 本開示のいくつかの実施例による、交差点エリアを検出するようにニューラル・ネットワークをトレーニングするためのグラウンド・トゥルース・データを生成するための画像の例示的注釈のイラストレーションである。 本開示のいくつかの実施例による、注釈から交差点エリアをエンコードするための例示的グラウンド・トゥルース符号付き距離関数のイラストレーションである。 本開示のいくつかの実施例による、交差点エリアを検出するようにニューラル・ネットワークをトレーニングするための例示的方法を示す流れ図である。 本開示のいくつかの実施例による、リアルタイム又はほぼリアルタイムで車両のセンサからの出力を使用して交差点エリアを検出するための例示プロセスを示すデータ流れ図である。 本開示のいくつかの実施例による、ポストプロセッサを使用して対応するインスタンス区分マスクに変換される例示的符号付き距離関数の視覚化を示す図である。 本開示のいくつかの実施例による、ニューラル・ネットワークによって計算された符号付き距離関数に基づく３Ｄ空間において予測された例示的交差点エリアの視覚化を示す図である。 本開示のいくつかの実施例による、ニューラル・ネットワークによって計算された符号付き距離関数に基づく３Ｄ空間において予測された例示的交差点エリアの視覚化を示す図である。 本開示のいくつかの実施例による、交差点エリアを検出するための例示的方法を示す流れ図である。 本開示のいくつかの実施例による、例示的自律型車両のイラストレーションである。 本開示のいくつかの実施例による、図９Ａの例示的自律型車両のカメラ位置及び視野の実例である。 本開示のいくつかの実施例による、図９Ａの例示的自律型車両の例示的システム・アーキテクチャのブロック図である。 本開示のいくつかの実施例による、クラウドベースのサーバと図９Ａの例示的自律型車両との間の通信のシステム図である。 本開示のいくつかの実施例の実装において使用するのに適した例示的コンピューティングデバイスのブロック図である。
自律マシン・アプリケーションのための交差点競合エリア検出に関連するシステム及び方法が、開示される。本開示は例示的自律型車両９００（図９Ａ～９Ｄに関してその実例が説明され、本明細書で別法として「車両９００」又は「自己車両９００」と称される）に関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、非自律型車両、半自律型車両（たとえば、１つ又は複数の適応型運転者支援システム（ＡＤＡＳ：ａｄａｐｔｉｖｅ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）における）、ロボット、倉庫車両、オフロード車両、飛行船舶、ボート、シャトル、緊急対応車両、オートバイ、電気又は原動機付自転車、航空機、建設車両、潜水艦、ドローン、及び／又は他の車両タイプによって使用され得るが、これに限定されない。加えて、本開示は、車両アプリケーションのための交差点構造と説明されることがあるが、これは限定を意図しておらず、本明細書に記載のシステム及び方法は、拡張現実、仮想現実、ロボット工学、セキュリティ及び監視、自律若しくは半自律マシン・アプリケーション、並びに／又は、交差点若しくは他の環境構造及び／若しくは姿勢の検出が使用され得る任意の他の技術空間において使用され得る。
本明細書に記載のように、高解像度（ＨＤ）マップを使用する交差点競合エリア検出の従来の手法とは対照的に、本システム及び方法は、リアルタイム又はほぼリアルタイムで車両のセンサ（たとえば、カメラ、ＲＡＤＡＲセンサ、ＬＩＤＡＲセンサなど）からの出力を使用して交差点エリアを検出及び分類するための技法を提供する。そのようなものとして、各交差点について、車両のライブ知覚が、交差点に対応する交差点エリアの位置及び／又は属性若しくは分類を検出するために使用され得る。コンピュータ・ビジョン及び／又はマシン学習モデル（たとえば、ディープ・ニューラル・ネットワーク（ＤＮＮ）、たとえば、畳み込みニューラル・ネットワーク（ＣＮＮ））は、検出された交差点エリア、及び／又はその分類若しくは属性をもたらす－実施例において、復号した後に－出力を計算するようにトレーニングされ得、出力は、関連する交通優先権ルールを守りながら効果的に正確に交差点をナビゲートするために物体及び／又は車線検出と併せて車両によって使用され得る。コンピュータ・ビジョン及び／又はマシン学習モデルの出力は、様々な分類された交差点エリアが検出された画像内の特定の領域の画素ベースの位置を表す符号付き距離関数を、いくつかの実施例において、含み得る。加えて、いくつかの実施例において、後処理は、各検出された交差点エリア及び／又はタイプに対応するインスタンス区分マスクを生成するために、符号付き距離関数で実行され得る。
そのようなものとして、システムは、ライブ知覚を使用して交差点エリアの理解を生み出すことによって、リアルタイム又はほぼリアルタイムで各交差点エリアを診断することを学習し得るので、交差点エリアを検出及び分類するプロセスは、比較的時間がかからず、計算機負荷が低く、よりスケーラブルになり得る。加えて、従来のシステムとはさらに対照的に、交差点の事前知識又は経験は必要とされない－たとえば、システムは、利用可能な最新のＨＤマップの要求なしに、正確に実行し得る。
配備中、センサ・データ（たとえば、画像、ビデオ、点群、深度図、他のセンサ・データ表現など）が、自律型又は半自律型車両に置かれた又は他の方法で配置されたセンサ（たとえば、カメラ、ＲＡＤＡＲセンサ、ＬＩＤＡＲセンサなど）を使用して、受信及び／又は生成され得る。センサ・データは、センサ・データによって表される交差点に関する対象エリア（たとえば、交差点内部、交差点入口、交差点出口、車線なし、横断歩道、不明瞭なエリアなど）、並びにそれに関する意味論的情報を識別するようにトレーニングされたＤＮＮに適用され得る。より具体的には、ＤＮＮは、検出された各交差点エリア・インスタンスに対応する符号付き距離関数を計算するようにトレーニングされ得る。符号付き距離関数は、センサ・データ内の各画素又は点について、交差点エリアに対応する最も近い境界までの（画素）距離、交差点エリアに対する位置（たとえば、交差点エリア外部の画素については負、交差点エリア内部の画素については正、或いは逆もまた同様）、交差点エリアに対応する意味論的情報（たとえば、横断歩道、交差点入口、交差点出口、不明瞭なエリア、車線なし、交差点内部、部分的に可視、完全に可視など、又はその組合せ）、及び／又は他の情報に対応し得る。いくつかの実例において、符号付き距離関数における計算された交差点エリアは、センサ・データによって表される画素又は点によって示され得、そこで、交差点エリアの境界上の画素は、ゼロの値によって表され、境界内部の画素は、領域の最も近い境界までの距離に対応する正の距離値によって示され、そして、境界外部の画素は、領域の最も近い境界までの距離に対応する負の値によって示される。交差点エリアの各クラスの１つ又は複数のインスタンスは、別個の符号付き距離関数（たとえば、各クラスに１つの符号付き距離関数、各クラスの各インスタンスの別個の符号付き距離関数など）で表され得る。そのようなものとして、交差点エリアの位置及びクラスは、符号付き距離関数及び関連情報に基づいて－たとえば、ポストプロセッサを使用して－判定され得る。非限定的実例として、交差点エリア・クラスは、横断歩道、交差点入口、交差点出口、不明瞭なエリア、車線なし、交差点内部、部分的に可視、完全に可視、及び／又は交差点に対応する他の情報を含み得る。
ＤＮＮは、交差点エリア分類に対応する様々なタイプの情報－たとえば、任意の数のチャネルを介する－を予測するようにトレーニングされ得る。たとえば、チャネルのうちの１つ又は複数は、交差点エリアのクラスの、及び／又はその各インスタンスの符号付き距離関数を表し得る。トレーニング中、ＤＮＮは、横断歩道エリア、交差点入口エリア、交差点出口エリア、不明瞭なエリア、車線なしエリア、交差点内部エリア、部分的に可視なエリア、完全に可視なエリアなどを表すポリゴンでラベル又は注釈を付けられた画像又は他のセンサ・データ表現でトレーニングされ得る。境界ラベル又は注釈に加えて、グラウンド・トゥルース注釈は、それぞれの境界に対応する意味論的情報－たとえば、分類－を含み得る。ラベル付けされたポリゴン及び意味論的情報が、注釈から判定されるものとしての交差点の領域に対応する交差点エリア・タイプにそれぞれ対応する、符号付き距離関数を生成するために、グラウンド・トゥルース・エンコーダによって使用され得る。いくつかの実例において、符号付き距離関数内の各画素は、交差点エリアの最も近い境界までの画素（たとえば、トレーニング・データの注釈付きの境界形状に沿った）の距離に対応する距離値でエンコードされ得る。そのような実例において、交差点エリア内部の画素はまた、正の距離値でエンコードされ得、交差点エリア外部の画素は、負の距離値でエンコードされ得、或いは逆もまた同様である。交差点エリアの境界を形成する画素は、グラウンド・トゥルース・データを生成するためにゼロ値でエンコードされ得る。
いくつかの実例において、符号付き距離関数を使用することに加えて又はその代わりとして、ラベル付けされたポリゴン及び意味論的情報は、各交差点エリア・タイプのワンホット・エンコーディング・マップを生成するためにグラウンド・トゥルース・エンコーダによって使用され得、そこで、交差点エリア境界内部の画素は、１の値でエンコードされ、そして、交差点エリア境界外部の画素は、０の値でエンコードされる。しかしながら、ワンホット・エンコーディングを使用するとき、同タイプの隣接する領域（たとえば、共有境界を有する）は、個別に識別可能でないことがあり、結果として、符号付き距離関数を使用する実施例と比較して正確性を低下させることがある。最後に、情報は、ポリゴン注釈及び意味論的情報を使用して、判定され得るので、交差点エリアは、限られたラベリングを必要とする符号付き距離関数及び／又はワンホット・エンコーディング・マップを使用してエンコードされ得る。
ＤＮＮがトレーニングされた後は、ＤＮＮは、本明細書に記載のように、符号付き距離関数、ワンホット・エンコーディング・マップ、及び／又はネットワークが予測するようにトレーニングされるエンコードされたグラウンド・トゥルース・チャネルに対応する他の出力の形で出力で回帰し得る。出力が、符号付き距離関数に対応する場合、異なる分類タイプに対応する画素距離、及び／又はそのインスタンスは、交差点エリアの２Ｄ位置（たとえば、エリア内の各画素、適正な境界画素又はその頂点など）を表す２次元（２Ｄ）座標へと後処理され得る。いくつかの実施例において、符号付き距離関数は、画素値における鋭いピーク及び変動を平滑化するために、画素ごとにガウス平滑化を受け得る。平滑化された符号付き距離関数は、次いで、対応する符号付き距離関数内の各画素に関連する負の及び正の画素値に基づいて交差点エリアを表すポリゴン・エリアにそれぞれマップされ得る。いくつかの実施例において、分水嶺クラスタリング・アルゴリズムが、各符号付き距離関数の各検出された交差点エリア又は領域に対応するインスタンス区分マップを生成するために、使用され得る。そのような実施例において、各交差点エリアについて、高すぎる距離値及び低すぎる距離値を有する画素は、所定の距離閾値を使用してフィルタで除かれ得る－それによって、必要とされる計算資源を低減する。残りの画素は、関連交差点エリアの境界を判定するために、及び／又は関連分類タイプを有する交差点の所与の領域に関連する各画素を判定するために、使用され得る。交差点エリアを表すポリゴンの境界内の各画素は、次いで、対応する交差点エリアの区分を示す画素値でエンコードされ得る。後処理の出力は、交差点の異なる分類タイプ領域の位置に対応する各分類タイプ－又はそのインスタンス－のインスタンス区分マスクでもよい。
いくつかの実施例において、２Ｄ画像空間位置は、世界空間環境のナビゲーションにおいて車両を助けるために、交差点エリアの３次元（３Ｄ）世界空間座標を判定するために使用され得る。たとえば、センサ固有パラメータ及び／又は外部パラメータが、２Ｄ画像空間位置を知られている３Ｄ世界空間位置にマップするために使用され得る。しかしながら、いくつかの実施例において、ＤＮＮは、３Ｄ世界空間における位置を予測するために３Ｄデータでトレーニングされ得る。
ここで図１を参照すると、図１は、本開示のいくつかの実施例による、交差点のナビゲーションにおいて車両を助けるために交差点エリア又は領域を検出するようにニューラル・ネットワークをトレーニングするための例示的プロセス１００を示す例示的データ流れ図である。本明細書に記載のこの及び他の構成は単に実例として明記されていることを理解されたい。高いレベルにおいて、プロセス１００は、１つ又は複数のマシン学習モデル１０４が１つ又は複数の入力、たとえば、センサ・データ１０２、を受信することと、１つ又は複数の出力、たとえば、１つ又は複数の符号付き距離関数１０８、を生成することとを含み得る。いくつかの実例において、トレーニングのために使用されるとき、センサ・データ１０２は、トレーニング・データと称され得る。センサ・データ１０２は、画像を表す画像データに関して主に論じられているが、これは限定を意図しておらず、センサ・データ１０２は、交差点エリア検出のために使用される他のタイプのセンサ・データ、たとえば、ＬＩＤＡＲデータ、ＳＯＮＡＲデータ、ＲＡＤＡＲデータ、及び／又は同類のもの－たとえば、車両９００の１つ又は複数のセンサ（図９Ａ～９Ｄ）によって生成されるものとしての－を含み得る。
プロセス１００は、１つ又は複数のセンサからのセンサ・データ１０２を生成及び／又は受信することを含み得る。センサ・データ１０２は、車両（たとえば、図９Ａ～９Ｃの及び本明細書に記載の車両９００）の１つ又は複数のセンサから、非限定的実例として、受信され得る。センサ・データ１０２は、リアルタイム又はほぼリアルタイムで交差点をナビゲートするために交差点エリアを検出するために、車両によって、プロセス１００内で、使用され得る。センサ・データ１０２は、たとえば、図９Ａ～９Ｃを参照すると、全球測位衛星システム（ＧＮＳＳ：ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍｓ）センサ９５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ９６０、超音波センサ９６２、ＬＩＤＡＲセンサ９６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ９６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン９７６、ステレオ・カメラ９６８、ワイドビュー・カメラ９７０（たとえば、魚眼カメラ）、赤外線カメラ９７２、サラウンド・カメラ９７４（たとえば、３６０度カメラ）、長距離及び／若しくは中距離カメラ９７８、速度センサ９４４（たとえば、車両９００の速度を測定するための）、並びに／又は他のセンサ・タイプを含む、車両のセンサのいずれかからのセンサ・データ１０２を含み得るが、これに限定されない。別の実例として、センサ・データ１０２は、仮想（たとえば、試験）環境内の仮想車両又は他の仮想物体の任意の数のセンサから生成された仮想（たとえば、シミュレーションされた又は拡張）センサ・データを含み得る。そのような一実例において、仮想センサは、シミュレーションされる環境（たとえば、ニューラル・ネットワーク・パフォーマンスを試験、トレーニング、及び／又は検証するために使用される）内の仮想車両又は他の仮想物体に対応し得、仮想センサ・データは、シミュレーションされた又は仮想環境内の仮想センサによってキャプチャされたセンサ・データを表し得る。そのようなものとして、仮想センサ・データを使用することによって、本明細書に記載のマシン学習モデル１０４は、そのような試験の安全性は低くなり得る、現実世界環境外のより極端なシナリオの試験を可能にし得る、シミュレーション環境におけるシミュレーション又は拡張データを使用して、試験、トレーニング、及び／又は検証され得る。
いくつかの実施例において、センサ・データ１０２は、画像を表す画像データ、ビデオを表す画像データ（たとえば、ビデオのスナップショット）、及び／又はセンサの知覚フィールドの表現を表すセンサ・データ（たとえば、ＬＩＤＡＲセンサの深度図、超音波センサの値グラフなど）を含み得る。センサ・データ１０２が、画像データを含む場合、たとえば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）若しくは輝度／クロミナンス（ＹＵＶ：Ｌｕｍｉｎａｎｃｅ／Ｃｈｒｏｍｉｎａｎｃｅ）フォーマットなどの圧縮画像、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）若しくはＨ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの圧縮ビデオ・フォーマットから生じるフレームのような圧縮画像、ＲＣＣＢ（Ｒｅｄ Ｃｌｅａｒ Ｂｌｕｅ）、ＲＣＣＣ（Ｒｅｄ Ｃｌｅａｒ）、若しくは他のタイプの画像センサなどに由来するものなどの未加工画像、及び／又は他のフォーマットを含むがこれらに限定されない、任意のタイプの画像データ・フォーマットが、使用され得る。加えて、いくつかの実例において、センサ・データ１０２は、前処理なしに（たとえば、未加工の又はキャプチャされたフォーマットにおいて）プロセス１００内で使用され得るが、他の実例において、センサ・データ１０２は、前処理（たとえば、ノイズ・バランシング、デモザイク処理、スケーリング、クロップ、拡張、ホワイト・バランシング、トーン・カーブ調整など、たとえば、センサ・データ・プリプロセッサ（図示せず）を使用する）を受け得る。本明細書では、センサ・データ１０２は、未処理のセンサ・データ、前処理されたセンサ・データ、又はその組合せを指し得る。
トレーニングのために使用されるセンサ・データ１０２は、最初の画像（たとえば、１個若しくは複数の画像センサによってキャプチャされたものとしての）、ダウン・サンプリングされた画像、アップ・サンプリングされた画像、クロップされた若しくは関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）画像、他の方法で拡張された画像、及び／又はその組合せを含み得る。マシン学習モデル１０４は、画像（及び／又は他のセンサ・データ１０２）並びに対応するグラウンド・トゥルース・データを使用してトレーニングされ得る。グラウンド・トゥルース・データは、注釈、ラベル、マスク、マップ、及び／又は同類のものを含み得る。たとえば、いくつかの実施例において、グラウンド・トゥルース・データは、グラウンド・トゥルース（ＧＴ）符号付き距離関数１１６を含み得る。エンコーダ１１２は、ＧＴ符号付き距離関数１１６をエンコードするために、注釈１１０を使用し得る。いくつかの実施例において、注釈１１０は、交差点エリア１１０Ａ及び交差点エリア１１０Ａの分類１１０Ｂを含み得る。
注釈１１０を参照すると、注釈１１０は、いくつかの実例において、描画プログラム（たとえば、注釈プログラム）、コンピュータ支援設計（ＣＡＤ）プログラム、ラベリング・プログラム、ＧＴ符号付き距離関数１１６の注釈１１０及び／若しくはその他を生成するのに適した別のタイプのプログラム内で生成され得る、並びに／又は手描きされ得る。任意の実例において、注釈１１０及び／又はＧＴ符号付き距離関数１１６は、合成的に製造する（たとえば、コンピュータ・モデル又はレンダリングから生成する）こと、現実に製造する（たとえば、現実世界データから設計及び製造する）こと、マシン自動化すること（たとえば、特徴分析を使用して、及び、データから特徴を抽出し、次いで、ラベルを生成することを学習して）、人が注釈を付けること（たとえば、ラベラ、又は注釈エキスパート、が、ラベルの位置を定義する）、並びに／又はその組合せ（たとえば、人が、エリアの中心又は原点及び次元を識別する、マシンが、交差点エリアのポリゴン及び／又はラベルを生成する）が可能である。
交差点エリア１１０Ａは、交差点の対象エリアの輪郭を示す境界形状－たとえば、ポリゴン－に対応する注釈、又は他のラベルタイプ、を含み得る。いくつかの実例において、交差点エリアは、センサ・データ１０２において、横断歩道エリア、交差点入口エリア、交差点出口エリア、不明瞭なエリア、車線なしエリア、交差点内部エリア、部分的に可視なエリア、完全に可視なエリアなどに対応する１つ又は複数のポリゴンによって－たとえば、センサ・データ１０２のセンサ・データ表現内で－輪郭を描かれ得る。ポリゴンは、境界ボックスとして生成され得る。分類１１０Ｂは、それぞれの画像（又は他のデータ表現）について及び／又はマシン学習モデル１０４をトレーニングするために使用されるセンサ・データ１０２によって表される画像内のポリゴンのうちの１つ又は複数のそれぞれについて生成され得る。分類１１０Ｂの数は、マシン学習モデル１０４が予測するようにトレーニングされた特徴の数及び／又はタイプに、或いはそれぞれの画像内の交差点エリアの数及び／又は特徴のタイプに対応し得る。
実施例に応じて、分類１１０Ｂは、横断歩道エリア、交差点入口エリア、交差点出口エリア、不明瞭なエリア、車線なしエリア、交差点内部エリア、部分的に可視なエリア、完全に可視なエリア、及び／又は同類のものなどの、しかしこれらに限定されない、特徴タイプ又は交差点エリア・クラスに対応する分類又はタグに対応し得る。いくつかの実例において、分類１１０Ｂは、最初に、交差点内部エリア及び／又は交差点外部エリアに対応し得る。交差点内部エリア分類は、様々な方向に交差点を横切る車両の進路が横断し得る交差店内部のエリアを含む交差点エリア１１０Ａを指し得る。交差点外部エリア分類は、交差点内部エリアの外部のエリアを含む交差点エリア１１０Ａを指し得る。
交差点外部エリアとして分類された交差点エリア１１０Ａはさらに、横断歩道エリア、交差点入口エリア、交差点出口エリア、不明瞭なエリア、車線なしエリア、及び／又は同類のものを含む、交差点出口エリアの特徴タイプに対応する属性に対応する分類１１０Ｂでそれぞれラベル付けされ得る。具体的には、交差点入口属性は、１つ又は複数の車両が様々な異なる方向から対応する交差点に入ろうとしている、交差点エリア１１０Ａに対応し得る。交差点出口エリアは、様々な方向において交差点を最近出た１つ又は複数の車両が位置し得る、交差点エリア１１０Ａに対応し得る。車両９００は、交差点を安全に横切るために、それ自体が交差点出口エリアを安全に横切らなければならないので、交差点出口エリアに関する情報は、特に重要であり得ることを理解されたい。同様に、横断歩道エリアは、交差点内部エリアの外に位置する横断歩道に対応する交差点エリア１１０Ａを指し得る。「車線なしエリア」として分類されたエリアは、車両が横切ることを許されていない交差点エリア１１０Ａ、たとえば、自転車車線、歩行者専用道路、及び／又は同類のもの、に対応し得る。「不明瞭なエリア」属性は、車両の進行方向が不明瞭な交差点エリアに対応し得る。加えて、交差点内部エリア及び交差点外部エリア・クラスの分類１１０Ａはまた、完全に可視なエリア及び／又は部分的に可視なエリア属性のうちの１つを含み得る。分類１１０Ｂが完全に可視なエリア属性又はクラス・ラベルを含む、実例において、対応する交差点エリア１１０Ａは、完全に可視な表面、たとえば、障害物のない表面、を含み得る。これに対して、分類１１０Ｂが、部分的に可視なエリア属性又はクラス・ラベルを含む場合、対応する交差点エリア１１０Ａは、障害物、たとえば、対応するセンサ・データ１０２においてエリア内の走行表面が単に部分的に可視であるような閉塞、を含み得る。本明細書に記載のラベリング・オントロジは、単に例示を目的としており、追加の及び／又は代替のクラス・ラベルが、本開示の範囲を逸脱することなく使用され得る。
非限定的実例として、図２Ａ～２Ｂに関して、図２Ａ～２Ｂは、本開示のいくつかの実施例による、交差点エリアを検出するためにマシン学習モデルをトレーニングするためのグラウンド・トゥルース生成において使用するためのセンサ・データに適用される例示的注釈を示す。たとえば、図２Ａは、図１のトレーニング・プロセス１００に従ってグラウンド・トゥルース・データを生成するために使用され得る画像２００Ａの例示的ラベリング（たとえば、注釈１１０に対応する）を示す。画像内の交差点エリア又は領域は、交差点エリア１１０Ａ（たとえば、エリア２０４Ａ、２０４Ｂ、２０６、２０８、２１０Ａ、及び２１０Ｂ）及び対応する分類（たとえば、「交差点内部」、「部分的に可視」、「車両出口」、「車両入口」、「部分的に可視」、「横断歩道」など）によって注釈を付けられ得る。たとえば、交差点エリア２０４Ａは、ポリゴンを使用してラベル付けされ得、「交差点入口」及び「部分的に可視」などの１つ又は複数の属性を有するように分類され得る。同様に、交差点エリア２０４Ｂ、２０６、２０８、２１０Ａ、及び２１０Ｂは、ポリゴンを使用してラベル付けされ得、そこで、交差点２０４Ｂは、「車両入口」及び「部分的に可視」などの１つ又は複数の属性を有するものとして分類され得、交差点エリア２０６は、「横断歩道」及び「部分的に可視」などの１つ又は複数の属性を有するものとして分類され得、交差点エリア２０８は、「交差点内部」及び「部分的に可視」などの１つ又は複数の属性を有するものとして分類され得、交差点エリア２１０Ａは、「車両出口」及び「部分的に可視」などの１つ又は複数の属性を有するものとして分類され得、交差点エリア２１０Ｂは、「車両出口」及び「完全に可視」などの１つ又は複数の属性を有するものとして分類され得る。いくつかの実例において、共通のクラス又は分類に属する各交差点エリアはまた、マッチする色のポリゴン（又は意味論的情報のいくつかの他の可視指示）で注釈を付けられ得る。たとえば、交差点エリア２０４Ａ及び２０４Ｂのポリゴンは、両方とも車両入口分類として分類されるので、同じ色及び／又はスタイルでもよい。同様に、交差点エリア２１０Ａ及び２１０Ｂのポリゴンは、両方とも車両出口分類として分類されるので、同じ色及び／又はスタイルを使用して注釈を付けられ得る。これらのラベリング又は注釈スタイルは、特定のクラスに対応するとしてシステム１００に知られ得、この情報は、マシン学習モデル１０４をトレーニングするためのエンコードされたグラウンド・トゥルース・データを生成するために使用され得る。
ここで図２Ｂを参照すると、図２Ｂは、本発明のいくつかの実施例による、交差点エリアを検出するためにマシン学習モデルをトレーニングするためにセンサ・データに適用される注釈の別の実例を示す。ここに示すように、交差点エリア２２２Ａ～２２２Ｃ、２２４Ａ～２２４Ｃ、２２６Ａ～２２６Ｂ、２２８Ａ～２２８Ｂ、及び２３０は、ポリゴン及び対応する分類（たとえば、「交差点内部」、「部分的に可視」、「車両出口」、「車両入口」、「部分的に可視」、「横断歩道」など）で注釈を付けられ得る。たとえば、交差点エリア２２２Ａ、２２２Ｂ、及び２２２Ｃは、類似の色及び／又はスタイル・ポリゴンを使用してラベル付けられ得、「車両入口」及び「部分的に可視」のうちの１つ又は複数として分類され得る。同様に、交差点エリア２２４Ａ、２２４Ｂ、及び２２４Ｃは、類似の色及び／又はスタイル・ポリゴンを使用してラベル付けされ得、「横断歩道」、「完全に可視」、及び「部分的に可視」のうちの１つ又は複数として分類され得る。交差点エリア２２６Ａ、及び２２６Ｂは、類似の色及び／又はスタイル・ポリゴンを使用してラベル付けされ得、「車線なし」、「完全に可視」、及び部分的に可視のうちの１つ又は複数として分類され得る。交差点エリア２２８Ａ及び２２８Ｂは、類似の色及び／又はスタイル・ポリゴンを使用してラベル付けされ得、「車両出口」、「完全に可視」、及び「部分的に可視」のうちの１つ又は複数として分類され得る。交差点エリア２３０は、ポリゴンを使用してラベル付けされ得、「交差点内部」及び「部分的に可視」のうちの１つ又は複数として分類され得る。
注釈は、同じ分類の類似の視覚表現でもよい。図示するように、交差点エリア２２２Ａ、２２２Ｂ、及び２２２Ｃは、車両出口エリアとして分類され得る。このようにして、画像の同様に分類された特徴が、類似の方式で注釈を付けられ得る。さらに、分類１１０Ｂは複合名詞でもよいことに留意されたい。異なる分類ラベルは、異なる分類を表すために、実線、破線などによって図２Ｂに表され得る。さらに、異なる分類ラベルは、名詞及び／又は複合名詞でもよい。これは限定を意図しておらず、分類のための任意の命名規則が、画像内の特徴の分類ラベル（たとえば、交差点エリア）の差を示すために使用され得る。
再び図１を参照すると、エンコーダ１１２は、注釈１１０を使用して交差点エリアに対応するグラウンド・トゥルース情報をエンコードするように構成され得る。注釈１１０は、グラウンド・トゥルース・データ、たとえば、グラウンド・トゥルース（ＧＴ）符号付き距離関数１１６、を生成するためにエンコーダ１１２によってエンコードされ得る。加えて、マシン学習モデル１０４に適用されるセンサ・データ１０２の空間分解能は、マシン学習モデル１０４の予測に対応する出力空間分解能とは異なる－たとえば、より大きい、小さいなど－ことがあるので、グラウンド・トゥルース情報は、様々なフォーマットにエンコードされ得る。
たとえば、注釈１１０は、ＧＴ符号付き距離関数１１６の形で－各交差点エリア・クラス（たとえば、交差点エリア・タイプ）が別個のＧＴ符号付き距離関数においてエンコードされるように－エンコードされ得る。交差点エリア１１０Ａ及び対応する分類１１０Ｂは、注釈１１０から判定されるものとしての交差点の領域に対応する交差点エリア・タイプにそれぞれ対応する、ＧＴ符号付き距離関数１１６を生成するためにエンコーダ１１２によって使用され得る。いくつかの実例において、符号付き距離関数１１６内の各画素は、対応する交差点エリア・タイプの交差点エリア１１０Ａの最も近い境界（たとえば、トレーニング・データの注釈付きの境界形状に沿った）までのその画素の距離に対応する距離値でエンコードされ得る。そのような実例において、交差点エリア１１０Ａ内部の画素（たとえば、ポリゴン）はまた、正の距離値でエンコードされてもよく、そして、交差点エリア１１０Ａ外部の画素は、負の距離値でエンコードされてもよく、或いは逆もまた同様である。交差点エリア１１０Ａの境界を形成する画素は、ＧＴ符号付き距離関数１１６を生成するためのゼロ値でエンコードされ得る。それにより、グラウンド・トゥルースは、配備中の結果的検出のアップサンプリングが効率的に正確に実行されることを可能にして、画像内の各画素の連続値表現を提供し得る。さらに、各交差点エリア・クラスをそれ自体の符号付き距離関数にエンコードすることは、正確性及び精密性を有する各クラスの交差点エリアの個々のインスタンスのリコール及び強化を可能にし得る。
いくつかの実例において、ＧＴ符号付き距離関数１１６をエンコードすることに加えて又はその代わりに、ラベル付けされた交差点エリア１１０Ａ及び対応する分類１１０Ｂは、各交差点エリア・タイプのワンホット・エンコーディング・マップを生成するためにエンコーダ１１２によって使用され得る。そのような実例において、エンコーダ１１２は、２進表現を使用して交差点エリア１１０Ａをエンコードすることができ、そこで、交差点エリア境界（たとえば、ポリゴン境界）内部の画素は、１の値でエンコードされ得、交差点エリア境界外部の画素は、０の値でエンコードされ得る。いくつかの実例において、ワンホット・エンコーディング・マップは、複数のヒート・マップを含むことができ、各ヒート・マップは、注釈１１８から判定される交差点エリアの異なるタイプの分類１１０Ｂに対応する。しかしながら、ワンホット・エンコーディング・マップを使用するとき、同じ交差点エリア・タイプの隣接する領域（たとえば、共有境界を有するポリゴン）は、個別に識別可能でない可能性があり、結果として、ＧＴ符号付き距離関数１１６を使用する実施例と比較して正確性を低下させ得る。このようにして、情報は、ポリゴン注釈及び意味論的情報を使用して判定され得るので、交差点エリア１１０Ａは、限定されたラベリングを必要としてＧＴ符号付き距離関数１１６及び／又はワンホット・エンコーディング・マップを使用してエンコードされ得る。
一実例として、図３を参照すると、図３は、それぞれ、注釈３１０Ａ、３２０Ａ、３３０Ａ、３４０Ａ、及び３５０Ａから交差点エリアをエンコードするためのグラウンド・トゥルース符号付き距離関数３１０Ｂ、３２０Ｂ、３３０Ｂ、３４０Ｂ、３５０Ｂを示す。注釈を付けられた画像３１０Ａは、交差点エリア３１２Ａを含む。いくつかの実例において、交差点エリア３１２Ａは、交差点エリアを表すポリゴンを含むことができ、対応する符号付き距離関数３１０Ｂは、特定の交差点エリア・タイプの交差点エリア３１２Ａをエンコードするために使用され得る。交差点エリア３１２Ｂ内部の画素は正の距離値でエンコードされ、交差点エリア３１２Ｂ外部の画素は負の距離値でエンコードされ、及び／又は、交差点エリア３１２Ｂの境界上の画素はゼロ値でエンコードされるように、交差点エリア３１２Ａは、符号付き距離関数３１０Ｂにおいてエンコードされ得る。画素の距離値は、交差点エリア又は領域（たとえば、符号付き距離関数が対応する交差点分類タイプの）の最も近い境界までのそれぞれの画素の距離に対応し得る。
同様に、注釈を付けられた画像３２０Ａは、注釈１１０によって表されるものとしての別の交差点エリア・タイプの交差点エリア３２２Ａ、３２４Ａ、３２６Ａ、及び３２８Ａを含む。いくつかの実例において、交差点エリア３２２Ａ、３２４Ａ、３２６Ａ、及び３２８Ａは、それぞれの交差点エリアを表す対応するポリゴンを含み得る。対応する符号付き距離関数３２０Ｂは、別の交差点エリア・タイプの交差点エリア３２２Ａ、３２４Ａ、３２６Ａ、及び３２８Ａをエンコードするために使用され得る。それぞれの交差点エリア３２２Ｂ、３２４Ｂ、３２６Ｂ、及び３２８Ｂ内部の画素は正の距離値でエンコードされ、交差点エリア３２２Ａ、３２４Ａ、３２６Ａ、及び３２８Ａ外部の画素は負の距離値でエンコードされ、そして、それぞれの交差点エリア３２２Ａ、３２４Ａ、３２６Ａ、及び３２８Ａの境界上の画素はゼロ値でエンコードされるように、交差点エリア３２２Ａ、３２４Ａ、３２６Ａ、及び３２８Ａは、符号付き距離関数３２０Ｂにおいてエンコードされ得る。符号付きの距離関数３３０Ｂ、３４０Ｂ、及び３５０Ｂは、それぞれ、注釈３３０Ａ、３４０Ａ、及び３５０Ａ内の交差点エリアをエンコードすることによって、それらの対応する交差点エリア・タイプを表すために、同様に生成され得る。
ＧＴ符号付き距離関数１１６が、センサ・データ１０２の各インスタンスについて（たとえば、センサ・データ１０２が画像データを含む、各画素について）生成された後は、マシン学習モデル１０４は、ＧＴ符号付き距離関数１１６を使用してトレーニングされ得る。たとえば、マシン学習モデル１０４は、符号付き距離関数１０８を生成することができ、符号付き距離関数１０８は、センサ・データ１０２のそれぞれのインスタンスに対応するＧＴ符号付き距離関数１１６と－損失関数１２０を使用して－比較され得る。そのようなものとして、損失関数１２０からのフィードバックは、マシン学習モデル１０４が許容できる又は望ましい正確性に収束するまで、ＧＴ符号付き距離関数１１６を考慮してマシン学習モデル１０４のパラメータ（たとえば、重み及びバイアス）を更新するために使用され得る。プロセス１００を使用して、マシン学習モデル１０４は、損失関数１２０及びＧＴ符号付き距離関数１１６を使用してセンサ・データ１０２から符号付き距離関数１０８（及び／又は関連分類）を正確に予測するようにトレーニングされ得る。いくつかの実例において、異なる損失関数１２０は、各意味論的クラス・タイプ（たとえば、交差点エリア・タイプ）の異なる符号付き距離関数１０８を予測するようにマシン学習モデル１０４をトレーニングするために使用され得る。たとえば、第１の損失関数１２０は、符号付き距離関数１０８及び第１の意味論的クラス・タイプのＧＴ符号付き距離関数１１６を比較するために使用され得、第２の損失関数１２０は、符号付き距離関数１０８及び第２の意味論的クラス・タイプのＧＴ符号付き距離関数１１６を比較するために使用され得る。そのようなものとして、非限定的実施例において、出力チャネルのうちの１つ又は複数は、出力チャネルのうちの別の出力チャネルとは異なる損失関数１２０を使用してトレーニングされ得る。
マシン学習モデル１０４は、符号付き距離関数、分類、及び／又は他の情報を生成するためにデコーダ又は１つ若しくは複数の他の後処理構成要素（少なくとも図５に関して本明細書でさらに詳しく説明される）に最後に適用され得る、符号付き距離関数１０８を計算するためにセンサ・データ１０２を使用することができる。実例は、マシン学習モデル１０４（たとえば、図１及び５に関する）としての、ディープ・ニューラル・ネットワーク（ＤＮＮ）、及び具体的には畳み込みニューラル・ネットワーク（ＣＮＮ）、の使用に関して本明細書で説明されているが、これは限定を意図していない。たとえば、そして限定なしに、マシン学習モデル１０４は、任意のタイプのマシン学習モデル、たとえば、線形回帰、ロジスティック回帰、決定木、サポート・ベクトル・マシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、ナイーブ・ベイズ、ｋ近傍法（Ｋｎｎ：ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、Ｋ平均クラスタリング、ランダム・フォレスト、次元縮小アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、オートエンコーダ、畳み込み、再発、パーセプトロン、長／短期メモリ（ＬＳＴＭ：Ｌｏｎｇ／Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ホップフィールド、ボルツマン、ディープ・ビリーフ、デコンボリューション、敵対的生成、液体状態マシンなど）、対象エリア検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムを使用するマシン学習モデル、及び／又は他のタイプのマシン学習モデル、を含み得る。
マシン学習モデル１０４がＣＮＮを含む場合などの、一実例として、マシン学習モデル１０４は、任意の数の層を含み得る。層のうちの１個又は複数は、入力層を含み得る。入力層は、センサ・データ１０２に関連する値を保持し得る（たとえば、後処理の前又は後）。たとえば、センサ・データ１０２が画像であるとき、入力層は、容量（たとえば、幅、高さ、及び色チャネル（たとえば、ＲＧＢ）、たとえば、３２ｘ３２ｘ３）として画像の未加工の画素値を表す値を保持し得る。
１個又は複数の層が、畳み込み層を含み得る。畳み込み層は、入力層内のローカル領域に接続されたニューロンの出力を計算することができ、各ニューロンは、それらの重みと入力容量においてそれらが接続された小さい領域との間のドット積を計算する。畳み込み層の結果は、適用されるフィルタの数に基づく次元のうちの１個を有する、別の容量でもよい（たとえば、幅、高さ、及びフィルタの数、たとえば、１２がフィルタの数であった場合、３２ｘ３２ｘ１２）。
層のうちの１個又は複数は、改正された線形ユニット（ＲｅＬＵ：ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）層を含み得る。ＲｅＬＵ層は、たとえば、ゼロにおいて閾値化する、要素ごとの活性化関数、たとえば、ｍａｘ（０，ｘ）、を適用し得る。ＲｅＬＵ層の結果的容量は、ＲｅＬＵ層の入力の容量と同じになり得る。
層のうちの１個又は複数は、プール層を含み得る。プール層は、プール層の入力より小さい容量（たとえば、３２ｘ３２ｘ１２入力容量からの１６ｘ１６ｘ１２）をもたらし得る、空間次元（たとえば、高さ及び幅）に沿ったダウン・サンプリング動作を実行し得る。
層のうちの１個又は複数は、１個又は複数の完全に接続された層を含み得る。完全に接続された層内の各ニューロンは、前の容量におけるそれぞれのニューロンに接続され得る。完全に接続された層は、クラス・スコアを計算し得、結果として生じる容量は、１ｘ１ｘクラスの数になり得る。いくつかの実例において、ＣＮＮの層のうちの１個又は複数の層の出力が、ＣＮＮの完全に接続された層への入力として提供され得るように、ＣＮＮは、完全に接続された層を含み得る。いくつかの実例において、１個又は複数の畳み込みストリームが、マシン学習モデル１０４によって実装され得、畳み込みストリームのうちのいくつか又はすべては、それぞれの完全に接続された層を含み得る。
いくつかの非限定的実施例において、マシン学習モデル１０４は、その後にグローバル・コンテキスト特徴抽出を容易にするためのマルチスケール拡張畳み込み及びアップ・サンプリング層が続く、画像特徴抽出を容易にするための一連の畳み込み及びマックス・プール層を含み得る。
入力層、畳み込み層、プール層、ＲｅＬＵ層、及び完全に接続された層は、マシン学習モデル１０４に関して本明細書で論じられているが、これは限定を意図していない。たとえば、追加又は代替層が、マシン学習モデル１０４、たとえば、正規化層、ＳｏｆｔＭａｘ層、及び／又は他の層タイプ、において使用され得る。
マシン学習モデル１０４がＣＮＮを含む、実施例において、ＣＮＮの異なる順番及び／又は数の層が、実施例に応じて使用され得る。言い換えれば、マシン学習モデル１０４の層の順番及び数は、任意の１個のアーキテクチャに限定されない。
加えて、層のうちのいくつかは、パラメータ（たとえば、重み及び／又はバイアス）、たとえば、畳み込み層及び完全に接続された層を含むことがあり、その一方で、他の層、たとえば、ＲｅＬＵ層及びプール層は含まないことがある。いくつかの実例において、パラメータは、トレーニング中にマシン学習モデル１０４によって学習され得る。さらに、層のうちのいくつかは、追加のハイパパラメータ（たとえば、学習率、ストライド、エポックなど）、たとえば、畳み込み層、完全に接続された層、及びプール層を含むことがあり、その一方で、他の層、たとえば、ＲｅＬＵ層は含まないことがある。パラメータ及びハイパパラメータは、限定されるものではなく、実施例に応じて異なり得る。
ここで図４を参照すると、本明細書に記載の、方法４００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって、実施され得る。方法４００は、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法４００は、いくつか例を挙げると、独立型アプリケーション、サービス又はホスト型サービス（独立型の又は別のホスト型サービスと組み合わせた）、或いは別の製品へのプラグインによって提供され得る。加えて、方法４００は、例として、図１のプロセス１００に関して、説明されている。しかしながら、これらの方法は、本明細書に記載のものを含むが、これらに限定されない、任意の１つのシステム、又はシステムの任意の組合せによって、追加で又は別法として、実行され得る。
図４は、本開示のいくつかの実施例による、交差点エリアを検出するようにニューラル・ネットワークをトレーニングするための方法４００を示す流れ図である。方法４００は、ブロックＢ４０２において、交差点を示す画像を表す画像データを受信することを含む。たとえば、センサ・データ１０２が、受信され得、そこで、センサ・データ１０２は、交差点を示す画像を表す画像データを含む。
方法４００は、ブロックＢ４０４において、交差点のエリアに対応する境界形状と、それぞれのエリアの意味論的クラスに対応する、対応する意味論的クラス・ラベルとを表す注釈を生成することを含む。たとえば、注釈１１０が、生成及び／又は受信され得、そこで、注釈は、交差点エリア１１０Ａに対応する境界形状及びそれぞれの交差点エリア１１０Ａの対応する分類１１０Ｂを表す。
方法４００は、ブロックＢ４０６において、交差点に対応する意味論的クラス・タイプのうちの各意味論的クラス・タイプの符号付き距離関数を計算することを含み、符号付き距離関数は、エリアの内部の画像の第１の画素の第１の符号付き値、エリアの外部の画像の第２の画素の第２の符号付き値、及びエリアの境界に沿った画像の第３の画素の第３の符号付き値を含む。たとえば、ＧＴ符号付き距離関数１１６は、交差点に対応する分類１１０Ｂの各交差点エリア・タイプについて計算され得る。ＧＴ符号付き距離関数１１６は、交差点エリア１１０Ａの内部の画素の正の距離値、交差点エリア１１０Ａの外部の画素の負の距離値、及び交差点エリア１１０Ａの境界に沿った画素のゼロ値を含み得る。
方法４００は、ブロックＢ４０８において、符号付き距離関数をグラウンド・トゥルース・データとして使用してディープ・ニューラル・ネットワーク（ＤＮＮ）をトレーニングすることを含む。たとえば、ＧＴ符号付き距離関数１１６は、マシン学習モデル１０４をトレーニングするためにグラウンド・トゥルース・データとして使用され得る。
ここで図５を参照すると、図５は、本開示のいくつかの実施例による、リアルタイム又はほぼリアルタイムで車両のセンサからの出力を使用して交差点エリアを検出するための例示的プロセス５００を示すデータ流れ図である。センサ・データ１０２は、少なくとも図１に関して本明細書で説明されるものと類似し得る。配備中、センサ・データ１０２は、たとえば、トレーニング・センサ・データ１０２を使用して符号付き距離関数１０８（及び対応する分類）を計算するために、プロセス１００に従ってトレーニングされたマシン学習モデル１０４に適用され得る。そのようなものとして、マシン学習モデル１０４は、少なくとも図１の符号付き距離関数１０８に関してより詳細に説明されるように、符号付き距離関数１０８のうちの１つ又は複数を出力－又は回帰－し得る。
符号付き距離関数１０８は、インスタンス区分マスク５１０を生成するためにポストプロセッサ５０２に適用され得る。いくつかの実例において、ポストプロセッサ５０２は、インスタンス区分マスク５１０を計算するために、１つ又は複数の後処理アルゴリズム（たとえば、時間的平滑化、アップサンプリング、閾値化、クラスタリング、マッピングなど）を使用し得る。たとえば、ポストプロセッサ５０２は、次に交差点を－たとえば、車両の制御構成要素５１６によって－ナビゲートするために使用され得る、交差点エリアの表現を生成するために、符号付き距離関数１０８を使用し得る。インスタンス区分マスク５１０は、交差点エリア、その分類、及び／又は交差点に対応する他の情報（たとえば、デバッギングのための交差点の視覚化を生成するために使用され得る交差点エリアに対応するポリゴンなど）を含み得る。
ポストプロセッサは、インスタンス区分マスク５１０を生成するために、平滑化５０４、アップサンプリング５０６、及び／又はマッピング５０８を実行し得る。いくつかの実施例において、符号付き距離関数１０８は、画素値における鋭いピーク及び変動を平滑化するために、画素ごとの平滑化５０４を受けることができる。いくつかの実例において、平滑化５０４は、マシン学習モデル１０４によって出力されるそれぞれの符号付き距離関数１０８のガウス平滑化を含み得る。符号付き距離関数１０８における鋭いピーク及び変動は、対応する平滑化された符号付き距離関数を生成するために、各符号付き距離関数１０８で平滑化アルゴリズムを適用することによって、平滑化され得る。
いくつかの実施例において、符号付き距離関数１０８及び／又は平滑化された符号付き距離関数のうちの１つ又は複数は、アップサンプリング５０６を受け得る。たとえば、符号付き距離関数１０８は、センサ・データ１０２の入力空間分解能に対応する第２の空間分解能とは異なる第１の空間分解能（たとえば、ダウンサンプリングされた空間分解能）において生成され得る。そのようなものとして、アップサンプリング５０６は、符号付き距離関数１０８の第１の空間分解能からデータを復号し得、データをセンサ・データ１０２の第２の空間分解能に変換又は翻訳し得る。いくつかの実例において、バイリニア・アップサンプリングが、センサ・データ１０２の最初の分解能を回復するために及び対応するアップサンプリングされた符号付き距離関数を生成するために、それぞれの符号付き距離関数１０８及び／又はそれぞれの平滑化された符号付き距離関数に適用され得る。結果として、マシン学習モデル１０４の処理速度は、システムの他のタスクのための計算資源を同時に保護しながら－たとえば、減らされた空間分解能データを処理することにより－上げられ得る。加えて、処理速度を上げることによって、システムのランタイムは、減らすことができ、それによって、システム（たとえば、車両９００）内のプロセス５００のリアルタイム又はほぼリアルタイムの配備を可能にする。
符号付き距離関数１０８、平滑化された符号付き距離関数、及び／又はアップサンプリングされた符号付き距離関数は、次いで、対応する符号付き距離関数における各画素に関連する負の及び正の値に基づいて交差点エリアを表すポリゴン・エリアに－たとえば、マッピング・アルゴリズムなどのマッピング５０８を使用して－マップされ得る。マッピング５０８は、符号付き距離関数１０８を閾値化及び／又はクラスタリング・アルゴリズムに適用することを含み得る。いくつかの実施例において、分水嶺クラスタリング・アルゴリズムは、各符号付き距離関数１０８の各検出された交差点エリアに対応するインスタンス区分マップ５１０を生成するためにマッピング５０８として使用され得る。そのような実施例において、各交差点についてエリア、高すぎる及び低すぎる距離値を有する画素は、所定の距離閾値を使用してフィルタで除かれ得る－それによって、必要とされる計算資源を減らす。残りの画素は、関連交差点エリアの境界を判定するために、及び／又は関連分類タイプを有する交差点の所与の領域に関連する各画素を判定するために、使用され得る。交差点エリアを表すポリゴンの境界内の各画素は、次いで、対応する交差点エリアの区分（たとえば、クラス・ラベル又は値）を示す画素値でエンコードされ得る。ポストプロセッサ５０２の出力は、画像空間内の交差点の異なる分類タイプ領域の位置（たとえば、２次元座標）に対応する各分類タイプのインスタンス区分マスク５１０－又はそのインスタンス－でもよい。
インスタンス区分マスク５１０は、次いで、画像空間における２Ｄ位置をインスタンス区分マスク５１０内のそれぞれの検出された交差点エリアの３Ｄ世界空間座標に変換するために、座標コンバータ５１２に適用され得る。３Ｄ世界空間座標は、進路プランニング、制御決定、及び／又は世界空間環境内の交差点を通って安全に効率的にナビゲートするための他のプロセスのために車両９００によって使用され得る。２Ｄ位置を３Ｄ空間に投影する任意の知られている方法が、使用され得る。いくつかの実例において、フラット・モデル仮定が、位置を３Ｄ空間に投影するために使用され得る。いくつかの他の実例では、深度及び／又は距離推定のためのＬＩＤＡＲデータが、投影のために使用され得る、及び／又は、車両９００が道路表面を横切るときの車両９００の未来の動きが、たとえば、走行表面の傾斜又は輪郭を判定して２Ｄ点を３Ｄ空間により正確に投影するために、使用され得る（たとえば、ネットワークをトレーニングするためのより正確なグラウンド・トゥルースを生成するために）。いくつかの実施例において、マシン学習モデル１０４は、３Ｄ世界空間における交差点エリア位置を直接に予測するために、３Ｄデータでトレーニングされ得る。
そのようなものとして、インスタンス区分マップ５１０から判定された３Ｄ世界空間座標は、車両９００の制御構成要素５１４によって１つ又は複数の動作を実行するために使用され得る。非限定的実例として、自律運転ソフトウェア・スタックの知覚層は、交差点情報に基づいて環境に関する情報を更新することができ、世界モデル・マネージャは、交差点及び他の車両に関する位置、距離、属性、及び／若しくは他の情報を反映するように世界モデルを更新することができ、並びに／又は、制御層は、交差点に近づく、それをナビゲートする、及び／若しくは出るときの制御を決定するための情報（たとえば、待機条件などの属性、競合エリア、優先権を有する車両、交差点のサイズ、交差点までの距離などに基づく）を使用することができる。
ここで図６を参照すると、図６は、本開示のいくつかの実施例による、ポストプロセッサ（たとえば、ポストプロセッサ５０２）を使用して対応するインスタンス区分マスク（たとえば、図５のインスタンス区分マスク５１０）に変換される例示的符号付き距離関数（たとえば、図５の符号付き距離関数１０８）を示す。符号付き距離関数６１０Ａ、６２０Ａ、６３０Ａ、及び６４０Ａは、個々の交差点エリア・クラスの予測される交差点エリアの視覚化を含む。それぞれの符号付き距離関数６１０Ａ、６２０Ａ、６３０Ａ、及び６４０Ａは、それぞれ、平滑化された及びアップサンプリングされた符号付き距離関数６１０Ｂ、６２０Ｂ、６３０Ｂ、及び６４０Ｂを生成するために、平滑化及びアップサンプリングされ得る（たとえば、平滑化５０４、アップサンプリング５０６などを使用して）。たとえば、符号付き距離関数６１０Ａの画素は、符号付き距離関数６１０Ａにおける鋭いピーク及び／又は変動を平滑化して平滑化された符号付き距離関数を先ず生成するために、ガウス平滑化を受け得る。平滑化された符号付き距離関数は、次いで、センサ・データ（たとえば、センサ・データ１０２）の最初の入力画像分解能を回復して対応する平滑化された及びアップサンプリングされた符号付き距離関数６１０Ｂを生成するために、アップサンプリング５０６を受け得る。さらに、各平滑化された及びアップサンプリングされた符号付き距離関数６１０Ｂ、６２０Ｂ、６３０Ｂ、及び６４０Ｂは、それぞれ、対応するインスタンス区分マップ６１０Ｃ、６２０Ｃ、６３０Ｃ、及び６４０Ｃを生成するために、マッピング５０８を使用して、マップされ得る。たとえば、平滑化された及びアップサンプリングされた符号付き距離関数６１０Ｂは、結果として生じるインスタンス区分マップ６１０Ｃにおいて見られるように最初の画像上にオーバーレイされ得るインスタンス区分マスク６１２Ｃを生成するために、分水嶺クラスタリング・アルゴリズムを受け得る。そのようなものとして、画像において検出された交差点エリアは、各交差点エリア分類のポリゴンのセットによって表され得る。
図７Ａ～７Ｂを参照すると、図７Ａ～７Ｂは、本開示のいくつかの実施例による、ニューラル・ネットワークによって計算された符号付き距離関数に基づいて３Ｄ空間において予測される例示的交差点エリアを示す。図７Ａは、交差点内の他の車両に対する交差点横断優先権を判定するために使用され得る、交差点エリア７２０、７１２、７１４、７１６、７１８、７２０、及び７２２の予測７００Ａの視覚化を示す。異なる交差点エリア分類は、異なる分類を表すために、実線、破線、異なる色などによって表され得る。これは限定を意図しておらず、分類の任意の視覚規定が、画像内の特徴の分類（たとえば、交差点エリア）の差を示すために使用され得る。たとえば、交差点エリア７１２、７１４、及び７１６は単一の交差点エリア分類に属することが理解され得る。同様に、交差点エリア７２０及び７２２は、別の交差点エリア分類に属し得る。
図７Ｂは、制御構成要素（たとえば、車両９００の制御構成要素５１４）によって他の車両に対する交差点横断優先権を判定するために使用され得る、交差点エリア７４０、７４２、７４４、７４６、７４８、７５０、及び７２０の別の予測７００Ｂを示す。異なる交差点エリア分類は、異なる分類を表すために、実線、破線、異なる色などによって表され得る。これは限定を意図しておらず、分類の任意の視覚規定が、視覚化、デバッギング、又は他の目的のために画像内の特徴の分類（たとえば、交差点エリア）の差を示すために使用され得る。たとえば、交差点エリア７４２、及び７４４は第１の交差点エリア分類に属することが理解され得る。同様に、交差点エリア７５０及び７５２は第２の交差点エリア分類に属し得る、など。このようにして、交差点エリアは、対応する分類に属するものとして容易に検出可能であり得る。
ここで図８を参照すると、本明細書に記載の、方法８００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって、実施され得る。方法８００はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法８００は、いくつか例を挙げると、独立型アプリケーション、サービス又はホスト型サービス（独立型の又は別のホスト型サービスと組み合わせた）、或いは別の製品へのプラグインによって提供され得る。加えて、方法８００は、例として、図５のプロセス５００に関して説明されている。しかしながら、これらの方法は、本明細書に記載のものを含むが、これらに限定されない、任意の１つのシステム、又はシステムの任意の組合せによって、追加で又は別法として、実行され得る。
図８は、本開示のいくつかの実施例による、交差点エリアを検出するための方法８００を示す流れ図である。方法８００は、ブロックＢ８０２において、車両の画像センサの視野内の交差点を表す画像データをニューラル・ネットワークに適用することを含む。たとえば、センサ・データ１０２は、マシン学習モデル１０４に適用され得る。センサ・データ１０２は、車両９００の画像センサの視野内の交差点を表し得る。
方法８００は、ブロックＢ８０４において、ニューラル・ネットワークを使用して、画像データに少なくとも部分的に基づいて、第１の交差点エリア・クラスに対応する第１の符号付き距離関数及び第２の交差点エリア・クラスに対応する第２の符号付き距離関数を表す第１のデータを計算することを含む。たとえば、マシン学習モデル１０４は、センサ・データ１０２に基づいて、複数の交差点エリア・クラスのうちの各交差点エリア・クラスの符号付き距離関数１０８を出力することができる。
方法８００は、ブロックＢ８０６において、クラスタリング・アルゴリズムを第１の符号付き距離関数及び第２の符号付き距離関数に適用することを含む。たとえば、クラスタリングを含む、マッピング５０８が、符号付き距離関数１０８で実行され得る。
方法８００は、ブロックＢ８０８において、クラスタリング・アルゴリズムに少なくとも部分的に基づいて、第１の交差点エリア・クラスに対応する第１のインスタンス区分マップ及び第２の交差点エリア・クラスに対応する第２のインスタンス区分マップを計算することを含む。たとえば、インスタンス区分マップ５１０は、マッピング５０８に基づいて符号付き距離関数１０８において検出されるものとしての各交差点エリア・クラスに対応して、計算され得る。
方法８００は、ブロックＢ８１０において、第１のインスタンス区分マップ及び第２のインスタンス区分マップに少なくとも部分的に基づいて、第１の交差点エリア・クラスのインスタンス及び第２の交差点エリア・クラスのインスタンスに対応する世界空間位置を判定することを含む。たとえば、交差点エリア・クラスのインスタンスに対応する３Ｄ世界空間位置は、座標コンバータ５１２によって、インスタンス区分マスク５１０に基づいて、判定され得る。
方法８００は、ブロックＢ８１０において、世界空間位置を表す第２のデータを車両のプランニング構成要素に送信することを含む。たとえば、交差点エリアの３Ｄ世界空間位置が、さらなる処理のために車両９００の制御構成要素５１４に送信され得る。
例示的自律型車両
図９Ａは、本開示のいくつかの実施例による、例示的自律型車両９００の図である。自律型車両９００（或いは本明細書で「車両９００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。車両９００は、自律運転レベルのレベル３～レベル５のうちの１つ又は複数による機能の能力を有し得る。たとえば、車両９００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。
車両９００は、車両のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。車両９００は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム９５０を含み得る。推進システム９５０は、車両９００の推進力を有効にするために、トランスミッションを含み得る、車両９００のドライブ・トレインに接続され得る。推進システム９５０は、スロットル／加速装置９５２からの信号の受信に応答して制御され得る。
ハンドルを含み得る、ステアリング・システム９５４は、推進システム９５０が動作しているときに（たとえば、車両が移動中のときに）車両９００のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム９５４は、ステアリング・アクチュエータ９５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能のオプションでもよい。
ブレーキ・センサ・システム９４６は、ブレーキ・アクチュエータ９４８及び／又はブレーキ・センサからの信号の受信に応答して車両ブレーキを動作させるために使用され得る。
１つ又は複数のシステム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）９０４（図９Ｃ）及び／又はＧＰＵを含み得る、コントローラ９３６は、車両９００の１つ若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１つ又は複数のブレーキ・アクチュエータ９４８を介して車両ブレーキを動作させて、１つ又は複数のステアリング・アクチュエータ９５６を介してステアリング・システム９５４を動作させて、１つ又は複数のスロットル／加速装置９５２を介して推進システム９５０を動作させるために、信号を送ることができる。コントローラ９３６は、センサ信号を処理する、並びに律的運転を可能にするために及び／又は運転者の車両９００の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１つ又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ９３６は、自律運転機能のための第１のコントローラ９３６、機能的安全性機能のための第２のコントローラ９３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ９３６、インフォテインメント機能のための第４のコントローラ９３６、緊急状態における冗長性のための第５のコントローラ９３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ９３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ９３６が、単一の機能、及び／又はその任意の組合せを処理することができる。
コントローラ９３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して車両９００の１つ若しくは複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ９５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ９６０、超音波センサ９６２、ＬＩＤＡＲセンサ９６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ９６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン９９６、ステレオ・カメラ９６８、ワイドビュー・カメラ９７０（たとえば、魚眼カメラ）、赤外線カメラ９７２、サラウンド・カメラ９７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ９９８、スピード・センサ９４４（たとえば、車両９００のスピードを測定するための）、振動センサ９４２、ステアリング・センサ９４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム９４６の一部としての）、及び／又は他のセンサ・タイプから受信され得る。
コントローラ９３６のうちの１つ又は複数のコントローラは、車両９００の計器群９３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ９３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は車両９００の他の構成要素を介して提供することができる。出力は、車両ベロシティ、スピード、時間、マップ・データ（たとえば、図９ＣのＨＤマップ９２２）、位置データ（たとえば、マップ上などの、車両９００の位置）、方向、他の車両の位置（たとえば、占有グリッド）、コントローラ９３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ９３４は、１つ又は複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在、及び／又は車両が行った、行っている、又は行うであろう運転操作（たとえば、今、車線変更をしていること、３．２２ｋｍ（２マイル）内の出口３４Ｂを出ることなど）に関する情報を表示することができる。
車両９００はさらに、１つ若しくは複数のワイヤレス・アンテナ９２６及び／又はモデムを使用して１つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース９２４を含む。たとえば、ネットワーク・インターフェース９２４は、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介する通信の能力を有し得る。ワイヤレス・アンテナ９２６はまた、ブルートゥース(登録商標）、ブルートゥースＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、車両、モバイル・デバイスなど）の間の通信を可能にすることができる。
図９Ｂは、本開示のいくつかの実施例による、図９Ａの例示的自律型車両９００のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１つの例示的実施例であり、制限することは意図されていない。たとえば、追加の及び／又は代替カメラが含まれ得る、及び／又はカメラは車両９００の異なる位置に置かれ得る。
カメラのカメラ・タイプは、車両９００の構成要素及び／又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施例に応じて、６０フレーム／秒（ｆｐｓ）、９２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）カラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。
いくつかの実例では、カメラのうちの１つ又は複数が、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１つ又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。
カメラのうちの１つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。
車両９００の前の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物の識別を助け、１つ若しくは複数のコントローラ９３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい車両進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（「ＬＤＷ（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）」）、自律的クルーズ制御（「ＡＣＣ（Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）」）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。
様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交差する交通又は自転車）からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ９７０でもよい。図９Ｂにはワイドビュー・カメラは１つだけ示されているが、車両９００には任意の数のワイドビュー・カメラ９７０が存在し得る。加えて、長距離カメラ９９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ９９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。
１つ又は複数のステレオ・カメラ９６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ９６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、車両の環境の３Ｄマップを生成するために使用され得る。代替ステレオ・カメラ９６８は、２個のカメラ・レンズ（左と右に１つずつ）と、車両から対象物体までの距離を測定する及び生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ９６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。
車両９００の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ９７４（たとえば、図９Ｂに示されるような４個のサラウンド・カメラ９７４）は、車両９００上に位置付けられ得る。サラウンド・カメラ９７４は、ワイドビュー・カメラ９７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、車両の前、後ろ、及び側面に配置され得る。代替配置において、車両は、３個のサラウンド・カメラ９７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１つ又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。
車両９００の後ろに対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ９９８、ステレオ・カメラ９６８）、赤外線カメラ９７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。
図９Ｃは、本開示のいくつかの実施例による、図９Ａの例示的自律型車両９００の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。
図９Ｃの車両９００の構成要素、特徴、及びシステムのそれぞれは、バス９０２を介して接続されるものとして図示されている。バス９０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキ、ステアリング、フロントガラス・ワイパなどの作動など、車両９００の様々な特徴及び機能の制御を助けるために使用される車両９００内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮ ＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の車両状況指標を見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬ Ｂ準拠でもよい。
バス９０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、ＣＡＮバスに加えて、又はこのその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス９０２を表すために使用されているが、これは制限することを意図されていない。たとえば、１つ若しくは複数のＣＡＮバス、１つ若しくは複数のＦｌｅｘＲａｙバス、１つ若しくは複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス９０２が存在し得る。いくつかの実例では、２個以上のバス９０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス９０２は衝突回避機能のために使用されてもよく、第２のバス９０２は作動制御のために使用されてもよい。任意の実例において、各バス９０２は、車両９００の構成要素のいずれかと通信し得、２個以上のバス９０２が同じ構成要素と通信し得る。いくつかの実例では、車両内の各ＳｏＣ９０４、各コントローラ９３６、及び／又は各コンピュータは、同じ入力データ（たとえば、車両９００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。
車両９００は、図９Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ９３６を含み得る。コントローラ９３６は、様々な機能のために使用され得る。コントローラ９３６は、車両９００の様々な他の構成要素及びシステムのいずれかに連結されてもよく、車両９００、車両９００の人工知能、車両９００のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。
車両９００は、システム・オン・チップ（ＳｏＣ）９０４を含み得る。ＳｏＣ９０４は、ＣＰＵ９０６、ＧＰＵ９０８、プロセッサ９１０、キャッシュ９１２、加速装置９１４、データ・ストア９１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ９０４は、様々なプラットフォーム及びシステム内の車両９００を制御するために使用され得る。たとえば、ＳｏＣ９０４は、１つ又は複数のサーバ（たとえば、図９Ｄのサーバ９７８）からネットワーク・インターフェース９２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ９２２を有するシステム（たとえば、車両９００のシステム）において結合され得る。
ＣＰＵ９０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ９０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施例では、ＣＰＵ９０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施例では、ＣＰＵ９０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ９０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ９０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。
ＣＰＵ９０６は、以下の特徴のうちの１つ又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ９０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。
ＧＰＵ９０８は、統合されたＧＰＵ（或いは本明細書において「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ９０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ９０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ９０８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施例では、ＧＰＵ９０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ９０８は、計算アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ９０８は、１つ若しくは複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用することができる。
ＧＰＵ９０８は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、ＧＰＵ９０８は、ＦｉｎＦＥＴ（Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは制限することを意図されておらず、ＧＰＵ９０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、６４ ＰＦ３２コア及び３２ ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６ ＦＰ３２コア、８ ＦＰ６４コア、１６ ＩＮＴ３２コア、深層学習行列演算のための２個の混合精度ＮＶＩＤＩＡテンソル・コア、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。
ＧＰＵ９０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ ｓｙｎｃｈｒｏｎｏｕｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。
ＧＰＵ９０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが、ＧＰＵ９０８がＣＰＵ９０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ９０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ９０６に送信され得る。応答して、ＣＰＵ９０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ９０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ９０６とＧＰＵ９０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ９０８へのアプリケーションのＧＰＵ９０８プログラミング及び移植を単純化する。
加えて、ＧＰＵ９０８は、他のプロセッサのメモリへのＧＰＵ９０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。
ＳｏＣ９０４は、本明細書に記載のものを含む任意の数のキャッシュ９１２を含み得る。たとえば、キャッシュ９１２は、ＣＰＵ９０６とＧＰＵ９０８との両方に利用可能な（たとえば、ＣＰＵ９０６とＧＰＵ９０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ９１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、４ＭＢ以上を含み得る。
ＳｏＣ９０４は、車両９００の様々なタスク又は動作のいずれか（たとえば、処理ＤＮＮ）に関して処理を実行する際に活用され得る論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）を含み得る。加えて、ＳｏＣ９０４は、システム内で数学演算を実行するための浮動小数点演算ユニット（ＦＰＵ：ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｕｎｉｔ）（又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ）を含み得る。たとえば、ＳｏＣ１０４は、ＣＰＵ９０６及び／又はＧＰＵ９０８内の実行ユニットとして統合された１つ又は複数のＦＰＵを含み得る。
ＳｏＣ９０４は、１つ又は複数の加速装置９１４（たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ９０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ９０８を補完するために及びＧＰＵ９０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ９０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置９１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。
加速装置９１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒あたり追加の１０兆の動作を提供するように構成することができる１つ又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートルあたりより多くのパフォーマンスを提供することができ、ＣＰＵのパフォーマンスを大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。
ＤＬＡは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び車両所有者識別のためのＣＮＮ、及び／又は、セキュリティ及び／又は安全性関連イベントのためのＣＮＮ。
ＤＬＡは、ＧＰＵ９０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ９０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ９０８及び／又は他の加速装置９１４に任せることができる。
加速装置９１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、たとえば、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。
ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１つ若しくは複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリ・デバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。
ＤＭＡは、ＣＰＵ９０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。
ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。
それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｎｇ ｃｏｄｅ）メモリを含み得る。
加速装置９１４（たとえば、ハードウェア加速クラスタ）は、加速装置９１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。
いくつかの実例では、ＳｏＣ９０４は、２０１８年８月１０日に出願された米国特許出願第１６／１０１，２３２号に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、１つ又は複数の木の走査ユニット（ＴＴＵ：ｔｒｅｅ ｔｒａｖｅｒｓａｌ ｕｎｉｔ）が、１つ又は複数のレイトレーシング関連動作を実行するために使用され得る。
加速装置９１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。
たとえば、本技術の１つの実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル３～５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。
いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。処理されたＲＡＤＡＲを提供するために未加工のＲＡＤＡＲデータを処理する（たとえば、４Ｄ高速フーリエ変換を使用して）ことによる。他の実例において、ＰＶＡは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。
ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムにおいて、誤判定検出は、車両に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を回帰するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ９６４又はＲＡＤＡＲセンサ９６０）から取得された物体の車両９００方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ９６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。
ＳｏＣ９０４は、データ・ストア９１６（たとえば、メモリ）を含み得る。データ・ストア９１６は、ＳｏＣ９０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア９１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア９１２は、Ｌ２又はＬ３キャッシュ９１２を備え得る。データ・ストア９１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置９１４に関連するメモリの参照を含み得る。
ＳｏＣ９０４は、１つ又は複数のプロセッサ９１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ９１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ９０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ９０４熱及び温度センサの管理、及び／又はＳｏＣ９０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ９０４は、リング発振器を使用してＣＰＵ９０６、ＧＰＵ９０８、及び／又は加速装置９１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ９０４をより低い電力状態に置く及び／又は車両９００をショーファーの安全停止モードにする（たとえば、車両９００を安全停止させる）ことができる。
プロセッサ９１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。
プロセッサ９１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。
プロセッサ９１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。
プロセッサ９１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。
プロセッサ９１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。
プロセッサ９１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ９７０で、サラウンド・カメラ９７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、車両の目的地を変更する、車両のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。
ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。
ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ９０８は、新しい表面を連続してレンダリングために必要とされない。ＧＰＵ９０８の電源が入れられ、３Ｄレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、ＧＰＵ９０８をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。
ＳｏＣ９０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、及び／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ９０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。
ＳｏＣ９０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ９０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ９６４、ＲＡＤＡＲセンサ９６０など）、バス９０２からのデータ（たとえば、車両９００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ９５８からのデータを処理するために使用され得る。ＳｏＣ９０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ９０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。
ＳｏＣ９０４は、自動化レベル３～５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ９０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置９１４が、ＣＰＵ９０６と結合されるとき、ＧＰＵ９０８、及びデータ・ストア９１６は、レベル３～５の自律型車両のための高速で効率的なプラットフォームを提供することができる。
したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のＣＰＵは、車両内ＡＤＡＳアプリケーションの要件及び実際のレベル３～５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。
従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３～５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ９２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。
別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを車両の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を車両の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ９０８上などで、同時に実行することができる。
いくつかの実例では、顔認識及び車両所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して車両９００の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに車両を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が車両を離れるときに車両の動作を停止させるために、使用され得る。このようにして、ＳｏＣ９０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。
別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン９９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ９０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施例では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ９５８によって識別されるように、車両が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ９６２の支援を受けて、車両を減速する、道の端に停止させる、車両を駐車する、及び／又は車両をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。
車両は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ９０４に連結され得るＣＰＵ９１８（たとえば、個別のＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ９１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ９１８は、たとえば、ＡＤＡＳセンサとＳｏＣ９０４との間の潜在的に不整合の結果を調停すること、及び／又はコントローラ９３６及び／又はインフォテインメントＳｏＣ９３０の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。
車両９００は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ９０４に連結され得るＧＰＵ９２０（たとえば、個別のＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ９２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、車両９００のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。
車両９００は、１つ又は複数のワイヤレス・アンテナ９２６（たとえば、セルラ・アンテナ、ブルートゥース・アンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース９２４をさらに含み得る。ネットワーク・インターフェース９２４は、インターネットを介するクラウドとの（たとえば、サーバ９７８及び／又は他のネットワーク・デバイスとの）、他の車両との、及び／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の車両と通信するために、直接リンクが２個の車両の間に確立され得る、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、車両対車両通信リンクを使用し、提供され得る。車両対車両通信リンクは、車両９００に近接する車両（たとえば、車両９００の前の、横の、及び／又は後ろの車両）に関する車両９００情報を提供することができる。この機能は、車両９００の共同適応クルーズ制御機能の一部でもよい。
ネットワーク・インターフェース９２４は、変調及び復調機能を提供する及びコントローラ９３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース９２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、ブルートゥース、ブルートゥースＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
車両９００は、チップ外の（たとえば、ＳｏＣ９０４外の）ストレージを含み得るデータ・ストア９２８をさらに含み得る。データ・ストア９２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１つ又は複数の記憶素子を含み得る。
車両９００は、ＧＮＳＳセンサ９５８をさらに含み得る。ＧＮＳＳセンサ９５８（たとえば、ＧＰＳ、支援されたＧＰＳセンサ、ディファレンシャルＧＰＳ（ＤＧＰＳ）センサなど）は、マッピング、知覚、占有グリッド生成、及び／又は進路計画策定機能を支援する。たとえば、シリアル（ＲＳ－２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ９５８が、使用され得る。
車両９００は、ＲＡＤＡＲセンサ９６０をさらに含み得る。ＲＡＤＡＲセンサ９６０は、暗闇及び／又は厳しい気象条件においても、長距離車両検出のために車両９００によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬ Ｂでもよい。一部の実例では、ＲＡＤＡＲセンサ９６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ９６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス９０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。たとえば、そして制限なしに、ＲＡＤＡＲセンサ９６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。
ＲＡＤＡＲセンサ９６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、適応クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ９６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で車両９００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、車両９００のレーンに入る又はこれを去る車両を迅速に検出することを可能にする。
一実例として、中距離ＲＡＤＡＲシステムは、９６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は９５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、車両の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。
短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。
車両９００は、超音波センサ９６２をさらに含み得る。車両９００の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ９６２は、駐車アシストのために及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ９６２が使用され得、異なる超音波センサ９６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ９６２は、ＡＳＩＬ Ｂの機能的安全性レベルにおいて動作することができる。
車両９００はＬＩＤＡＲセンサ９６４を含み得る。ＬＩＤＡＲセンサ９６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ９６４は、機能的安全性レベルＡＳＩＬ Ｂでもよい。いくつかの実例では、車両９００は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ９６４を含み得る。
いくつかの実例では、ＬＩＤＡＲセンサ９６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ９６４は、たとえば、２ｃｍ～３ｃｍの精度を有し、９００Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約９００ｍの広告された範囲を有し得る。いくつかの実例では、１つ又は複数の非突出したＬＩＤＡＲセンサ９６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ９６４は、車両９００の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ９６４は、低反射物体についても２００ｍの範囲を有し、９２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ９６４は、４５度と１３５度との間の水平視野向けに構成され得る。
いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで車両の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、車両から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、車両９００の各側面に１つずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ９６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。
車両は、ＩＭＵセンサ９６６をさらに含み得る。一部の実例では、ＩＭＵセンサ９６６は、車両９００の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ９６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ９６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ９６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。
一部の実施例では、ＩＭＵセンサ９６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能ＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ９６６は、ＧＰＳからＩＭＵセンサ９６６までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を車両９００が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ９６６及びＧＮＳＳセンサ９５８は、単一の統合されたユニットにおいて結合され得る。
車両は、車両９００内及び／又は周囲に置かれたマイクロフォン９９６を含み得る。マイクロフォン９９６は、中でも、緊急車両検出及び識別のために使用され得る。
車両は、ステレオ・カメラ９６８、ワイドビュー・カメラ９７０、赤外線カメラ９７２、サラウンド・カメラ９７４、長距離及び／又は中距離カメラ９９８、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、車両９００の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、車両９００の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、車両９００の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、車両は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図９Ａ及び図９Ｂに関連して本明細書においてさらに詳しく説明される。
車両９００は、振動センサ９４２をさらに含み得る。振動センサ９４２は、車軸など、車両の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ９４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。
車両９００は、ＡＤＡＳシステム９３８を含み得る。一部の実例では、ＡＤＡＳシステム９３８は、ＳｏＣを含み得る。ＡＤＡＳシステム９３８は、自律／適応／自動クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、共同適応クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）、自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）、後部交差交通警報（ＲＣＴＷ：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）、及び／又は他の特徴及び機能を含み得る。
ＡＣＣシステムは、ＲＡＤＡＲセンサ９６０、ＬＩＤＡＲセンサ９６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦ＡＣＣ及び／又は横ＡＣＣを含み得る。縦ＡＣＣは、車両９００の直ぐ前の車両までの距離を監視及び制御し、前方の車両からの安全距離を維持するために車両速度を自動的に調整する。横ＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように車両９００にアドバイスする。横ＡＣＣは、ＬＣＡ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。
ＣＡＣＣは、ワイヤレス・リンクを介して他の車両からネットワーク・インターフェース９２４及び／又はワイヤレス・アンテナ９２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の車両からの情報を使用する。直接リンクは、車両対車両（Ｖ２Ｖ：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対車両（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の車両（たとえば、車両９００と同じレーン内にある、車両９００の直ぐ前の車両）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。車両９００の前方の車両の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。
運転者が修正行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ９６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。
ＡＥＢシステムは、別の車両又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ９６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突切迫ブレーキなどの技法を含み得る。
ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、車両９００が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。
ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、車両９００が車線をはみ出し始めた場合に車両９００を修正するためにステアリング入力又はブレーキを提供する。
ＢＳＷシステムは、自動車の死角において車両の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するときに、付加的警告を提供することができる。ＢＳＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ９６０を使用することができる。
ＲＣＴＷシステムは、車両９００がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び／又は触覚的通知を提供することができる。いくつかのＲＣＴＷシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１つ又は複数の後ろを向いたＲＡＤＡＲセンサ９６０を使用することができる。
従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両９００では、結果が矛盾する場合には、車両９００自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ９３６又は第２のコントローラ９３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ＡＤＡＳシステム９３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム９３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。
いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。
監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて、判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施例では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。好ましい実施例において、監督ＭＣＵは、ＳｏＣ９０４の構成要素を備え得る、及び／又はＳｏＣ９０４の構成要素として含まれ得る。
他の実例において、ＡＤＡＳシステム９３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア－ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。
いくつかの実例では、ＡＤＡＳシステム９３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム９３８が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。
車両９００は、インフォテインメントＳｏＣ９３０（たとえば、車両内のインフォテインメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の個別の構成要素を含み得る。インフォテインメントＳｏＣ９３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの車両関連情報）を車両９００に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ９３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース接続、カーピュータ、車内エンターテインメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ９３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／又はシステムを制御する及び／又はこれと相互に作用するための）、及び／又は他の構成要素でもよい。インフォテインメントＳｏＣ９３０は、ＡＤＡＳシステム９３８からの情報、計画された車両操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、車両情報、道路情報など）、及び／又は他の情報など、車両のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。
インフォテインメントＳｏＣ９３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ９３０は、バス９０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、車両９００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ９３６（たとえば、車両９００の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ９３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ９３０は、本明細書に記載のように、車両９００をショーファーの安全停止モードにすることができる。
車両９００は、計器群９３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群９３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。計器群９３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントＳｏＣ９３０及び計器群９３２の間で表示及び／又は共有され得る。言い換えれば、計器群９３２は、インフォテインメントＳｏＣ９３０の一部として含まれてもよく、逆もまた同様である。
図９Ｄは、本開示のいくつかの実施例による、図９Ａのクラウドベースのサーバと例示的自律型車両９００との間の通信のシステム図である。システム９７６は、サーバ９７８、ネットワーク９９０、及び、車両９００を含む車両を含み得る。サーバ９７８は、複数のＧＰＵ９８４（Ａ）～９８４（Ｈ）（本明細書でＧＰＵ９８４と総称される）、ＰＣＩｅスイッチ９８２（Ａ）～９８２（Ｈ）（本明細書でＰＣＩｅスイッチ９８２と総称される）、及び／又はＣＰＵ９８０（Ａ）～９８０（Ｂ）（本明細書でＣＰＵ９８０と総称される）を含み得る。ＧＰＵ９８４、ＣＰＵ９８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース９８８及び／又はＰＣＩｅ接続９８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ９８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ９８４及びＰＣＩｅスイッチ９８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ９８４、２個のＣＰＵ９８０、及び２個のＰＣＩｅスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ９７８は、任意の数のＧＰＵ９８４、ＣＰＵ９８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ９７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ９８４を含み得る。
サーバ９７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク９９０を介して、車両から、受信することができる。サーバ９７８は、ニューラル・ネットワーク９９２、更新されたニューラル・ネットワーク９９２、及び／又は、交通及び道路状態に関する情報を含むマップ情報９９４をネットワーク９９０を介して車両に送信することができる。マップ情報９９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ９２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク９９２、更新されたニューラル・ネットワーク９９２、及び／又はマップ情報９９４は、環境において任意の数の車両から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ９７８及び／又は他のサーバを使用する）データ・センタにおいて実行されたトレーニングに基づいて、生じた可能性がある。
サーバ９７８は、トレーニング・データに基づいてマシン学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、車両によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の１つ又は複数のクラスのマシン学習技法に従って、実行され得る：監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習（主要構成要素及びクラスタ分析を含む）、マルチ線形部分空間学習、多様体学習、表現学習（予備辞書学習を含む）、ルールに基づくマシン学習、異常検出、及びそれらの変更形態若しくは組合せ。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、車両によって使用され得（たとえば、ネットワーク９９０を介して車両に送信される）、及び／又は、マシン学習モデルは、車両を遠隔監視するために、サーバ９７８によって使用され得る。
いくつかの実例では、サーバ９７８は、車両からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ９７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ９８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ９７８は、ＣＰＵ電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。
サーバ９７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して車両９００内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、車両９００がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、車両９００からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他のマシン学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、車両９００によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、車両９００内のＡＩは正常に機能していないという結論を下した場合、サーバ９７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように車両９００のフェイルセーフ・コンピュータに命じる車両９００への信号を送信することができる。
推論のために、サーバ９７８は、ＧＰＵ９８４及び１つ又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。
例示的計算デバイス
図１０は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス１０００の一実例のブロック図である。計算デバイス１０００は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム１００２を含み得る：メモリ１００４、１つ又は複数の中央処理装置（ＣＰＵ）１００６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）１００８、通信インターフェース１０１０、入力／出力（Ｉ／Ｏ）ポート１０１２、入力／出力構成要素１０１４、電力供給装置１０１６、１つ又は複数の提示構成要素１０１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット１０２０。
図１０の様々なブロックは、線で相互接続システム１００２を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素１０１８は、Ｉ／Ｏ構成要素１０１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ１００６及び／又はＧＰＵ１００８はメモリを含み得る（たとえば、メモリ１００４は、ＧＰＵ１００８、ＣＰＵ１００６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図１０の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）」、「仮想現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図１０の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。
相互接続システム１００２は、１つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム１００２は、１つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ（ＩＳＡ：ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ：ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏ ｅｌｅｃｔｒｏｎｉｃｓ ｓｔａｎｄａｒｄｓ ａｓｓｏｃｉａｔｉｏｎ）バス、周辺構成要素相互接続（ＰＣＩ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバス若しくはリンク、を含み得る。一部の実施例では、構成要素の間に直接接続が存在する。一実例として、ＣＰＵ１００６は、メモリ１００４に直接接続され得る。さらに、ＣＰＵ１００６は、ＧＰＵ１００８に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム１００２は、接続を実施するためのＰＣＩｅリンクを含み得る。これらの実例では、ＰＣＩバスは、計算デバイス１０００に含まれる必要はない。
メモリ１００４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス１０００によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び／又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ１００４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス１０００によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。
コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。
ＣＰＵ１００６は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１０００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＣＰＵ１００６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１つ又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含み得る。ＣＰＵ１００６は、任意のタイプのプロセッサを含み得、実装された計算デバイス１０００のタイプに応じて、異なるタイプのプロセッサを含み得る（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス１０００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたＡｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅｓ（ＡＲＭ）プロセッサ、又は複合命令セット計算（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス１０００は、計算コプロセッサなど、１つ又は複数のマイクロプロセッサ又は補助コプロセッサ内の１つ又は複数のＣＰＵ１００６を含み得る。
ＣＰＵ１００６に加えて又はその代わりに、ＧＰＵ１００８は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１０００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＧＰＵ１００８のうちの１つ若しくは複数は、統合されたＧＰＵ（たとえば、ＣＰＵ１００６のうちの１つ又は複数とでもよく、及び／又はＧＰＵ１００８のうちの１つ若しくは複数は、離散ＧＰＵでもよい。実施例では、ＧＰＵ１００８のうちの１つ又は複数は、ＣＰＵ１００６のうちの１つ又は複数のコプロセッサでもよい。ＧＰＵ１００８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングする又は汎用計算を実行するために、計算デバイス１０００によって使用され得る。たとえば、ＧＰＵ１００８は、ＧＰＵによる汎用計算（ＧＰＧＰＵ：Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ＧＰＵ）のために使用され得る。ＧＰＵ１００８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ１００８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ１００６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ１００８は、画素データ又は任意の他の適切なデータ、たとえばＧＰＧＰＵデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ１００４の一部として含まれ得る。ＧＰＵ１００８は、並行して動作する（たとえば、リンクを介して）２個以上のＧＰＵを含み得る。リンクは、ＧＰＵに直接接続することができ（たとえば、ＮＶＬＩＮＫを使用して）、又はスイッチを介して（たとえば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。ともに結合されるとき、各ＧＰＵ１００８は、出力の異なる部分の又は異なる出力の画素データ又はＧＰＧＰＵデータ（たとえば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）を生成することができる。各ＧＰＵは、独自のメモリを含むことができ、又は他のＧＰＵとメモリを共有することができる。
ＣＰＵ１００６及び／又はＧＰＵ１００８に加えて又はその代わりに、論理ユニット１０２０は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１０００のうちの１つ又は複数を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。実施例では、ＣＰＵ１００６、ＧＰＵ１００８、及び／又は論理ユニット１０２０は、方法、プロセス及び／又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット１０２０のうちの１つ若しくは複数は、ＣＰＵ１００６及び／若しくはＧＰＵ１００８のうちの１つ若しくは複数の一部でもよく及び／又はそこで統合されてもよく、及び／又は、論理ユニット１０２０のうちの１つ若しくは複数は、ＣＰＵ１００６及び／若しくはＧＰＵ１００８に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施例では、論理ユニット１０２０のうちの１つ又は複数は、ＣＰＵ１００６のうちの１つ若しくは複数及び／又はＧＰＵ１００８のうちの１つ若しくは複数のコプロセッサでもよい。
論理ユニット１０２０の実例は、１つ又は複数の処理コア及び／又はその構成要素、たとえば、テンソル・コア（ＴＣ：Ｔｅｎｓｏｒ Ｃｏｒｅ）、テンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画素ビジュアル・コア（ＰＶＣ：Ｐｉｘｅｌ Ｖｉｓｕａｌ Ｃｏｒｅ）、ビジョン処理ユニット（ＶＰＵ：Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス処理クラスタ（ＧＰＣ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、テクスチャ処理クラスタ（ＴＰＣ：Ｔｅｘｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、ストリーミング・マルチプロセッサ（ＳＭ：Ｓｔｒｅａｍｉｎｇ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、木の走査ユニット（ＴＴＵ：Ｔｒｅｅ Ｔｒａｖｅｒｓａｌ Ｕｎｉｔ）、人工知能加速装置（ＡＩＡ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ａｃｃｅｌｅｒａｔｏｒ）、深層学習加速装置（ＤＬＡ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｃｅｌｅｒａｔｏｒ）、論理演算ユニット（ＡＬＵ）、特定用途向け集積回路（ＡＳＩＣ）、浮動小数点演算ユニット（ＦＰＵ）、入力／出力（Ｉ／Ｏ）エレメント、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）エレメント、及び／又は同類のもの、を含む。
通信インターフェース１０１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス１０００が他の計算デバイスと通信することを可能にする、１つ又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース１０１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース、ブルートゥースＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）又はＩｎｆｉｎｉＢａｎｄを介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。
Ｉ／Ｏポート１０１２は、そのうちのいくつかは計算デバイス１０００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素１０１４、提示構成要素１０１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス１０００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素１０１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素１０１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス１０００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス１０００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス１０００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス１０００によって使用され得る。
電力供給装置１０１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置１０１６は、計算デバイス１０００の構成要素が動作することを可能にするために計算デバイス１０００に電力を提供することができる。
提示構成要素１０１８は、ディスプレイ（たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置（ＨＵＤ）、他のディスプレイタイプ、又はその組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素１０１８は、他の構成要素（たとえば、ＧＰＵ１００８、ＣＰＵ１００６など）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。
例示的ネットワーク環境
本開示の実施例の実装において使用するのに適したネットワーク環境は、１つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）、他のバックエンド・デバイス、及び／又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び／又は他のデバイス・タイプ（たとえば、各デバイス）は、図１０の計算デバイス１０００の１つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス１０００の類似の構成要素、特徴、及び／又は機能性を含み得る。
ネットワーク環境の構成要素は、ワイヤード、ワイヤレス、又はその両方でもよい、ネットワークを介して互いに通信し得る。ネットワークは、複数のネットワーク、又はネットワークのネットワークを含み得る。実例として、ネットワークは、１つ若しくは複数のワイド・エリア・ネットワーク（ＷＡＮ）、１つ若しくは複数のローカル・エリア・ネットワーク（ＬＡＮ）、１つ若しくは複数のパブリック・ネットワーク、たとえば、インターネット及び／若しくは公衆交換電話網（ＰＳＴＮ）、並びに／又は１つ若しくは複数のプライベート・ネットワークを含み得る。ネットワークが、ワイヤレス電気通信ネットワークを含む場合、構成要素、たとえば、基地局、通信塔、或いはアクセス・ポイント（並びに他の構成要素）、は、ワイヤレス接続を提供し得る。
互換性のあるネットワーク環境は、１つ又は複数のピア・ツー・ピア・ネットワーク環境（その場合、サーバはネットワーク環境に含まれないことがある）と、１つ又は複数のクライアント・サーバ・ネットワーク環境（その場合、１つ又は複数のサーバがネットワーク環境に含まれ得る）とを含み得る。ピア・ツー・ピア・ネットワーク環境では、サーバに関して本明細書に記載した機能性は、任意の数のクライアント・デバイスで実装され得る。
少なくとも１つの実施例において、ネットワーク環境は、１つ又は複数のクラウドベースのネットワーク環境、分散型計算環境、その組合せなどを含み得る。クラウドベースのネットワーク環境は、フレームワーク層、ジョブ・スケジューラ、資源マネージャ、並びに、１つ若しくは複数のコア・ネットワーク・サーバ及び／又はエッジ・サーバを含み得る、サーバのうちの１つ又は複数で実装された分散型ファイル・システムを含み得る。フレームワーク層は、ソフトウェア層のソフトウェア及び／又はアプリケーション層の１つ若しくは複数のアプリケーションをサポートするために、フレームワークを含み得る。ソフトウェア又はアプリケーションは、それぞれ、ウェブベースのサービス・ソフトウェア又はアプリケーションを含み得る。実施例において、クライアント・デバイスのうちの１つ又は複数は、ウェブベースのサービス・ソフトウェア又はアプリケーションを使用し得る（たとえば、１つ又は複数のアプリケーション・プログラミング・インターフェース（ＡＰＩ）を介してサービス・ソフトウェア及び／又はアプリケーションにアクセスすることによって）。フレームワーク層は、たとえば大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システムを使用し得る、フリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。
クラウドベースのネットワーク環境は、本明細書に記載の計算及び／又はデータ・ストレージ機能（又は１つ若しくは複数のその部分）の任意の組合せを実施するクラウド計算及び／又はクラウド・ストレージを提供し得る。これらの様々な機能のいずれも、セントラル又はコア・サーバ（たとえば、州、領域、国、世界にわたって分散され得る１つ又は複数のデータ・センタなどの）から複数の場所に分散され得る。ユーザ（たとえば、クライアント・デバイス）への接続が、エッジ・サーバに比較的近い場合、コア・サーバは、機能性の少なくとも一部分をエッジ・サーバに任じ得る。クラウドベースのネットワーク環境は、プライベート（たとえば、単一の組織に制限される）でもよく、パブリック（たとえば、多数の組織に利用可能）、及び／又はその組合せ（たとえば、ハイブリッド・クラウド環境）でもよい。
クライアント・デバイスは、図１０に関して本明細書に記載の例示的計算デバイス１０００の構成要素、特徴、及び機能性のうちの少なくともいくつかを含み得る。実例として、及び制限ではなく、クライアント・デバイスは、パーソナル・コンピュータ（ＰＣ）、ラップトップ・コンピュータ、モバイル・デバイス、スマートフォン、タブレット・コンピュータ、スマート・ウォッチ、ウェアラブル・コンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ）、ＭＰ３プレイヤ、仮想現実ヘッドセット、全地球測位システム（ＧＰＳ）又はデバイス、ビデオ・プレイヤ、ビデオカメラ、監視デバイス又はシステム、車両、ボート、飛行船、仮想マシン、ドローン、ロボット、ハンドヘルド通信デバイス、病院デバイス、ゲーミング・デバイス又はシステム、娯楽システム、車両コンピュータ・システム、組み込み型システム・コントローラ、リモート制御、器具、民生用電子デバイス、ワークステーション、エッジ・デバイス、これらの描写されたデバイスの任意の組合せ、或いは任意の他の適切なデバイスとして実施され得る。
本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。
本明細書では、２個以上の要素に関する「及び／又は」の記述は、１つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１つ」は、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、或いは、要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つを含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１つ」は、要素Ａのうちの少なくとも１つ、要素Ｂのうちの少なくとも１つ、或いは、要素Ａのうちの少なくとも１つ及び要素Ｂのうちの少なくとも１つを含み得る。
本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。

Claims (20)

  1. 交差点を表す画像データをニューラル・ネットワークに適用するステップと、前記ニューラル・ネットワークを使用して、前記画像データに少なくとも部分的に基づいて、第１の交差点エリア・クラスに対応する第１の符号付き距離関数及び第２の交差点エリア・クラスに対応する第２の符号付き距離関数を表す第１のデータを計算するステップと、クラスタリング・アルゴリズムを前記第１の符号付き距離関数及び前記第２の符号付き距離関数に適用するステップと、前記クラスタリング・アルゴリズムに少なくとも部分的に基づいて、前記第１の交差点エリア・クラスに対応する第１のインスタンス区分マップ及び前記第２の交差点エリア・クラスに対応する第２のインスタンス区分マップを計算するステップと、前記第１のインスタンス区分マップ及び前記第２のインスタンス区分マップに少なくとも部分的に基づいて、前記第１の交差点エリア・クラスのインスタンス及び前記第２の交差点エリア・クラスのインスタンスに対応する世界空間位置を判定するステップと、前記世界空間位置を表す第２のデータを車両のプランニング構成要素に送信するステップとを含み、前記第１の符号付き距離関数及び前記第２の符号付き距離関数は、前記第１の交差点エリア・クラス及び前記第２の交差点エリア・クラスの境界からの画素の画素距離を示す値を算出する、方法。
  2. 平滑化演算を前記第１の符号付き距離関数及び前記第２の符号付き距離関数に適用して、平滑化された第１の符号付き距離関数及び平滑化された第２の符号付き距離関数を生成するステップさらに含み、前記クラスタリング・アルゴリズムを前記適用するステップが、前記平滑化された第１の符号付き距離関数及び前記平滑化された第２の符号付き距離関数に対して行われる、請求項１に記載の方法。
  3. 前記平滑化演算が、前記画像データを表す画像の各画素の値に適用され、前記各画素の値が、前記第１の符号付き距離関数及び前記第２の符号付き距離関数に対応する、請求項２に記載の方法。
  4. 前記平滑化演算が、ガウス平滑化演算である、請求項２に記載の方法。
  5. 前記画像データが、第１の空間分解能において前記ニューラル・ネットワークに適用され、前記第１の符号付き距離関数及び前記第２の符号付き距離関数が、前記第１の空間分解能より小さい第２の空間分解能において出力され、前記方法がさらに、アップサンプリング演算を前記第１の符号付き距離関数及び前記第２の符号付き距離関数に適用して、アップサンプリングされた第１の符号付き距離関数及びアップサンプリングされた第２の符号付き距離関数を前記第１の空間分解能において生成するステップを含む、請求項１に記載の方法。
  6. 前記クラスタリング・アルゴリズムが、分水嶺クラスタリング・アルゴリズムである、請求項１に記載の方法。
  7. 前記第１の符号付き距離関数及び前記第２の符号付き距離関数の各符号が、値ゼロの閾値に基づいており、前記クラスタリング・アルゴリズムが、前記値ゼロの閾値を前記適用するステップの後に適用される、請求項１に記載の方法。
  8. 前記第１のインスタンス区分マップ及び前記第２のインスタンス区分マップが、画像空間において表され、前記世界空間位置を前記判定するステップが、画像空間位置を固有センサ・パラメータ又は外部センサ・パラメータのうちの１つ又は複数を使用する前記世界空間位置に変換するステップを含む、請求項１に記載の方法。
  9. 車両の１つ又は複数の画像センサと、１つ又は複数のプロセッサと、前記１つ又は複数のプロセッサを使用して実行されるとき前記１つ又は複数のプロセッサに動作を実行させる命令を記憶する１つ又は複数のメモリ・デバイスとを備えるシステムであって、前記動作が、交差点を表す画像データをディープ・ニューラル・ネットワーク（ＤＮＮ）に適用することと、前記ＤＮＮを使用して、前記画像データに少なくとも部分的に基づいて、符号付き距離関数を表す第１のデータを計算することであって、前記符号付き距離関数のうちの各符号付き距離関数が、前記ＤＮＮが予測するようにトレーニングされた交差点エリア・クラスに対応する、計算することと、クラスタリング・アルゴリズムを前記符号付き距離関数に適用することと、前記クラスタリング・アルゴリズムに少なくとも部分的に基づいて、画像空間内のインスタンス区分マップを計算することであって、各インスタンス区分マップが、対応する符号付き距離関数の前記交差点エリア・クラスに対応する、計算することと、前記インスタンス区分マップに対応する世界空間位置を判定することと、前記世界空間位置を表す第２のデータを車両のプランニング構成要素に送信することとを含み、前記第１の符号付き距離関数及び前記第２の符号付き距離関数は、前記第１の交差点エリア・クラス及び前記第２の交差点エリア・クラスの境界からの画素の画素距離を示す値を算出する、システム。
  10. 前記動作がさらに、平滑化演算を前記符号付き距離関数の各符号付き距離関数に適用して、対応する平滑化された第１の符号付き距離関数を生成することを含み、前記クラスタリング・アルゴリズムを前記適用することが、前記平滑化された第１の符号付き距離関数に対して行われる、請求項９に記載のシステム。
  11. 前記平滑化演算が、前記画像データを表す画像の各画素の値に適用され、前記各画素の値が、前記符号付き距離関数のうちの各符号付き距離関数に対応する、請求項１０に記載のシステム。
  12. 前記動作がさらに、値ゼロの閾値を前記符号付き距離関数の各符号に適用することを含み、前記クラスタリング・アルゴリズムを前記適用することが、前記値ゼロの閾値を前記適用することの後である、請求項９に記載のシステム。
  13. 前記画像データが、第１の空間分解能において前記ＤＮＮに適用され、前記符号付き距離関数が、前記第１の空間分解能より小さい第２の空間分解能において出力され、前記動作がさらに、アップサンプリング演算を前記符号付き距離関数のうちの各符号付き距離関数に適用して、対応するアップサンプリングされた符号付き距離関数を前記第１の空間分解能において生成することを含む、請求項９に記載のシステム。
  14. 交差点を示す画像を表す画像データを受信するステップと、前記交差点のエリアに対応する境界形状と、及びそれぞれの前記エリアの意味論的クラスに対応する、対応する意味論的クラス・ラベルとを表す注釈を生成するステップと、前記交差点に対応する前記意味論的クラス・タイプのうちの各意味論的クラス・タイプの符号付き距離関数を計算するステップであって、前記符号付き距離関数が、前記エリアの内部の前記画像の第１の画素の第１の符号付き値、前記エリアの外部の前記画像の第２の画素の第２の符号付き値、及び前記エリアの境界に沿った前記画像の第３の画素の第３の符号付き値を含む、計算するステップと、グラウンド・トゥルース・データとして前記符号付き距離関数を使用してディープ・ニューラル・ネットワーク（ＤＮＮ）をトレーニングするステップとを含み、前記符号付き距離関数は、前記交差点エリアの境界からの画素の画素距離を示す値を算出す、方法。
  15. 前記第１の符号付き値、前記第２の符号付き値、及び前記第３の符号付き値が、前記エリアの前記境界のうちの最も近い境界までの画素距離に対応する、請求項１４に記載の方法。
  16. 前記ＤＮＮを前記トレーニングするステップが、１つ又は複数の損失関数を使用して前記ＤＮＮの出力を制約するステップを含む、請求項１４に記載の方法。
  17. 前記１つ又は複数の損失関数が、各意味論的クラス・タイプの別個の損失関数を含む、請求項１６に記載の方法。
  18. 前記境界形状が、前記エリアの形状に合うポリゴンを含む、請求項１４に記載の方法。
  19. 前記意味論的クラス・タイプが、内部地面、外部地面、部分的に可視、競合者が出て行く、競合者が進入、競合者なし車線、横断歩道エリア、及び完全に可視のうちの１つ又は複数を含む、請求項１４に記載の方法。
  20. 前記注釈を前記生成するステップが、前記画像の各意味論的クラス・タイプの各インスタンスに個別にラベルを付けるステップを含む、請求項１４に記載の方法。
JP2021575374A 2019-06-25 2020-06-24 自律マシン・アプリケーションのための交差点領域検出及び分類 Active JP7841887B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962866158P 2019-06-25 2019-06-25
US62/866,158 2019-06-25
US16/911,007 US11436837B2 (en) 2019-06-25 2020-06-24 Intersection region detection and classification for autonomous machine applications
PCT/US2020/039430 WO2020264029A1 (en) 2019-06-25 2020-06-24 Intersection region detection and classification for autonomous machine applications
US16/911,007 2020-06-24

Publications (2)

Publication Number Publication Date
JP2022538813A JP2022538813A (ja) 2022-09-06
JP7841887B2 true JP7841887B2 (ja) 2026-04-07

Family

ID=74044705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021575374A Active JP7841887B2 (ja) 2019-06-25 2020-06-24 自律マシン・アプリケーションのための交差点領域検出及び分類

Country Status (5)

Country Link
US (4) US11436837B2 (ja)
JP (1) JP7841887B2 (ja)
CN (1) CN114008685B (ja)
DE (1) DE112020003043T5 (ja)
WO (1) WO2020264029A1 (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018125928A1 (en) 2016-12-29 2018-07-05 DeepScale, Inc. Multi-channel sensor simulation for autonomous control systems
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US12307350B2 (en) 2018-01-04 2025-05-20 Tesla, Inc. Systems and methods for hardware-based pooling
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
CN110494863B (zh) 2018-03-15 2024-02-09 辉达公司 确定自主车辆的可驾驶自由空间
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11204605B1 (en) * 2018-08-03 2021-12-21 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a LIDAR data segmentation system
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
KR20250078625A (ko) 2018-10-11 2025-06-02 테슬라, 인크. 증강 데이터로 기계 모델을 훈련하기 위한 시스템 및 방법
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
WO2020185779A1 (en) 2019-03-11 2020-09-17 Nvidia Corporation Intersection detection and classification in autonomous machine applications
DE112020003043T5 (de) 2019-06-25 2022-08-18 Nvidia Corporation Erkennung und klassifizierung von kreuzungsregionen für autonome maschinenanwendungen
US11568100B2 (en) * 2019-06-28 2023-01-31 Zoox, Inc. Synthetic scenario simulator based on events
US11574089B2 (en) * 2019-06-28 2023-02-07 Zoox, Inc. Synthetic scenario generator based on attributes
US11455232B2 (en) * 2019-08-28 2022-09-27 Micron Technology, Inc. Debug operations on artificial intelligence operations
GB2591332B (en) * 2019-12-19 2024-02-14 Motional Ad Llc Foreground extraction using surface fitting
DE112020006410T5 (de) 2019-12-31 2022-10-27 Nvidia Corporation Dreidimensionale kreuzungsstrukturvorhersage für anwendungen zum autonomen fahren
US11526721B1 (en) 2020-02-21 2022-12-13 Zoox, Inc. Synthetic scenario generator using distance-biased confidences for sensor data
US11407432B2 (en) * 2020-04-30 2022-08-09 Toyota Motor Engineering & Manufacturing North America, Inc. Connectivity-enabled traffic-aware supplemental sensor control for informed driving
US11896323B2 (en) * 2020-09-01 2024-02-13 Aibolit Technologies, Llc System, method, and computer-accessible medium for automatically tracking and/or identifying at least one portion of an anatomical structure during a medical procedure
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
EP4001041B1 (en) * 2020-11-16 2026-03-18 Aptiv Technologies AG Method and system for determining a maneuver to be executed by an autonomous vehicle
WO2022153653A1 (ja) * 2021-01-13 2022-07-21 パナソニックＩｐマネジメント株式会社 測距システム
EP4030408A1 (en) * 2021-01-19 2022-07-20 Bayerische Motoren Werke Aktiengesellschaft Autonomous junction crossing of automated vehicle
US12175703B2 (en) * 2021-02-19 2024-12-24 Nvidia Corporation Single-stage category-level object pose estimation
US12488235B2 (en) * 2021-02-26 2025-12-02 Nvidia Corporation Ground truth data generation for deep neural network perception in autonomous driving applications
US12260573B2 (en) * 2021-03-23 2025-03-25 Mobileye Vision Technologies Ltd. Adversarial approach to usage of lidar supervision to image depth estimation
CN113160263A (zh) * 2021-03-30 2021-07-23 电子科技大学 一种基于yolact实例分割的改进方法
WO2022261175A1 (en) * 2021-06-09 2022-12-15 NetraDyne, Inc. Systems and methods for detecting intersection crossing events using full frame classification techniques
US11792644B2 (en) 2021-06-21 2023-10-17 Motional Ad Llc Session key generation for autonomous vehicle operation
DE102021206981A1 (de) * 2021-07-02 2023-01-05 Siemens Mobility GmbH Verfahren zum Prüfen der Zuverlässigkeit einer KI-basierten Objekt-Detektion
US12229965B2 (en) * 2021-07-29 2025-02-18 Samsung Electronics Co., Ltd. Image segmentation method and device
WO2023023265A1 (en) 2021-08-19 2023-02-23 Tesla, Inc. Vision-based system training with simulated content
US12462575B2 (en) 2021-08-19 2025-11-04 Tesla, Inc. Vision-based machine learning model for autonomous driving with adjustable virtual camera
US12116008B2 (en) * 2021-09-10 2024-10-15 Argo AI, LLC Attentional sampling for long range detection in autonomous vehicles
US12008788B1 (en) * 2021-10-14 2024-06-11 Amazon Technologies, Inc. Evaluating spatial relationships using vision transformers
US12039663B2 (en) 2021-10-28 2024-07-16 Nvidia Corporation 3D surface structure estimation using neural networks for autonomous systems and applications
US12190448B2 (en) 2021-10-28 2025-01-07 Nvidia Corporation 3D surface structure estimation using neural networks for autonomous systems and applications
US12145617B2 (en) 2021-10-28 2024-11-19 Nvidia Corporation 3D surface reconstruction with point cloud densification using artificial intelligence for autonomous systems and applications
US12100230B2 (en) * 2021-10-28 2024-09-24 Nvidia Corporation Using neural networks for 3D surface structure estimation based on real-world data for autonomous systems and applications
US12172667B2 (en) 2021-10-28 2024-12-24 Nvidia Corporation 3D surface reconstruction with point cloud densification using deep neural networks for autonomous systems and applications
US11922704B2 (en) 2021-12-15 2024-03-05 GM Global Technology Operations LLC System and method for detecting road and lane connections at intersections
DE102021214952A1 (de) * 2021-12-22 2023-06-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Anzeige einer virtuellen Ansicht einer Umgebung eines Fahrzeugs, Computerprogramm, Steuergerät und Fahrzeug
CN114580016B (zh) * 2022-02-22 2024-04-26 中国人民解放军战略支援部队信息工程大学 使用Android共享存储时潜在的竞争状态检测方法和系统
CN114579748B (zh) * 2022-03-11 2024-12-17 中南大学 一种构建自主式交通系统功能架构的方法
GB2617866A (en) * 2022-04-21 2023-10-25 Continental Automotive Romania Srl Computer implemented method for training a decision tree model for detecting an intersection, computer implemented method detecting an intersection,
CN115071759B (zh) * 2022-07-08 2025-04-08 石家庄铁道大学 一种具有容错功能的自动驾驶计算平台
CN115063979B (zh) * 2022-08-19 2022-12-23 合肥工业大学 一种智能网联环境下的交通信息量化方法及其系统
US20240066710A1 (en) * 2022-08-29 2024-02-29 Nvidia Corporation Techniques for controlling robots within environments modeled based on images
CN115454499B (zh) * 2022-09-07 2025-09-26 中国计量大学 一种基于mcu的决策树移植和运行方法
CN115540872B (zh) * 2022-09-29 2025-07-11 哈尔滨工业大学（深圳） 基于多域网格的电磁环境中运动对象路径规划方法
CN117078584B (zh) * 2023-04-24 2025-12-30 中国矿业大学 基于多区域关注机制的巷道破损检测与安全评级方法
KR20240161353A (ko) * 2023-05-04 2024-11-12 현대자동차주식회사 카메라 캘리브레이션 장치 및 방법
CN116823838B (zh) * 2023-08-31 2023-11-14 武汉理工大学三亚科教创新园 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统
CN117236520B (zh) * 2023-11-10 2024-01-26 国网四川省电力公司电力应急中心 一种分布式多无人机集群协同调度系统及其方法
US20250225760A1 (en) * 2024-01-04 2025-07-10 Gm Cruise Holdings Llc Object detection by learning from vision-language model and data
CN119596703B (zh) * 2024-12-03 2025-11-07 湖南江河能源科技股份有限公司 一种用于图像裁剪的无人机自适应控制系统
CN119748295B (zh) * 2024-12-24 2025-11-21 中国长江三峡集团有限公司 闸门自动除锈控制系统及除锈方法
CN121686298B (zh) * 2026-02-03 2026-04-21 成都信息工程大学 一种基于无人机的牛只检测与计数方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018526641A (ja) 2015-08-24 2018-09-13 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ レーザ深度マップサンプリングのためのシステム及び方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100903704B1 (ko) * 2007-10-01 2009-06-19 대한민국 쌀 및 현미의 외관 품위 측정장치 및 그 방법
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US10366534B2 (en) * 2015-06-10 2019-07-30 Microsoft Technology Licensing, Llc Selective surface mesh regeneration for 3-dimensional renderings
US10369994B2 (en) * 2016-07-20 2019-08-06 Ford Global Technologies, Llc Rear camera stub detection
CN106408015A (zh) * 2016-09-13 2017-02-15 电子科技大学成都研究院 基于卷积神经网络的岔路口识别及深度估计方法
CN107578012B (zh) * 2017-09-05 2020-10-27 大连海事大学 一种基于聚类算法选择敏感区域的驾驶辅助系统
US20190120640A1 (en) 2017-10-19 2019-04-25 rideOS Autonomous vehicle routing
US11061402B2 (en) 2017-11-15 2021-07-13 Uatc, Llc Sparse convolutional neural networks
US10629069B2 (en) * 2017-12-14 2020-04-21 Here Global B.V. Method and apparatus for providing a localized link-centric metric for directional traffic propagation
WO2019126680A1 (en) * 2017-12-22 2019-06-27 Magic Leap, Inc. Method of occlusion rendering using raycast and live depth
DE102018212916A1 (de) * 2018-08-02 2020-02-06 Bayerische Motoren Werke Aktiengesellschaft Bestimmung eines Verlaufs einer Fahrspur
CN108877267B (zh) * 2018-08-06 2020-11-03 武汉理工大学 一种基于车载单目相机的交叉路口检测方法
US10885698B2 (en) 2018-08-10 2021-01-05 Nvidia Corporation Method for programmable timeouts of tree traversal mechanisms in hardware
CN109410216B (zh) * 2018-09-14 2020-12-29 北京市商汤科技开发有限公司 一种缺血性脑卒中图像区域分割方法及装置
US10816994B2 (en) * 2018-10-10 2020-10-27 Midea Group Co., Ltd. Method and system for providing remote robotic control
US10803314B2 (en) * 2018-10-10 2020-10-13 Midea Group Co., Ltd. Method and system for providing remote robotic control
US20190061771A1 (en) * 2018-10-29 2019-02-28 GM Global Technology Operations LLC Systems and methods for predicting sensor information
DE112020003043T5 (de) 2019-06-25 2022-08-18 Nvidia Corporation Erkennung und klassifizierung von kreuzungsregionen für autonome maschinenanwendungen
EP3998772A4 (en) * 2019-07-11 2023-06-07 Samsung Electronics Co., Ltd. VIDEO DECODING METHOD AND APPARATUS, AND VIDEO CODING METHOD AND APPARATUS
US11410315B2 (en) * 2019-11-16 2022-08-09 Uatc, Llc High quality instance segmentation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018526641A (ja) 2015-08-24 2018-09-13 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ レーザ深度マップサンプリングのためのシステム及び方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Jiangye Yuan，Learning Building Extraction in Aerial Scenes with Convolutional Networks，IEEE Transactions on Pattern Analysis and Machine Intelligence，米国，IEEE，2017年9月11日，Volume: 40, Issue: 11，p.2793-p.2798，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8031068
Marius Cordts，他，The Cityscapes Dataset for Semantic Urban Scene Understanding，2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，米国，IEEE，2016年6月27日，p.3213-p.3223，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7780719
Zeeshan Hayder, Xuming He, Mathieu Salzmann，Boundary-Aware Instance Segmentation，2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，米国，IEEE，2017年7月21日，p.587-p.595，https://ieeexplore. ieee.org/stamp/stamp.jsp?tp=&arnumber=8099553

Also Published As

Publication number Publication date
US20220351524A1 (en) 2022-11-03
US20200410254A1 (en) 2020-12-31
CN114008685B (zh) 2026-03-27
US20250200755A1 (en) 2025-06-19
US20240127454A1 (en) 2024-04-18
WO2020264029A1 (en) 2020-12-30
DE112020003043T5 (de) 2022-08-18
US11436837B2 (en) 2022-09-06
US11928822B2 (en) 2024-03-12
CN114008685A (zh) 2022-02-01
US12299892B2 (en) 2025-05-13
JP2022538813A (ja) 2022-09-06

Similar Documents

Publication Publication Date Title
JP7841887B2 (ja) 自律マシン・アプリケーションのための交差点領域検出及び分類
US12373689B2 (en) Landmark detection using curve fitting for autonomous driving applications
JP7756000B2 (ja) 自律運転アプリケーションのための３次元交差点構造予測
CN114631117B (zh) 用于自主机器应用的传感器融合的方法及系统
US20240101118A1 (en) Intersection detection and classification in autonomous machine applications
JP7472170B2 (ja) 自律マシン・アプリケーションにおける交差点姿勢検出
CN113454636B (zh) 自主机器应用中障碍物检测的距离
JP7833340B2 (ja) 自律マシン・アプリケーションにおける深層学習を使用する視認距離推定
US12026955B2 (en) Assigning obstacles to lanes using neural networks for autonomous machine applications
US20210223780A1 (en) Using neural networks to perform fault detection in autonomous driving applications
CN114155272A (zh) 自主机器应用中的自适应目标跟踪算法
US20240312219A1 (en) Temporal-based perception for autonomous systems and applications
US20240378875A1 (en) Object detection using sensor fusion for autonomous systems and applications
US20240087333A1 (en) Techniques for identifying occluded objects using a neural network
CN119540894A (zh) 用于自主系统和应用的特征位置识别
CN117581117A (zh) 自主机器系统和应用中使用LiDAR数据的动态对象检测
US20250265848A1 (en) Feature identification using language models for autonomous systems and applications
US20250173996A1 (en) Object boundary detection for autonomous systems and applications
US20250297867A1 (en) Line marking detection for autonomous and semi-autonomous systems and applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240815

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20241115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20250114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20250307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260326

R150 Certificate of patent or registration of utility model

Ref document number: 7841887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150