JP2023531330A - マシン学習を使用した自律マシン・アプリケーションのためのセンサ融合 - Google Patents

マシン学習を使用した自律マシン・アプリケーションのためのセンサ融合 Download PDF

Info

Publication number
JP2023531330A
JP2023531330A JP2021560671A JP2021560671A JP2023531330A JP 2023531330 A JP2023531330 A JP 2023531330A JP 2021560671 A JP2021560671 A JP 2021560671A JP 2021560671 A JP2021560671 A JP 2021560671A JP 2023531330 A JP2023531330 A JP 2023531330A
Authority
JP
Japan
Prior art keywords
data
sensor
vehicle
dnn
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021560671A
Other languages
English (en)
Inventor
パク、ミヌ
クォン、ジョンヒョン
ケイ． コカマズ、メフメト
－ チョン ソ、ヘ
エルバス、ベルタ ロドリゲス
オン チェ、テ
Original Assignee
エヌビディア コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヌビディア コーポレーション filed Critical エヌビディア コーポレーション
Publication of JP2023531330A publication Critical patent/JP2023531330A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G01S2015/938—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details in the bumper area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

様々な実例において、マルチセンサ融合マシン学習モデル－たとえば、深層ニューラル・ネットワーク（ＤＮＮ）－が、複数の個別マシン学習モデルからのデータを融合するために配備され得る。そのようなものとして、マルチセンサ融合ネットワークは、ソース・センサの様々な視界の境界又は重複領域の間の学習された関連付けを考慮しながら、マシン学習モデルに供給するそれぞれのセンサの視界又は認知フィールドからのデータを表す融合出力を生成するために入力として複数のマシン学習モデルからの出力を使用することができる。このようにして、融合ネットワークは、異なる入力表現において現れる同物体の複数のインスタンスを考慮するようにトレーニングされ得るので、融合出力が、環境内の物体又は特徴に関する二重の、不正確な、又はノイズの多いデータを含む可能性は低くなり得る。

Description

本発明は、マシン学習を使用した自律マシン・アプリケーションのためのセンサ融合に関する。
静的及び動的物体、障害物、危険、待機条件、道路標示、標識、及び／又は環境の他の特徴を安全に検出する能力は、あらゆる自律又は半自律運転システムの重要な課題である。たとえば、３次元（３Ｄ）空間の環境内で様々な静的及び／又は動的特徴又は物体の位置を検出することは、特に困難であり、ノイズの多い又はより不正確なデータをもたらし得る－特に、異なるセンサの視界の間の境界又は重複領域に関してである。
いくつかのシステムにおいて、深層ニューラル・ネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）が、センサ・データをＤＮＮに提供する関連センサの視界に対応する３Ｄ情報を生成するために配備され得る。たとえば、画像境界線の近くに現れる物体又はランドマークについて、物体又はランドマークが、センサの視界において消え、再び現れる－たとえば、同物体又はランドマークの検出と非検出との間の迅速な変化をもたらす－とき、これらの認知システムは、ノイズの多い結果をもたらし得る。結果として、たとえば、フレームを横断する物体又はランドマークを追跡するとき、その結果は、不正確又は不精密なことがあり、システムの性能の低下をもたらし得る。
個別ＤＮＮのこれらの潜在的欠点を説明するために、いくつかの従来のシステムは、手作りの又はルールに基づくアルゴリズムを用いて、複数のＤＮＮからの出力をまとめる。しかしながら、センサ・データをそれぞれのＤＮＮに提供する隣接するセンサ間で視界が重複する場合、境界線又は重複領域に沿った融合した予測は、矛盾する又は不正確なことがある。たとえば、１２０度の視界を有するセンサで実行するＤＮＮは、センサから１０メートルの物体を９メートル離れていると予測する可能性があり、６０度の視界を有するセンサで実行する別のＤＮＮは、その物体は１１メートル離れていると予測する可能性がある。そのような実例において、個別ＤＮＮは、物体の実際の距離から単に１メートル離れているが、出力は、互いに２メートル離れており、これは、データにおいて実際に表されている単一の物体に対して２個の別個の二重の物体を融合出力に含ませるのに十分な距離の隔たりであり得る。２個の別個の物体が存在するというこの誤った判定は、次いで、基礎的システムによって信頼される可能性があり、誤った検出は、マシンの物体追跡、プランニング、制御、障害物回避、及び／又は他の動作を介して伝播し得る。
米国特許出願第１７／１８７，３５０号 米国特許出願第１６／１０１，２３２号
本開示の実施例は、自律マシン・アプリケーションのためのマシン学習ベースのセンサ融合に関する。マルチセンサ融合マシン学習モデル－たとえば、深層ニューラル・ネットワーク（ＤＮＮ）－を使用して複数の個別マシン学習モデルからのデータを融合するシステム及び方法が、開示される。たとえば、複数のマシン学習モデルが、マルチセンサ融合ネットワークへの入力として、直接に、又は後処理の後に、使用することができる出力を生成するようにトレーニングされ得る。マルチセンサ融合ネットワークによって入力として受信される各出力は、同タイプの表現－たとえば、同じ視点（たとえば、上から見下ろす、自己中心の視点）からのラスタライズ画像－に対応し得る。そのようなものとして、マルチセンサ融合ネットワークは、ソース・センサの様々な視界の境界線又は重複領域の間の学習された関連付けを説明しながら、それぞれのセンサ・タイプの視界又は認知フィールドからのデータを表す融合出力を生成するために、これらの入力を使用することができる。このように、融合ネットワークは、異なる入力表現において出現する同物体の複数のインスタンスを説明するようにトレーニングすることができるので、環境内の物体又は特徴に関する二重の、不正確な、又はノイズの多いデータを融合出力が含む可能性は低くなり得る。
いくつかの実施例において、様々なソース・マシン学習モデルからの出力の使用に加えて又は別法として、それぞれのマシン学習モデルの内部値－たとえば、様々なＤＮＮの内部の１つ又は複数の特徴エクストラクタ層からの出力値－が、マルチセンサ融合ネットワークへの入力として提供され得る。そのような実例において、マルチセンサ融合ネットワーク及び個別マシン学習モデルの選択層は、端から端までのトレーニング・プロセスにおいてともにトレーニングされ得る。そのようなものとして、１つ又は複数の損失関数の結果としての重み及びバイアスの更新は、マルチセンサ融合ネットワークの層のみを介するのではなく、それぞれのソース・マシン学習モデルの層（たとえば、特徴エクストラクタ層）も介して、逆伝播され得る。
マルチセンサ融合ネットワークの正確性及び精度をさらに高めるために、１つ又は複数の追加のチャネルが、マルチセンサ融合ネットワークへの入力として提供され得る－たとえば、各反復において。たとえば、位置優先チャネルが、１つ又は複数のソース・センサの視界又はセンサ・フィールドに対応する１つ又は複数の画素又は点における距離推定不確実性－たとえば、確率分布関数（ＰＤＦ：ｐｒｏｂａｂｉｌｉｔｙ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ）として－を表すために使用され得る。いくつかの実施例において、ベロシティ画像チャネルは、環境内の検出された物体の関連ベロシティを表すために、マルチセンサ融合ネットワークへの入力として使用され得る。たとえば、異なるセンサ又はマシン学習モデル出力は、ベロシティ情報－たとえば、ｘ及び／又はｙ方向における－を含むことができ、物体の関連ベロシティは、物体を融合するために（たとえば、ベロシティ予測が厳密に一致する場合）又は２個以上の物体を表すために（たとえば、近接する物体のベロシティ予測が、閾値差よりも大きい場合）、使用され得る。加えて、インスタンス及び／又は外観に基づく空間的及び／又は時間的関連付けチャネルが、時間ステップを横断して異なる入力及び／又は類似の物体外観にわたって物体外観を同様に識別するのを助ける－たとえば、時間を横断して物体を追跡するために再帰型ニューラル・ネットワークを使用することによって－ために、マルチセンサ融合ネットワークへの追加入力として使用され得る。
結果として、データをマルチセンサ融合ネットワークに提供する基礎的マシン学習モデルは、マルチセンサ融合ネットワークの融合出力の正確性を高めるのに役立つ出力を生成するために最適化され得る。追加の入力－たとえば、位置優先チャネル、ベロシティ画像チャネルなど－が、特に隣接するセンサ視界又は認知フィールドの間の境界線又は重複領域に関して、マルチセンサ融合ネットワークの正確性及び精度をさらに高めるために使用され得る。ノイズを低減すること及びマルチセンサ融合ネットワークの正確性及び精度を高めることによって、マルチセンサ融合ネットワークのこれらの出力－環境内の静的及び動的物体又は特徴の位置、ベロシティ、姿勢、外観などを表す－を信頼する下流のプロセスはまた、性能及び有効性の向上の利益を得ることができる。
自律マシン・アプリケーションのためのマシン学習ベースのセンサ融合のための本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。
本開示のいくつかの実施例による、本開示のいくつかの実施例による、プロセスに対応する及びマルチセンサ融合のための、例示的データ流れ図である。 本開示のいくつかの実施例による、本開示のいくつかの実施例による、プロセスに対応する及びマルチセンサ融合のための、例示的データ流れ図である。 本開示のいくつかの実施例による、マルチセンサ融合ネットワークへの入力の例示的視覚化である。 本開示のいくつかの実施例による、マルチセンサ融合ネットワークへの入力の例示的視覚化である。 本開示のいくつかの実施例による、マルチセンサ融合ネットワークへの入力の例示的視覚化である。 本開示のいくつかの実施例による、マルチセンサ融合ネットワークへの入力の例示的視覚化である。 本開示のいくつかの実施例による、マルチセンサ融合ネットワークへの入力の例示的視覚化である。 本開示のいくつかの実施例による、マルチセンサ融合ネットワークの出力の例示的視覚化である。 本開示のいくつかの実施例による、マルチセンサ融合ネットワークの出力の例示的視覚化である。 本開示のいくつかの実施例による、エゴマシンの様々なセンサの視界又はセンサ・フィールドと、環境内の把握された物体と交差する様々なセンサからの関連光線との例示的視覚化である。 本開示のいくつかの実施例による、エゴマシンの様々なセンサの視界又はセンサ・フィールドと、環境内の把握された物体と交差する様々なセンサからの関連光線との例示的視覚化である。 本開示のいくつかの実施例による、エゴマシンの様々なセンサの視界又はセンサ・フィールドと環境内の把握された物体と交差する様々なセンサからの関連光線との例示的視覚化である。 本開示のいくつかの実施例による、複数の入力チャネルを使用する融合出力を計算するためにマルチセンサ融合ネットワークを使用するための方法を示す流れ図である。 本開示のいくつかの実施例による、マルチセンサ融合ネットワーク及び１つ又は複数の関連ソース・ネットワークをトレーニングするプロセスのデータ流れ図である。 本開示のいくつかの実施例による、マルチセンサ融合ネットワーク及び１つ又は複数の関連ソース・ネットワークをトレーニングするプロセスのデータ流れ図である。 本開示のいくつかの実施例による、マルチセンサ融合ネットワークをトレーニングするために使用されるグラウンド・トゥルース・データの実例の図である。 本開示のいくつかの実施例による、複数の入力チャネルを使用する融合出力を計算するためにマルチセンサ融合ネットワークをトレーニングするための方法を示す流れ図である。 本開示のいくつかの実施例による、例示的自律型車両のイラストレーションである。 本開示のいくつかの実施例による、図８Ａの例示的自律型車両のカメラ位置及び視野の実例である。 本開示のいくつかの実施例による、図８Ａの例示的自律型車両の例示的システム・アーキテクチャのブロック図である。 本開示のいくつかの実施例による、クラウドベースのサーバと図８Ａの例示的自律型車両との間の通信のシステム図である。 本開示のいくつかの実施例の実装において使用するのに適した例示的コンピューティングデバイスのブロック図である。 本開示のいくつかの実施例の実装において使用するのに適した例示的データ・センタのブロック図である。
自律マシン・アプリケーションのためのマシン学習ベースのセンサ融合に関するシステム及び方法が開示される。本開示は、例示的自律型車両８００（或いは、本明細書で「車両８００」、「自律マシン８００」、又は「エゴ車両８００」と称され、その実例は図８Ａ～８Ｄに関して説明される）に関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、非自律型車両、半自律型車両（たとえば、１つ又は複数の適応型運転者支援システム（ＡＤＡＳ：ａｄａｐｔｉｖｅ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）における）、有人及び無人ロボット又はロボティクス・プラットフォーム、倉庫車両、オフロード車両、１つ又は複数のトレーラに連結された車両、飛行船舶、ボート、シャトル、緊急対応車両、オートバイ、電気若しくは原動機付自転車、航空機、建設車両、潜水艦、ドローン、及び／又は、他の車両若しくはマシン・タイプによって使用されてもよいが、これに限定されない。加えて、本開示は、自律又は半自律マシン動作のセンサ融合に関して説明されることがあるが、これは限定を意図しておらず、本明細書に記載のシステム及び方法は、拡張現実、仮想現実、複合現実、ロボット工学、セキュリティ及び監視、自律又は半自律マシン・アプリケーション、及び／又はセンサ融合が使用され得る任意の他の技術空間において使用され得る。
図１Ａ～１Ｂを参照すると、図１Ａ～１Ｂは、本開示のいくつかの実施例による、マルチセンサ融合のためのプロセス１００Ａ及び１００Ｂ（「プロセス１００」と総称される）に対応する例示的データ流れ図である。本明細書に記載のこれらの及び他の構成は単に実例として記載されていることを理解されたい。他の構成及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ化など）が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、個別の若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって実施され得る。いくつかの実施例において、プロセス１００Ａ及び１００Ｂは、図８Ａ～８Ｄのマシン８００、図９の例示的計算デバイス９００、及び／又は図１０の例示的データ・センタ１０００の構成要素、特徴、及び／又は機能性を使用して、実行され得る。
プロセス１００は、１つ又は複数のセンサからのセンサ・データを生成すること、これにアクセスすること、及び／又はこれを受信することを含み得る。センサ・データは、非限定的実例として、車両（たとえば、本明細書に記載の図８Ａ～８Ｄの車両８００）の１つ又は複数のセンサから受信され得る。センサ・データは、車両８００によって、プロセス１００内で、カメラ・センサに対応するそれぞれのＤＮＮを使用する２次元（２Ｄ）及び／又は３次元（３Ｄ）信号（Ｓ１～Ｓｎ）１０４Ａ～１０４Ｎ、（ＲＡＤＡＲデータだけを使用して計算され得る及び／又はＤＮＮを使用して計算され得る）ＲＡＤＡＲセンサの３Ｄ ＲＡＤＡＲ信号（ＳＲＡＤＡＲ）１０８、（超音波データだけを使用して計算され得る及び／又はＤＮＮを使用して計算され得る）超音波センサの３Ｄ超音波信号（ＳＵＳＳ）１１２、（ＬｉＤＡＲデータだけを使用して計算され得る及び／又はＤＮＮを使用して計算され得る）ＬｉＤＡＲセンサの３Ｄ ＬｉＤＡＲ信号（ＳＬｉＤＡＲ）（図示せず）を計算するために、及び／又は追加の又は代替センサ・データ（任意のセンサ様式からの）及び／又は対応するＤＮＮを使用して他の出力信号を計算するために、使用され得る。いくつかの実施例において、センサ・データは、ＤＮＮ自体の内部の出力、たとえば、カメラ信号を使用するＤＮＮの特徴出力（Ｆ１～Ｆｎ）１０２Ａ～１０２Ｎ、ＲＡＤＡＲセンサのＲＡＤＡＲ特徴出力（ＦＲＡＤＡＲ）１０６、超音波センサの超音波特徴出力（ＦＵＳＳ）１１０、ＬｉＤＡＲセンサのＬｉＤＡＲ特徴出力（ＦＬｉＤＡＲ）、及び／又は他のセンサ・タイプの他の特徴出力、を計算するために使用され得る。そのようなものとして、センサ・データは、任意の数のセンサを使用して及び任意の数の異なるセンサ様式を使用して、計算することができ、センサ・データは、直接に使用することができる（たとえば、前処理を有して又は前処理なしに、未加工のＬｉＤＡＲデータを点群に変換することなど）、及び／又はＤＮＮ又は別のタイプのマシン学習モデルによる処理の後に使用することができる。
トレーニング（図６Ａ～７に関して本明細書でさらに詳しく説明される）の間に、センサ・データが、ＤＮＮ、たとえば、特徴出力及び／又は３Ｄ信号に関連するＤＮＮ、をトレーニングするためのセンサ・データを生成する１つ又は複数のデータ収集車両を使用して、生成され得る、及び／又は事前に生成され、トレーニング・データ・セットに含まれ得る。トレーニング中に使用されるセンサ・データは、シミュレーションされたセンサ・データ（たとえば、仮想環境内の仮想車両の１つ又は複数の仮想センサを使用して生成されるセンサ・データ）及び／又は拡張センサ・データ（たとえば、それぞれ、１つ又は複数のデータ収集車両を使用して生成された及び仮想データで修正されたセンサ・データ）を使用して、追加で又は別法として生成され得る。車両８００においてトレーニング及び配備された後は、センサ・データは、車両８００の１つ又は複数のセンサによって生成され得、様々な出力信号を計算するために及び／又はそれぞれのＤＮＮの１つ又は複数の特徴エクストラクタ層からの特徴出力を計算するためにＤＮＮによって処理され得る。
非限定的実例として、センサ・データは、たとえば、図８Ａ～８Ｃを参照すると、ＲＡＤＡＲセンサ８６０、超音波センサ８６２、ＬＩＤＡＲセンサ８６４、ステレオ・カメラ８６８、ワイド・ビュー・カメラ８７０（たとえば、魚眼カメラ）、赤外線カメラ８７２、サラウンド・カメラ８７４（たとえば、３６０度カメラ）、長距離及び／又は中範囲カメラ８７８、及び／又は他のセンサ・タイプを含む車両８００のセンサのいずれかからのデータを含み得る。もう１つの実例として、センサ・データは、仮想（たとえば、試験）環境内の仮想車両又は他の仮想物体の任意の数のセンサから生成された仮想（たとえば、シミュレーション又は拡張された）センサ・データを含み得る。そのような実例において、仮想センサは、（たとえば、ＤＮＮパフォーマンスを試験、トレーニング、及び／又は検証するために使用される）シミュレーションされた環境内の仮想車両又は他の仮想物体に対応することができ、仮想センサ・データは、シミュレーションされた又は仮想環境内で仮想センサによってキャプチャされたセンサ・データを表すことができる。そのようなものとして、仮想センサ・データを使用することによって、本明細書に記載のＤＮＮは、シミュレーションされた環境においてシミュレーション又は拡張データを使用して、試験、トレーニング、及び／又は検証され得、そのような試験の安全性が低くなり得る現実世界環境の外でより極端なシナリオを試験することを可能にすることができる。
いくつかの実施例において、センサ・データは、画像を表す画像データ、ビデオ（たとえば、ビデオのスナップショット）を表す画像データ、及び／又はセンサの認知フィールドの表現を表すセンサ・データ（たとえば、ＬｉＤＡＲセンサの深度図、点群、距離画像など、超音波センサの値グラフなど）を含み得る。センサ・データが、画像データを含む場合、たとえば、限定せずに、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）又はルミナンス／クロミナンス（ＹＵＶ）フォーマット、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）若しくはＨ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの圧縮ビデオ・フォーマットに由来するフレームとしての圧縮画像、レッド・クリア・ブルー（ＲＣＣＢ：Ｒｅｄ Ｃｌｅａｒ Ｂｌｕｅ）、レッド・クリア（ＲＣＣＣ：Ｒｅｄ Ｃｌｅａｒ）、若しくは他のタイプの画像センサに由来するものなどの未加工の画像、及び／又は他のフォーマットなど、任意のタイプの画像データ・フォーマットが、使用され得る。加えて、いくつかの実例において、センサ・データは、（たとえば、未加工の又はキャプチャされたフォーマットにおいて）前処理なしにプロセス１００内で使用することができ、一方、他の実例において、センサ・データは、前処理（たとえば、ノイズ・バランシング、デモザイク処理、スケーリング、トリミング、拡張、ホワイト・バランシング、トーン・カーブ調節、点群生成、投影画像生成（たとえば、ＬｉＤＡＲ距離画像を生成するための）など、たとえば、センサ・データ・プレプロセッサ（図示せず）を使用）を受けることができる。本明細書では、センサ・データは、未処理のセンサ・データ、前処理されたセンサ・データ、又はその組合せを指し得る。
ＬｉＤＡＲセンサが、たとえば、点群を、生成するために使用される、実例において、１つ又は複数のＬｉＤＡＲセンサからの点群は、統合され得る－たとえば、エゴマシン８００の動き補正の実行及び／又は動き関連のＬｉＤＡＲ及び時間同期問題に対処するためのデータ同期の実行の後に。同様に、異なるセンサ・タイプ－たとえば、ＲＡＤＡＲ、超音波など－のセンサ・データ表現（たとえば、点群、深度図など）の組合せもまた、３Ｄ信号を計算するために１つ又は複数のマシン学習モデルによって直接使用される及び／又は処理される前に、類似の前処理を受けることができる。
本明細書でさらに詳しく説明されるような、トレーニングのために、センサ・データは、元の画像（たとえば、１つ又は複数の画像センサによってキャプチャされたものとしての）、ダウンサンプリングされた画像、アップサンプリングされた画像、トリミングされた又は関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）の画像、他の方法で拡張された画像、及び／又はその組合せを含み得る。同様に、センサ・データが、画像データ以外のデータに対応する場合、トレーニングのために使用されるセンサ・データは、異なる向き、投影、基準点、拡張、トリミング、フィルタリング、及び／又は同類のものを含み得る。ＤＮＮ－融合ＤＮＮ１２０を含む－のトレーニング中、グラウンド・トゥルース・データが、生成され得る。いくつかの実施例において、グラウンド・トゥルース・データは、たとえば、監視されない方式で（たとえば、少なくとも部分的に重複する視界又は認知フィールドを有するセンサの出力の間の測光一貫性損失を使用して）自動的に生成され得、注釈データを使用して監視された方式で生成され得、及び／又は半監視方式で生成され得る。注釈が、グラウンド・トゥルース・データを生成するために使用される場合、注釈は、描画プログラム（たとえば、注釈プログラム）、コンピュータ支援設計（ＣＡＤ：ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｄｅｓｉｇｎ）プログラム、ラベリング・プログラム、注釈を生成するのに適した別のタイプのプログラム内で生成され得る、及び／又は、いくつかの実例において、手描きされ得る。任意の実例において、注釈データは、合成的に製造する（たとえば、コンピュータ・モデル又はレンダリングから生成する）こと、現実に製造する（たとえば、現実世界データから設計及び製造する）こと、マシン自動化すること（たとえば、特徴分析及び学習を使用してデータから特徴を抽出し、次いで、ラベルを生成して）、人が注釈を付けること（たとえば、ラベラ、若しくは注釈エキスパートが、ラベルの位置を定義する）、及び／又はその組合せ（たとえば、エリアの中心点若しくは原点及び次元を識別し、マシンが、交差エリアのポリゴン及び／又はラベルを生成する）が可能である。
実施例において、各特徴出力又は３Ｄ信号は、それぞれのセンサ・パイプライン又はストリームに対応し得る。たとえば、第１のセンサ・パイプラインは、特徴出力Ｆ１及び／又は３Ｄ信号１０４Ａを生成するために第１のＤＮＮによって処理され得る画像データを生成することができる第１のカメラを含むことができ、第２のセンサ・パイプラインは、特徴出力Ｆ２及び／又は３Ｄ信号１０４Ｂを生成するために第２のＤＮＮによって処理され得る画像データを生成することができる第２のカメラを含むことができ、第３のセンサ・パイプラインは、直接に処理され得る－たとえば、センサ・データ・プレプロセッサを使用して－及び／又は特徴出力ＦＲＡＤＡＲ及び／又は３Ｄ信号１０８を生成するためにＤＮＮを使用して処理され得るＲＡＤＡＲデータを生成することができる第１のＲＡＤＡＲセンサを含むことができる、など。実施例に応じて、任意の数のセンサ・パイプラインが、使用され得る。
プロセス１００が３Ｄ信号を使用する場合、３Ｄ信号は、同フォーマットで各それぞれのＤＮＮによって計算され得る、又は同フォーマットに変換され得る－たとえば、ポストプロセッサを使用して。たとえば、いくつかの非限定的実施例において、融合ＤＮＮ１２０への入力として使用される３Ｄ信号は、任意の数の入力チャネルをエンコードするある特定の視点から生成されたラスタライズ画像（たとえば、上から見下ろす鳥瞰図、投影画像、たとえば、距離画像、測視画像など）を含み得る。エゴマシン８００が表現の中心にある、実施例において、ラスタライズ画像－融合ＤＮＮを使用して計算された融合出力ラスタライズ画像を含む－は、自己中心でもよい。他の実施例において、入力３Ｄ信号は、エゴマシン８００の視点から生成され得、融合出力１２２は、自己中心の視点から生成され得る。たとえば、入力チャネルは、環境内の物体又は特徴の形状、向き、及び／又は分類を指示し得る。そのような実例において、ラスタライズ画像は、たとえば、動的アクタに対応する境界形状又は直方体を含むことができ、レーン・マーカ（たとえば、レーンの仕切り、道路の仕切り、実線、破線、二重線、黄色い線、白線など）、待機条件（たとえば、横断歩道、停止線など）、及び／又は他の走行表面特徴に対応する線、走行可能な自由空間（たとえば、エゴマシン８００が横断することができる環境のエリア）に対応する画素の境界線若しくはエンコードされた値、及び／又は、他の物体若しくは特徴でもよい。
ラスタライズされた入力画像（又は他の入力表現）に含まれる入力チャネルは、チャネルとしての物体の開始高度及び／又はチャネルとしての物体の終了高度を含み得る物体又は特徴位置又は占有チャネル（たとえば、上から見下ろす眺めのラスタライズ画像が、生成される場合、画素位置は、エゴマシン８００に対する横方向又は縦方向の位置を指示する特徴又は物体に対応するｘ又はｙ画素位置を示すことができ、画素は、物体又は特徴の上昇を示す１つ又は複数の高度チャネルでエンコードされ得る）、１つ又は複数のベロシティ・チャネル（たとえば、画像の画素は、ｘ及び／又はｙ方向におけるベロシティでエンコードされ得る）、１つ又は複数の物体に対応する向きチャネル（たとえば、角度としてエンコードされた）、及び／又は１つ又は複数の物体又は特徴に対応する分類チャネル、及び／又は追加又は代替のチャネルを含み得る。加えて、これらのチャネルは、それぞれのセンサ・パイプラインに対応するそれぞれの異なる入力画像についてラスタライズされ得る。たとえば、各センサ・パイプラインの入力表現に関して、３Ｄ信号１０４Ａを含むカメラ・センサ・パイプラインについては、占有チャネル、ベロシティ・チャネル、分類チャネルなどが存在し得、３Ｄ信号１０８を含むＲＡＤＡＲセンサ・パイプラインについては、占有チャネル、ベロシティ・チャネル、分類チャネルなどが存在し得る、など。いくつかの実施例において、融合ＤＮＮ１２０への異なる入力信号は、異なるチャネル・タイプ、同じチャネル・タイプ、又はその組合せを含み得る。非限定的実例として、第１のセンサ・パイプラインは、占有チャネル及びベロシティ・チャネルを含む３Ｄ信号１０４Ａを生成することができ、一方、３Ｄ信号１１２は、占有チャネルのみを含み得る。
入力２Ｄ又は３Ｄ信号に含まれ得る異なるセンサ・タイプの入力チャネルの非限定的実例が、図１Ｂに示され、そこで、様々な入力信号１０４、１０８、１１２、１１４、１１６、及び／又は１１８は、図示された入力チャネル・タイプのうちの１つ又は複数を表すラスタライズ画像を含み得る。たとえば、３Ｄ信号がラスタライズ画像を含む、３Ｄ信号の他の実例が、図２Ａ及び２Ｂに示されている。たとえば、図２Ａは、エゴマシン８００の前の視界又は認知フィールドを有するセンサを含む第１のセンサ・パイプラインからのラスタライズ画像２０２Ａとエゴマシン８００の後ろの視界又は認知フィールドを有するセンサを含む第２のセンサ・パイプラインからの第２のラスタライズ画像２０２Ｂとを表し得る。ラスタライズ画像２０２Ａ及び２０２Ｂは、車線境界線２０４Ａ、２０４Ｂなど、物体検出２０６Ａ、２０６Ｂ、２０６Ｃなど（たとえば、車両、歩行者、動物、自転車乗用車、瓦礫、ロボットなどに対応する）、及び／又は自由空間の指示（たとえば、画素は、自由空間として又は自由空間ではないとしてエンコードされ得る）の表現を含み得る。検出２０６に関して図示されるように、検出は、検出された物体の位置、形状、及び／又は向きを示す境界形状を含み得る（たとえば、境界形状内の点が、走行又は方向付けられた場所の方向を示す場合）。物体検出２０６、車線境界線２０４、及び／又はラスタライズ画像２０２にエンコードされた他の特徴若しくは物体はまた、分類情報、ベロシティ情報、及び／又は他の情報を含み得る。本明細書に記載のように、待機条件、道路プロファイル情報（たとえば、くぼみ、摂動、スピード・バンプなど）、及び／又は周辺環境を説明する他の情報など、追加の又は代替の特徴又は物体が、図２Ａ～２Ｂに示すもの以外にラスタライズ画像２０２に含まれ得る。
いくつかの実施例において、物体又は特徴に対応する分類情報は、強度値によって表され得る。たとえば、分類が、強度値のｘに対応している場合、２個の物体の重複するエリアは、ｘ＋１、３つの物体Ｘ＋２などになる。しかしながら、物体において重複が存在する場合、物体の境界線は、境界線を示す強度値、たとえば、限定せずに、最大強度値の２５５でエンコードされ得、強度値は０から２５５に及ぶ。結果として、検出された物体の間の境界線は、より容易に識別され得る。
異なる入力３Ｄ信号は、異なる視界又は認知フィールドを有する異なるセンサに対応し得る。たとえば、図４Ａ～４Ｃに並びに図８Ｂに示すように、様々な異なるセンサ構成が、エゴマシン８００の周囲の一部又はすべてに対応する３Ｄ信号を計算するために使用され得る。たとえば、視界又は認知フィールド（たとえば、図４Ａ～４Ｃに示す視界４０４Ａ、４０４Ｂ、４０４Ｃ、４０４Ｄ、４０４Ｅ）は、実施例に応じて、マシン８００の周りの３６０度の視界又はマシン８００の周りの３６０度未満の視界をともに構成し得る。加えて、いくつかの実施例において、３Ｄ信号ひいては関連センサのうちの１つ又は複数は、マシン８００の周りの３６０度の視界又は認知フィールドを含み得る。たとえば、回転するＬｉＤＡＲセンサ又は３６０サラウンド・カメラは、３６０度の視界又は認知フィールドを含むことができ、一方、カメラは、３０度、６０度、１２０度、及び／又は他の視界（たとえば、３６０度まで、たとえば、サラウンド・カメラにおける）を含み得る。
センサ・パイプラインが、深度を直接計算しないカメラ及び／又は他のセンサ・タイプに対応する場合、３Ｄ信号は、ラスタライズ画像又は他の入力表現において表された予測される深度値をさらに含み得る。たとえば、センサ・データ・パイプラインにおいて使用される個別ＤＮＮは、単一のカメラ画像を使用して深度を予測するようにトレーニングされ得、又は重複する視界（たとえば、図４Ａに示すような重複領域４０６を含み得る視界４０４Ａ及び４０４Ｂなど）を有する２個以上のセンサの入力から深度を予測するようにトレーニングされ得る。いくつかの実施例において、位置優先画像１１４は、３Ｄ信号からの予測される深度に基づいて物体の予測される深度－又は潜在的深度の分布を示す確率分布関数２５２（実施例において、２Ｄガウス表現として表される）－を融合ＤＮＮ１２０に指示する融合ＤＮＮ１２０への付加的入力として生成され得る。たとえば、図２Ｃに示すように、エゴマシン８００の１つ又は複数のセンサは、位置優先画像１１４Ａ内の円によって示すような、物体２４０Ａ、２４０Ｂ、２４０Ｃ、２４０Ｄなどを検出することができる。そのような実例において、物体位置予測が、単眼カメラ又は位置予測の正確性が理想に満たないことがある他のセンサ・タイプを使用して生成されたセンサ・データに基づく場合、潜在的位置の分布は、融合出力１２２におけるより正確な予測の生成において融合ＤＮＮ１２０を助けるために、融合ＤＮＮ１２０に供給され得る。そのようなものとして、各物体２４０に対応する楕円又は確率分布関数（ＰＤＦ）２５２表現は、物体２４０が位置し得る潜在的位置－たとえば、対応する信頼度値を有する－を示し得る。異なるセンサ様式について、対応する楕円又はＰＤＦ２５２は、異なる形状でもよい。たとえば、カメラ予測は、光線（たとえば、図４Ａの光線４０２）に沿い得るので、楕円又はＰＤＦは、より長くてより狭い形状（たとえば、光線方向に沿った二峰性分布を表す）であり得、一方、ＲＡＤＡＲセンサは、それぞれの不正確性又はＲＡＤＡＲセンサを説明するために、より短いがより広い表現を有し得る、など。たとえば、図２Ｄは、ＲＡＤＡＲセンサの視界２５０Ａ内のＲＡＤＡＲセンサ予測に対応する異なる楕円又はＰＤＦ２５２を示し得る。加えて、楕円又はＰＤＦの形状は、それぞれのセンサの視界において検出がどこに位置するかに応じて、異なり得る。たとえば、図２Ｅを参照すると、視界２５０Ｂ又は２５０Ｃの端に近い又はセンサからより遠い楕円又はＰＤＦは、視界２５０の中心とは異なる又はセンサにより近いことがある－たとえば、端では、予測は、中心におけるよりも不正解であることがあり、したがって、楕円又はＰＤＦ２５２の形状は、より大きい変動性を示すために、より大きいことがある。類似の表現は、視界２５０Ａに関して図２Ｄに示されている。
位置優先画像１１４－たとえば、図２Ｃの位置優先画像１１４Ａ又は図２Ｅの位置優先画像１１４Ｂ－を生成するために、センサ・パイプラインを使用して予測されるものとしての検出された物体に対応する画素又は点（たとえば、数値化された３Ｄの場所に対応する）は、それぞれのセンサの視界内のその点又は画素に対応する、対応する学習された又は判定された楕円又はＰＤＦを取得するために使用され得る。たとえば、図２Ｄは、特定のセンサの視界２５０Ａの楕円又はＰＤＦのサブセットを表し得る。図は、いくつかの楕円又はＰＤＦ２５２Ａ、２５２Ｂ、２５２Ｃなどを含むが、これは限定を意図していない。たとえば、いくつかの実施例において、視界を表す各画素又は点は、対応する楕円又はＰＤＦ２５２を有し得る。他の実施例において、任意の数の画素又は点は、対応する楕円又はＰＤＦ２５２を有し得る。これらの楕円又はＰＤＦ２５２は、特定のセンサの過去の予測、及びそれらの予測の対応する誤りに基づいて、学習又は判定され得る。そのようなものとして、物体が、特定の点又は画素において特定のセンサに関して検出されたとき、対応する知られている楕円又はＰＤＦ２５２が、取得され、位置優先画像１１４内に挿入され得る。
いくつかの実施例において、本明細書に記載のように、各パイプラインの入力信号内のチャネルのうちの１つ又は複数を含むことの代わりに又はそれに加えて、チャネルのうちの１つ又は複数が、別個の入力表現－たとえば、ベロシティ画像１１６、インスタンス／外観画像１１８など－を生成するために使用され得る。たとえば、センサ・パイプラインのうちの１つ又は複数を使用して生成されるベロシティ情報は、１つ又は複数のベロシティ画像１１６及び／又は１つ又は複数のインスタンス／外観画像１１８－たとえば、時間的インスタンス／外観画像及び／又は空間的インスタンス／外観画像－を生成するために使用され得る。ベロシティ画像１１６は、ｘ方向、ｙ方向などにおけるベロシティに対応する１つ又は複数のチャネルを含み得る。いくつかの実施例において、本明細書に記載のように、ベロシティ画像１１６は、センサ・パイプラインのうちの１つ又は複数のセンサ・パイプラインの出力に基づいて生成され得る。たとえば、センサ・パイプラインからの３Ｄ信号のうちの１つ又は複数は、ベロシティ情報を含むことができ、融合ＤＮＮ１２０への入力として使用されるラスタライズ画像内のこの情報をエンコードすることの代わりに又はそれに加えて、ベロシティ情報は、ベロシティ画像１１６に対応する１つ又は複数の別個の入力を生成するために使用され得る。そのようなものとして、ベロシティ情報は、近接する物体又は特徴が同じ物体（たとえば、類似の又は同じベロシティ）であるか又は異なる物体（たとえば、異なるベロシティ）であるか、ひいては融合出力１２２において物体をどのように表すか－たとえば、単一の物体として又は２個以上の物体として－の判定において融合ＤＮＮ１２０を助けることができる。
もう１つの実例として、インスタンス及び／又は外観の空間的関連付けに対応する、インスタンス／外観画像１１８が、使用され得る。たとえば、センサ・パイプラインのうちの１つ又は複数は、特徴又は物体の記述子を指示する出力を生成することができる。そのような実例において、センサ・パイプラインのうちの１つ又は複数内のマシン学習モデルのうちの１つ又は複数は、物体の各境界形状／２Ｄ直方体／３Ｄ直方体のＮ次元ベクトルを生み出すようにトレーニングされ得－たとえば、実施例においてＮは３と等しいことがある。結果として、Ｎ次元ベクトルが、１つ又は複数の検出された物体又は特徴について生成され得る。そのようなものとして、１つ又は複数のセンサ・パイプラインを使用して生成される１つ又は複数のベクトルは、いくつの物体インスタンスが所与のフレーム内に存在するかを判定するために、互いに比較され得る。第１のベクトル及び第２のベクトルが、十分類似している（たとえば、閾類似内）場合、それらは、同じ物体に対応すると判定され得、この情報は、インスタンス／外観画像１１８において表され得る。同様に、インスタンス及び／又は外観画像は、物体又は特徴の間の時間的関連付けについて生成され得る。たとえば、再帰型ニューラル・ネットワークが、フレームを横断して入力ベクトル又はインスタンス／外観情報を取得するために、及び時間を横断して物体インスタンスを表すインスタンス／外観画像１１８を生成するために、使用され得る。いずれかの実例において、インスタンス／外観画像１１８は、融合出力１２２を計算する際に融合ＤＮＮ１２０のための追加入力として使用され得る。たとえば、インスタンス／外観情報は、近接する物体又は特徴が同じ物体か又は異なる物体か、ひいては融合出力１２２において物体をどのように表すか－たとえば、単一の物体として又は２個以上の物体として－の判定において融合ＤＮＮ１２０を助けることができる。
融合ＤＮＮ１２０の各反復において、３Ｄ信号１０４、１０８、１１２など、位置優先画像１１４、ベロシティ画像１１６、及び／又はインスタンス／外観画像１１８が、融合ＤＮＮ１２０への入力として提供され得る。融合ＤＮＮ１２０は、入力を処理して融合出力１２２を生成することができる－その実例は、図３Ａ～３Ｂに示されている。融合ＤＮＮ１２０及び／又は３Ｄ信号を生成するために使用されるＤＮＮ若しくはマシン学習モデルのうちの１つ又は複数は、たとえば、そして制限なしに、任意のタイプのマシン学習モデル、たとえば、線形回帰、ロジスティック回帰、決定木、サポート・ベクトル・マシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、ナイーブ・ベイズ、ｋ近傍法（Ｋｎｎ：ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、Ｋ平均クラスタリング、ランダム・フォレスト、次元縮小アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、オートエンコーダ、畳み込み、再発、パーセプトロン、長／短期メモリ（ＬＳＴＭ：Ｌｏｎｇ／Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ホップフィールド、ボルツマン、ディープ・ビリーフ、逆畳み込み、敵対的生成、液体状態マシンなど）を使用するマシン学習モデル、及び／又は他のタイプのマシン学習モデルを含み得る。
実施例において、融合ＤＮＮ１２０及び／又は３Ｄ信号を生成するために使用されるＤＮＮ又はマシン学習モデルのうちの１つ又は複数が、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含む場合、層のうちの１つ又は複数は、入力層を含み得る。入力層は、様々な入力に関連する値を保持し得る。たとえば、入力が、画像（たとえば、３Ｄ信号からの様々なチャネルに対応するラスタライズ画像）であるとき、入力層は、体積（たとえば、幅、Ｗ、高さ、Ｈ、及びカラー・チャネル、Ｃ（たとえば、ＲＧＢ）、たとえば、３２×３２×３）、及び／又はバッチ・サイズ、Ｂ（たとえば、バッチ処理が使用される場合）として画像の未加工の画素値を表す値を保持し得る。
１つ又は複数の層は、畳み込み層を含み得る。畳み込み層は、入力層内のローカル領域（たとえば、入力層）に接続されたニューロンの出力を計算することができ、各ニューロンは、それらの重みとそれらが入力体積において接続された小さい領域との間のドット積を計算する。畳み込み層の結果は、適用されるフィルタの数に基づく次元のうちの１つを有する、別の体積でもよい（たとえば、フィルタの幅、高さ、及び数、たとえば、１２がフィルタの数であった場合、３２×３２×１２）。
層のうちの１つ又は複数は、ＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）層を含み得る。ＲｅＬＵ層は、たとえば、ゼロにおいて閾値化する、要素ごとの活性化関数、たとえば、ｍａｘ（０，ｘ）、を適用することができる。ＲｅＬＵ層の結果的体積は、ＲｅＬＵ層の入力の体積と同じであり得る。
層のうちの１つ又は複数は、プーリング層を含み得る。プーリング層は、プーリング層の入力より小さい体積（たとえば、３２×３２×１２入力体積から１６×１６×１２）をもたらし得る、空間次元（たとえば、高さ及び幅）に沿ったダウンサンプリング動作を実行し得る。いくつかの実例において、融合ＤＮＮ１２０及び／又はその他のＤＮＮは、プーリング層を含まなくてもよい。そのような実例において、ストライド畳み込み層が、プーリング層の代わりに使用され得る。いくつかの実例において、融合ＤＮＮ１２０及び／又はその他のＤＮＮの特徴エクストラクタ層（たとえば、図６ＢのＦ１、Ｆ２など）は、交互畳み込み層及びプーリング層を含み得る、又はプーリング層を全く含まなくてもよい。
層のうちの１つ又は複数は、完全接続層を含み得る。完全接続層内の各ニューロンは、前の体積におけるそれぞれのニューロンに接続され得る。完全接続層は、クラス・スコアを計算することができ、結果として生じる体積は、１×１×クラスの数であり得る。いくつかの実例において、完全接続層は、処理回数を増やす及び計算資源要件を減らす努力の中で、全体として融合ＤＮＮ１２０及び／又はその他のＤＮＮによって使用されなくてもよい。そのような実例において、完全接続層が使用されない場合、融合ＤＮＮ１２０及び／又はその他のＤＮＮは、完全畳み込みネットワークと称され得る。
層のうちの１つ又は複数は、いくつかの実例において、逆畳み込み層を含み得る。しかしながら、逆畳み込みという用語の使用は、誤解を招く可能性があり、限定を意図していない。たとえば、逆畳み込み層は、トランスポーズされた畳み込み層又は断片的ストライド畳み込み層と別称され得る。逆畳み込み層は、前の層の出力でアップサンプリングを実行するために使用され得る。たとえば、逆畳み込み層は、融合ＤＮＮ１２０及び／又はその他のＤＮＮへの入力の空間分解能（たとえば、３Ｄ信号の空間分解能）と等しい空間分解能へアップサンプリングするために使用することができ、或いは次の層の入力空間分解能へアップサンプリングするために使用され得る。
入力層、畳み込み層、プーリング層、ＲｅＬＵ層、逆畳み込み層、及び完全接続層が、融合ＤＮＮ１２０に関連して本明細書で論じられているが、これは限定を意図していない。たとえば、正規化層、ＳｏｆｔＭａｘ層、及び／又は他の層タイプなど、追加又は代替層が、使用され得る。
融合ＤＮＮ１２０の異なる順番及び数の層が、実施例に応じて使用され得る。加えて、たとえば、層のうちのいくつかはパラメータ（たとえば、重み及び／又はバイアス）を含んでもよく、同時に、他の層、たとえば、ＲｅＬＵ層及びプーリング層、は含まなくてもよい。いくつかの実例において、パラメータは、トレーニング中に融合ＤＮＮ１２０によって学習され得る。さらに、層のうちのいくつかは、追加のハイパー・パラメータ（たとえば、学習率、ストライド、エポック、カーネル・サイズ、フィルタの数、プーリング層のプーリングのタイプなど）を含んでもよく－たとえば、畳み込み層、逆畳み込み層、及びプーリング層、一方、他の層、たとえば、ＲｅＬＵ層、は含まなくてもよい。ＲｅＬＵ、リーキーＲｅＬＵ、シグモイド、双曲線正接（ｔａｎｈ）、ＥＬＵ（ｅｘｐｏｎｅｎｔｉａｌ ｌｉｎｅａｒ ｕｎｉｔ：指数関数的線形ユニット）などを含むが、これらに限定されない、様々な活性化関数が、使用され得る。パラメータ、ハイパー・パラメータ、及び／又は活性化関数は、限定されるべきではなく、実施例に応じて異なり得る。
いくつかの実施例では、図６Ｂに関して説明されたように、３Ｄ信号を生成するために使用されるＤＮＮのうちの１つ又は複数は、３Ｄ信号１０４、１０８、１１２などを生成するために使用され得るトランク、Ｔ、特徴エクストラクタ層、Ｆ、及び／又はヘッド、Ｈ、を含み得る。実例において、本明細書に記載のように、個別入力ソースから生成される３Ｄ信号１０４、１０８、１１２などを使用することに加えて又は別法として、融合ＤＮＮ１２０は、融合出力１２２を生成するための入力として直接に特徴エクストラクタの出力層（たとえば、図１ＡのＦ１～Ｆｎ）を受け取り得る。そのような実例において、トレーニング中に、融合ＤＮＮ１２０からの逆伝播が、個別ＤＮＮ及び融合ＤＮＮ１２０をともにトレーニングするために、個別ＤＮＮまで存続し得るように、個別ＤＮＮの特徴エクストラクタ層は、融合ＤＮＮ１２０の１つ又は複数の層に直接接続され得る。
融合ＤＮＮ１２０は、個別ＤＮＮの１つ又は複数の層の出力、３Ｄ信号１０４、１０８、１１２など、位置優先画像１１４、ベロシティ画像１１６、及び／又はインスタンス外観画像１１８を使用して、融合出力１２２を生成し得る。実施例において、融合出力１２２は、３Ｄ信号に類似し得る－たとえば、融合出力１２２は、ラスタライズ画像（たとえば、図３Ａ～３Ｂに示すものに類似した）を表す又はこれを生成するために使用することができるデータを含み得る。たとえば、融合出力は、任意の数の出力チャネル（たとえば、図１Ａ～１Ｂに関して説明される入力チャネルのうちの１つ又は複数に類似した）をエンコードする上から見下ろす鳥瞰図画像、投影画像、たとえば、距離画像、測視画像などを表し得る。エゴマシン８００が表現の中心にある、実施例において、融合ＤＮＮを使用して計算される融合出力ラスタライズ画像は、自己中心でもよい。融合出力１２２は、１つ又は複数の入力ソースの１つ又は複数の視界又はセンサ・フィールドの融合表現を含み得る。たとえば、図２Ａのラスタライズ画像が、前向きのカメラの視界を含み、図２Ｂのラスタライズ画像が、後ろ向きのカメラの視界を含む場合、図３Ａの融合出力３００Ａは、図２Ａのラスタライズ画像と図２Ｂのラスタライズ画像との両方を表し得る。図３Ｂは、物体２０６（物体２０６Ｄを含む）及びレーン２０４（レーン２０４Ｃ及び２０４Ｄを含む）を含む融合出力３００Ｂの別の視覚化を含み得る。
図２Ａ、２Ｂ、及び３Ａのイラストレーションは、単に例示を目的としており、限定を意図していない。たとえば、３Ｄ信号は、実施例に応じてエゴ車両８００の周辺環境のより小さい及び／又はより大きい部分を表すことができ、任意の数の入力ソースの融合を表し得る。さらに、融合ＤＮＮ１２０が、たとえば、ステレオ・カメラ機能性を使用して、より正確に距離を予測することを学習することができるように、３Ｄ信号のうちの１つ又は複数は、１つ又は複数の他の３Ｄ信号の視界又は認知フィールドと重複する視界又は認知フィールドを含み得る。
融合出力１２２は、車両８００（及び／又は他のエゴマシン・タイプ）によって１つ又は複数の動作を実行するために自律運転ソフトウェア・スタック（「ドライブ・スタック」）１２４によって使用され得る。たとえば、ドライブ・スタック１２４は、世界モデルを生成、更新、及び／又は定義するために使用され得る世界モデル・マネージャを含み得る。世界モデル・マネージャは、ドライブ・スタック１２４の認知構成要素によって生成された及びこれから受信された情報を使用することができる。認知構成要素は、障害物認知装置、進路認知装置、待機認知装置、マップ認知装置、及び／又は他の認知構成要素を含み得る。たとえば、世界モデルは、少なくとも部分的に、障害物認知装置、進路認知装置、待機認知装置、及び／又はマップ認知装置によってリアルタイムで又はほぼリアルタイムで認識することができる障害物、進路、及び待機条件のアフォーダンスに基づいて、定義され得る。世界モデル・マネージャは、エゴマシン８００の障害物認知装置、進路認知装置、待機認知装置、マップ認知装置、及び／又は他の構成要素からの新しく生成された及び／又は受信された入力（たとえば、データ）に基づいて、継続的に世界モデルを更新することができる。たとえば、世界モデル・マネージャ及び／又は認知構成要素は、１つ又は複数の動作を実行するために融合出力１２２を使用することができる。
世界モデルは、ドライブ・スタック１２４のプランニング構成要素、制御構成要素、障害物回避構成要素、及び／又は作動構成要素に知らせるのを助けるために使用され得る。障害物認知装置は、車両８００はどこを走行することが可能か又は走行する能力を有するか、及び車両８００が、車両８００によって感知された（及び、たとえば、融合出力１２２に表された）障害物（たとえば、物体、たとえば、建造物、エンティティ、車両など）と衝突せずに、どのくらい速く走行することができるかに基づき得る、障害物認知を実行することができる。
進路認知装置は、たとえば、特定の状況において利用可能な公称進路を認知することによって、進路認知を実行することができる。いくつかの実例において、進路認知装置はさらに、進路認知のためにレーン変更を考慮することができる。レーン・グラフは、車両８００に利用可能な１つ又は複数の進路を表すことができ、幹線道路進入車線上の単一の進路と同じくらい単純であり得る。いくつかの実例において、レーン・グラフは、望ましいレーンへの進路を含み得る及び／又は幹線道路（又は他の道路タイプ）に沿った利用可能な変更を示し得る、或いは近くのレーン、レーン変更、分岐点、曲がり角、クローバ型交差点、合流、及び／又は他の情報を含み得る。
待機認知装置は、ルール、慣習、及び／又は実施上の留意事項の結果としての車両８００に対する制約の判定を担い得る。たとえば、ルール、慣習、及び／又は実施上の留意事項は、交通信号、マルチウェイ・ストップ、イールド、合流、料金所、ゲート、警察又は他の救急隊員、道路作業者、停止したバス又は他の車両、一方向のブリッジ調停、フェリー入口などに関連し得る。いくつかの実例において、待機認知装置は、いくつかの条件が当てはまるまで車両が待機又は減速することを求める車両８００に関する縦方向の制約の判定を担い得る。いくつかの実例において、待機条件は、たとえば、（たとえば、障害物はセンサの視界から塞がれることがあるので、センサからのセンサ・データを使用することによって）障害物認知装置による直接感知によって認知不可能なことがある潜在的障害物、たとえば、交差点における交差交通、に起因する。結果として、待機認知装置は、認識及び／又は学習され得るルール及び慣習を介して常に直ちに認知可能ではない障害物の危険性を解消することによって状況認識を提供することができる。したがって、待機認知装置が、潜在的障害物を識別するために、及び障害物認知装置のみに頼っては可能でなかったかもしれない１つ若しくは複数の制御（たとえば、減速、停止など）を実装するために、活用され得る。
マップ認知装置は、それによってビヘイビアが判別される、及び一部の実例では、どの慣習が特定のロケールにおいて適用されるかの具体的な実例を決定するための、機構を含み得る。
プランニング構成要素は、数ある構成要素、特徴、及び／又は機能性の中で、ルート・プランナ、レーン・プランナ、ビヘイビア・プランナ、及びビヘイビア・セレクタを含み得る。ルート・プランナは、数ある情報の中で、マップ認知装置、マップ・マネージャ、及び／又はローカリゼーション・マネージャからの情報を使用して、ＧＮＳＳウェイポイント（たとえば、ＧＰＳウェイポイント）で構成され得る計画された進路を生成することができる。ウェイポイントは、レーン・プランナの目標として使用され得る車両８００の未来への特定の距離、たとえば、数街区、数キロメートル／マイル、数メートル／フィートなど、を表し得る。
レーン・プランナは、レーン・グラフ（たとえば、少なくとも部分的に、融合出力１２２を使用して生成され得る、進路認知装置からのレーン・グラフ）、レーン・グラフ（たとえば、ローカリゼーション・マネージャによる）内の物体姿勢、及び／又は入力としてのルート・プランナからの未来への距離における目標点及び方向を使用することができる。目標点及び方向は、レーン・グラフ（たとえば、ＧＮＳＳ及び／又はコンパス方位に基づく）における最もマッチする走行可能な点及び方向にマップされ得る。グラフ検索アルゴリズムが、次いで、目標点までの最短進路を見つけるために、レーン・グラフ内の現在の端からレーン・グラフで実行され得る。
実行可能なビヘイビアが、レーン・プランナからの最も望ましいビヘイビア出力とマッチアップされ得るように、ビヘイビア・プランナは、車両８００の基本ビヘイビア、たとえば、レーンに留まること又はレーンを左若しくは右に変更すること、の実行可能性を判定することができる。たとえば、所望のビヘイビアが、安全及び／又は利用可能でないと判定された場合、デフォルト・ビヘイビアが、代わりに選択され得る（たとえば、デフォルト・ビヘイビアは、望ましいビヘイビア又はレーンを変更することが安全でないとき、レーンに留まることでもよい）。
制御構成要素は、プランニング構成要素のビヘイビア・セレクタから受信された軌道又は進路（横及び縦の）に可能な限り及び車両８００の能力の範囲内で厳密に従うことができる。
障害物回避構成要素は、自律型車両８００が物体（たとえば、移動する物体及び静止した物体）との衝突を避けるのを支援することができる。いくつかの実例において、障害物回避構成要素は、交通ルールに従うこと及び丁寧に運転することを求められる車両８００の構成要素、特徴、及び／又は機能性から独立して、使用され得る。そのような実例において、障害物回避構成要素は、衝突が車両８００と任意の物体との間で生じないことを確実にするために、交通法、道路のルール、及び丁寧な運転の規範を無視することができる。そのようなものとして、障害物回避層は、道路層のルールとは別個の層でもよく、障害物回避層は、車両８００が障害物回避の観点から安全なアクションのみを実行していることを確実にすることができる。他方で、道路層のルールは、車両が交通法及び慣習に従うことを確実にすることができ、合法的な及び慣習的な優先権を順守する。
任意の実例において、ドライブ・スタック１２４の層、構成要素、特徴、及び／又は機能性のうちの１つ又は複数は、環境のナビゲーションにおいてエゴマシン８００を支援するために、融合出力１２２を使用して世界モデル管理、プランニング、制御、作動、衝突若しくは障害物回避、及び／又は同類のものに関する出力を生成することができる。
ここで図５を参照すると、本明細書に記載される、方法５００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行することができる計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって、実施され得る。方法５００はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法５００は、いくつか例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス（独立型の又は別のホスト型サービスと組み合わせた）、又は別の製品へのプラグインによって、提供され得る。さらに、方法５００は、例として、図１Ａ～１Ｂのプロセス１００Ａ及び１００Ｂに関して、説明されている。しかしながら、本方法５００は、本明細書に記載のものを含むが、これらに限定されない、任意の１つのシステムによる任意の１つのプロセス、或いはプロセス及びシステムの任意の組合せ内で、追加で又は別法として、実行され得る。
図５は、本開示のいくつかの実施例による、複数の入力チャネルを使用して融合出力を計算するためにマルチセンサ融合ネットワークを使用する方法５００を示す流れ図である。方法５００は、ブロックＢ５０２において、第１のタイプの第１のセンサを使用して生成される第１のセンサ・データに少なくとも部分的に基づいて生成される第１のラスタライズ画像を少なくとも表す第１のデータを受信することを含む。たとえば、第１の３Ｄ信号１０４、１０８、１１２などが、第１のセンサ・パイプラインを使用して生成され得る。
方法５００は、ブロックＢ５０４において、第２のタイプの第２のセンサを使用して生成される第２のセンサ・データに少なくとも部分的に基づいて生成される第２のラスタライズ画像を少なくとも表す第２のデータを受信することを含む。たとえば、第２の３Ｄ信号１０４、１０８、１１２などが、第２のセンサ・パイプラインを使用して、生成され得る。
方法５００は、ブロックＢ５０６において、融合したラスタライズ画像を表す第３のデータを、融合ＤＮＮを使用して、第１のデータ及び第２のデータに少なくとも部分的に基づいて計算することを含む。たとえば、融合ＤＮＮ１２０は、第１の３Ｄ信号、第２の３Ｄ信号、及び／又は１つ又は複数の他の３Ｄ信号を使用して、融合出力１２２を計算することができる。いくつかの実施例において、本明細書に記載のように、入力としての３Ｄ信号の使用に加えて又はその代わりに、融合ＤＮＮ１２０は、センサ・パイプラインのうちの１つ又は複数に対応する１つ又は複数の個別ＤＮＮの１つ又は複数の特徴エクストラクタ層の出力を使用することができる。
方法５００は、ブロックＢ５０８において、第３のデータに少なくとも部分的に基づいて自律マシンを使用して１つ又は複数の動作を実行することを含む。たとえば、エゴマシン８００のドライブ・スタック１２４は、融合出力１２２を使用して１つ又は複数の動作、たとえば、世界モデル管理、プランニング、制御、作動、障害物回避、及び／又は同類のもの、を実行することができる。
図６Ａ～６Ｂを参照すると、図６Ａ～６Ｂは、ともに、本開示のいくつかの実施例による、マルチセンサ融合ネットワーク及び１つ又は複数の関連ソース・ネットワークをトレーニングするプロセス６００のデータ流れ図を表す。たとえば、図６Ｂを参照すると、個別センサ・パイプラインは、たとえば、１つ又は複数のトランク層６０４（たとえば、トランク層６０４Ａ、６０４Ｂ、及び６０４Ｎ）、１つ又は複数の特徴エクストラクタ層６０６（たとえば、特徴エクストラクタ層６０６Ａ、６０６Ｂ、及び６０６Ｎ）、及び／又は１つ又は複数のヘッド又は出力層６０８（たとえば、出力ヘッド６０８Ａ、６０８Ｂ、及び６０８Ｎ）を含む、個別又はソースＤＮＮを含み得る。センサ・パイプラインは、３Ｄ信号（たとえば、３Ｄ信号１０４Ａ、１０４Ｂ、及び１０４Ｎ）を生成するためにソースＤＮＮを使用して処理され得るセンサ・データ－たとえば、図１Ａ～１Ｂに関して本明細書に記載されたセンサ・データのいずれか－を生成するセンサ６０２（たとえば、センサ６０２Ａ、６０２Ｂ、及び６０２Ｎ）を含み得る。たとえば、センサは、カメラ、ＬｉＤＡＲセンサ、ＲＡＤＡＲセンサ、超音波センサ、及び／又は個別ＤＮＮのセンサ・データを生成するために使用され得る他のセンサ・タイプを含み得る。ソースＤＮＮによって出力される３Ｄ信号は、ソースＤＮＮに対応する損失６１２を計算するためにもう１つの損失関数を使用してグラウンド・トゥルース・データ６１４と比較され得る。グラウンド・トゥルース・データ６１４は、車線境界線、待機条件、標識、固定物体、及び／又は同類のものなどの静的特徴又は物体の位置を示すことができるマップ・データ（たとえば、ＨＤマップ、又は他のマップタイプ、たとえばローカリゼーションのために使用されるもの、からの）を使用して、生成され得る。いくつかの実施例において、グラウンド・トゥルース６１４は、たとえば、参照によりその全部が本明細書に組み込まれている、２０２１年２月２６日に出願された米国非仮特許出願第１７／１８７，３５０号に記載された、２Ｄ又は３Ｄグラウンド・トゥルース生成パイプラインを使用して、生成され得る。グラウンド・トゥルース・データ６１４は、図１Ａ～１Ｂの３Ｄ信号１０４、１０８、１１２などに関して説明されたチャネルのいずれかを含むラスタライズ画像を含み得る。たとえば、ソースＤＮＮの出力３Ｄ信号１０４は、ラスタライズ画像に対応し得る、又はラスタライズ画像を生成するために使用され得、ラスタライズ画像は、損失６２２（たとえば、損失６２２Ａ、６２２Ｂ、及び６２２Ｎ）を計算するために、グラウンド・トゥルース・ラスタライズ画像と比較され得る。これらの損失は、それらが許容レベルの正確性又は精度に収束するまで、ＤＮＮのトレーニングを支援するために、たとえば、逆伝播を、使用してソースＤＮＮの更新されたパラメータ（たとえば、重み及びバイアス）に使用され得る。
グラウンド・トゥルース・データ６１４を使用して損失６２２を計算することに加えて又は別法として、測光一貫性損失が、少なくとも部分的に重複する視界を有するセンサ６０２を有する２個以上のソースＤＮＮからの出力３Ｄ信号１０４を比較するために、６１０で計算され得る。たとえば、ステレオ・カメラの視差マップの生成と同様に、測光一貫性損失６２４（たとえば、３Ｄ信号１０４Ａと３Ｄ信号１０４Ｂとの間及び／又は３Ｄ信号１０４Ｂと３Ｄ信号１０４Ａとの間の損失６２４Ａ、３Ｄ信号１０４Ｎと３Ｄ信号１０４Ｋとの間及び／又は３Ｄ信号１０４Ｋと３Ｄ信号１０４Ｎとの間の損失６２４Ｂなど）は、重複する視界又はセンサ・フィールドの少なくとも部分（たとえば、図４Ａの重複４０６）における一貫性を確保するために、２個以上のソースＤＮＮの出力を比較するために計算され得る。そのようなものとして、３Ｄ信号１０４Ａ及び３Ｄ信号１０４Ｂに関して、座標変換器６１８は、３Ｄ信号１０４Ａを３Ｄ信号１０４Ｂの座標空間に変換して３Ｄ信号６１６Ａを生成し、次いで、変換された３Ｄ信号６１６Ａを３Ｄ信号１０４Ｂと比較して信号間の一貫性－又はその欠如－を判定することによって、一貫性損失６２４Ａを計算することができる。そのようなものとして、重複領域が、矛盾している－たとえば、変換された３Ｄ信号６１６Ａにおける物体が、３Ｄ信号１０４Ｂ内の同物体とは異なる（たとえば、位置、深度、向き、クラスなどにおいて）－場合、損失６２４Ａは、より高いことがあり、３Ｄ信号１０４Ａ及び／又は３Ｄ信号１０４Ｂに対応するソースＤＮＮは、ペナルティを課され得る（たとえば、パラメータが、更新され得る）。このプロセスは、座標変換器６１８を使用して３Ｄ信号１０４Ｂを３Ｄ信号１０４Ａの座標空間に変換して３Ｄ信号６１６Ｂを生成することによって、座標変換器６１８を使用して３Ｄ信号１０４Ｎを３Ｄ信号１０４Ｋの座標空間に変換して３Ｄ信号６１６Ｃを生成することによって、座標変換器６１８を使用して３Ｄ信号１０４Ｋを３Ｄ信号１０４Ｎの座標空間に変換して３Ｄ信号６１６Ｄを生成することによって、などにより、同様に実行され得る。そのようなものとして、損失６２２及び／又は損失６２４を計算することによって、ソースＤＮＮは、それらが正確性又は精度の許容レベルに到達するまで、トレーニングされ得る。
融合ＤＮＮ１２０とは別個にソースＤＮＮをトレーニングすることの利益は、センサ・データ又はトレーニングで使用されるシミュレーション・センサ・データが、入力画像の写実的レンダリングに頼る必要がないということである。たとえば、３Ｄ信号１０４、１０８、１１２などは、様々なチャネルを使用して生成されるラスタライズ画像を表し得るので、トレーニングのために使用されるラスタライズ画像は、写実的センサ・データを必要とせずに生成され得る－たとえば、融合ＤＮＮ１２０への入力は、ラスタライズ画像なので。
同様に、及び図６Ａ及び６Ｂに関して、融合ＤＮＮ１２０の融合出力１２２は、損失６３０を計算するために、融合出力に対応するグラウンド・トゥルース・データ６１４と比較され得る。融合出力１２２のグラウンド・トゥルース・データ６１４は、ソースＤＮＮのグラウンド・トゥルース・データ６１４として類似の技法又はデータを使用して、生成され得る。そのようなものとして、損失６３０は、融合ＤＮＮ１２０が正確性又は精度の許容レベルに収束するまで、融合ＤＮＮ１２０のパラメータを更新するために使用され得る。他の入力タイプ－たとえば、位置優先チャネル１１４、ベロシティ画像１１６、及び／又はインスタンス／外観画像１１８－は、図６Ａ～６Ｂには示されていないが、これは限定を意図しておらず、いくつかの実施例において、これらの入力チャネルのうちの１つ又は複数はまた、各トレーニング反復において融合ＤＮＮ１２０への入力として供給され得る。
たとえば、及び図６Ｃに関して、融合出力６４６は、物体６４８を含むことができ、グラウンド・トゥルース・データ６１４は、グラウンド・トゥルース物体６５０としての物体の実際の位置を示すことができる。そのような実例において、計算された損失６３０は、この差を表すことができ、融合ＤＮＮ１２０のパラメータは、更新され得る。実例において、ソースＤＮＮからの３Ｄ信号が、ラスタライズ画像（たとえば、エゴマシン８００のより少量又は同量の周辺環境を含む）に対応する場合、損失６２２は、３Ｄ信号の対応するラスタライズ画像を使用して同様に計算され得る。
いくつかの実施例において、本明細書に記載のように、融合ＤＮＮ１２０への入力は、ソースＤＮＮの層が融合ＤＮＮ１２０の層の別個の入力トランク又はストリームに対応し得るように、特徴出力１０２－たとえば、ソースＤＮＮの特徴エクストラクタ層６０６の出力－に対応し得る。そのような実例において、ソースＤＮＮの特徴エクストラクタ層６０６のノードと融合ＤＮＮ１２０の層（たとえば、入力層）のノードとの接続は、接続され得る。そのようなものとして、融合ＤＮＮ１２０について計算された損失が、ソースＤＮＮに逆伝播され得るように、融合ＤＮＮ１２０及びソースＤＮＮは、同時にトレーニングされ得る。
ここで図６を参照すると、本明細書に記載される、方法７００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって、実施され得る。方法７００はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法７００は、いくつか例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス（独立型の若しくは別のホスト型サービスと組み合わせた）、又は別の製品へのプラグインによって、提供され得る。さらに、方法７００は、例として、図６Ａ～６Ｂのプロセス６００に関して、説明されている。しかしながら、本方法７００は、本明細書に記載のものを含むが、これらに限定されない、任意の１つのシステム、又はプロセス及びシステムの任意の組合せによって、任意の１つのプロセス内で、追加で又は別法として、実行され得る。
図７は、本開示のいくつかの実施例による、複数の入力チャネルを使用して融合出力を計算するためにマルチセンサ融合ネットワークをトレーニングするための方法７００を示す流れ図である。方法７００は、ブロックＢ７０２において、個別ＤＮＮの出力に関して１つ又は複数の損失を計算することによって及び２個以上の個別ＤＮＮの出力に関して１つ又は複数の一貫性損失を計算することによって複数のトレーニングされたＤＮＮを生成することを含む。たとえば、ソースＤＮＮは、損失６２２を生成するためにグラウンド・トゥルース・データ６１４を使用してトレーニングされ得、測光一貫性損失６２４を使用してトレーニングされ得る。
方法７００は、ブロックＢ７０４において、融合出力に関して１つ又は複数の損失を計算することによって、トレーニングされた融合ＤＮＮを生成することを含み、融合出力は、複数のトレーニングされたＤＮＮの出力を使用して計算される。たとえば、トレーニングされた後は、ソースＤＮＮは、出力を計算することができ、これらの出力は、融合ＤＮＮ１２０をトレーニングするために融合ＤＮＮ１２０への入力として使用され得る。たとえば、融合ＤＮＮ１２０は、融合出力１２２を計算することができ、融合出力１２２は、損失６３０を計算するためにグラウンド・トゥルース・データ６１４と比較され得る。いくつかの実例において、融合ＤＮＮ１２０は、ソースＤＮＮの実際の出力を使用せずに、追加で又は別法として、シミュレーションされた又は製造されたデータ－たとえば、ラスタライズ画像－を使用して、トレーニングされ得る。
方法７００は、ブロックＢ７０６において、エゴマシンにおいて複数のトレーニングされたＤＮＮ及び融合ＤＮＮを配備することを含む。たとえば、トレーニングされた後は、融合ＤＮＮ１２０及びソースＤＮＮは、エゴマシン８００において配備され得る。
例示的自律型車両
図８Ａは、本開示のいくつかの実施例による、例示的自律型車両８００の図である。自律型車両８００（或いは、本明細書で「車両８００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、トレーラに連結された車両、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。移動車８００は、自律運転レベルのレベル３～レベル５のうちの１つ又は複数による機能の能力を有し得る。たとえば、移動車８００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。
移動車８００は、移動車のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。移動車８００は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム８５０を含み得る。推進システム８５０は、移動車８００の推進力を有効にするために、トランスミッションを含み得る、移動車８００のドライブ・トレインに接続され得る。推進システム８５０は、スロットル／加速装置８５２からの信号の受信に応答して制御され得る。
ハンドルを含み得る、ステアリング・システム８５４は、推進システム８５０が動作しているときに（たとえば、移動車が移動中のときに）移動車８００のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム８５４は、ステアリング・アクチュエータ８５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能のオプションでもよい。
ブレーキ・センサ・システム８４６は、ブレーキ・アクチュエータ８４８及び／又はブレーキ・センサからの信号の受信に応答して移動車ブレーキを動作させるために使用され得る。
１つ又は複数のシステム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）８０４（図８Ｃ）及び／又はＧＰＵを含み得る、コントローラ８３６は、移動車８００の１つ若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１つ又は複数のブレーキ・アクチュエータ８４８を介して移動車ブレーキを動作させて、１つ又は複数のステアリング・アクチュエータ８５６を介してステアリング・システム８５４を動作させて、１つ又は複数のスロットル／加速装置８５２を介して推進システム８５０を動作させるために、信号を送ることができる。コントローラ８３６は、センサ信号を処理する、並びに律的運転を可能にするために及び／又は運転者の移動車８００の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１つ又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ８３６は、自律運転機能のための第１のコントローラ８３６、機能的安全性機能のための第２のコントローラ８３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ８３６、インフォテインメント機能のための第４のコントローラ８３６、緊急状態における冗長性のための第５のコントローラ８３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ８３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ８３６が、単一の機能、及び／又はその任意の組合せを処理することができる。
コントローラ８３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して移動車８００の１つ若しくは複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ８５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ８６０、超音波センサ８６２、ＬＩＤＡＲセンサ８６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ８６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン８９６、ステレオ・カメラ８６８、ワイドビュー・カメラ８７０（たとえば、魚眼カメラ）、赤外線カメラ８７２、サラウンド・カメラ８７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ８９８、スピード・センサ８４４（たとえば、移動車８００のスピードを測定するための）、振動センサ８４２、ステアリング・センサ８４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム８４６の一部としての）、及び／又は他のセンサ・タイプから受信され得る。
コントローラ８３６のうちの１つ又は複数のコントローラは、移動車８００の計器群８３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ８３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は移動車８００の他の構成要素を介して提供することができる。出力は、移動車ベロシティ、スピード、時間、マップ・データ（たとえば、図８ＣのＨＤマップ８２２）、位置データ（たとえば、マップ上などの、移動車の８００の位置）、方向、他の移動車の位置（たとえば、占有グリッド）、コントローラ８３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ８３４は、１つ又は複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在、及び／又は移動車が行った、行っている、又は行うであろう運転操作（たとえば、今、車線変更をしていること、３．２２ｋｍ（２マイル）内の出口３４Ｂを出ることなど）に関する情報を表示することができる。
移動車８００はさらに、１つ若しくは複数のワイヤレス・アンテナ８２６及び／又はモデムを使用して１つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース８２４を含む。たとえば、ネットワーク・インターフェース８２４は、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介する通信の能力を有し得る。ワイヤレス・アンテナ８２６はまた、ブルートゥース（登録商標）、ブルートゥースＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、移動車、モバイル・デバイスなど）の間の通信を可能にすることができる。
図８Ｂは、本開示のいくつかの実施例による、図８Ａの例示的自律型車両８００のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１つの例示的実施例であり、制限することは意図されていない。たとえば、追加の及び／又は代替カメラが含まれ得る、及び／又はカメラは移動車８００の異なる位置に置かれ得る。
カメラのカメラ・タイプは、移動車８００の構成要素及び／又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施例に応じて、６０フレーム／秒（ｆｐｓ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）カラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。
いくつかの実例では、カメラのうちの１つ又は複数が、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１つ又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。
カメラのうちの１つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。
移動車８００の前の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物の識別を助け、１つ若しくは複数のコントローラ８３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい移動車進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（ＬＤＷ：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）、自律的クルーズ制御（ＡＣＣ：Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。
様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交差する交通又は自転車）からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ８７０でもよい。図８Ｂにはワイドビュー・カメラは１つだけ示されているが、移動車８００には任意の数のワイドビュー・カメラ８７０が存在し得る。加えて、長距離カメラ８９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ８９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。
１つ又は複数のステレオ・カメラ８６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ８６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、移動車の環境の３Ｄマップを生成するために使用され得る。代替ステレオ・カメラ８６８は、２個のカメラ・レンズ（左と右に１つずつ）と、移動車から対象物体までの距離を測定する及び生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ８６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。
移動車８００の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ８７４（たとえば、図８Ｂに示されるような４個のサラウンド・カメラ８７４）は、移動車８００上に位置付けられ得る。サラウンド・カメラ８７４は、ワイドビュー・カメラ８７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、移動車の前、後ろ、及び側面に配置され得る。代替配置において、移動車は、３個のサラウンド・カメラ８７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１つ又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。
移動車８００の後ろに対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ８９８、ステレオ・カメラ８６８）、赤外線カメラ８７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。
図８Ｃは、本開示のいくつかの実施例による、図８Ａの例示的自律型車両８００の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。
図８Ｃの移動車８００の構成要素、特徴、及びシステムのそれぞれは、バス８０２を介して接続されるものとして図示されている。バス８０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキ、ステアリング、フロント・ガラス・ワイパなどの作動など、移動車８００の様々な特徴及び機能の制御を助けるために使用される移動車８００内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮ ＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の移動車状況指標を見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬ Ｂ準拠でもよい。
バス８０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、ＣＡＮバスに加えて、又はこのその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス８０２を表すために使用されているが、これは制限することを意図されていない。たとえば、１つ若しくは複数のＣＡＮバス、１つ若しくは複数のＦｌｅｘＲａｙバス、１つ若しくは複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス８０２が存在し得る。いくつかの実例では、２個以上のバス８０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス８０２は衝突回避機能のために使用されてもよく、第２のバス８０２は作動制御のために使用されてもよい。任意の実例において、各バス８０２は、移動車８００の構成要素のいずれかと通信し得、２個以上のバス８０２が同じ構成要素と通信し得る。いくつかの実例では、移動車内の各ＳｏＣ８０４、各コントローラ８３６、及び／又は各コンピュータは、同じ入力データ（たとえば、移動車８００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。
移動車８００は、図８Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ８３６を含み得る。コントローラ８３６は、様々な機能のために使用され得る。コントローラ８３６は、移動車８００の様々な他の構成要素及びシステムのいずれかに連結されてもよく、移動車８００、移動車８００の人工知能、移動車８００のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。
移動車８００は、システム・オン・チップ（ＳｏＣ）８０４を含み得る。ＳｏＣ８０４は、ＣＰＵ８０６、ＧＰＵ８０８、プロセッサ８１０、キャッシュ８１２、加速装置８１４、データ・ストア８１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ８０４は、様々なプラットフォーム及びシステム内の移動車８００を制御するために使用され得る。たとえば、ＳｏＣ８０４は、１つ又は複数のサーバ（たとえば、図８Ｄのサーバ８７８）からネットワーク・インターフェース８２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ８２２を有するシステム（たとえば、移動車８００のシステム）において結合され得る。
ＣＰＵ８０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ８０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施例では、ＣＰＵ８０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施例では、ＣＰＵ８０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ８０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ８０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。
ＣＰＵ８０６は、以下の特徴のうちの１つ又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ８０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。
ＧＰＵ８０８は、統合されたＧＰＵ（或いは本明細書において「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ８０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ８０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ８０８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施例では、ＧＰＵ８０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ８０８は、計算アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ８０８は、１つ若しくは複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用することができる。
ＧＰＵ８０８は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、ＧＰＵ８０８は、ＦｉｎＦＥＴ（Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは制限することを意図されておらず、ＧＰＵ８０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、６４ ＰＦ３２コア及び３２ ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６ ＦＰ３２コア、８ ＦＰ６４コア、１６ ＩＮＴ３２コア、深層学習行列演算のための２個の混合精度ＮＶＩＤＩＡテンソル・コア、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。
ＧＰＵ８０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ ｓｙｎｃｈｒｏｎｏｕｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。
ＧＰＵ８０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが、ＧＰＵ８０８がＣＰＵ８０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ８０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ８０６に送信され得る。応答して、ＣＰＵ８０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ８０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ８０６とＧＰＵ８０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ８０８へのアプリケーションのＧＰＵ８０８プログラミング及び移植を単純化する。
加えて、ＧＰＵ８０８は、他のプロセッサのメモリへのＧＰＵ８０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。
ＳｏＣ８０４は、本明細書に記載のものを含む任意の数のキャッシュ８１２を含み得る。たとえば、キャッシュ８１２は、ＣＰＵ８０６とＧＰＵ８０８との両方に利用可能な（たとえば、ＣＰＵ８０６とＧＰＵ８０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ８１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、４ＭＢ以上を含み得る。
ＳｏＣ８０４は、車両８００の様々なタスク又は動作のいずれか（たとえば、処理ＤＮＮ）に関して処理を実行する際に活用され得る論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）を含み得る。加えて、ＳｏＣ８０４は、システム内で数学演算を実行するための浮動小数点演算ユニット（ＦＰＵ：ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｕｎｉｔ）（又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ）を含み得る。たとえば、ＳｏＣ１０４は、ＣＰＵ８０６及び／又はＧＰＵ８０８内の実行ユニットとして統合された１つ又は複数のＦＰＵを含み得る。
ＳｏＣ８０４は、１つ又は複数の加速装置８１４（たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ８０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ８０８を補完するために及びＧＰＵ８０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ８０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置８１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。
加速装置８１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒あたり追加の１０兆の動作を提供するように構成することができる１つ又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートルあたりより多くのパフォーマンスを提供することができ、ＣＰＵのパフォーマンスを大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。
ＤＬＡは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び移動車所有者識別のためのＣＮＮ、及び／又は、セキュリティ及び／又は安全性関連イベントのためのＣＮＮ。
ＤＬＡは、ＧＰＵ８０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ８０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ８０８及び／又は他の加速装置８１４に任せることができる。
加速装置８１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、たとえば、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。
ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１つ若しくは複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリ・デバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。
ＤＭＡは、ＣＰＵ８０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。
ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。
それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｎｇ ｃｏｄｅ）メモリを含み得る。
加速装置８１４（たとえば、ハードウェア加速クラスタ）は、加速装置８１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。
いくつかの実例では、ＳｏＣ８０４は、２０１８年８月１０日に出願された米国特許出願第１６／１０１，２３２号に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、１つ又は複数の木の走査ユニット（ＴＴＵ：ｔｒｅｅ ｔｒａｖｅｒｓａｌ ｕｎｉｔ）が、１つ又は複数のレイトレーシング関連動作を実行するために使用され得る。
加速装置８１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。
たとえば、本技術の１つの実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル３～５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。
いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。処理されたＲＡＤＡＲを提供するために未加工のＲＡＤＡＲデータを処理する（たとえば、４Ｄ高速フーリエ変換を使用して）ことによる。他の実例において、ＰＶＡは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。
ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムにおいて、誤判定検出は、移動車に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を退行するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ８６４又はＲＡＤＡＲセンサ８６０）から取得された物体の移動車８００方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ８６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。
ＳｏＣ８０４は、データ・ストア８１６（たとえば、メモリ）を含み得る。データ・ストア８１６は、ＳｏＣ８０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア８１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア８１２は、Ｌ２又はＬ３キャッシュ８１２を備え得る。データ・ストア８１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置８１４に関連するメモリの参照を含み得る。
ＳｏＣ８０４は、１つ又は複数のプロセッサ８１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ８１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ８０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ８０４熱及び温度センサの管理、及び／又はＳｏＣ８０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ８０４は、リング発振器を使用してＣＰＵ８０６、ＧＰＵ８０８、及び／又は加速装置８１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ８０４をより低い電力状態に置く及び／又は移動車８００をショーファーの安全停止モードにする（たとえば、移動車８００を安全停止させる）ことができる。
プロセッサ８１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。
プロセッサ８１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。
プロセッサ８１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。
プロセッサ８１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。
プロセッサ８１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。
プロセッサ８１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ８７０で、サラウンド・カメラ８７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、移動車の目的地を変更する、移動車のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。
ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。
ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ８０８は、新しい表面を連続してレンダリングために必要とされない。ＧＰＵ８０８の電源が入れられ、３Ｄレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、ＧＰＵ８０８をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。
ＳｏＣ８０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、及び／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ８０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。
ＳｏＣ８０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ８０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ８６４、ＲＡＤＡＲセンサ８６０など）、バス８０２からのデータ（たとえば、移動車８００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ８５８からのデータを処理するために使用され得る。ＳｏＣ８０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ８０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。
ＳｏＣ８０４は、自動化レベル３～５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ８０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置８１４が、ＣＰＵ８０６と結合されるとき、ＧＰＵ８０８、及びデータ・ストア８１６は、レベル３～５の自律型車両のための高速で効率的なプラットフォームを提供することができる。
したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のＣＰＵは、移動車内ＡＤＡＳアプリケーションの要件及び実際のレベル３～５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。
従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３～５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ８２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。
別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを移動車の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を移動車の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ８０８上などで、同時に実行することができる。
いくつかの実例では、顔認識及び移動車所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して移動車８００の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに移動車を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が移動車を離れるときに移動車の動作を停止させるために、使用され得る。このようにして、ＳｏＣ８０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。
別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン８９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ８０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施例では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ８５８によって識別されるように、移動車が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ８６２の支援を受けて、移動車を減速する、道の端に停止させる、移動車を駐車する、及び／又は移動車をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。
移動車は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ８０４に連結され得るＣＰＵ８１８（たとえば、個別のＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ８１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ８１８は、たとえば、ＡＤＡＳセンサとＳｏＣ８０４との間の潜在的に不整合の結果を調停すること、及び／又はコントローラ８３６及び／又はインフォテインメントＳｏＣ８３０の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。
移動車８００は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ８０４に連結され得るＧＰＵ８２０（たとえば、個別のＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ８２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、移動車８００のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。
移動車８００は、１つ又は複数のワイヤレス・アンテナ８２６（たとえば、セルラ・アンテナ、ブルートゥース・アンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース８２４をさらに含み得る。ネットワーク・インターフェース８２４は、インターネットを介するクラウドとの（たとえば、サーバ８７８及び／又は他のネットワーク・デバイスとの）、他の移動車との、及び／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の移動車と通信するために、直接リンクが２個の移動車の間に確立され得る、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、移動車対移動車通信リンクを使用し、提供され得る。移動車対移動車通信リンクは、移動車８００に近接する移動車（たとえば、移動車８００の前の、横の、及び／又は後ろの移動車）に関する移動車８００情報を提供することができる。この機能は、移動車８００の共同適応クルーズ制御機能の一部でもよい。
ネットワーク・インターフェース８２４は、変調及び復調機能を提供する及びコントローラ８３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース８２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、ブルートゥース、ブルートゥースＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
移動車８００は、チップ外の（たとえば、ＳｏＣ８０４外の）ストレージを含み得るデータ・ストア８２８をさらに含み得る。データ・ストア８２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１つ又は複数の記憶素子を含み得る。
車両８００は、ＧＮＳＳセンサ８５８をさらに含み得る。ＧＮＳＳセンサ８５８（たとえば、ＧＰＳ、支援されたＧＰＳセンサ、ディファレンシャルＧＰＳ（ＤＧＰＳ）センサなど）は、マッピング、知覚、占有グリッド生成、及び／又は進路計画策定機能を支援する。たとえば、シリアル（ＲＳ－２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ８５８が、使用され得る。
移動車８００は、ＲＡＤＡＲセンサ８６０をさらに含み得る。ＲＡＤＡＲセンサ８６０は、暗闇及び／又は厳しい気象条件においても、長距離移動車検出のために移動車８００によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬ Ｂでもよい。一部の実例では、ＲＡＤＡＲセンサ８６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ８６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス８０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。たとえば、そして制限なしに、ＲＡＤＡＲセンサ８６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。
ＲＡＤＡＲセンサ８６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、適応クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ８６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で移動車８００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、移動車８００のレーンに入る又はこれを去る移動車を迅速に検出することを可能にする。
一実例として、中距離ＲＡＤＡＲシステムは、８６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は８５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、移動車の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。
短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。
移動車８００は、超音波センサ８６２をさらに含み得る。移動車８００の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ８６２は、駐車アシストのために及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ８６２が使用され得、異なる超音波センサ８６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ８６２は、ＡＳＩＬ Ｂの機能的安全性レベルにおいて動作することができる。
移動車８００はＬＩＤＡＲセンサ８６４を含み得る。ＬＩＤＡＲセンサ８６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ８６４は、機能的安全性レベルＡＳＩＬ Ｂでもよい。いくつかの実例では、移動車８００は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ８６４を含み得る。
いくつかの実例では、ＬＩＤＡＲセンサ８６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ８６４は、たとえば、２ｃｍ～３ｃｍの精度を有し、８００Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約８００ｍの広告された範囲を有し得る。いくつかの実例では、１つ又は複数の非突出したＬＩＤＡＲセンサ８６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ８６４は、移動車８００の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ８６４は、低反射物体についても２００ｍの範囲を有し、１２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ８６４は、４５度と１３５度との間の水平視野向けに構成され得る。
いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで移動車の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、移動車から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、移動車８００の各側面に１つずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ８６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。
移動車は、ＩＭＵセンサ８６６をさらに含み得る。一部の実例では、ＩＭＵセンサ８６６は、移動車８００の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ８６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ８６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ８６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。
一部の実施例では、ＩＭＵセンサ８６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能ＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ８６６は、ＧＰＳからＩＭＵセンサ８６６までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を移動車８００が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ８６６及びＧＮＳＳセンサ８５８は、単一の統合されたユニットにおいて結合され得る。
移動車は、移動車８００内及び／又は周囲に置かれたマイクロフォン８９６を含み得る。マイクロフォン８９６は、中でも、緊急車両検出及び識別のために使用され得る。
移動車は、ステレオ・カメラ８６８、ワイドビュー・カメラ８７０、赤外線カメラ８７２、サラウンド・カメラ８７４、長距離及び／又は中距離カメラ８９８、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、移動車８００の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、移動車８００の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、移動車８００の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、移動車は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図８Ａ及び図８Ｂに関連して本明細書においてさらに詳しく説明される。
移動車８００は、振動センサ８４２をさらに含み得る。振動センサ８４２は、車軸など、移動車の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ８４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。
移動車８００は、ＡＤＡＳシステム８３８を含み得る。一部の実例では、ＡＤＡＳシステム８３８は、ＳｏＣを含み得る。ＡＤＡＳシステム８３８は、自律／適応／自動クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、共同適応クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）、自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）、後部交差交通警報（ＲＣＴＷ：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）、及び／又は他の特徴及び機能を含み得る。
ＡＣＣシステムは、ＲＡＤＡＲセンサ８６０、ＬＩＤＡＲセンサ８６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦ＡＣＣ及び／又は横ＡＣＣを含み得る。縦ＡＣＣは、移動車８００の直ぐ前の移動車までの距離を監視及び制御し、前方の移動車からの安全距離を維持するために移動車速度を自動的に調整する。横ＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように移動車８００にアドバイスする。横ＡＣＣは、ＬＣＡ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。
ＣＡＣＣは、ワイヤレス・リンクを介して他の移動車からネットワーク・インターフェース８２４及び／又はワイヤレス・アンテナ８２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の移動車からの情報を使用する。直接リンクは、移動車対移動車（Ｖ２Ｖ：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対移動車（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の移動車（たとえば、移動車８００と同じレーン内にある、移動車８００の直ぐ前の移動車）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。移動車８００の前方の移動車の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。
運転者が修正行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ８６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。
ＡＥＢシステムは、別の移動車又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ８６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突切迫ブレーキなどの技法を含み得る。
ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、移動車８００が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。
ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、移動車８００が車線をはみ出し始めた場合に移動車８００を修正するためにステアリング入力又はブレーキを提供する。
ＢＳＷシステムは、自動車の死角において移動車の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するときに、付加的警告を提供することができる。ＢＳＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ８６０を使用することができる。
ＲＣＴＷシステムは、車両８００がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び／又は触覚的通知を提供することができる。いくつかのＲＣＴＷシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１つ又は複数の後ろを向いたＲＡＤＡＲセンサ８６０を使用することができる。
従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両８００では、結果が矛盾する場合には、移動車８００自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ８３６又は第２のコントローラ８３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ＡＤＡＳシステム８３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム８３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。
いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。
監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施例では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。好ましい実施例において、監督ＭＣＵは、ＳｏＣ８０４の構成要素を備え得る、及び／又はＳｏＣ８０４の構成要素として含まれ得る。
他の実例において、ＡＤＡＳシステム８３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア－ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。
いくつかの実例では、ＡＤＡＳシステム８３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム８３８が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。
移動車８００は、インフォテインメントＳｏＣ８３０（たとえば、移動車内のインフォテインメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の個別の構成要素を含み得る。インフォテインメントＳｏＣ８３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの移動車関連情報）を移動車８００に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ８３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース接続、カーピュータ、車内エンターテインメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ８３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／又はシステムを制御する及び／又はこれと相互に作用するための）、及び／又は他の構成要素でもよい。インフォテインメントＳｏＣ８３０は、ＡＤＡＳシステム８３８からの情報、計画された移動車操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、移動車情報、道路情報など）、及び／又は他の情報など、移動車のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。
インフォテインメントＳｏＣ８３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ８３０は、バス８０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、移動車８００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ８３６（たとえば、移動車８００の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ８３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ８３０は、本明細書に記載のように、移動車８００をショーファーの安全停止モードにすることができる。
移動車８００は、計器群８３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群８３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。計器群８３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントＳｏＣ８３０及び計器群８３２の間で表示及び／又は共有され得る。言い換えれば、計器群８３２は、インフォテインメントＳｏＣ８３０の一部として含まれてもよく、逆もまた同様である。
図８Ｄは、本開示のいくつかの実施例による、図８Ａのクラウドベースのサーバと例示的自律型車両８００との間の通信のシステム図である。システム８７６は、サーバ８７８、ネットワーク８９０、及び、移動車８００を含む移動車を含み得る。サーバ８７８は、複数のＧＰＵ８８４（Ａ）～８８４（Ｈ）（本明細書でＧＰＵ８８４と総称される）、ＰＣＩｅスイッチ８８２（Ａ）～８８２（Ｈ）（本明細書でＰＣＩｅスイッチ８８２と総称される）、及び／又はＣＰＵ８８０（Ａ）～８８０（Ｂ）（本明細書でＣＰＵ８８０と総称される）を含み得る。ＧＰＵ８８４、ＣＰＵ８８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース８８８及び／又はＰＣＩｅ接続８８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ８８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ８８４及びＰＣＩｅスイッチ８８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ８８４、２個のＣＰＵ８８０、及び２個のＰＣＩｅスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ８７８は、任意の数のＧＰＵ８８４、ＣＰＵ８８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ８７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ８８４を含み得る。
サーバ８７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク８９０を介して、移動車から、受信することができる。サーバ８７８は、ニューラル・ネットワーク８９２、更新されたニューラル・ネットワーク８９２、及び／又は、交通及び道路状態に関する情報を含むマップ情報８９４をネットワーク８９０を介して移動車に送信することができる。マップ情報８９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ８２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク８９２、更新されたニューラル・ネットワーク８９２、及び／又はマップ情報８９４は、環境において任意の数の移動車から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ８７８及び／又は他のサーバを使用する）データ・センタにおいて実行されたトレーニングに基づいて生じた可能性がある。
サーバ８７８は、トレーニング・データに基づいてマシン学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、移動車によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の１つ又は複数のクラスのマシン学習技法に従って、実行され得る：監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習（主要構成要素及びクラスタ分析を含む）、マルチ線形部分空間学習、多様体学習、表現学習（予備辞書学習を含む）、ルールに基づくマシン学習、異常検出、及びそれらの変更形態若しくは組合せ。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、移動車によって使用され得（たとえば、ネットワーク８９０を介して移動車に送信される）、及び／又は、マシン学習モデルは、移動車を遠隔監視するために、サーバ８７８によって使用され得る。
いくつかの実例では、サーバ８７８は、移動車からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ８７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ８８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ８７８は、ＣＰＵ電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。
サーバ８７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して移動車８００内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、移動車８００がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、移動車８００からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他のマシン学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、移動車８００によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、移動車８００内のＡＩは正常に機能していないという結論を下した場合、サーバ８７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように移動車８００のフェイルセーフ・コンピュータに命じる移動車８００への信号を送信することができる。
推論のために、サーバ８７８は、ＧＰＵ８８４及び１つ又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。
例示的計算デバイス
図９は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス９００の一実例のブロック図である。計算デバイス９００は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム９０２を含み得る：メモリ９０４、１つ又は複数の中央処理装置（ＣＰＵ）９０６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）９０８、通信インターフェース９１０、入力／出力（Ｉ／Ｏ）ポート９１２、入力／出力構成要素９１４、電力供給装置９１６、１つ又は複数の提示構成要素９１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット９２０。少なくとも１つの実施例において、計算デバイス９００は、１つ又は複数の仮想マシン（ＶＭ）を含み得る、及び／又は、その構成要素のいずれかは、仮想構成要素（たとえば、仮想ハードウェア構成要素）を含み得る。非限定的実例として、ＧＰＵ９０８のうちの１つ又は複数は、１つ又は複数のｖＧＰＵを含み得、ＣＰＵ９０６のうちの１つ又は複数は、１つ又は複数のｖＣＰＵを含み得、及び／又は、論理ユニット９２０のうちの１つ又は複数は、１つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス９００は、個別の構成要素（たとえば、計算デバイス９００専用の全ＧＰＵ）、仮想構成要素（たとえば、計算デバイス９００専用のＧＰＵの一部分）、又はその組合せを含み得る。
図９の様々なブロックは、線で相互接続システム９０２を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素９１８は、Ｉ／Ｏ構成要素９１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ９０６及び／又はＧＰＵ９０８はメモリを含み得る（たとえば、メモリ９０４は、ＧＰＵ９０８、ＣＰＵ９０６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図９の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）」、「仮想現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図９の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。
相互接続システム９０２は、１つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム９０２は、１つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ（ＩＳＡ：ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ：ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏ ｅｌｅｃｔｒｏｎｉｃｓ ｓｔａｎｄａｒｄｓ ａｓｓｏｃｉａｔｉｏｎ）バス、周辺構成要素相互接続（ＰＣＩ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバス若しくはリンク、を含み得る。一部の実施例では、構成要素の間に直接接続が存在する。一実例として、ＣＰＵ９０６は、メモリ９０４に直接接続され得る。さらに、ＣＰＵ９０６は、ＧＰＵ９０８に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム９０２は、接続を実施するためのＰＣＩｅリンクを含み得る。これらの実例では、ＰＣＩバスは、計算デバイス９００に含まれる必要はない。
メモリ９０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス９００によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び／又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ９０４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス９００によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。
コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。
ＣＰＵ９０６は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス９００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＣＰＵ９０６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１つ又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含み得る。ＣＰＵ９０６は、任意のタイプのプロセッサを含み得、実装された計算デバイス９００のタイプに応じて、異なるタイプのプロセッサを含み得る（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス９００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたＡｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅｓ（ＡＲＭ）プロセッサ、又は複合命令セット計算（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス９００は、計算コプロセッサなど、１つ又は複数のマイクロプロセッサ又は補助コプロセッサ内の１つ又は複数のＣＰＵ９０６を含み得る。
ＣＰＵ９０６に加えて又はその代わりに、ＧＰＵ９０８は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス９００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＧＰＵ９０８のうちの１つ若しくは複数は、統合されたＧＰＵ（たとえば、ＣＰＵ９０６のうちの１つ又は複数とでもよく、及び／又はＧＰＵ９０８のうちの１つ若しくは複数は、離散ＧＰＵでもよい。実施例では、ＧＰＵ９０８のうちの１つ又は複数は、ＣＰＵ９０６のうちの１つ又は複数のコプロセッサでもよい。ＧＰＵ９０８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングする又は汎用計算を実行するために、計算デバイス９００によって使用され得る。たとえば、ＧＰＵ９０８は、ＧＰＵによる汎用計算（ＧＰＧＰＵ：Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ＧＰＵ）のために使用され得る。ＧＰＵ９０８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ９０８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ９０６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ９０８は、画素データ又は任意の他の適切なデータ、たとえばＧＰＧＰＵデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ９０４の一部として含まれ得る。ＧＰＵ９０８は、並行して動作する（たとえば、リンクを介して）２個以上のＧＰＵを含み得る。リンクは、ＧＰＵに直接接続することができ（たとえば、ＮＶＬＩＮＫを使用して）、又はスイッチを介して（たとえば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。ともに結合されるとき、各ＧＰＵ９０８は、出力の異なる部分の又は異なる出力の画素データ又はＧＰＧＰＵデータ（たとえば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）を生成することができる。各ＧＰＵは、独自のメモリを含むことができ、又は他のＧＰＵとメモリを共有することができる。
ＣＰＵ９０６及び／又はＧＰＵ９０８に加えて又はその代わりに、論理ユニット９２０は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス９００のうちの１つ又は複数を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。実施例では、ＣＰＵ９０６、ＧＰＵ９０８、及び／又は論理ユニット９２０は、方法、プロセス及び／又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット９２０のうちの１つ若しくは複数は、ＣＰＵ９０６及び／若しくはＧＰＵ９０８のうちの１つ若しくは複数の一部でもよく及び／又はそこで統合されてもよく、及び／又は、論理ユニット９２０のうちの１つ若しくは複数は、ＣＰＵ９０６及び／若しくはＧＰＵ９０８に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施例では、論理ユニット９２０のうちの１つ又は複数は、ＣＰＵ９０６のうちの１つ若しくは複数及び／又はＧＰＵ９０８のうちの１つ若しくは複数のコプロセッサでもよい。
論理ユニット９２０の実例は、１つ又は複数の処理コア及び／又はその構成要素、たとえば、テンソル・コア（ＴＣ：Ｔｅｎｓｏｒ Ｃｏｒｅ）、テンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画素ビジュアル・コア（ＰＶＣ：Ｐｉｘｅｌ Ｖｉｓｕａｌ Ｃｏｒｅ）、ビジョン処理ユニット（ＶＰＵ：Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、データ処理ユニット（ＤＰＵ：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス処理クラスタ（ＧＰＣ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、テクスチャ処理クラスタ（ＴＰＣ：Ｔｅｘｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、ストリーミング・マルチプロセッサ（ＳＭ：Ｓｔｒｅａｍｉｎｇ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、木の走査ユニット（ＴＴＵ：Ｔｒｅｅ Ｔｒａｖｅｒｓａｌ Ｕｎｉｔ）、人工知能加速装置（ＡＩＡ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ａｃｃｅｌｅｒａｔｏｒ）、深層学習加速装置（ＤＬＡ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｃｅｌｅｒａｔｏｒ）、論理演算ユニット（ＡＬＵ）、特定用途向け集積回路（ＡＳＩＣ）、浮動小数点演算ユニット（ＦＰＵ）、入力／出力（Ｉ／Ｏ）エレメント、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）エレメント、及び／又は同類のもの、を含む。
通信インターフェース９１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス９００が他の計算デバイスと通信することを可能にする、１つ又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース９１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース、ブルートゥースＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）又はＩｎｆｉｎｉＢａｎｄを介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。
Ｉ／Ｏポート９１２は、そのうちのいくつかは計算デバイス９００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素９１４、提示構成要素９１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス９００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素９１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素９１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス９００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス９００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス９００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス９００によって使用され得る。
電力供給装置９１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置９１６は、計算デバイス９００の構成要素が動作することを可能にするために計算デバイス９００に電力を提供することができる。
提示構成要素９１８は、ディスプレイ（たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置（ＨＵＤ）、他のディスプレイタイプ、又はその組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素９１８は、他の構成要素（たとえば、ＧＰＵ９０８、ＣＰＵ９０６など）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。
例示的データ・センタ
図１０は、本開示の少なくとも１つの実施例において使用され得る例示的データ・センタ１０００を示す。データ・センタ１０００は、データ・センタ・インフラストラクチャ層１０１０、フレームワーク層１０２０、ソフトウェア層１０３０、及び／又はアプリケーション層１０４０を含み得る。
図１０に示すように、データ・センタ・インフラストラクチャ層１０１０は、資源オーケストレータ１０１２、グループ化された計算資源１０１４、及びノード計算資源（「ノードＣ．Ｒ．」）１０１６（１）～１０１６（Ｎ）を含み得、そこで、「Ｎ」は、任意の整数の、自然数を表す。少なくとも１つの実施例において、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）は、任意の数の中央処理装置（「ＣＰＵ」）又は他のプロセッサ（加速装置、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサ若しくはグラフィックス・プロセッシング・ユニット（ＧＰＵ）などを含む）、メモリ・デバイス（たとえば、動的リード・オンリ・メモリ）、記憶デバイス（たとえば、ソリッドステート若しくはディスク・ドライブ）、ネットワーク入力／出力（「ＮＷ Ｉ／Ｏ」）デバイス、ネットワーク・スイッチ、仮想マシン（「ＶＭ」）、電力モジュール、及び／又は冷却モジュールなどを含み得るが、これらに限定されない。いくつかの実施例において、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）のうちの１つ又は複数のノードＣ．Ｒ．は、前述の計算資源のうちの１つ又は複数を有するサーバに対応し得る。加えて、いくつかの実施例において、ノードＣ．Ｒ．１０１６（１）～１０１６１（Ｎ）は、１つ若しくは複数の仮想構成要素、たとえば、ｖＧＰＵ、ｖＣＰＵ、及び／若しくは同類のもの、を含み得る、並びに／又は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）のうちの１つ若しくは複数は、仮想マシン（ＶＭ）に対応し得る。
少なくとも１つの実施例において、グループ化された計算資源１０１４は、１つ又は複数のラック（図示せず）内に収容された別個のグループのノードＣ．Ｒ．１０１６、或いは様々な地理的場所（やはり図示せず）にあるデータ・センタに収容された多数のラックを含み得る。グループ化された計算資源１０１４内の別個のグループのノードＣ．Ｒ．１０１６は、１つ又は複数のワークロードをサポートするように構成する又は割り当てることができる、グループ化された計算、ネットワーク、メモリ又はストレージ資源を含み得る。少なくとも１つの実施例において、ＣＰＵ、ＧＰＵ、及び／又は他のプロセッサを含むいくつかのノードＣ．Ｒ．１０１６は、１つ又は複数のワークロードをサポートするための計算資源を提供するために、１つ又は複数のラック内にグループ化され得る。１つ又は複数のラックはまた、任意の組合せで、任意の数の電力モジュール、冷却モジュール、及び／又はネットワーク・スイッチを含み得る。
資源オーケストレータ１０２２は、１つ若しくは複数のノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）及び／又はグループ化された計算資源１０１４を構成又は他の方法で制御することができる。少なくとも１つの実施例において、資源オーケストレータ１０２２は、データ・センタ１０００のソフトウェア設計インフラストラクチャ（「ＳＤＩ」）管理エンティティを含み得る。資源オーケストレータ１０２２は、ハードウェア、ソフトウェア、又はその何らかの組合せを含み得る。
少なくとも１つの実施例において、図１０に示すように、フレームワーク層１０２０は、ジョブ・スケジューラ１０３２、構成マネージャ１０３４、資源マネージャ１０３６、及び／又は分散型ファイル・システム１０３８を含み得る。フレームワーク層１０２０は、ソフトウェア層１０３０のソフトウェア１０３２及び／又はアプリケーション層１０４０の１つ若しくは複数のアプリケーション１０４２をサポートするためにフレームワークを含み得る。ソフトウェア１０３２又はアプリケーション１０４２は、ウェブベースのサービス・ソフトウェア又はアプリケーション、たとえば、アマゾン・ウェブ・サービス、グーグル・クラウド及びＭｉｃｒｏｓｏｆｔ Ａｚｕｒｅによって提供されるもの、をそれぞれ含み得る。フレームワーク層１０２０は、大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システム１０３８を使用し得るＡｐａｃｈｅ Ｓｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）などのフリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。少なくとも１つの実施例において、ジョブ・スケジューラ１０３２は、データ・センタ１０００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。構成マネージャ１０３４は、異なる層、たとえば、ソフトウェア層１０３０と、大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム１０３８を含むフレームワーク層１０２０、を構成する能力を有し得る。資源マネージャ１０３６は、分散型ファイル・システム１０３８及びジョブ・スケジューラ１０３２のサポートのためにマップされた又は割り当てられたクラスタ化された又はグループ化された計算資源を管理する能力を有し得る。少なくとも１つの実施例において、クラスタ化された又はグループ化された計算資源は、データ・センタ・インフラストラクチャ層１０１０にグループ化された計算資源１０１４を含み得る。資源マネージャ１０３６は、資源オーケストレータ１０１２と調整して、これらのマップされた又は割り当てられた計算資源を管理することができる。
少なくとも１つの実施例において、ソフトウェア層１０３０に含まれるソフトウェア１０３２は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）の少なくとも部分、グループ化された計算資源１０１４、及び／又はフレームワーク層１０２０の分散型ファイル・システム１０３８によって使用されるソフトウェアを含み得る。１つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含み得るが、これらに限定されない。
少なくとも１つの実施例において、アプリケーション層１０４０に含まれるアプリケーション１０４２は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）の少なくとも部分、グループ化された計算資源１０１４、及び／又はフレームワーク層１０２０の分散型ファイル・システム１０３８によって使用される１つ又は複数のタイプのアプリケーションを含み得る。１つ又は複数のタイプのアプリケーションは、任意の数のゲノミクス・アプリケーション、認知計算、並びに、トレーニング若しくは推論ソフトウェア、マシン学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）、及び／又は１つ若しくは複数の実施例と併せて使用される他のマシン学習アプリケーションを含む、マシン学習アプリケーションを含み得るが、これらに限定されない。
少なくとも１つの実施例において、構成マネージャ１０３４、資源マネージャ１０３６、及び資源オーケストレータ１０１２のうちのいずれかは、任意の技術的に可能な方式で取得される任意の量及びタイプのデータに基づいて任意の数及びタイプの自己書換え型アクションを実装することができる。自己書換え型アクションは、よくない可能性のある構成決定を行うこと並びにデータ・センタの十分に活用されていない及び／又は実行の不十分な部分を恐らく回避することからデータ・センタ１０００のデータ・センタ・オペレータを解放し得る。
データ・センタ１０００は、１つ又は複数のマシン学習モデルをトレーニングする或いは本明細書に記載の１つ又は複数の実施例による１つ又は複数のマシン学習モデルを使用して情報を予測する又は推論するために、ツール、サービス、ソフトウェア或いは他の資源を含み得る。たとえば、マシン学習モデルは、データ・センタ１０００に関して前述されたソフトウェア及び／又は計算資源を使用するニューラル・ネットワーク・アーキテクチャによる重量パラメータの計算によって、トレーニングされ得る。少なくとも１つの実施例において、１つ又は複数のニューラル・ネットワークに対応するトレーニングされた又は配備されたマシン学習モデルは、たとえば、本明細書に記載のものに限定されない、１つ又は複数のトレーニング技法を介して計算された重量パラメータを使用することによって、データ・センタ１０００に関して前述された資源を使用して情報を推論又は予測するために使用され得る。
少なくとも１つの実施例において、データ・センタ１０００は、前述の資源を使用するトレーニング及び／又は推論の実行のために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、及び／又は他のハードウェア（若しくはそれに対応する仮想計算資源）を使用することができる。さらに、前述の１つ又は複数のソフトウェア及び／又はハードウェア資源は、情報の推論をユーザがトレーニング又は実行することを可能にするためのサービス、たとえば、画像認識、音声認識、又は他の人工知能サービス、として構成され得る。
例示的ネットワーク環境
本開示の実施例の実装において使用するのに適したネットワーク環境は、１つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）、他のバックエンド・デバイス、及び／又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び／又は他のデバイス・タイプ（たとえば、各デバイス）は、図９の計算デバイス９００の１つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス９００の類似の構成要素、特徴、及び／又は機能性を含み得る。加えて、バックエンド・デバイス（たとえば、サーバ、ＮＡＳなど）が、実装される場合、バックエンド・デバイスは、データ・センタ１０００の一部として含まれ得、その実例は、図１０に関して本明細書でさらに詳述される。
ネットワーク環境の構成要素は、ワイヤード、ワイヤレス、又はその両方でもよい、ネットワークを介して互いに通信し得る。ネットワークは、複数のネットワーク、又はネットワークのネットワークを含み得る。実例として、ネットワークは、１つ若しくは複数のワイド・エリア・ネットワーク（ＷＡＮ）、１つ若しくは複数のローカル・エリア・ネットワーク（ＬＡＮ）、１つ若しくは複数のパブリック・ネットワーク、たとえば、インターネット及び／若しくは公衆交換電話網（ＰＳＴＮ）、並びに／又は１つ若しくは複数のプライベート・ネットワークを含み得る。ネットワークが、ワイヤレス電気通信ネットワークを含む場合、構成要素、たとえば、基地局、通信塔、或いはアクセス・ポイント（並びに他の構成要素）、は、ワイヤレス接続を提供し得る。
互換性のあるネットワーク環境は、１つ又は複数のピア・ツー・ピア・ネットワーク環境（その場合、サーバはネットワーク環境に含まれないことがある）と、１つ又は複数のクライアント・サーバ・ネットワーク環境（その場合、１つ又は複数のサーバがネットワーク環境に含まれ得る）とを含み得る。ピア・ツー・ピア・ネットワーク環境では、サーバに関して本明細書に記載した機能性は、任意の数のクライアント・デバイスで実装され得る。
少なくとも１つの実施例において、ネットワーク環境は、１つ又は複数のクラウドベースのネットワーク環境、分散型計算環境、その組合せなどを含み得る。クラウドベースのネットワーク環境は、フレームワーク層、ジョブ・スケジューラ、資源マネージャ、並びに、１つ若しくは複数のコア・ネットワーク・サーバ及び／又はエッジ・サーバを含み得る、サーバのうちの１つ又は複数で実装された分散型ファイル・システムを含み得る。フレームワーク層は、ソフトウェア層のソフトウェア及び／又はアプリケーション層の１つ若しくは複数のアプリケーションをサポートするために、フレームワークを含み得る。ソフトウェア又はアプリケーションは、それぞれ、ウェブベースのサービス・ソフトウェア又はアプリケーションを含み得る。実施例において、クライアント・デバイスのうちの１つ又は複数は、ウェブベースのサービス・ソフトウェア又はアプリケーションを使用し得る（たとえば、１つ又は複数のアプリケーション・プログラミング・インターフェース（ＡＰＩ）を介してサービス・ソフトウェア及び／又はアプリケーションにアクセスすることによって）。フレームワーク層は、たとえば大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システムを使用し得る、フリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。
クラウドベースのネットワーク環境は、本明細書に記載の計算及び／又はデータ・ストレージ機能（又は１つ若しくは複数のその部分）の任意の組合せを実施するクラウド計算及び／又はクラウド・ストレージを提供し得る。これらの様々な機能のいずれも、セントラル又はコア・サーバ（たとえば、州、領域、国、世界にわたって分散され得る１つ又は複数のデータ・センタなどの）から複数の場所に分散され得る。ユーザ（たとえば、クライアント・デバイス）への接続が、エッジ・サーバに比較的近い場合、コア・サーバは、機能性の少なくとも一部分をエッジ・サーバに任じ得る。クラウドベースのネットワーク環境は、プライベート（たとえば、単一の組織に制限される）でもよく、パブリック（たとえば、多数の組織に利用可能）、及び／又はその組合せ（たとえば、ハイブリッド・クラウド環境）でもよい。
クライアント・デバイスは、図９に関して本明細書に記載の例示的計算デバイス９００の構成要素、特徴、及び機能性のうちの少なくともいくつかを含み得る。実例として、及び制限ではなく、クライアント・デバイスは、パーソナル・コンピュータ（ＰＣ）、ラップトップ・コンピュータ、モバイル・デバイス、スマートフォン、タブレット・コンピュータ、スマート・ウォッチ、ウェアラブル・コンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ）、ＭＰ３プレーヤ、仮想現実ヘッドセット、全地球測位システム（ＧＰＳ）又はデバイス、ビデオ・プレイヤ、ビデオカメラ、監視デバイス又はシステム、車両、ボート、飛行船、仮想マシン、ドローン、ロボット、ハンドヘルド通信デバイス、病院デバイス、ゲーミング・デバイス又はシステム、娯楽システム、車両コンピュータ・システム、組み込み型システム・コントローラ、リモート制御、器具、民生用電子デバイス、ワークステーション、エッジ・デバイス、これらの描写されたデバイスの任意の組合せ、或いは任意の他の適切なデバイスとして実施され得る。
本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。
本明細書では、２個以上の要素に関する「及び／又は」の記述は、１つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１つ」は、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、或いは、要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つを含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１つ」は、要素Ａのうちの少なくとも１つ、要素Ｂのうちの少なくとも１つ、或いは、要素Ａのうちの少なくとも１つ及び要素Ｂのうちの少なくとも１つを含み得る。
本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。

Claims (20)

  1. 複数の深層ニューラル・ネットワーク（ＤＮＮ）の複数の出力を表す第１のデータを受信することであって、前記複数の出力のうちの少なくとも１つの出力は、自律マシンの複数のセンサのうちの１つ又は複数の他のセンサに対応する視界とは異なるそれぞれの視界を有するそれぞれのセンサに対応する、受信することと、前記複数の出力の融合を表す第２のデータを、融合ＤＮＮを使用して及び前記第１のデータに少なくとも部分的に基づいて計算することと、前記第２のデータに少なくとも部分的に基づいて前記自律マシンを使用して１つ又は複数の動作を実行することとを行うための１つ又は複数の回路を備える、プロセッサ。
  2. 前記第２のデータを前記計算することがさらに、前記複数の出力のうちの少なくとも１つの出力の少なくとも１つの点に対応する少なくとも１つの確率分布関数を表す第３のデータに少なくとも部分的に基づき、前記少なくとも１つの点が、検出された物体に対応し、前記少なくとも１つの確率分布関数が、前記検出された物体の１つ又は複数の潜在的位置に対応する、請求項１に記載のプロセッサ。
  3. 前記第２のデータを前記計算することがさらに、ｘ方向におけるベロシティ又はｙ方向におけるベロシティのうちの少なくとも１つに対応するエンコードされた値を含む１つ又は複数のベロシティ表現を表す第３のデータに少なくとも部分的に基づく、請求項１に記載のプロセッサ。
  4. 前記第２のデータを前記計算することがさらに、前記複数の出力を使用して判定される物体インスタンス又は物体外観のうちの少なくとも１つに対応する１つ又は複数の表現を表す第３のデータに少なくとも部分的に基づく、請求項１に記載のプロセッサ。
  5. 前記複数の出力の各出力が、１つ又は複数の物体を表すラスタライズ画像を含み、前記融合出力が、融合したラスタライズ画像を含む、請求項１に記載のプロセッサ。
  6. 前記１つ又は複数の物体が、車両、歩行者、自転車乗用車、自動車運転者、レーン・マーカ、道路境界線マーカ、自由空間境界線、又は待機線のうちの少なくとも１つを含む、請求項５に記載のプロセッサ。
  7. 前記複数の出力のうちの第１の出力が、第１の視界に対応し、前記複数の出力のうちの第２の出力が、前記第１の視界とは異なる第２の視界に対応し、前記複数の出力の前記融合が、前記第１の視界と前記第２の視界との両方に対応する、請求項１に記載のプロセッサ。
  8. 前記第１の視界及び前記第２の視界が、少なくとも部分的に重複している、請求項７に記載のプロセッサ。
  9. 前記第１のデータがさらに、ＬｉＤＡＲセンサ、ＲＡＤＡＲセンサ、又は超音波センサを使用して生成された１つ又は複数の追加出力を表し、前記１つ又は複数の追加出力が、別のＤＮＮを使用して又は別のＤＮＮを使用せずに生成される、請求項１に記載のプロセッサ。
  10. 前記複数の出力のうちの第１の出力が、物体の第１の表現を含み、前記複数の出力のうちの第２の出力が、前記物体の第２の表現を含み、前記複数の出力の前記融合が、前記物体の融合表現を含む、請求項１に記載のプロセッサ。
  11. 前記プロセッサが、自律又は半自律マシンの制御システム、自律又は半自律マシンの認知システム、シミュレーション動作を実行するためのシステム、深層学習動作を実行するためのシステム、エッジ・デバイスを使用して実装されるシステム、ロボットを使用して実装されるシステム、１つ又は複数の仮想マシン（ＶＭ）を組み込むシステム、データ・センタにおいて少なくとも部分的に実装されるシステム、又はクラウド計算資源を使用して少なくとも部分的に実装されるシステムのうちの少なくとも１つに含まれる、請求項１に記載のプロセッサ。
  12. １つ又は複数の処理装置と、前記１つ又は複数の処理装置によって実行されるとき前記１つ又は複数の処理装置に動作を実行させる命令を記憶する１つ又は複数のメモリ・ユニットとを備え、前記動作が、第１の深層ニューラル・ネットワーク（ＤＮＮ）を使用して、及び第１のセンサを使用して生成される第１のセンサ・データに少なくとも部分的に基づいて生成される第１のラスタライズ画像を少なくとも表す第１のデータを受信することであって、前記第１のラスタライズ画像は、第１の物体を少なくとも含む、受信することと、第２の深層ニューラル・ネットワーク（ＤＮＮ）を使用して、及び第２のセンサを使用して生成される第２のセンサ・データに少なくとも部分的に基づいて生成される第２のラスタライズ画像を少なくとも表す第２のデータを受信することであって、前記第２のラスタライズ画像は、少なくとも第２の物体を含む、受信することと、前記第１の物体及び前記第２の物体の両方を含む融合したラスタライズ画像を表す第３のデータを、融合ＤＮＮを使用して及び前記第１のデータ及び前記第２のデータに少なくとも部分的に基づいて計算することと、前記第３のデータに少なくとも部分的に基づいて前記自律マシンを使用して１つ又は複数の動作を実行することとを含む、システム。
  13. 前記第１のセンサ及び前記第２のセンサが、画像センサ、ＬｉＤＡＲセンサ、ＲＡＤＡＲセンサ、又は超音波センサのうちの１つを含む、請求項１２に記載のシステム。
  14. 前記第１のセンサ及び前記第２のセンサが、少なくとも部分的に重複する視界を含み、前記第１のラスタライズ画像が、第３の物体の第１の表現を含み、前記第２のラスタライズ画像が、前記第３の物体の第２の表現を含み、前記融合したラスタライズ画像が、前記第３の物体の融合表現を含む、請求項１２に記載のシステム。
  15. 前記動作がさらに、前記第１のラスタライズ画像又は前記第２のラスタライズ画像のうちの少なくとも１つの画像の少なくとも１つの画素に対応する少なくとも１つの確率分布関数を表す第４のデータを受信することを含み、前記少なくとも１つの画素が、前記第１の物体又は前記第２の物体のうちの少なくとも１つに対応し、前記少なくとも１つの確率分布関数が、前記検出された物体の１つ又は複数の潜在的位置に対応し、前記第３のデータを前記計算することがさらに、前記第４のデータに少なくとも部分的に基づく、請求項１２に記載のシステム。
  16. 前記動作がさらに、ｘ方向におけるベロシティ又はｙ方向におけるベロシティのうちの少なくとも１つに対応するエンコードされた値を含む１つ又は複数のベロシティ表現を表す第４のデータを受信することを含み、前記第３のデータを前記計算することがさらに、前記第４のデータに少なくとも部分的に基づく、請求項１２に記載のシステム。
  17. 前記システムが、自律又は半自律マシンの制御システム、自律又は半自律マシンの認知システム、シミュレーション動作を実行するためのシステム、深層学習動作を実行するためのシステム、エッジ・デバイスを使用して実装されるシステム、ロボットを使用して実装されるシステム、１つ又は複数の仮想マシン（ＶＭ）を組み込むシステム、データ・センタにおいて少なくとも部分的に実装されるシステム、或いはクラウド計算資源を使用して少なくとも部分的に実装されるシステムのうちの少なくとも１つに含まれる、請求項１２に記載のシステム。
  18. 第１のタイプの第１のセンサを使用して生成される第１のセンサ・データに少なくとも部分的に基づいて生成される第１のラスタライズ画像を少なくとも表す第１のデータを受信するステップであって、前記第１のラスタライズ画像は、第１の物体を少なくとも含む、ステップと、前記第１のタイプとは異なる第２のタイプの第２のセンサを使用して生成される第２のセンサ・データに少なくとも部分的に基づいて生成される第２のラスタライズ画像を少なくとも表す第２のデータを受信するステップであって、前記第２のラスタライズ画像は、第２の物体を少なくとも含む、ステップと、前記第１の物体及び前記第２の物体の両方を含む融合したラスタライズ画像を表す第３のデータを、融合深層ニューラル・ネットワーク（ＤＮＮ）を使用して及び前記第１のデータ及び前記第２のデータに少なくとも部分的に基づいて計算することと、自律マシンを使用して及び前記第３のデータに少なくとも部分的に基づいて１つ又は複数の動作を実行することとを含む、方法。
  19. 前記第１のタイプ及び前記第２のタイプが、画像センサ、ＬｉＤＡＲセンサ、ＲＡＤＡＲセンサ、又は超音波センサのうちの１つを含む、請求項１８に記載の方法。
  20. 前記第１のタイプが、画像センサを含み、前記第１のラスタライズ画像が、深層ニューラル・ネットワーク（ＤＮＮ）を使用して生成され、前記第２のタイプが、ＬｉＤＡＲセンサ、ＲＡＤＡＲセンサ、又は超音波センサのうちの１つを含み、前記第２のラスタライズ画像が、ＤＮＮを使用せずに生成される、請求項１８に記載の方法。
JP2021560671A 2020-06-25 2021-06-21 マシン学習を使用した自律マシン・アプリケーションのためのセンサ融合 Pending JP2023531330A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202063043794P 2020-06-25 2020-06-25
US63/043,794 2020-06-25
US202063047205P 2020-07-01 2020-07-01
US63/047,205 2020-07-01
US17/353,231 2021-06-21
US17/353,231 US11688181B2 (en) 2020-06-25 2021-06-21 Sensor fusion for autonomous machine applications using machine learning
PCT/US2021/038262 WO2021262603A1 (en) 2020-06-25 2021-06-21 Sensor fusion for autonomous machine applications using machine learning

Publications (1)

Publication Number Publication Date
JP2023531330A true JP2023531330A (ja) 2023-07-24

Family

ID=79031098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021560671A Pending JP2023531330A (ja) 2020-06-25 2021-06-21 マシン学習を使用した自律マシン・アプリケーションのためのセンサ融合

Country Status (5)

Country Link
US (2) US11688181B2 (ja)
JP (1) JP2023531330A (ja)
CN (1) CN114631117A (ja)
DE (1) DE112021000135T5 (ja)
WO (1) WO2021262603A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11420630B2 (en) 2019-10-24 2022-08-23 Zoox, Inc. Trajectory modifications based on a collision zone
US11643073B2 (en) * 2019-10-24 2023-05-09 Zoox, Inc. Trajectory modifications based on a collision zone
US11807062B2 (en) * 2019-11-25 2023-11-07 Ford Global Technologies, Llc Collaborative relationship between a vehicle and a UAV
US11443142B2 (en) * 2020-02-14 2022-09-13 Samsung Electronics Co., Ltd. In-storage-based data processing using machine learning
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
US11753045B2 (en) * 2021-06-22 2023-09-12 Waymo Llc Modeling positional uncertainty of moving objects using precomputed polygons
US20220414887A1 (en) * 2021-06-25 2022-12-29 Honda Motor Co., Ltd. Systems and methods for birds eye view segmentation
US20230142674A1 (en) * 2021-07-23 2023-05-11 Zoox, Inc. Radar data analysis and concealed object detection
US11701996B2 (en) * 2021-11-17 2023-07-18 Motional Ad Llc Deep learning based beam control for autonomous vehicles
CN113987255B (zh) * 2021-12-30 2022-04-01 南湖实验室 基于联邦学习与秘密分享的多源密文图像检索方法
US20230213354A1 (en) * 2022-01-06 2023-07-06 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods of cooperative depth completion with sensor data sharing
JP7328378B2 (ja) * 2022-01-14 2023-08-16 ヤマハ発動機株式会社 水域物体検出システム、船舶および周辺物体検出システム
US20230237783A1 (en) * 2022-01-26 2023-07-27 Ford Global Technologies, Llc Sensor fusion
DE102022105267A1 (de) * 2022-03-07 2023-09-07 Connaught Electronics Ltd. Kombination von Kamerainformationen, die durch wenigstens ein Kamerabild gegeben sind, und weiteren Informationen, die durch Umfeldsensordaten gegeben sind
CN114355378B (zh) * 2022-03-08 2022-06-07 天津云圣智能科技有限责任公司 无人机的自主导航方法、装置、无人机及存储介质
CN114624645B (zh) * 2022-03-10 2022-09-30 扬州宇安电子科技有限公司 一种基于微型天线阵列的小型旋翼无人机雷达侦察系统
WO2023191780A1 (en) * 2022-03-30 2023-10-05 Siemens Corporation System and method for controlling autonomous machinery by processing rich context sensor inputs
US20230341554A1 (en) * 2022-04-26 2023-10-26 Motional Ad Llc Methods and apparatus with hardware logic for pre-processing lidar data
CN114898193A (zh) * 2022-07-11 2022-08-12 之江实验室 基于流形学习的图像特征融合方法、装置及图像分类系统
DE102022121109A1 (de) * 2022-08-22 2024-02-22 Valeo Schalter Und Sensoren Gmbh Visuelle Wahrnehmung mit einem Fahrzeug basierend auf einem Kamerabild und einer Ultraschallkarte
DE102023003086A1 (de) 2022-09-15 2024-03-21 Sew-Eurodrive Gmbh & Co Kg Verfahren zum Trainieren eines neuronalen Netzes zur Detektion eines Objekts und Verfahren zur Detektion eines Objekts mittels eines neuronalen Netzes
US11887275B1 (en) * 2022-10-14 2024-01-30 Excelsior S. P. LLC Elevated lookout apparatus and a method for its use
WO2024098374A1 (en) * 2022-11-11 2024-05-16 Nvidia Corporation Refining machine learning models to mitigate adversarial attacks in autonomous systems and applications
CN116660916B (zh) * 2023-05-26 2024-02-02 广东省农业科学院设施农业研究所 一种用于果园移动机器人的定位方法、建图方法及电子设备
CN116502069B (zh) * 2023-06-25 2023-09-12 四川大学 一种基于深度学习的触觉时序信号识别方法
CN117872333B (zh) * 2024-03-11 2024-05-14 西北工业大学青岛研究院 一种收发分置声纳的布放深度优化方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3433131B1 (en) * 2016-03-23 2023-07-12 Netradyne, Inc. Advanced path prediction
US10885698B2 (en) 2018-08-10 2021-01-05 Nvidia Corporation Method for programmable timeouts of tree traversal mechanisms in hardware
US11393097B2 (en) * 2019-01-08 2022-07-19 Qualcomm Incorporated Using light detection and ranging (LIDAR) to train camera and imaging radar deep learning networks
US11548533B2 (en) * 2019-03-23 2023-01-10 Uatc, Llc Perception and motion prediction for autonomous devices

Also Published As

Publication number Publication date
CN114631117A (zh) 2022-06-14
US20210406560A1 (en) 2021-12-30
US11688181B2 (en) 2023-06-27
DE112021000135T5 (de) 2022-06-30
US20230282005A1 (en) 2023-09-07
WO2021262603A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
US11688181B2 (en) Sensor fusion for autonomous machine applications using machine learning
JP7399164B2 (ja) 駐車スペース検出に適したスキューされたポリゴンを使用した物体検出
US11885907B2 (en) Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
US20240135173A1 (en) Distance to obstacle detection in autonomous machine applications
US11531088B2 (en) Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
US11704890B2 (en) Distance to obstacle detection in autonomous machine applications
EP3832341A1 (en) Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
JP2022538813A (ja) 自律マシン・アプリケーションのための交差点領域検出及び分類
JP2022530091A (ja) 自律マシン・アプリケーションにおける交差点姿勢検出
JP2023507695A (ja) 自律運転アプリケーションのための３次元交差点構造予測
WO2021041854A1 (en) Object detection and classification using lidar range images for autonomous machine applications
WO2020140047A1 (en) Distance to obstacle detection in autonomous machine applications
JP2022526825A (ja) 自律マシン・アプリケーションのためのマップ情報で拡張されたグラウンド・トゥルース・データを使用するニューラル・ネットワーク・トレーニング
JP2023509831A (ja) 自律マシン・アプリケーションにおける車線変更プランニング及び制御
JP2023503729A (ja) 自律運転アプリケーションのための曲線適合を使用するランドマーク検出
JP2023548721A (ja) 自律システム及びアプリケーションにおけるビヘイビア予測のためのモデルベースの強化学習
JP2023031237A (ja) 自律マシン・アプリケーションのためのＬｉＤＡＲデータを使用する物体追跡
US20230049567A1 (en) Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
JP2022132075A (ja) 自律運転アプリケーションにおけるディープ・ニューラル・ネットワーク知覚のためのグラウンド・トゥルース・データ生成
JP2023131069A (ja) 自律システム及びアプリケーションのためのニューラル・ネットワークを使用したマップ情報の物体データ・キュレーション
JP2023024276A (ja) 譲るシナリオにおける自律型車両のための行動計画立案
US20230406315A1 (en) Encoding junction information in map data
CN117581117A (zh) 自主机器系统和应用中使用LiDAR数据的动态对象检测
US20220340149A1 (en) End-to-end evaluation of perception systems for autonomous systems and applications
US20230213945A1 (en) Obstacle to path assignment for autonomous systems and applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240315