JP2024020237A - Predicting three-dimensional features for autonomous driving - Google Patents
Predicting three-dimensional features for autonomous driving Download PDFInfo
- Publication number
- JP2024020237A JP2024020237A JP2023182986A JP2023182986A JP2024020237A JP 2024020237 A JP2024020237 A JP 2024020237A JP 2023182986 A JP2023182986 A JP 2023182986A JP 2023182986 A JP2023182986 A JP 2023182986A JP 2024020237 A JP2024020237 A JP 2024020237A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- data
- machine learning
- lane
- time series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 claims abstract description 81
- 238000010801 machine learning Methods 0.000 claims abstract description 66
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 abstract description 51
- 238000013528 artificial neural network Methods 0.000 abstract description 12
- 238000013527 convolutional neural network Methods 0.000 abstract description 10
- 238000000034 method Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 27
- 238000013473 artificial intelligence Methods 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 8
- 238000002604 ultrasonography Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000004557 technical material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
- G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/65—Following a desired speed profile
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Electromagnetism (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Processing (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
Description
[関連出願の相互参照]
本出願は、2019年2月1日に出願された、「PREDICTING THREE-
DIMENSIONAL FEATURES FOR AUTONOMOUS DRIV
ING(自動運転のための3次元特徴の予測)」と題する米国特許出願第16/2657
20号の継続出願であり、その優先権を主張し、その開示内容全体が参照により本明細書
に組み込まれる。
[Cross reference to related applications]
This application was filed on February 1, 2019, and is based on “PREDICTING THREE-
DIMENSIONAL FEATURES FOR AUTONOMOUS DRIV
U.S. Patent Application No. 16/2657 entitled ING (3D Feature Prediction for Autonomous Driving)
No. 20, a continuation application, which claims priority and is incorporated herein by reference in its entirety.
自動運転などの用途に使用される深層学習システムは、機械学習モデルを訓練すること
によって開発される。典型的には、深層学習システムの性能は、モデルを訓練するために
使用される訓練セットの品質によって少なくとも部分的に制限される。多くの場合、訓練
データの収集、キュレーション、およびアノテーションには、多大なリソースが投資され
る。従来、訓練データセットをキュレーションするための努力の多くは、潜在的な訓練デ
ータを検討し、データに関連する特徴を適切にラベル付けすることによって手動で行われ
る。正確なラベルを有する訓練セットを作成するのに必要な労力は、顕著であり得、多く
の場合面倒である。さらに、機械学習モデルに改善が必要なデータを収集して正確にラベ
ル付けすることは困難であることが多い。したがって、正確なラベル付き特徴を有する訓
練データを生成するためのプロセスを改善する必要がある。
Deep learning systems used in applications such as autonomous driving are developed by training machine learning models. Typically, the performance of deep learning systems is limited, at least in part, by the quality of the training set used to train the model. Significant resources are often invested in collecting, curating, and annotating training data. Traditionally, much of the effort to curate training datasets is done manually by considering potential training data and appropriately labeling the data with relevant features. The effort required to create a training set with accurate labels can be significant and often tedious. Additionally, it is often difficult to collect and accurately label the data that machine learning models need to improve. Therefore, there is a need to improve the process for generating training data with accurate labeled features.
本発明の様々な実施形態は、以下の詳細な説明および添付の図面に開示される。 Various embodiments of the invention are disclosed in the following detailed description and accompanying drawings.
本発明は、プロセス、装置、システム、物質の組成物、コンピュータ可読記憶媒体上に
具現化されたコンピュータプログラム製品、および/またはプロセッサ、例えばプロセッ
サに結合されたメモリに記憶された命令および/またはメモリによって提供された命令を
実行するように構成されたプロセッサ、を含むさまざまな方法で実装され得る。本明細書
では、これらの実装形態、または本発明が取り得る任意の他の形態を、技術と呼ぶことが
できる。一般に、開示されたプロセスのステップの順序は、本発明の範囲内で変更するこ
とができる。特に明記しない限り、タスクを実行するように構成されるものとして説明さ
れるプロセッサまたはメモリなどの構成要素は、所与の時間にタスクを実行するように一
時的に構成される一般的な構成要素、またはタスクを実行するように製造される特定の構
成要素として実装されてもよい。本明細書で使用される場合、「プロセッサ」という用語
は、コンピュータプログラム命令などのデータを処理するように構成された1つまたは複
数のデバイス、回路、および/または処理コアを指す。
The invention relates to a process, an apparatus, a system, a composition of matter, a computer program product embodied on a computer readable storage medium, and/or a processor, e.g. A processor configured to execute instructions provided by a processor may be implemented in a variety of ways. These implementations, or any other forms the invention may take, may be referred to herein as techniques. In general, the order of steps in the disclosed processes may be varied within the scope of the invention. Unless otherwise specified, components such as processors or memory that are described as being configured to perform a task are general components that are temporarily configured to perform a task at a given time. , or may be implemented as a specific component manufactured to perform a task. As used herein, the term "processor" refers to one or more devices, circuits, and/or processing cores configured to process data, such as computer program instructions.
本発明の1つまたは複数の実施形態の詳細な説明を、本発明の原理を示す添付の図面と
共に以下に提供する。本発明は、そのような実施形態に関連して説明されるが、本発明は
いかなる実施形態にも限定されない。本発明の範囲は特許請求の範囲によってのみ限定さ
れ、本発明は多数の代替形態、変形形態および均等物を包含する。本発明の完全な理解を
提供するために、多数の具体的な詳細が以下の説明に記載される。これらの詳細は、例示
の目的で提供されており、本発明は、これらの具体的な詳細の一部または全部なしで特許
請求の範囲に従って実施することができる。明確にするために、本発明に関連する技術分
野で知られている技術資料は、本発明が不必要に不明瞭にならないように詳細には説明さ
れていない。
A detailed description of one or more embodiments of the invention is provided below, along with accompanying drawings that illustrate the principles of the invention. Although the invention is described in connection with such embodiments, the invention is not limited to any embodiment. The scope of the invention is limited only by the claims, and the invention encompasses numerous alternatives, modifications, and equivalents. Numerous specific details are set forth in the following description to provide a thorough understanding of the invention. These details are provided for purposes of illustration and the invention may be practiced according to the claims without some or all of these specific details. For clarity, technical material known in the art related to the invention has not been described in detail so as not to unnecessarily obscure the invention.
高精度な機械学習結果を生成するための機械学習訓練技術が開示される。車両の環境お
よび車両動作パラメータを捕捉するために車両上のセンサによって捕捉されたデータを使
用して、訓練データセットが作成される。例えば、車両に取り付けられたセンサは、車両
が走行している道路および周囲環境の画像データなどのデータを捕捉する。センサデータ
は、車両レーンライン、車両レーン、他の車両トラフィック、障害物、交通制御標識など
を捕捉することができる。オドメトリ(odometry)および他の同様のセンサは、
車両の速度、操舵、向き、方向の変化、位置の変化、高度の変化、速度の変化などの車両
動作パラメータを捕捉する。捕捉されたデータセットは、訓練データセットを作成するた
めに訓練サーバに送信される。訓練データセットは、高精度の機械学習結果を生成する機
械学習モデルを訓練するために使用される。いくつかの実施形態では、時系列の捕捉デー
タが、訓練データを生成するために使用される。例えば、グラウンドトゥルース(gro
und truth)は、時系列要素のグループに基づいて決定され、グループからの単
一の要素に関連付けられる。一例として、30秒などの期間の一連の画像を使用して、車
両が走行する期間にわたる車両レーンラインの実際の経路を決定する。車両レーンライン
は、その期間にわたって車両レーンの最も正確な画像を使用することによって決定される
。レーンラインの異なる部分(または位置)は、時系列の異なる画像データから識別する
ことができる。車両がレーンラインに沿ってレーンを走行するにつれて、レーンラインの
異なる部分についてより正確なデータが捕捉される。いくつかの例では、レーンの閉塞部
分は、車両が例えば隠れたカーブに沿って、または丘の頂上を越えて走行するときに現れ
る。時系列の各画像からのレーンラインの最も正確な部分は、画像データのグループ全体
にわたってレーンラインを識別するために使用され得る。遠方のレーンラインの画像デー
タは、通常、車両付近のレーンラインの画像データよりも詳細度が低い。車両がレーンに
沿って走行するときの時系列の画像データを捕捉することにより、対応するレーンライン
の全ての部分の正確な画像データおよび対応するオドメトリデータが収集される。
A machine learning training technique for generating highly accurate machine learning results is disclosed. A training dataset is created using data captured by sensors on the vehicle to capture the vehicle's environment and vehicle operating parameters. For example, sensors mounted on a vehicle capture data such as image data of the road on which the vehicle is traveling and the surrounding environment. Sensor data can capture vehicle lane lines, vehicle lanes, other vehicle traffic, obstacles, traffic control signs, etc. Odometric and other similar sensors are
Capture vehicle operating parameters such as vehicle speed, steering, heading, changes in direction, changes in position, changes in altitude, and changes in speed. The captured dataset is sent to a training server to create a training dataset. Training datasets are used to train machine learning models that produce highly accurate machine learning results. In some embodiments, time series acquisition data is used to generate training data. For example, ground truth (gro
and truth) is determined based on a group of time series elements and is associated with a single element from the group. As an example, a series of images over a period of time, such as 30 seconds, is used to determine the actual path of the vehicle lane line over the period of time the vehicle is traveling. Vehicle lane lines are determined by using the most accurate image of the vehicle lane over the period of time. Different parts (or positions) of the lane line can be identified from different time series of image data. As the vehicle travels along the lane line, more accurate data is captured for different parts of the lane line. In some examples, lane blockages appear when a vehicle travels, for example, along a hidden curve or over the top of a hill. The most accurate portion of lane lines from each image in the time series may be used to identify lane lines across the group of image data. Image data of distant lane lines typically has a lower level of detail than image data of lane lines near the vehicle. By capturing a time series of image data as the vehicle travels along the lane, accurate image data and corresponding odometry data of all parts of the corresponding lane line are collected.
いくつかの実施形態では、レーンラインなどの特徴の3次元表現が、グラウンドトゥル
ースに対応する時系列要素のグループから作成される。次いで、このグラウンドトゥルー
スは、捕捉された画像データのグループの単一の画像フレームなどの時系列要素のサブセ
ットに関連付けられる。例えば、画像グループの第1の画像は、3次元空間で表現される
レーンラインのグラウンドトゥルースに関連付けられる。グラウンドトゥルースは画像の
グループに基づいて決定されるが、選択された第1のフレームおよびグラウンドトゥルー
スは訓練データを作成するために使用される。一例として、単一の画像のみを使用して車
両レーンの3次元表現を予測するための訓練データが作成される。いくつかの実施形態で
は、時系列要素のグループの任意の要素または要素グループが、グラウンドトゥルースに
関連付けられ、訓練データを作成するために使用される。例えば、グラウンドトゥルース
は、訓練データを作成するための動画シーケンス全体に適用され得る。別の例として、時
系列要素のグループの中間要素または最後の要素が、グラウンドトゥルースに関連付けら
れ、訓練データを作成するために使用される。
In some embodiments, a three-dimensional representation of a feature, such as a lane line, is created from a group of time-series elements that correspond to the ground truth. This ground truth is then associated with a subset of time-series elements, such as a single image frame of a group of captured image data. For example, the first image of the image group is associated with the ground truth of lane lines represented in three-dimensional space. While the ground truth is determined based on the group of images, the selected first frame and the ground truth are used to create training data. As an example, training data is created for predicting a three-dimensional representation of a vehicle lane using only a single image. In some embodiments, any element or group of elements of the group of time series elements is associated with ground truth and used to create training data. For example, ground truth may be applied to an entire video sequence to create training data. As another example, intermediate or last elements of a group of time series elements are associated with ground truth and used to create training data.
様々な実施形態では、選択された画像およびグラウンドトゥルースは、レーンライン、
隣接車両を含む車両の経路予測、物体の奥行き距離、交通標識などの様々な特徴に適用す
ることができる。例えば、隣接レーン内の車両の一連の画像は、その車両の経路を予測す
るために使用される。隣接車両によって撮影された時系列の画像および実際の経路を使用
して、撮影されたグループおよび実際の経路の単一の画像を、車両の経路を予測するため
の訓練データとして使用することができる。この情報を使用して、隣接車両が自律型車両
の経路に割り込むかどうかを予測することもできる。例えば、経路予測は、隣接車両が自
律型車両の前で合流するかどうかを予測することができる。自律型車両は、衝突の可能性
を最小限に抑えるように制御することができる。例えば、自律型車両は、衝突を防ぐため
に減速し、衝突を防ぐために車両の速度および/または操舵を調整し、隣接車両および/
または自律型車両の乗員への警告を開始し、および/またはレーンを変更することなどが
できる。様々な実施形態では、車両経路予測を含む経路予測を正確に推論する能力は、自
律型車両の安全性を大幅に改善する。
In various embodiments, the selected image and the ground truth include lane lines,
It can be applied to various features such as route prediction of vehicles including adjacent vehicles, depth distance of objects, traffic signs, etc. For example, a series of images of a vehicle in adjacent lanes is used to predict the vehicle's path. Using a time series of images taken by neighboring vehicles and the actual route, a single image of the photographed group and the actual route can be used as training data for predicting the vehicle's path. . This information can also be used to predict whether neighboring vehicles will cut into the autonomous vehicle's path. For example, route prediction can predict whether neighboring vehicles will merge in front of the autonomous vehicle. Autonomous vehicles can be controlled to minimize the possibility of collisions. For example, autonomous vehicles can slow down to avoid collisions, adjust vehicle speed and/or steering to prevent collisions, and
or initiate a warning to the autonomous vehicle's occupants and/or change lanes, etc. In various embodiments, the ability to accurately infer route predictions, including vehicle path predictions, significantly improves the safety of autonomous vehicles.
いくつかの実施形態では、訓練された(訓練済の)機械学習モデルは、レーンラインを
含む自動運転のための1つまたは複数の特徴の3次元表現を予測するために使用される。
例えば、レーンラインの画像をセグメント化することによって画像データから2次元のレ
ーンラインを識別する代わりに、時系列の要素および時系列に対応するオドメトリデータ
を使用して3次元表現が生成される。3次元表現は、レーンライン検出ならびに対応する
レーンおよび識別された運転可能経路の検出の精度を大幅に改善する高度の変化を含む。
いくつかの実施形態では、レーンラインは、1つまたは複数のスプラインまたは別のパラ
メータ化された表現形式を使用して表現される。レーンラインを表現するために区分多項
式を使用すると、3次元物体を評価するために必要な計算リソースが大幅に削減される。
この計算リソースの削減は、表現の精度を著しく犠牲にすることのない、処理速度および
効率の改善に対応する。様々な実施形態では、特にレーンラインの曲線を含むレーンライ
ンは、区分多項式、3次元点集合、または別の適切な表現を使用して表現することができ
る。例えば、区分多項式は、センサデータを使用して経時的に捕捉された要素のグループ
から識別されたレーンラインの高精度のセクションを使用して実際のレーンラインを補間
する。
In some embodiments, a trained machine learning model is used to predict a three-dimensional representation of one or more features for automated driving, including lane lines.
For example, instead of identifying two-dimensional lane lines from image data by segmenting an image of lane lines, a three-dimensional representation is generated using elements of a time series and odometry data corresponding to the time series. The three-dimensional representation includes elevation changes that greatly improve the accuracy of lane line detection and detection of corresponding lanes and identified drivable routes.
In some embodiments, lane lines are represented using one or more splines or another parameterized representation format. Using piecewise polynomials to represent lane lines greatly reduces the computational resources required to evaluate three-dimensional objects.
This reduction in computational resources corresponds to improved processing speed and efficiency without significantly sacrificing representation accuracy. In various embodiments, lane lines, particularly including lane line curves, may be represented using a piecewise polynomial, a three-dimensional point set, or another suitable representation. For example, piecewise polynomials interpolate actual lane lines using highly accurate sections of lane lines identified from groups of elements captured over time using sensor data.
いくつかの実施形態では、センサデータが受信される。センサデータは、画像(動画お
よび/または静止画像など)、レーダ、オーディオ、LiDAR、慣性、オドメトリ、位
置、および/または他の形態のセンサデータを含むことができる。センサデータは、時系
列要素のグループを含む。例えば、時系列要素のグループは、ある期間にわたって車両の
カメラセンサから捕捉された画像のグループを含むことができる。いくつかの実施形態で
は、訓練データセットは、時系列要素のグループ内の少なくとも選択された時系列要素に
ついて、時系列要素のグループ内の複数の時系列要素に基づいて対応するグラウンドトゥ
ルースを決定することなどによって決定される。例えば、グラウンドトゥルースは、グル
ープ内の前および/または後の時系列要素を含む時系列要素のグループの各要素の最も関
連する部分を調べることによって決定される。いくつかのシナリオでは、前および/また
は後の時系列要素のみが、曲線の周りで最初に消失し、時系列の後の要素でのみ現れる車
両レーンラインなど、前の時系列要素には存在しないデータを含む。決定されたグラウン
ドトゥルースは、車両レーンラインの3次元表現、車両の予測経路、または別の同様の予
測であり得る。時系列要素のグループの要素が選択され、グラウンドトゥルースと関連付
けられる。選択された要素およびグラウンドトゥルースは訓練データセットの一部である
。いくつかの実施形態では、プロセッサが、訓練データセットを使用して機械学習モデル
を訓練するために使用される。例えば、訓練データセットは、車両の自動運転または運転
者支援動作に使用される特徴を推論するための機械学習モデルを訓練するために使用され
る。訓練された機械学習モデルを使用して、ニューラルネットワークが、車両レーン、運
転可能空間、物体(例えば、歩行者、静止車両、移動車両など)、天候(例えば、雨、雹
、霧など)、交通制御物体(例えば、信号機、交通標識、道路標識など)、交通パターン
などの自動運転に関連する特徴を推論することができる。
In some embodiments sensor data is received. Sensor data may include images (such as video and/or still images), radar, audio, LiDAR, inertial, odometry, position, and/or other forms of sensor data. Sensor data includes groups of time-series elements. For example, a group of time-series elements may include a group of images captured from a vehicle's camera sensor over a period of time. In some embodiments, the training dataset determines, for at least selected time series elements within the group of time series elements, corresponding ground truth based on the plurality of time series elements within the group of time series elements. It is determined by things such as. For example, the ground truth is determined by examining the most relevant parts of each element of a group of time series elements, including previous and/or later time series elements within the group. In some scenarios, only the previous and/or later time series elements are absent from the previous time series elements, such as vehicle lane lines that first disappear around the curve and appear only in later elements of the time series. Contains data. The determined ground truth may be a three-dimensional representation of vehicle lane lines, a predicted path of the vehicle, or another similar prediction. An element of a group of time series elements is selected and associated with the ground truth. The selected elements and ground truth are part of the training dataset. In some embodiments, a processor is used to train a machine learning model using a training dataset. For example, the training dataset is used to train a machine learning model to infer features used for autonomous driving or driver assistance operations of the vehicle. Using a trained machine learning model, a neural network analyzes vehicle lanes, drivable space, objects (e.g., pedestrians, stationary vehicles, moving vehicles, etc.), weather (e.g., rain, hail, fog, etc.), traffic Features related to autonomous driving, such as control objects (e.g., traffic lights, traffic signs, road markings, etc.), traffic patterns, etc., can be inferred.
いくつかの実施形態では、システムは、プロセッサと、プロセッサに結合されたメモリ
とを備える。プロセッサは、車両のカメラによって捕捉された画像に基づく画像データを
受信するように構成される。例えば、車両に取り付けられたカメラセンサは、車両の環境
の画像を捕捉する。カメラは、前向きカメラ、ピラーカメラ、または別の適切に配置され
たカメラであってもよい。カメラから捕捉された画像データは、車両上のGPUまたはA
Iプロセッサなどのプロセッサを使用して処理される。いくつかの実施形態では、画像デ
ータは、車両レーンの3次元軌跡を予測するように訓練された訓練済機械学習モデルへの
入力の基礎として使用される。例えば、画像データは、車両レーンを予測するように訓練
されたニューラルネットワークへの入力として使用される。機械学習モデルは、検出され
たレーンの3次元軌跡を推論する。画像を2次元画像のレーンおよび非レーンセグメント
にセグメント化する代わりに、3次元表現が推論される。いくつかの実施形態では、3次
元表現は、スプライン、パラメトリック曲線、または3次元で曲線を記述することができ
る別の表現である。いくつかの実施形態では、車両レーンの3次元軌跡は、車両を自動的
に制御する際に提供される。例えば、3次元軌跡は、レーンラインおよび対応する運転可
能空間を決定するために使用される。
In some embodiments, a system includes a processor and memory coupled to the processor. The processor is configured to receive image data based on images captured by a camera of the vehicle. For example, a camera sensor mounted on a vehicle captures images of the vehicle's environment. The camera may be a forward-facing camera, a pillar camera, or another appropriately positioned camera. The image data captured from the camera is sent to the GPU or A
Processed using a processor such as an I processor. In some embodiments, the image data is used as the basis for input to a trained machine learning model trained to predict three-dimensional trajectories of vehicle lanes. For example, image data is used as input to a neural network trained to predict vehicle lanes. The machine learning model infers the three-dimensional trajectory of the detected lane. Instead of segmenting the image into lane and non-lane segments of a two-dimensional image, a three-dimensional representation is inferred. In some embodiments, the three-dimensional representation is a spline, a parametric curve, or another representation that can describe a curve in three dimensions. In some embodiments, a three-dimensional trajectory of the vehicle lane is provided in automatically controlling the vehicle. For example, three-dimensional trajectories are used to determine lane lines and corresponding driveable spaces.
図1は、自動運転のための深層学習システムの一実施形態を示すブロック図である。深
層学習システムは、車両の自動運転および/または運転者支援動作のために、ならびに自
動運転のための機械学習モデルを訓練するためのデータを収集および処理するために、一
緒に使用することができる様々な構成要素を含む。様々な実施形態では、深層学習システ
ムは車両に設置される。車両からのデータは、車両または他の同様の車両の自動運転機能
を訓練および改善するために使用することができる。
FIG. 1 is a block diagram illustrating an embodiment of a deep learning system for autonomous driving. Deep learning systems can be used together to collect and process data for autonomous driving and/or driver assistance operations in vehicles, as well as for training machine learning models for autonomous driving. Contains various components. In various embodiments, the deep learning system is installed in a vehicle. Data from the vehicle can be used to train and improve the autonomous driving capabilities of the vehicle or other similar vehicles.
図示の例では、深層学習システム100は、センサ101、画像プリプロセッサ103
、深層学習ネットワーク105、人工知能(AI)プロセッサ107、車両制御モジュー
ル109、およびネットワークインターフェース111を含む深層学習ネットワークであ
る。様々な実施形態において、異なる構成要素は通信可能に接続される。例えば、センサ
101からのセンサデータは、画像プリプロセッサ103に供給される。画像プリプロセ
ッサ103の処理されたセンサデータは、AIプロセッサ107上で動作する深層学習ネ
ットワーク105に供給される。AIプロセッサ107上で動作する深層学習ネットワー
ク105の出力は、車両制御モジュール109に供給される。様々な実施形態では、車両
制御モジュール109は、車両の速度、制動、および/または操舵などの車両の動作に接
続され、車両の動作を制御する。様々な実施形態では、センサデータおよび/または機械
学習結果は、ネットワークインターフェース111を介してリモートサーバに送信するこ
とができる。例えば、車両の性能、快適性、および/または安全性を改善するための訓練
データを収集するために、センサデータは、ネットワークインターフェース111を介し
てリモートサーバに送信することができる。様々な実施形態では、ネットワークインター
フェース111は、他の理由の中でもとりわけ、リモートサーバと通信し、電話をかけ、
テキストメッセージを送信および/または受信し、車両の動作に基づいてセンサデータを
送信するために使用される。いくつかの実施形態では、深層学習システム100は、必要
に応じて追加のまたはより少ない構成要素を含むことができる。例えば、いくつかの実施
形態では、画像プリプロセッサ103は任意選択の構成要素である。別の例として、いく
つかの実施形態では、出力が車両制御モジュール109に提供される前に、深層学習ネッ
トワーク105の出力に対して後処理を実行するために後処理構成要素(図示せず)が使
用される。
In the illustrated example, the
, a
Used to send and/or receive text messages and transmit sensor data based on vehicle operation. In some embodiments,
いくつかの実施形態では、センサ101は、1つまたは複数のセンサを含む。様々な実
施形態では、センサ101は、車両の異なる位置で車両に取り付けられ、および/または
1つまたは複数の異なる方向に向けられてもよい。例えば、センサ101は、車両の前方
、側方、後方、および/または屋根などに、前向き、後ろ向き、横向きなどの方向で取り
付けられてもよい。いくつかの実施形態では、センサ101は、高ダイナミックレンジカ
メラなどの画像センサであってもよい。いくつかの実施形態では、センサ101は非視覚
センサを含む。いくつかの実施形態では、センサ101は、とりわけ、レーダ、オーディ
オ、LiDAR、慣性、オドメトリ、位置、および/または超音波センサを含む。いくつ
かの実施形態では、センサ101は、車両制御モジュール109を有する車両に取り付け
られない。例えば、センサ101は、隣接する車両に取り付けられてもよく、および/ま
たは道路もしくは環境に取り付けられてもよく、センサデータを捕捉するための深層学習
システムの一部として含まれる。いくつかの実施形態では、センサ101は、車両が走行
している路面を捕捉する1つまたは複数のカメラを含む。例えば、1つまたは複数の前向
きおよび/またはピラーカメラが、車両が走行しているレーンのレーンマーキングを捕捉
する。別の例として、カメラは、車両が走行しているレーンに割り込もうとしている車両
を含む隣接車両を捕捉する。追加のセンサは、オドメトリ、位置、および/または車両軌
跡に関する情報を含む車両制御情報を捕捉する。センサ101は、静止画像および/また
は動画を捕捉することができる両方の画像センサを含むことができる。データは、ある期
間にわたって捕捉されたデータのシーケンスなど、ある期間にわたって捕捉され得る。例
えば、レーンマーキングの画像は、15秒の期間または別の適切な期間にわたって車両オ
ドメトリデータと共に捕捉されてもよい。いくつかの実施形態では、センサ101は、車
両の位置および/または位置の変化を判定するための全地球測位システム(GPS)セン
サなどの位置センサを含む。
In some embodiments,
いくつかの実施形態では、画像プリプロセッサ103は、センサ101のセンサデータ
を前処理するために使用される。例えば、画像プリプロセッサ103を使用して、センサ
データを前処理し、センサデータを1つまたは複数の構成要素に分割し、および/または
1つまたは複数の構成要素を後処理することができる。いくつかの実施形態では、画像プ
リプロセッサ103は、グラフィックス処理装置(GPU)、中央処理装置(CPU)、
画像信号プロセッサ、または専用画像プロセッサである。様々な実施形態において、画像
プリプロセッサ103は、高ダイナミックレンジデータを処理するトーンマッパプロセッ
サである。いくつかの実施形態では、画像プリプロセッサ103は、人工知能(AI)プ
ロセッサ107の一部として実装される。例えば、画像プリプロセッサ103は、AIプ
ロセッサ107の構成要素であってもよい。いくつかの実施形態では、画像プリプロセッ
サ103を使用して、画像を正規化するか、または画像を変換することができる。例えば
、魚眼レンズで捕捉された画像はゆがんでいることがあり、画像プリプロセッサ103を
使用して画像を変換し、ゆがみを除去または修正することができる。いくつかの実施形態
では、ノイズ、歪み、および/またはぼやけは、前処理ステップ中に除去または低減され
る。様々な実施形態において、画像は、機械学習分析の結果を改善するために調整または
正規化される。例えば、画像のホワイトバランスは、とりわけ、昼光、晴れ、曇り、夕暮
れ、日の出、日没、および夜間条件などの異なる照明動作条件を考慮するように調整され
る。
In some embodiments,
An image signal processor or a dedicated image processor. In various embodiments,
いくつかの実施形態では、深層学習ネットワーク105は、レーンマーカ、レーン、運
転可能空間、障害物、および/または潜在的な車両経路などを決定するために運転環境を
分析することを含めて、車両制御パラメータを決定するために使用される深層学習ネット
ワークである。例えば、深層学習ネットワーク105は、センサデータなどの入力で訓練
され、その出力が車両制御モジュール109に提供される畳込みニューラルネットワーク
(CNN)などの人工ニューラルネットワークであってもよい。一例として、出力は、レ
ーンマーカの少なくとも3次元表現を含むことができる。別の例として、出力は、少なく
とも車両のレーンに合流する可能性のある潜在的な車両を含むことができる。いくつかの
実施形態では、深層学習ネットワーク105は、少なくともセンサデータを入力として受
信する。追加の入力は、車両の周囲の環境および/または車両の動作特性などの車両仕様
を記述するシーンデータを含むことができる。シーンデータは、降雨、濡れた道路、降雪
、ぬかるみ、高密度の交通、高速道路、都市、スクールゾーンなどの車両の周囲の環境を
記述するシーンタグを含むことができる。いくつかの実施形態では、深層学習ネットワー
ク105の出力は、車両の車両レーンの3次元軌跡である。いくつかの実施形態では、深
層学習ネットワーク105の出力は、潜在的な車両割込みである。例えば、深層学習ネッ
トワーク105は、車両の前方のレーンに進入する可能性が高い隣接車両を識別する。
In some embodiments,
いくつかの実施形態では、人工知能(AI)プロセッサ107は、深層学習ネットワー
ク105を実行するためのハードウェアプロセッサである。いくつかの実施形態では、A
Iプロセッサ107は、センサデータに対して畳込みニューラルネットワーク(CNN)
を使用して推論を実行するための専用AIプロセッサである。AIプロセッサ107は、
センサデータのビット深度に対して最適化することができる。いくつかの実施形態では、
AIプロセッサ107は、とりわけ、畳込み、内積、ベクトル、および/または行列演算
を含むニューラルネットワーク演算などの深層学習演算用に最適化される。いくつかの実
施形態では、AIプロセッサ107は、グラフィックス処理装置(GPU)を使用して実
装される。様々な実施形態では、AIプロセッサ107は、実行されると、AIプロセッ
サに、受信した入力センサデータに対して深層学習分析を実行させ、自動運転に使用され
る機械学習結果を決定させる命令をAIプロセッサに提供するように構成されたメモリに
結合される。いくつかの実施形態では、AIプロセッサ107は、データを訓練データと
して利用可能にする準備としてセンサデータを処理するために使用される。
In some embodiments, artificial intelligence (AI)
The
A dedicated AI processor for performing inference using . The
It can be optimized for the bit depth of sensor data. In some embodiments,
いくつかの実施形態では、車両制御モジュール109は、人工知能(AI)プロセッサ
107の出力を処理し、出力を車両制御動作に変換するために利用される。いくつかの実
施形態では、車両制御モジュール109は、自動運転のために車両を制御するために利用
される。様々な実施形態において、車両制御モジュール109は、車両の速度、加速度、
操舵、制動などを調整することができる。例えば、いくつかの実施形態では、車両制御モ
ジュール109は、車両を制御して、レーン内の車両の位置を維持し、車両を別のレーン
に合流させ、車両の速度およびレーン配置を調整して合流車両などを考慮するために使用
される。
In some embodiments,
Steering, braking, etc. can be adjusted. For example, in some embodiments,
いくつかの実施形態では、車両制御モジュール109は、ブレーキ灯、方向指示器、ヘ
ッドライトなどの車両照明を制御するために使用される。いくつかの実施形態では、車両
制御モジュール109は、車両のサウンドシステム、オーディオ警報の再生、マイクロフ
ォンの有効化、クラクションの有効化などの車両オーディオ状態を制御するために使用さ
れる。いくつかの実施形態では、車両制御モジュール109は、潜在的な衝突または意図
された目的地の接近などの運転イベントを運転者および/または乗客に通知するための警
告システムを含む通知システムを制御するために使用される。いくつかの実施形態では、
車両制御モジュール109は、車両のセンサ101などのセンサを調整するために使用さ
れる。例えば、車両制御モジュール109を使用して、向きの変更、出力解像度および/
またはフォーマットタイプの変更、捕捉レートの増減、捕捉されたダイナミックレンジの
調整、カメラの焦点の調整、センサの有効化および/または無効化など、1つまたは複数
のセンサのパラメータを変更することができる。いくつかの実施形態では、車両制御モジ
ュール109を使用して、フィルタの周波数範囲の変更、特徴および/またはエッジ検出
パラメータの調整、チャネルおよびビット深度の調整など、画像プリプロセッサ103の
パラメータを変更することができる。様々な実施形態では、車両制御モジュール109は
、車両の自動運転および/または運転者支援制御を実施するために使用される。いくつか
の実施形態では、車両制御モジュール109は、メモリと結合されたプロセッサを使用し
て実装される。いくつかの実施形態では、車両制御モジュール109は、特定用途向け集
積回路(ASIC)、プログラマブル論理デバイス(PLD)、または他の適切な処理ハ
ードウェアを使用して実装される。
In some embodiments,
or change the parameters of one or more sensors, such as changing the format type, increasing or decreasing the capture rate, adjusting the captured dynamic range, adjusting the camera focus, enabling and/or disabling the sensor . In some embodiments, the
いくつかの実施形態では、ネットワークインターフェース111は、音声データを含む
データを送信および/または受信するための通信インターフェースである。様々な実施形
態では、ネットワークインターフェース111は、リモートサーバとインターフェース接
続し、音声通話の接続および発信を行い、テキストメッセージを送信および/または受信
し、センサデータを送信し、アップデートされた機械学習モデルを含む深層学習ネットワ
ークへのアップデートを受信し、気象条件および予報、交通状況などを含む環境条件を検
索するためのセルラまたは無線インターフェースを含む。例えば、ネットワークインター
フェース111は、センサ101、画像プリプロセッサ103、深層学習ネットワーク1
05、AIプロセッサ107、および/または車両制御モジュール109の命令および/
または動作パラメータのアップデートを受信するために使用され得る。深層学習ネットワ
ーク105の機械学習モデルは、ネットワークインターフェース111を使用してアップ
デートすることができる。別の例として、ネットワークインターフェース111を使用し
て、センサ101のファームウェアおよび/または画像処理パラメータなどの画像プリプ
ロセッサ103の動作パラメータをアップデートすることができる。さらに別の例として
、ネットワークインターフェース111を使用して、機械学習モデルを訓練するために潜
在的な訓練データをリモートサーバに送信することができる。
In some embodiments,
05,
or may be used to receive updates of operating parameters. The machine learning model of
図2は、自動運転のための機械学習モデルを訓練および適用するためのプロセスの一実
施形態を示す流れ図である。例えば、センサおよびオドメトリデータを含む入力データが
受信され、処理されて、機械学習モデルを訓練するための訓練データが作成される。いく
つかの実施形態では、センサデータは、自動運転システムを介して捕捉された画像データ
に対応する。いくつかの実施形態では、センサデータは、ユーザが手動で自動運転を解除
するなどの特定のユースケースに基づいて捕捉されたセンサデータに対応する。いくつか
の実施形態では、プロセスは、図1の深層学習システム100のための機械学習モデルを
作成および配備するために使用される。
FIG. 2 is a flow diagram illustrating one embodiment of a process for training and applying machine learning models for autonomous driving. For example, input data including sensor and odometry data is received and processed to create training data for training a machine learning model. In some embodiments, the sensor data corresponds to image data captured via an autonomous driving system. In some embodiments, the sensor data corresponds to sensor data captured based on a particular use case, such as a user manually disabling autonomous driving. In some embodiments, the process is used to create and deploy machine learning models for
201において、訓練データが準備される。いくつかの実施形態では、画像データおよ
びオドメトリデータを含むセンサデータを受信して、訓練データセットを作成する。セン
サデータは、1つまたは複数のカメラからの静止画像および/または動画を含むことがで
きる。関連するセンサデータを提供するために、レーダ、LiDAR、超音波などの追加
のセンサを使用することができる。様々な実施形態において、センサデータは、センサデ
ータの特徴を識別するのを助けるために、対応するオドメトリデータと対にされる。例え
ば、位置および位置の変化のデータを使用して、レーンライン、交通制御信号、物体など
のセンサデータ内の関連する特徴の位置を識別することができる。いくつかの実施形態で
は、センサデータは時系列の要素であり、グラウンドトゥルースを判定するために使用さ
れる。次いで、グループのグラウンドトゥルースは、画像データの第1のフレームなどの
時系列のサブセットに関連付けられる。時系列の選択された要素およびグラウンドトゥル
ースは、訓練データを準備するために使用される。いくつかの実施形態では、訓練データ
は、レーンライン、車両経路、交通パターンなどのセンサデータからの特徴のみを識別す
るように機械学習モデルを訓練するために準備される。準備された訓練データは、訓練、
検証、および試験のためのデータを含むことができる。様々な実施形態において、センサ
データは、異なるフォーマットであってもよい。例えば、センサデータは、静止画像、動
画、オーディオなどであってもよい。オドメトリデータは、印加された加速度、印加され
た制動、印加された操舵、車両の位置、車両の向き、車両の位置の変化、車両の向きの変
化などの車両動作パラメータを含んでもよい。様々な実施形態では、訓練データは、訓練
データセットを作成するためにキュレーションおよびアノテーションされる。いくつかの
実施形態では、訓練データの準備の一部は、人間のキュレータによって実行されてもよい
。様々な実施形態では、訓練データの一部は、車両から捕捉されたデータから自動的に生
成され、ロバストな訓練データセットを構築するのに必要な労力および時間を大幅に削減
する。いくつかの実施形態では、データのフォーマットは、配備済み深層学習アプリケー
ションで使用される機械学習モデルと互換性がある。様々な実施形態において、訓練デー
タは、訓練されたモデルの精度を試験するための検証データを含む。
At 201, training data is prepared. In some embodiments, sensor data including image data and odometry data is received to create a training dataset. Sensor data may include still images and/or video from one or more cameras. Additional sensors such as radar, LiDAR, ultrasound, etc. can be used to provide relevant sensor data. In various embodiments, sensor data is paired with corresponding odometry data to help identify characteristics of the sensor data. For example, position and position change data can be used to identify the position of relevant features within sensor data such as lane lines, traffic control signals, objects, and the like. In some embodiments, the sensor data is a time series of elements and is used to determine ground truth. The group ground truth is then associated with a subset of the time series, such as the first frame of image data. The selected elements of the time series and the ground truth are used to prepare training data. In some embodiments, training data is prepared to train a machine learning model to only identify features from sensor data such as lane lines, vehicle paths, traffic patterns, etc. The prepared training data is used for training,
May contain data for validation and testing. In various embodiments, sensor data may be in different formats. For example, sensor data may be still images, videos, audio, etc. The odometry data may include vehicle operating parameters such as applied acceleration, applied braking, applied steering, vehicle position, vehicle orientation, change in vehicle position, change in vehicle orientation. In various embodiments, training data is curated and annotated to create a training dataset. In some embodiments, part of the training data preparation may be performed by a human curator. In various embodiments, some of the training data is automatically generated from data captured from the vehicle, greatly reducing the effort and time required to build a robust training data set. In some embodiments, the format of the data is compatible with machine learning models used in deployed deep learning applications. In various embodiments, the training data includes validation data for testing the accuracy of the trained model.
203において、機械学習モデルが訓練される。例えば、201で準備されたデータを
使用して機械学習モデルが訓練される。いくつかの実施形態では、モデルは、畳込みニュ
ーラルネットワーク(CNN)などのニューラルネットワークである。様々な実施形態で
は、モデルは複数の中間層を含む。いくつかの実施形態では、ニューラルネットワークは
、複数の畳込み層およびプーリング層を含む複数の層を含むことができる。いくつかの実
施形態では、訓練モデルは、受信したセンサデータから作成された検証データセットを使
用して検証される。いくつかの実施形態では、機械学習モデルは、単一の入力画像から特
徴の3次元表現を予測するように訓練される。例えば、レーンラインの3次元表現が、カ
メラから捕捉された画像から推論されることができる。別の例として、カメラから捕捉さ
れた画像から、車両が合流しようとしているか否かを含む隣接車両の予測経路が予測され
る。
At 203, a machine learning model is trained. For example, a machine learning model is trained using the data prepared in 201. In some embodiments, the model is a neural network, such as a convolutional neural network (CNN). In various embodiments, the model includes multiple intermediate layers. In some embodiments, a neural network may include multiple layers, including multiple convolutional layers and pooling layers. In some embodiments, the training model is validated using a validation dataset created from received sensor data. In some embodiments, a machine learning model is trained to predict three-dimensional representations of features from a single input image. For example, a three-dimensional representation of lane lines can be inferred from images captured from a camera. As another example, an image captured from a camera predicts the predicted path of an adjacent vehicle, including whether the vehicle is about to merge.
205において、訓練された機械学習モデルが配備される。例えば、訓練された機械学
習モデルは、図1の深層学習ネットワーク105などの深層学習ネットワークのアップデ
ートとして車両にインストールされる。いくつかの実施形態では、無線アップデートを使
用して、新たに訓練された機械学習モデルをインストールする。いくつかの実施形態では
、アップデートは、WiFiまたはセルラネットワークなどの無線ネットワークを使用し
て送信されるファームウェアアップデートである。いくつかの実施形態では、新しい機械
学習モデルは、車両が整備されるときにインストールされてもよい。
At 205, the trained machine learning model is deployed. For example, the trained machine learning model is installed in a vehicle as an update to a deep learning network, such as
207において、センサデータが受信される。例えば、センサデータは、車両の1つま
たは複数のセンサから捕捉される。いくつかの実施形態では、センサは図1のセンサ10
1である。センサは、フロントガラスの後ろに取り付けられた魚眼カメラ、ピラーに取り
付けられた前向きまたは横向きカメラ、後ろ向きカメラなどの画像センサを含むことがで
きる。様々な実施形態では、センサデータは、203で訓練された機械学習モデルが入力
として利用する形式であるか、またはその形式に変換される。例えば、センサデータは、
生のまたは処理された画像データであってもよい。いくつかの実施形態では、データは、
超音波センサ、レーダ、LiDARセンサ、マイクロフォン、または他の適切な技術から
捕捉されたデータである。いくつかの実施形態では、センサデータは、前処理ステップ中
に図1の画像プリプロセッサ103などの画像プリプロセッサを使用して前処理される。
例えば、画像は、歪み、ノイズなどを除去するために正規化されてもよい。
At 207, sensor data is received. For example, sensor data is captured from one or more sensors of a vehicle. In some embodiments, the sensor is sensor 10 of FIG.
It is 1. The sensors can include image sensors such as a fisheye camera mounted behind the windshield, a front-facing or side-facing camera mounted on a pillar, a rear-facing camera, and the like. In various embodiments, the sensor data is in or converted to a format for use as input by the trained machine learning model at 203. For example, sensor data is
It may be raw or processed image data. In some embodiments, the data is
Data captured from ultrasound sensors, radar, LiDAR sensors, microphones, or other suitable technology. In some embodiments, the sensor data is preprocessed using an image preprocessor, such as
For example, images may be normalized to remove distortion, noise, etc.
209において、訓練された機械学習モデルが適用される。例えば、203で訓練され
た機械学習モデルは、207で受信されたセンサデータに適用される。いくつかの実施形
態では、モデルの適用は、図1の深層学習ネットワーク105などの深層学習ネットワー
クを使用して、図1のAIプロセッサ107などのAIプロセッサによって実行される。
様々な実施形態では、訓練された機械学習モデルを適用することによって、レーンライン
などの特徴の3次元表現が識別および/または予測される。例えば、車両が走行している
レーンのレーンラインを表現する2つのスプラインが推論される。別の例として、隣接車
両が現在のレーンに割り込む可能性があるかどうかを含む、隣接車両の予測経路が推論さ
れる。様々な実施形態では、機械学習モデルを適用することによって、車両、障害物、レ
ーン、交通制御信号、地図特徴、物体距離、制限速度、運転可能空間などが識別される。
いくつかの実施形態では、特徴は3次元で識別される。
At 209, the trained machine learning model is applied. For example, the machine learning model trained at 203 is applied to the sensor data received at 207. In some embodiments, application of the model is performed by an AI processor, such as
In various embodiments, three-dimensional representations of features, such as lane lines, are identified and/or predicted by applying a trained machine learning model. For example, two splines are inferred that represent the lane lines of the lane in which the vehicle is traveling. As another example, a predicted path for an adjacent vehicle is inferred, including whether the adjacent vehicle is likely to cut into the current lane. In various embodiments, machine learning models are applied to identify vehicles, obstacles, lanes, traffic control signals, map features, object distances, speed limits, drivable spaces, and the like.
In some embodiments, features are identified in three dimensions.
211において、自律型車両が制御される。例えば、1つまたは複数の自動運転機能が
、車両の様々な態様を制御することによって実施される。例は、車両の操舵、速度、加速
度、および/または制動を制御すること、レーン内の車両の位置を維持すること、他の車
両および/または障害物に対する車両の位置を維持すること、乗員に通知または警告を提
供することなどを含むことができる。209で実行された分析に基づいて、車両の操舵お
よび速度は、車両を2つのレーンライン間に維持するように制御される。例えば、左右の
レーンラインが予測され、対応する車両レーンおよび運転可能空間が識別される。様々な
実施形態では、図1の車両制御モジュール109などの車両制御モジュールが車両を制御
する。
At 211, the autonomous vehicle is controlled. For example, one or more automated driving functions may be implemented by controlling various aspects of the vehicle. Examples include controlling the steering, speed, acceleration, and/or braking of a vehicle; maintaining the vehicle's position within a lane; maintaining the vehicle's position relative to other vehicles and/or obstacles; This may include providing notices or warnings. Based on the analysis performed at 209, the steering and speed of the vehicle are controlled to maintain the vehicle between the two lane lines. For example, left and right lane lines are predicted and corresponding vehicle lanes and drivable spaces are identified. In various embodiments, a vehicle control module, such as
図3は、時系列の要素を使用して訓練データを作成するプロセスの一実施形態を示す流
れ図である。例えば、センサおよびオドメトリデータで構成される時系列の要素が、車両
から収集され、訓練データを自動的に作成するために使用される。様々な実施形態におい
て、図3のプロセスは、訓練データを対応するグラウンドトゥルースで自動的にラベル付
けするために使用される。時系列に対応する結果は、時系列の要素に関連付けられる。結
果および選択された要素は、将来の結果を予測するための訓練データとしてパッケージ化
される。様々な実施形態では、センサおよび関連データは、図1の深層学習システムを使
用して捕捉される。例えば、様々な実施形態において、センサデータは、図1のセンサ1
01から捕捉される。いくつかの実施形態では、図3のプロセスは、図2の201で実行
される。いくつかの実施形態では、図3のプロセスは、既存の予測が正しくないかまたは
改善され得る場合にデータを自動的に収集するために実行される。例えば、車両が自律型
車両の経路に割り込んでいるかどうかを判定するために、自律型車両によって予測が行わ
れる。一定期間待機し、捕捉されたセンサデータを分析した後、予測が正しいか誤ってい
るかの判定を行うことができる。いくつかの実施形態では、予測が改善され得るという判
定が行われる。予測が正しくなかった場合、または改善することができた場合、図3のプ
ロセスを予測に関連するデータに適用して、機械学習モデルを改善するための例のキュレ
ーションされたセットを作成することができる。
FIG. 3 is a flow diagram illustrating one embodiment of a process for creating training data using time-series elements. For example, a time series of elements consisting of sensor and odometry data is collected from a vehicle and used to automatically create training data. In various embodiments, the process of FIG. 3 is used to automatically label training data with the corresponding ground truth. Results corresponding to a time series are associated with elements of the time series. The results and selected elements are packaged as training data to predict future results. In various embodiments, sensors and associated data are captured using the deep learning system of FIG. For example, in various embodiments, sensor data may include sensor 1 of FIG.
Captured from 01. In some embodiments, the process of FIG. 3 is performed at 201 of FIG. In some embodiments, the process of FIG. 3 is performed to automatically collect data when existing predictions are incorrect or can be improved. For example, predictions are made by the autonomous vehicle to determine whether the vehicle is cutting into the autonomous vehicle's path. After waiting for a period of time and analyzing the captured sensor data, a determination can be made whether the prediction is correct or incorrect. In some embodiments, a determination is made that the prediction can be improved. If the prediction was incorrect or could be improved, apply the process in Figure 3 to the data associated with the prediction to create a curated set of examples to improve the machine learning model. I can do it.
301において、時系列の要素が受信される。様々な実施形態では、要素は、車両で捕
捉されて訓練サーバに送信される画像データなどのセンサデータである。センサデータは
、時系列の要素を作成するために一定期間にわたって捕捉される。様々な実施形態におい
て、要素は、要素の順序を維持するためのタイムスタンプである。要素が時系列を通って
進むにつれて、時系列におけるより後のイベントは、時系列のより早い要素からの結果の
予測を助けるために使用される。例えば、時系列は、合流するように合図し、加速し、自
分自身を近くのレーンラインの近くに配置している隣接車線内の車両を捕捉することがで
きる。時系列全体を使用して、結果を使用して、車両が共有レーンに合流したことを判定
することができる。この結果は、時系列の初期画像のうちの1つなどの時系列の選択され
た要素に基づいて車両が合流することを予測するために使用することができる。別の例と
して、時系列はレーンラインの曲線を捕捉する。時系列は、時系列の単一の要素のみから
は明らかではないレーンの様々なくぼみ、曲がり、山などを捕捉する。様々な実施形態に
おいて、要素は、機械学習モデルが入力として使用する形式のセンサデータである。例え
ば、センサデータは、生のまたは処理された画像データであってもよい。いくつかの実施
形態では、データは、超音波センサ、レーダ、LiDARセンサ、または他の適切な技術
から捕捉されたデータである。
At 301, a time series of elements is received. In various embodiments, the element is sensor data, such as image data captured on a vehicle and sent to a training server. Sensor data is captured over a period of time to create a time series element. In various embodiments, the elements are timestamps to maintain order of the elements. As elements progress through the time series, later events in the time series are used to help predict outcomes from earlier elements in the time series. For example, the time series may capture vehicles in adjacent lanes signaling to merge, accelerating, and positioning themselves near nearby lane lines. Using the entire time series, the results can be used to determine when a vehicle merges into a shared lane. This result can be used to predict vehicle merging based on selected elements of the time series, such as one of the initial images of the time series. As another example, the time series captures the curve of lane lines. The time series captures various dips, bends, peaks, etc. in the lane that are not apparent from a single element of the time series alone. In various embodiments, the element is sensor data in a form that the machine learning model uses as input. For example, sensor data may be raw or processed image data. In some embodiments, the data is data captured from an ultrasound sensor, radar, LiDAR sensor, or other suitable technology.
様々な実施形態において、時系列は、タイムスタンプを時系列の各要素に関連付けるこ
とによって編成される。例えば、タイムスタンプは、時系列における少なくとも第1の要
素に関連付けられる。タイムスタンプは、オドメトリデータなどの関連データで時系列要
素を較正するために使用され得る。様々な実施形態では、時系列の長さは、10秒、30
秒、または別の適切な長さなどの固定長の時間であってもよい。時間の長さは設定可能で
あり得る。様々な実施形態において、時系列は、車両の平均速度などの車両の速度に基づ
くことができる。例えば、より遅い速度では、時系列の時間の長さを増加させて、同じ速
度に対してより短い時間長を使用する場合に可能となるよりも長い移動距離にわたってデ
ータを捕捉することができる。いくつかの実施形態では、時系列内の要素の数は設定可能
である。例えば、要素の数は、移動距離に基づくことができる。例えば、一定時間の間、
より速く移動する車両は、より遅く移動する車両よりも時系列内により多くの要素を含む
。追加の要素が、捕捉された環境の忠実度を高め、予測される機械学習結果の精度を向上
させることができる。様々な実施形態において、要素の数は、センサがデータを捕捉する
1秒当たりのフレームを調整することによって、および/または不要な中間フレームを破
棄することによって調整される。
In various embodiments, a time series is organized by associating a timestamp with each element of the time series. For example, a timestamp is associated with at least a first element in the time series. Timestamps may be used to calibrate time series elements with related data such as odometry data. In various embodiments, the length of the time series is 10 seconds, 30
It may be a fixed length of time, such as seconds, or another suitable length. The length of time may be configurable. In various embodiments, the time series can be based on the speed of the vehicle, such as the average speed of the vehicle. For example, at a slower speed, the time length of the time series can be increased to capture data over a greater distance traveled than would be possible using a shorter time length for the same speed. In some embodiments, the number of elements within the time series is configurable. For example, the number of elements can be based on the distance traveled. For example, for a certain period of time,
Faster moving vehicles include more elements in the time series than slower moving vehicles. Additional elements can increase the fidelity of the captured environment and improve the accuracy of predicted machine learning results. In various embodiments, the number of elements is adjusted by adjusting the frames per second that the sensor captures data and/or by discarding unnecessary intermediate frames.
303において、時系列の要素に関連するデータが受信される。様々な実施形態では、
関連データは、301で受信された要素と共に訓練サーバで受信される。いくつかの実施
形態では、関連データは、車両のオドメトリデータである。位置、向き、位置の変化、向
きの変化、および/または他の関連車両データを使用して、時系列の要素で識別された特
徴の位置データをラベル付けすることができる。例えば、レーンラインの要素の時系列を
調べることにより、レーンラインを非常に正確な位置でラベル付けすることができる。通
常、車両カメラに最も近いレーンラインは正確であり、車両の位置に密接に関連している
。一方、車両から最も遠いラインのXYZ位置は、決定が困難である。レーンラインの遠
方部分は、(例えば、曲がり角または丘の後ろに)閉塞している場合および/または正確
に捕捉することが(例えば、距離または照明などに起因して)困難である場合がある。要
素に関連するデータは、高い精度で識別された時系列で識別された特徴の部分をラベル付
けするために使用される。様々な実施形態では、閾値を使用して、特徴の識別された部分
(レーンラインの一部など)を関連データに関連付けるかどうかを判定する。例えば、高
い確度で識別されたレーンラインの部分(車両に近い部分など)は関連データに関連付け
られ、確度が閾値未満で識別されたレーンラインの部分(車両から遠く離れた部分など)
はその要素の関連データに関連付けられない。代わりに、より高い確度を有する後続要素
などの時系列の別の要素およびその関連データが使用される。いくつかの実施形態では、
関連データは、図1の深層学習ネットワーク105の出力などのニューラルネットワーク
の出力である。いくつかの実施形態では、関連データは、図1の車両制御モジュール10
9などの車両制御モジュールの出力である。関連データは、速度、速度の変化、加速度、
加速度の変化、操舵、操舵の変化、制動、制動の変化などの車両動作パラメータを含むこ
とができる。いくつかの実施形態では、関連データは、障害物などの物体の距離を推定す
るためのレーダデータである。
At 303, data related to elements of the time series is received. In various embodiments,
Related data is received at the training server along with the elements received at 301. In some embodiments, the relevant data is vehicle odometry data. Position, orientation, change in position, change in orientation, and/or other relevant vehicle data may be used to label the position data of the identified feature in the time series element. For example, by examining the time series of lane line elements, lane lines can be labeled with very precise locations. Typically, the lane line closest to the vehicle camera is accurate and closely related to the vehicle's location. On the other hand, the XYZ position of the line farthest from the vehicle is difficult to determine. Distant portions of the lane line may be occluded (e.g., behind a turn or hill) and/or difficult to capture accurately (e.g., due to distance, lighting, etc.). The data related to the elements is used to label parts of the identified features in the identified time series with high accuracy. In various embodiments, a threshold is used to determine whether to associate an identified portion of a feature (such as a portion of a lane line) with related data. For example, parts of the lane line that are identified with high accuracy (e.g., parts closer to the vehicle) are associated with relevant data, and parts of the lane line that are identified with less than a threshold (e.g., parts far from the vehicle)
is not associated with the element's associated data. Instead, another element of the time series and its associated data, such as a successor element with higher accuracy, is used. In some embodiments,
The relevant data is the output of a neural network, such as the output of
This is the output of a vehicle control module such as 9. Related data includes speed, change in speed, acceleration,
Vehicle operating parameters such as acceleration changes, steering, steering changes, braking, braking changes, etc. may be included. In some embodiments, the relevant data is radar data for estimating the distance of objects such as obstacles.
いくつかの実施形態では、時系列の要素に関連するデータは、地図データを含む。例え
ば、303において、道路および/または衛星レベルの地図データなどのオフラインデー
タが受信される。地図データは、道路、車両レーン、交差点、制限速度、スクールゾーン
などの特徴を識別するために使用することができる。例えば、地図データは、車両レーン
の経路を記述することができる。別の例として、地図データは、地図の様々な道路に関連
付けられた制限速度を記述することができる。
In some embodiments, the data associated with the time series elements includes map data. For example, at 303, offline data such as road and/or satellite level map data is received. Map data can be used to identify features such as roads, vehicle lanes, intersections, speed limits, school zones, etc. For example, the map data may describe the route of vehicle lanes. As another example, the map data may describe speed limits associated with various roads in the map.
様々な実施形態において、時系列の要素に関連するデータは、タイムスタンプを関連デ
ータと関連付けることによって編成される。時系列要素および関連データからの対応する
タイムスタンプを使用して、2つのデータセットを同期させることができる。いくつかの
実施形態では、データは捕捉時に同期される。例えば、時系列の各要素が捕捉されると、
対応する関連データのセットが捕捉され、時系列要素と共に保存される。様々な実施形態
では、関連データの期間は設定可能であり、および/または要素の時系列の期間と一致す
る。いくつかの実施形態では、関連データは、時系列要素と同じレートでサンプリングさ
れる。
In various embodiments, data related to time-series elements is organized by associating time stamps with related data. The two datasets can be synchronized using time series elements and corresponding timestamps from related data. In some embodiments, data is synchronized at the time of acquisition. For example, once each element of the time series is captured,
A corresponding set of related data is captured and stored with the time series elements. In various embodiments, the period of related data is configurable and/or matches the period of the element's chronology. In some embodiments, the related data is sampled at the same rate as the time series elements.
305において、時系列に対してグラウンドトゥルースが決定される。様々な実施形態
において、時系列は、機械学習特徴(machine learning featur
e)に関連するグラウンドトゥルースを決定するために分析される。例えば、レーンライ
ンは、そのレーンラインのグラウンドトゥルースに対応する時系列から識別される。別の
例として、移動物体(例えば、車両、歩行者、自転車、動物など)の経路についてのグラ
ウンドトゥルースは、時系列から検出された移動物体について識別された経路である。い
くつかの実施形態では、移動車両が時系列にわたって自律型車両のレーンに進入する場合
、移動車両は割込み車両としてアノテーションされる。いくつかの実施形態では、グラウ
ンドトゥルースは、3次元軌跡などの3次元表現として表現される。例えば、レーンライ
ンに関連付けられたグラウンドトゥルースは、3次元のパラメータ化スプラインまたは曲
線として表現され得る。別の例として、検出された車両の予測経路が決定され、3次元軌
跡として表現される。予測経路は、車両が占有空間に合流しているかどうかを判定するた
めに使用され得る。様々な実施形態において、時系列の要素を調べることによってのみ、
グラウンドトゥルースを決定することができる。例えば、時系列のサブセットのみを分析
すると、レーンラインの一部を閉塞されたままに残す可能性がある。時系列の要素にわた
って分析を拡張することによって、レーンラインの閉塞部分が明らかになる。さらに、時
系列の終わり近くに捕捉されたデータは、距離がより離れたレーンラインの部分の詳細を
より正確に(例えば、より高い忠実度で)捕捉する。さらに、関連データは、より近接し
て(距離および時間の両方で)捕捉されたデータに基づくため、関連データもより正確で
ある。様々な実施形態では、物体の異なる部分を高度を含む正確な3次元位置にマッピン
グするために、要素の時系列の異なる要素で識別されたレーンラインなどの検出された物
体の異なる部分に、同時位置特定およびマッピング技術が適用される。マッピングされた
3次元位置のセットは、時系列にわたって捕捉されたレーンラインのセグメントなどの物
体のグラウンドトゥルースを表現する。いくつかの実施形態では、位置特定およびマッピ
ング技術は、正確な点集合、例えば、車両レーンラインに沿った異なる点に対応する点集
合をもたらす。点集合は、スプライン曲線またはパラメトリック曲線などのより効率的な
フォーマットに変換することができる。いくつかの実施形態では、グラウンドトゥルース
は、レーンライン、運転可能空間、交通制御手段、車両などの物体を3次元で検出するた
めに決定される。
At 305, ground truth is determined for the time series. In various embodiments, the time series includes machine learning features.
e) is analyzed to determine the ground truth associated with For example, a lane line is identified from a time series that corresponds to the ground truth of that lane line. As another example, the ground truth for the path of a moving object (eg, vehicle, pedestrian, bicycle, animal, etc.) is the path identified for the moving object detected from the time series. In some embodiments, a moving vehicle is annotated as an intruding vehicle if the moving vehicle enters the autonomous vehicle's lane over time. In some embodiments, the ground truth is represented as a three-dimensional representation, such as a three-dimensional trajectory. For example, the ground truth associated with lane lines may be represented as a three-dimensional parameterized spline or curve. As another example, the predicted path of the detected vehicle is determined and represented as a three-dimensional trajectory. The predicted route may be used to determine whether a vehicle is merging into an occupied space. In various embodiments, only by examining elements of the time series,
The ground truth can be determined. For example, analyzing only a subset of the time series may leave some lane lines occluded. By extending the analysis across time-series elements, lane line blockages are revealed. Furthermore, data captured near the end of the time series more accurately (eg, with higher fidelity) captures details of portions of the lane line that are more distant in distance. Furthermore, because the relevant data is based on data captured more closely (both in distance and time), the relevant data is also more accurate. In various embodiments, different parts of the detected object, such as lane lines identified by different elements of the time series of elements, can be simultaneously Location and mapping techniques are applied. The set of mapped three-dimensional locations represents the ground truth of an object, such as a segment of a lane line, captured over time. In some embodiments, the localization and mapping technique provides a precise point set, eg, a point set corresponding to different points along a vehicle lane line. Point sets can be converted to more efficient formats such as spline curves or parametric curves. In some embodiments, ground truth is determined to detect objects such as lane lines, drivable spaces, traffic control means, vehicles, etc. in three dimensions.
いくつかの実施形態では、グラウンドトゥルースは、意味ラベルを予測するために決定
される。例えば、検出された車両は、左レーンまたは右レーンにあるとラベル付けするこ
とができる。いくつかの実施形態では、検出された車両は、死角にあるとして、道を譲る
べき車両として、または別の適切な意味ラベルでラベル付けすることができる。いくつか
の実施形態では、車両は、決定されたグラウンドトゥルースに基づいて地図内の道路また
はレーンに割り当てられる。追加の例として、決定されたグラウンドトゥルースを使用し
て、信号機、レーン、運転可能空間、または自動運転を支援する他の特徴をラベル付けす
ることができる。
In some embodiments, ground truth is determined to predict semantic labels. For example, a detected vehicle may be labeled as being in the left or right lane. In some embodiments, a detected vehicle may be labeled as being in a blind spot, as a vehicle to yield to, or with another suitable semantic label. In some embodiments, vehicles are assigned to roads or lanes in the map based on the determined ground truth. As an additional example, the determined ground truth can be used to label traffic lights, lanes, drivable spaces, or other features that aid autonomous driving.
いくつかの実施形態では、関連データは、検出された物体の深度(または距離)データ
である。距離データを要素の時系列において識別された物体と関連付けることによって、
機械学習モデルは、検出された物体についてのグラウンドトゥルースとして関連する距離
データを使用することによって物体距離を推定するように訓練されることができる。いく
つかの実施形態では、距離は、障害物、障壁、移動車両、静止車両、交通制御信号、歩行
者などの検出された物体の距離である。
In some embodiments, the relevant data is depth (or distance) data of the detected object. By associating distance data with objects identified in a time series of elements,
A machine learning model can be trained to estimate object distance by using relevant distance data as ground truth about detected objects. In some embodiments, the distance is the distance of a detected object, such as an obstacle, barrier, moving vehicle, stationary vehicle, traffic control signal, pedestrian, etc.
307において、訓練データがパッケージ化される。例えば、時系列の要素が選択され
、305で決定されたグラウンドトゥルースと関連付けられる。様々な実施形態において
、選択される要素は、時系列における初期要素である。選択された要素は、機械学習モデ
ルに入力されたセンサデータを表現し、グラウンドトゥルースは、予測される結果を表現
する。様々な実施形態において、訓練データは、訓練データとしてパッケージ化され準備
される。いくつかの実施形態では、訓練データは、訓練、検証、および試験データにパッ
ケージ化される。決定されたグラウンドトゥルースおよび選択された時系列の要素に基づ
いて、訓練データは、自動運転のための他の有用な特徴の中でも、レーンライン、車両の
予測経路、制限速度、車両の割込み、物体距離、および/または運転可能空間を識別する
ための機械学習モデルを訓練するためにパッケージ化することができる。パッケージ化さ
れた訓練データはこうして機械学習モデルを訓練するために利用可能となる。
At 307, the training data is packaged. For example, elements of the time series are selected and associated with the determined ground truth at 305. In various embodiments, the selected element is an initial element in the time series. The selected elements represent the sensor data input to the machine learning model, and the ground truth represents the predicted outcome. In various embodiments, training data is packaged and prepared as training data. In some embodiments, training data is packaged into training, validation, and test data. Based on the determined ground truth and selected time series elements, the training data can be used to analyze lane lines, vehicle predicted path, speed limits, vehicle cut-ins, objects, among other useful features for automated driving. It can be packaged to train machine learning models to identify distances and/or drivable spaces. The packaged training data is then available for training machine learning models.
図4は、自動運転のための機械学習モデルを訓練および適用するプロセスの一実施形態
を示す流れ図である。いくつかの実施形態では、図4のプロセスは、自動運転のための機
械学習モデルを訓練するためのセンサデータおよびオドメトリデータを収集および保持す
るために利用される。いくつかの実施形態では、図4のプロセスは、自動運転制御が有効
であるか否かにかかわらず、自動運転が有効な車両で実施される。例えば、センサおよび
オドメトリデータは、自動運転が解除された直後、車両が人間の運転者によって運転され
ている間、および/または車両が自動運転されている間に収集することができる。いくつ
かの実施形態では、図4によって説明される技術は、図1の深層学習システムを使用して
実施される。いくつかの実施形態では、図4のプロセスの一部は、自動運転のための機械
学習モデルを適用するプロセスの一部として、図2の207、209、および/または2
11で実行される。
FIG. 4 is a flow diagram illustrating one embodiment of a process for training and applying machine learning models for autonomous driving. In some embodiments, the process of FIG. 4 is utilized to collect and maintain sensor data and odometry data for training machine learning models for autonomous driving. In some embodiments, the process of FIG. 4 is performed in an autonomously enabled vehicle, whether or not autonomous driving controls are enabled. For example, sensor and odometry data may be collected immediately after autonomous driving is disengaged, while the vehicle is being operated by a human driver, and/or while the vehicle is being autonomously operated. In some embodiments, the technique illustrated by FIG. 4 is implemented using the deep learning system of FIG. 1. In some embodiments, a portion of the process of FIG. 4 may include 207, 209, and/or 2 of FIG.
11.
401において、センサデータが受信される。例えば、センサを備えた車両が、センサ
データを捕捉し、車両上で動作するニューラルネットワークにセンサデータを提供する。
いくつかの実施形態では、センサデータは、視覚データ、超音波データ、LiDARデー
タ、または他の適切なセンサデータであってもよい。例えば、高ダイナミックレンジ前向
きカメラから画像が捕捉される。別の例として、横向き超音波センサから超音波データが
捕捉される。いくつかの実施形態では、車両には、データを捕捉するための複数のセンサ
が取り付けられる。例えば、いくつかの実施形態では、8つのサラウンドカメラが車両に
取り付けられ、車両の周囲の360度の視界を最大250メートルの到達距離で提供する
。いくつかの実施形態では、カメラセンサは、広角前方カメラ、狭角前方カメラ、後方視
認カメラ、前方視サイドカメラ、および/または後方視サイドカメラを含む。いくつかの
実施形態では、超音波および/またはレーダセンサを使用して周囲の詳細を捕捉する。例
えば、12個の超音波センサを車両に取り付けて、硬い物体と柔らかい物体の両方を検出
することができる。いくつかの実施形態では、前向きレーダを利用して周囲環境のデータ
を捕捉する。様々な実施形態では、レーダセンサは、大雨、霧、埃、および他の車両にも
かかわらず、周囲の詳細を捕捉することができる。様々なセンサは、車両の周囲の環境を
捕捉するために使用され、捕捉されたデータは、深層学習分析のために提供される。
At 401, sensor data is received. For example, a vehicle equipped with sensors captures sensor data and provides the sensor data to a neural network operating on the vehicle.
In some embodiments, the sensor data may be visual data, ultrasound data, LiDAR data, or other suitable sensor data. For example, images are captured from a high dynamic range forward facing camera. As another example, ultrasound data is captured from a lateral ultrasound sensor. In some embodiments, a vehicle is equipped with multiple sensors to capture data. For example, in some embodiments, eight surround cameras are mounted on the vehicle to provide a 360 degree view of the vehicle's surroundings with a reach of up to 250 meters. In some embodiments, the camera sensors include a wide-angle front camera, a narrow-angle front camera, a rear-viewing camera, a front-looking side camera, and/or a rear-viewing side camera. In some embodiments, ultrasound and/or radar sensors are used to capture surrounding details. For example, 12 ultrasonic sensors can be installed in a vehicle to detect both hard and soft objects. In some embodiments, forward-facing radar is utilized to capture data of the surrounding environment. In various embodiments, radar sensors can capture details of the surroundings despite heavy rain, fog, dust, and other vehicles. Various sensors are used to capture the environment around the vehicle, and the captured data is provided for deep learning analysis.
いくつかの実施形態では、センサデータは、車両の位置、向き、位置の変化、および/
または向きの変化などを含むオドメトリデータを含む。例えば、位置データが捕捉され、
同じ時間フレーム中に捕捉された他のセンサデータと関連付けられる。一例として、画像
データの撮像時に捕捉された位置データは、位置情報を画像データと関連付けるために用
いられる。
In some embodiments, the sensor data includes vehicle position, orientation, change in position, and/or
or include odometry data, including changes in orientation, etc. For example, location data is captured and
Associated with other sensor data captured during the same time frame. As an example, location data captured during imaging of the image data is used to associate location information with the image data.
403において、センサデータが前処理される。いくつかの実施形態では、センサデー
タに対して1つまたは複数の前処理パスを実行することができる。例えば、データは、ノ
イズを除去し、位置合わせの問題および/またはぼやけなどを補正するために前処理され
てもよい。いくつかの実施形態では、1つまたは複数の異なるフィルタリングパスがデー
タに対して実行される。例えば、センサデータの異なる成分を分離するために、データに
対してハイパスフィルタを実行し、データに対してローパスフィルタを実行することがで
きる。様々な実施形態では、403で実行される前処理ステップは任意選択であり、およ
び/またはニューラルネットワークに組み込まれてもよい。
At 403, the sensor data is preprocessed. In some embodiments, one or more pre-processing passes may be performed on the sensor data. For example, the data may be pre-processed to remove noise, correct for alignment issues and/or blurring, etc. In some embodiments, one or more different filtering passes are performed on the data. For example, a high pass filter can be performed on the data and a low pass filter can be performed on the data to separate different components of the sensor data. In various embodiments, the preprocessing steps performed at 403 are optional and/or may be incorporated into the neural network.
405において、センサデータの深層学習分析が開始される。いくつかの実施形態では
、深層学習分析は、403で任意選択的に前処理されたセンサデータに対して実行される
。様々な実施形態において、深層学習分析は、畳込みニューラルネットワーク(CNN)
などのニューラルネットワークを使用して実行される。様々な実施形態では、機械学習モ
デルは、図2のプロセスを使用してオフラインで訓練され、センサデータに対する推論を
実行するために車両に配備される。例えば、モデルは、道路レーンライン、障害物、歩行
者、移動車両、駐車車両、運転可能空間などを適切に識別するように訓練されてもよい。
いくつかの実施形態では、レーンラインの複数の軌跡が識別される。例えば、レーンライ
ンのいくつかの潜在的な軌跡が検出され、各軌跡は対応する出現(発生)確率を有する。
いくつかの実施形態では、予測されるレーンラインは、出現確率が最も高いおよび/また
は関連する信頼値が最も高いレーンラインである。いくつかの実施形態では、深層学習分
析からの予測レーンラインは、最小信頼閾値を超えることを必要とする。様々な実施形態
において、ニューラルネットワークは、1つまたは複数の中間層を含む複数の層を含む。
様々な実施形態において、センサデータおよび/または深層学習分析の結果は、訓練デー
タの自動生成のために保持され411において送信される。
At 405, deep learning analysis of the sensor data is initiated. In some embodiments, deep learning analysis is performed on the optionally preprocessed sensor data at 403. In various embodiments, deep learning analysis is performed using a convolutional neural network (CNN).
It is performed using neural networks such as In various embodiments, a machine learning model is trained offline using the process of FIG. 2 and deployed to a vehicle to perform inference on sensor data. For example, a model may be trained to properly identify road lane lines, obstacles, pedestrians, moving vehicles, parked vehicles, drivable spaces, etc.
In some embodiments, multiple trajectories of lane lines are identified. For example, several potential trajectories of lane lines are detected, each trajectory having a corresponding probability of occurrence.
In some embodiments, the predicted lane line is the lane line with the highest probability of occurrence and/or the highest associated confidence value. In some embodiments, predicted lane lines from deep learning analysis are required to exceed a minimum confidence threshold. In various embodiments, the neural network includes multiple layers including one or more hidden layers.
In various embodiments, sensor data and/or deep learning analysis results are retained and transmitted at 411 for automatic generation of training data.
様々な実施形態において、深層学習分析は、追加の特徴を予測するために使用される。
予測された特徴は、自動運転を支援するために使用され得る。例えば、検出された車両を
レーンまたは道路に割り当てることができる。別の例として、検出された車両は、死角に
ある、道を譲るべき車両である、左隣のレーンの車両である、右隣のレーンの車両である
、または別の適切な属性を有すると判定することができる。同様に、深層学習分析は、信
号機、運転可能空間、歩行者、障害物、または運転のための他の適切な特徴を識別するこ
とができる。
In various embodiments, deep learning analysis is used to predict additional features.
Predicted features can be used to assist autonomous driving. For example, detected vehicles can be assigned to lanes or roads. As another example, the detected vehicle may be in a blind spot, should yield, be in the lane to the left, be in the lane to the right, or have another appropriate attribute. can be determined. Similarly, deep learning analysis can identify traffic lights, drivable spaces, pedestrians, obstacles, or other suitable features for driving.
407において、深層学習分析の結果が車両制御に提供される。例えば、結果は、自動
運転のために車両を制御するため、および/または自動運転機能を実施するために、車両
制御モジュールに提供される。いくつかの実施形態では、405での深層学習分析の結果
は、1つまたは複数の異なる機械学習モデルを使用して、1つまたは複数の追加の深層学
習パスを通過する。例えば、レーンラインの予測経路を使用して車両レーンを決定するこ
とができ、決定された車両レーンを使用して運転可能空間を決定する。次いで、運転可能
空間は、車両の経路を決定するために使用される。同様に、いくつかの実施形態では、予
測される車両割込みが検出される。車両の決定された経路は、潜在的な衝突を回避するた
めに予測された割込みを考慮する。いくつかの実施形態では、深層学習の様々な出力は、
車両の予測経路、識別された障害物、制限速度を含む識別された交通制御信号などを含む
自動運転のための車両の環境の3次元表現を構築するために使用される。いくつかの実施
形態では、車両制御モジュールは、決定された経路に沿って車両を制御するために決定さ
れた結果を利用する。いくつかの実施形態では、車両制御モジュールは、図1の車両制御
モジュール109である。
At 407, the results of the deep learning analysis are provided to the vehicle control. For example, the results are provided to a vehicle control module to control the vehicle for autonomous driving and/or to perform autonomous driving functions. In some embodiments, the results of the deep learning analysis at 405 are passed through one or more additional deep learning passes using one or more different machine learning models. For example, a predicted path of lane lines can be used to determine a vehicle lane, and the determined vehicle lane is used to determine a drivable space. The drivable space is then used to route the vehicle. Similarly, in some embodiments, anticipated vehicle interruptions are detected. The vehicle's determined route takes into account predicted interruptions to avoid potential collisions. In some embodiments, the various outputs of deep learning are
It is used to build a three-dimensional representation of the vehicle's environment for autonomous driving, including the vehicle's predicted route, identified obstacles, identified traffic control signals including speed limits, etc. In some embodiments, the vehicle control module utilizes the determined results to control the vehicle along the determined route. In some embodiments, the vehicle control module is
409において、車両が制御される。いくつかの実施形態では、自動運転が起動された
車両は、図1の車両制御モジュール109などの車両制御モジュールを使用して制御され
る。車両制御は、例えば、周囲の環境を考慮してレーン内の車両を適切な速度に維持する
ために、車両の速度および/または操舵を調整することができる。いくつかの実施形態で
は、結果は、隣接車両が同じレーンに合流することを予測して車両を調整するために使用
される。様々な実施形態では、深層学習分析の結果を使用して、車両制御モジュールは、
例えば適切な速度で決定された経路に沿って、車両を動作させる適切な方法を決定する。
様々な実施形態では、速度の変化、制動の適用、操舵の調整などの車両制御の結果が保持
され、訓練データの自動生成に使用される。様々な実施形態において、車両制御パラメー
タは、訓練データの自動生成のために保持され411において送信される。
At 409, the vehicle is controlled. In some embodiments, an autonomously activated vehicle is controlled using a vehicle control module, such as
Determining an appropriate way to move the vehicle, for example along the determined route at an appropriate speed.
In various embodiments, the results of vehicle controls such as speed changes, brake applications, steering adjustments, etc. are retained and used for automatic generation of training data. In various embodiments, vehicle control parameters are retained and transmitted at 411 for automatic generation of training data.
411において、センサデータおよび関連データが送信される。例えば、401で受信
したセンサデータは、405での深層学習分析の結果および/または409で使用された
車両制御パラメータと共に、訓練データの自動生成のためにコンピュータサーバに送信さ
れる。いくつかの実施形態では、データは時系列データであり、様々な収集されたデータ
はコンピュータサーバによって一緒に関連付けられる。例えば、オドメトリデータが、グ
ラウンドトゥルースを生成するために捕捉された画像データと関連付けられる。様々な実
施形態では、収集されたデータは、例えばWiFiまたはセルラ接続を介して、車両から
訓練データセンタに無線で送信される。いくつかの実施形態では、メタデータがセンサデ
ータと共に送信される。例えば、メタデータは、時刻、タイムスタンプ、位置、車両の種
類や、速度、加速度、制動、自動運転が有効にされたかどうか、操舵角、オドメトリデー
タなどの車両制御および/または動作パラメータを含むことができる。追加のメタデータ
は、最後の以前のセンサデータが送信されてからの時間、車両の種類、気象状況、道路状
況などを含む。いくつかの実施形態では、送信されるデータは、例えば車両の固有識別子
を削除することによって匿名化される。別の例として、類似の車両モデルからのデータは
、個々のユーザおよびその車両の使用が識別されないようにマージされる。
At 411, sensor data and related data are transmitted. For example, the sensor data received at 401, along with the results of the deep learning analysis at 405 and/or the vehicle control parameters used at 409, are sent to a computer server for automatic generation of training data. In some embodiments, the data is time series data and the various collected data are correlated together by a computer server. For example, odometry data is associated with captured image data to generate ground truth. In various embodiments, the collected data is transmitted wirelessly from the vehicle to the training data center, such as via WiFi or a cellular connection. In some embodiments, metadata is sent along with the sensor data. For example, metadata may include time, timestamp, location, vehicle type, and vehicle control and/or operating parameters such as speed, acceleration, braking, whether autonomous driving is enabled, steering angle, odometry data, etc. I can do it. Additional metadata includes the time since the last previous sensor data was sent, vehicle type, weather conditions, road conditions, etc. In some embodiments, the transmitted data is anonymized, for example by removing the vehicle's unique identifier. As another example, data from similar vehicle models may be merged such that individual users and their use of the vehicle are not identified.
いくつかの実施形態では、データはトリガに応答してのみ送信される。例えば、いくつ
かの実施形態では、誤った予測は、深層学習ネットワークの予測を改善するための例のキ
ュレーションされたセットを作成するためにデータを自動的に収集するためのセンサデー
タおよび関連データの送信をトリガする。例えば、車両が合流しようとしているかどうか
に関連して405で実行される予測は、予測を観測された実際の結果と比較することによ
って正しくないと判定される。次いで、誤った予測に関連付けられたセンサデータおよび
関連データを含むデータが送信され、訓練データを自動的に生成するために使用される。
いくつかの実施形態では、トリガを使用して、急カーブ、道路の分岐、レーン合流、突然
の停止、または追加の訓練データが有用であり、収集が困難であり得る別の適切なシナリ
オなどの特定のシナリオを識別することができる。例えば、トリガは、自動運転機能の突
然の停止または解除に基づくことができる。別の例として、速度の変化または加速度の変
化などの車両動作特性がトリガの基礎を形成することができる。いくつかの実施形態では
、特定の閾値未満の精度での予測が、センサデータおよび関連データの送信をトリガする
。例えば、特定のシナリオでは、予測はブール値の真または偽の結果を有さないこともあ
り、代わりに予測の精度値を決定することによって評価される。
In some embodiments, data is sent only in response to a trigger. For example, in some embodiments, incorrect predictions can be used to automatically collect sensor data and related data to create a curated set of examples to improve the predictions of a deep learning network. Trigger the transmission of. For example, the prediction performed at 405 regarding whether a vehicle is about to merge is determined to be incorrect by comparing the prediction to the observed actual result. Data, including sensor data and related data associated with the incorrect predictions, is then transmitted and used to automatically generate training data.
In some embodiments, triggers are used to detect sharp turns, road forks, lane merging, sudden stops, or other suitable scenarios where additional training data would be useful and may be difficult to collect. Specific scenarios can be identified. For example, the trigger can be based on a sudden stop or release of an autonomous driving function. As another example, vehicle operating characteristics such as changes in speed or changes in acceleration may form the basis of the trigger. In some embodiments, predictions with an accuracy below a certain threshold trigger transmission of sensor data and related data. For example, in certain scenarios, a prediction may not have a Boolean true or false outcome and is instead evaluated by determining an accuracy value for the prediction.
様々な実施形態では、センサデータおよび関連データはある期間にわたって捕捉され、
時系列データ全体が一緒に送信される。期間は、車両の速度、移動した距離、速度の変化
などの1つまたは複数の要因に基づいて構成および/または基づくことができる。いくつ
かの実施形態では、捕捉されたセンサデータおよび/または関連データのサンプリングレ
ートは設定可能である。例えば、サンプリングレートは、高速で、急ブレーキ中に、急加
速中に、急操舵中に、または追加の忠実度が必要な別の適切なシナリオで増加される。
In various embodiments, the sensor data and related data are captured over a period of time;
The entire time series data is sent together. The time period may be configured and/or based on one or more factors such as vehicle speed, distance traveled, change in speed, etc. In some embodiments, the sampling rate of captured sensor data and/or related data is configurable. For example, the sampling rate may be increased at high speeds, during hard braking, hard acceleration, hard steering, or other suitable scenarios where additional fidelity is required.
図5は、車両センサから捕捉された画像の一例を示す図である。図示の例では、図5の
画像は、2つのレーンラインの間のレーンを走行する車両から捕捉された画像データ50
0を含む。画像データ500を捕捉するために使用される車両およびセンサの位置は、ラ
ベルAによって表される。画像データ500は、センサデータであり、運転中に車両の前
向きカメラなどのカメラセンサから捕捉することができる。画像データ500は、レーン
ライン501、511の部分を捕捉する。レーンライン501および511は、レーンラ
イン501および511が水平線に近づくにつれて右に湾曲する。図示の例では、レーン
ライン501および511が見えているが、それらがカメラセンサの位置から離れて遠方
に湾曲するにつれて、検出がますます困難になる。レーンライン501および511の上
に描かれた白線は、追加の入力なしに画像データ500からレーンライン501および5
11の検出可能な部分を近似する。いくつかの実施形態では、レーンライン501および
511の検出された部分は、画像データ500をセグメント化することによって検出する
ことができる。
FIG. 5 is a diagram illustrating an example of an image captured from a vehicle sensor. In the illustrated example, the image of FIG. 5 is image data 50 captured from a vehicle traveling in a lane between two lane lines.
Contains 0. The vehicle and sensor locations used to capture image data 500 are represented by label A. Image data 500 is sensor data and may be captured from a camera sensor, such as a front-facing camera of a vehicle, while driving. Image data 500 captures portions of lane lines 501 and 511. Lane lines 501 and 511 curve to the right as lane lines 501 and 511 approach the horizon. In the illustrated example, lane lines 501 and 511 are visible, but as they curve further away from the camera sensor location they become increasingly difficult to detect. The white lines drawn above the lane lines 501 and 511 are drawn from the image data 500 without any additional input.
11 detectable parts are approximated. In some embodiments, detected portions of lane lines 501 and 511 may be detected by segmenting image data 500.
いくつかの実施形態では、ラベルA、B、およびCは、道路上の異なる位置および時系
列の異なる時刻に対応する。ラベルAは、画像データ500が捕捉されたときの車両の時
刻および位置に対応する。ラベルBは、ラベルAの位置の前方の道路上の位置であって、
ラベルAの時刻の後の時刻における位置に対応する。同様に、ラベルCは、ラベルBの位
置の前方の道路上の位置であって、ラベルBの時刻の後の時刻における位置に対応する。
車両は、走行するにつれて、ラベルA、ラベルB、およびラベルCの位置を(ラベルAか
らラベルCへ)通過し、走行中にセンサデータおよび関連データの時系列を捕捉する。時
系列は、ラベルA、B、およびCの位置(および時刻)で捕捉された要素を含む。ラベル
Aは、時系列の最初の要素に対応し、ラベルBは、時系列の中間要素に対応し、ラベルC
は、時系列の中間(または潜在的に最後の)要素に対応する。各ラベルにおいて、ラベル
位置における車両のオドメトリデータなどの追加データが捕捉される。時系列の長さに応
じて、追加のまたはより少ないデータが捕捉される。いくつかの実施形態では、タイムス
タンプが時系列の各要素に関連付けられる。
In some embodiments, labels A, B, and C correspond to different locations on the road and different times in the time series. Label A corresponds to the time and location of the vehicle when image data 500 was captured. Label B is a position on the road ahead of the position of label A,
It corresponds to the position at a time after the time of label A. Similarly, label C is a position on the road in front of the position of label B, and corresponds to a position at a time after the time of label B.
As the vehicle travels, it passes the locations of label A, label B, and label C (from label A to label C) and captures a time series of sensor data and related data while traveling. The time series includes elements captured at positions (and times) with labels A, B, and C. Label A corresponds to the first element of the time series, label B corresponds to the middle element of the time series, and label C
corresponds to the middle (or potentially last) element of the time series. At each label, additional data is captured, such as odometry data for the vehicle at the label location. Depending on the length of the time series, additional or less data is captured. In some embodiments, a timestamp is associated with each element of the time series.
いくつかの実施形態では、レーンライン501および511のグラウンドトゥルース(
図示せず)が決定される。例えば、本明細書で開示されるプロセスを使用して、レーンラ
イン501および511の位置は、時系列の要素の異なる要素からレーンライン501お
よび511の異なる部分を識別することによって識別される。図示されている例では、部
分503および513は、ラベルAの位置および時刻で取得された画像データ500およ
び関連データ(オドメトリデータなど)を使用して識別される。部分505および515
は、ラベルBの位置および時刻で取得された画像データ(図示せず)および関連データ(
オドメトリデータなど)を使用して識別される。部分507および517は、ラベルCの
位置および時刻で取得された画像データ(図示せず)および関連データ(オドメトリデー
タなど)を使用して識別される。時系列の要素を分析することにより、レーンライン50
1および511の異なる部分の位置が識別され、異なる識別された部分を組み合わせるこ
とによってグラウンドトゥルースが決定され得る。いくつかの実施形態では、部分は、レ
ーンラインの各部分に沿った点として識別される。図示の例では、プロセスを説明するた
めに各レーンラインの3つの部分のみが強調表示されている(レーンライン501の部分
503、505、および507ならびにレーンライン511の部分513、515、およ
び517)が、より高い解像度および/またはより高い精度でレーンラインの位置を決定
するために、追加の部分が時系列にわたって捕捉されてもよい。
In some embodiments, the ground truth of lane lines 501 and 511 (
(not shown) is determined. For example, using the processes disclosed herein, the locations of lane lines 501 and 511 are identified by identifying different portions of lane lines 501 and 511 from different elements of the time series. In the illustrated example, portions 503 and 513 are identified using image data 500 and associated data (such as odometry data) acquired at the location and time of label A. Portions 505 and 515
is the image data (not shown) and related data (not shown) acquired at the position and time of label B.
odometry data). Portions 507 and 517 are identified using image data (not shown) and associated data (such as odometry data) acquired at the location and time of label C. By analyzing time series elements, lane line 50
The locations of different parts of 1 and 511 can be identified and the ground truth can be determined by combining the different identified parts. In some embodiments, the portions are identified as points along each portion of the lane line. In the illustrated example, only three portions of each lane line are highlighted to illustrate the process (portions 503, 505, and 507 of lane line 501 and portions 513, 515, and 517 of lane line 511). However, additional portions may be captured over time to determine the lane line position with higher resolution and/or greater accuracy.
様々な実施形態では、レーンライン501および511を捕捉する画像データ内で、セ
ンサの位置に最も近い部分の位置は、高精度で決定される。例えば、部分503および5
13の位置は、ラベルAの画像データ500および関連データ(オドメトリデータなど)
を使用して高精度で識別される。部分505および515の位置は、ラベルBの画像デー
タおよび関連データを使用して高精度で識別される。部分507および517の位置は、
ラベルCの画像データおよび関連データを使用して高精度で識別される。時系列の要素を
利用することにより、時系列によって捕捉されたレーンライン501および511の様々
な部分の位置を、3次元で高精度で識別し、レーンライン501および511のグラウン
ドトゥルースの基礎として使用することができる。様々な実施形態において、決定された
グラウンドトゥルースは、画像データ500などの時系列の選択された要素に関連付けら
れる。グラウンドトゥルースおよび選択された要素は、レーンラインを予測するための訓
練データを作成するために使用され得る。いくつかの実施形態では、訓練データは、人間
のラベル付けなしで自動的に作成される。訓練データは、画像データ500などの捕捉画
像データからレーンラインの3次元軌跡を予測するための機械学習モデルを訓練するため
に使用することができる。
In various embodiments, the location of the portion of the image data capturing lane lines 501 and 511 that is closest to the location of the sensor is determined with high accuracy. For example, portions 503 and 5
Position 13 is the image data 500 of label A and related data (odometry data, etc.)
identified with high accuracy using The locations of portions 505 and 515 are identified with high accuracy using the label B image data and related data. The positions of portions 507 and 517 are
It is identified with high accuracy using the image data of label C and related data. By utilizing elements of the time series, the positions of various parts of the lane lines 501 and 511 captured by the time series are identified with high precision in three dimensions and used as the basis for the ground truth of the lane lines 501 and 511. can do. In various embodiments, the determined ground truth is associated with selected elements of a time series, such as image data 500. The ground truth and selected elements may be used to create training data for predicting lane lines. In some embodiments, training data is created automatically without human labeling. The training data can be used to train a machine learning model to predict three-dimensional trajectories of lane lines from captured image data, such as image data 500.
図6は、レーンラインの予測された3次元軌跡を有する車両センサから捕捉された画像
の一例を示す図である。図示の例では、図6の画像は、2つのレーンラインの間のレーン
を走行する車両から捕捉された画像データ600を含む。画像データ600を捕捉するた
めに使用される車両およびセンサの位置は、ラベルAによって表される。いくつかの実施
形態では、ラベルAは、図5のラベルAと同じ位置に対応する。画像データ600はセン
サデータであり、運転中に車両の前向きカメラなどのカメラセンサから捕捉されてもよい
。画像データ600は、レーンライン601、611の部分を捕捉する。レーンライン6
01および611は、レーンライン601および611が水平線に近づくにつれて右に湾
曲する。図示されている例では、レーンライン601および611が見えているが、それ
らがカメラセンサの位置から離れて遠方に曲がるにつれて、検出がますます困難になる。
レーンライン601および611の上に描かれた赤い線は、レーンライン601および6
11の予測された3次元軌跡である。本明細書で開示されるプロセスを使用して、3次元
軌跡は、訓練された機械学習モデルへの入力として画像データ600を使用して予測され
る。いくつかの実施形態では、予測された3次元軌跡は、3次元パラメータ化スプライン
または別のパラメータ化表現形式として表される。
FIG. 6 is a diagram illustrating an example of an image captured from a vehicle sensor with a predicted three-dimensional trajectory of lane lines. In the illustrated example, the image of FIG. 6 includes image data 600 captured from a vehicle traveling in a lane between two lane lines. The location of the vehicle and sensor used to capture image data 600 is represented by label A. In some embodiments, label A corresponds to the same location as label A in FIG. Image data 600 is sensor data and may be captured from a camera sensor, such as a front-facing camera of a vehicle, while driving. Image data 600 captures portions of lane lines 601 and 611. lane line 6
01 and 611 curve to the right as lane lines 601 and 611 approach the horizon. In the illustrated example, lane lines 601 and 611 are visible, but become increasingly difficult to detect as they curve further away from the camera sensor location.
The red lines drawn above lane lines 601 and 611 are
11 predicted 3D trajectories. Using the process disclosed herein, a three-dimensional trajectory is predicted using image data 600 as input to a trained machine learning model. In some embodiments, the predicted three-dimensional trajectory is represented as a three-dimensional parameterized spline or another parameterized representation format.
図示の例では、レーンライン601および611の部分621は、距離が離れているレ
ーンライン601および611の一部である。レーンライン601および611の部分6
21の3次元位置(すなわち、経度、緯度、および高度)は、本明細書に開示されたプロ
セスを使用して高精度で決定され、レーンライン601および611の予測3次元軌跡に
含まれる。訓練された機械学習モデルを使用して、画像データ600を使用して、かつレ
ーンライン601および611の部分621の位置における位置データを必要とせずに、
レーンライン601および611の3次元軌跡を予測することができる。図示の例では、
画像データ600は、ラベルAの位置および時刻で捕捉される。
In the illustrated example, portion 621 of lane lines 601 and 611 is a portion of lane lines 601 and 611 that are separated by a distance. Part 6 of lane lines 601 and 611
The three-dimensional position (i.e., longitude, latitude, and altitude) of 21 is determined with high accuracy using the process disclosed herein and included in the predicted three-dimensional trajectory of lane lines 601 and 611. Using a trained machine learning model, using image data 600 and without requiring position data at the location of portion 621 of lane lines 601 and 611,
The three-dimensional trajectory of lane lines 601 and 611 can be predicted. In the illustrated example,
Image data 600 is captured at the location and time of label A.
いくつかの実施形態では、図6のラベルAは図5のラベルAに対応し、レーンライン6
01および611の予測3次元軌跡は、訓練された機械学習モデルへの入力として画像デ
ータ600のみを使用して決定される。図5のラベルA、B、およびCの位置で取得され
た要素を含む時系列の画像データおよび関連データを使用して決定されたグラウンドトゥ
ルースを使用して機械学習モデルを訓練することにより、レーンライン601および61
1の3次元軌跡は、部分621などの離れたレーンラインの部分でさえも高い精度で予測
される。画像データ600および図5の画像データ500は関連しているが、軌跡の予測
は、画像データ600が訓練データに含まれることを必要としない。十分な訓練データで
訓練することにより、新たに遭遇したシナリオでもレーンラインを予測することができる
。様々な実施形態では、レーンライン601および611の予測3次元軌跡は、検出され
たレーンライン内の車両の位置を維持するために、および/または予測レーンラインの検
出されたレーンに沿って車両を自律的にナビゲートするために使用される。3次元でレー
ンラインを予測することにより、ナビゲーションの性能、安全性、および精度が大幅に改
善される。
In some embodiments, label A in FIG. 6 corresponds to label A in FIG.
The predicted three-dimensional trajectories of 01 and 611 are determined using only image data 600 as input to the trained machine learning model. By training a machine learning model using the ground truth determined using the time series of image data and associated data containing the elements acquired at the locations of labels A, B, and C in Figure 5, the lane lines 601 and 61
1's three-dimensional trajectory is predicted with high accuracy even for distant lane line sections, such as section 621. Although image data 600 and image data 500 of FIG. 5 are related, trajectory prediction does not require image data 600 to be included in the training data. By training with enough training data, it can predict lane lines even in newly encountered scenarios. In various embodiments, the predicted three-dimensional trajectory of lane lines 601 and 611 may be used to maintain the position of the vehicle within the detected lane line and/or to move the vehicle along the detected lane of the predicted lane line. Used to navigate autonomously. Predicting lane lines in three dimensions greatly improves navigation performance, safety, and accuracy.
前述の実施形態は、理解を明確にするためにある程度詳細に説明されているが、本発明
は提供される詳細に限定されない。本発明を実施する多くの代替方法がある。開示された
実施形態は例示的なものであり、限定的なものではない。
Although the foregoing embodiments have been described in some detail for clarity of understanding, the invention is not limited to the details provided. There are many alternative ways of implementing the invention. The disclosed embodiments are illustrative and not restrictive.
Claims (20)
車両のカメラによって捕捉された画像に基づいて画像データを受信し、
機械学習特徴の3次元軌跡を予測するように訓練された、訓練済機械学習モデルへの
入力の基礎として前記画像データを使用し、
前記車両を自動的に制御する際、前記機械学習特徴の前記3次元軌跡を提供するよう
に構成された、プロセッサと、
前記プロセッサに結合され、前記プロセッサに命令を提供するように構成されたメモリ
と、を備える、システム。 A processor,
receiving image data based on images captured by a camera of the vehicle;
using the image data as a basis for input to a trained machine learning model trained to predict three-dimensional trajectories of machine learning features;
a processor configured to provide the three-dimensional trajectory of the machine learning feature when automatically controlling the vehicle;
a memory coupled to the processor and configured to provide instructions to the processor.
。 The system of claim 1, wherein the machine learning feature is associated with vehicle lane lines.
いる、請求項2に記載のシステム。 3. The system of claim 2, wherein a portion of the three-dimensional trajectory of the vehicle lane line is occluded in the image data.
レーンラインを使用するようにさらに構成された、請求項2または3に記載のシステム。 4. The system of claim 2 or 3, wherein the processor is further configured to use the vehicle lane lines to identify vehicle lanes occupied by the vehicle.
項に記載のシステム。 5. A system according to any one of claims 2 to 4, wherein vehicle lanes are used to identify drivable spaces.
れる、請求項5に記載のシステム。 6. The system of claim 5, wherein the identified drivable space is used to maintain the vehicle within the vehicle lane.
なくとも1つを含む、請求項1から6のいずれか一項に記載のシステム。 7. A system according to any preceding claim, wherein the camera of the vehicle comprises at least one of a forward-facing camera, a side-facing camera, or a rear-facing camera.
求項1から7のいずれか一項に記載のシステム。 8. The system of any preceding claim, wherein the predicted three-dimensional trajectory is one of a plurality of identified potential trajectories.
確率の値を有する、請求項8に記載のシステム。 9. The system of claim 8, wherein the predicted three-dimensional trajectory has the highest probability of occurrence value among the plurality of identified potential trajectories.
ループ内の選択された時系列要素を含む、請求項1から9のいずれか一項に記載のシステ
ム。 10. The system of any one of claims 1 to 9, wherein training data used to train the trained machine learning model comprises selected time series elements within a group of time series elements.
連するセットをさらに含む、請求項10に記載のシステム。 11. The system of claim 10, wherein the training data further includes an associated set of odometry data associated with the group of time series elements.
付けされる、請求項10または11に記載のシステム。 12. The system of claim 10 or 11, wherein at least part of the training set is automatically labeled with a corresponding ground truth.
2のいずれか一項に記載のシステム。 Claims 1-1, wherein controlling the vehicle includes adjusting speed and steering of the vehicle.
2. The system according to any one of 2.
記載のシステム。 14. A system according to any one of claims 1 to 13, wherein the three-dimensional trajectory is represented by a spline.
か一項に記載のシステム。 15. A system according to any preceding claim, wherein the three-dimensional trajectory is represented by one or more piecewise polynomials.
ずれか一項に記載のシステム。 16. A system according to any preceding claim, wherein the machine learning feature is associated with a predicted route of a second vehicle.
たレーンに前記第2の車両が進入する可能性が高いかどうかを決定することに使用される
、請求項16に記載のシステム。 The predicted route of the second vehicle is used to determine whether the second vehicle is likely to enter a lane occupied by the automatically controlled vehicle. The system according to item 16.
ことを含む、請求項17に記載のシステム。 18. The system of claim 17, wherein controlling the vehicle includes adjusting speed or steering to avoid collision with the second vehicle.
なコンピュータ可読記憶媒体に具現化され、かつ、
車両のカメラによって捕捉された画像に基づいて画像データを受信し、
車両レーンの3次元軌跡を予測するように訓練された、訓練済機械学習モデルへの入力
の基礎として前記画像データを使用し、
前記車両を自動的に制御する際、前記車両レーンの前記3次元軌跡を提供する、ための
コンピュータ命令を含む、コンピュータプログラム製品。 A computer program product, the computer program product being embodied in a non-transitory computer readable storage medium; and
receiving image data based on images captured by a camera of the vehicle;
using the image data as a basis for input to a trained machine learning model trained to predict three-dimensional trajectories of vehicle lanes;
A computer program product comprising computer instructions for providing the three-dimensional trajectory of the vehicle lane when automatically controlling the vehicle.
車両レーンの3次元軌跡を予測するように訓練された、訓練済の機械学習モデルへの入
力の基礎として前記画像データを使用するステップと、
前記車両を自動的に制御する際、前記車両レーンの前記3次元軌跡を提供するステップ
と、を含む方法。 receiving image data based on images captured by a camera of the vehicle;
using the image data as a basis for input to a trained machine learning model trained to predict three-dimensional trajectories of vehicle lanes;
providing the three-dimensional trajectory of the vehicle lane when automatically controlling the vehicle.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/265,720 | 2019-02-01 | ||
US16/265,720 US11150664B2 (en) | 2019-02-01 | 2019-02-01 | Predicting three-dimensional features for autonomous driving |
JP2021544315A JP7374199B2 (en) | 2019-02-01 | 2020-01-28 | Systems, computer program products and methods for prediction of three-dimensional features for autonomous driving |
PCT/US2020/015383 WO2020159968A1 (en) | 2019-02-01 | 2020-01-28 | Predicting three-dimensional features for autonomous driving |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021544315A Division JP7374199B2 (en) | 2019-02-01 | 2020-01-28 | Systems, computer program products and methods for prediction of three-dimensional features for autonomous driving |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024020237A true JP2024020237A (en) | 2024-02-14 |
Family
ID=69726798
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021544315A Active JP7374199B2 (en) | 2019-02-01 | 2020-01-28 | Systems, computer program products and methods for prediction of three-dimensional features for autonomous driving |
JP2023182986A Pending JP2024020237A (en) | 2019-02-01 | 2023-10-25 | Predicting three-dimensional features for autonomous driving |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021544315A Active JP7374199B2 (en) | 2019-02-01 | 2020-01-28 | Systems, computer program products and methods for prediction of three-dimensional features for autonomous driving |
Country Status (10)
Country | Link |
---|---|
US (2) | US11150664B2 (en) |
EP (1) | EP3918515A1 (en) |
JP (2) | JP7374199B2 (en) |
KR (2) | KR102618662B1 (en) |
CN (1) | CN113646772A (en) |
AU (1) | AU2020216128A1 (en) |
CA (1) | CA3128028A1 (en) |
IL (2) | IL285152B2 (en) |
SG (1) | SG11202108324UA (en) |
WO (1) | WO2020159968A1 (en) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
IL282172B2 (en) | 2018-10-11 | 2024-02-01 | Tesla Inc | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
EP3924845A4 (en) | 2019-03-14 | 2022-12-07 | Hewlett-Packard Development Company, L.P. | Responding to machine learning requests from multiple clients |
US11483370B2 (en) * | 2019-03-14 | 2022-10-25 | Hewlett-Packard Development Company, L.P. | Preprocessing sensor data for machine learning |
US11693417B2 (en) * | 2019-03-15 | 2023-07-04 | Volkswagen Aktiengesellschaft | Generating training data using simulated environments and training machine learning models for vehicle guidance |
CN110069064B (en) * | 2019-03-19 | 2021-01-29 | 驭势科技(北京)有限公司 | Method for upgrading automatic driving system, automatic driving system and vehicle-mounted equipment |
CN112041637B (en) * | 2019-03-28 | 2021-11-19 | 百度时代网络技术(北京)有限公司 | Map-less and camera-based lane marker sampling method for 3-level autonomous vehicles |
DE102019206581A1 (en) * | 2019-05-08 | 2020-11-12 | Conti Temic Microelectronic Gmbh | Method for generating an image of a vehicle environment and device for generating an image of a vehicle environment |
US11454967B2 (en) * | 2019-11-20 | 2022-09-27 | Verizon Patent And Licensing Inc. | Systems and methods for collecting vehicle data to train a machine learning model to identify a driving behavior or a vehicle issue |
US11125575B2 (en) * | 2019-11-20 | 2021-09-21 | Here Global B.V. | Method and apparatus for estimating a location of a vehicle |
US20210239828A1 (en) * | 2020-02-03 | 2021-08-05 | Veev Group, Inc. | System, method and computer program product for improved radar-based object recognition |
US11654933B2 (en) * | 2020-11-10 | 2023-05-23 | GM Global Technology Operations LLC | Navigation trajectory using reinforcement learning for an ego vehicle in a navigation network |
CN114572275A (en) * | 2020-12-02 | 2022-06-03 | 晋城三赢精密电子有限公司 | Vehicle driving assistance method, vehicle-mounted device, vehicle and storage medium |
CN112706785B (en) * | 2021-01-29 | 2023-03-28 | 重庆长安汽车股份有限公司 | Method and device for selecting cognitive target of driving environment of automatic driving vehicle and storage medium |
KR20240048533A (en) * | 2021-08-19 | 2024-04-15 | 테슬라, 인크. | Training vision-based systems using simulated content |
US20230091276A1 (en) * | 2021-09-17 | 2023-03-23 | Honda Motor Co., Ltd. | System and method for automated merging |
US11972614B2 (en) * | 2021-11-09 | 2024-04-30 | Zoox, Inc. | Machine-learned architecture for efficient object attribute and/or intention classification |
Family Cites Families (836)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2578262Y2 (en) | 1991-07-31 | 1998-08-06 | エルナー株式会社 | Flat electrolytic capacitor with seat and seat plate material used for the same |
US6587573B1 (en) | 2000-03-20 | 2003-07-01 | Gentex Corporation | System for controlling exterior vehicle lights |
JP3941252B2 (en) | 1998-08-07 | 2007-07-04 | マツダ株式会社 | Vehicle position detection device |
KR100326702B1 (en) | 1999-03-16 | 2002-03-12 | 이계안 | Method for calculating road width of the alarm device for lane beyond |
US6654507B2 (en) | 2000-12-14 | 2003-11-25 | Eastman Kodak Company | Automatically producing an image of a portion of a photographic image |
GB2370438A (en) | 2000-12-22 | 2002-06-26 | Hewlett Packard Co | Automated image cropping using selected compositional rules. |
KR100440953B1 (en) | 2001-08-18 | 2004-07-21 | 삼성전자주식회사 | Method for transcoding of image compressed bit stream |
US6882755B2 (en) | 2001-10-19 | 2005-04-19 | Hewlett-Packard Development Company, L.P. | Image transmission for low bandwidth with region of interest |
JP3822515B2 (en) | 2002-03-29 | 2006-09-20 | 株式会社東芝 | Obstacle detection device and method |
KR100801683B1 (en) | 2003-02-21 | 2008-02-11 | 젠텍스 코포레이션 | Automatic vehicle exterior light control system and an automatic vehicle equipment control system |
SE526424C2 (en) | 2003-06-02 | 2005-09-13 | Lear Corp | Active night vision system for an internal passenger compartment of a vehicle and method for controlling said system |
US20060280364A1 (en) | 2003-08-07 | 2006-12-14 | Matsushita Electric Industrial Co., Ltd. | Automatic image cropping system and method for use with portable devices equipped with digital cameras |
JP4300098B2 (en) | 2003-11-13 | 2009-07-22 | 日本電信電話株式会社 | Object identification method and apparatus, program and recording medium |
US20050162445A1 (en) | 2004-01-22 | 2005-07-28 | Lumapix | Method and system for interactive cropping of a graphical object within a containing region |
US20060072847A1 (en) | 2004-10-01 | 2006-04-06 | Microsoft Corporation | System for automatic image cropping based on image saliency |
JP4282583B2 (en) | 2004-10-29 | 2009-06-24 | シャープ株式会社 | Movie editing apparatus and method |
US8913830B2 (en) | 2005-01-18 | 2014-12-16 | Siemens Aktiengesellschaft | Multilevel image segmentation |
TW200630819A (en) | 2005-02-23 | 2006-09-01 | Northern Taiwan Inst Of Science And Technology | Method of using intelligent theory to design heat dissipation module and device thereof |
TW200630834A (en) | 2005-02-23 | 2006-09-01 | Northern Taiwan Inst Of Science And Technology | Method and device using intelligent theory to evaluate permeability of heat pipe |
TW200630833A (en) | 2005-02-23 | 2006-09-01 | Northern Taiwan Inst Of Science And Technology | Method and device using intelligent theory to design heat dissipation opening of computer housing |
JP2008533615A (en) | 2005-03-14 | 2008-08-21 | エル ターラー、ステフエン | Neural network development and data analysis tools |
US8106956B2 (en) | 2005-06-27 | 2012-01-31 | Nokia Corporation | Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products |
US7747070B2 (en) | 2005-08-31 | 2010-06-29 | Microsoft Corporation | Training convolutional neural networks on graphics processing units |
JP4388939B2 (en) | 2006-09-25 | 2009-12-24 | 富士フイルム株式会社 | Image reproducing apparatus, control method therefor, and control program therefor |
US11625761B2 (en) | 2007-09-06 | 2023-04-11 | Mohammad A. Mazed | System and method for machine learning and augmented reality based user application |
US20090016571A1 (en) | 2007-03-30 | 2009-01-15 | Louis Tijerina | Blur display for automotive night vision systems with enhanced form perception from low-resolution camera images |
US7904867B2 (en) | 2007-04-04 | 2011-03-08 | Synopsys, Inc. | Integrating a boolean SAT solver into a router |
US8165380B2 (en) | 2008-09-11 | 2012-04-24 | PACSPLUS Co., Ltd. | Method, apparatus and program for processing mammographic image |
JP2010114731A (en) | 2008-11-07 | 2010-05-20 | Toshiba Corp | Method for manufacturing camera module |
CN101742324A (en) | 2008-11-14 | 2010-06-16 | 北京中星微电子有限公司 | Video encoding and decoding methods, video encoding and decoding systems and encoder-decoder |
KR100966288B1 (en) | 2009-01-06 | 2010-06-28 | 주식회사 이미지넥스트 | Around image generating method and apparatus |
KR101082878B1 (en) | 2009-01-29 | 2011-11-11 | 연세대학교 산학협력단 | Method of restoring iris image |
CN101477692B (en) | 2009-02-13 | 2012-08-22 | 阿里巴巴集团控股有限公司 | Method and apparatus for image characteristic extraction |
US8284997B2 (en) | 2009-03-11 | 2012-10-09 | Honeywell International Inc. | Vision-based vehicle navigation system and method |
WO2010124376A1 (en) | 2009-04-27 | 2010-11-04 | Vincent Charles Cheung | Method, system and computer product for distribution of data objects |
US8406515B2 (en) | 2009-06-24 | 2013-03-26 | Hewlett-Packard Development Company, L.P. | Method for automatically cropping digital images |
US20120134595A1 (en) | 2009-08-11 | 2012-05-31 | Koninklijke Philips Electronics N.V. | Method and apparatus for providing an image for display |
US8509526B2 (en) | 2010-04-13 | 2013-08-13 | International Business Machines Corporation | Detection of objects in digital images |
JP5503419B2 (en) | 2010-06-03 | 2014-05-28 | 株式会社日立製作所 | Automated guided vehicle and travel control method |
US10645344B2 (en) | 2010-09-10 | 2020-05-05 | Avigilion Analytics Corporation | Video system with intelligent visual display |
US8509982B2 (en) | 2010-10-05 | 2013-08-13 | Google Inc. | Zone driving |
JP5656563B2 (en) | 2010-11-02 | 2015-01-21 | キヤノン株式会社 | Document management system, document management system control method, and program |
JP5170226B2 (en) | 2010-12-10 | 2013-03-27 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
EP2723069B1 (en) | 2011-06-16 | 2017-10-18 | Aisin Seiki Kabushiki Kaisha | Vehicle periphery monitoring device |
JP5911165B2 (en) | 2011-08-05 | 2016-04-27 | 株式会社メガチップス | Image recognition device |
JP6117206B2 (en) | 2011-08-25 | 2017-04-19 | コーネル ユニヴァーシティー | Retina encoder for machine vision |
US8773498B2 (en) | 2011-09-30 | 2014-07-08 | Polycom, Inc. | Background compression and resolution enhancement technique for video telephony and video conferencing |
US8588470B2 (en) | 2011-11-18 | 2013-11-19 | Xerox Corporation | Methods and systems for improved license plate signature matching by similarity learning on synthetic images |
WO2013145015A1 (en) | 2012-03-29 | 2013-10-03 | トヨタ自動車株式会社 | Road surface state estimation apparatus |
JP5863536B2 (en) | 2012-03-29 | 2016-02-16 | 富士重工業株式会社 | Outside monitoring device |
US9738223B2 (en) | 2012-05-31 | 2017-08-22 | GM Global Technology Operations LLC | Dynamic guideline overlay with image cropping |
US8976269B2 (en) | 2012-06-22 | 2015-03-10 | California Institute Of Technology | Compressive sensing based bio-inspired shape feature detection CMOS imager |
US9008422B2 (en) | 2012-06-28 | 2015-04-14 | Lexmark International, Inc. | Methods of content-driven image cropping |
JP6044134B2 (en) | 2012-06-29 | 2016-12-14 | カシオ計算機株式会社 | Image area dividing apparatus, method, and program according to optimum image size |
CN102737236B (en) | 2012-07-06 | 2015-06-24 | 北京大学 | Method for automatically acquiring vehicle training sample based on multi-modal sensor data |
JP6011104B2 (en) | 2012-07-24 | 2016-10-19 | 株式会社デンソー | Visibility support device for vehicle |
US9081385B1 (en) | 2012-12-21 | 2015-07-14 | Google Inc. | Lane boundary detection using images |
US9754154B2 (en) | 2013-02-15 | 2017-09-05 | Microsoft Technology Licensing, Llc | Identification using depth-based head-detection data |
EP2961336B1 (en) | 2013-02-28 | 2024-03-27 | Ares Trading S.A. | Apparatus, method, and system for automated, non-invasive cell activity tracking |
US9165203B2 (en) | 2013-03-15 | 2015-10-20 | Arris Technology, Inc. | Legibility enhancement for a logo, text or other region of interest in video |
CN103236037B (en) | 2013-04-03 | 2016-05-11 | 北京航空航天大学 | Unmanned plane realtime graphic analogy method based on layering degradation model |
JP2015004922A (en) | 2013-06-24 | 2015-01-08 | 株式会社ニコン | Focus adjustment device and imaging device |
CN103366339B (en) | 2013-06-25 | 2017-11-28 | 厦门龙谛信息系统有限公司 | Vehicle-mounted more wide-angle camera image synthesis processing units and method |
GB2518589B (en) | 2013-07-30 | 2019-12-11 | Holition Ltd | Image processing |
US9317775B2 (en) | 2013-08-14 | 2016-04-19 | Ricoh Co., Ltd. | Recognition procedure for identifying multiple items in images |
CN103500322B (en) | 2013-09-10 | 2016-08-17 | 北京航空航天大学 | Automatic lane line identification method based on low latitude Aerial Images |
US20150104102A1 (en) | 2013-10-11 | 2015-04-16 | Universidade De Coimbra | Semantic segmentation method with second-order pooling |
US10832057B2 (en) | 2014-02-28 | 2020-11-10 | Second Spectrum, Inc. | Methods, systems, and user interface navigation of video content based spatiotemporal pattern recognition |
US10769446B2 (en) | 2014-02-28 | 2020-09-08 | Second Spectrum, Inc. | Methods and systems of combining video content with one or more augmentations |
WO2015134996A1 (en) | 2014-03-07 | 2015-09-11 | Pelican Imaging Corporation | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images |
US9275289B2 (en) | 2014-03-27 | 2016-03-01 | Xerox Corporation | Feature- and classifier-based vehicle headlight/shadow removal in video |
US9384402B1 (en) | 2014-04-10 | 2016-07-05 | Google Inc. | Image and video compression for remote vehicle assistance |
EP2942765B1 (en) * | 2014-05-07 | 2018-12-26 | Honda Research Institute Europe GmbH | Method and system for predictive lane change assistance, program software product and vehicle |
JP2016013793A (en) | 2014-07-03 | 2016-01-28 | 株式会社デンソー | Image display device and image display method |
SG10201405182WA (en) | 2014-08-25 | 2016-03-30 | Univ Singapore Technology & Design | Method and system |
US10229478B2 (en) | 2014-09-26 | 2019-03-12 | Samsung Electronics Co., Ltd. | Image processing apparatus and image processing method |
US20160132786A1 (en) | 2014-11-12 | 2016-05-12 | Alexandru Balan | Partitioning data for training machine-learning classifiers |
CN105809655B (en) | 2014-12-30 | 2021-06-29 | 清华大学 | Vehicle inspection method and system |
US9916540B2 (en) | 2015-01-22 | 2018-03-13 | Microsoft Technology Licensing, Llc | Scalable-effort classifiers for energy-efficient machine learning |
CA3067160A1 (en) | 2015-02-10 | 2016-08-18 | Mobileye Vision Technologies Ltd. | Sparse map for autonomous vehicle navigation |
EP3278317B1 (en) * | 2015-03-31 | 2022-11-16 | Sony Group Corporation | Method and electronic device |
JP6525707B2 (en) | 2015-04-23 | 2019-06-05 | キヤノン株式会社 | Image processing apparatus, control method and program therefor, and imaging apparatus |
CN104835114A (en) | 2015-05-06 | 2015-08-12 | 山东大学 | Image self-adaptive display method |
US9542751B2 (en) | 2015-05-08 | 2017-01-10 | Qualcomm Incorporated | Systems and methods for reducing a plurality of bounding regions |
GB201508074D0 (en) | 2015-05-12 | 2015-06-24 | Apical Ltd | People detection |
WO2016207875A1 (en) | 2015-06-22 | 2016-12-29 | Photomyne Ltd. | System and method for detecting objects in an image |
US10062010B2 (en) | 2015-06-26 | 2018-08-28 | Intel Corporation | System for building a map and subsequent localization |
US10410096B2 (en) | 2015-07-09 | 2019-09-10 | Qualcomm Incorporated | Context-based priors for object detection in images |
US10242293B2 (en) | 2015-08-04 | 2019-03-26 | The Asan Foundation | Method and program for computing bone age by deep neural network |
US9767565B2 (en) | 2015-08-26 | 2017-09-19 | Digitalglobe, Inc. | Synthesizing training data for broad area geospatial object detection |
KR101738422B1 (en) | 2015-09-14 | 2017-05-23 | 한국과학기술원 | Visual cortex inspired circuit apparatus based on the multi-sensor and object searching system, method using the same |
US9442496B1 (en) | 2015-09-18 | 2016-09-13 | Amazon Technologies, Inc. | Active airborne noise abatement |
US10282623B1 (en) | 2015-09-25 | 2019-05-07 | Apple Inc. | Depth perception sensor data processing |
US9704045B2 (en) | 2015-10-06 | 2017-07-11 | Yahoo! Inc. | User classification based upon images |
US11250335B2 (en) | 2015-10-26 | 2022-02-15 | NetraDyne, Inc. | Joint processing for embedded data inference |
CN105318888B (en) | 2015-12-07 | 2018-08-14 | 北京航空航天大学 | Automatic driving vehicle paths planning method based on unmanned plane perception |
CN105550701B (en) | 2015-12-09 | 2018-11-06 | 福州华鹰重工机械有限公司 | Realtime graphic extracts recognition methods and device |
US10318848B2 (en) | 2015-12-15 | 2019-06-11 | Qualcomm Incorporated | Methods for object localization and image classification |
KR20180084952A (en) | 2015-12-21 | 2018-07-25 | 로베르트 보쉬 게엠베하 | Dynamic image blending for multi-camera vehicle systems |
US10282789B1 (en) | 2015-12-29 | 2019-05-07 | State Farm Mutual Automobile Insurance Company | Method of controlling for undesired factors in machine learning models |
US10373019B2 (en) | 2016-01-13 | 2019-08-06 | Ford Global Technologies, Llc | Low- and high-fidelity classifiers applied to road-scene images |
US20170206434A1 (en) | 2016-01-14 | 2017-07-20 | Ford Global Technologies, Llc | Low- and high-fidelity classifiers applied to road-scene images |
CN109069072B (en) | 2016-02-08 | 2021-11-30 | 纽洛斯公司 | Fraud detection system and method |
WO2017139575A1 (en) | 2016-02-11 | 2017-08-17 | Ebay Inc. | Semantic category classification |
GB2601067B (en) | 2016-03-02 | 2022-08-31 | Holition Ltd | Locating and augmenting object features in images |
WO2017158622A2 (en) | 2016-03-16 | 2017-09-21 | INDIAN INSTITUTE OF TECHNOLOGY MADRAS (IIT Madras) | Method for managing image data at electronic device |
EP3229172A1 (en) | 2016-04-04 | 2017-10-11 | Conti Temic microelectronic GmbH | Driver assistance system with variable image resolution |
US10789544B2 (en) | 2016-04-05 | 2020-09-29 | Google Llc | Batching inputs to a machine learning model |
US20180284755A1 (en) | 2016-05-09 | 2018-10-04 | StrongForce IoT Portfolio 2016, LLC | Methods and systems for data storage in an industrial internet of things data collection environment with large data sets |
US10366290B2 (en) | 2016-05-11 | 2019-07-30 | Baidu Usa Llc | System and method for providing augmented virtual reality content in autonomous vehicles |
FR3051275A1 (en) | 2016-05-13 | 2017-11-17 | Inst Vedecom | IMAGE PROCESSING METHOD FOR RECOGNIZING GROUND MARKING AND SYSTEM FOR DETECTING GROUND MARKING |
EP3748558A1 (en) | 2016-06-13 | 2020-12-09 | Google LLC | Automated telephone call initiating system and method |
US10019009B2 (en) | 2016-06-15 | 2018-07-10 | Allstate Insurance Company | Vehicle control systems |
US10489972B2 (en) | 2016-06-28 | 2019-11-26 | Cognata Ltd. | Realistic 3D virtual world creation and simulation for training automated driving systems |
US11298072B2 (en) | 2016-07-01 | 2022-04-12 | Bostel Technologies, Llc | Dermoscopy diagnosis of cancerous lesions utilizing dual deep learning algorithms via visual and audio (sonification) outputs |
US10474162B2 (en) | 2016-07-01 | 2019-11-12 | Uatc, Llc | Autonomous vehicle localization using passive image data |
WO2018013495A1 (en) | 2016-07-11 | 2018-01-18 | Gravity Jack, Inc. | Augmented reality methods and devices |
MX2019000713A (en) | 2016-07-18 | 2019-11-28 | Nant Holdings Ip Llc | Distributed machine learning systems, apparatus, and methods. |
US10962982B2 (en) | 2016-07-21 | 2021-03-30 | Mobileye Vision Technologies Ltd. | Crowdsourcing the collection of road surface information |
CN106295678B (en) | 2016-07-27 | 2020-03-06 | 北京旷视科技有限公司 | Neural network training and constructing method and device and target detection method and device |
CN106156754B (en) | 2016-07-29 | 2019-05-31 | 浙江工业大学 | A kind of multi-modal preprocess method of finger based on maximum circumscribed matrix region of interesting extraction and bilateral filtering |
US20180039853A1 (en) | 2016-08-02 | 2018-02-08 | Mitsubishi Electric Research Laboratories, Inc. | Object Detection System and Object Detection Method |
US10664750B2 (en) | 2016-08-10 | 2020-05-26 | Google Llc | Deep machine learning to predict and prevent adverse conditions at structural assets |
KR102462502B1 (en) | 2016-08-16 | 2022-11-02 | 삼성전자주식회사 | Automated driving method based on stereo camera and apparatus thereof |
EP3504661B1 (en) | 2016-08-24 | 2023-08-16 | Google LLC | Change detection based imagery acquisition tasking system |
US10019655B2 (en) | 2016-08-31 | 2018-07-10 | Adobe Systems Incorporated | Deep-learning network architecture for object detection |
US10394237B2 (en) | 2016-09-08 | 2019-08-27 | Ford Global Technologies, Llc | Perceiving roadway conditions from fused sensor data |
US20180068459A1 (en) | 2016-09-08 | 2018-03-08 | Ford Global Technologies, Llc | Object Distance Estimation Using Data From A Single Camera |
US10317901B2 (en) | 2016-09-08 | 2019-06-11 | Mentor Graphics Development (Deutschland) Gmbh | Low-level sensor fusion |
US10467459B2 (en) | 2016-09-09 | 2019-11-05 | Microsoft Technology Licensing, Llc | Object detection based on joint feature extraction |
CN106419893A (en) | 2016-09-18 | 2017-02-22 | 广州视源电子科技股份有限公司 | Method and device for detecting sleep state |
US10133273B2 (en) | 2016-09-20 | 2018-11-20 | 2236008 Ontario Inc. | Location specific assistance for autonomous vehicle control system |
GB201616097D0 (en) | 2016-09-21 | 2016-11-02 | Univ Oxford Innovation Ltd | Segmentation of path proposals |
EP3485337B1 (en) | 2016-09-23 | 2020-10-21 | Apple Inc. | Decision making for autonomous vehicle motion control |
CN106650922B (en) | 2016-09-29 | 2019-05-03 | 清华大学 | Hardware neural network conversion method, computing device, software and hardware cooperative system |
US11544539B2 (en) | 2016-09-29 | 2023-01-03 | Tsinghua University | Hardware neural network conversion method, computing device, compiling method and neural network software and hardware collaboration system |
US10514711B2 (en) | 2016-10-09 | 2019-12-24 | Airspace Systems, Inc. | Flight control using computer vision |
KR101851155B1 (en) | 2016-10-12 | 2018-06-04 | 현대자동차주식회사 | Autonomous driving control apparatus, vehicle having the same and method for controlling the same |
CN106504253A (en) | 2016-10-14 | 2017-03-15 | 国政通科技股份有限公司 | A kind of processing method of medical imaging photo and system |
CN107031600A (en) | 2016-10-19 | 2017-08-11 | 东风汽车公司 | Automated driving system based on highway |
US10346723B2 (en) | 2016-11-01 | 2019-07-09 | Snap Inc. | Neural network for object detection in images |
JP6803982B2 (en) | 2016-11-03 | 2020-12-23 | 華為技術有限公司Huawei Technologies Co.,Ltd. | Optical imaging method and equipment |
US9989964B2 (en) | 2016-11-03 | 2018-06-05 | Mitsubishi Electric Research Laboratories, Inc. | System and method for controlling vehicle using neural network |
US10289934B2 (en) | 2016-11-08 | 2019-05-14 | Nec Corporation | Landmark localization on objects in images using convolutional neural networks |
CN106598226B (en) | 2016-11-16 | 2019-05-21 | 天津大学 | A kind of unmanned plane man-machine interaction method based on binocular vision and deep learning |
EP3541313B1 (en) | 2016-11-16 | 2023-05-10 | Navix International Limited | Estimators for ablation effectiveness |
US9940729B1 (en) * | 2016-11-18 | 2018-04-10 | Here Global B.V. | Detection of invariant features for localization |
US10650071B2 (en) | 2016-11-28 | 2020-05-12 | Google Llc | Search and retrieval of keyed data maintained using a keyed database |
CN106558058B (en) | 2016-11-29 | 2020-10-09 | 北京图森未来科技有限公司 | Segmentation model training method, road segmentation method, vehicle control method and device |
CN108122234B (en) | 2016-11-29 | 2021-05-04 | 北京市商汤科技开发有限公司 | Convolutional neural network training and video processing method and device and electronic equipment |
US10529088B2 (en) | 2016-12-02 | 2020-01-07 | Gabriel Fine | Automatically determining orientation and position of medically invasive devices via image processing |
US10699119B2 (en) | 2016-12-02 | 2020-06-30 | GEOSAT Aerospace & Technology | Methods and systems for automatic object detection from aerial imagery |
US10380741B2 (en) | 2016-12-07 | 2019-08-13 | Samsung Electronics Co., Ltd | System and method for a deep learning machine for object detection |
KR20180068511A (en) | 2016-12-14 | 2018-06-22 | 삼성전자주식회사 | Apparatus and method for generating training data for training neural network determining information related to road included in an image |
US11593632B2 (en) | 2016-12-15 | 2023-02-28 | WaveOne Inc. | Deep learning based on image encoding and decoding |
WO2018126215A1 (en) | 2016-12-30 | 2018-07-05 | DeepMap Inc. | High definition map updates |
CN110832417B (en) | 2016-12-30 | 2023-06-09 | 辉达公司 | Generating routes for autonomous vehicles using high definition maps |
US10262218B2 (en) | 2017-01-03 | 2019-04-16 | Qualcomm Incorporated | Simultaneous object detection and rigid transform estimation using neural network |
US10228693B2 (en) | 2017-01-13 | 2019-03-12 | Ford Global Technologies, Llc | Generating simulated sensor data for training and validation of detection models |
US10192016B2 (en) | 2017-01-17 | 2019-01-29 | Xilinx, Inc. | Neural network based physical synthesis for circuit designs |
WO2018135869A1 (en) * | 2017-01-19 | 2018-07-26 | 주식회사 만도 | Camera system for intelligent driver assistance system, and driver assistance system and method |
US20180211403A1 (en) | 2017-01-20 | 2018-07-26 | Ford Global Technologies, Llc | Recurrent Deep Convolutional Neural Network For Object Detection |
US10740563B2 (en) | 2017-02-03 | 2020-08-11 | Benedict R. Dugan | System and methods for text classification |
CN106779060B (en) | 2017-02-09 | 2019-03-08 | 武汉魅瞳科技有限公司 | A kind of calculation method for the depth convolutional neural networks realized suitable for hardware design |
JP2018136803A (en) | 2017-02-23 | 2018-08-30 | 株式会社日立製作所 | Image recognition system |
US10359783B2 (en) | 2017-02-28 | 2019-07-23 | Warfarer, Inc. | Transportation system |
US11157801B2 (en) | 2017-02-28 | 2021-10-26 | Microsoft Technology Licensing, Llc | Neural network processing with the neural network model pinned to on-chip memories of hardware nodes |
US10146225B2 (en) | 2017-03-02 | 2018-12-04 | GM Global Technology Operations LLC | Systems and methods for vehicle dimension prediction |
US10733482B1 (en) | 2017-03-08 | 2020-08-04 | Zoox, Inc. | Object height estimation from monocular images |
US10671873B2 (en) | 2017-03-10 | 2020-06-02 | Tusimple, Inc. | System and method for vehicle wheel detection |
US10311312B2 (en) | 2017-08-31 | 2019-06-04 | TuSimple | System and method for vehicle occlusion detection |
JP6665819B2 (en) | 2017-03-17 | 2020-03-13 | トヨタ自動車株式会社 | In-vehicle display device |
US10692000B2 (en) | 2017-03-20 | 2020-06-23 | Sap Se | Training machine learning models |
US11067995B2 (en) | 2017-03-20 | 2021-07-20 | Mobileye Vision Technologies Ltd. | Navigation by augmented path prediction |
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
CN107103113B (en) | 2017-03-23 | 2019-01-11 | 中国科学院计算技术研究所 | The Automation Design method, apparatus and optimization method towards neural network processor |
JP6658643B2 (en) | 2017-03-24 | 2020-03-04 | トヨタ自動車株式会社 | Visual recognition device for vehicles |
US9965865B1 (en) | 2017-03-29 | 2018-05-08 | Amazon Technologies, Inc. | Image data segmentation using depth data |
US10248121B2 (en) | 2017-03-31 | 2019-04-02 | Uber Technologies, Inc. | Machine-learning based autonomous vehicle management system |
US10296828B2 (en) | 2017-04-05 | 2019-05-21 | Here Global B.V. | Learning a similarity measure for vision-based localization on a high definition (HD) map |
CN110651310B (en) | 2017-04-05 | 2023-09-08 | 卡内基梅隆大学 | Deep learning method for estimating object density and/or flow, and related method and software |
US10303961B1 (en) | 2017-04-13 | 2019-05-28 | Zoox, Inc. | Object detection and passenger notification |
DE202017102235U1 (en) | 2017-04-13 | 2017-05-12 | Robert Bosch Gmbh | training system |
DE202017102238U1 (en) | 2017-04-13 | 2017-05-12 | Robert Bosch Gmbh | Aktorsteuerungssystem |
US10346454B2 (en) | 2017-04-17 | 2019-07-09 | Mammoth Medical, Llc | System and method for automated multi-dimensional network management |
EP3612984A4 (en) | 2017-04-18 | 2021-03-24 | D5A1 Llc | Multi-stage machine learning and recognition |
CN107169560B (en) | 2017-04-19 | 2020-10-16 | 清华大学 | Self-adaptive reconfigurable deep convolutional neural network computing method and device |
DE102018200724A1 (en) | 2017-04-19 | 2018-10-25 | Robert Bosch Gmbh | Method and device for improving the robustness against "Adversarial Examples" |
CN107169421B (en) | 2017-04-20 | 2020-04-28 | 华南理工大学 | Automobile driving scene target detection method based on deep convolutional neural network |
DE202017102381U1 (en) | 2017-04-21 | 2017-05-11 | Robert Bosch Gmbh | Device for improving the robustness against "Adversarial Examples" |
US10436615B2 (en) | 2017-04-24 | 2019-10-08 | Carnegie Mellon University | Virtual sensor system |
US10460053B2 (en) | 2017-04-24 | 2019-10-29 | Toyota Research Institute, Inc. | Systems and methods for surface property identification using waveform classification |
US10108867B1 (en) | 2017-04-25 | 2018-10-23 | Uber Technologies, Inc. | Image-based pedestrian detection |
CN107133943B (en) | 2017-04-26 | 2018-07-06 | 贵州电网有限责任公司输电运行检修分公司 | A kind of visible detection method of stockbridge damper defects detection |
US10318794B2 (en) | 2017-04-28 | 2019-06-11 | Microsoft Technology Licensing, Llc | Intelligent auto cropping of digital images |
US10838936B2 (en) | 2017-05-12 | 2020-11-17 | Harris Lee Cohen | Computer-implemented methods, computer readable medium and systems for generating an orchard data model for a precision agriculture platform |
KR102060662B1 (en) * | 2017-05-16 | 2019-12-30 | 삼성전자주식회사 | Electronic device and method for detecting a driving event of vehicle |
US10372130B1 (en) | 2017-05-19 | 2019-08-06 | Zoox, Inc. | Communicating reasons for vehicle actions |
US20180374105A1 (en) | 2017-05-26 | 2018-12-27 | Get Attached, Inc. | Leveraging an intermediate machine learning analysis |
WO2018218155A1 (en) | 2017-05-26 | 2018-11-29 | Google Llc | Machine-learned model system |
US10310087B2 (en) | 2017-05-31 | 2019-06-04 | Uber Technologies, Inc. | Range-view LIDAR-based object detection |
US11273553B2 (en) | 2017-06-05 | 2022-03-15 | Autodesk, Inc. | Adapting simulation data to real-world conditions encountered by physical processes |
US11954486B2 (en) | 2017-06-05 | 2024-04-09 | Umajin Inc. | Location tracking system and methods |
US11361243B2 (en) | 2017-06-07 | 2022-06-14 | Accenture Global Solutions Limited | Recommending machine learning techniques, features, and feature relevance scores |
US10853739B2 (en) | 2017-06-09 | 2020-12-01 | Sap Se | Machine learning models for evaluating entities in a high-volume computer network |
CN108229526B (en) | 2017-06-16 | 2020-09-29 | 北京市商汤科技开发有限公司 | Network training method, network training device, image processing method, image processing device, storage medium and electronic equipment |
US10007269B1 (en) | 2017-06-23 | 2018-06-26 | Uber Technologies, Inc. | Collision-avoidance system for autonomous-capable vehicle |
JP2019008519A (en) * | 2017-06-23 | 2019-01-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Mobile body detection method, mobile body learning method, mobile body detector, mobile body learning device, mobile body detection system, and program |
JP7050006B2 (en) | 2017-06-28 | 2022-04-07 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Mobile control device, mobile control method, and learning method |
US10567674B2 (en) | 2017-06-30 | 2020-02-18 | Harman International Industries, Incorporated | Systems and methods for detecting objects in imaging systems |
US10474161B2 (en) | 2017-07-03 | 2019-11-12 | Baidu Usa Llc | High resolution 3D point clouds generation from upsampled low resolution lidar 3D point clouds and camera images |
US10671082B2 (en) | 2017-07-03 | 2020-06-02 | Baidu Usa Llc | High resolution 3D point clouds generation based on CNN and CRF models |
US10474160B2 (en) | 2017-07-03 | 2019-11-12 | Baidu Usa Llc | High resolution 3D point clouds generation from downsampled low resolution LIDAR 3D point clouds and camera images |
CN109215067B (en) | 2017-07-03 | 2023-03-10 | 百度(美国)有限责任公司 | High-resolution 3-D point cloud generation based on CNN and CRF models |
US10402687B2 (en) | 2017-07-05 | 2019-09-03 | Perceptive Automata, Inc. | System and method of predicting human interaction with vehicles |
US10606990B2 (en) | 2017-07-06 | 2020-03-31 | Ebay Inc. | Machine learning system for computing asset access |
US10592785B2 (en) | 2017-07-12 | 2020-03-17 | Futurewei Technologies, Inc. | Integrated system for detection of driver condition |
DE102017116017A1 (en) | 2017-07-17 | 2019-01-17 | Valeo Schalter Und Sensoren Gmbh | An automotive sensor device having a plurality of sensor units and a plurality of neural networks for generating a combined representation of an environment |
US10733755B2 (en) | 2017-07-18 | 2020-08-04 | Qualcomm Incorporated | Learning geometric differentials for matching 3D models to objects in a 2D image |
DE102017116411B4 (en) | 2017-07-20 | 2022-02-03 | Infineon Technologies Ag | Electronic control unit, gateway circuit for an electronic airbag control unit, safety system for a vehicle and environmental sensor element |
US10579063B2 (en) | 2017-07-21 | 2020-03-03 | Uatc, Llc | Machine learning for predicting locations of objects perceived by autonomous vehicles |
US10650278B1 (en) | 2017-07-21 | 2020-05-12 | Apple Inc. | Semantic labeling of point clouds using images |
US10395144B2 (en) | 2017-07-24 | 2019-08-27 | GM Global Technology Operations LLC | Deeply integrated fusion architecture for automated driving systems |
US10542930B1 (en) | 2017-07-25 | 2020-01-28 | BlueOwl, LLC | Audio assessment for analyzing sleep trends using machine learning techniques |
CN107451659B (en) | 2017-07-27 | 2020-04-10 | 清华大学 | Neural network accelerator for bit width partition and implementation method thereof |
CN107368926B (en) | 2017-07-28 | 2018-07-10 | 中南大学 | A kind of more natural parameter sensing method for amalgamation processing of intelligent environment carrying robot identification floor |
JP7002729B2 (en) | 2017-07-31 | 2022-01-20 | 株式会社アイシン | Image data generator, image recognition device, image data generation program, and image recognition program |
EP3651055A4 (en) | 2017-08-01 | 2020-10-21 | Huawei Technologies Co., Ltd. | Gesture recognition method, apparatus, and device |
CN109389552B (en) | 2017-08-02 | 2023-03-28 | 中山大学 | Image super-resolution algorithm based on context-dependent multitask deep learning |
US11170288B2 (en) | 2017-08-03 | 2021-11-09 | Facebook, Inc. | Systems and methods for predicting qualitative ratings for advertisements based on machine learning |
KR102601604B1 (en) | 2017-08-04 | 2023-11-13 | 삼성전자주식회사 | Method and apparatus for quantizing parameter of neural network |
KR102541559B1 (en) | 2017-08-04 | 2023-06-08 | 삼성전자주식회사 | Method and apparatus of detecting objects of interest |
US10656657B2 (en) | 2017-08-08 | 2020-05-19 | Uatc, Llc | Object motion prediction and autonomous vehicle control |
US10423934B1 (en) | 2017-08-10 | 2019-09-24 | Zoox, Inc. | Automated vehicle diagnostics and maintenance |
US10860924B2 (en) | 2017-08-18 | 2020-12-08 | Microsoft Technology Licensing, Llc | Hardware node having a mixed-signal matrix vector unit |
CN108229647A (en) | 2017-08-18 | 2018-06-29 | 北京市商汤科技开发有限公司 | The generation method and device of neural network structure, electronic equipment, storage medium |
US10167800B1 (en) | 2017-08-18 | 2019-01-01 | Microsoft Technology Licensing, Llc | Hardware node having a matrix vector unit with block-floating point processing |
US20190228037A1 (en) | 2017-08-19 | 2019-07-25 | Wave Computing, Inc. | Checkpointing data flow graph computation for machine learning |
US10216189B1 (en) | 2017-08-23 | 2019-02-26 | Uber Technologies, Inc. | Systems and methods for prioritizing object prediction for autonomous vehicles |
US11455565B2 (en) | 2017-08-31 | 2022-09-27 | Ford Global Technologies, Llc | Augmenting real sensor recordings with simulated sensor data |
US10783381B2 (en) | 2017-08-31 | 2020-09-22 | Tusimple, Inc. | System and method for vehicle occlusion detection |
US10629080B2 (en) | 2017-08-31 | 2020-04-21 | Uatc Llc | Autonomous vehicles featuring vehicle intention system |
US20190072978A1 (en) | 2017-09-01 | 2019-03-07 | GM Global Technology Operations LLC | Methods and systems for generating realtime map information |
US11430331B2 (en) | 2017-09-08 | 2022-08-30 | Uatc, Llc | Power and thermal management systems and methods for autonomous vehicles |
US20190079526A1 (en) | 2017-09-08 | 2019-03-14 | Uber Technologies, Inc. | Orientation Determination in Object Detection and Tracking for Autonomous Vehicles |
US10402646B2 (en) | 2017-09-21 | 2019-09-03 | Amazon Technologies, Inc. | Object detection and avoidance for aerial vehicles |
CN107507134B (en) | 2017-09-21 | 2020-09-11 | 大连理工大学 | Super-resolution method based on convolutional neural network |
US11521301B2 (en) | 2017-09-22 | 2022-12-06 | Hoffman-La Roche, Inc. | Artifacts removal from tissue images |
US10551297B2 (en) | 2017-09-22 | 2020-02-04 | Saudi Arabian Oil Company | Thermography image processing with neural networks to identify corrosion under insulation (CUI) |
US10891715B2 (en) | 2017-09-22 | 2021-01-12 | Continental Automotive Systems, Inc. | Deep neural network for image enhancement |
US20190095946A1 (en) | 2017-09-25 | 2019-03-28 | Get Attached, Inc. | Automatically analyzing media using a machine learning model trained on user engagement information |
US10546197B2 (en) | 2017-09-26 | 2020-01-28 | Ambient AI, Inc. | Systems and methods for intelligent and interpretive analysis of video image data using machine learning |
KR20200129168A (en) | 2017-09-27 | 2020-11-17 | 구글 엘엘씨 | End to end network model for high resolution image segmentation |
US10679129B2 (en) | 2017-09-28 | 2020-06-09 | D5Ai Llc | Stochastic categorical autoencoder network |
CN107742311B (en) | 2017-09-29 | 2020-02-18 | 北京易达图灵科技有限公司 | Visual positioning method and device |
US10872531B2 (en) | 2017-09-29 | 2020-12-22 | Uber Technologies, Inc. | Image processing for vehicle collision avoidance system |
WO2019068076A1 (en) | 2017-09-29 | 2019-04-04 | United Parcel Service Of America, Inc. | Predictive parcel damage identification, analysis, and mitigation |
WO2019067695A1 (en) | 2017-10-01 | 2019-04-04 | Airspace Systems, Inc. | Flight control using computer vision |
US20190101914A1 (en) | 2017-10-02 | 2019-04-04 | Allstate Insurance Company | Data Processing System with Machine Learning Engine for Providing Driving Data Analysis and Vehicle Control Functions |
US10579897B2 (en) | 2017-10-02 | 2020-03-03 | Xnor.ai Inc. | Image based object detection |
US10678997B2 (en) | 2017-10-05 | 2020-06-09 | Microsoft Technology Licensing, Llc | Machine learned models for contextual editing of social networking profiles |
US10733262B2 (en) | 2017-10-05 | 2020-08-04 | Adobe Inc. | Attribute control for updating digital content in a digital medium environment |
US11748653B2 (en) | 2017-10-05 | 2023-09-05 | DataRobot, Inc. | Machine learning abstraction |
WO2019070290A1 (en) | 2017-10-06 | 2019-04-11 | Hitachi, Ltd. | Repair management and execution |
DE102017123452A1 (en) | 2017-10-10 | 2019-04-11 | Connaught Electronics Ltd. | Method for generating an output image, camera system and motor vehicle showing a motor vehicle and a surrounding area of the motor vehicle in a predetermined target view |
US10652565B1 (en) | 2017-10-12 | 2020-05-12 | Amazon Technologies, Inc. | Image compression and decompression using embeddings |
CN107622258B (en) | 2017-10-16 | 2020-10-30 | 中南大学 | Rapid pedestrian detection method combining static underlying characteristics and motion information |
US20190122104A1 (en) | 2017-10-19 | 2019-04-25 | General Electric Company | Building a binary neural network architecture |
US20190122111A1 (en) | 2017-10-24 | 2019-04-25 | Nec Laboratories America, Inc. | Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions |
WO2019083578A1 (en) | 2017-10-27 | 2019-05-02 | Google Llc | Systems and methods for improved optimization of machine-learned models |
US10467501B2 (en) | 2017-10-30 | 2019-11-05 | Sap Se | Computer vision architecture with machine learned image recognition models |
CN107729998B (en) | 2017-10-31 | 2020-06-05 | 中国科学院计算技术研究所 | Method for neural network processor |
US10346721B2 (en) | 2017-11-01 | 2019-07-09 | Salesforce.Com, Inc. | Training a neural network using augmented training datasets |
KR102589303B1 (en) | 2017-11-02 | 2023-10-24 | 삼성전자주식회사 | Method and apparatus for generating fixed point type neural network |
WO2019089339A1 (en) | 2017-11-02 | 2019-05-09 | The Trustees Of Princeton University | Method and system for neural network synthesis |
US11054811B2 (en) | 2017-11-03 | 2021-07-06 | Drishti Technologies, Inc. | Systems and methods for line balancing |
WO2019093993A1 (en) | 2017-11-07 | 2019-05-16 | Google Llc | Semantic state based sensor tracking and updating |
US10591914B2 (en) | 2017-11-08 | 2020-03-17 | GM Global Technology Operations LLC | Systems and methods for autonomous vehicle behavior control |
US11635815B2 (en) | 2017-11-13 | 2023-04-25 | Bios Health Ltd | Neural interface |
US10678839B2 (en) | 2017-11-13 | 2020-06-09 | Facebook, Inc. | Systems and methods for ranking ephemeral content item collections associated with a social networking system |
US20190147112A1 (en) | 2017-11-13 | 2019-05-16 | Facebook, Inc. | Systems and methods for ranking ephemeral content item collections associated with a social networking system |
US10824862B2 (en) | 2017-11-14 | 2020-11-03 | Nuro, Inc. | Three-dimensional object detection for autonomous robotic systems using image proposals |
US11080537B2 (en) | 2017-11-15 | 2021-08-03 | Uatc, Llc | Autonomous vehicle lane boundary detection systems and methods |
US11556777B2 (en) | 2017-11-15 | 2023-01-17 | Uatc, Llc | Continuous convolution and fusion in neural networks |
US10803328B1 (en) | 2017-11-15 | 2020-10-13 | Uatc, Llc | Semantic and instance segmentation |
EP3710980A1 (en) | 2017-11-15 | 2020-09-23 | Uatc, Llc | Autonomous vehicle lane boundary detection systems and methods |
US10803325B2 (en) | 2017-11-15 | 2020-10-13 | Uatc, Llc | Autonomous vehicle lane boundary detection systems and methods |
US10970553B2 (en) | 2017-11-15 | 2021-04-06 | Uatc, Llc | Semantic segmentation of three-dimensional data |
US20190147255A1 (en) | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | Systems and Methods for Generating Sparse Geographic Data for Autonomous Vehicles |
US11061402B2 (en) | 2017-11-15 | 2021-07-13 | Uatc, Llc | Sparse convolutional neural networks |
KR102095335B1 (en) | 2017-11-15 | 2020-03-31 | 에스케이텔레콤 주식회사 | Apparatus and method for generating and using neural network model applying accelerated computation |
US11475351B2 (en) | 2017-11-15 | 2022-10-18 | Uatc, Llc | Systems and methods for object detection, tracking, and motion prediction |
US20190145765A1 (en) | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | Three Dimensional Object Detection |
US10828790B2 (en) | 2017-11-16 | 2020-11-10 | Google Llc | Component feature detector for robotic systems |
KR102073351B1 (en) | 2017-11-17 | 2020-02-05 | 주식회사 하이퍼커넥트 | Server and operating method thereof |
US10698868B2 (en) | 2017-11-17 | 2020-06-30 | Accenture Global Solutions Limited | Identification of domain information for use in machine learning models |
US10409898B2 (en) | 2017-11-17 | 2019-09-10 | Adobe Inc. | Generating a targeted summary of textual content tuned to a target audience vocabulary |
EP3486674A1 (en) | 2017-11-17 | 2019-05-22 | Koninklijke Philips N.V. | Artificial intelligence-enabled localization of anatomical landmarks |
US20180074506A1 (en) | 2017-11-21 | 2018-03-15 | GM Global Technology Operations LLC | Systems and methods for mapping roadway-interfering objects in autonomous vehicles |
US10535138B2 (en) | 2017-11-21 | 2020-01-14 | Zoox, Inc. | Sensor data segmentation |
CN107885214A (en) | 2017-11-22 | 2018-04-06 | 济南浪潮高新科技投资发展有限公司 | A kind of method and device of the acceleration automatic Pilot visually-perceptible based on FPGA |
US11989861B2 (en) | 2017-11-28 | 2024-05-21 | Intel Corporation | Deep learning-based real-time detection and correction of compromised sensors in autonomous machines |
JP2019101535A (en) | 2017-11-29 | 2019-06-24 | コニカミノルタ株式会社 | Teacher data preparation device and method thereof and image segmentation device and method thereof |
KR20200100672A (en) | 2017-12-04 | 2020-08-26 | 옵티멈 세미컨덕터 테크놀로지스 인코포레이티드 | Neural network accelerator system and architecture |
US10762396B2 (en) | 2017-12-05 | 2020-09-01 | Utac, Llc | Multiple stage image based object detection and recognition |
US10693740B2 (en) | 2017-12-07 | 2020-06-23 | Accenture Global Solutions Limited | Data transformation of performance statistics and ticket information for network devices for use in machine learning models |
US10528824B2 (en) | 2017-12-11 | 2020-01-07 | GM Global Technology Operations LLC | Artificial neural network for lane feature classification and localization |
US10768628B2 (en) | 2017-12-12 | 2020-09-08 | Uatc, Llc | Systems and methods for object detection at various ranges using multiple range imagery |
RU2691214C1 (en) | 2017-12-13 | 2019-06-11 | Общество с ограниченной ответственностью "Аби Продакшн" | Text recognition using artificial intelligence |
US10599958B2 (en) | 2017-12-14 | 2020-03-24 | Avigilon Corporation | Method and system for classifying an object-of-interest using an artificial neural network |
KR101969864B1 (en) | 2017-12-15 | 2019-04-18 | 동국대학교 산학협력단 | Method of synthesizing images based on mutual interlocking of object and background images |
US11183274B2 (en) | 2017-12-18 | 2021-11-23 | International Business Machines Corporation | Analysis of answers to questions |
GB2582116B (en) | 2017-12-18 | 2022-05-11 | Motorola Solutions Inc | Method and device for generating an augmented image |
US20190185010A1 (en) | 2017-12-18 | 2019-06-20 | PlusAI Corp | Method and system for self capability aware route planning in autonomous driving vehicles |
EP3727980A4 (en) | 2017-12-18 | 2021-08-04 | PlusAI Corp | Method and system for personalized motion planning in autonomous driving vehicles |
US10713502B2 (en) | 2017-12-19 | 2020-07-14 | Micron Technology, Inc. | Providing autonomous vehicle assistance |
DE102017130566B4 (en) | 2017-12-19 | 2021-07-22 | Mekra Lang Gmbh & Co. Kg | Vision system for capturing a vehicle environment and a mirror replacement system for a vehicle with a vision system |
US10402986B2 (en) | 2017-12-20 | 2019-09-03 | Facebook, Inc. | Unsupervised video segmentation |
US10175697B1 (en) | 2017-12-21 | 2019-01-08 | Luminar Technologies, Inc. | Object identification and labeling tool for training autonomous vehicle controllers |
WO2019126755A1 (en) | 2017-12-21 | 2019-06-27 | Fugro N.V. | Generating and classifying training data for machine learning functions |
US10872254B2 (en) | 2017-12-22 | 2020-12-22 | Texas Instruments Incorporated | Digital mirror systems for vehicles and methods of operating the same |
US10748247B2 (en) | 2017-12-26 | 2020-08-18 | Facebook, Inc. | Computing high-resolution depth images using machine learning techniques |
US10657418B2 (en) | 2017-12-27 | 2020-05-19 | International Business Machines Corporation | Object detection on local devices using remotely generated machine learning models |
CN109791626B (en) | 2017-12-29 | 2022-12-27 | 清华大学 | Neural network weight coding method, calculating device and hardware system |
CN108111873B (en) | 2017-12-29 | 2020-04-14 | 国网山东省电力公司泰安供电公司 | GIS image data transmission method based on machine learning |
US10755115B2 (en) | 2017-12-29 | 2020-08-25 | Here Global B.V. | Method, apparatus, and system for generating synthetic image data for machine learning |
US20190204842A1 (en) | 2018-01-02 | 2019-07-04 | GM Global Technology Operations LLC | Trajectory planner with dynamic cost learning for autonomous driving |
US11170006B2 (en) | 2018-01-03 | 2021-11-09 | Facebook, Inc. | Machine-learning model for ranking diverse content |
US10657391B2 (en) | 2018-01-05 | 2020-05-19 | Uatc, Llc | Systems and methods for image-based free space detection |
US20190217791A1 (en) | 2018-01-12 | 2019-07-18 | Uber Technologies, Inc. | Systems and Methods for Streaming Processing for Autonomous Vehicles |
US10896763B2 (en) | 2018-01-12 | 2021-01-19 | Koninklijke Philips N.V. | System and method for providing model-based treatment recommendation via individual-specific machine learning models |
EP3514494A1 (en) | 2018-01-19 | 2019-07-24 | Zenuity AB | Constructing and updating a behavioral layer of a multi layered road network high definition digital map |
US10909368B2 (en) | 2018-01-23 | 2021-02-02 | X Development Llc | Crop type classification in images |
US20180150081A1 (en) | 2018-01-24 | 2018-05-31 | GM Global Technology Operations LLC | Systems and methods for path planning in autonomous vehicles |
CN108399362B (en) | 2018-01-24 | 2022-01-07 | 中山大学 | Rapid pedestrian detection method and device |
US10872204B2 (en) | 2018-01-26 | 2020-12-22 | Ge Inspection Technologies, Lp | Generating natural language recommendations based on an industrial language model |
US10345822B1 (en) * | 2018-01-26 | 2019-07-09 | Ford Global Technologies, Llc | Cognitive mapping for vehicles |
KR102098713B1 (en) | 2018-01-29 | 2020-04-08 | 주식회사 유엑스팩토리 | Heterogenous Processor Architecture to Integrate CNN and RNN Neural Networks on a Single Chip |
CN111602149B (en) | 2018-01-30 | 2024-04-02 | D5Ai有限责任公司 | Self-organizing partial sequence network |
US10962973B2 (en) | 2018-01-30 | 2021-03-30 | Uatc, Llc | Autonomous vehicle safe stop |
US10586280B2 (en) | 2018-01-30 | 2020-03-10 | PointPredictive Inc. | Risk-based machine learning classsifier |
CN110096937A (en) | 2018-01-31 | 2019-08-06 | 北京四维图新科技股份有限公司 | A kind of method and device of the image recognition for assisting Vehicular automatic driving |
DE112019000065T5 (en) | 2018-02-02 | 2020-03-05 | Nvidia Corporation | SAFETY PROCEDURE ANALYSIS TO AVOID OBSTACLES IN AN AUTONOMOUS VEHICLE |
US20190244138A1 (en) | 2018-02-08 | 2019-08-08 | Apple Inc. | Privatized machine learning using generative adversarial networks |
US11789449B2 (en) | 2018-02-09 | 2023-10-17 | Nvidia Corporation | Controlling autonomous vehicles using safe arrival times |
US10996683B2 (en) | 2018-02-09 | 2021-05-04 | Skydio, Inc. | Aerial vehicle touchdown detection |
US10489126B2 (en) | 2018-02-12 | 2019-11-26 | Oracle International Corporation | Automated code generation |
CN110147698A (en) | 2018-02-13 | 2019-08-20 | Kpit技术有限责任公司 | System and method for lane detection |
KR101996167B1 (en) | 2018-02-14 | 2019-07-03 | 동국대학교 산학협력단 | Apparatus for generating image used for learning of unmanned autonomous vehicle and method thereof |
US10839578B2 (en) | 2018-02-14 | 2020-11-17 | Smarter Reality, LLC | Artificial-intelligence enhanced visualization of non-invasive, minimally-invasive and surgical aesthetic medical procedures |
US10955851B2 (en) | 2018-02-14 | 2021-03-23 | Zoox, Inc. | Detecting blocking objects |
US10805629B2 (en) | 2018-02-17 | 2020-10-13 | Google Llc | Video compression through motion warping using learning-based motion segmentation |
US11210537B2 (en) | 2018-02-18 | 2021-12-28 | Nvidia Corporation | Object detection and detection confidence suitable for autonomous driving |
US10628432B2 (en) | 2018-02-19 | 2020-04-21 | Microsoft Technology Licensing, Llc | Personalized deep models for smart suggestions ranking |
US20190266610A1 (en) | 2018-02-21 | 2019-08-29 | Accenture Global Solutions Limited | Transaction management using machine learning and similarity analysis |
CN111788589A (en) | 2018-02-23 | 2020-10-16 | Asml荷兰有限公司 | Method of training a machine learning model for computational lithography |
DE112019000122T5 (en) | 2018-02-27 | 2020-06-25 | Nvidia Corporation | REAL-TIME DETECTION OF TRACKS AND LIMITATIONS BY AUTONOMOUS VEHICLES |
KR102022388B1 (en) | 2018-02-27 | 2019-09-18 | (주)캠시스 | Calibration system and method using real-world object information |
CN110197270B (en) | 2018-02-27 | 2020-10-30 | 上海寒武纪信息科技有限公司 | Integrated circuit chip device and related product |
US11501105B2 (en) | 2018-03-02 | 2022-11-15 | Zoox, Inc. | Automatic creation and updating of maps |
US10990832B2 (en) | 2018-03-06 | 2021-04-27 | Phantom AI, Inc. | Lane line reconstruction using future scenes and trajectory |
KR101967339B1 (en) | 2018-03-06 | 2019-04-09 | 단국대학교 산학협력단 | System and Method for Diagnosing Fault and Backup of ADAS Sensors based on Deep Learning |
US10157331B1 (en) | 2018-03-08 | 2018-12-18 | Capital One Services, Llc | Systems and methods for image preprocessing to improve accuracy of object recognition |
US10621513B2 (en) | 2018-03-08 | 2020-04-14 | Capital One Services, Llc | System and method for deploying and versioning machine learning models |
US10223611B1 (en) | 2018-03-08 | 2019-03-05 | Capital One Services, Llc | Object detection using image classification models |
US10572757B2 (en) | 2018-03-09 | 2020-02-25 | Ricoh Co., Ltd. | User interface for object detection and labeling |
US10628686B2 (en) | 2018-03-12 | 2020-04-21 | Waymo Llc | Neural networks for object detection and characterization |
US10798368B2 (en) | 2018-03-13 | 2020-10-06 | Lyft, Inc. | Exposure coordination for multiple cameras |
US10755112B2 (en) | 2018-03-13 | 2020-08-25 | Toyota Research Institute, Inc. | Systems and methods for reducing data storage in machine learning |
US11128854B2 (en) | 2018-03-13 | 2021-09-21 | Magic Leap, Inc. | Image-enhanced depth sensing via depth sensor control |
US20190286973A1 (en) | 2018-03-14 | 2019-09-19 | Microsoft Technology Licensing, Llc | Hardware accelerated neural network subgraphs |
US11221413B2 (en) | 2018-03-14 | 2022-01-11 | Uatc, Llc | Three-dimensional object detection |
US20190287028A1 (en) | 2018-03-15 | 2019-09-19 | Arm Ltd. | Systems, devices, and/or processes for behavioral content processing |
US11429862B2 (en) | 2018-03-20 | 2022-08-30 | Sri International | Dynamic adaptation of deep neural networks |
US11657087B2 (en) | 2018-03-19 | 2023-05-23 | Verily Life Sciences Llc | Surgical video retrieval based on preoperative images |
JP2019164793A (en) | 2018-03-19 | 2019-09-26 | エスアールアイ インターナショナル | Dynamic adaptation of deep neural networks |
WO2019183087A1 (en) | 2018-03-20 | 2019-09-26 | Phantom AI, Inc. | Data augmentation using computer simulated objects for autonomous control systems |
US10901508B2 (en) | 2018-03-20 | 2021-01-26 | X Development Llc | Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control |
US20190294975A1 (en) | 2018-03-21 | 2019-09-26 | Swim.IT Inc | Predicting using digital twins |
WO2019182782A1 (en) | 2018-03-21 | 2019-09-26 | Zoox, Inc. | Generating maps without shadows |
US10699477B2 (en) | 2018-03-21 | 2020-06-30 | Zoox, Inc. | Generating maps without shadows |
US10836379B2 (en) | 2018-03-23 | 2020-11-17 | Sf Motors, Inc. | Multi-network-based path generation for vehicle parking |
US10627818B2 (en) | 2018-03-28 | 2020-04-21 | Zoox, Inc. | Temporal prediction model for semantic intent understanding |
WO2019191578A1 (en) | 2018-03-30 | 2019-10-03 | Wave Computing, Inc. | Data flow graph computation for machine learning |
CN108491889A (en) | 2018-04-02 | 2018-09-04 | 深圳市易成自动驾驶技术有限公司 | Image, semantic dividing method, device and computer readable storage medium |
US10140544B1 (en) | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
US10468062B1 (en) | 2018-04-03 | 2019-11-05 | Zoox, Inc. | Detecting errors in sensor data |
US10887433B2 (en) | 2018-04-03 | 2021-01-05 | Pony Ai Inc. | System and method for incremental data processing |
US10776939B2 (en) | 2018-04-03 | 2020-09-15 | Altumview Systems Inc. | Obstacle avoidance system based on embedded stereo vision for unmanned aerial vehicles |
US10414395B1 (en) | 2018-04-06 | 2019-09-17 | Zoox, Inc. | Feature-based prediction |
US20190311290A1 (en) | 2018-04-06 | 2019-10-10 | Mentor Graphics Corporation | Deep Learning Based Test Compression Analyzer |
US10725475B2 (en) | 2018-04-09 | 2020-07-28 | Toyota Jidosha Kabushiki Kaisha | Machine learning enhanced vehicle merging |
US20190310651A1 (en) | 2018-04-10 | 2019-10-10 | Uber Technologies, Inc. | Object Detection and Determination of Motion Information Using Curve-Fitting in Autonomous Vehicle Applications |
US10740914B2 (en) | 2018-04-10 | 2020-08-11 | Pony Ai Inc. | Enhanced three-dimensional training data generation |
US10769494B2 (en) | 2018-04-10 | 2020-09-08 | Pony Ai Inc. | Enhanced training information generation |
US11132444B2 (en) | 2018-04-16 | 2021-09-28 | International Business Machines Corporation | Using gradients to detect backdoors in neural networks |
CN108520247B (en) | 2018-04-16 | 2020-04-28 | 腾讯科技(深圳)有限公司 | Method, device, terminal and readable medium for identifying object node in image |
US10816992B2 (en) | 2018-04-17 | 2020-10-27 | Baidu Usa Llc | Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs) |
JP7039727B2 (en) | 2018-04-18 | 2022-03-22 | モービルアイ ヴィジョン テクノロジーズ リミテッド | Vehicle environment modeling using a camera |
US20200151692A1 (en) | 2018-04-18 | 2020-05-14 | Sbot Technologies, Inc. d/b/a Caper Inc. | Systems and methods for training data generation for object identification and self-checkout anti-theft |
US10321728B1 (en) | 2018-04-20 | 2019-06-18 | Bodygram, Inc. | Systems and methods for full body measurements extraction |
US11030486B2 (en) | 2018-04-20 | 2021-06-08 | XNOR.ai, Inc. | Image classification through label progression |
DE102018206208A1 (en) | 2018-04-23 | 2019-10-24 | Robert Bosch Gmbh | Method, device, product and computer program for operating a technical system |
US11244484B2 (en) | 2018-04-23 | 2022-02-08 | Accenture Global Solutions Limited | AI-driven design platform |
US10565475B2 (en) | 2018-04-24 | 2020-02-18 | Accenture Global Solutions Limited | Generating a machine learning model for objects based on augmenting the objects with physical properties |
CN108647591A (en) | 2018-04-25 | 2018-10-12 | 长沙学院 | Activity recognition method and system in a kind of video of view-based access control model-semantic feature |
CN108549934B (en) | 2018-04-25 | 2020-06-19 | 福州瑞芯微电子股份有限公司 | Operation method and device based on automatic cluster neural network chipset |
US20190329790A1 (en) | 2018-04-25 | 2019-10-31 | Uber Technologies, Inc. | Systems and Methods for Using Machine Learning to Determine Passenger Ride Experience |
US11138745B2 (en) | 2018-04-30 | 2021-10-05 | Uatc, Llc | Object association for autonomous vehicles |
US11334753B2 (en) | 2018-04-30 | 2022-05-17 | Uatc, Llc | Traffic signal state classification for autonomous vehicles |
US11244195B2 (en) | 2018-05-01 | 2022-02-08 | Adobe Inc. | Iteratively applying neural networks to automatically identify pixels of salient objects portrayed in digital images |
US11494200B2 (en) | 2018-05-02 | 2022-11-08 | Microsoft Technology Licensing, Llc. | Configuring an electronic device using artificial intelligence |
US10803743B2 (en) | 2018-05-02 | 2020-10-13 | Lyft, Inc. | Monitoring ambient light for object detection |
US20190340499A1 (en) | 2018-05-04 | 2019-11-07 | Microsoft Technology Licensing, Llc | Quantization for dnn accelerators |
US10699140B2 (en) | 2018-05-04 | 2020-06-30 | Qualcomm Incorporated | System and method for capture and distribution of information collected from signs |
US11645493B2 (en) | 2018-05-04 | 2023-05-09 | Microsoft Technology Licensing, Llc | Flow for quantized neural networks |
EP3791236A4 (en) | 2018-05-07 | 2022-06-08 | Strong Force Iot Portfolio 2016, LLC | Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things |
JP7440420B2 (en) | 2018-05-07 | 2024-02-28 | グーグル エルエルシー | Application development platform and software development kit offering comprehensive machine learning services |
CN112088383A (en) | 2018-05-10 | 2020-12-15 | 松下半导体解决方案株式会社 | Neural network construction device, information processing device, neural network construction method, and program |
US10748021B2 (en) | 2018-05-11 | 2020-08-18 | Samsung Electronics Co., Ltd. | Method of analyzing objects in images recorded by a camera of a head mounted device |
US20190349571A1 (en) | 2018-05-11 | 2019-11-14 | Ford Global Technologies, Llc | Distortion correction for vehicle surround view camera projections |
US10776626B1 (en) | 2018-05-14 | 2020-09-15 | Amazon Technologies, Inc. | Machine learning based identification of visually complementary item collections |
US20210221404A1 (en) | 2018-05-14 | 2021-07-22 | BrainVu Ltd. | Driver predictive mental response profile and application to automated vehicle brain interface control |
US11126873B2 (en) | 2018-05-17 | 2021-09-21 | Zoox, Inc. | Vehicle lighting state determination |
US20190354850A1 (en) | 2018-05-17 | 2019-11-21 | International Business Machines Corporation | Identifying transfer models for machine learning tasks |
US11164016B2 (en) | 2018-05-17 | 2021-11-02 | Uatc, Llc | Object detection and property determination for autonomous vehicles |
US11138471B2 (en) | 2018-05-18 | 2021-10-05 | Google Llc | Augmentation of audiographic images for improved machine learning |
US11301733B2 (en) | 2018-05-18 | 2022-04-12 | Google Llc | Learning data augmentation strategies for object detection |
CN108710865B (en) | 2018-05-28 | 2022-04-22 | 电子科技大学 | Driver abnormal behavior detection method based on neural network |
US20190373322A1 (en) | 2018-05-29 | 2019-12-05 | Sony Interactive Entertainment LLC | Interactive Video Content Delivery |
US11491350B2 (en) | 2018-05-30 | 2022-11-08 | Siemens Healthcare Gmbh | Decision support system for individualizing radiotherapy dose |
US20190370575A1 (en) | 2018-05-31 | 2019-12-05 | Uber Technologies, Inc. | Systems and Methods for Implementing Trip Checks for Vehicles |
TWI681366B (en) | 2018-05-31 | 2020-01-01 | 廣達電腦股份有限公司 | Method and system for non-linearly stretching a cropped image |
CN108764185B (en) | 2018-06-01 | 2022-07-19 | 京东方科技集团股份有限公司 | Image processing method and device |
US20190370398A1 (en) | 2018-06-01 | 2019-12-05 | SayMosaic Inc. | Method and apparatus for searching historical data |
US20190042944A1 (en) | 2018-06-08 | 2019-02-07 | Intel Corporation | Artificial neural network training using flexible floating point tensors |
US11334960B2 (en) | 2018-06-08 | 2022-05-17 | Uatc, Llc | Systems and methods for pipelined processing of sensor data using hardware |
US11740630B2 (en) | 2018-06-12 | 2023-08-29 | Skydio, Inc. | Fitness and sports applications for an autonomous unmanned aerial vehicle |
US20190378049A1 (en) | 2018-06-12 | 2019-12-12 | Bank Of America Corporation | Ensemble of machine learning engines coupled to a graph structure that spreads heat |
US20190378051A1 (en) | 2018-06-12 | 2019-12-12 | Bank Of America Corporation | Machine learning system coupled to a graph structure detecting outlier patterns using graph scanning |
WO2019241022A1 (en) | 2018-06-13 | 2019-12-19 | Nvidia Corporation | Path detection for autonomous machines using deep neural networks |
CN110832275B (en) | 2018-06-14 | 2021-05-18 | 北京嘀嘀无限科技发展有限公司 | System and method for updating high-resolution map based on binocular image |
US11341356B2 (en) | 2018-06-15 | 2022-05-24 | Uatc, Llc | System and method for determining object intention through visual attributes |
US11370423B2 (en) | 2018-06-15 | 2022-06-28 | Uatc, Llc | Multi-task machine-learned models for object intention determination in autonomous driving |
US10642275B2 (en) | 2018-06-18 | 2020-05-05 | Zoox, Inc. | Occulsion aware planning and control |
JP7422687B2 (en) | 2018-06-18 | 2024-01-26 | ズークス インコーポレイテッド | Occlusion awareness planning |
US11048265B2 (en) | 2018-06-18 | 2021-06-29 | Zoox, Inc. | Occlusion aware planning |
US11966838B2 (en) | 2018-06-19 | 2024-04-23 | Nvidia Corporation | Behavior-guided path planning in autonomous machine applications |
US11501140B2 (en) | 2018-06-19 | 2022-11-15 | International Business Machines Corporation | Runtime reconfigurable neural network processor core |
US10726264B2 (en) | 2018-06-25 | 2020-07-28 | Microsoft Technology Licensing, Llc | Object-based localization |
WO2020006154A2 (en) | 2018-06-26 | 2020-01-02 | Itay Katz | Contextual driver monitoring system |
CN108898177A (en) | 2018-06-26 | 2018-11-27 | 广东电网有限责任公司 | A kind of power transmission line corridor earth surface classification method, system, medium and equipment |
CN108845574B (en) | 2018-06-26 | 2021-01-12 | 北京旷视机器人技术有限公司 | Target identification and tracking method, device, equipment and medium |
US10685159B2 (en) | 2018-06-27 | 2020-06-16 | Intel Corporation | Analog functional safety with anomaly detection |
US11454975B2 (en) | 2018-06-28 | 2022-09-27 | Uatc, Llc | Providing actionable uncertainties in autonomous vehicles |
US10810445B1 (en) | 2018-06-29 | 2020-10-20 | Zoox, Inc. | Pipeline with point cloud filtering |
US10921817B1 (en) | 2018-06-29 | 2021-02-16 | Zoox, Inc. | Point cloud filtering with semantic segmentation |
CN109086867B (en) | 2018-07-02 | 2021-06-08 | 武汉魅瞳科技有限公司 | Convolutional neural network acceleration system based on FPGA |
US11500477B2 (en) | 2018-07-02 | 2022-11-15 | Google Llc | Systems and methods for interacting and interfacing with an artificial intelligence system |
KR20200004700A (en) | 2018-07-04 | 2020-01-14 | 삼성전자주식회사 | Method and apparatus for processing parameter in neural network |
US10685188B1 (en) | 2018-07-06 | 2020-06-16 | Facebook, Inc. | Systems and methods for training machine learning models for language clusters |
US11537906B2 (en) | 2018-07-12 | 2022-12-27 | The Regents Of The University Of California | Machine learning based target localization for autonomous unmanned vehicles |
JP7140580B2 (en) | 2018-07-13 | 2022-09-21 | マクセル株式会社 | stereo imager |
EP3820753B1 (en) | 2018-07-14 | 2023-08-02 | Moove.AI | Vehicle-data analytics |
EP3824473A1 (en) | 2018-07-18 | 2021-05-26 | NVIDIA Corporation | Virtualized computing platform for inferencing, advanced processing, and machine learning applications |
US10901416B2 (en) | 2018-07-19 | 2021-01-26 | Honda Motor Co., Ltd. | Scene creation system for autonomous vehicles and methods thereof |
US11042157B2 (en) | 2018-07-23 | 2021-06-22 | Baidu Usa Llc | Lane/object detection and tracking perception system for autonomous vehicles |
US20200033865A1 (en) | 2018-07-24 | 2020-01-30 | Qualcomm Incorporated | Managing Cleaning Robot Behavior |
US10768629B2 (en) | 2018-07-24 | 2020-09-08 | Pony Ai Inc. | Generative adversarial network enriched driving simulation |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11284051B2 (en) | 2018-07-30 | 2022-03-22 | Pony Ai Inc. | Systems and methods for autonomous vehicle interactive content presentation |
US11353871B2 (en) | 2018-07-30 | 2022-06-07 | Pony Ai Inc. | Systems and methods for vehicle smart seats |
US20200034665A1 (en) | 2018-07-30 | 2020-01-30 | DataRobot, Inc. | Determining validity of machine learning algorithms for datasets |
EP3830790A1 (en) | 2018-07-31 | 2021-06-09 | Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts | Method and system for augmented imaging using multispectral information |
US11584379B2 (en) | 2018-08-06 | 2023-02-21 | Honda Motor Co., Ltd. | System and method for learning naturalistic driving behavior based on vehicle dynamic data |
US10706308B2 (en) | 2018-08-07 | 2020-07-07 | Accenture Global Solutions Limited | Image processing for automated object identification |
US10609434B2 (en) | 2018-08-07 | 2020-03-31 | Adobe Inc. | Machine-learning based multi-step engagement strategy generation and visualization |
US10733638B1 (en) | 2018-08-08 | 2020-08-04 | Facebook, Inc. | Analyzing tracking requests generated by client devices based on attributes describing items |
US11138350B2 (en) | 2018-08-09 | 2021-10-05 | Zoox, Inc. | Procedural world generation using tertiary data |
WO2020034663A1 (en) | 2018-08-13 | 2020-02-20 | The Hong Kong Polytechnic University | Grid-based image cropping |
US11861458B2 (en) | 2018-08-21 | 2024-01-02 | Lyft, Inc. | Systems and methods for detecting and recording anomalous vehicle events |
US20200065879A1 (en) | 2018-08-22 | 2020-02-27 | Midea Group Co., Ltd. | Methods and systems for home device recommendation |
US10871444B2 (en) | 2018-08-30 | 2020-12-22 | Saudi Arabian Oil Company | Inspection and failure detection of corrosion under fireproofing insulation using a hybrid sensory system |
US10755575B2 (en) | 2018-08-30 | 2020-08-25 | Cisco Technology, Inc. | Raw sensor data sharing for enhanced fleet-wide environmental awareness and safety |
US11521009B2 (en) | 2018-09-04 | 2022-12-06 | Luminar, Llc | Automatically generating training data for a lidar using simulated vehicles in virtual space |
US11307584B2 (en) | 2018-09-04 | 2022-04-19 | Skydio, Inc. | Applications and skills for an autonomous unmanned aerial vehicle |
US10839230B2 (en) | 2018-09-06 | 2020-11-17 | Ford Global Technologies, Llc | Multi-tier network for task-oriented deep neural network |
US20200158822A1 (en) | 2018-09-06 | 2020-05-21 | Airspace Systems, Inc. | Unmanned aerial vehicle radar detection |
WO2020056157A1 (en) | 2018-09-12 | 2020-03-19 | Electra Vehicles, Inc. | Systems and methods for managing energy storage systems |
US11465630B2 (en) | 2018-09-14 | 2022-10-11 | Uatc, Llc | Driving surface friction estimations using vehicle steering |
US11195030B2 (en) | 2018-09-14 | 2021-12-07 | Honda Motor Co., Ltd. | Scene classification |
US11427223B2 (en) | 2018-09-14 | 2022-08-30 | Uatc, Llc | Driving surface friction estimations for autonomous vehicles |
EP3627399A1 (en) | 2018-09-19 | 2020-03-25 | Tata Consultancy Services Limited | Systems and methods for real time configurable recommendation using user data |
GB2577485B (en) | 2018-09-20 | 2022-06-15 | Jaguar Land Rover Ltd | Control system for a vehicle |
US11449771B2 (en) | 2018-09-21 | 2022-09-20 | Woven Planet North America, Inc. | Systems and methods for processing vehicle data |
US10846888B2 (en) | 2018-09-26 | 2020-11-24 | Facebook Technologies, Llc | Systems and methods for generating and transmitting image sequences based on sampled color information |
DE102018216413A1 (en) | 2018-09-26 | 2020-03-26 | Robert Bosch Gmbh | Device and method for automatic image enhancement in vehicles |
CN109359731B (en) | 2018-09-27 | 2022-01-28 | 中科物栖(北京)科技有限责任公司 | Neural network processing method and device based on chip design defects |
US10943101B2 (en) | 2018-09-28 | 2021-03-09 | Accenture Global Solutions Limited | Target recognition and verification using image processing techniques and/or artifical intelligence |
US11526713B2 (en) | 2018-09-28 | 2022-12-13 | Intel Corporation | Embedding human labeler influences in machine learning interfaces in computing environments |
CN112585620A (en) | 2018-09-28 | 2021-03-30 | 苹果公司 | Distributed tagging for supervised learning |
WO2020062031A1 (en) | 2018-09-28 | 2020-04-02 | Baidu.Com Times Technology (Beijing) Co., Ltd. | A pedestrian interaction system for low speed scenes for autonomous vehicles |
US11169531B2 (en) | 2018-10-04 | 2021-11-09 | Zoox, Inc. | Trajectory prediction on top-down scenes |
WO2020076356A1 (en) | 2018-10-08 | 2020-04-16 | Google Llc | Systems and methods for providing feedback for artificial intelligence-based image capture devices |
CN109389207A (en) | 2018-10-09 | 2019-02-26 | 四川理工学院 | A kind of adaptive neural network learning method and nerve network system |
US11403565B2 (en) | 2018-10-10 | 2022-08-02 | Wipro Limited | Method and system for generating a learning path using machine learning |
KR102545105B1 (en) | 2018-10-10 | 2023-06-19 | 현대자동차주식회사 | Apparatus and method for distinquishing false target in vehicle and vehicle including the same |
US11068724B2 (en) | 2018-10-11 | 2021-07-20 | Baidu Usa Llc | Deep learning continuous lane lines detection system for autonomous vehicles |
US11704568B2 (en) | 2018-10-16 | 2023-07-18 | Carnegie Mellon University | Method and system for hand activity sensing |
EP3867872A4 (en) | 2018-10-19 | 2022-08-03 | Climate LLC | Machine learning techniques for identifying clouds and cloud shadows in satellite imagery |
US11676244B2 (en) | 2018-10-19 | 2023-06-13 | Mineral Earth Sciences Llc | Crop yield prediction at field-level and pixel-level |
US11430025B2 (en) | 2018-10-19 | 2022-08-30 | Airbnb, Inc. | Synthetic data generation modeling system |
US11163998B2 (en) | 2018-10-22 | 2021-11-02 | Woven Planet North America, Inc. | Systems and methods for automated image labeling for images captured from vehicles |
US11055866B2 (en) | 2018-10-29 | 2021-07-06 | Samsung Electronics Co., Ltd | System and method for disparity estimation using cameras with different fields of view |
US11568260B2 (en) | 2018-10-29 | 2023-01-31 | Google Llc | Exponential modeling with deep learning features |
KR20200052444A (en) | 2018-10-30 | 2020-05-15 | 삼성전자주식회사 | Method of outputting prediction result using neural network, method of generating neural network, and apparatuses thereof |
CN109579856A (en) | 2018-10-31 | 2019-04-05 | 百度在线网络技术(北京)有限公司 | Accurately drawing generating method, device, equipment and computer readable storage medium |
US11829143B2 (en) | 2018-11-02 | 2023-11-28 | Aurora Operations, Inc. | Labeling autonomous vehicle data |
US11604992B2 (en) | 2018-11-02 | 2023-03-14 | Microsoft Technology Licensing, Llc | Probabilistic neural network architecture generation |
US11403492B2 (en) | 2018-11-02 | 2022-08-02 | Aurora Operations, Inc. | Generating labeled training instances for autonomous vehicles |
US20200143279A1 (en) | 2018-11-06 | 2020-05-07 | DeepSig Inc. | Radio frequency band segmentation, signal detection and labelling using machine learning |
CN111158355A (en) | 2018-11-07 | 2020-05-15 | 富华科精密工业(深圳)有限公司 | Automatic navigation cloud server and automatic navigation control method |
WO2020097221A1 (en) | 2018-11-08 | 2020-05-14 | Evangelos Simoudis | Systems and methods for managing vehicle data |
US11481665B2 (en) | 2018-11-09 | 2022-10-25 | Hewlett Packard Enterprise Development Lp | Systems and methods for determining machine learning training approaches based on identified impacts of one or more types of concept drift |
CN113016005A (en) | 2018-11-13 | 2021-06-22 | 三星电子株式会社 | Joint unsupervised object segmentation and repair |
US11124185B2 (en) | 2018-11-13 | 2021-09-21 | Zoox, Inc. | Perception collision avoidance |
US20200162489A1 (en) | 2018-11-16 | 2020-05-21 | Airspace Systems, Inc. | Security event detection and threat assessment |
US11461963B2 (en) | 2018-11-16 | 2022-10-04 | Uatc, Llc | Systems and methods for generating synthetic light detection and ranging data via machine learning |
US11494937B2 (en) | 2018-11-16 | 2022-11-08 | Uatc, Llc | Multi-task multi-sensor fusion for three-dimensional object detection |
US11715012B2 (en) | 2018-11-16 | 2023-08-01 | Uatc, Llc | Feature compression and localization for autonomous devices |
US11610115B2 (en) | 2018-11-16 | 2023-03-21 | Nvidia Corporation | Learning to generate synthetic datasets for training neural networks |
US11449713B2 (en) | 2018-11-16 | 2022-09-20 | Uatc, Llc | Attention based feature compression and localization for autonomous devices |
US11217012B2 (en) | 2018-11-16 | 2022-01-04 | Uatc, Llc | System and method for identifying travel way features for autonomous vehicle motion control |
US11755018B2 (en) | 2018-11-16 | 2023-09-12 | Uatc, Llc | End-to-end interpretable motion planner for autonomous vehicles |
US11354820B2 (en) | 2018-11-17 | 2022-06-07 | Uatc, Llc | Image based localization system |
US11346950B2 (en) | 2018-11-19 | 2022-05-31 | Huawei Technologies Co., Ltd. | System, device and method of generating a high resolution and high accuracy point cloud |
US10904072B2 (en) | 2018-11-19 | 2021-01-26 | Accenture Global Solutions Limited | System and method for recommending automation solutions for technology infrastructure issues |
KR20200063329A (en) | 2018-11-21 | 2020-06-05 | 삼성전자주식회사 | Image processing apparatus and controlling method thereof |
US11636681B2 (en) | 2018-11-21 | 2023-04-25 | Meta Platforms, Inc. | Anticipating future video based on present video |
US10853670B2 (en) | 2018-11-21 | 2020-12-01 | Ford Global Technologies, Llc | Road surface characterization using pose observations of adjacent vehicles |
US11423196B2 (en) | 2018-11-28 | 2022-08-23 | Toyota Research Institute, Inc. | Systems and methods for predicting responses of a particle to a stimulus |
US10867444B2 (en) | 2018-11-29 | 2020-12-15 | Adobe Inc. | Synthetic data generation for training a machine learning model for dynamic object compositing in scenes |
US11215997B2 (en) | 2018-11-30 | 2022-01-04 | Zoox, Inc. | Probabilistic risk assessment for trajectory evaluation |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
CN109615073B (en) | 2018-12-03 | 2021-06-04 | 郑州云海信息技术有限公司 | Neural network model construction method, device and storage medium |
US20200175354A1 (en) | 2018-12-03 | 2020-06-04 | Deep Learn, Inc. | Time and accuracy estimate-based selection of machine-learning predictive models |
DE102018130821A1 (en) | 2018-12-04 | 2020-06-04 | Valeo Schalter Und Sensoren Gmbh | Method for assessing an environment of a motor vehicle using an artificial neural network with an aggregation unit; Control unit, driver assistance system and computer program product |
US20200175371A1 (en) | 2018-12-04 | 2020-06-04 | Bank Of America Corporation | System and method for self constructing deep neural network design through adversarial learning |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11093783B2 (en) | 2018-12-05 | 2021-08-17 | Subaru Corporation | Vehicle detection apparatus |
US11048318B2 (en) | 2018-12-06 | 2021-06-29 | Intel Corporation | Reducing microprocessor power with minimal performance impact by dynamically adapting runtime operating configurations using machine learning |
KR20200070831A (en) | 2018-12-10 | 2020-06-18 | 삼성전자주식회사 | Apparatus and method for compressing neural network |
JP7369921B2 (en) | 2018-12-10 | 2023-10-27 | 株式会社小糸製作所 | Object identification systems, arithmetic processing units, automobiles, vehicle lights, learning methods for classifiers |
CN110084086A (en) | 2018-12-11 | 2019-08-02 | 安徽江淮汽车集团股份有限公司 | A kind of automatic driving vehicle drivable region detection method of view-based access control model sensor |
CN111326023B (en) | 2018-12-13 | 2022-03-29 | 丰翼科技(深圳)有限公司 | Unmanned aerial vehicle route early warning method, device, equipment and storage medium |
US11092966B2 (en) | 2018-12-14 | 2021-08-17 | The Boeing Company | Building an artificial-intelligence system for an autonomous vehicle |
CN113196173A (en) | 2018-12-14 | 2021-07-30 | Asml荷兰有限公司 | Apparatus and method for grouping image patterns to determine wafer behavior during patterning |
US20200193313A1 (en) | 2018-12-14 | 2020-06-18 | Parallel Machines, Inc. | Interpretability-based machine learning adjustment during production |
WO2020123163A1 (en) | 2018-12-14 | 2020-06-18 | Apple Inc. | Machine learning assisted image prediction |
US10915783B1 (en) | 2018-12-14 | 2021-02-09 | Amazon Technologies, Inc. | Detecting and locating actors in scenes based on degraded or supersaturated depth data |
US11693901B2 (en) | 2018-12-18 | 2023-07-04 | Google Llc | Systems and methods for geolocation prediction |
US10937186B2 (en) | 2018-12-19 | 2021-03-02 | Fca Us Llc | Techniques for precisely locating landmarks in monocular camera images with deep learning |
US10846831B2 (en) | 2018-12-19 | 2020-11-24 | GM Global Technology Operations LLC | Computing system for rectifying ultra-wide fisheye lens images |
US10817732B2 (en) | 2018-12-20 | 2020-10-27 | Trimble Inc. | Automated assessment of collision risk based on computer vision |
JP7293644B2 (en) | 2018-12-20 | 2023-06-20 | カシオ計算機株式会社 | Image identification device, classifier learning method, image identification method and program |
JP7214873B2 (en) | 2018-12-21 | 2023-01-30 | ウェイモ エルエルシー | Exploring autonomous vehicle sensor data repositories |
US11443515B2 (en) | 2018-12-21 | 2022-09-13 | Ambient AI, Inc. | Systems and methods for machine learning enhanced intelligent building access endpoint security monitoring and management |
CN109978132A (en) | 2018-12-24 | 2019-07-05 | 中国科学院深圳先进技术研究院 | A kind of neural network method and system refining vehicle identification |
CN109934163B (en) | 2018-12-27 | 2022-07-08 | 北京航空航天大学 | Aerial image vehicle detection method based on scene prior and feature re-fusion |
WO2020139357A1 (en) | 2018-12-27 | 2020-07-02 | Didi Research America, Llc | Using image pre-processing to generate a machine learning model |
WO2020139355A1 (en) | 2018-12-27 | 2020-07-02 | Didi Research America, Llc | System for automated lane marking |
US11087173B2 (en) | 2018-12-27 | 2021-08-10 | Beijing Didi Infinity Technology And Development Co., Ltd. | Using image pre-processing to generate a machine learning model |
US11023745B2 (en) | 2018-12-27 | 2021-06-01 | Beijing Didi Infinity Technology And Development Co., Ltd. | System for automated lane marking |
US11170299B2 (en) | 2018-12-28 | 2021-11-09 | Nvidia Corporation | Distance estimation to objects and free-space boundaries in autonomous machine applications |
US20220078637A1 (en) | 2018-12-28 | 2022-03-10 | Telefonaktiebolaget Lm Ericsson (Publ) | Wireless device, a network node and methods therein for updating a first instance of a machine learning model |
KR102097120B1 (en) | 2018-12-31 | 2020-04-09 | 주식회사 애자일소다 | System and method for automatically determining the degree of breakdown by vehicle section based on deep running |
US20200209857A1 (en) | 2018-12-31 | 2020-07-02 | Uber Technologies, Inc. | Multimodal control system for self driving vehicle |
US20200331476A1 (en) | 2018-12-31 | 2020-10-22 | Chongqing Jinkang New Energy Vehicle, Ltd. | Automatic lane change with minimum gap distance |
US20200209874A1 (en) | 2018-12-31 | 2020-07-02 | Chongqing Jinkang New Energy Vehicle, Ltd. | Combined virtual and real environment for autonomous vehicle planning and control testing |
US20200210840A1 (en) | 2018-12-31 | 2020-07-02 | Microsoft Technology Licensing, Llc | Adjusting precision and topology parameters for neural network training based on a performance metric |
US20200218722A1 (en) | 2019-01-04 | 2020-07-09 | SayMosaic Inc. | System and method for natural language processing (nlp) based searching and question answering |
KR20200085490A (en) | 2019-01-07 | 2020-07-15 | 에스케이플래닛 주식회사 | Service providing system and method for detecting sensor abnormality using neural network model, and non-transitory computer readable medium having computer program recorded thereon |
WO2020146445A1 (en) | 2019-01-08 | 2020-07-16 | Philip Christopher Du Toit | Classifying perceived objects based on activity |
US11294472B2 (en) | 2019-01-11 | 2022-04-05 | Microsoft Technology Licensing, Llc | Augmented two-stage hand gesture input |
CN109886997B (en) | 2019-01-23 | 2023-07-11 | 平安科技(深圳)有限公司 | Identification frame determining method and device based on target detection and terminal equipment |
US10373026B1 (en) | 2019-01-28 | 2019-08-06 | StradVision, Inc. | Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments |
CN109948428B (en) | 2019-01-28 | 2022-12-09 | 上海理工大学 | GPU cluster deep learning edge computing system facing to sensing information processing |
US10692002B1 (en) | 2019-01-28 | 2020-06-23 | StradVision, Inc. | Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same |
CN111488770A (en) | 2019-01-28 | 2020-08-04 | 初速度(苏州)科技有限公司 | Traffic sign recognition method, and training method and device of neural network model |
US10628688B1 (en) | 2019-01-30 | 2020-04-21 | Stadvision, Inc. | Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system |
US20200242511A1 (en) | 2019-01-30 | 2020-07-30 | Oracle International Corporation | Dynamic Data Selection for a Machine Learning Model |
US11087175B2 (en) | 2019-01-30 | 2021-08-10 | StradVision, Inc. | Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them |
WO2020157761A1 (en) | 2019-01-31 | 2020-08-06 | Amnon Buxboim | Automated evaluation of embryo implantation potential |
US10540572B1 (en) | 2019-01-31 | 2020-01-21 | StradVision, Inc. | Method for auto-labeling training images for use in deep learning network to analyze images with high precision, and auto-labeling device using the same |
US10824947B2 (en) | 2019-01-31 | 2020-11-03 | StradVision, Inc. | Learning method for supporting safer autonomous driving without danger of accident by estimating motions of surrounding objects through fusion of information from multiple sources, learning device, testing method and testing device using the same |
US10726279B1 (en) | 2019-01-31 | 2020-07-28 | StradVision, Inc. | Method and device for attention-driven resource allocation by using AVM and reinforcement learning to thereby achieve safety of autonomous driving |
US10943355B2 (en) | 2019-01-31 | 2021-03-09 | Uatc, Llc | Systems and methods for detecting an object velocity |
US10776673B2 (en) | 2019-01-31 | 2020-09-15 | StradVision, Inc. | Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11317863B2 (en) | 2019-02-01 | 2022-05-03 | Starkey Laboratories, Inc. | Efficient wellness measurement in ear-wearable devices |
WO2020163455A1 (en) | 2019-02-05 | 2020-08-13 | Urugus S.A. | Automatic optimization of machine learning algorithms in the presence of target datasets |
US10984575B2 (en) | 2019-02-06 | 2021-04-20 | Snap Inc. | Body pose estimation |
JP7492524B2 (en) | 2019-02-11 | 2024-05-29 | フラッグシップ・パイオニアリング・イノベーションズ・ブイアイ,エルエルシー | Machine learning assisted polypeptide analysis |
US11635767B2 (en) | 2019-02-13 | 2023-04-25 | Semyon Nisenzon | System and method of using multi-resolution camera clusters input data for controlling autonomous vehicles |
US10568570B1 (en) | 2019-02-14 | 2020-02-25 | Trungram Gyaltrul Sherpa | Methods and systems for providing a preferred fitness state of a user |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
US10726374B1 (en) | 2019-02-19 | 2020-07-28 | Icertis, Inc. | Risk prediction based on automated analysis of documents |
US10970911B2 (en) | 2019-02-21 | 2021-04-06 | Facebook Technologies, Llc | Graphics processing chip with machine-learning based shader |
US11977388B2 (en) | 2019-02-21 | 2024-05-07 | Nvidia Corporation | Quantizing autoencoders in a neural network |
US11562176B2 (en) | 2019-02-22 | 2023-01-24 | Cisco Technology, Inc. | IoT fog as distributed machine learning structure search platform |
US11635764B2 (en) | 2019-02-22 | 2023-04-25 | Uatc, Llc. | Motion prediction for autonomous devices |
CN109902732B (en) | 2019-02-22 | 2021-08-27 | 哈尔滨工业大学(深圳) | Automatic vehicle classification method and related device |
US10872326B2 (en) | 2019-02-25 | 2020-12-22 | Walmart Apollo, Llc | Systems and methods of product recognition through multi-model image processing |
WO2020174262A1 (en) | 2019-02-27 | 2020-09-03 | Telefonaktiebolaget Lm Ericsson (Publ) | Transfer learning for radio resource management |
US11710034B2 (en) | 2019-02-27 | 2023-07-25 | Intel Corporation | Misuse index for explainable artificial intelligence in computing environments |
WO2020176304A1 (en) | 2019-02-28 | 2020-09-03 | Skidmore Owings & Merrill Llp | Machine learning tool for structures |
CN110223301B (en) | 2019-03-01 | 2021-08-03 | 华为技术有限公司 | Image clipping method and electronic equipment |
CN109949257B (en) | 2019-03-06 | 2021-09-10 | 西安电子科技大学 | Region-of-interest compressed sensing image reconstruction method based on deep learning |
US10930065B2 (en) | 2019-03-08 | 2021-02-23 | X Development Llc | Three-dimensional modeling with two dimensional data |
US10949997B2 (en) | 2019-03-08 | 2021-03-16 | Ford Global Technologies, Llc | Vehicle localization systems and methods |
CN109978161B (en) | 2019-03-08 | 2022-03-04 | 吉林大学 | Universal convolution-pooling synchronous processing convolution kernel system |
WO2020185779A1 (en) | 2019-03-11 | 2020-09-17 | Nvidia Corporation | Intersection detection and classification in autonomous machine applications |
CN109902186B (en) | 2019-03-12 | 2021-05-11 | 北京百度网讯科技有限公司 | Method and apparatus for generating neural network |
US20200294162A1 (en) | 2019-03-13 | 2020-09-17 | Opendoor Labs Inc. | Value prediction error generation system |
AU2019201716A1 (en) | 2019-03-13 | 2020-10-01 | Canon Kabushiki Kaisha | System and method of generating a neural network architecture |
EP3924845A4 (en) | 2019-03-14 | 2022-12-07 | Hewlett-Packard Development Company, L.P. | Responding to machine learning requests from multiple clients |
US11483370B2 (en) | 2019-03-14 | 2022-10-25 | Hewlett-Packard Development Company, L.P. | Preprocessing sensor data for machine learning |
CN109871828B (en) | 2019-03-15 | 2022-12-02 | 京东方科技集团股份有限公司 | Video recognition method, recognition device and storage medium |
CN109975308B (en) | 2019-03-15 | 2023-03-24 | 维库(厦门)信息技术有限公司 | Surface detection method based on deep learning |
CN116569211A (en) | 2019-03-15 | 2023-08-08 | 辉达公司 | Technique for training neural networks using transformations |
WO2020190781A1 (en) | 2019-03-16 | 2020-09-24 | Nvidia Corporation | Leveraging multidimensional sensor data for computationally efficient object detection |
WO2020190880A1 (en) | 2019-03-16 | 2020-09-24 | Nvidia Corporation | Object detection using skewed polygons suitable for parking space detection |
US11580386B2 (en) | 2019-03-18 | 2023-02-14 | Electronics And Telecommunications Research Institute | Convolutional layer acceleration unit, embedded system having the same, and method for operating the embedded system |
US10402641B1 (en) | 2019-03-19 | 2019-09-03 | Capital One Services, Llc | Platform for document classification |
CN113615135B (en) | 2019-03-19 | 2023-05-23 | 利维帕尔森有限公司 | Dynamic communication routing to different endpoints |
US11475298B2 (en) | 2019-03-20 | 2022-10-18 | Gyrfalcon Technology Inc. | Using quantization in training an artificial intelligence model in a semiconductor solution |
US11559221B2 (en) | 2019-03-22 | 2023-01-24 | Siemens Healthcare Gmbh | Multi-task progressive networks for patient modeling for medical scans |
JP7240916B2 (en) | 2019-03-22 | 2023-03-16 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing method, and information processing program |
US11548533B2 (en) | 2019-03-23 | 2023-01-10 | Uatc, Llc | Perception and motion prediction for autonomous devices |
WO2020198119A1 (en) | 2019-03-23 | 2020-10-01 | Uatc, Llc | Depth estimation for autonomous devices |
US20200302662A1 (en) | 2019-03-23 | 2020-09-24 | Uatc, Llc | System and Methods for Generating High Definition Maps Using Machine-Learned Models to Analyze Topology Data Gathered From Sensors |
CA3134819A1 (en) | 2019-03-23 | 2020-10-01 | Uatc, Llc | Systems and methods for generating synthetic sensor data via machine learning |
JP2022527072A (en) | 2019-03-25 | 2022-05-30 | ズークス インコーポレイテッド | Pedestrian prediction based on attributes |
US11021148B2 (en) | 2019-03-25 | 2021-06-01 | Zoox, Inc. | Pedestrian prediction based on attributes |
US11351991B2 (en) | 2019-03-25 | 2022-06-07 | Zoox, Inc. | Prediction based on attributes |
US11199415B2 (en) | 2019-03-26 | 2021-12-14 | Lyft, Inc. | Systems and methods for estimating vehicle position based on contextual sensor information |
CN109951710B (en) | 2019-03-26 | 2021-07-02 | 中国民航大学 | Airport apron monitoring video compression method and system based on deep learning |
US10790919B1 (en) | 2019-03-26 | 2020-09-29 | Electronic Arts Inc. | Personalized real-time audio generation based on user physiological response |
US11276216B2 (en) | 2019-03-27 | 2022-03-15 | Electronic Arts Inc. | Virtual animal character generation from image or video data |
US10657934B1 (en) | 2019-03-27 | 2020-05-19 | Electronic Arts Inc. | Enhancements for musical composition applications |
US10953334B2 (en) | 2019-03-27 | 2021-03-23 | Electronic Arts Inc. | Virtual character generation from image or video data |
US11740335B2 (en) | 2019-03-27 | 2023-08-29 | Zoox, Inc. | Identifying and/or removing false positive detections from LIDAR sensor output |
US10661902B1 (en) | 2019-03-29 | 2020-05-26 | QuantumID Technologies Inc | Artificial intelligence system for estimating excess non-sapient payload capacity on mixed-payload aeronautic excursions |
US20200311601A1 (en) | 2019-03-29 | 2020-10-01 | Optum, Inc. | Hybrid rule-based and machine learning predictions |
US11709495B2 (en) | 2019-03-29 | 2023-07-25 | SafeAI, Inc. | Systems and methods for transfer of material using autonomous machines with reinforcement learning and visual servo control |
KR20210134317A (en) | 2019-03-29 | 2021-11-09 | 인텔 코포레이션 | autonomous vehicle system |
US11877801B2 (en) | 2019-04-02 | 2024-01-23 | Medicrea International | Systems, methods, and devices for developing patient-specific spinal implants, treatments, operations, and/or procedures |
US10559386B1 (en) | 2019-04-02 | 2020-02-11 | Kpn Innovations, Llc | Methods and systems for an artificial intelligence support network for vibrant constituional guidance |
WO2020198779A1 (en) | 2019-04-04 | 2020-10-08 | Presagen Pty Ltd | Method and system for selecting embryos |
US11250062B2 (en) | 2019-04-04 | 2022-02-15 | Kpn Innovations Llc | Artificial intelligence methods and systems for generation and implementation of alimentary instruction sets |
CN111797657A (en) | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | Vehicle peripheral obstacle detection method, device, storage medium, and electronic apparatus |
US11636380B2 (en) | 2019-04-09 | 2023-04-25 | Nxp B.V. | Method for protecting a machine learning model against extraction using an ensemble of a plurality of machine learning models |
US10943132B2 (en) | 2019-04-10 | 2021-03-09 | Black Sesame International Holding Limited | Distant on-road object detection |
EP3722992B1 (en) | 2019-04-10 | 2023-03-01 | Teraki GmbH | System and method for pre-processing images captured by a vehicle |
WO2020210733A1 (en) | 2019-04-11 | 2020-10-15 | Agilent Technologies, Inc. | Deep learning based training of instance segmentation via regression layers |
CN109961491B (en) | 2019-04-12 | 2023-05-26 | 上海联影医疗科技股份有限公司 | Multi-mode image truncation compensation method, device, computer equipment and medium |
US11373044B2 (en) | 2019-04-12 | 2022-06-28 | Asapp, Inc. | Maintaining machine language model state across communications channels |
US10928508B2 (en) | 2019-04-12 | 2021-02-23 | Ford Global Technologies, Llc | Camera and radar fusion |
JP2020173744A (en) | 2019-04-15 | 2020-10-22 | 株式会社日立製作所 | Image processing method using machine learning and electronic control device using it |
EP3725354B1 (en) | 2019-04-15 | 2023-04-12 | Nxp B.V. | Audio controller |
US20200327449A1 (en) | 2019-04-15 | 2020-10-15 | Accenture Global Solutions Limited | User retention platform |
JP7188255B2 (en) | 2019-04-16 | 2022-12-13 | 富士通株式会社 | LEARNING METHOD, LEARNING PROGRAM AND LEARNING DEVICE |
CN109901595A (en) | 2019-04-16 | 2019-06-18 | 山东大学 | A kind of automated driving system and method based on monocular cam and raspberry pie |
US11790171B2 (en) | 2019-04-16 | 2023-10-17 | Covera Health | Computer-implemented natural language understanding of medical reports |
US10893070B2 (en) | 2019-04-18 | 2021-01-12 | Facebook, Inc. | Detecting a page for a real-world entity, an imposter of a real-world entity, or a non-real-world entity that complies with or violates a policy of an online system |
US11809993B2 (en) | 2019-04-18 | 2023-11-07 | Google Llc | Systems and methods for determining graph similarity |
US11126890B2 (en) | 2019-04-18 | 2021-09-21 | Adobe Inc. | Robust training of large-scale object detectors with a noisy dataset |
CN110060202B (en) | 2019-04-19 | 2021-06-08 | 湖北亿咖通科技有限公司 | Monocular SLAM algorithm initialization method and system |
US10833785B1 (en) | 2019-04-23 | 2020-11-10 | DeepSig Inc. | Processing communications signals using a machine-learning network |
US20200342968A1 (en) | 2019-04-24 | 2020-10-29 | GE Precision Healthcare LLC | Visualization of medical device event processing |
US11257272B2 (en) | 2019-04-25 | 2022-02-22 | Lucid VR, Inc. | Generating synthetic image data for machine learning |
WO2020219303A1 (en) | 2019-04-26 | 2020-10-29 | Nvidia Corporation | Intersection pose detection in autonomous machine applications |
CN110111340B (en) | 2019-04-28 | 2021-05-14 | 南开大学 | Weak supervision example segmentation method based on multi-path segmentation |
CN110175671B (en) | 2019-04-28 | 2022-12-27 | 华为技术有限公司 | Neural network construction method, image processing method and device |
US11176493B2 (en) | 2019-04-29 | 2021-11-16 | Google Llc | Virtualizing external memory as local to a machine learning accelerator |
GB2583509B (en) | 2019-05-01 | 2023-02-22 | Advanced Risc Mach Ltd | System and method for fault detection and correction |
US10789402B1 (en) | 2019-05-01 | 2020-09-29 | Xilinx, Inc. | Compiler and hardware abstraction layer architecture for a neural network accelerator |
US10475208B1 (en) | 2019-05-02 | 2019-11-12 | Capital One Services, Llc | Vehicle analysis platform |
US10924661B2 (en) | 2019-05-02 | 2021-02-16 | International Business Machines Corporation | Generating image capture configurations and compositions |
WO2020227128A1 (en) | 2019-05-03 | 2020-11-12 | Image Stream Medical, Inc. | Context and state aware operating room |
US11556615B2 (en) | 2019-05-03 | 2023-01-17 | Tesla, Inc. | Data path for scalable matrix node engine with mixed data formats |
CN110135485A (en) | 2019-05-05 | 2019-08-16 | 浙江大学 | The object identification and localization method and system that monocular camera is merged with millimetre-wave radar |
US11556861B2 (en) | 2019-05-06 | 2023-01-17 | Google Llc | Debugging correctness issues in training machine learning models |
US11461664B2 (en) | 2019-05-07 | 2022-10-04 | Kpn Innovations, Llc. | Methods and systems for an artificial intelligence alimentary professional support network for vibrant constitutional guidance |
US10949684B2 (en) | 2019-05-08 | 2021-03-16 | Ford Global Technologies, Llc | Vehicle image verification |
US10832418B1 (en) | 2019-05-09 | 2020-11-10 | Zoox, Inc. | Object velocity from images |
CN110334801A (en) | 2019-05-09 | 2019-10-15 | 苏州浪潮智能科技有限公司 | A kind of hardware-accelerated method, apparatus, equipment and the system of convolutional neural networks |
US20200356107A1 (en) | 2019-05-10 | 2020-11-12 | Uber Technologies, Inc. | Walkway Detection for Autonomous Light Electric Vehicle |
EP3739486A1 (en) | 2019-05-14 | 2020-11-18 | CrowdStrike, Inc. | Applications of machine learning models to a binary search engine based on an inverted index of byte sequences |
US20200364508A1 (en) | 2019-05-14 | 2020-11-19 | Nvidia Corporation | Using decay parameters for inferencing with neural networks |
US11263467B2 (en) | 2019-05-15 | 2022-03-01 | Apical Limited | Image processing |
US11701771B2 (en) | 2019-05-15 | 2023-07-18 | Nvidia Corporation | Grasp generation using a variational autoencoder |
CN110069071B (en) | 2019-05-15 | 2022-06-14 | 深圳铂石空间科技有限公司 | Unmanned aerial vehicle navigation method and device, storage medium and electronic equipment |
US11475277B2 (en) | 2019-05-16 | 2022-10-18 | Google Llc | Accurate and interpretable classification with hard attention |
US11869037B2 (en) | 2019-05-17 | 2024-01-09 | gStore LLC | Integrating content-delivery platforms into programmatic environments generated by executed applications |
KR102071179B1 (en) | 2019-05-20 | 2020-01-29 | 주식회사 루닛 | Method of continual-learning of data sets and apparatus thereof |
KR102043143B1 (en) | 2019-05-20 | 2019-11-11 | 호서대학교 산학협력단 | Method and apparatus for driving control of automated guided vehicle by using artificial neural network |
US20200372402A1 (en) | 2019-05-24 | 2020-11-26 | Bank Of America Corporation | Population diversity based learning in adversarial and rapid changing environments |
US11610142B2 (en) | 2019-05-28 | 2023-03-21 | Ati Technologies Ulc | Safety monitor for image misclassification |
US11803981B2 (en) | 2019-05-30 | 2023-10-31 | Mobileye Vision Technologies Ltd. | Vehicle environment modeling with cameras |
CN110225341B (en) | 2019-06-03 | 2020-08-28 | 中国科学技术大学 | Task-driven code stream structured image coding method |
KR20200142266A (en) | 2019-06-12 | 2020-12-22 | (주)리터너블 | System for recognizing object and method for recognizing object using the same |
US11928557B2 (en) | 2019-06-13 | 2024-03-12 | Lyft, Inc. | Systems and methods for routing vehicles to capture and evaluate targeted scenarios |
US11823460B2 (en) | 2019-06-14 | 2023-11-21 | Tusimple, Inc. | Image fusion for autonomous vehicle operation |
US11113568B2 (en) | 2019-06-14 | 2021-09-07 | Canon Kabushiki Kaisha | Devices, systems, and methods for device-error analysis using computer vision and machine learning |
US11494930B2 (en) | 2019-06-17 | 2022-11-08 | SafeAI, Inc. | Techniques for volumetric estimation |
CN112101562B (en) | 2019-06-18 | 2024-01-30 | 第四范式(北京)技术有限公司 | Implementation method and system of machine learning modeling process |
KR20220024718A (en) | 2019-06-18 | 2022-03-03 | 몰로코, 인크. | Methods and systems for providing machine learning services |
US11501109B2 (en) | 2019-06-20 | 2022-11-15 | Western Digital Technologies, Inc. | Non-volatile memory die with on-chip data augmentation components for use with machine learning |
US20200402155A1 (en) | 2019-06-20 | 2020-12-24 | Bank Of America Corporation | Systems for providing real-time resource distribution to a resource event having standard delayed resource availability |
US11087463B2 (en) | 2019-06-21 | 2021-08-10 | StraxCorp Pty. Ltd. | Image analysis method and system for assessing bone fragility |
US11192558B2 (en) | 2019-06-24 | 2021-12-07 | Here Global B.V. | Method, apparatus, and system for providing road curvature data |
US11436837B2 (en) | 2019-06-25 | 2022-09-06 | Nvidia Corporation | Intersection region detection and classification for autonomous machine applications |
CN110310264B (en) | 2019-06-25 | 2021-07-20 | 北京邮电大学 | DCNN-based large-scale target detection method and device |
US11158056B2 (en) | 2019-06-26 | 2021-10-26 | Intel Corporation | Surround camera system with seamless stitching for arbitrary viewpoint selection |
US20200410288A1 (en) | 2019-06-26 | 2020-12-31 | Here Global B.V. | Managed edge learning in heterogeneous environments |
US11170567B2 (en) | 2019-06-28 | 2021-11-09 | Woven Planet North America, Inc. | Dynamic object detection model based on static map collection data |
WO2020264010A1 (en) | 2019-06-28 | 2020-12-30 | Zoox, Inc. | Low variance region detection for improved detection |
US11657094B2 (en) | 2019-06-28 | 2023-05-23 | Meta Platforms Technologies, Llc | Memory grounded conversational reasoning and question answering for assistant systems |
US11163990B2 (en) | 2019-06-28 | 2021-11-02 | Zoox, Inc. | Vehicle control system and method for pedestrian detection based on head detection in sensor data |
DE102019209565A1 (en) | 2019-06-28 | 2020-12-31 | Robert Bosch Gmbh | Method and device for checking the robustness of an artificial neural network |
US20210006835A1 (en) | 2019-07-01 | 2021-01-07 | Microsoft Technology Licensing, Llc | Blurring to improve visual quality in an area of interest in a frame |
CN110414362A (en) | 2019-07-02 | 2019-11-05 | 安徽继远软件有限公司 | Electric power image data augmentation method based on production confrontation network |
US20210004795A1 (en) | 2019-07-03 | 2021-01-07 | Sap Se | Anomaly and fraud detection using duplicate event detector |
US11467588B2 (en) | 2019-07-03 | 2022-10-11 | Denso International America, Inc. | Systems and methods for controlling an autonomous vehicle using target orientated artificial intelligence |
KR20210004306A (en) | 2019-07-04 | 2021-01-13 | 삼성전자주식회사 | Neural Network device and method of quantizing parameters of neural network |
US11023749B2 (en) | 2019-07-05 | 2021-06-01 | Zoox, Inc. | Prediction on top-down scenes based on action data |
US11681925B2 (en) | 2019-07-08 | 2023-06-20 | Vianai Systems, Inc. | Techniques for creating, analyzing, and modifying neural networks |
US11475675B2 (en) | 2019-07-08 | 2022-10-18 | Uatc, Llc | Systems and methods for identifying unknown instances |
CN110321965B (en) | 2019-07-10 | 2021-06-18 | 腾讯科技(深圳)有限公司 | Training method of object re-recognition model, and object re-recognition method and device |
US20210011908A1 (en) | 2019-07-11 | 2021-01-14 | Ghost Locomotion Inc. | Model-based structured data filtering in an autonomous vehicle |
US11829896B2 (en) | 2019-07-11 | 2023-11-28 | Ghost Autonomy Inc. | Uncertainty-based data filtering in a vehicle |
US20210012239A1 (en) | 2019-07-12 | 2021-01-14 | Microsoft Technology Licensing, Llc | Automated generation of machine learning models for network evaluation |
US11379287B2 (en) | 2019-07-17 | 2022-07-05 | Factualvr, Inc. | System and method for error detection and correction in virtual reality and augmented reality environments |
US11191342B2 (en) | 2019-07-18 | 2021-12-07 | L'oreal | Techniques for identifying skin color in images having uncontrolled lighting conditions |
CN110473173A (en) | 2019-07-24 | 2019-11-19 | 熵智科技(深圳)有限公司 | A kind of defect inspection method based on deep learning semantic segmentation |
US11941976B2 (en) | 2019-07-25 | 2024-03-26 | Pony Ai Inc. | System and method for sharing data collected from the street sensors |
CN110599537A (en) | 2019-07-25 | 2019-12-20 | 中国地质大学(武汉) | Mask R-CNN-based unmanned aerial vehicle image building area calculation method and system |
US10893107B1 (en) | 2019-07-25 | 2021-01-12 | Amazon Technologies, Inc. | Techniques for managing processing resources |
US20210030276A1 (en) | 2019-07-29 | 2021-02-04 | DawnLight Technologies Inc. | Remote Health Monitoring Systems and Method |
CN112308095A (en) | 2019-07-30 | 2021-02-02 | 顺丰科技有限公司 | Picture preprocessing and model training method and device, server and storage medium |
CN110399875A (en) | 2019-07-31 | 2019-11-01 | 山东浪潮人工智能研究院有限公司 | A kind of form of general use information extracting method based on deep learning and pixel projection |
US11200456B2 (en) | 2019-07-31 | 2021-12-14 | GE Precision Healthcare LLC | Systems and methods for generating augmented training data for machine learning models |
US11182903B2 (en) | 2019-08-05 | 2021-11-23 | Sony Corporation | Image mask generation using a deep neural network |
CN110426051B (en) | 2019-08-05 | 2021-05-18 | 武汉中海庭数据技术有限公司 | Lane line drawing method and device and storage medium |
US11449709B2 (en) | 2019-08-08 | 2022-09-20 | Nvidia Corporation | Domain restriction of neural networks through synthetic data pre-training |
US11531883B2 (en) | 2019-08-12 | 2022-12-20 | Bank Of America Corporation | System and methods for iterative synthetic data generation and refinement of machine learning models |
US11537880B2 (en) | 2019-08-12 | 2022-12-27 | Bank Of America Corporation | System and methods for generation of synthetic data cluster vectors and refinement of machine learning models |
US11348339B2 (en) | 2019-08-13 | 2022-05-31 | Uatc, Llc | Association and tracking for autonomous devices |
US11593753B2 (en) | 2019-08-13 | 2023-02-28 | United Parcel Service Of America, Inc. | Multi-phase consolidation optimization tool |
US11556992B2 (en) | 2019-08-14 | 2023-01-17 | Royal Bank Of Canada | System and method for machine learning architecture for enterprise capitalization |
CN110543837B (en) | 2019-08-16 | 2022-03-15 | 北京航空航天大学 | Visible light airport airplane detection method based on potential target point |
US11634162B2 (en) | 2019-08-16 | 2023-04-25 | Uatc, Llc. | Full uncertainty for motion planning in autonomous vehicles |
US11144754B2 (en) | 2019-08-19 | 2021-10-12 | Nvidia Corporation | Gaze detection using one or more neural networks |
US11302009B2 (en) | 2019-08-19 | 2022-04-12 | Fotonation Limited | Method of image processing using a neural network |
US11594036B2 (en) | 2019-08-21 | 2023-02-28 | Micron Technology, Inc. | Advanced driver-assistance system (ADAS) operation utilizing algorithmic skyline detection |
US11232110B2 (en) | 2019-08-23 | 2022-01-25 | Capital One Services, Llc | Natural language keyword tag extraction |
CN110516665A (en) | 2019-08-23 | 2019-11-29 | 上海眼控科技股份有限公司 | Identify the neural network model construction method and system of image superposition character area |
CN110619282B (en) | 2019-08-26 | 2023-01-10 | 海南撰云空间信息技术有限公司 | Automatic extraction method for unmanned aerial vehicle orthoscopic image building |
CN110619283B (en) | 2019-08-26 | 2023-01-10 | 海南撰云空间信息技术有限公司 | Automatic extraction method for unmanned aerial vehicle ortho-image road |
CN110569899B (en) | 2019-09-03 | 2022-06-10 | 嘉陵江亭子口水利水电开发有限公司 | Dam face defect classification model training method and device |
CN110619330A (en) | 2019-09-18 | 2019-12-27 | 上海眼控科技股份有限公司 | Recognition model training method and device, computer equipment and recognition method |
CN110751280A (en) | 2019-09-19 | 2020-02-04 | 华中科技大学 | Configurable convolution accelerator applied to convolutional neural network |
CN110659628A (en) | 2019-10-09 | 2020-01-07 | 山东浪潮人工智能研究院有限公司 | Coal mine monitoring video decompression method and system based on deep learning |
CN110599864A (en) | 2019-10-28 | 2019-12-20 | 苏州智行众维智能科技有限公司 | Modeling and verifying device and method based on indoor traffic scene simulation sensor |
CN110826566B (en) | 2019-11-01 | 2022-03-01 | 北京环境特性研究所 | Target slice extraction method based on deep learning |
US10819923B1 (en) | 2019-11-19 | 2020-10-27 | Waymo Llc | Thermal imaging for self-driving cars |
CN110956185B (en) | 2019-11-21 | 2023-04-18 | 大连理工大学人工智能大连研究院 | Method for detecting image salient object |
CN110966991B (en) | 2019-11-21 | 2021-07-02 | 中国人民解放军国防科技大学 | Single unmanned aerial vehicle image positioning method without control point |
CN110631593B (en) | 2019-11-25 | 2020-02-21 | 奥特酷智能科技(南京)有限公司 | Multi-sensor fusion positioning method for automatic driving scene |
DE102019008316A1 (en) | 2019-11-29 | 2020-08-13 | Daimler Ag | Method for object recognition and distance determination |
CN111126453B (en) | 2019-12-05 | 2022-05-03 | 重庆邮电大学 | Fine-grained image classification method and system based on attention mechanism and cut filling |
CN110688992B (en) | 2019-12-09 | 2020-08-04 | 中智行科技有限公司 | Traffic signal identification method and device, vehicle navigation equipment and unmanned vehicle |
CN111027549A (en) | 2019-12-10 | 2020-04-17 | 北京服装学院 | Method for identifying key points of women's upper clothes |
CN111027575B (en) | 2019-12-13 | 2022-06-17 | 广西师范大学 | Semi-supervised semantic segmentation method for self-attention confrontation learning |
US10902551B1 (en) | 2019-12-17 | 2021-01-26 | X Development Llc | True positive transplant |
US11536574B2 (en) | 2019-12-27 | 2022-12-27 | Intel Corporation | System and method for acceleration-based vector field maps |
US10796355B1 (en) | 2019-12-27 | 2020-10-06 | Capital One Services, Llc | Personalized car recommendations based on customer web traffic |
CN111062973B (en) | 2019-12-31 | 2021-01-01 | 西安电子科技大学 | Vehicle tracking method based on target feature sensitivity and deep learning |
US10732261B1 (en) | 2019-12-31 | 2020-08-04 | Aurora Innovation, Inc. | Generating data using radar observation model based on machine learning |
US11341170B2 (en) | 2020-01-10 | 2022-05-24 | Hearst Magazine Media, Inc. | Automated extraction, inference and normalization of structured attributes for product data |
CN111047225B (en) | 2020-01-10 | 2021-03-23 | 惠州光弘科技股份有限公司 | SMT surface mounting component welding spot quality evaluation method based on edge side model processing |
CN111275618B (en) | 2020-01-12 | 2023-09-29 | 杭州电子科技大学 | Depth map super-resolution reconstruction network construction method based on double-branch perception |
CN111275080B (en) | 2020-01-14 | 2021-01-08 | 腾讯科技(深圳)有限公司 | Artificial intelligence-based image classification model training method, classification method and device |
US10845943B1 (en) | 2020-02-14 | 2020-11-24 | Carmax Business Services, Llc | Systems and methods for generating a 360-degree viewing experience |
CN111275129A (en) | 2020-02-17 | 2020-06-12 | 平安科技(深圳)有限公司 | Method and system for selecting image data augmentation strategy |
CN111461110B (en) | 2020-03-02 | 2023-04-28 | 华南理工大学 | Small target detection method based on multi-scale image and weighted fusion loss |
CN111598095B (en) | 2020-03-09 | 2023-04-07 | 浙江工业大学 | Urban road scene semantic segmentation method based on deep learning |
CN111444821B (en) | 2020-03-24 | 2022-03-25 | 西北工业大学 | Automatic identification method for urban road signs |
US11455793B2 (en) | 2020-03-25 | 2022-09-27 | Intel Corporation | Robust object detection and classification using static-based cameras and events-based cameras |
US11586854B2 (en) | 2020-03-26 | 2023-02-21 | Intel Corporation | Devices and methods for accurately identifying objects in a vehicle's environment |
US11568655B2 (en) | 2020-03-26 | 2023-01-31 | Intel Corporation | Methods and devices for triggering vehicular actions based on passenger actions |
US11597393B2 (en) | 2020-03-26 | 2023-03-07 | Intel Corporation | Systems, methods, and devices for driving control |
US11886968B2 (en) | 2020-03-27 | 2024-01-30 | Intel Corporation | Methods and devices for detecting objects and calculating a time to contact in autonomous driving systems |
CN111445420B (en) | 2020-04-09 | 2023-06-06 | 北京爱芯科技有限公司 | Image operation method and device of convolutional neural network and electronic equipment |
CN111461053B (en) | 2020-04-13 | 2023-05-23 | 安徽大学 | Multi-growth-period wheat lodging area identification system based on transfer learning |
CN111461052B (en) | 2020-04-13 | 2023-05-23 | 安徽大学 | Wheat lodging area identification method for multiple growth periods based on transfer learning |
CN111539514B (en) | 2020-04-16 | 2023-06-06 | 北京百度网讯科技有限公司 | Method and apparatus for generating a structure of a neural network |
CN111428943B (en) | 2020-04-23 | 2021-08-03 | 福瑞泰克智能系统有限公司 | Method, device and computer device for predicting obstacle vehicle track |
KR102189262B1 (en) | 2020-04-29 | 2020-12-11 | 주식회사 글로벌브릿지 | Apparatus and method for collecting traffic information using edge computing |
CN111565318A (en) | 2020-05-06 | 2020-08-21 | 中国科学院重庆绿色智能技术研究院 | Video compression method based on sparse samples |
CN111582216B (en) | 2020-05-15 | 2023-08-04 | 安徽师范大学 | Unmanned vehicle-mounted traffic signal lamp identification system and method |
CN111693972B (en) | 2020-05-29 | 2022-11-15 | 东南大学 | Vehicle position and speed estimation method based on binocular sequence images |
CN111783545A (en) | 2020-06-02 | 2020-10-16 | 山西潞安环保能源开发股份有限公司五阳煤矿 | Coal mine unmanned aerial vehicle image enhancement method based on generation of countermeasure network |
CN111767801B (en) | 2020-06-03 | 2023-06-16 | 中国地质大学(武汉) | Remote sensing image water area automatic extraction method and system based on deep learning |
CN111814623A (en) | 2020-06-29 | 2020-10-23 | 浙江工业大学 | Vehicle lane departure visual detection method based on deep neural network |
CN111860499B (en) | 2020-07-01 | 2022-07-12 | 电子科技大学 | Feature grouping-based bilinear convolutional neural network automobile brand identification method |
CN111783971B (en) | 2020-07-02 | 2024-04-09 | 上海赛昉科技有限公司 | Highly flexibly configurable data post-processor for deep neural network |
CN111882579A (en) | 2020-07-03 | 2020-11-03 | 湖南爱米家智能科技有限公司 | Large infusion foreign matter detection method, system, medium and equipment based on deep learning and target tracking |
CN111899227A (en) | 2020-07-06 | 2020-11-06 | 北京交通大学 | Automatic railway fastener defect acquisition and identification method based on unmanned aerial vehicle operation |
CN111768002B (en) | 2020-07-10 | 2021-06-22 | 南开大学 | Deep neural network quantization method based on elastic significance |
CN111814902A (en) | 2020-07-21 | 2020-10-23 | 南方电网数字电网研究院有限公司 | Target detection model training method, target identification method, device and medium |
CN111898507B (en) | 2020-07-22 | 2022-06-03 | 武汉大学 | Deep learning method for predicting earth surface coverage category of label-free remote sensing image |
CN111898523A (en) | 2020-07-29 | 2020-11-06 | 电子科技大学 | Remote sensing image special vehicle target detection method based on transfer learning |
CN111897639B (en) | 2020-07-29 | 2022-12-27 | 平安科技(深圳)有限公司 | Image augmentation method, image augmentation device, computer device, and storage medium |
CN111899245B (en) | 2020-07-30 | 2021-03-09 | 推想医疗科技股份有限公司 | Image segmentation method, image segmentation device, model training method, model training device, electronic equipment and storage medium |
CN111881856B (en) | 2020-07-31 | 2023-01-31 | 蚂蚁胜信(上海)信息技术有限公司 | Vehicle damage assessment method and device based on image |
CN112101175B (en) | 2020-09-09 | 2024-05-10 | 沈阳帝信人工智能产业研究院有限公司 | Expressway vehicle detection and multi-attribute feature extraction method based on local image |
CN112115953B (en) | 2020-09-18 | 2023-07-11 | 南京工业大学 | Optimized ORB algorithm based on RGB-D camera combined plane detection and random sampling coincidence algorithm |
CN112232497A (en) | 2020-10-12 | 2021-01-15 | 苏州浪潮智能科技有限公司 | Method, system, device and medium for compiling AI chip |
CN112329552B (en) | 2020-10-16 | 2023-07-14 | 爱驰汽车(上海)有限公司 | Obstacle detection method and device based on automobile |
CN112348783B (en) | 2020-10-27 | 2022-08-05 | 基建通(三亚)国际科技有限公司 | Image-based person identification method and device and computer-readable storage medium |
CN112183739B (en) | 2020-11-02 | 2022-10-04 | 中国科学技术大学 | Hardware architecture of memristor-based low-power-consumption pulse convolution neural network |
CN112308799A (en) | 2020-11-05 | 2021-02-02 | 山东交通学院 | Offshore road complex environment visibility optimization screen display method based on multiple sensors |
CN112288658B (en) | 2020-11-23 | 2023-11-28 | 杭州师范大学 | Underwater image enhancement method based on multi-residual joint learning |
-
2019
- 2019-02-01 US US16/265,720 patent/US11150664B2/en active Active
-
2020
- 2020-01-28 WO PCT/US2020/015383 patent/WO2020159968A1/en unknown
- 2020-01-28 EP EP20708347.8A patent/EP3918515A1/en active Pending
- 2020-01-28 KR KR1020217026372A patent/KR102618662B1/en active IP Right Grant
- 2020-01-28 IL IL285152A patent/IL285152B2/en unknown
- 2020-01-28 AU AU2020216128A patent/AU2020216128A1/en active Pending
- 2020-01-28 CN CN202080026743.XA patent/CN113646772A/en active Pending
- 2020-01-28 JP JP2021544315A patent/JP7374199B2/en active Active
- 2020-01-28 IL IL309731A patent/IL309731A/en unknown
- 2020-01-28 CA CA3128028A patent/CA3128028A1/en active Pending
- 2020-01-28 SG SG11202108324UA patent/SG11202108324UA/en unknown
- 2020-01-28 KR KR1020237044250A patent/KR20240000658A/en active Application Filing
-
2021
- 2021-10-14 US US17/450,914 patent/US12014553B2/en active Active
-
2023
- 2023-10-25 JP JP2023182986A patent/JP2024020237A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
AU2020216128A1 (en) | 2021-08-19 |
WO2020159968A1 (en) | 2020-08-06 |
US12014553B2 (en) | 2024-06-18 |
US11150664B2 (en) | 2021-10-19 |
IL285152A (en) | 2021-09-30 |
IL285152B2 (en) | 2024-06-01 |
IL309731A (en) | 2024-02-01 |
CN113646772A (en) | 2021-11-12 |
EP3918515A1 (en) | 2021-12-08 |
US20220107651A1 (en) | 2022-04-07 |
US20200249685A1 (en) | 2020-08-06 |
KR102618662B1 (en) | 2023-12-27 |
IL285152B1 (en) | 2024-02-01 |
JP7374199B2 (en) | 2023-11-06 |
JP2022523084A (en) | 2022-04-21 |
KR20210120018A (en) | 2021-10-06 |
SG11202108324UA (en) | 2021-08-30 |
CA3128028A1 (en) | 2020-08-06 |
KR20240000658A (en) | 2024-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7374199B2 (en) | Systems, computer program products and methods for prediction of three-dimensional features for autonomous driving | |
JP7467485B2 (en) | Generating ground truth for machine learning from time series elements | |
US11790664B2 (en) | Estimating object properties using visual image data | |
JP2024084798A (en) | Generating ground truth for machine learning from time series elements |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231116 |