JP6857371B2 - 安全な自律走行を支援する学習方法、そしてこれを利用した学習装置、テスト方法、及びテスト装置 - Google Patents
安全な自律走行を支援する学習方法、そしてこれを利用した学習装置、テスト方法、及びテスト装置 Download PDFInfo
- Publication number
- JP6857371B2 JP6857371B2 JP2020010125A JP2020010125A JP6857371B2 JP 6857371 B2 JP6857371 B2 JP 6857371B2 JP 2020010125 A JP2020010125 A JP 2020010125A JP 2020010125 A JP2020010125 A JP 2020010125A JP 6857371 B2 JP6857371 B2 JP 6857371B2
- Authority
- JP
- Japan
- Prior art keywords
- test
- neural network
- feature map
- learning
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims description 240
- 238000000034 method Methods 0.000 title claims description 124
- 238000010998 test method Methods 0.000 title claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 276
- 238000004891 communication Methods 0.000 claims description 199
- 230000002093 peripheral effect Effects 0.000 claims description 143
- 230000033001 locomotion Effects 0.000 claims description 142
- 230000008569 process Effects 0.000 claims description 79
- 239000013598 vector Substances 0.000 claims description 63
- 238000004364 calculation method Methods 0.000 claims description 59
- 238000011176 pooling Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 22
- 230000000306 recurrent effect Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005755 formation reaction Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
- B60W30/165—Automatically following the path of a preceding lead vehicle, e.g. "electronic tow-bar"
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4046—Behavior, e.g. aggressive or erratic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/35—Data fusion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Automation & Control Theory (AREA)
- General Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Game Theory and Decision Science (AREA)
- Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Electromagnetism (AREA)
- Image Processing (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Description
Claims (30)
- イメージ及び通信を介して取得される各情報のフュージョンを使用して、一つ以上の周辺物体の一つ以上のモーション(motion)を予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援する学習方法において、
(a)学習装置が、対象車両に搭載された少なくとも一つのカメラを通じて少なくとも一つの状況イメージが取得されると、第1ニューラルネットワークをもって、前記状況イメージに少なくとも一つの第1ニューラルネットワーク演算を適用して、前記状況イメージに対応する少なくとも一つのイメージ基盤の特徴マップを生成させるプロセス、及び前記対象車両に搭載された少なくとも一つの通信モジュールを通じて状況通信情報が取得されると、第2ニューラルネットワークをもって、前記状況通信情報に少なくとも一つの第2ニューラルネットワーク演算を適用して、前記状況通信情報に対応する通信基盤の特徴マップを生成させるプロセスを遂行する段階;
(b)前記学習装置が、第3ニューラルネットワークをもって、前記イメージ基盤の特徴マップ及び前記通信基盤の特徴マップに少なくとも一つの第3ニューラルネットワーク演算を適用して、統合特徴マップを生成させる段階;
(c)前記学習装置が、第4ニューラルネットワークをもって、前記統合特徴マップに少なくとも一つの第4ニューラルネットワーク演算を適用して、特定の時間範囲の間における前記周辺物体のモーション予測結果である予測周辺モーション情報を生成させる段階;及び
(d)前記学習装置が、第1ロスレイヤをもって、前記予測周辺モーション情報及びこれに対応する原本正解(Ground Truth)周辺モーション情報を参照して少なくとも一つのモーションロスを生成させ、前記モーションロスを使用してバックプロパゲーション(backpropagation)を遂行することによって、前記第1ないし前記第4ニューラルネットワークのパラメータのうち少なくとも一部を学習させる段階;
を含むことを特徴とする方法。 - 前記(a)段階で、
前記学習装置が、(i)前記第2ニューラルネットワークに含まれている少なくとも一つの第2FC(Fully−Connected)レイヤをもって、前記対象車両から閾値以下の距離に位置する周辺物体それぞれに対する通信基盤のメタデータをそれぞれの通信基盤のメタデータベクトルとして含む前記状況通信情報に少なくとも一つの第2FC演算を適用して、それぞれの前記通信基盤のメタデータベクトルに対応する通信基盤のメタ特徴ベクトルを生成させ、(ii)前記第2ニューラルネットワークに含まれている少なくとも一つの第2プーリングレイヤをもって、前記通信基盤のメタ特徴ベクトルに少なくとも一つの第2プーリング演算を適用して前記通信基盤の特徴マップを生成させることを特徴とする請求項1に記載の方法。 - 前記(c)段階で、
前記学習装置が、前記第4ニューラルネットワークをもって、(i)前記カメラ及び前記通信モジュールを通じて取得されたグローバル情報に対応する前記統合特徴マップ、及び(ii)それぞれの前記周辺物体に関するローカル情報に対応する前記通信基盤の特徴マップが生成される過程で使用された一つ以上の通信基盤のメタ特徴ベクトルを含むメタ特徴マップに、前記第4ニューラルネットワーク演算を適用して前記予測周辺モーション情報を生成させることを特徴とする請求項1に記載の方法。 - 前記(c)段階で、
前記学習装置が、前記カメラを通じて取得された前記周辺物体に対するイメージ基盤のメタデータに対応する一つ以上のイメージ基盤のメタ特徴ベクトル及び前記通信基盤のメタ特徴ベクトルを参照して、前記メタ特徴マップを生成することを特徴とする請求項3に記載の方法。 - 前記(b)段階で、
前記学習装置は、前記通信基盤の特徴マップ及び前記イメージ基盤の特徴マップをチャンネルごとにコンカチネート(channel−wise concatenating)して臨時の特徴マップを生成し、RNN(Recurrent Neural Network)として具現された前記第3ニューラルネットワークをもって、前記第3ニューラルネットワークに以前に入力された情報に対応する状態ベクトルを使用して前記臨時の特徴マップに前記第3ニューラルネットワーク演算を適用することによって、前記統合特徴マップを生成させることを特徴とする請求項1に記載の方法。 - 前記第3ニューラルネットワークは、前記RNNの一種であるLSTM(Long−Short Term Memory)ネットワークとして具現されることを特徴とする請求項5に記載の方法。
- 前記学習装置は、前記第1ロスレイヤをもって、(i)前記状況イメージ及び前記状況通信情報が所定の第T時点に対応する場合、前記第T時点以後の時点である第T+1時点における前記周辺物体の位置情報及び速度情報を参照して取得された前記原本正解周辺モーション情報、及び(ii)前記予測周辺モーション情報を参照して、前記モーションロスを生成させることを特徴とする請求項1に記載の方法。
- (e)前記学習装置が、前記第1ないし前記第4ニューラルネットワークの学習が完了した状態で、第5ニューラルネットワークをもって、学習が完了した前記第4ニューラルネットワークから出力された予測周辺モーション情報に少なくとも一つの第5ニューラルネットワーク演算を適用して、前記特定の時間範囲の間に前記対象車両との関連度が閾値以上である事故が起きる確率に関する情報を含む予測危険情報を生成させる段階;及び
(f)前記学習装置が、第2ロスレイヤをもって、前記予測危険情報及びこれに対応する原本正解危険情報を参照して少なくとも一つの危険ロスを生成させ、前記危険ロスを使用してバックプロパゲーションを遂行することによって、前記第5ニューラルネットワークのパラメータのうち少なくとも一部を学習させる段階;
をさらに含むことを特徴とする請求項1に記載の方法。 - 前記(a)段階で、
前記学習装置が、前記第1ニューラルネットワークに含まれている第1コンボリューションレイヤをもって、前記状況イメージに少なくとも一つの第1コンボリューション演算を適用して少なくとも一つの第1特徴マップを生成させ、前記第1ニューラルネットワークに含まれている第1プーリングレイヤをもって、前記第1特徴マップに少なくとも一つの第1プーリング演算を適用して少なくとも一つの第1プーリング済み特徴マップを生成させ、前記第1ニューラルネットワークに含まれている第1FCレイヤをもって、前記第1プーリング済み特徴マップに少なくとも一つの第1FC演算を適用して前記イメージ基盤の特徴マップを生成させることを特徴とする請求項1に記載の方法。 - イメージ及び通信を介して取得される各情報のフュージョンを使用して一つ以上のテスト用周辺物体の一つ以上のモーションを予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援するテスト方法において、
(a)(1)学習装置が、学習用対象車両に搭載された少なくとも一つの学習用カメラを通じて少なくとも一つの学習用状況イメージが取得されると、第1ニューラルネットワークをもって、前記学習用状況イメージに少なくとも一つの第1ニューラルネットワーク演算を適用して、前記学習用状況イメージに対応する少なくとも一つの学習用イメージ基盤の特徴マップを生成させるプロセス、及び前記学習用対象車両に搭載された少なくとも一つの学習用通信モジュールを通じて学習用状況通信情報が取得されると、第2ニューラルネットワークをもって、前記学習用状況通信情報に少なくとも一つの第2ニューラルネットワーク演算を適用して、前記学習用状況通信情報に対応する学習用通信基盤の特徴マップを生成させるプロセスを遂行し、(2)前記学習装置が、第3ニューラルネットワークをもって、前記学習用イメージ基盤の特徴マップ及び前記学習用通信基盤の特徴マップに少なくとも一つの第3ニューラルネットワーク演算を適用して、学習用統合特徴マップを生成させ、(3)前記学習装置が、第4ニューラルネットワークをもって、前記学習用統合特徴マップに少なくとも一つの第4ニューラルネットワーク演算を適用して、特定の時間範囲の間における学習用周辺物体のモーション予測結果である学習用予測周辺モーション情報を生成させ、(4)前記学習装置が、第1ロスレイヤをもって、前記学習用予測周辺モーション情報及びこれに対応する原本正解周辺モーション情報を参照して少なくとも一つのモーションロスを生成させ、前記モーションロスを使用してバックプロパゲーションを遂行することによって前記第1ないし前記第4ニューラルネットワークのパラメータのうち少なくとも一部を学習させた状態で、テスト装置が、テスト用対象車両に搭載された少なくとも一つのテスト用カメラを通じて少なくとも一つのテスト用状況イメージが取得されると、前記第1ニューラルネットワークをもって、前記テスト用状況イメージに前記第1ニューラルネットワーク演算を適用して、前記テスト用状況イメージに対応する少なくとも一つのテスト用イメージ基盤の特徴マップを生成させるプロセス、及び前記テスト用対象車両に搭載された少なくとも一つのテスト用通信モジュールを通じてテスト用状況通信情報が取得されると、前記第2ニューラルネットワークをもって、前記テスト用状況通信情報に前記第2ニューラルネットワーク演算を適用して、前記テスト用状況通信情報に対応する少なくとも一つのテスト用通信基盤の特徴マップを生成させるプロセスを遂行する段階;
(b)前記テスト装置が、前記第3ニューラルネットワークをもって、前記テスト用イメージ基盤の特徴マップ及び前記テスト用通信基盤の特徴マップに前記第3ニューラルネットワーク演算を適用して、テスト用統合特徴マップを生成させる段階;及び
(c)前記テスト装置が、前記第4ニューラルネットワークをもって、前記テスト用統合特徴マップに前記第4ニューラルネットワーク演算を適用して、前記特定の時間範囲の間における前記テスト用周辺物体のモーション予測結果であるテスト用予測周辺モーション情報を生成させる段階;
を含むことを特徴とする方法。 - (d)前記テスト装置が、前記第1ないし前記第4ニューラルネットワークを使用して学習が完了した第5ニューラルネットワークをもって、前記テスト用予測周辺モーション情報に少なくとも一つの第5ニューラルネットワーク演算を適用して、前記特定の時間範囲の間に前記テスト用対象車両との関連度が閾値以上である事故が起きる確率に関する情報を含むテスト用予測危険情報を生成させる段階;
をさらに含むことを特徴とする請求項10に記載の方法。 - (e)前記テスト装置が、前記テスト用対象車両が群集走行(platooning)を通じて前記自律走行を遂行している場合、前記テスト用予測危険情報を参照して群集走行パラメータを調整する段階;
をさらに含むことを特徴とする請求項11に記載の方法。 - 前記テスト装置が、前記テスト用対象車両との前記関連度が前記臨界値以上である特定の事故が実際に発生して検出された場合、前記特定の事故に関する情報を前記テスト用周辺物体と共有し、前記テスト用対象車両をもって、前記特定の事故により発生する危険な状況を回避するための走行戦略を参照して前記自律走行を遂行するように支援することを特徴とする請求項12に記載の方法。
- 前記(c)段階で、
前記テスト装置が、前記第4ニューラルネットワークをもって、(i)前記テスト用カメラ及び前記テスト用通信モジュールを通じて取得されたテスト用グローバル情報に対応する前記テスト用統合特徴マップ、及び(ii)それぞれの前記テスト用周辺物体に関するテスト用ローカル情報に対応する、前記テスト用通信基盤の特徴マップが生成される過程で使用された一つ以上のテスト用通信基盤のメタ特徴ベクトルを含むテスト用メタ特徴マップに、前記第4ニューラルネットワーク演算を適用して前記テスト用予測周辺モーション情報を生成させることを特徴とする請求項10に記載の方法。 - 前記(c)段階で、
前記テスト装置が、前記テスト用カメラを通じて取得された前記テスト用周辺物体に対するテスト用イメージ基盤のメタデータに対応する一つ以上のテスト用イメージ基盤のメタ特徴ベクトル及び前記テスト用通信基盤のメタ特徴ベクトルを参照して、前記テスト用メタ特徴マップを生成することを特徴とする請求項14に記載の方法。 - イメージ及び通信を介して取得される各情報のフュージョンを使用して、一つ以上の周辺物体の一つ以上のモーション(motion)を予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援する学習装置において、
一つ以上のインストラクションを格納する少なくとも一つのメモリと、
(I)対象車両に搭載された少なくとも一つのカメラを通じて少なくとも一つの状況イメージが取得されると、第1ニューラルネットワークをもって、前記状況イメージに少なくとも一つの第1ニューラルネットワーク演算を適用して、前記状況イメージに対応する少なくとも一つのイメージ基盤の特徴マップを生成させ、前記対象車両に搭載された少なくとも一つの通信モジュールを通じて状況通信情報が取得されると、第2ニューラルネットワークをもって、前記状況通信情報に少なくとも一つの第2ニューラルネットワーク演算を適用して、前記状況通信情報に対応する通信基盤の特徴マップを生成させるプロセス、(II)第3ニューラルネットワークをもって、前記イメージ基盤の特徴マップ及び前記通信基盤の特徴マップに少なくとも一つの第3ニューラルネットワーク演算を適用して、統合特徴マップを生成させるプロセス、(III)第4ニューラルネットワークをもって、前記統合特徴マップに少なくとも一つの第4ニューラルネットワーク演算を適用して、特定の時間範囲の間における前記周辺物体のモーション予測結果である予測周辺モーション情報を生成させるプロセス、及び(IV)第1ロスレイヤをもって、前記予測周辺モーション情報及びこれに対応する原本正解(Ground Truth)周辺モーション情報を参照して少なくとも一つのモーションロスを生成させ、前記モーションロスを使用してバックプロパゲーション(backpropagation)を遂行することによって、前記第1乃至前記第4ニューラルネットワークのパラメータのうち少なくとも一部を学習させるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする装置。 - 前記(I)プロセスで、
前記プロセッサが、(i)前記第2ニューラルネットワークに含まれている少なくとも一つの第2FC(Fully−Connected)レイヤをもって、前記対象車両から閾値以下の距離に位置する周辺物体それぞれに対する通信基盤のメタデータをそれぞれの通信基盤のメタデータベクトルとして含む前記状況通信情報に少なくとも一つの第2FC演算を適用して、それぞれの前記通信基盤のメタデータベクトルに対応する通信基盤のメタ特徴ベクトルを生成させ、(ii)前記第2ニューラルネットワークに含まれている少なくとも一つの第2プーリングレイヤをもって、前記通信基盤のメタ特徴ベクトルに少なくとも一つの第2プーリング演算を適用して前記通信基盤の特徴マップを生成させることを特徴とする請求項16に記載の装置。 - 前記(III)プロセスで、
前記プロセッサが、前記第4ニューラルネットワークをもって、(i)前記カメラ及び前記通信モジュールを通じて取得されたグローバル情報に対応する前記統合特徴マップ、及び(ii)それぞれの前記周辺物体に関するローカル情報に対応する、前記通信基盤の特徴マップが生成される過程で使用された一つ以上の通信基盤のメタ特徴ベクトルを含むメタ特徴マップに、前記第4ニューラルネットワーク演算を適用して前記予測周辺モーション情報を生成させることを特徴とする請求項16に記載の装置。 - 前記(III)プロセスで、
前記プロセッサが、前記カメラを通じて取得された前記周辺物体に対するイメージ基盤のメタデータに対応する一つ以上のイメージ基盤のメタ特徴ベクトル及び前記通信基盤のメタ特徴ベクトルを参照して、前記メタ特徴マップを生成することを特徴とする請求項18に記載の装置。 - 前記(II)プロセスで、
前記プロセッサは、前記通信基盤の特徴マップ及び前記イメージ基盤の特徴マップをチャンネルごとにコンカチネート(channel−wise concatenating)して臨時の特徴マップを生成し、RNN(Recurrent Neural Network)として具現された前記第3ニューラルネットワークをもって、前記第3ニューラルネットワークに以前に入力された情報に対応する状態ベクトルを使用して前記臨時の特徴マップに前記第3ニューラルネットワーク演算を適用することによって、前記統合特徴マップを生成させることを特徴とする請求項16に記載の装置。 - 前記第3ニューラルネットワークは、前記RNNの一種であるLSTM(Long−Short Term Memory)ネットワークとして具現されることを特徴とする請求項20に記載の装置。
- 前記プロセッサは、前記第1ロスレイヤをもって、(i)前記状況イメージ及び前記状況通信情報が所定の第T時点に対応する場合、前記第T時点以後の時点である第T+1時点における前記周辺物体の位置情報及び速度情報を参照して取得された前記原本正解周辺モーション情報、及び(ii)前記予測周辺モーション情報を参照して、前記モーションロスを生成させることを特徴とする請求項16に記載の装置。
- 前記プロセッサは、(V)前記第1ないし前記第4ニューラルネットワークの学習が完了した状態で、第5ニューラルネットワークをもって、学習が完了した前記第4ニューラルネットワークから出力された予測周辺モーション情報に少なくとも一つの第5ニューラルネットワーク演算を適用して、前記特定の時間範囲の間に前記対象車両との関連度が閾値以上である事故が起きる確率に関する情報を含む予測危険情報を生成させるプロセス、及び(VI)第2ロスレイヤをもって、前記予測危険情報及びこれに対応する原本正解危険情報を参照して少なくとも一つの危険ロスを生成させ、前記危険ロスを使用してバックプロパゲーションを遂行することによって前記第5ニューラルネットワークのパラメータのうち少なくとも一部を学習させるプロセスをさらに遂行することを特徴とする請求項16に記載の装置。
- 前記(I)プロセスで、
前記プロセッサが、前記第1ニューラルネットワークに含まれている第1コンボリューションレイヤをもって、前記状況イメージに少なくとも一つの第1コンボリューション演算を適用して少なくとも一つの第1特徴マップを生成させ、前記第1ニューラルネットワークに含まれている第1プーリングレイヤをもって、前記第1特徴マップに少なくとも一つの第1プーリング演算を適用して少なくとも一つの第1プーリング済み特徴マップを生成させ、前記第1ニューラルネットワークに含まれている第1FCレイヤをもって、前記第1プーリング済み特徴マップに少なくとも一つの第1FC演算を適用して前記イメージ基盤の特徴マップを生成させることを特徴とする請求項16に記載の装置。 - イメージ及び通信を介して取得される各情報のフュージョンを使用して、一つ以上のテスト用周辺物体の一つ以上のモーションを予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援するテスト装置において、
一つ以上のインストラクションを格納する少なくとも一つのメモリと、
(I)(1)学習装置が、学習用対象車両に搭載された少なくとも一つの学習用カメラを通じて少なくとも一つの学習用状況イメージが取得されると、第1ニューラルネットワークをもって、前記学習用状況イメージに少なくとも一つの第1ニューラルネットワーク演算を適用して、前記学習用状況イメージに対応する少なくとも一つの学習用イメージ基盤の特徴マップを生成させるプロセス、及び前記学習用対象車両に搭載された少なくとも一つの学習用通信モジュールを通じて学習用状況通信情報が取得されると、第2ニューラルネットワークをもって、前記学習用状況通信情報に少なくとも一つの第2ニューラルネットワーク演算を適用して、前記学習用状況通信情報に対応する学習用通信基盤の特徴マップを生成させるプロセスを遂行し、(2)前記学習装置が、第3ニューラルネットワークをもって、前記学習用イメージ基盤の特徴マップ及び前記学習用通信基盤の特徴マップに少なくとも一つの第3ニューラルネットワーク演算を適用して、学習用統合特徴マップを生成させ、(3)前記学習装置が、第4ニューラルネットワークをもって、前記学習用統合特徴マップに少なくとも一つの第4ニューラルネットワーク演算を適用して、特定の時間範囲の間における学習用周辺物体のモーション予測結果である学習用予測周辺モーション情報を生成させ、(4)前記学習装置が、第1ロスレイヤをもって、前記学習用予測周辺モーション情報及びこれに対応する原本正解周辺モーション情報を参照して少なくとも一つのモーションロスを生成させ、前記モーションロスを使用してバックプロパゲーションを遂行することによって、前記第1ないし前記第4ニューラルネットワークのパラメータのうち少なくとも一部を学習させた状態で、テスト用対象車両に搭載された少なくとも一つのテスト用カメラを通じて少なくとも一つのテスト用状況イメージが取得されると、前記第1ニューラルネットワークをもって、前記テスト用状況イメージに前記第1ニューラルネットワーク演算を適用して、前記テスト用状況イメージに対応する少なくとも一つのテスト用イメージ基盤の特徴マップを生成させ、前記テスト用対象車両に搭載された少なくとも一つのテスト用通信モジュールを通じてテスト用状況通信情報が取得されると、前記第2ニューラルネットワークをもって、前記テスト用状況通信情報に前記第2ニューラルネットワーク演算を適用して、前記テスト用状況通信情報に対応する少なくとも一つのテスト用通信基盤の特徴マップを生成させるプロセス、(II)前記第3ニューラルネットワークをもって、前記テスト用イメージ基盤の特徴マップ及び前記テスト用通信基盤の特徴マップに前記第3ニューラルネットワーク演算を適用して、テスト用統合特徴マップを生成させるプロセス、及び(III)前記第4ニューラルネットワークをもって、前記テスト用統合特徴マップに前記第4ニューラルネットワーク演算を適用して、前記特定の時間範囲の間における前記テスト用周辺物体のモーション予測結果であるテスト用予測周辺モーション情報を生成させるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする装置。 - 前記プロセッサが、(IV)前記第1ないし前記第4ニューラルネットワークを使用して学習が完了した第5ニューラルネットワークをもって、前記テスト用予測周辺モーション情報に少なくとも一つの第5ニューラルネットワーク演算を適用して、前記特定の時間範囲の間に前記テスト用対象車両との関連度が閾値以上である事故が起きる確率に関する情報を含むテスト用予測危険情報を生成させるプロセスをさらに遂行することを特徴とする請求項25に記載の装置。
- 前記プロセッサが、(V)前記テスト用対象車両が群集走行(platooning)を通じて前記自律走行を遂行している場合、前記テスト用予測危険情報を参照して群集走行パラメータを調整するプロセスをさらに遂行することを特徴とする請求項26に記載の装置。
- 前記プロセッサが、前記テスト用対象車両との前記関連度が前記閾値以上である特定の事故が実際に発生して検出された場合、前記特定の事故に関する情報を前記テスト用周辺物体と共有し、前記テスト用対象車両をもって、前記特定の事故により発生する危険な状況を回避するための走行戦略を参照して前記自律走行を遂行するように支援することを特徴とする請求項27に記載の装置。
- 前記(III)プロセスで、
前記プロセッサが、前記第4ニューラルネットワークをもって、(i)前記テスト用カメラ及び前記テスト用通信モジュールを通じて取得されたテスト用グローバル情報に対応する前記テスト用統合特徴マップ、及び(ii)それぞれの前記テスト用周辺物体に関するテスト用ローカル情報に対応する、前記テスト用通信基盤の特徴マップが生成される過程で使用された一つ以上のテスト用通信基盤のメタ特徴ベクトルを含むテスト用メタ特徴マップに、前記第4ニューラルネットワーク演算を適用して前記テスト用予測周辺モーション情報を生成させることを特徴とする請求項25に記載の装置。 - 前記(III)プロセスで、
前記プロセッサが、前記テスト用カメラを通じて取得された前記テスト用周辺物体に対するテスト用イメージ基盤のメタデータに対応する一つ以上のテスト用イメージ基盤のメタ特徴ベクトル及び前記テスト用通信基盤のメタ特徴ベクトルを参照して、前記テスト用メタ特徴マップを生成することを特徴とする請求項29に記載の装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962799315P | 2019-01-31 | 2019-01-31 | |
US62/799,315 | 2019-01-31 | ||
US16/738,680 | 2020-01-09 | ||
US16/738,680 US10824947B2 (en) | 2019-01-31 | 2020-01-09 | Learning method for supporting safer autonomous driving without danger of accident by estimating motions of surrounding objects through fusion of information from multiple sources, learning device, testing method and testing device using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020126639A JP2020126639A (ja) | 2020-08-20 |
JP6857371B2 true JP6857371B2 (ja) | 2021-04-14 |
Family
ID=69191929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020010125A Active JP6857371B2 (ja) | 2019-01-31 | 2020-01-24 | 安全な自律走行を支援する学習方法、そしてこれを利用した学習装置、テスト方法、及びテスト装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10824947B2 (ja) |
EP (1) | EP3690730A3 (ja) |
JP (1) | JP6857371B2 (ja) |
KR (1) | KR102328732B1 (ja) |
CN (1) | CN111507172B (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
EP3864573A1 (en) | 2018-10-11 | 2021-08-18 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
KR102590622B1 (ko) * | 2021-04-02 | 2023-10-17 | 세종대학교산학협력단 | 멀티레이블 학습을 이용한 멀티스펙트럴 도메인에서의 객체 인식 방법 및 장치 |
CN114093171B (zh) * | 2022-01-21 | 2022-05-06 | 杭州海康威视数字技术股份有限公司 | 基于多源数据融合的交通运行状态监测方法及装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3606853B2 (ja) * | 2001-09-07 | 2005-01-05 | 松下電器産業株式会社 | 車両周囲状況表示装置 |
US9830709B2 (en) | 2016-03-11 | 2017-11-28 | Qualcomm Incorporated | Video analysis with convolutional attention recurrent neural networks |
JP2017162438A (ja) * | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 危険予測方法 |
EP3496068A1 (en) * | 2016-10-07 | 2019-06-12 | Aisin Aw Co., Ltd. | Travel assistance device and computer program |
EP4035943B1 (en) * | 2016-11-01 | 2023-08-30 | Panasonic Intellectual Property Corporation of America | Display method and display device |
JP6888950B2 (ja) * | 2016-12-16 | 2021-06-18 | フォルシアクラリオン・エレクトロニクス株式会社 | 画像処理装置、外界認識装置 |
CN110506277B (zh) * | 2017-02-13 | 2023-08-08 | 诺基亚技术有限公司 | 用于构建鲁棒的深度卷积神经网络的滤波器重用机制 |
CN108229455B (zh) * | 2017-02-23 | 2020-10-16 | 北京市商汤科技开发有限公司 | 物体检测方法、神经网络的训练方法、装置和电子设备 |
US10551842B2 (en) * | 2017-06-19 | 2020-02-04 | Hitachi, Ltd. | Real-time vehicle state trajectory prediction for vehicle energy management and autonomous drive |
US10169679B1 (en) * | 2017-10-13 | 2019-01-01 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same |
US10836379B2 (en) * | 2018-03-23 | 2020-11-17 | Sf Motors, Inc. | Multi-network-based path generation for vehicle parking |
-
2020
- 2020-01-09 US US16/738,680 patent/US10824947B2/en active Active
- 2020-01-20 KR KR1020200007638A patent/KR102328732B1/ko active IP Right Grant
- 2020-01-22 CN CN202010075597.1A patent/CN111507172B/zh active Active
- 2020-01-24 JP JP2020010125A patent/JP6857371B2/ja active Active
- 2020-01-24 EP EP20153533.3A patent/EP3690730A3/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2020126639A (ja) | 2020-08-20 |
CN111507172B (zh) | 2023-08-18 |
CN111507172A (zh) | 2020-08-07 |
US10824947B2 (en) | 2020-11-03 |
EP3690730A3 (en) | 2020-11-04 |
KR102328732B1 (ko) | 2021-11-23 |
US20200250541A1 (en) | 2020-08-06 |
EP3690730A2 (en) | 2020-08-05 |
KR20200096131A (ko) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6857371B2 (ja) | 安全な自律走行を支援する学習方法、そしてこれを利用した学習装置、テスト方法、及びテスト装置 | |
JP6913969B2 (ja) | 強化学習に基づいて協同走行で多重エージェントセンサフュージョンを遂行する方法及び装置 | |
JP6964354B2 (ja) | 最近の走行経路に対する軌跡基盤行動分析を遂行して、車両のモードを手動走行モードから自律走行モードに変更するか否かを判断する学習方法及び学習装置 | |
US11087175B2 (en) | Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them | |
JP6895694B2 (ja) | Avm及び強化学習を利用して自律走行の安全性を達成するためのアテンション−ドリブンアルゴリズムを利用したリソース割り当てのための方法及び装置{method and device for attention−driven resource allocation by using avmand reinforcement learning to thereby achieve safety of autonomous driving} | |
EP3690708A1 (en) | Method and device for optimized resource allocation in autonomous driving on the basis of reinforcement learning using data from lidar, radar, and camera sensor | |
JP6916551B2 (ja) | V2x通信及びイメージ処理を利用した情報融合によって自律走行の短期経路をプランニングするための方法及び装置{method and device for short−term path planning of autonomous driving through information fusion by using v2x communication and image processing} | |
EP3822852B1 (en) | Method, apparatus, computer storage medium and program for training a trajectory planning model | |
JP6941386B2 (ja) | 自律走行の安全性を提供するための方法及び装置 | |
JP7092383B2 (ja) | 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置 | |
KR102301631B1 (ko) | 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치 | |
US10796571B2 (en) | Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles | |
JP6892158B2 (ja) | オンデバイス独立型予測に基づいて自律走行車両のモードを切り換えることによって自律走行の安全性を図る学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 | |
JP6938056B2 (ja) | 競争的なコンピューティング及び情報フュージョンを利用して、車両の自律走行を支援するのに利用される自律走行サービスプラットフォームを提供する方法及びこれを利用したサーバ{method for providing autonomous driving service platform to be used for supporting autonomous driving of vehicles by using competitive computing and information fusion, and server using the same} | |
US20210398014A1 (en) | Reinforcement learning based control of imitative policies for autonomous driving | |
JP6865365B2 (ja) | ディープラーニング基盤装置の学習に使用されるバーチャル世界シミュレータの物理エンジンをキャリブレーションする方法及び装置、そしてそのためのリアル状態ネットワークを学習する方法及びそれを利用した学習装置 | |
Pandya et al. | An End—End Framework for Autonomous Driving Cars in a CARLA Simulator | |
CN117782136A (zh) | 虚拟驾驶辅助导航方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210312 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6857371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |