JP6856957B2 - 写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習されたcnnを許容するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置 - Google Patents
写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習されたcnnを許容するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置 Download PDFInfo
- Publication number
- JP6856957B2 JP6856957B2 JP2020008618A JP2020008618A JP6856957B2 JP 6856957 B2 JP6856957 B2 JP 6856957B2 JP 2020008618 A JP2020008618 A JP 2020008618A JP 2020008618 A JP2020008618 A JP 2020008618A JP 6856957 B2 JP6856957 B2 JP 6856957B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- test
- cnn
- main
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims description 268
- 238000000034 method Methods 0.000 title claims description 189
- 238000006243 chemical reaction Methods 0.000 title claims description 12
- 238000010998 test method Methods 0.000 title claims description 7
- 238000012360 testing method Methods 0.000 claims description 253
- 238000004364 calculation method Methods 0.000 claims description 33
- 210000002569 neuron Anatomy 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0418—Architecture, e.g. interconnection topology using chaos or fractal principles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Description
Claims (26)
- 少なくとも一つの仮想イメージ及び少なくとも一つのスタイル変換リアルイメージ(前記スタイル変換リアルイメージは、少なくとも一つのリアルイメージを予め設定されたバーチャル世界のイメージスタイルに変換したものである)を使用して、自律走行を遂行するために使用されるメインCNN(Convolutional Neural Network)を学習する方法において、
(a)学習装置が、予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第1学習イメージの少なくとも一部を取得する段階;及び
(b)前記学習装置が、(b1)(i)前記メインCNNに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第1学習イメージを参照して一つ以上の第1予測自律走行ソース情報を生成させ、(ii)前記メインCNNに含まれているメインロスレイヤをもって、(ii−1)前記第1予測自律走行ソース情報及びこれに対応する第1原本正解(Ground−Truth)自律走行ソース情報を参照して、一つ以上の第1メインロスを生成させた後、(ii−2)前記第1メインロスを使用してバックプロパゲーションを遂行することによって、前記メインCNNのパラメータの少なくとも一部を学習させる第1学習プロセス;及び(b2)(i)支援CNNをもって、前記第1学習イメージに対応する少なくとも一つの第1ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第2ベースイメージを参照して、一つ以上の第2学習イメージを生成させ、(ii)前記メインCNNに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第2学習イメージを参照して、一つ以上の第2予測自律走行ソース情報を生成させた後、(iii)前記メインCNNに含まれている前記メインロスレイヤをもって、(iii−1)前記第2予測自律走行ソース情報及びこれに対応する第2原本正解自律走行ソース情報を参照して、一つ以上の第2メインロスを生成させた後、(iii−2)前記第2メインロスを使用してバックプロパゲーションを遂行することによって、前記メインCNNのパラメータの少なくとも一部を学習させる第2学習プロセスを遂行させる段階;
を含むことを特徴とする方法。 - 前記(b2)段階は、
(b21)前記学習装置が、前記支援CNNに含まれている支援コンボリューションレイヤをもって、(i)前記第1ベースイメージに少なくとも一つの支援CNN演算を適用することによって一つ以上の特定スタイル特徴マップを生成し、(ii)前記第2ベースイメージのうち特定の第2ベースイメージに前記支援CNN演算を適用することによって一つ以上の特定コンテンツ特徴マップを生成する段階;
(b22)前記学習装置が、(i)前記支援CNNに含まれている前記支援コンボリューションレイヤをもって、ノイズイメージに前記支援CNN演算を適用することによって一つ以上の第1アップデート特徴マップを生成させた後、(ii)前記支援CNNに含まれている支援ロスレイヤをもって、(ii−1)前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第1アップデート特徴マップを使用して、少なくとも一つの第1アップデートロスを生成させ、(ii−2)前記第1アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つの第1アップデートイメージを生成させる段階;
(b23)前記学習装置が、(i)前記支援CNNに含まれている前記支援コンボリューションレイヤをもって、第(K−1)アップデートイメージに前記支援CNN演算を適用することによって一つ以上の第Kアップデート特徴マップを生成させた後、(ii)前記支援CNNに含まれている前記支援ロスレイヤをもって、(ii−1)前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第Kアップデート特徴マップを使用して、少なくとも一つの第Kアップデートロスを生成させ、(ii−2)前記第Kアップデートロスを通じて前記第(K−1)イメージをアップデートすることによって少なくとも一つの第Kアップデートイメージを生成させる段階;及び
(b24)前記学習装置が、前記(b22)段階及び前記(b23)段階を遂行して生成された第Nアップデートイメージを特定の第2学習イメージとして出力する段階;
を含み、ここでKは1ないしNの整数(integer)であることを特徴とする請求項1に記載の方法。 - 前記(b22)段階は、前記学習装置が、前記支援ロスレイヤをもって、(i)前記第1アップデート特徴マップと前記特定スタイル特徴マップとを使用して一つ以上の第1スタイルロスを生成するプロセス、及び(ii)前記第1アップデート特徴マップと前記特定コンテンツ特徴マップとを使用して一つ以上の第1コンテンツロスを生成するプロセスを遂行させることによって、前記第1スタイルロス及び前記第1コンテンツロスを含む前記第1アップデートロスを生成させることを特徴とする請求項2に記載の方法。
- 前記(b22)段階は、
前記学習装置が、前記支援ロスレイヤをもって、最急降下法(gradient−descent scheme)で前記第1アップデートロスを使用して前記ノイズイメージをアップデートさせることによって、(i)前記第1アップデートイメージのスタイル特性を前記ノイズイメージのスタイル特性より前記特定の第1ベースイメージのスタイル特性とさらに類似させ、(ii)前記第1アップデートイメージのコンテンツ特性を前記ノイズイメージのコンテンツ特性より前記特定の第2ベースイメージのコンテンツ特性とさらに類似させることを特徴とする請求項2に記載の方法。 - 前記(b)段階は、
前記学習装置が、(i)前記メインCNNをもって、前記第1学習イメージの特定の個数と、これに対応する前記第1原本正解自律走行ソース情報とを使用して前記パラメータを学習することによって前記第1学習プロセスを遂行し、(ii)前記メインCNNをもって、前記第2学習イメージと、これに対応する前記第2原本正解自律走行ソース情報とを使用して前記パラメータを微調整することによって前記第2学習プロセスを遂行することを特徴とする請求項1に記載の方法。 - 前記(b)段階は、
前記学習装置が、(i)前記メインCNNをもって、(i−1)管理者により予め設定された特定の数に対する特定の第1学習イメージの数の割合による前記第1学習イメージのうち一つ以上の特定の第1学習イメージ、及び(i−2)これに対応する前記第1原本正解自律走行ソース情報の一部を使用して、前記パラメータを初期に学習することによって前記第1学習プロセスを遂行させた後、
前記学習装置が、(ii)前記メインCNNをもって、前記第1学習イメージ及びこれに対応する前記第1原本正解自律走行ソース情報とともに前記第2学習イメージ及びこれに対応する前記第2原本正解自律走行ソース情報を共に使用して、前記パラメータを再学習することによって前記第2学習プロセスを遂行させることを特徴とする請求項1に記載の方法。 - 前記(b2)段階は、
前記第1ベースイメージは、前記第1学習イメージの中から選択されたイメージであり、前記第2ベースイメージは、前記リアル車両に搭載されている少なくとも一つのカメラを介して前記リアル車両に対応するリアル走行状況を撮影したイメージであり、前記少なくとも一つの第1ベースイメージが一つである場合、前記第2学習イメージそれぞれは、前記第2ベースイメージそれぞれに対応するように生成されることを特徴とする請求項1に記載の方法。 - 前記(b1)段階は、
前記学習装置が、(i)前記メインCNNに含まれている前記メインコンボリューションレイヤの一つ以上のメインコンボリューションニューロンをもって、(i−1)それ自体のパラメータを使用して、入力された値に少なくとも一つのメインコンボリューションを適用し、(i−2)この出力をそれ自体の次の自律走行ニューロンに伝達するプロセスを繰り返させることによって第1自律走行特徴マップを生成させた後、(ii)前記メインCNNに含まれている前記出力レイヤをもって、前記第1自律走行特徴マップに少なくとも一つの出力演算を適用して前記第1予測自律走行ソース情報を生成させることによって、前記メインCNN演算を前記第1学習イメージに適用することを特徴とする請求項1に記載の方法。 - 少なくとも一つの仮想イメージ及び少なくとも一つのスタイル変換リアルイメージ(前記スタイル変換リアルイメージは、少なくとも一つのリアルイメージを予め設定されたバーチャル世界のイメージスタイルに変換したものである)を使用して、自律走行を遂行するために使用されるメインCNN(Convolutional Neural Network)をテストする方法において、
(a)(1)学習装置が、予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第1学習イメージの少なくとも一部を取得し、(2)前記学習装置が、(2−1)(i)前記メインCNNに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第1学習イメージを参照して一つ以上の第1予測自律走行ソース情報を生成させ、(ii)前記メインCNNに含まれているメインロスレイヤをもって、(ii−1)前記第1予測自律走行ソース情報及びこれに対応する第1原本正解(Ground−Truth)自律走行ソース情報を参照して、一つ以上の第1メインロスを生成させた後、(ii−2)前記第1メインロスを使用してバックプロパゲーションを遂行することによって、前記メインCNNのパラメータの少なくとも一部を学習させる第1学習プロセス;及び(2−2)(i)支援CNNをもって、前記第1学習イメージに対応する少なくとも一つの第1ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第2ベースイメージを参照して、一つ以上の第2学習イメージを生成させ、(ii)前記メインCNNに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第2学習イメージを参照して、一つ以上の第2予測自律走行ソース情報を生成させた後、(iii)前記メインCNNに含まれている前記メインロスレイヤをもって、(iii−1)前記第2予測自律走行ソース情報及びこれに対応する第2原本正解自律走行ソース情報を参照して、一つ以上の第2メインロスを生成させた後、(iii−2)前記第2メインロスを使用してバックプロパゲーションを遂行することによって、前記メインCNNのパラメータの少なくとも一部を学習させる第2学習プロセスを遂行して学習が完了した状態で、テスト装置が、前記支援CNNをもって、(i)テスト用バーチャル世界におけるテスト用仮想車両のテスト用バーチャル走行に対応する少なくとも一つのテスト用第1ベースイメージ、及び(ii)前記テスト装置と連動して作動するテスト用リアル車両に搭載された少なくとも一つのテスト用カメラを介して取得された少なくとも一つのテスト用第2ベースイメージを参照してテストイメージを生成させる段階;及び
(b)前記テスト装置が、前記メインCNNに含まれている前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記テストイメージを参照してテスト用予測自律走行ソース情報を生成させる段階;
を含むことを特徴とする方法。 - (c)前記テスト装置が、前記テスト用予測自律走行ソース情報を自律走行アプリケーションモジュールに伝達して、前記テスト用リアル車両の自律走行を支援する段階;
をさらに含むことを特徴とする請求項9に記載の方法。 - 前記(a)段階は、
(a1)前記テスト装置が、前記支援CNNに含まれている支援コンボリューションレイヤをもって、(i)前記テスト用第1ベースイメージに少なくとも一つの支援CNN演算を適用することによって一つ以上のテスト用特定スタイル特徴マップを生成するプロセス、及び(ii)前記テスト用第2ベースイメージのうち特定の第2ベースイメージに前記支援CNN演算を適用することによって一つ以上のテスト用特定コンテンツ特徴マップを生成するプロセスを遂行させる段階;
(a2)前記テスト装置が、(i)前記支援CNNに含まれている前記支援コンボリューションレイヤをもって、テスト用ノイズイメージに前記支援CNN演算を適用することによって一つ以上のテスト用第1アップデート特徴マップを生成させた後、(ii)前記支援CNNに含まれている支援ロスレイヤをもって、(ii−1)前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第1アップデート特徴マップを使用して、少なくとも一つのテスト用第1アップデートロスを生成させ、(ii−2)前記テスト用第1アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つのテスト用第1アップデートイメージを生成させる段階;
(a3)前記テスト装置が、(i)前記支援CNNに含まれている前記支援コンボリューションレイヤをもって、テスト用第(K−1)アップデートイメージに前記支援CNN演算を適用することによって一つ以上のテスト用第Kアップデート特徴マップを生成させた後、(ii)前記支援CNNに含まれている前記支援ロスレイヤをもって、(ii−1)前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第Kアップデート特徴マップを使用して、少なくとも一つのテスト用第Kアップデートロスを生成させ、(ii−2)前記テスト用第Kアップデートロスを通じて前記テスト用第(K−1)イメージをアップデートすることによって少なくとも一つのテスト用第Kアップデートイメージを生成させる段階;
(a4)前記テスト装置が、前記(a2)段階及び前記(a3)段階を遂行して生成されたテスト用第Nアップデートイメージを前記テストイメージとして出力する段階;
を含み、ここでKは1ないしNの整数であることを特徴とする請求項9に記載の方法。 - 前記(b)段階以後に、
(d)前記テスト用第2ベースイメージが取得された際に第Tタイミング以後である第T+1タイミングに前記テスト用カメラを介してテスト用追加第2ベースイメージが取得されると、前記テスト装置が、前記支援CNNをもって、(i)前記テスト用第1ベースイメージ及び前記テスト用追加第2ベースイメージを参照して追加テストイメージを生成した後、(ii)前記追加テストイメージを使用してテスト用追加予測自律走行ソース情報を生成させる段階;
をさらに含むことを特徴とする請求項9に記載の方法。 - 前記(b)段階は、
前記テスト装置が、(i)前記メインCNNの前記メインコンボリューションレイヤに含まれている一つ以上のメインコンボリューションニューロンをもって、(i−1)それ自体に入力された少なくとも一つの値にそれ自体のパラメータを利用して少なくとも一つのメインコンボリューション演算を適用した後、(i−2)それ自体の次の自律走行コンボリューションニューロンに伝達するプロセスを繰り返させることによってテスト用自律走行特徴マップを生成させた後、(ii)前記メインCNNの前記出力レイヤをもって、前記テスト用自律走行特徴マップに少なくとも一つの出力演算を適用させて前記テスト用予測自律走行ソース情報を生成させることによって前記メインCNN演算を前記テストイメージに適用させることを特徴とする請求項9に記載の方法。 - 少なくとも一つの仮想イメージ及び少なくとも一つのスタイル変換リアルイメージ(前記スタイル変換リアルイメージは、少なくとも一つのリアルイメージを予め設定されたバーチャル世界のイメージスタイルに変換したものである)を使用して、自律走行を遂行するために使用されるメインCNN(Convolutional Neural Network)を学習する装置において、
各インストラクションを格納する少なくとも一つのメモリと、
前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、(I)予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第1学習イメージの少なくとも一部を取得し、(II)(II−1)(i)前記メインCNNに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第1学習イメージを参照して一つ以上の第1予測自律走行ソース情報を生成させ、(ii)前記メインCNNに含まれているメインロスレイヤをもって、(ii−1)前記第1予測自律走行ソース情報及びこれに対応する第1原本正解(Ground−Truth)自律走行ソース情報を参照して、一つ以上の第1メインロスを生成させた後、(ii−2)前記第1メインロスを使用してバックプロパゲーションを遂行することによって、前記メインCNNのパラメータの少なくとも一部を学習させる第1学習プロセス;及び(II−2)(i)支援CNNをもって、前記第1学習イメージに対応する少なくとも一つの第1ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第2ベースイメージを参照して、一つ以上の第2学習イメージを生成させ、(ii)前記メインCNNに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第2学習イメージを参照して、一つ以上の第2予測自律走行ソース情報を生成させた後、(iii)前記メインCNNに含まれている前記メインロスレイヤをもって、(iii−1)前記第2予測自律走行ソース情報及びこれに対応する第2原本正解自律走行ソース情報を参照して、一つ以上の第2メインロスを生成させた後、(iii−2)前記第2メインロスを使用してバックプロパゲーションを遂行することによって、前記メインCNNのパラメータの少なくとも一部を学習させる第2学習プロセスを遂行することを特徴とする装置。 - 前記(II−2)プロセスは、
(II−2−1)前記支援CNNに含まれている支援コンボリューションレイヤをもって、(i)前記第1ベースイメージに少なくとも一つの支援CNN演算を適用することによって一つ以上の特定スタイル特徴マップを生成し、(ii)前記第2ベースイメージのうち特定の第2ベースイメージに前記支援CNN演算を適用することによって一つ以上の特定コンテンツ特徴マップを生成するプロセス;
(II−2−2)(i)前記支援CNNに含まれている前記支援コンボリューションレイヤをもって、ノイズイメージに前記支援CNN演算を適用することによって一つ以上の第1アップデート特徴マップを生成させた後、(ii)前記支援CNNに含まれている支援ロスレイヤをもって、(ii−1)前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第1アップデート特徴マップを使用して、少なくとも一つの第1アップデートロスを生成させ、(ii−2)前記第1アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つの第1アップデートイメージを生成させるプロセス;
(II−2−3)(i)前記支援CNNに含まれている前記支援コンボリューションレイヤをもって、第(K−1)アップデートイメージに前記支援CNN演算を適用することによって一つ以上の第Kアップデート特徴マップを生成させた後、(ii)前記支援CNNに含まれている前記支援ロスレイヤをもって、(ii−1)前記特定スタイル特徴マップ及び前記特定コンテンツ特徴マップとともに前記第Kアップデート特徴マップを使用して、少なくとも一つの第Kアップデートロスを生成させ、(ii−2)前記第Kアップデートロスを通じて前記第(K−1)イメージをアップデートすることによって少なくとも一つの第Kアップデートイメージを生成させるプロセス;及び
(II−2−4)前記(II−2−2)プロセス及び前記(II−2−3)プロセスを遂行して生成された第Nアップデートイメージを特定の第2学習イメージとして出力するプロセス;
を含み、ここでKは1ないしNの整数であることを特徴とする請求項14に記載の装置。 - 前記(II−2−2)プロセスは、
前記プロセッサが、前記支援ロスレイヤをもって、(i)前記第1アップデート特徴マップと前記特定スタイル特徴マップとを使用して一つ以上の第1スタイルロスを生成するプロセス、及び(ii)前記第1アップデート特徴マップと前記特定コンテンツ特徴マップとを使用して一つ以上の第1コンテンツロスを生成するプロセスを遂行させることによって前記第1スタイルロス及び前記第1コンテンツロスを含む前記第1アップデートロスを生成させることを特徴とする請求項15に記載の装置。 - 前記(II−2−2)プロセスは、
前記プロセッサが、前記支援ロスレイヤをもって、最急降下法(gradient−descent scheme)で前記第1アップデートロスを使用して前記ノイズイメージをアップデートさせることによって、(i)前記第1アップデートイメージのスタイル特性を前記ノイズイメージのスタイル特性より前記特定の第1ベースイメージのスタイル特性とさらに類似させ、(ii)前記第1アップデートイメージのコンテンツ特性を前記ノイズイメージのコンテンツ特性より前記特定の第2ベースイメージのコンテンツ特性とさらに類似させることを特徴とする請求項15に記載の装置。 - 前記(II)プロセスは、
前記プロセッサが、(i)前記メインCNNをもって、前記第1学習イメージの特定の個数と、これに対応する前記第1原本正解自律走行ソース情報とを使用して前記パラメータを学習することによって前記第1学習プロセスを遂行し、(ii)前記メインCNNをもって、前記第2学習イメージと、これに対応する前記第2原本正解自律走行ソース情報とを使用して前記パラメータを微調整することによって前記第2学習プロセスを遂行することを特徴とする請求項14に記載の装置。 - 前記(II)プロセスは、
前記プロセッサが、(i)前記メインCNNをもって、(i−1)管理者により予め設定された特定の数に対する特定の第1学習イメージの数の割合による前記第1学習イメージのうち一つ以上の特定の第1学習イメージ、及び(i−2)これに対応する前記第1原本正解自律走行ソース情報の一部を使用して、前記パラメータを初期に学習することによって前記第1学習プロセスを遂行させた後、
前記プロセッサが、(ii)前記メインCNNをもって、前記第1学習イメージ及びこれに対応する前記第1原本正解自律走行ソース情報とともに前記第2学習イメージ及びこれに対応する前記第2原本正解自律走行ソース情報を共に使用して、前記パラメータを再学習することによって前記第2学習プロセスを遂行させることを特徴とする請求項14に記載の装置。 - 前記(II−2)プロセスは、
前記第1ベースイメージは、前記第1学習イメージの中から選択されたイメージであり、前記第2ベースイメージは、前記リアル車両に搭載された少なくとも一つのカメラを介して前記リアル車両に対応するリアル走行状況を撮影したイメージであり、前記少なくとも一つの第1ベースイメージが一つである場合、前記第2学習イメージそれぞれは、前記第2ベースイメージそれぞれに対応するように生成されることを特徴とする請求項14に記載の装置。 - 前記(II−1)プロセスは、
前記プロセッサが、(i)前記メインCNNに含まれている前記メインコンボリューションレイヤの一つ以上のメインコンボリューションニューロンをもって、(i−1)それ自体のパラメータを使用して、入力された値に少なくとも一つのメインコンボリューションを適用し、(i−2)この出力をそれ自体の次の自律走行ニューロンに伝達するプロセスを繰り返させることによって第1自律走行特徴マップを生成させた後、(ii)前記メインCNNに含まれている前記出力レイヤをもって、前記第1自律走行特徴マップに少なくとも一つの出力演算を適用して前記第1予測自律走行ソース情報を生成させることによって、前記メインCNN演算を前記第1学習イメージに適用することを特徴とする請求項14に記載の装置。 - 少なくとも一つの仮想イメージ及び少なくとも一つのスタイル変換リアルイメージ(前記スタイル変換リアルイメージは、少なくとも一つのリアルイメージを予め設定されたバーチャル世界のイメージスタイルに変換したものである)を使用して、自律走行を遂行するために使用されるメインCNN(Convolutional Neural Network)をテストする装置において、
各インストラクションを格納する少なくとも一つのメモリと、
前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、(I)(1)予め設定されたバーチャル世界における仮想車両のバーチャル走行に対応する一つ以上の第1学習イメージの少なくとも一部を取得し、(2)(2−1)(i)前記メインCNNに含まれている、メインコンボリューションレイヤ及び出力レイヤをもって、前記第1学習イメージを参照して一つ以上の第1予測自律走行ソース情報を生成させ、(ii)前記メインCNNに含まれているメインロスレイヤをもって、(ii−1)前記第1予測自律走行ソース情報及びこれに対応する第1原本正解(Ground−Truth)自律走行ソース情報を参照して、一つ以上の第1メインロスを生成させた後、(ii−2)前記第1メインロスを使用してバックプロパゲーションを遂行することによって、前記メインCNNのパラメータの少なくとも一部を学習させる第1学習プロセス;及び(2−2)(i)支援CNNをもって、前記第1学習イメージに対応する少なくとも一つの第1ベースイメージ及びリアル世界における実際車両のリアル走行に対応する一つ以上の第2ベースイメージを参照して、一つ以上の第2学習イメージを生成させ、(ii)前記メインCNNに含まれている、前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記第2学習イメージを参照して、一つ以上の第2予測自律走行ソース情報を生成させた後、(iii)前記メインCNNに含まれている前記メインロスレイヤをもって、(iii−1)前記第2予測自律走行ソース情報及びこれに対応する第2原本正解自律走行ソース情報を参照して、一つ以上の第2メインロスを生成させた後、(iii−2)前記第2メインロスを使用してバックプロパゲーションを遂行することによって、前記メインCNNのパラメータの少なくとも一部を学習させる第2学習プロセスを遂行して学習が完了した状態で、テスト装置が、前記支援CNNをもって、(i)テスト用バーチャル世界におけるテスト用仮想車両のテスト用バーチャル走行に対応する少なくとも一つのテスト用第1ベースイメージ、及び(ii)前記テスト装置と連動して作動するテスト用リアル車両に搭載された少なくとも一つのテスト用カメラを介して取得された少なくとも一つのテスト用第2ベースイメージを参照してテストイメージを生成させるプロセス;及び(II)前記メインCNNに含まれている前記メインコンボリューションレイヤ及び前記出力レイヤをもって、前記テストイメージを参照してテスト用予測自律走行ソース情報を生成させるプロセス;
を遂行することを特徴とする装置。 - 前記プロセッサが、(III)前記テスト用予測自律走行ソース情報を自律走行アプリケーションモジュールに伝達して前記テスト用リアル車両の自律走行を支援するプロセス;
をさらに遂行することを特徴とする請求項22に記載の装置。 - 前記(I)プロセスは、
(I−1)前記支援CNNに含まれている支援コンボリューションレイヤをもって、(i)前記テスト用第1ベースイメージに少なくとも一つの支援CNN演算を適用することによって一つ以上のテスト用特定スタイル特徴マップを生成するプロセス、及び(ii)前記テスト用第2ベースイメージのうち特定の第2ベースイメージに前記支援CNN演算を適用することによって一つ以上のテスト用特定コンテンツ特徴マップを生成するプロセス;
(I−2)(i)前記支援CNNに含まれている前記支援コンボリューションレイヤをもって、テスト用ノイズイメージに前記支援CNN演算を適用することによって一つ以上のテスト用第1アップデート特徴マップを生成させた後、(ii)前記支援CNNに含まれている支援ロスレイヤをもって、(ii−1)前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第1アップデート特徴マップを使用して、少なくとも一つのテスト用第1アップデートロスを生成させ、(ii−2)前記テスト用第1アップデートロスを通じて前記ノイズイメージをアップデートすることによって少なくとも一つのテスト用第1アップデートイメージを生成させるプロセス;
(I−3)(i)前記支援CNNに含まれている前記支援コンボリューションレイヤをもって、テスト用第(K−1)アップデートイメージに前記支援CNN演算を適用することによって一つ以上のテスト用第Kアップデート特徴マップを生成させた後、(ii)前記支援CNNに含まれている前記支援ロスレイヤをもって、(ii−1)前記テスト用特定スタイル特徴マップ及び前記テスト用特定コンテンツ特徴マップとともに前記テスト用第Kアップデート特徴マップを使用して、少なくとも一つのテスト用第Kアップデートロスを生成させ、(ii−2)前記テスト用第Kアップデートロスを通じて前記テスト用第(K−1)イメージをアップデートすることによって少なくとも一つのテスト用第Kアップデートイメージを生成させるプロセス;
(I−4)前記(I−2)プロセス及び前記(I−3)プロセスを遂行して生成されたテスト用第Nアップデートイメージを前記テストイメージとして出力するプロセス;
を含み、ここでKは1ないしNの整数であることを特徴とする請求項22に記載の装置。 - 前記(II)プロセス以後に、
前記プロセッサが、(IV)前記テスト用第2ベースイメージが取得された際に第Tタイミング以後である第T+1タイミングに前記テスト用カメラを介してテスト用追加第2ベースイメージが取得されると、前記支援CNNをもって、(i)前記テスト用第1ベースイメージ及び前記テスト用追加第2ベースイメージを参照して追加テストイメージを生成した後、(ii)前記追加テストイメージを使用してテスト用追加予測自律走行ソース情報を生成させるプロセスをさらに遂行することを特徴とする請求項22に記載の装置。 - 前記(II)プロセスは、
前記プロセッサが、(i)前記メインCNNの前記メインコンボリューションレイヤに含まれている一つ以上のメインコンボリューションニューロンをもって、(i−1)それ自体に入力された少なくとも一つの値にそれ自体のパラメータを利用して少なくとも一つのメインコンボリューション演算を適用した後、(i−2)それ自体の次の自律走行コンボリューションニューロンに伝達するプロセスを繰り返させることによってテスト用自律走行特徴マップを生成させた後、(ii)前記メインCNNの前記出力レイヤをもって、前記テスト用自律走行特徴マップに少なくとも一つの出力演算を適用させて前記テスト用予測自律走行ソース情報を生成させることによって前記メインCNN演算を前記テストイメージに適用させることを特徴とする請求項22に記載の装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962798837P | 2019-01-30 | 2019-01-30 | |
US62/798,837 | 2019-01-30 | ||
US16/731,080 US10635938B1 (en) | 2019-01-30 | 2019-12-31 | Learning method and learning device for allowing CNN having trained in virtual world to be used in real world by runtime input transformation using photo style transformation, and testing method and testing device using the same |
US16/731,080 | 2019-12-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020123344A JP2020123344A (ja) | 2020-08-13 |
JP6856957B2 true JP6856957B2 (ja) | 2021-04-14 |
Family
ID=70332405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020008618A Active JP6856957B2 (ja) | 2019-01-30 | 2020-01-22 | 写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習されたcnnを許容するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10635938B1 (ja) |
EP (1) | EP3690718B1 (ja) |
JP (1) | JP6856957B2 (ja) |
KR (1) | KR102375278B1 (ja) |
CN (1) | CN111507175B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102483738B1 (ko) * | 2021-01-11 | 2022-12-30 | 연세대학교 산학협력단 | 제로 스타일 로스를 이용한 도메인 적응 장치 및 방법 |
US11250298B1 (en) * | 2021-03-26 | 2022-02-15 | Stradavision, Inc. | Methods for training and testing perception network by using images obtained from multiple imaging devices having diverse specifications and learning device and testing device using the same |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5013773B2 (ja) * | 2006-08-18 | 2012-08-29 | パナソニック株式会社 | 車載画像処理装置及びその視点変換情報生成方法 |
KR101543159B1 (ko) * | 2014-05-02 | 2015-08-10 | 현대자동차주식회사 | 카메라를 이용한 영상 조정 시스템 및 방법 |
WO2017004803A1 (en) * | 2015-07-08 | 2017-01-12 | Xiaoou Tang | An apparatus and a method for semantic image labeling |
JP2017162438A (ja) * | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 危険予測方法 |
CN109690578B (zh) * | 2016-10-05 | 2024-01-02 | 英特尔公司 | 自主机器的通用输入/输出数据捕获和神经高速缓存系统 |
KR102387570B1 (ko) * | 2016-12-16 | 2022-04-18 | 삼성전자주식회사 | 표정 생성 방법, 표정 생성 장치 및 표정 생성을 위한 학습 방법 |
KR20180094725A (ko) * | 2017-02-16 | 2018-08-24 | 삼성전자주식회사 | 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법 |
US10678846B2 (en) | 2017-03-10 | 2020-06-09 | Xerox Corporation | Instance-level image retrieval with a region proposal network |
US10474908B2 (en) * | 2017-07-06 | 2019-11-12 | GM Global Technology Operations LLC | Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation |
US10345822B1 (en) * | 2018-01-26 | 2019-07-09 | Ford Global Technologies, Llc | Cognitive mapping for vehicles |
US10984286B2 (en) * | 2018-02-02 | 2021-04-20 | Nvidia Corporation | Domain stylization using a neural network model |
TWI666595B (zh) * | 2018-02-26 | 2019-07-21 | 財團法人工業技術研究院 | 物件標示系統及方法 |
US20190332109A1 (en) * | 2018-04-27 | 2019-10-31 | GM Global Technology Operations LLC | Systems and methods for autonomous driving using neural network-based driver learning on tokenized sensor inputs |
US10908609B2 (en) * | 2018-04-30 | 2021-02-02 | Toyota Research Institute, Inc. | Apparatus and method for autonomous driving |
US10297070B1 (en) * | 2018-10-16 | 2019-05-21 | Inception Institute of Artificial Intelligence, Ltd | 3D scene synthesis techniques using neural network architectures |
-
2019
- 2019-12-31 US US16/731,080 patent/US10635938B1/en active Active
-
2020
- 2020-01-13 KR KR1020200004513A patent/KR102375278B1/ko active IP Right Grant
- 2020-01-20 EP EP20152585.4A patent/EP3690718B1/en active Active
- 2020-01-22 JP JP2020008618A patent/JP6856957B2/ja active Active
- 2020-01-23 CN CN202010077089.7A patent/CN111507175B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020123344A (ja) | 2020-08-13 |
KR102375278B1 (ko) | 2022-03-17 |
CN111507175A (zh) | 2020-08-07 |
CN111507175B (zh) | 2023-04-07 |
EP3690718A1 (en) | 2020-08-05 |
EP3690718B1 (en) | 2022-07-13 |
KR20200094653A (ko) | 2020-08-07 |
US10635938B1 (en) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6855090B2 (ja) | カメラから取得されたイメージと、それに対応するレーダまたはライダを通じて取得されたポイントクラウドマップをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 | |
JP6886202B2 (ja) | 仮想走行の環境で使用されるドメイン適応に適用され得るganを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 | |
JP6886201B2 (ja) | ドメイン適応に適用され得るサイクルganを利用してリアルイメージ上の物体検出に使用される、リアル世界におけるリアルイメージをバーチャル世界におけるバーチャルイメージに変換するランタイム入力変換のための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 | |
JP6855082B2 (ja) | 自律走行状況での障害物検出のためのcnn学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置 | |
JP6912835B2 (ja) | 自律走行自動車のレベル4を満たすために要求されるhdマップアップデートに利用される、少なくとも一つのアダプティブロス重み付け値マップを利用したアテンションドリブン・イメージセグメンテーション学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 | |
JP6856851B2 (ja) | イメージエンコーディングのための方法及び装置そしてこれを利用したテスト方法及びテスト装置 | |
JP6957050B2 (ja) | モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なroiをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置{learning method and learning device for pooling roi by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same} | |
JP6865364B2 (ja) | エッジロスを利用して歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントを含むイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置 | |
JP6978104B2 (ja) | Ganを用いて仮想世界における仮想データから取得したトレーニングデータを生成して、自律走行用ニューラルネットワークの学習プロセスに必要なアノテーションコストを削減する学習方法や学習装置、それを利用したテスト方法やテスト装置 | |
JP7092383B2 (ja) | 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置 | |
JP6850037B2 (ja) | 自律走行状況で、障害物検出のためのcnn学習用イメージデータセットの生成方法及びコンピューティング装置 | |
JP6849888B2 (ja) | 周辺車両のイメージを利用してベース車両のイメージをオートラベリングするオートラベリング装置を学習させる学習方法及び学習装置、そして、これを利用したテスティング方法及びテスティング装置 | |
JP6857369B2 (ja) | Cnnを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置 | |
JP6856957B2 (ja) | 写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習されたcnnを許容するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置 | |
JP6892157B2 (ja) | V2x情報融合技術によって取得された、各物体に対する深さ予測情報及び各物体に対するクラス情報を利用して3d空間を再構築することによりhdマップをアップデートする学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 | |
JP6858382B2 (ja) | ハードウェア最適化に使用される1xHコンボリューションを利用したCNN基盤の物体検出器を学習する方法及び学習装置、それを利用したテスト方法及びテスト装置 | |
KR20200092845A (ko) | 인스턴스 세그멘테이션을 이용한 객체의 자세에 따라 모드를 전환할 수 있는 cnn 기반의 수도-3d 바운딩 박스를 검출하는 방법 및 이를 이용한 장치 | |
JP6857368B2 (ja) | Cnn学習方法及び学習装置、これを利用したテスト方法及びテスト装置 | |
JP6856906B2 (ja) | 自律走行車両レベル4を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置 | |
EP4064126B1 (en) | Methods for training and testing perception network by using images obtained from multiple imaging devices having diverse specifications and learning device and testing device using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210312 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6856957 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |