JP6916548B2 - 自律走行自動車のレベル4を満たすために必要なhdマップとのコラボレーションを支援するエンベディングロス及びソフトマックスロスを利用して少なくとも一つの車線を有するイメージをセグメンテーションする学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置 - Google Patents
自律走行自動車のレベル4を満たすために必要なhdマップとのコラボレーションを支援するエンベディングロス及びソフトマックスロスを利用して少なくとも一つの車線を有するイメージをセグメンテーションする学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置 Download PDFInfo
- Publication number
- JP6916548B2 JP6916548B2 JP2020001763A JP2020001763A JP6916548B2 JP 6916548 B2 JP6916548 B2 JP 6916548B2 JP 2020001763 A JP2020001763 A JP 2020001763A JP 2020001763 A JP2020001763 A JP 2020001763A JP 6916548 B2 JP6916548 B2 JP 6916548B2
- Authority
- JP
- Japan
- Prior art keywords
- softmax
- learning
- scores
- segmentation
- once
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims description 50
- 238000000034 method Methods 0.000 title claims description 33
- 238000010998 test method Methods 0.000 title claims description 4
- 230000011218 segmentation Effects 0.000 claims description 86
- 238000013527 convolutional neural network Methods 0.000 claims description 84
- 239000006185 dispersion Substances 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Automation & Control Theory (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
Claims (8)
- 少なくとも一つの車線を有する入力イメージをセグメンテーションする学習方法において、
(a)前記入力イメージが取得されると、学習装置が、CNN(Convolutional Neural Network)モジュールをもって、前記入力イメージに対してコンボリューション演算を少なくとも一回適用させて特徴マップを生成し、前記特徴マップに対してデコンボリューション演算を少なくとも一回適用させて前記入力イメージ上のそれぞれのピクセルに対するそれぞれのセグメンテーションスコア(Segmentation Score)を生成させる段階;
(b)前記学習装置が、前記CNNモジュールをもって、前記それぞれのセグメンテーションスコアに対して、ソフトマックス演算(Softmax Operation)を少なくとも一回適用させてそれぞれのソフトマックススコアを生成させる段階;
(c)前記学習装置が、前記CNNモジュールをもって、(I)(i)前記ソフトマックススコアそれぞれに対して多項ロジスティックロス演算(Multinomial Logistic Loss Operation)を少なくとも一回適用させてそれぞれのソフトマックスロスを生成するようにし、(ii)前記ソフトマックススコアそれぞれに対してピクセルエンベディング演算(Pixel Embedding Operation)を少なくとも一回適用させて、前記車線それぞれの前記セグメンテーションスコアのそれぞれの平均のうち異なる車線間の平均の差は大きくなるようにし、前記車線それぞれの前記セグメンテーションスコアの分散のうちそれぞれの同一車線内部の分散は小さくなるように前記CNNモジュールの学習を誘導するそれぞれのエンベディングロスを生成した後、(II)それぞれの前記ソフトマックスロス及びそれぞれの前記エンベディングロスを利用したバックプロパゲーションを通じて、前記CNNモジュールの少なくとも一つのパラメータを学習させる段階;
を含むことを特徴とする方法。 -
前記入力イメージが前記車線及び少なくとも一つの背景部分を有する複数個のクラスタを含むとすると、NCは前記入力イメージ上の前記車線及び前記背景部分を含む前記クラスタの個数、NCcはそれぞれの前記クラスタ内のピクセルの個数、μcはそれぞれの前記クラスタに含まれているピクセルそれぞれに対応するソフトマックススコアのそれぞれの平均、
- 少なくとも一つの車線を有するテストイメージをセグメンテーションするテスト方法において、
(a)学習装置が、(1)CNN(Convolutional Neural Network)モジュールをもって、トレーニングイメージに対してコンボリューション演算を少なくとも一回適用させて学習用特徴マップを生成した後、前記学習用特徴マップに対してデコンボリューション演算を少なくとも一回適用させて前記トレーニングイメージ上のそれぞれのピクセルに対する学習用セグメンテーションスコア(Segmentation Score)それぞれを生成させ;(2)前記CNNモジュールをもって、前記学習用セグメンテーションスコアそれぞれに対してソフトマックス演算(Softmax Operation)を少なくとも一回適用させて学習用ソフトマックススコアそれぞれを生成するようにし;(3)前記CNNモジュールをもって、(I)(i)前記学習用ソフトマックススコアそれぞれに対して多項ロジスティックロス演算(Multinomial Logistic Loss Operation)を少なくとも一回適用させてソフトマックスロスそれぞれを生成させ、(ii)前記学習用ソフトマックススコアそれぞれに対してピクセルエンベディング演算(Pixel Embedding Operation)を少なくとも一回適用させて、前記車線それぞれの前記学習用セグメンテーションスコアのそれぞれの平均のうち異なる車線間の平均の差は大きくなるようにし、前記車線それぞれの前記学習用セグメンテーションスコアの分散のうちそれぞれの同一車線内部の分散は小さくなるように前記CNNモジュールの学習を誘導するそれぞれのエンベディングロスを生成した後、(II)それぞれの前記ソフトマックスロス及びそれぞれの前記エンベディングロスを利用したバックプロパゲーションを通じて、前記CNNモジュールの少なくとも一つのパラメータを学習させた状態で、前記テストイメージが取得されると、テスト装置が、前記CNNモジュールをもって前記テストイメージに対してコンボリューション演算を少なくとも一回適用させてテスト用特徴マップを生成した後、前記テスト用特徴マップに対してデコンボリューション演算を適用させて前記テストイメージ上のそれぞれのピクセルに対するテスト用セグメンテーションスコアそれぞれを生成させる段階;及び
(b)前記テスト装置が、前記CNNモジュールをもって、前記テスト用セグメンテーションスコアそれぞれに対してソフトマックス演算を適用させてテスト用ソフトマックススコアそれぞれを生成させる段階;
を含むことを特徴とする方法。 - 少なくとも一つの車線を有する入力イメージをセグメンテーションする学習装置において、
インストラクションを格納する少なくとも一つのメモリと、
(I)CNN(Convolutional Neural Network)モジュールをもって、前記入力イメージに対してコンボリューション演算を少なくとも一回適用させて特徴マップを生成し、前記特徴マップに対してデコンボリューション演算を少なくとも一回適用させて前記入力イメージ上のそれぞれのピクセルに対するそれぞれのセグメンテーションスコア(Segmentation Score)を生成させるプロセス、(II)前記CNNモジュールをもって、前記それぞれのセグメンテーションスコアに対してソフトマックス演算(Softmax Operation)を少なくとも一回適用させてそれぞれのソフトマックススコアを生成させるプロセス、(III)前記CNNモジュールをもって、(1)(i)前記ソフトマックススコアそれぞれに対して多項ロジスティックロス演算(Multinomial Logistic Loss Operation)を少なくとも一回適用させてそれぞれのソフトマックスロスを生成させ、(ii)前記ソフトマックススコアそれぞれに対してピクセルエンベディング演算(Pixel Embedding Operation)を少なくとも一回適用させて、前記車線それぞれの前記セグメンテーションスコアのそれぞれの平均のうち異なる車線間の平均の差は大きくなるようにし、前記車線それぞれの前記セグメンテーションスコアの分散のうちそれぞれの同一車線内部の分散は小さくなるように前記CNNモジュールの学習を誘導するそれぞれのエンベディングロスを生成した後、(2)それぞれの前記ソフトマックスロス及びそれぞれの前記エンベディングロスを利用したバックプロパゲーションを通じて、前記CNNモジュールの少なくとも一つのパラメータを学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする学習装置。 -
前記入力イメージが前記車線及び少なくとも一つの背景部分を有する複数個のクラスタを含むとすると、NCは前記入力イメージ上の前記車線及び前記背景部分を含む前記クラスタの個数、NCcはそれぞれの前記クラスタ内のピクセルの個数、μcはそれぞれの前記クラスタに含まれたピクセルそれぞれに対応するソフトマックススコアのそれぞれの平均、
- 少なくとも一つの車線を有するテストイメージをセグメンテーションするテスト装置において、
インストラクションを格納する少なくとも一つのメモリと、
学習装置が、(1)CNN(Convolutional Neural Network)モジュールをもって、トレーニングイメージに対してコンボリューション演算を少なくとも一回適用させて学習用特徴マップを生成した後、前記学習用特徴マップに対してデコンボリューション演算を少なくとも一回適用させて前記トレーニングイメージ上のそれぞれのピクセルに対する学習用セグメンテーションスコア(Segmentation Score)それぞれを生成させ、(2)前記CNNモジュールをもって、前記学習用セグメンテーションスコアそれぞれに対してソフトマックス演算(Softmax Operation)を少なくとも一回適用させて学習用ソフトマックススコアそれぞれを生成させ、(3)前記CNNモジュールをもって、(3−1)(i)前記学習用ソフトマックススコアそれぞれに対して多項ロジスティックロス演算(Multinomial Logistic Loss Operation)を少なくとも一回適用させてソフトマックスロスそれぞれを生成させ、(ii)前記学習用ソフトマックススコアそれぞれに対してピクセルエンベディング演算(Pixel Embedding Operation)を少なくとも一回適用させて、前記車線それぞれの前記学習用セグメンテーションスコアのそれぞれの平均のうち異なる車線間の平均の差は大きくなるようにし、前記車線それぞれの前記学習用セグメンテーションスコアの分散のうちそれぞれの同一車線内部の分散は小さくなるように前記CNNモジュールの学習を誘導するそれぞれのエンベディングロスを生成した後、(3−2)それぞれの前記ソフトマックスロス及びそれぞれの前記エンベディングロスを利用したバックプロパゲーションを通じて、前記CNNモジュールの少なくとも一つのパラメータを学習させた状態で、(I)前記CNNモジュールをもって、前記テストイメージに対してコンボリューション演算を適用させてテスト用特徴マップを生成した後、前記テスト用特徴マップに対してデコンボリューション演算を適用させて前記テストイメージ上のそれぞれのピクセルに対するテスト用セグメンテーションスコアそれぞれを生成させるプロセス、及び(II)前記CNNモジュールをもって、前記テスト用セグメンテーションスコアそれぞれに対してソフトマックス演算を適用させてテスト用ソフトマックススコアそれぞれを生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とするテスト装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/255,339 | 2019-01-23 | ||
US16/255,339 US10311578B1 (en) | 2019-01-23 | 2019-01-23 | Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020119531A JP2020119531A (ja) | 2020-08-06 |
JP6916548B2 true JP6916548B2 (ja) | 2021-08-11 |
Family
ID=66673298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020001763A Active JP6916548B2 (ja) | 2019-01-23 | 2020-01-08 | 自律走行自動車のレベル4を満たすために必要なhdマップとのコラボレーションを支援するエンベディングロス及びソフトマックスロスを利用して少なくとも一つの車線を有するイメージをセグメンテーションする学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10311578B1 (ja) |
EP (1) | EP3686842B1 (ja) |
JP (1) | JP6916548B2 (ja) |
KR (1) | KR102252155B1 (ja) |
CN (1) | CN111476811B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10890916B2 (en) * | 2019-01-30 | 2021-01-12 | StradVision, Inc. | Location-specific algorithm selection for optimized autonomous driving |
US10776673B2 (en) * | 2019-01-31 | 2020-09-15 | StradVision, Inc. | Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same |
CN112241728B (zh) * | 2020-10-30 | 2023-04-07 | 中国科学院合肥物质科学研究院 | 采用注意力机制学习上下文信息的实时车道线检测方法及系统 |
CN112329908A (zh) * | 2021-01-04 | 2021-02-05 | 中国人民解放军国防科技大学 | 一种用于神经网络模型测试的图像生成方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11074495B2 (en) * | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
US9558268B2 (en) * | 2014-08-20 | 2017-01-31 | Mitsubishi Electric Research Laboratories, Inc. | Method for semantically labeling an image of a scene using recursive context propagation |
US10387773B2 (en) * | 2014-10-27 | 2019-08-20 | Ebay Inc. | Hierarchical deep convolutional neural network for image classification |
CN104408743A (zh) * | 2014-11-05 | 2015-03-11 | 百度在线网络技术(北京)有限公司 | 图像分割方法和装置 |
KR102623680B1 (ko) * | 2015-02-10 | 2024-01-12 | 모빌아이 비젼 테크놀로지스 엘티디. | 자율 주행을 위한 약도 |
JP6663926B2 (ja) * | 2015-05-13 | 2020-03-13 | グーグル エルエルシー | DeepStereo:実世界の画像から新たなビューを予測するための学習 |
US9633282B2 (en) * | 2015-07-30 | 2017-04-25 | Xerox Corporation | Cross-trained convolutional neural networks using multimodal images |
US9710714B2 (en) * | 2015-08-03 | 2017-07-18 | Nokia Technologies Oy | Fusion of RGB images and LiDAR data for lane classification |
US9767381B2 (en) * | 2015-09-22 | 2017-09-19 | Xerox Corporation | Similarity-based detection of prominent objects using deep CNN pooling layers as features |
US9965705B2 (en) * | 2015-11-03 | 2018-05-08 | Baidu Usa Llc | Systems and methods for attention-based configurable convolutional neural networks (ABC-CNN) for visual question answering |
US9773196B2 (en) * | 2016-01-25 | 2017-09-26 | Adobe Systems Incorporated | Utilizing deep learning for automatic digital image segmentation and stylization |
US9972092B2 (en) | 2016-03-31 | 2018-05-15 | Adobe Systems Incorporated | Utilizing deep learning for boundary-aware image segmentation |
US9830529B2 (en) * | 2016-04-26 | 2017-11-28 | Xerox Corporation | End-to-end saliency mapping via probability distribution prediction |
US9947102B2 (en) * | 2016-08-26 | 2018-04-17 | Elekta, Inc. | Image segmentation using neural network method |
US10345449B2 (en) * | 2016-12-02 | 2019-07-09 | Verizon Connect Ireland Limited | Vehicle classification using a recurrent neural network (RNN) |
US9953236B1 (en) * | 2017-03-10 | 2018-04-24 | TuSimple | System and method for semantic segmentation using dense upsampling convolution (DUC) |
GB201709672D0 (en) * | 2017-06-16 | 2017-08-02 | Ucl Business Plc | A system and computer-implemented method for segmenting an image |
US9947103B1 (en) * | 2017-10-03 | 2018-04-17 | StradVision, Inc. | Learning method and learning device for improving image segmentation and testing method and testing device using the same |
US10095977B1 (en) * | 2017-10-04 | 2018-10-09 | StradVision, Inc. | Learning method and learning device for improving image segmentation and testing method and testing device using the same |
US10089743B1 (en) * | 2017-10-05 | 2018-10-02 | StradVision, Inc. | Method for segmenting an image and device using the same |
CN108470320B (zh) * | 2018-02-24 | 2022-05-20 | 中山大学 | 一种基于cnn的图像风格化方法及系统 |
US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
GB201809604D0 (en) * | 2018-06-12 | 2018-07-25 | Tom Tom Global Content B V | Generative adversarial networks for image segmentation |
CN109145939B (zh) * | 2018-07-02 | 2021-11-02 | 南京师范大学 | 一种小目标敏感的双通道卷积神经网络语义分割方法 |
-
2019
- 2019-01-23 US US16/255,339 patent/US10311578B1/en active Active
- 2019-09-27 KR KR1020190119515A patent/KR102252155B1/ko active IP Right Grant
- 2019-11-11 EP EP19208314.5A patent/EP3686842B1/en active Active
- 2019-12-16 CN CN201911292541.5A patent/CN111476811B/zh active Active
-
2020
- 2020-01-08 JP JP2020001763A patent/JP6916548B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
KR20200091781A (ko) | 2020-07-31 |
KR102252155B1 (ko) | 2021-05-17 |
CN111476811A (zh) | 2020-07-31 |
JP2020119531A (ja) | 2020-08-06 |
US10311578B1 (en) | 2019-06-04 |
CN111476811B (zh) | 2023-08-29 |
EP3686842B1 (en) | 2022-07-13 |
EP3686842A1 (en) | 2020-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6916548B2 (ja) | 自律走行自動車のレベル4を満たすために必要なhdマップとのコラボレーションを支援するエンベディングロス及びソフトマックスロスを利用して少なくとも一つの車線を有するイメージをセグメンテーションする学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置 | |
JP6847464B2 (ja) | 車線候補ピクセルを分類して車線を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting lane through classifying lane candidate pixels and test method, test device using the same} | |
JP6912835B2 (ja) | 自律走行自動車のレベル4を満たすために要求されるhdマップアップデートに利用される、少なくとも一つのアダプティブロス重み付け値マップを利用したアテンションドリブン・イメージセグメンテーション学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 | |
KR102337376B1 (ko) | 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
KR102373456B1 (ko) | 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
JP6849932B2 (ja) | 高精密度のイメージを分析するためのディープラーニングネットワークを使用するためにトレーニングイメージをオートラベリングするオートラベルリング装置のハイパーパラメータを最適化する方法、及びこれを利用した最適化装置 | |
JP6855091B2 (ja) | ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置 | |
JP6810415B2 (ja) | 自律走行自動車のレベル4を満たすために領域のクラスに応じてモードを切り換えてグリッドセルごとに重み付けコンボリューションフィルタを利用した監視用イメージセグメンテーション方法及び装置、並びにそれを利用したテスト方法及びテスト装置 | |
JP6863619B2 (ja) | コンボリューションニューラルネットワークから複数の出力のアンサンブルを利用して統合された特徴マップを提供するための方法及び装置{method and device for providing integrated feature map using ensemble of multiple outputs from convolutional neural network} | |
JP6869559B2 (ja) | 障害物を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting obstacles and testing method, testing device using the same} | |
JP6856853B2 (ja) | 極限状況においてフォールトトレランス及びフラクチュエーションロバスト性を向上させるために、ジッタリングが起きたイメージを安定化させるプロセスで生成されたワーピングされたイメージに発生した歪曲を、ganを利用して減らすための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 | |
KR20200047307A (ko) | 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
JP6957050B2 (ja) | モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なroiをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置{learning method and learning device for pooling roi by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same} | |
JP2020038666A (ja) | 自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置 | |
CN111476362A (zh) | 确定fl值的方法及装置 | |
JP6979707B2 (ja) | リグレッションロス(Regression loss)を利用した学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置{LEARNING METHOD, LEARNING DEVICE USING REGRESSION LOSS AND TESTING METHOD, TESTING DEVICE USING THE SAME} | |
CN116416212B (zh) | 路面破损检测神经网络训练方法及路面破损检测神经网络 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210709 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6916548 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |