JP6895693B2 - レーンマスク(Lane Mask)を使用して後処理なしに入力イメージに含まれた一つ以上の車線を検出する方法及び装置、並びにそれを利用したテスト方法及びテスト装置{METHOD AND DEVICE FOR LANE DETECTION WITHOUT POST−PROCESSING BY USING LANE MASK, AND TESTING METHOD, AND TESTING DEVICE USING THE SAME} - Google Patents
レーンマスク(Lane Mask)を使用して後処理なしに入力イメージに含まれた一つ以上の車線を検出する方法及び装置、並びにそれを利用したテスト方法及びテスト装置{METHOD AND DEVICE FOR LANE DETECTION WITHOUT POST−PROCESSING BY USING LANE MASK, AND TESTING METHOD, AND TESTING DEVICE USING THE SAME} Download PDFInfo
- Publication number
- JP6895693B2 JP6895693B2 JP2020000984A JP2020000984A JP6895693B2 JP 6895693 B2 JP6895693 B2 JP 6895693B2 JP 2020000984 A JP2020000984 A JP 2020000984A JP 2020000984 A JP2020000984 A JP 2020000984A JP 6895693 B2 JP6895693 B2 JP 6895693B2
- Authority
- JP
- Japan
- Prior art keywords
- feature map
- lane
- test
- cnn
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims description 203
- 238000000034 method Methods 0.000 title claims description 106
- 238000010998 test method Methods 0.000 title claims description 11
- 238000012805 post-processing Methods 0.000 title description 6
- 238000012549 training Methods 0.000 claims description 146
- 230000011218 segmentation Effects 0.000 claims description 68
- 230000000873 masking effect Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 5
- 230000001902 propagating effect Effects 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 105
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013100 final test Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Description
一方、イメージセグメンテーションは、入力によってイメージ(トレーニングイメージ又はテストイメージ)を得て、出力によってラベル(label)イメージを作り出す方法である。最近、ディープラーニング(Deep learning)技術が脚光を浴びるようになるに伴い、セグメンテーションにもディープラーニングを多く使用する傾向にある。
前記数式によって演算され、前記数式でsは前記入力イメージに含まれた前記ピクセルの個数、iは1以上s以下の整数、liはi番目のピクセルがこれに対応する第1原本正解上でどのクラスタに属するのかを示すワンホットエンコードベクトル(one−hot−encoding vector)であり、P(i)は、前記i番目のピクセルに対応するソフトマックススコアマップに含まれた値に対応するベクトルを意味することを特徴とする学習方法が提供される。
前記数式によって演算され、前記数式でsは前記入力イメージに含まれた前記ピクセルの個数、iは1以上s以下の整数、liはi番目のピクセルがこれに対応する第1原本正解上でどのクラスタに属するのかを示すワンホットエンコードベクトル(one−hot−encoding vector)であり、P(i)は、前記i番目のピクセルに対応するソフトマックススコアマップに含まれた値に対応するベクトルを意味することを特徴とする学習装置が提供される。
第2CNN300は、多項式ロジスティックロスレイヤ350をもって、前記式の演算をソフトマックススコアマップに適用してソフトマックスロス値を生成することができる。ここで、sは前記入力イメージに含まれた前記ピクセルの個数、iは1以上s以下の整数、liはi番目のピクセルがこれに対応する第1原本正解上でどのクラスタに属するのかを示すワンホットエンコードベクトル(one−hot−encoding vector)であり、P(i)は前記i番目のピクセルに対応するソフトマックススコアマップに含まれた値に対応するベクトルを意味する。
レーン特徴マップが第2FCレイヤ340に伝達された後、第2FCレイヤ340はそれぞれの第1成分及びそれぞれの第2成分の関係を示す多項式であるレーンパラメータを生成する。前記第1成分及び第2成分は、各車線候補それぞれの中央に位置したピクセルの各座標に含まれたX座標(第1成分)及びY座標(第2成分)である。
Claims (24)
- レーンマスク(Lane Mask)を使用して入力イメージに含まれた一つ以上の車線を検出する方法において、
(a)(i)第1CNNが前記入力イメージに少なくとも一つ以上の第1コンボリューション演算を適用して最終特徴マップを生成し、(ii)前記最終特徴マップを使用してセグメンテーションスコアマップ(segmentation score map)及びエンベディッド特徴マップ(embedded feature map)を生成した状態で、学習装置が、第2CNNをもって、前記最終特徴マップと、前記セグメンテーションスコアマップと、前記エンベディッド特徴マップとを取得する段階;
(b)前記学習装置が、前記第2CNNのレーンマスキングレイヤをもって、(i)前記セグメンテーションスコアマップ及び前記エンベディッド特徴マップを参照して、前記入力イメージに含まれた前記車線に対応する一つ以上の車線候補を前記最終特徴マップ上で認識させ、(ii)前記車線候補に対応する一つ以上の領域に一つ以上の重み付け値を付与する前記レーンマスクを前記最終特徴マップ上に生成させ、(iii)前記最終特徴マップ及び前記レーンマスクを参照して、マスキング済み特徴マップ(masked feature map)を生成させる段階;
(c)前記学習装置が、前記第2CNNのコンボリューションレイヤをもって、前記マスキング済み特徴マップに少なくとも一つ以上の第2コンボリューション演算を適用してレーン特徴マップ(lane feature map)を生成させる段階;
(d)前記学習装置が、前記第2CNNの第1FCレイヤをもって、前記レーン特徴マップを参照してソフトマックススコアマップ(softmax score map)を生成させ、前記第2CNNの第2FCレイヤをもって、前記レーン特徴マップを参照して一つ以上のレーンパラメータを生成させる段階;
(e)前記学習装置が、(i)前記第2CNNの多項式ロジスティックロスレイヤをもって、前記ソフトマックススコアマップ及びこれに対応する第1原本正解を参照してソフトマックスロス値を生成させ、(ii)前記第2CNNのラインフィッティングロスレイヤをもって、前記レーンパラメータ及びこれに対応する第2原本正解を参照してラインフィッティングロス値を生成させ、(iii)前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第2CNNに含まれた前記第1FCレイヤ、前記第2FCレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習する段階;
を含むことを特徴とする学習方法。 - 前記(c)段階で、
前記学習装置が、前記第2CNNの前記コンボリューションレイヤをもって、前記マスキング済み特徴マップに前記第2コンボリューション演算を適用した後、前記マスキング済み特徴マップに少なくとも一つのグローバルプーリング演算をさらに適用して、前記レーン特徴マップを生成させることを特徴とする請求項1に記載の学習方法。 - 前記(b)段階で、
前記マスキング済み特徴マップは、(i)前記入力イメージに含まれた各ピクセルに対応する前記最終特徴マップ上に含まれたそれぞれの値、及び(ii)前記レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することにより、
前記車線候補に対応する前記マスキング済み特徴マップの値に一つ以上の特定の重み付け値が付与されたことを特徴とする請求項1に記載の学習方法。 - 前記(a)段階で、
前記第1CNNは、(i)前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値の平均のうちそれぞれの異なるクラス間の差(inter−class differences)を増加させる方式、又は(ii)前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値のそれぞれの同一クラス内部の分散(intra−class variances)を減少させる方式で、前記最終特徴マップの値を変換して前記エンベディッド特徴マップを生成した状態であることを特徴とする請求項1に記載の学習方法。 - 前記(b)段階で、
前記学習装置が、前記第2CNNの前記レーンマスキングレイヤをもって、(i)前記セグメンテーションスコアマップを参照して前記車線候補を検出するようにし、(ii)前記エンベディッド特徴マップを参照して、前記車線候補を分類することにより、前記車線候補を認識させることを特徴とする請求項1に記載の学習方法。 - 前記(b)段階で、
前記学習装置が、前記第2CNNの前記レーンマスキングレイヤをもって、前記車線候補の境界からの距離が第3閾値より小さいピクセルを含む前記領域に前記重み付け値を付与する前記レーンマスクを生成させることを特徴とする請求項1に記載の学習方法。 - 前記(d)段階で、
前記レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第1成分及び第2成分間の関係を示す多項式であることを特徴とする請求項1に記載の学習方法。 - 前記(e)段階で、
前記ラインフィッティングロス値は、(i)前記第1成分を前記多項式に入力して取得された前記第2成分のそれぞれの値と、(ii)前記第1成分に対応する前記第2原本正解のそれぞれの値とのそれぞれの差を参照して生成することを特徴とする請求項8に記載の学習方法。 - レーンマスク(Lane Mask)を使用して入力イメージに含まれた一つ以上の車線を検出するテスト方法において、
(a)第1CNNが前記入力イメージに少なくとも一つ以上の第1コンボリューション演算を適用してトレーニング用最終特徴マップを生成し、前記トレーニング用最終特徴マップを使用してトレーニング用セグメンテーションスコアマップ(segmentation score map)及びトレーニング用エンベディッド特徴マップ(embedded feature map)を生成した状態で、(1)学習装置が、第2CNNをもって、前記トレーニング用最終特徴マップと、前記トレーニング用セグメンテーションスコアマップと、前記トレーニング用エンベディッド特徴マップとを取得する段階と、(2)前記学習装置が、前記第2CNNのレーンマスキングレイヤをもって、(i)前記トレーニング用セグメンテーションスコアマップ及び前記トレーニング用エンベディッド特徴マップを参照して、トレーニングイメージに含まれた前記トレーニング用車線に対応する一つ以上のトレーニング用車線候補を前記トレーニング用最終特徴マップ上で認識させ、(ii)前記トレーニング用車線候補に対応する一つ以上のトレーニング用領域に一つ以上のトレーニング用重み付け値を付与する前記トレーニング用レーンマスクを前記トレーニング用最終特徴マップ上に生成させ、(iii)前記トレーニング用最終特徴マップ及び前記トレーニング用レーンマスクを参照して、マスキング済みトレーニング用特徴マップ(masked feature map)を生成させる段階と、(3)前記学習装置が、前記第2CNNのコンボリューションレイヤをもって、前記マスキング済みトレーニング用特徴マップに少なくとも一つ以上の第2コンボリューション演算を適用してトレーニング用レーン特徴マップ(lane feature map)を生成させる段階と、(4)前記学習装置が、前記第2CNNの第1FCレイヤをもって、前記トレーニング用レーン特徴マップを参照して、トレーニング用ソフトマックススコアマップ(softmax score map)を生成させ、前記第2CNNの第2FCレイヤをもって、前記トレーニング用レーン特徴マップを参照して、一つ以上のトレーニング用レーンパラメータを生成させる段階と、(5)前記学習装置が、(i)前記第2CNNの多項式ロジスティックロスレイヤをもって、前記トレーニング用ソフトマックススコアマップ及びこれに対応する第1原本正解を参照してソフトマックスロス値を生成させ、(ii)前記第2CNNのラインフィッティングロスレイヤをもって、前記トレーニング用レーンパラメータ及びこれに対応する第2原本正解を参照してラインフィッティングロス値を生成させ、(iii)前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第2CNNに含まれた前記第1FCレイヤ、前記第2FCレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習する段階と、を経て学習が完了した状態で、テスト装置が、前記第1CNNがテストイメージに少なくとも一つ以上の第1コンボリューション演算を適用してテスト用最終特徴マップを生成し、前記テスト用最終特徴マップを使用してテスト用セグメンテーションスコアマップ(segmentation score map)及びテスト用エンベディッド特徴マップ(embedded feature map)を生成した後、前記第2CNNをもって、前記テスト用最終特徴マップと、前記テスト用セグメンテーションスコアマップと、テスト用前記エンベディッド特徴マップとを取得する段階;
(b)前記テスト装置が、前記第2CNNのレーンマスキングレイヤをもって、(i)前記テスト用セグメンテーションスコアマップ及びテスト用前記エンベディッド特徴マップを参照して、前記テストイメージに含まれた前記テスト用車線に対応する一つ以上のテスト用車線候補を前記テスト用最終特徴マップ上で認識させ、(ii)前記テスト用車線候補に対応する一つ以上のテスト用領域に一つ以上のテスト用重み付け値を付与して、前記テスト用最終特徴マップに前記テスト用レーンマスクを生成させ、(iii)前記テスト用最終特徴マップ及び前記テスト用レーンマスクを参照して、マスキングされたテスト用特徴マップ(masked feature map)を生成させる段階;
(c)前記テスト装置が、前記第2CNNのコンボリューションレイヤをもって、前記マスキングされたテスト用特徴マップに少なくとも一つ以上の第2コンボリューション演算を適用してテスト用レーン特徴マップ(lane feature map)を生成させる段階;
(d)前記テスト装置が、前記第2CNNの第1FCレイヤをもって、前記テスト用レーン特徴マップを参照してテスト用ソフトマックススコアマップ(softmax score map)を生成させ、前記第2CNNの第2FCレイヤをもって、前記テスト用レーン特徴マップを参照して一つ以上のテスト用レーンパラメータを生成させる段階;
を含むことを特徴とするテスト方法。 - 前記(b)段階で、
前記マスキングされたテスト用特徴マップは、(i)前記入力イメージに含まれた各ピクセルに対応する前記テスト用最終特徴マップ上に含まれたそれぞれの値、及び(ii)前記テスト用レーンマスクに含まれた、これに対応する値を要素ごとに掛け合わせて生成することにより、
前記テスト用車線候補に対応する前記マスキングされたテスト用特徴マップの値に一つ以上のテスト用特定の重み付け値が付与されたことを特徴とする請求項10に記載のテスト方法。 - 前記(d)段階で、
前記テスト用レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第1成分及び第2成分間の関係を示す多項式であることを特徴とする請求項10に記載のテスト方法。 - レーンマスク(Lane Mask)を使用して入力イメージに含まれた一つ以上の車線を検出する学習装置において、
インストラクションを格納する少なくとも一つのメモリと、
(i)第1CNNが前記入力イメージに少なくとも一つ以上の第1コンボリューション演算を適用して最終特徴マップを生成し、(ii)前記最終特徴マップを使用してセグメンテーションスコアマップ(segmentation score map)及びエンベディッド特徴マップ(embedded feature map)を生成した後、第2CNNをもって、前記最終特徴マップと、前記セグメンテーションスコアマップと、前記エンベディッド特徴マップとを取得した状態で、(I)前記第2CNNのレーンマスキングレイヤをもって、(i)前記セグメンテーションスコアマップ及び前記エンベディッド特徴マップを参照して、前記入力イメージに含まれた前記車線に対応する一つ以上の車線候補を前記最終特徴マップ上で認識させ、(ii)前記車線候補に対応する一つ以上の領域に一つ以上の重み付け値を付与する前記レーンマスクを前記最終特徴マップ上に生成させ、(iii)前記最終特徴マップ及び前記レーンマスクを参照して、マスキング済み特徴マップ(masked feature map)を生成させるプロセス;(II)前記第2CNNのコンボリューションレイヤをもって、前記マスキング済み特徴マップに少なくとも一つ以上の第2コンボリューション演算を適用してレーン特徴マップ(lane feature map)を生成させるプロセス;(III)前記第2CNNの第1FCレイヤをもって、前記レーン特徴マップを参照してソフトマックススコアマップ(softmax score map)を生成させ、前記第2CNNの第2FCレイヤをもって、前記レーン特徴マップを参照して一つ以上のレーンパラメータを生成させるプロセス;(IV)(i)前記第2CNNの多項式ロジスティックロスレイヤをもって、前記ソフトマックススコアマップ及びこれに対応する第1原本正解を参照してソフトマックスロス値を生成させ、(ii)前記第2CNNのラインフィッティングロスレイヤをもって、前記レーンパラメータ及びこれに対応する第2原本正解を参照してラインフィッティングロス値を生成させ、(iii)前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第2CNNに含まれた前記第1FCレイヤ、前記第2FCレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習するプロセス;を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする学習装置。 - 前記(II)プロセスで、
前記プロセッサが、前記第2CNNの前記コンボリューションレイヤをもって、前記マスキング済み特徴マップに前記第2コンボリューション演算を適用した後、前記マスキング済み特徴マップに少なくとも一つのグローバルプーリング演算をさらに適用して、前記レーン特徴マップを生成させることを特徴とする請求項13に記載の学習装置。 - 前記(I)プロセスで、
前記マスキング済み特徴マップは、(i)前記入力イメージに含まれた各ピクセルに対応する前記最終特徴マップ上に含まれたそれぞれの値、及び(ii)前記レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することで、前記車線候補に対応する前記マスキング済み特徴マップの値に一つ以上の特定の重み付け値が付与されたことを特徴とする請求項13に記載の学習装置。 - 前記第1CNNは、(i)前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値の平均のうちそれぞれの異なるクラス間の差(inter−class differences)を増加させる方式、又は(ii)前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値のそれぞれの同一クラス内部の分散(intra−class variances)を減少させる方式で、前記最終特徴マップの値を変換して前記エンベディッド特徴マップを生成した状態であることを特徴とする請求項13に記載の学習装置。
- 前記(I)プロセスで、
前記第2CNNの前記レーンマスキングレイヤをもって、(i)前記セグメンテーションスコアマップを参照して前記車線候補を検出するようにし、(ii)前記エンベディッド特徴マップを参照して、前記車線候補を分類することにより、前記車線候補を認識させることを特徴とする請求項13に記載の学習装置。 - 前記(I)プロセスで、
前記プロセッサが、前記第2CNNの前記レーンマスキングレイヤをもって、前記車線候補の境界からの距離が第3閾値より小さいピクセルを含む前記領域に前記重み付け値を付与する前記レーンマスクを生成させることを特徴とする請求項13に記載の学習装置。 - 前記(III)プロセスで、
前記レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第1成分及び第2成分間の関係を示す多項式であることを特徴とする請求項13に記載の学習装置。 - 前記(IV)プロセスで、
前記ラインフィッティングロス値は、(i)前記第1成分を前記多項式に入力して取得された前記第2成分のそれぞれの値と、(ii)前記第1成分に対応する前記第2原本正解のそれぞれの値とのそれぞれの差を参照して生成することを特徴とする請求項20に記載の学習装置。 - レーンマスク(Lane Mask)を使用して入力イメージに含まれた一つ以上の車線を検出するテスト装置において、
各インストラクションを格納する少なくとも一つのメモリと、
第1CNNが前記入力イメージに少なくとも一つ以上の第1コンボリューション演算を適用してトレーニング用最終特徴マップを生成し、前記トレーニング用最終特徴マップを使用してトレーニング用セグメンテーションスコアマップ(segmentation score map)及びトレーニング用エンベディッド特徴マップ(embedded feature map)を生成した後、(1)学習装置が、第2CNNをもって、前記トレーニング用最終特徴マップと、前記トレーニング用セグメンテーションスコアマップと、前記トレーニング用エンベディッド特徴マップとを取得するプロセス;(2)前記学習装置が、前記第2CNNのレーンマスキングレイヤをもって、(i)前記トレーニング用セグメンテーションスコアマップ及び前記トレーニング用エンベディッド特徴マップを参照して、トレーニングイメージに含まれた前記トレーニング用車線に対応する一つ以上のトレーニング用車線候補を前記トレーニング用最終特徴マップ上で認識させ、(ii)前記トレーニング用車線候補に対応する一つ以上のトレーニング用領域に一つ以上のトレーニング用重み付け値を付与する前記トレーニング用レーンマスクを前記トレーニング用最終特徴マップ上に生成させ、(iii)前記トレーニング用最終特徴マップ及び前記トレーニング用レーンマスクを参照して、マスキング済みトレーニング用特徴マップ(masked feature map)を生成させるプロセス;(3)前記学習装置が、前記第2CNNのコンボリューションレイヤをもって、前記マスキング済みトレーニング用特徴マップに少なくとも一つ以上の第2コンボリューション演算を適用してトレーニング用レーン特徴マップ(lane feature map)を生成させるプロセス;(4)前記学習装置が、前記第2CNNの第1FCレイヤをもって、前記トレーニング用レーン特徴マップを参照して、トレーニング用ソフトマックススコアマップ(softmax score map)を生成させ、前記第2CNNの第2FCレイヤをもって、前記トレーニング用レーン特徴マップを参照して、一つ以上のトレーニング用レーンパラメータを生成させるプロセス;(5)前記学習装置が、(i)前記第2CNNの多項式ロジスティックロスレイヤをもって、前記トレーニング用ソフトマックススコアマップ及びこれに対応する第1原本正解を参照してソフトマックスロス値を生成させ、(ii)前記第2CNNのラインフィッティングロスレイヤをもって、前記トレーニング用レーンパラメータ及びこれに対応する第2原本正解を参照してラインフィッティングロス値を生成させ、(iii)前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第2CNNに含まれた前記第1FCレイヤ、前記第2FCレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習するプロセス;を経て学習が完了した状態で、第1CNNが前記入力イメージに少なくとも一つ以上の第1コンボリューション演算を適用してテスト用最終特徴マップを生成し、前記テスト用最終特徴マップを使用してテスト用セグメンテーションスコアマップ(segmentation score map)及びテスト用エンベディッド特徴マップ(embedded feature map)を生成し、第2CNNをもって、前記テスト用最終特徴マップと、前記テスト用セグメンテーションスコアマップと、前記テスト用エンベディッド特徴マップとを取得した後、(I)前記第2CNNのレーンマスキングレイヤをもって、(i)前記テスト用セグメンテーションスコアマップ及びテスト用前記エンベディッド特徴マップを参照して、テストイメージに含まれた前記テスト用車線に対応する一つ以上のテスト用車線候補を前記テスト用最終特徴マップ上で認識させ、(ii)前記テスト用車線候補に対応する一つ以上のテスト用領域に一つ以上のテスト用重み付け値を付与して、前記テスト用最終特徴マップに前記テスト用レーンマスクを生成させ、(iii)前記テスト用最終特徴マップ及び前記テスト用レーンマスクを参照して、マスキングされたテスト用特徴マップ(masked feature map)を生成させるプロセス;(II)前記第2CNNのコンボリューションレイヤをもって、前記マスキングされたテスト用特徴マップに少なくとも一つ以上の第2コンボリューション演算を適用してテスト用レーン特徴マップ(lane feature map)を生成させるプロセス;(III)前記第2CNNの第1FCレイヤをもって、前記テスト用レーン特徴マップを参照してテスト用ソフトマックススコアマップ(softmax score map)を生成させ、前記第2CNNの第2FCレイヤをもって、前記テスト用レーン特徴マップを参照して一つ以上のテスト用レーンパラメータを生成させるプロセス;を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とするテスト装置。
- 前記(I)プロセスで、
前記マスキングされたテスト用特徴マップは、(i)前記入力イメージに含まれた各ピクセルに対応する前記テスト用最終特徴マップ上に含まれたそれぞれの値、及び(ii)前記テスト用レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することにより、前記テスト用車線候補に対応する前記マスキングされたテスト用特徴マップの値に一つ以上のテスト用特定の重み付け値が付与されたことを特徴とする請求項22に記載のテスト装置。 - 前記(III)プロセスで、
前記テスト用レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第1成分及び第2成分間の関係を示す多項式であることを特徴とする請求項22に記載のテスト装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/254,572 US10346693B1 (en) | 2019-01-22 | 2019-01-22 | Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same |
US16/254572 | 2019-01-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020119527A JP2020119527A (ja) | 2020-08-06 |
JP6895693B2 true JP6895693B2 (ja) | 2021-06-30 |
Family
ID=67106438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020000984A Active JP6895693B2 (ja) | 2019-01-22 | 2020-01-07 | レーンマスク(Lane Mask)を使用して後処理なしに入力イメージに含まれた一つ以上の車線を検出する方法及び装置、並びにそれを利用したテスト方法及びテスト装置{METHOD AND DEVICE FOR LANE DETECTION WITHOUT POST−PROCESSING BY USING LANE MASK, AND TESTING METHOD, AND TESTING DEVICE USING THE SAME} |
Country Status (5)
Country | Link |
---|---|
US (1) | US10346693B1 (ja) |
EP (1) | EP3686779B1 (ja) |
JP (1) | JP6895693B2 (ja) |
KR (1) | KR102337376B1 (ja) |
CN (1) | CN111462130B (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10503998B2 (en) | 2016-11-07 | 2019-12-10 | Gracenote, Inc. | Recurrent deep neural network system for detecting overlays in images |
CN110705402A (zh) * | 2019-09-19 | 2020-01-17 | 天津天地伟业机器人技术有限公司 | 人脸识别置信值映射算法 |
CN111027670B (zh) * | 2019-11-04 | 2022-07-22 | 重庆特斯联智慧科技股份有限公司 | 特征图处理方法、装置、电子设备及存储介质 |
CN111325108B (zh) * | 2020-01-22 | 2023-05-26 | 中能国际高新科技研究院有限公司 | 一种多任务网络模型及使用方法、装置、和存储介质 |
CN111340543B (zh) * | 2020-02-25 | 2024-03-22 | 上海大学 | 一种基于注意力机制的细粒度打车需求预测方法 |
CN111368931B (zh) * | 2020-03-09 | 2023-11-17 | 第四范式(北京)技术有限公司 | 确定图像分类模型的学习率的方法 |
KR102168753B1 (ko) * | 2020-03-17 | 2020-10-22 | 한국과학기술원 | 카메라와 레이더 센서 융합 기반 3차원 객체 검출을 위한 전자 장치 및 그의 동작 방법 |
CN112184686B (zh) * | 2020-10-10 | 2022-08-23 | 深圳大学 | 一种用于检测动力电池安全阀激光焊接缺陷的分割算法 |
CN112364701B (zh) * | 2020-10-15 | 2022-11-04 | 东风汽车集团有限公司 | 一种应用于平行驾驶系统的视频图像处理方法和装置 |
CN112966569B (zh) * | 2021-02-09 | 2022-02-11 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、计算机设备及存储介质 |
CN113468967B (zh) * | 2021-06-02 | 2023-08-18 | 北京邮电大学 | 基于注意力机制的车道线检测方法、装置、设备及介质 |
CN113989759B (zh) * | 2021-10-27 | 2024-08-16 | 智道网联科技(北京)有限公司 | 用于自动驾驶的基于BiSeNet的车道线识别方法及装置 |
EP4242691A1 (en) * | 2022-03-08 | 2023-09-13 | Hyundai Mobis Co., Ltd. | Method and apparatus for detecting lane using lidar |
CN115050006B (zh) * | 2022-06-21 | 2023-07-18 | 荆州职业技术学院 | 一种基于卷积神经网络的车道偏离预警方法及系统 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2487461B1 (en) * | 2011-02-09 | 2015-10-07 | Harman Becker Automotive Systems GmbH | Vehicle navigation device and method |
KR101584907B1 (ko) * | 2014-07-29 | 2016-01-22 | 울산대학교 산학협력단 | 관심 영역을 이용한 차선 인식 방법 및 그 장치 |
US9418319B2 (en) * | 2014-11-21 | 2016-08-16 | Adobe Systems Incorporated | Object detection using cascaded convolutional neural networks |
WO2016117213A1 (ja) * | 2015-01-22 | 2016-07-28 | 三菱電機株式会社 | 撮像装置及び方法、並びにプログラム及び記録媒体 |
US20160239706A1 (en) * | 2015-02-13 | 2016-08-18 | Qualcomm Incorporated | Convolution matrix multiply with callback for deep tiling for deep convolutional neural networks |
US20160358069A1 (en) * | 2015-06-03 | 2016-12-08 | Samsung Electronics Co., Ltd. | Neural network suppression |
WO2016197303A1 (en) * | 2015-06-08 | 2016-12-15 | Microsoft Technology Licensing, Llc. | Image semantic segmentation |
US10410096B2 (en) * | 2015-07-09 | 2019-09-10 | Qualcomm Incorporated | Context-based priors for object detection in images |
CN105046235B (zh) * | 2015-08-03 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | 车道线的识别建模方法和装置、识别方法和装置 |
US9710714B2 (en) * | 2015-08-03 | 2017-07-18 | Nokia Technologies Oy | Fusion of RGB images and LiDAR data for lane classification |
US9965719B2 (en) * | 2015-11-04 | 2018-05-08 | Nec Corporation | Subcategory-aware convolutional neural networks for object detection |
US20170124409A1 (en) * | 2015-11-04 | 2017-05-04 | Nec Laboratories America, Inc. | Cascaded neural network with scale dependent pooling for object detection |
US10002313B2 (en) * | 2015-12-15 | 2018-06-19 | Sighthound, Inc. | Deeply learned convolutional neural networks (CNNS) for object localization and classification |
US9858496B2 (en) * | 2016-01-20 | 2018-01-02 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
WO2017132830A1 (en) * | 2016-02-02 | 2017-08-10 | Xiaogang Wang | Methods and systems for cnn network adaption and object online tracking |
CN108475331B (zh) * | 2016-02-17 | 2022-04-05 | 英特尔公司 | 用于对象检测的方法、装置、系统和计算机可读介质 |
EP3430525A4 (en) * | 2016-03-17 | 2019-11-06 | Imagia Cybernetics Inc. | METHOD AND SYSTEM FOR TREATING A ROBUSTNESS TASK WITH MISSING INPUT INFORMATION |
GB2549554A (en) * | 2016-04-21 | 2017-10-25 | Ramot At Tel-Aviv Univ Ltd | Method and system for detecting an object in an image |
US10354362B2 (en) * | 2016-09-08 | 2019-07-16 | Carnegie Mellon University | Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network |
US10387740B2 (en) * | 2016-10-10 | 2019-08-20 | Gyrfalcon Technology Inc. | Object detection and recognition apparatus based on CNN based integrated circuits |
KR102628654B1 (ko) * | 2016-11-07 | 2024-01-24 | 삼성전자주식회사 | 차선을 표시하는 방법 및 장치 |
US10198671B1 (en) * | 2016-11-10 | 2019-02-05 | Snap Inc. | Dense captioning with joint interference and visual context |
JP6854344B2 (ja) * | 2016-11-15 | 2021-04-07 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 直方体検出のための深層機械学習システム |
US20180211403A1 (en) * | 2017-01-20 | 2018-07-26 | Ford Global Technologies, Llc | Recurrent Deep Convolutional Neural Network For Object Detection |
CN107092862A (zh) * | 2017-03-16 | 2017-08-25 | 浙江零跑科技有限公司 | 一种基于卷积神经网络的车道边缘检测方法 |
US10373002B2 (en) * | 2017-03-31 | 2019-08-06 | Here Global B.V. | Method, apparatus, and system for a parametric representation of lane lines |
US11321604B2 (en) * | 2017-06-21 | 2022-05-03 | Arm Ltd. | Systems and devices for compressing neural network parameters |
US10474908B2 (en) * | 2017-07-06 | 2019-11-12 | GM Global Technology Operations LLC | Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation |
JP7149692B2 (ja) * | 2017-08-09 | 2022-10-07 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US10679351B2 (en) * | 2017-08-18 | 2020-06-09 | Samsung Electronics Co., Ltd. | System and method for semantic segmentation of images |
US10303956B2 (en) * | 2017-08-23 | 2019-05-28 | TuSimple | System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection |
US10678257B2 (en) * | 2017-09-28 | 2020-06-09 | Nec Corporation | Generating occlusion-aware bird eye view representations of complex road scenes |
CN108009524B (zh) * | 2017-12-25 | 2021-07-09 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
CN108764137A (zh) * | 2018-05-29 | 2018-11-06 | 福州大学 | 基于语义分割的车辆行驶车道定位方法 |
US10229346B1 (en) * | 2018-09-04 | 2019-03-12 | StradVision, Inc. | Learning method, learning device for detecting object using edge image and testing method, testing device using the same |
-
2019
- 2019-01-22 US US16/254,572 patent/US10346693B1/en active Active
- 2019-09-27 KR KR1020190119522A patent/KR102337376B1/ko active IP Right Grant
- 2019-12-11 EP EP19215123.1A patent/EP3686779B1/en active Active
- 2019-12-18 CN CN201911309931.9A patent/CN111462130B/zh active Active
-
2020
- 2020-01-07 JP JP2020000984A patent/JP6895693B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP3686779A1 (en) | 2020-07-29 |
EP3686779C0 (en) | 2024-01-24 |
US10346693B1 (en) | 2019-07-09 |
KR102337376B1 (ko) | 2021-12-10 |
CN111462130A (zh) | 2020-07-28 |
CN111462130B (zh) | 2023-10-17 |
KR20200091319A (ko) | 2020-07-30 |
JP2020119527A (ja) | 2020-08-06 |
EP3686779B1 (en) | 2024-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6895693B2 (ja) | レーンマスク(Lane Mask)を使用して後処理なしに入力イメージに含まれた一つ以上の車線を検出する方法及び装置、並びにそれを利用したテスト方法及びテスト装置{METHOD AND DEVICE FOR LANE DETECTION WITHOUT POST−PROCESSING BY USING LANE MASK, AND TESTING METHOD, AND TESTING DEVICE USING THE SAME} | |
JP6886202B2 (ja) | 仮想走行の環境で使用されるドメイン適応に適用され得るganを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 | |
JP6923960B2 (ja) | 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 | |
JP6853560B2 (ja) | 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置{method for auto−labeling training images for use in deep learning network to analyze images with high precision, and auto−labeling device using the same} | |
JP6912835B2 (ja) | 自律走行自動車のレベル4を満たすために要求されるhdマップアップデートに利用される、少なくとも一つのアダプティブロス重み付け値マップを利用したアテンションドリブン・イメージセグメンテーション学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 | |
CN111507150B (zh) | 利用基于深度神经网络的多重图像块组合识别人脸的方法 | |
JP6957050B2 (ja) | モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なroiをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置{learning method and learning device for pooling roi by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same} | |
US10410120B1 (en) | Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same | |
JP6847463B2 (ja) | CNN(Convolutional Neural Network)を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{LEARNING METHOD, LEARNING DEVICE FOR DETECTING LANE USING CNN AND TEST METHOD, TEST DEVICE USING THE SAME} | |
JP6908939B2 (ja) | 障害物の下段ラインを基準にroiを検出する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting roi on the basis of bottom lines of obstacles and testing method,testing device using the same} | |
JP6865363B2 (ja) | ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル4及びレベル5を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置 | |
JP6872259B2 (ja) | R−cnn基盤の物体検出器の学習方法とテスト方法、及びそれを利用した学習装置とテスト装置 | |
JP2020123330A (ja) | ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置 | |
JP6980289B2 (ja) | 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting lane using lane model and test method, test device using the same} | |
JP6867054B2 (ja) | マルチカメラシステム内のダブルエンベディング構成を利用して、道路利用者イベントを検出するために用いられるセグメンテーション性能向上のための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置。{learning method and learning device for improving segmentation performance to be used for detecting road user events using double embedding configuration in multi−camera system and testing method and testing device using the same} | |
JP6903352B2 (ja) | 非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置{learning method and learning device for heterogeneous sensor fusion by using merging network which learns non−maximum suppression} | |
JP6916548B2 (ja) | 自律走行自動車のレベル4を満たすために必要なhdマップとのコラボレーションを支援するエンベディングロス及びソフトマックスロスを利用して少なくとも一つの車線を有するイメージをセグメンテーションする学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置 | |
US10402686B1 (en) | Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same | |
JP6865342B2 (ja) | Cnn基盤車線検出のための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置 | |
JP6853592B2 (ja) | ハードウェア最適化に使用される1x1コンボリューションを利用したCNN基盤の物体検出器を学習する方法及び学習装置、これを利用したテスト方法及びテスト装置{LEARNING METHOD AND LEARNING DEVICE FOR OBJECT DETECTOR BASED ON CNN USING 1×1 CONVOLUTION TO BE USED FOR HARDWARE OPTIMIZATION, AND TESTING METHOD AND TESTING DEVICE USING THE SAME} | |
JP6853543B2 (ja) | 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200108 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200706 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200709 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20201022 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6895693 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |