JP6572345B2 - 車線検出のための方法及び装置 - Google Patents
車線検出のための方法及び装置 Download PDFInfo
- Publication number
- JP6572345B2 JP6572345B2 JP2018092378A JP2018092378A JP6572345B2 JP 6572345 B2 JP6572345 B2 JP 6572345B2 JP 2018092378 A JP2018092378 A JP 2018092378A JP 2018092378 A JP2018092378 A JP 2018092378A JP 6572345 B2 JP6572345 B2 JP 6572345B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- pixel point
- model
- output
- road image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
自動車の周囲の道路の現在の道路画像を取得するステップ、及び、
前記現在の道路画像をディープラーニングモデルに入力し、前記ディープラーニングモデルから出力された結果に基づいて前記現在の道路画像の車線領域を検出する、ステップを含み、
前記ディープラーニングモデルは、過去の道路画像及び前記過去の道路画像中の既知の車線領域の間の対応関係に基づいて訓練されており、
前記ディープラーニングモデルは第1のモデルユニット及び第2のモデルユニットを含み、かつ前記第1のモデルユニットの出力は前記第2のモデルユニットの入力の役割を果たし、
前記第1のモデルユニットは少なくとも1つの第1のモデルサブユニットを含み、前記第1のモデルサブユニットは畳み込みニューラルネットワーク及び第1の再帰型ニューラルネットワークを含み、前記畳み込みニューラルネットワークの出力は前記第1の再帰型ニューラルネットワークの入力の役割を果たし、並びに、
前記第2のモデルユニットは少なくとも1つの第2のモデルサブユニットを含み、前記第2のモデルサブユニットは逆畳み込みニューラルネットワーク及び第2の再帰型ニューラルネットワークを含み、前記逆畳み込みニューラルネットワークの出力は前記第2の再帰型ニューラルネットワークの入力の役割を果たす、
方法である。
現在の道路画像の各ピクセル点に対して、前記ピクセル点に対する逆畳み込みニューラルネットワークの出力結果及び、前記ピクセル点の近傍内の複数のピクセル点に対する逆畳み込みニューラルネットワークの出力結果により第2のシーケンスが形成され、第2の再帰型ニューラルネットに入力される。
現在の道路画像及び最近様々な時刻において取得された道路画像を含む、複数の道路画像を処理することで第2のモデルユニットにより出力された結果から、第3の再帰型ニューラルネットワークに入力される第3のシーケンスが形成される。
自動車の周囲の道路の現在の道路画像を取得するよう設定された画像取得モジュールと、及び、
前記現在の道路画像をディープラーニングモデルに入力し、前記ディープラーニングモデルから出力された結果に基づいて、前記現在の道路画像における車線領域を検出するよう設定されたモデル処理モジュールと、を含み、
ディープラーニングモデルは、過去の道路画像及び前記過去の道路画像中の既知の車線領域の間の対応関係に基づいて訓練された、モデルであり、
ディープラーニングモデルは第1のモデルユニット及び第2のモデルユニットを含み、前記第1のモデルユニットの出力は前記第2のモデルユニットの入力の役割を果たし、
前記第1のモデルユニットは少なくとも1つの第1のモデルサブユニットを含み、前記第1のモデルサブユニットは畳み込みニューラルネットワーク及び第1の再帰型ニューラルネットワークを含み、前記畳み込みニューラルネットワークの出力は前記第1の再帰型ニューラルネットワークの入力の役割を果たし、
前記第2のモデルユニットは少なくとも1つの第2のモデルサブユニットを含み、前記第2のモデルサブユニットは逆畳み込みニューラルネットワーク及び第2の再帰型ニューラルネットワークを含み、前記逆畳み込みニューラルネットワークの出力は前記第2の再帰型ニューラルネットワークの入力の役割を果たす、
装置である。
現在の道路画像の各ピクセル点に対して、そのピクセル点に対する逆畳み込みニューラルネットワークの出力結果及び、そのピクセル点に近接するピクセル点に対する逆畳み込みニューラルネットワークの出力結果により第2のシーケンスが形成され、第2の再帰型ニューラルネットに入力される。
現在の道路画像及び最近様々な時刻において取得された道路画像を含む、複数の道路画像を処理することで第2のモデルユニットにより出力された結果から第3のシーケンスが形成され、第3の再帰型ニューラルネットワークに入力される。
プロセッサと、及び、
メモリと、を含み、
前記メモリはプログラムコードを保持して前記プログラムコードを前記プロセッサに送信するよう設定され、
前記プロセッサは前記プログラムコード内の命令に反応して、前記第1の様相による、車線を検出するための方法を実行するよう設定される。
Claims (10)
- 車線を検出するための方法であって、
自動車の周囲の道路の現在の道路画像を取得するステップと、及び、
前記現在の道路画像をディープラーニングモデルに入力し、前記ディープラーニングモデルから出力された結果に基づいて前記現在の道路画像中の車線領域を検出するステップと、を含み、
前記ディープラーニングモデルは過去の道路画像及び前記過去の道路画像中の既知の車線領域の間の関係に基づいて訓練されたモデルであり、
前記ディープラーニングモデルは第1のモデルユニット及び第2のモデルユニットを含み、かつ前記第1のモデルユニットの出力は前記第2のモデルユニットの入力の役割を果たし、
前記第1のモデルユニットは少なくとも1つの第1のモデルサブユニットを含み、前記第1のモデルサブユニットは畳み込みニューラルネットワーク及び第1の再帰型ニューラルネットワークを含み、前記畳み込みニューラルネットワークの出力は前記第1の再帰型ニューラルネットワークの入力の役割を果たし、並びに、
前記第2のモデルユニットは少なくとも1つの第2のモデルサブユニットを含み、前記第2のモデルサブユニットは逆畳み込みニューラルネットワーク及び第2の再帰型ニューラルネットワークを含み、前記逆畳み込みニューラルネットワークの出力は前記第2の再帰型ニューラルネットワークの入力の役割を果たす、
車線を検出するための方法。 - 請求項1に記載の方法であって、
第1の再帰型ニューラルネットワーク及び第2の再帰型ニューラルネットワークの各々が双方向長・短期記憶ネットワークである、
車線を検出するための方法。 - 請求項1に記載の方法であって、
現在の道路画像中の各ピクセル点に対して、前記ピクセル点に対する畳み込みニューラルネットワークの出力結果及び前記ピクセル点の近傍内の複数のピクセル点に対する畳み込みニューラルネットワークの出力結果により第1のシーケンスが形成され、第1の再帰型ニューラルネットワークに入力され、並びに、
現在の道路画像中の各ピクセル点に対して、前記ピクセル点に対する逆畳み込みニューラルネットワークの出力結果及び前記ピクセル点の近傍内の複数のピクセル点に対する逆畳み込みニューラルネットワークの出力結果により第2のシーケンスが形成され、第2の再帰型ニューラルネットワークに入力される、
車線を検出するための方法。 - 請求項1に記載の方法であって、
ディープラーニングモデルがさらに第3の再帰型ニューラルネットワークを含み、
前記第2のモデルユニットから複数の道路画像を処理することにより出力された結果から第3のシーケンスが形成され、前記第3の再帰型ニューラルネットワークに入力され、
前記複数の道路画像は前記現在の道路画像及び直近の様々な時刻に取得された道路画像を含む、
車線を検出するための方法。 - 車線を検出するための装置であって、
自動車の周囲の道路の現在の道路画像を取得するよう設定された画像取得モジュールと、
前記現在の道路画像をディープラーニングモデルに入力し、前記ディープラーニングモデルから出力された結果に基づいて前記現在の道路画像中の車線領域を検出するよう設定されたモデル処理モジュールと、を含み、
前記ディープラーニングモデルは過去の道路画像及び前記過去の道路画像中の既知の車線領域の間の関係に基づいて訓練されたモデルであり、
前記ディープラーニングモデルは第1のモデルユニット及び第2のモデルユニットを含み、かつ前記第1のモデルユニットの出力は前記第2のモデルユニットの入力の役割を果たし、
前記第1のモデルユニットは少なくとも1つの第1のモデルサブユニットを含み、前記第1のモデルサブユニットは畳み込みニューラルネットワーク及び第1の再帰型ニューラルネットワークを含み、前記畳み込みニューラルネットワークの出力は前記第1の再帰型ニューラルネットワークの入力の役割を果たし、並びに、
前記第2のモデルユニットは少なくとも1つの第2のモデルサブユニットを含み、前記第2のモデルサブユニットは逆畳み込みニューラルネットワーク及び第2の再帰型ニューラルネットワークを含み、前記逆畳み込みニューラルネットワークの出力は前記第2の再帰型ニューラルネットワークの入力の役割を果たす、
車線を検出するための装置。 - 請求項5に記載の装置であって、
第1の再帰型ニューラルネットワーク及び第2の再帰型ニューラルネットワークの各々が双方向長・短期記憶ネットワークである、
車線を検出するための装置。 - 請求項5に記載の装置であって、
現在の道路画像中の各ピクセル点に対して、前記ピクセル点に対する畳み込みニューラルネットワークの出力結果及び前記ピクセル点の近傍内の複数のピクセル点に対する畳み込みニューラルネットワークの出力結果により第1のシーケンスが形成され、第1の再帰型ニューラルネットワークに入力され、並びに、
現在の道路画像中の各ピクセル点に対して、前記ピクセル点に対する逆畳み込みニューラルネットワークの出力結果及び前記ピクセル点の近傍内の複数のピクセル点に対する逆畳み込みニューラルネットワークの出力結果により第2のシーケンスが形成され、第2の再帰型ニューラルネットワークに入力される、
車線を検出するための装置。 - 請求項5に記載の装置であって、
ディープラーニングモデルがさらに第3の再帰型ニューラルネットワークを含み、
前記第2のモデルユニットから複数の道路画像を処理することにより出力された結果から第3のシーケンスが形成され、前記第3の再帰型ニューラルネットワークに入力され、
前記複数の道路画像は前記現在の道路画像及び直近の様々な時刻に取得された道路画像を含む、
車線を検出するための装置。 - 車線を検出するためのデバイスであって、
プロセッサと、
メモリと、を含み、
メモリはプログラムコードを格納し、プログラムコードをプロセッサに送信するよう設定され、及び、
プロセッサはプログラムコードの命令に反応して、請求項1〜4のいずれか1つに記載の車線を検出するための方法を実行するよう設定される、
車線を検出するためのデバイス。 - 請求項1〜4に記載の車線を検出するための方法を実行するためのプログラムコードを格納する、
記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711237254.5A CN109858309B (zh) | 2017-11-30 | 2017-11-30 | 一种识别道路线的方法和装置 |
CN201711237254.5 | 2017-11-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019102049A JP2019102049A (ja) | 2019-06-24 |
JP6572345B2 true JP6572345B2 (ja) | 2019-09-11 |
Family
ID=66547868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018092378A Active JP6572345B2 (ja) | 2017-11-30 | 2018-05-11 | 車線検出のための方法及び装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10748013B2 (ja) |
JP (1) | JP6572345B2 (ja) |
CN (1) | CN109858309B (ja) |
DE (1) | DE102018113992A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10311338B1 (en) * | 2018-09-15 | 2019-06-04 | StradVision, Inc. | Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same |
CN111126406B (zh) * | 2019-12-17 | 2023-04-07 | 北京四维图新科技股份有限公司 | 车辆行驶区域识别方法及装置 |
CN111126493B (zh) * | 2019-12-25 | 2023-08-01 | 东软睿驰汽车技术(沈阳)有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
JP7388971B2 (ja) * | 2020-04-06 | 2023-11-29 | トヨタ自動車株式会社 | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム |
JP7359735B2 (ja) | 2020-04-06 | 2023-10-11 | トヨタ自動車株式会社 | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 |
CN111959495B (zh) * | 2020-06-29 | 2021-11-12 | 阿波罗智能技术(北京)有限公司 | 车辆的控制方法、装置及车辆 |
CN113240623B (zh) * | 2021-03-18 | 2023-11-07 | 中国公路工程咨询集团有限公司 | 一种路面病害检测方法及装置 |
CN113591614B (zh) * | 2021-07-14 | 2024-05-28 | 西北工业大学 | 一种基于紧邻空间特征学习的遥感影像道路提取方法 |
FR3130230B1 (fr) * | 2021-12-10 | 2023-11-03 | Renault Sas | Procédé d’aide au maintien d’un véhicule sur la route lors d’un rétrécissement ou d’un élargissement de voie |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9802599B2 (en) * | 2016-03-08 | 2017-10-31 | Ford Global Technologies, Llc | Vehicle lane placement |
US10176388B1 (en) * | 2016-11-14 | 2019-01-08 | Zoox, Inc. | Spatial and temporal information for semantic segmentation |
CN106844442A (zh) * | 2016-12-16 | 2017-06-13 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于fcn特征提取的多模态循环神经网络图像描述方法 |
CN106980854A (zh) * | 2017-03-29 | 2017-07-25 | 珠海习悦信息技术有限公司 | 车牌号码识别方法、装置、存储介质及处理器 |
CN107038478B (zh) * | 2017-04-20 | 2023-10-27 | 百度在线网络技术(北京)有限公司 | 路况预测方法及装置、计算机设备与可读介质 |
CN107154150B (zh) * | 2017-07-25 | 2019-07-02 | 北京航空航天大学 | 一种基于道路聚类和双层双向lstm的交通流量预测方法 |
-
2017
- 2017-11-30 CN CN201711237254.5A patent/CN109858309B/zh active Active
-
2018
- 2018-05-11 JP JP2018092378A patent/JP6572345B2/ja active Active
- 2018-05-17 US US15/981,916 patent/US10748013B2/en active Active
- 2018-06-12 DE DE102018113992.6A patent/DE102018113992A1/de active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2019102049A (ja) | 2019-06-24 |
CN109858309B (zh) | 2021-04-20 |
US10748013B2 (en) | 2020-08-18 |
CN109858309A (zh) | 2019-06-07 |
DE102018113992A1 (de) | 2019-06-06 |
US20190163991A1 (en) | 2019-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6572345B2 (ja) | 車線検出のための方法及び装置 | |
DE112015004637B4 (de) | Bordkamerakalibriervorrichtung, Bildgenerator, Bordkamerakalibrierverfahren und Bilderzeugungsverfahren | |
JP6775263B2 (ja) | 測位方法及び装置 | |
US8995714B2 (en) | Information creation device for estimating object position and information creation method and program for estimating object position | |
CN112668480B (zh) | 头部姿态角检测方法、装置、电子设备及存储介质 | |
CN111210477A (zh) | 一种运动目标的定位方法及系统 | |
EP3070675A1 (en) | Image processor for correcting deviation of a coordinate in a photographed image at appropriate timing | |
CN112598922B (zh) | 车位检测方法、装置、设备及存储介质 | |
JP6377970B2 (ja) | 視差画像生成装置及び視差画像生成方法 | |
JP6375633B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP2021033510A (ja) | 運転支援装置 | |
CN112385208B (zh) | 图像识别装置以及图像识别方法 | |
CN112487861A (zh) | 车道线识别方法、装置、计算设备及计算机存储介质 | |
US11519715B2 (en) | Method, device, apparatus and storage medium for detecting a height of an obstacle | |
JP2015171106A (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP6327115B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
CN110880003B (zh) | 一种图像匹配方法、装置、存储介质及汽车 | |
CN112330977B (zh) | 一种自动泊车的方法和装置 | |
JP2015230515A (ja) | 被写体追尾装置およびカメラ | |
CN111212260A (zh) | 一种基于监控视频绘制车道线的方法及装置 | |
CN109073387B (zh) | 一种多地图对齐的方法、装置、终端及存储介质 | |
JP2021132295A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP6674127B2 (ja) | 画像処理装置、撮影装置、プログラム、機器制御システム及び機器 | |
JP2966683B2 (ja) | 車両用障害物検出装置 | |
CN117152707B (zh) | 一种车辆偏移距离的计算方法、装置以及处理设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6572345 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |