JP6798860B2 - 境界線推定装置 - Google Patents
境界線推定装置 Download PDFInfo
- Publication number
- JP6798860B2 JP6798860B2 JP2016231472A JP2016231472A JP6798860B2 JP 6798860 B2 JP6798860 B2 JP 6798860B2 JP 2016231472 A JP2016231472 A JP 2016231472A JP 2016231472 A JP2016231472 A JP 2016231472A JP 6798860 B2 JP6798860 B2 JP 6798860B2
- Authority
- JP
- Japan
- Prior art keywords
- boundary line
- image
- lane
- estimation device
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 description 19
- 238000011176 pooling Methods 0.000 description 17
- 238000002372 labelling Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000007637 random forest analysis Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
[1.構成]
図1に示す境界線推定システム1は、2つの撮像装置10L,10Rと、境界線推定装置20と、を備える。境界線推定システム1は、車両に搭載される。以下では、境界線推定システム1が搭載された車両を「自車両」という。
「H. Noh, S. Hong, and B. Han, “Learning deconvolution network for semantic segmentation.” CoRR, vol. abs/1505.04366, 2015.」
本実施形態では、上記論文で提案されたアルゴリズムをベースに、学習によってそのパラメータが調節されるものが使用される。学習の詳細については後述する。
前段の畳み込みニューラルネットワークは、畳み込み層とプーリング層との組を複数(この例では5つ)有している。図2では、5つの畳み込み層C1〜C5と5番目のプーリング層P5とは図示されている。一方、1〜4番目のプーリング層P1〜P4は図示されていない。なお、5番目のプーリング層P5によって、路面領域の情報が最も圧縮された特徴量マップが生成される。
(a)は、路面領域の2つの境界と、2つの白色の車線境界線と、1つの白色の破線状の車線境界線と、を有する道路環境である。
(c)は、路面領域の2つの境界と、1つの黄色の車線境界線と、を有する道路環境である。
(e)は、路面領域の2つの境界と、2つの白色の車線境界線と、1つの白色の連続した車線境界線と、1つの破線状の車線境界線と、を有する道路環境である。
[2−1.第1の処理のパラメータ]
第1の処理において、入力されたHSD画像データから路面領域が正しく検出されるように、上記論文の畳み込みニューラルネットワーク及び逆畳み込みニューラルネットワークのパラメータを調節する。具体的には、図5に示すように、学習用のHSD画像データと、そのHSD画像データに対応する画像であって、あらかじめ各画素が路面領域か非路面領域かラベル付けされた画像と、を入力データとして、上記パラメータが調節される。後者の画像は、換言すれば、路面領域の位置の真値を表す画像であり、図5では「Ground Truth Label」と記載されている。なお、調節されるパラメータは、畳み込み層C1〜C5、FC層及び逆畳み込み層DC1〜DC5におけるフィルタの重みやバイアス等である。
第2の処理では、第1の処理で抽出された特徴量に対応する道路環境を識別する環境識別器として、エクストラツリーズ(extra trees)に基づく識別器が使用される。エクストラツリーズとは、公知の機械学習のアルゴリズムであるランダムフォレスト(random forest)の拡張である。ランダムフォレストでは、1つの学習用データセットから重複を許して複数のサブセットが作成される。そして、それぞれのサブセットに対して弱識別器となる決定木が作成される。その後、作成された各決定木の判定結果を集約する(例えば多数決を取る)ことにより強識別器が作成される。
第3の処理における車線回帰モデルとしては、環境識別器と同様、ランダムフォレストに基づくモデルが使用される。当該ランダムフォレストは、図7に示すように、道路環境ごとに作成されたHSD画像データと、そのHSD画像データにおける車線境界線の位置をベジェ曲線の制御点で表した画像と、学習用データセットとして作成される。後者の画像は、車線境界線の位置の真値を表す画像であり、図7では「BezierGround Truth Label」と記載されている。また、本実施形態では、車線回帰モデルは、HSD画像データから抽出された特徴量とそのHSD画像データの道路環境とが入力された場合に、レーンラベルベクトルWも回帰できるように学習される。
以上詳述した実施形態によれば、以下の効果が得られる。
(1)本実施形態では、境界線推定装置20は、入力された撮像画像の画像データから路面領域を表す特徴量を抽出し、事前の学習によって得られた環境識別器に基づき、抽出された特徴量に対応する道路環境を識別する。そして、境界線推定装置20は、識別された道路環境に基づき、撮像画像内の車線境界線の位置を推定する。したがって、このような構成によれば、撮像画像上で車線境界線の一部が先行車両等により遮られている場合であっても、車線境界線の位置を推定することができる。
[4.他の実施形態]
以上、本開示を実施するための形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
(4)前述した境界線推定装置20の他、当該境界線推定装置20を構成要素とするシステム、当該境界線推定装置20としてコンピュータを機能させるためのプログラム、このプログラムを記憶した半導体メモリ等の非遷移的実体的記憶媒体、車線境界線の位置を推定する方法など、種々の形態で本開示を実現することもできる。
Claims (4)
- 周辺環境を撮像する少なくとも1つの撮像装置(10L,10R)から撮像画像を取得する画像取得部(21)と、
前記撮像画像から路面領域を表す特徴量を抽出する抽出部(22〜24)と、
事前の学習によって得られた前記特徴量と道路環境との対応関係を表す識別器に基づき、前記抽出部により抽出された前記特徴量に対応する前記道路環境を識別する環境識別部(25)と、
前記環境識別部により識別された前記道路環境に基づき、前記撮像画像内の車線境界線の位置を推定する推定部(26)と、
を備え、
前記抽出部は、学習によってパラメータが調節された畳み込みニューラルネットワークに従い、前記特徴量を抽出する、
境界線推定装置(20)。 - 請求項1に記載の境界線推定装置であって、
前記抽出部は、前記撮像画像に対応する距離画像を生成し、生成した前記距離画像と、前記撮像画像の色情報と、に基づき、前記特徴量を抽出する、境界線推定装置。 - 請求項2に記載の境界線推定装置であって、
前記画像取得部は、同一対象を複数の異なる視点から撮像するための複数の前記撮像装置から前記撮像画像を取得し、
前記抽出部は、前記複数の撮像装置から取得された複数の前記撮像画像間の視差に基づき、前記距離画像を生成する、境界線推定装置。 - 請求項1から請求項3までのいずれか1項に記載の境界線推定装置であって、
前記推定部は、前記撮像画像内の車線境界線の位置を、曲線描画の制御点を回帰することにより推定する、境界線推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016231472A JP6798860B2 (ja) | 2016-11-29 | 2016-11-29 | 境界線推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016231472A JP6798860B2 (ja) | 2016-11-29 | 2016-11-29 | 境界線推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018088151A JP2018088151A (ja) | 2018-06-07 |
JP6798860B2 true JP6798860B2 (ja) | 2020-12-09 |
Family
ID=62494501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016231472A Active JP6798860B2 (ja) | 2016-11-29 | 2016-11-29 | 境界線推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6798860B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6918425B2 (ja) * | 2017-11-09 | 2021-08-11 | 株式会社Mobility Technologies | 撮影画像に含まれる境界線を検出するための装置、方法、及びプログラム |
US10262214B1 (en) * | 2018-09-05 | 2019-04-16 | StradVision, Inc. | Learning method, learning device for detecting lane by using CNN and testing method, testing device using the same |
US10275667B1 (en) * | 2018-09-05 | 2019-04-30 | StradVision, Inc. | Learning method, learning device for detecting lane through lane model and testing method, testing device using the same |
CN109558808A (zh) * | 2018-11-09 | 2019-04-02 | 同济大学 | 一种基于深度学习的路边沿检测方法 |
US10633007B1 (en) * | 2019-01-31 | 2020-04-28 | StradVision, Inc. | Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network |
CN111582009B (zh) * | 2019-02-19 | 2023-09-15 | 富士通株式会社 | 训练分类模型的装置和方法及利用分类模型分类的装置 |
CN111582008B (zh) * | 2019-02-19 | 2023-09-08 | 富士通株式会社 | 训练分类模型的装置和方法及利用分类模型分类的装置 |
CN110163077A (zh) * | 2019-03-11 | 2019-08-23 | 重庆邮电大学 | 一种基于全卷积神经网络的车道识别方法 |
CN112396170B (zh) * | 2019-08-14 | 2024-04-02 | 上海寒武纪信息科技有限公司 | 运算方法、装置、计算机设备和存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4032727B2 (ja) * | 2001-12-12 | 2008-01-16 | アイシン精機株式会社 | 車線境界検出装置 |
JP4292250B2 (ja) * | 2004-07-02 | 2009-07-08 | トヨタ自動車株式会社 | 道路環境認識方法及び道路環境認識装置 |
JP4648697B2 (ja) * | 2004-12-27 | 2011-03-09 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び方法、ナビゲーション装置 |
JP5677900B2 (ja) * | 2011-06-29 | 2015-02-25 | 株式会社日本自動車部品総合研究所 | 車載白線認識装置 |
JP5746996B2 (ja) * | 2012-03-21 | 2015-07-08 | 日立オートモティブシステムズ株式会社 | 道路環境認識装置 |
JP2013030183A (ja) * | 2012-09-28 | 2013-02-07 | Toyota Central R&D Labs Inc | 環境認識装置及びプログラム |
JP6360802B2 (ja) * | 2015-02-20 | 2018-07-18 | 株式会社デンソーアイティーラボラトリ | ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、検出装置、検出方法、および、車両 |
-
2016
- 2016-11-29 JP JP2016231472A patent/JP6798860B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018088151A (ja) | 2018-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6798860B2 (ja) | 境界線推定装置 | |
CN110310320B (zh) | 一种双目视觉匹配代价聚合优化方法 | |
JP6586430B2 (ja) | 車両位置の推定 | |
JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
CN111079685B (zh) | 一种3d目标检测方法 | |
JP7134012B2 (ja) | 視差推定装置及び方法 | |
CN103822616B (zh) | 一种图分割与地形起伏约束相结合的遥感影像匹配方法 | |
US9665803B2 (en) | Image processing apparatus and image processing method | |
CN111063021A (zh) | 一种空间运动目标的三维重建模型建立方法及装置 | |
KR20180087994A (ko) | 스테레오 매칭 방법 및 영상 처리 장치 | |
US11017542B2 (en) | Systems and methods for determining depth information in two-dimensional images | |
JP6111745B2 (ja) | 車輌検知方法及び装置 | |
CN107274483A (zh) | 一种物体三维模型构建方法 | |
US11030478B1 (en) | System and method for correspondence map determination | |
CN110084743B (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
CN112734822A (zh) | 一种基于红外和可见光图像的立体匹配算法 | |
CN116883588A (zh) | 一种大场景下的三维点云快速稠密重建方法及系统 | |
Xu et al. | Real-time stereo vision system at nighttime with noise reduction using simplified non-local matching cost | |
CN110443228B (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
CN110929782B (zh) | 一种基于正射影像图对比的河道异常检测方法 | |
KR20220014678A (ko) | 영상의 깊이를 추정하는 방법 및 장치 | |
Huang et al. | ES-Net: An efficient stereo matching network | |
Parmehr et al. | Automatic registration of optical imagery with 3d lidar data using local combined mutual information | |
KR100691855B1 (ko) | 영상정보의 특징 추출장치 및 그 방법 | |
CN116194956A (zh) | 场景的3d点云的生成 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20161228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6798860 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |