JP6798860B2 - 境界線推定装置 - Google Patents

境界線推定装置 Download PDF

Info

Publication number
JP6798860B2
JP6798860B2 JP2016231472A JP2016231472A JP6798860B2 JP 6798860 B2 JP6798860 B2 JP 6798860B2 JP 2016231472 A JP2016231472 A JP 2016231472A JP 2016231472 A JP2016231472 A JP 2016231472A JP 6798860 B2 JP6798860 B2 JP 6798860B2
Authority
JP
Japan
Prior art keywords
boundary line
image
lane
estimation device
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016231472A
Other languages
English (en)
Other versions
JP2018088151A (ja
Inventor
和寿 石丸
和寿 石丸
ホセイン テヘラニニキネジャド
ホセイン テヘラニニキネジャド
白井 孝昌
孝昌 白井
ジョン ヴィジャイ
ジョン ヴィジャイ
誠一 三田
誠一 三田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota School Foundation
Denso Corp
Original Assignee
Toyota School Foundation
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota School Foundation, Denso Corp filed Critical Toyota School Foundation
Priority to JP2016231472A priority Critical patent/JP6798860B2/ja
Publication of JP2018088151A publication Critical patent/JP2018088151A/ja
Application granted granted Critical
Publication of JP6798860B2 publication Critical patent/JP6798860B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、撮像画像内の車線境界線の位置を推定する技術に関する。
特許文献1には、カメラの撮像画像に基づいて、車線の境界を表す車線境界線を検出する構成が開示されている。この構成では、検出した車線境界線に基づき、車線維持制御等の車両制御が実行される。
特開2013−73620号公報
特許文献1の構成では、撮像画像において車線境界線の一部が先行車両等により遮られている場合、遮られている車線境界線を検出することができない。この場合、車線境界線に基づく車両制御が実行できないことがある。よって、撮像画像において先行車両等により一部視認不可能になった車線境界線の位置を推定する技術が望まれる。
本開示は、撮像画像において車線境界線の一部が先行車両等により遮られている場合であっても、車線境界線の位置を推定することができる技術を提供することを目的とする。
本開示の一態様は、境界線推定装置(20)であって、画像取得部(21)と、抽出部(22〜24)と、環境識別部(25)と、推定部(26)と、を備える。画像取得部は、周辺環境を撮像する少なくとも1つの撮像装置(10L,10R)から撮像画像を取得する。抽出部は、撮像画像から路面領域を表す特徴量を抽出する。環境識別部は、事前の学習によって得られた特徴量と道路環境との対応関係を表す識別器に基づき、抽出部により抽出された特徴量に対応する道路環境を識別する。推定部は、環境識別部により識別された道路環境に基づき、撮像画像内の車線境界線の位置を推定する。
このような構成によれば、撮像画像上で車線境界線の一部が先行車両等により遮られている場合であっても、車線境界線の位置を推定することができる。
境界線推定システムの構成を示すブロック図である。 撮像画像から車線境界線の位置を推定する工程の概要を表す図である。 分類された道路環境を表す図である。 車線境界線の位置の推定のシミュレーション結果を表す図である。 第1の処理におけるパラメータの調節の概要を表す図である。 道路環境を識別する識別器の学習の概要を表す図である。 車線境界線の位置を回帰するモデルの学習の概要を表す図である。
以下、図面を参照しながら、本開示を実施するための形態を説明する。
[1.構成]
図1に示す境界線推定システム1は、2つの撮像装置10L,10Rと、境界線推定装置20と、を備える。境界線推定システム1は、車両に搭載される。以下では、境界線推定システム1が搭載された車両を「自車両」という。
左右一対の撮像装置10L,10Rは、自車両の前部において車幅方向の中心を挟むように左右に設けられたいわゆるステレオカメラであり、自車両の周辺環境、具体的には、自車両から見て同一方向である自車両の前方の領域を撮像する。つまり、境界線推定システム1は、撮像装置10L,10Rにより、複数の異なる視点から同一対象を撮像する。撮像装置10L,10Rのそれぞれは、撮像画像を表す画像データを境界線推定装置20に出力する。なお、撮像装置10L,10Rから出力される画像データのサイズは、224×224画素である。
以下では、2つの撮像装置10L,10Rのうち、一方の撮像装置(例えば撮像装置10L)の撮像画像を基準画像という。また、他方の撮像装置(例えば撮像装置10R)の撮像画像を比較画像という。
境界線推定装置20は、CPU、RAM、ROM及びフラッシュメモリ等の半導体メモリを有する周知のマイクロコンピュータを中心に構成される。境界線推定装置20の各種機能は、CPUが非遷移的実体的記憶媒体に格納されたプログラムを実行することにより実現される。この例では、半導体メモリが、CPUにより実行されるプログラムを格納した非遷移的実体的記憶媒体に該当する。また、CPUによるプログラムの実行により、プログラムに対応する方法が実行される。なお、境界線推定装置20を構成するマイクロコンピュータの数は1つでも複数でもよい。
境界線推定装置20は、CPUがプログラムを実行することにより、画像取得部21、距離画像生成部22、情報結合部23、ラベル付け部24、環境識別部25及び推定部26として機能する。
画像取得部21は、撮像装置10L,10Rから基準画像及び比較画像を表す画像データを取得する。なお、本実施形態では、画像取得部21は2台の撮像装置10L,10Rから撮像画像を取得するが、画像取得部21が撮像画像を取得する撮像装置の台数はこれに限られるものではない。画像取得部21は、例えば、1台又は3台以上の撮像装置から撮像画像を取得してもよい。
距離画像生成部22は、画像取得部21により取得された画像データに基づき、基準画像及び比較画像に対応する距離画像を生成する。具体的には、距離画像生成部22は、まず、あらかじめ記憶されている補正パラメータを用いて、基準画像の画像データと比較画像の画像データとの間のズレを補正する。ここでいうズレには、撮像装置10L,10Rのレンズの歪みによるものや、撮像装置10L,10Rの垂直方向、回転方向の位置又は向きのズレによるものが含まれる。そして、距離画像生成部22は、撮像画像全体を所定小区画(例えば1画素)に分割した画像ブロックごとに、基準画像と比較画像との間の水平視差を算出する。そして、距離画像生成部22は、算出した水平視差に基づき、画像ブロックに写る物体までの距離を算出する。これにより、画像ブロックごとに自車両から物体までの距離の情報を有する距離画像が生成される。
情報結合部23は、距離画像生成部22により生成された距離画像と、基準画像の色情報と、を対応関係がある画像領域ごとに結合する。本実施形態では、距離画像と基準画像の色情報とは画素ごとに結合される。また、本実施形態では、色情報は、画素ごとの色相及び彩度である。以下では、距離画像及び色情報が結合されることにより生成される画像の画像データを「HSD画像データ」という。HSDは、Hue,Saturation,Depth、つまり色相、彩度、距離を意味する。なお、HSD画像データのサイズは、224×224画素である。
ラベル付け部24は、情報結合部23により生成されたHSD画像データを入力データとして図2に示す第1の処理を実行する。第1の処理において、ラベル付け部24は、HSD画像データから路面領域を表す特徴量を抽出することにより、HSD画像データ内の各画素に対して、路面領域か非路面領域かを表す二値ラベルkを付与する。路面領域とは、路面に対応する領域である。路面領域は、例えば、図4のハッチングで示されるような、道路脇の側壁や道路中央の中央分離帯等に囲まれた領域である。
本実施形態では、ラベル付け部24は、畳み込みニューラルネットワーク(Convolutional Neural Network)を用いて、画像サイズを縮小しながらHSD画像から特徴量を抽出する。抽出された特徴量は、特徴量マップとして表現される。また、ラベル付け部24は、逆畳み込みニューラルネットワーク(Deconvolution Neural Network)を用いて、畳み込みニューラルネットワークによって生成された特徴量マップからHSD画像における路面領域の位置を復元する。この逆畳み込みニューラルネットワークによって、路面領域の情報のみが保持されつつ、入力画像と同じサイズの224×224画素の画像が復元される。
なお、畳み込みニューラルネットワークと逆畳み込みニューラルネットワークとが併用されたアルゴリズムは、例えば下記の論文などに示されるように公知である。
「H. Noh, S. Hong, and B. Han, “Learning deconvolution network for semantic segmentation.” CoRR, vol. abs/1505.04366, 2015.」
本実施形態では、上記論文で提案されたアルゴリズムをベースに、学習によってそのパラメータが調節されるものが使用される。学習の詳細については後述する。
以下、第1の処理における前段の畳み込みニューラルネットワーク及び後段の逆畳み込みニューラルネットワークについて簡単に説明する。
前段の畳み込みニューラルネットワークは、畳み込み層とプーリング層との組を複数(この例では5つ)有している。図2では、5つの畳み込み層C1〜C5と5番目のプーリング層P5とは図示されている。一方、1〜4番目のプーリング層P1〜P4は図示されていない。なお、5番目のプーリング層P5によって、路面領域の情報が最も圧縮された特徴量マップが生成される。
畳み込み層C1〜C5は、入力画像に対してフィルタを作用させることで畳み込みを行う層である。フィルタはn×n画素の要素を持ち、重みやバイアスといったパラメータを含む。なお、nは正の整数であり、例えば5である。フィルタは、画像内の領域を変更しながら、各領域に対して作用される。フィルタが作用されることによって画像内の局所的な特徴、つまりパターンが抽出される。
プーリング層P1〜P5は、入力画像に対してプーリングを行うことで、入力画像の解像度を下げる層である。典型的なプーリングは、畳み込み層C1〜C5から出力された2次元配列を2×2のグリッドに分割し、各グリッドの4つの値のうち最大値を取る処理である。別のプーリングとしては、2×2のグリッドのうちある1つの値(例えば左上の(1,1)の値)だけを取り出すサブサンプリングが挙げられる。プーリングによって、入力画像のサイズが1/4に圧縮される。なお、畳み込み層C1〜C5及びプーリング層P1〜P5によって抽出された特徴は、全結合層(Fully Connected層:FC層)で分類される。
後段の逆畳み込みニューラルネットワークは、逆畳み込み層とアンプーリング層との組を複数(この例では5つ)有している。図2では、5つの逆畳み込み層DC1〜DC5は図示されている。一方、5つのアンプーリング層は図示されていない。この逆畳み込み層DC1〜DC5及びアンプーリング層は、それぞれ、畳み込み層C1〜C5及びプーリング層と逆の機能を有する。具体的には、アンプーリング層では、畳み込みニューラルネットワークで行われたプーリングのインデックス情報を基に、プーリングで反応した部分に特徴量を拡大させる。具体的には例えば、プーリング層P1〜P5で、2×2グリッドの右上の(1,2)から値が抽出された場合には、アンプーリング層で、抽出された値が2×2グリッドの右上の(1,2)に入力され、2×2グリッドの他のグリッドに0が入力されることで、特徴量が拡大される。このように生成されるアンプーリング層の出力画像は疎であるため、アンプーリング層からの出力画像は、逆畳み込み層DC1〜DC5によって密にされる。逆畳み込み層DC1〜DC5は、畳み込みのような演算を行うことによって密な画像を生成する。逆畳み込み層DC1〜DC5における各フィルタは、重みやバイアスといったパラメータを含む。逆畳み込み層DC1〜DC5及びアンプーリング層によって、プーリング層P5を経て生成された特徴量マップは、入力画像と同サイズの224×224画素に拡大される。なお、逆畳み込みニューラルネットワークの最終の出力画像においては、路面領域を表す情報のみが保持される。
環境識別部25は、図2に示す第2の処理を実行することにより、ラベル付け部24の中間データ、具体的には、プーリング層P5によって生成された特徴量マップに対応する道路環境を識別する。すなわち、環境識別部25は、事前の学習によって得られた特徴量マップと道路環境との対応関係を表す識別器である環境識別器に基づき、プーリング層P5によって生成された特徴量マップに対応する道路環境を識別する。環境識別器の学習については後述する。また、環境識別器は、図2では「Trained Extra Trees Classifier」と記載されている。
本実施形態では、道路環境は、あらかじめ定義されたシーンラベルsにより分類されている。シーンラベルsは、車線境界線の数、順番及び特徴に基づいて決定される。車線境界線とは、具体的には道路区画線のことである。また、車線境界線の特徴とは、車線境界線の色や種類(破線状の車線境界線や連続した車線境界線等)などである。このように、シーンラベルsで分類された道路環境には、車線境界線の情報が含まれている。また、シーンラベルsによって道路環境が分類されることにより、道路環境が、道路が合流又は離脱した道路環境、複数の車線境界線がある道路環境、道路に道路区画線がない道路環境など、種々の道路環境に分類される。
シーンラベルsで分類された道路環境の例を図3に示す。
(a)は、路面領域の2つの境界と、2つの白色の車線境界線と、1つの白色の破線状の車線境界線と、を有する道路環境である。
(b)は、路面領域の2つの境界と、2つの白色の車線境界線と、1つの白色の連続した車線境界線と、を有する道路環境である。
(c)は、路面領域の2つの境界と、1つの黄色の車線境界線と、を有する道路環境である。
(d)は、路面領域の2つの境界と、2つの黄色の車線境界線と、1つの白色の車線境界線と、1つの破線状の車線境界線と、を有する道路環境である。
(e)は、路面領域の2つの境界と、2つの白色の車線境界線と、1つの白色の連続した車線境界線と、1つの破線状の車線境界線と、を有する道路環境である。
(f)は、路面領域の4つの境界と、3つの白色の車線境界線と、3つの白色の連続した車線境界線と、1つの破線状の車線境界線と、を有する道路環境である。なお、ここでいう路面領域の4つの境界には、左の出口の路面領域の境界が含まれる。また、3つの白色の連続した車線境界線には、左の出口の車線境界線が含まれる。
(g)は、路面領域の4つの境界と、2つの白色の車線境界線と、3つの破線状の車線境界線と、を有する道路環境である。なお、ここでいう路面領域の4つの境界には、左の出口の路面領域の境界が含まれる。また、3つの破線状の車線境界線には、左の出口の車線境界線が含まれる。
(h)は、路面領域の4つの境界と、3つの白色の車線境界線と、1つの黄色の車線境界線と、1つの白色の連続した車線境界線と、を有する道路環境である。なお、ここでいう路面領域の4つの境界には、左の出口の路面領域の境界が含まれる。また、3つの白色の車線境界線には、左の出口の車線境界線が含まれる。
(i)は、路面領域の4つの境界と、3つの破線状の車線境界線と、2つの白色の車線境界線と、を有する道路環境である。なお、ここでいう路面領域の4つの境界には、右の出口の路面領域の境界が含まれる。また、3つの破線状の車線境界線には、右の出口の車線境界線が含まれる。
(j)は、路面領域の4つの境界と、4つの破線状の車線境界線と、2つの白色の車線境界線と、を有する道路環境である。なお、ここでいう路面領域の4つの境界には、左の出口の路面領域の境界が含まれる。また、4つの破線状の車線境界線には、左の出口の車線境界線が含まれる。
(k)は、路面領域の6つの境界と、3つの破線状の車線境界線と、1つの白色の車線境界線と、を有する道路環境である。なお、ここでいう路面領域の6つの境界には、左の出口及び料金所がある場所の路面領域の境界が含まれ、3つの破線状の車線境界線には、左の出口の車線境界線が含まれる。
推定部26は、図2に示す第3の処理を実行することにより、撮像装置10L,10Rの撮像画像内の車線境界線の位置を推定する。すなわち、推定部26は、ラベル付け部24により抽出された特徴量の特徴量マップと環境識別部25により識別された道路環境とから撮像画像内の車線境界線の位置及び特徴を回帰するモデルである車線回帰モデルを用いて、車線境界線の位置を推定する。この車線回帰モデルは、事前の学習によって得られるものであり、その学習については後述する。なお、車線回帰モデルは、図2では「Trained Extra trees Regressor」と記載されている。
本実施形態では、車線境界線の位置は、曲線描画の制御点、つまり、ベジェ曲線の制御点を回帰することにより推定される。換言すれば、車線境界線の位置は、ベジェ曲線の制御点によって表現される。つまり、撮像画像にm個の車線境界線が含まれる場合、これらの車線境界線はm個のベジェ曲線によって表現される。また、本実施形態では、ベジェ曲線と共にレーンラベルベクトルWが共に出力される。レーンラベルベクトルWは、撮像画像にm個の車線境界線が含まれる場合はm個の成分を有する。レーンラベルベクトルWの各成分は、m個の車線境界線のうちのいずれかに対応し、対応する車線境界線の特徴を表すラベルとなっている。
推定された車線境界線の例を図4に示す。図中、ハッチングが付された領域は、第1の処理で検出された路面領域を表す。また、黒色の丸印は、推定された車線境界線の位置を表すベジェ曲線の制御点を表す。
なお、図中の白色の丸印は、後述する学習の際に入力されるベジェ曲線の制御点の真値点を表す。また、図4では、路面領域の境界もベジェ曲線の制御点によって表現されている。
[2.学習について]
[2−1.第1の処理のパラメータ]
第1の処理において、入力されたHSD画像データから路面領域が正しく検出されるように、上記論文の畳み込みニューラルネットワーク及び逆畳み込みニューラルネットワークのパラメータを調節する。具体的には、図5に示すように、学習用のHSD画像データと、そのHSD画像データに対応する画像であって、あらかじめ各画素が路面領域か非路面領域かラベル付けされた画像と、を入力データとして、上記パラメータが調節される。後者の画像は、換言すれば、路面領域の位置の真値を表す画像であり、図5では「Ground Truth Label」と記載されている。なお、調節されるパラメータは、畳み込み層C1〜C5、FC層及び逆畳み込み層DC1〜DC5におけるフィルタの重みやバイアス等である。
[2−2.環境識別器]
第2の処理では、第1の処理で抽出された特徴量に対応する道路環境を識別する環境識別器として、エクストラツリーズ(extra trees)に基づく識別器が使用される。エクストラツリーズとは、公知の機械学習のアルゴリズムであるランダムフォレスト(random forest)の拡張である。ランダムフォレストでは、1つの学習用データセットから重複を許して複数のサブセットが作成される。そして、それぞれのサブセットに対して弱識別器となる決定木が作成される。その後、作成された各決定木の判定結果を集約する(例えば多数決を取る)ことにより強識別器が作成される。
本実施形態では、図6に示すように、特徴量マップと、その特徴量マップに対応する道路環境、つまりシーンラベルsと、を学習用データセットとして、ランダムフォレストが作成される。なお、学習には、図3に示す道路環境が使用される。
[2−3.車線回帰モデル]
第3の処理における車線回帰モデルとしては、環境識別器と同様、ランダムフォレストに基づくモデルが使用される。当該ランダムフォレストは、図7に示すように、道路環境ごとに作成されたHSD画像データと、そのHSD画像データにおける車線境界線の位置をベジェ曲線の制御点で表した画像と、学習用データセットとして作成される。後者の画像は、車線境界線の位置の真値を表す画像であり、図7では「BezierGround Truth Label」と記載されている。また、本実施形態では、車線回帰モデルは、HSD画像データから抽出された特徴量とそのHSD画像データの道路環境とが入力された場合に、レーンラベルベクトルWも回帰できるように学習される。
[3.効果]
以上詳述した実施形態によれば、以下の効果が得られる。
(1)本実施形態では、境界線推定装置20は、入力された撮像画像の画像データから路面領域を表す特徴量を抽出し、事前の学習によって得られた環境識別器に基づき、抽出された特徴量に対応する道路環境を識別する。そして、境界線推定装置20は、識別された道路環境に基づき、撮像画像内の車線境界線の位置を推定する。したがって、このような構成によれば、撮像画像上で車線境界線の一部が先行車両等により遮られている場合であっても、車線境界線の位置を推定することができる。
(2)本実施形態では、境界線推定装置20は、撮像画像に対応する距離画像を生成し、生成した距離画像と、撮像画像の色情報と、に基づき、特徴量を抽出する。例えば、トンネルのような場所では、距離画像における路面領域よりも上方の部分の距離は、路面領域の上方に空が広がっている場合と比較して、小さくなる。つまり、距離画像は道路環境に応じて異なる。よって、距離画像と色情報とに基づき特徴量を抽出することで、例えば、色情報のみから特徴量を抽出する構成と比較して、道路環境を識別しやすくすることができる。
(3)本実施形態では、境界線推定装置20は、複数の撮像装置10L,10Rから取得された複数の撮像画像間の視差に基づき、距離画像を生成する。したがって、道路環境の識別をより精度良く行うことができる。
すなわち、距離画像は、例えば、自車両と自車両周辺の物体との距離を測定可能なレーダを用いても生成することができる。しかしながら、レーダが用いられる場合、レーダの探索範囲によっては、撮像画像中の一部の領域についてしか距離が取得できない場合がある。これに対して、本実施形態のように、複数の撮像装置10L,10Rの撮像画像に基づき距離画像を生成する場合、撮像画像中の全領域について距離を取得することができる。よって、撮像画像中の全領域にわたって距離に基づく特徴量を抽出することができる。ひいては、道路環境の識別をより精度良く行うことができる。
(4)本実施形態では、境界線推定装置20は、学習によってパラメータが調節された畳み込みニューラルネットワークに従い、特徴量を抽出する。したがって、人の感覚では物理的意味が明確に把握できない特徴量であっても抽出することができる。そして、そのような特徴量に基づき道路環境を識別することができる。よって、畳み込みニューラルネットワークよりも抽出可能な特徴量が限られている抽出方法を使用する場合よりも、精度の高い車線境界線の位置推定を行うことができる。
(5)本実施形態では、境界線推定装置20は、撮像画像内の車線境界線の位置を、ベジェ曲線の制御点を回帰することにより推定する。換言すれば、車線境界線の位置は、ベジェ曲線の制御点によって表現される。よって、例えば、直線や円を使って車線境界線の位置を表現する構成と比較して、複雑な形状の車線境界線の位置も表すことができる。
なお、本実施形態では、距離画像生成部22、情報結合部23及びラベル付け部24が抽出部としての処理に相当する。
[4.他の実施形態]
以上、本開示を実施するための形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
(1)上記実施形態では、ラベル付け部24は、距離画像と撮像画像の色情報とが結合したHSD画像データを入力データとして当該HSD画像データから特徴量を抽出するが、入力データはこれに限られるものではない。例えば、撮像画像の色情報のみを入力データとして、当該色情報から特徴量が抽出されてもよい。
(2)上記実施形態では、境界線推定システム1は車両に搭載されるが、境界線推定システム1が搭載される対象はこれに限られるものではない。境界線推定システム1は、例えば、ロボット等に搭載されてもよい。
(3)上記実施形態で、境界線推定装置20が実行する機能の一部又は全部を、1つあるいは複数のIC等によりハードウェア的に構成してもよい。
(4)前述した境界線推定装置20の他、当該境界線推定装置20を構成要素とするシステム、当該境界線推定装置20としてコンピュータを機能させるためのプログラム、このプログラムを記憶した半導体メモリ等の非遷移的実体的記憶媒体、車線境界線の位置を推定する方法など、種々の形態で本開示を実現することもできる。
(5)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
1…境界線推定システム、10L,10R…撮像装置、20…境界線推定装置、21…画像取得部、22…距離画像生成部、23…情報結合部、24…ラベル付け部、25…環境識別部、26…推定部。

Claims (4)

  1. 周辺環境を撮像する少なくとも1つの撮像装置(10L,10R)から撮像画像を取得する画像取得部(21)と、
    前記撮像画像から路面領域を表す特徴量を抽出する抽出部(22〜24)と、
    事前の学習によって得られた前記特徴量と道路環境との対応関係を表す識別器に基づき、前記抽出部により抽出された前記特徴量に対応する前記道路環境を識別する環境識別部(25)と、
    前記環境識別部により識別された前記道路環境に基づき、前記撮像画像内の車線境界線の位置を推定する推定部(26)と、
    を備え
    前記抽出部は、学習によってパラメータが調節された畳み込みニューラルネットワークに従い、前記特徴量を抽出する、
    境界線推定装置(20)。
  2. 請求項1に記載の境界線推定装置であって、
    前記抽出部は、前記撮像画像に対応する距離画像を生成し、生成した前記距離画像と、前記撮像画像の色情報と、に基づき、前記特徴量を抽出する、境界線推定装置。
  3. 請求項2に記載の境界線推定装置であって、
    前記画像取得部は、同一対象を複数の異なる視点から撮像するための複数の前記撮像装置から前記撮像画像を取得し、
    前記抽出部は、前記複数の撮像装置から取得された複数の前記撮像画像間の視差に基づき、前記距離画像を生成する、境界線推定装置。
  4. 請求項1から請求項までのいずれか1項に記載の境界線推定装置であって、
    前記推定部は、前記撮像画像内の車線境界線の位置を、曲線描画の制御点を回帰することにより推定する、境界線推定装置。
JP2016231472A 2016-11-29 2016-11-29 境界線推定装置 Active JP6798860B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016231472A JP6798860B2 (ja) 2016-11-29 2016-11-29 境界線推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016231472A JP6798860B2 (ja) 2016-11-29 2016-11-29 境界線推定装置

Publications (2)

Publication Number Publication Date
JP2018088151A JP2018088151A (ja) 2018-06-07
JP6798860B2 true JP6798860B2 (ja) 2020-12-09

Family

ID=62494501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016231472A Active JP6798860B2 (ja) 2016-11-29 2016-11-29 境界線推定装置

Country Status (1)

Country Link
JP (1) JP6798860B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6918425B2 (ja) * 2017-11-09 2021-08-11 株式会社Mobility Technologies 撮影画像に含まれる境界線を検出するための装置、方法、及びプログラム
US10262214B1 (en) * 2018-09-05 2019-04-16 StradVision, Inc. Learning method, learning device for detecting lane by using CNN and testing method, testing device using the same
US10275667B1 (en) * 2018-09-05 2019-04-30 StradVision, Inc. Learning method, learning device for detecting lane through lane model and testing method, testing device using the same
CN109558808A (zh) * 2018-11-09 2019-04-02 同济大学 一种基于深度学习的路边沿检测方法
US10633007B1 (en) * 2019-01-31 2020-04-28 StradVision, Inc. Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network
CN111582009B (zh) * 2019-02-19 2023-09-15 富士通株式会社 训练分类模型的装置和方法及利用分类模型分类的装置
CN111582008B (zh) * 2019-02-19 2023-09-08 富士通株式会社 训练分类模型的装置和方法及利用分类模型分类的装置
CN110163077A (zh) * 2019-03-11 2019-08-23 重庆邮电大学 一种基于全卷积神经网络的车道识别方法
CN112396170B (zh) * 2019-08-14 2024-04-02 上海寒武纪信息科技有限公司 运算方法、装置、计算机设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4032727B2 (ja) * 2001-12-12 2008-01-16 アイシン精機株式会社 車線境界検出装置
JP4292250B2 (ja) * 2004-07-02 2009-07-08 トヨタ自動車株式会社 道路環境認識方法及び道路環境認識装置
JP4648697B2 (ja) * 2004-12-27 2011-03-09 アイシン・エィ・ダブリュ株式会社 画像認識装置及び方法、ナビゲーション装置
JP5677900B2 (ja) * 2011-06-29 2015-02-25 株式会社日本自動車部品総合研究所 車載白線認識装置
JP5746996B2 (ja) * 2012-03-21 2015-07-08 日立オートモティブシステムズ株式会社 道路環境認識装置
JP2013030183A (ja) * 2012-09-28 2013-02-07 Toyota Central R&D Labs Inc 環境認識装置及びプログラム
JP6360802B2 (ja) * 2015-02-20 2018-07-18 株式会社デンソーアイティーラボラトリ ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、検出装置、検出方法、および、車両

Also Published As

Publication number Publication date
JP2018088151A (ja) 2018-06-07

Similar Documents

Publication Publication Date Title
JP6798860B2 (ja) 境界線推定装置
CN110310320B (zh) 一种双目视觉匹配代价聚合优化方法
JP6586430B2 (ja) 車両位置の推定
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
CN111079685B (zh) 一种3d目标检测方法
JP7134012B2 (ja) 視差推定装置及び方法
CN103822616B (zh) 一种图分割与地形起伏约束相结合的遥感影像匹配方法
US9665803B2 (en) Image processing apparatus and image processing method
CN111063021A (zh) 一种空间运动目标的三维重建模型建立方法及装置
KR20180087994A (ko) 스테레오 매칭 방법 및 영상 처리 장치
US11017542B2 (en) Systems and methods for determining depth information in two-dimensional images
JP6111745B2 (ja) 車輌検知方法及び装置
CN107274483A (zh) 一种物体三维模型构建方法
US11030478B1 (en) System and method for correspondence map determination
CN110084743B (zh) 基于多航带起始航迹约束的图像拼接与定位方法
CN112734822A (zh) 一种基于红外和可见光图像的立体匹配算法
CN116883588A (zh) 一种大场景下的三维点云快速稠密重建方法及系统
Xu et al. Real-time stereo vision system at nighttime with noise reduction using simplified non-local matching cost
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN110929782B (zh) 一种基于正射影像图对比的河道异常检测方法
KR20220014678A (ko) 영상의 깊이를 추정하는 방법 및 장치
Huang et al. ES-Net: An efficient stereo matching network
Parmehr et al. Automatic registration of optical imagery with 3d lidar data using local combined mutual information
KR100691855B1 (ko) 영상정보의 특징 추출장치 및 그 방법
CN116194956A (zh) 场景的3d点云的生成

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20161228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201119

R150 Certificate of patent or registration of utility model

Ref document number: 6798860

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250