JP7032280B2 - 横断歩道標示推定装置 - Google Patents

横断歩道標示推定装置 Download PDF

Info

Publication number
JP7032280B2
JP7032280B2 JP2018192668A JP2018192668A JP7032280B2 JP 7032280 B2 JP7032280 B2 JP 7032280B2 JP 2018192668 A JP2018192668 A JP 2018192668A JP 2018192668 A JP2018192668 A JP 2018192668A JP 7032280 B2 JP7032280 B2 JP 7032280B2
Authority
JP
Japan
Prior art keywords
pedestrian crossing
marking
band
end candidate
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018192668A
Other languages
English (en)
Other versions
JP2020061020A (ja
Inventor
恭一 通山
実 鎌田
太久磨 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Toyota Motor Corp
Original Assignee
University of Tokyo NUC
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC, Toyota Motor Corp filed Critical University of Tokyo NUC
Priority to JP2018192668A priority Critical patent/JP7032280B2/ja
Priority to US16/519,400 priority patent/US11055542B2/en
Publication of JP2020061020A publication Critical patent/JP2020061020A/ja
Application granted granted Critical
Publication of JP7032280B2 publication Critical patent/JP7032280B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Description

本開示は、横断歩道標示推定装置に関する。
複数のバンドを含む横断歩道標示の位置を推定する装置が知られている。例えば特許文献1には、車両前方の道路の画像からエッジ点を抽出し、抽出されたエッジ点を通る線分に基づいて横断歩道標示の道路延在方向における縁部の位置を推定する装置が開示されている。
特開2005-339468号公報
上述したような装置では、例えば、擦れ等により横断歩道標示が不明瞭な場合に、画像から横断歩道標示のエッジ点を適切に抽出することができず、横断歩道標示の位置の推定精度が低下するおそれがある。
そこで、本開示は、横断歩道標示が不明瞭な場合であっても、横断歩道標示の位置の推定精度の低下を抑制することができる横断歩道標示推定装置を提供することを目的とする。
本開示の一態様に係る横断歩道標示推定装置は、車載センサによる検出結果に基づいて複数のバンドを含む横断歩道標示の位置を推定する横断歩道標示推定装置であって、車載センサによる検出結果から車両周囲の道路の平面視路面画像を生成する平面視路面画像生成部と、平面視路面画像とバンドの道路延在方向における一方の端部の検出用の予め記憶されたテンプレート画像とに基づいて、平面視路面画像上において、複数のバンドのそれぞれの端部の候補である端部候補を取得する端部候補取得部と、端部候補取得部により取得された端部候補の平面視路面画像上における分布に基づいて、端部候補の道路延在方向における集まりの状況から、横断歩道標示の道路延在方向における一方の縁部に対応する端部候補である選択端部候補を選択する端部候補選択部と、端部候補選択部により選択された選択端部候補に基づいて、横断歩道標示の縁部の位置を推定する横断歩道縁部推定部と、を備える。
この横断歩道標示推定装置によれば、車両周囲の道路の平面視路面画像とバンドの端部の検出用のテンプレート画像とに基づいて、平面視路面画像上におけるバンドの端部候補が取得される。また、取得された端部候補の平面視路面画像上における分布に基づいて、端部候補の道路延在方向における集まりの状況から、横断歩道標示の縁部に対応する端部候補である選択端部候補が選択される。そして、選択された選択端部候補に基づいて、横断歩道標示の縁部の車両に対する位置が推定される。ここで、横断歩道標示の縁部では、道路延在方向における狭い範囲内に複数のバンドの端部が存在している。このため、仮に擦れ等によりいくつかのバンドの端部以外の誤った部分を端部候補として誤検出した場合であっても、バンドの道路延在方向における端部候補の集まりの状況に基づいて選択端部候補を適切に選択することができる。このように、横断歩道標示推定装置では、検出用のテンプレート画像を用いて取得されたバンドの端部候補のうち選択端部候補を用いて横断歩道標示の縁部の車両に対する位置を推定するため、横断歩道標示が不明瞭な場合であっても、横断歩道標示の位置の推定精度の低下を抑制することができる。
本開示の一態様に係る横断歩道標示推定装置は、平面視路面画像において、選択端部候補から連続する選択端部候補の類似領域をバンドの標示領域として取得する標示領域取得部と、標示領域取得部により取得された標示領域の道路延在方向における長さに基づいて、標示領域を取得したバンドの中から基準バンドを選択する基準バンド選択部と、を備え、横断歩道縁部推定部は、基準バンド選択部により選択された基準バンドの選択端部候補に基づいて、横断歩道標示の縁部の車両に対する位置を推定してもよい。これによれば、横断歩道標示推定装置では、選択端部候補から連続する選択端部候補の類似領域である標示領域の長さに基づいて擦れ等が比較的少ないバンドを基準バンドとして選択することが可能となる。したがって、横断歩道標示推定装置では、基準バンドの選択端部候補に基づいて横断歩道標示の縁部の車両に対する位置を推定することで、バンドの標示領域の長さを考慮しない場合と比較して、横断歩道標示の位置の推定精度を向上させることができる。
本開示の種々の態様によれば、横断歩道標示が不明瞭な場合であっても、横断歩道標示の位置の推定精度の低下を抑制することが可能となる。
図1は、第1実施形態に係る横断歩道標示推定装置を示すブロック図である。 図2は、車両前方を撮像した画像を示す図である。 図3は、車両前方の道路の平面視路面画像を示す図である。 図4は、バンドの端部の検出用のテンプレート画像を示す図である。 図5は、平面視路面画像上におけるバンドの端部との類似度を示す類似度マップを示す図である。 図6は、平面視路面画像上におけるバンドの端部候補を示す図である。 図7は、端部候補の道路延在方向における集まりの状況を示す図である。 図8は、端部候補の中から選択された選択端部候補を示す図である。 図9は、平面視路面画像上における選択端部候補の位置を示す図である。 図10は、選択端部候補からそれぞれ連続するバンドの標示領域を示す図である。 図11は、補完された基準バンドを示す図である。 図12は、補完バンドを示す図である。 図13は、補完バンドの端部の位置に基づいて推定された横断歩道標示の縁部の位置を示す図である。 図14は、第1実施形態に係る横断歩道縁部推定処理を示すフローチャートである。 図15は、傾斜横断歩道の一例を示す図である。 図16は、第2実施形態に係る横断歩道縁部推定処理を示すフローチャートである。 図17は、傾斜横断歩道の他の一例を示す図である。 図18は、傾斜横断歩道の他の一例を示す図である。
以下、図面を参照して、例示的な実施形態について説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。
[第1実施形態]
図1は、第1実施形態に係る横断歩道標示推定装置1を示すブロック図である。図1に示されるように、横断歩道標示推定装置1は、乗用車等の車両に搭載され、車載センサによる検出結果に基づいて複数のバンドBを含む横断歩道標示Zの位置を推定する装置である(図2参照)。
「横断歩道標示Z」とは、道路Rの道路幅方向D1における一方側から他方側にわたって、複数のバンドBが互いに離間するように並んで標示された道路標示である(図3参照)。横断歩道標示Zは、道路Rにおける歩行者の横断帯である。各バンドBは、道路延在方向D2に沿って延びる四角形(ここでは、長方形)をなしている。また、本実施形態では、各バンドBの道路延在方向D2における手前側の端部(一方の端部)Bnが道路幅方向D1と略平行に一列に並ぶように、道路Rに標示されている。各バンドBの端部Bnは、横断歩道標示Zの道路延在方向D2における手前側の縁部(一方の縁部)Znを構成している。横断歩道標示Zは、例えば道路Rを走行する車両等に踏まれることにより擦れている場合がある。本実施形態においても、横断歩道標示Zの各バンドBは部分的に擦れている。また、本実施形態では、横断歩道標示推定装置1により横断歩道標示Zの道路延在方向D2における手前側の縁部Znを推定する態様について説明するが、横断歩道標示推定装置1は、横断歩道標示Zの道路延在方向D2における奥側の縁部Zfを推定する態様についても同様に適用可能である。
横断歩道標示推定装置1は、横断歩道縁部推定ECU[Electronic Control Unit]10を備えている。また、横断歩道縁部推定ECU10は、外部センサ(車載センサ)2と接続されている。
外部センサ2は、車両の外部状況を検出する検出機器である。外部センサ2は、例えばカメラを有している。外部センサ2により検出される車両の外部状況には、車両Vの周辺における道路情報(例えば、横断歩道標示Z)が含まれる。
カメラは、車両の外部状況を撮像する撮像機器であり、より詳細には車両前方の画像P1を撮像する(図2参照)。カメラは、例えば、車両のフロントガラスの車室内側に設けられている。カメラは、車両の外部状況に関する撮像情報を横断歩道縁部推定ECU10に送信する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラは、両眼視差を再現するように配置された二つの撮像部を有している。ステレオカメラの撮像情報には、奥行き方向の情報も含まれる。
横断歩道縁部推定ECU10は、装置を統括的に制御する電子制御ユニットである。横断歩道縁部推定ECU10は、CPU[Central Processing Unit]、ROM[Read OnlyMemory]、RAM[Random Access Memory]等を有している。横断歩道縁部推定ECU10は、例えば、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムをCPUで実行することにより、各機能を実現する。横断歩道縁部推定ECU10は、複数のECUにより構成されていてもよい。横断歩道縁部推定ECU10の機能の一部は、車両と通信可能なサーバで実行されてもよい。
横断歩道縁部推定ECU10は、機能的な構成として、周囲画像取得部11、平面視路面画像生成部12、端部候補取得部13、端部候補選択部14、標示領域取得部15、基準バンド選択部16、バンド補完部17、及び横断歩道縁部推定部18を有している。
周囲画像取得部11は、カメラから車両前方の撮像情報を受信して、車両前方の画像P1を取得する。図2は、車両前方を撮像した画像P1を示す図である。周囲画像取得部11は、例えば図2に示されるような車両前方の画像P1を取得する。図2には、車両前方の道路R上に、部分的に擦れた横断歩道標示Zが標示されている。
平面視路面画像生成部12は、外部センサ2による検出結果から車両周囲(ここでは、車両前方)の道路の平面視路面画像P2を生成する。より詳細には、平面視路面画像生成部12は、カメラにより取得された車両前方の画像P1を周囲画像取得部11から取得し、取得した画像P1に基づいて車両前方の平面視路面画像P2を生成する。図3は、車両前方の道路Rの平面視路面画像P2を示す図である。図2及び図3に示されるように、平面視路面画像生成部12は、例えば、車両前方を撮像した画像P1(図2)に対して、車両に対するカメラの取付け姿勢(取付け角度)を考慮した逆投影変換を実行することで、車両前方の道路Rの平面視路面画像P2(図3)を生成する。
また、平面視路面画像生成部12は、生成した車両前方の道路Rの平面視路面画像P2から、横断歩道標示Zが含まれている領域(含まれている可能性が高い領域)を検出ROI[Region Of Interest]として抽出する。「検出ROI」とは、道路Rにおいて、横断歩道標示Zの検出対象とされる領域である。検出ROIが設定されることにより、横断歩道標示推定装置1による横断歩道縁部推定処理のための演算量を低減するとともに、演算時のノイズを低減することが可能となる。ここでは、平面視路面画像生成部12は、図3において2本の二点鎖線で挟まれる領域を、道路幅方向D1における予め設定された範囲を検出ROIとして抽出する。なお、平面視路面画像生成部12は、車両前方を撮像した画像P1がカラー画像である場合には、当該画像P1に対してモノクロ変換をさらに実行してもよい。また、平面視路面画像生成部12は、車両前方を撮像した画像P1のサイズが必要以上に大きい場合には、当該画像P1に対して画像サイズを縮小する処理をさらに実行してもよい。
端部候補取得部13は、平面視路面画像P2上において、端部候補Cを取得する。「端部候補C」とは、各バンドBの端部Bnの候補である。図4は、バンドBの端部Bnの検出用のテンプレート画像P3を示す図である。図5は、平面視路面画像P2上におけるバンドBの端部Bnとの類似度を示す類似度マップP4を示す図である。図6は、平面視路面画像P2上におけるバンドBの端部候補Cを示す図である。図4に示されるように、端部候補取得部13は、バンドBの端部Bnの検出用のテンプレート画像P3を予め記憶している。端部候補取得部13は、平面視路面画像P2とテンプレート画像P3とに基づいて、テンプレートマッチング等の公知の処理を実行することで、図5に示される類似度マップP4を取得する。図5に示される類似度マップP4では、平面視路面画像P2上において、テンプレート画像P3との類似度が高い位置ほど(すなわち、バンドBの端部Bnが存在する可能性が高い位置ほど)、より白く表示されている。
端部候補取得部13は、図5に示される類似度マップP4に対して閾値処理を実行する。より詳細には、端部候補取得部13は、図6に示されるように、類似度マップP4に対して、類似度が予め設定された閾値以上である領域を残した端部候補マップP5を生成する。端部候補取得部13は、類似度マップP4において類似度が予め設定された閾値以上である領域(すなわち、端部候補マップP5において白く表示されている領域)において、類似度が極大となる点(例えば、画像上の1ピクセル)を検出し、当該点を端部候補Cとして取得する。
端部候補選択部14は、端部候補取得部13により取得された端部候補Cの平面視路面画像P2上における分布に基づいて、端部候補Cの道路延在方向D2における集まりの状況から、選択端部候補Csを選択する。「選択端部候補Cs」とは、横断歩道標示Zの縁部Znに対応する端部候補Cである。すなわち、端部候補Cが、平面視路面画像P2とテンプレート画像P3とのテンプレートマッチングにより単にテンプレート画像P3との形状の類似度に基づいて取得された点であるのに対して、選択端部候補Csは、端部候補Cの中から選択された、横断歩道標示Zの縁部Znに対応する端部候補Cである。「集まりの状況」とは、道路延在方向D2における各位置において端部候補Cが密集して存在している度合いの状況である。例えば、集まりの状況は、端部候補Cを道路延在方向D2における位置に応じて道路幅方向D1に積算したときの積算値であってもよい。集まりの状況は、例えば、道路延在方向D2に重みづけがされていてもよく、端部候補Cにおける類似度が考慮されていてもよい。
端部候補選択部14により端部候補Cから選択端部候補Csを選択する処理の一例を説明する。図7は、端部候補Cの道路延在方向D2における集まりの状況を示す図である。図8は、端部候補Cの中から選択された選択端部候補Csを示す図である。図7及び図8に示されるように、端部候補選択部14は、各端部候補Cの類似度にガウシアンカーネルを用いて道路延在方向D2に正規分布の重みづけをして、道路幅方向D1に積算する(図7のヒストグラムP6参照)。換言すると、端部候補選択部14は、端部候補Cの道路延在方向D2における集まりの状況を取得する。
続いて、端部候補選択部14は、図7のヒストグラムP6を、互いに連続した(類似度に重みづけをして積算した値が0にならずに連続した)部分毎のセクションに分割する。図7においては、ヒストグラムP6は、道路延在方向D2の手前側とは反対側である奥側から順にセクションSS1,SS2,SS3,SS4に分割されている。端部候補選択部14は、これらのセクションのうち、頂点の高さが予め設定された閾値Th以上であるピークを含むセクションを検出する。図7においては、セクションSS4に含まれるピークの頂点の高さが予め設定された閾値Th以上であり、セクションSS4以外のセクションに含まれるピークの頂点の高さは予め設定された閾値Th未満である。これは、セクションSS4では端部候補Cが道路延在方向D2において密集しており、横断歩道標示Zの縁部ZnがセクションSS4に存在している可能性が高いことを意味している。端部候補選択部14は、セクションSS4に含まれる端部候補Cを選択端部候補Csとして選択する。
標示領域取得部15は、平面視路面画像P2において、端部候補選択部14により選択された選択端部候補Csから連続する選択端部候補Csの類似領域をバンドBの標示領域Mとして取得する。「選択端部候補Csの類似領域」とは、平面視路面画像P2において、選択端部候補Csと状況の類似した領域である。例えば、選択端部候補Csの類似領域は、平面視路面画像P2において、当該選択端部候補Csの輝度(例えば、平均輝度)を基準として画像の輝度差が予め設定された範囲内の領域であってもよく、当該選択端部候補Csを基準として画像の色相、明度、彩度等が予め設定された範囲内の領域であってもよい。ここでは、選択端部候補Csの類似領域は、平面視路面画像P2において、上述した輝度、色相、明度、彩度等に基づいて、擦れ等が少なく当該選択端部候補Csに係るバンドBが明瞭に標示されていると判定される領域である。「選択端部候補Csから連続する選択端部候補Csの類似領域」とは、平面視路面画像P2において、各選択端部候補Csを起点として、擦れ等が少なくバンドBが比較的明瞭に標示されている領域と、擦れ等によりバンドBが標示されていない領域との境界までの領域である。
標示領域取得部15により平面視路面画像P2において選択端部候補Csからそれぞれ連続するバンドBの標示領域Mを取得する処理の一例を説明する。図9は、平面視路面画像P2上における選択端部候補Csの位置を示す図である。図10は、選択端部候補Csからそれぞれ連続するバンドBの標示領域Mを示す図である。図9及び図10に示されるように、標示領域取得部15は、端部候補マップP5において、端部候補選択部14により選択された各選択端部候補Csの周囲に二値化対象領域Aを設定する。ここでは、標示領域取得部15は、各選択端部候補Csを中心とした所定の大きさの正方形領域を二値化対象領域Aとして設定している。
続いて、標示領域取得部15は、平面視路面画像P2上に設定した各二値化対象領域A内における類似度に基づいて、当該二値化対象領域A内を好適に二値化可能な閾値(以下、「二値化閾値」という)を設定する。例えば、標示領域取得部15は、大津メソッドに基づいて、各二値化対象領域Aに対応した二値化閾値を設定してもよい。
まず、標示領域取得部15は、いずれか1個の選択端部候補Csに対応する二値化対象領域Aを対象として、二値化閾値を取得する。標示領域取得部15は、取得された二値化閾値に基づいて、平面視路面画像P2全体を二値化する。そして、標示領域取得部15は、二値化された平面視路面画像P2に基づいて、今回対象としている選択端部候補Csから連続するバンドBの標示領域Mを取得する。これにより、複数のバンドBのうち今回対象としているバンドBの、擦れ等が少なく当該バンドBが比較的明瞭に標示されている領域が、当該バンドBの標示領域Mとして取得される。
次に、標示領域取得部15は、前回対象とした選択端部候補Csとは別のいずれか1個の選択端部候補Csに対応する二値化対象領域Aを対象として二値化閾値を取得し、取得された二値化閾値に基づいて平面視路面画像P2全体を二値化する。そして、標示領域取得部15は、二値化された平面視路面画像P2に基づいて、今回対象としている選択端部候補Csから連続するバンドBの標示領域Mを取得する。その後も、前回までに対象とした選択端部候補Csとは別のいずれか1個の選択端部候補Csを対象として同様の処理を行うことを繰り返し、全ての選択端部候補Csについて、各選択端部候補Csからそれぞれ連続するバンドBの標示領域Mを取得する。その後、標示領域取得部15は、取得された各バンドBの標示領域Mのうち、その大きさが予め設定された条件を満たさないものを除外する。例えば、標示領域取得部15は、取得された各バンドBの標示領域Mのうち、その道路幅方向D1における幅が所定の長さ範囲外であるもの、及び、その道路延在方向D2における長さが所定の長さ範囲外であるものを除外する。これにより、横断歩道標示Z以外のものの誤検知によるノイズを低減することができる。以下、取得されたバンドBの標示領域Mのうち、その大きさが予め設定された条件を満たすものを示す図10を標示領域マップP7という。
基準バンド選択部16は、標示領域取得部15により取得された標示領域Mの道路延在方向D2における長さに基づいて、標示領域Mを取得したバンドBの中から基準バンドBsを選択する(図11参照)。「基準バンドBs」とは、複数のバンドBのうち、擦れ等が最も少なく最も明瞭に標示されているバンドBである。基準バンドBsの端部Bnの位置は、非基準バンドBtと比較して、横断歩道標示Zの縁部Znの位置と精度良く対応している。「非基準バンドBt」とは、バンドBのうち基準バンドBs以外のバンドBである。基準バンド選択部16は、例えば、バンドBのうち、標示領域Mの道路延在方向D2における長さが最も長いバンドBを基準バンドBsとして選択する。この場合、図10の標示領域マップP7に示されるバンドBにおいては、図中の右から2番目のバンドBの標示領域Mの道路延在方向D2における長さが最も長いため、当該バンドBが基準バンドBsとして選択される。なお、基準バンド選択部16は、バンドBのうち、標示領域Mの道路延在方向D2における長さと、全てのバンドBの標示領域Mの道路延在方向D2における長さの平均値と、の差分が所定範囲内であり、且つ、標示領域Mの道路延在方向D2における長さが最も長いバンドBを、基準バンドBsとして選択してもよい。或いは、基準バンド選択部16は、バンドBのうち、標示領域Mの道路延在方向D2における長さと道路幅方向D1における長さとの積が最も大きいバンドBを、基準バンドBsとして選択してもよい。
バンド補完部17は、基準バンド選択部16により選択された基準バンドBsの標示領域Mの端部Bnの位置を検出するとともに、非基準バンドBtの標示領域Mの端部Bnの位置を検出する。バンド補完部17は、例えば、検出された基準バンドBsの標示領域Mの端部Bnの位置に基づいて、非基準バンドBtの標示領域Mの端部Bnの位置を検出する。
また、バンド補完部17は、基準バンドBs及び非基準バンドBtの標示領域Mの端部Bnの位置を検出するに際し、基準バンドBs及び非基準バンドBtの標示領域M(すなわち、部分的に擦れた標示領域M)を補完して、補完バンドを推定する。「補完バンドBc」とは、バンドBの標示領域M(すなわち、部分的に擦れた標示領域M)を補完して推定されたバンドBの本来の領域(すなわち、擦れる前の領域)である。バンド補完部17は、バンドBの本来の領域を長方形として推定する。なお、バンド補完部17は、バンドBの本来の領域を、長方形以外の四角形(例えば、平行四辺形、台形)として推定してもよく、四角形以外の形状(例えば、円形等)として推定してもよい。
バンド補完部17により、基準バンドBs及び非基準バンドBtの標示領域Mの端部Bnの位置を検出する処理の一例を説明する。図11は、補完された基準バンドBsを示す図である。図12は、補完バンドBcを示す図である。図11及び図12に示されるように、バンド補完部17は、基準バンド選択部16により選択された基準バンドBsに対して、当該基準バンドBsに外接する補完バンドBcを生成する。ここでは、基準バンドBsの補完バンドBcは、各辺が道路幅方向D1又は道路延在方向D2に平行な長方形であり、且つ、各辺がバンドBの標示領域Mに外接する長方形をなしている。
続いて、バンド補完部17は、道路延在方向D2において基準バンドROIを抽出する。「基準バンドROI」とは、生成された基準バンドBsの補完バンドBcの端部Bnと奥側の端部Bfとの間の領域である。図12においては、基準バンドROIは、道路延在方向D2において2本の二点鎖線に挟まれる領域である。複数のバンドBのうち、擦れ等が最も少なく最も明瞭に標示されているバンドBである基準バンドBsの標示領域Mは、非基準バンドBtの標示領域MよりもバンドBの本来の領域に近いと推定される。したがって、非基準バンドBtの本来の領域ではない領域が当該非基準バンドBtの標示領域Mであると誤検知されている場合であっても、基準バンドROIが設定されることにより、横断歩道標示Zの縁部Znの位置の推定精度が当該誤検知により低下することを抑制することが可能となる。
より具体的には、バンド補完部17は、非基準バンドBtに対して、当該非基準バンドBtのうち道路延在方向D2における基準バンドROI内の領域に外接する補完バンドBcを生成する。ここでは、非基準バンドBtの補完バンドBcは、基準バンドBsの補完バンドBcと同様に、各辺が道路幅方向D1又は道路延在方向D2に平行な長方形をなしている。バンド補完部17は、基準バンドBs及び非基準バンドBtの補完バンドBcの端部Bnの位置を、基準バンドBs及び非基準バンドBtの標示領域Mの端部Bnの位置として検出する。
横断歩道縁部推定部18は、端部候補選択部14により選択された選択端部候補Csに基づいて(例えば、選択端部候補Csの道路延在方向D2における位置に基づいて)、横断歩道標示Zの縁部Znの車両に対する位置を推定する。より具体的には、横断歩道縁部推定部18は、基準バンド選択部16により選択された基準バンドBsの選択端部候補Csに基づいて(例えば、基準バンドBs及び非基準バンドBtの補完バンドBcの選択端部候補Csの位置に基づいて)、横断歩道標示Zの縁部Znの車両に対する位置を推定する。図13は、補完バンドBcの端部Bnの位置に基づいて推定された横断歩道標示の縁部Znの位置を示す図である。図13は、標示領域マップP7において各バンドBが補完された補完バンドBcとして表示された図である。以下、補完バンドBcを示す図13を補完バンドマップP8という。
図13に示されるように、横断歩道縁部推定部18は、基準バンドBs及び非基準バンドBtの補完バンドBcの端部Bnの各位置の中央値を取得し、当該中央値に対応する位置を、横断歩道標示Zの縁部Znの位置と推定する。なお、基準バンドBs及び非基準バンドBtの合計数が偶数である場合には、中央値を挟む2個の基準バンドBs又は非基準バンドBtの補完バンドBcの端部Bnの各位置の平均値を、横断歩道標示Zの縁部Znの位置と推定してもよい。図13においても、基準バンドBs及び非基準バンドBtの合計数は偶数である。図13では、図中の右から3番目及び4番目のバンドBの補完バンドBcの端部Bnの各位置の平均値が、横断歩道標示Zの縁部Znの位置と推定されている。
次に、第1実施形態に係る横断歩道標示推定装置1による横断歩道縁部推定処理について説明する。図14は、第1実施形態に係る横断歩道縁部推定処理を示すフローチャートである。
図14に示されるように、ステップS10において、横断歩道標示推定装置1は、周囲画像取得部11により、カメラから車両前方の撮像情報を受信して、車両前方の画像P1を取得する(図2参照)。その後、横断歩道標示推定装置1は、ステップS12に移行する。
ステップS12において、横断歩道標示推定装置1は、平面視路面画像生成部12により、カメラにより取得された車両前方の画像P1を周囲画像取得部11から取得し、取得した画像P1に基づいて車両前方の平面視路面画像P2を生成する(図3参照)。また、平面視路面画像生成部12は、生成した車両前方の道路Rの平面視路面画像P2から検出ROIを抽出する。その後、横断歩道標示推定装置1は、ステップS14に移行する。
ステップS14において、横断歩道標示推定装置1は、端部候補取得部13により、平面視路面画像P2上において、平面視路面画像P2(図3参照)とバンドBの端部Bnの検出用のテンプレート画像P3(図4参照)とに基づいて、テンプレートマッチング等の公知の処理を実行することで、類似度マップP4を取得する(図5参照)。その後、横断歩道標示推定装置1は、ステップS16に移行する。
ステップS16において、横断歩道標示推定装置1は、端部候補取得部13により、取得された類似度マップP4に基づいて端部候補Cを取得する。より詳細には、端部候補取得部13は、類似度マップP4に対して閾値処理を実行することで、類似度が予め設定された閾値以上である領域を残した端部候補マップP5を生成する(図6参照)。そして、端部候補取得部13は、類似度マップP4において類似度が予め設定された閾値以上である領域(すなわち、端部候補マップP5において白く表示されている領域)において、類似度が極大となる点を検出し、当該点を端部候補Cとして取得する。その後、横断歩道標示推定装置1は、ステップS18に移行する。
ステップS18において、横断歩道標示推定装置1は、端部候補選択部14により、端部候補取得部13により取得された端部候補Cの平面視路面画像P2上における分布に基づいて、端部候補Cの道路延在方向D2における集まりの状況から、選択端部候補Csを選択する。より詳細には、端部候補選択部14は、端部候補マップP5に示される各端部候補Cの類似度にガウシアンカーネルを用いて道路延在方向D2に正規分布の重みづけをして、道路幅方向D1に積算したヒストグラムP6を取得する(図7参照)。そして、端部候補選択部14は、ヒストグラムP6を、互いに連続した部分毎のセクションに分割し、頂点の高さが予め設定された閾値Th以上であるピークを含むセクションを検出する。端部候補選択部14は、検出された当該セクションに含まれる端部候補Cを選択端部候補Csとして選択する(図8参照)。その後、横断歩道標示推定装置1は、ステップS20に移行する。
ステップS20において、横断歩道標示推定装置1は、標示領域取得部15により、平面視路面画像P2において、端部候補選択部14により選択された選択端部候補Csからそれぞれ連続するバンドBの標示領域Mを取得する(図9及び図10参照)。より詳細には、標示領域取得部15は、各選択端部候補Csの周囲に所定の二値化対象領域Aを設定する。標示領域取得部15は、いずれか1個の選択端部候補Csに対応する二値化対象領域Aを対象として、平面視路面画像P2上に設定した各二値化対象領域A内における類似度に基づいて二値化閾値を設定し、当該二値化閾値に基づいて、平面視路面画像P2全体を二値化する。そして、標示領域取得部15は、今回対象としている選択端部候補Csから連続するバンドBの標示領域Mを取得する。また、標示領域取得部15は、他の選択端部候補Csについても同様の処理を行い、全ての選択端部候補Csについて、各選択端部候補Csからそれぞれ連続するバンドBの標示領域Mを取得する。標示領域取得部15は、取得された各バンドBの標示領域Mのうち、その大きさが予め設定された条件を満たさないものを除外して、標示領域マップP7を取得する(図10参照)。その後、横断歩道標示推定装置1は、ステップS22に移行する。
ステップS22において、横断歩道標示推定装置1は、基準バンド選択部16により、標示領域取得部15により取得された標示領域Mの道路延在方向D2における長さに基づいて、バンドBの中から基準バンドBsを選択する。基準バンド選択部16は、バンドBのうち、標示領域Mの道路延在方向D2における長さが最も長いバンドBを基準バンドBsとして選択する(図11参照)。その後、横断歩道標示推定装置1は、ステップS24に移行する。
ステップS24において、横断歩道標示推定装置1は、バンド補完部17により、基準バンド選択部16により選択された基準バンドBsの標示領域Mの端部Bn(バンド端部)の位置を検出するとともに、バンドBのうち基準バンドBs以外のバンドBである非基準バンドBtの標示領域Mの端部Bn(バンド端部)の位置を検出する。より詳細には、バンド補完部17は、基準バンドBsに対して、当該基準バンドに外接する補完バンドBcを生成する(図11参照)。また、バンド補完部17は、道路延在方向D2において基準バンドROIを抽出し、非基準バンドBtに対して、当該非基準バンドBtのうち道路延在方向D2における基準バンドROI内の領域に外接する補完バンドBcを生成する(図12参照)。そして、バンド補完部17は、基準バンドBs及び非基準バンドBtの補完バンドBcの端部Bnの位置を、基準バンドBs及び非基準バンドBtの補完バンドBcの端部Bnの位置として検出する。その後、横断歩道標示推定装置1は、ステップS26に移行する。
ステップS26において、横断歩道標示推定装置1は、横断歩道縁部推定部18により、端部候補選択部14により選択された選択端部候補Csの道路延在方向D2における位置に基づいて、横断歩道標示Zの縁部Znの車両に対する位置を推定する。より詳細には、横断歩道縁部推定部18は、補完バンドマップP8において、基準バンドBs及び非基準バンドBtの補完バンドBcの端部Bnの各位置の中央値を取得し、当該中央値に対応する位置を、横断歩道標示Zの縁部Znの位置と推定する(図13参照)。横断歩道標示推定装置1は、横断歩道標示Zの縁部Znの位置を推定すると、今回の処理を終了し、再びステップS10から横断歩道縁部推定処理を開始する。
以上説明したように、横断歩道標示推定装置1によれば、車両周囲の道路Rの平面視路面画像P2とバンドBの端部Bnの検出用のテンプレート画像P3とに基づいて、平面視路面画像P2上におけるバンドBの端部候補Cが取得される。また、取得された端部候補Cの平面視路面画像P2上における分布に基づいて、端部候補Cの道路延在方向D2における集まりの状況から、横断歩道標示Zの縁部Znに対応する端部候補Cである選択端部候補Csが選択される。そして、選択された選択端部候補Csの道路延在方向D2における位置に基づいて、横断歩道標示Zの縁部Znの車両に対する位置が推定される。ここで、横断歩道標示Zの縁部Znでは、道路延在方向D2における狭い範囲内に複数のバンドBの端部Bnが存在している。このため、仮に擦れ等によりいくつかのバンドBの端部Bn以外の誤った部分を端部候補Cとして誤検出した場合であっても、バンドBの道路延在方向D2における端部候補Cの集まりの状況に基づいて選択端部候補Csを適切に選択することができる。このように、横断歩道標示推定装置1では、検出用のテンプレート画像P3を用いて取得されたバンドBの端部候補Cのうち選択端部候補Csを用いて横断歩道標示Zの縁部Znの車両に対する位置を推定するため、横断歩道標示Zが不明瞭な場合であっても、横断歩道標示Zの位置の推定精度の低下を抑制することができる。
また、横断歩道標示推定装置1は、平面視路面画像P2において、選択端部候補Csから連続する選択端部候補Csの類似領域をバンドBの標示領域Mとして取得する標示領域取得部15と、標示領域取得部15により取得された標示領域Mの道路延在方向D2における長さに基づいて、標示領域Mを取得したバンドBの中から基準バンドBsを選択する基準バンド選択部16と、を備え、横断歩道縁部推定部18は、基準バンド選択部16により選択された基準バンドBsの選択端部候補Csに基づいて、横断歩道標示Zの縁部Znの車両に対する位置を推定する。これにより、横断歩道標示推定装置1では、選択端部候補Csから連続する選択端部候補Csの類似領域である標示領域Mの長さに基づいて擦れ等が比較的少ないバンドBを基準バンドBsとして選択することが可能となる。したがって、横断歩道標示推定装置1では、基準バンドBsの選択端部候補Csに基づいて横断歩道標示Zの縁部Znの車両に対する位置を推定することで、バンドBの標示領域Mの長さを考慮しない場合と比較して、横断歩道標示Zの位置の推定精度を向上させることができる。
[第2実施形態]
第2実施形態に係る横断歩道標示推定装置1について説明する。第2実施形態に係る横断歩道標示推定装置1は、端部候補選択部14により選択された選択端部候補Csの位置に基づいて横断歩道標示Zが非傾斜横断歩道であるか傾斜横断歩道であるかを判定し、横断歩道標示Zが非傾斜横断歩道であるか傾斜横断歩道であるかの判定結果に応じて、横断歩道標示Zの縁部Znの位置の具体的な推定方法を選択する点で、第1実施形態に係る横断歩道標示推定装置1と相違しており、その他の点で同一である。「非傾斜横断歩道」とは、道路延在方向D2に対して略直交して標示されている横断歩道標示Zである。より具体的には、非傾斜横断歩道は、選択端部候補Csの位置の回帰直線が、道路幅方向D1に対して所定角度以上傾いていない横断歩道標示Zである。「傾斜横断歩道」とは、道路延在方向D2に対して斜めに標示されている横断歩道標示Zである。より具体的には、傾斜横断歩道は、選択端部候補Csの位置の回帰直線が、道路幅方向D1に対して所定角度以上傾いている横断歩道標示Zである。
第2実施形態に係る横断歩道標示推定装置1では、横断歩道縁部推定部18は、端部候補選択部14により選択された選択端部候補Csの道路延在方向D2における位置に基づいて、横断歩道標示Zの縁部Znの位置を推定する際に、以下の傾斜判定処理を行って横断歩道標示Zが非傾斜横断歩道であるか傾斜横断歩道であるかを判定する。図15は、傾斜横断歩道の一例を示す図である。図15に示されるように、横断歩道縁部推定部18は、端部候補選択部14により端部候補Cの中から選択された選択端部候補Csの位置の回帰直線(図中の破線)を算出する。そして、横断歩道縁部推定部18は、道路幅方向D1に対する算出された回帰直線の傾きを取得し、当該傾きが、予め設定された傾き閾値未満であるか否かを判定する。「傾き閾値」とは、道路幅方向D1に対する算出された回帰直線の傾きが当該傾き閾値未満である場合には、横断歩道標示Zは非傾斜横断歩道と判定され、道路幅方向D1に対する算出された回帰直線の傾きが当該傾き閾値以上である場合には、横断歩道標示Zは傾斜横断歩道と判定される閾値である。傾き閾値は、例えば3度であってもよく、5度であってもよく、10度であってもよい。
横断歩道縁部推定部18は、道路幅方向D1に対する算出された回帰直線の傾きが傾き閾値未満である場合には、横断歩道標示Zは非傾斜横断歩道と判定する。そして、横断歩道縁部推定部18は、第1実施形態に係る横断歩道標示推定装置1と同様の方法によって、端部候補選択部14により選択された選択端部候補Csの道路延在方向D2における位置に基づいて、横断歩道標示Zの縁部Znの位置を推定する。
一方、横断歩道縁部推定部18は、道路幅方向D1に対する算出された回帰直線の傾きが傾き閾値以上である場合には、横断歩道標示Zは傾斜横断歩道と判定する。そして、横断歩道縁部推定部18は、基準バンドBs及び非基準バンドBtの補完バンドBcの端部Bnの位置の回帰直線を算出し、算出された回帰直線に基づいて、横断歩道標示Zの縁部Znの位置を推定する。例えば、横断歩道縁部推定部18は、基準バンドBs及び非基準バンドBtの補完バンドBcの端部Bnの位置の回帰直線の位置を、横断歩道標示Zの縁部Znの位置と推定してもよい。
次に、第2実施形態に係る横断歩道標示推定装置1による横断歩道縁部推定処理について説明する。図16は、第2実施形態に係る横断歩道縁部推定処理を示すフローチャートである。図16のフローチャートは、図14のステップS26に対応している。つまり、第2実施形態に係る横断歩道標示推定装置1による横断歩道縁部推定処理では、横断歩道標示推定装置1は、図14のステップS10~ステップS24を実行した後、図16のステップS30に移行する。
図16に示されるように、ステップS30において、横断歩道標示推定装置1は、横断歩道縁部推定部18により、端部候補選択部14により端部候補Cの中から選択された選択端部候補Csの位置の回帰直線を算出する。そして、横断歩道縁部推定部18は、道路幅方向D1に対する算出された回帰直線の傾きを取得し、当該傾きが、予め設定された傾き閾値未満であるか否かを判定する。横断歩道標示推定装置1は、道路幅方向D1に対する算出された回帰直線の傾きが傾き閾値未満であると判定された場合(ステップS30:YES)、ステップS32に移行する。一方、横断歩道標示推定装置1は、道路幅方向D1に対する算出された回帰直線の傾きが傾き閾値以上であると判定された場合(ステップS30:NO)、ステップS36に移行する。
ステップS32において、横断歩道標示推定装置1は、横断歩道縁部推定部18により、横断歩道標示Zが非傾斜横断歩道であると判定する。その後、横断歩道標示推定装置1は、ステップS34に移行する。
ステップS34において、横断歩道標示推定装置1は、横断歩道縁部推定部18により、端部候補選択部14により選択された選択端部候補Csの道路延在方向D2における位置に基づいて、横断歩道標示Zの縁部Znの位置を推定する。より詳細には、横断歩道縁部推定部18は、基準バンドBs及び非基準バンドBtの補完バンドBcの端部Bnの各位置の中央値を取得し、当該中央値に対応する位置を、横断歩道標示Zの縁部Znの位置と推定する(図13参照)。横断歩道標示推定装置1は、横断歩道標示Zの縁部Znの位置を推定すると、今回の処理を終了し、再び図14のステップS10から横断歩道縁部推定処理を開始する。
ステップS36において、横断歩道標示推定装置1は、横断歩道縁部推定部18により、横断歩道標示Zが傾斜横断歩道であると判定する。その後、横断歩道標示推定装置1は、ステップS38に移行する。
ステップS38において、横断歩道標示推定装置1は、横断歩道縁部推定部18により、基準バンドBs及び非基準バンドBtの補完バンドBcの端部Bnの各位置の回帰直線を算出し、算出された回帰直線に基づいて、横断歩道標示Zの縁部Znの位置を推定する(図15参照)。例えば、横断歩道縁部推定部18は、基準バンドBs及び非基準バンドBtの補完バンドBcの端部Bnの各位置の回帰直線の位置を、横断歩道標示Zの縁部Znの位置と推定してもよい。横断歩道標示推定装置1は、横断歩道標示Zの縁部Znの位置を推定すると、今回の処理を終了し、再び図14のステップS10から横断歩道縁部推定処理を開始する。
以上説明したように、第2実施形態に係る横断歩道標示推定装置1によれば、第1実施形態に係る横断歩道標示推定装置1と同様の作用及び効果が奏される。また、第2実施形態に係る横断歩道標示推定装置1によれば、横断歩道標示Zが非傾斜横断歩道であるか傾斜横断歩道であるかが判定され、横断歩道標示Zが非傾斜横断歩道であるか傾斜横断歩道であるかの判定結果に応じて、横断歩道標示Zの縁部Znの位置の具体的な推定方法が選択される。このため、第2実施形態に係る横断歩道標示推定装置1によれば、横断歩道標示Zが非傾斜横断歩道であるか傾斜横断歩道であるかに応じて好適な推定方法を採用可能であるため、横断歩道標示が不明瞭な場合であっても、横断歩道標示の位置の推定精度の低下をより一層抑制することが可能となる。
[変形例]
上述した実施形態は、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
例えば、第1実施形態及び第2実施形態において、端部候補選択部14は、各端部候補Cの類似度にガウシアンカーネルを用いて道路延在方向D2に正規分布の重みづけをして、道路幅方向D1に積算したヒストグラムP6において、閾値Th以上である極大値をとる道路延在方向D2の位置を、横断歩道標示Zの縁部Znの候補位置としてもよい。
また、第1実施形態及び第2実施形態において、端部候補選択部14は、各端部候補Cの類似度にガウシアンカーネルを用いて道路延在方向D2に正規分布の重みづけをして、道路幅方向D1に積算したヒストグラムP6において、最大値をとる道路延在方向D2の位置を、横断歩道標示Zの縁部Znの位置としてもよい。
また、第1実施形態及び第2実施形態において、横断歩道標示推定装置1が位置を推定可能な横断歩道標示Zは、車両前方に標示されたものに限られず、車両周囲に標示されたものであれば、例えば車両後方又は車両側方に標示されたものであってもよい。
また、第1実施形態及び第2実施形態において、横断歩道標示推定装置1が位置を推定可能な横断歩道標示Zの道路延在方向D2における縁部は、横断歩道標示Zの道路延在方向D2における手前側の縁部Zn(一方の縁部Zn)に限られず、横断歩道標示Zの道路延在方向D2における奥側の縁部Zf(一方の縁部Zf)であってもよい。この場合、端部候補Cとは、各バンドBの道路延在方向D2における奥側の端部Bfの候補であり、テンプレート画像P3は、バンドBの道路延在方向D2における奥側の端部Bfの検出用のものである。
また、第1実施形態及び第2実施形態において、横断歩道縁部推定部18は、補完バンドBcの道路延在方向D2における手前側の端部Bnの位置に基づいて、横断歩道標示Zの道路延在方向D2における手前側の縁部Znの位置を推定するとともに、同じ補完バンドBcの道路延在方向D2における奥側の端部Bfの位置に基づいて、横断歩道標示Zの道路延在方向D2における奥側の縁部Zfの位置を推定してもよい。
また、第1実施形態及び第2実施形態において、外部センサ2は、例えばレーダセンサであってもよい。レーダセンサは、電波(例えばミリ波)又は光を利用して車両の周辺の物体を検出する検出機器である。レーダセンサには、例えば、ミリ波レーダ又はライダー[LIDAR:Light Detection And Ranging]が含まれる。レーダセンサは、電波又は光を車両の周辺に送信し、物体で反射された電波又は光を受信することで物体を検出する。レーダセンサは、検出した物体情報を横断歩道縁部推定ECU10に送信する。物体とは、例えば移動体及び静止物である。移動体には、歩行者、自転車、他車両等が含まれる。静止物には、電柱、建物、信号機等が含まれる。なお、静止物には、車両周辺の横断歩道標示Z等の道路標示等が含まれる。外部センサ2がレーダセンサである場合には、例えば、レーダセンサにより認識された横断歩道標示Z等の車両周囲の道路標示をマップとして取得し、取得された道路標示のマップに対して上記実施形態と同様の処理が実行されてもよい。
また、第1実施形態及び第2実施形態において、平面視路面画像生成部12は、生成した車両前方の道路Rの平面視路面画像P2から、横断歩道標示Zが含まれている領域を検出ROIとして抽出しなくてもよい。つまり、横断歩道標示推定装置1は、平面視路面画像生成部12により生成された平面視路面画像P2の全体を対象として、端部候補取得部13により端部候補Cを取得する処理を行ってもよい。
また、第1実施形態及び第2実施形態において、バンド補完部17は、生成された基準バンドBsの補完バンドBcに対して、道路延在方向D2における基準バンドROIを抽出しなくてもよい。この場合、バンド補完部17は、非基準バンドBtに対して、当該非基準バンドBt全体に外接する補完バンドBcを生成してもよい。
また、第1実施形態及び第2実施形態において、横断歩道縁部推定部18は、選択端部候補Csの道路延在方向D2における位置に基づいて、横断歩道標示Zの縁部Znの位置を推定すればよく、必ずしも基準バンドBs及び非基準バンドBtの補完バンドBcの端部Bnの位置に基づいて横断歩道標示Zの縁部Znの位置を推定しなくてもよい。例えば、横断歩道縁部推定部18は、選択端部候補Csの道路延在方向D2における平均位置を、横断歩道標示Zの縁部Znの位置として推定してもよい。
また、第1実施形態及び第2実施形態において、横断歩道標示推定装置1は、標示領域取得部15、基準バンド選択部16、及びバンド補完部17を有していなくてもよい。この場合であっても、横断歩道標示推定装置1は、端部候補選択部14により選択された選択端部候補Csの道路延在方向D2における位置に基づいて、横断歩道標示Zの縁部Znの位置を推定することができる。
また、第1実施形態及び第2実施形態において、横断歩道標示推定装置1により複数の横断歩道標示Zの縁部Znが検出された場合には、横断歩道標示推定装置1は、道路延在方向D2における最も手前側の縁部Znを優先的に取り扱ってもよい。
また、第2実施形態において、傾斜横断歩道である横断歩道標示Zは、図15に示される態様でなくても、第2実施形態に係る横断歩道標示推定装置1による作用及び効果が奏される。図17及び図18は、傾斜横断歩道の他の一例を示す図である。例えば図17に示されるように、横断歩道標示Zの縁部Znの位置が直線状に並んでいても、第2実施形態に係る横断歩道標示推定装置1による作用及び効果が奏される。また、図18に示されるように、横断歩道標示Zの各バンドBの縁部Znの辺が、道路幅方向D1に対して傾くように道路Rに標示されていても、第2実施形態に係る横断歩道標示推定装置1による作用及び効果が奏される。
1…横断歩道標示推定装置、2…外部センサ(車載センサ)、12…平面視路面画像生成部、13…端部候補取得部、14…端部候補選択部、15…標示領域取得部、16…基準バンド選択部、17…バンド補完部、18…横断歩道縁部推定部、B…バンド、Bn…端部、Bs…基準バンド、Bt…非基準バンド、C…端部候補、Cs…選択端部候補、D2…道路延在方向、M…標示領域、P2…平面視路面画像、P3…テンプレート画像、R…道路、Z…横断歩道標示、Zn…縁部。

Claims (2)

  1. 車載センサによる検出結果に基づいて複数のバンドを含む横断歩道標示の位置を推定する横断歩道標示推定装置であって、
    前記車載センサによる検出結果から車両周囲の道路の平面視路面画像を生成する平面視路面画像生成部と、
    前記平面視路面画像と前記バンドの道路延在方向における一方の端部の検出用の予め記憶されたテンプレート画像とに基づいて、前記平面視路面画像上において、複数の前記バンドのそれぞれの前記端部の候補である端部候補を取得する端部候補取得部と、
    前記端部候補取得部により取得された前記端部候補の前記平面視路面画像上における分布に基づいて、前記端部候補の道路延在方向における集まりの状況から、前記横断歩道標示の道路延在方向における一方の縁部に対応する前記端部候補である選択端部候補を選択する端部候補選択部と、
    前記端部候補選択部により選択された前記選択端部候補に基づいて、前記横断歩道標示の前記縁部の前記車両に対する位置を推定する横断歩道縁部推定部と、を備える、横断歩道標示推定装置。
  2. 前記平面視路面画像において、前記選択端部候補から連続する前記選択端部候補の類似領域を前記バンドの標示領域として取得する標示領域取得部と、
    前記標示領域取得部により取得された前記標示領域の道路延在方向における長さに基づいて、前記標示領域を取得した前記バンドの中から基準バンドを選択する基準バンド選択部と、を備え、
    前記横断歩道縁部推定部は、前記基準バンド選択部により選択された前記基準バンドの前記選択端部候補に基づいて、前記横断歩道標示の前記縁部の前記車両に対する位置を推定する、請求項1に記載の横断歩道標示推定装置。
JP2018192668A 2018-10-11 2018-10-11 横断歩道標示推定装置 Active JP7032280B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018192668A JP7032280B2 (ja) 2018-10-11 2018-10-11 横断歩道標示推定装置
US16/519,400 US11055542B2 (en) 2018-10-11 2019-07-23 Crosswalk marking estimating device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018192668A JP7032280B2 (ja) 2018-10-11 2018-10-11 横断歩道標示推定装置

Publications (2)

Publication Number Publication Date
JP2020061020A JP2020061020A (ja) 2020-04-16
JP7032280B2 true JP7032280B2 (ja) 2022-03-08

Family

ID=70161303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018192668A Active JP7032280B2 (ja) 2018-10-11 2018-10-11 横断歩道標示推定装置

Country Status (2)

Country Link
US (1) US11055542B2 (ja)
JP (1) JP7032280B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7032280B2 (ja) * 2018-10-11 2022-03-08 トヨタ自動車株式会社 横断歩道標示推定装置
US10685252B2 (en) * 2018-10-30 2020-06-16 Here Global B.V. Method and apparatus for predicting feature space decay using variational auto-encoder networks
US10915762B1 (en) * 2018-12-07 2021-02-09 Waymo Llc Sidewalk detection for pedestrian behavior modeling
US11869226B2 (en) * 2020-10-25 2024-01-09 Pixart Imaging Inc. Computer readable recording medium which can perform image pattern determining method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005339468A (ja) 2004-05-31 2005-12-08 Mitsubishi Electric Corp 車載用路面標示検出装置
JP2009259215A (ja) 2008-03-18 2009-11-05 Zenrin Co Ltd 路面標示地図生成方法
JP2011118509A (ja) 2009-12-01 2011-06-16 Fuji Heavy Ind Ltd 道路認識装置
JP2011192071A (ja) 2010-03-15 2011-09-29 Aisin Seiki Co Ltd 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム
JP2013210991A (ja) 2012-03-02 2013-10-10 Nissan Motor Co Ltd 横断歩道検出装置および横断歩道検出方法
JP2016162130A (ja) 2015-02-27 2016-09-05 富士通株式会社 横断歩道検出装置、横断歩道検出方法及び横断歩道検出用コンピュータプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376297B (zh) 2013-08-12 2017-06-23 株式会社理光 道路上的线型指示标志的检测方法和装置
JP6628189B2 (ja) * 2016-05-19 2020-01-08 パナソニックIpマネジメント株式会社 検出装置および検出方法
JP6822815B2 (ja) * 2016-10-17 2021-01-27 トヨタ自動車株式会社 道路標示認識装置
JP7032280B2 (ja) * 2018-10-11 2022-03-08 トヨタ自動車株式会社 横断歩道標示推定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005339468A (ja) 2004-05-31 2005-12-08 Mitsubishi Electric Corp 車載用路面標示検出装置
JP2009259215A (ja) 2008-03-18 2009-11-05 Zenrin Co Ltd 路面標示地図生成方法
JP2011118509A (ja) 2009-12-01 2011-06-16 Fuji Heavy Ind Ltd 道路認識装置
JP2011192071A (ja) 2010-03-15 2011-09-29 Aisin Seiki Co Ltd 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム
JP2013210991A (ja) 2012-03-02 2013-10-10 Nissan Motor Co Ltd 横断歩道検出装置および横断歩道検出方法
JP2016162130A (ja) 2015-02-27 2016-09-05 富士通株式会社 横断歩道検出装置、横断歩道検出方法及び横断歩道検出用コンピュータプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Sebastian Sichelschmid et al.,"Pedestrian crossing detecting as a part of an urban pedestrian safety system",2010 IEEE Intelligent Vehicles Symposium,米国,IEEE,2010年06月21日,pp.840-844
煙山 裕希、小野口 一則,"多重情報地図構築のための路面標示自動認識",計測自動制御学会論文集,日本,公益社団法人計測自動制御学会,2013年01月31日,Vol.49, No.1,pp.25-32

Also Published As

Publication number Publication date
JP2020061020A (ja) 2020-04-16
US20200117919A1 (en) 2020-04-16
US11055542B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
JP7032280B2 (ja) 横断歩道標示推定装置
US10754035B2 (en) Ground classifier system for automated vehicles
US9536155B2 (en) Marking line detection system and marking line detection method of a distant road surface area
JP3822515B2 (ja) 障害物検知装置及びその方法
JP5892876B2 (ja) 車載用環境認識装置
JP4321591B2 (ja) 車載霧判定装置
US7545956B2 (en) Single camera system and method for range and lateral position measurement of a preceding vehicle
JP6132412B2 (ja) 車外環境認識装置
US20150367781A1 (en) Lane boundary estimation device and lane boundary estimation method
US9493108B2 (en) Apparatus for detecting other vehicle lights and light control apparatus for vehicles
US20220366700A1 (en) Object recognition device
JP2007057331A (ja) 車載霧判定装置
JP2001052171A (ja) 周囲環境認識装置
EP2347931B1 (en) Headlamp controller
CN109421730A (zh) 使用相机的交叉车流检测
JP2019020956A (ja) 車両周囲認識装置
JP6483360B2 (ja) 対象物認識装置
JP5955291B2 (ja) フィルタリング装置および環境認識システム
CN107886036B (zh) 车辆控制方法、装置及车辆
JP6132807B2 (ja) レーンマーク認識装置
JP2020126304A (ja) 車外物体検出装置
JP6983334B2 (ja) 画像認識装置
JP6378547B2 (ja) 車外環境認識装置
WO2020036039A1 (ja) ステレオカメラ装置
JP6273156B2 (ja) 歩行者認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210218

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220224

R151 Written notification of patent or utility model registration

Ref document number: 7032280

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154