JP2024059261A - 道路標示検出装置 - Google Patents

Abstract

【課題】車両が進行可能な方向を表す道路標示を精度良く検出することができる道路標示検出装置を提供する。
【解決手段】道路標示検出装置は、第１の撮像部（２－１）による第１の画像から、車両１０が進行可能な方向を表す道路標示の候補を検出する検出部３１と、再撮影指標が所定の再撮影条件を満たすか否か判定する判定部３２と、再撮影指標が所定の再撮影条件を満たす場合、第１の撮像部（２－１）と異なる第２の撮像部（２－２）による第２の画像、または、第１の画像の生成タイミングと異なるタイミングで第１の撮像部（２－１）により生成された第３の画像から道路標示の候補を検出できるか否か判定し、道路標示の候補を検出できた場合、その道路標示の候補を車両１０が進行可能な方向を表す道路標示と判定する再検出部３３とを有する。
【選択図】図３

Description

本発明は、路面に設けられた道路標示を検出することが可能な道路標示検出装置に関する。

車両に搭載されたカメラにより生成された、車両の周囲を表す画像に基づいて路面に設けられた道路標示を検出する技術が提案されている（特許文献１及び２を参照）。特許文献１に記載された車載用ナビゲーション装置は、車両に搭載され路面を撮影する撮像部から入力された連続する複数のフレーム画像に対して路面表示の認識を行い、複数のフレーム分の認識結果から最終的な認識結果を判定して出力する。

特許文献２に開示された路面標示認識装置は、路面の撮像画像に基づいて路面標示の候補である路面標示候補を検知し、自車両が走行する自車線に、検知された路面標示候補が存在するか否か判定する。また、この路面標示認識装置は、検知された路面標示候補が存在しないと判定された場合に、自車両の周辺情報に、自車線の路面標示に関する情報が含まれているか否か判定する。そしてこの路面標示認識装置は、路面標示に関する情報が含まれている場合に、その情報に基づいて推定された自車線において路面標示が存在する推定領域において路面標示候補を検知し易くするように検知に関するパラメータを調整し、路面標示候補を再検知する。

特開２００８－０３２５５７号公報 特開２０２０－１２３１８６号公報

路面上に設けられる道路標示の一つの種類として、車両が進行可能な方向を表す矢印型の道路標示がある（以下では、矢印型の道路標示を、矢印標示と呼ぶことがある）。車載のカメラから見た道路標示の方向及び位置によっては、破線表示された車線区画線といった他の道路標示が矢印標示として誤検出されてしまうことがある。逆に、他の道路標示を矢印標示として誤検出することを防止するルールが追加されると、矢印標示の検出に失敗してしまうことがある。

そこで、本発明は、車両が進行可能な方向を表す道路標示を精度良く検出することができる道路標示検出装置を提供することを目的とする。

一つの実施形態によれば、道路標示検出装置が提供される。この道路標示検出装置は、車両に設けられた第１の撮像部により生成された第１の画像から、車両が進行可能な方向を表す道路標示の候補を検出する検出部と、道路標示の候補の実空間での位置、第１の画像上での道路標示の候補の大きさ、第１の撮像部に対する道路標示の候補の向き及び第１の撮像部から道路標示の候補までの距離の少なくとも一つにより規定される再撮影指標が、所定の再撮影条件を満たすか否か判定する判定部と、再撮影指標が所定の再撮影条件を満たす場合、車両に設けられた、第１の撮像部と異なる第２の撮像部により生成された第２の画像、または、第１の画像が生成されたタイミングと異なるタイミングで第１の撮像部により生成された第３の画像から、第１の画像から検出された道路標示の候補を検出できるか否か判定し、その道路標示の候補を検出できた場合、その道路標示の候補を車両が進行可能な方向を表す道路標示と判定し、一方、道路標示の候補を検出できない場合、その道路標示の候補を車両が進行可能な方向を表す道路標示でないと判定する再検出部とを有する。

本開示による道路標示検出装置は、車両が進行可能な方向を表す道路標示を精度良く検出することができるという効果を奏する。

道路標示検出装置が実装される運転支援システムの概略構成図である。 道路標示検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。 道路標示検出処理に関する、電子制御装置のプロセッサの機能ブロック図である。 本実施形態による、道路標示検出の一例を示す図である。 本実施形態による、道路標示検出の他の一例を示す図である。 道路標示検出処理の動作フローチャートである。

以下、図を参照しつつ、道路標示検出装置、及び、道路標示検出装置において実施される道路標示検出方法ならびに道路標示検出用コンピュータプログラムについて説明する。この道路標示検出装置は矢印標示を検出する。その際、この道路標示検出装置は、車両に搭載された第１の撮像部により生成された車両の周囲を表す第１の画像に基づいて、矢印標示の候補を検出する。また、この道路標示検出装置は、その候補についての再撮影指標が所定の再撮影条件を満たす場合、車両に設けられた第２の撮像部により生成された第２の画像または第１の撮像部により生成された第３の画像から、同じ矢印標示の候補を検出できるか否か判定する。そしてこの道路標示検出装置は、第２または第３の画像からも矢印標示の候補を検出できた場合、矢印標示の候補を実際の矢印標示であると判定する。一方、第２または第３の画像から矢印標示の候補を検出できない場合、この道路標示検出装置は、第１の画像から検出された矢印標示の候補は実際には矢印標示でないと判定する。

以下では、本開示にかかる道路標示検出装置を、検出された矢印標示に基づいて車両のドライバに対する運転支援を実行する運転支援システムに実装した例について説明する。しかし、本開示にかかる道路標示検出装置は、運転支援システムに限られず、検出された矢印標示を車両の自動運転制御に利用する自動運転システムに実装されてもよい。

図１は、道路標示検出装置が実装される運転支援システムの概略構成図である。また図２は、道路標示検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。運転支援システム１は、車両１０に搭載され、かつ、車両１０のドライバの運転を支援する。そのために、運転支援システム１は、二つのカメラ２－１、２－２と、ユーザインターフェース３と、道路標示検出装置の一例である電子制御装置（ＥＣＵ）４とを有する。カメラ２－１、２－２及びユーザインターフェース３とＥＣＵ４とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。なお、車両１０は、自車両の一例である。運転支援システム１は、車両１０の位置を測位するためのGPS受信機（図示せず）をさらに有してもよい。

カメラ２－１、２－２は、それぞれ、第１の撮像部及び第２の撮像部の一例である。カメラ２－１、２－２は、それぞれ、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２－１の結像光学系の焦点距離は、カメラ２－２の結像光学系の焦点距離も短い。すなわち、カメラ２－１はカメラ２－２よりも広い領域を撮影することが可能となっており、一方、カメラ２－２はカメラ２－１よりも遠方の領域を拡大して撮影することが可能となっている。カメラ２－１及びカメラ２－２は、車両１０の前方を向くように、車両１０の車室内に取り付けられる。そしてカメラ２－１、２－２は、それぞれ、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２－１、２－２により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両１０には、撮影方向、焦点距離または取り付け位置が異なる３台以上のカメラが設けられてもよい。

カメラ２－１、２－２は、それぞれ、画像を生成する度に、その生成した画像を、その画像の生成時刻を表す情報とともに車内ネットワークを介してＥＣＵ４へ出力する。

ユーザインターフェース３は、通知機器の一例であり、例えば、液晶ディスプレイといった表示装置またはタッチパネルディスプレイを有する。ユーザインターフェース３は、車両１０の車室内、例えば、インスツルメンツパネルの近傍に、ドライバへ向けて設置される。そしてユーザインターフェース３は、ＥＣＵ４から車内ネットワークを介して受信した所定の警告または情報を、アイコンにより、または文字情報として表示することで、その警告または情報をドライバへ通知する。ユーザインターフェース３は、インスツルメンツパネルに設けられる１以上の光源、車室内に設置されるスピーカ、または、ステアリングあるいはドライバシートに設けられる振動機器を有していてもよい。この場合、ユーザインターフェース３は、ＥＣＵ４から車内ネットワークを介して受信した所定の警告または情報を音声信号として出力することで、その警告または情報をドライバへ通知する。あるいは、ユーザインターフェース３は、ＥＣＵ４から車内ネットワークを介して受信した信号により振動機器を振動させることで、その振動によりドライバに所定の警告または情報を通知してもよい。あるいはまた、ユーザインターフェース３は、ＥＣＵ４から車内ネットワークを介して受信した信号により光源を点灯または点滅させることで所定の警告または情報を通知してもよい。

ＥＣＵ４は、車両１０の進行方向に存在する矢印標示を検出し、矢印標示にて示される、車両１０が進行可能な方向と、車両１０の実際の進行方向とが一致しているか否か判定する。そして車両１０が進行可能な方向と、車両１０の実際の進行方向とが異なる場合、ＥＣＵ４は、ユーザインターフェース３を介して、ドライバに対して現在の進行方向に沿って車両１０を走行させることができない旨の警告を通知する。

図２に示されるように、ＥＣＵ４は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１、メモリ２２及びプロセッサ２３は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。

通信インターフェース２１は、ＥＣＵ４を車内ネットワークに接続するためのインターフェース回路を有する。そして通信インターフェース２１は、カメラ２－１、２－２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。また、通信インターフェース２１は、プロセッサ２３から受け取った、ユーザインターフェース３を介してドライバへ通知される警告または情報を含む信号を、車内ネットワークを介してユーザインターフェース３へ出力する。

メモリ２２は、記憶部の他の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ４のプロセッサ２３により実行される道路標示検出処理を含む運転支援処理において使用される各種のデータを記憶する。例えば、メモリ２２は、カメラ２－１、２－２のそれぞれの焦点距離、画角、撮影方向及び取り付け位置などを表すパラメータ、及び、再撮影条件を記憶する。また、メモリ２２は、矢印標示の検出に利用される識別器を特定するためのパラメータセットを記憶する。さらに、メモリ２２は、地図情報を記憶してもよい。さらに、メモリ２２は、カメラ２－１、２－２から受け取った画像及びその画像生成時刻を一時的に記憶する。さらにまた、メモリ２２は、運転支援処理の途中で生成される各種のデータを一時的に記憶する。

プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、道路標示検出処理を含む運転支援処理を実行する。

図３は、道路標示検出処理を含む運転支援処理に関する、プロセッサ２３の機能ブロック図である。プロセッサ２３は、検出部３１と、判定部３２と、再検出部３３と、通知処理部３４とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。

検出部３１は、所定の周期ごとに、カメラ２－１により生成された最新の画像から、車両１０が進行可能な方向を表す矢印標示の候補を検出する。なお、検出部３１が矢印標示の候補を検出するために利用する、カメラ２－１により生成された画像は、第１の画像の一例である。

検出部３１は、最新の画像を、矢印標示を検出するように予め学習された第１の識別器に入力することで、その画像に表された矢印標示の候補を検出する。検出部３１は、第１の識別器として、Single Shot MultiBox Detector(SSD)またはFaster R-CNNといった、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを持つ、物体検出用のディープニューラルネットワーク(DNN)を用いることができる。あるいは、検出部３１は、第１の識別器として、Vision Transformerといった、Self Attention Network(SAN)型のアーキテクチャを持つ物体検出用のDNNを用いてもよい。検出部３１は、第１の識別器が検出した矢印標示を、矢印標示の候補とする。また、画像上で矢印標示の候補が表されている領域を、以下では、物体領域と呼ぶことがある。

あるいは、検出部３１は、第１の識別器として、fully convolution network(FCN)あるいはU-netといった、画素ごとにその画素に表された物体の種別を識別するセマンティックセグメンテーション用のDNNを用いてもよい。この場合、検出部３１は、第１の識別器が出力した、矢印標示が表されているとした画素の集合を、矢印標示の候補が表された物体領域とする。なお、検出部３１は、第１の識別器が出力した、矢印標示が表されているとした個々の画素に対してラベリング処理を実行することで、互いに連続するそのような画素の集合を、矢印標示の候補が表された物体領域としてもよい。

第１の識別器は、矢印標示が表された画像を含む、多数の教師画像を用いて、誤差逆伝搬法といった所定の学習手法に従って予め学習される。

なお、第１の識別器は、矢印標示の種類（例えば、直進矢印、左折矢印、右折矢印、左折と直進の複合矢印etc.）及び矢印の向きも検出するように予め学習される。検出部３１は、各矢印標示の候補に対して、識別器が出力したその矢印標示の種類及び矢印の向きを対応付ける。さらに、第１の識別器は、路面に設けられた矢印標示以外の道路標示を検出するように予め学習されてもよい。この場合、検出部３１は、画像を識別器に入力することで、その画像から、車線区画線あるいは一時停止線といった道路標示も検出することができる。

検出部３１は、検出された矢印標示の候補を表す物体領域の位置及び範囲を、判定部３２及び再検出部３３へ通知する。さらに、検出部３１は、検出された矢印標示の候補の種類及び矢印の向きを通知処理部３４へ通知する。

判定部３２は、再撮影指標が所定の再撮影条件を満たすか否か判定する。再撮影指標は、実空間での矢印標示の候補の位置、画像上での矢印標示の候補の大きさ、カメラ２－１に対する矢印標示の候補の相対的な向き及びカメラ２－１から矢印標示の候補までの距離の少なくとも一つにより規定される。

例えば、カメラ２－１から矢印標示の候補までの距離が長くなるほど、カメラ２－１により生成された画像上での矢印標示の候補のサイズは小さくなる。そのため、矢印標示の候補は、実際には矢印標示ではないにもかかわらず、矢印標示として誤検出され易くなる。したがって、カメラ２－１から矢印標示の候補までの距離が所定距離以上であれば、その矢印標示の候補を再度撮影して得られた画像に基づいて、矢印標示の候補が本当に矢印標示であるか否かを確認することが好ましい。同様に、矢印標示の候補が小さいほど、カメラ２－１により生成された画像上での矢印標示の候補のサイズは小さくなる。そのため、矢印標示の候補は、実際には矢印標示ではないにもかかわらず、矢印標示として誤検出され易くなる。したがって、画像上において矢印標示の候補が表された物体領域のサイズ（例えば、面積あるいは物体領域に含まれる画素の数）が所定サイズ以下であれば、矢印標示の候補を再度撮影して得られた画像に基づいて、矢印標示の候補が本当に矢印標示であるか否かを確認することが好ましい。

また、車両１０の前方において道路がカーブしている場合のように、路面に表示された矢印以外の道路標示、例えば、破線の道路標示がカメラ２－１に対して斜め方向を向いていると、その道路標示が画像上で矢印標示と類似する外観となることがある。そのため、そのような道路標示が、矢印標示の候補として検出されることがある。したがって、カメラ２－１に対する矢印標示の候補の相対的な向きが斜め向きとなる場合、矢印標示の候補を再度撮影して得られた画像に基づいて、矢印標示の候補が本当に矢印標示であるか否かを確認することが好ましい。

さらに、車両１０が走行中の道路の周囲に、矢印標示と類似する外観を有する物体が存在することがある。例えば、ガードレールといった、道路周囲の構造物に、矢印を示す看板が設けられることがある。このような物体が、矢印標示の候補として検出されることがある。したがって、車両１０の位置が、矢印標示に類似する外観を持つ物体が存在する地域に含まれる場合、矢印標示の候補を再度撮影して得られた画像に基づいて、矢印標示の候補が本当に矢印標示であるか否かを確認することが好ましい。

そこで、判定部３２は、再撮影指標として、矢印標示の候補の実空間での位置、画像上での矢印標示の候補の大きさ、カメラ２－１に対する矢印標示の候補の相対的な向き及びカメラ２－１から矢印標示の候補までの距離の少なくとも一つをもとめる。

例えば、判定部３２は、車両１０に搭載されたGPS受信機(図示せず)により測位された、矢印標示の候補が検出された画像の生成時刻における車両１０の位置、車両１０の進行方向、カメラ２－１の撮影方向及びカメラ２－１と矢印標示の候補との距離に基づいて、矢印標示の候補の実空間での位置を推定する。そして判定部３２は、推定した矢印標示の候補の実空間での位置を、再撮影指標の一つとする。

また、判定部３２は、矢印標示の候補が表された物体領域の面積またはその物体領域に含まれる画素の数を、画像上での矢印標示の候補の大きさを表す再撮影指標として算出する。

また、判定部３２は、矢印標示の候補が表された物体領域の長手方向と、画像の垂直方向とのなす角度を、カメラ２－１に対する矢印標示の候補の相対的な向きを表す再撮影指標として算出する。

さらにまた、判定部３２は、カメラ２－１の取り付け位置、焦点距離及び撮影方向などのパラメータと、画像上での矢印標示の候補の位置とに基づいて、カメラ２－１から矢印標示の候補までの距離を再撮影指標の一つとして算出する。具体的に、画像上の位置は、カメラ２－１から見た方位と１対１に対応している。さらに、検出された矢印標示の候補は、路面上に位置している可能性が高い。したがって、判定部３２は、画像上で矢印標示の候補が表された物体領域の下端の位置に対応する、カメラ２－１からの方位と、カメラ２－１の路面からの高さとに基づいて、カメラ２－１から矢印標示の候補までの距離を推定できる。なお、判定部３２は、カメラ２－１から矢印標示の候補までの距離の代わりに、画像上での矢印標示の候補が表された物体領域の下端の位置を、再撮影指標としてもとめてもよい。

判定部３２は、もとめた再撮影指標を、メモリ２２から読み込んだ再撮影条件と比較する。そして判定部３２は、少なくとも一つの再撮影指標の何れかが、対応する再撮影条件を満たす場合、矢印標示の候補について再撮影が必要であると判定する。例えば、再撮影指標として、矢印標示の候補の実空間での位置が求められている場合、再撮影条件として、その位置が所定の再撮影対象エリア内に含まれることが規定される。したがって、矢印標示の候補の実空間での位置が再撮影対象エリア内に含まれる場合、判定部３２は、再撮影条件が満たされると判定する。

また、再撮影指標として、画像上での矢印標示の候補の大きさが求められている場合、再撮影条件として、矢印標示の候補の大きさが所定のサイズ閾値よりも小さいことが規定される。したがって、矢印標示の候補の大きさが所定のサイズ閾値よりも小さい場合、判定部３２は、再撮影条件が満たされると判定する。さらに、再撮影指標として、カメラ２－１に対する矢印標示の候補の相対的な向きが求められている場合、再撮影条件として、その向きが所定の角度範囲内に含まれることが規定される。したがって、その向きが所定の角度範囲内に含まれる場合、判定部３２は、再撮影条件が満たされると判定する。

さらにまた、再撮影指標として、カメラ２－１と矢印標示の候補間の距離が求められる場合、再撮影条件として、その距離が所定の距離閾値よりも大きいことが規定される。したがって、カメラ２－１と矢印標示の候補間の距離が所定の距離閾値よりも大きい場合、判定部３２は、再撮影条件が満たされると判定する。また、上記のように、カメラ２－１と矢印標示の候補間の距離の代わりに、画像上での矢印標示の候補が表された物体領域の下端の位置が再撮影指標として求められる場合、再撮影条件として、物体領域の下端の位置が所定の下限位置よりも上方であることが規定される。したがって、物体領域の下端の位置が所定の下限位置よりも上方である場合、判定部３２は、再撮影条件が満たされると判定する。

一方、何れの再撮影指標についても再撮影条件を満たさない場合、判定部３２は、再撮影条件は満たされないと判定する。

判定部３２は、再撮影条件が満たされたか否かの判定結果を、再検出部３３へ通知する。

再検出部３３は、再撮影条件が満たされることが通知されると、カメラ２－２により生成された画像からも矢印票の候補を矢印標示として検出できるか否か判定する。そしてその矢印票の候補が矢印標示として検出された場合、再検出部３３は、矢印標示の候補を、実際に矢印標示であると判定する。なお、矢印標示の再検出に利用される、カメラ２－２により生成された画像は、第２の画像の一例である。以下では、矢印標示の候補が検出された、カメラ２－１により生成された画像を第１の画像と呼び、矢印標示の再検出に利用される、カメラ２－２により生成された画像を第２の画像と呼ぶことがある。

ここで、カメラ２－１とカメラ２－２のそれぞれの取り付け位置、焦点距離及び撮影方向なとのパラメータは既知である。また、判定部３２において説明したように、画像上での位置は、その画像を生成したカメラから見た方位と１対１に対応している。さらに、カメラ２－１から矢印標示の候補までの距離は、判定部３２において説明した手法と同様の手法により推定される。したがって、第１の画像が生成された時刻と第２の画像が生成された時刻との間における、車両１０の移動方向及び移動量を参照することで、再検出部３３は、第２の画像上で矢印標示の候補が表される範囲（以下、説明の便宜上、候補範囲と呼ぶことがある）を推定できる。すなわち、再検出部３３は、第１の画像上の矢印標示の候補の位置に基づいて、第１の画像生成時のカメラ２－１の位置を基準とする、その矢印標示の候補の実空間での位置を推定する。さらに、再検出部３３は、第１の画像生成時と第２の画像生成時間の車両１０の移動方向及び移動量に基づいて、第２の画像生成時における、カメラ２－２の位置を基準とする矢印標示の候補の実空間での位置を推定する。そして再検出部３３は、カメラ２－２のパラメータを参照することで、第２の画像上で矢印標示の候補が表される候補範囲を推定する。なお、再検出部３３は、第１の画像生成時と第２の画像生成時との間の期間において、車両１０に搭載された加速度センサ（図示せず）及びジャイロセンサ（図示せず）から取得した車両１０の加速度及び角速度に基づいて、その期間における車両１０の移動量及び移動量をもとめればよい。また、第１の画像生成時と第２の画像生成時との間の期間が無視できる程度であれば、再検出部３３は、第１の画像生成時の車両１０の位置及び進行方向と第２の画像生成時の車両１０の位置及び進行方向とは同じであるとみなしてもよい。

再検出部３３は、第２の画像を、矢印標示を検出するように予め学習された第２の識別器に入力することで、第２の画像に表された矢印標示を検出する。そして再検出部３３は、検出された矢印標示が候補範囲に含まれるか否か判定する。検出された矢印標示が候補範囲に含まれる場合、第１の画像から検出された矢印標示の候補が、第２の画像からも矢印標示として検出されていると判断される。そこで、再検出部３３は、第１の画像から検出された矢印標示の候補を、実際に矢印標示であると判定する。一方、第２の画像から検出された矢印標示が無いか、あるいは、第２の画像から検出された矢印標示が候補範囲に含まれない場合、再検出部３３は、第１の画像から検出された矢印標示の候補を、矢印標示でないと判定する。

なお、再検出部３３は、第２の識別器として、CNN型またはSAN型のアーキテクチャを持つ物体検出用のDNN、あるいは、FCNまたはU-netといったセマンティックセグメンテーション用のDNNを用いることができる。また、第１の識別器と第２の識別器は同じものであってもよく、あるいは、互いに異なるものであってもよい。さらに、第２の識別器は、第１の識別器と同様に、検出した矢印標示の種類及び矢印の向きを識別するように予め学習されてもよい。さらにまた、再検出部３３は、第２の画像全体でなく、第２の画像上の候補範囲のみを、第２の識別器に入力してもよい。

また、再検出部３３は、カメラ２－２により生成された第２の画像の代わりに、カメラ２－１により第１の画像とは異なるタイミングで生成された第３の画像を用いてもよい。この場合も、再検出部３３は、第１の画像生成時と第３の画像生成時との間の期間における、車両１０の移動量及び移動方向を参照することで、第３の画像における候補範囲を推定すればよい。

なお、第２の画像上の候補範囲の位置またはサイズに基づいて、再撮影条件が満たされることが推定される場合には、再検出部３３は、第３の画像を矢印標示の再検出に利用してもよい。同様に、推定された候補範囲が第２の画像からはみ出している場合には、再検出部３３は、第３の画像を矢印標示の再検出に利用してもよい。逆に、第３の画像上の候補範囲の位置またはサイズに基づいて、再撮影条件が満たされることが推定される場合には、再検出部３３は、第２の画像を矢印標示の再検出に利用してもよい。あるいは、再検出部３３は、カメラ２－１によりその第３の画像と異なるタイミングで生成された画像を改めて第３の画像としてもよい。また、推定された候補範囲が第３の画像からはみ出している場合には、再検出部３３は、第２の画像を矢印標示の再検出に利用してもよい。あるいは、再検出部３３は、カメラ２－１によりその第３の画像と異なるタイミングで生成された画像を改めて第３の画像としてもよい。

判定部３２から再撮影条件が満たされないことが通知された場合、再検出部３３は、検出部３１により検出された矢印標示の候補は実際の矢印標示であると判定する。

図４は、本実施形態による、道路標示検出の一例を示す図である。この例では、カメラ２－１により生成される第１の画像４００において、破線の一部が矢印標示の候補４０１として検出されている。しかし、第１の画像４００上で、矢印標示の候補４０１が表された領域のサイズは小さく、かつ、矢印標示の候補４０１の長手方向は第１の画像４００の垂直方向に対して所定角度以上傾いている。そのため、再撮影指標が満たされる。

再撮影指標が満たされるため、カメラ２－１により、第１の画像４００と異なるタイミングにて生成される第３の画像４１０から、矢印標示の候補４０１が矢印標示として検出されるか否かが判定される。すなわち、矢印標示の候補４０１の実空間での位置に対応する、第３の画像４１０上の候補範囲４１１から矢印標示が検出されるか否かが判定される。この例では、候補範囲４１１において、矢印標示が検出されていない。したがって、矢印標示の候補４０１は、実際の矢印標示ではないと判定される。

図５は、本実施形態による、道路標示検出の他の一例を示す図である。この例では、カメラ２－１により生成される第１の画像５００において、矢印標示自体がその候補５０１として検出されている。しかし、第１の画像５００上で、矢印標示の候補５０１が表された領域のサイズは小さい。そのため、再撮影指標が満たされる。

再撮影指標が満たされるため、カメラ２－２により生成される第２の画像５１０から、矢印標示の候補５０１が矢印標示として検出されるか否かが判定される。すなわち、矢印標示の候補５０１の実空間での位置に対応する、第２の画像５１０上の候補範囲５１１から矢印標示が検出されるか否かが判定される。この例では、候補範囲５１１において、矢印標示５０２が検出されている。したがって、矢印標示の候補５０１は、実際の矢印標示であると判定される。

再検出部３３は、第１の画像から検出された矢印標示の候補が実際の矢印標示であるか否かの判定結果を通知処理部３４へ通知する。さらに、再検出部３３は、第１の画像から検出された矢印標示の候補が実際の矢印標示であると判定した場合、その矢印標示について、第２の画像または第３の画像上での矢印標示の位置、その矢印標示の種類及び向きを通知処理部３４へ通知してもよい。

通知処理部３４は、検出された矢印標示が表す、車両１０が進行可能な方向と、車両１０の実際の進行方向とを比較する。そして通知処理部３４は、検出された矢印標示が表す、車両１０が進行可能な方向と、車両１０の実際の進行方向とが異なる場合、車両１０が進行可能でない方向へ向かっていることを示す警告を、ユーザインターフェース３を介して、ドライバに対して通知する。

検出された矢印標示が表す、車両１０が進行可能な方向を特定するために、通知処理部３４は、検出部３１または再検出部３３から通知された、矢印標示の種類及び向きを参照する。矢印標示が画像上で上方を向いている場合、通知処理部３４は、車両１０が進行可能な方向は、車両１０から離れる方向であると判定する。逆に、矢印標示が画像上で下方を向いている場合、通知処理部３４は、車両１０が進行可能な方向は、車両１０へ向かう方向であると判定する。したがって、矢印標示が画像上で下方を向いている場合には、矢印標示が示す、車両１０が進行可能な方向と、車両１０の進行方向とが一致しておらず、車両１０は逆走している可能性が高い。そのため、通知処理部３４は、車両１０が進行可能でない方向へ向かっていることを示す警告を、ユーザインターフェース３を介して、ドライバに対して通知する。

また、矢印標示の種類が右折を示す矢印である場合、通知処理部３４は、車両１０が進行可能な方向は右折方向であると判定する。この場合、その矢印標示が検出された以降に所定距離以上車両１０が走行しても、車両１０のウインカーに対して右折を示す操作がされていない場合、通知処理部３４は、車両１０が進行可能な方向と実際の進行方向とが一致していないと判定してもよい。同様に、矢印標示の種類が左折を示す矢印である場合、通知処理部３４は、車両１０が進行可能な方向は左折方向であると判定する。この場合、その矢印標示が検出された以降に所定距離以上車両１０が走行しても、車両１０のウインカーに対して左折を示す操作がされていない場合、通知処理部３４は、車両１０が進行可能な方向と実際の進行方向とが一致していないと判定してもよい。

なお、通知処理部３４は、検出された矢印標示のうち、車両１０が走行中の車線（以下、自車線と呼ぶことがある）に設けられた矢印標示のみを、車両１０が進行可能な方向と、車両１０の実際の進行方向との比較に利用してもよい。この場合には、通知処理部３４は、検出部３１により検出された車線区画線に基づいて、画像上で自車線が表された領域を特定する。そして通知処理部３４は、自車線が表された領域内に位置する矢印標示を、自車線に設けられたものとすればよい。このように、自車線に設けられた矢印標示のみを参照することで、通知処理部３４は、車両１０が進行可能な方向を精度良く特定することができる。そのため、通知処理部３４は、ドライバに対して適切な警告を通知することができる。

図６は、道路標示検出処理の動作フローチャートである。プロセッサ２３は、所定の周期ごとに、以下の動作フローチャートに従って道路標示検出処理を実行する。

プロセッサ２３の検出部３１は、カメラ２－１により生成された第１の画像から、車両１０が進行可能な方向を表す矢印標示の候補を検出するとともに、その候補についての矢印の向き及び矢印標示の種類を識別する（ステップＳ１０１）。

プロセッサ２３の判定部３２は、再撮影指標として、矢印標示の候補の実空間での位置、第１の画像上での矢印標示の候補の大きさ、カメラ２－１に対する矢印標示の候補の相対的な向き及びカメラ２－１から矢印標示の候補までの距離の少なくとも一つをもとめる（ステップＳ１０２）。そして判定部３２は、再撮影指標が再撮影条件を満たすか否か判定する（ステップＳ１０３）。

再撮影条件が満たされない場合（ステップＳ１０３－Ｎｏ）、プロセッサ２３の再検出部３３は、矢印標示の候補は実際の矢印標示であると判定する（ステップＳ１０４）。一方、再撮影条件が満たされる場合（ステップＳ１０３－Ｙｅｓ）、再検出部３３は、第２の画像または第３の画像から、矢印標示の候補を矢印標示として検出できるか否か判定する（ステップＳ１０５）。矢印標示の候補が矢印標示として検出された場合（ステップＳ１０５－Ｙｅｓ）、再検出部３３は、矢印標示の候補は実際の矢印標示であると判定する（ステップＳ１０４）。一方、矢印標示の候補が矢印標示として検出されない場合（ステップＳ１０５－Ｎｏ）、再検出部３３は、矢印標示の候補は実際の矢印標示ではないと判定する（ステップＳ１０６）。そしてプロセッサ２３は、道路標示検出処理を終了する。

ステップＳ１０４の後、プロセッサ２３の通知処理部３４は、検出された矢印標示が示す、車両１０が進行可能な方向と、車両１０の実際の進行方向とが一致するか否か判定する（ステップＳ１０７）。検出された矢印標示が示す、車両１０が進行可能な方向と、車両１０の実際の進行方向とが異なる場合（ステップＳ１０７－Ｎｏ）、通知処理部３４は、ユーザインターフェース３を介して、ドライバに対して車両１０が進行可能でない方向へ向かっていることを示す警告を通知する（ステップＳ１０８）。そしてプロセッサ２３は、道路標示検出処理を終了する。

一方、検出された矢印標示が示す、車両１０が進行可能な方向と、車両１０の実際の進行方向とが一致する場合（ステップＳ１０７－Ｙｅｓ）、プロセッサ２３は、ドライバに対する警告を通知せずに道路標示検出処理を終了する。

以上に説明してきたように、この道路標示検出装置は、第１の画像から検出された矢印標示の候補に関して、再撮影条件が満たされると、第１の画像とは異なる第２の画像または第３の画像からも、矢印標示の候補を検出できるか否か判定する。そしてこの道路標示検出装置は、第２の画像または第３の画像からも矢印標示の候補を検出できた場合、矢印標示の候補を実際の矢印標示であると判定し、一方、その矢印標示の候補を検出できない場合、矢印標示の候補は実際には矢印標示でないと判定する。これにより、この道路標示検出装置は、矢印標示を精度良く検出することができる。

変形例によれば、検出部３１は、カメラ２－２により生成された画像に基づいて矢印標示の候補を検出してもよい。また、再検出部３３は、カメラ２－１により生成された画像に基づいて、矢印標示の候補を再検出できるか否か判定してもよい。この場合、カメラ２－２は第１の撮像部の他の一例となり、カメラ２－１は第２の撮像部の他の一例となる。

他の変形例によれば、判定部３２は、再撮影指標として、検出部３１が使用する識別器が出力する、矢印標示の候補について算出された確信度を用いてもよい。確信度は、矢印標示の候補が矢印標示である確からしさを表す値である。検出部３１が使用する識別器として、セマンティックセグメンテーション用の識別器が用いられている場合には、判定部３２は、矢印標示の候補に含まれる個々の画素について算出された確信度の平均値を、矢印標示の候補全体としての確信度とすればよい。例えば、判定部３２は、矢印標示の候補について算出された確信度が所定の確信度閾値よりも低い場合、再撮影条件が満たされると判定する。なお、所定の確信度閾値は、識別器が、確信度との比較により矢印標示の検出に使用する閾値よりも高い値に設定される。

あるいは、矢印標示の候補について算出された確信度に応じて、再撮影条件または再撮影のタイミングが変更されてもよい。例えば、確信度が小さいほど、再撮影条件は緩和されてもよい。また、確認度が小さいほど、第１の画像の生成タイミングと第２の画像または第３の画像の生成タイミングの差が大きくなるように、再検出部３３は、第２の画像または第３の画像を選択する。また、車両１０に３台以上のカメラが搭載されている場合には、再検出部３３は、確信度が小さいほど、第１の画像を生成したカメラとの距離が離れているカメラにより生成された画像を第２の画像として使用する。また、矢印標示の候補について算出された確信度が第１の閾値以上となる場合には、他の再撮影指標が再撮影条件を満たしていても、再検出部３３は、第２または第３の画像からの矢印標示の再検出を行うことなく、矢印標示の候補が実際の矢印標示を表していると判定してもよい。さらに、ある時点においてカメラ２－１により得られた第１の画像から検出された矢印票の候補について算出された確信度が、第１の閾値未満、かつ、第１の閾値よりも低い第２の閾値以上となる場合には、再検出部３３による処理は直ちに行われなくてもよい。その代わりに、カメラ２－１により直後に得られた画像またはカメラ２－２により得られた画像に基づいて、検出部３１が矢印標示の候補をもう一度検出してもよい。そして検出し直された矢印標示の候補についての確信度が第１の閾値以上であれば、再検出部３３は、その矢印標示の候補が実際の矢印標示を表していると判定してもよい。

上記の実施形態または変形例による、ＥＣＵ４のプロセッサ２３の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 運転支援システム
１０ 車両
２－１、２－２ カメラ
３ ユーザインターフェース
４ 電子制御装置(道路標示検出装置)
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 検出部
３２ 判定部
３３ 再検出部
３４ 通知処理部

Claims (1)

1. 車両に設けられた第１の撮像部により生成された第１の画像から、前記車両が進行可能な方向を表す道路標示の候補を検出する検出部と、
   前記道路標示の候補の実空間での位置、前記第１の画像上での前記道路標示の候補の大きさ、前記第１の撮像部に対する前記道路標示の候補の向き及び前記第１の撮像部から前記道路標示の候補までの距離の少なくとも一つにより規定される再撮影指標が、所定の再撮影条件を満たすか否か判定する判定部と、
   前記再撮影指標が前記所定の再撮影条件を満たす場合、前記車両に設けられた、前記第１の撮像部と異なる第２の撮像部により生成された第２の画像、または、前記第１の画像が生成されたタイミングと異なるタイミングで前記第１の撮像部により生成された第３の画像から前記道路標示の候補を検出できるか否か判定し、前記道路標示の候補を検出できた場合、当該道路標示の候補を前記道路標示と判定し、一方、前記道路標示の候補を検出できない場合、当該道路標示の候補を前記道路標示でないと判定する再検出部と、
   を有する道路標示検出装置。

Images