以下、図面を参照しながら、車両用運転支援システムの実施形態を詳細に説明する。なお、以下の説明では、カメラで撮影した画像を含む各種の入力情報に基づいて、車両前方の道路標識の規制情報を報知することを含む各種の運転支援を行う車両用運転支援システムを例示するが、道路標識の規制情報の報知とは関係のない構成及び処理についての詳細な説明を省略する。
図1は、一実施形態に係る車両用運転支援システムを含む車載システムの構成例を示すブロック図である。図2は、道路標識の規制情報の報知に用いるカメラ及びディスプレイの設置例を説明する図である。
一実施形態に係る車両用運転支援システムは、図1に示した車載システム1の一部として、車両に搭載される。車載システム1は、車両の動作を電気的、電子的、及び機械的に制御する制御システムであり、入力部10と、制御部20と、出力部30とを含む。
入力部10は、車両の制御に用いる各種情報の取得及び入力を行う。入力部10は、例えば、カメラ11と、レーダ装置12と、速度センサ13とを含む。
カメラ11は、例えば、車両前方の風景を撮影した画像を取得する撮影部である。該カメラ11は、例えば、図2に例示したように、車両50の車室内に、車両前方の路面を含む画角θの範囲内の画像を撮影可能な態様で設置される。画角θは、例えば、直線道路における車両50から道路標識60,70までの距離が所定の距離以上である場合に該道路標識60,70を撮影可能な角度範囲とする。カメラ11は、例えば、撮影した画像から所定の対象物(例えば、道路標識、路面の車線、障害物等)を検出する画像処理部を含んでもよい。
レーダ装置12は、道路標識を含む車両前方の物体の位置及び物体までの距離等を計測することに利用する。図2には図示していないが、レーダ装置12は、例えば、車両50のフロントバンパー内等に設置される。レーダ装置12は、例えば、ミリ波レーダにより物体の位置及び物体までの距離等を計測し、該計測結果を出力する。
速度センサ13は、車両の速度(車速)を検知する。
入力部10は、カメラ11、レーダ装置12、及び速度センサ13とは別の、図示しない複数のセンサ(例えば、舵角センサ等)、及び複数のスイッチ等を含んでもよい。また、入力部10は、例えば、車両後方を撮影するカメラや、車両後方の物体の位置及び該物体までの距離を計測するレーダ装置等を含んでもよい。
制御部20は、入力部10において取得及び入力した各種情報に基づいて車両の動作や、車両の乗員等に対して提供される各種機能の動作を制御する。制御部20は、例えば、標識認識部21と、車線検知部22と、障害物検知部23とを含む。
標識認識部21は、カメラ11で撮影した車両前方の画像から検出した道路標識のうちの自車両に対して有効な道路標識の規制情報を運転者に報知する。標識認識部21は、カメラ11で撮影した画像を取得して該画像から道路標識を検出してもよいし、カメラ11で検出した道路標識の情報を取得してもよい。標識認識部21は、例えば、レーダ装置12で検出した道路標識までの距離に基づいて、自車両が対象となる道路標識を通過するタイミングで、出力部30のディスプレイ31やスピーカ32に道路標識の規制情報等を出力する。また、画像から検出した道路標識が車両進入禁止の標識等である場合には、標識認識部21は、それらの標識を識別した時点で(自車両がそれらの標識に到達する前に)ディスプレイ31やスピーカ32に規制情報を出力する。標識認識部21は、例えば、図示しない記憶部に記憶させた地図データを併用して、運転者に報知する道路標識の規制情報を決定してもよい。ディスプレイ31及びスピーカ32は、車両前方に存在する対象物(例えば、道路標識)により提供される情報を車両内の乗員に報知する報知部の例である。標識認識部21は、画像から対象物により提供される情報を識別し、識別した情報を報知部により乗員に報知させる制御部の一例である。
車線検知部22は、カメラ11で撮影した車両前方の画像から路面の車線を検知し、例えば、自車両が車線を逸脱する可能性があるか否か、蛇行(ふらつき)の有無等を判定する。車線検知部22は、例えば、自車両が車線を逸脱する可能性がある場合又は蛇行している場合に、出力部30のディスプレイ31やスピーカ32に警報を出力する。また、車線検知部22は、例えば、自車両が車線を逸脱する可能性が高いと判定した場合には、電動ステアリング33に対し、逸脱を阻止する方向にハンドルを回転させる制御信号を出力してもよい。
障害物検知部23は、例えば、レーダ装置12で検出した車両前方の物体(障害物)の位置や該物体までの距離に基づいて、自車両が前方の物体に衝突する可能性があるか否かを判定する。障害物検知部23は、例えば、前方の物体に衝突する可能性がある場合に、出力部30のスピーカ32等に警報を出力する。また、障害物検知部23は、前方の物体に衝突する可能性が高いと判定した場合には、例えば、衝突を回避又は衝突時の衝撃を軽減するために、出力部30のブレーキ作動機構34を作動させる制御信号を出力してもよい。
なお、制御部20は、標識認識部21、車線検知部22、及び障害物検知部23とは別の、図示しない各種の制御機能を含んでもよい。制御部20に含まれる各種の制御機能は、例えば、車両に搭載された1つ以上のECU(Electronic Control Unit)により実現される。また、制御部20は、例えば、車線検知部22、又は障害物検知部23が省略されてもよい。
出力部30は、制御部20からの、又は制御部20を介した入力部10からの各種信号に基づいて車両の動作や、車両の乗員等に対して提供される各種機能の動作を行う。出力部30は、例えば、ディスプレイ31と、スピーカ32と、電動ステアリング33と、ブレーキ作動機構34とを含む。ディスプレイ31は、上述した道路標識の規制情報を含む各種情報を可視化して車両の乗員等に提示する表示装置であり、例えば、ドットマトリクス方式の液晶ディスプレイである。スピーカ32は、上述した警報を含む各種情報を音として車両の乗員等に提供する音響装置である。電動ステアリング33は、運転者の操舵(ハンドル操作)を補助する機構である。ブレーキ作動機構34は、ブレーキを作動させる機構である。なお、出力部30は、ディスプレイ31、スピーカ32、電動ステアリング33、及びブレーキ作動機構34とは別の、図示しない各種の出力装置や機構を含んでもよい。
図2に例示した車両50には、本実施形態の車載システム1が搭載されている。車両50の走行中、車載システム1は、カメラ11及びレーダ装置12等を利用して取得した車両50の周囲の情報に基づいて、運転者による車両50の安全かつ適切な運転を支援する。車載システム1は、例えば、速度超過や追越し等の禁止行為を抑止するために、カメラ11を利用して取得した道路標識60,70が示している規制情報を、車両50に設置されたディスプレイ31に表示する。ディスプレイ31は、例えば、ダッシュボード51にインストルメントパネルの表示器の1つとして設置されている。ディスプレイ31に表示する規制情報は、後述するように、路上に設置されている道路標識と同様の図形的な情報であってもよいし、道路標識の意味を示す文字列であってもよい。
車載システム1は、例えば、レーダ装置12で検出した道路標識60,70までの距離に基づいて、車両50が道路上における道路標識60,70の設置位置を通過するタイミングで、該道路標識60,70の規制情報をディスプレイ31に表示する。これにより、車両50の運転者は、車両50が道路標識60,70を通過した後も、ディスプレイ31の表示を見て現在走行している道路に対する交通規制状態を確認することができ、道路標識に従った適切な運転を続けることができる。
なお、車両50が走行する道路には、例えば、複数の道路標識が並列に配置されていることがある。並列に配置された複数の道路標識は、例えば、車両50に対して有効な道路標識と、有効ではない道路標識とを含むことがある。このため、車両前方の画像から検出した道路標識の規制情報をディスプレイ31に表示する場合、自車両50に対して有効な道路標識の規制情報のみを抽出して表示することが望ましい。しかしながら、画像から道路標識を検出する場合には、例えば、外光や道路標識の退色等により道路標識が示している規制情報を正しく認識することが難しいことがある。このため、従来の車載システムでは、画像内の並列に配置された複数の道路標識から自車両に対して有効な道路標識とは異なる道路標識の規制情報を抽出して報知してしまう可能性があった。本実施形態の車載システム1に含まれる車両用運転支援システムは、自車両に対して有効な道路標識とは異なる道路標識の規制情報を報知してしまうことを抑制するために、例えば、図3のフローチャートに沿った処理を行う。
図3は、一実施形態に係る車両用運転支援システムが行う処理を説明するフローチャートである。図3には、車両50のイグニッション電源がオンである期間中に本実施形態の車載システム1が行う各種処理のうちの、画像から検出した道路標識が示している規制情報をディスプレイ31に表示する処理のフローチャートの一例を示している。車載システム1は、車両50が所定の速度以上(例えば、5km/h以上)で走行している場合に、図3のフローチャートに沿った処理を所定の時間間隔で繰り返す。以下の説明では、道路標識のことを単に「標識」という。
車載システム1における車両用運転支援システムは、まず、車両前方の画像を取得する(ステップS1)。車両前方の画像はカメラ11で撮影して取得する。次に、車載システム1は、画像内の標識形状を検知し(ステップS2)、標識の種別を識別する(ステップS3)。ステップS2及びS3の処理は、例えば、標識認識部21が行う。標識認識部21は、画像処理の分野における既知の物体検知方法に従って画像内の標識を検知した後、既知のパターンマッチングに従って画像内の標識の種別を識別する。ステップS3において、標識認識部21は、検知した標識毎に、例えば、本標識(規制標識、指示標識、警戒標識、及び案内標識のいずれか)と補助標識のうちのどちらであるかと、標識が示している規制情報とを識別する。また、ステップS3において、標識認識部21は、識別結果の確度を保持する。識別結果の確度は、パターンマッチングにおいて使用する予め登録された標識の情報(画像パターン)に対するカメラ11で撮影した画像から識別した標識の情報の尤度である。ステップS3では、カメラ11で撮影した画像内の標識は、予め登録された標識のうちの尤度が最も高い標識であると識別する。この尤度は、例えば、予め登録された標識の情報とカメラ11で撮影した画像から識別した標識の情報との類似度(一致度)であってもよい。例えば、画像内に最高速度を60km/hに規制する標識が存在する場合、標識認識部21は、画像内の円形の標識を検知した後、該標識が最高速度を規制する本標識であることと、最高速度とを識別する。例えば、画像内の最高速度規制の標識が、予め登録された最高速度を60km/hに規制する標識に対する尤度が最も高いとすると、標識認識部21は、画像内の最高速度規制の標識が最高速度を60km/hに規制する標識であると識別する。また、標識認識部21は、最高速度を60km/hに規制する標識に対する尤度を、標識の識別結果の確度として保持する。なお、ステップS2及びステップS3の処理の一部又は全部は、例えば、カメラ11に設けられた画像処理部等の標識認識部21とは別の処理部が行ってもよい。
ステップS1~S3の処理を終えると、標識認識部21は、識別した標識からディスプレイ31に表示する規制情報を抽出するためのループ処理(ステップS4)を実施する。ループ処理の始端S4sにおいて、標識認識部21は、現在行っているループ処理で未処理の本標識のうちの1つを選択する。ここで、未処理の本標識は、ステップS3で識別した1つ以上の本標識のうちの、ループ処理の始端S4sで選択されていない本標識であり、かつ、後述する並列に配置された標識としても選択されていない本標識とする。また、ステップS4のループ処理は、該ループ処理の終端S4eにおいて未処理の本標識がないと判定した場合、又は識別情報を全て破棄した場合に終了する。
ループ処理の始端S4sで本標識の1つを選択すると、標識認識部21は、選択した本標識が特定の規制種別であるか否かを判定する(ステップS5)。ここで、特定の規制種別は、並列に配置された他の標識との組み合わせに応じて、自車両に対して有効である場合と有効ではない場合とがあり得る標識の規制種別である。特定の規制種別は、例えば、図4の表80に例示した最高速度規制と、追越し禁止と、車両進入禁止とを含む。図4は、並列配置に関する特定の規制種別の例を説明する図である。なお、表80に例示した最高速度規制の標識は最高速度を100km/hに規制する標識である。特定の規制種別に含まれる最高速度規制の標識は、最高速度を示す数値が他の数値(例えば、40、50、80等)であるものを含む。
選択した本標識が特定の規制種別ではない場合(ステップS5;NO)、標識認識部21は、該本標識の規制情報を出力し(ステップS6)。例えば、特定の規制種別が図4の表80に例示した3種であり、選択した本標識の規制種別が一時停止である場合、標識認識部21は、ステップS5でNOと判定し、ステップS6で一時停止であることを示す規制情報をディスプレイ31に表示させる。
ステップS6の後、標識認識部21は、ループ処理の終端S4eにおいてループ処理(ステップS4)を終了するか否かを判定する。未処理の本標識があり、かつ該本標識の識別情報がある場合には、標識認識部21はステップS4のループ処理を繰り返す。
一方、選択した本標識が特定の規制種別である場合(ステップS6;YES)、標識認識部21は、次に、選択した本標識と並列に配置された標識の有無を判定する(ステップS7)。ステップS7では、標識認識部21は、画像内における選択した本標識との横方向(水平方向)の距離又は縦方向(垂直方向)の距離が所定の距離範囲内となる、同一の規制種別の標識又は補助標識の有無を判定する。ここで、所定の距離範囲は、例えば、隣接する2つの標識の中心間距離に対する範囲とする。この場合、所定の距離範囲の下限値は標識1個分に相当する距離とし、上限値は、実質的に並列に配置しているとみなせる距離、例えば、標識数個分又は車線幅の半分程度の距離とする。
並列に配置された標識がない場合(ステップS7;NO)、標識認識部21は、選択した本標識の規制情報を出力し(ステップS6)、ループ処理の終端S4eにおいてループ処理(ステップS4)を終了するか否かを判定する。
これに対し、並列に配置された標識がある場合(ステップS7;YES)、標識認識部21は、並列に配置された1組の標識の全ての識別結果の確度が閾値以上であるか否かを判定する(ステップS8)。ステップS8では、標識認識部21は、選択した本標識と、該本標識に並列に配置された1つ以上の他の標識のそれぞれについての識別結果の確度が閾値以上であるか否かを判定する。識別結果の確度が0から1までの範囲で確度が高いほど1に近づく値で表されている場合、確度の閾値は、例えば、0.6にする。
全ての識別結果の確度が閾値以上である場合(ステップS8;YES)、標識認識部21は、並列に配置された複数の標識の識別結果に基づいて、該複数の標識の規制情報の中から自車両に対して有効な規制情報を選択する(ステップS9)。例えば、並列に配置された複数の標識の中に選択した本標識と同一の規制種別の本標識が含まれる場合には、各本標識と対応付けられる補助標識の情報に基づいて、自車両に対して有効な規制情報を選択する。具体的には、補助標識が示す車両種別の情報や本標識による規制が有効な時間帯等に基づいて、自車両に対して有効な規制情報を選択する。ステップS9の処理の後、標識認識部21は、選択した本標識の規制情報を出力し(ステップS6)、ループ処理の終端S4eにおいてループ処理(ステップS4)を終了するか否かを判定する。
一方、並列に配置された1組の標識の中に識別結果の確度が閾値未満である標識が含まれる場合(ステップS8;NO)、標識認識部21は、現在行っている処理において識別した標識の識別情報の全てを破棄する(ステップS10)。ステップS10の処理を行った場合、標識認識部21は、ステップS6の規制情報を出力する処理を行わずに、ループ処理の終端S4eにおいてループ処理(ステップS4)を終了すると判定し、ステップS1で取得した画像に対する処理を終了する。
本実施形態に係る車載システム1に含まれる車両用運転支援システムは、予め設定された所定の開始タイミングが到来する毎に、図3のフローチャートの処理を開始する。なお、図3のフローチャートに沿った処理は、1回の処理が終了した後で次の処理が開始される逐次処理で行ってもよいし、パイプライン処理であってもよい。また、規制情報を出力する処理(ステップS6)を行うタイミングは、適宜変更可能であり、例えば、出力する規制情報に応じて異なるタイミングで出力されてもよい。例えば、出力する規制情報が車両進入禁止等である場合には対応する道路標識を検出して識別したタイミングでディスプレイ31等に出力し、出力する規制情報が最高速度規制や追越し禁止等である場合には自車両が対応する道路標識を通過するタイミングでディスプレイ31等に出力してもよい。
このように、本実施形態に係る車載システム1に含まれる車両用運転支援システムでは、画像から検知して識別した道路標識が特定の規制種別のものである場合には、同一の規制種別の標識又は補助標識が所定の距離範囲内で並列に配置されているか否かを判定する。そして、並列に配置された標識がある場合には、並列に配置された複数の標識の全ての識別結果の確度が閾値以上である場合にのみ、自車両に対して有効な道路標識の規制情報を抽出してディスプレイ31に表示する。ここで、図5及び図6を参照して、図3のステップS7における並列に配置された標識の有無の判定方法の例を説明する。
図5は、並列配置の具体例を説明する図である。図6は、並列配置の別の具体例を説明する図である。
図5の(a)には、2つの本標識61a及び61bが横方向に配置されている標識の設置例を示している。2つの本標識61a及び61bは、いずれも最高速度規制の標識であるが、左側の本標識61aの最高速度は80km/hであり、右側の本標識61bの最高速度は100km/hである。このように、最高速度が異なる最高速度規制の本標識61a及び61bが横方向に配置されており、かつ中心間距離Wが本標識2個分に相当する距離よりも短い場合、標識認識部21は、当該2つの本標識61a及び61bが並列に配置されていると判定する。このため、標識認識部21は、2つの本標識61a及び61bを並列に配置された1組の標識PG1として、ステップS8の判定を行う。
また、図5の(a)に例示したように最高速度が異なる2つの本標識61a及び61bが並列に配置されている場合、それぞれの本標識の下方には、例えば、最高速度規制の対象となる車両の種類を提示する補助標識71a及び71bが配置される。このような場合、図示は省略するが、左側の本標識61aと補助標識71aとの縦方向における中心間距離、及び右側の本標識61bと補助標識71bとの縦方向における中心間距離は、それぞれ、本標識数個分に相当する距離よりも短い。このため、標識認識部21は、2つの本標識61a及び61bと補助標識71a及び71bとの4つの標識を、並列に配置された1組の標識として、ステップS8の判定を行ってもよい。
なお、最高速度が異なる2つの本標識61a及び61bのそれぞれの下方に配置される補助標識は、例えば、各本標識の最高速度が適用される時間帯を示すものであってもよい。
図5の(b)には、2つの本標識61a及び61bが縦方向に配置されている標識の設置例を示している。2つの本標識61a及び61bは、いずれも最高速度規制の標識であるが、下側の本標識61aの最高速度は80km/hであり、上側の本標識61bの最高速度は100km/hである。このような場合、上記のように、2つの本標識61a及び61bのそれぞれの下方には、例えば、最高速度規制の対象となる車両の種類を提示する補助標識71a及び71bが配置される。また、このような配置では、上側の本標識61bと下側の本標識61aとの間に、上側の本標識61bに対する補助標識71bが配置される。このため、標識認識部21は、補助標識71bを挟んで上下方向に配置された本標識61aと本標識61bとの縦方向での中心間距離H1が所定の距離範囲内である場合に、2つの本標識61a及び61bが並列に配置されていると判定する。
また、2つの本標識61a及び61bが縦方向に配置されている場合、それぞれの本標識の下方には、例えば、最高速度規制の対象となる車両の種類を提示する補助標識71a及び71bが配置される。このような場合、図5の(c)に示したように、下側の本標識61aと補助標識71aとの縦方向における中心間距離H2、及び上側の本標識61bと補助標識71bとの縦方向における中心間距離H3は、それぞれ、本標識数個分に相当する距離よりも短い。このため、標識認識部21は、下側の本標識61aと補助標識71aを並列に配置された1組の標識PG2とし、上側の本標識61bと補助標識71bとを並列に配置された1組の標識PG3としてもよい。
更に、本実施形態においては、例えば、図5の(b)及び(c)に例示した2つの本標識61a及び61bと2つの補助標識71a及び71bの4つの標識を並列に配置された1組の標識としてもよい。
図6の(a)には、規制種別が異なる2つの本標識61c及び62と、1つの補助標識72とが縦方向に配置されている例を示している。本標識61cは最高速度を50km/hに規制する最高速度規制の標識であり、本標識62は追越し禁止の標識である。すなわち、2つの本標識61c及び62は、どちらも、図4に例示した表80において特定の規制種別に指定された本標識である。
図6の(a)では、最高速度規制の本標識61cの下方に追越し禁止の本標識62が配置されており、最高速度規制の本標識61cの上方に本標識の規制が終わることを示す補助標識72が配置されている。この場合、2つの本標識61cと62とは、規制種別が異なるため、標識認識部21は、該2つ本標識61cと本標識62との中心間距離が所定の距離範囲内であっても、並列に配置された標識とは認識しない。同様に、追越し禁止の本標識62と補助標識72との間には、本標識62とは別の本標識61cが配置されているため、標識認識部21は、該2つの標識の中心間距離が所定の距離範囲内であっても、並列に配置された標識とは認識しない。これに対し、最高速度規制の本標識61cと補助標識72との縦方向での中心間距離H4が所定の距離範囲内である場合、標識認識部21は、最高速度規制の本標識61c及びその上方の補助標識72を並列に配置された1組の標識PG4と判定する。
図6の(b)には、規制種別が異なる2つの本標識63及び64と、各本標識63及び64に対する補助標識73a及び73bとが縦方向に配置されている例を示している。本標識63は歩行者専用であることを示す規制標識であり、本標識64は車両進入禁止を示す規制標識である。また、本標識63に対する補助標識73a及び本標識64に対する補助標識73bは、それぞれ、各標識の規制が適用される時間帯を示している。
本標識64は図4に例示した表80において特定の規制種別に指定されているが、本標識63は特定の規制種別に設定されていない。このため、標識認識部21は、本標識63と本標識64との中心間距離が所定の距離範囲内であっても、該2つの本標識63及び64を、並列に配置された標識とは認識しない。同様に、標識認識部21は、特定の規制種別ではない本標識63と補助標識73aとの中心間距離が所定の距離範囲内であっても、並列に配置された標識とは認識しない。これに対し、特定の規制種別である本標識64と補助標識73bとの縦方向での中心間距離H5が所定の距離範囲内である場合、標識認識部21は、車両進入禁止の本標識64及びその下方の補助標識73bを並列に配置された1組の標識PG5と判定する。
なお、本実施形態において並列に配置されていると判定される標識の組み合わせは、図5の(a)~(c)、並びに図6の(a)及び(b)に例示した組み合わせに限らず、上述した条件又は予め定めた並列配置とみなす別の条件を満たす組み合わせであればよい。
上述した条件を満たす並列に配置された1組の標識が存在する場合(ステップS7;YES)、標識認識部21は、当該1組の標識の全ての識別結果の確度が閾値以上であるか否かを判定する(ステップS8)。そして、並列に配置された1組の標識の全ての識別結果の確度が閾値以上である場合に、標識認識部21は、該1組の標識のなかから自車両に対して有効な標識の規制情報を選択し(ステップS9)、選択した規制情報を出力する(ステップS6)。
例えば、図5の(c)に示した例において、ループ処理の始端S4sで最高速度が80km/hであることを示す本標識61aが選択されている場合、標識認識部21は、例えば、本標識61a及びその下方の補助標識71aの2つの標識を並列に配置された1組の標識PG2と認識する。この場合、標識認識部21は、該2つの標識61a及び71aの識別結果の確度が閾値以上であるか否かを判定し、全ての確度が閾値以上である場合にのみ、自車両に対して有効な標識の規制情報を出力する。また、例えば、図5の(c)に示した例において、ループ処理の始端S4sで最高速度が80km/hであることを示す本標識61aが選択されている場合、標識認識部21は、例えば、2つの本標識61a及び61bと補助標識71a及び71bの4つの標識を並列に配置された1組の標識と認識してもよい。この場合には、標識認識部21は、該4つの標識61a,61b,71a,及び71bの識別結果の確度が閾値以上であるか否かを判定し、全ての確度が閾値以上である場合に、自車両に対して有効な標識の規制情報を出力する。
図7は、一実施形態に係る車両用運転支援システムによる道路標識の認識結果の一例を説明する図である。
図7の(a)には、上述した本実施形態に係る車両用運転支援システムにおいて、午前7時00分にカメラ11で撮影した画像90と、該画像を用いた本標識61c及び61dの識別結果の確度の表81とを示している。
画像90には、最高速度が異なる2つの最高速度規制の本標識61c及び61dが横方向に配置されており、該2つの本標識の下方には、それぞれ、最高速度規制が適用される時間帯を示す補助標識が配置されている。また、表81には、画像90を取得して2つの本標識61c及び61dを検知し、種別を識別した結果の一例を示している。表81では、最高速度を40km/hに規制する左側の本標識61dの識別結果の確度P1が閾値THPよりも大きく、最高速度を50km/hに規制する右側の本標識61cの識別結果の確度P2が閾値THPよりも小さくなっている。
表81に示したような識別結果及び図示しない補助標識に対する識別結果を得た後、標識認識部21は、図3に示したステップS4のループ処理を行う。ステップS4のループ処理では、標識認識部21は、例えば、まず、2つの本標識61c及び61dのうちの本標識61dを選択し、該本標識61dが特定の規制種別の標識であるか否かを判定する(ステップS5)。図4の表80に基づいて判定をした場合、標識認識部21は、本標識61dが特定の規制種別であると判定する。このため、標識認識部21は、次に、本標識61dに並列に配置された標識の有無を判定する(ステップS7)。本標識61dの右方には、本標識61dと同一規制種別の本標識61cが配置されている。このため、本標識61dと本標識61cとの中心間距離が所定の距離範囲内であるとすると、標識認識部21は、図7の(b)に示したように、該2つの本標識61d及び61cを並列に配置された1組の標識PG6と認識する。したがって、標識認識部21は、次に、1組の標識PG6に含まれる2つの本標識61d及び61cの識別結果の確度が閾値THP以上であるか否かを判定する(ステップS8)。図7の(a)に例示した表81では、本標識61dの識別結果の確度P1は閾値THPよりも大きいが、本標識61cの識別結果の確度P2は閾値THPよりも小さい。このため、本実施形態に係る車両用運転支援システムにおける標識認識部21は、図3に示したように、画像90から検出した標識の識別情報を全て破棄する(ステップS10)。よって、本実施形態に係る標識認識部21は、図7の(b)に示した表82のように、画像90から検出した標識の規制情報を表示せずに、画像90に対する処理を終了する。
これに対し、従来の標識の規制情報を出力するシステムでは、画像90から検出して識別した2つの本標識61c及び61dのうちの、識別結果の確度が閾値以上である本標識61の規制情報のみを採用してしまうことがある。このような場合、例えば、画像90を撮影した午前7時に適用されている最高速度(50km/h)ではなく、最高速度が40km/hに規制されていることを車両の運転者に報知してしまうことがある。
また、図を参照した説明は省略するが、例えば、追越し禁止の本標識と本標識による規制が有効である区間の終わりを示す補助標識とが並列に配置されており、かつ補助標識の識別結果の確度が閾値THPよりも小さい場合、従来のシステムでは、追越し禁止であることを運転者に報知してしまうことがある。このような場合、運転者は追越し禁止であると認識した状態で運転を続けてしまい、例えば、自車両を追い越そうとする後続の車両に対し即座に適切な対処をすることができない可能性がある。これに対し、本実施形態のシステムでは、車両が追越し禁止区間の終わりを示す標識を通過した後、追越し禁止であることを運転者に報知しない。このため、追越し禁止区間を通過した後、自車両を追い越そうとする後続の車両に対し即座に適切な対処をすることができる。
このように、本実施形態に係る車両用運転支援システムでは、特定の規制種別として指定された道路標識については、所定の条件を満たす並列に配置された1組の標識の全ての識別結果の確度が閾値以上である場合にのみ、該道路標識の規制情報を出力する。このため、上述した従来のシステムのように自車両に対して有効ではない規制情報が表示されてしまうことを抑制することができる。したがって、本実施形態に係る車両用運転支援システムによれば、より適切な運転支援を行うことができる。
なお、道路標識の規制情報は、上記のように、車両50のダッシュボード51に取り付けられたインストルメントパネルに配置されたディスプレイ31に表示させることが好ましい。
図8は、規制情報の出力方法を説明する図である。
図8の(a)には、ダッシュボード51に取り付けられたインストルメントパネルにおけるディスプレイ31a及び31b、並びにメータ35及び36の配置の一例と、ディスプレイ31aに表示する規制情報の一例を示している。例えば、メータ35は車両の速度等を示すスピードメータであり、メータ36はエンジンの回転数を示すタコメータである。メータ35とメータ36とは配置が逆であってもよい。メータ35とメータ36との間に配置されたディスプレイ31a及び31bは、車両に関するその他の各種情報を表示するマルチインフォメーションディスプレイである。上述した道路標識の規制情報を表示する機能が有効である場合、標識認識部21は、規制情報をディスプレイ31aに表示させる。この場合、標識認識部21は、規制情報として、例えば、図8の(a)に示したように、道路標識と同様の図形的な規制情報を表示する。図8の(a)には、最高速度を60km/hに規制する最高速度規制標識がディスプレイ31aに表示されている例を示している。ディスプレイ31aの標識の表示は、例えば、標識認識部21が、次に自車両に対して有効な標識の規制情報を出力するまで継続する。このため、車両前方の標識を目視できない標識間を車両が走行している場合にも、運転者は、ディスプレイ31aを見ることで、現在走行している道路に適用されている規制情報を認識し、適切な運転をすることができる。
また、ディスプレイ31aに表示する規制情報は、図8の(a)に示したような図形的な情報に限らず、例えば、図8の(b)に示したような文字列の情報であってもよい。
なお、道路標識の規制情報を表示するディスプレイ31は、インストルメントパネルに配置されたものに限らず、例えば、フロントガラス等に各種情報を投影して表示するヘッドアップディスプレイであってもよい。
以上、一実施形態に係る車両用運転支援システムを含む車載システム1の構成及び該車載システム1が行う処理を説明したが、これらの構成及び処理は、本発明に係る車両用運転支援システムを含む車載システム1の構成及び該車載システム1が行う処理の例示に過ぎない。本発明に係る車両用運転支援システムを含む車載システム1の構成及び該車載システム1が行う処理は、上述した例に限らず、本発明の要旨を逸脱しない範囲において適宜変更可能である。
例えば、図7を参照した規制情報の出力方法では、同一の規制種別である2つの本標識61c及び61dを並列に配置された1組の標識としてステップS8の判定を行う場合を例示している。しかしながら、上述したように、ステップS8の判定では、これに限らず、並列に配置された本標識と補助標識とを1組の標識としてもよい。
図9は、一実施形態に係る車両用運転支援システムが行う処理の第1の応用例を説明する図である。
図9には、最高速度規制の本標識61dと、該本標識61dの下方に配置された補助標識73cとを含む画像91と、該画像91を用いて行った処理の結果を説明する表83とを示している。画像91内の本標識61dは、最高速度を40km/hに規制する規制標識であり、画像91内の補助標識73cは、本標識61dの最高速度規制が適用される時間帯を示す標識である。
画像91では、本標識61dは全体が鮮明に写っているため、該本標識61dの識別結果の確度は非常に高い値になる。しかしながら、画像91における補助標識73cは、左方の一部分が街路樹40と重なっているため、補助標識73cの識別結果の確度P3は、本標識61dの確度に比べて低い値となる。
並列に配置された1組の標識PG7が1つの本標識61dと1つの補助標識73cとの組である場合、ステップS8の判定では、これら2つの標識の識別結果の確度が閾値以上であるか否かを判定する。図9に例示した画像91では、補助標識73cが示す時間帯のうちの開始時間を示す部分が街路樹40で覆われており、画像91から開始時間を識別することができない。ステップS8の判定では、このような補助標識73cの識別結果の確度P3が閾値THPよりも小さくなるように、閾値THPを設定する。補助標識73cの識別結果の確度P3が閾値THPよりも小さい場合、ステップS8の判定はNOとなる。このため、標識認識部21は、画像91から検知して識別した本標識61dの識別情報及び補助標識73cの識別情報を破棄し、画像91に対する処理を終了する。このため、画像91に写っている本標識61dを通過した後、車両のディスプレイ31に本標識61dの規制情報は表示されない。
これに対し、画像内で本標識61d及び補助標識73cの全体が鮮明に写っている場合や、標識の一部が街路樹40等と重なっているが規制情報の全体を識別することができ識別結果の確度が高い場合には、ステップS8の判定はYESとなる。例えば、画像91と類似した画像において補助標識73cに示された時間帯の開始時間及び終了時間が高い確度で識別された場合、補助標識73cの確度P3は閾値THPよりも大きくなり、ステップS8の判定はYESとなる。この場合、標識認識部21は、本標識61d及び補助標識73cから自車両に対して有効な規制情報、例えば、最高速度規制が40km/hであることを示す情報と、該規制が適用される時間帯を示す情報とをディスプレイ31に表示させる。このように、本実施形態に係る車両用運転支援システム(車載システム1)では、並列に配置された本標識及び補助標識のうちの補助標識の識別結果の確度が閾値よりも小さい場合に、本標識の規制情報を運転者に報知しないようにすることができる。このため、自車両(運転者)に対して有効であるか否かが不確かな規制情報を運転者に報知することを抑制し、より一層適切な運転支援をすることができる。
また、本実施形態に係る車両用運転支援システムは、例えば、ステップS8でNOと判定した場合に、所定の期間内に行った過去の処理における識別情報を利用して現在行っている処理で規制情報を出力するか否かを再判定する処理を含んでもよい。
図10Aは、一実施形態に係る車両用運転支援システムが行う処理の第2の応用例を説明するフローチャート(その1)である。図10Bは、一実施形態に係る車両用運転支援システムが行う処理の第2の応用例を説明するフローチャート(その2)である。図10Aに示したステップS1~S9、及び図10Bに示したステップS10は、それぞれ、図3に示したフローチャートにおけるステップS1~S9,及びステップS10と対応する。このため、図10A及び図10Bを参照した以下の説明では、ステップS1~S10についての詳細な説明を省略する。
車載システム1における車両用運転支援システムは、まず、車両前方の画像を取得する(ステップS1)。そして、画像内の標識形状を検知し(ステップS2)、標識の種別を識別する(ステップS3)。ステップS1~S3の処理は、カメラ11及び標識認識部21により行われる。
ステップS1~S3の処理を終えると、標識認識部21は、ステップS4のループ処理を行う。標識認識部21は、ループ処理の始端S4sで選択した本標識が特定の規制種別ではない場合(ステップS5;NO)には、選択した本標識の規制情報を出力する(ステップS6)。また、標識認識部21は、選択した本標識が特定の規制種別であり(ステップS5;YES)、かつ並列に配置された標識がない場合(ステップS7;NO)にも、選択した本標識の規制情報を出力する。ここで、並列に配置された標識は、上述のように、選択した本標識との中心間距離が所定の距離範囲内になる、同一規制種別の本標識又は補助標識である。
選択した本標識が特定の規制種別であり、かつ並列に配置された標識がある場合(ステップS7;YES)、標識認識部21は、次に、並列に配置された1組の標識の全ての識別結果の確度が閾値以上であるか否かを判定する(ステップS8)。全ての識別結果の確度が閾値以上である場合(ステップS8;YES)、標識認識部21は、並列に配置された1組の標識の識別情報から自車両に対して有効な規制情報を選択し(ステップS9)、その後、並列に配置された1組の標識の識別情報を履歴に格納する(ステップS11)。ステップS11では、標識認識部21は、例えば、ECUのRAMに、並列に配置された1組の標識に含まれる各標識の識別情報を格納する。ステップS9及びS11の処理の後、標識認識部21は、ステップS9で選択した規制情報を出力する(ステップS6)。
これに対し、1組の標識の中に識別結果の確度が閾値よりも小さい標識が含まれる場合(ステップS8;NO)、標識認識部21は、図10Bに示したような処理を行う。標識認識部21は、まず、履歴内に並列配置の標識の識別情報があるか否かを判定する(ステップS12)。並列配置の標識の識別情報は、ステップS11において履歴に格納される、並列に配置された1組の標識のうちの、全ての標識の識別結果の確度が閾値以上となる1組の標識の識別情報である。並列配置の識別情報がない場合(ステップS12;NO)、標識認識部21は、今回の処理で検知した標識の識別情報を全て破棄し(ステップS10)、ステップS4のループ処理を終了する。
並列配置の識別情報がある場合(ステップS12;YES)、標識認識部21は、次に、履歴内に、今回の並列配置の標識の識別情報と類似度の高い識別情報があるか否かを判定する(ステップS13)。ステップS13では、標識認識部21は、履歴に格納された並列に配置された1組の標識の識別情報の組み合わせを、現在行っている処理における並列に配置された1組の標識の識別情報の組み合わせと比較して類似度を算出する。類似度は、例えば、1組の標識に含まれる本標識及び補助標識の数、並んでいる方向、各標識の規制種別及び規制情報等の各情報の差分に基づいて算出する。類似度は、例えば、1組の標識のうちの識別結果の確度が閾値以上である標識の識別情報のみを利用して算出してもよい。そして、類似度が閾値以上である識別情報の組み合わせがあった場合に、該識別情報の組み合わせを類似度の高い識別情報と判定する。類似度の高い識別情報がない場合(ステップS13;NO)、標識認識部21は、今回の処理で検知した標識の識別情報を全て破棄し(ステップS10)、ステップS4のループ処理を終了する。
類似度の高い識別情報がある場合(ステップS13;YES)、標識認識部21は、履歴内の類似度の高い識別情報から自車両に対して有効な規制情報を選択する(ステップS14)。履歴内に、類似度が閾値以上となる標識の組が複数組存在する場合、標識認識部21は、例えば、該複数組の標識の組のうちの類似度が最も高い標識の組、又は履歴に格納した時刻が最も遅い(新しい)標識の組を選出し、当該標識の組に含まれる各標識の識別情報から有効な規制情報を選択する。自車両に対して有効な規制情報を選択した後、標識認識部21は、今回の処理で検知した標識の識別情報を全て破棄し(ステップS15)、ステップS14で選択した規制情報を出力する(ステップS6)。
このように、第2の応用例では、現在行っている処理において画像から識別した並列に配置された1組の標識に識別結果の確度が低い標識が含まれる場合に、履歴に格納された、類似度の高い標識の組の識別情報を利用して、自車両に対して有効な規制情報を報知する。履歴に格納された、標識の組の識別情報は、過去に行った処理において画像から識別した、並列に配置された1組の標識の識別情報であり、全ての標識の識別結果の確度が閾値以上である。このため、現在行っている処理において画像から識別した並列に配置された1組の標識のうちの識別結果の確度が低い標識を、履歴に格納された類似度の高い標識の組の識別情報に基づいて高精度に推定することができる。したがって、第2の応用例によれば、現在行っている処理において画像から識別した並列に配置された1組の標識に識別結果の確度が低い標識が含まれる場合であっても、過去の処理の結果を利用して、自車両に対して有効な規制情報を運転者に報知することができる。
図11は、第2の応用例による規制情報の出力を説明する図である。図11には、上に向かって走行する車両50に搭載されたカメラ11で撮影した2カ所の標識の画像92及び93と、これらの標識を通過した時にディスプレイ31aに表示される規制情報の例を示している。
車両50に搭載された車載システム1における車両用運転支援システムは、まず、図11において下側に位置する2つの本標識61c及び61dを含む画像92を取得し、本標識61c及び61d、並びに補助標識73c及び73dを識別する(ステップS1~S3)。その後、車載システム1の標識認識部21は、ステップS4のループ処理を開始する。画像92内の2つの本標識61c及び61dは、どちらも最高速度を規制する規制標識であり、かつ中心間距離が所定の距離範囲内であるため、標識認識部21は、2つの本標識61c及び61dを並列に配置された1組の標識BG8として、識別結果の確度が閾値以上であるか否かを判定する(ステップS8)。ここで、2つの本標識61c及び61dの両方の識別結果の確度が閾値以上であるとすると、標識認識部21は、該2つの本標識61c及び61dの識別情報を履歴に格納し(ステップS11)、自車両に対して有効な規制情報を出力する(ステップS6)。2つの本標識61c及び61dは、最高速度を規制する規制標識であるが、最高速度が異なる。また、2つの本標識61c及び61dのそれぞれの下方には、最高速度の規制が適用される時間帯を示す補助標識73c及び73dが配置されている。このため、例えば、画像92を撮影した時刻が午前7時00分であるとすると、自車両に対して有効な規制情報は、右側の本標識61cの規制情報になる。よって、標識認識部21は、道路上の2つの本標識61c及び61dが設置された位置を通過するタイミングで、最高速度を50km/hに規制することを示す規制情報をディスプレイ31aに表示させる。
その後、車両50に搭載された車載システム1は、図11において上側に位置する2つの本標識61c’及び61d’を含む画像93を取得し、本標識61c’及び61d’、並びに補助標識73c’及び73d’を識別する(ステップS1~S3)。そして、車載システム1の標識認識部21は、ステップS4のループ処理を開始する。画像93内の2つの本標識61c’及び61d’は、どちらも最高速度を規制する規制標識であり、かつ中心間距離が所定の距離範囲内であるため、標識認識部21は、2つの本標識61c’及び61d’を並列に配置された1組の標識として、識別結果の確度が閾値以上であるか否かを判定する(ステップS8)。ここで、2つの本標識61c’及び61d’のうちの右側の本標識61c’の識別結果の確度が閾値未満であるとすると、ステップS8の判定はNOとなる。このため、車載システム1において図3に例示したフローチャートに沿った処理が行われている場合には、標識認識部21は、2つの本標識61c’及び61d’のう識別情報を含む識別情報の全ての破棄する(ステップS10)。よって、車載システム1において図3に例示したフローチャートに沿った処理が行われている場合には、2つの本標識61c’及び61d’を通過した後、ディスプレイ31aには規制情報が表示されない。
これに対し、図10A及び図10Bに例示した第2の応用例に沿った処理が行われている場合、標識認識部21は、画像93から検知して識別した本標識61c’及び61d’の識別情報と履歴内の本標識61c及び61dの組の識別情報との類似度を算出し、該類似度が高い(閾値以上)か否かを判定する(ステップS13)。画像93から検知して識別した本標識61c’及び61d’は、それぞれ、履歴内の本標識61c及び61dと同一種別の規制標識であるため、両者の類似度は高くなる。このため、標識認識部21は、履歴内の本標識61c及び61dを画像93から検知して識別した本標識61c’及び61d’の識別情報とみなし、履歴内の本標識61c及び61dの識別情報から自車両に対して有効な規制情報を選択し(ステップS14)、出力する(ステップS6)。よって、標識認識部21は、道路上の2つの本標識61c’及び61d’が設置された位置を通過するタイミングで、最高速度を50km/hに規制することを示す規制情報をディスプレイ31aに表示させる。
このように、第2の応用例では、過去(特に直近)に行った処理において識別結果の確度が閾値以上であった標識の識別情報に基づいて、現在行っている処理において確度の低い標識の識別情報を推定し、該標識の規制情報を運転者に報知することができる。このため、並列に配置された1組の標識の識別情報から自車両に対して有効ではない規制情報を選択して報知してしまうことを抑制する一方で、自車両に対して有効である可能性の高い規制情報の報知を継続することができる。
なお、上述した第1の応用例及び第2の応用例もまた、本発明に係る車両用運転支援システムを含む車載システム1が行う処理の例示に過ぎない。本発明に係る車両用運転支援システムを含む車載システム1の構成及び該車載システム1が行う処理は、上述した例に限らず、本発明の要旨を逸脱しない範囲において適宜変更可能である。例えば、第2の応用例においては、画像92から検出して識別した本標識61c及び61dの識別情報、並びにそれらに対する補助標識73c及び73dの識別情報を履歴に格納し、ステップS13において、4つの標識61c,61d,73c,及び73dの識別情報と、画像93から検出して識別した4つの標識61c’,61d’,73c’,及び73d’の識別情報との類似度の高さを判定してもよい。
また、上述した道路標識の規制情報を報知する処理は、例えば、車両用運転支援システムにおける他の支援機能と組み合わされてもよい。例えば、最高速度の規制情報を報知する場合には、標識により規制される最高速度と速度センサ13により検知した車速とを比較し、車速が最高速度を上回っている場合には、警報やメッセージを出力して運転者に対して減速を促してもよい。更に、上述した規制情報を出力する処理(図3及び図10AのステップS6)は、例えば、ディスプレイ31やスピーカ32等を利用して規制情報を運転者に報知することを含まず、車線逸脱(追越し)を抑制するシステム等に対して規制情報を出力する処理であってもよい。このように、上述した方法で識別して選択した規制情報を、運転者に報知することとは別の運転支援機能で利用する場合も、当該別の運転支援機能による道路標識に従ったより適切な運転支援が可能となる。
また、上述した実施形態で挙げた道路標識は、車両の前方に存在し運転者に対して運転支援に関する情報を提供する対象物の一例である。また、標識認識部21は、上述したように、画像から対象物により提供される情報を識別し、識別した情報を報知部(例えば、ディスプレイ31)により乗員に報知させる制御部の一例である。すなわち、上述した車両用運転支援システムにおいて画像から検知する対象物は、道路標識に限らず、運転者に対して安全かつ適切な運転を支援するための情報を提供する種々の物体であり得る。例えば、対象物は、路面に施工された路面標示を含んでもよい。