JP6570302B2 - 運転支援装置 - Google Patents

Description

障害物検出手段により自車両周辺の障害物を検出したときに、障害物の検出に応じた運転支援を行う運転支援装置に関する。

従来、自動車の分野においては、自車両に搭載されたカメラの撮影により検出した自車両前方等の周辺の障害物が歩行者であるか否かを認識し、歩行者であると認識した場合には、ドライバに対して歩行者の存在をブザー音で報知するなどの運転支援が行われている。

このとき、障害物が歩行者であるかの判定は、カメラによる撮影画像のパターンが予め登録された歩行者を含む各種障害物の画像パターンとマッチングするかどうかの照合により、撮影された障害物が歩行者であるか否を判定し、さらに特許文献１に記載のように、歩行者であると判定された場合には当該歩行者の腕部や脚部等の部位を特定し、特定した部位と、予め登録された歩行者の腕部や脚部等の部位パターンとを照合することによって、当該歩行者であるかどうかをより精度よく判定し、判定結果に応じて警報を発するなどの所定の運転支援を行うことが提案されている。

特開２０１２−１１８６８３号公報（段落００１１〜００２２および図１〜図５参照）

しかし、従来のパターンマッチングによる歩行者認識の場合、マイクロコンピュータ構成の車載ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）のソフトウェア処理により、歩行者の画像の辞書パターン、歩行者の腕部や脚部等の部位の辞書パターンと、記憶部に予め記憶されたこれらに対応する辞書パターンとを照合するため、精度の高い判定を行うには、辞書パターンのデータ量を増やしてより多くの辞書パターンとの照合を行わなければならず、ＥＣＵの処理負荷が非常に大きくなる。しかも、時々刻々と移動する歩行者等の障害物を認識するには、障害物の追跡（トラッキング）処理が必要になり、ＥＣＵの処理負荷が一層大きくなるため、十分な追跡処理を行うことができず、自車両の前方に歩行者が居ても認識できないおそれがある。

一方、辞書パターンを少なくした場合には、ＥＣＵの処理負荷は軽減できる反面、歩行者と形状の近似する障害物を検出したときに、誤って歩行者と判定して運転支援のシステムが誤作動することがある。さらに、例えば自車両の前方を撮影中のカメラのレンズに強い逆光や遮蔽物が入ると、それまでのカメラの撮影画像に基づき歩行者等の障害物を認識できていたものが、撮影環境の急変により撮影が困難になり、瞬間的であっても障害物を認識できなくなって障害物を見失うという問題が生じることも考えられる。

本発明は、負荷の少ない処理で、安定して歩行者を検出できて装置の誤作動を低減できるようにすることを目的とする。

上記した目的を達成するために、本発明の運転支援装置は、カメラによる撮影データの処理により自車両周辺の障害物を検出したときに、支援手段により障害物の検出に応じた運転支援を行う運転支援装置であって、前記カメラの撮影画像とメモリに予め記憶された辞書パターンとの照合により歩行者および歩行者らしい障害物と、その他の障害物とを区別し、区別した当該障害物と自車両との相対速度がしきい値を超えないかどうかにより前記障害物が歩行者であるかどうかを判定する判定手段と、前記判定手段により前記障害物を歩行者と判定している時間が規定時間以上継続するかどうかを認識する認識手段と、前記障害物が歩行者であると前記判定手段により判定される時間が規定時間以上継続していると前記認識手段により認識されたときには、その後に前記判定手段による前記歩行者との判定がなされなくなってから所定時間が経過するまでの間において、前記支援手段の駆動が必要になったときに前記支援手段を駆動して運転支援を行う制御手段とを備えることを特徴としている（請求項１）。

請求項１に係る本発明によれば、判定手段により障害物を歩行者と判定している時間が規定時間以上継続すると認識手段により認識され、その後に判定手段が歩行者と判定しなくなってから所定時間が経過するまでの間において、支援手段の駆動が必要になったときに制御手段により支援手段が駆動されて運転支援が行われるため、障害物検出手段であるカメラが逆光により障害物を撮影できなくなり、このような逆光等の撮影環境の急変に起因して、実際には歩行者が存在するにもかかわらず判定手段により歩行者と判定されなくなった場合であっても、その後所定時間は支援手段の駆動が必要になったときに支援手段を駆動して運転支援を行うことができ、負荷の少ない処理で、安定して歩行者を検出することができて、真の歩行者ではないのに装置が誤って作動するのを低減することができる。

本発明の運転支援装置の一実施形態のブロック図である。 図１の運転支援装置の動作説明図である。 図１の運転支援装置の動作説明用フローチャートである。

本発明の一実施形態について図１ないし図３を参照して説明する。

本実施形態における運転支援装置は図1に示すように構成されている。図１に示すように、自車両１のフロントガラスの中央内面側上部に、障害物検出手段としてのＣＣＤカラーカメラ(以下、単にカメラという)２が配設され、このカメラ２は、自車両１の前方を図中の１点鎖線で示す所定の画角で撮影し、画角内の障害物等を撮影するための光学系を有する撮影部２ａと、撮影部２ａの明るさやズーム率等の撮影状態を制御し撮影データを処理するマイクロコンピュータ構成の制御部２ｂとを備えている。

また、図１に示すように、自車両１の前方に所定範囲にわたってレーザ光を照射するレーザレーダ３が自車両１の前部に設けられ、このレーザレーダ３から障害物からの反射光を受光して障害物までの距離を検出し、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信の通信バス５を介してＶＳＣ（Ｖｅｈｉｃｌｅ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）ＥＣＵ４に測距データを送信し、これを受信したＶＳＣＥＣＵ５は、車速センサ６による自車速および自車両１と障害物との間の距離の変化等から導出した障害物の相対速度に基づき、衝突を回避するのに必要な制動時間等を演算して所定のタイミングで制動手段を制御し、運転支援として自動ブレーキの制御を行う。

さらに、レーザレーダ３による測距データは、ＣＡＮ通信によりカメラ２の制御部２ｂにも送信され、後述するＶＳＣＥＣＵからも車速センサによる自車速および障害物との相対速度のデータがＣＡＮ通信により制御部２ｂに送信され、制御部２ｂは、これら測距データ、自車速および相対速度のデータに基づき、自車両１と障害物との間の距離が所定距離以下になったときや、自車両１が障害物との衝突を回避するのに必要な制動時間に近くにまで障害物が自車両１に接近したとき等の運転支援として、ドライバに対して警報を発すべく、制御部２ｂにより、ＣＡＮ通信で後述するメータＥＣＵに組み込まれたブザーを駆動するためのブザー駆動指令を送信するようになっている。

また、図１に示すように、自車両のインストルメントパネルに配設された各種メータを制御するマイクロコンピュータ構成のメータＥＣＵ７が設けられ、カメラ２の制御部２ｂから送信される上記したブザー駆動指令をメータＥＣＵ７が受信することにより、運転支援としてドライバに対する注意喚起のために、メータＥＣＵ７と同一基板に組み込まれたブザー８が駆動されて所定の警報音が発せられる。

ところで、カメラ２による画像データに基づく運転支援は、自動ブレーキの場合よりも迅速な対応が求められるものではなく、あくまでもドライバの注意喚起という運転支援であり、自車両１が前方障害物と衝突するおそれはないものの、ドライバに歩行者を含む障害物が前方に存在すると認識させるためのものであるため、特に障害物が歩行者である場合に限って、歩行者に対する注意喚起のためにブザー８を駆動するようにしている。その場合、カメラ２による撮影画像中に歩行者画像が含まれるかどうかにより、検出される障害物が歩行者であるかどうかを判定する必要があるが、この判定はカメラ２の制御部２ｂにより以下のようにして行われる。

すなわち、カメラ２の制御部２ｂにより、制御部２ｂに内蔵のメモリ（図示省略）に記憶された乗用車、軽自動車、バイク、歩行者等の複数種類の障害物の画像である辞書パターンと、撮影部２ａにより撮影された障害物の画像パターンとが照合されて、当該障害物が歩行者かそれ以外かが判断されるが、記憶しておく辞書パターンは制御部２ｂの処理負荷の軽減のために最少限のデータ量にとどめられており、歩行者および歩行者らしい障害物と、車両等その他の障害物との大まかな区別がなされる。ここで、歩行者らしい障害物とは、人が運転する自転車やバイクなどで、人の形状の一部が画像として捉えられる場合が該当する。

そして、カメラ２により歩行者および歩行者らしい障害物が検出されたときに、それが歩行者なのか、バイクや自転車を運転する人であって真の歩行者ではないのかを更に明確に区別するために、制御部２ｂにより、ＶＳＣＥＣＵ４からＣＡＮ通信で送信される自車速および障害物の相対速度の情報が受信され、自車速Ｖａおよび自車両１と障害物との相対速度Ｖｂの加算値が、予め定められたしきい値Ｖｔ（例えば、１０〜１５ｋｍ／ｈに設定）を超えないかどうか（Ｖａ＋Ｖｂ＞Ｖｔ）の判断がなされて、超える場合にはその障害物は真の歩行者ではないと判定される。ここで、（Ｖａ＋Ｖｂ）の加算値は障害物の移動速度を表わすことになる。

例えば、しきい値Ｖｔが１０ｋｍ／ｈに設定されているときに、自車速Ｖａが３０ｋｍ／ｈであり、例えば前進する自転車が障害物であってその相対速度Ｖｂが−１５ｋｍ／ｈ（マイナス符号は自車両１に向かって接近することを意味する）であると、加算値（＝Ｖａ＋Ｖｂ）つまり障害物の移動速度は１５ｋｍ／ｈとなってしきい値Ｖｔ（＝１０ｋｍ／ｈ）を超え、歩行者の通常の歩行速度よりも大きくなるため、この障害物は真の歩行者ではなく人が運転する自転車あるいはバイクと判定される。一方、障害物が自車両の前方の歩行者であって相対速度が−２５ｋｍ／ｈであると、加算値（＝Ｖａ＋Ｖｂ）は５ｋｍ／ｈとなってしきい値Ｖｔ（＝１０ｋｍ／ｈ）を超えないため、カメラ２により検出された障害物は真の歩行者であると判定される。こうして、真の歩行者かそうでないかの区別が行われ、このような制御部２ｂによる判定処理が、本発明における判定手段に相当する。

そして、カメラ２の制御部２ｂによる上記した判定により、カメラ２が撮影した画像に含まれる障害物が真の歩行者であるときには、図２に示すように、制御部２ｂにより、時刻ｔ１に障害物を歩行者と判定され、この判定有りの状態が予め設定された規定時間であるＴ１時間（例えば、０．５秒）経過した時刻ｔ２を過ぎても継続するときに、そのあと時刻ｔ３に制御部２ｂにより歩行者と判定されなくなった後も、所定時間であるＴ２時間（例えば、１秒）後の時刻ｔ４までの間、制御部２ｂにより、カメラ２は歩行者を検出している歩行者検出状態にあると認識される。このような制御部２ｂによる認識処理が、本発明における認識手段に相当する。なお、Ｔ１時間内に歩行者を検出できなくなったときには、上記した処理は実行されない。

カメラ２では、自車両１が走行しているときに、強い逆光や遮蔽物により前方の障害物を撮影できなくなる事態が発生することがある。このように、逆光等の撮影環境の急変に起因して、実際には歩行者が存在するにもかかわらずカメラ２の制御部２ｂにより歩行者と判定されなくなった場合に、その後、Ｔ２時間は歩行者が検出されている状態を保持しているように処理することにより、歩行者を検出している通常の検出状態に行われる運転支援としてのブザー８の駆動を確実に行うことが可能なる。

つぎに、上記したカメラ２の制御部２ｂの処理動作について図３のフローチャートを参照して説明する。

図３に示すように、カメラ２の制御部２ｂにより、撮影で得られた障害物の画像パターンとメモリの辞書パターンとの照合から、それが歩行者および歩行者らしい障害物か、それ以外の車両等の障害物かが区別され（ステップＳ１）、歩行者および歩行者らしい障害物であると判断されると、上記したように、ＶＳＣＥＣＵ４から送信される自車速Ｖａおよび自車両１と障害物との相対速度Ｖｂのデータが取得される（ステップＳ２）。

そして、自車速Ｖａと相対速度Ｖｂとの加算値（Ｖａ＋Ｖｂ）がしきい値Ｖｔを超えるかどうか（Ｖａ＋Ｖｂ＞Ｖｔ）の判定がなされ（ステップＳ３）、この判定結果がＹＥＳであれば、その障害物は人の乗る自転車やバイクなどであって真の歩行者ではないと判定され、そのまま動作は終了する一方、ステップＳ３の判定結果がＮＯであれば、その障害物は真の歩行者であると判定され、真の歩行者を検出している状態が続いている（検出中）かどうかの判定がなされ（ステップＳ４）、この判定結果がＮＯであれば上記したステップＳ１に戻り、ステップＳ４の判定結果がＹＥＳであれば、次のステップＳ５に移行する。

ステップＳ５では、制御部２ｂにより、真の歩行者を検出開始してから、図示しないタイマ等の計時手段により計時される時間ＴがＴ１時間を超えたか否かの判定がなされ（ステップＳ５）、この判定結果がＮＯであれば上記したステップＳ４に戻って真の歩行者を検出中かどうかの判定処理が行われる一方、ステップＳ５の判定結果がＹＥＳであれば、逆光等のカメラ２の撮影環境の急変により障害物を検出不能の事態が生じたかどうかの判定がなされる（ステップＳ６）。

そして、逆光等のカメラ２の撮影環境の急変により障害物を検出不能の事態が生じることなくステップＳ６の判定結果がＮＯであれば、そのまま動作は終了し、障害物を検出できない事態が生じてステップＳ６の判定結果がＹＥＳになれば、カメラ２が障害物を検出できない状態になってから所定時間であるＴ２時間（１秒）、制御部２ｂにより、カメラ２は歩行者を検出している歩行者検出状態にあると認識され（ステップＳ７）、その後動作は終了する。

このように、逆光等のカメラ２の撮影環境の急変により障害物を検出できない事態が生じたとしても、上記した所定の条件のもとで、カメラ２が障害物を検出できない状態になってからＴ２時間、制御部２ｂにより、カメラ２は歩行者を検出している歩行者検出状態にあると認識されるため、このＴ２時間にドライバに対して注意喚起のためのブザー８の駆動が必要になったときに、ブザー８を駆動してドライバに警報を発して注意喚起することができる。一方、真の歩行者ではなく、カメラ２により人が運転する自転車あるいはバイクが検出されたときに、これが真の歩行者と誤認されてブザー８が駆動されることはない。

したがって、本実施形態によれば、パターン認識のために少ないデータ量の辞書パターンで歩行者および歩行者らしい障害物とそれ以外とを区別し、さらに歩行者および歩行者らしい障害物と判定したときに、自車速Ｖａと障害物の相対速度Ｖｂとの加算値としきい値Ｖｔとの比較から人が運転する自転車やバイクと真の歩行者とを区別するため、マイクロコンピュータ構成の制御部２ｂの処理負荷を増大させることなく真の歩行者を安定して検出することができ、真の歩行者ではないときに誤ってブザー８を駆動するという誤作動を防止することができる。

そして、カメラ２が逆光等により障害物を撮影できなくなることにより、実際には歩行者が存在するにもかかわらずそれまで検出されていた歩行者が検出されなくなっても、歩行者が検出されなくなったあとＴ２時間（所定時間）は、制御部２ｂにより歩行者が検出されている歩行者検出状態を保持しているとの処理がなされるため、歩行者を検出している通常状態に応じた運転支援、すなわちドライバに対して注意喚起のためのブザー８の駆動が必要になったときにブザー８を駆動して確実にドライバの注意を喚起することができる。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能である。

例えば、上記した実施形態では、障害物検出手段をＣＣＤカラーカメラ２とした場合について説明したが、障害物検出手段は、モノクロカメラでもよく、さらにはカメラに限定されるものでもない。

また、上記した実施形態では、自車両１の前方を撮影するカメラ２について説明したが、自車両１の後方や側方等、自車両１の周辺をカメラ２により撮影する場合にも本発明を同様に適用することができる。

また、上記した実施形態では、カメラ２が歩行者検出状態と認識する所定時間（Ｔ２時間）を例えば１秒として説明したが、自車速や、図２における時刻ｔ１からｔ２までの歩行者を検出している時間等に応じて、所定時間を長短可変するようにしてもよい。

また、上記した実施形態では、カメラ２からレーザレーダ３を経由してデータをＣＡＮ通信により送受信する場合について説明したが、ＣＡＮ通信の通信容量を抑えるために、カメラ２とレーザレーダ３とをサブバスを介して接続し、カメラ２を通信バス５に直接接続し、レーザレーダ３からの測距データをカメラ２の制御部２ｂを経由してＣＡＮ通信によりＶＳＣＥＣＵ４に送信するようにしてもよい。

さらに、レーザレーダ３を備えていない構成の運転支援装置であっても、本発明を同様に実施することができる。

１ …自車両
２ …カメラ（障害物検出手段）
２ｂ …制御部（判定手段、認識手段）
Ｔ１ …規定時間
Ｔ２ …所定時間

Claims (1)

1. カメラによる撮影データの処理により自車両周辺の障害物を検出したときに、支援手段により障害物の検出に応じた運転支援を行う運転支援装置であって、
   前記カメラの撮影画像とメモリに予め記憶された辞書パターンとの照合により歩行者および歩行者らしい障害物と、その他の障害物とを区別し、区別した当該障害物と自車両との相対速度がしきい値を超えないかどうかにより前記障害物が歩行者であるかどうかを判定する判定手段と、
   前記判定手段により前記障害物を歩行者と判定している時間が規定時間以上継続するかどうかを認識する認識手段と、
   前記障害物が歩行者であると前記判定手段により判定される時間が規定時間以上継続していると前記認識手段により認識されたときには、その後に前記判定手段による前記歩行者との判定がなされなくなってから所定時間が経過するまでの間において、前記支援手段の駆動が必要になったときに前記支援手段を駆動して運転支援を行う制御手段と
   を備えることを特徴とする運転支援装置。

Images