JP4652260B2 - 障害物認識装置 - Google Patents

Description

この発明は、障害物認識装置に関する。

従来、例えば自車両の走行状態に応じて画角の異なる撮像装置を切り換えて自車両の外界を撮像する画像処理システムが知られている（例えば、特許文献１参照）。
特開２００６−２４１２０号公報

しかしながら、上記従来技術の一例に係る画像処理システムによれば、複数のレンズおよび撮像装置を車両に搭載する必要があり、システムの構成が複雑化すると共に、撮像装置を切り換えるためだけに、特別の処理が必要となり、費用が嵩むという問題が生じる。
本発明は上記事情に鑑みてなされたもので、装置構成が複雑化することを防止しつつ、自車両の外界に存在する障害物の検出精度を向上させることが可能な障害物認識装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の障害物認識装置は、自車両の外界に存在する物体を検出する物体検出手段（例えば、実施の形態での外界センサ１４および歩行者検出部２１）と、前記物体検出手段による検出結果に基づき、前記物体の所定時間以前での位置を推定する推定手段（例えば、実施の形態での歩行者位置履歴推定部２２）と、運転者の視線を検出する視線検出手段（例えば、実施の形態での視線センサ１６および視線検出部２３）と、前記視線検出手段による検出結果の履歴として前記視線と時刻とを記憶する記憶手段（例えば、実施の形態での視線履歴記憶部２４）と、前記推定手段により推定された前記物体の所定時間以前の所定時刻での位置と、前記記憶手段に記憶された前記所定時間以前の前記所定時刻での前記視線検出手段による検出結果とに基づき、運転者が前記物体を認知したか否かを判定する判定手段（例えば、実施の形態での走行制御部２５）とを備えることを特徴としている。

上記の障害物認識装置によれば、物体検出手段による検出結果に基づいて推定された所定時間以前での物体の位置と、この所定時間以前での視線検出手段による検出結果とに基づき、運転者が物体を認知したか否かを判定することにより、検出された物体を対象とした衝突回避動作の実行有無を判定する際の判定期間を、いわば増大させることができると共に、衝突回避動作の実行有無を判定する処理の実行可能な機会を増大させることができ、装置構成が複雑化することを防止しつつ、自車両の外界に存在する障害物の検出精度を向上させることができる。

以上説明したように、本発明の障害物認識装置によれば、検出された物体を対象とした衝突回避動作の実行有無を判定する際の判定期間を、いわば増大させることができると共に、衝突回避動作の実行有無を判定する処理の実行可能な機会を増大させることができ、装置構成が複雑化することを防止しつつ、自車両の外界に存在する障害物の検出精度を向上させることができる。

以下、本発明の一実施形態に係る障害物認識装置について添付図面を参照しながら説明する。
本実施の形態による障害物認識装置１０は、例えば図１に示すように、内燃機関１１の駆動力を、オートマチックトランスミッション（ＡＴ）あるいは無段自動変速機（ＣＶＴ）等のトランスミッション（Ｔ／Ｍ）１２を介して車両の駆動輪に伝達する車両に搭載され、処理装置１３と、外界センサ１４と、自車両状態センサ１５と、視線センサ１６と、ブレーキアクチュエータ１７と、ＥＰＳアクチュエータ１８と、警報装置１９とを備えて構成されている。
さらに、処理装置１３は、例えば歩行者検出部２１と、歩行者位置履歴推定部２２と、視線検出部２３と、視線履歴記憶部２４と、走行制御部２５とを備えて構成されている。

外界センサ１４は、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣＭＯＳカメラ等からなるカメラおよび画像処理部と、例えばレーザ光やミリ波等のレーダおよびレーダ制御部とを備えて構成されている。
カメラは、例えば自車両の進行方向前方の所定検知範囲の外界を撮影する。
画像処理部は、カメラにより撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して処理装置１３へ出力する。

また、レーダは、例えば処理装置１３からレーダ制御部へ入力される制御指令に応じたレーダ制御部の制御により、レーザ光やミリ波等の発信信号を適宜の検知方向（例えば、自車両の進行方向前方等）に向けて発信すると共に、この発信信号が自車両の外部の物体によって反射されることで生じた反射信号を受信し、反射信号と発信信号とを混合してビート信号を生成して処理装置１３へ出力する。

自車両状態センサ１５は、自車両の車両情報として、例えば自車両の速度（車速）を検出する車速センサや、ヨー角（車両重心の上下方向軸回りの回転角度）やヨーレート（車両重心の上下方向軸回りの回転角速度）を検出するヨーレートセンサや、操舵角（運転者が入力した操舵角度の方向と大きさ）や操舵角に応じた実舵角（転舵角）を検出する舵角センサや、操舵トルクを検出する操舵トルクセンサや、例えば人工衛星を利用して車両の位置を測定するためのＧＰＳ（Global Positioning System）信号等の測位信号や自車両の外部の情報発信装置から発信される位置信号等、さらには、適宜のジャイロセンサや加速度センサ等の検出結果に基づいて自車両の現在位置および進行方向を検出する位置センサや、方向指示器やブレーキのオン／オフ状態を検知する各センサ等を備えて構成されている。

視線センサ１６は、例えば運転者の眼球を撮像可能な位置に設けられ、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣＭＯＳカメラ等からなる視線カメラ１６ａと画像処理部１６ｂとを備えて構成されている。
この視線カメラ１６ａは、例えば可視光領域で撮像可能であれば、乗員の顔や眼球から反射された可視光を撮像し、例えば赤外線領域で撮像可能であれば、適宜の赤外線投光器（図示略）から運転者の眼球に向けて照射された赤外線の反射を撮像する。
画像処理部１６ｂは、視線カメラ１６ａの撮像により得られた可視光画像または赤外線画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して処理装置１３へ出力する。

処理装置１３は、例えば歩行者検出部２１と、歩行者位置履歴推定部２２と、視線検出部２３と、視線履歴記憶部２４と、走行制御部２５とを備えて構成されている。
歩行者検出部２１は、例えば外界センサ１４の画像処理部から入力される画像データに対して、歩行者を検知対象物とした認識処理を行い、認識した歩行者の位置および移動速度および移動方向を検知する。例えば、外界センサ１４のカメラがステレオカメラである場合や、カメラが複数のカメラを備えて構成される場合には、複数の画像データに基づく三角測量法等により歩行者の位置を算出する。さらに、歩行者の時刻間追跡、すなわちサンプリング周期毎に抽出した歩行者の位置を時系列データとしてメモリ等に格納することによって、歩行者の移動速度および移動方向を算出する。

歩行者位置履歴推定部２２は、歩行者検出部２１により検出された歩行者の移動速度および移動方向に基づき、所定時間以前での歩行者の位置を推定する。
例えば図２（ａ），（ｂ）に示すように、歩行者位置履歴推定部２２は、適宜の検出対応領域、つまり外界センサ１４の検出対象領域内で歩行者が検出され始めた以降の時間領域において、時系列データをなす複数の検出時刻（例えば、３つの検出時刻ＴＴＣ３，ＴＴＣ２，ＴＴＣ１等）での歩行者の移動速度および移動方向の検出結果に基づき、この検出対応領域内で歩行者が検出され始めた始点（例えば、検出時刻ＴＴＣ３）よりも所定時間以前の過去の時刻（例えば、時刻ＴＴＣ５等）での歩行者の位置（例えば、図２（ａ）に示す歩行者の位置Ｐ５）を推定する。

視線検出部２３は、視線センサ１６から出力される画像データに対して、先ず、運転者の顔や眼球を検知対象物とした所定の認識処理を行い、この認識結果に基づき、運転者の眼球の位置および運転者の視線ベクトル（視線方向）および視線の対象位置を検出する。
視線履歴記憶部２４は、視線検出部２３による検出結果の履歴を記憶する。

走行制御部２５は、歩行者検出部２１による検出結果（例えば、図２（ａ），（ｂ）に示す３つの各検出時刻ＴＴＣ３，ＴＴＣ２，ＴＴＣ１での歩行者の各位置Ｐ１，Ｐ２，Ｐ３等および移動速度および移動方向等）と、歩行者位置履歴推定部２２により推定された適宜の検出対応領域よりも所定時間以前の過去の時刻（例えば、時刻ＴＴＣ５等）での歩行者の位置と、視線履歴記憶部２４に記憶された視線検出部２３による検出結果の履歴のうち、適宜の検出対応領域よりも所定時間以前の過去の時刻（例えば、時刻ＴＴＣ５等）でのデータとに基づき、この過去の時刻（例えば、時刻ＴＴＣ５等）において運転者が歩行者を認識したか否かを判定する。そして、この判定結果に基づき、自車両の走行の支障となる可能性がある歩行者を対象として、警報装置１９による警報の出力および自車両の走行状態を制御する。
例えば、走行制御部２５は、警報装置１９による警報の出力タイミングおよび出力内容の少なくとも何れかを制御すると共に、内燃機関１１の駆動力を制御する制御信号およびトランスミッション１２の変速動作を制御する制御信号およびブレーキアクチュエータ１７による減速動作を制御する制御信号およびＥＰＳアクチュエータ１８による自車両の操舵機構（図示略）の操向動作を制御する制御信号のうちの少なくとも何れかの制御信号を出力し、接触回避動作として自車両の減速制御または操向制御を実行する。

本実施の形態による障害物認識装置１０は上記構成を備えており、次に、この障害物認識装置１０の動作について説明する。
先ず、例えば図３に示すステップＳ０１においては、例えば外界センサ１４の画像処理部から入力される画像データに対して、歩行者を検知対象物とした認識処理を行い、認識した歩行者の位置および移動速度および移動方向を検出する。

次に、ステップＳ０２においては、歩行者の検出が開始された時刻よりも所定時間以前での歩行者の位置を推定する。
次に、ステップＳ０３においては、視線検出部２３による検出結果の履歴、つまり運転者の視線方向および視線の対象位置の履歴を取得する。
そして、ステップＳ０４においては、外界センサ１４により歩行者が検出されるより以前において、この歩行者を運転者が認識していたか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ０６に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進む。

そして、ステップＳ０５においては、警報非作動、つまり警報装置１９による警報の出力を禁止して、一連の処理を終了する。
また、ステップＳ０６においては、外界センサ１４により歩行者が検出された後に、この歩行者を運転者が認識していたか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０７に進み、このステップＳ０７においては、警報非作動、つまり警報装置１９による警報の出力を禁止して、一連の処理を終了する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ０８に進み、このステップＳ０８においては、警報作動、つまり警報装置１９により警報を出力して、一連の処理を終了する。

上述したように、本実施の形態による障害物認識装置１０によれば、外界センサ１４により歩行者が検出されるより以前のタイミングでの歩行者の位置に対する予測結果と、外界センサ１４により歩行者が検出されるより以前のタイミングにおいて、この歩行者を運転者が認識していたか否かの判定結果とを用いることで、例えば外界センサ１４の検出可能領域を遠方側に拡大させる必要無しに、外界センサ１４により検出された歩行者を対象とした衝突回避動作の実行有無を判定する際の判定期間を、いわば増大させることができると共に、衝突回避動作の実行有無を判定する処理の実行可能な機会を増大させることができ、装置構成が複雑化することを防止しつつ、自車両の外界に存在する歩行者の検出精度を向上させることができる。

なお、上述した実施の形態においては、自車両の走行に対して支障となる障害物を歩行者としたが、これに限定されず、例えば他車両等の各種の移動体や静止物等であってもよい。

本発明の実施の形態に係る障害物認識装置の構成図である。 図２（ａ）は、外界センサの検出対応領域内で歩行者が検出され始めた始点（検出時刻ＴＴＣ３）よりも所定時間以前の時刻（時刻ＴＴＣ５）での歩行者の位置（位置Ｐ５）の一例を示す図であり、図２（ｂ）は、外界センサの検出対象領域内で歩行者が検出され始めた始点（検出時刻ＴＴＣ３）よりも所定時間以前の過去の時刻（時刻ＴＴＣ５）での運転者の視線に対する検出結果の有無および運転者による歩行者認識の有無の一例を示す図である。 本発明の実施の形態に係る障害物認識装置の動作を示すフローチャートである。

符号の説明

１０ 障害物認識装置
１４ 外界センサ（物体検出手段）
１６ 視線センサ（視線検出手段）
２１ 歩行者検出部（物体検出手段）
２２ 歩行者位置履歴推定部（推定手段）
２３ 視線検出部（視線検出手段）
２４ 視線履歴記憶部（記憶手段）
２５ 走行制御部（判定手段）

Claims (1)

1. 自車両の外界に存在する物体を検出する物体検出手段と、
   前記物体検出手段による検出結果に基づき、前記物体の所定時間以前での位置を推定する推定手段と、
   運転者の視線を検出する視線検出手段と、
   前記視線検出手段による検出結果の履歴として前記視線と時刻とを記憶する記憶手段と、
   前記推定手段により推定された前記物体の所定時間以前の所定時刻での位置と、前記記憶手段に記憶された前記所定時間以前の前記所定時刻での前記視線検出手段による検出結果とに基づき、運転者が前記物体を認知したか否かを判定する判定手段と
   を備えることを特徴とする障害物認識装置。

Images