JP4661339B2 - 車両用移動物体検出装置 - Google Patents

車両用移動物体検出装置 Download PDF

Info

Publication number
JP4661339B2
JP4661339B2 JP2005138441A JP2005138441A JP4661339B2 JP 4661339 B2 JP4661339 B2 JP 4661339B2 JP 2005138441 A JP2005138441 A JP 2005138441A JP 2005138441 A JP2005138441 A JP 2005138441A JP 4661339 B2 JP4661339 B2 JP 4661339B2
Authority
JP
Japan
Prior art keywords
vehicle
moving object
lane
sidewalk
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005138441A
Other languages
English (en)
Other versions
JP2006315482A (ja
Inventor
正太 川又
治久 是
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2005138441A priority Critical patent/JP4661339B2/ja
Publication of JP2006315482A publication Critical patent/JP2006315482A/ja
Application granted granted Critical
Publication of JP4661339B2 publication Critical patent/JP4661339B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、車両用移動物体検出装置に関し、特に、自車両の側方及び後方にいる移動物体を検出する技術に関する。
従来より、車両に様々なセンサを取り付け、センサによって得られた情報に基づいて、危険を回避したり運転を支援することが行われている。
このようなセンサの代表的なものとしては、CCDカメラなどの撮像素子があり、CCDカメラから得られる情報に基づいて、歩行者などの移動物体の存在を検出し、運転者に報知して注意を喚起する車両用の歩行者検出装置が知られている。
例えば、特許文献1には、車両の前部に可視光カメラと赤外線カメラとを備え、両方のカメラから得られた信号を演算処理して予め決定してあるパターンとの相関を取って歩行者を検出した場合、運転者に対して警報を発生する歩行者検出警報装置が記載されている。
また、特許文献2には、車両が交差点に接近すると、車両の前部に搭載したカメラによって交差点付近の映像を撮影し、車両が交差点に進入したときに撮影した交差点付近の映像を表示して、運転者の死角になる位置にいた歩行者等を運転者に知らせる交差点事故防止装置が記載されている。
車両に取り付けられるCCDカメラから得られた情報に基づいて、レーンキープやレーンチェンジの際の運転を支援する装置も知られている。
例えば、特許文献3には、車両の前方を撮影するCCDカメラによって撮影された画像に基づいて、自車両が走行車線から逸脱するのを防止するように、ステアリングアクチュエータを制御する車両用制御装置が記載されている。
また、特許文献4には、一対のCCDカメラで撮影した自車両前方の画像における走行区分線(車線)を認識し、車速センサ及びヨーレートセンサに基づいて自車両の軌跡を予測し、走行区分線と軌跡とを比較して車線変更を判断する車両用走行区分線検出装置が記載されている。
特許文献5には、車両の両側方を監視する光学式監視手段として、車両のサイドミラーに立体視カメラを設けることが記載されている。
特開平11−215487号公報 特開2004−51006号公報 特開2002−2427号公報 特開2002−29347号公報 特開2001−124852号公報
上記特許文献1から4で用いられるCCDカメラは、いずれも自車両の前方を撮影するものであり、車室内のフロントガラス近傍や、車両の前端等の車両の前部に設けられている。
このように、車両の前部に備えたカメラやセンサによって得られた情報に基づいて歩行者を検出する場合、車両の側部や後方にいる歩行者を検出することは困難である。
一方、特許文献5に記載されたような車両のドアミラーに設けたカメラから得られた情報は、レーンキープやレーンチェンジの際の運転支援に利用することができる。
このドアミラーに設けられたCCDカメラを利用して、車両の側方や後方にいる歩行者を検出することも考えられるが、レーンキープやレーンチェンジエイドのためには、側方車線の後方遠方まで撮影する必要があるため、自車両に対する監視領域の角度(画角)は狭角に設定されている。
従って、ドアミラーに設けられたレーンキープやレーンチェンジエイド用のCCDカメラをそのまま用いても、車両の側方及び後方にいる歩行者を有効に検出することは困難である。また、ドアミラーに設けられたCCDカメラの監視領域の角度を単純に広角に変更すると、画像処理にかかる時間が増大すると共に、レーンキープやレーンチェンジエイド用の画像を撮影することができなくなってしまう。
本発明は以上のような状況に鑑みてなされたものであり、車両の側方及び後方の撮影領域の角度を変更して、車両の側部及び後方にいる歩行者等の移動物体を効率的に検出することを目的とする。
上記目的を達成するため、本発明に係る車両用移動物体検出装置は、自車両に対して所定の角度内における側方及び後方を撮影する側方監視カメラと、前記側方監視カメラによって得られた画像に基づいて、自車両の側方及び後方にある移動物体の有無を検出する検出手段と、前記側方監視カメラによって得られた画像に基づいて、自車両が走行している車線に隣接する車線の種類が車道であるか歩道であるかを判定する隣接車線判定手段と、前記隣接車線判定手段によって、前記隣接する車線が歩道と判定されたときに、前記隣接する車線が車道と判定されたときよりも、前記所定の角度が広角となるように変更する角度変更手段と、を備えることを特徴とする。
この構成によれば、自車両が走行している車線に隣接する車線の種類が歩道と判定されたときに、隣接する車線が車道と判定されたときよりも、側方監視カメラによる自車両に対する側方及び後方の撮影領域の角度が広角に変更され、この撮影領域内における移動物体の有無が検出手段で検出される。
従って、同じ側方監視カメラを用いて、自車両が走行している車線に隣接する車線が車道である場合には、撮影領域の角度を狭角として隣接する車線を走行する車両等を検出し、自車両が走行している車線に隣接する車線が歩道である場合には、撮影領域の角度を広角として歩道にいる歩行者等の移動物体を検出することが出来る。
側方監視カメラによって得られた画像を、自車両の後方に位置する後方車両に送信する送信手段を更に備えていてもよい。
この構成によれば、後方車両において、送信された情報に基づいて、当該車両の側方監視カメラでは検出できない領域にいる歩行者等の移動物体や、障害物によって遮られた領域や見通しの悪い交差点にいる歩行者等の移動物体を検出することが可能となる。
隣接車線判定手段の判定基準としては、側方監視カメラによって得られた画像に、道路上の連続した白線、路肩ブロック、及び植え込みのいずれかに対応する画像が含まれるときに、隣接する車線を歩道と判定することが考えられる。
角度変更手段は、隣接車線判定手段が前記隣接する車線を歩道と判定した場合であって、側方監視カメラによって得られた画像にガードレールに対応する画像が含まれている場合は、所定の角度をガードレールに対応する画像が含まれていない場合よりも狭角であって、かつ、隣接車線判定手段が前記隣接する車線が車道と判定されたときよりも広角となるように変更してもよい。
この構成によれば、歩道がガードレールによって車道と仕切られている場合には、それ以外の場合と比べて歩行者等の移動物体が車道を横切る可能性が低いことを考慮して、例えば、より遠方まで監視できるように側方監視領域の角度を変更することができる。
側方監視カメラが、自車両のレーンチェンジ時に、側方及び後方の車両を監視するレーンチェンジエイド用のカメラであってもよい。
この構成によれば、既に車両に設けられているレーンチェンジエイド用のカメラを利用して歩道にいる歩行者等の移動物体の検出を行うことが出来るので、新たに側方監視カメラ手設ける必要が無くコストを低減することが出来る。
本発明によれば、自車両が走行している車線に隣接する車線の種類が歩道と判定されたときに、隣接する車線が車道と判定されたときよりも、側方監視カメラによる自車両に対する側方及び後方の撮影領域の角度が広角に変更され、この撮影領域内における移動物体の有無が検出手段で検出される。
従って、同じ側方監視カメラを用いて、自車両が走行している車線に隣接する車線が車道である場合には、撮影領域の角度を狭角として隣接する車線を走行する車両等を検出し、自車両が走行している車線に隣接する車線が歩道である場合には、撮影領域の角度を広角として歩道にいる歩行者等の移動物体を検出することが出来る。
以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
なお、本明細書において使用する「移動物体」という表現は、歩行者、動物、自転車等の軽車両、オートバイ等を含む道路上において自車両の走行を妨げる危険のある、自動車以外の物体を総称するものである。
また、本明細書において使用する「車線」という表現は、道路上において走行区分線で区切られた路線を意味し、車両用の車道だけでなく、歩行者や軽車両用の歩道も含むものである。
<本発明に係る車両の概略説明>
図1は、本発明に係る車両用移動物体検出装置を搭載した車両の概略を示す部分透視図である。
図において、10で示す車両の前方のフロントウインドウの上部近辺、例えば、ルームミラーの裏面に第1の前方監視手段としての第1の前方監視センサ21aが設けられており、フロントグリル近傍に第2の前方監視手段としての第2の前方監視センサ21bが設けられている。車両の後部、例えば、リアバンパー近辺に後方監視手段としての後方監視センサ22が設けられている。更に、車両の前方から見て左側のドアミラーには、第1の側方監視手段としての第1の側方監視センサ23aが設けられており、車両の前方から見て右側のドアミラーには、第2の側方監視手段としての第2の側方監視センサ23bが設けられている。
前方監視センサ21aは、例えば、CCDやCMOS等の撮像素子を有する可視光カメラなどの、走行中に車線を維持する(レーンキープ)ために自車両の前側方の領域を監視するために備えられているセンサである。一方、前方監視センサ21bは、例えば、レーザやミリ波などを用いたレーダを有する距離センサなどの、前方を走行する車両(前方車両)等の大きな物体との距離を測定すべく自車両の前側方の領域を監視するため、あるいは赤外線カメラなどの夜間等における歩行者や動物などの生命体を検出するために備えられているセンサである。また、後方監視センサ22は、車両が後退するときに後方画像を撮影するバックモニタカメラ、あるいは音波により後方にある物体との距離を測定可能なバックソナーなどの、自車両が後退する際に後側方の領域の情報を監視するために備えられているセンサである。
側方監視センサ23a及び23bは、例えば、CCDやCMOS等の撮像素子を有する可視光カメラなどのセンサであり、走行中にレーンチェンジする際に隣接する車線を走行する車両を監視するレーンチェンジエイド用カメラとして機能する。本実施形態の側方監視センサ23a及び23bは、自車両の側方及び後方の領域内の歩行者等の移動物体を監視するカメラとしても機能する。このため、側方監視センサ23a及び23bにはズームレンズと一体的に構成されており、後述するように、角度変更手段によってズームレンズが駆動されて焦点距離が変更可能であり、自車両に対する監視領域の角度(画角)が変更可能となっている。
車両10には、自車両の絶対位置を衛星からの信号に基づいて測定可能なGPSを利用したナビゲーションシステムが備えられており、該GPS用のアンテナ24が、例えば、車室の後部に設けられている。また、所定の通信方式に従って他の車両との通信(車車間通信)を行うためのアンテナ26を、例えば、屋根の裏面に備えている。このアンテナ26及びCPU20(及び不図示の通信インタフェース等)が本発明の車両間通信手段を構成する。
更に、車両10には、歩行者との衝突時に歩行者を保護する歩行者保護手段27として、車両前部のバンパー付近に、例えば、バンパーエアバッグ等の第1の歩行者保護手段27a、フロントフードのフロントウインドウとの境界近辺に、例えば、ウインドウエアバッグ等の第2の歩行者保護手段27bをそれぞれ備えている。なお、図中27a及び27bの車両前方側に鎖線で示した部分は、これら保護手段(エアバッグ)が作動した場合に拡がる領域をそれぞれ示している。
また、運転席の近傍には、移動物体との衝突が予知される場合に、運転者に対して音声、表示あるいはシートベルトを介した振動等による警報を発する警報装置が設けられている。この警報装置と歩行者保護手段27とが、本発明の危険回避手段を構成する。
図2は、図1の車両の車両用移動物体検出装置に関する制御構成を示す図である。図1に示したのと同様な部分は同じ符号で示している。
本実施形態の車両用移動物体検出装置は、CPU20によって全体が制御される。該CPU20に対して、図1の第1の前方監視センサ21a及び第2の前方監視センサ21bを含む前方監視センサ21、後方監視センサ22、及び側方監視センサ23から出力される信号、GPSアンテナ24で受信される信号、車両の進行方向や傾きを検出するジャイロセンサ25から出力される信号が入力される。CPU20からの出力としては、後述する移動物体検出処理によって移動物体との衝突が予知(予測)された場合に出力される、歩行者保護手段27のアクチュエータに対する信号及び警報装置28への信号と、後述する側方監視センサ23の監視領域の角度を変更する角度変更手段29への信号がある。また、車車間通信用のアンテナ26を介して、他の車両と情報が通信される。本実施形態において、CPU20が実行する移動物体検出処理の手順については後述する。
なお、ここではGPSアンテナ24及びジャイロセンサ25からの信号がいずれもCPU20に直接入力されるように示しているが、それぞれの信号を処理する専用の演算装置(CPUやMPU)やインタフェースを設け、その処理結果がCPU20に入力されるように構成しても良い。同様に、車車間通信用アンテナ26とCPU20との間に、専用のインタフェース手段あるいは通信ユニット等を設ける構成としても良い。
<2つの車両による移動物体の検知領域の説明>
図3A及び3Bは、2つの車両による移動物体の検知領域の例を説明する図である。ここでは、相対的に後方に位置する後方車両301と該後方車両の前方に位置する前方車両(自車両)302との両方が、図1及び図2に関して説明した構成を有するものとして説明する。なお、これらの図においては、後方車両の前方監視センサ21による検知領域として、第1の前方監視センサ21aの検知領域及び第2の前方監視センサ21bの検知領域を統合した1つの領域を示している。
また、これらの図において前方車両302は、例えば、GPSによる自車両の絶対位置やジャイロセンサによる自車両の姿勢などの情報と、車車間通信によって受信した前方車両の絶対位置に基づいた、CPU20による演算処理によって、後方車両301を特定する。後方車両301においても同様にして前方車両302を特定する。すなわち、各車両のCPU20がこのような演算処理を実行することで、本発明の車両特定手段が実現される。このようにして、前方車両に対する後方車両が特定されるので、検出された移動物体に関する情報の信頼性を向上させることが出来る。
図3Aは、移動物体としての歩行者303が、後方車両301と前方車両302との間の、後方車両301の前方監視センサ及び前方車両302の側方監視センサの両方の検知領域内にいる場合の例を示す側面図である。この場合には、後方車両301の前方監視センサの検知領域310、及び前方車両302の側方監視センサの検知領域320の両方がオーバーラップする領域内に、歩行者303がいるため、後方車両301及び前方車両の両方で歩行者303が検出される。この場合にも、車車間通信330によって前方車両302から検知領域320の画像、あるいは歩行者303の検出情報が送信され、後方車両301はこの情報を受信して歩行者303の位置をより正確に検出することが出来る。
図3Bは、移動物体としての歩行者303が、後方車両301と前方車両302との間であるが、後方車両301の前方監視センサの検知領域310の外にいる場合の例を示す上面図である。304は歩道上にある障害物、305は2つの車線を区分けする白あるいは黄色の破線、306は車道と歩道とを区分けする連続した白線である。この場合も、2つの車両と歩行者との相対的な位置関係は図3Aに示したものと略同様である。しかしながら、後方車両301の前方監視センサの検知領域の角度(センサの画角)が約30度であり、歩道上にいる移動物体(歩行者)はほとんど検知できない。
本実施形態ではこのような場合、前方車両302の側方監視センサによって得られた情報(画像)に、該前方車両が走行中の車線に隣接する車線が歩道であることを示す連続した白線306に対応する情報が含まれる(検知される)と、側方監視センサの検知領域の自車両に対する角度(画角あるいは監視角度とも呼ぶ)を広角に変更して、側方検知センサの機能を、レーンチェンジエイド用から歩道上の移動物体検知に切り替える。具体的には、側方監視センサをレーンチェンジエイド用として使用する場合の監視角度は、例えば12度であり、側方監視センサを歩道上の移動物体検知用として使用する場合の監視角度は、例えば51度である。この監視角度の変更は、上記で説明したように、角度変更手段によってズームレンズを駆動して焦点距離を変更することにより行われる。
これにより、側方監視センサの検知領域は321で示す用に歩道側へ大きな広がりを持った領域となり、自車両の側方及び後方の歩道上にいる歩行者等の移動物体の検知が可能となる。
そして本実施形態では、この検知領域321内に歩行者303が検知され、その危険度が高いと判定された場合に、検知領域321の画像や情報を前方車両302から後方車両301に車車間通信330によって送信する。これにより後方車両301は、前方監視センサの検知領域から外れており、かつ前方車両302の側方監視センサによって検知される領域321内に、自車両の走行に影響を与える歩行者303がいることを検出できる。
なお、図3Bに示した例では、自車両が走行中の車線に隣接する車線が歩道であることを、連続した白線に対応する情報が、側方監視センサによって得られた情報(画像)に含まれることによって判定したが、これ以外にも、例えば、路肩ブロック及び植え込みのいずれかに対応する情報が、側方監視センサによって得られた情報(画像)に含まれるときに、隣接する車線を歩道と判定してもよい。
<移動物体検出処理の手順>
次に、本実施形態における、前方車両及び後方車両における移動物体検出処理の手順について、図4及び図5のフローチャートを参照して説明する。なお、ここでも、後方車両と前方車両との両方が、図1及び図2に関して説明した構成を有するものとして説明する。前方車両及び後方車両それぞれのCPUが、図4及び図5のフローチャートに対応したプログラムを実行することにより、移動物体検出が行われる。従って、本発明の検出装置は、CPU20と図4及び図5のフローチャートに対応したプログラムとから構成される。
図4は、前方車両における移動物体検出処理の手順を示すフローチャートである。図示されたように、前方車両では最初に車車間通信用アンテナ26を介した車車間通信を開始し(ステップS401)、第1の前方監視センサ21a及び第2の前方監視センサ21bを含む前方監視センサ21による前方の監視を行う(ステップS402)。より詳細には、例えば、第1の前方監視センサ21aカメラであり、第2の前方監視センサ21bがレーダである場合には、第1の前方監視手段21aによって撮影された画像データを取得し、第2の前方監視センサ21bによって得られた反射波による情報を画像データに変換し、2つの画像データを重ね合わせて、2つの前方監視センサによって得られた情報を1つの画像データに統合する。この画像の重ね合わせあるいは情報の統合処理は、既知の画像処理方法やデータ処理方法を適宜組み合わせて行われる。
次に、後方車両が存在するか否かを、車車間通信で通信可能な相手車両の位置(GPS24によって得られる絶対位置)と、自車両のGPS24及びジャイロセンサ25によって得られる絶対位置及び進行方向とによって得られる、相対位置によって判定する(ステップS403)。
ステップS403で、後方車両が存在しないと判定された場合には、ステップS402へ戻り処理を繰り返す。ここで、ステップS402での処理を繰り返す間隔は予め定められていても良いし、あるいは何らかの割り込みに応じてステップS402での処理が再度実行されても良い。
一方、後方車両が存在すると判定された場合には、側方監視センサ23による歩道の検知を行う(ステップS404)。より詳細には、側方監視センサ23a及び23bがレーンチェンジエイド用カメラである場合には、監視角度をレーンチェンジエイド用の12度などの侠角として撮影された画像データを取り込む。そして、自車両が走行中の車線に隣接する車線が歩道であるか否かを判定する(ステップS405)。より詳細には、図3Bに関して説明したように、側方監視センサ23a及び23bによって得られた情報(画像)に、連続した白線、路肩ブロック及び植え込みのいずれかに対応する情報が含まれる場合には、自車両が走行中の車線に対して、その側方監視センサが設けられたドアミラー側に隣接する車線が歩道であると判定する。この判定処理は、例えば、パターンマッチング等の既知の画像処理技術を利用して実現することが出来る。
ステップS405で隣接する車線が歩道でないと判定された場合には、ステップS402へ戻り処理を繰り返すが、ここでも上記と同様に、予め定められた間隔あるいは何らかの割り込みに応じて、ステップS402での処理が再度実行されても良い。
一方、ステップS405で隣接する車線が歩道であると判定された場合、側方検知センサ23によるガードレールの検知を行う(ステップS406)。より詳細には、側方監視センサ23a及び23bがレーンチェンジエイド用カメラである場合には、監視角度をレーンチェンジエイド用の12度などの侠角として、歩道が検知された側の側方監視センサ23で撮影された画像データを取り込む。そして、隣接する歩道にガードレールが有るか否かを判定する(ステップS407)。より詳細には、パターンマッチング等の既知の画像処理技術を利用して、歩道が検知された側の側方監視センサ23によって得られた画像に、ガードレールに対応する情報が含まれる場合には、隣接する歩道にガードレールが有ると判定する。
ステップS407で隣接する歩道にガードレールが有ると判定された場合には、CPU20によって角度変更手段29を制御して、対応する側の側方監視センサ23の監視角度を、ガードレールに合わせて変更する(ステップS408)。この監視角度は、側方監視センサ23によって撮影された画像内にガードレールが途切れることなく連続している場合には、狭角のままとしてもよいし、撮影された画像内でガードレールが途切れている場合には、ガードレール後端が入る範囲で広角に変更しても良い。いずれにしても通常の歩道に対する監視角度(51度)よりも狭い角度とする。
ステップS407で隣接する歩道にガードレールがないと判定された場合には、CPU20によって角度変更手段29を制御して、対応する側の側方監視センサ23の監視角度を、歩道検知用の広角(例えば、51度)に変更する(ステップS409)。
このように、本実施形態では、隣接する歩道にガードレールが有るか否かによって歩道側の側方監視センサの監視角度を変更するが、これは、歩道にガードレールがある場合には、それを乗り越えて歩行者が車道を横切る可能性が低いためであり、このように監視角度を通常の歩道検出用の監視角度(51度)よりも狭角とすることによって、後続する処理の負荷を軽減することが出来る。
以上のようにして、歩道がある側の側方監視センサ23の監視角度を角度変更手段29によって変更した後、例えば、パターンマッチング等の画像処理を利用して、側方監視センサ23の監視領域における歩行者等の移動物体の検知を行う(ステップS410)。
ステップS410で歩行者等の移動物体が検出されない場合には、ステップS402へ戻り処理を繰り返すが、ここでも上記と同様に、予め定められた間隔あるいは何らかの割り込みに応じて、ステップS402での処理が再度実行されても良い。
ステップS410で歩行者等の移動物体が検出された場合には、側方監視センサ23から時間的に連続して得られた画像に基づいて、該移動物体の移動方向を算出し、危険度を判定する(ステップS411)。この危険度は、単に危険か否かを示す2値の情報であっても良いし、危険の度合いを複数段階に分類した多値の情報であっても良いが、以下では危険度が高い又は低いのいずれかを示す2値情報であると想定して説明する。危険度の判定の具体的な例としては、移動物体が自車両が走行中の車線を横断する方向に移動している場合には、危険度が高いと判定し、それ以外の方向に移動している場合には危険度が低いと判定する。
そして、危険度が高いと判定された場合には、側方監視センサ23によって得られた情報(画像)を車車間通信によって、後方車両に送信する(ステップS412)。ここで、検知された移動物体が危険度が高いことを示す情報と、当該移動物体の位置を示す情報とを側方監視センサの画像と共に送信しても良い。
図5は、後方車両における移動物体検出処理の手順を示すフローチャートである。図示されたように、後方車両においても最初に車車間通信用アンテナ26を介した車車間通信を開始し(ステップS501)、第1の前方監視センサ21a及び第2の前方監視センサ21bを含む前方監視センサ21による前方の監視を行う(ステップS502)。このステップS501及びS502での処理は、上記図4に関して説明した前方車両におけるステップS401及び402での処理と同様である。
次に、前方車両から車車間通信によって情報(画像)を受信したか否かを判定する(ステップS503)。すなわち、この処理は、図4のステップS412で行われた、前方車両からの側方監視センサの情報の送信に対応した処理である。
ステップS503で、前方車両から情報受信したと判定された場合には、前方車両から受信した情報(画像)と、自車両の前方監視センサ21によって得られた情報(画像)を、例えば、前方車両から受信した画像データの距離データを前後反転させた画像データを、自車両の前方監視センサによって得られた画像データと縮尺を合わせて重ね合わせることによって、統合する(ステップS504)。ここでの画像の重ね合わせ処理あるいは情報の統合処理も、上記でステップS402に関して説明したのと同様に、既知の画像処理方法やデータ処理方法を適宜組み合わせて行われる。
そして、このように統合された画像あるいは情報に基づいて、例えば、パターンマッチング等の画像認識処理によって、自車両より前方にある移動物体の有無を検出し、移動物体が検出されたか否かを判定する(ステップS505)。
移動物体が検出された場合には、ステップS504で得られた統合情報をその前の統合情報と比較するなど、時間的に連続して得られた情報に基づいて、上記図4のステップS411と同様に、該移動物体の移動方向を算出し、危険度を判定する(ステップS507)。
なお、図4のステップS412で、前方車両が、側方監視センサ23で撮影された画像と共に、検知された移動物体が危険度が高いことを示す情報と、当該移動物体の位置を示す情報とを送信する場合には、ステップS505及びS505の処理を省略できる。
ステップS506で判定された危険度(又は、前方車両から送信された危険度の情報)に応じて、移動物体との衝突が予知されるか否かを判定する(ステップS507)。ここでは、危険度が高いと判定された場合には、移動物体との衝突の可能性が高い、すなわち衝突が予知されると判定し、危険度が低いと判定された場合には、移動物体との衝突の可能性が低い、すなわち衝突が予知されないと判定する。
衝突が予知された場合には、警報装置28によって、運転者に対して音声、表示又はシートベルトを介した振動等による警報を発生する(ステップS508)。そして、移動物体が自車両に衝突する際の衝撃を軽減すべく、第1の歩行者保護手段27a及び第2の歩行者保護手段27bを含む歩行者保護手段27を動作させるべく、対応するアクチュエータに対して信号を出力して(ステップS509)処理を終了する。
なお、ステップS503、S505及びS507において否定判定(No)の場合には、いずれもステップS502へ戻って以降の処理が繰り返されるが、上記図4のステップS402に関して説明したのと同様に、予め定められた間隔あるいは何らかの割り込みに応じて、ステップS502以降の処理が再度実行されても良い。
以上説明したように、前方車両のCPU20が図4のフローチャートに対応したプログラムを実行すると共に、後方車両のCPU20が図5のフローチャートに対応したプログラムを実行することによって、本実施形態の移動物体検出が実現される。
なお、以上説明した例では、前方車両において側方監視センサで検出された移動物体(歩行者)の危険度を判定し、危険度が高いと判定された場合に、側方監視センサ23によって得られた情報を車車間通信によって後方車両に送信するものとしたが、この危険度の判定処理は、後方車両だけで行っても良い。すなわち、前方車両は、側方監視センサ23で移動物体が検出された場合に、無条件で側方監視センサ23によって得られた情報を車車間通信によって後方車両に送信してもよい。
更に、この危険度の判定処理を前方車両及び後方車両のいずれで行うかについては、車車間通信によって互いのCPUの負荷状況を比較して、CPUの負荷の軽い車両で行うようにしても良い。
また、ステップS404での歩道検知処理、及びステップS406でのガードレールの検知処理は、いずれも狭角で撮影した画像に基づいて行われるので、側方監視センサにより撮影した同じ画像に対してこれらの処理をまとめて行っても良い。
この場合、側方監視センサによって狭角で撮影され画像に基づいて、歩道が隣接していない場合、ガードレールのない歩道が隣接している場合、及びガードレールのある歩道が隣接している場合の3つに分類され、画像の撮影回数や処理の負荷が低減される。
(変形例)
上記実施形態においては、前方車両の側方監視センサの監視領域内に、歩行者等の移動物体が検出された場合に、前方車両の側方監視センサで得られた情報(画像)を、車車間通信によって後方車両に送信するものである。すなわち、側方監視センサによって得られた情報を後方車両で利用するものであったが、後方車両の存在とは関係なく側方監視センサで得られた情報を自車両で利用してもよい。この場合、例えば、自車両の走行速度が低い場合などに、歩道を走行している自転車等の移動物体が自車両と衝突する前に検出することが可能となる。
図6は、このような変形例による自車両における移動物体検出処理の手順を示すフローチャートである。
最初に、第1の前方監視センサ21a及び第2の前方監視センサ21bを含む前方監視センサ21による前方の監視を行う(ステップS601)。
次に、側方監視センサ23による歩道の検知を行う(ステップS602)。そして、自車両が走行中の車線に隣接する車線が歩道であるか否かを判定する(ステップS603)。
隣接する車線が歩道であると判定された場合、側方検知センサ23によるガードレールの検知を行う(ステップS604)。そして、隣接する歩道にガードレールが有るか否かを判定する(ステップS605)。
隣接する歩道にガードレールが有ると判定された場合には、対応する側の側方監視センサ23の監視角度を、ガードレールに合わせて変更する(ステップS606)。一方、隣接する歩道にガードレールがないと判定された場合には、対応する側の側方監視センサ23の監視角度を、歩道検知用の広角(例えば、51度)に変更する(ステップS607)。
以上のようにして、歩道がある側の側方監視センサ23の監視角度を変更した後、あるいはステップS603で歩道が隣接していないと判定された後、前方監視センサ21で得られた画像データと、側方監視センサ23で得られた画像データとを統合する(ステップS608)。そして、例えば、パターンマッチング等の画像処理を利用して、統合した画像データにおける歩行者等の移動物体の検知を行う(ステップS609)。
ステップS410で歩行者等の移動物体が検出された場合には、時間的に連続して得られた2つ以上の統合した画像データに基づいて、該移動物体の移動方向を算出し、危険度を判定する(ステップS610)。
ステップS610で判定された危険度に応じて、移動物体との衝突が予知されるか否かを判定する(ステップS611)。衝突が予知された場合には、警報装置28によって、運転者に対して音声、表示又はシートベルトを介した振動等による警報を発生する(ステップS612)。そして、移動物体が自車両に衝突する際の衝撃を軽減すべく、第1の歩行者保護手段27a及び第2の歩行者保護手段27bを含む歩行者保護手段27を動作させるべく、対応するアクチュエータに対して信号を出力して(ステップS613)処理を終了する。
なお、ステップS609で歩行者等の移動物体が検出されない場合、及びステップS611で移動物体との衝突が予知されない場合には、ステップS601へ戻り処理を繰り返すが、ここでも上記実施形態と同様に、予め定められた間隔あるいは何らかの割り込みに応じて、ステップS601以降の処理が再度実行されても良い。
また、ステップS602での歩道検知処理、及びステップS604でのガードレールの検知処理をまとめて行っても良いのは、上記実施形態と同様である。
(他の実施形態)
尚、本発明は上記の実施形態に限定されるものではなく、その他の種々の実施形態や変形例を包含するものである。すなわち、上記実施形態で示した移動物体検出装置に関する構成は一例であり、本発明の意図するような移動物体の検出が可能な構成であれば、これらに限定されるものではない。
例えば、側方監視手段として、レーンチェンジエイド用のカメラを利用する場合を例示したが、側方監視手段はこれ以外の各種センサであってもかまわない。
加えて、上記の実施形態で例示した、歩道を判定する基準(道路上の連続した白線、路肩ブロック、及び植え込み)は、国や地域によって異なるので、このような判定基準は、車両を販売する国や地域に合わせて適宜変更する必要がある。
更にまた、上記実施形態においては、隣接する車線が歩道であると判定されたときに、ガードレールの有無に応じて側方監視センサの監視角度を変更したが、このガードレール有無の判定処理を省略しても良い。
加えて、例えば、GPSの情報や路車間通信などによって、当該車両が自動車専用道路など、歩道が存在しない道路を走行中であると認識できる場合には、本発明に係る移動物体検出処理自体を行わないように制御しても良い。
更に、上記実施形態では、前方監視手段として第1の前方監視センサと第2の前方監視センサとの2つのセンサを備える構成について説明したが、前方監視手段が例えばレーンキープ用カメラ等の1つのセンサであってもよいのはもちろんである。
また、上記実施形態においては、前方車両の側方監視手段によって撮影した画像データを車車間通信で後方車両に送信するものとしたが、前方車両から後方車両に送信する情報は、画像データに限らず側方監視手段によって得られた情報、あるいはその一部(例えば、前回送信した情報との差分データ)であってもよい。更に、このような画像や情報の通信の際には、送信するデータ量を低減させるために各種符号化方法を用いても良い。
加えて、前方車両と後方車両との間の車車間通信(車両間通信)の方式についても特に制限は無く、様々な文献で提案されている各種通信方式(例えば、2.5〜5GHz帯を用いる無線通信、DSRC(狭域無線通信)など)を採用することができる。
更にまた、前方車両と後方車両との間の通信を、車車間通信に加え、他の通信方式(例えば、路側帯通信や路車間通信、カーナビゲーション用の通信など)を併用するようにしてもよい。
本発明に係る車両用移動物体検出装置を搭載した車両の概略を示す部分透視図である。 図1の車両の車両用移動物体検出装置に関する制御構成を示す図である。 2つの車両による移動物体の検知領域の例を説明する図である。 前方車両における移動物体検出処理を示すフローチャートである。 後方車両における移動物体検出処理を示すフローチャートである。 変形例における移動物体検出処理を示すフローチャートである。
符号の説明
10 車両
20 CPU
21 前方監視手段
22 後方監視手段
24 GPSアンテナ
25 ジャイロセンサ
26 車車間通信用アンテナ
27 歩行者保護手段
28 警報装置
301 後方車両
302 前方車両
303 歩行者
304 障害物
310 後方車両の前方検知範囲
320 前方車両の側方検知範囲
330 車車間通信

Claims (5)

  1. 車両用の移動物体検出装置であって、
    自車両に対して所定の角度内における側方及び後方を撮影する側方監視カメラと、
    前記側方監視カメラによって得られた画像に基づいて、自車両の側方及び後方にある移動物体の有無を検出する検出手段と、
    前記側方監視カメラによって得られた画像に基づいて、自車両が走行している車線に隣接する車線の種類が車道であるか歩道であるかを判定する隣接車線判定手段と、
    前記隣接車線判定手段によって、前記隣接する車線が歩道と判定されたときに、前記隣接する車線が車道と判定されたときよりも、前記所定の角度が広角となるように変更する角度変更手段と、
    を備えることを特徴とする車両用移動物体検出装置。
  2. 前記側方監視カメラによって得られた画像を、自車両の後方に位置する後方車両に送信する送信手段を更に備えることを特徴とする請求項1に記載の車両用移動物体検出装置。
  3. 前記隣接車線判定手段は、前記側方監視カメラによって得られた画像に、道路上の連続した白線、路肩ブロック、及び植え込みのいずれかに対応する画像が含まれるときに、前記隣接する車線を歩道と判定することを特徴とする請求項1又は2に記載の車両用移動物体検出装置。
  4. 前記角度変更手段は、前記隣接車線判定手段が前記隣接する車線を歩道と判定した場合であって、前記側方監視カメラによって得られた画像にガードレールに対応する画像が含まれている場合は、前記所定の角度をガードレールに対応する画像が含まれていない場合よりも狭角であって、かつ、前記隣接車線判定手段が前記隣接する車線が車道と判定されたときよりも広角となるように変更することを特徴とする請求項1から3のいずれか1項に記載の車両用移動物体検出装置。
  5. 前記側方監視カメラは、自車両のレーンチェンジ時に、側方及び後方の車両を監視するレーンチェンジエイド用のカメラであることを特徴とする請求項1から4のいずれか1項に記載の車両用移動物体検出装置。
JP2005138441A 2005-05-11 2005-05-11 車両用移動物体検出装置 Expired - Fee Related JP4661339B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005138441A JP4661339B2 (ja) 2005-05-11 2005-05-11 車両用移動物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005138441A JP4661339B2 (ja) 2005-05-11 2005-05-11 車両用移動物体検出装置

Publications (2)

Publication Number Publication Date
JP2006315482A JP2006315482A (ja) 2006-11-24
JP4661339B2 true JP4661339B2 (ja) 2011-03-30

Family

ID=37536539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005138441A Expired - Fee Related JP4661339B2 (ja) 2005-05-11 2005-05-11 車両用移動物体検出装置

Country Status (1)

Country Link
JP (1) JP4661339B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4412337B2 (ja) 2007-03-08 2010-02-10 トヨタ自動車株式会社 周囲環境推定装置及び周囲環境推定システム
KR100909217B1 (ko) * 2007-12-18 2009-07-23 제일전기공업 주식회사 차량의 사각지대 감지를 통한 충돌회피시스템
JP5278776B2 (ja) * 2008-12-09 2013-09-04 トヨタ自動車株式会社 物体検出装置および物体検出方法
JP5413516B2 (ja) 2010-08-19 2014-02-12 日産自動車株式会社 立体物検出装置及び立体物検出方法
JP5812598B2 (ja) * 2010-12-06 2015-11-17 富士通テン株式会社 物体検出装置
JP5614504B2 (ja) 2011-09-12 2014-10-29 日産自動車株式会社 立体物検出装置
US9239960B2 (en) 2012-03-02 2016-01-19 Nissan Motor Co., Ltd. Three-dimensional object detection device
JP7276023B2 (ja) 2019-09-06 2023-05-18 トヨタ自動車株式会社 車両遠隔指示システム、及び自動運転車両
WO2023187972A1 (ja) * 2022-03-29 2023-10-05 本田技研工業株式会社 移動体の制御装置、移動体の制御方法、および記憶媒体
CN115019261B (zh) * 2022-08-10 2022-10-28 山东美特钢材有限公司 一种基于神经网络的行人翻越交通护栏的检测识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000314620A (ja) * 1999-05-06 2000-11-14 Nissan Motor Co Ltd 車両用カメラ
JP2001124852A (ja) * 1999-10-26 2001-05-11 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 車両周辺監視装置
JP2002074595A (ja) * 2000-08-29 2002-03-15 Hitachi Ltd 車両の安全運転支援システム
JP2003327065A (ja) * 2002-05-10 2003-11-19 Daihatsu Motor Co Ltd 走行支援装置及び走行支援方法
JP2004048295A (ja) * 2002-07-10 2004-02-12 Toyota Motor Corp 画像処理装置、駐車支援装置、及び画像処理方法
JP2005005978A (ja) * 2003-06-11 2005-01-06 Denso Corp 周囲状況認識システム
JP2005112267A (ja) * 2003-10-10 2005-04-28 Nissan Motor Co Ltd 車両用後退支援装置および車両用後退支援方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1123715A (ja) * 1997-07-01 1999-01-29 Aqueous Res:Kk 車両周辺状況検出装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000314620A (ja) * 1999-05-06 2000-11-14 Nissan Motor Co Ltd 車両用カメラ
JP2001124852A (ja) * 1999-10-26 2001-05-11 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 車両周辺監視装置
JP2002074595A (ja) * 2000-08-29 2002-03-15 Hitachi Ltd 車両の安全運転支援システム
JP2003327065A (ja) * 2002-05-10 2003-11-19 Daihatsu Motor Co Ltd 走行支援装置及び走行支援方法
JP2004048295A (ja) * 2002-07-10 2004-02-12 Toyota Motor Corp 画像処理装置、駐車支援装置、及び画像処理方法
JP2005005978A (ja) * 2003-06-11 2005-01-06 Denso Corp 周囲状況認識システム
JP2005112267A (ja) * 2003-10-10 2005-04-28 Nissan Motor Co Ltd 車両用後退支援装置および車両用後退支援方法

Also Published As

Publication number Publication date
JP2006315482A (ja) 2006-11-24

Similar Documents

Publication Publication Date Title
JP4661339B2 (ja) 車両用移動物体検出装置
JP6466899B2 (ja) 車両用表示装置
JP6564576B2 (ja) 自動車における近接体警報知装置
JP2006318093A (ja) 車両用移動物体検出装置
EP3141926B1 (en) Automated detection of hazardous drifting vehicles by vehicle sensors
CN108447302B (zh) 信息处理装置以及记录介质
JP6252304B2 (ja) 車両用認知通知装置、車両用認知通知システム
CN109017773B (zh) 车辆控制装置
US20100030474A1 (en) Driving support apparatus for vehicle
US11198398B2 (en) Display control device for vehicle, display control method for vehicle, and storage medium
JP2007104373A (ja) 車両用画像表示装置
JP2008250503A (ja) 運転支援装置
JP7069539B2 (ja) 運転支援装置
JP7212078B2 (ja) 推奨レーンを判定する車両システム
JP6794972B2 (ja) 保護制御装置
JP2004310522A (ja) 車両用画像処理装置
US12106583B2 (en) Vehicular lane marker determination system with lane marker estimation based in part on a LIDAR sensing system
JP7098996B2 (ja) 走行位置決定装置
KR102023863B1 (ko) 이동체 주위 표시 방법 및 이동체 주위 표시 장치
JP2003104148A (ja) 車両の制御装置
JP7151633B2 (ja) 情報表示装置
JP2019001298A (ja) 衝突判定装置
JP6992417B2 (ja) ドライバ状態検出装置
JP2020129336A (ja) 車車間通信装置および車車間通信方法
JP2006240444A (ja) 車両用制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100422

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20101001

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101220

R150 Certificate of patent or registration of utility model

Ref document number: 4661339

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees