JP3690150B2 - BACKWARD SUPPORT DEVICE AND VEHICLE IN VEHICLE - Google Patents

BACKWARD SUPPORT DEVICE AND VEHICLE IN VEHICLE Download PDF

Info

Publication number
JP3690150B2
JP3690150B2 JP35814198A JP35814198A JP3690150B2 JP 3690150 B2 JP3690150 B2 JP 3690150B2 JP 35814198 A JP35814198 A JP 35814198A JP 35814198 A JP35814198 A JP 35814198A JP 3690150 B2 JP3690150 B2 JP 3690150B2
Authority
JP
Japan
Prior art keywords
obstacle
image
vehicle
backward
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP35814198A
Other languages
Japanese (ja)
Other versions
JP2000177513A (en
Inventor
孝治 比嘉
尚 栗谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP35814198A priority Critical patent/JP3690150B2/en
Publication of JP2000177513A publication Critical patent/JP2000177513A/en
Application granted granted Critical
Publication of JP3690150B2 publication Critical patent/JP3690150B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、車両後退前に車両後方に障害物が存在するかどうかを画像処理によって検出して報知し、車両後退時の後方の安全確認を支援する車両における後退支援装置及び車両に関するものである。
【０００２】
【従来の技術】
従来、自動車を後退させるときにカメラで撮影した車両後方の映像を運転席のモニタの画面に映し出し、その画面の映像を見て後方の安全確認を行うバックモニタが知られている。
【０００３】
また、車両後部に取付けられた超音波センサによって、車両後退中に障害物に接近すると、その障害物を検知してその旨を運転者に報知音等によって知らせる障害物検出装置が知られている。車両後退中に障害物に接近したときに運転者に障害物の存在が報知されるので、障害物に当たる前に車両を停車させて障害物との衝突を未然に防ぐことができる。
【０００４】
【発明が解決しようとする課題】
しかし、運転席のモニタに車両後方の映像を映し出すバックモニタは、単に景色を映し出すに過ぎず、後方の状況の認知と安全確認の判断は画面上の映像を見た運転者に依存していた。従って、運転者がモニタの画面中の障害物を見落とした場合や、運転者が車両を後退させるために後ろに振り返ってモニタの画面から目を離し、振り返り方向と反対側に死角ができた場合には、障害物を発見できない恐れがあった。
【０００５】
また、超音波センサを使った障害物検出装置は、車両の後退中に車両が障害物に接近したことを検知するものであって、超音波センサの検知範囲がかなり狭く、ある程度接近してから障害物を検出するものであった。そのため、車両の後退中に障害物を発見することはできても、車両後退前の停車中に後方の安全確認を兼ねて障害物を検出できるものではなかった。
【０００６】
そのため、後退進路上に障害物が存在しても、車両が実際に動き出し、障害物に接近してからでないと、障害物を発見することができなかった。そのため、例えば後退進路上に侵入してきた人やボール等の移動物体をセンサが検知したときには、そのような障害物の発見が遅れるという問題があった。
【０００７】
本発明は、上記課題を解決するためになされたものであり、その目的は、車両を後退させる前に車両の後退進路上の障害物を発見して運転者に報知し、車両後退時の後方安全確認を支援することができる車両における後退支援装置及び車両を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明では、車両の後退進路を含む後方領域の景色を撮影するための撮影手段と、車両停止時に車両の後方領域に障害物が無いとみなされ得る状態であるときの画像を前記撮影手段により基準画像として撮影する基準画像取得手段と、シフト操作部が後退位置に切換えられると、車両の後方領域の画像を前記撮影手段により比較画像として逐次撮影する比較画像取得手段と、前記基準画像と前記比較画像とを比較する画像処理を逐次行って障害物を検出する障害物検出手段と、前記障害物検出手段により障害物が検出されると、その旨を報知する報知手段とを備え、前記基準画像取得手段は、ドアスイッチと、シフトポジションスイッチとを有し、前記基準画像を撮影する時期は、前記シフト操作部が駐車位置又は中立位置に操作されたことを前記シフトポジションスイッチが検出したときと、その後に運転席のドアの開閉を前記ドアスイッチが検知したときとである。
【０００９】
請求項２に記載の発明では、請求項１に記載の発明において、前記前記障害物検出手段は、障害物が静止物体のみか移動物体ありかを区別して認識する障害物認識手段を備え、前記報知手段は、障害物が検出された旨を前記障害物認識手段による認識結果に基づき、静止物体のみか移動物体ありかを区別して報知し、前記障害物認識手段は、前記基準画像と最新の前記比較画像との比較によって検出された最新の障害物の検出数データと最新の障害物の中心座標データとを取得し、前記基準画像と前回の前記比較画像との比較によって検出された前回の障害物の検出数データと前回の障害物の中心座標データとを取得し、前記最新の障害物の検出数と前記前回の障害物の検出数とが異なる場合、又は、前記最新の障害物の検出数と前記前回の障害物の検出数とが等しく前記最新の障害物の中心座標と前記前回の障害物の中心座標とが一致しない場合に移動物体ありと認識し、前記最新の障害物の検出数と前記前回の障害物の検出数とが等しく前記最新の障害物の中心座標と前記前回の障害物の中心座標とが一致する場合に静止物体のみと認識することをその要旨とする。
【００１０】
請求項３に記載の発明では、請求項１又は請求項２に記載の発明において、前記障害物検出手段は、前記撮影手段によって撮影された画像データ上の遠近を考慮に入れて検出物体の実サイズを判定して該検出物体が障害物となり得るか否かを判断する障害物判定手段を備えていることをその要旨とする。
【００１１】
請求項４に記載の発明では、請求項３に記載の発明において、前記障害物判定手段は、前記撮影手段によって撮影された画像データ上の遠近の違いに応じて前記画像データを複数の領域に区分し、区分した領域毎に閾値を設定し、前記検出物体の面積値が前記閾値を超えた時に前記検出物体を障害物であると判定することをその要旨とする。
【００１２】
請求項５に記載の発明では、請求項１〜請求項４のいずれか一項に記載の発明において、前記障害物検出手段は、操舵輪の切れ角の信号に基づいて撮影画像における車両の予想後退進路を求める予想進路算出手段を備え、該予想進路算出手段により求められた前記予想後退進路の範囲内の検出物体を障害物として判定することをその要旨とする。
【００１３】
請求項６に記載の発明では、請求項５に記載の発明において、前記障害物検出手段は、前記予想進路算出手段により求められた前記予想後退進路の範囲内にある静止物体および移動物体を障害物として判定するとともに、該予想後退進路の範囲外にある移動物体を障害物として判定することをその要旨とする。
【００１４】
請求項７に記載の発明では、請求項１〜請求項６のいずれか一項に記載の発明において、前記報知手段は、障害物の存在の旨を画像表示する画像表示手段である。
【００１５】
請求項８に記載の発明では、請求項７に記載の発明において、前記画像表示手段は、前記撮影手段により撮影された映像を動画で表示する画像表示装置を備え、該画像表示装置の画面に映し出される映像上の障害物に、障害物である旨を示す所定表示を重畳表示する重畳表示手段を備える。
【００１６】
請求項９に記載の発明では、車両には、請求項１〜請求項８のいずれか一項に記載の後退支援装置が備えられている。
（作用）
請求項１に記載の発明によれば、基準画像取得手段は、車両停止時に車両の後方領域に障害物が無いとみなされ得る状態の時に、撮影手段により車両の後方領域の画像を基準画像として撮影する。比較画像取得手段は、シフト操作部が後退位置に切換えられると、撮影手段により車両の後方領域の画像を比較準画像として逐次撮影する。障害物検出手段は基準画像と比較画像とを比較する画像処理を逐次行って障害物を検出する。報知手段は、障害物検出手段により障害物が検出されると、障害物が存在する旨を運転者に報知する。
【００１７】
また、シフト操作部が駐車位置又は中立位置に操作された時と、その後に運転席のドアが開閉された時に、撮影手段により基準画像が撮影される。前進してきた車両が停車した直後は、通ってきた道上（つまり車両後方）に障害物が無いとみなし得る。停車直後にシフト操作部を後退位置または中立位置に操作することが通常行われる操作なので、このような操作時に基準画像を撮影することにより、障害物が無いとみなし得る画像を基準画像として取得することが可能となる。また、駐車後に運転者が一旦降車して次に乗車するときには一応車両後方の確認をするのが通常なので、運転席のドアを開閉する時に基準画像を撮影することにより、障害物が無いとみなし得る画像を基準画像として取得することが可能となる。
【００１８】
さらに、車両の後方領域に障害物が無いとみなし得る基準画像の撮影時期は、シフト操作部の操作位置を検出するセンサ（スイッチ）や、運転席のドアの開閉を検知するセンサ（スイッチ）からの信号に基づいて決定される。
【００１９】
請求項２に記載の発明によれば、請求項１に記載の発明の作用に加え、障害物検出手段は、検出された障害物が静止物体のみか移動物体ありかを区別して障害物認識手段により認識する。報知手段は、障害物検出手段により検出された障害物の存在の旨を、静止物体のみか移動物体ありかを区別して報知する。
【００２０】
請求項３に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加え、障害物検出手段は、障害物判定手段により、撮影手段によって撮影された画像データにおける遠近を考慮に入れた検出物体の実サイズからその検出物体が障害物となり得るか否かを判定する。
【００２１】
請求項５に記載の発明によれば、請求項１〜請求項４のいずれか一項に記載の発明の作用に加え、障害物検出手段は、予想進路算出手段により操舵輪の切れ角の信号に基づいて撮像画像中における車両の予想後退進路を算出する。そして、予想進路算出手段により算出された予想後退進路の範囲内の物体を障害物として検出する。
【００２２】
請求項６に記載の発明によれば、請求項５に記載の発明の作用に加え、障害物検出手段は、予想進路算出手段により算出された予想後退進路の範囲内の静止物体及び移動物体を障害物として検出するとともに、予想後退進路の範囲外の移動物体を障害物として検出する。
【００２３】
請求項７に記載の発明によれば、請求項１〜請求項６のいずれか一項に記載の発明の作用に加え、報知手段としての画像表示手段により、障害物の存在が画像表示でもって運転者に報知される。
【００２４】
請求項８に記載の発明によれば、請求項７に記載の発明の作用に加え、画像表示手段は、撮影手段により撮影された車両の後方領域の映像を動画で表示する画像表示装置の画面上の映像中の障害物に、障害物である旨を示す報知画像が重畳表示される。
【００２５】
請求項９に記載の発明によれば、車両は、請求項１〜請求項８のいずれか一項に記載の後退支援装置を備えるので、請求項１〜請求項８のいずれか一項に記載の発明と同様の作用が得られる。
【００２６】
【発明の実施の形態】
＜第１の実施形態＞
以下、本発明を具体化した第１の実施形態を図１〜図９に基づいて説明する。
【００２７】
図５に示すように、車両としての自動車１の後部上方位置には、撮影手段としてのカメラ２が取付けられている。カメラ２はＣＣＤ素子を内蔵し、自動車１が後退するときに後方安全確認を必要とする範囲を少なくともカバーする同図に鎖線で示された後方領域の映像を撮影する。自動車１にはカーナビゲーションシステムが搭載されており、画像表示装置としてのカーナビ用のＬＣＤモニタ３が運転席近くの例えばインストルメントパネル上に設けられている。
【００２８】
本実施形態では、カーナビ用のＬＣＤモニタ３を使って、カメラ２によって撮影された自動車１の後方領域の映像（撮影動画像）を車両後退時に表示する。カメラ２は図６に示すようにリヤバンパ４がＬＣＤモニタ３の画面の下端に一部表示される撮影姿勢角で取付けられている（図５を参照）。自動車１には後退開始前に車両後方に障害物が存在するかどうかをカメラ２によって撮影した画像の画像処理によって検出し、障害物があれば運転者にその旨を報知して後方安全確認を支援する後退支援装置５が搭載されている。カメラ２やＬＣＤモニタ３は後退支援装置５の構成部品の一部をなしている。
【００２９】
図３は、後退支援装置５の電気的構成を示すブロック図である。後退支援装置５は、カメラ２、画像用ＥＣＵ６、カーナビ用ＥＣＵ７、ＬＣＤモニタ（以下、単にモニタと称す）３、シフトポジションスイッチ８、ドアスイッチ９、車速センサ１０、ステアリング切れ角センサ１１、音声処理回路１２およびスピーカ１３を備えている。カーナビ用ＥＣＵ７およびモニタ３は、前記カーナビゲーションシステムを構成するものを後退支援装置５に流用している。なお、後退支援専用のモニタを用意することもできる。
【００３０】
カメラ２は画像用ＥＣＵ６に電気的に接続され、ＣＣＤ素子により撮像された画像データを画像用ＥＣＵ６に転送する。カメラ２は画像用ＥＣＵ６により撮影のオン・オフが制御される。
【００３１】
画像用ＥＣＵ６には、シフトポジションスイッチ８、ドアスイッチ９、車速センサ１０が入力ポート１４を介して接続されるとともに、ステアリング切れ角センサ１１がＡ／Ｄ変換器１５を介して接続されている。また、画像用ＥＣＵ６には、カーナビ用ＥＣＵ７と音声処理回路１２が接続されている。カーナビ用ＥＣＵ７にはモニタ３が接続され、音声処理回路１２にはスピーカ１３が接続されている。
【００３２】
シフトポジションスイッチ８は、シフト操作部としてのシフトレバー１６（図５に示す）の操作位置を検出するもので、その出力信号ＳＰＳによって画像用ＥＣＵ６はシフトポジションＳＰを認識する。本実施形態の自動車１はオートマチック車で、シフトポジションＳＰには例えば「Ｐ，Ｒ，Ｎ，Ｄ，１速，２速」の６種類がある。
【００３３】
ドアスイッチ９は、運転席のドア１７（図５に示す）の開閉を検知するもので、ドア１７の開閉に応じてオン・オフするドア信号ＤＳを出力する。ドア信号ＤＳのオン・オフが切り替わることによってドア１７の開閉が検知される。
【００３４】
車速センサ１０は、車速を検出するもので、車速ｖに応じた検出信号ｖＳを出力する。
ステアリング切れ角センサ１１は、操舵輪１８（図５に示す）の切れ角を検出するものである。ステアリング切れ角センサ１１は、例えばステアリングホイール（ハンドル）１９（図５に示す）を支持するステアリングシャフト（図示せず）の回転量を検出し、操舵輪１８の切れ角θに応じた検出信号θＳを出力する。
【００３５】
カーナビ用ＥＣＵ７は、カーナビゲーションシステムに内蔵され、カーナビゲーションシステムの制御を司るためのものである。カーナビ用ＥＣＵ７はカーナビゲーションシステムに搭載されたモニタ３の画像表示制御をする。本実施形態では、カーナビ用ＥＣＵ７は、画像用ＥＣＵ６から外部入力される画像データの表示制御も行う。
【００３６】
画像用ＥＣＵ６は、中央処理装置（以下、ＣＰＵという）２０、画像メモリ２１およびメモリ（例えばＲＯＭおよびＲＡＭ）２２を備える。ＣＰＵ２０はメモリ２２に記憶されたプログラムデータに基づいて動作する。なお、基準画像取得手段は画像用ＥＣＵ６（ＣＰＵ２０），シフトポジションスイッチ８，ドアスイッチ９，車速センサ１０，画像メモリ２１により構成される。また、比較画像取得手段は画像用ＥＣＵ６（ＣＰＵ２０），シフトポジションスイッチ８，車速センサ１０，画像メモリ２１により構成される。また、予想進路算出手段は画像用ＥＣＵ６（ＣＰＵ２０），ステアリング切れ角センサ１１により構成される。そして、画像用ＥＣＵ６（ＣＰＵ２０）により障害物認識手段、障害物判定手段、障害物認識手段、および重畳表示手段が構成される。また、報知手段はＬＣＤモニタ３，画像用ＥＣＵ６（ＣＰＵ２０），カーナビ用ＥＣＵ７，音声処理回路１２，スピーカ１３により構成され、特にＬＣＤモニタ３，画像用ＥＣＵ６（ＣＰＵ２０），カーナビ用ＥＣＵ７により画像表示手段が構成される。
【００３７】
メモリ２２には例えば後退支援処理を行うためのプログラムデータがある。ここで、後退支援とは、自動車１の後退時に障害物となる物体を画像処理により検出し、運転者に音声と画像により警告することで、後退時の事故を低減するためのシステムである。具体的には、運転者が後方に障害物がないとみなして、ドア１７を開閉し運転席に乗り込んだ時から、自動車１が後方へ動き出すまでの間の車両後方の状況変化を検出して、障害物の存在を運転者に音声と画像によって報知することで、後退し始めるまでの後方の安全確認を支援する。
【００３８】
本実施形態では、シフトポジションが「Ｒ」にある間、モニタ３の画面３ａに車両の後方領域の映像が映し出され、画像による報知方法としては、画面３ａの映像中の障害物にそれを囲む矩形が重畳表示（スーパインポーズ）される。ＣＰＵ２０は、検出した障害物を囲む矩形を重畳表示する矩形表示処理のためのバッファを備える。つまり、画像データに矩形を重畳表示するためのデータを１フレーム分ずつ保存可能な５つのバッファを備え、矩形に関するデータを５フレーム分保存可能となっている。
【００３９】
後退支援処理では、障害物が存在しないとみなされ得るときの基準画像を予め１枚取得しておき、後退時に車両が動き出すまでの間の停車中に比較画像を逐次撮影し、逐次得られた比較画像と基準画像とを背景差分法を使って比較する画像処理をする。そして、基準画像と比較画像との間で変化のあった部分だけを抽出し、障害物を検出する。障害物検出は「静止物体のみ」と「移動物体あり」との識別（認識）までを行う。このため、メモリ２２には、音声報知をするために必要な音声データが、これら２種類の認識結果に応じた静止物体報知用と移動物体報知用との２種類記憶されている。また、メモリ２２には、矩形表示処理のためのプログラムデータが記憶されており、矩形表示処理によって、これら２種類の認識結果に応じた後述する２種類の態様で矩形の重畳表示がなされる。
【００４０】
図４は、後退支援処理における障害物検出の流れを説明する図である。
本実施形態では、車両停止後、シフトレバー１６をパーキング（駐車位置）「Ｐ」またはニュートラル（中立位置）「Ｎ」に操作した時の画像を基準画像Image０として採用する。また、ドア１７が開閉された時の画像を基準画像Image０として更新する。つまり、後方に障害物がないとみなし得る状態として、駐停車した時と、運転席のドア１７が開閉された時を採用する。これらの時は、障害物が存在しないとみなし得るからである。
【００４１】
駐停車した時は、その後方の画像は車両が今走行してきた場所に相当するので、駐停車の直後はその後方に障害物が無いとみなし得る。そこで、駐停車の直後の後方画像を得るために、停車後（車速ｖ＝０）、シフトレバー１６が「Ｐ」または「Ｎ」に操作された時の後方画像を基準画像として得るようにしている。
【００４２】
また、運転席のドア１７が開閉された時は、運転者が乗降したときで、運転者が降りてから、乗るために帰ってきたときには一応車両の後方を確認するので、後方に障害物が無いとみなし得るからである。基準画像Image０を更新するのは、駐停車をした後、後退を始めるまでに時間が経っているときがあるためである。このときには昼と夜の違いなど、光源に大きな変化があり、シフトレバー１６が「Ｐ」または「Ｎ」に操作されたときの後方画像を基準画像Image０とすると誤検出が生じてしまう恐れがある。従って、ドア１７が開閉されたときの後方画像を基準画像Image０として更新するようにしている。
【００４３】
そして、基準画像Image０の撮影（時刻ｔo）後、シフトレバー１６を「Ｒ」に入れると（時刻ｔ1）、所定時間Δｔ（例えば３３〜６６ミリ秒）毎に、比較画像Imageｎ（ｎ＝１，２，３，…）を逐次撮影する。比較画像Imageｎを１枚取得する度に、基準画像Image０と比較画像をImageｎとを差分処理する画像処理を行い、障害物を「静止物体のみ」と「移動物体あり」とを区別して検出する。車両が後退し始めて車速ｖが零でなくなると（ｖ≠０）、後退支援処理を停止する。
【００４４】
図１，図２は、後退支援処理のプログラムデータをフローチャートで示したものである。後退支援処理のプログラムデータは、車速センサ１０からの検出信号ｖＳに基づき自動車１が停車（ｖ＝０）したことが認知されると、ＣＰＵ２０により実行される。
【００４５】
図１に示すフローチャートは、基準画像Image０を撮影するための処理である。図２に示すフローチャートは、シフトレバー１６が「Ｒ」に操作されてから車両が動き出すまでの間で実行される障害物報知処理ルーチンである。シフトポジションＳＰが「Ｒ」に入れられると、カメラ２による比較画像Imageｎの撮影が開始され、モニタ３の画面３ａがカメラ２が撮影する車両後方の映像に切り換えられる。シフトポジションＳＰが「Ｒ」にある間は、モニタ３の画面３ａに後方の映像が映し出される。後退支援処理は車両が後退し始めるまでであるが、車両が動き出しても後退中はモニタ３の画面３ａに後方の映像が映し出される。モニタ３の画面３ａに後方の映像を動画で映し出す処理は、シフトポジションＳＰが「Ｒ」に入れられると、ＣＰＵ２０がメインプログラムを実行することで行われ、このメインプログラムの割り込み処理として障害物報知処理ルーチンが実行される。障害物報知処理ルーチンは、障害物検出、障害物認識、音声警告および矩形重畳表示の主に４つ処理からなる。
【００４６】
以下、後退支援処理のプログラムについて、図１，図２のフローチャートに従って説明する。
ステップ１０〜ステップ６０までの処理は、後方に障害物がないとみなし得る状態の時の画像を基準画像Image０として撮影するための処理である。
【００４７】
ステップ１０では、シフトポジションＳＰが「Ｐ」または「Ｎ」であるか否かを判断する。シフトポジションＳＰが「Ｐ」または「Ｎ」であれば、ステップ２０に進む。シフトポジションＳＰが「Ｐ」でも「Ｎ」でもなければそのまま処理を繰り返す待機をする。待機中に車速ｖ≠０となったときには、当該処理を終了する。
【００４８】
ステップ２０では、基準画像Image０を撮影する。つまり、ＣＰＵ２０はカメラ２をオンさせ、カメラ２から転送された１枚（１フレーム）の基準画像Image０を画像メモリ２１の所定記憶領域に記憶する。
【００４９】
ステップ３０では、運転席のドア１７が開閉されたか否かを判断する。つまり、ＣＰＵ２０は、ドアスイッチ９のオン・オフの切り替わりがあったか否かを判断する。ドア１７が開閉されたと判断されたときは、ステップ４０に進み、ドア１７が開閉されなかったときはステップ５０に進む。
【００５０】
ステップ４０では、基準画像Image０を更新する。つまり、ＣＰＵ２０はカメラ２をオンさせ、カメラ２から転送された１枚の基準画像Image０を画像メモリ２１の所定記憶領域に記憶して更新する。
【００５１】
ステップ５０では、シフトポジションＳＰが「Ｒ」であるか否かを判断する。ＳＰ＝Ｒのときは障害物報知処理ルーチンへ進む。ＳＰ＝Ｒでないときはステップ６０に進む。
【００５２】
ステップ６０では、シフトポジションＳＰが「Ｐ」または「Ｎ」であるか否かを判断する。シフトポジションＳＰが「Ｐ」または「Ｎ」であれば、ステップ３０に進み、Ｓ３０〜Ｓ６０の処理を繰り返す。つまり、シフトポジションＳＰが「Ｒ」となるか、「Ｐ」，「Ｎ」以外となるまで、ドア１７の開閉時に基準画像Image０を更新するための処理を繰り返す。一方、シフトポジションＳＰが「Ｐ」，「Ｎ」，「Ｒ」以外のポジションとなると、当該処理を終了する。
【００５３】
次に、ステップ５０においてシフトポジションＳＰが「Ｒ」であると判断されたときに実行される障害物報知処理ルーチンのプログラムについて図２に従って説明する。このルーチンは前述した主な４つの処理からなり、ステップ７０〜ステップ１１０が障害物検出処理、ステップ１２０が障害物認識処理、ステップ１３０，１４０が音声警告処理、ステップ１５０が矩形重畳表示処理（障害物矩形表示処理）である。
【００５４】
ステップ７０〜ステップ１１０からなる障害物検出処理は、比較画像撮影、差分処理、予想後退領域算出処理、閾値処理、障害物検出の各処理で構成され、所定時間Δｔ毎に逐次実行される。この障害物検出処理結果から障害物が検出されたときに限り、ステップ１２０の障害物認識処理に進む。障害物認識処理は、「静止物体のみ」か「移動物体あり」かを認識する処理である。その認識結果に応じて次のステップ１３０，１４０のいずれかを選択し、認識結果に応じた音声警告を行う。そして、ステップ１５０ではモニタ３の画面３ａに映し出されている映像（動画像）中の障害物にそれを囲む矩形を重畳表示（スーパインポーズ）する処理を行う。
【００５５】
ステップ１７０、１８０は、当該ルーチンを継続するか否かを判断するための処理で、車両が動き出すか、シフトレバー１６が「Ｒ」以外のポジションに変更されるかするまで、当該ルーチンを継続する。そのため、Ｓ１７０では車速ｖが零（ｖ＝０）であるか否かを判断し、Ｓ１８０ではシフトポジションＳＰが「Ｒ」（ＳＰ＝Ｒ）であるか否かを判断する。
【００５６】
以下、障害物報知処理ルーチンの主な処理である、障害物検出処理（Ｓ７０〜Ｓ１１０）、障害物認識処理（Ｓ１２０）、音声警告処理（１３０，１４０）、および矩形重畳表示処理（障害物矩形表示処理）（Ｓ１５０）について詳述する。
【００５７】
（障害物検出処理）
まず、障害物検出処理について説明する。
まずステップ７０では、比較画像Imageｎを撮影する。ＣＰＵ２０はカメラ２から転送された１枚（１フレーム）の比較画像Imageｎのデータを入力する。
【００５８】
ステップ８０では、２枚の画像Image０，Imageｎを比較する差分処理をする。ＣＰＵ２０は画像メモリ２１から基準画像Image０を読出し、２枚の画像Image０，Imageｎを背景差分法による画像処理をする。例えば、ImageｎとImage０との差の絶対値（｜Imageｎ−Image０｜）をとり、その差分画像に膨張処理を施す。これにより、一つの物体が輝度の異なる箇所（例えば影による暗部）で複数に分離されたとしても、元の一つの物体に結合する。次に所定の閾値を用いた閾値処理を施して二値画像を得る。二値画像データでは、Image０とImageｎとで異なっている部分が白領域（データ「１」）として表現される。
【００５９】
ステップ９０では、車両が後退するときの予想後退領域（予想後退進路）ＰＡを求める。ステアリング切れ角センサ１１からの信号値θＳを読み込み、その信号値θＳから得られた操舵輪１８の切れ角θに基づいて二値画像上の予想後退進路ＰＡを求める。予想後退進路ＰＡの算出には、メモリ２２に予め記憶された例えば計算式を用いる。計算式は、二値画像上の遠近を考慮したものとし、例えば楕円や放物曲線などの複数次曲線の式などを使う。図６は、二値画像Imageを模式的に示したもので、予想後退進路ＰＡは、計算式から決まる二本のライン（同図では鎖線で示す）で挟まれた領域として求められる。図６（ａ）に示すように、直進のときの切れ角θ（＝０）では、予想後退進路ＰＡは遠くほど幅が狭くなるように真っ直ぐ延びる領域となる。また、図６（ｂ）に示すように、ハンドル１９を切ったときの切れ角θ（θ＞０またはθ＜０）では、予想後退進路ＰＡは遠くほど幅が狭くなるカーブを描く領域となる。また、予想後退進路ＰＡの幅は車幅にほぼ等しい。なお、図６（ａ）では、検出物体を白領域でなく黒色で示している。
【００６０】
ステップ１００では、検出物体からサイズに基づき障害物を抽出（検出）する閾値処理をする。実サイズが所定サイズを超えるもののみを障害物として検出する。図６に示すように、まず二値画像Imageにおける予想後退進路ＰＡの領域を遠近の違いに応じて複数（例えば三つ）のブロックＢに区分し、各ブロックＢ毎に設定された閾値を用い、各ブロックＢ毎にそのブロックＢ内に一部でも存在する白領域（図６（ａ）では黒色）の面積値と閾値との大小比較をする。白領域の面積が閾値を超えるときは、その白領域が障害物となり得るサイズの物体であると判定する。閾値を超える面積の白領域については、白領域の検出数、各白領域の中心座標、各白領域を囲む矩形の始点（左上点）の座標と幅と高さを求めて、そのデータを５つのバッファのうちの１つ（最新時刻用のバッファ）に記憶する。５つのバッファには過去５フレーム分（今回も含む）のデータが記憶可能である。図６に示す予想後退進路ＰＡの範囲外の外領域ＯＡは障害物検出の対象とされず、外領域ＯＡに存在する物体は障害物として検出されない。
【００６１】
ステップ１１０では、障害物が検出されたか否かを判断する。つまり、前ステップで面積値が閾値を超える白領域が存在したか否かを判断する。障害物が検出されないときはステップ１７０に進み、障害物が検出されたときはステップ１２０の障害物認識処理に進む。なお、障害物認識処理には、前回の時刻ｔ-1と今回の時刻ｔにおける各障害物検出処理で得られた２種類のデータが必要であるため、当該ステップ１１０で障害物が検出されたと判断されたときに障害物認識処理へ移行するのは、二回目以降（ｎ≧２）の処理サイクルに限られる。
【００６２】
（障害物認識処理）
次にステップ１２０の障害物認識処理について図７を用いて説明する。障害物認識処理では、障害物が「静止物体のみ」か「移動物体あり」かを認識（識別）する。
【００６３】
まずバッファ（最新時刻用と前回用の２つのバッファ）から、前回と今回における障害物検出数のデータと各障害物の中心座標のデータとを読み出す。ここで、前回の時刻ｔ-1と今回の時刻ｔにおける障害物（白領域）の検出数を、それぞれＮt-1、Ｎtとする。また、各時刻ｔ-1，ｔにおける各障害物（白領域）の中心座標を、それぞれＣk,t-1（但し、ｋ＝１，２，…，Ｎt-1）、Ｃk,t（但し、ｋ＝１，２，…，Ｎt）とする。ここで、前の添字ｋは各フレームにおける障害物を特定する番号、後の添字は時刻を示す。これら２種類のデータを使って、以下の▲１▼，▲２▼の処理を順次行う。
【００６４】
▲１▼ 検出数を比較する。Ｎt-1≠Ｎtならば「移動物体があり」とする。例えば図７（ａ）に示すように、時刻ｔ-1の検出数Ｎt-1が「１」で、時刻ｔの検出数Ｎtが「２」のように検出数が異なる場合、すなわち時刻ｔと時刻t-1で検出数の増減があった場合は必ず移動物体が存在する。よって、Ｎt-1≠Ｎtが成立したときは「移動物体があり」とする。
【００６５】
▲２▼ Ｎt-1＝Ｎtのときは、各時刻ｔ-1，ｔにおける障害物の中心座標を比較する。時刻ｔと時刻t-1で検出された物体が複数ある場合、各フレーム間で個々の物体の区別は困難なため、全ての組合せについて中心座標を比較する。例えば時刻t-1の中心座標Ｃk,t-1と、時刻tの中心座標Ｃk,tとの組合せを、（Ｃk,t-1、Ｃk,t）とおくと、（Ｃ1,t-1、Ｃ1,t）、（Ｃ1,t-1、Ｃ2,t）、…、（Ｃ1,t-1、ＣNt,t）、（Ｃ2,t-1、Ｃ1,t）、（Ｃ2,t-1、Ｃ2,t）、…、（Ｃ2,t-1、ＣNt,t）、…、（ＣNt-1,t-1、Ｃ1,t）、（ＣNt-1,t-1、Ｃ2,t）、…、（ＣNt-1,t-1、ＣN,t）のように全ての組合せについて調べる。中心座標の比較は一致するかどうかをみることとし、全ての組合せを調べて中心座標が一致する組合せの数（以下、一致数という）Ｎｅを求める。
【００６６】
図７（ｂ）に示すように、全ての物体が静止しているとき各物体の中心座標は、時刻ｔと時刻t-1とで変化せず同じなので、一致数Ｎｅが検出数Ｎt（＝Ｎt-1）に等しくなる。よって、Ｎｅ＝Ｎt（この例ではＮｅ＝Ｎt＝２）が成立すれば、「静止物体のみ」と認識する。また、図７（ｃ）に示すように、移動物体が存在する場合、移動物体の中心座標が時刻t-1と時刻ｔとで変化することから、一致数Ｎｅが必ず検出数Ｎtより少なくなる。よって、Ｎｅ≠Ｎt（この例では１＝Ｎｅ≠Ｎt＝２）が成立すれば、「移動物体あり」と認識する。なお、検出される障害物（白領域）の位置や大きさが光の当たり方の違い等によって揺らぐ誤差を考慮し、中心座標の一致の判定にある程度の許容範囲を持たせている。
【００６７】
このステップ１２０の処理での判定結果が、「静止物体のみ」であればステップ１３０に進み、「移動物体あり」であればステップ１４０に進む。
（音声警告処理）
次に音声警告処理について説明する。
【００６８】
ステップ１３０では、静止物体用の音声警告を行う。ＣＰＵ２０はメモリ２２から静止物体用の音声データを読み出し、音声処理回路１２に送信する。音声データに基づきスピーカ１３からは例えば「進路に障害物があります」と音声警告される。つまり、静止物体である旨が分かる内容の音声で報知する。
【００６９】
ステップ１４０では、移動物体用の音声警告を行う。ＣＰＵ２０はメモリ２２から移動物体用の音声データを読み出し、音声処理回路１２に送信する。音声データに基づきスピーカ１３からは例えば「進路に障害物が入ってきました」と音声警告される。つまり、移動物体である旨が分かる内容の音声で報知する。音声警告処理の次はステップ１５０に進む。
【００７０】
（矩形重畳表示処理）
次にステップ１５０の障害物矩形表示処理（矩形重畳表示処理）について説明する。モニタ３の画面３ａの映像に障害物を囲む矩形を重畳表示（スーパーインポーズ）する処理である。つまり映像中の障害物を強調表示する。この際、障害物が「静止物体のみ」のときは矩形を点滅させ、「移動物体あり」のときは矩形を移動物体に追随させるように移動させる。このように「静止物体のみ」と「移動物体あり」とで矩形の表示態様を変えている。
【００７１】
以下、矩形重畳表示処理を図８，図９に従って説明する。
ＣＰＵ２０は５つのバッファに記憶された今回を含む過去５フレーム分のデータを使用し、矩形の表示・消去の制御処理をする。まず矩形の表示は毎回行われ、５つのバッファのデータ（矩形の始点，幅，高さデータ）に基づいて矩形を重畳表示させる。矩形の消去は、最古（時刻t-4）のバッファに矩形のデータが格納されている時のみ、すなわち最古のバッファに格納されたパラメータdisp＝１のときのみ行われる。
【００７２】
図８は各バッファに保存可能な各フレーム毎のデータを画像データ化して模式的に示したものである。同図における右から順に時刻ｔ，t-1，…，t-4の各バッファとなっている。今回の新しいデータは同図における一番右側の時刻ｔのバッファに保存され、後続の新しいデータが入力される毎（Δｔを経過する毎）に各データは１つ左隣（一つ時刻の古い）のバッファに順番に移動していく。
【００７３】
バッファに保存されるデータとして、当該処理から２つのパラメータdisp，stillが付け加えられる。パラメータdispは、矩形が表示されているか否かを判断するためのもので、矩形を表示したらパラメータdispを「１」、矩形を消去したらパラメータdispを「０」とする。また、パラメータstillは、「静止物体のみ」か「移動物体あり」かを区別するためのもので、「静止物体のみ」のときにパラメータstillを「１」、「移動物体あり」のときにパラメータstillを「０」とする。なお、時刻ｔで表示された矩形は消去されない限り、時刻t-4となるまで（５・Δｔの間）その表示が継続される。
【００７４】
矩形の点滅・追随の二種類の異なる表示態様は、矩形を消去するときの消去の仕方の違いによってもたらされる。この矩形消去処理は、最古（時刻t-4）のバッファに格納されたパラメータdisp＝１のときのみ実行され、最古のバッファのパラメータstillの値の違いによって消去の仕方が異なる。以下、矩形消去処理について図８（ａ），（ｂ）を用いて説明する。
【００７５】
▲１▼ 静止物体のみの場合（（図８（ａ））
まず最古（時刻t-4）のバッファに格納されたパラメータdisp＝１であれば、矩形データを消去するとともにパラメータdisp＝０とする。次にその時刻t-4でのパラメータstillを見る。「静止物体のみ」を示すstill＝１ならば、一つ新しい時刻t-3のバッファに移り、disp＝１ならば矩形のデータを消去するとともにdisp＝０とする。その時刻t-3でのパラメータstill＝１ならばさらに一つ新しいバッファに移り、以下同様の処理を繰り返す。これにより静止物体の矩形を表示している矩形データが全てのバッファにおいて一度の処理で全て消去される。よって、静止物体の矩形表示は５回に１回消去されるため、図９（ａ）に示すように、「静止物体のみ」の場合は障害物である静止物体ＳＳを囲む矩形Ｒが点滅表示となる。
【００７６】
▲２▼ 移動物体ありの場合（（図８（ｂ））
まず最古（時刻t-4）のバッファに格納されたパラメータdisp＝１であれば、矩形データを消去するとともにパラメータdisp＝０とする。次にその時刻t-4でのパラメータstillを見る。「移動物体あり」を示すstill＝０であるときは、新しいバッファへ移ることはなく、最古（時刻t-4）のフレームの矩形データのみ消去される。この処理のため、移動物体の矩形は、常に最古のもののみ消去される。その結果、図９（ｂ）に示すように「移動物体あり」の場合は障害物である移動物体ＭＳを囲む矩形Ｒが移動物体ＭＳに追随して移動する。つまり、過去５つの矩形が画面３ａの映像中に表示される。なお、「移動物体あり」の場合に共存する静止物体については矩形が重畳表示されるだけで点滅はしない。もちろん、静止物体の矩形を点滅させる処理を採用することはできる。
【００７７】
次に後退支援装置５の作用について説明する。
車両が停止してシフトレバー１６が「Ｎ」また「Ｐ」に入れられると、カメラ２によって一枚の基準画像Image０が撮影される。その後、運転席のドア１７が開閉される度に、基準画像Image０が更新される。これらの処理によって、車両後方に障害物が無いとみなし得る最も近い時期の画像が基準画像Image０として画像メモリ２１に記憶される。
【００７８】
ここで、駐停車の際は次に車両を後退し始めるまでの間に、運転者が車両から降りる場合と、降りない場合とがある。運転者が車両から降りない場合は、シフトレバー１６を「Ｐ」または「Ｎ」に入れたときの画像が基準画像Image０とされ、運転者が車両から降りる場合は、運転席のドア１７が開閉されたときの画像が基準画像Image０とされる。前者の場合、車両を駐停車させたときはその後方は今通ってきた場所なので、駐停車直後にシフトレバー１６が「Ｐ」または「Ｎ」に操作された時は車両後方に障害物が無いとみなし得る。また、後者の場合、運転者は用を済ませて車両に戻ってきて乗車するときは車両後方を一応確認するので、運転者が車両に乗るためにドア１７を開閉した時は車両後方に障害物が無いとみなし得る。よって、障害物が無い時の画像が基準画像Image０として得られる。ここまでの処理が図１のフローチャートで示すプログラムに基づいて行われる。
【００７９】
次に運転者が車両を後退するためにシフトレバー１６を「Ｒ」に入れると、カメラ２によって撮影された車両後方の映像がモニタ３の画面３ａに映し出される。つまり、モニタ３の画面３ａがカーナビゲーション画面から車両後方の映像に切り換わる。また、シフトレバー１６が「Ｒ」に入れられると同時に、図２のフローチャートで示す障害物報知処理ルーチンが実行される。
【００８０】
すなわち、所定時間Δｔ毎に比較画像Imageｎ（ｎ＝１，２，…）が撮影され、その度に基準画像Image０と比較画像Imageｎ（ｎ＝１，２，…）とを背景差分法を用いて比較する画像処理が行われ、操舵輪１８の切れ角θから決まる予想後退進路ＰＡの範囲内で障害物検出が行われる。予想後退進路ＰＡ内に障害物が検出されると、障害物が「静止物体のみ」か「移動物体あり」かを認識する。
【００８１】
「静止物体のみ」の場合は、スピーカ１３から音声で「進路に障害物があります」と警告されるとともに、画面３ａの映像中に障害物を囲む矩形が点滅表示される（図９（ａ）を参照）。一方、「移動物体あり」の場合は、スピーカ１３から音声で「進路に障害物が入ってきました」と警告されるとともに、画面３ａの映像中に障害物を囲む矩形が表示され、その矩形が移動物体に追随して移動する（図９（ｂ）を参照）。
【００８２】
このため、運転者が車両を後退させるために後方を振り向いてモニタ３の画面３ａから目を離しても、音声の警告によって障害物の存在と、その障害物が静止物体なのか移動物体なのかまでを区別して把握できる。例えば後方を振り向いたときに運転者にとっての死角に静止物体があったり、移動物体が侵入したきたときにその障害物を見逃すことなく発見できる。
【００８３】
また、画面３ａを見て後方の安全確認を行っているときには、音声警告に加え、画面３ａの映像中の障害物にそれを囲む矩形が表示されるため、画面３ａの映像中の障害物を見逃すこともなくなる。さらに、障害物が「静止物体のみ」であれば矩形が点滅し、「移動物体あり」であれば矩形が移動物体に追随して移動するので、障害物の性質やその動向までを把握し易い。
【００８４】
このように運転者が車両を駐停車させてから降りていない場合には、シフトレバー１６を「Ｐ」または「Ｎ」に入れたときから、また運転者が車両を降りた場合には、ドア１７が開閉されたときから、車両が動き出すまでの状況変化を検出して障害物があれば運転者に、音声と画面３ａの映像中の矩形表示とによって警告を発するので、音声と画像とによる支援によって、後方が確実に安全な状態で車両を後退発進させることが可能となる。
【００８５】
車両が後退し始めると（車速ｖ≠０）、後退支援処理のプログラムは終了するが、車両の後退中、モニタ３の画面３ａには車両後方の映像が引き続き映し出される。そのため、車両後退中も画面３ａの映像を通して後方の状況を把握しながら安全な運転ができる。例えば車庫入れのときに車両の後部を壁などに当てる心配がない。シフトレバー１６が「Ｒ」から他の位置（例えば「Ｐ」，「Ｎ」等）に切り換えられると、モニタ３の画面３ａは車両後方の映像から元の画像に切り換えられる。なお、車両が後退する前にシフトレバー１６が「Ｒ」から他の位置に切り換えられた場合も、後退支援処理のプログラムは終了され、モニタ３の画面３ａは車両後方の映像から元の画像に切り換えられる。
【００８６】
以上詳述したように本実施形態によれば、以下の効果が得られる。
（１）車両を後退させるためにシフトレバー１６を「Ｒ」に操作した際に、運転者が車両を駐停車させてから降りていない場合には、シフトレバー１６を「Ｐ」または「Ｎ」に入れたときから、また運転者が車両を降りた場合には、ドア１７が開閉されたときから、車両が動き出すまでの車両後方の状況変化を画像処理によって検出し、車両の後退進路上に障害物が存在すれば、その旨を運転者に音声とモニタ３の画面３ａの映像中の障害物の位置に表示される重畳表示（スーパインポーズ）とを通して報知することができる。従来技術で述べたバックモニタに比べ、モニタ３の画面３ａに映し出されている映像中の障害物にその旨を示す重畳表示（スーパインポーズ）がなされるので、障害物をまず見逃すことがない。また、音声警告と重畳表示（スーパインポーズ）とによって聴覚と視覚との両方から運転者は警告を受け取ることになるので、障害物の見逃しを一層回避できる。また、モニタ３の画面３ａから目を離しても、音声警告がなされることによって、障害物の見逃しを回避できる。
【００８７】
（２）操舵輪１８の切れ角θから車両の予想後退進路ＰＡを求め、予想後退進路ＰＡの範囲だけを障害物の検出対象範囲とするので、その時の切れ角θに応じた後退進路上の障害物のみを運転者に報知することができる。つまり、障害物となり得るものだけを確実に発見できる。
【００８８】
（３）障害物が「静止物体のみ」か「移動物体あり」かを認識し、運転者に「静止物体のみ」か「移動物体あり」かを区別して報知するので、運転者は障害物がどのようなものであるかその性質や動向を把握し易い。
【００８９】
（４）スーパインポーズを障害物を囲む矩形表示とし、静止物体には矩形を点滅させ、移動物体には矩形を追随させるようにしたので、矩形の表示態様の違いによって一目で障害物が静止物体であるか移動物体であるかを判別することができる。
【００９０】
（５）スーパインポーズが障害物を囲む矩形という枠表示なので、矩形によって障害物がほとんど隠れず、その障害物が何であるかを識別（視認）できる。
（６）音声警告では、障害物が静止物体のみの場合は「進路に障害物があります」、移動物体ありの場合は「進路に障害物が入ってきました」と警告する。よって、運転者はモニタ３の画面３ａから目を離した場合でも、音声警告を聴くことによって、障害物が進路上に静止するものか、進路に侵入してきたものかまでを区別して認知できる。
【００９１】
（７）車両が後退し始めた後もモニタ３の画面３ａには車両後方の映像が引き続き映し出されるので、後退中においてもモニタ３の画面３ａを見ることで車両後方の状況をしっかり把握することができる。このため、車両が後退し始めてからは、障害物の検出および報知がなされなくなるが、モニタ３の画面３ａを見ることで後方の安全確認を行うことができる。
【００９２】
（８）カーナビゲーションシステムのモニタ３を後退支援装置５に利用しているが、モニタ３の画面は車両後退時に後方映像に切り換わるだけなので、カーナビゲーションシステムを使用するうえで特に支障はない。また、カーナビゲーションシステムのモニタ３を利用することから、専用モニタを用意する必要がなく、後退支援装置５を安いコストで自動車１に搭載できる。
【００９３】
（９）基準画像Image０を撮影する時期として、シフトレバー１６が「Ｐ」または「Ｎ」に入れられた時と、その後に運転席のドア１７が開閉された時とを採用したので、車両後方に障害物が無い状態の時の適切な基準画像Image０をほぼ確実に得ることができる。よって、障害物の検出漏れや、障害物の誤検出を極力減らすことができ、障害物の検出精度を高くできる。
【００９４】
（１０）基準画像Image０を運転席のドア１７を開閉する度に更新するので、光源の違いなどによる誤検出を防止することができる。例えば駐車後に運転者が車両を離れ、相当の時間が経過して車両後方の景色の光の当たり具合がすっかり変わってから、車両に戻ってきた運転者が車両を後退させる場合がある。このような場合でも、運転者が車両に戻ってきて乗車するためにドア１７を開閉した時に基準画像Image０が更新されるので、光の当たり具合が同じ背景の基準画像Image０と比較画像Imageｎとを比較する画像処理となるので、駐停車してから車両を後退させるまでに相当の時間が経過した場合でも、障害物の誤検出を回避できる。
【００９５】
（１１）画像データを遠近の違いによる複数のブロックＢに分割し、各ブロックＢ毎の閾値を用いて検出物体のうち障害物となり得るサイズのものを抽出する障害物検出方法を採るので、検出物体のうちその実サイズが障害物となり得る一定サイズを超えるもののみを障害物として判定できる。
【００９６】
＜第２の実施形態＞
次に、第２の実施形態を図１０，図１１を用いて説明する。
この実施形態は、前記第１の実施形態における障害物報知処理ルーチンの一部を変更した例である。前記第１の実施形態では、予想後退進路ＰＡの範囲外（外領域ＯＡ）の物体については障害物として検出しなかったが、この実施形態では、予想後退進路ＰＡの範囲外であっても移動物体については障害物として検出するようにしている。これは、運転者が車両を後退させるために後方に振り返った際、振り返り方向と反対側に死角ができ易く、このような死角において進路内に入ろうとする移動物体があることを運転者に報知するためである。
【００９７】
図１１に示すように、本実施形態の障害物報知処理ルーチンは、ステップ７０，８０と、ステップ１５０〜１７０は、前記第１の実施形態と同様の処理内容である。以下、第１の実施形態と異なる処理について説明する。
【００９８】
ステップ２００の閾値処理は、二値画像Imageの全範囲において行われる。すなわち、二値画像Imageの全範囲を遠近の違いに応じて複数のブロックＢに区分し、各ブロック毎に設定された閾値を用い、ブロックＢ毎に検出物体（白領域）の面積値と閾値との大小比較をする。前記第１の実施形態（Ｓ１００）が予想後退進路ＰＡ内のみを対象としていたのに対し、画像全範囲を対象とする。
【００９９】
ステップ２１０では、ステップ７０、８０，２００の処理によって障害物が検出されたか否かを判断する。今回は、撮影全範囲が障害物検出の対象範囲とされ、予想後退進路ＰＡの範囲外についても障害物の検出がなされる。障害物が検出されればステップ２１０に進み、障害物が検出されなければステップ１６０に進む。
【０１００】
ステップ２２０では、障害物認識処理を実行する。すなわち、障害物が「静止物体のみ」か「移動物体あり」かを判定する。この判定方法は前記第１の実施形態と同様で、障害物認識の対象範囲が撮影全範囲である点のみが異なっている。「静止物体のみ」であればステップ２３０に進み、「移動物体あり」であればステップ２６０に進む。
【０１０１】
ステップ２３０では、予想後退領域（予想後退進路）ＰＡを算出する。この算出方法は前記第１の実施形態におけるステップ９０と同じである。
次のステップ２４０では、静止物体が予想後退進路ＰＡ内に存在するか否かを判断する。静止物体が予想後退進路ＰＡ内に存在しない場合はステップ１６０に進む。つまり、外領域ＯＡの静止物体は障害物とみなされず報知の対象とされない。一方、静止物体が予想後退進路ＰＡ内に存在する場合は次のステップ２５０に進み、進路上に障害物が存在する旨を音声により警告する。
【０１０２】
一方、ステップ２６０では、移動物体の障害物が存在する旨を音声により警告する。この場合、予想後退進路ＰＡ内と外領域ＯＡに存在する移動物体が障害物となるので、音声内容は、進路に入ってきた、あるいは進路に入る恐れのある障害物が存在する旨の警告とする。
【０１０３】
次に障害物矩形表示処理（矩形重畳表示処理）に移る訳であるが、本実施形態では、外領域ＯＡの検出物体のうち移動物体のみを障害物とする。そのため、外領域ＯＡの静止物体に関するデータ（矩形データ）を消去する必要がある。つまり、ステップ２００の閾値処理では、画像全範囲の検出物体のデータ（検出数、中心座標、矩形の始点，幅，高さ等）をバッファに保存している。そのため、データのうち外領域ＯＡの静止物体に関する矩形データ（矩形の始点，幅，高さ等）を消去する必要がある。消去する矩形データを識別するのに予想後退進路ＰＡを使用し（ステップ２３０，２７０）、ステップ２８０では、予想後退進路ＰＡ外に中心座標があって、時刻t-1と時刻tとで中心座標が一致する組合せを持つ検出物体を外領域ＯＡの静止物体とみなし、その静止物体に関する矩形データを消去する。なお、検出数や中心座標のデータは、次回の障害物認識処理や矩形データ消去処理に使用する必要があるため消去されない。
【０１０４】
そして、ステップ１５０では、矩形表示処理が前記第１の実施形態と同様に実行される。「静止物体のみ」の場合は、前記第１の実施形態と同様に予想後退進路ＰＡ内に存在する障害物にそれを囲む矩形が重畳表示されるとともに矩形が点滅する。「移動物体あり」の場合は、予想後退進路ＰＡの範囲内と範囲外に存在する移動物体にそれを囲む矩形が重畳表示されるとともに、矩形が移動物体に追随して移動する。
【０１０５】
例えば図１０に示すように、外領域ＯＡに予想後退進路ＰＡに入ろうとする移動物体ＭＳがあると、モニタ３の画面３ａに映し出された映像上にはこの移動物体ＭＳを囲む矩形Ｒがこの移動物体ＭＳに追随するように表示される。このため、運転者は画面３ａの映像を通して後退進路内に侵入する恐れのある移動物体ＭＳを一目で発見することができる。
【０１０６】
以上詳述したように本実施形態によれば、前記第１の実施形態で述べた（１）〜（１１）の効果が同様に得られる他、以下の効果が得られる。
（１２）後退進路内に侵入する恐れのある移動物体を運転者に音声と画像によって報知することができる。このため、車両を後退させる際に後退進路に侵入する恐れがある移動物体に注意を払うことができる。例えば画面３ａで安全確認した後、車両を後退させるために運転者が後方に振り返った際、振り返り方向と反対側の死角に後退進路上に入ろうとする移動物体があった場合、音声によってその移動物体に気づくことができる。
【０１０７】
なお、実施形態は、上記に限定されず以下の態様で実施することもできる。
【０１０８】
○ 基準画像を撮影するときに複数枚の画像を撮影し、認識処理で車両後方に移動物体が無いことを確認し、移動物体が存在していないときの画像を基準画像として選択する方法を採用することができる。この場合、車両を駐停車させてシフトレバーを「Ｐ」または「Ｎ」に入れた時やドア１７を開閉した時に、たまたま車両後方を人が通り過ぎた場合でも、人が通り過ぎた後の障害物の無い状態の時の画像を基準画像として採用できる。
【０１０９】
○ 画像処理を行う画像範囲は画面全域でなくてもよい。処理領域を予め必要範囲に限定しておくことによって、処理速度の向上が図られる。
○ 障害物を検出するための画像処理方法は、前記各実施形態の方法に限定されない。基準画像と比較画像とを比較してその違いの部分を検出可能な画像処理方法であれば、他の公知の画像処理方法を採用できる。
【０１１０】
○ 重畳表示（スーパインポーズ）する所定表示は、矩形表示に限定されない。例えば、障害物に所定色の塗り潰し図形を重畳表示してもよい。また、障害物を囲む枠表示を矩形以外の形状としてもよい。例えば枠形状を円、楕円、星形状、四角以外の多角形状などを採用してもよい。また、障害物の輪郭線を強調した重畳表示とすることもできる。要するに、画面を見て障害物とその位置が一目で分かる強調表示であればよい。なお、枠表示は、障害物の少なくとも一部を囲むものであればよい。
【０１１１】
○ 「静止物体のみ」か「移動物体あり」かを区別する認識方法に限定されない。例えば「静止物体のみ」、「移動物体のみ」、「静止物体＋移動物体」の３通りを区別して認識し、その認識結果に応じた３種類の音声や矩形表示でもって報知する方法でもよい。
【０１１２】
○ 検出物体が静止物体か移動物体かを画像処理によって識別し、障害物として静止物体と移動物体とが混在する画面上において、静止物体については矩形を点滅させ、移動物体については矩形を追随させる表示方法を採用することもできる。識別方法としては、例えば前回と今回の検出物体の中心座標比較をし、中心座標が一致する組合せを持つものを静止物体と特定し、静止物体以外のものを移動物体と特定すればよい。
【０１１３】
○ 報知方法は音声警告と重畳表示との両方を採用することに限定されない。例えば音声警告だけであってもよい。また、重畳表示（スーパインポーズ）だけであってもよい。
【０１１４】
○ 画像表示装置は、カメラが撮影した車両後方の映像を動画で映し出すモニタに限定されない。例えば車両の模式画像を表示するとともに障害物の位置にランプが点滅する画像表示装置であってもよい。この装置でも画面を見て障害物の存在および位置を一目で把握できる。要するに、画像によって運転者に障害物の有無を報知できればよく、障害物の位置まで報知できればなおよい。模式画像や静止画像の場合でも、障害物を知らせる表示の表示態様やランプの点灯の点灯態様を変えれば、進路上の静止物体と進路上に入ってきた移動物体とを区別して報知することはできる。
【０１１５】
○ 音によって警告する方法は音声に限定されない。例えばブザーやチャイムなどの音により障害物の存在を報知することもできる。例えば、静止物体と移動物体とを音の態様の違いにより区別して報知することもできる。
【０１１６】
○ 前記第２の実施形態において、外領域ＯＡの移動物体のうち予想後退進路ＰＡの外側に一定距離の範囲（注意範囲）内のもののみを障害物とする方法を採ることができる。例えば、二値画像上において予想後退進路の外側一定距離内の注意範囲を、遠近を考慮した計算により求め、その注意範囲内の移動物体のみを障害物とする。また、移動物体の移動方向を検出し、予想後退進路に近づく移動物体のみを障害物とすることもできる。
【０１１７】
○ 障害物判定手段は、前記各実施形態のようにブロック毎に設定した閾値と比較して判定するものに限定されない。例えば、二値画像上の障害物（白領域）の大きさ（面積）から遠近を考慮に入れて実サイズを計算し、計算した実サイズから障害物となり得るか否かを判断する方法を採用することができる。
【０１１８】
○ 後退支援装置の適用車両はオートマチック車に限定されない。マニュアル車に適用することもできる。マニュアル車の場合、シフトポジションスイッチを設け、シフトポジションがニュートラル「Ｎ」に切換えられたときと、運転席のドア１７が開閉されたときに基準画像Image０を撮影するようにすればよい。
【０１１９】
○ カメラ２の取付け場所は適宜に変更できる。例えば車両後方を撮影可能な車内に配置することもできる。また、車両後部（例えばトランク部）にカメラのレンズ部を露出させた取付構造でもよい。さらに、撮影時にカメラのレンズを覆うカバーが開く構造とし、カバーによってレンズを汚れ難く保護してもよい。
【０１２０】
○ シフト操作部はシフレバーに限定されない。例えばハンドル１９の近くに設けられたシフト切換スイッチであってもよい。
○ 赤外線カメラの機能を付けるなどして夜間の後退支援をできるようにしてもよい。
【０１２１】
○ カーナビゲーションシステムのモニタを利用する構成に限定されない。後退支援装置専用のモニタを設けても構わない。なお、モニタはＬＣＤに限定されず、ＣＲＴやプラズマディスプレイであってもよい。また、取付け位置もインストルメントパネル近辺に限定されない。インストルメントパネル上方で、前方視野の妨げにならない場所であればよく、他にも車両室内後方で、運転者から見易い場所に設置してもよい。
【０１２２】
○ 車両は乗用車に限定されず、バスやトラックなどの自動車に広く後退支援装置を適用できる。また、フォークリフト等の産業車両に適用してもよい。もちろん、車両はエンジン車でなくとも、電気自動車などエンジン車以外にも適用できる。
【０１２３】
前記各実施形態及び各別例から把握される技術的思想（発明）を、その効果とともに以下に記載する。
（１）基準画像を撮影する時期は、車両が前進してきて停車した直後に運転者が操作する操作部が駐停車時の仕方で操作された時である。
この場合、前進してきた車両が停車した直後は、今通ってきた場所に障害物が無いとみなし得る。よって、障害物が無いとみなし得る画像を基準画像として取得できる。なお、前記各実施形態において、操作部はシフトレバー１６であり、駐停車時の操作の仕方は、駐車位置「Ｐ」または中立位置「Ｎ」に操作されることである。
【０１２４】
（２）運転者が車両に乗車する際に操作する操作部が乗車時の仕方で操作された時である。この場合、運転者は乗車する際は一応後方確認をするので、障害物が無いとみなし得る画像を基準画像として取得できる。なお、前記各実施形態において、操作部は運転席のドア１７であり、駐停車時の操作の仕方は、ドア１７を開閉することである。
【０１２５】
（３）前記報知手段は障害物が検出された旨を、聴覚情報（音情報）と視覚情報とにより報知する。この場合、障害物の報知を聴き逃したり見逃したりする報知情報の逃しを回避し易い。
【０１２６】
（４）前記報知手段は前記画像表示手段及び音声報知手段とを備える。この場合、音声と画像表示とによって運転者に障害物の存在の旨が報知されるので、聴覚と視覚の両方によって報知内容を知ることができ、それだけ障害物の見逃しを減らすことができる。
【０１２７】
（５）前記画像表示手段は、画像表示装置の画面に動画で映し出される映像中の障害物に所定表示を重畳表示させるとともに、該障害物が静止物体である場合と移動物体である場合とで前記所定表示を異なる表示態様で表示制御をする。この場合、所定表示の異なる表示態様によって、障害物が静止物体であるか移動物体であるかを一目で判断し易い。
【０１２８】
（６）前記画像表示手段は、前記障害物が静止物体である場合には前記所定表示を点滅させ、移動物体である場合には前記所定表示を該移動物体に追随して移動させる表示制御をする。この場合、障害物の性質や動向を所定表示の表示態様から一目で把握できる。
【０１２９】
（７）前記所定表示は前記障害物の少なくとも一部を囲む枠表示である。この場合、枠表示なので障害物がさほど隠れず、その障害物が何であるかを画面を通して認識できる。
【０１３０】
（８）前記画像表示装置は、車両に搭載されたカーナビゲーションシステムのモニタを兼用している。この場合、後退支援専用の画像表示装置を装備する必要がない。
【０１３１】
【発明の効果】
以上詳述したように請求項１及び請求項９に記載の発明によれば、車両後方に障害物が無いとみなされ得る状態の時に予め取得した基準画像と、シフト操作部が後退位置に入れられたときの比較画像とを比較する画像処理によって障害物を検出し、障害物が検出されると、その旨を運転者に報知するので、車両を後退させる前に後方の障害物を発見して運転者の後方安全確認を支援することができる。
【０１３２】
また、シフト操作部が駐車位置又は中立位置に入れられた時、あるいはその後に運転席のドアが開閉された時を、基準画像の撮影時期としたので、障害物が無いとみなし得る適切な基準画像を取得でき、障害物の検出漏れや誤検出の割合を低く抑えることができる。
【０１３３】
請求項２及び請求項９に記載の発明によれば、障害物を静止物体のみか移動物体ありかまでを区別して認識し、静止物体のみと移動物体ありとを区別して報知するので、運転者は報知内容から障害物が静止物体か移動物体かを認識できる。
【０１３４】
請求項３及び請求項９に記載の発明によれば、撮影手段によって撮影された画像データ上の検出物体が障害物となり得るサイズであるかどうかを遠近を考慮して判別し、実際に障害物となり得るサイズの物体のみを障害物として検出できるので、障害物となり得るものだけを的確に報知できる。
【０１３５】
請求項５及び請求項９に記載の発明によれば、操舵輪の切れ角から予想後退進路を求め、予想後退進路内の障害物のみを検出するので、障害物となり得るものをより的確に報知できる。
【０１３６】
請求項６及び請求項９に記載の発明によれば、操舵輪の切れ角から求めた予想後退進路内に存在する静止物体および移動物体を障害物として検出するとともに、移動物体については予想後退進路外のものも障害物として検出するので、後退進路内に侵入する恐れのある移動物体の存在を運転者に報知することができる。
【０１３７】
請求項７及び請求項９に記載の発明によれば、画像表示手段により、障害物の存在の旨が画像表示されるので、運転者は視覚を通して障害物の存在を把握することができる。
【０１３８】
請求項８及び請求項９に記載の発明によれば、撮影手段により撮影されて画像表示装置の画面上に動画で映し出される車両後方の映像中の障害物に所定表示の重畳表示がなされるので、運転者が映像中の障害物を見落とすことを回避できる。
【図面の簡単な説明】
【図１】第１の実施形態における後退支援処理のフローチャート。
【図２】同じくフローチャート。
【図３】後退支援装置の電気的構成を示すブロック図。
【図４】障害物検出処理の模式説明図。
【図５】後退支援装置を搭載した車両の模式側面図。
【図６】画像処理を説明するための画像模式図。
【図７】障害物認識処理を説明するための説明図。
【図８】障害物矩形表示処理を説明する説明図であり、（ａ）は静止物体のみ、（ｂ）は移動物体ありの場合である。
【図９】矩形表示処理を説明する画面図。
【図１０】第２の実施形態における矩形表示処理を説明する画面図。
【図１１】同じく後退支援処理のフローチャート。
【符号の説明】
１…車両としての自動車、２…撮影手段としてのカメラ、３…報知手段及び画像表示手段を構成するとともに画像表示装置としてのＬＣＤモニタ、５…後退支援装置、６…基準画像取得手段、障害物検出手段、報知手段及び画像表示手段を構成するとともに比較画像取得手段、障害物認識手段、重畳表示手段、障害物判定手段及び予想進路算出手段としての画像用ＥＣＵ、７…報知手段及び画像表示手段を構成するカーナビ用ＥＣＵ、 ８…基準画像取得手段を構成するシフトポジションスイッチ、９…基準画像取得手段を構成するドアスイッチ、１０…基準画像取得手段を構成する車速センサ、１１…障害物検出手段を構成するステアリング切れ角センサ、１２…報知手段を構成する音声処理回路、１３…報知手段を構成するスピーカ、１６…シフト操作部としてのシフトレバー、１７…ドア、１８…操舵輪、２０…基準画像取得手段、障害物検出手段、報知手段及び画像表示手段を構成するとともに比較画像取得手段、障害物認識手段、重畳表示手段、障害物判定手段及び予想進路算出手段としてのＣＰＵ、２１…基準画像取得手段を構成する画像メモリ、２２…メモリ、Image０…基準画像、Imageｎ…比較画像、Ｓ…障害物、ＰＡ…予想後退進路、ＳＳ…静止物体、ＭＳ…移動物体、Ｒ…矩形。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a reverse assist device and a vehicle in a vehicle that detects and notifies whether there is an obstacle behind the vehicle by using image processing before the vehicle reverses, and supports the safety confirmation in the rear when the vehicle reverses. .
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a back monitor is known in which a rear image taken by a camera when a car is moved backward is displayed on a monitor screen of a driver's seat and a rear safety check is performed by viewing the screen image.
[0003]
There is also known an obstacle detection device that detects an obstacle when an obstacle is approached while the vehicle is moving backward by an ultrasonic sensor attached to the rear part of the vehicle and notifies the driver of the fact by an alarm sound or the like. . Since the driver is informed of the presence of an obstacle when approaching the obstacle while the vehicle is moving backward, the vehicle can be stopped before hitting the obstacle to prevent a collision with the obstacle.
[0004]
[Problems to be solved by the invention]
However, the back monitor that displays the image behind the vehicle on the driver's seat monitor merely displays the scenery, and the recognition of the situation behind and the judgment of safety confirmation depended on the driver who viewed the image on the screen. . Therefore, when the driver overlooks an obstacle on the monitor screen, or when the driver looks back and looks away from the monitor screen to move the vehicle backward, a blind spot is formed on the opposite side of the direction of the look back There was a fear that the obstacle could not be found.
[0005]
Also, the obstacle detection device using the ultrasonic sensor detects that the vehicle has approached the obstacle while the vehicle is moving backward, and the detection range of the ultrasonic sensor is quite narrow and after approaching to some extent. An obstacle was detected. Therefore, even if an obstacle can be found while the vehicle is moving backward, it is not possible to detect the obstacle while also confirming the safety behind the vehicle while the vehicle is moving backward.
[0006]
Therefore, even if there is an obstacle on the backward path, the obstacle cannot be found unless the vehicle actually starts moving and approaches the obstacle. Therefore, for example, when a sensor detects a moving object such as a person or a ball that has entered the backward path, there is a problem that discovery of such an obstacle is delayed.
[0007]
The present invention has been made to solve the above-described problems, and its object is to find an obstacle on the backward path of the vehicle and inform the driver before the vehicle is moved backward, and to the rear when the vehicle moves backward. An object of the present invention is to provide a reverse assist device and a vehicle in a vehicle capable of supporting safety confirmation.
[0008]
[Means for Solving the Problems]
  In order to achieve the above object, according to the first aspect of the present invention, it is considered that there is no obstacle in the rear area of the vehicle when the vehicle is stopped, and the photographing means for photographing the scenery of the rear area including the backward path of the vehicle. When the shift operation unit is switched to the reverse position, the image of the rear area of the vehicle is sequentially captured as a comparative image by the imaging unit. When the obstacle is detected by the obstacle detection means, the obstacle detection means for detecting the obstacle by sequentially performing image processing for comparing the reference image and the comparison image, An informing means for informing the effectThe reference image acquisition means includes a door switch and a shift position switch, and when the reference image is captured, the shift position switch indicates that the shift operation unit has been operated to a parking position or a neutral position. And when the door switch detects the opening and closing of the driver's seat door..
[0009]
  According to a second aspect of the present invention, in the first aspect of the invention, theThe obstacle detection means includes obstacle recognition means for recognizing whether the obstacle is only a stationary object or a moving object, and the notification means recognizes that the obstacle has been detected by the obstacle recognition means. The obstacle recognition means distinguishes whether only a stationary object or a moving object is present, and the obstacle recognition means detects the latest obstacle detection number data detected by comparing the reference image and the latest comparison image, and the latest Center obstacle coordinate data of the obstacle, the previous obstacle detection number data detected by comparing the reference image and the previous comparison image and the previous obstacle center coordinate data, When the latest obstacle detection number is different from the previous obstacle detection number, or the latest obstacle detection number and the previous obstacle detection number are equal, the latest obstacle detection number Center coordinates and the previous obstacle When the center coordinate of the object does not match, it is recognized that there is a moving object, and the latest obstacle detection number and the previous obstacle detection number are equal, and the latest obstacle center coordinate and the previous obstacle The gist is to recognize only a stationary object when the center coordinates of the object match..
[0010]
  In the invention according to claim 3, in the invention according to claim 1 or claim 2, the obstacle detecting means is:Obstacle determining means for determining whether or not the detected object can be an obstacle by determining the actual size of the detected object in consideration of the perspective on the image data photographed by the photographing means.This is the gist.
[0011]
  In invention of Claim 4,, ContractClaimTo 3In the described invention, the obstacleThe determination unit divides the image data into a plurality of regions according to the difference in perspective on the image data captured by the imaging unit, sets a threshold value for each of the divided regions, and the area value of the detected object is The gist is to determine that the detected object is an obstacle when a threshold value is exceeded..
[0012]
According to a fifth aspect of the invention, in the invention according to any one of the first to fourth aspects, the obstacle detecting means predicts a vehicle in a photographed image based on a signal of a steering wheel turning angle. The gist of the present invention is to provide an expected course calculation means for obtaining a backward course, and to determine a detected object within the range of the expected backward course obtained by the expected course calculation means as an obstacle.
[0013]
According to a sixth aspect of the present invention, in the fifth aspect of the present invention, the obstacle detecting unit obstructs a stationary object and a moving object that are within the range of the predicted backward path obtained by the predicted path calculating unit. The gist of the determination is that the moving object outside the range of the predicted backward path is determined as an obstacle.
[0014]
In the invention according to claim 7, in the invention according to any one of claims 1 to 6, the informing means is an image display means for displaying an image of the presence of an obstacle.
[0015]
  In the invention according to claim 8,, ContractClaim7In the described invention, the image display means includes an image display device that displays the video imaged by the imaging device as a moving image, and is an obstacle on the video image displayed on the screen of the image display device. Superimposition display means for superimposing and displaying a predetermined display indicating the effect is provided.
[0016]
In a ninth aspect of the invention, the vehicle is provided with the reverse assisting device according to any one of the first to eighth aspects.
(Function)
According to the first aspect of the present invention, the reference image acquisition means uses the image of the rear area of the vehicle as the reference image by the photographing means when it can be considered that there is no obstacle in the rear area of the vehicle when the vehicle is stopped. Take a picture. When the shift operation unit is switched to the reverse position, the comparison image acquisition unit sequentially captures an image of the rear area of the vehicle as a comparative quasi image by the imaging unit. The obstacle detection means sequentially performs image processing for comparing the reference image and the comparison image to detect the obstacle. When the obstacle detection unit detects the obstacle, the notification unit notifies the driver that the obstacle exists.
[0017]
  AlsoWhen the shift operation unit is operated to the parking position or the neutral position, and when the door of the driver's seat is subsequently opened / closed, the reference image is taken by the photographing means. Immediately after the vehicle that has moved forward stops, it can be considered that there is no obstacle on the road that has passed (that is, behind the vehicle). Since it is a normal operation to operate the shift operation unit to the reverse position or the neutral position immediately after stopping, an image that can be regarded as having no obstacle is acquired as a reference image by taking a reference image during such operation. It becomes possible. Also, when the driver gets off after parking and then gets on the next time, it is normal to check the rear of the vehicle, so it is considered that there is no obstacle by taking a reference image when opening and closing the driver's door. The obtained image can be acquired as a reference image.
[0018]
  further, The shooting time of the reference image that can be regarded as having no obstacles in the rear area of the vehicleIs, Determined based on signals from a sensor (switch) that detects the operation position of the shift operation unit and a sensor (switch) that detects the opening and closing of the door of the driver's seatBe done.
[0019]
  Claim2According to the invention described in claim1In addition to the operation of the described invention, the obstacle detection means distinguishes whether the detected obstacle is only a stationary object or a moving object and recognizes it by the obstacle recognition means. The notification means notifies the presence of the obstacle detected by the obstacle detection means by distinguishing whether there is only a stationary object or a moving object.
[0020]
  Claim3According to the invention described in claim 1,OrClaim2In addition to the operation of the invention described in (3), the obstacle detection means may be an obstacle from the actual size of the detection object taking into account the perspective in the image data photographed by the photographing means by the obstacle judgment means. It is determined whether or not.
[0021]
According to the invention described in claim 5, in addition to the operation of the invention described in any one of claims 1 to 4, the obstacle detection unit is configured to output the signal of the turning angle of the steered wheel by the predicted course calculation unit. Based on the above, the predicted backward course of the vehicle in the captured image is calculated. Then, an object within the range of the expected backward course calculated by the expected course calculating means is detected as an obstacle.
[0022]
According to the sixth aspect of the invention, in addition to the operation of the fifth aspect of the invention, the obstacle detecting means detects the stationary object and the moving object within the range of the expected backward course calculated by the expected course calculating means. While detecting as an obstacle, a moving object outside the range of the expected backward path is detected as an obstacle.
[0023]
According to the invention described in claim 7, in addition to the operation of the invention described in any one of claims 1 to 6, the presence of the obstacle is displayed by the image display means as the notification means. The driver is notified.
[0024]
  According to invention of Claim 8,, ContractClaim7In addition to the operation of the described invention, the image display means indicates that the obstacle in the image on the screen of the image display device that displays the video of the rear area of the vehicle captured by the imaging means as a moving image is an obstacle. The notification image shown is superimposed and displayed.
[0025]
According to the ninth aspect of the present invention, the vehicle includes the backward assistance device according to any one of the first to eighth aspects. Therefore, the vehicle according to any one of the first to eighth aspects. The same effect as that of the present invention can be obtained.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
<First Embodiment>
Hereinafter, a first embodiment of the present invention will be described with reference to FIGS.
[0027]
As shown in FIG. 5, a camera 2 as a photographing unit is attached to the rear upper position of the automobile 1 as a vehicle. The camera 2 has a built-in CCD element, and captures an image of a rear area indicated by a chain line in the figure that covers at least a range that requires a rear safety check when the automobile 1 moves backward. The car 1 is equipped with a car navigation system, and an LCD monitor 3 for car navigation as an image display device is provided on, for example, an instrument panel near the driver's seat.
[0028]
In the present embodiment, an image (captured moving image) of the rear area of the automobile 1 photographed by the camera 2 is displayed when the vehicle moves backward using the LCD monitor 3 for car navigation. As shown in FIG. 6, the rear bumper 4 is attached to the camera 2 at a shooting posture angle that is partially displayed at the lower end of the screen of the LCD monitor 3 (see FIG. 5). The vehicle 1 detects whether there is an obstacle behind the vehicle before starting the reverse by image processing of the image taken by the camera 2, and if there is an obstacle, informs the driver of the fact and confirms the rear safety. The backward support device 5 for supporting is mounted. The camera 2 and the LCD monitor 3 are part of the components of the backward support device 5.
[0029]
FIG. 3 is a block diagram showing an electrical configuration of the backward assistance device 5. The backward support device 5 includes a camera 2, an image ECU 6, a car navigation ECU 7, an LCD monitor (hereinafter simply referred to as a monitor) 3, a shift position switch 8, a door switch 9, a vehicle speed sensor 10, a steering angle sensor 11, a voice processing. A circuit 12 and a speaker 13 are provided. As the car navigation ECU 7 and the monitor 3, those constituting the car navigation system are diverted to the backward assistance device 5. It is also possible to prepare a dedicated monitor for backward assistance.
[0030]
The camera 2 is electrically connected to the image ECU 6 and transfers the image data captured by the CCD element to the image ECU 6. The camera 2 is controlled to be turned on and off by the image ECU 6.
[0031]
A shift position switch 8, a door switch 9, and a vehicle speed sensor 10 are connected to the image ECU 6 via an input port 14, and a steering angle sensor 11 is connected via an A / D converter 15. The image ECU 6 is connected to a car navigation ECU 7 and a sound processing circuit 12. A monitor 3 is connected to the car navigation ECU 7, and a speaker 13 is connected to the sound processing circuit 12.
[0032]
The shift position switch 8 detects an operation position of a shift lever 16 (shown in FIG. 5) as a shift operation unit, and the image ECU 6 recognizes the shift position SP based on the output signal SPS. The automobile 1 of this embodiment is an automatic car, and there are six types of shift positions SP, for example, “P, R, N, D, 1st speed, 2nd speed”.
[0033]
The door switch 9 detects opening / closing of the door 17 (shown in FIG. 5) of the driver's seat, and outputs a door signal DS that is turned on / off according to the opening / closing of the door 17. Opening / closing of the door 17 is detected by switching on / off of the door signal DS.
[0034]
The vehicle speed sensor 10 detects a vehicle speed and outputs a detection signal vS corresponding to the vehicle speed v.
The steering angle sensor 11 detects the angle of the steering wheel 18 (shown in FIG. 5). The steering angle sensor 11 detects, for example, the amount of rotation of a steering shaft (not shown) that supports a steering wheel (handle) 19 (shown in FIG. 5), and a detection signal θS corresponding to the angle θ of the steering wheel 18. Is output.
[0035]
The car navigation ECU 7 is built in the car navigation system and controls the car navigation system. The car navigation ECU 7 controls image display of the monitor 3 mounted in the car navigation system. In the present embodiment, the car navigation ECU 7 also performs display control of image data externally input from the image ECU 6.
[0036]
The image ECU 6 includes a central processing unit (hereinafter referred to as CPU) 20, an image memory 21, and a memory (for example, ROM and RAM) 22. The CPU 20 operates based on the program data stored in the memory 22. The reference image acquisition means includes an image ECU 6 (CPU 20), a shift position switch 8, a door switch 9, a vehicle speed sensor 10, and an image memory 21. The comparison image acquisition means includes an image ECU 6 (CPU 20), a shift position switch 8, a vehicle speed sensor 10, and an image memory 21. The predicted course calculation means is constituted by an image ECU 6 (CPU 20) and a steering angle sensor 11. The image ECU 6 (CPU 20) constitutes an obstacle recognition means, an obstacle determination means, an obstacle recognition means, and a superimposed display means. The notifying means includes an LCD monitor 3, an image ECU 6 (CPU 20), a car navigation ECU 7, an audio processing circuit 12, and a speaker 13. In particular, the LCD monitor 3, the image ECU 6 (CPU 20), and the car navigation ECU 7 display an image display means. Is configured.
[0037]
For example, the memory 22 has program data for performing a backward support process. Here, the backward support is a system for reducing an accident during the backward movement by detecting an object that becomes an obstacle when the automobile 1 moves backward by image processing and warning the driver by voice and an image. Specifically, assuming that there is no obstacle behind the driver, the change in the situation behind the vehicle from when the door 17 is opened and closed to get into the driver's seat until the automobile 1 starts moving backward is detected. By notifying the driver of the presence of obstacles by voice and images, it assists in confirming safety behind the vehicle until it starts to reverse.
[0038]
In the present embodiment, while the shift position is “R”, an image of the rear area of the vehicle is displayed on the screen 3a of the monitor 3, and as an image notification method, an obstacle in the image of the screen 3a is enclosed. The rectangle is superimposed (superimposed). The CPU 20 includes a buffer for rectangular display processing that superimposes and displays a rectangle surrounding the detected obstacle. That is, five buffers for storing data for displaying a rectangle superimposed on image data for each frame are provided, and data relating to the rectangle can be stored for five frames.
[0039]
In the backward support process, one reference image when it can be considered that there is no obstacle is acquired in advance, and comparative images are sequentially photographed while the vehicle is stopped until the vehicle starts moving backward. Image processing for comparing the comparison image and the reference image using the background subtraction method is performed. Then, only the portion that has changed between the reference image and the comparison image is extracted, and an obstacle is detected. Obstacle detection is performed up to identification (recognition) of “only a stationary object” and “with moving object”. For this reason, the memory 22 stores two types of voice data necessary for voice notification, that is, for stationary object notification and for moving object notification according to these two types of recognition results. In addition, program data for rectangular display processing is stored in the memory 22, and rectangular display is performed in two different modes, which will be described later, according to these two types of recognition results by the rectangular display processing.
[0040]
FIG. 4 is a diagram for explaining the flow of obstacle detection in the backward assistance process.
In this embodiment, after the vehicle stops, an image when the shift lever 16 is operated to the parking (parking position) “P” or the neutral (neutral position) “N” is adopted as the reference image Image0. The image when the door 17 is opened and closed is updated as the reference image Image0. That is, as a state in which it can be considered that there is no obstacle behind, the time when the vehicle is parked and the time when the door 17 of the driver's seat is opened and closed are adopted. This is because it can be considered that there is no obstacle at these times.
[0041]
When parked, the rear image corresponds to the location where the vehicle has traveled, so it can be considered that there is no obstacle behind the parked vehicle. Therefore, in order to obtain a rear image immediately after parking and stopping, the rear image when the shift lever 16 is operated to “P” or “N” after stopping (vehicle speed v = 0) is obtained as a reference image. Yes.
[0042]
When the driver's seat door 17 is opened and closed, when the driver gets on and off, when the driver gets off and then comes back to get on, the rear of the vehicle is checked, so there is an obstacle behind. This is because it can be regarded as not. The reason why the reference image Image0 is updated is that there are times when it takes time to start retreating after parking and stopping. At this time, there is a large change in the light source such as the difference between day and night, and if the rear image when the shift lever 16 is operated to “P” or “N” is set as the reference image Image0, there is a risk of erroneous detection. . Therefore, the rear image when the door 17 is opened and closed is updated as the reference image Image0.
[0043]
Then, after taking the reference image Image0 (time to), when the shift lever 16 is put into “R” (time t1), the comparison image Imagen (n = 1, n = 1, every predetermined time Δt (for example, 33 to 66 milliseconds)). 2, 3, ...) sequentially. Every time one comparison image Imagen is acquired, image processing for differential processing of the reference image Image0 and the comparison image Imagen is performed, and obstacles are detected by distinguishing between “only a stationary object” and “with moving object”. When the vehicle starts to move backward and the vehicle speed v is not zero (v ≠ 0), the backward assistance process is stopped.
[0044]
1 and 2 are flowcharts showing program data for the backward assistance process. When it is recognized that the automobile 1 has stopped (v = 0) based on the detection signal vS from the vehicle speed sensor 10, the program data for the backward assistance process is executed by the CPU 20.
[0045]
The flowchart shown in FIG. 1 is a process for photographing the reference image Image0. The flowchart shown in FIG. 2 is an obstacle notification processing routine that is executed after the shift lever 16 is operated to “R” until the vehicle starts to move. When the shift position SP is set to “R”, the camera 2 starts to capture the comparative image Imagen, and the screen 3a of the monitor 3 is switched to the vehicle rear image captured by the camera 2. While the shift position SP is “R”, a rear image is displayed on the screen 3 a of the monitor 3. The backward support processing is until the vehicle starts to move backward, but even if the vehicle starts moving, a rear image is displayed on the screen 3a of the monitor 3 during the backward movement. When the shift position SP is set to “R”, the CPU 20 executes the main program to display the rear image on the screen 3a of the monitor 3 as a moving image. A processing routine is executed. The obstacle notification processing routine mainly includes four processes of obstacle detection, obstacle recognition, voice warning, and rectangular superimposed display.
[0046]
Hereinafter, the program for the backward assistance process will be described with reference to the flowcharts of FIGS.
The processing from step 10 to step 60 is processing for photographing an image when it can be assumed that there is no obstacle behind as a reference image Image0.
[0047]
In step 10, it is determined whether or not the shift position SP is “P” or “N”. If the shift position SP is “P” or “N”, the process proceeds to Step 20. If the shift position SP is neither “P” nor “N”, the process waits to repeat the process. When the vehicle speed v ≠ 0 during standby, the process ends.
[0048]
In step 20, a reference image Image0 is taken. That is, the CPU 20 turns on the camera 2 and stores one (one frame) reference image Image0 transferred from the camera 2 in a predetermined storage area of the image memory 21.
[0049]
In step 30, it is determined whether or not the driver's seat door 17 has been opened and closed. That is, the CPU 20 determines whether or not the door switch 9 has been switched on and off. When it is determined that the door 17 is opened / closed, the process proceeds to step 40, and when the door 17 is not opened / closed, the process proceeds to step 50.
[0050]
In step 40, the reference image Image0 is updated. That is, the CPU 20 turns on the camera 2 and stores and updates one reference image Image0 transferred from the camera 2 in a predetermined storage area of the image memory 21.
[0051]
In step 50, it is determined whether or not the shift position SP is “R”. When SP = R, the process proceeds to the obstacle notification process routine. When SP is not equal to R, the process proceeds to step 60.
[0052]
In step 60, it is determined whether or not the shift position SP is “P” or “N”. If the shift position SP is “P” or “N”, the process proceeds to step 30, and the processes of S30 to S60 are repeated. That is, the process for updating the reference image Image0 when the door 17 is opened and closed is repeated until the shift position SP becomes “R” or becomes other than “P” or “N”. On the other hand, when the shift position SP is a position other than “P”, “N”, and “R”, the processing ends.
[0053]
Next, the obstacle notification process routine executed when it is determined in step 50 that the shift position SP is “R” will be described with reference to FIG. This routine consists of the four main processes described above. Steps 70 to 110 are obstacle detection processing, step 120 is obstacle recognition processing, steps 130 and 140 are voice warning processing, and step 150 is rectangular overlay display processing (obstacles). Object rectangle display processing).
[0054]
The obstacle detection process consisting of step 70 to step 110 includes comparison image shooting, difference process, predicted retreat area calculation process, threshold value process, and obstacle detection process, and is sequentially executed every predetermined time Δt. Only when an obstacle is detected from the result of the obstacle detection process, the process proceeds to the obstacle recognition process in step 120. The obstacle recognition process is a process for recognizing whether “only a stationary object” or “with moving object” is present. Depending on the recognition result, one of the next steps 130 and 140 is selected, and a voice warning is given according to the recognition result. In step 150, processing is performed to superimpose (superimpose) a rectangle surrounding the obstacle on the video (moving image) displayed on the screen 3a of the monitor 3.
[0055]
Steps 170 and 180 are processes for determining whether or not to continue the routine. The routine is continued until the vehicle starts moving or the shift lever 16 is changed to a position other than “R”. . Therefore, in S170, it is determined whether or not the vehicle speed v is zero (v = 0), and in S180, it is determined whether or not the shift position SP is “R” (SP = R).
[0056]
Hereinafter, the obstacle detection process (S70 to S110), the obstacle recognition process (S120), the voice warning process (130, 140), and the rectangle superimposition display process (obstacle rectangle) are the main processes of the obstacle notification process routine. Display processing) (S150) will be described in detail.
[0057]
(Obstacle detection process)
First, the obstacle detection process will be described.
First, in step 70, a comparative image Imagen is taken. The CPU 20 inputs the data of one comparison image Imagen transferred from the camera 2.
[0058]
In step 80, a difference process for comparing the two images Image0 and Imagen is performed. The CPU 20 reads the reference image Image0 from the image memory 21, and performs image processing on the two images Image0 and Imagen by the background difference method. For example, the absolute value (| Imagen−Image0 |) of the difference between Imagen and Image0 is taken, and the difference image is expanded. As a result, even if one object is separated into a plurality of parts at different brightness points (for example, a dark part due to a shadow), it is combined with the original one object. Next, threshold processing using a predetermined threshold is performed to obtain a binary image. In the binary image data, a different portion between Image0 and Imagen is expressed as a white region (data “1”).
[0059]
In step 90, an expected retreat area (expected retreat path) PA when the vehicle retreats is obtained. The signal value θS from the steering angle sensor 11 is read, and the expected backward path PA on the binary image is obtained based on the angle θ of the steering wheel 18 obtained from the signal value θS. For example, a calculation formula stored in advance in the memory 22 is used to calculate the predicted backward path PA. The calculation formula considers the perspective on the binary image, and uses, for example, an equation of a multi-degree curve such as an ellipse or a parabolic curve. FIG. 6 schematically shows a binary image Image, and the predicted backward path PA is obtained as a region sandwiched by two lines (indicated by a chain line in the figure) determined from the calculation formula. As shown in FIG. 6A, at the turning angle θ (= 0) when traveling straight, the expected backward traveling path PA is a region extending straight so that the width becomes narrower as the distance increases. Further, as shown in FIG. 6B, at the turning angle θ (θ> 0 or θ <0) when the handle 19 is turned, the predicted backward path PA is a region that draws a curve that becomes narrower as the distance increases. . Further, the width of the predicted reverse path PA is substantially equal to the vehicle width. In FIG. 6A, the detected object is shown in black instead of a white area.
[0060]
In step 100, threshold processing for extracting (detecting) an obstacle from the detected object based on the size is performed. Only those whose actual size exceeds a predetermined size are detected as obstacles. As shown in FIG. 6, first, the region of the predicted backward path PA in the binary image Image is divided into a plurality of (for example, three) blocks B according to the difference in perspective, and the threshold value set for each block B is used. For each block B, the size of the area value of a white region (black in FIG. 6A) that exists even in part of the block B is compared with the threshold value. When the area of the white region exceeds the threshold, it is determined that the white region is an object having a size that can be an obstacle. For the white area having an area exceeding the threshold, the number of detected white areas, the center coordinates of each white area, the coordinates, width, and height of the starting point (upper left point) of the rectangle surrounding each white area are obtained, and the data is set to 5 Store in one of the two buffers (the buffer for the latest time). The five buffers can store data for the past five frames (including this time). The outer area OA outside the range of the predicted backward path PA shown in FIG. 6 is not a target for obstacle detection, and an object existing in the outer area OA is not detected as an obstacle.
[0061]
In step 110, it is determined whether an obstacle has been detected. That is, it is determined whether or not there is a white region whose area value exceeds the threshold value in the previous step. When an obstacle is not detected, the process proceeds to step 170, and when an obstacle is detected, the process proceeds to an obstacle recognition process at step 120. Note that the obstacle recognition process requires two types of data obtained in the respective obstacle detection processes at the previous time t-1 and the current time t. Therefore, the obstacle is detected in step 110. When the judgment is made, the transition to the obstacle recognition process is limited to the second and subsequent processing cycles (n ≧ 2).
[0062]
(Obstacle recognition processing)
Next, the obstacle recognition processing in step 120 will be described with reference to FIG. In the obstacle recognition process, it is recognized (identified) whether the obstacle is “stationary object only” or “moving object is present”.
[0063]
First, from the buffers (two buffers for the latest time and the previous time), the data of the number of obstacle detections at the previous time and the current time and the data of the center coordinates of each obstacle are read out. Here, the detected numbers of obstacles (white areas) at the previous time t-1 and the current time t are Nt-1 and Nt, respectively. Further, the center coordinates of each obstacle (white area) at each time t−1, t are respectively Ck, t−1 (where k = 1, 2,..., Nt−1), Ck, t (where k = 1, 2,..., Nt). Here, the preceding subscript k indicates a number for identifying an obstacle in each frame, and the subsequent subscript indicates a time. Using these two types of data, the following processes (1) and (2) are sequentially performed.
[0064]
(1) Compare the number of detections. If Nt−1 ≠ Nt, “There is a moving object”. For example, as shown in FIG. 7A, when the detection number Nt-1 at time t-1 is "1" and the detection number Nt at time t is "2", that is, the detection number is different from time t. When the number of detections increases or decreases at time t-1, there is always a moving object. Therefore, when Nt−1 ≠ Nt is established, it is determined that “there is a moving object”.
[0065]
(2) When Nt-1 = Nt, the center coordinates of the obstacle at the times t-1 and t are compared. When there are a plurality of objects detected at time t and time t−1, it is difficult to distinguish individual objects between frames, and therefore, the center coordinates are compared for all combinations. For example, if the combination of the center coordinates Ck, t-1 at time t-1 and the center coordinates Ck, t at time t is (Ck, t-1, Ck, t), (C1, t-1, C1, t), (C1, t-1, C2, t), ..., (C1, t-1, CNt, t), (C2, t-1, C1, t), (C2, t-1, (C2, t), ..., (C2, t-1, CNt, t), ..., (CNt-1, t-1, C1, t), (CNt-1, t-1, C2, t), ... , (CNt-1, t-1, CN, t), all combinations are examined. The comparison of the center coordinates is to check whether or not they match, and all the combinations are examined to determine the number Ne of the combinations with the same center coordinates (hereinafter referred to as the number of matches).
[0066]
As shown in FIG. 7B, when all the objects are stationary, the center coordinates of the respective objects do not change at the time t and the time t−1 and are the same, so the coincidence number Ne is the detection number Nt (= Nt-1). Therefore, if Ne = Nt (Ne = Nt = 2 in this example) is established, it is recognized as “only a stationary object”. Further, as shown in FIG. 7C, when there is a moving object, since the center coordinates of the moving object change between time t-1 and time t, the coincidence number Ne is always smaller than the detection number Nt. . Therefore, if Ne ≠ Nt (1 = Ne ≠ Nt = 2 in this example) is established, it is recognized that “there is a moving object”. Considering an error that the position and size of the detected obstacle (white area) fluctuates due to a difference in how the light hits, etc., a certain tolerance is given to the determination of coincidence of the center coordinates.
[0067]
If the determination result in the process of step 120 is “stationary object only”, the process proceeds to step 130, and if “moving object exists”, the process proceeds to step 140.
(Voice alert processing)
Next, the voice warning process will be described.
[0068]
In step 130, an audio warning for a stationary object is performed. The CPU 20 reads out audio data for a stationary object from the memory 22 and transmits it to the audio processing circuit 12. Based on the voice data, the speaker 13 gives a voice warning, for example, “There is an obstacle on the path”. In other words, the notification is made with the sound of the content that indicates that it is a stationary object.
[0069]
In step 140, an audio warning for a moving object is performed. The CPU 20 reads out audio data for the moving object from the memory 22 and transmits it to the audio processing circuit 12. Based on the voice data, the speaker 13 gives a voice warning, for example, “An obstacle has entered the course”. In other words, the notification is made with the sound of the content that indicates that it is a moving object. After the voice warning process, the process proceeds to step 150.
[0070]
(Rectangle overlay display processing)
Next, the obstruction rectangle display process (rectangle superimposition display process) in step 150 will be described. This is a process of superimposing (superimposing) a rectangle surrounding an obstacle on the image of the screen 3a of the monitor 3. That is, the obstacle in the video is highlighted. At this time, when the obstacle is “only a stationary object”, the rectangle is blinked, and when “the object is moving”, the rectangle is moved so as to follow the moving object. In this way, the rectangular display mode is changed between “only a stationary object” and “with a moving object”.
[0071]
Hereinafter, the rectangular superimposed display processing will be described with reference to FIGS.
The CPU 20 uses the data for the past five frames including the current time stored in the five buffers, and performs a rectangular display / erase control process. First, the display of the rectangle is performed every time, and the rectangle is superimposed and displayed based on the data of the five buffers (rectangular start point, width, and height data). The erasing of the rectangle is performed only when rectangular data is stored in the oldest (time t-4) buffer, that is, only when the parameter disp = 1 stored in the oldest buffer.
[0072]
FIG. 8 schematically shows data of each frame that can be stored in each buffer as image data. In the figure, the buffers at times t, t−1,. The new data this time is stored in the buffer at the rightmost time t in the figure, and every time new subsequent data is input (every Δt elapses), each data is one left (one old time). ) In order.
[0073]
As data stored in the buffer, two parameters disp and still are added from the processing. The parameter disp is used to determine whether or not a rectangle is displayed. The parameter disp is set to “1” when the rectangle is displayed, and the parameter disp is set to “0” when the rectangle is deleted. The parameter “still” is for distinguishing between “only a stationary object” or “with a moving object”. The parameter “still” is “1” when the “still object is only”, and the parameter when “with a moving object”. Still is set to “0”. Note that the display of the rectangle displayed at time t is continued until time t-4 is reached (between 5 and Δt) unless it is deleted.
[0074]
The two different display modes of blinking and following the rectangle are caused by the difference in the manner of erasing when the rectangle is erased. This rectangle erasing process is executed only when the parameter disp = 1 stored in the oldest (time t-4) buffer, and the erasing method differs depending on the value of the parameter still in the oldest buffer. Hereinafter, the rectangle erasing process will be described with reference to FIGS.
[0075]
(1) In case of stationary object only ((Fig. 8 (a))
First, if the parameter disp = 1 stored in the oldest (time t-4) buffer, the rectangular data is deleted and the parameter disp = 0 is set. Next, the parameter still at the time t-4 is seen. If still = 1 indicating "only a stationary object", the process moves to the buffer at a new time t-3. If disp = 1, rectangular data is deleted and disp = 0 is set. If the parameter still = 1 at the time t-3, the process proceeds to a new buffer, and the same processing is repeated thereafter. As a result, all the rectangular data displaying the rectangle of the stationary object is erased in a single process in all the buffers. Therefore, since the rectangular display of the stationary object is erased once every five times, as shown in FIG. 9A, in the case of “stationary object only”, the rectangular R surrounding the stationary object SS that is an obstacle is displayed blinking. It becomes.
[0076]
(2) When there is a moving object ((Fig. 8 (b))
First, if the parameter disp = 1 stored in the oldest (time t-4) buffer, the rectangular data is deleted and the parameter disp = 0 is set. Next, the parameter still at the time t-4 is seen. When still = 0, which indicates “with moving object”, only the rectangular data of the oldest frame (time t-4) is erased without moving to a new buffer. Due to this processing, the rectangle of the moving object is always erased only the oldest one. As a result, as shown in FIG. 9B, in the case of “with moving object”, the rectangle R surrounding the moving object MS which is an obstacle moves following the moving object MS. That is, the past five rectangles are displayed in the video on the screen 3a. In the case of “with moving object”, the coexisting stationary object is merely displayed in a superimposed manner and does not blink. Of course, a process of blinking a rectangle of a stationary object can be employed.
[0077]
Next, the operation of the backward support device 5 will be described.
When the vehicle is stopped and the shift lever 16 is set to “N” or “P”, the camera 2 captures one reference image Image0. Thereafter, every time the driver's seat door 17 is opened and closed, the reference image Image0 is updated. By these processes, the image at the closest time that can be regarded as having no obstacle behind the vehicle is stored in the image memory 21 as the reference image Image0.
[0078]
Here, when the vehicle is parked or stopped, there are cases where the driver gets off the vehicle and does not get off before the vehicle starts to move backward. When the driver does not get off the vehicle, the image when the shift lever 16 is put into “P” or “N” is the reference image Image0. When the driver gets off the vehicle, the door 17 of the driver's seat opens and closes. The image at this time is set as a reference image Image0. In the former case, when the vehicle is parked or stopped, the rear side is the place where the vehicle has passed, so when the shift lever 16 is operated to “P” or “N” immediately after parking, there is no obstacle behind the vehicle. Can be considered. In the latter case, the driver checks the rear of the vehicle when he / she returns to the vehicle and gets on the vehicle. Therefore, when the driver opens and closes the door 17 to get on the vehicle, the driver It can be considered that there is no. Therefore, an image when there is no obstacle is obtained as the reference image Image0. The processing so far is performed based on the program shown in the flowchart of FIG.
[0079]
Next, when the driver puts the shift lever 16 into “R” in order to move the vehicle backward, an image of the rear of the vehicle photographed by the camera 2 is displayed on the screen 3 a of the monitor 3. That is, the screen 3a of the monitor 3 is switched from the car navigation screen to the image behind the vehicle. At the same time as the shift lever 16 is put into “R”, an obstacle notification processing routine shown in the flowchart of FIG. 2 is executed.
[0080]
That is, the comparison image Imagen (n = 1, 2,...) Is photographed every predetermined time Δt, and the reference image Image0 and the comparison image Imagen (n = 1, 2,. Image processing to be compared is performed, and obstacle detection is performed within the range of the predicted backward path PA determined from the turning angle θ of the steered wheels 18. When an obstacle is detected in the expected backward path PA, it is recognized whether the obstacle is “stationary object only” or “moving object is present”.
[0081]
In the case of “stationary object only”, the speaker 13 warns the user that “there is an obstacle on the path”, and a rectangle surrounding the obstacle blinks in the image on the screen 3a (FIG. 9A). See). On the other hand, in the case of “There is a moving object”, the speaker 13 gives a voice warning “an obstacle has entered the path”, and a rectangle surrounding the obstacle is displayed in the video on the screen 3a. Moves following the moving object (see FIG. 9B).
[0082]
For this reason, even if the driver turns around in order to move the vehicle backward and looks away from the screen 3a of the monitor 3, the presence of an obstacle and whether the obstacle is a stationary object or a moving object by an audio warning. Can be distinguished and understood. For example, when turning around, there is a stationary object in the blind spot for the driver, or when a moving object enters, it can be discovered without missing the obstacle.
[0083]
In addition, when performing safety confirmation behind the screen 3a, in addition to the audio warning, a rectangle is displayed around the obstacle in the video on the screen 3a. You won't miss it. Furthermore, if the obstacle is “only a stationary object”, the rectangle blinks, and if “the object is moving”, the rectangle moves following the moving object, so it is easy to understand the nature of the obstacle and its trend. .
[0084]
As described above, when the driver has not parked the vehicle and has not exited, when the shift lever 16 is set to “P” or “N”, and when the driver has exited the vehicle, the door Since the change of the situation from when the vehicle 17 is opened to when the vehicle starts to move and an obstacle is detected, a warning is given to the driver by voice and a rectangular display in the video on the screen 3a. With the assistance, it is possible to start the vehicle backward while ensuring that the rear side is safe.
[0085]
When the vehicle starts to move backward (vehicle speed v ≠ 0), the program for the backward assistance process ends. However, while the vehicle is moving backward, an image of the rear of the vehicle is continuously displayed on the screen 3a of the monitor 3. Therefore, it is possible to drive safely while grasping the situation behind the vehicle through the image on the screen 3a even while the vehicle is moving backward. For example, there is no worry of hitting the rear part of the vehicle against a wall when entering the garage. When the shift lever 16 is switched from “R” to another position (for example, “P”, “N”, etc.), the screen 3a of the monitor 3 is switched from the video behind the vehicle to the original image. Even when the shift lever 16 is switched from “R” to another position before the vehicle moves backward, the program of the backward assistance process is ended, and the screen 3a of the monitor 3 is changed from the video behind the vehicle to the original image. Can be switched.
[0086]
As described above in detail, according to the present embodiment, the following effects can be obtained.
(1) When the shift lever 16 is operated to “R” to move the vehicle backward, if the driver does not get off after stopping the vehicle, the shift lever 16 is set to “P” or “N”. When the driver gets out of the vehicle, and when the driver gets off the vehicle, the change in the situation behind the vehicle from when the door 17 is opened to when the vehicle starts to move is detected by image processing, If there is an obstacle, the driver can be notified of this through voice and a superimposed display (superimpose) displayed at the position of the obstacle in the video on the screen 3a of the monitor 3. Compared with the back monitor described in the prior art, the obstacle displayed in the screen 3a of the monitor 3 is superimposed on the obstacle (superimpose) indicating that effect, so that the obstacle is not overlooked first. . In addition, since the driver receives the warning from both the auditory sense and the visual sense by the voice warning and the superimposed display (superimpose), the oversight of the obstacle can be further avoided. In addition, even if the user keeps an eye on the screen 3a of the monitor 3, a voice warning is given, so that oversight of an obstacle can be avoided.
[0087]
(2) The predicted backward path PA of the vehicle is obtained from the turning angle θ of the steered wheel 18 and only the range of the predicted backward path PA is set as the obstacle detection target range. Only the obstacle can be notified to the driver. In other words, only things that can be obstacles can be found reliably.
[0088]
(3) Recognizing whether the obstacle is “only a stationary object” or “with moving object” and notifying the driver whether it is “only a stationary object” or “with moving object”. It is easy to grasp the nature and trend of what it is.
[0089]
(4) Since the superimpose is displayed in a rectangle surrounding the obstacle, the rectangle blinks for the stationary object and the rectangle follows the moving object. Whether it is an object or a moving object can be determined.
[0090]
(5) Since the super impose is a frame display of a rectangle surrounding the obstacle, the obstruction is hardly hidden by the rectangle, and the obstacle can be identified (visually recognized).
(6) When the obstacle is only a stationary object, the voice warning warns “There is an obstacle on the path”, and if there is a moving object, “An obstacle has entered the path”. Therefore, even when the driver takes his eyes off the screen 3a of the monitor 3, the driver can distinguish and recognize whether the obstacle is stationary on the course or has entered the course by listening to the audio warning.
[0091]
(7) Since the video behind the vehicle is continuously displayed on the screen 3a of the monitor 3 even after the vehicle starts to move backward, it is possible to firmly grasp the situation behind the vehicle by viewing the screen 3a of the monitor 3 even during the backward movement. Can do. For this reason, after the vehicle starts to move backward, obstacle detection and notification are not performed, but the rear safety confirmation can be performed by looking at the screen 3a of the monitor 3.
[0092]
(8) Although the monitor 3 of the car navigation system is used for the reverse assisting device 5, the screen of the monitor 3 is only switched to the rear image when the vehicle is reverse, so there is no particular problem in using the car navigation system. Further, since the monitor 3 of the car navigation system is used, it is not necessary to prepare a dedicated monitor, and the backward support device 5 can be mounted on the automobile 1 at a low cost.
[0093]
(9) Since the time when the shift lever 16 is put in “P” or “N” and the time when the door 17 of the driver's seat is opened and closed after that is adopted as the timing for taking the reference image Image0, the rear of the vehicle An appropriate reference image Image0 when there is no obstacle can be obtained almost certainly. Therefore, omission of obstacle detection and erroneous detection of obstacles can be reduced as much as possible, and the obstacle detection accuracy can be increased.
[0094]
(10) Since the reference image Image0 is updated every time the door 17 of the driver's seat is opened and closed, it is possible to prevent erroneous detection due to a difference in the light source. For example, the driver may leave the vehicle after parking, and the driver returning to the vehicle may move the vehicle backward after a considerable amount of time has passed and the lighting of the scenery behind the vehicle has completely changed. Even in such a case, the reference image Image0 is updated when the driver opens and closes the door 17 in order to return to the vehicle and get on, so that the reference image Image0 and the comparison image Imagen having the same light contact condition are displayed. Since the image processing is compared, erroneous detection of an obstacle can be avoided even when a considerable amount of time elapses after the vehicle is parked or stopped before the vehicle is moved backward.
[0095]
(11) Since the image data is divided into a plurality of blocks B based on the difference in perspective, and an obstacle detection method is used to extract a detected object having a size that can be an obstacle using a threshold value for each block B. Only an object whose actual size exceeds a certain size that can be an obstacle can be determined as an obstacle.
[0096]
<Second Embodiment>
Next, a second embodiment will be described with reference to FIGS.
This embodiment is an example in which a part of the obstacle notification processing routine in the first embodiment is changed. In the first embodiment, an object outside the range of the expected backward path PA (outside area OA) is not detected as an obstacle. However, in this embodiment, the object moves even if it is outside the range of the expected backward path PA. An object is detected as an obstacle. This is because when the driver turns back to move the vehicle backward, a blind spot is likely to be formed on the side opposite to the turning direction, and the driver is informed that there is a moving object entering the course at such a blind spot. It is to do.
[0097]
As shown in FIG. 11, in the obstacle notification processing routine of this embodiment, steps 70 and 80 and steps 150 to 170 have the same processing contents as those of the first embodiment. Hereinafter, processing different from the first embodiment will be described.
[0098]
The threshold processing in step 200 is performed over the entire range of the binary image Image. That is, the entire range of the binary image Image is divided into a plurality of blocks B according to the difference in perspective, and the threshold value set for each block is used, and the area value and threshold value of the detected object (white region) for each block B Compare the size with. While the first embodiment (S100) is only for the predicted backward course PA, it is for the entire image range.
[0099]
In step 210, it is determined whether or not an obstacle has been detected by the processing in steps 70, 80, and 200. This time, the entire photographing range is the target range for obstacle detection, and obstacles are detected even outside the range of the predicted backward path PA. If an obstacle is detected, the process proceeds to step 210, and if an obstacle is not detected, the process proceeds to step 160.
[0100]
In step 220, obstacle recognition processing is executed. That is, it is determined whether the obstacle is “stationary object only” or “moving object exists”. This determination method is the same as in the first embodiment, except that the object recognition target range is the entire photographing range. If it is “only a stationary object”, the process proceeds to step 230, and if “moving object exists”, the process proceeds to step 260.
[0101]
In step 230, an expected reverse area (expected reverse path) PA is calculated. This calculation method is the same as step 90 in the first embodiment.
In the next step 240, it is determined whether or not a stationary object exists in the expected backward path PA. When the stationary object does not exist in the expected backward path PA, the process proceeds to step 160. That is, the stationary object in the outer area OA is not regarded as an obstacle and is not subject to notification. On the other hand, when the stationary object exists in the predicted backward path PA, the process proceeds to the next step 250, and a warning is given by voice that there is an obstacle on the path.
[0102]
On the other hand, in step 260, a warning is given by voice that there is an obstacle of the moving object. In this case, since the moving object existing in the expected backward path PA and in the outer area OA becomes an obstacle, the audio content includes a warning that there is an obstacle that has entered the path or may enter the path. To do.
[0103]
Next, the process proceeds to an obstruction rectangle display process (rectangular superimposition display process). In the present embodiment, only a moving object among the detected objects in the outer area OA is set as an obstruction. Therefore, it is necessary to delete data (rectangular data) related to the stationary object in the outer area OA. That is, in the threshold processing in step 200, data of the detected object in the entire image range (number of detections, center coordinates, rectangular start point, width, height, etc.) is stored in the buffer. Therefore, it is necessary to delete rectangular data (rectangular start point, width, height, etc.) regarding the stationary object in the outer area OA from the data. The predicted backward path PA is used to identify the rectangular data to be erased (steps 230 and 270). In step 280, the central coordinates are outside the predicted backward path PA, and the central coordinates are at time t-1 and time t. Are detected as stationary objects in the outer area OA, and the rectangular data relating to the stationary objects are deleted. Note that the number of detections and the data of the center coordinates are not erased because they need to be used for the next obstacle recognition process or rectangular data erasure process.
[0104]
In step 150, the rectangular display process is executed in the same manner as in the first embodiment. In the case of “stationary object only”, a rectangle surrounding the obstacle existing in the predicted backward path PA is displayed in a superimposed manner and the rectangle blinks, as in the first embodiment. In the case of “with moving object”, a rectangle surrounding the moving object existing within and outside the range of the predicted backward path PA is superimposed and displayed, and the rectangle moves following the moving object.
[0105]
For example, as shown in FIG. 10, when there is a moving object MS that is going to enter the expected backward path PA in the outer area OA, a rectangle R surrounding the moving object MS is displayed on the image displayed on the screen 3a of the monitor 3. It is displayed so as to follow the moving object MS. For this reason, the driver can find at a glance the moving object MS that may enter the backward path through the image on the screen 3a.
[0106]
As described above in detail, according to this embodiment, the effects (1) to (11) described in the first embodiment can be obtained in the same manner, and the following effects can be obtained.
(12) It is possible to notify the driver of a moving object that may enter the backward path by voice and an image. Therefore, it is possible to pay attention to a moving object that may enter the reverse path when the vehicle is moved backward. For example, after confirming safety on the screen 3a, when the driver turns back to move the vehicle backward, if there is a moving object entering the backward path in the blind spot on the side opposite to the turning direction, the movement is made by voice. You can notice the object.
[0107]
In addition, embodiment is not limited above, It can also implement in the following aspects..
[0108]
○ When shooting a reference image, take multiple images, confirm that there is no moving object behind the vehicle in the recognition process, and select the image when there is no moving object as the reference image can do. In this case, when the vehicle is parked and stopped and the shift lever is set to “P” or “N” or when the door 17 is opened or closed, even if a person passes by the rear of the vehicle, the obstacle after the person has passed An image when there is no image can be adopted as a reference image.
[0109]
○ The image range for image processing need not be the entire screen. By limiting the processing area to the required range in advance, the processing speed can be improved.
The image processing method for detecting an obstacle is not limited to the method of each embodiment. Any other known image processing method can be employed as long as it is an image processing method capable of comparing the reference image with the comparative image and detecting the difference.
[0110]
○ The predetermined display for superimposition display (superimpose) is not limited to rectangular display. For example, a filled figure of a predetermined color may be displayed superimposed on the obstacle. The frame display surrounding the obstacle may be a shape other than the rectangle. For example, the frame shape may be a circle, an ellipse, a star shape, or a polygonal shape other than a square. Moreover, it can also be set as the superimposed display which emphasized the outline of the obstruction. In short, what is necessary is just the emphasis display which can see an obstruction and its position at a glance by seeing a screen. The frame display only needs to surround at least a part of the obstacle.
[0111]
○ It is not limited to the recognition method that distinguishes between “stationary objects only” or “with moving objects”. For example, a method may be used in which three types of “stationary object only”, “moving object only”, and “stationary object + moving object” are distinguished and recognized, and notification is made using three types of audio and rectangular displays according to the recognition result.
[0112]
○ Whether the detected object is a stationary object or a moving object is identified by image processing, and on the screen where a stationary object and a moving object are mixed as obstacles, a rectangle blinks for a stationary object and follows a rectangle for a moving object A display method can also be adopted. As an identification method, for example, the center coordinates of the detected objects of the previous time and the current time may be compared, a thing having a combination in which the center coordinates match is identified as a stationary object, and a thing other than the stationary object may be identified as a moving object.
[0113]
○ The notification method is not limited to adopting both voice warning and superimposed display. For example, only an audio warning may be used. Further, only superimposed display (superimpose) may be used.
[0114]
The image display device is not limited to a monitor that displays a video of the rear of the vehicle taken by the camera as a moving image. For example, an image display device that displays a schematic image of a vehicle and blinks a lamp at the position of an obstacle may be used. Even with this device, you can see the presence and position of obstacles at a glance by looking at the screen. In short, it suffices if the driver can be notified of the presence or absence of an obstacle by an image, and it is even better if the position of the obstacle can be notified. Even in the case of a schematic image or a still image, if the display mode for notifying an obstacle or the lighting mode of the lamp is changed, it is possible to distinguish and notify a stationary object on the path and a moving object that has entered the path. it can.
[0115]
○ The method of warning by sound is not limited to voice. For example, the presence of an obstacle can be notified by a sound such as a buzzer or a chime. For example, a stationary object and a moving object can be distinguished and notified by a difference in sound mode.
[0116]
In the second embodiment, it is possible to adopt a method in which only the moving objects in the outer area OA within the fixed distance range (attention range) outside the predicted backward path PA are used as obstacles. For example, an attention range within a fixed distance outside the predicted backward path on the binary image is obtained by calculation considering the perspective, and only a moving object within the attention range is regarded as an obstacle. Further, the moving direction of the moving object can be detected, and only the moving object approaching the expected backward path can be set as an obstacle.
[0117]
O Obstacle determination means is not limited to what is determined in comparison with the threshold value set for each block as in the above embodiments. For example, a method is used that calculates the actual size taking into account perspective from the size (area) of the obstacle (white area) on the binary image, and determines whether the obstacle can be an obstacle from the calculated actual size. can do.
[0118]
○ The applicable vehicle of the reverse assistance device is not limited to automatic vehicles. It can also be applied to manual vehicles. In the case of a manual vehicle, a shift position switch may be provided to capture the reference image Image0 when the shift position is switched to the neutral “N” and when the driver's door 17 is opened and closed.
[0119]
○ The mounting location of the camera 2 can be changed as appropriate. For example, it can be arranged in a vehicle capable of photographing the rear of the vehicle. Moreover, the attachment structure which exposed the lens part of the camera to the vehicle rear part (for example, trunk part) may be sufficient. Furthermore, a cover that covers the lens of the camera may be opened at the time of shooting, and the lens may be protected by the cover so that it is difficult to get dirty.
[0120]
○ The shift operation unit is not limited to the shiverer. For example, a shift switch provided near the handle 19 may be used.
○ It may be possible to provide support for nighttime retreat by adding an infrared camera function.
[0121]
○ It is not limited to the configuration using the car navigation system monitor. A monitor dedicated to the backward support device may be provided. The monitor is not limited to the LCD, and may be a CRT or a plasma display. Also, the mounting position is not limited to the vicinity of the instrument panel. It may be a place above the instrument panel so long as it does not interfere with the front visual field, and may be installed in a place that is easy to see from the driver behind the vehicle interior.
[0122]
○ The vehicle is not limited to a passenger car, and the backward assistance device can be widely applied to cars such as buses and trucks. Moreover, you may apply to industrial vehicles, such as a forklift. Of course, the vehicle is not an engine vehicle, but can be applied to other than an engine vehicle such as an electric vehicle.
[0123]
  Ascertained from each of the above embodiments and each other exampleTechniqueThe technical idea (invention) is described below together with its effects.
  (1GroupThe time for capturing the quasi-image is when the operation unit operated by the driver is operated in the manner of parking and stopping immediately after the vehicle moves forward and stops.
In this case, immediately after the moving vehicle stops, it can be considered that there is no obstacle at the place where the vehicle has just passed. Therefore, an image that can be regarded as having no obstacle can be acquired as a reference image. In each of the above embodiments, the operation unit is the shift lever 16, and the way of operation when parking or stopping is to operate the parking position “P” or the neutral position “N”.
[0124]
  (2)luckThis is a time when the operation unit operated when the rider gets on the vehicle is operated in the manner of getting on. In this case, when the driver gets on the vehicle, he / she confirms backward, so that an image that can be regarded as having no obstacle can be acquired as the reference image. In each of the above embodiments, the operation unit is the door 17 of the driver's seat, and the manner of operation at the time of parking is to open and close the door 17.
[0125]
  (3)PreviousThe notifying means notifies that an obstacle is detected by using auditory information (sound information) and visual information. In this case, it is easy to avoid missing the notification information that misses or misses the notification of the obstacle.
[0126]
  (4)PreviousThe notification means includes the image display means and voice notification means. In this case, since the driver is informed of the presence of the obstacle by the sound and the image display, it is possible to know the contents of the notification by both hearing and sight, and the oversight of the obstacle can be reduced accordingly.
[0127]
  (5)PreviousThe image display means superimposes and displays a predetermined display on an obstacle displayed in a moving image on the screen of the image display device, and displays the predetermined display depending on whether the obstacle is a stationary object or a moving object. Are controlled in different display modes. In this case, it is easy to determine at a glance whether the obstacle is a stationary object or a moving object according to different display modes of the predetermined display.
[0128]
  (6)PreviousThe image display means performs display control to blink the predetermined display when the obstacle is a stationary object and to move the predetermined display following the moving object when the obstacle is a moving object. In this case, the nature and trend of the obstacle can be grasped at a glance from the display mode of the predetermined display.
[0129]
  (7)PreviousThe predetermined display is a frame display surrounding at least a part of the obstacle. In this case, since the frame is displayed, the obstacle is not hidden so much and the obstacle can be recognized through the screen.
[0130]
  (8)PreviousThe image display device also serves as a monitor for a car navigation system mounted on the vehicle. In this case, it is not necessary to equip an image display device dedicated to backward assistance.
[0131]
【The invention's effect】
As described above in detail, according to the first and ninth aspects of the present invention, the reference image acquired in advance when the vehicle can be regarded as having no obstacle behind the vehicle and the shift operation unit are placed in the reverse position. The obstacle is detected by image processing that compares the comparison image with the detected image, and when the obstacle is detected, the driver is informed so that the obstacle behind the vehicle is detected before the vehicle is moved backward. This can support the driver's rear safety check.
[0132]
  AlsoSince the reference image was taken when the shift operation unit was placed in the parking position or neutral position, or when the driver's door was opened or closed after that, an appropriate reference image that can be regarded as having no obstacles And the rate of obstacle detection omission and false detection can be kept low.
[0133]
  Claim2According to the invention described in claim 9, the obstacle is recognized by distinguishing whether only a stationary object or a moving object is present, and only the stationary object and the presence of a moving object are distinguished and notified. Can recognize whether the obstacle is a stationary object or a moving object.
[0134]
  Claim3According to the invention described in claim 9, whether or not the detected object on the image data photographed by the photographing means is a size that can be an obstacle is determined in consideration of perspective, and the size that can actually become an obstacle. Since only the object can be detected as an obstacle, only what can be an obstacle can be accurately notified.
[0135]
According to the fifth and ninth aspects of the invention, the expected backward path is obtained from the turning angle of the steered wheel, and only the obstacle in the predicted backward path is detected. it can.
[0136]
According to the inventions described in claims 6 and 9, a stationary object and a moving object existing in an expected backward path obtained from the turning angle of the steered wheel are detected as obstacles, and the predicted backward path for the moving object is detected. Since other objects are also detected as obstacles, it is possible to notify the driver of the presence of a moving object that may enter the reverse path.
[0137]
According to the seventh and ninth aspects of the present invention, since the image display means displays an image of the presence of an obstacle, the driver can grasp the presence of the obstacle through vision.
[0138]
According to the invention described in claim 8 and claim 9, the predetermined display is superimposed on the obstacle in the video behind the vehicle that is shot by the shooting means and projected as a moving image on the screen of the image display device. The driver can avoid overlooking obstacles in the video.
[Brief description of the drawings]
FIG. 1 is a flowchart of a backward support process in a first embodiment.
FIG. 2 is also a flowchart.
FIG. 3 is a block diagram showing an electrical configuration of the backward assistance device.
FIG. 4 is a schematic explanatory diagram of obstacle detection processing.
FIG. 5 is a schematic side view of a vehicle equipped with a reverse assist device.
FIG. 6 is an image schematic diagram for explaining image processing.
FIG. 7 is an explanatory diagram for explaining an obstacle recognition process.
8A and 8B are explanatory diagrams for explaining an obstruction rectangle display process, where FIG. 8A shows only a stationary object and FIG. 8B shows a case where there is a moving object.
FIG. 9 is a screen diagram illustrating rectangular display processing.
FIG. 10 is a screen diagram illustrating rectangular display processing according to the second embodiment.
FIG. 11 is a flowchart of reverse assistance processing in the same manner.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Automobile as a vehicle, 2 ... Camera as imaging | photography means, 3 ... Notifying means and an image display means, and LCD monitor as an image display apparatus, 5 ... Back assistance apparatus, 6 ... Reference | standard image acquisition means, obstruction An image ECU as a detection means, a notification means, and an image display means, and a comparison image acquisition means, an obstacle recognition means, a superimposition display means, an obstacle determination means, and an expected course calculation means, 7 ... notification means and image display means 8 ... Shift position switch constituting reference image acquisition means, 9 ... Door switch constituting reference image acquisition means, 10 ... Vehicle speed sensor constituting reference image acquisition means, 11 ... Obstacle detection means Steering angle sensor constituting 12, 12. Audio processing circuit constituting the notifying means, 13. Speaker constituting the notifying means, 16. A shift lever as a shift operation unit, 17 a door, 18 a steering wheel, 20 a reference image acquisition unit, an obstacle detection unit, a notification unit, and an image display unit and a comparative image acquisition unit, an obstacle recognition unit, CPU as superimposition display means, obstacle determination means, and predicted course calculation means, 21... Image memory constituting reference image acquisition means, 22... Memory, Image 0... Reference image, Imagen. Expected backward path, SS ... stationary object, MS ... moving object, R ... rectangular.

Claims (9)

車両の後退進路を含む後方領域の景色を撮影するための撮影手段と、
車両停止時に車両の後方領域に障害物が無いとみなされ得る状態であるときの画像を前記撮影手段により基準画像として撮影する基準画像取得手段と、
シフト操作部が後退位置に切換えられると、車両の後方領域の画像を前記撮影手段により比較画像として逐次撮影する比較画像取得手段と、
前記基準画像と前記比較画像とを比較する画像処理を逐次行って障害物を検出する障害物検出手段と、
前記障害物検出手段により障害物が検出されると、その旨を報知する報知手段と
を備え、
前記基準画像取得手段は、ドアスイッチと、シフトポジションスイッチとを有し、
前記基準画像を撮影する時期は、前記シフト操作部が駐車位置又は中立位置に操作されたことを前記シフトポジションスイッチが検出したときと、その後に運転席のドアの開閉を前記ドアスイッチが検知したときとである車両における後退支援装置。Photographing means for photographing the scenery of the rear area including the backward path of the vehicle;
Reference image acquisition means for capturing an image as a reference image by the image capturing means when the vehicle is in a state where it can be considered that there is no obstacle in the rear area of the vehicle;
When the shift operation unit is switched to the reverse position, a comparison image acquisition unit that sequentially captures an image of a rear region of the vehicle as a comparison image by the imaging unit;
Obstacle detection means for detecting obstacles by sequentially performing image processing for comparing the reference image and the comparison image;
When an obstacle is detected by the obstacle detection means, a notification means for notifying that effect is provided ,
The reference image acquisition means includes a door switch and a shift position switch,
The reference image is captured when the shift position switch detects that the shift operation unit has been operated to the parking position or the neutral position, and then the door switch detects the opening / closing of the driver's door. A backward assist device for a vehicle that is time- honored. 前記障害物検出手段は、障害物が静止物体のみか移動物体ありかを区別して認識する障害物認識手段を備え、前記報知手段は、障害物が検出された旨を前記障害物認識手段による認識結果に基づき、静止物体のみか移動物体ありかを区別して報知し、
前記障害物認識手段は、前記基準画像と最新の前記比較画像との比較によって検出された最新の障害物の検出数データと最新の障害物の中心座標データとを取得し、
前記基準画像と前回の前記比較画像との比較によって検出された前回の障害物の検出数データと前回の障害物の中心座標データとを取得し、
前記最新の障害物の検出数と前記前回の障害物の検出数とが異なる場合、又は、前記最新の障害物の検出数と前記前回の障害物の検出数とが等しく前記最新の障害物の中心座標と前記前回の障害物の中心座標とが一致しない場合に移動物体ありと認識し、
前記最新の障害物の検出数と前記前回の障害物の検出数とが等しく前記最新の障害物の中心座標と前記前回の障害物の中心座標とが一致する場合に静止物体のみと認識する請求項１に記載の車両における後退支援装置。The obstacle detection means includes obstacle recognition means for recognizing whether the obstacle is only a stationary object or a moving object, and the notification means recognizes that the obstacle has been detected by the obstacle recognition means. Based on the results, we will distinguish and notify whether there is only a stationary object or a moving object,
The obstacle recognition means obtains the latest obstacle detection number data and the latest obstacle center coordinate data detected by comparing the reference image with the latest comparison image,
Obtaining the previous obstacle detection number data and the previous obstacle center coordinate data detected by comparing the reference image and the previous comparison image,
When the latest obstacle detection number is different from the previous obstacle detection number, or the latest obstacle detection number and the previous obstacle detection number are equal, the latest obstacle detection number Recognize that there is a moving object if the center coordinates do not match the center coordinates of the previous obstacle,
Claiming that only the stationary object is recognized when the latest obstacle detection number and the previous obstacle detection number are equal and the center coordinates of the latest obstacle coincide with the center coordinates of the previous obstacle. Item 10. A backward assistance device for a vehicle according to item 1. 前記障害物検出手段は、前記撮影手段によって撮影された画像データ上の遠近を考慮に入れて検出物体の実サイズを判定して該検出物体が障害物となり得るか否かを判断する障害物判定手段を備えている請求項１又は請求項２に記載の車両における後退支援装置。The obstacle detection means determines whether or not the detected object can be an obstacle by determining the actual size of the detected object in consideration of the perspective on the image data photographed by the photographing means. receding support apparatus in a vehicle according to claim 1 or claim 2 comprising means. 前記障害物判定手段は、前記撮影手段によって撮影された画像データ上の遠近の違いに応じて前記画像データを複数の領域に区分し、区分した領域毎に閾値を設定し、前記検出物体の面積値が前記閾値を超えた時に前記検出物体を障害物であると判定する請求項３に記載の車両における後退支援装置。The obstacle determination unit divides the image data into a plurality of regions according to a difference in perspective on the image data captured by the imaging unit, sets a threshold value for each of the divided regions, and determines the area of the detected object The reverse assistance device for a vehicle according to claim 3, wherein when the value exceeds the threshold value, the detected object is determined to be an obstacle . 前記障害物検出手段は、操舵輪の切れ角の信号に基づいて撮影画像における車両の予想後退進路を求める予想進路算出手段を備え、該予想進路算出手段により求められた前記予想後退進路の範囲内の検出物体を障害物として判定する請求項１〜請求項４のいずれか一項に記載の車両における後退支援装置。  The obstacle detection means includes an expected course calculation means for obtaining an expected backward course of the vehicle in the photographed image based on a signal of the turning angle of the steered wheels, The backward assistance device for a vehicle according to any one of claims 1 to 4, wherein the detected object is determined as an obstacle. 前記障害物検出手段は、前記予想進路算出手段により求められた前記予想後退進路の範囲内にある静止物体および移動物体を障害物として判定するとともに、該予想後退進路の範囲外にある移動物体を障害物として判定する請求項５に記載の車両における後退支援装置。  The obstacle detection means determines a stationary object and a moving object that are within the range of the predicted backward path determined by the predicted path calculation means as an obstacle, and detects a moving object that is outside the range of the predicted backward path. The backward assistance device for a vehicle according to claim 5, wherein the backward assistance device is determined as an obstacle. 前記報知手段は、障害物の存在の旨を画像表示する画像表示手段である請求項１〜請求項６のいずれか一項に記載の車両における後退支援装置。  The reverse assistance device for a vehicle according to any one of claims 1 to 6, wherein the notification means is an image display means for displaying an image of the presence of an obstacle. 前記画像表示手段は、前記撮影手段により撮影された映像を動画で表示する画像表示装置を備え、該画像表示装置の画面に映し出される映像上の障害物に、障害物である旨を示す所定表示を重畳表示する重畳表示手段を備える請求項７に記載の車両における後退支援装置。The image display means includes an image display device for displaying the video imaged by the imaging means as a moving image, and a predetermined display indicating that the image is an obstacle on an obstacle displayed on the screen of the image display device receding support apparatus in a vehicle according to 請 Motomeko 7 Ru with a superimposed display means for superimposing displayed. 請求項１〜請求項８のいずれか一項に記載の後退支援装置を備えている車両。  A vehicle comprising the backward assistance device according to any one of claims 1 to 8.
JP35814198A 1998-12-16 1998-12-16 BACKWARD SUPPORT DEVICE AND VEHICLE IN VEHICLE Expired - Fee Related JP3690150B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35814198A JP3690150B2 (en) 1998-12-16 1998-12-16 BACKWARD SUPPORT DEVICE AND VEHICLE IN VEHICLE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35814198A JP3690150B2 (en) 1998-12-16 1998-12-16 BACKWARD SUPPORT DEVICE AND VEHICLE IN VEHICLE

Publications (2)

Publication Number Publication Date
JP2000177513A JP2000177513A (en) 2000-06-27
JP3690150B2 true JP3690150B2 (en) 2005-08-31

Family

ID=18457761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35814198A Expired - Fee Related JP3690150B2 (en) 1998-12-16 1998-12-16 BACKWARD SUPPORT DEVICE AND VEHICLE IN VEHICLE

Country Status (1)

Country Link
JP (1) JP3690150B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102696225A (en) * 2010-01-19 2012-09-26 爱信精机株式会社 Vehicle periphery monitoring device

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002034035A (en) * 2000-07-14 2002-01-31 Clarion Co Ltd Image converting method and on-vehicle circumference monitoring device
JP4742473B2 (en) * 2001-09-12 2011-08-10 日産自動車株式会社 Obstacle recognition device for vehicles
JP3919556B2 (en) 2002-02-18 2007-05-30 富士重工業株式会社 Vehicle rear monitoring device
JP2003320898A (en) 2002-04-26 2003-11-11 Sony Corp Side mirror device for vehicle
JP2005212609A (en) * 2004-01-29 2005-08-11 Denso Corp Drive supporting device
JP4449618B2 (en) * 2004-07-22 2010-04-14 株式会社デンソー Vehicle perimeter monitoring system
WO2006121087A1 (en) * 2005-05-10 2006-11-16 Olympus Corporation Image processing device, image processing method, and image processing program
WO2006121088A1 (en) * 2005-05-10 2006-11-16 Olympus Corporation Image processing device, image processing method, and image processing program
JP2007076425A (en) * 2005-09-12 2007-03-29 Aisin Aw Co Ltd Parking support method and parking support device
JP4622806B2 (en) * 2005-10-27 2011-02-02 アイシン・エィ・ダブリュ株式会社 Parking support method and parking support device
JP4946045B2 (en) * 2005-12-27 2012-06-06 アイシン・エィ・ダブリュ株式会社 Image display method and driving support device
JP4797877B2 (en) * 2006-08-14 2011-10-19 日産自動車株式会社 VEHICLE VIDEO DISPLAY DEVICE AND VEHICLE AROUND VIDEO DISPLAY METHOD
JP2008207732A (en) * 2007-02-27 2008-09-11 Denso Corp Drive assisting device
JP2008219063A (en) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd Apparatus and method for monitoring vehicle's surrounding
JP4816512B2 (en) * 2007-03-06 2011-11-16 株式会社デンソー Driving assistance device
JP2008238927A (en) * 2007-03-27 2008-10-09 Denso Corp Display device of vehicle peripheral image
JP5395373B2 (en) * 2008-07-07 2014-01-22 アルパイン株式会社 Perimeter monitoring device
US8217773B2 (en) 2008-12-04 2012-07-10 Denso Corporation Field watch apparatus
DE102009002277A1 (en) * 2009-04-08 2010-10-14 Robert Bosch Gmbh Driver assistance system for warning against obstacles
JP5340800B2 (en) * 2009-05-08 2013-11-13 アルパイン株式会社 Vehicle driving support device
JP5251814B2 (en) * 2009-09-28 2013-07-31 三菱自動車工業株式会社 Driving assistance device
JP5862431B2 (en) * 2012-04-06 2016-02-16 三菱自動車工業株式会社 Driving assistance device
CN102689610A (en) * 2012-06-19 2012-09-26 深圳乐投卡尔科技有限公司 Method and device for displaying back up video by virtue of vehicle-mounted Android platform
ES2635739T3 (en) * 2012-10-17 2017-10-04 Iveco Magirus Ag Utility vehicle with monitoring system to monitor the position of the stabilizers
KR20140051615A (en) * 2012-10-23 2014-05-02 현대자동차주식회사 Apparatus and method for supporting parking on area without parking line
DE102014111122A1 (en) 2014-08-05 2016-02-11 Valeo Schalter Und Sensoren Gmbh Method for the at least semi-autonomous maneuvering of a motor vehicle, driver assistance system and motor vehicle
JP2017030688A (en) * 2015-08-06 2017-02-09 日立建機株式会社 Periphery monitoring device of work machine
JP6520740B2 (en) * 2016-02-01 2019-05-29 トヨタ自動車株式会社 Object detection method, object detection device, and program
CN105721793B (en) * 2016-05-05 2019-03-12 深圳市歌美迪电子技术发展有限公司 A kind of driving distance bearing calibration and device
JP7426174B2 (en) * 2018-10-26 2024-02-01 現代自動車株式会社 Vehicle surrounding image display system and vehicle surrounding image display method
CN110182157A (en) * 2019-05-13 2019-08-30 管晨光 A kind of reversing automobile image system with protective device
WO2024100855A1 (en) * 2022-11-10 2024-05-16 日産自動車株式会社 Display control device and display control method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102696225A (en) * 2010-01-19 2012-09-26 爱信精机株式会社 Vehicle periphery monitoring device
CN102696225B (en) * 2010-01-19 2014-10-08 爱信精机株式会社 Vehicle periphery monitoring device

Also Published As

Publication number Publication date
JP2000177513A (en) 2000-06-27

Similar Documents

Publication Publication Date Title
JP3690150B2 (en) BACKWARD SUPPORT DEVICE AND VEHICLE IN VEHICLE
JP4782963B2 (en) Device for monitoring the surroundings of a parked vehicle
JP3800172B2 (en) Vehicle periphery monitoring device
JP5099451B2 (en) Vehicle periphery confirmation device
JP4720386B2 (en) Driving assistance device
JP5052628B2 (en) Parking assistance device and parking assistance method for vehicle or connected vehicle comprising vehicle elements which can be bent with respect to each other
JP6020507B2 (en) Vehicle image display device and vehicle image display method
JP3695319B2 (en) Vehicle periphery monitoring device
JP2001006097A5 (en)
JP4941760B2 (en) Vehicle periphery monitoring device
WO2017204203A1 (en) Vehicle monitor system
JP2006341641A (en) Image display apparatus and image display method
JP2001006097A (en) Device for supporting driving for vehicle
JP2005001570A (en) Parking support device
US11161462B2 (en) Method for assisting a driver of a vehicle/trailer combination in maneuvering the vehicle/trailer combination, driver assistance system as well as motor vehicle
US11292387B2 (en) Towing assistance apparatus
JP2005125828A (en) Vehicle surrounding visually confirming system provided with vehicle surrounding visually confirming device
US20200278743A1 (en) Control device
JP4228212B2 (en) Nose view monitor device
JP4600999B2 (en) Vehicle perimeter monitoring device
JP3906892B2 (en) Parking assistance device
JP4151137B2 (en) Obstacle detection device for vehicle and vehicle
JP3807330B2 (en) Vehicle periphery monitoring device
JP4184485B2 (en) Door mirror with camera and vehicle periphery recognition system
JP6741364B2 (en) Vehicle peripheral image display device and vehicle peripheral image display method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050606

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080624

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110624

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110624

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130624

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees