JP4151137B2 - 車両における障害物検出装置及び車両 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理によって物体を検出し、静止物体と移動物体との組合せの種類までを認識する車両における障害物検出装置及びこの障害物検出装置を備えた車両に関するものである。
【０００２】
【従来の技術】
従来、車両に取付けられたカメラを使って車両周辺の景色を撮影し、その撮影された画像データを用いた画像処理によって車両周辺の障害物を検出する物体検出装置が知られている。
【０００３】
特開平５−１１２２２４号公報には、カメラにより撮影した画像から前方の車両の接近を検出し、ブレーキを作動させる衝突防止装置が開示されている。前方の車両の画像中の面積変化と重心位置変化を刻々と計算し、前方の車両の接近を判断する。また、特開平７−２８０５１７号公報には、車両走行中に車両に接近する移動物体をヒストグラムデータを使って検出する移動体認識装置が開示されている。これらはいずれも車両走行中に車両に接近してくる物体を検出するものであった。
【０００４】
また、従来、自動車を後退させるときにカメラで撮影した車両後方の映像を運転席のモニタの画面に映し出すバックモニタが知られている。車両後方の状況の認知と安全確認の判断はモニタの映像を見た運転者に依存していた。つまり、バックモニタは、障害物を検出する画像処理機能までは備えていなかった。
【０００５】
【発明が解決しようとする課題】
ところで、例えば車両を発進させる前の安全確認を支援するため、進路上の障害物を検出したい場合がある。前述の従来技術の画像処理方法によっては、車両に接近する移動物体を検出することはできても、進路上の静止物体は検出できなかった。進路上の静止物体と移動物体を共に検出するためには、物体が無いときの背景画像を基準画像として予め取得し、カメラにより撮影した画像を基準画像と比較する差分法などの画像処理によって物体を検出する必要がある。
【０００６】
また、進路上の障害物が静止物体であれば、それを避ける進路をとることもできるが、移動物体であると、それを避ける進路をとったつもりでもそれが移動することによってその物体と接触する恐れがある。よって、障害物が移動物体である場合には特に注意を要する。従来はバックモニタの映像を見ただけでは、物体が静止物体なのか移動物体なのかをはっきり区別することが非常に困難であった。そのため、障害物を静止物体や移動物体の組合せの種類までを含めて検出し、運転者に静止物体と移動物体の組合せの種類を含めた情報として障害物の存在の旨を報知できれば都合がよい。しかし、従来においては、画像処理によって検出した物体について、簡単な処理によって静止物体と移動物体との組合せの種類までを認識できる物体検出装置が無かった。
【０００７】
本発明は、上記課題を解決するためになされたものであり、その第１の目的は、画像処理によって障害物を検出し、しかも簡単な処理によって静止物体と移動物体との組合せの種類までを判定できる車両における障害物検出装置及びこの障害物検出装置を備えた車両を提供することにある。第２の目的は、検出障害物が、静止物体のみか、移動物体のみか、両者の混在かの全ての組合せに分けて判定することを可能にすることにある。
【０００８】
【課題を解決するための手段】
上記第１の目的を達成するために請求項１に記載の発明では、車両に設けられた撮影手段により逐次撮影された複数の画像データと予め撮影された基準画像データとを比較する画像処理により前記画像データ中の障害物を検出する物体検出手段と、前記画像データ中の障害物の検出数を計数する計数手段と、撮影時刻の異なる前回と今回の２枚の画像データ間で障害物の検出数を比較し、検出数が異なるときは検出障害物に移動物体が含まれると判定する判定手段とを備えている。
【０００９】
請求項２に記載の発明では、前記画像データ中の障害物の位置データを求める位置算出手段を備え、前記判定手段は、撮影時刻の異なる前回と今回の２枚の画像データ間で障害物の検出数を比較し、検出数が同じであるときは、前記位置算出手段により求められた位置データを用いて、該２枚の画像データ間で検出障害物の位置が一致する組合せ数を一致数として求め、該一致数が検出数と同じときは検出障害物が静止物体のみであると判定し、該一致数が検出数と異なるときは検出障害物に移動物体が含まれると判定する。
【００１０】
上記第２の目的を達成するために請求項３に記載の発明では、請求項１又は請求項２に記載の発明において、前記２枚の画像データ中の障害物の位置データを求める位置算出手段を備え、前記判定手段により検出障害物に移動物体が含まれると判定された場合、前記位置算出手段により求められた位置データを用いて、該２枚の画像データ間で検出障害物の位置が一致する組合せ数を一致数として求め、該一致数が零のときは検出障害物が移動物体のみであると判定し、該一致数が零でないときは検出障害物に静止物体と移動物体が混在すると判定する第２の判定手段を備えている。
【００１１】
請求項４に記載の発明では、前記撮影手段は車両後方を撮影するものであって、前記基準画像データは、車両停止中でシフト操作部を駐車位置若しくは中立位置に切り換えたときに前記撮影手段を用いて取得されるか、又は運転席のドアが開閉されたときに前記撮影手段を用いて取得される。
【００１２】
請求項５に記載の発明では、請求項４に記載の発明において、前記画像データはシフト操作部が後退位置に切換えられた以後の車両停止中に前記撮影手段により逐次撮影されて取得されるものであって、前記物体検出装置は、前記物体検出手段により検出された車両後方の障害物が、移動物体を含むか静止物体のみなのかを少なくとも判別することをその要旨とする。
【００１３】
請求項６に記載の発明では、車両には、請求項１〜請求項５のいずれか一項に記載の障害物検出装置が備えられている。
（作用）
請求項１に記載の発明によれば、車両に設けられた撮影手段により逐次撮影された画像データと予め撮影された基準画像データとを比較する画像処理により画像データ中の障害物が物体検出手段により検出される。計数手段により画像データ中の障害物の検出数が求められる。判定手段は、撮影時刻の異なる前回と今回の２枚の画像データ間で検出障害物の検出数を比較し、検出数が異なるときは移動物体を含むと判定する。
【００１４】
請求項２に記載の発明によれば、位置算出手段により画像データ中の障害物の位置データが算出される。判定手段は、撮影時刻の異なる前回と今回の２枚の画像データ間で検出障害物の検出数を比較し、検出数が同じであれば、２枚の画像データ間で検出障害物の位置データを比較し、検出障害物の位置が一致する組合せの数、すなわち一致数が検出数と同じときは検出障害物が静止物体のみであると判定し、一致数が検出数と異なるときは検出障害物に移動物体が含まれると判定する。
【００１５】
請求項３に記載の発明によれば、位置算出手段により２枚の画像データ中の障害物の位置データが算出される。第２の判定手段は、判定手段により検出障害物に移動物体が含まれると判定されたとき、２枚の画像データ間で検出障害物の位置データを比較し、検出障害物の位置が一致する組合せ数、すなわち一致数が零のときは検出障害物が移動物体のみと判定し、一致数が零でないときは検出障害物に静止物体と移動物体とが混在すると判定する。
【００１７】
請求項４に記載の発明によれば、基準画像データが車両停止中でシフト操作部を駐車位置若しくは中立位置に切り換えたときに撮影手段を用いて取得されるか、又は運転席のドアが開閉されたときに撮影手段を用いて取得される。
請求項５に記載の発明によれば、障害物検出装置は、基準画像データと、その車両停止中でシフト操作部が後退位置に切換えられた以後に、撮影手段が車両後方を逐次撮影して得た画像データとを逐次比較する画像処理により、車両後方の障害物を検出する。そして、検出された車両後方の障害物が、移動物体を含むか静止物体のみなのかが少なくとも判別される。
【００１８】
請求項６に記載の発明によれば、車両は、請求項１〜請求項５に記載の障害物検出装置を備えるので、請求項１〜請求項５に記載の発明と同様の作用が得られる。
【００１９】
【発明の実施の形態】
以下、本発明を具体化した一実施形態を図１〜図７に基づいて説明する。
図７に示すように、車両としての自動車１の後部上方位置には、撮影手段としてのカメラ２が取付けられている。カメラ２はＣＣＤ素子を内蔵し、自動車１が後退するときに後方安全確認を必要とする範囲を少なくともカバーする同図に鎖線で示された後方領域を撮影する。自動車１にはカーナビゲーションシステムが搭載されており、カーナビ用のＬＣＤモニタ３が運転席近くの例えばインストルメントパネル上に設けられている。
【００２０】
本実施形態では、カーナビ用のＬＣＤモニタ３を使って、カメラ２によって撮影された自動車１の後方領域の映像（撮影動画像）を車両後退時に表示する。カメラ２は図６に示すようにリヤバンパ４がＬＣＤモニタ３の画面の下端に一部表示される撮影姿勢角で取付けられている（図７を参照）。自動車１には後退支援装置５（図４に示す）が搭載されている。後退支援装置５は、後退開始前に車両後方に障害物が存在するかどうかを、カメラ２によって撮影した画像を使った画像処理によって検出し、障害物があればその旨を報知して運転者の後方安全確認を支援する。カメラ２およびＬＣＤモニタ３は後退支援装置５の構成部品の一部をなしている。
【００２１】
図４は、後退支援装置５の電気的構成を示すブロック図である。後退支援装置５は、カメラ２、画像用ＥＣＵ（電子制御装置）６、カーナビ用ＥＣＵ７、ＬＣＤモニタ（以下、単にモニタと称す）３、シフトポジションスイッチ８、ドアスイッチ９、車速センサ１０、ステアリング切れ角センサ１１、音声処理回路１２およびスピーカ１３を備えている。カーナビゲーションシステムの構成部品であるカーナビ用ＥＣＵ７およびモニタ３は、後退支援装置５に流用されている。なお、後退支援専用のモニタを用意することもできる。
【００２２】
カメラ２は画像用ＥＣＵ６に電気的に接続され、ＣＣＤ素子により撮像された画像データを画像用ＥＣＵ６に転送する。カメラ２は画像用ＥＣＵ６により撮影のオン・オフが制御される。
【００２３】
画像用ＥＣＵ６には、シフトポジションスイッチ８、ドアスイッチ９、車速センサ１０が入力ポート１４を介して接続されるとともに、ステアリング切れ角センサ１１がＡ／Ｄ変換器１５を介して接続されている。また、画像用ＥＣＵ６には、カーナビ用ＥＣＵ７と音声処理回路１２が接続されている。カーナビ用ＥＣＵ７にはモニタ３が接続され、音声処理回路１２にはスピーカ１３が接続されている。
【００２４】
シフトポジションスイッチ８は、シフトレバー１６（図７に示す）の操作位置を検出するもので、その出力信号ＳＰＳによって画像用ＥＣＵ６はシフトポジションＳＰを認識する。本実施形態の自動車１はオートマチック車で、シフトポジションＳＰには例えば「Ｐ，Ｒ，Ｎ，Ｄ，１速，２速」の６種類がある。
【００２５】
ドアスイッチ９は、運転席のドア１７（図５に示す）の開閉を検知するもので、ドア１７の開閉に応じてオン・オフするドア信号ＤＳを出力する。ドア信号ＤＳのオン・オフが切り替わることによってドア１７の開閉が検知される。
【００２６】
車速センサ１０は、車速を検出するもので、車速ｖに応じた検出信号ｖＳを出力する。
ステアリング切れ角センサ１１は、操舵輪１８（図７に示す）の切れ角を検出するものである。ステアリング切れ角センサ１１は、例えばステアリングホイール（ハンドル）１９（図７に示す）を支持するステアリングシャフト（図示せず）の回転量を検出し、操舵輪１８の切れ角θに応じた検出信号θＳを出力する。
【００２７】
カーナビ用ＥＣＵ７は、カーナビゲーションシステムに内蔵され、カーナビゲーションシステムの制御を司るためのものである。カーナビ用ＥＣＵ７はカーナビゲーションシステムに搭載されたモニタ３の画像表示制御をする。本実施形態では、カーナビ用ＥＣＵ７は、画像用ＥＣＵ６から外部入力される画像データの表示制御も行う。
【００２８】
画像用ＥＣＵ６は、中央処理装置（以下、ＣＰＵという）２０、画像メモリ２１およびメモリ（例えばＲＯＭおよびＲＡＭ）２２を備える。ＣＰＵ２０はメモリ２２に記憶されたプログラムデータに基づいて動作する。なお、画像用ＥＣＵ６（ＣＰＵ２０）により、物体検出手段、計数手段、判定手段、位置算出手段、及び第２の判定手段が構成される。
【００２９】
メモリ２２には例えば後退支援処理を行うためのプログラムデータが記憶されている。ここで、後退支援とは、運転者が後方に障害物がないとみなして、ドア１７を開閉し運転席に乗り込んだ時から、自動車１が後方へ動き出すまでの間、車両後方の状況変化を画像処理によって検出し、後退進路上に障害物が検出されるとその旨を運転者に音声と画像によって報知することで、後退を始めるまでの後方安全確認を支援するシステムである。
【００３０】
本実施形態では、検出された障害物が、後退進路上にあるものか、後退進路内に入ってきたものかを区別して運転者に報知する。そのため、障害物が検出されると、障害物が、静止物体のみか、移動物体のみか、静止物体と移動物体とが混在するかの３種類の組合せのうちどれに該当するかを識別する障害物認識処理を行う。ＣＰＵ２０は、検出物体が前記３種類の組合せのうちどれに該当するかを識別する障害物認識処理に使用するデータを一時的に保存するためのバッファを備える。なお、バッファに保存されたデータは後述する矩形重畳表示処理にも使用される。
【００３１】
メモリ２２には、図１にフローチャートで示す障害物認識処理のプログラムデータが記憶されている。また、メモリ２２には、２種類の音声データが記憶されている。さらにメモリ２２には、シフトポジションＳＰが「Ｒ」のときにモニタ３の画面３ａに動画で映し出される映像中に、検出した障害物を囲む矩形を重畳表示（スーパインポーズ）するための矩形重畳表示処理のプログラムデータが記憶されている。矩形重畳表示処理では、障害物を囲む矩形を、障害物が静止物体か移動物体かによって２種類の表示態様で表示する。詳しくは、静止物体については矩形が点滅し、移動物体については矩形が物体の移動に追随して移動するように表示される。
【００３２】
図５は、後退支援処理における障害物検出の流れを示す説明図である。
後退支援処理のプログラムは、自動車１が停車（ｖ＝０）したことを検知すると、ＣＰＵ２０により実行される。まず、車両後方に障害物が無いとみなし得る所定時期に、カメラ２を作動して予め１枚の基準画像Image０を取得しておく。基準画像Image０を取得する所定時期として、シフトレバー１６をパーキング（駐車位置）「Ｐ」またはニュートラル（中立位置）「Ｎ」に操作した時を採用する。また、運転席のドア１７が開閉される度に基準画像Image０を更新する。つまり、車両後方に障害物が無いとみなし得る時期（時刻ｔo）として、駐停車直後と、運転席のドア１７の開閉時を採用する。
【００３３】
駐停車直後は、その時の車両後方の画像は車両が今走行してきた場所に相当するので、駐停車直後の車両後方には障害物が無いとみなし得る。運転者は駐停車直後に、通常、シフトレバー１６を「Ｐ」または「Ｎ」に操作するので、停車後（車速ｖ＝０）、シフトレバー１６が「Ｐ」または「Ｎ」に操作された時の後方画像を基準画像Image０として得るようにしている。
【００３４】
また、運転席のドア１７の開閉時は、運転者の乗降時である。通常、運転者は降車して用を済ませて車両に戻ってきたときには一応車両の後方を確認するので、車両後方に障害物が無いとみなし得る。基準画像Image０を更新するのは、駐停車をした後、後退を始めるまでに時間が経っているときがあるためである。このときには昼と夜の違いなど、光源に大きな変化があり、シフトレバー１６が「Ｐ」または「Ｎ」に操作されたときの後方画像を基準画像Image０とすると誤検出が生じてしまう恐れがある。従って、ドア１７が開閉されたときの後方画像を基準画像Image０として更新するようにしている。
【００３５】
そして、シフトレバー１６を「Ｒ」に入れると（時刻ｔ1）、所定時間Δｔ（例えば３３〜６６ミリ秒）毎に逐次撮影をし、比較画像Imageｎ（ｎ＝１，２，３，…）を取得する。比較画像Imageｎを１枚得る度に、基準画像Image０と比較画像をImageｎとを比較する画像処理を行って障害物を検出する。さらに検出した障害物が、「静止物体のみ」、「移動物体のみ」、「静止物体＋移動物体」のうちどの組合せに該当するかを識別する。後退支援処理は、車両が動き出すまでの間だけ実行され、車速ｖが零でなくなると（ｖ≠０）処理を停止する。また、シフトレバー１６が「Ｒ」以外のポジションに変更されたときも処理を停止する。但し、後退支援処理を停止しても、シフトポジションＳＰが「Ｒ」に入れられている間は、カメラ２による撮影が継続され、モニタ３の画面３ａに後方の映像が映し出される。
【００３６】
次に差分処理について詳しく説明する。本実施形態では、２枚の画像Image０，Imageｎを背景差分法による画像処理をする。例えば、ImageｎとImage０との差の絶対値（｜Imageｎ−Image０｜）をとり、その差分画像に膨張処理を施す。これにより、一つの物体が輝度の異なる箇所（例えば影による暗部）で複数に分離されたとしても、元の一つの物体に結合する。次に所定の閾値を用いた閾値処理を施して二値画像を得る。二値画像データでは、Image０とImageｎとで異なっている部分が白領域（データ「１」）として表現される。
【００３７】
次に検出物体から障害物を特定する処理について説明する。図６に示すように、車両が後退するときの予想後退進路ＰＡの範囲内の物体のみを障害物として検出するようにしている。ステアリング切れ角センサ１１からの信号値θＳから得られた操舵輪１８の切れ角θに基づいて二値画像上の予想後退進路ＰＡを求める。予想後退進路ＰＡの算出には、メモリ２２に予め記憶された例えば計算式が用いられる。計算式は、二値画像上の遠近を考慮したものとし、例えば楕円や放物曲線などの複数次曲線の式などを使う。図６は、二値画像Imageを模式的に示したもので、予想後退進路ＰＡは、計算式から決まる二本のライン（同図では鎖線で示す）で挟まれた領域として求められる。図６（ａ）に示すように、直進のときの切れ角θ（＝０）では、予想後退進路ＰＡは遠くほど幅が狭くなるように真っ直ぐ延びる領域となる。また、図６（ｂ）に示すように、ハンドル１９を切ったときの切れ角θ（θ＞０またはθ＜０）では、予想後退進路ＰＡは遠くほど幅が狭くなるカーブを描く領域となる。また、予想後退進路ＰＡの幅は車幅にほぼ等しい。なお、図６（ａ）では、白領域で示される検出物体を黒色で示している。
【００３８】
検出物体はそのサイズを予測して障害物となり得るかどうかが判断される。実サイズが所定サイズを超えるもののみを障害物として検出する。図６に示すように、まず二値画像Imageにおける予想後退進路ＰＡ内を遠近の違いに応じた複数（例えば三つ）のブロックＢに分割し、各ブロックＢ毎に設定された閾値を用い、各ブロックＢ毎にそのブロックＢ内に一部でも存在する検出物体（白領域）の面積値と閾値との大小比較をする。白領域の面積が閾値を超えるときは、その白領域の物体が障害物となり得るサイズの物体、つまり障害物であると判定する。障害物と判定された検出物体（白領域）については、その検出数、各白領域の中心座標、各白領域を囲む矩形の始点（左上点）の座標と幅と高さを求めて、そのデータをバッファに記憶する。バッファには今回を含めて過去５フレーム分のデータが記憶可能である。図６に示す予想後退進路ＰＡの範囲外の外領域ＯＡは障害物検出の対象とされず、外領域ＯＡに存在する物体は障害物として検出されない。
【００３９】
次に障害物認識処理について図１のフローチャートに基づいて図２，図３を用いながら説明する。障害物が検出されたときは障害物認識処理に進む。障害物認識処理では、前回（時刻ｔ-1）と今回（時刻ｔ）の各障害物検出処理でバッファに記憶したデータを使用し、障害物が「静止物体のみ」、「移動物体のみ」、「静止物体＋移動物体」の３種類の組合せのうちどれに該当するかを識別する。
【００４０】
まずバッファから、前回と今回における障害物の検出数のデータと各障害物の中心座標のデータとを読み出す。ここで、前回の時刻ｔ-1と今回の時刻ｔにおける障害物の検出数を、それぞれＮt-1、Ｎtとする。また、各時刻ｔ-1，ｔにおける各障害物の中心座標を、それぞれＣk,t-1（但し、ｋ＝１，２，…，Ｎt-1）、Ｃk,t（但し、ｋ＝１，２，…，Ｎt）とする。ここで、前の添字ｋは各フレームにおける障害物を特定する番号、後の添字は時刻を示す。これら２種類のデータを使って、以下の処理を順次行う。
【００４１】
まずステップ１０では、検出数を比較し、Ｎt-1＝Ｎtであるか否かを判断する。Ｎt-1≠Ｎtならば「移動物体あり」と判定する。図２に示すように、時刻ｔ-1と時刻ｔとで検出数が異なる場合（Ｎt-1≠Ｎt）、時刻ｔと時刻t-1での検出数の増減は必ず移動物体によってもたらされるからである。当該処理は検出数の比較に基づいて判定をする判定手段に相当する。
【００４２】
ステップ２０〜ステップ５０の処理は、Ｎt-1≠Ｎtであることから「移動物体あり」と判定した場合、「移動物体のみ」か「静止物体＋移動物体」かを判別するための処理であり、第２の判定手段に相当する。ステップ２０では、各時刻ｔ-1，ｔにおける障害物の中心座標を比較する。時刻ｔと時刻t-1の画像データ間で障害物の全ての組合せについて中心座標を比較する。例えば時刻t-1の中心座標Ｃk,t-1と、時刻tの中心座標Ｃk,tとの組合せを、（Ｃk,t-1、Ｃk,t）とおくと、（Ｃ1,t-1、Ｃ1,t）、（Ｃ1,t-1、Ｃ2,t）、…、（Ｃ1,t-1、ＣNt,t）、（Ｃ2,t-1、Ｃ1,t）、（Ｃ2,t-1、Ｃ2,t）、…、（Ｃ2,t-1、ＣNt,t）、…、（ＣNt-1,t-1、Ｃ1,t）、（ＣNt-1,t-1、Ｃ2,t）、…、（ＣNt-1,t-1、ＣN,t）のように全ての組合せについて調べる。中心座標の比較は一致するかどうかをみることとし、全ての組合せを調べて中心座標が一致する組合せの数（以下、一致数という）Ｎｅを求める。このとき、時刻ｔと時刻t-1のどちらか一方で検出物体がない場合（移動物体のみの場合）、中心座標を（０，０）として比較することとする。なお、検出される障害物（白領域）の位置や大きさが光の当たり方の違い等によって揺らぐ誤差を考慮し、中心座標の一致の判定にある程度の許容範囲を持たせている。
【００４３】
ステップ３０では、一致数Ｎｅ＝０であるか否かを判断する。図２（ａ），（ｂ）に示すように、物体の全てが移動物体であれば各物体の中心座標は、時刻ｔと時刻t-1で変化するので、一致数Ｎｅが零になる（Ｎｅ＝０）。また、図２（ｃ）に示すように、静止物体が混在する場合、静止物体の中心座標は時刻t-1と時刻ｔで変化せず一致するので、一致数Ｎｅが零でなくなる（Ｎｅ≠０）。よって、Ｎｅ＝０が成立すれば、ステップ４０で「移動物体のみ」と判定し、Ｎｅ≠０であれば、ステップ５０で「静止物体＋移動物体」と判定する。
【００４４】
一方、ステップ１０において、Ｎt-1＝Ｎtであるときは、これだけでは３種類の組合せのうちどれに該当するかは識別できない。ステップ６０，７０の処理は、Ｎt-1＝Ｎtの場合、まず「静止物体のみ」か「移動物体あり」かを判別するための処理である。この処理は検出数が同じときに判定をする判定手段に相当する。
【００４５】
ステップ６０では、各時刻ｔ-1，ｔ間における障害物の中心座標を比較する。これはステップ２０と処理内容は同じで、全ての組合せについて調べる。中心座標の比較は一致するかどうかをみることとし、全ての組合せを調べて中心座標が一致する組合せの数（以下、一致数という）Ｎｅを求める。
【００４６】
ステップ７０では、一致数Ｎｅが検出数Ｎtに等しい（Ｎｅ＝Ｎt）か否かを判断する。図３（ａ）に示すように、物体の全てが静止物体であれば、各物体の中心座標は時刻ｔと時刻t-1で変化しないので、一致数Ｎｅが検出数Ｎt（＝Ｎt-1）に等しくなる。また、図３（ｂ），（ｃ）に示すように、移動物体が存在する場合、時刻t-1と時刻ｔで移動物体の中心座標は変化するので、一致数Ｎｅが検出数Ｎtより必ず少なくなる。よって、Ｎｅ＝Ｎt（図３（ａ）の例ではＮｅ＝Ｎt＝２）が成立すれば、ステップ８０で「静止物体のみ」と判定する。一方、Ｎｅ＝Ｎtが成立しなければ（図３（ｂ），（ｃ）の場合）ステップ９０に進む。
【００４７】
つまり、Ｎt-1＝Ｎtのときで「移動物体あり」の場合がステップ９０に進むことになる。
ステップ９０〜ステップ１１０の処理は、Ｎt-1＝Ｎtで「移動物体あり」の場合、「移動物体のみ」か「静止物体＋移動物体」かを判別するための処理であり、第２の判定手段に相当する。ステップ９０では、一致数Ｎｅ＝０であるか否かを判断する。図３（ｂ）に示すように、物体の全てが移動物体であれば、各物体の中心座標は時刻ｔと時刻t-1で変化するので、一致数Ｎｅが零になる（Ｎｅ＝０）。また、図３（ｃ）に示すように、静止物体が混在する場合、静止物体の中心座標は時刻t-1と時刻ｔで変化せず一致するので、一致数Ｎｅが零でなくなる（Ｎｅ≠０）。よって、Ｎｅ＝０が成立すれば、ステップ１００で「移動物体のみ」と判定し、Ｎｅ≠０であれば、ステップ１１０で「静止物体＋移動物体」と判定する。
【００４８】
次に後退支援装置５の作用について説明する。
車両が停止してシフトレバー１６が「Ｎ」また「Ｐ」に入れられると、カメラ２によって一枚の基準画像Image０が撮影される。その後、運転席のドア１７が開閉される度に、基準画像Image０が更新される。これらの処理によって、車両後方に障害物が無いとみなし得る最も近い時期の画像が基準画像Image０として画像メモリ２１に記憶される。
【００４９】
ここで、駐停車の際は次に車両を後退し始めるまでの間に、運転者が車両から降りる場合と、降りない場合とがある。運転者が車両から降りない場合は、シフトレバー１６を「Ｐ」または「Ｎ」に入れたときの画像が基準画像Image０とされ、運転者が車両から降りる場合は、運転席のドア１７が開閉されたときの画像が基準画像Image０とされる。
【００５０】
次に運転者が車両を後退するためにシフトレバー１６を「Ｒ」に入れると、カメラ２によって撮影された車両後方の映像がモニタ３の画面３ａに映し出される。例えばモニタ３の画面３ａがカーナビゲーション画面から車両後方の映像に切り換わる。また、シフトレバー１６が「Ｒ」に入れられると同時に、障害物検出処理が実行される。
【００５１】
すなわち、所定時間Δｔ毎に比較画像Imageｎ（ｎ＝１，２，…）が撮影され、その度に基準画像Image０と比較画像Imageｎ（ｎ＝１，２，…）とを背景差分法を用いて比較する画像処理が行われ、操舵輪１８の切れ角θから決まる予想後退進路ＰＡの範囲内で障害物検出が行われる。予想後退進路ＰＡ内に障害物が検出されると、障害物認識処理が実行される。
【００５２】
まずステップ（以下、「Ｓ」と記す）１０において、Ｎt-1＝Ｎtであるか否かが判断される。例えば図２に示すようにＮt-1≠Ｎtの場合にＳ２０に進み、図３に示すようにＮt-1＝Ｎtの場合にＳ６０に進む。
【００５３】
Ｎt-1≠Ｎtの場合、まずＳ２０で中心座標を比較して一致数Ｎｅを求める。Ｓ３０では一致数Ｎｅ＝０であるか否かを判断する。図２（ａ），（ｂ）に示すようにＮｅ＝０の場合は「移動物体のみ」と判定され（Ｓ４０）、図２（ｃ）に示すようにＮｅ≠０の場合は「静止物体＋移動物体」と判定される（Ｓ５０）。
【００５４】
一方、Ｎt-1＝Ｎtの場合、まずＳ６０で中心座標を比較して一致数Ｎｅを求める。Ｓ７０では一致数Ｎｅ＝Ｎtであるか否かを判断する。図３（ａ）に示すようにＮｅ＝Ｎtの場合は「静止物体のみ」と判定される。図３（ｂ），（ｃ）に示すようにＮｅ≠Ｎtの場合は、Ｓ９０に進む。Ｓ９０では、Ｎｅ＝０であるか否かを判断する。図３（ｂ）に示すようにＮｅ＝０の場合は「移動物体のみ」と判定され（Ｓ１００）、図３（ｂ）に示すようにＮｅ≠０の場合は「静止物体＋移動物体」と判定される（Ｓ１１０）。こうして障害物は障害物認識処理によって、「静止物体のみ」、「移動物体のみ」、「静止物体＋移動物体」のいずれであるかが判定される。なお、「静止物体＋移動物体」の場合に限り、静止物体と移動物体を特定する処理を行う。すなわち、中心座標比較のときの結果データを使って、中心座標が一致する組合せをもつ検出物体を静止物体と判定し、中心座標が一致する組合せをもたない検出物体を移動物体と判定する。
【００５５】
「静止物体のみ」の場合は、スピーカ１３から音声で「進路に障害物があります」と警告され、一方、「移動物体あり」の場合は、スピーカ１３から音声で「進路に障害物が入ってきました」と警告される。そして、画面３ａの映像中に障害物を囲む矩形が表示され、その矩形が静止物体では点滅し、移動物体では物体の移動に追随するように移動する。このため、画面３ａの映像中の矩形が点滅することでその障害物が静止物体であることが分かり、矩形が障害物に追随することによって移動物体の動きがよく分かる。
【００５６】
車両が後退し始めると（車速ｖ≠０）、後退支援処理のプログラムは終了するが、車両の後退中はモニタ３の画面３ａに車両後方の映像が引き続き映し出される。車両後退を終えてシフトレバー１６を「Ｒ」から他の位置（例えば「Ｐ」，「Ｎ」等）に切り換えると、モニタ３の画面３ａは車両後方の映像から元の画像に切り換えられる。
【００５７】
以上詳述したように本実施形態によれば、以下の効果が得られる。
（１）時刻t-1，tの２枚の画像データ間で検出物体の検出数を比較し（Ｓ１０）、検出数が等しくない（Ｎt-1≠Ｎt）ときは「移動物体あり」と判定するので、移動物体が撮影画面から消えたり新たに入ってきた場合（図２（ａ））に「移動物体あり」の判定を簡単にすることができる。
【００５８】
（２）時刻t-1，tの２枚の画像データ間で検出物体の検出数を比較した結果（Ｓ１０）、検出数が等しい（Ｎt-1＝Ｎt）ときは、さらに中心座標比較をして一致数を求め（Ｓ６０）、一致数が検出数に等しい（Ｎｅ＝Ｎt）場合は「静止物体のみ」、一致数が検出数に等しくない（Ｎｅ≠Ｎt）場合は「移動物体あり」と判定できる。よって、検出数比較処理（Ｎt-1＝Ｎtが成立か否か）（Ｓ１０）と、中心座標一致数判定処理（Ｎｅ＝Ｎtであるか否か）（Ｓ６０，７０）との２つの判定処理によって、検出物体を全ての場合で「静止物体のみ」と「移動物体あり」とに区別することができる。
【００５９】
（３）「移動物体あり」の場合、中心座標の一致数が零である（Ｎｅ＝０）か否かを判断する処理（Ｓ３０，Ｓ９０）によって、「移動物体のみ」と「静止物体＋移動物体」を区別することができる。モニタ３の画面３ａの映像上の障害物に矩形を重畳表示させる際、その表示態様（点滅または追随）を決めるために静止物体と移動物体とを特定する必要がある。この場合でも、「移動物体あり」をさらに「移動物体のみ」と「静止物体＋移動物体」とに分けることができるため、静止物体と移動物体とを特定する処理を「静止物体＋移動物体」の場合だけ行えばよく、処理の無駄を省くことができ、ＣＰＵ２０の処理の負担を軽減できる。また、静止物体と移動物体を特定する処理を必要時にだけ行うので、「移動物体のみ」のときに特定処理をしたばかりに移動物体を静止物体と間違える特定ミスをし、移動物体に静止物体の表示態様で矩形を表示してしまう表示ミスを少なくすることができる。
【００６０】
（４）車両を後退させるためにシフトレバー１６を「Ｒ」に操作した際に、運転者が車両を駐停車させてから降りていない場合には、シフトレバー１６を「Ｐ」または「Ｎ」に入れたときから、また運転者が車両を降りた場合には、ドア１７が開閉されたときから、車両が動き出すまでの車両後方の状況変化（障害物の存在）を、運転者に音声とモニタ３の映像中の重畳表示（スーパインポーズ）とを通して報知するので、運転者が自動車１を後退させる前の後方安全確認を支援できる。
【００６１】
（５）報知内容（音声内容、表示態様）を「静止物体のみ」と「移動物体あり」の違いに応じて２通り用意したので、運転者は音声や画像の報知によって障害物がどのようなものであるかその性質や動向を把握し易い。
【００６２】
なお、実施形態は、上記に限定されず以下の態様で実施することもできる。
○ Ｓ１０においてＮt-1≠Ｎtと判断される「移動物体あり」の場合に、「静止物体のみ」と「静止物体＋移動物体」とに区別する方法は、前記実施形態に限定されない。例えば図８に示すようにステップ１５を追加してもよい。ステップ１５では、Ｎt-1＝０またはＮt＝０が成立するか否かを判断する。図２（ａ）に示すように、時刻t-1と時刻tのうち一方の画像に検出物体が無い場合、中心座標を比較することなく検出数を調べるだけの簡単な処理で「移動物体のみ」を判定できる。
【００６３】
○ 前記実施形態では、「静止物体のみ」、「移動物体のみ」、「静止物体＋移動物体」の３種類を識別したが、３種類の識別に限定されない。「静止物体のみ」と「移動物体あり」との２種類を識別するだけでもよい。例えば図９に示すフローチャートを採用できる。すなわち、Ｓ２１０においてＮt-1＝Ｎtが不成立のときは、Ｓ２２０で「移動物体あり」と判定する。また、Ｓ２３０で求めた一致数Ｎｅが、Ｓ２４０においてＮｅ＝Ｎtであると判断されたときはＳ２５０で「静止物体のみ」、Ｎｅ＝Ｎtでないと判断されたときはＳ２６０で「移動物体あり」と判定する。
【００６４】
○ 検出物体の位置を比較するための位置データは中心座標に限定されない。中心座標以外でも検出物体の位置を特定できる１点の座標であれば足りる。例えば検出物体の形状から決まるその重心の座標でもよい。１点の座標であれば位置の比較処理が簡単で済む。また、検出物体の位置を特定できるのであれば、位置データは座標（１点）に限らず、例えば検出物体を範囲で特定する座標データであってもよい。また、座標以外の位置データを使用することもでき、要するに検出物体の位置を特定できるデータであれば足りる。
【００６５】
○ 障害物の検出対象範囲は、予想後退進路ＰＡ内に限定されない。例えば撮影範囲全体（画像全範囲）を物体の検出対象範囲とすることもできる。また、反対に検出対象範囲を狭くしてもよい。例えば車両から所定距離範囲内のみを対象範囲とし、その領域のみ画像処理することとすれば、処理速度を早めることができる。さらに、移動物体については、例えば予想後退進路ＰＡから外側に一定距離の範囲を検出対象とするなどし、後退進路内に入ろうとする移動物体を進路に入る前に未然に発見して報知する構成を採ることもできる。
【００６６】
○ 報知内容（報知態様）は「静止物体のみ」と「移動物体あり」の２通りの区別に限定されない。「静止物体のみ」、「移動物体のみ」、「静止物体＋移動物体」の３種類の組合せに応じた３通りの報知内容（報知態様）を用意し、３種類のうち判定結果に応じた１つを選択してその報知内容で報知を行うようにすることができる。もちろん、必要であれば、「移動物体のみ」と「静止物体あり」の２通りの報知内容（報知態様）を用意することもできる。
【００６７】
○ 報知方法は適宜変更できる。音声警告だけとしたり、モニタ３の画面３ａの映像への重畳表示（スーパインポーズ）だけとしてもよい。さらに音による警告方法は音声に限らず、例えばブザーやチャイムなどでもよい。音の態様を異ならせれば報知内容を区別できる。
【００６８】
○ 赤外線カメラの機能を付けるなどして夜間の障害物検出をできるようにしてもよい。
○ 後退支援装置は、バスやトラックなどの自動車に広く適用できる。また、フォークリフト等の産業車両に適用してもよい。また、オートマチック車に限定されずマニュアル車にも適用できる。
【００６９】
○ 車両の後退支援装置に適用することに限定されない。車両の前方や側方の障害物を検出する障害物検出装置に適用できる。この場合、車両が動き出す前に車両が動き出す方向の安全確認を支援できる。
【００７０】
○ 車両は自動車などの有人車に限定されない。例えば無人フォークリフトや無人搬送車などの無人車に適用してもよい。この場合、発進時に進路上の障害物を検出し、その障害物が移動物体を含むか静止物体のみかによって発進制御や報知制御をする。例えば障害物に移動物体が含まれる場合は一定時間待機し、それでも障害物が存在するときのみ障害物検出の旨を作業者に報知し、障害物が静止物体のみの場合は荷等の落下物と判断して直ちに障害物検出の旨を作業者に報知する。また、有軌道の経路をもたず自由に進路を選びながら走行する方式の無人車に適用し、発進時に画像処理によって障害物を検出して発進の進路を選択するようにしてもよい。例えば障害物が静止物体のみの場合は障害物を避ける進路で発進し、移動物体を含む場合は一定時間待機してから発進進路を決めてもよい。
【００７１】
○ 車両の障害物検出装置への適用に限定されない。例えば防犯カメラに適用してもよい。防犯カメラの場合は、通常時の背景画像を基準画像データとして予めカメラにより撮影させて記憶させておけばよい。
【００７２】
前記実施形態及び各別例から把握される技術的思想（発明）を、以下に記載する。
【００７３】
・ 前記判定手段により検出数が異なるために検出物体に移動物体が含まれると判定された場合、前記２枚の画像データの一方に検出物体が無いか否かを判断し、一方の画像データに検出物体が無いと判断したときに検出物体が移動物体のみであると判定する第３の判定手段を備えている。この場合、判定手段により移動物体を含むと判定されたとき、画像データの一方に検出物体がない場合、検出数をみるだけの簡単な処理で移動物体のみであるか否かを判定できる。なお、第３の判定手段は画像用ＥＣＵ６（ＣＰＵ２０）により構成される。
【００７４】
・ 前記位置データは物体の位置を特定する座標である。この場合、座標（点）の比較だけの簡単の処理で済む。
・ 前記画像処理は、前記画像データと前記基準画像データを差分処理によって比較する。
【００７５】
・ 前記画像データは、撮影時に少なくとも静止している撮影手段により逐次撮影されて得られるものである。
【００７６】
・ 前記基準画像データは前記撮影手段により物体が無いときに予め撮影された背景画像である。
・ 前記基準画像データは前記撮影手段の撮影範囲内に障害物（物体）が無いとみなし得る所定時期に該撮影手段により予め撮影された背景画像である。
【００７７】
・ 前記物体検出装置は車両用であって、車両にその周辺を撮影可能に設けられた撮影手段により車両停止中に前記基準画像データと前記画像データは撮影される。この場合、車両停止中（車両発進時）に車両周辺の物体（障害物）を、移動物体を含むか静止物体のみかを少なくとも区別して検出できる。
【００７８】
・ 前記撮影手段は前記車両停止中に撮影をし、前記物体検出手段は車両停止中において車両周辺の物体（障害物）を検出する。
【００７９】
・ 前記物体検出手段が物体（障害物）を検出すると、前記判定手段の判定結果に応じて二種以上の報知態様の中から選択された報知態様にて物体（障害物）が検出された旨を報知する報知手段を備えている。この場合、障害物が存在する旨を、移動物体を含むか静止物体のみかを区別して運転者に報知できる。
【００８０】
・ 前記報知手段は、前記画像データの映像を動画で映し出す画像表示装置を備え、その画面の映像上の物体（障害物）に前記（各）判定手段による判定結果に応じて所定表示を異なる表示態様で重畳表示する。なお、画像表示装置は前記実施形態におけるモニタ３により構成される。この場合、画面の映像上の所定表示を見ることで、物体（障害物）が移動物体を含むか静止物体のみかを少なくとも区別して認識できる。
【００８１】
【発明の効果】
以上詳述したように請求項１〜請求項６に記載の発明によれば、逐次撮影された画像データと基準画像データとを比較する画像処理によって検出された障害物に移動物体が含まれることを、２枚の画像データ間で検出障害物の検出数を比較するという簡単な処理によって判定できる。
【００８２】
とくに、請求項２によれば、逐次撮影された画像データと基準画像データとを比較する画像処理によって検出された障害物が、静止物体のみか移動物体を含むかを、障害物の検出数が同じであるときの２枚の画像データ間で検出障害物の位置を比較し、位置の一致数（組合せ数）が検出数と同じであるか否かを判断する簡単な処理によって判定できる。
【００８３】
とくに、請求項３に記載の発明によれば、移動物体を含む場合、２枚の画像データ間で検出障害物の位置を比較し、位置の一致数（組合せ数）が零であるか否かを判断する簡単な処理によって、移動物体のみか静止物体が混在するかを判定できる。よって、検出障害物が、静止物体のみか、移動物体のみか、両者が混在するかの全ての組合せに分けて判定できる。
【００８４】
とくに、請求項５に記載の発明によれば、シフト操作部を後退位置に切換えた停車中に、車両後方の障害物を、移動物体が含まれるか静止物体のみかを少なくとも区別して検出できる。
【図面の簡単な説明】
【図１】一実施形態における障害物認識処理のフローチャート。
【図２】障害物認識処理を説明するための説明図。
【図３】障害物認識処理を説明するための説明図。
【図４】後退支援装置の電気的構成を示すブロック図。
【図５】障害物検出処理の模式説明図。
【図６】画像処理を説明するための画像模式図。
【図７】後退支援装置を搭載した車両の模式側面図。
【図８】別例の障害物認識処理のフローチャート。
【図９】図８と異なる別例の障害物認識処理のフローチャート。
【符号の説明】
１…車両としての自動車、２…撮影手段としてのカメラ、３…ＬＣＤモニタ、５…物体検出装置及び障害物検出装置としての後退支援装置、６…物体検出手段、計数手段、判定手段、位置算出手段及び第２の判定手段としての画像用ＥＣＵ、７…カーナビ用ＥＣＵ、 ８…シフトポジションスイッチ、９…ドアスイッチ、１０…車速センサ、１１…ステアリング切れ角センサ、１２…音声処理回路、１３…スピーカ、１６…シフト操作部としてのシフトレバー、１７…ドア、１８…操舵輪、２０…物体検出手段、計数手段、判定手段、位置算出手段及び第２の判定手段としてのＣＰＵ、２１…画像メモリ、２２…メモリ、Image０…基準画像データとしての基準画像、Imageｎ…画像データとしての比較画像、Ｓ…障害物、ＰＡ…予想後退進路、Ｎt，Ｎt-1…検出数、Ｎｅ…一致数。

Claims (6)

1. 車両に設けられた撮影手段により逐次撮影された複数の画像データと予め撮影された基準画像データとを比較する画像処理により前記画像データ中の障害物を検出する物体検出手段と、
   前記画像データ中の障害物の検出数を計数する計数手段と、
   撮影時刻の異なる前回と今回の２枚の画像データ間で障害物の検出数を比較し、検出数が異なるときは検出障害物に移動物体が含まれると判定する判定手段と
   を備えている車両における障害物検出装置。
2. 前記画像データ中の障害物の位置データを求める位置算出手段を備え、
   前記判定手段は、撮影時刻の異なる前回と今回の２枚の画像データ間で障害物の検出数を比較し、検出数が同じであるときは、前記位置算出手段により求められた位置データを用いて、該２枚の画像データ間で検出障害物の位置が一致する組合せ数を一致数として求め、該一致数が検出数と同じときは検出障害物が静止物体のみであると判定し、該一致数が検出数と異なるときは検出障害物に移動物体が含まれると判定する請求項１に記載の車両における障害物検出装置。
3. 前記２枚の画像データ中の障害物の位置データを求める位置算出手段を備え、
   前記判定手段により検出障害物に移動物体が含まれると判定された場合、前記位置算出手段により求められた位置データを用いて、該２枚の画像データ間で検出障害物の位置が一致する組合せ数を一致数として求め、該一致数が零のときは検出障害物が移動物体のみであると判定し、該一致数が零でないときは検出障害物に静止物体と移動物体が混在すると判定する第２の判定手段を備えている請求項１又は請求項２に記載の車両における障害物検出装置。
4. 前記撮影手段は車両後方を撮影するものであって、前記基準画像データは、車両停止中でシフト操作部を駐車位置若しくは中立位置に切り換えたときに前記撮影手段を用いて取得されるか、又は運転席のドアが開閉されたときに前記撮影手段を用いて取得される請求項１〜請求項３のいずれか一項に記載の車両における障害物検出装置。
5. 前記画像データはシフト操作部が後退位置に切換えられた以後の車両停止中に前記撮影手段により逐次撮影されて取得されるものであって、前記物体検出装置は、前記物体検出手段により検出された車両後方の障害物が、移動物体を含むか静止物体のみなのかを少なくとも判別する請求項４に記載の車両における障害物検出装置。
6. 請求項１〜請求項５のいずれか一項に記載の障害物検出装置を備えている車両。

Images