JP6069938B2 - 飛び出し検出装置 - Google Patents

Description

本発明は、自車両前方に存在する障害物の陰等による死角から車道側に飛び出す物体を検出する飛び出し検出装置に関する。

従来より、車両に搭載されているレーザレーダやミリ波レーダ用いて、直進走行時の車両前方の死角から出現した物体を検出する検出方法が提案されている（例えば、特許文献１参照）。該特許文献１では、車両前方に存在する障害物の陰等の死角をレーザレーダやミリ波レーダを用いて検出し、この死角から出現した物体が存在する場合には、物体の存在の確からしさを示す確信度を通常よりも増加させ、検出から認識までの時間を短くすることにより、車道側の飛び出す物体をいち早く検出することが開示されている。

特開２０１１−１１６２１８号公報

しかしながら、上述した特許文献１に開示された飛び出し歩行者の検出方法では、直進走行時の死角から物体が出現した場合に対処する方法で、旋回走行時の飛び出しの検出に適した方法とはなっていない。

本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、旋回走行時に死角から出現する物体をいち早く検出することが可能な飛び出し検出装置を提供することにある。

上記目的を達成するため、本願請求項１に記載の発明は、撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、特徴点を表す画素の、移動速度情報を算出する移動速度情報算出部と、画像中に存在する物体を検出する物体検出部と、自車両の旋回状態を推定する旋回状態推定部と、物体検出部にて検出した物体の、位置情報及び移動速度情報を蓄積する物体情報蓄積部と、撮像部にて撮像された画像中に存在する死角領域を検出する死角検出部と、旋回状態推定部にて推定された旋回状態に基づいて、死角検出部で検出された死角領域に隣接した所定の領域を、注目領域として設定する注目領域設定部と、注目領域設定部で設定された注目領域内にて、死角領域の移動速度情報に対し所定閾値以上の差異を有する移動速度情報の物体が検出された場合に、飛び出しが発生しているものと判定する飛び出し判定部と、を備える。また、旋回状態推定部にて検出された自車両の旋回状態が旋回である場合には、直進である場合よりも、前記所定閾値を大きくする。

本発明に係る飛び出し検出装置では、自車両の旋回状態を推定し、死角領域に隣接し自車両の旋回状態に基づいた場所に注目領域を設定し、死角領域の移動速度情報と注目領域の移動速度情報との差異を自車の旋回状態に基づいた条件で判断することで、旋回走行時に高速、且つ高精度に飛び出しの発生を検出することができる。

本発明の第１実施形態に係る飛び出し検出装置の構成を示すブロック図である。 本発明の実施形態に係る飛び出し検出装置の、カメラを車両に搭載する場合の説明図である。 本発明の実施形態に係る飛び出し検出装置の、カメラで撮像した画像の具体例を示す説明図である。 抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す説明図である。 本発明の第１実施形態に係り、カーブ路に存在する物体についての水平及び垂直方向の速度画像の具体例を示す説明図である。 本発明の第１実施形態に係り、水平方向の移動速度情報から物体を抽出し、垂直方向の速度画像から物体の境界位置を検出し、水平方向で検出した物体の下端位置を更新する場合の具体例を示す説明図である。 本発明の第１実施形態に係り、速度画像を格子状に分割し、各領域に物体が存在した場合にその移動速度情報を保存し、物体情報を蓄積する場合の具体例を示す説明図である。 本発明の第１実施形態に係り、物体蓄積情報を参照し、死角領域を検出する場合の具体例を示す説明図である。 本発明の第１実施形態に係り、死角領域の周辺領域に注目領域を設定し、注目領域内で死角の移動速度情報と異なる移動情報が検出されれば飛び出しと判定する場合の具体例を示す説明図である。 本発明の第１実施形態に係る飛び出し検出装置の処理動作を示すフローチャートである。 本発明の第２実施形態に係る飛び出し検出装置の構成を示すブロック図である。 本発明の第２実施形態に係り、右向き投票部、左向き投票部、及び向き無し投票部の投票値を示す説明図である。 本発明の第２実施形態に係り、画素分布に基づいて消失点の方向を推定する例を示す説明図である。 本発明の第２実施形態に係る飛び出し検出装置の処理動作を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

［第１実施形態の説明］
図１は、本発明の第１実施形態に係る飛び出し検出装置の構成を示すブロック図である。図１に示すように、第１実施形態に係る飛び出し検出装置１０は、車両に搭載されて車両前方を撮像するカメラ（撮像部）１０１と、操舵角、車速等の車両情報を取得する車両情報取得部１０２と、車両情報総括的な制御を行う制御部１００を備えている。

制御部１００は、カメラ１０１で撮像した画像を一時的に記録する画像一時記録部１０３と、画像一時記録部１０３に記憶された画像を画像処理することで特徴点を抽出する特徴点抽出部１０４と、特徴点抽出部１０４により抽出された特徴点の画像上における速度及び方向を移動速度情報として算出する移動速度情報算出部１０５と、移動速度情報算出部１０５により算出された移動速度情報に基づいて物体を検出する物体検出部１０６と、車両情報取得部１０２により取得した操舵角及び車速に基づき、自車両の旋回状態を推定する旋回状態推定部１０７と、検出した物体情報の位置情報及び移動速度情報を過去から現在まで蓄積する物体情報蓄積部１０８と、蓄積した位置情報及び移動速度情報に基づいて死角領域を検出する死角検出部１０９と、死角領域に隣接して所定の場所に注目領域を設定する注目領域設定部１１０と、注目領域内に死角の移動速度情報と異なる移動速度情報が検出された際に飛び出しと判定する飛び出し判定部１１１と、を備えている。

なお、制御部１００は、例えば、中央演算ユニット（ＣＰＵ）や、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成することができる。

カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を備えており、連続的に車両前方を撮像してフレーム毎に撮像した画像を画像一時記録部１０３に出力する。カメラ１０１で撮像された画像は、画像一時記録部１０３に一時的に記録される。

図２は、車両に搭載されるカメラ１０１を示す説明図であり、（ａ）は側面図、（ｂ）は平面図を示している。図２に示すように、カメラ１０１は車両の室内上部前方中央に設置され、その光軸ＬＳは車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸Ｘ（図示省略）は路面と平行となるように設定されている。また、撮像面の垂直軸Ｙ（図示省略）は路面と垂直になるように設定されている。

図３は、カメラ１０１で自車両の前方を撮像した画像の例を示す説明図である。この画像は、画像左上を原点として左から右へｘ軸、上から下へｙ軸とするｘｙ座標系によって表されている。また、図３に示す画像では、カーブ走行時における、駐車車両等の遮蔽物と、左から右方向へ移動する飛び出し歩行者が含まれている。

図１に示す特徴点抽出部１０４は、カメラ１０１で撮像された画像を画像一時記録部１０３から読み込み、読み込んだ画像を所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。

例えば、特徴点抽出部１０４は、垂直方向のエッジを抽出し（後述する図４（ａ）参照）、次に、抽出した各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの中心を正確に設定する（図４（ｂ）参照）。更に、細線化されたエッジのエッジ幅が一定の幅となるように（例えば３画素分の幅となるように）、エッジを水平方向に拡張する（図４（ｃ）参照）。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得ることができる。同様に、水平方向のエッジを抽出し、抽出した各エッジに対して細線化処理を行い、エッジ幅が均一となるように正規化を行う。

移動速度情報算出部１０５は、まず、水平方向のエッジに該当する画素の画素カウンタの投票値（カウンタでカウントされる数値）を更新する。ここで、画素カウンタとは、各画素毎に設定されたカウンタであり、画素がエッジに該当する場合に画素カウンタの投票値に「１」を加算し、画素がエッジに該当しない場合は投票値が「０」となって初期化されるカウンタである。この投票値の更新処理を、カメラ１０１で連続的に撮像されるフレーム（時系列的に取得される複数の画像）毎に行う。この操作により、エッジに該当する時間が長い画素は画素カウンタの投票値が大きくなり、エッジに該当する時間が短い画素は投票値が小さくなる。

この投票値の変化は、エッジの移動方向と移動量を表していることになるため、この投票値に基づいて、撮像画像上におけるエッジの移動方向と移動速度とを算出することができる。以下、詳細に説明する。

図４は、抽出したエッジを正規化して、エッジ画像を得るために行う処理の具体例を示す図である。まず、エッジ画像に対して２値化処理を行う。２値化処理とはエッジの検出された位置の画素を「１」とし、エッジの検出されなかった位置の画素を「０」とする処理である。２値化処理によって図４（ａ）に示すような２値化画像を生成する。

次に、生成された２値化画像に対して、細線化処理を行う。細線化処理とは、検出されたエッジのエッジ幅を所定画素幅になるまで縮小する処理である。図４（ｂ）では所定画素幅として１画素になるまでエッジのエッジ幅を細線化している。そして、このようにエッジを所定の画素幅になるまで細線化することによって、エッジの中心となる中心位置を設定している。ここでは、一例として１画素に細線化する場合について説明しているが、その他の画素数に細線化してもよい。

次に、細線化されたエッジのエッジ幅を膨張させる膨張処理を行う。膨張処理とは、細線化によって設定された中心位置からエッジの移動方向に向かってエッジ幅を膨張させると共に、中心位置からエッジの移動方向の反対方向についても同様にエッジ幅を膨張させる処理である。

例えば、図４（ｃ）では、エッジの中心位置ｘ０からエッジの移動方向（ｘ軸の正方向）に１画素膨張させると共に、エッジの中心位置ｘ０からエッジの移動方向と反対方向（ｘ軸の負方向）に１画素膨張させて、エッジ幅を３画素に膨張させている。

このように細線化処理と膨張処理とを行うことによって、抽出したエッジ画像のエッジ幅を、エッジの移動方向に向かって所定の幅に統一して規格化している。

次に、エッジ幅が規格化されたエッジに対してカウントアップ処理を行う。カウントアップ処理とは、エッジが検出された位置のメモリアドレスの値をカウントアップし、エッジが検出されなかった位置のメモリアドレスの値を初期化する処理である。

以下、図４（ｃ）〜（ｆ）を参照して、エッジのカウントアップ処理について説明する。ここでは簡単のために、エッジはｘ軸の正方向に移動するものとして説明する。なお、エッジはｘ軸の負方向やｙ軸方向、或いは２次元的に移動する場合も同様に説明することができる。

図４（ｃ）に示すように、エッジはあるフレームにおいて位置ｘ０にエッジの中心位置があり、その中心位置からエッジの移動方向に１画素の位置ｘ０＋１と、中心位置からエッジの移動方向と反対方向に１画素の位置ｘ０−１に膨張されている。

このような場合にエッジが検出された位置ｘ０−１、ｘ０、ｘ０＋１の投票値が１ずつカウントアップされ、エッジが検出されなかった位置の投票値がリセットされる。例えば、図４（ｄ）では、時刻ｔにおいて位置ｘ０−１、ｘ０、ｘ０＋１にエッジが検出されているので、それぞれの位置で投票値が１ずつカウントアップされて、位置ｘ０＋１の投票値が「１」、位置ｘ０の投票値が「３」、位置ｘ０−１の投票値が「５」になっている。

そして、図４（ｅ）に示すように時刻ｔ＋１でもエッジが移動していないので、位置ｘ０−１、ｘ０、ｘ０＋１の各位置でエッジが検出され、位置ｘ０−１、ｘ０、ｘ０＋１の投票値を更に１ずつカウントアップして、位置ｘ０−１の投票値を「６」、位置ｘ０の投票値を「４」、位置ｘ０＋１の投票値を「２」としている。

更に、図４（ｆ）に示すように時刻ｔ＋２では、エッジがｘ軸の正方向に１画素シフトして位置ｘ０、ｘ０＋１、ｘ０＋２の位置でエッジが検出されている。

従って、エッジが検出された位置ｘ０、ｘ０＋１、ｘ０＋２の投票値がカウントアップされ、エッジが検出されなかった位置ｘ０−１の投票値がリセットされる。その結果、図４（ｆ）に示すように位置ｘ０＋２の投票値が「１」、位置ｘ０＋１の投票値が「３」、位置ｘ０の投票値が「５」となっている。更に、エッジが検出されなかった位置ｘ０−１の投票値はリセットされて「０」になっている。

このように、エッジが検出された位置の投票値をカウントアップし、エッジの検出されなかった位置の投票値をリセットしている。

なお、図４に示す例では、投票値を検出する位置を、エッジの中心位置（ｘ０）と、この中心位置からエッジの移動方向へ１画素の位置（ｘ０＋１）と、中心位置からエッジの移動方向と反対方向に１画素の位置（ｘ０−１）と、の３箇所としたが、投票値の傾きを求めることができれば、３箇所に限定されない。

また、エッジが移動する速度に比べて、フレームレートが十分に高く設定されていれば、連続するフレーム間において、エッジは同じ位置で複数回検出される。例えば、図４の例では、位置ｘ０において時刻ｔと時刻ｔ＋１の２回エッジが検出されている。従って、エッジが検出された位置の投票値をカウントアップしていくと、その投票値はその位置においてエッジが検出されている時間（フレーム数）と等しくなる。特にエッジの投票値の中で最小のカウント値ｈは、エッジが移動してから何フレームの間、同じ位置にあるかということを表している。

次に、エッジの移動速度、移動方向及び位置を算出する。まず、投票値の移動方向への傾きを算出し、この傾きに基づいて、エッジの移動方向、移動速度および位置を算出する。

例えば、図４（ｅ）の場合では、位置ｘ０−１、ｘ０、ｘ０＋１の投票値がそれぞれ「６」、「４」、「２」となっている。従って、位置ｘ０−１の投票値である「６」からｘ０＋１の投票値である「２」を減じることによって、投票値の傾きをＨ＝（６−２）／２＝２として算出することができる。これにより、下記（１）式が成立する。

Ｈ＝｛（エッジが位置ｘ０−１に移動してから現在までの時間）
−（エッジが位置ｘ０＋１に移動してしまった後の時間）｝
／（２画素） …（１）
（１）式により、エッジが位置ｘ０のある１画素を通過するのに要した時間（フレーム数）を算出したことになる。従って、投票値の傾きＨはエッジが１画素移動するために何フレームを要したかを求めることになり、この投票値の傾きＨに基づいてエッジの移動速度１／Ｈを算出することができる。

図４（ｅ）では１画素移動するのに２フレームを要したことになるので、エッジの移動速度は１／２（画素／フレーム）と算出することができる。また、エッジの移動方向は、投票値の大小によって判断することができる。エッジが移動して新たにエッジが検出された位置の投票値は「１」であり、各位置の投票値の中では最も小さな値となる。

従って、エッジが移動する方向の投票値は小さく（例えば、図４（ｆ）の位置ｘ０＋２はカウント値が小さい）、エッジが移動する方向と反対方向の投票値は大きくなるので（例えば、図４（ｆ）の位置ｘ０はカウント値が大きい）、これによってエッジの移動方向を判断することができる。即ち、図４（ｄ）〜（ｆ）の例では、左から右方向に移動しているものと判断できる。

また、現在の位置における投票値の中で最小の投票値ｈは、エッジがその位置で検出されている時間、即ち、エッジが移動してから何フレームの間、同じ位置にあるかということを表している。

これらのことにより、エッジの位置は、エッジの中心位置をｘ０とすると、下記（２）式により求めることができる。

（エッジの位置）＝ｘ０＋ｈ／Ｈ …（２）
例えば、図４（ｆ）では、エッジの速度は１／２（画素／フレーム）で、時刻ｔ＋２の時点では１フレーム連続して同じ位置でエッジが検出されているので、時刻ｔ＋２のエッジの位置は、「１（フレーム）×｛１／２（画素／フレーム）｝＝０．５画素」だけ位置ｘ０から移動していると算出することができる。

以上のことから、エッジが検出された位置の投票値をカウントアップし、カウントアップされた投票値の傾きに基づいてエッジの移動速度及び方向を算出するができる。更に、垂直方向のエッジに対しても、図４（ａ）〜（ｆ）の処理を実施し、エッジの移動速度及び方向を算出することができる。

そして、撮影した画像に対し、上記の処理を加えることにより、画像中に存在する物体の移動速度成分を生成する。詳細には、所定の階級値で表した水平方向の速度画像、及び垂直方向の速度画像を生成する。

本実施形態では、水平方向の速度画像として、図５（ａ）に示すように、速度成分の階級値として、速度が検出された画素を丸印で示し、且つ、移動速度が速い画素ほどその大きさを大きくして示している。

また、右へ向かう速度を黒丸で示し、且つ、左へ向かう速度を白丸で示すことによって移動方向を示している。即ち、図５（ａ）においては、自車両の走行路右側の外壁からは画像の右側へ向かう速度が検出されており、走行路左側の外壁及び駐車車両からは画像の左側へ向かう速度が検出されている。

更に、図５（ａ）には、走行路左側から右側へ飛び出そうとしている歩行者が示されており、該歩行者の脚部は右側へ向かう速度が検出されている。この歩行者は、自車両に異常接近する可能性がある歩行者である。

また、本実施形態における垂直方向の速度画像では、図５（ｂ）に示すように、水平方向の速度画像と同様に、速度成分の階級値として、速度が検出された画素を丸印で示し、移動速度が速い画素ほどその大きさを大きく示している。また、上へ向かう速度を白丸で表し、下へ向かう速度を黒丸で示すことによって移動方向を示している。即ち、駐車車両等の静止物体の上端は、上に向かう速度が検出され、静止物体の下端は下に向かう速度が検出されている。

図１に示す物体検出部１０６は、カメラ１０１にて時系列的に撮像された画像に基づいて、死角となる障害物、及び飛び出し対象となる物体を検出する。物体であれば、画像をある大きさの領域に区分した際に、水平方向の移動速度が同一となる領域が垂直方向に向けて連続的に存在するはずである。従って、図６（ａ）に示すように画像下部から上部に順に走査し、各領域毎の移動速度情報（移動速度情報算出部１０５で求めた情報）を比較することで物体を検出する。具体的には、一つめの領域の移動速度を検出し、更に、その上部の領域の移動速度を検出し、両者の移動速度が同一であれば更にその上部の移動速度を検出するという処理を繰り返すことにより、物体を検出する。図６（ａ）に示す例では、ＯＢ１（ｔ）〜ＯＢ４（ｔ）の物体が検出されている。

また、垂直方向の移動速度においては、物体の上端及び下端位置において、他の領域に対する相対的な移動速度が存在するため、図６（ｂ）に示すように、画像下部から上部に走査し、移動速度情報を比較することで、移動速度情報が存在しない領域から移動速度情報が存在する領域へ変化する境界を検出する。図６（ｂ）に示す例では、例えば、ＯＢ１（ｔ）の上端の白点、及び下端の黒点が境界として検出される。そして、検出した境界から、水平方向の走査で検出した速度画像を上部に向けて走査し、所定範囲内に物体が存在すれば、同一物体として、物体の下端位置を垂直方向の速度画像で検出した境界位置へ更新する。本実施形態では、ＯＢ１（ｔ）、ＯＢ２（ｔ）、ＯＢ４（ｔ）の下端位置を更新している。

旋回状態推定部１０７は、車両情報取得部１０２にて取得される自車両の操舵角、及び車速に基づき、自車両前方の推定進路中心位置を算出し、更に、この中心位置に基づいて画像内の消失点方向を推定する。本実施形態では、図６に示す消失点ａ１を推定し、該消失点ａ１が画像の右側に存在することから、自車の旋回方向が右旋回であるものと推定する。

物体情報蓄積部１０８は、検出した物体の位置情報と移動速度情報を蓄積する。本実施形態では、図７に示すように速度画像を所定間隔で格子状に分割し、当該領域に物体が存在すれば移動速度情報を保存する。

死角検出部１０９は、蓄積した位置情報と移動速度情報に基づいて、現在物体が存在している領域に対して、過去に現在の移動速度情報に近い移動速度情報が存在すれば、死角候補領域として抽出する。本実施形態では、図８に示すようにＯＢ２（ｔ）、ＯＢ３（ｔ）を含む領域を死角候補領域として抽出する。即ち、カメラ１０１で撮像された画像が、図８（ａ）から時間が経過して図８（ｂ）のように変化した場合には、ＯＢ２（ｔ）は現在の移動速度情報に近い移動情報が過去に存在しているので、死角候補領域として抽出する。ＯＢ３（ｔ）についても同様である。

更に、抽出した死角候補領域に隣接し、現在において死角候補領域に近い移動速度情報を持つ物体が存在しない領域（図８（ｂ）の符号Ｐ１の領域）に対して、過去に死角候補領域に近い移動速度情報が存在すれば、死角領域として検出する。本実施形態では、図８に示すように、ＯＢ２（ｔ）、ＯＢ３（ｔ）を含む領域を死角領域として検出する。即ち、ＯＢ１（ｔ）、ＯＢ２（ｔ）を含む領域を死角候補領域から死角領域に変更する。

注目領域設定部１１０は、検出した死角領域に隣接して所定の場所に注目領域Ｐ２（図８（ｂ）参照）を設定する。本実施形態では、図９に示すようにＯＢ２（ｔ）、ＯＢ３（ｔ）を含む死角領域の右側に隣接する注目領域を設定する。注目領域は、上部、中部、下部と複数に分割して設定する。

飛び出し判定部１１１は、注目領域内に、隣接する死角領域の移動速度情報と異なる移動速度情報が存在するか否かを判定する。具体的には、死角領域の移動速度との差異が予め設定した所定の閾値以上となる移動速度の物体が存在するか否かを判定する。そして、分割した下部領域内に、上記の閾値以上の差異となる移動速度の物体が検出された場合には、飛び出しが発生したものと判定する。また、上部または中部の領域内にて、上記の閾値以上の差異となる移動速度の物体が検出された場合には、飛び出し注意（飛び出しの可能性有り）と判定し、判定処理を継続する。図９（ａ）に示す例では、下部領域に死角領域と異なる移動速度情報（図中黒丸で示す移動速度情報）が検出されているので飛び出しが発生しているものと判定する。

また、自車両が旋回している場合と、直進している場合とで、死角と飛び出しの移動速度情報の差異の閾値（所定閾値）が異なるように設定する。旋回時における静止物の移動速度情報には並進成分と回転成分が含まれる。一方、直進時における静止物の移動速度情報に並進成分のみが含まれる。図９（ａ）、（ｂ）に示すように同様な位置の遮蔽物から飛び出し物体が出現する場合には、旋回時の方が速度の差異が大きくなる。従って、旋回時に飛び出しと判定する閾値を直進時と比較し大きくする。即ち、飛び出し判定部１１１は、旋回状態推定部１０７にて検出される自車両の旋回状態が、左または右方向への旋回である場合には、直進である場合よりも、所定閾値を大きくする。この例では、図９に示すように、下部領域に死角領域と異なる移動速度情報が検出されたため、飛び出しが発生しているものと判定する。

次に、上述のように構成された第１実施形態に係る飛び出し検出装置１０の処理手順を、図１０に示すフローチャートを参照して説明する。

図１０に示す処理は、図示省略のイグニッションスイッチがオンされると、制御部１００によって起動されるプログラムとして実行される。ステップＳ１０１では、カメラ１０１で撮像され画像一時記録部１０３に記録された自車両前方の画像が所定の周期で特徴点抽出部１０４に出力される。この後に、フローはステップＳ１０２へ移行する。

ステップＳ１０２では、特徴点抽出部１０４が、画像一時記録部に記録された撮像された画像に対してエッジ抽出処理を行って、撮像画像内に存在する物体の輪郭を抽出した水平方向及び垂直方向エッジ画像を生成する。この後に、フローはステップＳ１０３へ移行する。

ステップＳ１０３では、上述したように画像の画素に含まれるエッジの移動速度情報を算出し、算出した移動速度情報を所定の階調値に変換した水平方向の速度画像及び垂直方向の速度画像を算出する。この後に、フローはステップＳ１０４へ移行する。

ステップＳ１０４では、算出した水平方向の速度画像に対して、画像下部から画像上部に順に走査し、移動速度情報を比較し、垂直方向に連続して同じ移動速度情報が存在する領域を物体として抽出する。この後に、フローはステップＳ１０５に移行する。

ステップＳ１０５では、算出した垂直方向の速度画像に対して、画像下部から画像上部に順に走査し、移動速度情報を比較し、移動速度情報が存在しない領域から移動速度情報が存在する領域へ変化する境界を検出する。この後に、フローはステップＳ１０６に移行する。

ステップＳ１０６では、ステップＳ１０５で検出した垂直方向の移動速度情報を基に算出した境界位置から、水平方向の速度画像を上部に走査し、所定範囲内に物体が存在すれば、物体の下端位置を垂直方向の速度画像で検出した境界位置に更新する。この後に、フローはステップＳ１０７に移行する。

ステップＳ１０７では、旋回状態推定部１０７は、車両情報取得部１０２より、自車両の操舵角及び車速情報を取得し、自車前方の推定進路中心位置を算出し、更に、画像における消失点方向（図７に示すａ１）を推定する。その後、フローはステップＳ１０８へ移行する。

ステップＳ１０８では、速度画像を所定間隔で格子状に分割し、当該領域にステップＳ１０４で検出した物体が存在すれば、移動速度情報を保存する。その後、フローはステップＳ１０９へ移行する。

ステップＳ１０９では、ステップＳ１０８で蓄積した位置情報と移動速度情報に基づき、現在の移動速度情報に近い移動速度情報が過去に検出されたか否かを判定し、過去から現在に同様な移動速度情報が検出された領域を死角候補領域として抽出する。この後、フローはステップＳ１１０へ移行する。

ステップＳ１１０では、ステップＳ１０９で抽出した死角領域候補に隣接して、死角候補に近い移動速度情報を持つ物体が存在しない領域に対して、過去に死角候補領域に近い移動速度情報が存在すれば、死角領域として検出する。この後、フローはステップＳ１１１へ移行する。

ステップＳ１１１では、ステップＳ１１０で検出した死角領域に隣接し、ステップＳ１０７で推定した自車両の旋回状態に基づいた場所に注目領域を設定する。注目領域は、上下方向に向けて、上部、中部、下部に分割して設定する。この後、フローはステップＳ１１２へ移行する。

ステップＳ１１２では、ステップＳ１０７で推定した自車の旋回状態に基づき、飛び出しと判定する条件を設定する。この後、フローはステップＳ１１３に移行する。

ステップＳ１１３では、ステップＳ１１１で設定した注目領域の下部の移動速度情報と死角領域の移動速度情報との差異を算出し、ステップＳ１１２で設定した判定条件を満たせば、ステップＳ１１４に移行し、満たさなければ、ステップＳ１１５へ移行する。具体的には、速度情報の差異が、自車両の旋回状態に応じて設定された閾値以上であれば、ＹＥＳ判定となり、そうでなければ、ＮＯ判定となる。

ステップＳ１１４では、ステップＳ１１３で死角領域と注目領域の移動速度情報の差異が条件を満たしたため、飛び出しが発生しているものと判定する。この後、フローはステップＳ１１７へ移行する。

ステップＳ１１５では、ステップＳ１１１で設定した注目領域の上部、或いは中部に死角領域の移動速度情報と死角領域の移動速度情報の差異を算出し、ステップＳ１１２で設定した判定条件を満たせば、ステップＳ１１６に移行し、満たさなければ、ステップＳ１１７へ移行する。

ステップＳ１１６では、ステップＳ１１５で死角領域と注目領域の移動速度情報の差異が条件を満たしたので、飛び出し注意と判定する。この後、フローはステップＳ１１７へ移行する。

ステップＳ１１７では、自車両のイグニションスイッチがオフされたか否かを判断し、オフされないと判断した場合には、ステップＳ１へ戻って処理を繰り返す。これに対して、自車両のイグニションスイッチがオフされたと判断した場合には、本処理を終了する。

こうして、自車両がカーブ路を走行する際に、歩行者の飛び出しをいち早く検出することができるのである。

このようにして、第１実施形態に係る飛び出し検出装置１０では、カメラ１０１で撮像した画像から、特徴点の水平及び垂直方向の移動速度情報を算出し、算出した移動速度情報を垂直方向に比較し、同一の移動速度情報をもつ特徴点をグループ化することで、物体を検出する。そして、検出した物体の位置及び移動速度情報を蓄積し、現在の物体検出状況と過去の物体の検出状況を照らし合わせることで画像に存在する死角領域を高速且つ正確に検出することができる。

更に、自車両の旋回状態を推定し、死角領域に隣接し自車両の旋回状態に基づいた場所に注目領域を設定し、死角領域と注目領域の移動速度情報の差異を自車の旋回状態に基づいた条件で判断することで、直進、旋回時に関わらず高速、且つ高精度に飛び出し物体を判定することができる。具体的には、死角領域の移動速度情報と、注目領域内で検出される物体の移動速度情報の差異の閾値を、旋回時の方が直進時よりも大きくなるように設定する。従って、旋回時のように、速度の差異が大きく検出される場合には閾値を大きくすることにより、飛び出しに関係の無い物体の移動が飛び出しであるものと誤判定することを防止でき、反対に、直進時のように、速度の差異が相対的に小さく検出される場合には閾値を小さくすることにより、小さい速度差の飛び出しが発生した場合でもこれを確実に検出することが可能となる。

また、旋回状態推定部１０７は、自車両の操舵角に基づいて自車両走行路の消失点を推定し、更にこの消失点の画像上の位置に基づいて、旋回状態、即ち、左旋回、右旋回、或いは直進を推定するので、旋回状態を高精度に検出することができる。なお、旋回状態の推定は、例えば、ヨーレートセンサやナビゲーション装置より得られる道路情報に基づいて推定することも可能である。

また、死角検出部１０９は、現在から過去の物体の位置情報、及び移動速度情報を比較することにより死角領域を検出している。死角領域は、物体の移動速度情報の連続性が途切れる箇所であり、一方で、連続性が途切れる位置は、自車両の走行に伴って相対的に自車両に接近している。従って、現在における物体の位置情報の、連続性が途切れる位置は、過去に物体が存在した位置であるため、物体の位置情報と移動速度の履歴を参照することにより、死角を構成する物体を検出できる。即ち、物体を個別にトラッキングすることなく、死角領域の検出が可能となり、ひいては飛び出しの発生を迅速に検出できる。

更に、飛び出し判定部１１１は、自車両が左または右方向に旋回している場合には、直進している場合よりも閾値を大きく設定するので、車両の旋回状態に応じた高精度な飛び出し検出が可能となる。

また、カメラ１０１で撮像された画像に含まれる対象物のエッジ成分を抽出し、このエッジ成分を用いて物体の存在を検出するので、車両前方に存在する物体を高精度に検出することが可能となる。

更に、同一移動速度情報が垂直方向に連続して存在する場合に物体として検出するので、物体の存在を高精度に検出することができる。

また、画像中の垂直方向の移動速度情報に基づき、移動速度情報が変化する境界部を検出し、垂直上方の所定範囲内に、水平方向の移動速度に基づいて検出した物体が存在する場合には、同一物体としてグループ化することにより、物体の検出精度を向上させることができる。

また、蓄積した位置情報及び移動速度情報に基づき、過去に物体が存在し、且つ現在に物体が存在する領域を死角候補領域と抽出し、この抽出した死角候補領域に隣接し、且つ、現在において該死角候補領域と移動速度情報が近い物体が存在しない領域について、過去の位置情報と移動速度情報を参照し、過去において死角候補領域に近い移動情報を持つ場合には、この死角候補領域を死角領域として検出するので、死角領域を高精度に検出することができる。

更に、死角領域に隣接し、高さ方向に上部、中部、下部の注目領域を設定するので、注目領域に出現する物体が飛び出しであるのか否かの判定をより高精度に行うことができる。

また、飛び出し判定部１１１は、注目領域を上部、中部、下部に分割し、下部において死角領域と異なる移動速度情報が検出された際には、飛び出しと判定し、上部・中部において死角領域と異なる移動速度情報が検出された際には飛び出し注意と判定することとした。

即ち、歩行者が死角から飛び出す際には、一般的には脚部から先に現れる可能性が高いが、頭部・手などが先に現れることも想定されるため、領域を複数に分けて判定を行う。そして、下部の領域にて死角領域と異なる移動速度検出が検出された場合には、飛び出しと判定し、上部・中部にて死角領域と異なる移動速度が検出された場合には、歩行者が道路側をのぞき込んで安全を確認していることや、道路を横切るために手を挙げている場合も考えられるので、即時に飛び出しと判定せず、飛び出し注意と判定することにより、運転者に注意を喚起する。

また、物体検出部１０６は、垂直方向の速度画像から、移動速度情報の有無を参照することで、路面との境界となる物体の下端位置を検出する。水平方向の移動速度情報を基に検出した物体の下端位置は、移動速度が検出し難いため、水平方向の移動速度情報のみでは、実際の下端位置よりも上側に下端が検出されることがある。この構成によれば、垂直方向の移動速度情報により位置を更新することで、物体の下端位置を正確に検出することが可能となり、距離の検出精度も向上させることができる。

［第２実施形態の説明］
次に、本発明の第２実施形態について説明する。図１１は、第２実施形態に係る飛び出し検出装置１０ａの構成を示すブロック図である。

図１１に示すように、第２実施形態に係る飛び出し検出装置１０ａは、車両に搭載されて車両前方を撮像するカメラ（撮像部）１０１と、車両情報総括的な制御を行う制御部１００ａを備えている。また、車両情報取得部１０２を備えていない点で前述した第１実施形態と相違している。

制御部１００ａは、カメラ１０１で撮像した画像を一時的に記録する画像一時記録部１０３と、画像一時記録部１０３に記憶された画像を画像処理することで特徴点を抽出する特徴点抽出部１０４と、特徴点抽出部１０４により抽出された特徴点の画像上における速度及び方向を、移動速度情報として求め、更に該移動速度情報を移動方向別に算出する方向別移動速度情報算出部１１２と、移動速度情報算出部１０５により算出された移動速度情報に基づいて物体を検出する物体検出部１０６と、方向別移動速度情報に基づき自車両の旋回状態を推定する画像旋回状態推定部１１３と、検出した物体の位置情報及び移動速度情報を過去から現在まで蓄積する物体情報蓄積部１０８と、蓄積した位置情報及び移動速度情報に基づいて死角領域を検出する死角検出部１０９と、死角領域に隣接して所定の場所に注目領域を設定する注目領域設定部１１０と、注目領域内に死角の移動速度情報と異なる移動速度情報が検出された際に飛び出しと判定する飛び出し判定部１１１と、を備えている。

なお、制御部１００ａは、例えば、中央演算ユニット（ＣＰＵ）や、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成することができる。

カメラ１０１、画像一時記録部１０３、特徴点抽出部１０４、物体検出部１０６、物体情報蓄積部１０８、死角検出部１０９、注目領域設定部１１０、及び飛び出し判定部１１１の構成は、前述した第１実施形態と同様であるので、説明を省略する。

方向別移動速度情報算出部１１２は、前述した第１実施形態と同様に、エッジに該当する画素の投票値（カウント値）を更新する。投票値の更新方法の説明は、前述した第１実施形態と同様であるので詳細な説明を省略する。

第２実施形態では、画像から抽出される２つのエッジ画像が接近し、且つ、エッジ画像の移動方向が互いに逆向きである場合には、２つのエッジ画像の投票値が混在してしまい、各エッジ画像の移動方向を算出できなくなる場合がある。そこで、図１２に示すように、移動方向別に投票値を更新する投票部を設定し、移動方向を算出することとした。

具体的には、左向きに移動するエッジ画像の投票値を積算する左向き投票部と、右向きに移動するエッジ画像の投票値を積算する右向き投票部と、過去の移動速度方向が未検出であるエッジ画像の投票値を積算する向き無し投票部を設定し、各投票部の投票値に基づいて各エッジ画像の移動方向を算出する。

各投票部の投票について説明すると、１フレーム前（時刻ｔ）で、２つのエッジ画像についての移動方向が算出されていない場合には、図１２（ｂ）に示すように向き無投票部の投票値を更新する。その後、図１２（ｅ）に示すように、今回のフレーム（時刻ｔ+1）にて向き無し投票部の投票値を更新し、左向きの移動情報が算出されたならば、図１２（ｅ）の投票値を、左向き投票部に転送する。その結果、左向き投票部の投票値は図１２（ｄ）のようになる。

同様に、右向きの移動情報が算出されたならば、図１２（ｅ）の投票値を右向き投票部に転送する。その結果、右向き投票部の投票値は図１２（ｆ）に示すようになる。移動方向が算出された後のフレームでは、各方向別の投票部の投票値を更新することで、接近したエッジの移動速度情報を正しく算出することができる。

画像旋回状態推定部１１３は、方向別移動速度情報算出部１１２で算出した方向別移動速度情報から画像内の消失点方向を推定し、自車両の旋回状態を推定する。左方向の速度画像、及び右向きの速度画像に対し、所定のｙ座標より下部領域の水平画像位置における画素数をカウントし、方向別の画素数分布を算出する。算出した画素数分布に基づき、移動速度情報が左右に分かれる位置（消失点方向）を推定し、自車の旋回状態を推定する。

本実施例では、図１３に示すように、左右の移動速度情報から方向別の画素数分布を算出し、消失点ａ１を画像右端と推定し、自車の旋回状態を右旋回と推定する。以下、図１３を参照して、水平位置での画素の移動速度情報に基づいて消失点の位置を決定する処理について説明する。

図１３は、自車両の走行路が右側にカーブしている場合の例を示しており、図１３（ａ）に示すように、左向きの移動速度情報が検出されている。一方、図１３（ｂ）に示すように、右向きの移動速度情報は検出されていない。

その結果、左側への移動速度を有する画素は、図１３（ｃ）に示すように左から右に向けて画素数が単調に減少するように変化する。従って、この場合には、自車両は右側に旋回しているものと判断でき、消失点の位置ａ１は、画像の右側にあるものと推定される。

また、図１３（ｂ）に示すように、画素分布がほぼ中央まで減少するように変化する場合には、直進路であると判断でき、図１３（ｃ）に示すように、右から左に向けて画素数が単調に減少する場合には、自車両は左側に旋回しているものと判断できる。

次に、上述のように構成された第２実施形態に係る飛び出し検出装置１０ａの処理手順を、図１４に示すフローチャートを参照して説明する。

図１４に示す処理は、図示省略のイグニッションスイッチがオンされると、制御部１００ａによって起動されるプログラムとして実行される。ステップＳ１０１では、カメラ１０１で撮像され画像一時記録部１０３に記録された自車両前方の画像が所定の周期で特徴点抽出部１０４に出力される。この後に、フローはステップＳ１０２へ移行する。

ステップＳ１０２では、特徴点抽出部１０４が、画像一時記録部に記録された撮像された画像に対してエッジ抽出処理を行って、撮像画像内に存在する物体の輪郭を抽出した水平方向及び垂直方向エッジ画像を生成する。この後に、フローはステップＳ１０３-1へ移行する。

ステップＳ１０３-1では、ステップＳ１０２で抽出したエッジ情報と前フレームで算出した移動速度情報に基づき、方向別の投票部の各投票値を更新する。その後に、フローはステップＳ１０３-2に移行する。

ステップＳ１０３-2では、ステップＳ１０３-1で更新した方向別の投票部に基づき、エッジの方向別の移動速度情報を算出し、算出した移動速度情報を所定の階調値に変換した水平方向の速度画像及び垂直方向の速度画像を算出する。この後に、フローはステップＳ１０３-3へ移行する。

ステップＳ１０３-3では、ステップＳ１０３-2で新規に移動速度情報が算出されたエッジ位置に関係する投票値を該当する移動方向の投票部に転送する。この後に、ステップＳ１０４へ移行する。

ステップＳ１０４では、算出した水平方向の速度画像に対して、画像下部から画像上部に順に走査し、移動速度情報を比較し、垂直方向に連続して同じ移動速度情報が存在する領域を物体として抽出する。この後に、フローはステップＳ１０５に移行する。

ステップＳ１０５では、算出した垂直方向の速度画像に対して、画像下部から画像上部に順に走査し、移動速度情報を比較し、移動速度情報が存在しない領域から移動速度情報が存在する領域へ変化する境界を検出する。この後に、フローはステップＳ１０６に移行する。

ステップＳ１０６では、ステップＳ１０５で検出した垂直方向の移動速度情報を基に算出した境界位置から、水平方向の速度画像を上部に走査し、所定範囲内に物体が存在すれば、物体の下端位置を垂直方向の速度画像で検出した境界位置に更新する。この後に、フローはステップＳ１０７-1に移行する。

ステップＳ１０７-1では、方向別の速度画像に対し、所定のｙ座標下部領域における水平位置の画素数カウントを行い、移動方向別の画素数分布を算出する。この後に、フローはステップＳ１０７-2に移行する。

ステップＳ１０７-2では、移動方向別の画素数分布から移動情報が左右に分かれる位置を推定し、更に、消失点に基づいて自車両の旋回状態を推定する。この後に、フローはステップＳ１０８に移行する。

ステップＳ１０８では、速度画像を所定間隔で格子状に分割し、当該領域にステップＳ１０４で検出した物体が存在すれば、移動速度情報を保存する。その後、フローはステップＳ１０９へ移行する。

ステップＳ１０９では、ステップＳ１０８で蓄積した位置情報と移動速度情報に基づき、現在の移動速度情報に近い移動速度情報が過去に検出されたか否かを判定し、過去から現在に同様な移動速度情報が検出された領域を死角候補領域として抽出する。この後、フローはステップＳ１１０へ移行する。

ステップＳ１１０では、ステップＳ１０９で抽出した死角領域候補に隣接して、死角候補に近い移動速度情報を持つ物体が存在しない領域に対して、過去に死角候補領域に近い移動速度情報が存在すれば、死角領域として検出する。この後、フローはステップＳ１１１へ移行する。

ステップＳ１１１では、ステップＳ１１０で検出した死角領域に隣接し、ステップＳ１０７で推定した自車両の旋回状態に基づいた場所に注目領域を設定する。注目領域は、上下方向に向けて、上部、中部、下部に分割して設定する。この後、フローはステップＳ１１２へ移行する。

ステップＳ１１２では、ステップＳ１０７で推定した自車の旋回状態に基づき、飛び出しと判定する条件を設定する。この後、フローはステップＳ１１３に移行する。

ステップＳ１１３では、ステップＳ１１１で設定した注目領域の下部の移動速度情報と死角領域の移動速度情報との差異を算出し、ステップＳ１１２で設定した判定条件を満たせば、ステップＳ１１４に移行し、満たさなければ、ステップＳ１１５へ移行する。具体的には、速度情報の差異が、自車両の旋回状態に応じて設定された閾値以上であれば、ＹＥＳ判定となり、そうでなければ、ＮＯ判定となる。

ステップＳ１１４では、ステップＳ１１３で死角と注目領域の移動速度情報の差異が条件を満たしたため、飛び出しが発生しているものと判定する。この後、フローはステップＳ１１７へ移行する。

ステップＳ１１５では、ステップＳ１１１で設定した注目領域の上部、或いは中部に死角領域の移動速度情報と死角の移動速度情報の差異を算出し、ステップＳ１１２で設定した判定条件を満たせば、ステップＳ１１６に移行し、満たさなければ、ステップＳ１１７へ移行する。

ステップＳ１１６では、ステップＳ１１５で死角と注目領域の移動速度情報の差異が条件を満たしたので、飛び出し注意と判定する。この後、フローはステップＳ１１７へ移行する。

ステップＳ１１７では、自車両のイグニションスイッチがオフされたか否かを判断し、オフされないと判断した場合には、ステップＳ１へ戻って処理を繰り返す。これに対して、自車両のイグニションスイッチがオフされたと判断した場合には、本処理を終了する。

こうして、自車両がカーブ路を走行する際に、歩行者の飛び出しをいち早く検出することができるのである。

このようにして、第２実施形態に係る飛び出し検出装置１０ａでは、前述した第１実施形態と同様の効果を達成できる。これに加えて、第２実施形態では、画像に含まれる移動速度情報に基づいて自車両の旋回状態を推定している。具体的には、方向別移動速度情報算出部１１２は、移動方向別に投票値を更新し、移動方向と速度を算出している。この構成によれば、２つのエッジ画像が互いに接近して移動方向が逆向きとなる特徴点が存在する場合には、投票値が混在することを防止できるため、２つのエッジ画像の移動速度情報をそれぞれ正確に算出することができる。

また、左向き投票部、右向き投票部、及び向き無し投票部を設定し、移動速度情報が検出されていないエッジ画像については、向き無し投票部に投票し、その後移動情報が検出された場合には、この向き無し投票部の投票値を左向き投票部、或いは右向き投票部に転送して、エッジ画像の移動速度情報を求めるので、複数のエッジ画像が存在する場合であっても、各エッジ画像の投票値を左右の移動方向毎に弁別することができ、これらのエッジ画像の移動速度情報に基づいて、高精度に消失点を求めることができる。

同様に、上向き投票部、下向き投票部、及び向き無し投票部を設定し、移動速度情報が検出されていないエッジ画像については、向き無し投票部に投票し、その後移動情報が検出された場合には、この向き無し投票部の投票値を上向き投票部、或いは下向き投票部に転送して、エッジ画像の移動速度情報を求めるので、複数のエッジ画像が存在する場合であっても、各エッジ画像の投票値を上下の移動方向毎に弁別することができ、これらのエッジ画像の移動速度情報に基づいて、高精度に消失点を求めることができる。

また、画像旋回状態推定部１１３は、方向別の移動速度情報に基づき、方向別の移動速度情報の画素数分布を算出し、この画像から移動情報が左右に分かれる位置を推定し、自車両の旋回状態を推定している。従って、自車両の旋回状態と操舵角が一致しない場合であっても、画像の移動情報を用いることで、自車両の旋回状態を正しく推定することができ、ひいては飛び出しの発生を迅速、且つ高精度に検出することが可能となる。

また、移動速度情報を算出する際に、移動方向別に移動速度を算出することにより、エッジ近接による精度悪化を防止することができるため、正確に移動速度情報の算出が可能となり、自車の旋回状態推定の精度も向上することができる。

以上、本発明の飛び出し検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。

例えば、上記した各実施形態では、車両が走行する走行路の左側に存在する死角領域から物体（例えば、歩行者）が飛び出す例について説明したが、走行路の右側に死角領域を設定し、この死角領域から飛び出す物体を検出することも可能である。

本発明は、車両前方の死角から飛び出す物体を迅速且つ高精度に検出することに利用することができる。

１０，１０ａ 飛び出し検出装置
１００，１００ａ 制御部
１０１ カメラ
１０２ 車両情報取得部
１０３ 画像一時記録部
１０４ 特徴点抽出部
１０５ 移動速度情報算出部
１０６ 物体検出部
１０７ 旋回状態推定部
１０８ 物体情報蓄積部
１０９ 死角検出部
１１０ 注目領域設定部
１１１ 飛び出し判定部
１１２ 方向別移動速度情報算出部
１１３ 画像旋回状態推定部

Claims (13)

1. 自車両前方を撮像して画像を取得する撮像部と、
   撮像した画像から特徴点を抽出する特徴点抽出部と、
   特徴点を表す画素の、画像上の移動速度、及び移動方向を移動速度情報として算出する移動速度情報算出部と、
   前記移動速度情報算出部にて算出された移動速度情報に基づき、画像中に存在する物体を検出する物体検出部と、
   自車両の旋回状態を推定する旋回状態推定部と、
   前記物体検出部にて検出した物体の、位置情報及び移動速度情報を、時系列的に蓄積する物体情報蓄積部と、
   前記物体情報蓄積部に蓄積された位置情報及び移動速度情報に基づいて、前記撮像部にて撮像された画像中に存在する死角領域を検出する死角検出部と、
   前記旋回状態推定部にて推定された旋回状態に基づいて、前記死角検出部で検出された死角領域に隣接した所定の領域を、注目領域として設定する注目領域設定部と、
   前記注目領域設定部で設定された注目領域内にて、前記死角領域の移動速度情報に対し所定閾値以上の差異を有する移動速度情報の物体が検出された場合に、飛び出しが発生しているものと判定する飛び出し判定部と、を備え、
   前記飛び出し判定部は、前記旋回状態推定部にて検出された自車両の旋回状態が旋回である場合には、直進である場合よりも、前記所定閾値を大きくする
   ことを特徴とする飛び出し検出装置。
2. 前記旋回状態推定部は、自車両の操舵角に基づいて自車両走行路の消失点方向を推定し、更に、推定した消失点に基づいて自車両の旋回状態を推定することを特徴とする請求項１に記載の飛び出し検出装置。
3. 前記旋回状態推定部は、画像に含まれる移動速度情報に基づいて自車両走行路の消失点を推定し、更に、推定した消失点に基づいて自車両の旋回状態を推定することを特徴とする請求項１に記載の飛び出し検出装置。
4. 前記移動速度情報算出部は、前記特徴点抽出部で抽出された特徴点に基づいて、左右方向に所定画素数の幅を有するエッジ画像を設定し、且つ、左向き投票部、右向き投票部、及び向き無し投票部を備え、
   時系列的に取得される複数の画像について、エッジ画像が画像中の画素に存在した場合で、過去の移動速度方向が左側であるエッジ画像については、前記左向き投票部の対応画素に投票値を付与し、過去の移動速度方向が右側であるエッジ画像については、前記右向き投票部の対応画素に投票値を付与し、過去の移動速度方向が未検出であるエッジ画像については、前記向き無し投票部の対応画素に投票値を付与し、
   前記向き無し投票部に積算された投票値に対応するエッジ画像の移動速度情報が算出された場合には、この移動速度方向に基づいて、向き無し投票部に積算された投票値を前記左向き投票部、または右向き投票部に転送し、
   前記左向き投票部に積算されたデータに基づいて、左方向に移動する物体を検出し、前記右向き投票部に積算されたデータに基づいて、右方向に移動する物体を検出し、
   前記旋回状態推定部は、これらの移動情報に基づいて、消失点を求めることを特徴とする請求項３に記載の飛び出し検出装置。
5. 前記移動速度情報算出部は、前記特徴点抽出部で抽出された特徴点に基づいて、上下方向に所定画素数の幅を有するエッジ画像を設定し、且つ、上向き投票部、下向き投票部、及び向き無し投票部を備え、
   時系列的に取得される複数の画像について、エッジ画像が画像中の画素に存在した場合で、過去の移動速度方向が上側であるエッジ画像については、前記上向き投票部の対応画素に投票値を付与し、過去の移動速度方向が下側であるエッジ画像については、前記下向き投票部の対応画素に投票値を付与し、過去の移動速度方向が未検出であるエッジ画像については、前記向き無し投票部の対応画素に投票値を付与し、
   前記向き無し投票部に積算された投票値に対応するエッジ画像の移動速度情報が算出された場合には、この移動速度方向に基づいて、向き無し投票部に積算された投票値を前記上向き投票部、または下向き投票部に転送し、
   前記上向き投票部に積算されたデータに基づいて、上方向に移動する物体を検出し、前記下向き投票部に積算されたデータに基づいて、下方向に移動する物体を検出し、
   前記旋回状態推定部は、これらの移動情報に基づいて、消失点を求めることを特徴とする請求項３に記載の飛び出し検出装置。
6. 前記旋回状態推定部は、水平方向における左側移動速度情報、及び右側移動速度情報に基づいて水平方向位置の画素数の分布を算出し、移動速度情報が左右に分かれる位置を、消失点であるものと推定することを特徴とする請求項３に記載の飛び出し検出装置。
7. 前記注目領域設定部は、前記死角領域の前記消失点側に隣接した注目領域を、高さ方向に向けて上部、中部、下部の各領域に分割し、
   前記飛び出し判定部は、分割した各領域のそれぞれについて飛び出し検出の条件を変更することを特徴とする請求項２または請求項３のいずれかに記載の飛び出し検出装置。
8. 前記飛び出し判定部は、前記死角領域の移動速度情報と、前記下部の注目領域内の物体の移動速度情報の差異が前記所定閾値を上回った場合に、飛び出しが発生したものと判定することを特徴とする請求項７に記載の飛び出し検出装置。
9. 前記飛び出し判定部は、前記死角領域の移動速度情報と、前記上部または中部の注目領域内の物体の移動速度情報の差異が前記所定閾値を上回った際に、飛び出し注意と判定し、飛び出し判定を継続することを特徴とする請求項７に記載の飛び出し検出装置。
10. 前記特徴点抽出部は、対象物のエッジ成分を特徴点として抽出することを特徴とする請求項１〜請求項９のいずれか１項に記載の飛び出し検出装置。
11. 前記物体検出部は、前記撮像部で撮像された画像中の水平方向の移動速度情報に基づいて、同一移動速度情報となる領域が垂直方向に所定量連続して存在する場合に、この領域を物体として検出することを特徴とする請求項１〜請求項１０のいずれか１項に記載の飛び出し検出装置。
12. 前記物体検出部は、垂直方向の移動速度情報に基づき、移動速度情報が変化する境界部を検出し、垂直方向上方の所定範囲内に、水平方向の移動速度情報に基づいて検出した物体が存在する場合には、同一物体としてグループ化することを特徴とする請求項１１に記載の飛び出し検出装置。
13. 前記死角検出部は、前記物体情報蓄積部に蓄積した位置情報及び移動速度情報に基づき、過去に物体が存在し、且つ現在においても物体が存在する領域を死角候補領域として抽出し、
    この抽出した死角候補領域に隣接し、且つ、現在において前記死角候補領域と移動速度情報が近い物体が存在しない領域について、過去における位置情報と移動速度情報を参照し、過去において前記死角候補領域と同一或いは近い移動情報が存在する場合には、この死角候補領域を死角領域として検出することを特徴とする請求項１〜請求項１２のいずれか１項に記載の飛び出し検出装置。

Images