JP5900021B2 - 飛び出し検出装置 - Google Patents

Description

本発明は、自車両前方に存在する障害物の陰等による死角から車道側に飛び出す物体を検出する飛び出し検出装置に関する。

従来より、車両に搭載されている各種センサを用いて、歩道側から車道側に向けて飛び出す歩行者等の移動物体を検出する移動物体検出装置が提案されている。例えば、車速センサ、カメラ、レーザレーダ等のセンサから検出されるデータを取得し、死角及びバリアを検出し、飛び出し歩行者との衝突確率を推定する技術が知られている（例えば、特許文献１参照）。

特開２００７−２５７３３８号公報

従来における飛び出し歩行者の検出方法では、死角及びバリアを検出することが飛び出しを検出する条件となっている。レーザレーダから死角及びバリアを検出する場合に、スキャンデータをグループ化し、距離が連続する領域を単一障害物候補として設定し、この障害物候補をトラッキングすることにより、静止物と移動物を判別する。更に、静止物をレーザレーダのスキャン角対距離で比較すると、距離が不連続に変化する箇所は障害物が前後に重なりあった領域とみなすことができ、死角の境界として検出する。

ここで、レーザレーダで死角を検出する場合においては、レーザレーダで静止物と移動物の判定を行う必要がある。レーザレーダで判定を行う場合、複数の物体が存在することを判断する為に、数回は同一物体としてのトラッキングが必要であり、衝突までの時間が非常に短い飛び出しシーンでは、飛び出しの判定が遅れるという問題がある。また、障害物のスキャン対距離の比較により死角を判断するため、複数の物体が検出できなければ、死角は検出できないという問題がある。

また、レーザレーダにより、死角から飛び出した歩行者を検出する場合、歩行者が死角から完全に現れた状態でなければ死角と歩行者との分離ができない。更に、死角と歩行者の分離ができた後の物体の移動判定が行われるため、飛び出しの判定が遅れるという問題がある。

本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、死角から出現する物体をいち早く検出することが可能な飛び出し検出装置を提供することにある。

上記目的を達成するため、本発明は、撮像部で撮像した画像から特徴点を抽出し、抽出した特徴点に基づいて、該特徴点を表す画素の、画像上の移動速度及び移動方向を速度情報として算出する移動速度算出部を有する。更に、移動速度算出部で算出された速度情報に基づいて物体を検出する物体検出部と、自車両の走行速度、走行方向及び物体の速度情報に基づいて、自車両の進路内に向かう動き特徴を有する物体の移動速度情報を抽出する動き特徴抽出部と、自車両と動き特徴抽出部で抽出された物体との距離が所定距離になった場合に、動き特徴を有する物体の周辺を注目領域として設定する注目領域設定部と、注目領域の外部の、移動物体の動き方向と反対となる領域に、所定の死角領域の一部が存在するか否かを検出する死角領域検出部と、注目領域の車幅方向外側に近接して死角領域の一部が検出された場合には、動き特徴を有する物体を飛び出しと判定する飛び出し判定部とを備える。

本発明の飛び出し検出装置では、自車両の走行情報、静止物体の配置、及び物体の移動速度情報から背景の移動速度を推定し、また、検出した物体の移動速度と、推定した背景の移動速度を比較することにより、背景と異なる動きを持つ飛び出しの可能性がある移動物体の領域を抽出できる。更に、抽出した領域が所定距離に到達した場合に、飛び出し候補として注目領域に設定し、この注目領域の車幅方向外側に所定の条件満たす移動物体が存在すれば、死角の一部が存在すると判断し、注目領域に存在する移動物体が死角領域から飛び出したものと判断することができる。

本発明の一実施形態に係る飛び出し検出装置の構成を示すブロック図である。 本発明の一実施形態に係る飛び出し検出装置の、カメラを車両に搭載する場合の説明図である。 本発明の一実施形態に係る飛び出し検出装置の、カメラで撮像した画像の具体例を示す説明図である。 抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す説明図である。 水平及び垂直方向の速度画像の具体例を示す説明図である。 水平方向の速度情報から物体を抽出し、垂直方向の速度画像から物体の境界位置を検出し、水平方向で検出した物体の下端位置を更新する場合の具体例を示す説明図である。 検出した物体から背景の移動速度情報を推定し、飛び出しの可能性のある注目領域を設定する場合の具体例を示す説明図である。 注目領域の外側に死角の一部が検出される場合の具体例を示す説明図である。 本実施形態に係る飛び出し検出装置の処理動作を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明に係る飛び出し検出装置の構成を示すブロック図である。

図１に示す飛び出し検出装置１０は、車両に搭載されて車両前方を撮像するカメラ（撮像部）１０１と、総括的な制御を行う制御部１００を備えている。

制御部１００は、カメラ１０１で撮像した画像を一時的に記録する画像一時記録部１０２と、画像一時記録部１０２に記憶された画像を画像処理することで特徴点を抽出する特徴点抽出部１０３と、特徴点抽出部１０３により抽出された特徴点の画像上における速度及び方向を移動速度情報として算出する移動速度情報算出部１０４と、移動速度情報算出部１０４により算出された移動速度情報に基づき物体を検出する物体検出部１０５と、自車両の走行情報及び物体情報から背景の移動速度情報を推定し、背景と異なる移動速度情報を持つ領域内から自車両の進路側に向かう動き特徴を有する物体の移動速度情報を抽出する動き特徴抽出部１０６と、抽出した動き特徴を有する物体までの距離（自車両から進行方向に向く距離）が所定距離になった場合に、抽出した動き特徴を有する物体の周辺を注目領域と設定する注目領域設定部１０７と、注目領域の外側（自車両と反対側）に死角領域の一部が存在するか否かを検出する死角領域検出部１０８と、死角領域の一部が検出された場合には、抽出した動き特徴を有する物体を飛び出し物体と判定する飛び出し判定部１０９とを備えている。

カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有したカメラであり、連続的に車両前方を撮像してフレーム毎に撮像した画像を画像一時記録部１０２に出力する。カメラ１０１で撮像された画像は、画像一時記録部１０２に一時的に記録される。

図２は、車両に搭載されるカメラ１０１を示す説明図であり、（ａ）は側面図、（ｂ）は平面図を示している。図２に示すように、カメラ１０１は車両の室内上部前方中央に設置され、その光軸ＬＳは車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸Ｘ（図示省略）は路面と平行となるように設定されている。また、撮像面の垂直軸Ｙ（図示省略）は路面と垂直になるように設定されている。

図３は、カメラ１０１で撮像した画像（自車両前方の画像）の例を示す説明図である。カメラ１０１による撮像画像は、画像左上を原点として左から右へｘ軸、上から下へｙ軸とするｘ−ｙ座標系によって表される。なお、図３においては、駐車車両、外壁などの走路の境界線と、左から右へ移動する飛び出し歩行者が撮像画像に含まれている。

図１に示す特徴点抽出部１０３は、カメラ１０１で撮像された画像を画像一時記録部１０２から読み込み、読み込んだ画像を所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。

例えば、特徴点抽出部１０３は、垂直方向のエッジを抽出し（後述する図４（ａ）参照）、次に、抽出した各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの中心を正確に設定する（図４（ｂ）参照）。更に、細線化されたエッジのエッジ幅が一定の幅となるように（例えば、３画素分の幅となるように）、エッジを水平方向に拡張する（図４（ｃ）参照）。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得ることができる。同様に、水平方向のエッジを抽出し、抽出した各エッジに対して細線化処理を行い、エッジ幅が均一となるように正規化を行う。

移動速度情報算出部１０４は、まず、水平方向のエッジに該当する画素の画素カウンタのカウント値を更新する。ここで、画素カウンタとは、各画素毎に設定されたカウンタであり、画素がエッジに該当する場合に画素カウンタのカウント値が「１」加算され、画素がエッジに該当しない場合は画素カウンタのカウント値が「０」となって初期化されるカウンタである。このカウント値の更新処理を、カメラ１０１で連続的に撮像されるフレーム毎に行う。この操作により、エッジが滞在する時間が長い画素は画素カウンタのカウント値が大きくなり、エッジが滞在する時間が短い画素は画素カウンタのカウント値が小さくなる。

この画素カウンタのカウント値の変化は、エッジの移動方向と移動量を表していることになるため、このカウント値から、撮像画像上におけるエッジの移動方向と移動速度とを算出することができる。以下、詳細に説明する。

図４は、抽出したエッジを正規化して、エッジ画像を得るために行う処理の具体例を示す図である。まず、エッジ画像に対して２値化処理を行う。２値化処理とはエッジの検出された位置の画素を「１」とし、エッジの検出されなかった位置の画素を「０」とする処理である。２値化処理によって図４（ａ）に示すような２値化画像を生成する。

次に、生成された２値化画像に対して、細線化処理を行う。細線化処理とは、検出されたエッジのエッジ幅を所定画素幅になるまで縮小する処理である。図４（ｂ）では所定画素幅として１画素になるまでエッジのエッジ幅を細線化している。そして、このようにエッジを所定の画素幅になるまで細線化することによって、エッジの中心となる中心位置を設定している。ここでは、一例として１画素に細線化する場合について説明しているが、その他の画素数に細線化してもよい。

次に、細線化されたエッジのエッジ幅を膨張させる膨張処理を行う。膨張処理とは、細線化によって設定された中心位置からエッジの移動方向に向かってエッジ幅を膨張させると共に、中心位置からエッジの移動方向の反対方向についても同様にエッジ幅を膨張させる処理である。

例えば、図４（ｃ）では、エッジの中心位置ｘ０からエッジの移動方向（ｘ軸の正方向）に１画素膨張させると共に、エッジの中心位置ｘ０からエッジの移動方向と反対方向（ｘ軸の負方向）に１画素膨張させて、エッジ幅を３画素に膨張させている。

このように細線化処理と膨張処理とを行うことによって、抽出したエッジ画像のエッジ幅を、エッジの移動方向に向かって所定の幅に統一して規格化している。

次に、エッジ幅が規格化されたエッジに対してカウントアップ処理を行う。カウントアップ処理とは、エッジが検出された位置のメモリアドレスの値をカウントアップし、エッジが検出されなかった位置のメモリアドレスの値を初期化する処理である。

以下、図４（ｃ）〜（ｆ）を参照して、エッジのカウントアップ処理について説明する。ここでは簡単のために、エッジはｘ軸の正方向に移動するものとして説明する。なお、エッジはｘ軸の負方向やｙ軸方向、或いは２次元的に移動する場合も同様に説明することができる。

図４（ｃ）に示すように、エッジはあるフレームにおいて位置ｘ０にエッジの中心位置があり、その中心位置からエッジの移動方向に１画素の位置ｘ０＋１と、中心位置からエッジの移動方向と反対方向に１画素の位置ｘ０−１に膨張されている。

このような場合にエッジが検出された位置ｘ０−１、ｘ０、ｘ０＋１のカウント値が１ずつカウントアップされ、エッジが検出されなかった位置のカウント値がリセットされる。例えば、図４（ｄ）では、時刻ｔにおいて位置ｘ０−１、ｘ０、ｘ０＋１にエッジが検出されているので、それぞれの位置で１ずつカウントアップされて、位置ｘ０＋１のカウント値が１、位置ｘ０のカウント値が３、位置ｘ０−１のカウント値が５になっている。

そして、図４（ｅ）に示すように時刻ｔ＋１でもエッジが移動していないので、位置ｘ０−１、ｘ０、ｘ０＋１の各位置でエッジが検出され、位置ｘ０−１、ｘ０、ｘ０＋１のカウント値を更に１ずつカウントアップして、位置ｘ０−１のカウント値を２、位置ｘ０のカウント値を４、位置ｘ０＋１のカウント値を６としている。

更に、図４(ｆ)に示すように時刻ｔ＋２では、エッジがｘ軸の正方向に１画素シフトして位置ｘ０、ｘ０＋１、ｘ０＋２の位置でエッジが検出されている。

従って、エッジが検出された位置ｘ０、ｘ０＋１、ｘ０＋２のカウント値がカウントアップされ、エッジが検出されなかった位置ｘ０−１のカウント値がリセットされる。この結果、図４（ｆ）に示すように位置ｘ０＋２のカウント値が１、位置ｘ０＋１のカウント値が３、位置ｘ０のカウント値が５となっている。更に、エッジが検出されなかった位置ｘ０−１のカウント値はリセットされて０になっている。

このようにして、エッジが検出された位置のカウント値をカウントアップし、エッジの検出されなかった位置のカウント値をリセットしている。

図４では、カウント値を検出する位置として、エッジの中心位置（ｘ０）と、この中心位置からエッジの移動方向へ１画素の位置（ｘ０＋１）と、中心位置からエッジの移動方向と反対方向に１画素の位置（ｘ０−１）の３箇所でカウント値を検出していたが、後述するカウント値の傾きが求められれば、エッジの移動方向に対して２箇所以上であれば何箇所のカウント値を検出してもよい。

また、エッジが移動する速度に比べて、フレームレートが十分に高く設定されていれば、連続するフレーム間において、エッジは同じ位置で複数回検出される。例えば、図４の例では、位置ｘ０において時刻ｔと時刻ｔ＋１の２回エッジが検出されている。従って、エッジが検出された位置のカウント値をカウントアップしていくと、そのカウント値はその位置においてエッジが検出されている時間（フレーム数）と等しくなる。特にエッジのカウント値の中で最小のカウント値ｈは、エッジが移動してから何フレームの間、同じ位置にあるかということを表している。

次に、エッジの移動速度、移動方向及び位置を算出する。まず、カウント値の移動方向への傾きを算出し、この傾きに基づいて、エッジの移動方向、移動速度及び位置を算出する。

例えば、図４（ｅ）の場合では、位置ｘ０−１、ｘ０、ｘ０＋１のカウント値がそれぞれ６、４、２となっている。従って、位置ｘ０−１のカウント値６からｘ０＋１のカウント値２を減じることによって、カウント値の傾きを、Ｈ＝（６−２）／２＝２として算出することができる。これにより、下記（１）式が成立する。

Ｈ＝｛（エッジが位置ｘ０−１に移動してから現在までの時間）
−（エッジが位置ｘ０＋１に移動してしまった後の時間）｝
／（２画素） …（１）
（１）式により、エッジが位置ｘ０のある１画素を通過するのに要した時間（フレーム数）を算出したことになる。従って、カウント値の傾きＨはエッジが１画素移動するために何フレームを要したかを求めることになり、このカウント値の傾きＨに基づいてエッジの移動速度１／Ｈを算出することができる。

図４（ｅ）では１画素移動するのに２フレームを要したことになるので、エッジの移動速度は１／２（画素／フレーム）と算出することができる。また、エッジの移動方向は、カウント値の大小によって判断することができる。エッジが移動して新たにエッジが検出された位置のカウント値は１であり、各位置のカウント値の中では最も小さな値となる。

従って、エッジが移動する方向のカウント値は小さく、エッジが移動する方向と反対方向のカウント値は大きくなるので、これによってエッジの移動方向を判断することができる。

また、現在の位置におけるカウント値の中で最小のカウント値ｈは、エッジがその位置で検出されている時間、即ち、エッジが移動してから何フレームの間、同じ位置にあるかということを表している。

これらのことにより、エッジの位置は、エッジの中心位置をｘ０とすると、下記（２）式により求めることができる。

（エッジの位置）＝ｘ０＋ｈ／Ｈ …（２）
例えば、図４（ｆ）では、エッジの速度は１／２（画素／フレーム）で、時刻ｔ＋２の時点では１フレーム連続して同じ位置でエッジが検出されているので、時刻ｔ＋２のエッジの位置は、「１（フレーム）×｛１／２（画素／フレーム）｝＝０．５画素」だけ位置ｘ０から移動していると算出することができる。

以上から、エッジが検出された位置のカウント値をカウントアップし、カウントアップされたカウント値の傾きに基づいてエッジの移動速度及び方向を算出することができる。更に、垂直方向のエッジに対しても、図４（ａ）〜（ｆ）の処理を実施し、エッジの移動速度及び方向を算出することができる。

上記の処理にて算出した撮像画像上に存在する物体の移動速度成分を、所定の階級値で表した水平方向の速度画像及び垂直方向の速度画像を生成する。本実施形態おける水平方向の速度画像では、図５（ａ）に示す水平方向の速度画像のように、速度成分の階級値として、速度が検出された画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。

また、右へ向かう速度を黒点で表し、左へ向かう速度を白点で表すことによって移動方向を表している。即ち、図５（ａ）においては、自車両の走行路右側の外壁からは画像の右側へ向かう速度が検出されており、走行路左側の外壁及び駐車車両からは画像の左側へ向かう速度が検出されている。また、走行路左側から右側へ飛び出す歩行者は、衝突の可能性があるとすると、脚部は右側へ向かう速度が検出されている。

また、本実施形態における垂直方向の速度画像では、図５（ｂ）に示すように、水平方向の速度画像と同様に、速度成分の階級値として、速度が検出された画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、上へ向かう速度を白点で表し、下へ向かう速度を黒点で表すことによって移動方向を表している。即ち、駐車車両の静止物体の上端は、上に向かう速度が検出され、静止物体の下端は下に向かう速度が検出されている。

図１に示す物体検出部１０５は、死角や飛び出し対象となる物体を検出する。物体であれば水平方向の移動速度が同一となる領域が垂直方向に向けて連続的に存在するため、図６（ａ）に示すように画像下部から上部に向けて順に走査し、移動速度情報を比較することで物体を抽出する。具体的には、一つめの領域の移動速度を検出し、更に、その上部の領域（一つ上の領域）の移動速度を検出し、両者の移動速度が同一であれば更にその上部の移動速度を検出するという処理を繰り返すことにより、物体を検出する。本実施形態では、図６（ａ）に示すＯＢ１（ｔ）〜ＯＢ１２（ｔ）の物体が抽出されている。

また、垂直方向の移動速度においては、物体の上端及び下端位置において、移動速度が存在するため、図６（ｂ）に示すように、画像下部から上部に走査し、移動速度情報を比較することで、移動速度情報が存在しない領域から移動速度情報が存在する領域へ変化する境界を検出する。図６（ｂ）の例では、例えばＯＢ２（ｔ）の上端の白丸、及び下端の黒丸が境界として検出される。そして、検出した境界から、水平方向の速度画像を上部に走査し、所定範囲内に物体が存在すれば、同一物体として、物体の下端位置を垂直方向の速度画像で検出した境界位置へ更新する。本実施形態では、ＯＢ２（ｔ）、ＯＢ３（ｔ）、ＯＢ５（ｔ）の下端位置を更新している。

図１に示す動き特徴抽出部１０６は、まず物体の位置と移動速度情報、及び自車両の走行情報に基づいて背景の移動速度情報を推定する。具体的には、自車両の走行情報から自車両の進路方向を推定し、自車両の進路方向に沿った物体の移動速度情報から、背景の移動速度情報を推定する。本実施形態では、左右の外壁及び駐車車両の移動速度情報から、外壁及び駐車車両周辺の背景の移動速度情報を推定する。

図７に示すように、推定した移動速度情報は点線の丸型の点印（例えば、ｑ１，ｑ２等）で示している。更に、検出した物体の移動速度情報とその位置における推定した背景速度を比較し、背景と異なり、自車両の進路内（画像中の左右方向）に向かう速度情報を持つ物体の領域を抽出する。ここで、自車両の進路内に向かう移動速度情報は、自車両との衝突の可能性のある場合の移動速度情報を示しており、水平方向の速度画像の向きが進路方向（画像中の右方向）に向かう方向のみを抽出するのではない。本実施形態では、ＯＢ５（ｔ）を飛び出しの可能性がある動き特徴を有する物体として抽出する。

図１に示す注目領域設定部１０７は、抽出した動き特徴を有する物体が所定距離（進路方向（画像中の上下方向）に向く自車両と間の距離）になったか否かを判定し、所定距離になった場合には、抽出した動き特徴周辺を注目領域と設定する。本実施形態では、抽出した動き特徴の物体ＯＢ５（ｔ）の下端位置からカメラパラメータを用いて距離を算出し、この物体までの距離が所定距離となったため、注目領域と設定している。

死角領域検出部１０８は、図８に示すように、注目領域（図８のＯＢ５（ｔ））の外側（車両走行路と反対側）に所定の死角領域の一部が存在するか否かを検出する。まず、注目領域から自車両の走行進路と逆側となる方向に、所定高さの物体の存在有無、及び注目領域の垂直下側に移動速度情報と同一方向の移動速度を持つ物体の有無を調べ、存在状況を点数化する。

この際、ＯＢ５（ｔ）が存在する注目領域からの距離に応じて重みをつけて点数化する。本実施形態では、ＯＢ５（ｔ）が存在する注目領域から左側の第１所定距離（短い距離）までの範囲内に所定高さの物体が存在すれば、点数を「３」加算し、所定高さの物体が存在しない、或いは、注目領域の下側に注目領域と同一の移動速度情報を持つ物体が存在すれば、点数を「３」減算する。

ここで、注目領域の下側に注目領域と同一の移動速度情報を持つ物体が存在する場合に点数を減算する理由は、このような場合においては、この注目領域は、車両の挙動によって生じた白線や縁石の移動速度情報の可能性があるので、減点の対象としている。

また、ＯＢ５（ｔ）が存在する注目領域から左側に第２所定距離（上記の第１所定距離よりも長い距離）だけ離れた所定の範囲内に範囲内に所定高さの物体が存在すれば、点数を「１」加算し、所定高さの物体が存在しない、或いは、注目領域の下側に注目領域と同一の移動速度情報を持つ物体が存在すれば、点数を「１」減算する。そして、これらの物体有無を点数化し、点数が所定値以上であれば死角検出を継続し、所定値以下であれば、注目領域周辺には、死角の一部が存在しないと判断し、死角検出を終了する。

次に、注目領域から自車進路方向（画像中の右側）に、所定高さの物体の存在有無及び注目領域の下端より上方に移動速度情報と同一方向の移動速度を持つ物体の有無を調べ、存在状況の点数化する。本実施例では、ＯＢ５（ｔ）が存在する注目領域から右側の近傍の所定距離までの範囲内に所定高さの物体が存在しなければ、点数を「１」加算し、所定高さの物体が存在する、或いは、注目領域の下端から上方に注目領域と同一の移動速度情報を持つ物体が存在すれば、点数を「１」減算する。注目領域の自車進路方向と反対側の点数との合計が所定値以上であれば、死角の一部が存在すると判断し、点数が所定値未満であれば、死角の一部は存在しないと判断する。

図１に示す飛び出し判定部１０９は、注目領域の周辺に死角の一部が検出された場合には、死角からの飛び出し物体が存在すると判断する。本実施例では、図８に示す物体ＯＢ５（ｔ）を飛び出し物体と判定する。つまり、自車両の走行進路に対して左右方向に移動する物体が検出され、更に、この物体の近傍に死角領域の一部が存在すると判断される場合には、この物体は死角からの飛び出し物体であると判断する。

次に、上記のように構成された本実施形態に係る飛び出し検出装置１０の処理動作を、図９に示すフローチャートを参照して説明する。図１０に示す処理は図示省略のイグニションスイッチがオンされると、制御部１００によって起動されるプログラムとして実行される。

初めに、ステップＳ１０１において、カメラ１０１で撮像され画像一時記録部１０２に記録された自車両前方の画像が所定の周期で特徴点抽出部１０３に出力される。この後に、フローはステップＳ１０２へ移行する。

ステップＳ１０２において、特徴点抽出部１０３は、画像一時記録部１０２に記録されている画像に対してエッジ抽出処理を行って、撮像した画像内に存在する物体の輪郭を抽出した水平方向及び垂直方向エッジ画像を生成する。この後に、フローはステップＳ１０３へ移行する。

ステップＳ１０３において、上述した手法により画像の各画素に含まれるエッジの移動速度情報を算出し、算出した移動速度情報を所定の階調値に変換した水平方向の速度画像及び垂直方向の速度画像を算出する。この後に、フローはステップＳ１０４へ移行する。

ステップＳ１０４において、算出した水平方向の速度画像に対して、画像下部から画像上部に順に走査し、速度情報を比較し、垂直方向に連続して同じ移動速度情報の画素が存在する領域を物体として抽出する。この後に、フローはステップＳ１０５に移行する。

ステップＳ１０５において、算出した垂直方向の速度画像に対して、画像下部から画像上部に順に走査し、移動速度情報を比較し、移動速度情報が存在しない領域から移動速度情報が存在する領域へ変化する境界を検出する。この後に、フローはステップＳ１０６に移行する。

ステップＳ１０６において、ステップＳ１０５の処理で検出した垂直方向の移動速度情報を基に算出した境界位置から、水平方向の速度画像を上部に走査し、所定範囲内に物体が存在すれば、物体の下端位置を垂直方向の速度画像で検出した境界位置に更新する。この後に、フローはステップＳ１０７に移行する。

ステップＳ１０７において、ステップＳ１０４の処理で検出した物体の位置と移動速度情報及び自車両の走行情報に基づき、背景の移動速度を推定する。その後、フローはステップＳ１０８へ移行する。

ステップＳ１０８において、ステップＳ１０４で検出した物体の移動速度情報とステップＳ１０７で推定した背景の移動速度情報を比較し、背景と異なり、且つ、自車両の走行路側に向かう移動速度情報と判定した場合には、飛び出しの可能性のある動き特徴を有する物体として抽出する。この後、フローはステップＳ１０９へ移行する。

ステップＳ１０９において、ステップＳ１０８の処理で抽出した動き特徴となる物体の下端位置とカメラパラメータを用いて、自車両からこの物体までの距離を算出し、自車両との間の距離（走行方向に向く距離）が所定値以内であれば、この物体を含む領域を注目領域と判定する。この後、フローはステップＳ１１０へ移行する。

ステップＳ１１０において、注目領域周辺の物体情報に基づき、死角の一部が存在するか否かを判定する。死角の一部が存在すれば、ステップＳ１１１に移行し、死角の一部が存在しなければ、ステップＳ１１２へ移行する。

ステップＳ１１１では、ステップＳ１１０の処理で死角の一部が検出されたと判断したので、ステップＳ１０９の処理で抽出した注目領域に存在する物体を飛び出し物体と判定する。この後、フローはステップＳ１１２へ移行する。

ステップＳ１１２では、自車両のイグニションスイッチがオフされたか否かを判断し、オフされないと判断した場合には、ステップＳ１０１へ戻って処理を繰り返す。これに対して、自車両のイグニションスイッチがオフされたと判断した場合には、処理を終了する。

このようにして、本実施形態に係る飛び出し検出装置では、カメラ１０１で撮像した画像から移動速度情報を算出し、算出した移動速度情報から物体を検出し、その物体が背景の動きと異なり、自車両の進路方向に向かう動きと判断され、その動き特徴を有する物体の周辺に死角の一部が存在する場合には、その動き特徴を有する物体を飛び出し物体と判断する。即ち、飛び出しは遮蔽物となる死角から急に現れる物体であり、本実施形態では、飛び出しの発生を確実に検出することができる。また、従来より用いられているトラッキングを行うことなく、飛び出しを判定するので迅速、且つ高精度に飛び出しを判断することができる。

また、前記物体検出部１０５は、垂直方向の速度画像に基づいて移動速度情報の有無を参照することで、路面との境界となる物体の下端位置を検出する。水平方向の移動速度情報を基に検出した物体の下端位置は、移動速度を検出し難いため、水平方向の移動速度情報のみでは、実際の下端位置よりも上側に下端が検出されることがある。そこで、垂直方向の移動速度情報により物体位置を更新することで、物体の下端位置を正確に検出することが可能となり、ひいては距離の検出精度を向上させることができる。

また、死角領域検出部１０８は、注目領域の外側に所定高さの物体が存在するか否かの情報、及び注目領域の移動速度と同一方向の移動速度情報の物体が存在するか否かの情報により、死角の一部を検出している。従って、死角が存在する場合には、注目領域の自車走行路の反対側（例えば左側）に、ある程度の高さを有する物体が所定幅存在し、自車走行路側（例えば右側）には高さのある物体は存在しないことから、注目領域の距離に応じて点数化する際の重みを加えることで、正確に死角を判断することができる。

更に、注目領域の下端位置の下方、及び上方に注目領域と同一方向の移動速度情報が存在する場合には、注目領域は、車両挙動によって生じた白線や縁石の移動速度情報の可能性があるため、減点対象に入れ、飛び出し物体のみを検出するようにした。従って、注目領域の検出精度を向上させることができる。

また、カメラ１０１で撮像された画像に含まれる対象物のエッジ成分を抽出し、このエッジ成分を用いて物体の存在を検出するので、車両前方に存在する物体を高精度に検出することが可能となる。

更に、同一速度情報が垂直方向に連続して存在する場合に物体として検出するので、物体の存在を高精度に検出することができる。

また、画像中の垂直方向の移動速度情報に基づき、移動速度情報が変化する境界部を検出し、垂直上方の所定範囲内に、水平方向の移動速度に基づいて検出した物体が存在する場合には、同一物体としてグループ化することにより、物体の検出精度を向上させることができる。

更に、動き特徴抽出部１０６で抽出した物体情報に基づき、背景となる移動速度情報を推定し、この背景と異なる移動速度情報を有する領域を特徴部として抽出するので、自車両前方に存在する飛び出しの可能性のある物体を高精度に検出することができる。

また、前記死角領域検出部１０８は、注目領域の外側の所定高さ以上の物体の有無、及び動き特徴抽出部の移動速度との差異を点数化し、点数が所定値以上である場合に、この注目領域の近傍に死角領域が存在すると判定するので、注目領域を高精度に検出することができる。
更に、注目領域からの距離に応じ点数化の重みを変更することにより、死角領域をより高精度に検出することができ、飛び出し物体の検出精度を向上させることができる。

以上、本発明の飛び出し検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。

本発明は、車両前方の死角から飛び出す物体を迅速かつ高精度に検出することに利用することができる。

１０ 飛び出し検出装置
１００ 制御部
１０１ カメラ（撮像部）
１０２ 画像一時記録部
１０３ 特徴点抽出部
１０４ 移動速度情報算出部
１０５ 物体検出部
１０６ 動き特徴抽出部
１０７ 注目領域設定部
１０８ 死角領域検出部
１０９ 飛び出し判定部

Claims (7)

1. 自車両前方の画像を撮像する撮像部と、
   撮像した画像から特徴点を抽出する特徴点抽出部と、
   特徴点を表す画素の、画像上の移動速度及び移動方向を速度情報として算出する移動速度算出部と、
   前記移動速度算出部で算出された速度情報に基づいて、前記特徴点を表す画素からなり、自車両に対して相対的に移動する物体を検出する物体検出部と、
   自車両の走行方向と走行速度、及び前記物体検出部で検出される物体の速度情報に基づき、自車両の進路側に向かう動き特徴を有する移動物体の移動速度情報を抽出する動き特徴抽出部と、
   自車両と、前記動き特徴抽出部で抽出された移動物体との距離が所定距離になった場合に、前記動き特徴を有する移動物体の画素周辺を注目領域として設定する注目領域設定部と、
   前記注目領域の外部の、前記移動物体の動き方向と反対となる領域に、前記物体検出部で検出される物体を隠す領域である死角領域の一部が存在するか否かを検出する死角領域検出部と、
   前記死角領域検出部にて、前記死角領域の一部が存在することが検出された際に、前記動き特徴を有する移動物体を飛び出しと判定する飛び出し判定部と、
   を備えることを特徴とする飛び出し検出装置。
2. 前記特徴点抽出部は、対象物のエッジ成分を抽出することを特徴とする請求項１に記載の飛び出し検出装置。
3. 前記物体検出部は、前記撮像部で撮像された画像中の水平方向の移動速度情報に基づいて、同一移動速度情報となる領域が垂直方向に所定量連続して存在する場合に、この領域を物体として検出することを特徴とする請求項１に記載の飛び出し検出装置。
4. 前記物体検出部は、垂直方向の移動速度情報に基づき、移動速度情報が変化する境界部を検出し、垂直上方の所定範囲内に、水平方向の移動速度に基づいて検出した物体が存在する場合には、同一物体としてグループ化することを特徴とする請求項１〜請求項３のいずれか１項に記載の飛び出し検出装置。
5. 前記動き特徴抽出部は、検出した物体情報に基づき、背景となる移動速度情報を推定し、この背景と異なる移動速度情報を有する領域を、動き特徴を有する物体として抽出することを特徴とする請求項１〜請求項４のいずれか１項に記載の飛び出し検出装置。
6. 前記死角領域検出部は、前記注目領域の外部に移動物体が存在する場合には、この移動物体が所定高さ以上であるか否かの情報、及びこの移動物体の移動速度と前記背景となる移動速度との差異の情報を点数化し、この点数が所定値以上である場合に、この移動物体の動き方向と反対となる領域に死角領域の一部が存在するものと判定することを特徴とする請求項５に記載の飛び出し検出装置。
7. 前記死角領域検出部は、前記注目領域の外部の、前記移動物体の動き方向と反対となる領域に、前記物体検出部で検出される物体を隠す領域が存在する際に、この物体を隠す領域と前記注目領域との間の距離に応じて、前記点数化の重みを変更して、前記死角領域の一部が存在するか否かを判定することを特徴とする請求項６に記載の飛び出し検出装置。

Images