WO2012164804A1 - 物体検出装置、物体検出方法および物体検出プログラム - Google Patents

Abstract

　物体検出装置（１０）は、車両周辺を撮影した入力映像を、この入力映像から画像特徴を抽出した特徴映像に変換する映像変換部（２０）と、車両からの距離に基づいて、特徴映像から距離毎に異なる領域を抽出して合成する距離別映像抽出合成部（３０）と、合成映像を走査して第一の物体検出処理を行う第一物体検出部（４０）と、第一物体検出処理の結果から物体候補位置を求める物体候補位置指定部（５０）と、物体候補位置に対して第二の物体検出処理を行う第二物体検出部（６０）と、第二物体検出部の結果から物体位置を特定する物体位置特定部（７０）とを備える。これにより、検出性能を低下させずに、車両周辺の物体を高速で検出することができる。

Description

物体検出装置、物体検出方法および物体検出プログラム

　本発明は、物体検出装置、物体検出方法および物体検出プログラムに関し、特に、車両周辺に存在する歩行者等の物体を検出可能な物体検出装置、物体検出方法および物体検出プログラムに関する。

　近年、自動車の安全運転を支援する目的で、車載カメラが普及してきている。例えば、車載カメラ（撮像装置）は、車両の前方部分や後方部分に設置され、車両周辺の映像を撮影する。撮影された映像は、運転席に設置したディスプレイに表示される。これにより、運転手は、車両の走行時に、車両周辺に存在する歩行者等の物体の有無を確認することができる。

　また、車両周辺の映像を単にディスプレイに表示するのではなく、歩行者等の物体をあらかじめ何らかの手段で検出しておき、検出結果の情報を映像に付加したうえで表示したり、音声による警告を発したりすることで、運転手の注意を喚起する取組みもなされている。

　歩行者等の物体を検出する手段としては、例えば、熱源や距離を関知するセンサを、車載カメラとは別に搭載するものが、これまでの主流であった。しかし、別センサの搭載には、コストや汎用性の点でデメリットがあり、車載カメラの映像だけで物体を検出する画像認識手段の実用化が望まれている。

　画像認識による物体検出手法として、研究分野においては、以前より、映像中のエッジ特徴を利用する手法が有効とされている。また、検出対象物体の映像をあらかじめ大量に学習して、統計データとして活用するブースティング手法が確立されている。エッジ特徴を利用する手法とブースティング手法とを組み合わせた物体検出手法は、研究分野においては、検出精度の点で既に実用レベルに至っている。

　しかし、実用化の点からは、上記の画像認識による物体検出手法には、処理時間に係る課題が残されている。画像認識の場合、映像処理が複雑であり、かつ、映像上を一通り走査する必要があるため、映像１フレームにおける物体検出結果を得るまでに時間がかかる。このため、カメラのフレームレートに対して物体検出処理のフレームレートが低くなるという問題や、映像に対して物体検出結果を得るまでの遅延時間が生ずるという問題があった。

　このような処理時間に係る課題に対して、特許文献１に記載の物体検出装置では、入力画像を縮小した縮小画像を作成し、まず縮小画像上で物体の有無を粗く検出し、縮小画像上で物体を検出したときだけ元の大きさの入力画像で再度検出処理をかける二段階検出を行う技術が開示されている。これにより、実質的には縮小画像サイズでの走査になるので、検出処理の高速化を図ることができる。

　しかしながら、特許文献１に記載の方法では、縮小画像を使って検出処理を行っているために、物体検出処理で利用している画像特徴が縮小化によって失われてしまう。このため、特に物体検出対象が元々映像上で小さく撮像されている場合において、検出性能が十分に発揮できないという課題があった。物体検出対象が小さく撮像される要因としては、検出対象物体が元々小さいものを対象としていること、または、検出対象物体がカメラから距離が遠い位置に存在していること、のいずれか一方、もしくは両方の要因が考えられる。このとき、前者の場合には、検出対象とする物体によっては検出精度が十分に得られず、後者の場合には、検出できる物体までの距離範囲が短縮化するという弊害を生じていた。

特開２００７－２６５３９０号公報

　本発明は、上記背景の下でなされたものである。本発明の目的は、物体検出を画像認識だけで行いながら、検出性能を犠牲にすることなく、検出処理時間を高速化することが可能な物体検出装置及び方法、並びにプログラムを提供することにある。

　本発明の一の態様は、車両から撮影した車両周辺の映像を入力映像として、入力映像から車両付近の物体を検出する物体検出装置であって、この物体検出装置は、入力映像を、入力映像から画像特徴を抽出した特徴映像へと変換する映像変換部と、車両からの距離に基づいて、特徴映像から、距離毎に異なる領域を距離別映像として抽出し、距離別映像を用いた合成映像を合成する距離別映像抽出合成部と、距離別映像抽出合成部で合成した合成映像を走査して、合成映像から検出される物体の合成映像上の位置を求める第一の物体検出処理を行う第一物体検出部と、第一物体検出部で検出された物体の合成映像上の位置に基づいて、距離別映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定部と、物体候補位置指定部で求めた物体候補位置に対して、距離別映像において対応する物体位置を特定する第二の物体検出処理を行う第二物体検出部と、第二物体検出部で求めた物体位置に基づいて、入力映像における物体位置を特定する物体位置特定部と、を備えている。

　本発明の別の態様は、車両から撮影した車両周辺の映像を入力映像として、入力映像から車両付近の物体を検出する物体検出方法であって、この物体検出方法は、入力映像を、入力映像から画像特徴を抽出した特徴映像へと変換する映像変換ステップと、車両からの距離に基づいて、特徴映像から、距離毎に異なる領域を距離別映像として抽出し、距離別映像を用いた合成映像を合成する距離別映像抽出合成ステップと、距離別映像抽出合成ステップで合成した合成映像を走査して、合成映像から検出される物体の合成映像上の位置を求める第一の物体検出処理を行う第一物体検出ステップと、第一物体検出ステップで検出された物体の合成映像上の位置に基づいて、距離別映像において物体が存在する可能性がある物体候補位置を求める物体候補位置検出ステップと、物体候補位置検出ステップで求めた物体候補位置に対して、距離別映像において対応する物体位置を特定する第二の物体検出処理を行う第二物体検出ステップと、第二物体検出ステップで求めた物体位置に基づいて、入力映像における物体位置を特定する物体位置特定ステップと、を含んでいる。

　本発明の別の態様は、車両から撮影した車両周辺の映像を入力映像として、入力映像から車両付近の物体を検出する物体検出プログラムであって、この物体検出プログラムは、コンピュータに、入力映像を、入力映像から画像特徴を抽出した特徴映像へと変換する映像変換機能と、車両からの距離に基づいて、特徴映像から、距離毎に異なる領域を距離別映像として抽出し合成する距離別映像抽出合成機能と、距離別映像抽出合成機能で合成した合成映像を走査して第一の物体検出処理を行う第一物体検出機能と、第一物体検出機能で物体が検出された合成映像上の位置に基づいて、距離別映像において物体が存在する可能性がある物体候補位置を求める物体候補位置検出機能と、物体候補位置検出機能で求めた物体候補位置に対して第二の物体検出処理を行い距離別映像における物体位置を特定する第二物体検出機能と、第二物体検出機能で求めた物体位置に基づいて、入力映像における物体位置を特定する物体位置特定機能と、を実現させる。

　以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。

図１は、本発明の一実施形態に係る物体検出装置の構成を示すブロック図 図２（ａ）は、身長２００ｃｍの歩行者が距離Ａｍ地点に存在する一例を示す説明図　図２（ｂ）は、身長２００ｃｍの歩行者が距離Ｂｍ地点に存在する一例を示す説明図　図２（ｃ）は、身長２００ｃｍの歩行者が距離Ｃｍ地点に存在する一例を示す説明図　図２（ｄ）は、身長１００ｃｍの歩行者が距離Ａｍ地点に存在する一例を示す説明図　図２（ｅ）は、身長１００ｃｍの歩行者が距離Ｂｍ地点に存在する一例を示す説明図　図２（ｆ）は、身長１００ｃｍの歩行者が距離Ｃｍ地点に存在する一例を示す説明図 図３（ａ）は、身長２００ｃｍの歩行者が距離Ａｍ地点に存在するときの撮像領域を示す説明図　図３（ｂ）は、身長２００ｃｍの歩行者が距離Ｂｍ地点に存在するときの撮像領域を示す説明図　図３（ｃ）は、身長２００ｃｍの歩行者が距離Ｃｍ地点に存在するときの撮像領域を示す説明図　図３（ｄ）は、身長１００ｃｍの歩行者が距離Ａｍ地点に存在するときの撮像領域を示す説明図　図３（ｅ）は、身長１００ｃｍの歩行者が距離Ｂｍ地点に存在するときの撮像領域を示す説明図　図３（ｆ）は、身長１００ｃｍの歩行者が距離Ｃｍ地点に存在するときの撮像領域を示す説明図 図４は、距離Ａｍの地点に身長２００ｃｍと１００ｃｍの歩行者が存在するときの撮像領域を比較する説明図 図５（ａ）は、Ａｍ地点に対応するＡｍ映像の一例を示す説明図　図５（ｂ）は、Ｂｍ地点に対応するＢｍ映像の一例を示す説明図　図５（ｃ）は、Ｃｍ地点に対応するＣｍ映像の一例を示す説明図 図６（ａ）は、Ａｍ映像の拡縮前と拡縮後の一例を示す説明図　図６（ｂ）は、Ｂｍ映像の拡縮前と拡縮後の一例を示す説明図　図６（ｃ）は、Ｃｍ映像の拡縮前と拡縮後の一例を示す説明図 図７は、距離別映像の中心位置合わせの一例を示す説明図 図８は、距離別映像の重なり枚数の一例を示す説明図 図９（ａ）は、Ａｍ映像の合成数と画像特徴量の一例を示す図　図９（ｂ）は、Ｂｍ映像の合成数と画像特徴量の一例を示す図　図９（ｃ）は、Ｃｍ映像の合成数と画像特徴量の一例を示す図 図１０（ａ）は、Ａｍ映像の合成係数の一例を示す図　図１０（ｂ）は、Ｂｍ映像の合成係数の一例を示す図　図１０（ｃ）は、Ｃｍ映像の合成係数の一例を示す図 図１１（ａ）は、入力映像の一例を示す図　図１１（ｂ）は、Ａｍ映像の一例を示す図　図１１（ｃ）は、Ｂｍ映像の一例を示す図　図１１（ｄ）は、Ｃｍ映像の一例を示す図　図１１（ｅ）は、合成映像の一例を示す図 図１２は、合成映像上で正しく正規化された歩行者の一例を示す説明図 図１３（ａ）は、身長１００ｃｍを対象とした合成映像からの切り出しの一例を示す説明図　図１３（ｂ）は、切り出し後の合成映像を拡大する一例を示す説明図 図１４は、合成映像上での画像特徴量のカウント走査の一例を示す図 図１５（ａ）は、入力映像の一例を示す説明図　図１５（ｂ）は、合成映像上で第一部物体検出処理を行った検出結果の一例を示す説明図　図１５（ｃ）は、Ａｍ映像上において物体候補位置を指定した一例を示す説明図　図１５（ｄ）は、Ｂｍ映像上において物体候補位置を指定した一例を示す説明図　図１５（ｅ）は、Ｃｍ映像上において物体候補位置を指定した一例を示す説明図 図１６（ａ）は、Ａｍ映像における物体検出結果の一例を示す説明図　図１６（ｂ）は、Ｂｍ映像における物体検出結果の一例を示す説明図　図１６（ｃ）は、Ｃｍ映像における物体検出結果の一例を示す説明図 図１７（ａ）は、入力映像上での距離別映像の抽出座標の一例を示す説明図　図１７（ｂ）は、距離別映像上での検出座標の一例を示す説明図　図１７（ｃ）は、入力映像上での検出座標の一例を示す説明図

　以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。

　本発明の物体検出装置は、車両から撮影した車両周辺の映像を入力映像として、入力映像から車両付近の物体を検出する物体検出装置であって、入力映像を、入力映像から画像特徴を抽出した特徴映像へと変換する映像変換部と、車両からの距離に基づいて、特徴映像から、距離毎に異なる領域を距離別映像として抽出し、距離別映像を用いた合成映像を合成する距離別映像抽出合成部と、距離別映像抽出合成部で合成した合成映像を走査して、合成映像から検出される物体の合成映像上の位置を求める第一の物体検出処理を行う第一物体検出部と、第一物体検出部で検出された物体の合成映像上の位置に基づいて、距離別映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定部と、物体候補位置指定部で求めた物体候補位置に対して、距離別映像において対応する物体位置を特定する第二の物体検出処理を行う第二物体検出部と、第二物体検出部で求めた物体位置に基づいて、入力映像における物体位置を特定する物体位置特定部と、を備える構成を有する。

　この構成によれば、入力映像の画像特徴を損なわないので、検出性能を犠牲にせずに検出処理時間を高速化することが可能な物体検出装置を提供することが可能になる。

　本発明の物体検出装置においては、映像変換部が、画像特徴としてエッジ特徴を抽出することが好ましい。この構成により、入力映像を、物体検出処理で用いるエッジ特徴だけを残した映像に変換することができる。

　本発明の物体検出装置においては、距離別映像抽出合成部が、車両からの距離に基づいて、特徴映像から抽出する領域の大きさを変更することが好ましい。この構成により、車両からの距離によって映像上で異なる大きさとして撮像される検出対象物体の大きさに対応して、物体検出を行うことができる。

　本発明の物体検出装置においては、距離別映像抽出合成部が、全ての距離別映像の垂直サイズが等しくなるよう、距離毎に抽出した映像を拡縮することが好ましい。この構成により、車両からの距離によって映像上で異なる大きさとして撮像される検出対象物体の大きさを等しくすることができるので、物体検出処理が簡易となる。

　本発明の物体検出装置においては、距離別映像抽出合成部が、距離別映像の水平中心軸および垂直中心軸の位置を合わせて合成することが好ましい。この構成により、合成映像の中心位置が全ての距離別映像で揃うので、検出物体の位置把握が容易になる。また、合成映像のサイズが全ての距離別映像の合計サイズよりも小さくなるので、物体検出処理を高速化できる。

　本発明の物体検出装置においては、距離別映像抽出合成部が、距離別映像をαブレンディングで合成することが好ましい。この構成により、合成係数を調整することよって、合成映像における各距離別映像の影響度を調整することができる。

　本発明の物体検出装置においては、距離別映像抽出合成部が、距離別映像の合成数に応じて、部分的にαブレンディングの合成係数を調整して合成することが好ましい。この構成により、合成映像上において合成される距離別映像の合成数が異なる場合に、合成映像にした段階で、部分的に最適な画像特徴を保持した状態とすることができる。

　本発明の物体検出装置においては、距離別映像抽出合成部が、距離別映像に含まれる画像特徴量に応じて、αブレンディングの合成係数を調整して合成することが好ましい。この構成により、画像特徴が多く含まれる距離別映像の合成係数を高めることで、合成映像にしたときに画像特徴を保持した状態とすることができる。

　本発明の物体検出装置においては、第一物体検出部の、物体検出処理において検出対象とする物体の垂直サイズが、合成映像の垂直サイズと等しいことが好ましい。この構成により、検出対象処理における物体検出走査を簡易にすることができる。

　本発明の物体検出装置においては、第一物体検出部が、合成映像上を水平方向だけに走査して物体検出処理を行うことが好ましい。この構成により、物体検出の走査数を削減できるので物体検出処理を高速化できる。

　本発明の物体検出装置においては、第一物体検出部が、合成映像の下端部に接する領域を切り出して、切り出した領域の垂直サイズを合成映像の垂直サイズと等しくなるように拡大した拡大合成映像を生成する合成映像切出拡大部を備えることが好ましい。この構成により、検出対象物体の大きさの違い（例えば、歩行者の身長の違い）に対応する際に、物体の下端部が必ず合成映像の下端部に接しているとの前提を利用できるので、物体が存在しえない映像上の領域を走査対象にすることがないため、物体検出処理を高速化することができる。また、切り出した合成映像の大きさを切り出す前の合成映像の大きさに合わせるので、物体検出処理について検出対象物体の映像上の大きさを考慮する必要がないというメリットがある。

　本発明の物体検出装置においては、第一物体検出部が、拡大合成映像に対して物体検出処理を行うことが好ましい。この構成により、検出対象物体の大きさの違い（例えば、歩行者の身長の違い）に対応することができる。

　本発明の物体検出装置においては、第一物体検出部が、拡大合成映像上を水平方向だけに走査して物体検出処理を行うことが好ましい。この構成により、物体検出の走査数を削減できるので、物体検出処理を高速化できる。

　本発明の物体検出装置においては、第一物体検出部が、物体検出を行う検出判定基準を第二物体検出部とは別々に調整可能であって、かつ、第二物体検出部よりも物体であると判定しやすくなるように検出基準が調整されていることが好ましい。この構成により、第一物体検出部では検出を粗く、すなわち、検出しやすくして、合成映像上における検出漏れを防止し、第二物体検出部で検出物体が存在することを厳密に判断して、誤検出を防ぐことができる。

　本発明の物体検出装置においては、第一物体検出部が、合成映像上で画像特徴が存在する部分だけを対象として、第一の物体検出処理を行うことが好ましい。この構成により、検出物体が存在しえない箇所を走査することがなくなるので、検出処理を高速化することができる。

　本発明の物体検出装置においては、物体位置特定部が、第二物体検出部で検出された距離別映像上の物体位置に基づいて、車両から検出された物体までの距離を求めることが好ましい。この構成により、検出対象物体の有無を検出すると同時に物体までの距離情報が得られるので、検出結果に基づく警告等に有用である。

　本発明の物体検出方法は、車両から撮影した車両周辺の映像を入力映像として、入力映像から車両付近の物体を検出する物体検出方法であって、入力映像を、入力映像から画像特徴を抽出した特徴映像へと変換する映像変換ステップと、車両からの距離に基づいて、特徴映像から、距離毎に異なる領域を距離別映像として抽出し、距離別映像を用いた合成映像を合成する距離別映像抽出合成ステップと、距離別映像抽出合成ステップで合成した合成映像を走査して、合成映像から検出される物体の合成映像上の位置を求める第一の物体検出処理を行う第一物体検出ステップと、第一物体検出ステップで検出された物体の合成映像上の位置に基づいて、距離別映像において物体が存在する可能性がある物体候補位置を求める物体候補位置検出ステップと、物体候補位置検出ステップで求めた物体候補位置に対して、距離別映像において対応する物体位置を特定する第二の物体検出処理を行う第二物体検出ステップと、第二物体検出ステップで求めた物体位置に基づいて、入力映像における物体位置を特定する物体位置特定ステップと、を含むものである。この方法によっても、上記の装置と同様の効果を得ることができる。

　本発明の物体検出プログラムは、車両から撮影した車両周辺の映像を入力映像として、入力映像から車両付近の物体を検出する物体検出プログラムであって、コンピュータに、入力映像を、入力映像から画像特徴を抽出した特徴映像へと変換する映像変換機能と、車両からの距離に基づいて、特徴映像から、距離毎に異なる領域を距離別映像として抽出し合成する距離別映像抽出合成機能と、距離別映像抽出合成機能で合成した合成映像を走査して第一の物体検出処理を行う第一物体検出機能と、第一物体検出機能で物体が検出された合成映像上の位置に基づいて、距離別映像において物体が存在する可能性がある物体候補位置を求める物体候補位置検出機能と、物体候補位置検出機能で求めた物体候補位置に対して第二の物体検出処理を行い距離別映像における物体位置を特定する第二物体検出機能と、第二物体検出機能で求めた物体位置に基づいて、入力映像における物体位置を特定する物体位置特定機能と、を実現させるためのものである。このプログラムによっても、上記の装置と同様の効果を得ることができる。

　本発明によれば、入力映像の画像特徴を損なわずに映像を小さくできるので、検出性能を犠牲にすることなく検出処理時間を高速化することができ、車両から物体までの距離も測定することが可能になるという優れた効果が得られる。

（実施の形態）
　以下、本発明の一実施形態に係る物体検出装置について、図面を参照して説明する。

　図１は、本発明の一実施形態に係る物体検出装置の構成を示すブロック図である。図示する物体検出装置１０は、外部より入力される入力映像を、この入力映像から画像特徴を抽出した特徴映像に変換する映像変換部２０と、車両からの距離に基づいて、特徴映像から距離毎に異なる領域を抽出した距離別映像を合成する距離別映像抽出合成部３０と、得られた合成映像から第一の物体検出処理を行う第一物体検出部４０と、第一物体検出処理の結果から距離別映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定部５０と、距離別映像上の物体候補位置に対して第二の物体検出処理を行う第二物体検出部６０と、前記第二物体検出部の検出結果から入力映像上での物体位置を特定する物体位置特定部７０とを備える。

　外部より入力される入力映像は、例えば、車両前側または後側のナンバープレート近くの所定位置に、所定角度で取り付けられた車載カメラにより、車両周辺を撮影した映像を想定する。

　映像変換部２０は、入力映像を基に、画像特徴を映像上で抽出する映像変換処理を行う。本発明の実施例では、画像特徴としてエッジ特徴を抽出するものとし、後段の処理でエッジ特徴に注目した処理を行なっているが、本発明において対象とする画像特徴は、エッジ特徴に限定されるものではない。例えば、道路上の標識や信号機を検出する目的の場合、画像特徴として特定の色を抽出する処理を行うことが有効である。また、エッジ特徴を抽出する具体的な処理としては、エンボス加工やＳｏｂｅｌフィルタによるエッジ抽出があるが、本発明ではこれらの処理についても限定されるものではない。

　距離別映像抽出合成部３０は、距離別映像抽出部３１、距離別映像拡縮部３２、中心位置合わせ部３３、距離別映像特徴量判定部３４、合成係数調整部３５、および、距離別映像合成部３６を備える。距離別映像抽出部３１は、検出対象物体が車両から所定の距離だけ離れた位置に存在したときに映像上において検出対象物体が撮像される可能性のある領域を、距離毎に異なる大きさで、それぞれ特徴映像より抽出する。距離別映像拡縮部３２は、距離別映像抽出部３１で抽出された各距離に対応する距離別映像を、距離別映像の垂直サイズが所定のサイズになるように、拡大または縮小する。これにより、全ての距離別画像の垂直サイズは等しくなる（水平サイズはそれぞれ異なる）。なお、以降の説明では、特に断りが無い限り、距離別映像とは距離別映像拡縮部３２で拡縮した後の距離別映像を指す。中心位置合わせ部３３は、距離別映像拡縮部３２でリサイズした距離別映像の水平中心軸および垂直中心軸の位置を合わせ、映像位置による合成数を求める。合成数は、距離別映像を重ねあわせた枚数である。距離別映像特徴判定部３４は、各距離別映像上に存在する画像特徴量を求める。合成係数調整部３５は、中心位置合わせ部３３で求めた合成数と、距離別映像特徴量判定部３４で求めた画像特徴量に基づき、距離別映像の部分領域毎に合成係数を求める。距離別映像合成部３６は、中心位置合わせ部３３で中心位置を合わせた距離別映像に対して合成係数調整部３５で求めた合成係数を乗じ、全ての距離別映像を合成した合成映像を生成する。このとき、合成映像は、全ての距離別映像の画素数の総和よりも小さくなる。

　第一物体検出部４０は、合成映像切出拡大部４１、合成映像特徴量判定部４２、および、合成映像物体検出部４３を備える。合成映像切出拡大部４１は、合成映像の一部分を切り出して、切り出した合成映像が切り出す前の垂直サイズと等しくなるように映像を拡大する。この処理の目的は、物体検出対象の大きさの違い（例えば、歩行者の身長差）に対応するための処理である。合成映像特徴量判定部４２は、合成映像切出拡大部４１から出力される合成映像上で画像特徴が存在する箇所を特定する。合成映像物体検出部４３は、映像切出拡大拡大部４１から出力される合成映像上で、合成映像特徴量判定部４２で画像特徴が存在した箇所だけを対象として物体検出処理を行う。画像特徴が存在しない箇所はそもそも検出対象物体が存在しないため、あらかじめ除外しておくことで物体検出処理の高速化が期待できる。なお、以降の説明では特に断りが無い限り、第一物体検出部およびそれより後段部における合成映像とは切出拡大後の合成映像を指す。

　物体候補位置指定部５０は、第一物体検出部４０で物体検出された合成映像上の検出位置が、距離別映像上のどこに該当するかを求める。例えば、合成映像が２つの距離別映像を合成していたとき、合成映像上で１つの物体が検出されれば、それぞれの距離別映像上で物体が存在する可能性がある位置が１箇所あるので、合計で２箇所の物体候補位置が存在する。

　第二物体検出部６０は、物体候補位置指定部５０において指定された距離別映像上の候補位置のみを対象に物体検出を行い、距離別映像上に存在する物体位置を特定する。

　物体位置特定部７０は、第二物体検出部６０の検出結果に基づいて、入力映像上での物体位置を算出し、さらに車両からその物体までの距離も併せて、最終的な結果として出力する。

　以上が本発明の一実施形態に係る物体検出装置の構成と、処理の流れの説明である。

　次に、距離別映像抽出合成部３０、第一物体検出部４０、物体候補位置指定部５０、第二物体検出部６０、および、物体位置特定部７０の一連の処理について、図面を参照して詳細に説明する。また、ここからは説明を具体化するために、説明用の数値を次のように設定する。入力画像を、水平６４０画素、垂直４８０画素とする。距離別映像拡縮部３２から出力される距離別映像と、合成映像切出拡大部４１から出力される合成映像の垂直サイズを、１２８画素とする。第一物体検出部および第二物体検出部で対象物体の検出処理を行うときの走査枠の大きさを、水平６４画素、垂直１２８画素とする。検出対象の物体は路面上に存在する歩行者とし、検出対象とする歩行者の身長を１００ｃｍ～２００ｃｍとする。また、車両からの距離がＡメートル、Ｂメートル、Ｃメートルの３地点に存在する歩行者を検出対象とする。なお、ここで挙げた例は説明用途であり、本実施はこれに限定されない。

　まず、距離別映像抽出合成部３０について、詳細に説明する。

　距離別映像抽出部３１は、車両からの距離毎に、入力画像から映像を抽出した距離別映像を生成する。前述したように、入力映像は、所定の位置に所定の角度で車両に設置された車載カメラで撮影されたものであるので、車両と歩行者との距離によって入力映像上で歩行者が撮像される領域は一意的に決まる。図２に、身長２００ｃｍの歩行者と、身長１００ｃｍの歩行者が車両からＡメートル、Ｂメートル、Ｃメートル（以降、Ａｍ、Ｂｍ、Ｃｍと表記する）の地点に存在したときの入力映像を示す。なお、Ａ、Ｂ、Ｃの大小関係はＡ＜Ｂ＜Ｃとし、Ａｍが最も車両に近く、Ｃｍが最も車両から遠い。身長２００ｃｍの歩行者が距離Ａｍの地点に存在するのが図２（ａ）、距離Ｂｍの地点に存在するのが図２（ｂ）、距離Ｃｍの地点に存在するのが図２（ｃ）、身長１００ｃｍの歩行者が距離Ａｍの地点に存在するのが図２（ｄ）、距離Ｂｍの地点に存在するのが図２（ｅ）、距離Ｃｍの地点に存在するのが図２（ｆ）となる。図２のような入力映像であるとき、検出対象となる歩行者が各距離映像上に撮像される領域を図３に示す。図３（ａ）～（ｆ）はそれぞれ図２（ａ）～（ｆ）に対応する。歩行者が路面上に存在していることを考えると、車両と歩行者との距離が同じであれば、歩行者の身長によらず歩行者の足元の位置は同じになる。従って、距離Ａｍの地点に身長１００ｃｍと身長２００ｃｍの歩行者がいたとき、映像上にそれぞれが撮像される領域は図４のようになり、身長２００ｃｍの歩行者が撮像される領域が、身長１００ｃｍの歩行者が撮像される領域を包含する。以上より、身長１００～２００ｃｍの歩行者が車両からの距離Ａｍ、Ｂｍ、Ｃｍの地点に存在するとき、Ａｍ、Ｂｍ、Ｃｍの距離別映像は図５（ａ）～（ｃ）のようになる。

　距離別映像拡縮部３２は、距離別映像抽出部３１で抽出した各距離別映像を拡大縮小して、距離別映像の垂直サイズを１２８画素に正規化する。また、距離別画像の縦横比は拡縮前後で不変とする。図６は、距離別映像の拡縮処理の例を示しており、図６（ａ）は距離Ａｍに対応する距離別映像（以下、Ａｍ映像と表記する）、図６（ｂ）は距離Ｂｍに対応する距離別映像（以下、Ｂｍ映像と表記する）、図６（ｃ）は距離Ｃｍに対応する距離別映像（以下、Ｃｍ映像と表記する）の拡縮前および拡縮後である。拡縮前の各距離別映像の水平サイズは６４０画素で等しく、垂直サイズはＡｍ映像がＹａ画素、Ｂｍ映像がＹｂ画素、Ｃｍ映像がＹｃ画素となる。拡縮後の距離別画像の垂直サイズはいずれも１２８画素となり、水平サイズはＡｍ映像が（６４０×１２０／Ｙａ）画素、Ｂｍ映像が（６４０×１２８／Ｙｂ）画素、Ｃｍ映像が（６４０×１２８／Ｙｃ）画素となる。このとき、同じ身長の歩行者が撮影されていた場合は、車両からの距離によらず拡縮後の距離別映像において歩行者の大きさが等しくなる。

　中心位置合わせ部３３は、距離別映像拡縮部３２で垂直サイズを１２８画素に正規化した距離別映像の中心位置を合わせる。図７に、距離別映像としてＡｍ映像、Ｂｍ映像、Ｃｍ映像の３つの中心位置を合わせた例を示す。図７のように距離別映像の中心位置を合わせたとき、距離別映像の垂直サイズは１２８画素で正規化されているが水平サイズはそれぞれ異なるため、部分ごとに距離別映像の重なり枚数は異なる。図８は、図７の例における距離別映像の重なり枚数を図示したものであり、中心位置から３枚、２枚、１枚と減少する。この重なり枚数が合成数となる。

　距離別映像特徴量判定部３４は、距離別映像拡縮部３２から出力される距離別映像上にそれぞれどの程度の画像特徴が存在しているかをカウントする。本実施例では、画像特徴としてエッジ特徴を用いる。エッジ量のカウント手段としては各種存在するが、本発明では、その手段については限定されるものではない。例えば、単純にエッジが存在する画素数や、エッジが存在する画素のエッジの大きさの総和でもよい。あるいは、検出対象物体が特定の方向のエッジが多いとあらかじめ分かっているならば、特定の方向のエッジだけを対象にカウントする手段も有効である。ここでは、Ａｍの距離別映像に含まれる画像特徴量をＥａ、Ｂｍの画像特徴量をＥｂ、Ｃｍの画像特徴量をＥｃとする。本実施例ではエッジ特徴を対象にしているが、他の画像特徴を対象とすることも可能である。例えば、特定色の有無を判定してもよいし、一定以上の明るさの有無を判定するような処理でもよい。さらに、図６で図示したように、距離別映像拡縮部から出力される距離別映像はそれぞれ映像の大きさが異なるので、映像内に存在する画像特徴量を映像の大きさで正規化しておいてもよい。

　合成係数調整部３５は、中心位置合わせ部３３で求めた距離別映像の合成数と、距離別映像特徴量判定部３４で求めた距離別映像毎の画像特徴量Ｅａ、Ｅｂ、Ｅｃに基づいて、各距離別映像の合成係数を算出する。距離Ａｍ、Ｂｍ、Ｃｍの距離別映像について、合成数と画像特徴量の対応一覧を、図９（ａ）～（ｃ）にまとめる。このような対応であるときの合成係数の算出方法について、図１０を参照して説明する。図１０（ａ）～（ｃ）は、距離Ａｍ、Ｂｍ、Ｃｍの各距離映像に設定する合成係数を示したものであり、Ａｍ映像は合成係数Ｍａ１の１種類、Ｂｍ映像は合成係数Ｍｂ１、Ｍｂ２の２種類、Ｃｍ映像は合成係数Ｍｃ１～Ｍｃ３の３種類を有する。このうち、Ｍａ１、Ｍｂ１、Ｍｃ１は、Ａｍ映像、Ｂｍ映像、Ｃｍ映像の３枚が合成される部分であり、Ｍｂ２、Ｍｃ２は、Ｂｍ映像とＣｍ映像の２枚が合成される部分となる。Ｍｃ３はＣｍ映像１枚のみとなる。合成係数の基本的な考え方は、合成数によって、合成対象となる距離別映像に合成係数を均等に割りふる。すなわち、３枚の合成部分は各距離映像の合成係数を１／３ずつにして合計１となり、２枚の合成部分は各距離映像の合成係数を１／２ずつにして合計１とする。この合計係数の考えに基づいて、本実施例では、複数枚の距離別映像が合成される部分については距離別映像に対応する画像特徴量Ｅａ～Ｅｃを用いて合成係数を調整する。画像特徴量による調整の考え方としては、画像特徴量が多く存在する距離別映像の合成係数を大きく、画像特徴量が少ない距離別映像の合成係数は小さくするという考えである。この考えに基づき、合成係数Ｍａ１、Ｍｂ１、Ｍｂ２、Ｍｃ１、Ｍｃ２、Ｍｃ３は、それぞれ下記の数式１～６で求めることができる。

　なお、合成係数の総和が１になるような算出方法であれば、上記の計算式に限定されるものではない。

　距離別映像合成部３６は、合成係数調整部３５で求めた合成係数を用いて、中心位置合わせ部３３で位置合わせを行った距離別映像を合成して、１枚の合成映像を生成する。合成係数を使った映像合成処理には、一般的なαブレンディングを用いる。図１１は、具体的な映像合成例を示す図である。図１１（ａ）は入力映像の一例を示しており、映像中に４体の歩行者が存在する。４体の歩行者を説明すると、入力映像の左部分には車両からＡｍの距離に身長２００ｃｍと１００ｃｍの２体が並んで存在し、入力映像の中央部分には車両からＢｍの距離に身長２００ｃｍの１体が存在し、入力映像の右部分には車両からＣｍの距離に身長２００ｃｍの１体が存在する。図１１（ｂ）はＡｍ映像、図１１（ｃ）はＢｍ映像、図１１（ｄ）はＣｍ映像であり、図１１（ｅ）は３枚の距離別画像の大きさを正規化して合成した結果例である。

　次に、第一物体検出部４０について説明する。

　合成映像切出拡大部４１は、距離別映像合成部３６から出力される合成映像の一部分を切り出し、所定の大きさに拡大する。ここで、合成映像を切り出す目的は、検出対象物体の大きさの違いに対応するためである。例えば、図１１において身長１００ｃｍの歩行者と身長２００ｃｍの歩行者を両方とも検出するためである。ここで、図１１（ｅ）の合成映像において、車両からの距離に対応して正しく大きさが正規化された４体の歩行者だけを抽出した図を、図１２に示す。このとき、身長に関わらず全ての歩行者の足元の位置は一致しているが、頭部の位置は身長によって異なり、身長が同じであるならば車両からの距離に関わらず同じ大きさとなる。後段の物体検出処理は、走査枠の設定上、歩行者の垂直サイズが１２８画素程度である必要があるので、このままでは身長１００ｃｍの歩行者は検出できない。そこで、合成映像を切り出して拡大することで対応する。拡大処理は、切り出した映像の垂直サイズが切り出す前の合成映像の垂直サイズである１２８画素となるように、映像の縦横比を保存したままで拡大する。図１３は、身長１００ｃｍを対象にした切出拡大の例であり、図１３（ａ）は切出領域を示した図であり、図１３（ｂ）は切り出した映像を拡大した図を示している。ここでは身長１００ｃｍの切出拡大例を示したが、他の身長についても必要な分だけ切出拡大処理を行う。このとき、歩行者の身長によらず足元は必ず合成映像の下端部に存在するため、切り出し位置は必ず合成映像の下端に接触するのが特徴である。なお、切り出しおよび拡大を行わない場合は、身長２００ｃｍの検出に対応する。また、一般的に物体検出処理が対応できる大きさにはマージンがあるので、検出対象とする身長に対して、適宜切出拡大処理を行えばよい。

　次に、合成映像特徴量判定部４２について、図１４を参照して説明する。ここでの判定処理は、合成映像切出拡大部４１で切出拡大された合成映像上において、物体検出処理の走査枠（水平６４画素、垂直１２８画素）内に存在する画像特徴量をカウントする。本実施例ではエッジ特徴を対象とし、エッジのカウント方法は距離別映像特徴量判定部３４と同様であるので、説明は割愛する。

　合成映像物体検出部４３は、合成映像に対して物体検出処理を行う。合成映像の垂直サイズと物体検出処理の走査枠の垂直サイズは一致しているので、合成映像上で水平方向のみに１回走査し、走査内に検出対象物体が存在するかを判定する処理となる。このとき、走査において全ての走査位置で検出処理を行うのではなく、合成映像特徴量判定部４２の結果を用いて検出処理を行うかどうかを判断する。すなわち、走査枠内に画像特徴が存在しない場合は物体が存在しえないので、検出処理を行わずに走査を進めることで全体の検出処理を高速化する。画像特徴が存在するかどうかの判定は、閾値を適宜に設定して一定以上の画像特徴が存在する場合にのみ検出処理を行うようにする。

　本実施例における物体検出処理は、エッジ特徴をベースにした物体検出手法を用いる。エッジ特徴を使う手法としては、エッジの強度と方向を用いるＨＯＧ特徴を利用した手法が一般的であり、本発明にも適用できる。また、ＨＯＧ特徴を利用した手法に限らず、エッジ特徴を用いる物体検出ならば、いずれも適用が可能である。また、本発明においては、画像特徴としてエッジ特徴以外のものでも適用可能である。

　次に、物体候補位置指定部５０について、図１５を参照して説明する。図１５（ａ）は入力映像、図１５（ｂ）は合成映像上で第一物体検出処理を行った検出結果、図１５（ｃ）は第一物体検出処理より距離別映像拡縮部３２の出力であるＡｍ映像上における物体候補位置を指定した結果、図１５（ｄ）はＢｍ映像上における物体候補位置を指定した結果、図１５（ｅ）はＣｍ映像上における物体候補位置を指定した結果である。ここでの入力映像は、距離ＡｍとＣｍの地点に身長２００ｃｍの歩行者が１体ずついることを示しており、合成映像上の検出結果として、２体の歩行者が検出されている。このとき、合成映像はＡｍ映像、Ｂｍ映像、Ｃｍ映像の３つの映像を合成しているので、合成映像上で検出結果が１つ存在すると、Ａｍ映像、Ｂｍ映像、Ｃｍ映像のそれぞれに物体候補位置が１つ指定できる。合成映像と各距離別映像の中心位置は一致しているので、合成映像上の検出位置から各距離別映像上の候補位置は同一座標上で指定できる。但し、合成映像は全ての領域で３つの映像が合成されているのではなく、部分的には２つの映像もしくは１つの映像から生成されるため、合成映像上の検出結果の位置によっては、必ずしも全ての距離別映像上に物体候補位置が指定できるわけではない。図１５に示した例では、Ａｍ映像上では物体候補位置は１つ、ＢｍおよびＣｍの距離別映像上では２つの物体候補位置が指定される。

　第二物体検出部６０は、物体候補位置指定部５０によって各距離別映像上に指定された物体候補位置に対して物体検出処理を行い、距離別映像上で物体が存在する位置を特定する。ここでの物体検出処理は、合成映像物体検出部４３で行ったような走査の必要はなく、物体候補位置指定部５０によって指定された候補位置に限定して、物体検出処理を行えばよい。図１６に、図１５（ｃ）～（ｅ）で指定された物体候補位置に対して物体検出処理を行った検出結果を示す。図１６（ａ）はＡｍ映像での検出結果、図１６（ｂ）はＢｍ映像での検出結果、図１６（ｃ）はＣｍ映像での検出結果を示しており、Ａｍ映像およびＣｍ映像で１体ずつ検出される。すなわち、車両からＡｍの距離に１体、Ｃｍの距離に１体の歩行者が存在することが分かる。また、物体検出処理の手段については、合成映像物体検出部４３と同様に、エッジ特徴をベースにした物体検出手法を用いる。用いる手法としては、合成映像物体検出部４３と同じ検出手法でもよいし、異なっていても構わない。さらに、合成映像物体検出部４３と第二物体検出部６０における物体検出の精度を変えてもよい。この場合、合成映像物体検出部４３よりも第二物体検出部６０の検出精度をより厳密にしておくとよい。合成映像物体検出部４３は第二物体検出部６０と比較して処理量が多いので、誤検出を多少許容する程度の簡易的な物体検出を行い、物体候補が限定されて処理量が少なくなった第二物体検出処理で誤検出を除外し、確実に検出対象物体だけを検出結果とする。これによって、検出精度を落とさずに物体検出処理の高速化が実現できる。

　物体位置特定部７０は、第二物体検出部６０で検出した距離別映像上の物体検出結果に基づいて、入力映像上での物体位置を特定する。入力映像上での物体位置は、距離別映像抽出部３１および距離別映像拡縮部３２において距離別映像を生成した際の抽出座標位置および拡縮率より、容易に求めることができる。距離別映像上の検出位置座標から入力映像上の位置座標を求める手順について、図１７を参照して説明する。図１７（ａ）は、入力映像から距離別映像を抽出する座標位置を示しており、入力映像の左上を原点（０，０）として、左上（Ｘｏｓ，Ｙｏｓ）から右下（Ｘｏｅ，Ｙｏｅ）で囲まれる領域に対し、拡縮率ｋをかけたものが距離別映像となる。図１７（ｂ）は、図１７（ａ）で抽出した距離別映像上で物体位置を特定した座標位置を示しており、距離別映像の左上を原点（０，０）として、左上（Ｘｄｓ，Ｙｄｓ）から右下（Ｘｄｅ，Ｙｄｅ）で囲まれる範囲が検出位置となる。図１７（ｃ）は、距離別映像上で特定した物体位置の座標を入力映像上の座標に変換した結果となり、入力映像の左上を原点（０，０）として、左上（Ｘｒｓ、Ｙｒｓ）から右下（Ｘｒｅ、Ｙｒｅ）で囲まれる範囲が最終的な物体検出結果の座標となる。このとき、Ｘｒｓ、Ｙｒｓ、Ｘｒｅ、Ｙｒｅは、図１７（ａ）および図１７（ｂ）の各変数を用いて、下記の数式７～１０で求めることができる。

　これにより、入力映像上で物体位置を特定することができる。また、物体位置を特定するとともに、距離別映像上で一旦物体位置を求めているので、車両から物体までの距離も併せて特定することが可能である。

　上記実施形態に係る物体検出装置によれば、車両周辺を撮影した映像から特徴映像に変換し、車両からの距離に基づいて、特徴映像から距離毎に異なる領域を抽出して合成した映像上で第一物体検出処理を行って物体候補位置を求め、さらに、物体候補位置に対して第二の物体検出処理を行った上で物体検出位置を特定するので、物体検出性能を犠牲にすることなく物体検出処理を高速化し、併せて車両から物体までの距離も測定することができる。

　以上に、現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能であり、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を請求の範囲が含むことが意図されている。

　また、本発明の物体検出方法は、上記物体検出装置により実現される各ステップを含む方法とすることができ、本発明の物体検出プログラムについても、上記物体検出装置により実現される各機能をコンピュータに実現させるものとすればよく、特に制限されるものではない。

　以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。

　以上のように、本発明の物体検出装置は、車両周辺を撮影した映像から特徴映像に変換し、車両からの距離に基づいて、特徴映像から距離毎に異なる領域を抽出して合成した映像上で第一物体検出処理を行って物体候補位置を求め、さらに、物体候補位置に対して第二の物体検出処理を行った上で物体検出位置を特定するので、物体検出性能を犠牲にすることなく物体検出処理を高速化し、併せて車両から物体までの距離も測定することができるという優れた効果を有し、車両周辺の物体を検出するため物体検出装置等として有用である。

　１０　物体検出装置
　２０　映像変換部
　３０　距離別映像抽出合成部
　３１　距離別映像抽出部
　３２　距離別映像拡縮部
　３３　中心位置合わせ部
　３４　距離別映像特徴量判定部
　３５　合成係数調整部
　３６　距離別映像合成部
　４０　第一物体検出部
　４１　合成映像切出拡大部
　４２　合成映像特徴量判定部
　４３　合成映像物体検出部
　５０　物体候補位置指定部
　６０　第二物体検出部
　７０　物体位置特定部

Claims (18)

1. 　車両から撮影した車両周辺の映像を入力映像として、該入力映像から車両付近の物体を検出する物体検出装置であって、
   　前記入力映像を、該入力映像から画像特徴を抽出した特徴映像へと変換する映像変換部と、
   　前記車両からの距離に基づいて、前記特徴映像から、距離毎に異なる領域を距離別映像として抽出し、前記距離別映像を用いた合成映像を合成する距離別映像抽出合成部と、
   　前記距離別映像抽出合成部で合成した前記合成映像を走査して、前記合成映像から検出される物体の前記合成映像上の位置を求める第一の物体検出処理を行う第一物体検出部と、
   　前記第一物体検出部で検出された物体の前記合成映像上の位置に基づいて、前記距離別映像において前記物体が存在する可能性がある物体候補位置を求める物体候補位置指定部と、
   　前記物体候補位置指定部で求めた物体候補位置に対して、前記距離別映像において対応する物体位置を特定する第二の物体検出処理を行う第二物体検出部と、
   　前記第二物体検出部で求めた物体位置に基づいて、前記入力映像における物体位置を特定する物体位置特定部と、
   を備えることを特徴とする物体検出装置。
2. 　前記映像変換部が、前記画像特徴としてエッジ特徴を抽出することを特徴とする請求項１記載の物体検出装置。
3. 　前記距離別映像抽出合成部が、前記車両からの距離に基づいて、前記特徴映像から抽出する領域の大きさを変更することを特徴とする請求項１に記載の物体検出装置。
4. 　前記距離別映像抽出合成部が、全ての前記距離別映像の垂直サイズが等しくなるよう、距離毎に抽出した映像を拡縮することを特徴とする請求項１に記載の物体検出装置。
5. 　前記距離別映像抽出合成部が、前記距離別映像の水平中心軸および垂直中心軸の位置を合わせて合成することを特徴とする請求項１に記載の物体検出装置。
6. 　前記距離別映像抽出合成部が、前記距離別映像をαブレンディングで合成することを特徴とする請求項１に記載の物体検出装置。
7. 　前記距離別映像抽出合成部が、前記距離別映像の合成数に応じて、部分的にαブレンディングの合成係数を調整して合成することを特徴とする請求項１に記載の物体検出装置。
8. 　前記距離別映像抽出合成部が、前記距離別映像に含まれる画像特徴量に応じて、αブレンディングの合成係数を調整して合成することを特徴とする請求項１に記載の物体検出装置。
9. 　前記第一物体検出部が、前記第一の物体検出処理において、検出対象とする物体の垂直サイズを、前記合成映像の垂直サイズと等しく設定することを特徴とする請求項１に記載の物体検出装置。
10. 　前記第一物体検出部が、前記合成映像上を水平方向だけに走査して物体検出処理を行うことを特徴とする請求項１に記載の物体検出装置。
11. 　前記第一物体検出部が、前記合成映像の下端部に接する領域を切り出して、切り出した領域の垂直サイズを前記合成映像の垂直サイズと等しくなるように拡大した拡大合成映像を生成する合成映像切出拡大部を備えることを特徴とする請求項１に記載の物体検出装置。
12. 　前記第一物体検出部が、前記拡大合成映像に対して物体検出処理を行うことを特徴とする請求項１１に記載の物体検出装置。
13. 　前記第一物体検出部が、前記拡大合成映像上を水平方向だけに走査して物体検出処理を行うことを特徴とする請求項１２に記載の物体検出装置。
14. 　前記第一物体検出部が、物体検出を行う検出判定基準を前記第二物体検出部とは別々に調整可能であって、かつ、前記第二物体検出部よりも物体であると判定しやすくなるように検出基準が調整されていることを特徴とする請求項１に記載の物体検出装置。
15. 　前記第一物体検出部が、前記合成映像上で画像特徴が存在する部分だけを対象として、第一の物体検出処理を行うことを特徴とする請求項１に記載の物体検出装置。
16. 　前記物体位置特定部が、前記第二物体検出部で検出された前記距離別映像上の物体位置に基づいて、前記車両から検出された物体までの距離を求めることを特徴とする請求項１に記載の物体検出装置。
17. 　車両から撮影した車両周辺の映像を入力映像として、該入力映像から車両付近の物体を検出する物体検出方法であって、
    　前記入力映像を、該入力映像から画像特徴を抽出した特徴映像へと変換する映像変換ステップと、
    　前記車両からの距離に基づいて、前記特徴映像から、距離毎に異なる領域を距離別映像として抽出し、前記距離別映像を用いた合成映像を合成する距離別映像抽出合成ステップと、
    　前記距離別映像抽出合成ステップで合成した前記合成映像を走査して、前記合成映像から検出される物体の前記合成映像上の位置を求める第一の物体検出処理を行う第一物体検出ステップと、
    　前記第一物体検出ステップで検出された物体の前記合成映像上の位置に基づいて、前記距離別映像において前記物体が存在する可能性がある物体候補位置を求める物体候補位置検出ステップと、
    　前記物体候補位置検出ステップで求めた物体候補位置に対して、前記距離別映像において対応する物体位置を特定する第二の物体検出処理を行う第二物体検出ステップと、
    　前記第二物体検出ステップで求めた物体位置に基づいて、前記入力映像における物体位置を特定する物体位置特定ステップと、
    を含むことを特徴とする物体検出方法。
18. 　車両から撮影した車両周辺の映像を入力映像として、該入力映像から車両付近の物体を検出する物体検出プログラムであって、
    　コンピュータに、
    　前記入力映像を、該入力映像から画像特徴を抽出した特徴映像へと変換する映像変換機能と、
    　前記車両からの距離に基づいて、前記特徴映像から、距離毎に異なる領域を距離別映像として抽出し合成する距離別映像抽出合成機能と、
    　前記距離別映像抽出合成機能で合成した合成映像を走査して第一の物体検出処理を行う第一物体検出機能と、
    　前記第一物体検出機能で物体が検出された前記合成映像上の位置に基づいて、前記距離別映像において物体が存在する可能性がある物体候補位置を求める物体候補位置検出機能と、
    　前記物体候補位置検出機能で求めた物体候補位置に対して第二の物体検出処理を行い前記距離別映像における物体位置を特定する第二物体検出機能と、
    　前記第二物体検出機能で求めた物体位置に基づいて、前記入力映像における物体位置を特定する物体位置特定機能と、
    を実現させることを特徴とする物体検出プログラム。

Images