JP5197679B2 - 対象物検出装置及びプログラム - Google Patents

Description

本発明は、対象物検出装置及びプログラムに係り、特に、撮像した画像から対象物を検出するための対象物検出装置及びプログラムに関する。

近年、車載カメラで撮像した車両周辺の映像を画像処理し、歩行者などの対象物を検出してドライバに検出結果を提示する対象物検出装置を搭載する車両が増加している。

例えば、判別対象となり得る物体までの距離ごとに態様の異なる複数のテンプレートを記憶しておき、画像内から判別の対象となる物体を背景差分法あるいは顕著性算出法により検出して、その物体までの距離を検出し、その距離に対応したテンプレートを選択し、判別対象として画像内から検出された物体に対してこのテンプレートあてはめて物体判別を行う物体判別装置が提案されている（特許文献１参照）。

歩行者のように姿勢の多様性が多い対象物に対しては、特許文献１に記載の物体判別装置のように、態様の異なるテンプレートを適用することで、対象物検出の精度を向上させることができる。しかし、テンプレートの種類を豊富にすることで、検出の精度をより向上させることはできるが、テンプレートの数が多くなるほど、すべてのテンプレートを適用して検出することにより処理時間が長時間化してしまう。

そこで、移動方向判断部の物標の移動方向の判断に基づき、歩行者パターン選択部により、歩行者パターン記憶部に予め記憶された移動方向別の歩行者画像から、移動方向判断部により判断された移動方向の移動姿勢の歩行者画像を選択し、認識処理部により、選択された移動方向の歩行者パターンとカメラ画像中の認識対象の物標の画像パターンとを照合して歩行者を認識する画像認識装置が提案されている（例えば、特許文献２参照）。

また、基準パターンデータベースに画像の背景ごとに異なる（空用、道路用、道路外用などの）複数の基準パターンを記憶しておき、背景領域分割部により、消失点や車線認識を用いて入力画像の背景を分割し、基準パターン選択部により、判定領域を背景領域のいずれから切り出したかによって、歩行者候補領域検出部で使用する基準パターンを選択する物体候補領域検出装置が提案されている（例えば、特許文献３参照）。

また、画像処理部で、画像メモリから１フレーム単位の撮像画像を読み出し、フレームレートと同期して、記憶部から車速ｖ、操舵角α、傾斜角βを読み出し、画像処理部で、読み出した車速ｖ、操舵角α、傾斜角βに基づいて、ＬＵＴを参照して、部分画像を特定するためのパラメータを取得し、特定した部分画像をフレームメモリへ一旦記憶し、歩行者認識処理部で、フレームメモリに記憶された部分画像を読み出し、読み出した部分画像と、標準パターン部から読み出した標準パターンとの類似度を判定する車両周辺認識システムが提案されている（例えば、特許文献４参照）。

特開２００７−０７２６６５号公報 特開２００９−２３７８９７号公報 特開２００７−３２８６３０号公報 特開２００６−１７８６５２号公報

しかしながら、特許文献２の画像認識装置では、歩行者の移動方向に基づいて使用する歩行者パターンを選択しているが、例えば、歩行者がこれから道路を横断しようとして静止している場合など、静止している対象物については、移動方向を認識することができないため適用することができない、という問題がある。

また、特許文献３の物体候補領域検出装置では、道路とそれ以外の領域とで使用するモデルを選択しているが、着目しているのは背景パターンの多様性であって、対象物の姿勢の多様性ではないため、姿勢変化に対する頑強性が低下する可能性がある、という問題がある。また、領域や対象物の姿勢の危険度を考慮していないため、対象物の探索範囲によっては、ドライバにとって危険度の高くない歩行者モデルを使用してしまう可能性がある、という問題がある。

また、特許文献４の車両周辺認識システムでは、自車速度や操舵角などによって対象物の探索範囲を設定しているが、衝突可能性などの危険度を考慮したものではなく、対象物の探索範囲によっては、ドライバにとって危険度の高くない歩行者モデルを使用してしまう可能性がある、という問題がある。

本発明は、上述した問題を解決するために成されたものであり、ドライバにとって危険度の高い対象物を早期に精度良く検出することができる対象物検出装置及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の対象物検出装置は、自車両周辺を撮像した撮像画像、自車両の走行状態を示す情報、及び自車両の周辺状況を示す情報を取得する取得手段と、前記取得手段により取得した情報に基づいて、対象物が存在する可能性のある危険領域、及び該危険領域の危険の度合いを示す領域危険度を推定する危険領域推定手段と、前記危険領域と自車両との位置関係と、該危険領域内に存在すると仮定した対象物の姿勢との関係に基づいて、該姿勢毎の危険の度合いを示す姿勢別危険度を推定する姿勢別危険度推定手段と、前記領域危険度及び前記姿勢別危険度に基づいて、前記危険領域毎に該危険領域内に存在すると仮定した対象物の姿勢毎の総合的な危険度を推定し、該総合的な危険度の高い順に前記危険領域を選択し、選択した危険領域に対応する前記撮像画像上の領域からウインドウ画像を抽出する抽出手段と、前記抽出手段により抽出されたウインドウ画像と、予め対象物を識別するために対象物の姿勢毎に生成された識別モデルから前記選択した危険領域内に存在すると仮定した対象物の姿勢に応じて選択された識別モデルとに基づいて、前記ウインドウ画像が対象物を表す画像か否かを識別する識別手段と、を含んで構成されている。

本発明の対象物検出装置によれば、取得手段が、自車両周辺を撮像した撮像画像、自車両の走行状態を示す情報、及び自車両の周辺状況を示す情報を取得し、危険領域推定手段が、取得手段により取得した情報に基づいて、対象物が存在する可能性のある危険領域、及び該危険領域の危険の度合いを示す領域危険度を推定し、また、姿勢別危険度推定手段が、危険領域と自車両との位置関係と、該危険領域内に存在すると仮定した対象物の姿勢との関係に基づいて、該姿勢毎の危険の度合いを示す姿勢別危険度を推定する。そして、抽出手段が、領域危険度及び姿勢別危険度に基づいて、危険領域毎に該危険領域内に存在すると仮定した対象物の姿勢毎の総合的な危険度を推定し、該総合的な危険度の高い順に危険領域を選択し、選択した危険領域に対応する撮像画像上の領域からウインドウ画像を抽出し、識別手段が、抽出手段により抽出されたウインドウ画像と、予め対象物を識別するために対象物の姿勢毎に生成された識別モデルから選択した危険領域内に存在すると仮定した対象物の姿勢に応じて選択された識別モデルとに基づいて、ウインドウ画像が対象物を表す画像か否かを識別する。

このように、領域毎の危険度及び対象物の姿勢別の危険度に基づいた総合的な危険度が高い順に探索範囲として設定し、姿勢別の識別モデルから適切な識別モデルを選択するため、ドライバにとって危険度の高い対象物を早期に精度良く検出することができる。

また、前記危険領域推定手段は、前記領域危険度が予め定めた領域危険度閾値より小さい危険領域を処理対象から除外するようにすることができる。また、前記姿勢別危険度推定手段は、前記姿勢別危険度が予め定めた姿勢別危険度閾値より小さい姿勢を処理対象から除外するようにすることができる。また、前記抽出手段は、前記総合的な危険度が予め定めた危険度閾値より小さい前記危険領域毎に該危険領域内に存在すると仮定した対象物の姿勢を処理対象から除外するようにすることができる。また、前記危険領域推定手段は、前記危険領域に対象物が存在すると仮定した場合に、該対象物と自車両との衝突が不可避の領域を前記危険領域から除外するようにすることができる。これにより、計算リソースに制限がある場合でも、検出すべき危険度の高い対象物を優先的に検出することができる。

また、前記危険領域推定手段は、過去に前記識別手段により対象物を表す画像であると識別された前記ウインドウ画像に対応する危険領域の領域危険度を高くするようにすることができる。また、前記姿勢別危険度推定手段は、過去に前記識別手段により対象物を表す画像であると識別された前記ウインドウ画像に対応する危険領域内に存在すると仮定される対象物の姿勢のうち、該ウインドウ画像が示す対象物の姿勢の姿勢別危険度を高くするようにすることができる。このように識別結果をフィードバックすることにより、領域危険度及び姿勢別危険度の推定精度が向上する。

また、前記対象物が歩行者の場合、前記対象物の姿勢は、前記歩行者の向き、開脚度合い、手と足との関係、静止しているか歩いているか走っているかの状態、及び身長を含むように構成することができる。

また、前記自車両の走行状態を示す情報は、自車両の速度、操舵角、及び姿勢角を含むように構成することができる。

また、前記自車両の周辺状況を示す情報は、自車両の周辺に存在する物体の位置、該物体が移動しているか静止しているかを示す情報、地図情報、及び自車両の周辺の天候の情報を含むように構成することができる。

また、本発明の対象物検出プログラムは、コンピュータを、自車両周辺を撮像した撮像画像、自車両の走行状態を示す情報、及び自車両の周辺状況を示す情報を取得する取得手段、前記取得手段により取得した情報に基づいて、対象物が存在する可能性のある危険領域、及び該危険領域の危険の度合いを示す領域危険度を推定する危険領域推定手段、前記危険領域と自車両との位置関係と、該危険領域内に存在すると仮定した対象物の姿勢との関係に基づいて、該姿勢毎の危険の度合いを示す姿勢別危険度を推定する姿勢別危険度推定手段、前記領域危険度及び前記姿勢別危険度に基づいて、前記危険領域毎に該危険領域内に存在すると仮定した対象物の姿勢毎の総合的な危険度を推定し、該総合的な危険度の高い順に前記危険領域を選択し、選択した危険領域に対応する前記撮像画像上の領域からウインドウ画像を抽出する抽出手段、及び前記抽出手段により抽出されたウインドウ画像と、予め対象物を識別するために対象物の姿勢毎に生成された識別モデルから前記選択した危険領域内に存在すると仮定した対象物の姿勢に応じて選択された識別モデルとに基づいて、前記ウインドウ画像が対象物を表す画像か否かを識別する識別手段として機能させるためのプログラムである。

なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。

以上説明したように、本発明によれば、領域毎の危険度及び対象物の姿勢別の危険度に基づいた総合的な危険度が高い順に探索範囲として設定し、姿勢別の識別モデルから適切な識別モデルを選択するため、ドライバにとって危険度の高い対象物を早期に精度良く検出することができる、という効果が得られる。

本実施の形態に係る対象物検出装置の構成を示すブロック図である。 危険領域マップの一例を示す図である。 （Ａ）姿勢別危険度が低い場合、（Ｂ）姿勢別危険度が高い場合について説明するための図である。 本実施の形態の対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。 領域危険度、姿勢別危険度、及び総合的な危険度の推定結果の一例を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、対象物として歩行者を検出する対象物検出装置に本発明を適用した場合について説明する。

図１に示すように本実施の形態に係る対象物検出装置１０は、識別対象領域を含む範囲を撮像する撮像装置１２と、自車両の走行状態を検出する走行状態検出部１４と、自車両の周辺の状況を検出する周辺状況検出部１６と、撮像装置１２から出力される撮像画像に基づいて歩行者を検出する対象物検出処理ルーチンを実行するコンピュータ１８と、コンピュータ１８での処理結果を表示するための表示装置２０と、を備えている。

撮像装置１２は、識別対象領域を含む範囲を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。

走行状態検出部１４は、自車両の速度を検出する車速センサ、操舵角を検出する操舵角センサ、及び自車両の姿勢角（ピッチ角、ヨー角、ロール角）を検出するジャイロセンサを含んで構成されている。各センサで検出された検出値は、コンピュータ１８へ入力される。

周辺状況検出部１６は、自車両の前方に対してレーザを走査しながら照射し、レーザの反射によりレーザが照射された物体の２次元位置を検出するレーザレーダ、ＧＰＳ衛星からの衛星信号に基づいて、自車両の位置を検出するＧＰＳ装置、道路形状（例えば、線形、曲率、交差など）や道路種別（例えば、市街地、高速道路など）を含む地図情報を電子的に保持する地図データベース、並びに晴雨センサ、温度センサ及び湿度センサ等を含んで構成された天候センサを含んで構成されている。各装置及び各センサで検出された検出値は、コンピュータ１８へ入力される。

コンピュータ１８は、対象物検出装置１０全体の制御を司るＣＰＵ、後述する対象物検出処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。

このコンピュータ１８をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像画像、自車両の走行状態、及び自車両の周辺状況に基づいて、危険領域及びその危険領域の領域危険度を推定する危険領域推定部２２と、危険領域内に存在すると仮定した歩行者の姿勢別危険度を推定する姿勢別危険度推定部２４と、撮像画像上で歩行者を探索する探索範囲を設定し、探索範囲に領域危険度及び姿勢別危険度に基づく総合的な危険度による優先度を設定する探索範囲設定部２６と、優先度順に撮像画像の探索範囲が設定された領域から所定サイズのウインドウ画像を抽出するウインドウ画像抽出部２８と、歩行者の姿勢別の識別モデルが記憶された識別モデル記憶部３０と、ウインドウ画像抽出部２８により抽出されたウインドウ画像と姿勢別の識別モデルとを比較することにより、撮像画像から歩行者を識別する歩行者識別部３２と、を含んだ構成で表すことができる。

危険領域推定部２２は、走行状態検出部１４及び周辺状況検出部１６の各検出値を取得して、図２に示すように、自車両の周辺に存在する物体の位置を検出する。また、撮像画像を画像認識処理した認識結果も合わせて、それらの物体の種別（先行車、対向車、建物、停車車両、ガードレール、縁石、街路樹、電柱、車線、横断歩道等、及び各物体が移動している移動物か静止している静止物か）を判別する。これらの情報を基に、歩行者が存在する可能性のある危険領域を推定する。また、危険領域毎にその領域内における歩行者の存在確率、及びその危険領域内に歩行者が存在すると仮定した場合の数秒後における自車両との衝突の可能性を示す領域危険度を推定する。具体的には、自車両と危険領域との距離、危険領域の位置や、自車両の速度、操舵角、道路形状等に基づいて予測される所定時間後の自車両の位置と危険領域との位置関係、危険領域近傍の物体や危険領域を形成する物体が移動物か静止物か、市街地か高速道路か等の情報に基づいて、危険領域毎に領域危険度を推定する。

例えば、図２に示すように、危険領域としてエリアＡ〜Ｆが推定された場合には、自車両前方の領域については、自車両に近いほどその領域内に対象物が存在した場合に衝突の可能性が高くなるため、領域危険度を高くする。特に、エリアＡは、自車両の進行方向の車線内であり、領域危険度を高くする。エリアＢは、自車両に近い歩道であるが、自車両とエリアＢとの間にガードレールが存在しているため、エリアＢに歩行者が存在していたとしても衝突の危険性は低いため、領域危険度を低くする。ただし、エリアＣのように、ガードレールの切れ目では、この隙間を縫って歩行者が横断する可能性が高いため、領域危険度を高くする。エリアＦは、停車車両周辺であるため、停車車両の死角からの飛び出しや停車車両へ乗降する歩行者の存在確率が高くなるため、領域危険度を高くする。また、前フレームでの検出処理で歩行者が検出された位置の近傍領域は、当然歩行者の存在確率が高くなるため、領域危険度を高くする。例えば、図２の破線内に前フレームで左向きの歩行者が検出された場合には、現フレームにおいて、エリアＥにおける歩行者の存在確率が高くなるため、エリアＥの領域危険度を高くする。

また、危険領域推定部２２は、領域危険度が予め定めた領域危険度閾値より小さい場合には、その領域を危険領域から除外する。また、歩行者が存在した場合に、自車両との衝突が不可避の領域を危険領域から除外する。図２のエリアＸのように、自車両との距離が極めて近く、この領域に歩行者が存在した場合には、自車両との衝突は不可避となる領域が存在する。本装置の過去の検出結果によって、歩行者が検出されてドライバに警報されるなどした場合には、既に歩行者を回避するなどして、この不可避領域に歩行者が進入しないような進路を取っているはずであり、また、不可避領域に突然歩行者が出現する可能性も極めて低い。すなわち、不可避領域に歩行者が存在した場合には危険性はかなり高いが、この不可避領域は歩行者の存在確率が極めて低いため、歩行者の探索範囲から除外することができる。

姿勢別危険度推定部２４は、危険領域と自車両との位置関係と、危険領域内に存在すると仮定した歩行者の姿勢との関係に基づいて、その危険領域における姿勢別危険度を推定する。例えば、図３（Ａ）に示すように、自車両の左側の歩道に存在する歩行者の姿勢が後向きであった場合には、この歩行者が道路に対して平行に進んでいることを示しており、自車両との衝突の危険性が低い。一方、同じく自車両の左側の歩道に存在する歩行者であっても、同図（Ｂ）に示すように、歩行者の姿勢が右向きであった場合には、この歩行者が自車両前方を横断しようとしている可能性が高く、自車両との衝突の危険性が高まる。このように、自車両と危険領域との位置関係と、歩行者の姿勢との関係によって異なった姿勢別危険度が定まる。なお、本実施の形態では、歩行者の姿勢を、ドライバから見て進行方向左手を向いている左向き、ドライバから見て進行方向右手を向いている右向き、ドライバから見て進行方向を向いている前向き、進行方向の反対方向を向いている後向きとする。

例えば、図２のエリアＡは、自車両の前方の道路内であるので、どのような姿勢の歩行者が存在しても危険であるが、車道であるこの領域には後向きや前向きの姿勢の歩行者が存在する可能性は低く、この領域を横断する歩行者、すなわち右向きまたは左向きの歩行者の存在確率が高く、また、このような横断歩行者が存在した場合には、自車両との衝突の可能性も高いため、右向きまたは左向き姿勢別危険度を高くする。エリアＣは、自車両の左側の領域であるため、これから右へ横断しようとする歩行者が存在した場合には危険性が高くなるため、右向きの姿勢別危険度を高くする。逆に、エリアＤは、自車両の右側の領域であるので、左向きの姿勢別危険度を高くする。また、前フレームでの検出処理で歩行者が検出されている場合には、前フレームで検出された姿勢の歩行者が存在する可能性が高いため、前フレームで検出された歩行者の姿勢の姿勢別危険度を高くする。例えば、図２の破線内に前フレームで左向きの歩行者が検出された場合には、現フレームにおいて、エリアＥに左向きの歩行者が存在する確率が高くなるため、左向きの姿勢別危険度を高くする。

また、姿勢別危険度推定部２４は、姿勢別危険度が予め定めた姿勢別危険度閾値より小さい姿勢を処理対象から除外する。

探索範囲設定部２６は、危険領域推定部２２で推定された領域危険度と、姿勢別危険度推定部２４で推定された姿勢別危険度を乗算して、危険領域毎に姿勢別の総合的な危険度を推定する。例えば、領域危険度及び姿勢別危険度をそれぞれ１〜５の５段階で、数字が大きくなるほど危険度が高くなるような危険度で表した場合、図２の例で、エリアＣの領域危険度が４、エリアＣにおける右向きの姿勢別危険度が５の場合には、総合的な危険度は２０となる。総合的な危険度が高い順に優先度を設定し、危険領域に対応する撮像画像上の領域を探索範囲として設定する。同一の危険領域であっても歩行者の姿勢毎に総合的な危険度が異なる場合もあるため、探索範囲として１回設定された領域が、異なる姿勢について再度探索範囲として設定される場合もある。

また、探索範囲設定部２６は、総合的な危険度が予め定めた危険度閾値より小さい場合を処理対象から除外する。

ウインドウ画像抽出部２８は、優先度に従って撮像画像の探索範囲として設定された領域から、予め定められたサイズのウインドウ（探索ウインドウと呼称）を１ステップにつき、予め定められた移動量（探索ステップと呼称）だけ移動させながら画像を切り取る。ここで、切り取った画像をウインドウ画像という。

識別モデル記憶部３０には、予め学習により生成され、歩行者識別部３２で歩行者を識別する際に参照される識別モデルが記憶されている。識別モデルは、歩行者の姿勢別（ここでは、左向き、右向き、前向き、後向き）に生成され、記憶される。

歩行者識別部３２は、優先度に従って選択された探索範囲の歩行者の姿勢に対応する識別モデルを識別モデル記憶部３０から読み出し、抽出されたウインドウ画像と比較して、ウインドウ画像が歩行者を示す画像であるか否かを識別する。識別の手法は、テンプレートマッチングやＳＶＭ（サポートベクターマシン）等の公知の手法を用いることができる。また、歩行者識別部３２は、識別結果を撮像画像に重畳して表示するよう、表示装置２０を制御すると共に、次フレームの処理で用いるために識別結果を所定の記憶領域に一旦記憶する。記憶された識別結果は、危険領域推定部２２及び姿勢別危険度推定部２４にフィードバックされる。

次に、図４を参照して、本実施の形態の対象物検出装置１０のコンピュータ１８で実行される対象物検出処理ルーチンについて説明する。

ステップ１００で、撮像装置１２で撮像された撮像画像、走行状態検出部１４及び周辺状況検出部１６で検出された各検出値を取得する。また、所定領域に記憶された前フレームの識別結果を取得する。

次に、ステップ１０２で、上記ステップ１００で取得した撮像画像、各検出値、及び前フレームの識別結果に基づいて、自車両の周辺に存在する物体の位置を検出し、撮像画像を画像認識処理した認識結果も合わせて、それらの物体の種別を判別する。これらの情報を基に、歩行者が存在する可能性のある危険領域を推定して、例えば、図２に示すような危険領域マップを生成する。

次に、ステップ１０４で、自車両と危険領域との距離、危険領域の位置や、自車両の速度、操舵角、道路形状等に基づいて予測される所定時間後の自車両の位置と危険領域との位置関係、危険領域近傍の物体や危険領域を形成する物体が移動物か静止物か、市街地か高速道路か等の情報に基づいて、危険領域毎に領域危険度を推定する。例えば、図２のような危険領域マップが生成された場合において、領域危険度を１〜５の５段階で、数字が大きくなるほど危険度が高くなるような値で表した場合には、図５に示すように、エリアＡの領域危険度「５」、エリアＢの領域危険度「２」、エリアＣの領域危険度「４」、・・・エリアＦの領域危険度「３」のように推定することができる。

次に、ステップ１０６で、上記ステップ１０４で推定した領域危険度が予め定めた領域危険度閾値より小さい場合には、その領域を危険領域から除外する。例えば、図５の例で、領域危険度閾値を「３」とした場合には、領域危険度が「２」のエリアＢは危険領域から除外される。また、歩行者が存在した場合に、自車両との衝突が不可避の不可避領域を危険領域から除外する。

次に、ステップ１０８で、危険領域と自車両との位置関係と、危険領域内に存在すると仮定した歩行者の姿勢との関係に基づいて、その危険領域における姿勢別危険度を推定する。例えば、図２の例で、姿勢別危険度を１〜５の５段階で、数字が大きくなるほど危険度が高くなるような値で表した場合には、図５に示すように、エリアＡにおける左向きの姿勢別危険度「５」、右向きの姿勢別危険度「５」、前向きの姿勢別危険度「１」、後向きの姿勢別危険度「１」のように推定することができる。他の危険領域についても、その危険領域との関係で各々姿勢別危険度を推定する。なお、エリアＢ及びエリアＸは既に危険領域から除外されているため、エリアＢ及びエリアＸについての本ステップの処理は行わない。

次に、ステップ１１０で、上記ステップ１０８で推定した姿勢別危険度が予め定めた姿勢別危険度閾値より小さい姿勢を処理対象から除外する。例えば、図５の例で、姿勢別危険度閾値を「２」とした場合には、姿勢別危険度が「１」のエリアＡにおける前向き及び後向きは、処理対象から除外される。

次に、ステップ１１２で、上記ステップ１０４で推定された領域危険度と、上記ステップ１０８で推定された姿勢別危険度を乗算して、危険領域毎に姿勢毎の総合的な危険度を推定する。なお、既に危険領域から除外されているエリア、及び処理対象から除外されている姿勢については、本ステップの処理は行わない。そして、総合的な危険度が予め定めた危険度閾値より小さい場合は除外して、総合的な危険度が高い順に優先度が高くなるように、危険領域に対応する撮像画像上の領域を探索範囲として設定する。以下、危険領域における姿勢の各々を「危険領域×姿勢（例えば、エリアＡ×左向き）」と表す。

図５の例では、例えば、エリアＡ×左向きの総合的な危険度は、エリアＡの領域危険度「５」×エリアＡにおける左向きの姿勢別危険度「５」＝２５となる。また、危険度閾値を「８」とした場合には、総合的な危険度が「６」であるエリアＦ×前向きが処理対象から除外される。その他の危険領域×姿勢に、総合的な危険度が高い順に優先度ｉ（ｉ＝１、２、・・・Ｎ：Ｎは処理対象の危険領域×姿勢の総数）を付与する。総合的な危険度が同じ場合には、領域危険度が高い方の優先度を高くしたり、姿勢別危険度が高い方の優先度を高くしたりするなどの条件を定めておき優先度を決定する。ここでは、エリアＡ×左向きに優先度１、エリアＡ×右向きに優先度２、エリアＣ×右向きに優先度３、エリアＦ×左向きに優先度４、エリアＣ×前向きに優先度５、・・・のように優先度を付与する。

次に、ステップ１１４で、優先度ｉを表す変数ｉに１をセットして、次に、ステップ１１６で、優先度ｉの危険領域×姿勢を選択する。そして、選択した優先度ｉの危険領域×姿勢の危険領域に対応する撮像画像上の探索範囲からウインドウ画像を抽出する。危険領域に対応する撮像画像上の探索範囲は、推定された危険領域の大きさ及び位置に基づいて、撮像画像上にその危険領域を対応させた範囲、またはその範囲にマージンを設けた範囲とすることができる。この探索範囲を探索ウインドウで走査しながらウインドウ画像を抽出する。

次に、ステップ１１８で、選択した優先度ｉの危険領域×姿勢の姿勢に対応する識別モデルを識別モデル記憶部３０から読み出して、上記ステップ１１６で抽出されたウインドウ画像と比較して、ウインドウ画像が歩行者を示す画像であるか否かを識別する。例えば、エリアＡ×左向きについては、左向きの識別モデルが使用される。

次に、ステップ１２０で、上記ステップ１１８の識別の結果、ウインドウ画像が歩行者を示す画像であると識別されたか否かを判定する。歩行者の場合には、ステップ１２２へ移行し、歩行者ではない場合には、ステップ１２２をスキップして、ステップ１２４へ移行する。

ステップ１２２では、ウインドウ画像の位置、サイズ、及び使用した識別モデルの姿勢を識別結果として所定の記憶領域に記憶する。この識別結果が、次フレームの処理における上記ステップ１００で前フレームの識別結果として取得される。また、識別結果に基づいて、撮像画像に対して、検出された歩行者がウインドウで囲まれて表示されるように表示装置２０を制御する。この際、歩行者の向きを示す矢印等の表示を合わせて行ってもよい。

ステップ１２４では、変数ｉがＮになったか否かを判定することにより、全ての危険領域×姿勢を探索範囲として設定して処理したか否かを判定する。ｉ≠Ｎの場合には、ステップ１２６へ移行して、変数ｉを１インクリメントして、ステップ１１６へ戻り、処理を繰り返す。ｉ＝Ｎとなった場合には、処理を終了する。

以上説明したように、本実施の形態の対象物検出装置によれば、領域危険度及び姿勢別危険度に基づいた総合的な危険度が高い順に探索範囲として設定し、姿勢別の識別モデルから適切な識別モデルを選択するため、ドライバにとって危険度の高い歩行者を早期に精度良く検出することができる。

また、領域危険度、姿勢別危険度、及び総合的な危険度が各々について定めた閾値より小さい場合、並びに不可避領域を処理対象から除外するため、計算リソースに制限がある場合でも、計算コストを削減して、検出すべき優先度の高い歩行者を早期に精度良く検出することができる。

なお、本実施の形態では、検出する対象物を歩行者とした場合について説明したが、対象物は二輪車等であってもよい。二輪車の場合には、姿勢を、向き、静止しているか走行しているか等とすることができる。

また、本実施の形態では、各危険度が閾値より小さいときには処理対象から除外する場合について説明したが、計算リソースに余裕がある場合には、除外することなく推定された全ての危険領域×姿勢について処理するようにしてもよい。また、領域危険度による除外のみ、姿勢別危険度による除外のみ、または総合的な危険度による除外のみを行うようにしてもよい。

また、本実施の形態では、歩行者の姿勢を、左向き、右向き、前向き、後向きとした場合について説明したが、さらに細分化した向きを適用してもよいし、開脚の度合い、手と足との関係、静止しているか歩いているか走っているかの状態、大人か子供か（身長）で細分化してもよい。開脚の度合いや手と足との関係からは、歩行者の動きの大きさを把握できるため、開脚度合いが大きい場合には姿勢別危険度を高くするとよい。また、静止している場合よりも歩いている場合、歩いている場合よりも走っている場合の方が姿勢別危険度を高くするとよい。また、大人よりも子供の方が車両に対する注意力が低い場合が多いため、子供の場合（身長が低い場合）は姿勢別危険度を高くするとよい。

また、本実施の形態では、領域危険度と姿勢別危険度とを乗算して総合的な危険度を推定する場合について説明したが、総合的な危険度を、領域危険度と姿勢別危険度との和や平均として推定してもよいし、それぞれに重み付けをして和、積、平均等を取るようにしてもよい。

１０ 対象物検出装置
１２ 撮像装置
１４ 走行状態検出部
１６ 周辺状況検出部
１８ コンピュータ
２０ 表示装置
２２ 危険領域推定部
２４ 姿勢別危険度推定部
２６ 探索範囲設定部
２８ ウインドウ画像抽出部
３０ 識別モデル記憶部
３２ 歩行者識別部

Claims (12)

1. 自車両周辺を撮像した撮像画像、自車両の走行状態を示す情報、及び自車両の周辺状況を示す情報を取得する取得手段と、
   前記取得手段により取得した情報に基づいて、対象物が存在する可能性のある危険領域、及び該危険領域の危険の度合いを示す領域危険度を推定する危険領域推定手段と、
   前記危険領域と自車両との位置関係と、該危険領域内に存在すると仮定した対象物の姿勢との関係に基づいて、該姿勢毎の危険の度合いを示す姿勢別危険度を推定する姿勢別危険度推定手段と、
   前記領域危険度及び前記姿勢別危険度に基づいて、前記危険領域毎に該危険領域内に存在すると仮定した対象物の姿勢毎の総合的な危険度を推定し、該総合的な危険度の高い順に前記危険領域を選択し、選択した危険領域に対応する前記撮像画像上の領域からウインドウ画像を抽出する抽出手段と、
   前記抽出手段により抽出されたウインドウ画像と、予め対象物を識別するために対象物の姿勢毎に生成された識別モデルから前記選択した危険領域内に存在すると仮定した対象物の姿勢に応じて選択された識別モデルとに基づいて、前記ウインドウ画像が対象物を表す画像か否かを識別する識別手段と、
   を含む対象物検出装置。
2. 前記危険領域推定手段は、前記領域危険度が予め定めた領域危険度閾値より小さい危険領域を処理対象から除外する請求項１記載の対象物検出装置。
3. 前記姿勢別危険度推定手段は、前記姿勢別危険度が予め定めた姿勢別危険度閾値より小さい姿勢を処理対象から除外する請求項１または請求項２記載の対象物検出装置。
4. 前記抽出手段は、前記総合的な危険度が予め定めた危険度閾値より小さい前記危険領域毎に該危険領域内に存在すると仮定した対象物の姿勢を処理対象から除外する請求項１〜請求項３のいずれか１項記載の対象物検出装置。
5. 前記危険領域推定手段は、前記危険領域に対象物が存在すると仮定した場合に、該対象物と自車両との衝突が不可避の領域を前記危険領域から除外する請求項１〜請求項４のいずれか１項記載の対象物検出装置。
6. 前記危険領域推定手段は、過去に前記識別手段により対象物を表す画像であると識別された前記ウインドウ画像に対応する危険領域の領域危険度を高くする請求項１〜請求項５のいずれか１項記載の対象物検出装置。
7. 前記姿勢別危険度推定手段は、過去に前記識別手段により対象物を表す画像であると識別された前記ウインドウ画像に対応する危険領域内に存在すると仮定される対象物の姿勢のうち、該ウインドウ画像が示す対象物の姿勢の姿勢別危険度を高くする請求項１〜請求項６のいずれか１項記載の対象物検出装置。
8. 前記対象物が歩行者の場合、前記対象物の姿勢は、前記歩行者の向き、開脚度合い、手と足との関係、静止しているか歩いているか走っているかの状態、及び身長を含む請求項１〜請求項７のいずれか１項記載の対象物検出装置。
9. 前記自車両の走行状態を示す情報は、自車両の速度、操舵角、及び姿勢角を含む請求項１〜請求項８のいずれか１項記載の対象物検出装置。
10. 前記自車両の周辺状況を示す情報は、自車両の周辺に存在する物体の位置、該物体が移動しているか静止しているかを示す情報、地図情報、及び自車両の周辺の天候の情報を含む請求項１〜請求項９のいずれか１項記載の対象物検出装置。
11. コンピュータを、
    自車両周辺を撮像した撮像画像、自車両の走行状態を示す情報、及び自車両の周辺状況を示す情報を取得する取得手段、
    前記取得手段により取得した情報に基づいて、対象物が存在する可能性のある危険領域、及び該危険領域の危険の度合いを示す領域危険度を推定する危険領域推定手段、
    前記危険領域と自車両との位置関係と、該危険領域内に存在すると仮定した対象物の姿勢との関係に基づいて、該姿勢毎の危険の度合いを示す姿勢別危険度を推定する姿勢別危険度推定手段、
    前記領域危険度及び前記姿勢別危険度に基づいて、前記危険領域毎に該危険領域内に存在すると仮定した対象物の姿勢毎の総合的な危険度を推定し、該総合的な危険度の高い順に前記危険領域を選択し、選択した危険領域に対応する前記撮像画像上の領域からウインドウ画像を抽出する抽出手段、及び
    前記抽出手段により抽出されたウインドウ画像と、予め対象物を識別するために対象物の姿勢毎に生成された識別モデルから前記選択した危険領域内に存在すると仮定した対象物の姿勢に応じて選択された識別モデルとに基づいて、前記ウインドウ画像が対象物を表す画像か否かを識別する識別手段
    として機能させるための対象物検出プログラム。
12. コンピュータを、請求項１〜請求項１０のいずれか１項記載の対象物検出装置を構成する各手段として機能させるための対象物検出プログラム。

Images