JP5554261B2 - 立体物検出装置および立体物検出方法 - Google Patents

Description

本発明は、立体物検出装置および立体物検出方法に係り、特に、単一の撮像装置の撮像画像に基づいて撮像対象面上の立体物を検出するのに好適な立体物検出装置および立体物検出方法に関する。

従来から、車両に取り付けられた単眼（単一）カメラによる車両周辺の撮像画像（カメラからの入力画像）に基づいて、撮像画像中の路面上に存在する障害物を検出し、検出された障害物を対象とした警報を出力する路上障害物警報システムが知られている。

この種のシステムには、路面上の立体物（障害物）を検出するための種々の立体物検出方法が適用されており、例えば、特許文献１に示すように、自車の移動量を把握して、単眼カメラによる過去の撮像画像と現在の撮像画像とを照らし合わせることによって、路面や遠景等の不要な領域を除去して路面上の立体物（動体）のみを抽出する方法（所謂、背景差分法）等が知られている。

特開平１０−２２２６７９号公報 特開２０１０−０５６９７５号公報 特開２００７−１２９５６０号公報

ところで、この種の立体物検出方法において、カメラの撮像画像から立体物の位置を推定するには、通常は、立体物の足下（換言すれば、接地点）が撮像画像中のいずれの位置に映っているのかを検出することによって行うようになっていた。

しかるに、従来の立体物検出方法においては、車両のような移動プラットフォームに固定されたカメラの場合には、カメラの移動によって立体物以外の背景の映り方も変化するため、カメラの撮像画像から立体物が映っている領域だけを過不足無く検出することが困難であり、不要な背景を誤検出してしまったり、あるいは、立体物の一部しか検出できない検出漏れが発生してしまうことがあった。このような誤検出や検出漏れは、車両が停止している場合やカメラが静止プラットフォーム（例えば、建物）に固定されている場合においても、撮影対象面（路面や床面等）上の日照条件や照明条件等の変化によって発生する虞があった。

そして、このような誤検出や検出漏れが発生した状態の立体物の検出画像においては、パターンマッチング（特許文献２、３参照）等の煩雑な処理を行わなければ立体物の足下を正確に検出することができず、誤検出・検出漏れが発生しなかった場合に比べて位置精度が著しく劣化してしまっていた。このような位置精度の劣化は、検出された立体物が静止物であるのか動体であるのか、また、接近しているのか遠ざかっているのか等の判定精度にも悪影響を与えることになり、立体物検出を適用したカメラ画像処理システム（路上障害物警報システムや監視カメラシステム等）の信頼性の低下に繋がる虞があるため、早急な解決が求められていた。

本発明は、このような点に鑑みなされたものであり、立体物の検出位置精度の向上および安定化を簡便に実現することができ、ひいては、立体物検出を適用したシステムの信頼性を向上させることができる立体物検出装置および立体物検出方法を提供することを目的とするものである。

前述した目的を達成するため、本発明に係る立体物検出装置は、所定の位置に配置され、所定の撮像対象面を含む所定の撮像領域を撮像する単一の撮像装置を備え、前記撮像領域の撮像画像に基づいて、前記撮像対象面上の立体物を検出する立体物検出装置であって、前記撮像画像に基づいて前記撮像対象面上の立体物を検出し、この検出された立体物以外の不要な領域を除去して前記検出された立体物のみをシルエットとして残した検出対象画像を作成する検出対象画像作成装置と、前記撮像対象面上に設定された座標平面における所定の座標に、一定の幅、奥行きおよび高さを有する直方体を配置したと仮定した場合に、前記配置したと仮定された直方体のシルエットを前記撮像装置の像面に投影した場合に得られるべきマスク画像を、互いに異なる複数の座標ごとに予め記憶しておき、これら各座標ごとに、前記検出対象画像における立体物のシルエットと各座標に対応する前記マスク画像における直方体のシルエットとの重なり部分についての面積比を、各座標における前記立体物の空間密度としてそれぞれ算出し、算出された各座標における前記空間密度に応じた画素値を有するような各座標ごとの画素を、各座標の配列順にしたがって配列することによって、前記撮像対象面における前記空間密度の分布を示す密度マップを作成する密度マップ作成装置と、この密度マップ作成装置によって作成された前記密度マップから、前記画素値が閾値画素値を超える少なくとも１つの高密度領域を抽出し、抽出された前記高密度領域における前記撮像装置に最も近い代表点の座標を、当該高密度領域に対応する前記立体物の位置として検出する立体物位置検出装置とを備えたことを特徴としている。

また、本発明に係る立体物検出方法は、所定の撮像対象面を含む所定の撮像領域を撮像する単一の撮像装置を所定の位置に配置し、前記撮像領域の撮像画像に基づいて、前記撮像対象面上の立体物を検出する立体物検出方法であって、前記撮像画像に基づいて前記撮像対象面上の立体物を検出し、前記撮像画像から前記検出された立体物以外の不要な領域を除去して前記検出された立体物のみをシルエットとして残した検出対象画像を作成する第１のステップと、前記撮像対象面上に設定された座標平面における所定の座標に、一定の幅、奥行きおよび高さを有する直方体を配置したと仮定した場合に、前記配置したと仮定された直方体のシルエットを前記撮像装置の像面に投影した場合に得られるべきマスク画像を、互いに異なる複数の座標ごとに予め用意しておき、これら各座標ごとに、前記第１のステップにおいて作成された前記検出対象画像における前記立体物のシルエットと各座標に対応する前記マスク画像における前記直方体のシルエットとの重なり部分についての面積比を、各座標における前記立体物の空間密度としてそれぞれ算出し、算出された各座標における前記空間密度に応じた画素値を有するような各座標ごとの画素を、各座標の配列順にしたがって配列することによって、前記撮像対象面における前記空間密度の分布を示す密度マップを作成する第２のステップと、この第２のステップにおいて作成された前記密度マップから、前記画素値が閾値画素値を超える少なくとも１つの高密度領域を抽出し、抽出された前記高密度領域における前記撮像装置に最も近い代表点の座標を、当該高密度領域に対応する前記立体物の位置として検出する第３のステップとを含むことを特徴としている。

そして、このような本発明によれば、検出対象画像が立体物の誤検出および／または検出漏れが発生した状態のものであっても、密度マップを用いた立体物の位置検出を行うことによって高い検出位置精度を確保することができる。すなわち、密度マップを作成する際には、撮像装置に近い側の座標に仮想配置された各直方体にそれぞれ対応する各マスク画像が、直方体のシルエットが相対的に大きくなる（撮像装置から遠い側の座標に仮想配置された各直方体に比べて大きくなる）ことによって、それぞれの直方体のシルエットと検出対象画像における立体物のシルエットとの重なり面積を稼ぐことができるため、密度マップ上の高密度領域を、立体物の足下側に相当する撮像装置側に伸長させることができる。これにより、検出対象画像に立体物の足下の欠損（検出漏れ）が生じている場合でも、これを補填して高精度な位置検出が可能となる。一方、検出対象画像における立体物以外の不要な部分については、元々検出対象画像中の面積占有率が低い場合が多いので、マスク画像における直方体のシルエットとの重なり部分も小さくなり、空間密度としては低い値が算出されて立体物の位置検出には関与しないものとなる。これにより、立体物以外の不要な部分が誤検出された場合であっても、これの位置精度への影響を回避することが可能となる。また、パターンマッチングのような複雑な処理や、レーダー等の位置検出用の特別な構成を要しないので、立体物の検出を簡便かつ低コストで行うことができる。さらに、パターンマッチングでは、演算量が多く、テンプレートとして記憶している物体の接地位置しか検出できないのに対して、本発明においては、全物体に対して、接地位置を迅速に検出することが可能となる。

また、本発明の立体物検出装置において、前記検出対象画像作成装置は、所定の作成周期ごとに前記検出対象画像の作成を繰り返し、前記密度マップ作成装置は、前記検出対象画像が作成される毎に、最新の前記密度マップを作成し、前記立体物位置検出装置は、前記最新の密度マップが作成される毎に、最新の前記立体物の位置を検出し、前記最新の立体物の位置を、これの検出時刻と対応付けた状態で追跡対象となる物標の履歴として記憶部に記録する物標履歴記録装置と、前記記録された物標の履歴に基づいて、当該物標の移動軌跡を推定する移動軌跡推定装置と、前記推定された移動軌跡に基づいて、当該移動軌跡に対応する前記物標が接近物であるか否かを判定する接近物判定装置とを備えてもよい。同様に、本発明の立体物検出方法において、前記第１のステップは、前記検出対象画像の作成を、所定の作成周期ごとに繰り返すステップであり、前記第２のステップは、前記第１のステップにおいて最新の前記検出対象画像が作成される毎に、最新の前記密度マップを作成するステップであり、前記第３のステップは、前記第２のステップにおいて前記最新の密度マップが作成される毎に、最新の前記立体物の位置を検出するステップであり、前記第３のステップにおいて検出された前記最新の立体物の位置を、これの検出時刻と対応付けた状態で追跡対象となる物標の履歴として記憶部に記録する第４のステップと、この第４のステップにおいて記録された前記物標の履歴に基づいて、当該物標の移動軌跡を推定する第５のステップと、この第５のステップにおいて推定された前記移動軌跡に基づいて、当該移動軌跡に対応する前記物標が接近物であるか否かを判定する第６のステップとを含んでもよい。

そして、このような本発明によれば、密度マップに基づいた高精度な検出位置の時間変化を監視することによる立体物（物標）の追跡によって、立体物が自ら撮像装置に接近する接近物であるか否かを高精度に判定することが可能となる。

さらに、本発明の立体物検出装置において、前記物標履歴記録装置は、前記最新の立体物の位置が検出された時点で、既に履歴として記録されている前記物標の予想される現在位置を、当該履歴に基づいて算出し、算出された前記物標の予想される現在位置と、前記検出された最新の立体物の位置とを比較して、両者が近いとみなされる場合には、当該検出された最新の立体物の位置を、これの検出時刻と対応付けた状態で、当該算出された物標の予想される現在位置に該当する物標の履歴に追記し、前記両者が遠いとみなされる場合には、当該検出された最新の立体物の位置を、これの検出時刻と対応付けた状態で、新たな物標の履歴として前記記憶部に新規記録してもよい。同様に、本発明の立体物検出方法において、前記第４のステップは、前記第３のステップにおいて前記最新の立体物の位置が検出された時点で、既に前記履歴に記録されている前記物標の予想される現在位置を、当該履歴に基づいて算出し、算出された前記物標の予想される現在位置と、前記検出された最新の立体物の位置とを比較する第４ａのステップと、この第４ａのステップにおいて比較された両者が近いとみなされる場合には、当該検出された最新の立体物の位置を、これの検出時刻と対応付けた状態で、当該算出された物標の予想される現在位置に該当する物標の履歴に追記し、前記両者が遠いとみなされる場合には、当該検出された最新の立体物の位置を、これの検出時刻と対応付けた状態で、新たな物標の履歴として前記記憶部に新規記録する第４ｂのステップとを含んでもよい。

そして、このような本発明によれば、新たに検出された立体物の位置について、既に追跡している立体物の予想される現在位置との距離関係に基づいて、既に追跡している立体物に紐付けるかまたは新たな追跡対象の初期位置とするかを適正に選択することができるので、立体物が接近物であるか否かを更に高精度に判定することが可能となる。

さらにまた、本発明の立体物検出装置において、前記物標履歴記録装置は、前記検出された最新の立体物の位置に前記算出された物標の予想される現在位置が近いとみなされる物標が複数存在する場合には、前記検出された最新の立体物の位置を、当該複数の物標の履歴のうちの前記算出された物標の予想される現在位置が前記検出された最新の立体物の位置に最も近い物標の履歴に追記してもよい。同様に、本発明の立体物検出方法において、前記第４ｂのステップは、前記検出された最新の立体物の位置に前記算出された物標の予想される現在位置が近いとみなされる物標が複数存在する場合には、前記検出された最新の立体物の位置を、当該複数の物標の履歴のうちの前記算出された物標の予想される現在位置が前記検出された最新の立体物の位置に最も近い物標の履歴に追記するステップであってもよい。

そして、このような本発明によれば、新たに検出された立体物の位置の近傍に、既に追跡している立体物が複数存在する場合には、新たに検出された立体物の位置を、当該追跡中の複数の立体物の予想される現在位置との距離関係に基づいて、当該追跡中の複数の立体物のうちのより同一性が高い側に紐付けることができるので、立体物が接近物であるか否かをより高精度に判定することが可能となる。

また、本発明の立体物検出装置において、前記撮像装置が移動体に配置されており、前記移動体の移動量を取得する移動量取得装置を備え、前記物標履歴記録装置は、取得された前記移動体の移動量に基づいて、前記物標の履歴における前記立体物の位置を補正してもよい。同様に、本発明の立体物検出方法において、前記撮像装置を移動体に配置し、前記移動体の移動量を取得する第７のステップと、この第７のステップにおいて取得された前記移動体の移動量に基づいて、前記物標の履歴における前記立体物の位置を補正する第８のステップとを含んでもよい。

そして、このような本発明によれば、移動体とともに撮像装置が移動する場合であっても、過去の追跡結果を移動に応じて補正することができるので、立体物の適正な追跡を継続して、接近物の有無の判定を安定的に行うことが可能となる。

さらに、本発明の立体物検出装置において、前記接近物判定装置によって接近物であると判定された前記物標の衝突余裕時間を、当該物標の前記推定された移動軌跡に基づいて算出し、算出された前記衝突余裕時間が閾値時間以下の場合に、当該物標を対象とした警報を出力する警報出力装置を備えてもよい。同様に、本発明の立体物検出方法において、前記第６のステップにおいて接近物であると判定された前記物標の衝突余裕時間を、当該物標の前記推定された移動軌跡に基づいて算出し、算出された前記衝突余裕時間が閾値時間以下の場合に、当該物標を対象とした警報を出力する第９のステップを含んでもよい。

そして、このような本発明によれば、立体物の位置についての高精度な検出結果および立体物が接近物であるか否かについての正確な判定結果に基づいて、立体物を対象とした警報の出力制御を行うことができるので、警報システムの信頼性を向上させることができる。

さらにまた、本発明の立体物検出装置において、前記撮像装置が移動体に配置されており、前記最新の検出対象画像が作成される毎に、当該最新の検出対象画像とこれの前回に作成された前記検出対象画像との差分面積を算出する差分面積算出装置と、この差分面積算出装置によって算出された前記差分面積に基づいて、前記検出対象画像に対応する前記立体物が接近物であるか否かを判定する第２の接近物判定装置とを備え、前記第２の接近物判定装置は、前記算出された差分面積の変化に基づいて、前記差分面積が増加したか否かを判定する差分面積増加判定装置と、前記移動体が移動中であるか否かを判定する移動判定装置と、前記算出された差分面積の変化量が閾値変化量以上であるか否かを判定する差分面積変化量判定装置とを備えるとともに、次の（ａ）および（ｂ）の各条件、（ａ）前記差分面積が増加したとの判定がなされ、かつ、前記移動中ではないとの判定がなされたこと、（ｂ）前記差分面積が増加したとの判定がなされ、かつ、前記移動中であるとの判定がなされ、かつ、前記差分面積の変化量が前記閾値変化量以上ではないとの判定がなされたこと、のいずれかが満足される場合に、前記接近物であるとの判定を行い、一方、（ａ）および（ｂ）の各条件のいずれも満足されない場合には、前記接近物ではないとの判定を行い、前記警報出力装置は、前記第２の接近物判定装置によって前記接近物ではないとの判定がなされた前記立体物については、当該立体物に対応する前記衝突余裕時間が前記閾値時間以下の場合であっても前記警報を出力しなくてもよい。同様に、本発明の立体物検出方法において、前記撮像装置を移動体に配置し、前記第１のステップにおける最新の前記検出対象画像の作成の度毎に、当該最新の検出対象画像とこれの前回に作成された前記検出対象画像との差分面積を算出する第１０のステップと、この第１０のステップにおいて算出された前記差分面積に基づいて、前記検出対象画像に対応する前記立体物が接近物であるか否かを判定する第１１のステップとを含み、前記第１１のステップは、次の（ａ）および（ｂ）の各条件、（ａ）前記算出された差分面積の変化に基づいて前記差分面積が増加したとみなされ、かつ、前記移動体が移動中ではないこと、（ｂ）前記算出された差分面積の変化に基づいて前記差分面積が増加したとみなされ、かつ、前記移動体が移動中であり、かつ、前記算出された差分面積の変化量が閾値変化量以上ではないこと、のいずれかが満足される場合には、前記接近物であると判定し、一方、（ａ）および（ｂ）の各条件のいずれも満足されない場合には、前記接近物ではないと判定するステップであり、前記第９のステップは、前記第１１のステップにおいて前記接近物ではないとの判定がなされた前記立体物については、当該立体物に対応する前記衝突余裕時間が前記閾値時間以下の場合であっても前記警報を出力しないステップであってもよい。

そして、このような本発明によれば、前述した立体物の検出位置に基づいた接近物判定に併せて、差分面積に基づいた接近物判定を行った上で警報の出力を制御することができるので、接近物であるか否かについてのより正確な判定結果を警報の出力の有無に反映させることができ、ひいては、警報システムの信頼性を更に向上させることが可能となるとともに、不要な警報の出力によるユーザの不快感を軽減することが可能となる。特に、このような本発明は、検出された立体物が静止している状況下（とりわけ、撮像装置の近くで静止している状況下）で、移動体とともに撮像装置が移動したが為に差分面積が大きく増加するような場合に、これを誤って立体物の接近とみなした誤判定およびこれにともなう誤警報を未然に回避するのに有効である。

また、本発明の立体物検出装置において、前記警報出力装置は、前記差分面積の変化量が前記閾値変化量以上であるとの判定がなされたことによって前記第２の接近物判定装置によって前記接近物ではないとの判定がなされた前記立体物についても、これを対象とした前記警報の出力を既に行っている場合には、この警報の出力を継続してもよい。同様に、本発明の立体物検出方法において、前記第９のステップは、前記算出された差分面積の変化量が前記閾値変化量以上であることによって前記第１１のステップにおいて前記接近物ではないとの判定がなされた前記立体物についても、これを対象とした前記警報の出力を既に行っている場合には、この警報の出力を継続するステップであってもよい。

そして、このような本発明によれば、差分面積に基づいて接近物ではないと判定された立体物についても、これを対象とした警報が既に出力されている場合には、その警報の出力を維持することによって、立体物に近づいている状況に変化がないにもかかわらず警報が突然停止することによるユーザの違和感の発生を防止することが可能となる。

本発明によれば、立体物の検出位置精度の向上および安定化を簡便に実現することができ、ひいては、立体物検出を適用したシステムの信頼性を向上させることができる。

本発明に係る立体物検出装置の第１実施形態を示すブロック図 本発明に係る立体物検出装置の第１実施形態において、車載カメラの撮像画像の一例を示す図 本発明に係る立体物検出装置の第１実施形態において、検出対象画像の一例を示す模式図 本発明に係る立体物検出装置の第１実施形態において、マスク画像の一例を示す図 本発明に係る立体物検出装置の第１実施形態において、マスク画像の作成方法を示す概念図 本発明に係る立体物検出装置の第１実施形態において、密度マップの作成方法を示す概念図 本発明に係る立体物検出装置の第１実施形態において、密度マップに該当する領域を模式的に示す斜視図 本発明に係る立体物検出装置の第１実施形態において、深度マップの作成方法を示す概念図 本発明に係る立体物検出装置の第１実施形態において、立体物の位置の検出方法を示す概念図 本発明に係る立体物検出装置の第１実施形態において、物標の履歴を示す概念図 本発明に係る立体物検出装置の第１実施形態において、物標の追跡状態を示す概念図 本発明に係る立体物検出装置の第１実施形態において、物標の移動軌跡の推定状態を示す概念図 本発明に係る立体物検出装置の第１実施形態において、警報の出力状態の一例を示す図 本発明に係る立体物検出方法の第１実施形態を示すフローチャート 本発明に係る立体物検出装置の第２実施形態を示すブロック図 本発明に係る立体物検出装置の第２実施形態において、差分面積の算出方法を示す概念図 本発明に係る立体物検出方法の第２実施形態を示す第１のフローチャート 本発明に係る立体物検出方法の第２実施形態を示す第２のフローチャート

（第１実施形態）
以下、本発明に係る立体物検出装置の第１実施形態について、図１乃至図１３を参照して説明する。

図１は、本発明に係る立体物検出装置の第１実施形態として、移動体としての自車（車両）に搭載された立体物検出装置１を示すブロック図である。

図１に示すように、本実施形態における立体物検出装置１は、単一の撮像装置としての車載カメラ２を有している。この車載カメラ２は、自車の所定の位置に取り付けられており、所定の撮像対象面としての路面を含む自車の周辺の視野角内の撮像領域を、不図示の入力装置（操作ボタン等）を用いたユーザ操作や車両の所定の運転操作等を開始トリガとして所定のフレームレートで撮像するようになっている。なお、路面には、道路の路面だけでなく、駐車場の路面、地面、その他の車両の走行が想定される走行面が含まれる（以下、同様）。そして、立体物検出装置１は、このような車載カメラ２の撮像画像に基づいて、路面上の立体物を検出するようになっている。なお、車載カメラ２は、魚眼レンズ等の広角のレンズを備えた広視野角のカメラであって、ＣＣＤやＣＭＯＳ等の固体撮像素子（像面）を備えたデジタルカメラであってもよい。また、車載カメラ２は、自車の後部（例えば、リアライセンスガーニッシュ部等）に自車の後方の路面を斜め方向から見下ろすような姿勢で取り付けられた自車の後方を中心とした所定の撮像領域を撮像するバックカメラであってもよい。これ以外にも、車載カメラ２は、自車の前部（例えば、エンブレム部等）に自車の前方の路面を斜め方向から見下ろすような姿勢で取り付けられた自車の前方を中心とした所定の撮影領域を撮影するフロントカメラであってもよい。また、これら以外にも、車載カメラ２は、自車の左側部（例えば、左ドアミラー等）に自車の左側方の路面を斜め方向から見下ろすような姿勢で取り付けられた自車の左側方を中心とした所定の撮影領域を撮影する左サイドカメラであってもよい。さらに、これら以外にも、車載カメラ２は、自車の右側部（例えば、右ドアミラー等）に自車の右側方の路面を斜め方向から見下ろすような姿勢で取り付けられた自車の右側方を中心とした所定の撮影領域を撮影する右サイドカメラであってもよい。

また、図１に示すように、立体物検出装置１は、カメラ画像取得部３を有しており、このカメラ画像取得部３には、車載カメラ２の撮像画像が、撮像の度毎に逐次入力されるようになっている。

さらに、図１に示すように、立体物検出装置１は、検出対象画像作成装置としての検出対象画像作成部４を有している。この検出対象画像作成部４は、カメラ画像取得部３によって取得された車載カメラ２の撮像画像をカメラ画像取得部３から逐次取得し、取得された撮像画像に基づいて、路面上の立体物を画像認識によって検出するようになっている。ここでの立体物の検出は、撮像画像中のいずれの画素領域が立体物に該当するものであるかを検出できる方法によって行えばよく、前述した背景差分法その他の公知の立体物検出方法を適用することができる。そして、検出対象画像作成部４は、このようにして立体物が検出された場合には、検出された立体物以外の不要な画素領域を撮像画像から除去して、検出された立体物のみをこれのシルエットとして残した画像である検出対象画像を作成するようになっている。なお、検出対象画像は、歪み補正後の画像であってもよい。ここで、図２に示すように、撮像画像が、画像左端側に２台の他車両が並んで映っている画像であるとする。この場合に、これら２台の他車両が検出対象画像作成部４によって立体物として検出された場合には、検出対象画像は、例えば、図３に示すように、２台の他車両に対応するシルエット（白塗り部）と、これ以外の背景（黒塗り部）とからなる画像となる。ただし、検出対象画像における背景は、立体物（図３における他車両）のシルエットの像面上の位置および範囲を規定するために補足的に存在するものであり、撮像画像を反映した画像は一切含まれていない。なお、検出対象画像作成部４は、例えば背景差分法を用いた立体物検出を行う場合には、時系列的に前後する複数の撮像画像の差分をとって差分画像に相当する立体物を検出することになるが、このような差分をとる処理を撮像画像における全画素を対象として行う場合には処理負担が過大となる場合がある。そこで、このような場合には、撮像画像の画素を間引いてサイズを縮小した上で差分をとるようにしてもよい。そして、このようにして差分をとって立体物を検出した後に撮像画像の間引かれた画素を復元してサイズを元に戻して検出対象画像を作成する場合には、検出対象画像は、図３のような一連のシルエットではなく、画素を間引いたことを反映したドット群のようなイメージとなる。このような検出対象画像の作成周期は、撮像画像の取得周期と同周期であってもよいし、または、異なる周期（例えば、撮像画像の取得周期の複数周期分または当該取得周期より短い周期）であってもよい。

図１に戻って、立体物検出装置１は、密度マップ作成装置としての密度マップ作成部５を有している。この密度マップ作成部５は、検出対象画像作成部４によって作成された検出対象画像に基づいて、路面における立体物の空間密度の分布を示す画像である密度マップを作成するようになっている。この密度マップの作成は、検出対象画像作成部４によって最新の検出対象画像が作成される毎に繰り返し行われる。

ここで、密度マップ作成部５は、密度マップの作成にあたって、まず、前提として、図４に示すような複数のマスク画像Ｍｉｊ（ｉ、ｊは整数、以下同様）を予め記憶しておく。これらのマスク画像Ｍｉｊは、次のようにして作成されたものである。すなわち、図５に示すように、路面上に、この路面と同一平面状の座標平面（Ｘ−Ｙ座標）を設定（仮定）する。なお、この座標平面は、三次元ワールド座標系の一部を構成するものであるが、Ｚ軸（高さ方向）に垂直なＺ座標が一定の座標平面であるため、以下の説明では、この座標平面上での座標点におけるＺ座標は無視して扱う。また、このような座標平面は、図５に示すように、車載カメラ２の位置（三次元位置）の座標平面上への垂直投影点を原点（０，０）としたものである。なお、車載カメラ２をバックカメラとした場合には、図５の座標平面におけるＸ軸方向が車幅方向となり、Ｙ軸方向が車両全長方向となる。また、図５に示すように、Ｘ座標は、車載カメラ２に最も近い原点（０，０）よりも右側が正、左側が負であってもよい。一方、図５におけるＹ座標はすべて正である。このような座標平面および三次元ワールド座標系は、車載カメラ２の既知のカメラパラメータ（外部パラメータ等）に対応付けて設定されたものであってもよい。次いで、図５に示すように、前述のようにして設定された座標平面における所定の座標（ｉ，ｊ）に、一定の幅、奥行きおよび高さを有する直方体マスク（直方体）を配置したと仮定する。この直方体マスクは、これに対応するマスク画像Ｍｉｊの作成に関与することになる。なお、図５には、便宜上、複数の直方体マスクが同時に仮定されているが、個々のマスク画像Ｍｉｊを作成する際には、それぞれに対応する直方体マスクを個別に仮定することになる。また、直方体マスクのサイズや配置周期はコンセプトに応じて種々の値を選択することができる。例えば、全直方体マスクを同時に配置したと仮定した場合に、互いに隣位する直方体マスク同士に接触や重なりが生じるようなサイズ／配置周期を選択してもよい。次いで、このようにして配置したと仮定された各直方体マスクのシルエットを、車載カメラ２の像面に投影（撮像）した場合に得られるべき画像を、各座標ごとに算出する。そして、このようにして算出された各座標ごとの画像が、図４に示した複数のマスク画像Ｍｉｊとなる。図４に示すように、各マスク画像Ｍｉｊは、対応する座標に仮想配置された直方体マスクのシルエットが白塗りの投影画像として含まれているとともに、残余の領域が黒塗りの画像となっている。また、各マスク画像Ｍｉｊは、いずれも撮像画像と同一サイズの画像となっている。さらに、各マスク画像Ｍｉｊは、同一サイズの直方体マスクに基づいたものであるため、各マスク画像Ｍｉｊのうち、車載カメラ２に最も近い座標の原点（０，０）に対応するマスク画像Ｍ（ｉ＝０、ｊ＝０）が、直方体マスクのシルエットが最も広い範囲で投影されたものとなっている。なお、座標におけるｉ、ｊの配置間隔（実世界上における距離間隔）は、コンセプトに応じて好適な値を選択することができる。また、マスク画像Ｍｉｊの総枚数は、座標平面上の全座標（ｉ，ｊ）に直方体マスクを配置したと仮定して、Ｘ座標ｉの上限値をｎ、下限値を−ｎ、Ｙ座標ｊの上限値をｍ（下限値は０）とした場合には、（２ｎ＋１）×（ｍ＋１）枚となる。このような直方体マスクの仮定によるマスク画像Ｍｉｊの作成は、車載カメラ２の既知のカメラパラメータ（内部／外部パラメータ）を利用して行うようにしてもよい。

次いで、密度マップ作成部５は、このようにしてマスク画像Ｍｉｊを各座標ごとに（対応付けて）予め記憶しておいた上で、各座標ごとに、検出対象画像作成部４によって作成された検出対象画像における立体物のシルエットと各座標に対応するマスク画像Ｍｉｊにおける直方体マスクのシルエットとの重なり部分の面積ｓｉｊを求める畳み込み演算を行う。この面積ｓｉｊは、当該重なり部分を構成する画素領域の画素数として求めてもよい。図６には、このような畳み込み演算が概念的に示されている。

次いで、密度マップ作成部５は、このようにして求められた各座標ごとの重なり部分の面積ｓｉｊを、各座標ごとのマスク画像Ｍｉｊにおける直方体マスクのシルエットの面積Ｓｉｊ（画素数であってもよい）で除することによって、各座標ごとに、当該重なり部分についての直方体マスクのシルエットに対する面積比ｓｉｊ／Ｓｉｊを算出する。そして、密度マップ作成部５は、算出された各座標ごとの面積比ｓｉｊ／Ｓｉｊを、各座標における立体物の空間密度ｄｉｊとする。すなわち、ｄｉｊ＝ｓｉｊ／Ｓｉｊとなる。

そして、密度マップ作成部５は、このようにして算出された各座標における空間密度ｄｉｊに応じた画素値を有するような各座標ごとの画素を仮定する。ただし、画素の画素値は、空間密度ｄｉｊが高いほど高い値を設定する。そして、当該仮定された各座標ごとの画素を、各座標の配列順にしたがって配列することによって、図６に示すような密度マップを作成する。ここで、図６に示すように、密度マップは、各座標ごとの空間密度ｄｉｊを反映した画素値を有する画素を構成単位とした前述した座標平面（図５参照）に対応する一連の画像となっている。また、密度マップの原点は、車載カメラ２の位置に最も近い前述した座標平面の原点（０，０）に対応している。図７には、このような密度マップで示される領域が模式的に示されている。ここで、図６に示すように、密度マップ上における立体物は、原点側から周辺側に向かって放射状に延びる楔形の画像として現われるようになっている。また、立体物が互いに隣接するようにしてＮ個存在するような場合には、図６に示すように、密度マップ上にＮ個（図６において２つ）の楔形を合成したような画像として現われる。このような楔形の画像を構成する画素の画素値（すなわち、空間密度）は、次の（ｉ）〜（iii）に示すような特徴を有している。（ｉ）原点から楔形の先端部までの領域をはじめとした楔形の外側の領域では０となる。（ii）楔形の先端部を基点として原点から離れるにしたがって高くなる。（iii）立体物の実際の位置に対応する座標付近で飽和する（ピークとなる）。

図１に戻って、立体物検出装置１は、立体物位置検出装置としての立体物位置検出部６を有している。この立体物位置検出部６は、密度マップ作成部５によって作成された密度マップに基づいて、立体物の位置を検出するようになっている。この立体物の位置の検出は、密度マップ作成部５によって最新の密度マップが作成される毎に繰り返し行われる。

ここで、立体物位置検出部６は、立体物の位置の検出にあたって、まず、密度マップから、空間密度ｄｉｊを反映した画素値が予め設定された閾値画素値を超えるような高密度領域を抽出する。この高密度領域は、画素の集合として抽出される。図８（ａ）は、このような高密度領域（図８（ａ）における楕円枠内）が密度マップ上において抽出された状態を示す概念図である。図８（ａ）に示すように、密度マップにおいて複数の楔形が得られた場合には、同数の高密度領域が抽出されることになる。

次いで、立体物位置検出部６は、このようにして抽出された高密度領域における原点側のエッジを抽出する。図８（ｂ）は、このようなエッジが抽出された状態を示す概念図である。なお、図８（ｂ）に示すように、抽出されたエッジは、密度マップから当該エッジに対応する画素以外を除去したような密度マップと同サイズの画像として得られる。この画像は、立体物の足下側を示す画像であり、奥行（深さ）に関与するので、深度マップと称することとする。

次いで、立体物位置検出部６は、このようにして抽出されたエッジから、高密度領域における原点に最も近い代表点の座標（ｘ，ｙ）を抽出する。そして、立体物位置検出部６は、抽出された代表点の座標を、高密度領域に対応する立体物の位置（ｘ，ｙ）として決定（検出）する。図９（ａ）および図９（ｂ）は、このような立体物位置検出部６による位置検出を示す概念図である。同図においては、代表点が２つ検出されているが、これらは、検出対象画像作成部４によって検出された２台の他車両の位置をそれぞれ示している。なお、図９（ｂ）は、図９（ａ）の深度マップの縮尺を、代表点のみを残した状態で１／４に縮小したものに相当する。

図１に戻って、立体物検出装置１は、物標履歴記録装置としての物標履歴記録部７を有している。この物標履歴記録部７には、立体物位置検出部６によって検出された最新の立体物の位置が、検出（更新）する毎に立体物位置検出部６側から逐次データとして入力されるようになっている。そして、物標履歴記録部７は、この入力された最新の立体物の位置を、これの検出時刻と対応付けた状態で、追跡対象となる物標の履歴として記憶部８に記録するようになっている。なお、最新の立体物の位置の検出時刻については、立体物位置検出部６が位置の検出と同時に取得するようにしてもよいし、物標履歴記録部７側において取得してもよい。このような時刻の取得手段としては、公知の種々の現在時刻取得手段を適用することができ、例えば、ラジオの時報、ＧＰＳレシーバによって受信されたＧＰＳ情報または装置の時刻表示機能等を挙げることができる。また、撮像画像の取得周期または検出対象画像の作成周期に同期して装置１がカウントアップする値を時刻として用いてもよい。図１０は、このような物標の履歴を模式的に示したものであり、図１０においては、立体物の検出位置（ｘ，ｙ）が、検出時刻および物標識別情報（例えば、物標名や物標番号）と対応付けて記録されている。

ここで、物標履歴記録部７は、このような物標の履歴の記録（追跡）を、立体物位置検出部６によって最新の立体物の位置が検出される度毎に繰り返す過程で、最新の立体物の位置が検出された時点で、この時点において既に履歴に記録されている物標の予想される現在位置を、当該履歴に基づいて算出するようになっている。この予想される現在位置は、例えば、物標の前回の検出位置の前々回の検出位置に対する位置変化量と前回の検出時刻の前々回の検出時刻に対する時間変化量との比をとって前回の位置検出時における物標の速度（ベクトル）を求め、この速度と、前回の検出位置と、前回の検出時刻から現在時刻までの経過時間とに基づいて算出してもよい。そして、物標履歴記録部７は、このようにして算出された物標の予想される現在位置と、検出された最新の立体物の位置とを比較して、両者が近いとみなされる場合には、当該検出された最新の立体物の位置を、これの検出時刻と対応付けた状態で、当該算出された物標の予想される現在位置に該当する物標の履歴に追記するようになっている。一方、前記両者が遠いとみなされる場合には、物標履歴記録部７は、当該検出された最新の立体物の位置を、これの検出時刻と対応付けた状態で、新たな物標の履歴として記憶部８に新規記録するようになっている。また、物標履歴記録部７は、このような物標の予想される現在位置に基づいた物標の最新の検出位置の追記または新規記録を行う過程で、最新の検出位置に算出された物標の予想される現在位置が近いとみなされる物標が複数存在する場合には、最新の検出位置を、当該複数の物標の履歴のうち、算出された物標の予想される現在位置が最新の検出位置に最も近くなるような１つの物標の履歴に追記するようにしてもよい。あるいは、このような最新の検出位置の近傍に複数の物標が存在する場合に、これら複数の物標の履歴の全てに最新の検出位置を一旦追記しておいてもよい。この場合には、その後の位置検出によって最新の検出位置から遠いとみなされるようになった物標の履歴から、当該検出位置に対応する位置・時刻を事後的に削除すればよい。さらに、物標履歴記録部７は、このような物標の履歴の記録を繰り返す過程で、図１に示す移動量取得装置としての移動量取得部９によって取得された自車の移動量に基づいて、物標の履歴における検出位置を補正（シフト／回転）するようになっている。このような履歴の補正を行う理由は、履歴内の検出位置は、これの検出時点（過去）における車載カメラ２の位置に対応した原点（０、０）を有する座標系において検出されたものであるため、自車の移動によって車載カメラ２が移動している現在においては、原点（座標系）がずれているため履歴中の検出位置もそれに応じてオフセットさせる必要があるからである。なお、移動量取得部９は、車載カメラ２の撮像画像の差分（時間変化）に基づいて自車の移動量を推定して取得するものであってもよいし、あるいは、車速センサ、加速度センサまたはジャイロセンサ等を用いて移動量を取得するものであってもよい。なお、物標履歴記録部７は、最新の検出位置が追記されないまま所定の時間が経過した物標の履歴については、物標を見失ったものとみなして履歴を破棄してもよい。図１１は、このような物標履歴記録部７によって記録された物標の履歴を最新の検出位置とともに深度マップの１／４縮尺画像上に示したものである。同図中の物標＃１と物標＃２とは、検出対象画像作成部４によって検出された２台の他車両に相当する。

図１に戻って、立体物検出装置１は、移動軌跡推定装置としての移動軌跡推定部１０を有している。この移動軌跡推定部１０は、物標履歴記録部７によって記録された物標の履歴に基づいて、当該物標の移動軌跡を推定するようになっている。移動軌跡推定部１０は、物標（立体物）が所定の運動モデルにしたがって移動すると仮定して、物標の移動軌跡を当該物標の履歴から推定するようになっている。

ここでは、物標が等速直線運動をすると仮定して説明する。まず、物標の履歴を（ｔｉ，ｘｉ，ｙｉ）（但し、１≦ｉ≦ｎ）とする。ここで、ｔｉは、物標（立体物）の検出時刻、ｘｉ、ｙｉは、時刻ｔｉにおいて検出された物標の位置である。また、ｎは、移動軌跡の推定に用いる履歴の要素数である。ｎの値としては、後述の警報タイミングが遅延しない程度の好適な値を選択すればよい。今、物標が等速直線運動をしていると仮定しているので、時刻Ｔ＝ｔにおける物標の位置（ｘｔ，ｙｔ）は、速度ベクトル（ｖｘ，ｖｙ）と時刻Ｔ＝０における物標の位置（ｘ０，ｙ０）とを用いて、次式のように表される。
ｘｔ＝ｖｘ・ｔ+ｘ０ ・・・（１）
ｙｔ＝ｖｙ・ｔ+ｙ０ ・・・（２）

次に、（１）式を点群（ｔｉ，ｘｉ）の回帰直線、（２）式を点群（ｔｉ，ｙｉ）の回帰直線として、ｖｘ、ｖｙ、ｘ０、ｙ０を求める。これらは最小二乗法を用いて次式のように求まる。
ｖｘ＝｛ｎΣ（ｔｉ・ｘｉ）−ΣｔｉΣｘｉ｝／｛ｎΣｔｉ^２−（Σｔｉ）^２｝（但し、Σは、ｉ＝１〜ｎまでとる、以下同様） ・・・（３）
ｖｙ＝｛ｎΣ（ｔｉ・ｙｉ）−ΣｔｉΣｙｉ｝／｛ｎΣｔｉ^２−（Σｔｉ）^２｝
・・・（４）
ｘ０＝（Σｘｉ−ｖｘΣｔｉ）／ｎ ・・・（５）
ｙ０＝（Σｙｉ−ｖｙΣｔｉ）／ｎ ・・・（６）

図１２は、このような移動軌跡推定部１０による移動軌跡の推定によって求められた速度ベクトルを、図１１と同様の画像上に重畳表示したものである。このような移動軌跡の推定結果によれば、物標＃１が、車載カメラ２の位置に対応する原点（０，０）から遠ざかるような速度ベクトルを有しているため、自車から遠ざかっていることが分かり、また、物標＃２が、原点に接近するような速度ベクトルを有しているため、自車に接近していることが分かる。

なお、移動軌跡推定部１０は、これ以外も、コンセプトに応じて種々の運動モデル（例えば、円運動）を仮定し、それにしたがった計算によって移動軌跡を推定してもよい。

図１に戻って、立体物検出装置１は、接近物判定装置としての接近物判定部１１を有している。この接近物判定部１１は、移動軌跡推定部１０によって推定された移動軌跡に基づいて、当該移動軌跡に対応する物標が接近物であるか否かを判定するようになっている。図１１の場合には、物標＃１が接近物ではないと判定され、物標＃２が接近物であると判定されることになる。なお、接近物判定部１１は、接近物ではないと判定する場合には、更に、静止物および遠ざかる動体のいずれであるかの判定も同時に行うようにしてもよい。

また、図１に示すように、立体物検出装置１は、警報出力装置としての警報出力部１２を有している。この警報出力部１２は、接近物判定部１１によって接近物であると判定された物標の衝突余裕時間（ＴＴＣ：Time To Collision）を、移動軌跡推定部１０によって推定された移動軌跡に基づいて算出するようになっている。衝突余裕時間は、車載カメラ２の位置（原点）、物標の位置および速度等に基づいて算出してもよい。そして、警報出力部１２は、算出された衝突余裕時間が予め設定された閾値時間以下の場合に、該当する物標を対象とした警報を出力するようになっている。この警報の出力は、図１３に示すように、撮像画像に基づいて作成されて表示部１３に表示された車両周辺監視画像における接近物（他車両）上への警報枠ｆの表示や、音声出力部１４を介した警報音の音声出力によって行うようにしてもよい。また、警報音は、移動ベクトルと対応付けて記憶された接近物の方向を示すアナウンスパターン（例えば、「右後方接近物に注意して下さい」等）を選択して音声アナウンスするものであってもよい。なお、車両周辺監視画像は、車載カメラ２の内部パラメータを用いた歪み補正や、車載カメラ２の絞りや自車の一部等の不要な映り込み部分の除去がなされた画像であってもよい。

さらに、立体物検出装置１の前述した各構成部３〜１２は、立体物検出装置１の機能に相当する処理を行うＣＰＵ、ＣＰＵの実行プログラムが記憶されたＲＯＭおよびＣＰＵの処理結果の一時的な保存に用いられるＲＡＭ等によって実現してもよい。

次に、前述した立体物検出装置１を適用した本発明に係る立体物検出方法の第１実施形態について、図１４を参照して説明する。

本実施形態においては、まず、図１４のステップ１（ＳＴ１）において、検出対象画像作成部４により、前述した手法によって検出対象画像を作成する。このステップ１（ＳＴ１）は、検出対象画像の作成周期毎に繰り返す。

次いで、ステップ２（ＳＴ２）において、密度マップ作成部５により、前述した手法によって密度マップを作成する。このステップ２（ＳＴ２）は、ステップ１（ＳＴ１）において最新の検出対象画像が作成される毎に繰り返す。

次いで、ステップ３（ＳＴ３）において、立体物位置検出部６により、前述した手法によって立体物の位置を検出する。このステップ３（ＳＴ３）は、ステップ２（ＳＴ２）において最新の密度マップが作成される毎に繰り返す。

次いで、ステップ４（ＳＴ４）において、物標履歴記録部７により、前述した手法によって物標の履歴の記録を行う。このステップ４（ＳＴ４）は、前述のように、履歴の追記（更新）の場合もあるし、新規記録の場合もある。

次いで、ステップ５（ＳＴ５）において、移動軌跡推定部１０により、前述した手法によって物標の移動軌跡を推定する。

次いで、ステップ６（ＳＴ６）において、接近物判定部１１により、前述した手法によって物標が接近物であるか否かの判定（接近物判定）を行う。

最後に、ステップ７（ＳＴ７）において、警報出力部１２により、ステップ６（ＳＴ６）において接近物であると判定されたことを条件として、接近物への警報の出力を行う。

以上述べたように、本実施形態によれば、密度マップを用いた立体物の位置検出を行うことによって高い検出位置精度を確保することができる。また、パターンマッチングのような複雑な処理や、レーダー等の位置検出用の特別な装置を要しないので、立体物の検出を簡便かつ低コストで行うことができる。さらに、密度マップに基づいた高精度な検出位置の時間変化を監視することによる立体物（物標）の追跡によって、立体物が接近物であるか否かを高精度に判定することができる。さらにまた、新たに検出された立体物の位置について、既に追跡している立体物の予想される現在位置との距離関係に基づいて、既に追跡している立体物に紐付けるかまたは新たな追跡対象の初期位置とするかを適正に選択することができるので、立体物が接近物であるか否かを更に高精度に判定することができる。また、新たに検出された立体物の位置の近傍に、既に追跡している立体物が複数存在する場合に、新たに検出された立体物の位置を、当該追跡中の複数の立体物の予想される現在位置との距離関係に基づいて、当該追跡中の複数の立体物のうちのより同一性が高い側に紐付けることもでき、立体物が接近物であるか否かをより高精度に判定することも可能となる。さらに、自車とともに車載カメラ２が移動する場合であっても、過去の追跡結果を移動に応じて補正することができるので、立体物の適正な追跡を継続して、接近物の有無の判定を安定的に行うことができる。さらにまた、立体物の位置についての高精度な検出結果および立体物が接近物であるか否かについての正確な判定結果に基づいて、立体物を対象とした警報の出力制御を行うことができるので、警報システムの信頼性を向上させることができる。

（第２実施形態）
次に、本発明に係る立体物検出装置の第２実施形態について、図１５および図１６を参照して説明する。

なお、第１実施形態と基本的な構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。

図１５は、本発明に係る立体物検出装置の第２実施形態として、第１実施形態と同様に車両に搭載された立体物検出装置２１を示すブロック図である。

図１５に示すように、本実施形態における立体物検出装置２１は、図１に示した第１実施形態の立体物検出装置１の各構成部をそのまま備えている。このような第１実施形態の各構成部に加えて、更に、本実施形態における立体物検出装置２１は、図１５に示すように、差分面積算出装置としての差分面積算出部２２を有している。この差分面積算出部２２は、検出対象画像作成部４による最新の検出対象画像の作成の度毎に、当該最新の検出対象画像とこれの前回に作成された検出対象画像との差分面積を算出するようになっている。この差分面積の算出は、例えば、図１６に示すように、最新の検出対象画像と前回の検出対象画像との差分画像を求め、この差分画像の面積を求めることによって行うようにしてもよい。差分面積は、画素数として算出されるものであってもよい。

また、図１５に示すように、立体物検出装置２１は、第２の接近物判定装置としての第２の接近物判定部２３を有している。この第２の接近物判定部２３は、差分面積算出部２２によって算出された差分面積に基づいて、検出対象画像に対応する立体物が接近物であるか否かを判定するようになっている。

この第２の接近物判定部２３についてさらに詳述すると、図１５に示すように、第２の接近物判定部２３は、差分面積増加判定装置としての差分面積増加判定部２４を有している。この差分面積増加判定部２４は、差分面積算出部２２によって算出された差分面積の変化（すなわち、今回算出された差分面積と、これの前回に算出された差分面積との差）に基づいて、差分面積が増加したか否かを判定するようになっている。

また、図１５に示すように、第２の接近物判定部２３は、移動判定装置としての移動判定部２５を有している。この移動判定部２５は、自車の移動量をモニタして、自車が移動中であるか否かを判定するようになっている。自車の移動量については、前述した移動量取得部９から取得してもよい。

さらに、図１５に示すように、第２の接近物判定部２３は、差分面積変化量判定装置としての差分面積変化量判定部２６を有している。この差分面積変化量判定部２６は、差分面積算出部２２によって算出された差分面積の変化量が予め設定された閾値変化量以上であるか否かを判定するようになっている。

そして、第２の接近物判定部２３は、このような各構成部２４〜２６を備えた上で、次の（ａ）および（ｂ）の各条件のいずれかが満足された場合に、検出対象画像に対応する立体物が接近物であると判定するようになっている。
（ａ）差分面積増加判定部２４によって差分面積が増加したとの判定がなされ、かつ、移動判定部２５によって自車が移動中ではないとの判定がなされたこと。
（ｂ）差分面積増加判定部２４によって差分面積が増加したとの判定がなされ、かつ、移動判定部２５によって自車が移動中であるとの判定がなされ、かつ、差分面積変化量判定部２６によって差分面積の変化量が閾値変化量以上ではないとの判定がなされたこと。

一方、第２の接近物判定部２３は、（ａ）および（ｂ）のいずれの条件も満足されない場合には、検出対象画像に対応する立体物が接近物ではないと判定するようになっている。

そして、本実施形態において、警報出力部１２は、第２の接近物判定部２３によって接近物ではないと判定された立体物については、当該立体物に対応する衝突余裕時間が閾値時間以下の場合であっても警報を出力しないようになっている。

ただし、警報出力部１２は、差分面積変化量判定部２６によって前記閾値変化量以上であるとの判定がなされたことによって第２の接近物判定装置２３によって接近物ではないとの判定がなされた立体物についても、これを対象とした警報の出力を既に行っている場合には、この警報の出力を継続するようになっている。

ここで、従来から、自車に対する接近物の有無の判定方法として、差分面積の変化に基づいた判定を行う技術は既にあった。しかしながら、このような差分面積による判定を行う場合には、自車の移動による差分面積の変化が、接近物であると誤判定されてしまうことが問題点として指摘されていた。特に、自車の近くに存在する静止物（例えば、停車車両）が車載カメラ２で捕捉されている状況下で、自車が移動すると、差分面積は著しい増加を示すことになり、接近物であるとの誤判定がなされる可能性が極めて高かった。そして、このような誤判定は、近接静止物に対する無用な警報の出力に繋がることになり、ユーザの不快感を招く結果となっていた。本実施形態は、このような問題を回避するために有効である。

次に、立体物検出装置２１を適用した本発明に係る立体物検出方法の第２実施形態について、図１７および図１８を参照して説明する。

本実施形態においては、第１実施形態と同様に、まず、ステップ１（ＳＴ１）において、検出対象画像作成部４によって検出対象画像を作成する。

次いで、第１実施形態と同様のステップ２〜６（ＳＴ２〜６）において、密度マップを用いて検出された立体物の位置（物標）の移動軌跡（移動ベクトル）に基づいた接近物であるか否かの判定（接近物判定）を、接近物判定部１１によって行う。

また、このとき、ステップ８（ＳＴ８）において、第２の接近物判定部２３により、差分面積の変化に基づいた接近物判定を行う。

次いで、ステップ７’（ＳＴ７’）において、警報出力部１２により、ステップ２〜６（ＳＴ６）における判定結果に基づいた警報の出力の有無の決定を行う。

また、このとき、ステップ９（ＳＴ９）において、警報出力部１２により、ステップ８（ＳＴ８）における判定結果に基づいた警報の出力の有無の決定を行う。

次いで、ステップ１０（ＳＴ１０）において、警報出力部１２により、ステップ７’（ＳＴ７’）およびステップ９（ＳＴ９）の双方において警報を出力すると決定したか否かを判定する。そして、ステップ１０（ＳＴ１０）において肯定的な判定結果が得られた場合には、ステップ１１（ＳＴ１１）に進み、否定的な判定結果が得られた場合には、ステップ１２（ＳＴ１２）に進む。

次いで、ステップ１１（ＳＴ１１）に進んだ場合には、警報出力部１２により、検出対象画像に対応する立体物を対象とした警報の出力を行う。

一方、ステップ１２（ＳＴ１２）に進んだ場合には、警報出力部１２による警報の出力は行わない。

次に、図１８は、ステップ８（ＳＴ８）およびステップ９（ＳＴ９）の詳細な内容を示したものである。

図１８に示すように、ステップ８（ＳＴ８）は、ステップ８ａ（ＳＴ８ａ）〜ステップ８ｄ（ＳＴ８ｄ）の４つのステップによって構成される。また、ステップ９（ＳＴ９）も、ステップ９ａ（ＳＴ９ａ）〜ステップ９ｃ（ＳＴ９ｃ）の３つのステップによって構成される。

具体的には、まず、ステップ８ａ（ＳＴ８ａ）において、差分面積算出部２２により、前述した手法によって差分面積を算出する。このステップ８ａ（ＳＴ８ａ）は、検出対象画像作成部４によって最新の検出対象画像が作成される毎に繰り返す。

次いで、ステップ８ｂ（ＳＴ８ｂ）において、差分面積増加判定部２４により、ステップ８ａ（ＳＴ８ａ）によって算出された今回の差分面積が、前回算出された差分面積よりも増加したか否かを判定する。そして、ステップ８ｂ（ＳＴ８ｂ）において肯定的な判定結果が得られた場合には、ステップ８ｃ（ＳＴ８ｃ）に進み、否定的な判定結果が得られた場合には、立体物が接近物ではないと判定してステップ９ｃ（ＳＴ９ｃ）に進む。

ここで、ステップ８ｃ（ＳＴ８ｃ）以降の処理について先に説明すると、まず、ステップ８ｃ（ＳＴ８ｃ）において、移動判定部２５により、自車が移動中であるか否かを判定する。そして、ステップ８ｃ（ＳＴ８ｃ）において否定的な判定結果が得られた場合には、立体物が接近物であると判定してステップ９ｂ（ＳＴ９ｂ）に進み、肯定的な判定結果が得られた場合には、ステップ８ｄ（ＳＴ８ｄ）に進む。

そして、ステップ９ｂ（ＳＴ９ｂ）に進んだ場合には、警報出力部１２により、警報を出力すると決定してステップ１０（ＳＴ１０）に進む。

一方、ステップ８ｄ（ＳＴ８ｄ）に進んだ場合には、差分面積変化量判定部２６により、差分面積の変化量が閾値変化量以上であるか否かを判定する。そして、ステップ８ｄ（ＳＴ８ｄ）において肯定的な判定結果が得られた場合には、立体物が接近物ではないと判定してステップ９ａ（ＳＴ９ａ）に進み、否定的な判定結果が得られた場合には、立体物が接近物であると判定してステップ９ｂ（ＳＴ９ｂ）に進む。

次いで、ステップ９ａ（ＳＴ９ａ）において、警報出力部１２により、検出対象画像に対応する立体物を対象とした警報を既に出力中であるか否かを判定する。そして、ステップ９ａ（ＳＴ９ａ）において肯定的な判定結果が得られた場合には、ステップ９ｂ（ＳＴ９ｂ）に進み、否定的な判定結果が得られた場合には、ステップ９ｃ（ＳＴ９ｃ）に進む。

次いで、ステップ９ｃ（ＳＴ９ｃ）において、警報出力部１２により、警報を出力しないと決定してステップ１０（ＳＴ１０）に進む。

本実施形態によれば、第１実施形態の効果に加えて、更に、自車の移動にともなう静止物（特に、近接静止物）に対する誤警報を未然に回避することができ、無用な警報によるユーザの不快感を軽減するといった効果を奏することができる。

なお、本発明は、前述した実施の形態に限定されるものではなく、本発明の特徴を損なわない限度において種々変更することができる。

１ 立体物検出装置
２ 車載カメラ
４ 検出対象画像作成部
５ 密度マップ作成部
６ 立体物位置検出部

Claims (16)

1. 所定の位置に配置され、所定の撮像対象面を含む所定の撮像領域を撮像する単一の撮像装置を備え、
   前記撮像領域の撮像画像に基づいて、前記撮像対象面上の立体物を検出する立体物検出装置であって、
   前記撮像画像に基づいて前記撮像対象面上の立体物を検出し、この検出された立体物以外の不要な領域を除去して前記検出された立体物のみをシルエットとして残した検出対象画像を作成する検出対象画像作成装置と、
   前記撮像対象面上に設定された座標平面における所定の座標に、一定の幅、奥行きおよび高さを有する直方体を配置したと仮定した場合に、前記配置したと仮定された直方体のシルエットを前記撮像装置の像面に投影した場合に得られるべきマスク画像を、互いに異なる複数の座標ごとに予め記憶しておき、これら各座標ごとに、前記検出対象画像における立体物のシルエットと各座標に対応する前記マスク画像における直方体のシルエットとの重なり部分についての面積比を、各座標における前記立体物の空間密度としてそれぞれ算出し、算出された各座標における前記空間密度に応じた画素値を有するような各座標ごとの画素を、各座標の配列順にしたがって配列することによって、前記撮像対象面における前記空間密度の分布を示す密度マップを作成する密度マップ作成装置と、
   この密度マップ作成装置によって作成された前記密度マップから、前記画素値が閾値画素値を超える少なくとも１つの高密度領域を抽出し、抽出された前記高密度領域における前記撮像装置に最も近い代表点の座標を、当該高密度領域に対応する前記立体物の位置として検出する立体物位置検出装置と
   を備えたことを特徴とする立体物検出装置。
2. 前記検出対象画像作成装置は、所定の作成周期ごとに前記検出対象画像の作成を繰り返し、
   前記密度マップ作成装置は、前記検出対象画像が作成される毎に、最新の前記密度マップを作成し、
   前記立体物位置検出装置は、前記最新の密度マップが作成される毎に、最新の前記立体物の位置を検出し、
   前記最新の立体物の位置を、これの検出時刻と対応付けた状態で追跡対象となる物標の履歴として記憶部に記録する物標履歴記録装置と、
   前記記録された物標の履歴に基づいて、当該物標の移動軌跡を推定する移動軌跡推定装置と、
   前記推定された移動軌跡に基づいて、当該移動軌跡に対応する前記物標が接近物であるか否かを判定する接近物判定装置と
   を備えたことを特徴とする請求項１に記載の立体物検出装置。
3. 前記物標履歴記録装置は、前記最新の立体物の位置が検出された時点で、既に履歴として記録されている前記物標の予想される現在位置を、当該履歴に基づいて算出し、算出された前記物標の予想される現在位置と、前記検出された最新の立体物の位置とを比較して、両者が近いとみなされる場合には、当該検出された最新の立体物の位置を、これの検出時刻と対応付けた状態で、当該算出された物標の予想される現在位置に該当する物標の履歴に追記し、前記両者が遠いとみなされる場合には、当該検出された最新の立体物の位置を、これの検出時刻と対応付けた状態で、新たな物標の履歴として前記記憶部に新規記録すること
   を特徴とする請求項２に記載の立体物検出装置。
4. 前記物標履歴記録装置は、前記検出された最新の立体物の位置に前記算出された物標の予想される現在位置が近いとみなされる物標が複数存在する場合には、前記検出された最新の立体物の位置を、当該複数の物標の履歴のうちの前記算出された物標の予想される現在位置が前記検出された最新の立体物の位置に最も近い物標の履歴に追記すること
   を特徴とする請求項３に記載の立体物検出装置。
5. 前記撮像装置が移動体に配置されており、
   前記移動体の移動量を取得する移動量取得装置を備え、
   前記物標履歴記録装置は、取得された前記移動体の移動量に基づいて、前記物標の履歴における前記立体物の位置を補正すること
   を特徴とする請求項２乃至請求項４のいずれか１項に記載の立体物検出装置。
6. 前記接近物判定装置によって接近物であると判定された前記物標の衝突余裕時間を、当該物標の前記推定された移動軌跡に基づいて算出し、算出された前記衝突余裕時間が閾値時間以下の場合に、当該物標を対象とした警報を出力する警報出力装置を備えたこと
   を特徴とする請求項２乃至請求項５のいずれか１項に記載の立体物検出装置。
7. 前記撮像装置が移動体に配置されており、
   前記最新の検出対象画像が作成される毎に、当該最新の検出対象画像とこれの前回に作成された前記検出対象画像との差分面積を算出する差分面積算出装置と、
   この差分面積算出装置によって算出された前記差分面積に基づいて、前記検出対象画像に対応する前記立体物が接近物であるか否かを判定する第２の接近物判定装置と
   を備え、
   前記第２の接近物判定装置は、
   前記算出された差分面積の変化に基づいて、前記差分面積が増加したか否かを判定する差分面積増加判定装置と、
   前記移動体が移動中であるか否かを判定する移動判定装置と、
   前記算出された差分面積の変化量が閾値変化量以上であるか否かを判定する差分面積変化量判定装置と
   を備えるとともに、次の（ａ）および（ｂ）の各条件、
   （ａ）前記差分面積が増加したとの判定がなされ、かつ、前記移動中ではないとの判定がなされたこと
   （ｂ）前記差分面積が増加したとの判定がなされ、かつ、前記移動中であるとの判定がなされ、かつ、前記差分面積の変化量が前記閾値変化量以上ではないとの判定がなされたこと
   のいずれかが満足される場合に、前記接近物であるとの判定を行い、一方、（ａ）および（ｂ）の各条件のいずれも満足されない場合には、前記接近物ではないとの判定を行い、
   前記警報出力装置は、前記第２の接近物判定装置によって前記接近物ではないとの判定がなされた前記立体物については、当該立体物に対応する前記衝突余裕時間が前記閾値時間以下の場合であっても前記警報を出力しないこと
   を特徴とする請求項６に記載の立体物検出装置。
8. 前記警報出力装置は、前記差分面積の変化量が前記閾値変化量以上であるとの判定がなされたことによって前記第２の接近物判定装置によって前記接近物ではないとの判定がなされた前記立体物についても、これを対象とした前記警報の出力を既に行っている場合には、この警報の出力を継続すること
   を特徴とする請求項７に記載の立体物検出装置。
9. 所定の撮像対象面を含む所定の撮像領域を撮像する単一の撮像装置を所定の位置に配置し、前記撮像領域の撮像画像に基づいて、前記撮像対象面上の立体物を検出する立体物検出方法であって、
   前記撮像画像に基づいて前記撮像対象面上の立体物を検出し、前記撮像画像から前記検出された立体物以外の不要な領域を除去して前記検出された立体物のみをシルエットとして残した検出対象画像を作成する第１のステップと、
   前記撮像対象面上に設定された座標平面における所定の座標に、一定の幅、奥行きおよび高さを有する直方体を配置したと仮定した場合に、前記配置したと仮定された直方体のシルエットを前記撮像装置の像面に投影した場合に得られるべきマスク画像を、互いに異なる複数の座標ごとに予め用意しておき、これら各座標ごとに、前記第１のステップにおいて作成された前記検出対象画像における前記立体物のシルエットと各座標に対応する前記マスク画像における前記直方体のシルエットとの重なり部分についての面積比を、各座標における前記立体物の空間密度としてそれぞれ算出し、算出された各座標における前記空間密度に応じた画素値を有するような各座標ごとの画素を、各座標の配列順にしたがって配列することによって、前記撮像対象面における前記空間密度の分布を示す密度マップを作成する第２のステップと、
   この第２のステップにおいて作成された前記密度マップから、前記画素値が閾値画素値を超える少なくとも１つの高密度領域を抽出し、抽出された前記高密度領域における前記撮像装置に最も近い代表点の座標を、当該高密度領域に対応する前記立体物の位置として検出する第３のステップと
   を含むことを特徴とする立体物検出方法。
10. 前記第１のステップは、前記検出対象画像の作成を、所定の作成周期ごとに繰り返すステップであり、
    前記第２のステップは、前記第１のステップにおいて最新の前記検出対象画像が作成される毎に、最新の前記密度マップを作成するステップであり、
    前記第３のステップは、前記第２のステップにおいて前記最新の密度マップが作成される毎に、最新の前記立体物の位置を検出するステップであり、
    前記第３のステップにおいて検出された前記最新の立体物の位置を、これの検出時刻と対応付けた状態で追跡対象となる物標の履歴として記憶部に記録する第４のステップと、
    この第４のステップにおいて記録された前記物標の履歴に基づいて、当該物標の移動軌跡を推定する第５のステップと、
    この第５のステップにおいて推定された前記移動軌跡に基づいて、当該移動軌跡に対応する前記物標が接近物であるか否かを判定する第６のステップと
    を含むことを特徴とする請求項９に記載の立体物検出方法。
11. 前記第４のステップは、
    前記第３のステップにおいて前記最新の立体物の位置が検出された時点で、既に前記履歴に記録されている前記物標の予想される現在位置を、当該履歴に基づいて算出し、算出された前記物標の予想される現在位置と、前記検出された最新の立体物の位置とを比較する第４ａのステップと、
    この第４ａのステップにおいて比較された両者が近いとみなされる場合には、当該検出された最新の立体物の位置を、これの検出時刻と対応付けた状態で、当該算出された物標の予想される現在位置に該当する物標の履歴に追記し、前記両者が遠いとみなされる場合には、当該検出された最新の立体物の位置を、これの検出時刻と対応付けた状態で、新たな物標の履歴として前記記憶部に新規記録する第４ｂのステップと
    を含むことを特徴とする請求項１０に記載の立体物検出方法。
12. 前記第４ｂのステップは、前記検出された最新の立体物の位置に前記算出された物標の予想される現在位置が近いとみなされる物標が複数存在する場合には、前記検出された最新の立体物の位置を、当該複数の物標の履歴のうちの前記算出された物標の予想される現在位置が前記検出された最新の立体物の位置に最も近い物標の履歴に追記するステップであること
    を特徴とする請求項１１に記載の立体物検出方法。
13. 前記撮像装置を移動体に配置し、
    前記移動体の移動量を取得する第７のステップと、
    この第７のステップにおいて取得された前記移動体の移動量に基づいて、前記物標の履歴における前記立体物の位置を補正する第８のステップと
    を含むことを特徴とする請求項１０乃至請求項１２のいずれか１項に記載の立体物検出方法。
14. 前記第６のステップにおいて接近物であると判定された前記物標の衝突余裕時間を、当該物標の前記推定された移動軌跡に基づいて算出し、算出された前記衝突余裕時間が閾値時間以下の場合に、当該物標を対象とした警報を出力する第９のステップを含むこと
    を特徴とする請求項１０乃至請求項１３のいずれか１項に記載の立体物検出方法。
15. 前記撮像装置を移動体に配置し、
    前記第１のステップにおける最新の前記検出対象画像の作成の度毎に、当該最新の検出対象画像とこれの前回に作成された前記検出対象画像との差分面積を算出する第１０のステップと、
    この第１０のステップにおいて算出された前記差分面積に基づいて、前記検出対象画像に対応する前記立体物が接近物であるか否かを判定する第１１のステップと
    を含み、
    前記第１１のステップは、次の（ａ）および（ｂ）の各条件、
    （ａ）前記算出された差分面積の変化に基づいて前記差分面積が増加したとみなされ、かつ、前記移動体が移動中ではないこと
    （ｂ）前記算出された差分面積の変化に基づいて前記差分面積が増加したとみなされ、かつ、前記移動体が移動中であり、かつ、前記算出された差分面積の変化量が閾値変化量以上ではないこと
    のいずれかが満足される場合には、前記接近物であると判定し、一方、（ａ）および（ｂ）の各条件のいずれも満足されない場合には、前記接近物ではないと判定するステップであり、
    前記第９のステップは、前記第１１のステップにおいて前記接近物ではないとの判定がなされた前記立体物については、当該立体物に対応する前記衝突余裕時間が前記閾値時間以下の場合であっても前記警報を出力しないステップであること
    を特徴とする請求項１４に記載の立体物検出方法。
16. 前記第９のステップは、前記算出された差分面積の変化量が前記閾値変化量以上であることによって前記第１１のステップにおいて前記接近物ではないとの判定がなされた前記立体物についても、これを対象とした前記警報の出力を既に行っている場合には、この警報の出力を継続するステップであること
    を特徴とする請求項１５に記載の立体物検出方法。