JP6752024B2 - 画像処理装置 - Google Patents

Description

本発明は自機の周囲に存在する立体物を検知する画像処理装置に関する。

車両に設置されたカメラにより車両周囲環境を認識するアプリケーション及びそれを搭載した装置の製品化が増加傾向にある。その中でも、周囲環境の認識結果を利用し、物体との接触を未然に防止する予防安全技術や、自律走行を目指した車両制御技術への応用が期待されている。この種の技術への応用には周囲環境の認識技術に高い信頼性が必要とされる。

特開２００５−２１４９１４号公報（特許文献１）には、ステレオカメラで１対の画像を取得し、当該１対の画像より得られる距離データに基づいて立体物を検出し、当該１対の画像の一方より得られる当該立体物のオプティカルフロー（動きベクトル）に基づいて当該立体物の移動速度を算出する技術が開示されている。

特開２００５−２１４９１４号公報

上記文献のような自車両と物体の距離データに基づく立体物検知では、自車から同程度の距離に２つの立体物が存在しそれらが見かけ上重なっている場合、当該２つの立体物は分離されずに１つの立体物として検知されることがある。この場合、２つの立体物の判別が可能になるのは、両者が見かけ上分離して暫く経過した後となる。

そのため、例えば、自車前方の駐車車両の直ぐ背後を通過して歩行者が自車の走行路を横断しようとしている場面では、まず、見かけ上歩行者と駐車車両が重なっている間は歩行者と駐車車両は１つの立体物として検知され、その後、両者が見かけ上分離した後にはじめて歩行者と駐車車両が独立して検知される結果となり、どうしても歩行者発見のタイミングが遅くなる。これにより歩行者発見をトリガーとする制御（例えば自車と歩行者の接触回避制御）の発動も遅くなる。

本発明の目的は、駐車車両の背後等の死角領域から歩行者が飛び出す状況のように、見かけ上或る移動立体物と他の立体物が近距離で重なっている状況においても、当該或る移動立体物の早期検知が可能な画像処理装置を提供することにある。

本発明は上記の目的を達成するために、画像処理装置において、自機からの距離を基に立体物を検知する立体物検知部と、時系列的に得られた複数の画像で前記立体物を内包する所定の領域の内部の特徴点を追跡することで当該特徴点の動きベクトルを検知するベクトル検知部と、前記ベクトル検知部の検知結果を基に前記領域の内部に存在する移動立体物を検知する移動立体物検知部と、を備え、前記移動立体物検知部は、前記ベクトル検知部の検知結果から得られる前記動きベクトルの方向分布及び／又は大きさ分布の最頻値が複数存在する場合に、前記領域の内部に複数の立体物が存在し、かつ、当該複数の立体物の少なくとも１つが移動立体物であると判定することで、前記領域の内部に複数の立体物が存在し、かつ、当該複数の立体物の少なくとも１つが移動立体物であることを前記ベクトル検知部の検知結果を基に検知し、前記移動立体物検知部は、さらに、前記領域の内部で前記移動立体物が現れている部分において前記動きベクトルが検知された部分の割合が所定の閾値以上の場合に、前記移動立体物の種類を判定するパターンマッチングを実行し、前記画像は、撮像部によって得られた画像であり、前記撮像部は、複数の画像を時系列的にそれぞれ撮影する第１カメラ及び第２カメラを有するステレオカメラであり、前記立体物検知部は、前記ステレオカメラによる１対の画像の視差から算出した距離を基に前記立体物を検知し、前記ベクトル検知部は、前記第１カメラによる前記複数の画像で前記領域の内部の特徴点を追跡することで当該特徴点の動きベクトルを検知し、前記動きベクトルの検知範囲を前記距離が長くなるに従い、狭くする、ことを特徴とする。

本発明によれば、距離に基づく立体物検知を行う場面において、移動立体物の早期検知が可能となる。

車載環境認識装置の概略構成図。 右カメラ撮像部の概略構成図。 左カメラ撮像部の概略構成図。 視差画像生成部の概略構成図。 立体物検知部の概略構成図。 動きベクトル検知部の概略構成図。 物体分離部の概略構成図。 飛び出し検知部の概略構成図。 警報・制御部の概略構成図。 歩行者飛び出しシーンの俯瞰図。 歩行者飛び出しシーンの自車カメラ撮像例。 動きベクトルの分布例およびその場合の動きベクトルのグルーピング例。 同フレームレートのステレオカメラにおける撮像タイムテーブル。 異なるフレームレートのステレオカメラ（片目高速カメラ）における撮像タイムテーブル。 ピラミッド画像の説明図。 縦エッジ画像と移動探索の説明図。 動きベクトル分離部の処理の一例。 幾何チェック部の処理の一例。 歩行者パターンの出現領域と遮蔽領域の説明図。 部分パターンマッチングの説明図。 飛び出し歩行者の予測位置の一例。 歩行者との衝突可能性判定の説明図。 制御レベルごとの制御内容を示す制御レベルテーブルの一例。 予測位置精度とオフセット幅に基づく制御レベル決定テーブルの一例。 歩行者飛び出しシーンのパターンの説明図。 飛び出し検知の処理フローの一例。 他のヒストグラムの説明図。 他の車載環境認識装置の概略構成図。

以下、本発明の実施例について図面を用いて説明する。なお、各図において同じ部分には同じ符号を付している。

ここでは自動車に周囲環境認識装置を搭載した例（車載環境認識装置）について説明するが、自動車に限らず建設機械、ロボット、農業機械等の各種移動体への適用、さらにカメラ画像を利用した監視システムへの適用が可能である。

＜図１＞
図１に車載環境認識装置の構成図を示す。車載環境認識装置は、車両前方に向かって右側に搭載された右カメラ（第１カメラ）に内蔵の右カメラ撮像部１１０と、車両前方に向かって左側に搭載された左カメラ（第２カメラ）に内蔵の左カメラ撮像部１００と、コンピュータ３と、車両居室内に搭載された表示装置（ディスプレイ）５及び警報装置６と、車両の加速制御装置としてのスロットルバルブ（吸気制御装置）及びインジェクタ（燃料噴射装置）７と、ブレーキ８とを備えている。

コンピュータ３は、図示しない演算制御装置（例えばＣＰＵ）、記憶装置（例えば、メモリ、ハードディスク、フラッシュメモリ）および通信装置等を備えており、視差画像生成部（距離算出部）２００、立体物検知部３００、動きベクトル検知部（ベクトル検知部）４００、移動立体物検知部３２、警報・制御部７００として機能する。さらに移動立体物検知部３２は、物体分離部５００及び飛び出し検知部６００として機能する。

右カメラ撮像部１１０および左カメラ撮像部１００は、ステレオカメラを構成しており、それぞれ自車前方の画像を時系列的に複数撮影することで動画を取得している。詳細は後述するが、右カメラ撮像部１１０（右カメラ）の撮像フレームレートは左カメラ撮像部１００（左カメラ）のものよりも高くなっている（図１４参照）。

視差画像生成部２００は、右カメラ撮像部１１０及び左カメラ撮像部１００で同タイミングに撮影された１対の画像を利用して視差画像を生成し、当該視差画像を基に右カメラ撮像部１１０及び左カメラ撮像部１００（自機）から当該画像上の各物体までの距離を算出する。なお、視差画像を生成する際にベースとするカメラは適宜選択可能である。例えば、右カメラの画像をベースに左カメラの画像のマッチング箇所を探索しに行くステレオマッチングを実施した場合、右カメラベースの視差画像が生成される。

立体物検知部３００は、距離画像生成部２００の算出した距離を基に当該距離の算出タイミングの画像上で立体物を検知する。そのため、同程度の距離に前後又は左右に複数の立体物が連なって存在する場合（例えば、或る立体物の直ぐ背後に他の立体物が存在する場合）には、当該複数の立体物は立体物検知部３００により１つの立体物として認識されることがある。立体物検知部３００は、検知した立体物の輪郭を内包する所定の領域（以下において「立体領域」と称することがある）を左カメラの画像上に設定する。立体領域は右カメラの画像上にも設定可能である。本実施例では検知した立体物の輪郭の外接矩形を立体領域として設定するが（例えば後述の図１１の符号１１５参照）、検知した立体物の輪郭全体が含まれる形状（例えば、立体物の輪郭を外側に向かって拡張又は拡大した図形等）であれば特に限定は無い。

動きベクトル検知部４００は、右カメラの動画（具体的には当該動画を構成する複数の画像）で立体領域に含まれる特徴点を時系列で追跡することで、当該特徴点の移動方向及び移動量を示す動きベクトルを検知する。追跡する特徴点の数に限定は無いが移動立体物の検出精度の観点からは多い方が有利となることが多く、立体領域内で検知可能かつ有意な特徴点の全てを追跡することが好ましい。特徴点の追跡に際して、ここでは縦エッジの横移動量を検知することで動きベクトルを検知している。これにより動きベクトルの方向は左右に単純化される。縦エッジを追跡するメリットは後述する。なお、縦エッジ以外にも、縦以外のエッジやコーナーなどの特徴パターンも利用可能である。また、立体物検知部３００の検出した立体物の輪郭の抽出が可能な場合には、立体領域の内部に代えて、当該輪郭の内部またはその一部の特徴点を追跡して動きベクトルを検知しても良い。

移動立体物検知部３２（物体分離部５００及び飛び出し検知部６００）は、動きベクトル検知部４００の検知結果に基に立体領域の内部に存在する移動立体物を検知する。

物体分離部５００は、立体物検知部３００による立体物検知結果と、動きベクトル検知部４００による動きベクトルを活用し、立体物検知部３００に検知された立体領域の内部に存在する特徴点の動きベクトルを解析する。立体物検知部３００に検知された立体物が１つの物体の場合には、通常、当該立体物内部の動きベクトルはノイズ要因を含むものの、自車正面にいるような特殊な場合を除くと、１つの方向にそろった動きベクトルとなる。一方で、立体物検知部３００に検知された立体領域の内部に複数の物体が存在している場合、すなわち図１０、１１に示すような体の一部が駐車車両で隠されている状況からの飛び出し歩行者がいるような場合を想定する。この場合、図１０の俯瞰図の上部に示すように歩行者と車両の奥行き距離（自車進行方向における自車からの距離）が比較的近距離であり、立体物検知部３００による立体物検知の結果としては、歩行者と車両は分離されずにひとつの大きな立体物として検知される。このため、検知された立体物（検知立体物）の外接矩形を立体領域とした場合には、図１１に示すように歩行者と車両の外接矩形が立体領域１１５となる。

図１１の立体領域内１１５の動きベクトルの解析結果を図１２に示す。右カメラの動画上では、自車両が接近するにつれて駐車車両は左側に見かけ上移動するため、駐車車両の特徴点には図１２のように左方向に向かう動きベクトルが発生している。反対に、駐車車両の陰から飛び出そうとする歩行者は、右カメラの動画上では画像中央（車両の進路方向）に向かって移動するため、歩行者の特徴点は右方向のベクトル群として検知される。

このように、検知立体物の立体領域１１５の内部に移動立体物が存在する場合には動きベクトルに複数の分布傾向が観察されるため、動きベクトルの分布に着目して特徴点をグルーピングすることで、当該移動立体物の検知と、当該移動立体物の検知立体物からの分離（移動立体物に係る画像部分の特定）が可能となる。したがって、画像上で或る移動立体物と他の立体物が近距離で重なっていても、当該或る移動立体物の早期検知が可能となる。なお、物体分離部５００による移動立体物の検知が特に有意となるのは、検知立体物の立体領域１１５の内部に複数の立体物が存在する場合である。すなわち、検知立体物の立体領域１１５の内部に複数の立体物が存在し、かつ、当該複数の立体物の少なくとも１つが移動立体物であると検知された場合である。

飛び出し検知部６００は、物体分離部５００で検知された移動立体物（例えば飛び出し歩行者候補）について、当該移動立体物が画像（立体領域内とも換言可能）に現れている部分のみを利用してパターンマッチング（部分パターンマッチング）することで当該移動立体物の種類（歩行者であるか２輪車であるか動物であるかなど）を判定する。

警報・制御部７００は、検知した結果の位置と速度、自車挙動に応じて、自車両との衝突危険性、衝突タイミングを計算し、移動立体物との衝突までの時間に応じて表示装置５及び警報装置６による警報、ブレーキ８による緊急ブレーキの制御、スロットバルブ及びインジェクタ７による加速度制御等を実施する。

＜図２，３＞
図２に右カメラ撮像部１１０の構成を、図３に左カメラ撮像部の構成を示す。採用可能な左右カメラの構成としては、左右カメラを同一スペックとし、左右カメラの撮像タイミングを調整するシャッター制御のみを必要とするものがある。この構成では、図１３に示すように、同一の撮像タイミングで左右カメラのシャッターがきられるので、２視点から同時に撮像した画像で視差画像を生成でき、精度の良い視差画像を生成することができる。

本実施例では、図１４に示すような左右非対称のシャッタータイミングを制御するシステム構成を採用している。右カメラをステレオマッチングにおけるベースカメラとして利用すると共に、動きベクトルを右カメラで抽出する。右カメラは、左カメラの５倍の周期の高フレームレート（ここでは１００ｆｐｓ）での撮像を実施し、左カメラは２０ｆｐｓでの撮像を実施する。左右カメラの撮像タイミングが一致する２０ｆｐｓでステレオカメラを実施し、右カメラは高フレームレートの画像を活用し、動きベクトルを抽出する。高フレームレートの画像を活用すると、フレーム間の画像の変化が少ないため探索範囲を絞ったマッチングによる動きベクトルの算出が可能となり、よりシンプルな手法であっても誤マッチングが低減するために、高精度かつ高密度に動きベクトルを算出可能である。

図２において、右カメラ撮像部１１０は、シャッター制御部１０１と、ゲイン調整部１０２と、露光制御部１０３と、右撮像部１０４と、積分画像生成部１０５を備えている。図３において、左カメラ撮像部１００は、シャッター同期部１１１と、ゲイン設定部１１２と、露光設定部１１３と、左撮像部１１４を備えている。

右カメラ撮像部１１０では、右カメラの露光調整からシャッター制御、そして撮像までを実施する。図１４に示すように、左カメラは、右カメラのシャッタータイミングに合わせて、右カメラ５回の撮像に対して１回のシャッタータイミングで撮像する。シャッター制御部１０１（図２参照）は右カメラのシャッター制御を実施し、この右カメラのシャッタータイミングに合わせてシャッター同期部１１１（図３参照）にて左カメラのシャッターを制御する。次に、ゲイン調整部１０２、露光制御部１０３では、右撮像部１０４で撮像された前フレームの画像の露光領域の平均輝度値を参考に、ゲイン調整と露光制御を実施する。左カメラのゲイン設定部１１２，露光設定部１１３は基本的に左右カメラの輝度値が等しくなるように画像を撮像する必要があるために、右カメラでのゲイン及び露光の設定値を参照し、左カメラにも同様の値を設定する。これにより、左右カメラは２０ｆｐｓで同時に同一ゲイン、同一露光制御、同一タイミングでシャッターをきって右撮像部１０４と左撮像部１１４で画像を撮像する。右カメラは、高速フレームレートで撮影を実施するため、積分画像生成部１０５による撮像画像の積分画像を利用することで、夜間暗闇での認識性能向上を図っても良い。特に夜間の単眼処理で実施される遠方車両のヘッドライトやテールランプの認識、ヘッドライト照射範囲外の白線認識、標識検知などには、積分画像を利用することで画像のコントラストを改善しても良い。

＜図４＞
図４において、視差画像生成部２００は、幾何補正部２１０と、輝度補正部２２０と、ステレオマッチング部２３０を備えている。視差画像生成部２００では、左カメラ撮像部１００で撮像された画像と、右カメラ撮像部１１０で撮像された画像を利用して、ステレオマッチングを実施する。図１４に示すように、右カメラの撮像周期が左カメラと比較して短い場合（フレームレートが高い場合）には、右カメラと左カメラの撮像周期が一致した際の画像のみを利用してステレオマッチングを実施する。まず、左右カメラで撮像された原画像は、画像の歪みも、画像上の位置に応じて変化する感度の補正もされていない。そこで、ステレオカメラの生産過程の１つとして実施された、幾何チャートを撮像することで実施された幾何キャリブレーションによる左右カメラのレンズ歪み、および左右カメラ画像が平行な位置関係となるための幾何補正テーブルを読み込んで、幾何補正部２１０にて左右カメラの幾何補正を実施する。これにより左右カメラの画像を幾何補正した画像は、左右平行な位置関係であると共に、レンズ歪みの全くない画像となる。これにより幾何的にマッチングし易い、左右画像が準備可能となる。次に、輝度補正部２２０においては、ステレオカメラの生産過程の１つとして実施された、感度キャリブレーションによる画像上の位置に応じて変化する感度の程度を計測する感度キャリブレーションの結果である、輝度補正テーブルを利用した輝度補正を実施する。これにより左右カメラの感度が一致すると共に、左右カメラの画像上のどの位置においても、同じような輝度で撮像されるような補正を実施する。これにより左右カメラのステレオマッチングにおいて、左右の感度が同様であることから、マッチング精度が上昇する。この幾何補正部２１０による画像の歪み補正と、輝度補正部２２０による輝度補正することで、左右カメラの画像を補正し、この補正画像を利用して、ステレオマッチング部２３０にてステレオマッチングを実施する。これにより、高精度、高密度な視差画像生成が実施される。

＜図５＞
図５において、立体物検知部３００は、垂直立体物抽出部３１０と、立体物候補抽出部３２０と、候補分類部３３０と、簡易立体トラッキング部３４０を備えている。立体物検知部３００では、視差画像生成部２００で取得された視差画像を利用して、立体物検知を実施する。垂直立体物抽出部３１０では、最初に視差画像垂直方向に、等しい奥行き距離（自車進行方向における自車からの距離）に存在する垂直物体を塊として検出する。この垂直物体の中で実世界の鉛直下向きに、路面の高さ、もしくは路面より下に存在するものは垂直立体物の対象外とするか、路面付近の部分を切り取って垂直立体物候補とする。次に、立体物候補抽出部３２０では、横方向に垂直立体物のつながりを見ることで、立体物の幅及び高さが或る規定値以上の大きさであることをもって立体物候補抽出を実施する。次に、この立体物候補を大きさに応じて候補分類部３３０で候補分類する。歩行者としてあり得るサイズの立体物候補には歩行者候補としてフラグを立てて、車両としてあり得るサイズの立体物候補には車両候補としてのフラグを立てる。同様に、多様な立体物を判別可能とする観点から、２輪車（自転車、オートバイ）、トラック、標識、動物（鹿、牛、馬等）などの候補分類があってもよい。

次に、簡易立体物トラッキング部３４０にて立体物候補のトラッキングを実施する。トラッキングの際には、自車挙動の移動量（即ち自車速度）を考慮しながら、探索範囲を設定する。立体物の速度が不明な場合には、歩行者候補であれば歩行者の移動速度を±１２ｋｍ／ｈ以下程度で想定し、自車挙動との相対速度で補正した範囲内で、過去と現在の立体物の対応関係を探索しトラッキングする。また、立体物の速度が動きベクトル４００部の情報から予測可能な場合には、その速度情報と自車挙動情報を合わせることでトラッキング探索範囲を決定し、トラッキングを実施する。

＜図６＞
図６において、動きベクトル検知部４００は、ピラミッド画像生成部４１０と、エッジ抽出部４２０と、縦エッジ探索部４３０と、移動量統合算出部４４０を備えている。動きベクトル検知部４００では、画像上の縦方向のエッジ（縦エッジとも称する）の移動量を探索する。オプティカルフローのような手法の場合は、物体の角となるような点（コーナー）の特徴点をトラッキングするアルゴリズムであるため、画像上の移動量が多くてもトラッキングを見失ったり、間違えたりすることは少ない。この手法は本実施例でも適用可能である。

本実施例の動きベクトルの算出方法は、車載カメラならではの、車両の走行に伴って背景が左右の視野外に流れていくという特徴を基本概念として利用している。背景は基本的に画面視野外に流れていくので、背景である静止立体物は基本的に左か右の画面側面に流れ出ていく。この横方向に背景が流れる性質を利用すると、静止立体物であれば縦エッジは、画面外に流れていくことになる。また、移動立体物であっても実世界の路面上を移動する物体は画面上で左右方向にのみ動くこととなる。このため、車載カメラの画像同士のマッチングに基づく立体物の移動追跡には各画像中の縦エッジの移動を追跡すれば良く、そして縦エッジの移動を追跡する場合には縦エッジを横方向にのみ探索すればよいことになる。ただし、縦エッジ自身には特徴量が少なく、離れている縦エッジの場合、誤トラッキングの要因となりかねない点に留意する。

本実施例では、縦方向にエッジが存在する領域のマッチング探索範囲を限定するために、解像度の異なる同一画像の集合であるピラミッド画像を生成するピラミッド画像生成部４１０を備えている。本実施例のピラミッド画像生成部４１０では、右カメラ撮像部１１０による画像（オリジナル画像）を段階的に所定解像度（例えば、オリジナルの１／２、１／４等）に縮小した画像（縮小画像）が生成されており、オリジナル画像が同一の複数の縮小画像によりピラミッド画像が構成されている。

ベクトル検知部４００に係る後述の各部４２０，４３０，４４０において、ピラミッド画像生成部４１０で生成した同解像度の画像同士で縦方向エッジをマッチングすることで当該縦エッジに係る立体物の移動追跡が可能である。カメラの近傍で撮像された物体（画像上の見た目が大きい物体）や横方向への画像上の移動量が大きな物体に関しては、縮小された画像上の縦エッジを横方向に探索することで、画像上の探索幅が５ピクセルなど固定かつ他の時刻の画像でも同じ幅であったとしても、例えば解像度が１／２の縮小画像で５ピクセルの移動量を検出できれば、フル解像度の画像（オリジナル画像）での１０ピクセル分の移動量を検出することができる。同様に解像度が１／４の縮小画像で移動量が５ピクセルであれば、オリジナル画像で２０ピクセル分の移動量を検出することが可能であることを示す。このように探索幅を減らすために、図１５に示すようにピラミッド画像生成部４１０で生成したピラミッド画像を利用した縦エッジのトラッキングを実施することで、特徴の少ない線であっても間違えずに高精度のトラッキングが可能となる。今回は整数分の１の解像度のピラミッド画像を生成したが、縮尺は必ずしも整数分の１でなくてもよい。

エッジ抽出部４２０は、ピラミッド画像生成部４１０で生成された複数解像度の画像に対して縦エッジ抽出を実施する。生成されたそれぞれの複数解像度のピラミッド画像に関して、すべて縦エッジ画像が生成される。図１６に示すように、取得した原画に対して縦エッジを生成する。これをピラミッド画像生成部４１０で生成された複数解像度の画像に対して実施する。

次に、縦エッジ探索部４３０により、図１６の下に示すように、前回（例えば時刻Ｔの画像）のエッジ画像と今回（例えば時刻Ｔから1フレーム後の時刻Ｔ＋１の画像）のエッジ画像で、同一解像度（サイズ）の画像同士を比較する。そして、時刻Ｔ＋１の画像上の小矩形領域（図１６参照）をベースとして、この小矩形領域と類似した特徴を持つ領域を、時刻Ｔの画像上で画像横方向に探索する。時刻Ｔ＋１のときの画像上の横位置をベースとして、左右方向に規定幅のみ探索を実施する。これによりある程度、画像上で小さな動きであった物体の場合には、図１６に示すようにマッチングする位置が存在する。これにより１ｆｒａｍｅ間で、その物体が移動したであろう画像上の移動量を抽出することが可能である。一方で、画像上での物体の動きが大きかった場合（移動量の多かった場合）には、マッチングの探索範囲（規定幅内）に当該部分が入らずにマッチングできないことがある。このような場合、図１５に示したような解像度１／２，１／４等のピラミッド画像内で当該物体を探索する。例えば、近距離に写る物体や、高速に横移動する物体では、画像上の移動距離が大きく、１ｆｒａｍｅ間の移動量が規定幅内に収まらないことは多々ある。原画像と同一の規定幅を１／２解像度の画像で探索を実施することは、原画像上でいうと規定幅の実質２倍分の画像上の移動量を探索したこととなる。また、１／２画像でも移動量が大きくマッチングできない場合には、１／４解像度等のさらに小さい画像を利用するなどする。どのような速さに対して対応すべきかは、対応する飛び出し移動体の想定速度と、その奥行き距離、処理周期を利用することで、算出することが可能である。

画像上での動き量は遠方に位置する物体ほど小さくなる。このため、レーン認識やカメラの姿勢、自車挙動などから、総合的に判断し、原画像の動き抽出領域は、自車が進行するであろう予測領域周辺に絞り込めば良く、画像全体を実施する必要はない。遠方に行くほど狭い視野角内で動きベクトルを探索すること（探索範囲を狭めること）で、処理負荷を軽減しても良い。

次に、移動量統合算出部４４０は、ピラミッド画像から抽出された縦エッジ探索部４３０の結果を利用して、これらの複数解像度での移動量を統合する。そして、複数解像度の画像を、原画像のサイズに再度戻した上で、物体の移動量を原画像上でまとめる。これにより、画像上低速度の移動物体から、高速度の移動物体まで動きベクトルを検知することが可能である。

＜図７＞
図７において、物体分離部５００は、動き速度分離部５１０と、幾何チェック部５２０と、出現・遮蔽領域分離部５３０を備えている。物体分離部５００では、立体物検知部３００にて設定された立体領域１１５の内部に複数の立体物が含まれるか否か、そして、複数の立体物が含まれる場合には、その中に自車の進路に近づく移動立体物（接近立体物）が含まれるか否かを判定する。これらの判定には、図１２に示すような動きベクトル検知部４００の結果が活用される。そして、物体分離部５００は、立体領域１１５の内部に移動立体物が存在する場合には、当該移動立体物の範囲を画像上で明確（分離）にする処理（「物体の分離」と称することがある）を実施する。立体領域１１５内に複数の立体物が存在しても実世界上でそれぞれの動きが略同一の場合（静止している場合も含む）には立体物の分離は困難となるが、図１０や図１１に示すような他の立体物の背後等の死角領域から歩行者等の移動立体物が自車進行方向に向かって飛び出す場合には、当該移動立体物を早期に正確に検知することが可能となり、自車と当該移動立体物の接触を防止・回避できる。

動き速度分離部５１０は、まず、立体物検知部３００で設定された立体領域１１５の内部に存在する特徴点の動きベクトル（動き速度）を解析する。図１７では立体物検知部３００で車両及び歩行者が一体の立体物として検知されており、当該車両及び方向者がともに立体領域１１５内に含まれている。この立体物の立体領域１１５の内部に存在する特徴点の動きベクトルを解析するために、動きベクトル検知部４００により検知された動きベクトルをその移動方向別及び／又移動量別にヒストグラム化する。動きベクトルの移動量とは当該動きベクトルの大きさである。図１７中の上から２番目の図では、画像中の左方向の動きベクトルの符号を負とし、反対に右方向の符号を正として、動きベクトルを移動方向及び移動量別にヒストグラム化した。当該図のグラフは縦軸がベクトルの個数となり、横軸がベクトルの移動方向と移動量（速度）となる。このようにグラフ化することで、立体領域１１５内に存在する移動ベクトルの速度成分の分布が明らかとなる。そして、作成したヒストグラム上で頻繁に出現する値（最頻値）の探索（ヒストグラムの山探索）を実施する。図１７の例では、立体領域１１５内部に、自車進路に近づく歩行者（飛び出し歩行者）と駐車車両が含まれているため、当該歩行者と当該駐車車両に起因する合計２つの最頻値（グラフ上の山）が存在する。図中の左側の山は、自車の前進とともに画像上で左方向に移動するように見える駐車車両の動きベクトルを示し、右側の山は、自車の進路に近づく方向（右方向）に移動する歩行者の動きベクトルを示す。立体領域内で駐車車両に係る画素の占める面積が大きいため、駐車車両の方が歩行者よりも動きベクトルの個数が多く、駐車車両に係る左側の山の方が歩行者に係る右側の山よりも高くなっている。なお、最頻値（モード）は１つとは限らず、図１７の例のように立体領域１１５内に複数の立体物が存在する場合等には複数出現することもある。

ここで、各山に係る立体物の全体像に対する画像出現部分（「出現領域」と称する）の割合を「画像出現割合」と称し、各山に係る立体物の出現領域において動きベクトルが検知された部分の割合を「ベクトル出現割合」と称する。ヒストグラム中に現れた各山について後続の処理を実行するか否かは、ベクトル出現割合の閾値Ｒ２を基に決定することが好ましい。本実施例では、画像に一部が出現している立体物が歩行者であると仮定し、その立体物の画像出現割合が所定の閾値Ｒ１（例えば３０％）を超えている場合を想定して、各山に係る立体物のベクトル出現割合の閾値としてＲ２（例えば２０％）を決定した。ベクトル出現割合がＲ２以上の場合に後続処理実行が決定される。なお、閾値Ｒ１に係る立体物の種類は仮定で良く、その種類も上記の歩行者以外（例えば、２輪車、動物）にも適宜変更可能である。各閾値Ｒ１，Ｒ２は変更可能であり、Ｒ２は想定した立体物の種別に応じて変更可能である。画像出現割合（例えば、歩行者の全身の何％が画像上に現れているか）は、画像内での対象立体物の奥行き距離（自車からの距離（Ｚ距離））と、画像内での当該対象立体物の大きさと、当該対象立体物の仮定種別等に基づいて予測可能である。このように閾値Ｒ２で篩い分けを行うとノイズが除去されるので、コンピュータ３の処理負荷の低減と後続の処理の精度向上を図ることができる。

ベクトル出現割合が閾値Ｒ２以上の場合には、画像上でベクトルの分布が１つの塊として存在しているかを確認する処理を実施する。既述のとおり、本例では、図１７の上から３つ目の図に示すように、駐車車両と飛び出し歩行者の移動速度の部分に山が２つ存在する。各山の周囲のベクトル分布は誤差領域とし、図１７の上から３つ目の図の２つの矢印の範囲内に存在する動きベクトル（山を構成する動きベクトル）が画像上でどのような分布状況になっているかを解析する。動きベクトルの重心と縦横の分布範囲を楕円で表現し、各山を構成するベクトルの８０％以上が入るような楕円を算出し画像上に設定する。その結果、本実施例では、図１７の上から４つめの図に示すように、駐車車両は、横方向に長い楕円１７１として検出され、飛び出し歩行者の上半身は、当該長い楕円１７１の上方に浮かぶ小さな楕円１７２として検出された。ただし、各楕円１７１，１７２内部に、自身の山の範囲外のベクトル（図１７の矢印の範囲外のベクトル）が３０％を超えて存在する場合には、当該ベクトルはノイズ要因によるヒストグラムの暴れであり、その山を中心としたベクトルを有する物体は存在しないものとみなす。

本実施例の場合には、自車両の速度分布を示す楕円１７１は、立体領域１１５（立体物の候補）の大きさに近い楕円である。当該楕円１７１は、車両を示す山を構成する動きベクトルの８０％を含み、範囲外のベクトルが３０％以下だった。このため、まず、ヒストグラム解析で最も高い山（図１７の１の山）は立体物の存在を示すと判定した。そして、楕円内の動きベクトルの方向及び／又は移動速度（移動量）から、当該立体物が移動するもの（移動立体物）か、静止しているもの（静止立体物）かを判別する。本実施例では、当該立体物の動きベクトルの方向が画面左方向（画面外に向かう方向）であり、その移動速度が自車速度に近いことを基に、当該立体物が静止立体物であると判定した。

次に、２番目に高い山（図１７の２の山）を構成する動きベクトルは、立体領域の右上に固まって分布しており、当該分布に基づいて規定した楕円１７２は、２番目に高い山を構成する動きベクトルの８０％を含み、範囲外のベクトルが３０％以下だった。そのため、２番目に高い山も立体物の存在を示すと判定した。そして、当該立体物の動きベクトルの方向が画面右方向（自車進路に近づく方向）であることを基に、当該立体物が自車の進路に接近する移動立体物（接近立体物）であると判定した。さらに当該立体物の移動速度やサイズ（大きさ）から当該立体物の種類を仮定することも可能である。そして、物体分離部５００は、立体領域１１５内の物体が移動立体物と判定した場合には、当該移動立体物（接近立体物たる歩行者）の範囲を画像上で明確（分離）にする処理を実施する。

次に、幾何チェック部５２０は、動き速度分離部５１０で抽出された接近立体物（「飛び出し立体物候補」と称することもある）の幾何チェックを実施する。まず、幾何チェック部５２０は、本実施例が想定する最も小さな立体物である歩行者の全身の３０％以上相当が画像に出現していることを最低条件として飛び出し立体物候補の抽出を実施する。動き速度分離部５１０の処理では、ベクトル数が歩行者想定の閾値（２０％）を超えていることを確認したが、ここでは、動きベクトルの画像上の分布が歩行者の全身の３０％以上に該当するかどうかをチェックする。図１８に示すように、本実施例では、検知立体物と同じ奥行き距離の路面上に立っている歩行者の全身の３０％以上を楕円形（接近立体物）が占めており、歩行者であれば３０％以上の画像出現割合が確認できる。これにより幾何的に解析しても歩行者サイズの物体が画面内側に移動しおり、当該物体が飛び出し歩行者の可能性が更に高まっていることが判定される。更に、この幾何チェック部５２０では、飛び出し歩行者以外の飛び出し物体の候補（例えば、２輪車や動物、車両など）を想定した場合に、各飛び出し物体候補の３０％以上が画面に出現しているかどうかを、歩行者を想定した場合と同様に実施することが可能である。画像出現割合が３０％以上あった候補については飛び出し候補として残し、３０％未満であれば、その物体である可能性が極めて低い、もしくは、その物体であってもパターンマッチングにより確定不可能と判断し、飛び出し候補から除外する。これにより不要なパターンマッチングの実行が回避でき、移動立体物の検出精度向上とコンピュータ３の負荷軽減が可能となる。

次に、出現・遮蔽領域分離部５３０において、図１９に示すようなカメラ幾何を使って生成した想定歩行者枠１８０の内部を出現領域１９１と遮蔽領域（非出現領域）１９２に分割する。本実施例においては飛び出し歩行者の動きベクトルの山は２番目の山であったため、２番目の山の周囲の動きベクトルが存在する部分とそれ以外の部分で想定歩行者枠１８０を分割し、前者の部分を出現領域１９１とし、後者を遮蔽領域１９２とする。幾何チェックにおいて、候補物体（図１８においては歩行者候補の画像上での大きさとなる点線１８０の枠（想定歩行者枠））の全体像の大きさが把握できる。

本実施例では図１９に示すように、動きベクトルの分布からＸＹ方向に領域を拡大するようなラベリング方式で飛び出し歩行者候補を出現領域と遮蔽領域に分離した。簡易的に歩行者候補を縦もしくは横方向にのみ分割するような方式でも良い。このような場合には、縦横に右方向（自車進路方向へ向かう）の速度ベクトルのみ投影すればよい。これにより、どの部分で領域分割すると視認可能な領域（出現領域）であるか、どうかを判定することが可能となる。

また、出現領域が全体に占める割合（画像出現割合）が閾値（上記の例では３０％）を越えることを条件とするだけでなく、出現領域がパターンマッチングの特徴となりやすい部分（歩行者であれば頭部領域又は脚部領域）を含むことを条件に加えて、後段処理のパターンマッチングの精度向上を図っても良い。例えば、図１８の下に示すように、歩行者候補枠を縦方向に、頭部、胴部、脚部で分割し、出現領域の中に、この頭部もしくは脚部と推定される部分の５０％以上が視認可能であることをパターンマッチング実行の追加条件とすることができる。これは、パターンマッチングの性質上、接近立体物の画像出現割合が閾値（３０％）を越える場合であっても、その中に物体の形状の特徴が出やすい部分（歩行者であれば脚部や頭部）が含まれていない場合には、パターンマッチングしても接近立体物の種別を判定できずパターンマッチングの精度が低下する虞があるためである。このため、上記のように追加条件を加えれば、後続のパターンマッチングによる接近立体物の種別判定精度が向上する。

＜図８＞
次に、飛び出し検知部６００において、飛び出し立体候補のパターンマッチングを実施する。図８において、飛び出し検知部６００は、候補選定部６１０と、部分パターンマッチング部６２０と、位置速度推定部６３０を備えている。本実施例では、歩行者の飛び出し検知をメインに説明するが、実際には、歩行者以外の２輪車、動物、車両などのパターンと接近立体物をパターンマッチングし、当該接近立体物の種類が判定される。

候補選定部６１０では、物体分離部５００により抽出された１以上の接近立体物の中からパターンマッチングを実施すべき候補の選定と、その候補に対してパターンマッチングすべき、歩行者、２輪車、車などのパターンの選定を行う。幾何チェック部５２０において既に画像上の視認可能な大きさはチェックされているので、この他に、接近立体物の移動速度（例えば移動速度が歩行者としては速すぎないか）、時系列の形状変化の態様（例えば歩行者として時系列変化は妥当か）等を確認し、さらに、人工物か、人や動物らしいのか等を判断材料にも利用して、どのパターンマッチングを実施するか選定する。

更に、ここでは、接近立体物の速度と奥行き位置を利用して、自車と衝突可能性の高い立体物のみにパターンマッチングを実施する。位置速度推定部６３０では、候補物体（接近立体物、移動立体物）の正確な速度を算出するために、出現・遮蔽領域分離部５３０で取得した出現領域を利用し、当該出現領域内に含まれる視差画像のみを利用することで、多物体が混ざらない状況での当該候補物体の奥行き位置（位置）を再計算する。更に、当該出現領域内に含まれる動きベクトルの速度分布を再度算出し、極端なはずれ値除去を行った後に平均速度を算出することで、接近立体物の正確な横移動速度（速度）を再計算する。これにより候補物体の位置及び速度の精度を向上でき、当該位置及び速度を利用する後続処理の精度も向上できる。例えば、移動速度が速すぎる物体のサイズが２輪車候補となっている場合には、標準的な２輪車が現れることを想定して、衝突可能性を２輪車の奥行きと移動速度、自車両の挙動予測から実施する。自車が２輪車の奥行き位置に達する前に、２輪車が自車の前方を通り過ぎることが明白な場合には、パターンマッチング自体を実施しない。衝突可能性のない接近立体物をトリガーに自車にブレーキをかける必要はなく、また、接近立体物が２輪車か歩行者かなどは予防安全の観点からは無関係だからである。また、接近立体物の移動速度が遅すぎて自車の進路を横切る前に自車が通り過ぎる可能性が高い場合にも、当該接近立体物のパターンマッチングを実施しない運用が可能である。

なお、１つの候補に対して、複数のパターン（例えば歩行者と２輪車）のマッチングを実施するような場合があってもよい。

部分パターンマッチング部６２０では、図２０に示すように認識対象（想定歩行者枠）１８０の出現領域１９１のみを利用したパターンマッチングを実施する。本実施例では、具体的に説明するために飛び出し候補が歩行者候補であると候補選定部６１０で選定された場合を想定して説明する。ここでは、学習した歩行者パターン２４０と認識対象１８０の出現領域２４１，１９１を揃えた上でパターンマッチングを実施する。パターンマッチングの結果は、出現領域１９１を加味した上でスコア化する。接近立体物が歩行者らしい場合には１から１０点以内のスコアで出現領域を加味した上限スコアを設定する。次に、歩行者らしくない場合には、０から−１０のスコアとする。ただし、出現領域が不十分な場合で単一フレームでの認識確定が困難な場合もあり、背景の形状にも影響を受けやすい。そこで、背景が変化しながらでもパターンマッチングの高スコアが続くことをもって接近立体物のパターン（本例では、飛び出し歩行者）を決定する。例えば、歩行者と決定するためには、歩行者と確定する前の連続３フレームで４点以上のマッチングスコアであること、また累積されたマッチングスコアが計２５ポイント以上であることの両条件を満たすことをもって歩行者であると判定する。このため最短３フレームで飛び出し歩行者の確定に至ることができる。

＜図９＞
次に、警報・制御部７００では、上述の接近立体物検知の情報と、自車挙動の情報を利用して自車両の警報・制御を実施する。図９において、警報・制御部７００は、移動予測部７１０と、自車挙動推定部７２０と、衝突可能性判定部７３０と、警報部７４０と、制御部７５０と、表示部７６０を備えている。

移動予測部７１０においては、認識した接近立体物（飛び出し物体）の奥行き方向における移動速度と横移動速度から、その移動予測経路を推定する。現フレームからの経過時間が長くなるにつれて接近立体物の予測位置のずれがおおきくなることが予想される。そのため、接近立体物との衝突可能性の判断のために、接近立体物の移動予測を移動予測部７１０で実施する。以下では接近立体物が歩行者の場合を例にして説明する。図２１では現在の歩行者位置から現在の歩行者の移動速度に応じた予測位置を推定している。動きベクトルの精度が高い高フレームカメラなどを利用した場合には加速度などが利用可能で、急な飛び出しなどにも対応しやすい。ただし、この場合には、長時間の加速などは予測しづらく、長時間経過後の予測は難しい。次に、歩行者の移動位置の誤差を推定する。現在からの経過時間に応じて歩行者位置の誤差が累積するために、予測時間が後になるほど予測位置に誤差が生じやすい。そこで、図２１では、歩行者のこれまでの移動速度の分散や、出現領域１９１内の動きベクトルのばらつきを考慮した歩行者予測位置のずれの大きさを円で表現した予測円を示している。１ｆｒｍ（１フレーム）後に、歩行者がその円内に入っている可能性が７０％であることを想定して予測円を規定する。

自車挙動推定部７２０では、自車の速度とヨーレートを利用して自車の予測走行進路を算出する。

衝突可能性判定部７３０は、移動予測部７１０で推定した歩行者の移動予測経路情報と、自車挙動推定部７２０にて推定した自車両の予測走行進路情報から、これら２つの予測経路の交点を抽出し、その地点へ自車が到達するまでに要する時間ＴＴＣ（衝突余裕時間）を計算する。この場合は、歩行者と衝突するしないにかかわらずＴＴＣとして時間を計算する。なお、移動していない静止歩行者は歩行者位置を点として考え、自車走行進路の線と歩行者静止位置の点の距離（オフセット幅α）が所定の範囲に含まれる場合にのみＴＴＣ（衝突余裕時間）の計算を実施する。このように衝突可能性判定部７３０では、検知された歩行者と衝突すると仮定した場合のＴＴＣを計算する。事前に警報・制御の対象外となる物体はパターンマッチングなども実施せずに検知候補対象外としていたが、ＴＴＣの計算結果から明らかに制御・警報対象外である立体物の混入が判明した場合には、判明の時点でその後の詳細処理を省略しても良い。

＜図２１，２２＞
次に、上記計算したＴＴＣ秒後に歩行者がいると予測される場所を算出して衝突可能性を判定する。図２２にその計算の一例を示す。歩行者が自車進路を横断するようなケースであり、歩行者、自車共に直進するケースを示す。歩行者がいる奥行き位置まで自車が達するまでの時間ＴＴＣが求められているので、このＴＴＣ秒後における歩行者が存在する可能性の高い予測位置を推定する。図２１に示すように予測円として、歩行者の位置を予測する。これによりＴＴＣ秒後の自車中心位置と歩行者のオフセット幅αを考慮して、歩行者位置から衝突の可能性を判定する。既に、歩行者が自車走行車線を渡りきっている場合や、歩行者の移動が遅く先に車両が通り過ぎるような場合も考えられるので、歩行者の位置と速度情報が衝突可能性の判定に重要となる。予測円の一部が車両と衝突する位置に存在するような場合には、衝突円の中心が衝突可能性のある位置に存在するか、又は衝突可能性のある領域が全体の何パーセント以上を占めるか等を基に自車の制御内容を変更する。

上記のＴＴＣ秒後の歩行者予測位置を基に衝突の可能性ありと判定された場合には、ＴＴＣ秒後の歩行者との衝突可能性を計算し、その可能性に応じた指令を表示装置５、警報装置６、スロットバルブ・インジェクタ７、又はブレーキ８に出力する。可能性が高い場合には、例えばブレーキ８による衝突回避動作の実行等の積極的に衝突を回避する車両制御（強い車両制御）を実施し、反対に、可能性が低い場合には、現実と不適合な車両制御（例えば衝突しないにもかかわらず急ブレーキなどをかけて急減速する）を実施すると後続車両の追突等の可能性が増加するため、例えばスロットバルブ・インジェクタ７の制御による加速抑制等の車両制御（弱い車両制御）、又は車両制御は行わずに警報装置６又は表示装置５による警報のみの出力等を実行することが好ましい。本実施例では、後述の図２４のように、衝突可能性を、衝突予測時刻における歩行者の位置精度とオフセット幅αを基に算出している。

＜図２３，２４＞
図２３を用いて歩行者（接近立体物）接近時の車両の制御レベルと制御内容について説明する。本実施例では衝突可能性の増加に応じて制御レベルを上げてより強い制御を実施する。本実施例では、図２４のテーブルにしたがって、衝突予測時刻における歩行者の位置精度とオフセット幅αを基に制御レベルを決定する。位置精度が高くかつオフセット幅αが小さいほど衝突の可能性が高いと考えて制御レベルを上げている。

図２３に示すように、制御レベル１は、いわゆる車両制御は実行せず単に表示装置５（ディスプレイ）に無音で歩行者が車両近傍に存在することを表示する。もし、歩行者の検知位置や予測位置に誤りがある場合に、ユーザの運転を妨げないために表示のみにとどめる。

次に、制御レベル２では、衝突の可能性はあるが、歩行者の予測位置がずれている可能性や、歩行者の近距離を車両が通過する可能性なども考慮し、車両の加速を抑制し、緊急ブレーキの準備をするものの、通常のドライバーの運転を妨げるような制御内容とはしない。

制御レベル３では、緊急ブレーキはかけないものの、衝突の可能性が極めて高いと判断し、ユーザに歩行者がいることを警報装置６による警報で通知するとともに衝突回避の前準備を実施する。ユーザがブレーキ８を操作した場合の応答速度を速めるためのブレーキ油圧上昇や、歩行者の位置精度が上昇した場合の緊急ブレーキがより早く作動するために油圧上昇、スロットルバルブ・インジェクタ７の制御による加速抑制などを実施する。

制御レベル４では、確実に歩行者と衝突すると考えて、自車両を緊急停止させるために、ブレーキ８を作動させるとともに警報装置６による音声でドライバーに歩行者の存在を知らせる。

図２３の歩行者予測位置精度とオフセット幅αに基づいて、制御レベルの判定を実施する。オフセット幅αが長くなるにつれて歩行者と自車の衝突可能性が低下するため、制御レベルを落とす。また、歩行者の予測位置精度についても同様であり、歩行者位置に誤差が含まれている可能性が高い場合には、制御レベルを落とした出力と判定する。

衝突可能性判定部７３０は、上記の制御レベルごとの制御内容に応じて、表示装置５、警報装置６、スロットバルブ・インジェクタ７、ブレーキ８に制御信号を出力する。例えば、表示装置５としては例えば車載ディスプレイやメータパネル部分が該当し、これらに歩行者の存在を表示する。歩行者と車両の位置関係を表示装置５上に簡易的に表示しても良い。警報装置６では、制御信号に基づいて、歩行者衝突可能性が高いことを知らせる音を鳴らす。

＜図２５＞
次に、図２５に示すように、移動立体物（歩行者）の一部を遮蔽する立体物が存在する場合において、速度差が発生することにより、本実施例の効果の発揮が期待できるシーンの例を掲載する。今回、飛び出し歩行者の例を示しているが、これが２輪車や動物などの他の飛び出し物体でも良い。また、遮蔽物は図示したもの以外のものであってもよく、この例に限定するものではない。

上記の説明では駐車車両の陰から飛び出す歩行者を例として説明したが、ここでは他の例について説明する。まずは、図２５中のＡに示したガードレールや柵などの路上構造物の背後の歩行者を想定する。距離に基づく立体物検知では、ガードレールや柵と歩行者の距離が近距離の場合には歩行者をうまく分離できずに、１つの塊（立体物）として検知することが予想される。他にも図２５中のＢに示した三角コーンの背後に歩行者が存在する場合も該当する。距離に基づく立体物検知においてガードレール等の路上構造物と歩行者の個別検知が可能となるのは、当該路上構造物の陰から歩行者が離れてしばらく経ってからとなる。このため、路上構造物からの歩行者の飛び出しは、歩行者の上半身が画像上に出現していても、近くの立体物から約１ｍ以上離れなければ検知し難いという課題があった。特に、他の立体物が歩行者の全身を隠しているような場合だけでなく、歩行者の下半身だけを隠しているような場合にも、人間の感覚と異なる検出結果（即ち歩行者は検出不可）を出力する従来システムには課題であった。本実施例の場合には、歩行者と路上構造物を一体の立体物として検知した３フレーム後には、飛び出し歩行者のみを切り出して検知することが可能である。これにより、従来は、ガードレールや柵などの周辺物体から１ｍ程度離れなければ検知が困難であったが、本実施例を採用すると、歩行者の下半身が隠れているような状態のままでも検知可能となった。このため、ガードレールの隙間、柵の間、ガードレール終了地点などから飛び出す可能性のある歩行者を、既に飛び出す前から検知可能となり、飛び出し歩行者などに対する事故防止に効果が発揮される。なお、図２５のＡ，Ｂでは、歩行者よりも自車側に路上構造物が位置する場合を示しているが、両者の位置関係が反対の場合、すなわち路上構造物の方が自車側に位置する場合も同様に歩行者の検知が可能である。また、図２５のＥに示すように、路上構造物の大きさは歩行者より大きくても構わない。

この他にも、動きベクトルの違いを検出することで分離可能であるため、複数の歩行者が重なって歩くような場面（例えば商店街）においても、歩行者の移動先予測を利用した車両制御が実施可能である。従来は、図２５のＣに示すような、自車から視線方向において奥行き距離の近い複数の歩行者が重なった場合には、それらが一体化されて１つの大きな立体物として検知されることがしばしば見受けられた。しかしながら、本実施例によれば、当該立体物の立体領域内部の動きベクトルの方向分布及び／又は移動量分布（速度分布）を解析することで、複数の立体物の分離が可能となった。特に、図１４に示すような高速カメラによる高フレームレート画像に基づく動きベクトル検知を利用した場合には、動きベクトルの密度、精度が高く、複数人が重なるような場合においても安定的に個別に分離できる。更に動きベクトルの解析結果から接近立体物の出現領域と遮蔽領域を推定し、当該出現領域を利用した部分パターンマッチング（出現領域だけマッチングして立体物の種類を判別する）を実施することで、当該接近立体物の種類の判別精度の向上を実現している。また、出現領域に現れる動きベクトルに基づいて全身の一部が遮蔽された歩行者の移動方向と速度を適切に推定し、自車との衝突可能性を判断することで、表示装置５と警報装置６による歩行者接近の報知と、ブレーキ８等による車両制御を実施している。

上記では、移動立体物（図２５の例の歩行者）よりも自車側に他の立体物が存在し、当該移動立体物の「一部」が当該他の立体物で隠れている場合、つまり、検知立体物の立体領域が移動立体物と他の立体物で構成される場合（但し、移動立体物と他の立体物の前後関係は問わない）を説明した。しかし、この場合だけでなく、自車からみて移動立体物の背後に当該移動立体物よりもサイズの大きい他の立体物が存在し、当該他の立体物の立体領域の内部に当該移動立体物の全部が含まれている場合、つまり、検知立体物の立体領域が他の立体物のみで構成される場合（ただし、他の立体物よりも移動立体物の方が自車側に位置する場合に限る）についても適用可能である。図２５のＤの例は、人のサイズより大きい構造物（例えば、壁、建物、巨樹等）の直ぐ前に歩行者が存在する場合を示している。この場合も歩行者の動きベクトルは検知可能であり、当該動きベクトルに基づいた歩行者の分離が可能である。そのため、当該構造物から飛び出す前の段階で歩行者を検知できる。

また、停止車両のドアが突然開いて自車進路の前方を塞ぎ、当該停止車両に人（乗降者）が乗降する場面では、停止車両の一部（通常は開いたドア）で当該乗降者の一部が隠れることになるが、その場合の乗降者の検知は図２５のＡ，Ｂの歩行者と同様に可能である。さらに、停止車両のドアについては、開閉完了後は停止立体物として検知されるため距離に基づく検知結果（従来の検知結果）と変わらない結果となるが、開閉中は本実施例により接近立体物（移動立体物）として検知できる。つまり本実施例によれば開閉完了前の段階でドアを接近立体物として検知できる。

＜図２６＞
次に図２６を用いて本実施例の概要を処理フローで説明する。

Ｓ０１では、左右カメラの撮像部１００，１１０にて画像を撮像する。

Ｓ０２においては、今回の処理タイミングにおいて、図１４に示すような、左右画像がそろった撮像タイミングであるか、右画像のみの撮像タイミングであるかを判定する。Ｓ０２において、今フレームで左右画像を撮像したと判定した場合にはＳ０３へ、右画像のみ撮像したと判定した場合にはＳ０４へ処理を移行する。なお、１フレーム目であるフローの開始時は左右画像を撮像するためＳ０３に移行する。

Ｓ０３においては、視差画像生成部２００で左右画像を利用した視差画像の生成を実施し、Ｓ０５に移行する。

Ｓ０５では、立体物検知部３００においてＳ０３の視差画像を利用した立体物検知を実施する。立体物候補を画像から抽出・トラッキングし、２フレーム間立体物としてトラッキングできたことを確認して、立体物として検知する。

Ｓ０４では、動きベクトル検知部４００において右画像の過去画像と原画像を利用して、Ｓ０５で検知した立体物の移動方向と速度を調べるための動きベクトルの更新を実施する。高フレームレートやピラミッド画像を利用して動きベクトルの探索範囲を限定して探索を実施することで、より単純なトラッキング手法でも、移動方向と速度を間違えることなく高密度に算出できることが可能である。

Ｓ０６においては、Ｓ０５の立体物検知部３００において検知された立体物と、Ｓ０４の動きベクトル検知部４００で検知された動きベクトルの両方を利用して、立体物が別の動きをもった複数の物体からなっていないかを判別する。画像上における立体物の立体領域（立体物候補位置）の内部に存在する動きベクトルの方向と速度（移動量）をヒストグラム化することで、速度方向と速度の分布を解析し、立体領域の内部に複数の立体物が存在するか否かを判断する。速度方向の分布が複数存在する場合又は同じ速度方向だが速度の分布が複数存在する場合には複数の物体が存在しかつそのうちの少なくとも１つが移動立体物であると判定し、画像上で当該移動立体物の存在する部分を特定（分離）してＳ０７の処理へ進む。この際に、高フレームレートもしくはピラミッド画像又はその両手法の併用、を利用した場合には、動きベクトルが高密度、高精度に算出可能であることから、移動立体物の分離精度が大幅に向上する。

反対に、単一の速度方向分布および単一の速度分布が観測された場合には、単一の物体又は複数ではあるが等速度で略同じ方向に移動する物体であることを判定し、単体立体物として扱って当該検知立体物についての処理を終了する。なお、略等速度で略同じ方向に移動する複数物体である場合にＳ０５で検知した立体物を単体立体物として扱っても、後続する自車両の警報や制御等で大きな問題とはならない。また、複数物体間の隙間が大きい場合には簡単に別物体として検知可能であり問題無い。当該隙間が非常に狭い場合には単体立体物として検知される可能性があるが、通常、このような場合には当該隙間は自車がすり抜け不可能な大きさとなるため、この場合も特に大きな問題は発生しない。

Ｓ０７では、画像上の移動立体物の部分に存在する複数の動きベクトルが、群れをなしているような動きベクトル群となっているか、ノイズのように散らばっているのかを判定する。更にカメラ幾何を利用して、歩行者が３０％以上視認可能であった場合を想定し、移動立体物の領域に閾値以上の動きベクトルが確認できるか否かを判定する。前者の判定が「散らばっている」又は後者の判定が「確認できない」の場合には、Ｓ０６で分離した移動立体物がノイズであると判定して処理を終了する。一方、前者の判定が「群れとなっている」及び後者の判定が「確認できる」であればＳ０８に移行する。

Ｓ０８では、Ｓ０６で特定した移動立体物の存在部分、当該移動立体物の奥行き位置、及び想定する移動立体物のサイズ（歩行者を想定した場合、例えば１７０ｃｍ）を基に、当該移動立体物の出現領域と遮蔽領域を画像上で特定する。その際、出現領域が想定する移動立体物の何パーセントに該当するかについても計算する。歩行者と想定して出現領域が３０％を超えている場合には、２輪車やその他の移動立体物（例えば動物など）の可能性も残っている。

Ｓ０９では、上記Ｓ０８で決定した出現領域を、歩行者、２輪車および動物などの移動体候補のいずれとパターンマッチングすべきかどうか判別する。出現領域が大きい場合には、歩行者、２輪車、それぞれのパターンマッチングを実施しても良い。

Ｓ１０，Ｓ１１，Ｓ１２では、Ｓ０８で画像上で出現領域とされた部分と、Ｓ０９で決定したパターン（学習して取得したものも利用可）の出現領域とを突き合わせて、部分的なパターンマッチングを実施し、パターンとして適合度合いが高いどうか判定する。パターンマッチングは背景や、歩行者などの場合には変形などの影響も受けるため複数フレームの判定結果を利用して最終的な結論を得る。Ｓ１０は歩行者としてのパターンマッチングを実施した場合、Ｓ１１は２輪車としてのパターンマッチングを実施した場合、Ｓ１２は他の候補（動物など）としてのパターンマッチングを実施した場合を示す。移動立体物の種類が特定されたらＳ１３に移行する。

Ｓ１３では、遮蔽領域は参考にせず、出現領域のみから得られる視差と動きベクトルを利用して、移動立体物のより正確な位置と速度推定を実施する。

Ｓ１４では、Ｓ１３の位置および速度に応じて制御レベル（図２４参照）を決定し、決定した制御レベルに応じた表示、警報、制御を実行する。

以上のように、本実施例では、立体物に隠れている歩行者、２輪車などが飛び出す前のタイミングでこれらの検知が可能となり、さらに、その位置及び速度から推定される自車との接触可能性に応じた表示、警報、制御の実施が可能となった。

なお、上記で説明した処理の順番は一例に過ぎず、同じ結果が得られるものであれば適宜順番を変更しても構わない。

＜付記＞
動きベクトルの解析に利用するヒストグラムの横軸は図１７の移動量（速度）と簡単な方向（左右のみ）以外も利用可能である。この場合について図２７を用いて説明する。まず、ヒストグラムの横軸として、図２７のＡに示した「詳細な方向」が設定可能である。このヒストグラムは動きベクトルの移動量が同じ場合に利用することが好ましい。また、図２７のＢに示した「移動量のみ」も設定可能である。このヒストグラムは移動方向が同じ場合に利用することが好ましい。さらに図２７のＣに示した「方向及び移動量」も設定可能である。

上記ではヒストグラムの最頻値が２つの場合（山が２つの場合）を例に挙げたが、図２７のＤに示すように、最頻値が３つ以上の場合にも本実施例は適用可能である。

ヒストグラムにおいて、動きベクトルの方向及び／又は大きさ（移動量）の分布に最頻値が複数確認されたということは、立体物検知部３００の検知した立体物の立体領域の内部に動き方の異なる２つ以上の立体物が検知されたことを示し、その中の少なくとも１つは移動立体物であることを示す。本実施例によれば、この少なくとも１つの移動立体物を、距離に基づく立体物検知よりも早い段階で検知することができる。

移動立体物が複数検知された場合にどの移動立体物からパターンマッチングすべきかという問題があるが、自車に最も近い移動立体物を優先的にパターンマッチングする方法がある。移動立体物と自車の距離は、各移動立体物の移動位置から算出可能である。また、自車に近づく移動立体物を優先的にパターンマッチングする方法もある。例えば図２７のＤの例で自車進路が画面の右側の領域にある場合には、ヒストグラム中の右端に位置する３の山に係る移動立体物を優先的にパターンマッチングすることになる。

図１の実施例では、左カメラ撮像部１００、右カメラ撮像部１１０および視差画像生成部２００で距離検知装置４を構成し、左カメラ撮像部１００と右カメラ撮像部１１０による画像から視差画像生成部２００で視差画像を作成することで立体物までの距離を算出した。しかし、この構成に代えて、自機からの距離を取得する距離センサ（例えば、ミリ波レーダ、レーザレーダ、超音波センサ等）１７０で左カメラ撮像部１００を代替し、距離センサ１７０の出力を基にコンピュータ３内に構成した距離算出部２７０で立体物までの距離を算出する構成を採用しても良い。つまり、図２８に示すように、距離センサ１７０と距離算出部２７０で距離検知装置４を構成しても良い。この場合、距離センサが取得した距離を基に立体物検知部３００で立体物を検知するとともに立体領域をカメラ撮像部１１０の画像に設定し、動くベクトル検知部４００でカメラ撮像部１１０の動画を基に立体領域内の特徴点を追跡することで、図１の構成と同様の機能を発揮できる。すなわち、図１のようなステレオカメラではなく、単眼カメラを搭載した場合にも同様の効果を発揮できる。

なお、本発明は、上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、ある実施の形態に係る構成の一部を、他の実施の形態に係る構成に追加又は置換することが可能である。

また、上記のコンピュータ３に係る各構成や当該各構成の機能及び実行処理等は、それらの一部又は全部をハードウェア（例えば各機能を実行するロジックを集積回路で設計する等）で実現しても良い。また、上記のコンピュータ３に係る構成は、演算処理装置（例えばＣＰＵ）によって読み出し・実行されることで当該制御装置の構成に係る各機能が実現されるプログラム（ソフトウェア）としてもよい。当該プログラムに係る情報は、例えば、半導体メモリ（フラッシュメモリ、ＳＳＤ等）、磁気記憶装置（ハードディスクドライブ等）及び記録媒体（磁気ディスク、光ディスク等）等に記憶することができる。

４…距離検知装置、３…コンピュータ、５…表示装置、６…警報装置、７…スロットルバルブ・インジェクタ、８…ブレーキ、３２…移動立体物検知部、１００…右カメラ撮像部、１１０…左カメラ撮像部、１１５…立体領域（立体物を内包する所定の領域）、１７０…距離センサ、１９１…出現領域、１９２…遮蔽領域、２００…視差画像生成部、２７０…距離算出部、３００…立体物検知部、４００…動きベクトル検知部、５００…物体分離部、６００…飛出し検知部、７００…警報・制御部

Claims (9)

1. 自機からの距離を基に立体物を検知する立体物検知部と、
   時系列的に得られた複数の画像で前記立体物を内包する所定の領域の内部の特徴点を追跡することで当該特徴点の動きベクトルを検知するベクトル検知部と、
   前記ベクトル検知部の検知結果を基に前記領域の内部に存在する移動立体物を検知する移動立体物検知部と、を備え、
   前記移動立体物検知部は、前記ベクトル検知部の検知結果から得られる前記動きベクトルの方向分布及び／又は大きさ分布の最頻値が複数存在する場合に、前記領域の内部に複数の立体物が存在し、かつ、当該複数の立体物の少なくとも１つが移動立体物であると判定することで、前記領域の内部に複数の立体物が存在し、かつ、当該複数の立体物の少なくとも１つが移動立体物であることを前記ベクトル検知部の検知結果を基に検知し、
   前記移動立体物検知部は、さらに、前記領域の内部で前記移動立体物が現れている部分において前記動きベクトルが検知された部分の割合が所定の閾値以上の場合に、前記移動立体物の種類を判定するパターンマッチングを実行し、
   前記画像は、撮像部によって得られた画像であり、
   前記撮像部は、複数の画像を時系列的にそれぞれ撮影する第１カメラ及び第２カメラを有するステレオカメラであり、
   前記立体物検知部は、前記ステレオカメラによる１対の画像の視差から算出した距離を基に前記立体物を検知し、
   前記ベクトル検知部は、前記第１カメラによる前記複数の画像で前記領域の内部の特徴点を追跡することで当該特徴点の動きベクトルを検知し、
   前記動きベクトルの検知範囲を前記距離が長くなるに従い、狭くすること、を特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第１カメラは、前記第２カメラよりも撮像フレームレートが高いこと、を特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記ベクトル検知部は、所定解像度に縮小した前記第１カメラの複数の画像同士で縦方向エッジをマッチングさせることで前記動きベクトルを検知すること、を特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記移動立体物検知部は、前記移動立体物の種類を判定するパターンマッチングを実行する場合、前記領域の内部で前記移動立体物が現れている部分のみを利用してパターンマッチングを行うこと、を特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記移動立体物検知部は、前記移動立体物の種類を判定するパターンマッチングを実行する場合、前記領域の内部で前記移動立体物が現れている部分のみを利用して、前記移動立体物の位置及び速度を再計算すること、を特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記移動立体物検知部がパターンマッチングにより種類を判定可能な立体物には、歩行者、二輪車または動物が含まれること、を特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記移動立体物検知部は、前記移動立体物の種類を歩行者と仮定し、前記領域の内部で前記移動立体物が現れている部分が歩行者の全体の何％に該当するかを算出し、その算出値が閾値を超える場合かつ前記領域の内部で前記移動立体物が現れている部分に頭部又は脚部と推定される部分が含まれている場合に、前記移動立体物の種類を判定するパターンマッチングを実行すること、を特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置において、
   前記立体物検知部は、自機からの距離を取得する距離センサが取得した距離を基に立体物を検知すること、を特徴とする画像処理装置。
9. 撮像部からの距離を基に立体物を検知する立体物検知部と、
   時系列的に得られた複数の画像で前記立体物を内包する所定の領域の内部の特徴点を追跡することで当該特徴点の動きベクトルを検知するベクトル検知部と、
   前記ベクトル検知部の検知結果を基に前記領域の内部に存在する移動立体物を検知する移動立体物検知部と、を備え、
   前記移動立体物検知部は、前記ベクトル検知部の検知結果から得られる前記動きベクトルの方向分布及び／又は大きさ分布の最頻値が複数存在する場合に、前記領域の内部に複数の立体物が存在し、かつ、当該複数の立体物の少なくとも１つが移動立体物であると判定することで、前記領域の内部に複数の立体物が存在し、かつ、当該複数の立体物の少なくとも１つが移動立体物であることを前記ベクトル検知部の検知結果を基に検知し、
   前記移動立体物検知部は、さらに、前記領域の内部で前記移動立体物が現れている部分において前記動きベクトルが検知された部分の割合が所定の閾値以上の場合に、前記移動立体物の種類を判定するパターンマッチングを実行し、
   前記画像は、撮像部によって得られた画像であり、
   前記撮像部は、複数の画像を時系列的にそれぞれ撮影する第１カメラ及び第２カメラを有するステレオカメラであり、
   前記立体物検知部は、前記ステレオカメラによる１対の画像の視差から算出した距離を基に前記立体物を検知し、
   前記ベクトル検知部は、前記第１カメラによる前記複数の画像で前記領域の内部の特徴点を追跡することで当該特徴点の動きベクトルを検知し、
   前記動きベクトルの検知範囲を前記距離が長くなるに従い、狭くする、ことを特徴とする画像処理装置。

Images