JP5127182B2 - 物体検出装置 - Google Patents

Description

本発明は、ステレオ画像処理によって生成された距離画像上において、複数種の物体を検出する物体検出装置に関する。

例えば、特許文献１には、ステレオ画像処理によって生成された距離画像上において先行車を検出する手法が開示されている。具体的には、まず、距離画像を分割することによって、距離画像上に複数の区分が設定される。それぞれの区分について、一つの区分内に存在する距離値のヒストグラムが算出され、その最頻値が距離代表値として特定される。そして、検出対象である先行車のサイズに応じて設定された検出条件と、区分毎の距離代表値とに基づいて、複数の区分を同一物体とみなしてグループ化することで、距離画像上において先行車が検出される。
特開平５−２６５５４７号公報

しかしながら、上述した特許文献１は、先行車という単一物体の検出に関するものであり、複数種の物体、例えば、車と人とを区別して検出するといった点については何ら開示・示唆されていない。ここで、自車両前方の状況を監視するシステムを想定した場合、１台の先行車が走行している状況と、２人の歩行者（或いは２台のバイク等）が併走している状況とでは、得られる距離画像が互いに類似することがある。そのため、距離画像ベースで車と人の双方を検出しようとした場合、システム上、誤って物体を検出してしまう可能性がある。例えば、１台の先行車が走行している状況を２人の歩行者とみなしてしまったり、２人の歩行者が併走している状況を１台の先行車とみなしてしまうといった如くである。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、複数種の物体を精度よく検出することである。

かかる課題を解決すべく、本発明は、ステレオ画像処理によって生成され、画像平面上の位置に対応付けされた距離値の集合としての距離画像を用いて、物体を検出する物体検出装置を提供する。この物体検出装置は、距離分布生成部と、第１の物体検出部と、第２の物体検出部と、信頼性評価部とを有する。距離分布生成部は、距離画上に設定された複数の区分のそれぞれについて、この区分内に存在する距離値のヒストグラムに基づいて距離代表値を算出する。第１の物体検出部は、検出対象である第１の物体のサイズに応じて設定された第１の検出条件と、区分毎の距離代表値とに基づいて、複数の区分を同一物体とみなしてグループ化し、距離画像上において第１の物体を検出する。第２の物体検出部は、第１の物体とは異なる検出対象である第２の物体のサイズに応じて設定された第２の検出条件と、区分毎の距離代表値とに基づいて、複数の区分を同一物体とみなしてグループ化し、距離画像上において第２の物体を検出する。信頼性評価部は、第１の物体検出部によって検出された第１の物体および第２の物体検出部によって検出された第２の物体のいずれかを選択するために、所定の評価規則に基づいて、第１の物体の信頼性と第２の物体の信頼性とを評価する。この際、第１の検出条件は、同一物体とみなしてマージする際に用いられる、隣り合っていない区分の最大すき間区分数を第１の物体のサイズに応じて設定する。また、第２の検出条件は、同一物体とみなしてマージする際に用いられる、隣り合っていない区分の最大すき間区分数を第２の物体のサイズに応じて設定する。

ここで、本発明において、信頼性評価部は、物体の検出状態の経時的な安定性を所定の評価基準として用いることにより、第１の物体の検出状態の経時的な安定性と、第２の物体の検出状態の経時的な安定性とを評価してもよい。

また、本発明において、信頼性評価部は、距離画像上における物体の輪郭形状の安定性を所定の評価基準として用いることにより、距離画像上における第１の物体の輪郭形状の安定性と、距離画像上における第２の物体の輪郭形状の安定性とを評価してもよい。

また、本発明において、ステレオ画像処理の入力となる一対の画像を撮像するステレオカメラとは異なる物理現象を用いたセンサによって検出された物体と、第１の物体検出部によって検出された第１の物体とが同一であるか否かを判定する同一物体判定部をさらに設けてもよい。この場合、信頼性評価部は、同一物体判定部における判定結果が同一の場合、第１の物体の信頼性を補正することが好ましい。典型的には、このセンサは、ミリ波レーダであることが好ましい。この場合、第１の物体は、例えば先行車のように、ミリ波レーダにて検出可能な物体であり、第２の物体は、例えば歩行者のように、ミリ波レーダでは第１の物体に比べて検出しにくい物体であってもよい。

また、本発明において、第１の検出条件および第２の検出条件は、同一物体とみなす代表距離値の範囲および複数の区分の幅に関して、互いに異なる条件を規定していることが好ましい。

また、本発明において、第１の物体検出部および第２の物体検出部は、別個のユニットであり、第１の物体の検出および第２の物体の検出を並行的に行ってもよい。または、第１の物体検出部および第２の物体検出部は、同一のユニットであり、第１の検出条件および第２の検出条件を切り替えて、第１の物体の検出および第２の物体の検出を逐次的に行ってもよい。

本発明によれば、第１の物体検出部によって第１の物体を検出するとともに、第２の物体検出部によって第２の物体を検出している。これにより、ある距離画像上において複数種の物体を検出することができる。その際、検出された物体の信頼性も併せて評価している。これにより、距離画像ベースでは検出対象の区別がつきにくい状況下でも、信頼性の高い方の物体を選択するといった対応をとることができるので、検出精度の向上を図ることができる。

（第１の実施形態）
図１は、第１の実施形態に係る物体検出装置のブロック構成図である。この物体検出装置は、自動車等の車両に搭載され、自車両前方に存在する複数類の物体、本実施形態では先行車と、歩行者（人が運転する自転車やバイク等も歩行者の範疇に含まれる）とを区別して検出する。物体検出装置は、ステレオカメラ１と、距離画像生成部２と、地面検出部３と、距離分布生成部４と、物体検出部５と、信頼性評価部６と、物体選択部７とを主体に構成されている。

ステレオカメラ１は、車内のルームミラー近傍に取り付けられており、自車両前方の景色を所定の間隔で時系列的に撮像することによって、一対の撮像画像をステレオ画像として随時出力する。距離画像生成部２は、時系列的に撮像されたステレオ画像のそれぞれに対してステレオ画像処理を随時施し、距離画像を随時生成する。距離画像は、画像平面上の位置に対応付けされた距離値（視差）の集合として定義される。図２に示すように、距離値の算出単位は、ステレオカメラ１を構成する一方のカメラ（例えば右カメラ）からの撮像画像を縦横に分割することによって得られる単一の画素ブロックＰＢijである。一例として図示したように、基準画像が512×200画素で構成されている場合、一フレーム相当の撮像画像から、最大で画素ブロックＰＢijの個数相当（128×50個）の視差群が算出される。実空間上の距離と等価である視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がステレオカメラ１に近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。ある画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像（ステレオカメラ１を構成する他方のカメラ（例えば左カメラ）の撮像画像）において特定する。上述したように、ステレオカメラ１から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰＢijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。距離画像生成部２は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。２つの画素ブロックの相関は、例えば、輝度差絶対和または輝度差自乗和といった周知の相関評価手法を用いて評価することができる。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量が、その画素ブロックＰＢijの視差ｄとなる。画素ブロックＰＢij内に写し出された対象物の実空間上の位置（Ｘ，Ｙ，Ｚ）は、この画素ブロックＰＢijの画像平面上の座標（ｉ，Ｊ）と、その視差ｄとを入力とした座標変換によって一義的に特定される。

地面検出部３は、地面上に存在する物体と、そうでない物体との切り分けを行う際の位置的な基準を与えるべく、実空間上における地面の形状（Ｘ，Ｙ，Ｚ）を検出する。周知のように、地面形状は、例えば道路モデルとして表現することができるが、このモデルは、実空間の座標系において、水平方向の直線式、および、垂直方向の直線式により特定される。この直線式は、道路上の自車線を、設定した距離によって複数個の領域に分け、領域毎に左右の白線等を三次元の直線式で近似して折れ線状に連結することによって算出される。なお、地面検出部３よりも後段の処理では、基本的に、地面検出部３によって検出された地面よりも上方に存在する距離値が用いられる。

図３に示すように、距離分布生成部４は、距離画像生成部２によって距離画像が生成される毎に、この距離画像上に複数の区分Ｓ1〜Ｓnを設定する。区分Ｓ1〜Ｓnのそれぞれは、距離画像を横方向に分割することによって得られる縦短冊形状を有し、地面近傍が写し出される画像下側と、空が写し出される画像上方とを除いた領域として定義される。なお、同図は、理解を容易にするために、本来の距離値の集合（距離画像）ではなく、便宜上、自車両前方の状況を図示している点に留意されたい。つぎに、距離分布生成部４は、図４に示すように、個々の区分Ｓ（ＳはＳ1〜Ｓnの一つを指す）に関して、その内部に存在する距離値のヒストグラムを生成する。距離Ｚを所定の区間毎に区切った上で、ある区分Ｓ内に存在するすべての距離値を該当する区間に投票していく。そして、出現頻度が最大かつ所定のしきい値Ｔｈ以上である距離値（区間の代表値または区間内に存在する距離値の平均値）を距離代表値Ｚrとして特定する。例えば、図示したように、ある区分Ｓ内に先行車が写し出されている場合、先行車までの距離に相当する区間の出現頻度が最大となるので、この区分Ｓについて算出された距離代表値Ｚrは先行車までの距離とほぼ一致する。

物体検出部５は、第１の物体検出部５ａと、第２の物体検出部５ｂとを有し、複数種の物体を検出する。第１の物体検出部５ａは、検出対象である先行車のサイズに応じて設定された第１の検出条件と、区分毎の距離代表値とに基づいて、複数の区分を同一物体とみなしてグループ化し、距離画像上において先行車を検出する。一方、第２の物体検出部５ｂは、第１の物体とは異なる種類の検出対象である歩行者のサイズに応じて設定された第２の検出条件と、区分毎の距離代表値とに基づいて、複数の区分を同一物体とみなしてグループ化し、距離画像上において歩行者を検出する。なお、物体検出部５は、ハードウェアおよびソフトウェアのどちらで構成してもよい。ハードウェア構成とした場合には、図１に示したように、第１の物体検出部５ａと第２の物体検出部５ｂとを並列に設け、これらを並列処理させることで、処理の高速化を図ることができる。一方、ソフトウェア構成とした場合には、これらの物体検出部５ａ，５ｂは同一のユニットによる逐次処理となり、第１の検出条件および第２の検出条件を切り替えながら、先行車の検出と歩行者の検出とが逐次的に行われる。

信頼性評価部６は、所定の評価規則に基づいて、検出された先行車の信頼性と、検出された歩行者の信頼性とを評価する。物体選択部７は、信頼性評価部６の評価結果に基づいて、先行車および歩行者のいずれかを検出結果として選択し、その物体に関するデータ（実空間上の位置を含む）を出力する。そして、これを受けた後段のシステム（図示せず）によって、各種の車両制御やドライバーへの警告等が必要に応じて行われる。

図５は、物体検出部５、信頼性評価部６および物体選択部７による物体検出の手順を示すフローチャートである。このフローチャートに示す処理は、距離分布生成部４の処理と同期して、所定のサイクルで繰り返し実行される。この一連の処理においては、まず第１の物体検出部５ａによる先行車の検出が行われ、その後に、第２の物体検出部５ｂによる歩行者の検出が行われる。

ステップ１において、最初の検出対象である先行車を検出する際に用いられる第１の検出条件が設定される。この第１の検出条件は、同一の先行車とみなせる区分Ｓをグループ化するために適用され、代表距離値Ｚrの範囲および複数の区分Ｓの幅に関する条件を規定している。その具体的な内容は、先行車のサイズに応じて適宜設定されるが、以下にその一例を示す。

［第１の検出条件］
（１）代表距離値Ｚrの範囲
一般的な自動車の車長（奥行き方向のサイズ）に鑑み、同一物体とみなす代表距離値Ｚrの許容範囲をしきい値Ｚth1（例えば６ｍ程度）で規定する。また、隣接した区分Ｓ間における代表距離値Ｚrの許容変化量（絶対値）をしきい値Ｚth2で規定する。
（２）複数の区分Ｓの幅
一般的な自動車の車幅（幅方向のサイズ）に鑑み、同一物体とみなす複数の区分Ｓの許容幅をしきい値Ｘth1（例えば３ｍ程度）で規定する。また、別グループを同一物体とみなしてマージする際に用いられる、隣り合っていない区分Ｓ間の最大すき間区分数をしきい値Ｘth2（例えば１ｍ程度）で規定する。

ステップ２において、第１の物体検出部５ａは、第１の検出条件に基づいて、区分Ｓのグループ化による物体（先行車）の検出を行う。図６は、区分Ｓのグループ化の説明図である。まず、前回のサイクルにおける検出結果から、今回のサイクルにおける先行車の位置が推測され、この位置の周りに検出ウインドウＷが設定される。この検出ウインドウＷは、自動車のサイズ（車長および車幅）に相当する二次元領域であり、車長Ｚth1と車幅Ｘth1とによって規定される。

つぎに、距離画像上における最左端の区分Ｓから右に向かって順に調べて、代表距離値Ｚrが検出ウインドウＷの内部にはじめてプロットされるものが検出開始点として設定される。そして、この検出開始点を起点として右方向に順次隣接する区分Ｓの代表距離値Ｚrを調べて、（１）隣接する２つの区分Ｓの代表距離値Ｚrの差｜ΔＺr｜がしきい値Ｚth2以内で、かつ、（２）双方の代表距離値Ｚrが検出ウインドウＷの内部にプロットされる場合には、これらの区分Ｓを同一の物体グループに属すると判断する。この場合、このグループに属する区分Ｓにおける距離値の平均値（これに代えて代表距離値Ｚrでもよい）を物体の距離とする。ここで、同一物体に属しない区分Ｓがあった場合には、順次右の区分Ｓを調べて、代表距離値Ｚrおよび検出ウインドウＷに関する上記（１），（２）の条件を満たす区分Ｓを探索する。この探索は、最大すき間区分数に相当するしきい値Ｘth2の範囲内まで探索しても同一物体に属する区分Ｓが見つからなかった場合、或いは、距離画像の最右端の区分Ｓに到達した場合に打ち切られる。このしきい値Ｘth2は、実空間上における車幅方向のすき間の長さとして規定され、自動車の場合には、例えば１ｍ以上のすき間があったら、そこが物体の切れ目であると判断される。また、このしきい値Ｘth2は、物体の距離に応じた区分数に換算される。このようなグループ化によって、例えば図６に示したケースでは、区分Ｓ3−Ｓ6間の距離がしきい値Ｘth2以下であることを条件として、８つの区分Ｓ1〜Ｓ8が同一物体のグループに属するものと判断される。

なお、前回検出されたすべての先行車について検出を終えた後においても、所属するグループが未だ決まっていない区分Ｓの代表距離値Ｚrが残り得る。そこで、残った区分Ｓを今回のサイクルにおける新たな検出物体としてグループ化するために、区分Ｓを左から右へ順次調べていく。そして、隣接する区分Ｓに関して、上述したような手法により、区分Ｓのグループ化と、互いに離間したグループ同士のマージとが行われる。

図７は、一例として、先行車が走行する状況下での距離画像を示す図である。黒い領域（上述した画素ブロックＰＢijと同サイズ）は、距離値（有効とみなせるもの）を有する領域である。ステレオマッチングの特性上、有効な距離値は、先行車の左右エッジ、テールライト、または、ピラーとリアウインドとの境界といったように、水平方向の輝度変化が大きな領域に集中する傾向がある。また、図８は、このような状況下での代表距離値Ｚrの分布図である。代表距離値Ｚrは、先行車の左右端で密になり、中央部分で粗になる傾向があるが、上述した第１の検出条件によれば、最大すき間区分数がしきい値Ｘth2（先行車サイズ用）として設定されているので、左右のグループがマージされ、結果的に１台の先行車として検出される。

このようにして、第１の物体検出部５ａは、区分Ｓの距離分布をグループ化して先行車を検出し、検出された先行車の中央位置、左右端の位置、左右端の区分番号、先行車の幅、位置の時間変化より特定される移動速度等を算出する。算出されたこれらのデータは、物体データとして、第１の物体検出部５ａが備える記憶部に格納される。なお、距離のバラツキの影響による速度変動を抑制すべく、移動速度は、一次遅れフィルタや移動平均などにより平滑化することが好ましい。

ステップ３において、検出対象が最後であるか否かが判断される。本実施形態では、先行車の検出処理に続いて歩行者の検出が行われることになっている。したがって、この場合には、ステップ３の否定判定を経て、検出対象を歩行者に変更した後に（ステップ４）、再びステップ１に戻る。

ステップ１において、先行車とは異なる検出対象としての歩行者を検出する際に用いられる第２の検出条件が設定される。この第２の検出条件は、上述した第１の検出条件とは異なり、同一の歩行者とみなせる区分Ｓをグループ化するために適用され、代表距離値Ｚrの範囲および複数の区分Ｓの幅に関する条件を規定している。その具体的な内容は、歩行者のサイズに応じて適宜設定されるが、以下にその一例を示す。

［第２の検出条件］
（１）代表距離値Ｚrの範囲
一般的な歩行者の奥行き方向のサイズに鑑み、同一物体とみなす代表距離値Ｚrの許容範囲をしきい値Ｚth1（例えば２ｍ程度）で規定する。また、隣接した区分Ｓ間における代表距離値Ｚrの許容変化量（絶対値）をしきい値Ｚth2で規定する。
（２）複数の区分Ｓの幅
一般的な歩行者の幅方向のサイズに鑑み、同一物体とみなす複数の区分Ｓの許容幅をしきい値Ｘth1（例えば１ｍ程度）で規定する。また、別グループを同一物体とみなしてマージする際に用いられる、隣り合っていない区分Ｓ間の最大すき間区分数をしきい値Ｘth2（例えば０．３ｍ程度）で規定する。

続くステップ２において、第２の物体検出部５ｂは、第２の検出条件に基づいて、区分Ｓのグループ化による物体（歩行者）の検出を行う。この歩行者検出は、適用される検出条件が異なる点を除いて、上述した先行車の検出と同様の処理が行われる。すなわち、第２の検出条件と、区分Ｓ毎の距離代表値とに基づいて、複数の区分が同一物体とみなしてグループ化され、距離画像上において歩行者が検出される。

図９は、一例として、歩行者が併走する状況下での距離画像を示す図である。このケースにおいて、有効な距離値は、歩行者の左右エッジに集中する傾向がある。また、図１０は、このような状況下での代表距離値Ｚrの分布図である。代表距離値Ｚrは、２人の歩行者が存在する領域で密になり、両者の間は粗になる傾向があるが、上述した第２の検出条件によれば、最大すき間区分数がしきい値Ｘth2（歩行者サイズ用でこの値は先行車のそれよりも小さい）として設定されているので、左右のグループはそれぞれ独立しているとみなされて、結果的に２人の歩行者として検出される。

そして、検出された歩行者の中央位置、左右端の位置、左右端の区分番号、歩行者の幅、および位置の時間変化より特定される移動速度等が算出され、これらのデータが、物体データとして、第２の物体検出部５ｂが備える記憶部に格納される。歩行者は最後の検出物体なので、ステップ３の判定結果が肯定となり、ステップ５の物体の信頼性評価に進む。

ステップ５において、信頼性評価部６は、先のステップ２で算出された物体データに基づいて、個々の物体（先行車および歩行者が検出された場合には両方）の信頼性を評価する。信頼性の評価規則としては、典型的には、（１）物体の検出状態の経時的な安定性を評価する手法と、（２）距離画像上における物体の輪郭形状の安定性を評価する手法とが考えられ、どちらか一方を用いてもよいが、双方を適宜併用することも可能である。

（１）物体の検出状態の経時的な安定性を評価する手法
個々の物体が正確に検出されている場合には、物体の幅や位置変化等を含む検出状態は、経時的に安定する傾向がある（時間が推移してもあまり変化しない）。しかしながら、サイズの大きな１台の先行車が存在する本来の状況を、それよりもサイズの小さな複数の歩行者として分割検出してしまった場合には、検出状態（分割検出の分け方を含む）が不安定となる。その結果、検出物体の幅や位置の経時的な変化が大きくなったり、不規則になるといった傾向がある。このような誤検出時における傾向は、サイズの小さな複数の歩行者が併存する本来の状況を、それよりもサイズの大きな１台の先行車としてマージ検出してしまった場合においても、同様に該当する。このことから、先行車および歩行者の双方が重複して検出された場合、物体の検出状態が安定している方が信頼性が高いとみなすことができる。

以上の知得より、信頼性評価部６は、物体の検出状態の経時的な安定性を評価基準として用いることにより、第１の物体検出部５ａによって検出された先行車の経時的な安定性と、第２の物体検出部５ｂによって検出された歩行者の経時的な安定性とを評価する。検出状態の安定性を示す具体的に評価値としては、例えば検出された物体の幅に関する今回のサイクルでの検出値と、前回のサイクルでの検出値との差（絶対値）の移動平均値や一次遅れフィルタ値を用いることができる。また、評価値として、検出された物体の幅を区分数に換算した値の変化や物体の速度の変化率等を用いてもよい。さらに、今回のサイクルで検出された物体の位置と、前回のサイクルで算出された物体の予測位置との差を用いてもよい。この場合、今回のサイクルで予測位置にて検出された物体は最も確からしく、そこから離れるにしたがって疑わしいという意味で、信頼性を評価する際の評価値として用いることができる。例示した評価値はいずれも、その値が大きいほど信頼性が低く、値が小さいほど信頼性が高いという特性を有する。

（２）距離画像上における物体の輪郭形状の安定性を評価する手法
同一物体とみなすのが適当か否かは、距離画像上におけるその物体の輪郭形状より評価することができる。ある物体が検出された場合、図７や図９に示した距離画像上でその物体の輪郭形状を調べてみると、ある傾向があるのが分かる。図１１は、一つの物体とみなすのが適当な輪郭形状を示し、同図（ａ）は先行車、同図（ｂ）は歩行者に関するものである。また、図１２は、一つの物体とみなすのが適当ではない輪郭形状を示し、同図（ａ）は先行車、同図（ｂ）は歩行者に関するものである。図１１に示すようなケースでは、輪郭形状が比較的滑らかなので（丸みを帯びている）、個々の物体を一つの物体として正しく検出している可能性が高い。これに対して、図１２に示すようなケースでは、輪郭形状が複雑（いびつ）なので、本来一つにまとめるべき物体を誤って分割検出している可能性が高い。

以上の知得より、信頼性評価部６は、距離画像上における物体の輪郭形状の安定性を評価基準として用いることにより、距離画像上における先行車の輪郭形状の安定性と、距離画像上における歩行者の輪郭形状の安定性とを評価する。輪郭形状の安定性を示す具体的な評価手法としては、例えば以下のような処理が考えられる。

まず、物体番号マップを準備する。このマップには、距離画像を構成する各ブロックについて、そのブロックが所属する物体の番号が格納され、初期的には「所属なし」に設定される。また、郭形状バッファを用意する。このバッファは、個々の物体の輪郭として、ブロック行毎に物体左端の位置と、右端の位置とが格納され、初期的には「検出なし」に設定される。そして、すべての物体について、物体を一つずつ取り出して以下の処理を行う。

距離画像を構成する全てのブロックについて、そのブロックが割り付けられている区分Ｓが注目する物体に所属しているか否かが判断される。区分Ｓが注目する物体に所属している場合、さらに以下の条件の全てを具備するか否かが判断される。
（条件１）ブロックの距離値が地面検出部３によって検出された地面により上方にあること
（条件２）ブロックの距離値と、これが属する区分Ｓで検出された距離（代表距離値Ｚr）との差（絶対値）が所定のしきい値（例えば先行車の場合には３〜４ｍ程度、歩行者の場合には１〜２ｍ程度）以内であること

これらの条件を具備する場合には、ブロックは注目する物体に所属すると判定され、物体番号マップにおける、注目する物体に所属すると判定されたブロックに対応する箇所に、その物体の番号が記入される。

以上の処理により、注目する物体に関して、どのブロックがどの物体に所属しているのかが物体番号マップに記載されることになる。つぎに、物体番号マップを行毎にサーチして、各行において、注目する物体番号が出現する左端の位置と、右端の位置とが検出される。検出できた場合には、輪郭形状バッファの該当箇所にその旨を記入する。この記入処理は、全ての行に対して実施される。このような処理を全ての物体について実施することで、各物体の輪郭形状が検出され、それが輪郭形状バッファに格納される。上述した輪郭形状のデータ化は、先行車および歩行者のそれぞれについて実施される。

輪郭形状を評価する手法としては、周知の様々な手法を用いることができる。例えば、輪郭形状に凹部が少なく形状が単純（丸みを帯びている）なほど、個々の物体の全体像が正しく含まれている可能性が高い。その場合、輪郭の周長の二乗と面積との比などで、形状の単純さを評価することができる。また、例えば、検出された物体の幅中央の鉛直線に対して左右対称であるほど、個々の物体の全体像が含まれている可能性が高い。この場合には、輪郭内の面積において、物体中央に関するモーメントを面積の大きさで正規化した値を用いることができる。さらに、特定の輪郭形状モデルとのパターンマッチングを行い、それとの一致度の高いものに高得点を付与し、それとともにマッチしたモデルに分類するといった手法を用いてもよい。

ここで、一例として、左右対称性を用いた評価値の算出手法について具体的に説明する。まず、検出された各物体について、物体の存在する区分範囲の中央となる区分位置を基準位置として算出するとともに、モーメント積算値をゼロにリセットする。つぎに、物体番号マップの全ての行について、輪郭形状バッファから、該当する行の左端位置と右端位置とが読み出される。そして、注目している物体の番号が記入されたブロックがあれば、そのブロックのモーメントをモーメント積算値に加算する。それと同時に、注目している物体の番号が一つでも見つかったならば、行番号の最大値と最小値とを更新していく。このような処理を全ての行について実施した結果、モーメント積算値と、物体の存在する行範囲（すなわち、物体の画面上の高さ）とが得られる。ただし、このままでは輪郭が大きい物体ほどモーメントの値が大きくなってしまうので、それを解消すべく、輪郭の大きさで正規化する（評価値＝モーメント積算値／（物体の幅×高さ）。なお、物体の幅は区分数（ブロック数）、高さは行数としてそれぞれ表される。この評価値は、その値が小さいほど左右対称性が高くなるので、物体の信頼性としては高くなり、これとは逆に、その値が大きいほど左右対称性が低くなるので、物体の信頼性としては低くなる。以上のような一連の処理を全ての物体について実行することで、全ての物体の信頼性を評価することができる。

再び図５を参照して、ステップ５の物体の信頼性評価が終了すると、ステップ６の物体の選択が行われる。物体検出部５は、第１の物体検出部５ａの検出結果と、第２の物体検出部５ｂの検出結果と、信頼性評価部６の評価結果とに基づいて出力すべき物体を選択し、選択された物体に関する物体データを出力する。なお、同一対象に関して、先行車および歩行者の双方が重複検出された場合には、信頼性の高い方が最終的な検出対象として選択される。具体的な物体選択の手法としては、まず、先行車および歩行者を含む個々の物体に関するデータとして選択フラグを用意し、全ての選択フラグを「０」（未処理）にリセットする。

つぎに、先行車として検出された物体（以下、「先行車物体」という）に対して以下の処理が実施される。歩行者として検出された物体（以下、「歩行者物体」という）を調べる。先行車物体と歩行者物体との検出された区分範囲が重複しており、かつ、重複した部分の幅が歩行者物体の区分範囲幅の半分以上である歩行者物体を全て抽出する。抽出された歩行者物体がない場合、これに対応する先行車物体の選択フラグを「２」（処理済＝選択）にセットする。一方、抽出された歩行者物体の数が１以上の場合、抽出された歩行者物体の評価値（平均値）と、これに対応する先行車物体の評価値とを比較し、信頼性の高い方の選択フラグを「２」にセットし、信頼性の低い方の選択フラグを「１」（処理済＝非選択）にセットする。その後、全ての歩行者物体を調べて、選択フラグが「０」のまま残っているものについては、その選択フラグを「２」にセットする。全ての先行車物体および歩行者物体のうち、選択フラグが「２」のものを選択し、これらの物体データを最終的な検出対象として出力する。

このように、本実施形態によれば、第１の物体検出部５ａによって先行車を検出するとともに、第２の物体検出部５ｂによって歩行者を検出している。これにより、ある距離画像ベースで複数種の物体を検出することができる。その際、信頼性評価部６において、検出された物体の信頼性も併せて評価している。これにより、例えば、図８および図１０に例示したように、距離画像ベースでは検出対象の区別がつきにくい状況下でも、信頼性の高い方の物体を選択するといった対応をとることができるので、検出精度の向上を図ることができる。

また、本実施形態において、第１の物体検出部５ａおよび第２の物体検出部５ｂを別個のユニットとして構成し、これらを並列動作させた場合には、物体検出処理の一層の高速化を図ることができる。

さらに、本実施形態によれば、それぞれの区分Ｓが所属する物体の番号を記入した物体番号マップを用いることにより、このマップを参照するだけで、区分Ｓに対応する物体を容易に特定することができる。その結果、物体検出処理の一層の高速化を図ることができる。

（第２の実施形態）
図１３は、第２の実施形態に係る物体検出装置のブロック構成図である。本実施形態が、第１の実施形態と異なるのは、ミリ波レーダ８と同一物体判定部９を追加した点にある。したがって、図１と同様のブロックについては、同一の符号を付してここでの説明を省略する。

ミリ波レーダ８は、自車両前方の状況を検出可能な位置に取り付けられており、ステレオカメラ１とは異なる物理現象を用いて前方状況に存在する物体を検出する。このミリ波レーダ８は、検出範囲内に存在する車両を検出することは可能だが、歩行者等を有効に検出することは困難である。同一物体判定部９は、ミリ波レーダ８によって検出された先行車と、第１の物体検出部５ａによって検出された先行車とが同一であるか否かを判定する。そして、信頼性評価部６は、同一物体判定部９における判定結果が同一の場合、先行車の信頼性を補正する。ステレオカメラ１およびミリ波レーダ８の双方で先行車が検出された場合、物体が先行車である蓋然性は極めて高いと判断できる。したがって、この場合には、先行車の信頼性を高めるような補正が行われる。なお、ミリ波レーダ８での検出回数が複数回に及ぶ場合には、その回数に応じて信頼性を高める度合いを変化させてもよい。例えば、検出回数の増大にしたがって、信頼性を高める度合いも大きくするといった如くである。また、信頼性を高める度合いを、ミリ波レーダ８が受信した反射強度にしたがって変化させてもよい。例えば、反射強度の増大にしたがって、信頼性を高める度合いも大きくするといった如くである。

このように、本実施形態によれば、上述した第１の実施形態と同様の効果を有するほか、第１の物体検出部５ａおよびミリ波レーダ８の併用によって、走行車の検出精度を著しく高めることが可能になる。

なお、本実施形態では、物体（例えば先行車）の検出精度を高めるためのセンサとして、ミリ波レーダ８を用いているが、本発明はこれに限定されるものではなく、同様の趣旨で適用可能なそれ以外のセンサを用いてもよい。

また、上述した各実施形態では、検出対象となる物体の例として、先行車および歩行者（人が運転する自転車やバイク等も歩行者の範疇に含まれる）を例に説明したが、本発明はこれに限定されるものではなく、例えば、固定監視カメラでは人と建物といったように、サイズが異なる各種の物体に適用することが可能である。

第１の実施形態に係る物体検出装置のブロック構成図 画像平面上に設定される画素ブロックの説明図 区分設定の説明図 距離値ヒストグラムの説明図 物体検出の手順を示すフローチャート 区分グループ化の説明図 先行車が走行する状況下での距離画像を示す図 先行車が走行する状況下での代表距離値の分布図 歩行者が併走する状況下での距離画像を示す図 歩行者が併走する状況下での代表狂距離値の分布図 一つの物体とみなすのが適当な輪郭形状を示す図 一つの物体とみなすのが適当でない輪郭形状を示す図 第２の実施形態に係る物体検出装置のブロック構成図

符号の説明

１ ステレオカメラ
２ 距離画像生成部
３ 地面検出部
４ 距離分布生成部
５ 物体検出部
５ａ 第１の物体検出部
５ｂ 第２の物体検出部
６ 信頼性評価部
７ 物体選択部
８ ミリ波レーダ
９ 同一物体判定部

Claims (8)

1. ステレオ画像処理によって生成され、画像平面上の位置に対応付けされた距離値の集合としての距離画像を用いて、物体を検出する物体検出装置において、
   前記距離画像上に設定された複数の区分のそれぞれについて、当該区分内に存在する距離値のヒストグラムに基づいて距離代表値を算出する距離分布生成部と、
   検出対象である第１の物体のサイズに応じて設定された第１の検出条件と、前記区分毎の距離代表値とに基づいて、前記複数の区分を同一物体とみなしてグループ化し、前記距離画像上において前記第１の物体を検出する第１の物体検出部と、
   前記第１の物体とは異なる検出対象である第２の物体のサイズに応じて設定された第２の検出条件と、前記区分毎の距離代表値とに基づいて、前記複数の区分を同一物体とみなしてグループ化し、前記距離画像上において前記第２の物体を検出する第２の物体検出部と、
   前記第１の物体検出部によって検出された前記第１の物体および前記第２の物体検出部によって検出された前記第２の物体のいずれかを選択するために、所定の評価規則に基づいて、前記第１の物体の信頼性と、前記第２の物体の信頼性とを評価する信頼性評価部と
   を有し、
   前記第１の検出条件は、同一物体とみなしてマージする際に用いられる、隣り合っていない区分の最大すき間区分数を前記第１の物体のサイズに応じて設定し、
   前記第２の検出条件は、同一物体とみなしてマージする際に用いられる、隣り合っていない区分の最大すき間区分数を前記第２の物体のサイズに応じて設定することを特徴とする物体検出装置。
2. 前記信頼性評価部は、物体の検出状態の経時的な安定性を前記所定の評価基準として用いることにより、前記第１の物体の検出状態の経時的な安定性と、前記第２の物体の検出状態の経時的な安定性とを評価することを特徴とする請求項１に記載された物体検出装置。
3. 前記信頼性評価部は、前記距離画像上における物体の輪郭形状の安定性を前記所定の評価基準として用いることにより、前記距離画像上における前記第１の物体の輪郭形状の安定性と、前記距離画像上における前記第２の物体の輪郭形状の安定性とを評価することを特徴とする請求項１に記載された物体検出装置。
4. 前記ステレオ画像処理の入力となる一対の画像を撮像するステレオカメラとは異なる物理現象を用いたセンサによって検出された物体と、前記第１の物体検出部によって検出された前記第１の物体とが同一であるか否かを判定する同一物体判定部をさらに有し、
   前記信頼性評価部は、前記同一物体判定部における判定結果が同一の場合、前記第１の物体の信頼性を補正することを特徴とする請求項１から３のいずれかに記載された物体検出装置。
5. 前記センサは、ミリ波レーダであって、
   前記第１の物体は、前記ミリ波レーダにて検出可能な物体であり、
   前記第２の物体は、前記ミリ波レーダでは前記第１の物体に比べて検出しにくい物体であることを特徴とする請求項４に記載された物体検出装置。
6. 前記第１の検出条件および前記第２の検出条件は、同一物体とみなす前記代表距離値の範囲および前記複数の区分の幅に関して、互いに異なる条件を規定していることを特徴とする請求項１から５のいずれかに記載された物体検出装置。
7. 前記第１の物体検出部および前記第２の物体検出部は、別個のユニットであり、前記第１の物体の検出および前記第２の物体の検出を並行的に行うことを特徴とする請求項１から６のいずれかに記載された物体検出装置。
8. 前記第１の物体検出部および前記第２の物体検出部は、同一のユニットであり、前記第１の検出条件および前記第２の検出条件を切り替えて、前記第１の物体の検出および前記第２の物体の検出を逐次的に行うことを特徴とする請求項１から６のいずれかに記載された物体検出装置。

Images