JP5164351B2 - 物体検出装置および物体検出方法 - Google Patents

Description

本発明は、物体検出装置および物体検出方法に係り、特に、ステレオ画像処理によって生成され、画像平面上の位置に対応付けされた距離値の集合としての距離画像を用いて、物体を検出する手法に関する。

例えば、特許文献１には、ステレオ画像処理によって距離画像を生成し、距離画像における距離値のヒストグラムを用いて、物体（例えば、自車両前方を走行する先行車）を検出する車外監視システムが開示されている。具体的には、まず、距離画像を縦短冊状に分割することによって、距離画像上に複数の区分が設定される。つぎに、それぞれの区分について、一つの区分内に存在する距離値のヒストグラムが算出され、その最頻値としての一値が距離代表値として特定される。そして、検出対象である物体の実サイズに応じて設定された検出条件と、区分毎の距離代表値とに基づいて、複数の区分を同一物体とみなしてグループ化することで、距離画像上において物体が検出される。この検出手法によれば、距離値の統計結果を用いて物体を検出しているので、個々の距離値に誤差があったとしても、全体としては、物体の距離や輪郭形状を精度よく検出することができる。
特開平５−２６５５４７号公報

しかしながら、上述した従来技術では、背の低い物体の背後に背の高い物体が写っており、この背後の物体が画面上大きな面積を占めている場合、手前の物体の検出が困難なケースが生じ得る。これは、距離値のヒストグラムにおいて、各区分における距離頻度分布のピークを距離代表値とすることに起因したものである。例えば、手前の物体に対する背後の物体の面積比が大きくなるほど、背後の物体の距離にピークが出現する傾向があり、その結果として、手前の物体の距離や輪郭形状が検出し難くなる。同様のことは、手前の物体よりも背後の物体の方が色や模様がよく見える場合（テクスチャの強弱）においても該当する。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、背の低い物体の背後に背の高い物体が写っている状況でも、双方の物体を精度よく検出することである。

また、本発明の別の目的は、このような状況下で、特に手前の背の低い物体を精度よく検出することである。

かかる課題を解決するために、第１の発明は、ステレオ画像処理によって生成され、画像平面上の位置に対応付けされた距離値の集合としての距離画像を用いて、物体を検出する物体検出装置を提供する。この物体検出装置は、距離分布生成部と、物体検出部とを有する。距離分布生成部は、距離画像上に設定された複数の区分のそれぞれについて、その区分内に存在する距離値のヒストグラムを生成するとともに、区分内の距離値を代表する距離代表値として、所定のしきい値以上の出現頻度を有する距離値を、同一区分内での複数選択を許容しつつ、区分毎に特定する。物体検出部は、区分と距離とによって規定される処理空間において、区分の方向および距離の方向において互いに隣接した距離代表値を同一物体とみなしてグループ化することによって、検出対象となる物体を検出する。

第２の発明は、ステレオ画像処理によって生成され、画像平面上の位置に対応付けされた距離値の集合としての距離画像を用いて、物体を検出する物体検出方法を提供する。この物体検出方法は、距離画像上に設定された複数の区分のそれぞれについて、その区分内に存在する距離値のヒストグラムを生成するステップと、区分内の距離値を代表する距離代表値として、所定のしきい値以上の出現頻度を有する距離値を、同一区分内での複数選択を許容しつつ、区分毎に特定するステップと、区分と距離とによって規定される処理空間において、区分の方向および距離の方向において互いに隣接した距離代表値を同一物体とみなしてグループ化することによって、検出対象となる物体を検出するステップとを有する。

また、第１または第２の発明において、物体の検出は、グループ化によって生成されたグループのうち、距離が近いグループを優先して物体を検出してもよい。

ここで、第１または第２の発明において、物体の検出は、グループ化によって生成されたグループのサイズが所定のしきい値以上であること、および、このグループ内の距離代表値の出現頻度の合計が所定のしきい値以上であることの少なくとも一つを条件として、このグループを物体とみなすことが好ましい。

本発明によれば、区分毎の距離代表値を、最頻距離値ではなく、所定のしきい値以上の出現頻度を有する距離値（この条件を満たす限り、複数選択される場合もある）としている。これにより、背後の物体および手前の物体の双方に距離代表値が得られる可能性が高まるので、双方の物体を精度よく検出することが可能となる。その際、グループ化によって生成されたグループのうち、距離が近いグループを優先して物体を検出すれば、手前の物体を精度よく検出することができる。

（第１の実施形態）
図１は、本実施形態に係る物体検出装置のブロック構成図である。この物体検出装置は、一例として、自動車等の車両に搭載され、自車両前方に存在する物体（先行車や歩行者等）を検出する。物体検出装置は、ステレオカメラ１と、距離画像生成部２と、地面検出部３と、距離分布生成部４と、物体検出部５とを主体に構成されている。

ステレオカメラ１は、車内のルームミラー近傍に取り付けられており、自車両前方の景色を所定の間隔で時系列的に撮像することによって、一対の撮像画像をステレオ画像として随時出力する。距離画像生成部２は、時系列的に撮像されたステレオ画像のそれぞれに対してステレオ画像処理を随時施し、距離画像を随時生成する。ここで、「距離画像」は、画像平面（具体的には、後述する基準画像）上の位置に対応付けされた距離値（視差）の集合として定義される。

図２に示すように、距離値の算出単位は、ステレオカメラ１を構成する一方のカメラ（例えば右カメラ）からの撮像画像を縦横に分割することによって得られる単一の画素ブロックＰＢij（画像の一部を構成する小領域）である。一例として図示したように、右カメラによって得られる基準画像が512×200画素、一画素ブロックＰＢijのサイズが４×４の場合、一フレーム相当の撮像画像から、最大で画素ブロックＰＢijの個数相当（128×50個）の視差群が算出される。視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がステレオカメラ１に近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。ある画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像（ステレオカメラ１を構成する他方のカメラ（例えば左カメラ）の撮像画像）において特定する。上述したように、ステレオカメラ１から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰＢijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。距離画像生成部２は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。２つの画素ブロックの相関は、例えば、輝度差絶対和または輝度差自乗和といった周知の相関評価値を用いて評価することができる。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量が、その画素ブロックＰＢijの視差ｄ（距離値）となる。画素ブロックＰＢij内に写し出された対象物の実空間上の位置（Ｘ，Ｙ，Ｚ）は、この画素ブロックＰＢijの画像平面上の座標（ｉ，Ｊ）と、その視差ｄとを入力とした座標変換によって一義的に特定される。

地面検出部３は、地面上に存在する物体と、そうでない物体との切り分けを行う際の位置的な基準を与えるべく、実空間上における地面の形状（Ｘ，Ｙ，Ｚ）を検出する。周知のように、地面形状は、例えば道路モデルとして表現することができるが、このモデルは、実空間の座標系において、水平方向の直線式、および、垂直方向の直線式により特定される。この直線式は、道路上の自車線を、設定した距離によって複数個の領域に分け、領域毎に左右の白線等を三次元の直線式で近似して折れ線状に連結することによって算出される。なお、地面検出部３よりも後段の処理では、基本的に、地面検出部３によって検出された地面よりも上方に存在する距離値が用いられる。

図３に示すように、距離分布生成部４は、距離画像生成部２によって距離画像が生成される毎に、この距離画像上に複数の区分Ｓ1〜Ｓnを設定する。区分Ｓ1〜Ｓnのそれぞれは、距離画像を横方向に分割することによって得られる縦短冊形状を有し、地面近傍が写し出される画像下側と、空が写し出される画像上方とを除いた領域として定義される。なお、同図は、理解を容易にするために、本来の距離値の集合（距離画像）ではなく、便宜上、自車両前方の状況を図示している点に留意されたい。つぎに、距離分布生成部４は、図４に示すように、個々の区分Ｓ（ＳはＳ1〜Ｓnの一つを指す）に関して、その内部に存在する距離値のヒストグラムを生成する。距離Ｚを所定の区間毎に区切った上で、ある区分Ｓ内に存在するすべての距離値を該当する区間に投票していく。そして、それぞれの区分Ｓについて、区分内Ｓの距離値Ｚ群を代表する距離代表値Ｚrが特定される。この距離代表値Ｚrは、所定のしきい値Ｔｈ以上の出現頻度を有する距離値Ｚであり、同一区分Ｓ内において複数選択されることが許容されている。ある区分Ｓ内に先行車が写し出されている図示したようなケースでは、先行車までの距離に相当する２つの区間で出現頻度がしきい値Ｔｈ以上になっているので、２つの距離代表値Ｚrが選択される。

物体検出部５は、上記区分Ｓと距離Ｚとによって規定される処理空間（以下、「Ｓ−Ｚ処理空間」という）において、互いに隣接した距離代表値Ｚrを同一物体とみなしてグループ化することによって、検出対象となる物体を検出する。

以下、一例として、図５に示すように、背の低い物体（バイク）の背後に背の高い物体（トラック）が写っている状況下における物体検出の具体的な処理について詳述する。図６（ａ）は、このような状況で得られる距離画像を示す図である。黒い領域（上述した画素ブロックＰＢijと同サイズ）は、有効とみなせる距離値が存在する領域である。ステレオマッチングの特性上、有効な距離値は、バイクやトラックの左右エッジやテールライトといったように、水平方向の輝度変化が大きな領域に集中する傾向がある。この距離画像上に、縦短冊状の区分Ｓ1〜Ｓnが設定され、個々の区分Ｓを対象に、距離値Ｚのヒストグラムが生成され、所定のしきい値Ｔｈ以上の出現頻度を有する距離値Ｚが距離代表値Ｚrとして特定される。同図（ｂ）は、ある区分Ｓiのヒストグラムを示している。このケースでは、しきい値Ｔｈ以上の出現頻度を有するものが３つあるので、この区分Ｓiに関しては、値の異なる３つの距離代表値Ｚrが特定されることになる。なお、本実施形態との対比において、上述した従来の技術では、最頻値である真ん中に位置するもののみが距離代表値Ｚr（一値）になる点に留意されたい。同図（ｃ）は、このようにして特定された区分Ｓ毎の距離代表値Ｚrを、上述したＳ−Ｚ処理空間（本実施形態では平面）にプロットしたものである。なお、同図（ｃ）では、説明の便宜上、距離代表値Ｚrの出現頻度が高くなるほど、対応する領域を濃い色で示している（白の部分は、距離代表値Ｚrが存在しない領域を指す）。区分Ｓiに関しては、３つの距離代表値Ｚrが存在するので、同図（ｃ）で太線で囲んた領域にプロットされるのも３箇所である。

図７は、物体検出部５による距離代表値Ｚrのグループ化の説明図である。Ｓ−Ｚ処理空間において互いに隣接した距離代表値Ｚrは、同一物体とみなされ、単一のグループにグループ化される。基本的に、隣接していないものはグループ化されないので、同図のケースでは、結果的に２つグループＡ，Ｂが生成される。このグループ化は、横方向（区分方向）のみならず、縦方向（距離方向）についても許容されており、二次元方向で行われる（斜め方向を許容してもよい）。縦方向のグループ化をも許容することで、本来、一つの物体として検出すべきを、手前と背後に位置する複数の物体として誤検出してしまうといった事態の発生を有効に抑制できる。

ただし、グループ化によって生成された個々のグループを物体とみなすためには、下記の２つの判定基準（どちらか一方のみでもよい）を満たすことが条件であり、これを満たさないグループは、物体として信頼性が低いものとみなして除外する。

［判定基準］
（１）グループのサイズ（幅や面積）が所定のしきい値以上であること
（２）グループ内の距離代表値Ｚrの出現頻度の合計が所定のしきい値以上であること

このような判定基準をクリアしたグループが物体として検出される。その際、距離が近いグループを優先して物体検出を行えば、手前の物体を精度よく検出することができる。具体的には、グループ化の結果として、個々のグループにグループ番号を付与し、これに、グループの面積、グループ内の合計頻度、グループの代表位置（距離と左右位置）、グループの幅およびグループの距離方向の幅を対応付けて、自己の記憶部（図示せず）に格納される。ここで、グループの代表位置は、グループの面積の重心位置として算出してもよいし、グループの面積を出現頻度で重み付けした重み付き平均位置として算出してもよい。また、グループの幅は、グループの存在範囲における横幅の区分数をカウントすることによって特定される。さらに、グループの距離方向の幅は、グループの存在範囲における距離方向の長さを距離で表したものである。

そして、前回の検出位置から今回の物体の予測位置が算出され、この予測位置に最も近い位置にあるグループが、前回に対応する今回の物体として検出される。また、前回と対応付けられなかった残りのグループは新規の物体として登録される。その際、物体の検出精度の向上を図るべく、この登録に際しては、グループの幅や面積などの条件によって誤検出データを特定し、それが物体として登録されるのを避けるようにする。このような条件としては、例えば、グループの幅が所定の区分以内、グループの面積が所定の区分以内、および、グループの合計頻度が所定値以内とし、これらのしきい値をグループの距離に応じて可変に設定することが好ましい。これらのしきい値を距離に応じて変える理由は、遠方にある物体は画面上に写る面積が小さいので、しきい値も小さくする必要がある一方、近傍にある物体は面積が大きいので、しきい値を大きくする必要があるからである。なお、このような条件で誤検出を低減できるのは、距離画像のミスマッチ等により発生する誤検出がグループ化されたとしても、実際に物体が写っていて正しく距離が検出された場合と比べて、距離データ数がまばらなためである。

なお、上述したグループ化に際しては、従来技術として挙げた特開平５−２６５５４７号公報に記載されている検出条件を設定し、これを用いて、グループ化を行ってもよい。この検出条件は、検出対象である物体（例えば、先行車）の実サイズに応じて設定され、同一物体とみなす距離代表値Ｚrの範囲や区分の幅について規定したものである。また、複数種の物体（例えば、先行車と歩行者）を検出する場合、この検出条件を物体の種類に応じて随時変更したり、あるいは、複数の物体検出部（それぞれに異なる検出条件が与えられている）を並列に動作させれば、複数種の物体を効率的に検出することができる。

このように、本実施形態によれば、区分毎の距離代表値Ｚrを、最頻距離値ではなく、所定のしきい値Ｔｈ以上の出現頻度を有する距離値（この条件を満たす限り、複数選択される場合もある）としている。これにより、背後の物体および手前の物体の双方に距離代表値Ｚrが得られる可能性が高まるので、双方の物体を精度よく検出することが可能となる。

さらに、本実施形態によれば、物体検出部５が物体検出を行う際、グループ化によって生成されたグループのうち、距離が近いグループを優先することで、手前の物体を精度よく検出することができる。これは、自車両に最も近接した先行車（それゆえに、衝突の可能性高い）を注視すべきシステム（車外監視システム）に実装する際に、特に効果的である。

なお、上述した実施形態では、距離画像を縦短冊状に分割した区分Ｓ1〜Ｓnを用いた二次元ヒストグラムにて物体検出を行っているが、これに代えて、距離画像を縦横のマトリクス状に分割した三次元ヒストグラムにて物体検出を行うことも可能である。

第１の実施形態に係る物体検出装置のブロック構成図 画像平面上に設定される画素ブロックの説明図 区分設定の説明図 距離値ヒストグラムの説明図 バイクの背後にトラックが写っている状況を示す図 図５の状況で得られる距離画像の処理の説明図 距離代表値のグループ化の説明図

符号の説明

１ ステレオカメラ
２ 距離画像生成部
３ 地面検出部
４ 距離分布生成部
５ 物体検出部

Claims (4)

1. ステレオ画像処理によって生成され、画像平面上の位置に対応付けされた距離値の集合としての距離画像を用いて、物体を検出する物体検出装置において、
   前記距離画像上に設定された複数の区分のそれぞれについて、当該区分内に存在する距離値のヒストグラムを生成するとともに、前記区分内の距離値を代表する距離代表値として、所定のしきい値以上の出現頻度を有する距離値を、同一区分内での複数選択を許容しつつ、前記区分毎に特定する距離分布生成部と、
   前記区分と距離とによって規定される処理空間において、前記区分の方向および前記距離の方向において互いに隣接した前記距離代表値を同一物体とみなしてグループ化することによって、検出対象となる物体を検出する物体検出部と
   を有することを特徴とする物体検出装置。
2. 前記物体検出部は、前記グループ化によって生成されたグループのうち、距離が近いグループを優先して物体を検出することを特徴とする請求項１に記載された物体検出装置。
3. 前記物体検出部は、前記グループ化によって生成されたグループのサイズが所定のしきい値以上であること、および、当該グループ内の前記距離代表値の出現頻度の合計が所定のしきい値以上であることの少なくとも一つを条件として、当該グループを物体とみなすことを特徴とする請求項１または２に記載された物体検出装置。
4. ステレオ画像処理によって生成され、画像平面上の位置に対応付けされた距離値の集合としての距離画像を用いて、物体を検出する物体検出方法において、
   前記距離画像上に設定された複数の区分のそれぞれについて、当該区分内に存在する距離値のヒストグラムを生成するステップと、
   前記区分内の距離値を代表する距離代表値として、所定のしきい値以上の出現頻度を有する距離値を、同一区分内での複数選択を許容しつつ、前記区分毎に特定するステップと、
   前記区分と距離とによって規定される処理空間において、前記区分の方向および前記距離の方向において互いに隣接した前記距離代表値を同一物体とみなしてグループ化することによって、検出対象となる物体を検出するステップと
   を有することを特徴とする物体検出方法。

Images