JP4946175B2

JP4946175B2 - 走路境界検出装置および走路境界検出方法

Info

Publication number: JP4946175B2
Application number: JP2006142240A
Authority: JP
Inventors: 和巳藤本
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2006-05-23
Filing date: 2006-05-23
Publication date: 2012-06-06
Anticipated expiration: 2026-05-23
Also published as: JP2007316685A

Description

本発明は、走路境界検出装置および走路境界検出方法に関するものである。

一般に、車載カメラの撮像画像からオプティカルフロー（画像速度情報）を利用して歩行者や車両等の移動体や、車両が走行する走路や走路境界を検出する物体検出装置と物体検出方法が多数提案されている。例えば、撮像画像のオプティカルフローを求め、自車両の動きに基づいて抽出した撮像画像の背景のオプティカルフローと撮像画像全体のオプティカルフローとの比較により、移動体を検出する物体検出方法が提案されている（特許文献１）。
特開２００４−５６７６３号

このような物体検出装置または物体検出方法では、移動体を検出するために背景のオプティカルフローを算出する必要がある。ここで、背景のオプティカルフローは、自車両前方の空間モデルを推定し、この空間モデルと自車両の動きに基づいて算出しているが、微小時間ではこの推定の精度が低くなってオプティカルフローの検出精度も低下し、移動体や走路、走路境界を高い精度で検出することが難しいという問題が生じていた。

上記課題を解決するために、本発明の走路境界検出装置は、自車両前方の画像を撮像する撮像部と、前記撮像部で撮像した前記画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度を算出する移動速度算出部と、前記画像を垂直方向に短冊状の複数の短冊領域に分割し、各短冊領域において前記画像の垂直方向に隣接するとともに前記移動速度が所定の範囲にある前記画素を同一のグループにグループ化するグループ化部と、前記グループにおける前記画素のうち上端および下端に位置する前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換する座標変換部と、前記俯瞰図における前記座標に変換後の下端点のうち走路境界の候補となる下端点を抽出する物体属性判定部と、前記走路境界の候補となる下端点の前記座標上における配置に基づいて前記走路境界の候補となる下端点が走路の境界を表す走路境界であるか否かを判定する走路境界判定部とを有する制御部と、を備えることを特徴している。

上記構成によれば、撮像手段で撮像した自車両前方の画像を画像処理して抽出した特徴点を表す各画素の画像上における移動速度および配置に基づいて、高い精度で走路境界を検出することができる。

以下、本発明の実施形態を図面に基づいて説明する。

図１は、本発明の実施形態における走路境界検出装置の構成例を示すブロック図である。

走路境界検出装置１０は車両に搭載され、カメラ１０１と制御部１００とで構成されている。

制御部１００は、画像一時記録部１０２、特徴点抽出部１０３、移動速度算出部１０４、グループ化部１０５、座標変換部１０６、物体属性判定部１０７、走路境界判定部１０８を備えている。

撮像部であるカメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有したカメラであり、車両前方を連続的に撮像してフレーム毎に撮像した画像を画像一時記録部１０２に出力する。図２に示すように、カメラ１０１は車両の室内上部前方に設置され、その光軸ＬＳは車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸Ｘ（図示省略）は路面と平行となるように、また撮像面の垂直軸Ｙ（図示省略）は路面と垂直になるように設定されている。

画像一時記録部１０２は、カメラ１０１で撮像した画像を一時的に記録する。

特徴点抽出部１０３は、画像一時記録部１０２に記憶された画像を画像処理することでエッジ等の特徴点を抽出する。

移動速度算出部１０４は、特徴点抽出部１０３により抽出された特徴点を表す画素の画像上における移動速度を算出する。移動情報算出部１０５は、エッジに該当する画素の画素カウンタのカウンタ値を更新する。ここで、画素カウンタとは、各画素毎に設定されたカウンタであり、画素がエッジに該当する場合に画素カウンタのカウンタ値が＋１加算され、画素がエッジに該当しない場合は画素カウンタのカウンタ値が０となって初期化されるカウンタである。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像されるフレーム毎に行う。この操作により、エッジに該当する時間が長い画素は画素カウンタのカウンタ値が大きくなり、エッジに該当する時間が短い画素は画素カウンタのカウンタ値が小さくなる。この画素カウンタのカウンタ値の変化は、エッジの移動方向と移動量を表していることになるため、このカウンタ値から、撮像画像上におけるエッジの移動方向と移動速度とを算出することができる。

グループ化部１０５は、移動速度算出部１０４により算出された特徴点を表す画素の速度を指標として、特徴点を表す画素をグループ化する。

座標変換部１０６は、グループ化部１０５によりグループ化された画素のうち特定の画素の座標を自車両前方の俯瞰図における座標に変換する。

物体属性判定部１０７は、俯瞰図における座標に変換された画素の座標に基づいて、特徴点が平面物であるか立体物であるかを判定する。

走路境界判定部１０８は、特徴点を表す画素の画像上の配置に基づいて、特徴点が走路境界であるか否かを判定する。

次に、本実施形態における走路境界判定処理の動作を、図３に示すフローチャートを用いて説明する。

ステップＳ１０１では、カメラ１０１により図４のように自車両前方の画像が撮像され、制御部１００の画像一時記録部１０２に入力される。カメラ１０１で撮像した画像（自車両前方の画像）の例を図４に示す。カメラ１０１による撮像画像は、画像左上を原点として左から右へx軸、上から下へy軸とするｘｙ座標系によって表される。なお、図４においては、縁石、白線、路面の亀裂、外壁、自車両前方を走行中の先行車が撮像された画像に含まれている。

ステップＳ１０２では、特徴点抽出部１０３により、画像一時記録部１０２に入力された画像において、所定のフレーム毎に画像中のエッジを抽出するエッジ抽出処理が行われる。

図５にエッジの抽出例を示す。

エッジ抽出は、まず撮像した画像を所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する（図５（ａ）参照）。次に、抽出した各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの中心を正確に設定する（図５（ｂ）参照）。さらに、細線化されたエッジのエッジ幅が一定の幅となるように、例えば３画素分の幅となるように、エッジを水平方向に拡張する（図５（ｃ）参照）。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得ることができる。

ステップＳ１０３では、移動速度算出部１０４により、撮像した画像上で抽出したエッジの画像上における移動速度を所定の階級値に分類して表した速度画像を生成する。本実施形態における速度画像は、図６に示すように、速度が検出されたエッジを表す画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、右へ向かう速度を白い点で表し、左へ向かう速度を灰色の点で表すことによって移動方向を表している。

図６においては、自車両の走路右側の縁石、白線、路面の亀裂からは画像の右側へ向かう速度が検出されており、走路左側の外壁からは画像の左側へ向かう速度が検出されている。さらに、自車両前方を自車両の速度よりも遅く走行する先行車の左右両端では、画像の右側へ向かう速度が検出されている。

ステップＳ１０４では、グループ化部１０５により、算出した速度画像から走路境界を検出するために、速度画像を分割する領域を設定する。すなわち、図６に示すように、速度画像上に画像の垂直方向に短冊状の複数の領域（以降、短冊領域と呼ぶ）を設定し、速度画像を複数の短冊領域で分割する。図６では、短冊領域１〜短冊領域１８を設定している。

ステップＳ１０５では、グループ化部１０５により、各短冊領域毎に、速度が所定範囲内にあるとともに隣接する画素をグループ化する。

図７にグループ化の代表例を示す。

図７左上図は、短冊領域内において、速度が検出されたエッジを表す画素が縦方向に５個隣接して並んでいる例である。このとき、各画素の速度Ｖ４１〜Ｖ４５（図７参照）が所定の範囲にある場合、例えばＶｔｈ（所定値）≦Ｖ４１、Ｖ４２、Ｖ４３、Ｖ４４、Ｖ４５＜Ｖｔｈ＋ΔＶｔｈ（所定値）である場合、これら５個の画素を一つのグループとしてグループ化する。

図７右上図は、短冊領域内において、速度が検出されたエッジを表す画素が横方向に５個隣接して並んでいる例である。このとき、各画素の速度Ｖ５１〜Ｖ５５（図７参照）が所定の範囲にある場合、例えばＶｔｈ≦Ｖ５１、Ｖ５２、Ｖ５３、Ｖ５４、Ｖ５５＜Ｖｔｈ＋ΔＶｔｈ未満である場合、これら５個の画素を一つのグループとしてグループ化する。

ここで、グループ内の画素のうち、画像上の所定の位置にある画素を下端点として設定する。グループ内の画素が縦方向に並んでいる場合は、グループ内の一番下に位置する画素を下端点に設定する（図７の左上図を参照）。グループ内の画素が横方向に並んでいる場合は、グループの左右端でそれぞれ下端点を設定し、左下端点、右下端点とする（図７の右上図を参照）。

同様に、グループ内の画素のうち、画像上の所定の位置にある画素を上端点として設定する。グループ内の画素が縦方向に並んでいる場合は、グループ内の一番上に位置する画素を上端点に設定する（図７の左上図を参照）。グループ内の画素が横方向に並んでいる場合は、グループの左右端でそれぞれ上端点を設定し、左上端点、右上端点とする（図７の下図を参照）。

図８に、下端点および上端点の設定例を示す。図８において、四角い点が下端点および上端点である。

走路右側の縁石では、短冊領域１７において下端点Ｂｓ１１Ｌ、Ｂｓ１１Ｒが設定され、短冊領域１８において下端点Ｂｓ１２Ｌ、Ｂｓ１２Ｒが設定される。

走路に平行に引かれている停止線では、短冊領域１３において下端点Ｂｈ２が設定され、短冊領域１４において下端点Ｂｈ３が設定され、短冊領域１７において下端点Ｂｈ６、Ｂｈ７が設定される。

停止線の下方にある路面の亀裂では、短冊領域１５において下端点Ｂｈ８が設定される。

走路略中央に位置する白線では、短冊領域１２において下端点Ｂｓ８Ｌ、Ｂｓ８Ｒが設定され、短冊領域１３において下端点Ｂｓ１０Ｌ、Ｂｓ１０Ｒが設定される。

走路左側の外壁と路面との境界部分では、短冊領域５において下端点Ｂｓ１Ｌ、Ｂｓ１Ｒが設定され、短冊領域６において下端点Ｂｓ２Ｌ、Ｂｓ２Ｒが設定され、短冊領域７において下端点Ｂｓ３Ｌ、Ｂｓ３Ｒが設定され、短冊領域８において下端点Ｂｓ４Ｌ、Ｂｓ４Ｒが設定され、短冊領域９において下端点Ｂｓ５Ｌ、Ｂｓ５Ｒが設定され、短冊領域１０において下端点Ｂｓ６Ｌ、Ｂｓ６Ｒが設定され、短冊領域１１において下端点Ｂｓ７Ｌ、Ｂｓ７Ｒが設定され、短冊領域１２において下端点Ｂｓ９Ｌ、Ｂｓ９Ｒが設定される。

外壁上の垂直線部分では、短冊領域４において下端点Ｂｈ１、上端点Ａｈ１が設定され、短冊領域７において下端点Ｂｓ３Ｒ、上端点Ａｓ３Ｒが設定され、短冊領域１０において下端点Ｂｓ６Ｒ、上端点Ａｓ６Ｒが設定され、短冊領域１２において下端点Ｂｓ９Ｒ、上端点Ａｓ９Ｒが設定される。

外壁上のポスターでは、短冊領域２において下端点Ｂｓ０Ｌ、Ｂｓ０Ｒ、上端点Ａｓ０Ｌ、上端点Ａｓ０Ｒが設定される。

先行車両では、短冊領域１４において下端点Ｂｈ４、上端点Ａｈ４が設定され、短冊領域１６において下端点Ｂｈ５、上端点Ａｈ５が設定される。

ステップＳ１０７では、座標変換部１０６により、速度画像上（ＸＹ平面上）で設定した下端点および上端点を、路面を基準面とし、規定の面積を備えたＺＸ平面上の点として俯瞰変換し、座標を変換する。

ここで、各点のＸＹ平面上の座標を（ｘ、ｙ）とし、カメラの路面からの高さをＣｈ（ｍ）、カメラの俯角をＴｒ（ｒａｄ）、画像の縦サイズをＩｈ、画像の横サイズをＩｗ、高さ方向の１画素あたりの角度分解能をＰＹｒ（ｒａｄ）、横方向の１画素あたりの角度分解能をＰＸｒ（ｒａｄ）とすると、ＸＹ平面上の各点は、次式に従ってＺＸ平面の座標（Ｚ、Ｘ）に変換される。

Ｚ＝(Ｃｈ)／(ＴＡＮ(Ｔｒ＋(ｙ−Ｉｈ／２)×ＰＹｒ)) （数式１）
Ｘ＝（ｘ）×ＴＡＮ((Ｚ-Ｉｗ／２)×Ｐ×ｒ) （数式２）
ＺＸ平面は、所定の面積を有する領域に分割する。すなわち、本実施例では、Ｘ軸方向は、−５．２５ｍ＞ｘ、−５．２５≦ｘ＜−３．５ｍ、−３．５ｍ≦ｘ＜−１．７５ｍ、−１．７５ｍ≦ｘ＜０ｍ、０ｍ≦ｘ＜１．７５ｍ、１．７５ｍ≦ｘ＜３．５ｍ、３．５ｍ≦ｘ＜５．２５ｍ、５．２５ｍ≦ｘ、として８分割し、ｚ軸方向は、０≦ｚ＜１０ｍ、１０ｍ≦ｚ＜２０ｍ、２０ｍ≦ｚ＜３０ｍ、３０ｍ≦ｚ＜４０ｍ、４０ｍ≦ｚ＜５０ｍとして５分割して、領域１１〜領域１５、領域２１〜領域２５、領域３１〜領域３５、領域４１〜領域４５、領域５１〜領域５５、領域６１〜領域６５、領域７１〜領域７５、領域８１〜領域８５を設定している。また、領域１１〜領域１５を領域１０とし、領域２１〜領域２５を領域２０とし、領域３１〜領域３５を領域３０とし、領域４１〜領域４５を領域４０とし、領域５１〜領域５５を領域５０とし、領域６１〜領域６５を領域６０とし、領域７１〜領域７５を領域７０とし、領域８１〜領域８５を領域８０としている。

図９に、変換後の下端点および上端点の分布を示す。

ここで、ＲＢｓ１Ｌ〜ＲＢｓ１２ＬはＸＹ平面上の下端点Ｂｓ１Ｌ〜Ｂｓ１２Ｌの変換点を、ＲＢｓ１Ｒ〜ＲＢｓ１２ＲはＸＹ平面上の下端点Ｂｓ１Ｒ〜Ｂｓ１２Ｒの変換点を、ＲＢｈ１〜ＲＢｈ８はＸＹ平面上の下端点Ｂｈ１〜Ｂｈ８の変換点を示している。上端点は走路上にないため、俯瞰変換の原理により変換後にＺＸ平面内の座標に変換されていない。同様に、下端点Ｂｓ０Ｌ、Ｂｓ０Ｒも外壁上に位置し走路上にないため、俯瞰変換の原理により変換後にＺＸ平面内の座標に変換されていない。

ステップＳ１０８では、物体属性判定部１０７により、ＺＸ平面上に位置する座標変換後の下端点のうち、走路境界の候補となる下端点を抽出する操作が行なわれる。

すなわち、図９においては、座標変換後の下端点ＲＢｓ１Ｌ〜ＲＢｓ１２Ｌが走路境界の候補として抽出される。また、座標変換後の下端点ＲＢｈ１〜ＲＢｈ８が走路境界の候補として抽出される。この後に、フローはステップＳ１０９へ移行する。

ステップＳ１０９では、物体属性判定部１０７により、ＺＸ平面上に位置する座標変換後の下端点について、走路境界の候補となる下端点をすべて抽出したかどうかの判定が行われる。走路境界の候補となる下端点をすべて抽出した場合は、フローはステップＳ１１０へ移行する。一方、走路境界の候補となる下端点をすべて抽出していない場合は、フローはステップＳ１０９へ戻り、走路境界の候補となる下端点の抽出操作が継続される。

ステップＳ１１０では、走路境界判定部１０８により、ＸＹ平面における各短冊領域ごとに、同一グループにおいて走路境界の候補となる下端点の数が判定される。

例えば、ステップＳ１０８において、座標変換後の下端点ＲＢｓ１ＬとＲＢｓ１Ｒが走路境界の候補として設定されるが、座標変換後の下端点ＲＢｓ１ＬとＲＢｓ１Ｒは、座標変換前のＸＹ平面においては同一グループに属する下端点Ｂｓ１ＬとＢｓ１Ｒであり、下端点Ｂｓ１ＬとＢｓ１Ｒは短冊領域５に位置する。したがって、短冊領域５に位置するとともに同一グループに属する下端点の数は２個となる。

一方、ステップＳ１０８において、座標変換後の下端点ＲＢｈ２が走路境界の候補として設定されるが、座標変換後の下端点ＲＢｈ２は、座標変換前のＸＹ平面においては下端点Ｂｈ２であり、短冊領域１３に位置し下端点Ｂｈ２と同一グループに属する下端点は存在しない。したがって、短冊領域１３に位置するとともに同一グループに属する下端点の数は１個となる。このようにして、各短冊領域において、同一グループに属する下端点の数をカウントする。同一グループに属する下端点の数が２個の場合は、フローはステップＳ１１１へ移行する。一方、同一グループに属する下端点の数が１個の場合は、フローはステップＳ１１５へ移行する。

ステップＳ１１１では、走路境界判定部１０８により、同一グループに属する２個の下端点、すなわち左下端点と右下端点を結ぶ直線の傾きが算出される。この後に、フローはステップＳ１１２へ移行する。

ステップＳ１１２では、走路境界判定部１０８により、ステップＳ１１１で算出された直線の傾きの絶対値が所定値以上であるかどうかの判定が行われる。直線の傾きの絶対値が所定値以上である場合は、下端点を結ぶ直線が走路境界を表している可能性が高く、フローはステップＳ１１３へ移行する。一方、直線の傾きの絶対値が所定値未満である場合は、下端点を結ぶ直線が例えば路面上の停止線等の走路境界ではないものを表していると判定されて、フローはステップＳ１１８へ移行する。

ステップＳ１１３では、走路境界判定部１０８により、ステップＳ１１１で算出された直線の傾きが第一の所定範囲内にあるかどうかの判定が行われる。ここで、第一の所定範囲とは、図１０において、ＺＸ平面上の点ＥＰＬ１〜ＥＰＬ５をＸＹ平面上の点として表した際、各点を結ぶ直線の傾きＣＬと、ＺＸ平面上の点ＥＰＣ１〜ＥＰＣ５をＸＹ平面上の点として表した際、各点を結ぶ直線の傾きＣＣとで規定される範囲である。すなわち、ＣＬ≦下端点を結ぶ直線の傾き≦ＣＣであるかどうかが判定される。ここで、ＺＸ平面上の点ＥＰＬ１〜ＥＰＬ５は、領域１１〜領域１５における左端、すなわちＺＸ平面の左端上の垂直方向に設定した点であり、Ｘ平面上の点ＥＰＣ１〜ＥＰＣ５は、領域５１〜領域５５における左端、すなわちＺＸ平面の中心線上の垂直方向に設定した点である。下端点を結ぶ直線の傾きが、走路の左端の傾きＣＬと中心線の傾きＣＣの間にあれば、下端点を結ぶ直線は走路方向に伸びているものと判定できるため、このような下端点は走路境界であると推定できる。ステップＳ１１１で算出された直線の傾きが第一の所定範囲内にある場合は、ステップＳ１１４へ移行する。一方、ステップＳ１１１で算出された直線の傾きが第一の所定範囲内にない場合は、フローはステップＳ１１８へ移行する。

ステップＳ１１４では、走路境界判定部１０８により、下端点を走路境界として設定する。この後に、フローはステップＳ１１８へ移行する。

ステップＳ１１５では、走路境界判定部１０８により、同一グループに属する下端点の数が１個の場合に、所定の位置関係にある下端点を結ぶ直線の傾きを算出する。ここで、所定の位置関係とは、ＺＸ平面の同一領域（例えば領域２０等）内に複数存在し、かつ垂直方向の座標が所定以上の差を有する下端点を意味する。すなわち、例えば図９においては、ＺＸ平面の領域７０に存在する下端点Ｂｈ６と下端点Ｂｈ８を結ぶ直線の傾きを算出する。同様に、ＺＸ平面の領域７０に存在する下端点Ｂｈ７と下端点Ｂｈ８を結ぶ直線の傾きを算出する。この後に、フローはステップＳ１１６へ移行する。

ステップＳ１１６では、走路境界判定部１０８により、ステップＳ１１５で算出された直線の傾きが第二の所定範囲内にあるかどうかの判定が行われる。ここで、第二の所定範囲とは、図１１において、ＺＸ平面上の点ＥＰＲ１〜ＥＰＲ５をＸＹ平面上の点として表した際、各点を結ぶ直線の傾きＣＲと、ＺＸ平面上の点ＥＰＭ１〜ＥＰＭ５をＸＹ平面上の点として表した際、各点を結ぶ直線の傾きＣＭとで規定される範囲である。すなわち、ＣＭ≦下端点を結ぶ直線の傾き≦ＣＲであるかどうかが判定される。ここで、ＺＸ平面上の点ＥＰＲ１〜ＥＰＲ５は、傾きを判定する直線に含まれる下端点が位置する領域の右端、すなわち領域７１〜７５の右端上の垂直方向に設定した点であり、ＺＸ平面上の点ＥＰＭ１〜ＥＰＭ５は、傾きを判定する直線に含まれる下端点が位置する領域の左端、すなわち領域７１〜７５の左端上の垂直方向に設定した点である。下端点を結ぶ直線の傾きが、ここで設定した傾きの範囲にあれば、下端点を結ぶ直線は走路方向に伸びるものと判定できるため、このような下端点は走路境界であると推定できる。ステップＳ１１５で算出された直線の傾きが第二の所定範囲内にある場合は、ステップＳ１１７へ移行する。一方、ステップＳ１１５で算出された直線の傾きが第二の所定範囲内にない場合は、フローはステップＳ１１８へ移行する。

ステップＳ１１７では、走路境界判定部１０８により、下端点を走路境界として設定する。この後に、フローはステップＳ１１８へ移行する。

ステップＳ１１８では、走路境界判定部１０８により、下端点を結ぶ全ての直線について、走路境界であるか否かの判定が行われたか否かが判定される。下端点を結ぶ全ての直線について、走路境界であるか否かの判定が行われた場合は、フローはステップＳ１１９へ移行する。一方、下端点を結ぶ全ての直線について、走路境界であるか否かの判定が行われていない場合は、フローはステップＳ１１０に戻り、判定が継続される。

ステップＳ１１９では、イグニッションスイッチ（図示省略）のオンオフが判定される。イグニッションスイッチがオンの場合は、フローはステップＳ１０１へ戻り、走路境界の判定処理が継続される。一方、イグニッションスイッチがオフの場合は、フローはステップＳ１２０へ移行し、走路境界の判定処理が終了する。

以上の処理で判定した走路境界は、図示しない車線維持システム等の走行制御システムの入力情報として利用することができる。

以上のように、以上説明した本発明の実施形態の走路境界検出装置によれば、以下のような作用効果を得ることができる。

請求項１の発明は、自車両前方の画像を撮像する撮像部と、前記撮像部で撮像した前記画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度を算出する移動速度算出部と、前記画像を垂直方向に短冊状の複数の短冊領域に分割し、各短冊領域において前記画像の垂直方向に隣接するとともに前記移動速度が所定の範囲にある前記画素を同一のグループにグループ化するグループ化部と、前記グループにおける前記画素のうち上端および下端に位置する前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換する座標変換部と、前記画素の前記俯瞰図における前記座標に基づいて前記特徴点を平面物または立体物と判定する物体属性判定部と、前記下端に位置する前記画素の前記画像上における配置に基づいて前記特徴点が走路の境界を表す走路境界であるか否かを判定する走路境界判定部とを有する制御部と、を備えることを特徴としている。

この装置によれば、撮像手段で撮像した自車両前方の画像を画像処理して抽出した特徴点を表す各画素の画像上における速度情報および配置に基づいて、高い精度で走路境界を検出することができる。

また、請求項２の発明は、請求項１の走路境界検出装置において、前記物体属性判定部は、前記上端に位置する前記画素と前記下端に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記上端に位置する前記画素と前記下端に位置する前記画素が前記複数の領域のうちそれぞれ異なる領域に位置する場合、または前記上端に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記下端に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に、前記特徴点を立体物と判定することを特徴としている。

この装置によれば、撮像した画像から抽出した特徴点の座標を俯瞰変換し、変換後の座標の位置により、特徴点が平面物であるか立体物であるかを簡単に判定することができる。

また、請求項３の発明は、請求項１または２に記載の走路境界検出装置において、一つのグループにおいて前記下端に位置する前記画素が複数ある場合は、該複数の前記下端に位置する前記画素のうち水平方向両端の前記画素を結ぶ直線の傾きを算出し、該直線の傾きが第一の所定範囲内にある場合に前記特徴点を走路境界であると判定する一方、一つのグループにおいて前記下端に位置する前記画素が単独の場合は、該画素と、前記画像上の所定範囲内に位置する他のグループにおいて前記下端に位置する単独の画素とを結ぶ直線の傾きを算出し、該直線の傾きが第二の所定範囲内にある場合に前記特徴点を走路境界であると判定することを特徴している。

この装置によれば、画像上の移動速度を指標としてグループ化した特徴点の画素のうち下端に位置する画素の配置により、特徴点が走路境界であるか否かを簡単に判定することができる。

また、請求項４の発明は、請求項３に記載の走路境界検出装置において、前記第一の所定範囲は前記第二の所定範囲よりも広い範囲であることを特徴としている。

この装置によれば、特徴点の画像上の位置によらずに、走路境界を精度多角検出することができる。

また、請求項５の発明は、請求項１〜４のいずれか１項に記載の走路境界検出装置において、前記特徴点が物体のエッジであることを特徴としている。

この装置によれば、撮像した画像からエッジを抽出することで、簡単に走路境界を検出することができる。

また、以上説明した本発明の実施形態の走路境界検出方法によれば、以下のような作用効果を得ることができる。

請求項６の発明は、自車両前方の画像を撮像するステップと、撮像した前記画像から特徴点を抽出するステップと、前記特徴点を表す画素の前記画像上の移動速度を算出するステップと、前記画像を垂直方向に短冊状の複数の短冊領域に分割し、各短冊領域において前記画像の垂直方向に隣接するとともに前記移動速度が所定の範囲にある前記画素を同一のグループにグループ化するステップと、前記グループにおける前記画素のうち上端および下端に位置する前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換するステップと、前記画素の前記俯瞰図における前記座標に基づいて前記特徴点を平面物または立体物と判定するステップと、前記下端に位置する前記画素の前記画像上における配置に基づいて前記特徴点が走路の境界を表す走路境界であるか否かを判定するステップと、を備えることを特徴としている。

この方法によれば、撮像した自車両前方の画像を画像処理して抽出した特徴点を表す各画素の画像上における速度情報および配置に基づいて、高い精度で走路境界を検出することができる。

また、請求項７の発明は、請求項６に記載の走路境界検出方法において、前記上端に位置する前記画素と前記下端に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記上端に位置する前記画素と前記下端に位置する前記画素が前記複数の領域のうちそれぞれ異なる領域に位置する場合、または前記上端に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記下端に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に、前記特徴点を立体物と判定することを特徴としている。

この方法によれば、撮像した画像から抽出した特徴点の座標を俯瞰変換し、変換後の座標の位置により、特徴点が平面物であるか立体物であるかを簡単に判定することができる。

また、請求項８の発明は、請求項６または７に記載の走路境界検出方法において、一つのグループにおいて前記下端に位置する前記画素が複数ある場合は、該複数の前記下端に位置する前記画素のうち水平方向両端の前記画素を結ぶ直線の傾きを算出し、該直線の傾きが第一の所定範囲内にある場合に前記特徴点を走路境界であると判定する一方、一つのグループにおいて前記下端に位置する前記画素が単独の場合は、該画素と、前記画像上の所定範囲内に位置する他のグループにおいて前記下端に位置する単独の画素とを結ぶ直線の傾きを算出し、該直線の傾きが第二の所定範囲内にある場合に前記特徴点を走路境界であると判定することを特徴としている。

この方法によれば、画像上の移動速度を指標としてグループ化した特徴点の画素のうち下端に位置する画素の配置により、特徴点が走路境界であるか否かを簡単に判定することができる。

また、請求項９の発明は、請求項８に記載の走路境界検出方法において、前記第一の所定範囲は前記第二の所定範囲よりも広い範囲であることを特徴としている。

この方法によれば、特徴点の画像上の位置によらずに、走路境界を精度多角検出することができる。

また、請求項１０の発明は、請求項６〜９のいずれか１項に記載の走路境界検出方法において、前記特徴点が物体のエッジであることを特徴としている。

この方法によれば、撮像した画像からエッジを抽出することで、簡単に走路境界を検出することができる。

以上、本発明の実施形態を図面により詳述したが、実施形態は本発明の例示にしか過ぎず、本発明は実施形態の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。

例えば、ブロック図は上記実施例に示すものに限定されるものではなく、同等の機能を備えた構成であれば良い。

また、カメラの取り付け位置は実施例で述べた位置に限定されるものではなく、カメラの光軸が車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸および垂直軸がそれぞれ路面と平行および垂直となるように設定されていれば良い。

また、検出したエッジの幅の正規化を行うにあたっては、エッジ幅は３画素に限定されるものではなく、任意の画素数を設定することができる。この場合、その後の処理でエッジの中央部の画素を利用するため、エッジ幅の画素数は奇数個であることが望ましい。

また、ＺＸ平面を分割して設定する領域の数は上記実施例に示すものに限定されるものではなく、任意の数に分割して設定することができる。

また、ＺＸ平面の縦方向および横方向の範囲は、任意の値に設定することができる。

さらに、上記実施形態では、走路境界として、縁石、白線、外壁と路面との接点の例について説明したが、これに限定されず、例えば、ガードレール、駐車車両と路面との境界、路面と路面以外の領域（田、畑など）との境界を検出してもよい。

走路境界検出装置の実施形態の構成例を示すブロック図である。カメラ１０１の車両への設置例を示す図である。走路境界検出装置の実施形態の処理を示すフローチャートである。カメラ１０１で撮像した画像の例を示す図である。抽出したエッジを正規化して、エッジ画像を得るために行う各処理の例を示す図である。速度画像の例を示す図である。速度画像における画素のグループ化の説明図である。グループ化により設定した上端点と下端点の例を示す図である。速度画像上で検出した上端点と下端点をＺＸ平面上に座標変換した例を示す図である。ＺＸ平面左側における走路境界の候補点を示す図である。ＺＸ平面右側における走路境界の候補点を示す図である。

符号の説明

１０移動体検出装置
１００制御部
１０１カメラ（撮像部）
１０２画像一時記録部
１０３特徴点抽出部
１０４移動速度算出部
１０５グループ化部
１０６座標変換部
１０７物体属性判定部
１０８走路境界判定部

Claims

自車両前方の画像を撮像する撮像部と、
前記撮像部で撮像した前記画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度を算出する移動速度算出部と、前記画像を垂直方向に短冊状の複数の短冊領域に分割し、各短冊領域において前記画像の垂直方向に隣接するとともに前記移動速度が所定の範囲にある前記画素を同一のグループにグループ化するグループ化部と、前記グループにおける前記画素のうち上端および下端に位置する前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換する座標変換部と、前記俯瞰図における前記座標上に位置する座標変換後の下端点のうち走路境界の候補となる下端点を抽出する物体属性判定部と、前記走路境界の候補となる下端点の前記座標上における配置に基づいて前記走路境界の候補となる下端点が走路の境界を表す走路境界であるか否かを判定する走路境界判定部とを有する制御部と、
を備えることを特徴とする走路境界検出装置。
一つのグループにおいて前記走路境界の候補となる下端点が複数ある場合は、該複数の前記走路境界の候補となる下端点のうち水平方向両端の前記走路境界の候補となる下端点を結ぶ直線の傾きを算出し、該直線の傾きが第一の所定範囲内にある場合に前記特徴点を走路境界であると判定する一方、一つのグループにおいて前記走路境界の候補となる下端点が単独の場合は、該走路境界の候補となる下端点と、前記座標上の所定範囲内に位置する他のグループにおいて単独の前記走路境界の候補となる下端点とを結ぶ直線の傾きを算出し、該直線の傾きが第二の所定範囲内にある場合に前記走路境界の候補となる下端点を走路境界であると判定することを特徴とする請求項１に記載の走路境界検出装置。
前記第一の所定範囲は前記第二の所定範囲よりも広い範囲であることを特徴とする請求項２に記載の走路境界検出装置。
前記特徴点が物体のエッジであることを特徴とする請求項１乃至３のうち、いずれか１項に記載の走路境界検出装置。
前記自車両前方の画像を撮像するステップと、
撮像した前記画像から特徴点を抽出するステップと、
前記特徴点を表す画素の前記画像上の移動速度を算出するステップと、
前記画像を垂直方向に短冊状の複数の短冊領域に分割し、各短冊領域において前記画像の垂直方向に隣接するとともに前記移動速度が所定の範囲にある前記画素を同一のグループにグループ化するステップと、
前記グループにおける前記画素のうち上端および下端に位置する前記画素の前記画像上の座標を前記自車両前方の俯瞰図における座標に変換するステップと、
前記俯瞰図における前記座標上に位置する座標変換後の下端点のうち走路境界の候補となる下端点を抽出するステップと、
前記走路境界の候補となる下端点の前記座標上における配置に基づいて前記走路境界の候補となる下端点が走路の境界を表す走路境界であるか否かを判定するステップと、
を備えることを特徴とする走路境界検出方法。
一つのグループにおいて前記走路境界の候補となる下端点が複数ある場合は、該複数の前記走路境界の候補となる下端点のうち水平方向両端の前記走路境界の候補となる下端点を結ぶ直線の傾きを算出し、該直線の傾きが第一の所定範囲内にある場合に前記特徴点を走路境界であると判定する一方、一つのグループにおいて前記走路境界の候補となる下端点が単独の場合は、該走路境界の候補となる下端点と、前記座標上の所定範囲内に位置する他のグループにおいて単独の前記走路境界の候補となる下端点とを結ぶ直線の傾きを算出し、該直線の傾きが第二の所定範囲内にある場合に前記走路境界の候補となる下端点を走路境界であると判定することを特徴とする請求項５に記載の走路境界検出方法。
前記第一の所定範囲は前記第二の所定範囲よりも広い範囲であることを特徴とする請求項６に記載の走路境界検出方法。
前記特徴点が物体のエッジであることを特徴とする請求項６又は７に記載の走路境界検出方法。