JP3104645B2 - 道路白線検出方法及び道路白線検出装置 - Google Patents
道路白線検出方法及び道路白線検出装置Info
- Publication number
- JP3104645B2 JP3104645B2 JP09139484A JP13948497A JP3104645B2 JP 3104645 B2 JP3104645 B2 JP 3104645B2 JP 09139484 A JP09139484 A JP 09139484A JP 13948497 A JP13948497 A JP 13948497A JP 3104645 B2 JP3104645 B2 JP 3104645B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- image
- white line
- contour point
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する技術分野】本発明は自動車が走行する道
路上の白線を画像処理によって認識するための道路白線
検出装置に関するものである。
路上の白線を画像処理によって認識するための道路白線
検出装置に関するものである。
【０００２】
【従来の技術】従来、道路白線検出装置は特開平５−１
５１３４１号に記載されたものが知られている。図９は
従来の道路白線検出装置を示している。この白線検出装
置は画像入力手段１により車両前方の道路画像を撮影
し、前処理手段２により画像入力手段１からの信号に基
づき白線や道路端等の明暗が変化するエッジ点を抽出す
る。
５１３４１号に記載されたものが知られている。図９は
従来の道路白線検出装置を示している。この白線検出装
置は画像入力手段１により車両前方の道路画像を撮影
し、前処理手段２により画像入力手段１からの信号に基
づき白線や道路端等の明暗が変化するエッジ点を抽出す
る。
【０００３】そして直線適合手段３により前回の演算時
における直線式の近傍にウインドウを設定し、その設定
された各ウインドウ内における複数のエッジ点の座標を
計測し直線近似によって複数の直線式を求める。図１０
は入力画像と直線式の例を示している。
における直線式の近傍にウインドウを設定し、その設定
された各ウインドウ内における複数のエッジ点の座標を
計測し直線近似によって複数の直線式を求める。図１０
は入力画像と直線式の例を示している。
【０００４】そして直線・消失点決定手段４は求められ
た複数の直線式に基づき各直線式間の誤差の２乗和が最
小となるように消失点のｘ，ｙ座標と該消失点を通る各
直線の傾きに対応する量とを推定して、今回の結果とす
る。ここでは複数のレインマーカ（白線）は平行であ
り、レーン幅やレーンカマーカ幅は時間的に大きく変動
しないことを利用し、又車両は垂直方向に速い動きをす
るが、水平方向には速い動きはないと仮定することによ
り、求まった直線式を基に、上記仮定を考慮にいれた時
間的空間的平滑化を行って直線と消失点を求める。
た複数の直線式に基づき各直線式間の誤差の２乗和が最
小となるように消失点のｘ，ｙ座標と該消失点を通る各
直線の傾きに対応する量とを推定して、今回の結果とす
る。ここでは複数のレインマーカ（白線）は平行であ
り、レーン幅やレーンカマーカ幅は時間的に大きく変動
しないことを利用し、又車両は垂直方向に速い動きをす
るが、水平方向には速い動きはないと仮定することによ
り、求まった直線式を基に、上記仮定を考慮にいれた時
間的空間的平滑化を行って直線と消失点を求める。
【０００５】次にエッジ点追跡手段５により前処理手段
２の結果と直線適合手段３の検出結果とに基づいてレー
ンマーカに対応するエッジ点を抽出し、曲線適合手段６
により抽出されたエッジ点に曲線式を当てはめ曲線の曲
率を検出し、平滑手段７により曲線適合手段の結果を平
滑することにより、白線を検出している。
２の結果と直線適合手段３の検出結果とに基づいてレー
ンマーカに対応するエッジ点を抽出し、曲線適合手段６
により抽出されたエッジ点に曲線式を当てはめ曲線の曲
率を検出し、平滑手段７により曲線適合手段の結果を平
滑することにより、白線を検出している。
【０００６】
【発明が解決しようとする課題】しかるにこのような従
来の道路白線検出装置においては、レーンマーカのエッ
ジ点のみを用い、最小自乗法により曲線の当てはめを行
っている。従って明暗が変化する点は全てエッジ点とし
て検出されるため、ノイズの影響を受け易く正確な白線
検出が難しいという欠点があった。
来の道路白線検出装置においては、レーンマーカのエッ
ジ点のみを用い、最小自乗法により曲線の当てはめを行
っている。従って明暗が変化する点は全てエッジ点とし
て検出されるため、ノイズの影響を受け易く正確な白線
検出が難しいという欠点があった。
【０００７】本発明はこのような従来の問題点に鑑みて
なされたものであって、エッジデータだけでなく道路画
像の低周波成分に基づいてこれを補正することにより、
正確な白線を検出できるようにすることを目的とする。
なされたものであって、エッジデータだけでなく道路画
像の低周波成分に基づいてこれを補正することにより、
正確な白線を検出できるようにすることを目的とする。
【０００８】
【課題を解決するための手段】本願の請求項１の発明
は、道路画像データから空間周波数の低い周波成分のみ
のデータを生成することによりボケ画像を生成し、前記
ボケ画像生成ステップで生成したボケ画像データを使用
して輝度が実質的に同一の領域毎に分割し、前記領域分
割ステップからの領域分割データから画像の所定位置を
含む領域を道路領域として検出し、道路画像データのう
ち前記ボケ画像生成ステップで生成した空間周波数成分
を含まない互いに独立な空間周波数の高い成分のみを検
出することによりエッジ画像を抽出し、前記エッジ画像
抽出ステップからの高周波成分データから道路白線に対
応すると推定される推定輪郭点を推定し、前記道路領域
検出ステップより検出された道路領域に含まれる前記輪
郭点推定ステップから得られる道路白線の推定輪郭点の
みを抽出し、前記輪郭点抽出ステップで抽出された白線
輪郭点を使用して白線を検出することを特徴とする。
は、道路画像データから空間周波数の低い周波成分のみ
のデータを生成することによりボケ画像を生成し、前記
ボケ画像生成ステップで生成したボケ画像データを使用
して輝度が実質的に同一の領域毎に分割し、前記領域分
割ステップからの領域分割データから画像の所定位置を
含む領域を道路領域として検出し、道路画像データのう
ち前記ボケ画像生成ステップで生成した空間周波数成分
を含まない互いに独立な空間周波数の高い成分のみを検
出することによりエッジ画像を抽出し、前記エッジ画像
抽出ステップからの高周波成分データから道路白線に対
応すると推定される推定輪郭点を推定し、前記道路領域
検出ステップより検出された道路領域に含まれる前記輪
郭点推定ステップから得られる道路白線の推定輪郭点の
みを抽出し、前記輪郭点抽出ステップで抽出された白線
輪郭点を使用して白線を検出することを特徴とする。
【０００９】本願の請求項２の発明は、車両前方の道路
を撮影する道路画像撮影手段と、前記道路画像撮影手段
からの道路画像データのうち空間周波数の低い低周波成
分のみのデータを生成するボケ画像生成手段と、前記ボ
ケ画像生成手段から得られる画像データを使用して輝度
が実質的に同一の領域毎に分割する領域分割手段と、前
記領域分割手段からの領域分割データから画像の所定位
置を含む領域を道路領域として検出する道路領域検出手
段と、前記道路画像撮影手段からの道路画像データのう
ち空間周波数の高い高周波成分を検出するエッジ画像抽
出手段と、前記エッジ画像抽出手段からの高周波成分デ
ータから道路白線に対応すると推定される推定輪郭点を
抽出する輪郭点推定手段と、前記道路領域検出手段より
検出された道路領域に含まれる前記輪郭点推定手段から
得られる道路白線の推定輪郭点のみを選択する輪郭点抽
出手段と、前記輪郭点抽出手段から抽出された白線輪郭
点を使用して多項式による曲線として白線を検出する曲
線検出手段と、を具備することを特徴とするものであ
る。
を撮影する道路画像撮影手段と、前記道路画像撮影手段
からの道路画像データのうち空間周波数の低い低周波成
分のみのデータを生成するボケ画像生成手段と、前記ボ
ケ画像生成手段から得られる画像データを使用して輝度
が実質的に同一の領域毎に分割する領域分割手段と、前
記領域分割手段からの領域分割データから画像の所定位
置を含む領域を道路領域として検出する道路領域検出手
段と、前記道路画像撮影手段からの道路画像データのう
ち空間周波数の高い高周波成分を検出するエッジ画像抽
出手段と、前記エッジ画像抽出手段からの高周波成分デ
ータから道路白線に対応すると推定される推定輪郭点を
抽出する輪郭点推定手段と、前記道路領域検出手段より
検出された道路領域に含まれる前記輪郭点推定手段から
得られる道路白線の推定輪郭点のみを選択する輪郭点抽
出手段と、前記輪郭点抽出手段から抽出された白線輪郭
点を使用して多項式による曲線として白線を検出する曲
線検出手段と、を具備することを特徴とするものであ
る。
【００１０】本願の請求項３の発明では、前記輪郭点抽
出手段は、前記道路領域検出手段より検出された道路領
域に含まれ、且つ道路領域の端部から所定範囲内にある
前記輪郭点推定手段からの推定輪郭点を選択することを
特徴とするものである。
出手段は、前記道路領域検出手段より検出された道路領
域に含まれ、且つ道路領域の端部から所定範囲内にある
前記輪郭点推定手段からの推定輪郭点を選択することを
特徴とするものである。
【００１１】本願の請求項４の発明では、前記曲線検出
手段は、各白線輪郭点を通るスプライン曲線を検出し、
該白線輪郭点の一部から複数のスプライン補間式を算出
し、スプライン補間式の最多係数値に基づいて該スプラ
イン曲線の係数値を補正することにより曲線を算出する
ことを特徴とするものである。
手段は、各白線輪郭点を通るスプライン曲線を検出し、
該白線輪郭点の一部から複数のスプライン補間式を算出
し、スプライン補間式の最多係数値に基づいて該スプラ
イン曲線の係数値を補正することにより曲線を算出する
ことを特徴とするものである。
【００１２】このような特徴を有する本発明によれば、
道路画像を撮影して空間周波数の低いボケ画像を生成
し、ボケ画像から領域を分割して道路領域を検出する。
そしてこれとは別に道路画像から高い空間周波数のエッ
ジ画像を抽出し、道路画像から白線が引かれていると考
えられる領域の輪郭点を抽出する。そして抽出した輪郭
点に基づいて道路の白線を検出するようにしている。
道路画像を撮影して空間周波数の低いボケ画像を生成
し、ボケ画像から領域を分割して道路領域を検出する。
そしてこれとは別に道路画像から高い空間周波数のエッ
ジ画像を抽出し、道路画像から白線が引かれていると考
えられる領域の輪郭点を抽出する。そして抽出した輪郭
点に基づいて道路の白線を検出するようにしている。
【００１３】
（実施の形態１）図１は本発明の実施の形態による道路
白線検出装置を示すブロック図である。この道路白線検
出装置は、道路画像撮影手段１１，ボケ画像生成手段１
２，領域分割手段１３，道路領域検出手段１４，エッジ
画像抽出手段１５，輪郭点推定手段１６，道路輪郭点抽
出手段１７，曲線検出手段１８を含んで構成されてい
る。
白線検出装置を示すブロック図である。この道路白線検
出装置は、道路画像撮影手段１１，ボケ画像生成手段１
２，領域分割手段１３，道路領域検出手段１４，エッジ
画像抽出手段１５，輪郭点推定手段１６，道路輪郭点抽
出手段１７，曲線検出手段１８を含んで構成されてい
る。
【００１４】道路画像撮影手段１１は車両前方の道路画
像を入力するものであり、ＴＶカメラが用いられる。こ
のＴＶカメラを車両前方のほぼ中央部に配置しておくも
のとすれば、撮像手段１１より得られる画像の底面中央
部Ｒは図２（ａ）に示すように道路を含むものとなる。
ボケ画像生成手段１２は道路画像撮影手段１１からの輝
度データを使用して空間周波数の低い成分のみの画像を
生成するものであり、二次元ローパスフィルタ（ＬＰ
Ｆ）により構成される。領域分割手段１３はボケ画像生
成手段１２からの低周波数画像データを使用して、輝度
の分布から輝度値がほぼ等しい領域毎にひとまとめにし
て画像を分割するものである。道路領域検出手段１４は
低周波画像の輝度分布によって分割された領域を道路に
関する知識を使用してその領域を併合して道路領域を検
出するものである。
像を入力するものであり、ＴＶカメラが用いられる。こ
のＴＶカメラを車両前方のほぼ中央部に配置しておくも
のとすれば、撮像手段１１より得られる画像の底面中央
部Ｒは図２（ａ）に示すように道路を含むものとなる。
ボケ画像生成手段１２は道路画像撮影手段１１からの輝
度データを使用して空間周波数の低い成分のみの画像を
生成するものであり、二次元ローパスフィルタ（ＬＰ
Ｆ）により構成される。領域分割手段１３はボケ画像生
成手段１２からの低周波数画像データを使用して、輝度
の分布から輝度値がほぼ等しい領域毎にひとまとめにし
て画像を分割するものである。道路領域検出手段１４は
低周波画像の輝度分布によって分割された領域を道路に
関する知識を使用してその領域を併合して道路領域を検
出するものである。
【００１５】ここで道路に関する知識とは、道路画像撮
像手段１１より撮影された画像の底面中央の点Ｒを含む
領域は道路であるということであり、又これに加えて、
左右の白線が交差する消失点が時間的に急激には変化し
ないことや、道路の画素に占める大きさがほぼ一定であ
る等を含めることもできる。従って少なくとも点Ｒを含
む領域とし、又はこれに加えて隣接する領域を加えて道
路とする。
像手段１１より撮影された画像の底面中央の点Ｒを含む
領域は道路であるということであり、又これに加えて、
左右の白線が交差する消失点が時間的に急激には変化し
ないことや、道路の画素に占める大きさがほぼ一定であ
る等を含めることもできる。従って少なくとも点Ｒを含
む領域とし、又はこれに加えて隣接する領域を加えて道
路とする。
【００１６】一方エッジ画像抽出手段１５は、道路画像
撮影手段１１からの輝度データを使用して空間周波数の
高い成分のみの画像を生成するものであり、二次元ハイ
パスフィルタ（ＨＰＦ）により構成される。ボケ画像生
成手段１２とエッジ画像抽出手段１５とは道路画像撮像
手段１１により撮像された画像のうち、選択する周波数
が重ならないように夫々低周波と高周波とを分離してい
る。輪郭点推定手段１６はエッジ画像抽出手段１５から
の高周波画像データを使用して、道路の白線に相当する
白線候補となる推定輪郭点を検出するものである。道路
輪郭点抽出手段１７は道路領域検出手段１４で検出した
道路領域データと、輪郭点推定手段１６で検出した推定
輪郭点とを使用して、道路白線の輪郭点を検出するもの
である。曲線検出手段１８は前記道路輪郭点抽出手段か
らの道路白線の輪郭点を使用して、スプライン曲線で道
路白線を曲線として検出するものである。
撮影手段１１からの輝度データを使用して空間周波数の
高い成分のみの画像を生成するものであり、二次元ハイ
パスフィルタ（ＨＰＦ）により構成される。ボケ画像生
成手段１２とエッジ画像抽出手段１５とは道路画像撮像
手段１１により撮像された画像のうち、選択する周波数
が重ならないように夫々低周波と高周波とを分離してい
る。輪郭点推定手段１６はエッジ画像抽出手段１５から
の高周波画像データを使用して、道路の白線に相当する
白線候補となる推定輪郭点を検出するものである。道路
輪郭点抽出手段１７は道路領域検出手段１４で検出した
道路領域データと、輪郭点推定手段１６で検出した推定
輪郭点とを使用して、道路白線の輪郭点を検出するもの
である。曲線検出手段１８は前記道路輪郭点抽出手段か
らの道路白線の輪郭点を使用して、スプライン曲線で道
路白線を曲線として検出するものである。
【００１７】次にこのように構成された道路白線検出装
置の動作について、図２，図３の画像例及び図４のフロ
ーチャートを用いて説明する。図２（ａ）は画像入力手
段からの輝度画像である。さてステップＳ１において、
２次元のローパスフィルタ（ＬＰＦ）に道路画像撮像手
段１１からの画像データを入れて、図５に示すような２
次元の周波数面（ω１，ω２）で原点を中心に半径ω＝
ω０以下の低周波画像データを作成する。図２（ｂ）は
こうして得られたボケ画像を示す図である。次にステッ
プＳ２において、低周波画像データを用いて輝度による
ヒストグラムを作成する。図６はこうして作成された輝
度値ヒストグラムの一例を示す。さて図２（ａ）におい
て画像の底面の中央部の点ＲはＴＶカメラが車両前方の
ほぼ中央に取付けられているものとすれば、この部分は
確実に道路を映し出している。従ってこの点Ｒの輝度値
を輝度ヒストグラムから読出すと、この輝度を含む領域
が道路であると推定できる。従ってステップＳ３におい
て、画像底部の中央の点Ａの輝度値の輝度０ヒストグラ
ムでの位置を中心に輝度の高い方と低い方に向かって度
数変化の変極点を探す。ステップＳ４において、変極点
に囲まれた輝度値の輝度画像での範囲を求める。図２
（ｃ）はこうして複数の領域に分割された画像を示して
いる。これに前述した道路についての知識を加えて、図
２（ｄ）の領域を道路領域とする。ここでステップＳ
２，３はボケ画像から輝度変化の少ない領域毎に分割す
る領域分割手段１３の機能を達成しており、ステップＳ
５は道路領域検出手段１４の機能を達成している。
置の動作について、図２，図３の画像例及び図４のフロ
ーチャートを用いて説明する。図２（ａ）は画像入力手
段からの輝度画像である。さてステップＳ１において、
２次元のローパスフィルタ（ＬＰＦ）に道路画像撮像手
段１１からの画像データを入れて、図５に示すような２
次元の周波数面（ω１，ω２）で原点を中心に半径ω＝
ω０以下の低周波画像データを作成する。図２（ｂ）は
こうして得られたボケ画像を示す図である。次にステッ
プＳ２において、低周波画像データを用いて輝度による
ヒストグラムを作成する。図６はこうして作成された輝
度値ヒストグラムの一例を示す。さて図２（ａ）におい
て画像の底面の中央部の点ＲはＴＶカメラが車両前方の
ほぼ中央に取付けられているものとすれば、この部分は
確実に道路を映し出している。従ってこの点Ｒの輝度値
を輝度ヒストグラムから読出すと、この輝度を含む領域
が道路であると推定できる。従ってステップＳ３におい
て、画像底部の中央の点Ａの輝度値の輝度０ヒストグラ
ムでの位置を中心に輝度の高い方と低い方に向かって度
数変化の変極点を探す。ステップＳ４において、変極点
に囲まれた輝度値の輝度画像での範囲を求める。図２
（ｃ）はこうして複数の領域に分割された画像を示して
いる。これに前述した道路についての知識を加えて、図
２（ｄ）の領域を道路領域とする。ここでステップＳ
２，３はボケ画像から輝度変化の少ない領域毎に分割す
る領域分割手段１３の機能を達成しており、ステップＳ
５は道路領域検出手段１４の機能を達成している。
【００１８】一方ステップＳ５では、２次元のハイパス
フィルタ（ＨＰＦ）に道路画像撮像手段１１からの画像
データを入れて、図５に示すような２次元の周波数面
（ω１，ω２）で原点を中心に半径ω＝ω３より大きい
高周波画像データを作成する。図３（ｅ）は輝度画像か
ら得られるエッジ画像を示している。次にステップＳ６
において、図７に示すように画像底部から上方に向けて
エッジ画像の中心から左右方向に所定の閾値thを越える
道路の白線候補となる推定輪郭点を検索する。そしてス
テップＳ７において、ステップＳ４で判定した道路領域
に入っていない推定補輪郭点を除外すると共に、道路領
域の外側エッジより所定の距離Ｌ以上内部にある推定輪
郭点を除外する。例えば図２（ｄ）では道路領域のエッ
ジから所定の距離Ｌ内側にある領域のみを検出対象と
し、道路の中央部及び道路以外の領域を無視する。ここ
で閾値Ｌは自車両から遠方即ち画面の上方にいくに従っ
て徐々に小さくなる値とする。こうすれば図３（ｆ）に
示すように検出すべき領域のエッジが抽出できることと
なる。ここでステップＳ５はエッジ抽出手段１５の機能
を達成しており、ステップＳ６は推定輪郭点を探索する
輪郭点推定手段１６の機能を達成している。又ステップ
Ｓ７は道路データと推定輪郭点のデータに基づいて白線
の輪郭点を抽出する輪郭点抽出手段１７の機能を達成し
ている。
フィルタ（ＨＰＦ）に道路画像撮像手段１１からの画像
データを入れて、図５に示すような２次元の周波数面
（ω１，ω２）で原点を中心に半径ω＝ω３より大きい
高周波画像データを作成する。図３（ｅ）は輝度画像か
ら得られるエッジ画像を示している。次にステップＳ６
において、図７に示すように画像底部から上方に向けて
エッジ画像の中心から左右方向に所定の閾値thを越える
道路の白線候補となる推定輪郭点を検索する。そしてス
テップＳ７において、ステップＳ４で判定した道路領域
に入っていない推定補輪郭点を除外すると共に、道路領
域の外側エッジより所定の距離Ｌ以上内部にある推定輪
郭点を除外する。例えば図２（ｄ）では道路領域のエッ
ジから所定の距離Ｌ内側にある領域のみを検出対象と
し、道路の中央部及び道路以外の領域を無視する。ここ
で閾値Ｌは自車両から遠方即ち画面の上方にいくに従っ
て徐々に小さくなる値とする。こうすれば図３（ｆ）に
示すように検出すべき領域のエッジが抽出できることと
なる。ここでステップＳ５はエッジ抽出手段１５の機能
を達成しており、ステップＳ６は推定輪郭点を探索する
輪郭点推定手段１６の機能を達成している。又ステップ
Ｓ７は道路データと推定輪郭点のデータに基づいて白線
の輪郭点を抽出する輪郭点抽出手段１７の機能を達成し
ている。
【００１９】次にステップＳ８で、残った左右の夫々の
輪郭点、例えばＮ個の全部を使用して左右夫々にスプラ
イン曲線を算出する。尚画像の横軸をｘ，縦軸をｙとす
る。スプライン曲線は次式で示される。
輪郭点、例えばＮ個の全部を使用して左右夫々にスプラ
イン曲線を算出する。尚画像の横軸をｘ，縦軸をｙとす
る。スプライン曲線は次式で示される。
【００２０】 ｙ＝ａm ｘm ＋ａm-1 ｘm-1 ＋・・・＋ａ0 そして得られた各係数を中心に±αだけの領域をハフ空
間上に作る。ハフ空間とはこの係数ａm〜ａ0によって形
成されたｍ次空間である。図８はｍ＝２の場合のハフ空
間の例を示す図である。
間上に作る。ハフ空間とはこの係数ａm〜ａ0によって形
成されたｍ次空間である。図８はｍ＝２の場合のハフ空
間の例を示す図である。
【００２１】次に左白線に対応する白線輪郭点は画面上
での値が例えば（ｘ0，ｙ0），（ｘ1，ｙ1），（ｘ2，
ｙ2）・・・のように多数得られる。これをＮ個とする
と、Ｎ個中から任意のｎ個（Ｎ＞ｎ）を選択し、ｎ個の
点を通るスプライン補間式として前述した式による近似
式を求める。右白線も同様に近似多項式を求める。
での値が例えば（ｘ0，ｙ0），（ｘ1，ｙ1），（ｘ2，
ｙ2）・・・のように多数得られる。これをＮ個とする
と、Ｎ個中から任意のｎ個（Ｎ＞ｎ）を選択し、ｎ個の
点を通るスプライン補間式として前述した式による近似
式を求める。右白線も同様に近似多項式を求める。
【００２２】例えばｍ＝２の場合には前述した多項式は
次式のようになる。 ｙ＝ａ2 ｘ2 ＋ａ1 ｘ＋ａ0 さてこうして求まった係数ａ0，ａ1，ａ2は、±αのハ
フ空間上の領域を多数に分割した小領域のうちいずれか
の１つに入ることとなる。従ってこのいずれかの小領域
にデータが入る数をＡとし、繰り返し回数をｋとする。
即ちステップ１０において、この多項式の係数に対応
し、ステップ８で限定されたハフ空間上の対応する小領
域のアキュミュレータＡに１を加算し、繰り返し回数ｋ
にも１を加算する。もしステップＳ１１においてｋが繰
り返し回数の上限値ｋmax以下であればステップＳ９を
繰り返し、白線に対応する輪郭点Ｎ個のうち別のｎ個を
選択し同様にスプライン補間式を求める。もしｋmaxを
超えていればステップＳ１２に進み、ハフ空間上のアキ
ュミュレータＡのうち最も数字の大きいものを選び、そ
れに対応する多項式の係数を求める。ステップＳ１３で
その係数で作られる多項式を道路白線の画像上での式と
する。この曲線検出を左右の白線に対して行う。
次式のようになる。 ｙ＝ａ2 ｘ2 ＋ａ1 ｘ＋ａ0 さてこうして求まった係数ａ0，ａ1，ａ2は、±αのハ
フ空間上の領域を多数に分割した小領域のうちいずれか
の１つに入ることとなる。従ってこのいずれかの小領域
にデータが入る数をＡとし、繰り返し回数をｋとする。
即ちステップ１０において、この多項式の係数に対応
し、ステップ８で限定されたハフ空間上の対応する小領
域のアキュミュレータＡに１を加算し、繰り返し回数ｋ
にも１を加算する。もしステップＳ１１においてｋが繰
り返し回数の上限値ｋmax以下であればステップＳ９を
繰り返し、白線に対応する輪郭点Ｎ個のうち別のｎ個を
選択し同様にスプライン補間式を求める。もしｋmaxを
超えていればステップＳ１２に進み、ハフ空間上のアキ
ュミュレータＡのうち最も数字の大きいものを選び、そ
れに対応する多項式の係数を求める。ステップＳ１３で
その係数で作られる多項式を道路白線の画像上での式と
する。この曲線検出を左右の白線に対して行う。
【００２３】こうすれば図３（ｇ）に示すように左右の
白線の式が算出されることとなる。この式は道路に引か
れた白線の車両側のエッジを示す曲線である。ここでス
テップＳ８〜Ｓ１３は輪郭点に基づいて曲線を検出する
曲線検出手段１８の機能を達成している。
白線の式が算出されることとなる。この式は道路に引か
れた白線の車両側のエッジを示す曲線である。ここでス
テップＳ８〜Ｓ１３は輪郭点に基づいて曲線を検出する
曲線検出手段１８の機能を達成している。
【００２４】以上のように、同じ輝度画像データから空
間周波数的に重なりのない低周波画像と高周波画像を作
成し、それぞれの画像から独立に道路領域と道路白線候
補輪郭点を検出することにより、精度の高い道路白線検
出を実現することができる。
間周波数的に重なりのない低周波画像と高周波画像を作
成し、それぞれの画像から独立に道路領域と道路白線候
補輪郭点を検出することにより、精度の高い道路白線検
出を実現することができる。
【００２５】（実施の形態２）図１１は本発明の実施の
形態による道路白線検出装置を示すブロック図である。
この道路白線検出装置は、道路画像撮影手段１１１，ボ
ケ画像生成手段１１２，領域分割手段１１３，上部道路
領域検出手段１１４，エッジ画像抽出手段１１５，輪郭
点推定手段１１６，底部道路輪郭点抽出手段１１７，走
行車線設定手段１１８を含んで構成されている。
形態による道路白線検出装置を示すブロック図である。
この道路白線検出装置は、道路画像撮影手段１１１，ボ
ケ画像生成手段１１２，領域分割手段１１３，上部道路
領域検出手段１１４，エッジ画像抽出手段１１５，輪郭
点推定手段１１６，底部道路輪郭点抽出手段１１７，走
行車線設定手段１１８を含んで構成されている。
【００２６】道路画像撮影手段１１１は車両前方の道路
画像を入力するものであり、ＴＶカメラが用いられる。
このＴＶカメラを車両前方のほぼ中央部に配置しておく
ものとすれば、撮像手段１１１より得られる画像の底面
中央部Ｒは図２(a)に示すように道路を含むものとな
る。ボケ画像生成手段１１２は道路画像撮影手段１１１
からの輝度データを使用して空間周波数の低い成分のみ
の画像を生成するものであり、二次元ローパスフィルタ
（ＬＰＦ）により構成される。領域分割手段１１３はボ
ケ画像生成手段１１２からの低周波数画像データを使用
して、輝度の分布から輝度値がほぼ等しい領域毎にひと
まとめにして画像を分割するものである。
画像を入力するものであり、ＴＶカメラが用いられる。
このＴＶカメラを車両前方のほぼ中央部に配置しておく
ものとすれば、撮像手段１１１より得られる画像の底面
中央部Ｒは図２(a)に示すように道路を含むものとな
る。ボケ画像生成手段１１２は道路画像撮影手段１１１
からの輝度データを使用して空間周波数の低い成分のみ
の画像を生成するものであり、二次元ローパスフィルタ
（ＬＰＦ）により構成される。領域分割手段１１３はボ
ケ画像生成手段１１２からの低周波数画像データを使用
して、輝度の分布から輝度値がほぼ等しい領域毎にひと
まとめにして画像を分割するものである。
【００２７】上部道路領域検出手段１１４は低周波画像
の輝度分布によって分割された領域を道路に関する知識
を使用して画像上部からその領域を併合して車線領域を
検出するものである。ここで道路に関する知識とは、道
路画像撮像手段１１１より撮影された画像の底面中央の
点Ｒを含む領域は道路であるということであり、又これ
に加えて、左右の白線が交差する消失点が時間的に急激
には変化しないことや、道路の画素に占める大きさがほ
ぼ一定である等を含めることもできる。従って少なくと
も点Ｒを含む領域とし、又はこれに加えて隣接する領域
を加えて道路とする。
の輝度分布によって分割された領域を道路に関する知識
を使用して画像上部からその領域を併合して車線領域を
検出するものである。ここで道路に関する知識とは、道
路画像撮像手段１１１より撮影された画像の底面中央の
点Ｒを含む領域は道路であるということであり、又これ
に加えて、左右の白線が交差する消失点が時間的に急激
には変化しないことや、道路の画素に占める大きさがほ
ぼ一定である等を含めることもできる。従って少なくと
も点Ｒを含む領域とし、又はこれに加えて隣接する領域
を加えて道路とする。
【００２８】一方エッジ画像抽出手段１１５は、道路画
像撮影手段１１１からの輝度データを使用して空間周波
数の高い成分のみの画像を生成するものであり、二次元
ハイパスフィルタ（ＨＰＦ）により構成される。ボケ画
像生成手段１１２とエッジ画像抽出手段１１５とは道路
画像撮像手段１１１により撮像された画像のうち、選択
する周波数が重ならないように夫々低周波と高周波とを
分離している。輪郭点推定手段１１６はエッジ画像抽出
手段１１５からの高周波画像データを使用して、道路の
白線に相当する白線候補となる推定輪郭点を検出するも
のである。底部道路輪郭点抽出手段１１７は、輪郭点推
定手段１１６で検出した推定輪郭点を使用して画像底部
から上方に向かって道路白線の輪郭点候補を検出し車線
領域を検出するものである。走行車線設定手段１１８
は、前記上部道路領域検出手段１１４で検出した車線領
域と前記底部道路輪郭点抽出手段１１７で検出した車線
領域を併合してひとつの車線として検出するものであ
る。
像撮影手段１１１からの輝度データを使用して空間周波
数の高い成分のみの画像を生成するものであり、二次元
ハイパスフィルタ（ＨＰＦ）により構成される。ボケ画
像生成手段１１２とエッジ画像抽出手段１１５とは道路
画像撮像手段１１１により撮像された画像のうち、選択
する周波数が重ならないように夫々低周波と高周波とを
分離している。輪郭点推定手段１１６はエッジ画像抽出
手段１１５からの高周波画像データを使用して、道路の
白線に相当する白線候補となる推定輪郭点を検出するも
のである。底部道路輪郭点抽出手段１１７は、輪郭点推
定手段１１６で検出した推定輪郭点を使用して画像底部
から上方に向かって道路白線の輪郭点候補を検出し車線
領域を検出するものである。走行車線設定手段１１８
は、前記上部道路領域検出手段１１４で検出した車線領
域と前記底部道路輪郭点抽出手段１１７で検出した車線
領域を併合してひとつの車線として検出するものであ
る。
【００２９】次にこのように構成された道路白線検出装
置の動作について、図２，図３の画像例及び図１２のフ
ローチャートを用いて説明する。図２（ａ）は画像入力
手段からの輝度画像である。さてステップＳ１におい
て、２次元のローパスフィルタ（ＬＰＦ）に道路画像撮
像手段１１１からの画像データを入れて、図５に示すよ
うな２次元の周波数面（ω１，ω２）で原点を中心に半
径ω＝ω０以下の低周波画像データを作成する。図２
（ｂ）はこうして得られたボケ画像を示す図である。次
にステップＳ２において、低周波画像データを用いて輝
度によるヒストグラムを作成する。図６はこうして作成
された輝度値ヒストグラムの一例を示す。
置の動作について、図２，図３の画像例及び図１２のフ
ローチャートを用いて説明する。図２（ａ）は画像入力
手段からの輝度画像である。さてステップＳ１におい
て、２次元のローパスフィルタ（ＬＰＦ）に道路画像撮
像手段１１１からの画像データを入れて、図５に示すよ
うな２次元の周波数面（ω１，ω２）で原点を中心に半
径ω＝ω０以下の低周波画像データを作成する。図２
（ｂ）はこうして得られたボケ画像を示す図である。次
にステップＳ２において、低周波画像データを用いて輝
度によるヒストグラムを作成する。図６はこうして作成
された輝度値ヒストグラムの一例を示す。
【００３０】さて図２（ａ）において画像の底面の中央
部の点ＲはＴＶカメラが車両前方のほぼ中央に取付けら
れているものとすれば、この部分は確実に道路を映し出
している。従ってこの点Ｒの輝度値を輝度ヒストグラム
から読出すと、この輝度を含む領域が道路であると推定
できる。従ってステップＳ３において、画像底部の中央
の点Ａの輝度値の輝度ヒストグラムでの位置を中心に輝
度の高い方と低い方に向かって度数変化の変極点を探
す。ステップＳ４において、変極点に囲まれた輝度値の
輝度画像での範囲を求める。
部の点ＲはＴＶカメラが車両前方のほぼ中央に取付けら
れているものとすれば、この部分は確実に道路を映し出
している。従ってこの点Ｒの輝度値を輝度ヒストグラム
から読出すと、この輝度を含む領域が道路であると推定
できる。従ってステップＳ３において、画像底部の中央
の点Ａの輝度値の輝度ヒストグラムでの位置を中心に輝
度の高い方と低い方に向かって度数変化の変極点を探
す。ステップＳ４において、変極点に囲まれた輝度値の
輝度画像での範囲を求める。
【００３１】図２（ｃ）はこうして複数の領域に分割さ
れた画像を示している。これに前述した道路についての
知識を加えて、図２（ｄ）の領域を車線領域とする。こ
こでステップＳ２，３はボケ画像から輝度変化の少ない
領域毎に分割する領域分割手段１１３の機能を達成して
おり、ステップＳ５は上部道路領域検出手段１１４の機
能を達成している。
れた画像を示している。これに前述した道路についての
知識を加えて、図２（ｄ）の領域を車線領域とする。こ
こでステップＳ２，３はボケ画像から輝度変化の少ない
領域毎に分割する領域分割手段１１３の機能を達成して
おり、ステップＳ５は上部道路領域検出手段１１４の機
能を達成している。
【００３２】一方ステップＳ５では、２次元のハイパス
フィルタ（ＨＰＦ）に道路画像撮像手段１１１からの画
像データを入れて、図５に示すような２次元の周波数面
（ω１，ω２）で原点を中心に半径ω＝ω３より大きい
高周波画像データを作成する。図３（ｅ）は輝度画像か
ら得られるエッジ画像を示している。
フィルタ（ＨＰＦ）に道路画像撮像手段１１１からの画
像データを入れて、図５に示すような２次元の周波数面
（ω１，ω２）で原点を中心に半径ω＝ω３より大きい
高周波画像データを作成する。図３（ｅ）は輝度画像か
ら得られるエッジ画像を示している。
【００３３】次にステップＳ６において、図１３に示す
ように画像底部から上方に向かって分割した領域ごとに
閾値ｔｈを設定する。ステップＳ７において、各領域で
その閾値ｔｈを超える点を検出するとともに前回求めた
点との距離および方向を計算する。ステップＳ８で、前
記距離の変化がΔＬ、方向の変化がΔΘより大きければ
道路輪郭点ではないと見做しステップＳ７に戻ってさら
に探索を続ける。ステップＳ９では、ステップＳ８で検
出した左右の道路輪郭点をそれぞれ結んでそれらの線で
挟まれる領域を底部道路車線領域とする。
ように画像底部から上方に向かって分割した領域ごとに
閾値ｔｈを設定する。ステップＳ７において、各領域で
その閾値ｔｈを超える点を検出するとともに前回求めた
点との距離および方向を計算する。ステップＳ８で、前
記距離の変化がΔＬ、方向の変化がΔΘより大きければ
道路輪郭点ではないと見做しステップＳ７に戻ってさら
に探索を続ける。ステップＳ９では、ステップＳ８で検
出した左右の道路輪郭点をそれぞれ結んでそれらの線で
挟まれる領域を底部道路車線領域とする。
【００３４】ステップＳ１０では、ステップＳ４で検出
した上部道路車線領域とステップＳ９で検出した底部道
路車線領域を重複を許して一つの車線に合併する。
した上部道路車線領域とステップＳ９で検出した底部道
路車線領域を重複を許して一つの車線に合併する。
【００３５】以上のように、画像上部では領域抽出で車
線を検出し、画像底部ではエッジデータによって車線を
検出することによって夜間雨天時の車線検出も可能にな
る。
線を検出し、画像底部ではエッジデータによって車線を
検出することによって夜間雨天時の車線検出も可能にな
る。
【００３６】
【発明の効果】以上詳細に説明したように本発明によれ
ば、空間周波数的に重なりのない低周波画像と高周波画
像から独立して道路領域と道路白線候補の輪郭点を検出
している。そのため高周波画像のみから輪郭点を検出す
る従来例に比べてノイズの影響を受け難く、白線を高精
度で検出することができるという効果が得られる。
ば、空間周波数的に重なりのない低周波画像と高周波画
像から独立して道路領域と道路白線候補の輪郭点を検出
している。そのため高周波画像のみから輪郭点を検出す
る従来例に比べてノイズの影響を受け難く、白線を高精
度で検出することができるという効果が得られる。
【００３７】また、場所ごとに検出方法を変えることに
より夜間雨天時のような悪環境下でも車線の検出ができ
るようになる。
より夜間雨天時のような悪環境下でも車線の検出ができ
るようになる。
【図１】本発明の実施の形態による道路白線検出装置を
示すブロック図
示すブロック図
【図２】入力画像とその画像処理の過程を示す図（その
１）
１）
【図３】画像処理の過程を示す図（その２）
【図４】実施の形態における道路白線検出の処理フロー
チャート
チャート
【図５】実施の形態において生成画像の空間周波数と処
理する画像信号の一例を示す図
理する画像信号の一例を示す図
【図６】この実施の形態において生成される輝度ヒスト
グラムの一例を示す図
グラムの一例を示す図
【図７】実施の形態において空間周波数の高い成分のみ
の画像において白線輪郭点を検索する一例を示す図
の画像において白線輪郭点を検索する一例を示す図
【図８】ハフ空間とスプライン曲線の係数の領域を示す
図
図
【図９】従来の道路白線検出装置の一例を示すブロック
図
図
【図１０】従来の道路白線検出装置との入力画像を示す
図
図
【図１１】本発明の実施の形態による道路白線検出装置
を示すブロック図
を示すブロック図
【図１２】道路白線検出装置の動作のフローチャート
【図１３】画像を分割して領域ごとに閾値を設定する仕
方を示した図
方を示した図
１１ 道路画像撮影手段 １２ ボケ画像生成手段 １３ 領域分割手段 １４ 道路領域検出手段 １５ エッジ画像抽出手段 １６ 輪郭点推定手段 １７ 道路輪郭点抽出手段 １８ 曲線検出手段
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−298446（ＪＰ，Ａ) 特開 平６−203154（ＪＰ，Ａ) 特開 平９−6971（ＪＰ，Ａ) 特開 平９−288738（ＪＰ，Ａ) 特開 平９−330416（ＪＰ，Ａ) 特開 平９−319872（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/40 G06T 1/00 G06T 7/60 G08G 1/16 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (5)
- 【請求項１】 道路画像データから空間周波数の低い周
波成分のみのデータを生成することによりボケ画像を生
成し、前記ボケ画像生成ステップで生成したボケ画像デ
ータを使用して輝度が実質的に同一の領域毎に分割し、
前記領域分割ステップからの領域分割データから画像の
所定位置を含む領域を道路領域として検出し、 道路画像データのうち前記ボケ画像生成ステップで生成
した空間周波数成分を含まない互いに独立な空間周波数
の高い成分のみを検出することによりエッジ画像を抽出
し、前記エッジ画像抽出ステップからの高周波成分デー
タから道路白線に対応すると推定される推定輪郭点を推
定し、 前記道路領域検出ステップより検出された道路領域に含
まれる前記輪郭点推定ステップから得られる道路白線の
推定輪郭点のみを抽出し、 前記輪郭点抽出ステップで抽出された白線輪郭点を使用
して白線を検出することを特徴とする道路白線検出方
法。 - 【請求項２】 車両前方の道路を撮影する道路画像撮影
手段と、 前記道路画像撮影手段からの道路画像データのうち空間
周波数の低い周波成分のみのデータを生成するボケ画像
生成手段と、 前記ボケ画像生成手段から得られる画像データを使用し
て輝度が実質的に同一の領域毎に分割する領域分割手段
と、 前記領域分割手段からの領域分割データから画像の所定
位置を含む領域を道路領域として検出する道路領域検出
手段と、 前記道路画像撮影手段からの道路画像データのうち空間
周波数の高い周波成分を検出するエッジ画像抽出手段
と、 前記エッジ画像抽出手段からの高周波成分データから道
路白線に対応すると推定される推定輪郭点を抽出する輪
郭点推定手段と、 前記道路領域検出手段より検出された道路領域に含まれ
る前記輪郭点推定手段から得られる道路白線の推定輪郭
点のみを選択する輪郭点抽出手段と、 前記輪郭点抽出手段から抽出された白線輪郭点を使用し
て多項式による曲線として白線を検出する曲線検出手段
と、を具備することを特徴とする道路白線検出装置。 - 【請求項３】 前記輪郭点抽出手段は、前記道路領域検
出手段より検出された道路領域に含まれ、且つ道路領域
の端部から所定範囲内にある前記輪郭点推定手段からの
推定輪郭点を選択するものであることを特徴とする請求
項２記載の道路白線検出装置。 - 【請求項４】 前記曲線検出手段は、各白線輪郭点を通
るスプライン曲線を検出し、該白線輪郭点の一部から複
数のスプライン補間式を算出し、スプライン補間式の最
多係数値に基づいて該スプライン曲線の係数値を補正す
ることにより曲線を算出するものであることを特徴とす
る請求項２記載の道路白線検出装置。 - 【請求項５】 前記道路領域検出ステップは、低周波画
像の輝度分布によって分割された領域を道路に関する知
識を使用して画像上部からその領域を併合して車線領域
を検出することを特徴とする請求項１記載の道路白線検
出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09139484A JP3104645B2 (ja) | 1996-08-28 | 1997-05-29 | 道路白線検出方法及び道路白線検出装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22661096 | 1996-08-28 | ||
| JP8-226610 | 1996-08-28 | ||
| JP09139484A JP3104645B2 (ja) | 1996-08-28 | 1997-05-29 | 道路白線検出方法及び道路白線検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10124687A JPH10124687A (ja) | 1998-05-15 |
| JP3104645B2 true JP3104645B2 (ja) | 2000-10-30 |
Family
ID=26472285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09139484A Expired - Fee Related JP3104645B2 (ja) | 1996-08-28 | 1997-05-29 | 道路白線検出方法及び道路白線検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3104645B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3444192B2 (ja) * | 1998-05-21 | 2003-09-08 | 日産自動車株式会社 | 撮像環境推定装置 |
| JP4451179B2 (ja) * | 2004-03-26 | 2010-04-14 | クラリオン株式会社 | 車線位置検知システム |
| JP2007050110A (ja) * | 2005-08-18 | 2007-03-01 | Pentax Corp | 画像処理装置および電子内視鏡装置 |
| JP5117522B2 (ja) * | 2010-03-08 | 2013-01-16 | 本田技研工業株式会社 | 車両周辺監視装置 |
| KR101612822B1 (ko) * | 2011-08-05 | 2016-04-15 | 엘지전자 주식회사 | 차선 인식 장치 및 그 방법 |
| FR3051275A1 (fr) * | 2016-05-13 | 2017-11-17 | Inst Vedecom | Procede de traitement d’image pour la reconnaissance de marquage au sol et systeme pour la detection du marquage au sol |
-
1997
- 1997-05-29 JP JP09139484A patent/JP3104645B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10124687A (ja) | 1998-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3868876B2 (ja) | 障害物検出装置及び方法 | |
| JP3759429B2 (ja) | 障害物検出装置及びその方法 | |
| US9256791B2 (en) | Road vertical contour detection | |
| US8548226B2 (en) | Stereo image processing device and method | |
| JP6233345B2 (ja) | 路面勾配検出装置 | |
| EP2767927A2 (en) | Face information detection apparatus, vehicle device control system employing face information detection apparatus, and carrier medium of face information detection program | |
| JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
| US20110262009A1 (en) | Method and apparatus for identifying obstacle in image | |
| JP6711395B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム | |
| JPH11351862A (ja) | 前方車両検出方法及び装置 | |
| JP3961584B2 (ja) | 区画線検出装置 | |
| JP6733302B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| JP2015148887A (ja) | 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム | |
| JP5421819B2 (ja) | 車線認識装置 | |
| JP2005217883A (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| US9384576B2 (en) | Method and device for computing a change in an image scale of an object | |
| JP3807651B2 (ja) | 白線認識装置 | |
| JP3104645B2 (ja) | 道路白線検出方法及び道路白線検出装置 | |
| JP3319401B2 (ja) | 走行路認識装置 | |
| JP3915621B2 (ja) | レーンマーク検出装置 | |
| WO2022009537A1 (ja) | 画像処理装置 | |
| JP4039402B2 (ja) | 物体検出装置 | |
| JPH1141521A (ja) | 撮像装置および車間距離計測装置ならびに車間距離計測方法 | |
| JP7134780B2 (ja) | ステレオカメラ装置 | |
| JP2003323627A (ja) | 車両検出装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080901 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080901 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |