JP3672994B2 - 白線検出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ（Charge Coupled Device ）等の固体撮像素子により得られた画像データを用い、走行路面上の白線レーンマークを検出する白線検出装置に関するものである。
【０００２】
【従来の技術】
道路上の白線レーンマークを画像処理技術を用いて抽出する場合、一般に白線レーンマークが走行路面より明るいことを利用している。例えば図９の画像に対してエッジ強調することで図１０に示すように白線レーンマークと道路面の境界を抽出し、そのエッジ点を抽出することで白線レーンマークを抽出する方法がある。図１１に従来のエッジ検出手順の一例を示す。
【０００３】
図１１のステップ３０１では、画像の明るさを示す水平走査方向の画像データについて、ｉ番目のデータＤi と（ｉ−１）番目のデータＤi-1 とから、差の絶対値ΔＤi を算出する。続くステップ３０２では、差の絶対値ΔＤi としきい値Ａの比較を行う。ここで、しきい値Ａは画像データがエッジとして有効かどうかを判断するための値である。ΔＤi ≦Ａの場合、データＤi はエッジではないとみなし、ステップ３０３に進む。ステップ３０３では、エッジデータＥＤi を「０」にクリアする。また、ΔＤi ＞Ａの場合、データＤi はエッジであるとみなし、ステップ３０４に進む。ステップ３０４では、エッジデータＥＤi に「１」をセットする。ここで、ＥＤi ＝０は、その時のデータＤi が白線エッジでないことを意味し、ＥＤi ＝１は、その時のデータＤi が白線エッジであることを意味する。
【０００４】
また、図１２は、上記エッジ検出処理を実現するための回路例を示す。図１２において、ＣＣＤカメラからのアナログ画像信号はＡ／Ｄ変換器７１にてＡ／Ｄ変換される。デジタル画像データはラッチ回路７２，７３に直列に入力され、ラッチ回路７２ではデータＤi が、ラッチ回路７３ではデータＤi-1 が出力される。また、データＤi ，Ｄi-1 は演算回路７４に入力され、同演算回路７４では各データの差の絶対値ΔＤi が算出される（ΔＤi ＝｜Ｄi −Ｄi-1 ｜）。
【０００５】
差の絶対値ΔＤi は比較器７５に入力され、同比較器７５では差の絶対値ΔＤi と所定のしきい値Ａとが比較される。この場合、差の絶対値ΔＤi がしきい値Ａより大きければ、真のエッジであるとみなされ比較器７５の出力は「１」となる。差の絶対値ΔＤi がしきい値Ａ以下であれば、真のエッジでないとみなされ比較器７５の出力は「０」となる。比較器７５から出力されるエッジデータはエッジデータメモリ７６に保存される。
【０００６】
【発明が解決しようとする課題】
ところが、上記従来の白線検出装置では、以下に示す問題を生ずる。つまり、夜間及びトンネル内においては対向車のヘッドライトや街路灯の明かりがＣＣＤカメラの視野に入るとブルーミングとスミアという現象を起こし、図１３，１４に示すようにＣＣＤの電荷転送方向である画面の縦方向に明るい筋を発生する。これを、従来の方法でエッジ強調を行うと、図１５に示すようにブルーミングやスミアによる明るい筋も白線レーンマークと同様にエッジを呈する。そのため、ブルーミングやスミアによるエッジは白線レーンマーク抽出に対してノイズとなり、白線レーンマーク抽出の精度が悪くなる。
【０００７】
本発明は、上記問題に着目してなされたものであって、その目的は、明るい光源により発生するブルーミングやスミアの影響を排除し、白線レーンマークを安定に抽出することができる白線検出装置を提供することにある。
【０００８】
【課題を解決するための手段】
夜間やトンネル内における対向車のヘッドライトや街路灯などの明るい光源により発生するブルーミングや強いスミアは、固体撮像素子（ＣＣＤ）による明るさ飽和レベルに達している。これに対して、白線レーンマークの明るさはＣＣＤの飽和レベルに達することは稀である。図１６は、白線レーンマークとブルーミング及びスミアによる明るい筋の両者を含む領域の走査線α，β方向の明るさを示す。
【０００９】
そこで、本発明では、エッジ強調を行う場合に画像の明るさを考慮し、もし明るさが飽和レベルに近ければそのエッジデータはブルーミングと強いスミアによる偽のエッジデータであるとみなし、白線レーンマークのエッジとはしないようにする。このとき、図中の判定値（しきい値Ｂ）は明るさの飽和レベルの９０〜９５％程度が望ましい。これにより、ブルーミングや強いスミアの影響を排除することができ、安定した白線検出が実現できる。
【００１１】
一方、夜間における対向車のヘッドライトや街路灯などによりブルーミングが発生するとＣＣＤの電荷の転送方向にスミアが発生する。光源の光が強く、且つ、その光の方向がＣＣＤカメラの光軸方向にあれば強いスミアが発生するが、そうでないときは弱いスミアが発生する。このような弱いスミアが発生する場合、請求項１に記載した手法にて偽のエッジデータが無効化（排除）される。
【００１２】
つまり、スミアはブルーミングの発生している場所でＣＣＤの電荷転送方向に発生する。そのため、弱いスミアによる偽のエッジデータはブルーミングの発生している位置にてＣＣＤの電荷転送方向に現れる。よって、ブルーミングの発生している位置のＣＣＤの電荷転送方向にあるエッジを排除すれば弱いスミアの影響を排除できる。そこで、請求項１に記載の発明では、判定手段は、画像データの明るさが所定の判定値よりも明るいか否かを判定する。記憶手段は、画像データの明るさが判定値よりも明るい場合、その位置を記憶する。エッジデータ無効化手段は、ＣＣＤの電荷転送方向について前記記憶手段により記憶された位置と同じ位置のエッジデータを無効とする。その結果、ブルーミングやスミアにより発生する偽の白線エッジデータが確実に排除でき、白線レーンマークを安定して抽出することができる。
ところで、上述したブルーミングやスミアによる白線の誤検出は、暗闇となる夜間やトンネル内にて生じ易い。そこで、請求項３に記載した発明のように、自車両のヘッドライトの点灯に伴って、本発明の要旨であるエッジデータの無効化処理を実施するようにしてもよい。また、請求項４に記載した発明のように、ブルーミングやスミアレベルを判定するための判定値（しきい値Ｂ）を暗闇かそうでないかに応じて可変に設定するようにしてもよい。
【００１３】
【発明の実施の形態】
（第１の実施の形態）
以下、この発明を具体化した第１の実施形態を図面に従って説明する。先ず最初に略述すれば、本実施の形態における白線レーンマーク検出装置では、ＣＣＤカメラにより得られたアナログ画像信号をエッジ検出回路に取り込み、同エッジ検出回路においてアナログ画像信号の明るさの変化に基づき白線エッジを検出する。この際、エッジ検出回路では、ＣＣＤの飽和レベル付近に達する画像データを無効化し、画像内におけるブルーミングやスミアに起因する白線の誤検出を防止する。そして、白線エッジデータを用いて走行路面上の白線レーンマークを抽出する。図１は本実施の形態におけるエッジ検出回路の構成を示す。
【００１４】
図１のエッジ検出回路１０において、ＣＣＤカメラからのアナログ画像信号はＡ／Ｄ変換器１１に入力される。同Ａ／Ｄ変換器１１ではアナログ画像信号がＡ／Ｄ変換され、デジタル画像データが出力される。ここで、デジタル画像データＤi は画像内における水平走査方向のｉ番目の画素の明るさを示すデータである。デジタル画像データはラッチ回路１２，１３に直列に入力され、ラッチ回路１２ではデータＤi が、ラッチ回路１３ではデータＤi-1 が出力される。また、データＤi ，Ｄi-1 は演算回路１４に入力され、同演算回路１４では各データの差の絶対値ΔＤi が算出される（ΔＤi ＝｜Ｄi −Ｄi-1 ｜）。
【００１５】
差の絶対値ΔＤi は比較器１５に入力され、同比較器１５では差の絶対値ΔＤi と所定のしきい値Ａとが比較される。ここで、しきい値Ａは画像データがエッジとして有効かどうかを判断するための値である。この場合、差の絶対値ΔＤi がしきい値Ａより大きければ、比較器１５の出力は「１」となる。このことは、画像データＤi が白線エッジを含む可能性があることを意味する。差の絶対値ΔＤi がしきい値Ａ以下であれば、比較器１５の出力は「０」となる。このことは、画像データＤi が白線エッジを含まないことを意味する。
【００１６】
一方、比較器１６には、画像データＤi 及びしきい値Ｂが入力され、比較器１７には、画像データＤi-1 及びしきい値Ｂが入力される。ここで、しきい値Ｂは、ブルーミングとスミアレベルを判定するための判定値であり、ＣＣＤの明るさの飽和レベルの９５％程度に設定されている。このとき、Ｄi-1 ＜Ｂであれば比較器１６の出力は「１」になり、Ｄi-1 ≧Ｂであれば比較器１６の出力は「０」になる。また、Ｄi ＜Ｂであれば比較器１７の出力は「１」になり、Ｄi ≧Ｂであれば比較器１７の出力は「０」になる。
【００１７】
つまり、画像データＤi ，Ｄi-1 の明るさがしきい値Ｂ以上となることは、当該画像データＤi ，Ｄi-1 がブルーミング又はスミアであることを意味する。従って、かかる場合には、その時のエッジデータを無効化すべく、比較器１６，１７の出力が「０」に固定される。
【００１８】
比較器１５〜１７の出力はＡＮＤゲート１８に入力され、ＡＮＤゲート１８では比較器１５〜１７の出力が共に「１」であればエッジデータＥＤi として「１」が出力される。エッジデータＥＤi が「１」であることは、画像データＤi が真の白線エッジであることを意味する。また、比較器１５〜１７の出力のいずれかが「０」であれば、エッジデータＥＤi として「０」が出力される。エッジデータＥＤi が「０」であることは、画像データＤi が偽の白線エッジであることを意味する。ＡＮＤゲート１８から出力されたエッジデータＥＤi は、エッジデータメモリ１９に保存される。
【００１９】
次に、上記エッジ検出回路１０により実現されるエッジ検出手順について、図２のフローチャートを用いて説明する。
図２において、先ず画像データＤi ，Ｄi-1 の差の絶対値ΔＤi を算出し（ステップ１０１）、差の絶対値ΔＤi がしきい値Ａ（エッジとして有効かどうかを判定する値）よりも大きいか否かを判別する（ステップ１０２）。ΔＤi ≦Ａであれば、今回の画像データＤi はエッジではないとしてエッジデータＥＤi を「０」にクリアする（ステップ１０４）。
【００２０】
ΔＤi ＞Ａであれば（ステップ１０２がＹＥＳの場合）、画像データＤi が白線エッジである可能性があるとしてステップ１０３に進む。ステップ１０３では、ｉ番目の画像データＤi がしきい値Ｂよりも小さく、且つ（ｉ−１）番目の画像データＤi-1 がしきい値Ｂよりも小さいか否かを判別する。このとき、ステップ１０２，１０３が共に肯定判別されれば、エッジデータＥＤi に「１」をセットする（ステップ１０５）。また、ステップ１０２，１０３のいずれかが否定判別されれば、エッジデータＥＤi を「０」にクリアする（ステップ１０４）。
【００２１】
そして、上記のように求められエッジデータＥＤi を用い、図示しないＣＰＵにより白線決定処理が行われる。この白線決定処理を略述すれば、先ず前記エッジデータメモリ１９に保存されている白線エッジデータについて、白線が直線状とみなし得る自車両に近い所定範囲（例えば、画面の下１／３）の画素に対してハフ変換を行う。これにより、画像上の比較的多数の画素を連ねる複数の直線が得られる。また、かかる処理にて得られた直線を基に、自車両に近い画像位置から遠い位置へ前記直線近傍の一定範囲内に画素が存在することを確認し、これら画素を白線レーンマークとして決定する。この場合、湾曲或いは断続する白線についても、確実且つ容易に白線レーンマークを検索できる。
【００２２】
次に、本実施の形態における効果を説明する。
（ａ）夜間及びトンネル内においては対向車のヘッドライトや街路灯の明かりがＣＣＤカメラの視野に入るとブルーミングとスミアという現象を起こし、白線エッジを誤検出してしまうという問題を生じる。しかし、上記のようなエッジ検出手順によれば、画像データＤi の明るさに基づいてブルーミングやスミアによるエッジデータが無効化され、ブルーミングや強いスミア等の影響が排除できる。その結果、白線エッジの誤検出を防止することができ、白線レーンマークを安定して抽出することができる。
【００２３】
（ｂ）本実施の形態では、従来のエッジ検出回路（図１２参照）に対し、主に比較器１６，１７及びＡＮＤゲート１８を追加したことを特徴とするが、このような簡単な回路でブルーミングとスミアによる偽のエッジデータを排除することができる。
【００２４】
（ｃ）本実施の形態では、図１に示すエッジ検出回路１０を構成したため、高速に白線エッジを検出することができる。即ち、１画面分の画像をメモリに取り込み、その後メモリデータを用いてエッジ検出を行う場合には、画像を取り込む時間と、その後のエッジ検出処理にかかる時間とが不可欠になるが、本構成では画像を取り込みながらエッジを検出することができ、エッジ検出処理にかかる時間を必要とせず処理時間が短縮化できる。但し、画像をメモリに取り込み、その後ＣＰＵによりエッジ検出処理を実施することも勿論可能である。この場合、前記図２のアルゴリズムに従って演算が行われる。
【００２５】
（第２の実施の形態）
上記第１の実施の形態では、水平走査方向のｉ，（ｉ−１）番目の画像データＤi ，Ｄi-1 の値がブルーミングやスミアの判定レベル（しきい値Ｂ）より大きいか否かを判定し、その判定結果からブルーミングやスミアを白線エッジから無効化したが、これを下記のように変更する。つまり、図３に示すように、画像信号の暗から明、明から暗への変化は１画素の間にはできないことがある。従って、図３のような場合、隣合う画像データＤi ，Ｄi-1 だけではブルーミングとスミアによるエッジにも関わらず排除されないことになる。
【００２６】
そこで、本第２の実施の形態では、画像信号の立ち上がりを考慮し、ブルーミングやスミアの判定を行う画像の領域を拡げて構成する。図４は、本実施の形態におけるエッジ検出回路を示す。図４について、前記第１の実施の形態におけるエッジ検出回路（図１）との相違点を中心に説明する。なお、図４では、前記図１と共通の構成に対して同一の符号を付し、その説明を簡略化する。
【００２７】
図４のエッジ検出回路２０において、Ａ／Ｄ変換器１１にてＡ／Ｄ変換されたデジタル画像データは、ラッチ回路２１，２２，２３，２４，２５を通り、この際、ラッチ回路２１ではデータＤi+1 が、ラッチ回路２２ではデータＤi が、ラッチ回路２３ではデータＤi-1 が、ラッチ回路２４ではデータＤi-2 が、ラッチ回路２５ではデータＤi-3 が出力される。
【００２８】
演算回路１４では、データＤi ，Ｄi-1 から差の絶対値ΔＤi が求められ、比較器１５では、前記差の絶対値ΔＤi としきい値Ａ (エッジとして有効かどうかを判定するための値）とが大小比較される。このとき、ΔＤi ＞Ａであれば、比較器１５の出力は「１」となる（図１と同様）。
【００２９】
併せて、本エッジ検出回路２０では、比較器２６，２７，２８，２９が設けられている。そして、比較器２６では、データＤi+1 がしきい値Ｂ（ブルーミングやスミアの判定レベル）よりも小さいか否かが判定され、比較器２７では、データＤi がしきい値Ｂよりも小さいか否かが判定される。また、比較器２８では、データＤi-1 がしきい値Ｂよりも小さいか否かが判定され、比較器２９では、データＤi-2 がしきい値Ｂよりも小さいか否かが判定される。各比較器２６〜２９の比較動作は、前記比較器１５の比較動作と平行して行われる。
【００３０】
比較器１５及び比較器２６〜２９の出力はＡＮＤゲート１８に入力される。そして、比較器１５，２６〜２９の出力が全て「１」の時、画像データＤi は有効なエッジと判定され、ＡＮＤゲートから出力されるエッジデータＥＤi は「１」となる。
【００３１】
かかる場合、明るい光源によるブルーミングや強いスミアによってデータＤi+1 ，Ｄi ，Ｄi-1 ，Ｄi-2 のいずれかがしきい値Ｂよりも大きくなれば、それに対応する比較器２６〜２９の出力が「０」となり、ＡＮＤゲート１８から出力されるエッジデータＥＤi が無効化される。つまり、ブルーミングや強いスミアによる白線の誤検出が回避される。
【００３２】
本実施の形態によれば、上記第１の実施の形態にて記載した効果に加えて、以下に示す効果を奏する。画像信号の暗から明、明から暗への変化が１画素の間にはできない場合であっても、その変化状態によるエッジの誤検出が防止される。つまり、ブルーミングとスミアの判定値（レベルＢ）との比較を行う画像の領域を拡げることにより、画像信号の立ち上がりを考慮して確実にブルーミングやスミアによる偽のエッジデータを排除することができる。
【００３３】
（第３の実施の形態）
次に、本発明を具体化した第３の実施の形態を説明する。本実施の形態では、白線検出回路でエッジを抽出する際、アップエッジとダウンエッジとに分けて抽出する。ここで、アップエッジとは、画像を左から右へ横方向に走査していった場合、明るさが暗から明へと変化する時に相当し、ダウンエッジとは、画像を左から右へ横方向に走査していった場合、明るさが明から暗へと変化する時に相当する。そして、アップエッジとダウンエッジとについてペアリングを行い、白線レーンマークを抽出する。即ち、アップエッジとダウンエッジとが所定の間隔でアップエッジ、ダウンエッジの順に存在した場合、ペアリングできたとしアップエッジとダウンエッジの中点、又は、ダウンエッジの位置、又はアップエッジの位置を白線レーンマークのエッジ位置とする。
【００３４】
なお、本実施の形態では、水平走査方向のｉ番目の画像データＤi と、これに対して前後にｎ画素だけ離れた（ｉ−ｎ），（ｉ＋ｎ）番目の画像データＤi-n ，Ｄi+n とに着目して、これらの相対的な明るさの差により上記各エッジを検出する。
【００３５】
図５は、本実施の形態におけるエッジ検出回路を示す。図５のエッジ検出回路３０は、直列に接続された２つのｎ段シフトレジスタ３１，３２を有し、これらレジスタ３１，３２にＣＣＤカメラからのＤi+n 信号が入力されると、シフトレジスタ３１からはＤi 信号が、シフトレジスタ３２からはＤi-n 信号が得られる。なお、この場合の各信号Ｄi-n ，Ｄi ，Ｄi+n はＣＣＤカメラのアナログ出力を図略のＡ／Ｄ変換器でデジタル化したものである。上記各信号Ｄi ，Ｄi-n ，Ｄi+n はそれぞれ加算器３３，３４，３５に入力され、この加算器３３〜３５ではＤi ，Ｄi-n ，Ｄi+n にしきい値ＴＨＬ（エッジとして有効かどうかを判定するための値）が加算される。
【００３６】
加算後の各信号（Ｄi-n ＋ＴＨＬ），（Ｄi ＋ＴＨＬ），（Ｄi+n ＋ＴＨＬ）と上記信号Ｄi-n ，Ｄi ，Ｄi+n とは、比較器３６，３７，３８，３９に入力されて相互に比較される。このとき、比較器３７の出力は、Ｄi+n ＞Ｄi ＋ＴＨＬの時に「１」レベルとなり、比較器３８の出力は、Ｄi+n ＞Ｄi-n ＋ＴＨＬの時に「１」レベルとなる。これら比較器３７，３８の出力はＡＮＤゲート４３に入力される。一方、比較器３６の出力は、Ｄi-n ＞Ｄi ＋ＴＨＬの時に「１」レベルとなり、比較器３９の出力は、Ｄi-n ＞Ｄi+n ＋ＴＨＬの時に「１」レベルとなる。これら比較器３６，３９の出力はＡＮＤゲート４４に入力される。
【００３７】
上記比較器３６〜３９による比較動作と平行して、比較器４０，４１，４２では、データＤi+n ，Ｄi ，Ｄi-1 としきい値Ｂ（ブルーミングとスミアの判定レベル）とがそれぞれに大小比較される。このとき、Ｄi+n ＜Ｂ，Ｄi ＜Ｂ，Ｄi-1 ＜Ｂであれば、それに対応する比較器４０〜４２の出力が「１」となる。また、Ｄi+n ≧Ｂ，Ｄi ≧Ｂ，Ｄi-1 ≧Ｂであれば、それに対応する比較器４０〜４２の出力が「０」となる。データＤi+n ，Ｄi ，Ｄi-1 がしきい値Ｂ以上となることは、データＤi がブルーミングやスミアであることを意味する。
【００３８】
前記比較器４０〜４２の出力は、ＡＮＤゲート４３及び４４に入力される。しかして、ＡＮＤゲート４３の出力が「１」の時、アップエッジが生じていると判定され、４４の出力が「１」の時、ダウンエッジが生じていると判定される。このアップエッジ及びダウンエッジの判定結果は図示しないメモリに保存される。
【００３９】
本実施の形態によれば、既述した各実施の形態にて記載した効果に加えて、以下に示す効果を奏する。つまり、本実施の形態では、白線エッジの検出に際して、アップエッジとダウンエッジとを特定するようにした。そのため、白線レーンマークのエッジ検出の能力が向上する。この際、画像データＤi+n ，Ｄi ，Ｄi-1 の明るさがしきい値Ｂよりも大きければ、ブルーミング又は強いスミアによる偽のエッジデータとして排除するようにしたため、常に正確なエッジデータが抽出できる。
【００４０】
（第４の実施の形態）
次に、請求項１に記載の発明を具体化した第４の実施の形態について説明する。つまり、本実施の形態では、画像内の明るい光源に対応する画像の横位置を特定し、その位置を記憶しておく。そして、ＣＣＤの電荷転送方向について明るい光源に対応する横位置のエッジデータを無効とする。以下、図６，７のエッジ検出処理に従って、本実施の形態の構成を詳述する。なお、図６，７のエッジ検出処理は、メモリに取り込まれた画像についてＣＰＵにより所定周期で実施される処理に相当する。ここで、画像の大きさは横方向の画素数がｙｏｋｏ、縦方向の画素数がｔａｔｅであり、ＣＣＤの電荷転送方向は縦方向であるとする。
【００４１】
まず、図６のステップ２０１では横方向の画素番号を示すｉを「１」に、縦方向の画素番号を示すｊを「０」に、ブルーミングの数を示すｋを「０」に、ブルーミングの位置を保存する配列ｐｏｓｉ［］の最初の配列ｐｏｓｉ［０］を「−１」に、それぞれ初期化する。ステップ２０２では、画像データＤj,i がしきい値Ｂ（ブルーミングとスミアの判定レベル）よりも小さいか否かを判別する。Ｄj,i ＜Ｂであればステップ２０３に進み、Ｄj,i ≧Ｂであればステップ２０６に進む。
【００４２】
Ｄj,i ＜Ｂの場合、画像データＤj,i はブルーミング又はスミアによるものではない。そのため、ステップ２０３では、画像データＤj,i 及びＤj,i-1 の差の絶対値ΔＤj,i を求める。続くステップ２０４では、差の絶対値ΔＤj,i がしきい値Ａ（エッジとして有効かどうかを判定する値）よりも大きいか否かを判別する。ΔＤj,i ＞Ａであれば、画像データＤj,i は真のエッジであるとしてステップ２０５に進み、エッジデータＥＤj,i に「１」をセットする。ΔＤj,i ≦Ａであれば、画像データＤj,i は真のエッジではないとしてステップ２１０に進み、エッジデータＥＤj,i を「０」にクリアする。
【００４３】
一方、前記ステップ２０２でＤj,i ≧Ｂの場合、画像データＤj,i がブルーミングによるものとみなしてステップ２０６に進み、以下のステップ２０６〜２０９でブルーミング又はスミアの発生している位置ｉを配列ｐｏｓｉ［］に保存する。この時、同じ位置を重複して保存しないよう確認しながら、ブルーミングの位置を保存する。
【００４４】
つまり、ステップ２０６ではｎ＝０とする。ステップ２０７では、既に保存されている配列ｐｏｓｉ［ｎ］と、現時点でブルーミングが確認された横位置ｉ（ステップ２０２が否定判別された時の横位置）とを比較する。そして、ｉがブルーミング位置として既に保存されたものであれば、即ち、ステップ２０７が肯定判別されれば、新たに保存する必要はないのでステップ２１０に進む。ｐｏｓｉ［ｎ］とブルーミングのあった横位置ｉが異なり、ステップ２０７が否定判別されればステップ２０８に進む。この場合、ステップ２０８，２０８’の処理により、既に保存されているブルーミングの数ｋまでｐｏｓｉ［ｎ］とｉとが比較される。そして、全て異なっていればステップ２０９に進み、ｋ個目のブルーミングの横位置として現時点の横位置ｉをｐｏｓｉ［ｋ］に保存すると共に、ブルーミングの数ｋを「１」加算する。
【００４５】
ステップ２１０では、画像データＤj,i はエッジではないとしてＥＤj,i ＝０とする。こうしてステップ２０２〜２１０では、画像データＤj,i がエッジかエッジではないかの判定とブルーミングによる明るい点かどうかの判定が行われ、その判定結果が記憶される。
【００４６】
その後、ステップ２１１では、画像の横方向全体の判定が終了していないか否か、即ち、ｉが横方向の最終画素番号ｙｏｋｏよりも小さいか否かを判別する。横方向全体の判定が終了していなければ、ｉが横方向の最終画素番号ｙｏｋｏより小さくなり、ステップ２１１を肯定判別してステップ２１２に進む。ステップ２１２ではｉを「１」加算し、その後ステップ２０２に戻る。横方向全体の判定が終了していれば、ｉが横方向の最終画素番号ｙｏｋｏより大きくなり、ステップ２１１を否定判別してステップ２１３に進む。
【００４７】
ステップ２１３では、画像の縦方向全体の判定が終了していないか否か、即ち、ｊが縦方向の最終画素番号ｔａｔｅよりも小さいか否かを判別する。縦方向全体の判定が終了していなければ、ｊが縦方向の最終画素番号ｔａｔｅより小さくなり、ステップ２１３を肯定判別してステップ２１４に進む。ステップ２１４ではｊを「１」加算し、その後ステップ２０２に戻る。縦方向全体の判定が終了していれば、ｊが縦方向の最終画素番号ｔａｔｅより大きくなり、ステップ２１３を否定判別して図７のステップ２１５に進む。
【００４８】
図７のステップ２１５以降の処理では、ブルーミングが確認された位置（ｐｏｓｉ［］）の縦方向のエッジを偽エッジとして無効化（排除）する処理を行う。即ち、明るい光源によりブルーミングが発生すると、このブルーミングの上下方向にスミアが生じる。このとき、光源の明るさが強いか、又はその光の向きがＣＣＤカメラの光軸に一致すれば、強いスミアが発生するが、そうでなけば弱いスミアが発生する。例えば夜間における街路灯などでは弱いスミアが発生する。従って、上記スミア２０６〜２０９で確認されたブルーミングの位置を手掛かりとして、偽のエッジデータを無効化する。
【００４９】
詳述すれば、ステップ２１５では、ブルーミング位置を検索するためのｎを「０」に初期化し、続くステップ２１６では、縦方向の画素番号ｊを「０」に初期化する。ステップ２１７では、ｎ個目（当初はｎ＝０）のブルーミングの位置ｐｏｓｉ［ｎ］をｉに代入する。ステップ２１８では、ブルーミング位置に相当するデータＤj,i がスミアによる偽エッジであるとして、該当位置のエッジデータＥＤj,i を「０」に変更する。
【００５０】
ステップ２１９では、縦方向全体の変更が終了していないか否かを判別する。縦方向全体の判定が終了していなければ、ｊが縦方向の最終画素番号ｔａｔｅより小さくなり、ステップ２１９を肯定判別してステップ２２０に進む。ステップ２２０ではｊを「１」加算し、その後ステップ２１８に戻る。縦方向全体の変更が終了していれば、ｊが縦方向の最終画素番号ｔａｔｅより大きくなり、ステップ２１９を否定判別してステップ２２１に進む。
【００５１】
ステップ２２１ではｎを「１」加算し、続くステップ２２２では、ブルーミング数ｋ個すべての変更が終了したか否かを判別する。ｎがｋより小さければ（ｎ＜ｋの場合）、ブルーミング数ｋ個すべての変更が終了していないとしてステップ２１６に戻る。ｎがｋより大きければ（ｎ≧ｋの場合）、ブルーミング数ｋ個すべての変更が終了しているとして処理を終了する。
【００５２】
以上詳述した第４の実施の形態によれば、以下に示す効果を奏する。
（ａ）本実施の形態では、画像データの明るさが所定の判定値（しきい値Ｂ）よりも明るい場合、その位置をブルーミングの位置として記憶し、当該記憶された位置のＣＣＤの電荷転送方向（画像の縦方向）についてエッジデータを無効化するようにした。その結果、ブルーミングやスミアにより発生する偽の白線エッジデータが確実に排除でき、白線レーンマークを安定に抽出することができる。かかる場合、例えスミアが弱いものであっても、そのスミアによる白線エッジの誤検出が回避できる。
【００５３】
（ｂ）特に、図６，７のエッジ検出処理によれば、同一のブルーミング位置を重複して保存しないよう、過去データを確認しながらブルーミング位置を判定するようにした（ステップ２０６〜２０９）。その結果、ブルーミング位置が適正に保存できると共に、保存メモリ量を削減することができる。
【００５４】
（第５の実施の形態）
次に、画像を取り込みながらエッジを抽出するようにした第５の実施の形態について説明する。本実施の形態では、ＣＣＤカメラからのアナログ画像信号をＡ／Ｄ変換したデジタル画像に対して随時、偽のエッジデータを無効化（排除）し、エッジ検出処理の高速化を図る。
【００５５】
この場合、スミアを発生させる明るい光源は、通常図１３又は図１４に示すように、自車走行路を示すレーンマークより上方にある。故に、光源を検知してからそれより下方のデータに対してスミアによる偽エッジの排除処理を行えばレーンマーク抽出には十分である。要するに、白線検出の開始当初は画面の下１／３を使い、画面内で垂直方向に延びるものを排除すると共に、画面中央の消失点に延びるものを白線レーンマークとして抽出する。その後、画面１／３の白線データに基づいて画面全体の白線レーンマークを抽出する。そして、下記に示すエッジ検出に際しては、既に確認されている白線レーンマークの概要に従って、その近辺についてエッジ検出を実施する。
【００５６】
図８は本実施の形態におけるエッジ検出回路の一例を示す。以下、図８の回路の動作を説明する。なお、図８のエッジ検出回路５０において、画像データＤi ，Ｄi-1 からエッジレベルを判定する構成は、既述した回路例（例えば図１）と同等であり、ここでは説明を省略する。つまり、比較器１５は、画像データＤi ，Ｄi-1 の差の絶対値ΔＤi と所定のしきい値Ａとの比較結果に応じた２値信号を出力するものであり、ΔＤi ＞Ａであれば「１」を、ΔＤi ≦Ａであれば「０」を出力する。
【００５７】
また、上記差の絶対値ΔＤi としきい値Ａの比較動作と平行して、ブルーミングの発生した画像の横位置ではエッジデータが無効化される。詳しくは、比較器５１では、データＤi としきい値Ｂ（ブルーミングとスミアの判定レベル）とが比較される。データＤi がしきいＢよりも大きい場合、データＤi はブルーミングとみなされ、比較器５１の出力は「１」となる。カウンタ５２は、水平走査の開始時に出力される水平同期信号ＨＤでリセットされ、Ａ／Ｄ変換器で画像をサンプリングするためのクロックをカウントする。この場合、比較器５１の出力が「１」になった時、カウンタ５２のカウント値ＹＰが「ＢＰ」としてレジスタ５３に保存される。ここで、カウント値ＹＰがブルーミングの横位置に相当する。
【００５８】
比較器５４は、前記レジスタ５３に保存されたＢＰ値と横位置のカウンタ５２のＹＰ値とを随時比較し、ＢＰ＝ＹＰのとき「０」を、それ以外は「１」を出力する。比較器１５，５４の出力はＡＮＤゲート１８に入力される。そして、比較器１５，５４の出力が共に「１」の場合、画像データＤi は有効なエッジ（真のエッジ）と判定され、ＡＮＤゲート１８から出力されるエッジデータＥＤi は「１」となる。比較器１５，５４の出力のいずれかが「０」の場合、画像データＤi は有効でないエッジ（偽のエッジ）と判定され、ＡＮＤゲート１８から出力されるエッジデータＥＤi は「０」となる。
【００５９】
要するに、明るい光源によりブルーミングが発生すると、その旨が比較器５１にて判別され、その時の横位置のカウント値ＹＰがレジスタ５３に保存される。そして、ＣＣＤの電荷転送方向（画像の縦方向）に対する水平走査時において、レジスタ５３に保存されたＹＰ値になる毎に、エッジデータが無効化されることとなる。
【００６０】
本実施の形態によれば、前記第４の実施の形態で記載した効果に加えて、次の効果を奏する。つまり、第４の実施の形態で既述したソフト処理では、所定時間毎に画像をメモリに取り込み、その取り込まれた１枚の画像に対してエッジ検出を行う。そのため、１回当たりの処理時間が嵩むことになる。しかし、本実施の形態の構成によれば、画像を取り込みながらエッジを抽出することにより、１画面分の画像を取り込むだけの時間で処理を終えることができ、第４の実施の形態で既述したソフト処理にかかる時間の無駄を省くことができる。
【００６１】
なお、本発明は、上記実施の形態の他に次の様態にて具体化できる。
（１）上述したブルーミングやスミアによる白線の誤検出は、暗闇となる夜間やトンネル内にて生じ易い。そこで、例えば自車両のヘッドライトの点灯に伴って、本発明の要旨であるエッジデータの無効化処理を実施するようにしてもよい。また、暗闇かそうでないかに応じてブルーミングやスミアを判定するための判定値（しきい値Ｂ）を可変に設定するようにしてもよい。
【００６２】
（２）図８に示すエッジ検出回路１０の一部のみをソフト処理に変更してもよい。例えば図８のレジスタ５３をＲＡＭにて構成し、比較器５１，５４及びＡＮＤゲート１８をＣＰＵにより構成する。この場合、エッジデータを無効化するための構成だけがＣＰＵにより演算されることとなり、演算負荷の軽減並びに回路構成の簡略化が実現できる。
【図面の簡単な説明】
【図１】第１の実施の形態におけるエッジ検出回路を示す構成図。
【図２】エッジ検出手順を示すフローチャート。
【図３】スミアの明るさの変化を示す図。
【図４】第２の実施の形態におけるエッジ検出回路を示す構成図。
【図５】第３の実施の形態におけるエッジ検出回路を示す構成図。
【図６】第４の実施の形態におけるエッジ検出処理を示すフローチャート。
【図７】図６に続き、エッジ検出処理を示すフローチャート。
【図８】第５の実施の形態におけるエッジ検出回路を示す構成図。
【図９】道路の画像例を示す図。
【図１０】図９の道路画像からエッジを抽出した例を示す図。
【図１１】従来技術におけるエッジ検出手順を示すフローチャート。
【図１２】従来技術におけるエッジ検出回路を示す構成図。
【図１３】夜間における道路画像を示す図。
【図１４】夜間における道路画像を示す図。
【図１５】図１３，１４の画像からエッジを抽出した例を示す図。
【図１６】夜間の道路走査線方向の明るさ示す図。
【符号の説明】
１０，２０，３０…判定手段，エッジデータ無効化手段を構成するエッジ検出回路、５０…判定手段，記憶手段，エッジデータ無効化手段を構成するエッジ検出回路。

Claims (4)

1. 固体撮像素子により得られた走行路面の画像中において画像データの明るさの変化に応じて白線エッジを判定し、当該白線エッジに基づいて走行路面上の白線を検出する白線検出装置であって、
   前記画像データの明るさが所定の判定値よりも明るいか否かを判定する判定手段と、 前記画像データの明るさが前記の判定値よりも明るい場合、その位置を記憶する記憶手段と、
   前記固体撮像素子の電荷転送方向について前記記憶手段により記憶された位置と同じ位置のエッジデータを無効とするエッジデータ無効化手段と
   を備えることを特徴とする白線検出装置。
2. 請求項１に記載の白線検出装置において、
   前記判定手段による判定値は、前記固体撮像素子の飽和レベル付近であることを特徴とする白線検出装置。
3. 請求項１又は２に記載の白線検出装置において、
   自車両のヘッドライトの点灯に伴って、前記判定手段は前記画像データの明るさが所定の判定値よりも明るいか否かを判定し、前記エッジデータ無効化手段は前記画像データの明るさが前記の判定値よりも明るい場合にその時のエッジデータを無効とする白線検出装置。
4. 固体撮像素子により得られた走行路面の画像中において画像データの明るさの変化に応じて白線エッジを判定し、当該白線エッジに基づいて走行路面上の白線を検出する白線検出装置であって、
   ブルーミングやスミアを判定するための判定値を暗闇かそうでないかに応じて可変に設定する手段と、
   前記の判定値よりも前記画像データの明るさが明るいか否かを判定する判定手段と、 前記の判定値よりも前記画像データの明るさが明るい場合、その時のエッジデータを無効とするエッジデータ無効化手段とを備えることを特徴とする白線検出装置。

Images