JP4539415B2

JP4539415B2 - 画像処理装置

Info

Publication number: JP4539415B2
Application number: JP2005118717A
Authority: JP
Inventors: 健二小林; 玉津　　幸政
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2005-04-15
Filing date: 2005-04-15
Publication date: 2010-09-08
Anticipated expiration: 2025-04-15
Also published as: US7646890B2; DE102006015396A1; US20060233425A1; JP2006301722A

Description

本発明は、画像処理装置に関するものである。

従来、例えば、特許文献１に開示されている技術では、撮像装置の撮影した車両の前方道路の画像から白線を検出し、この白線のエッジの鮮明度合いに基づいて、白線の各部位のボケ度合いの距離分布を求め、このボケ度合いの距離分布と、予め設定されている基準視界状態のおけるボケ度合いの距離分布とを対照してボケ度合いの比の距離分布を求める。そして、このボケ度合いの比の距離分布を直線近似し、当該近似直線の傾き、当該近似直線に対するボケ度合いの比の距離分布の分散、当該近似直線の時間変化やボケ度合いの比の平均値に基づいて撮影装置の撮影環境を推定する。
特許第３４４４１９２号公報

上述したように、従来の技術は、ボケ度合いの比の距離分布を直線近似し、この近似直線に基づいて撮影環境を判断するため、降雨や霧といった悪天候による視程低下については検出可能であっても、例えば、夜間のように、距離によって白線の見えないエリアがある場合や、他車両の存在によって白線が部分的に遮蔽される場合等、天候以外の要因による白線検出の信頼性の低下を把握することができない。すなわち、距離分布を直線近似した場合、実際には検出していない白線部分をあたかも検出したかのように処理してしまう問題がある。

本発明は、上記問題を鑑みてなされたもので、白線検出結果の信頼度合いを正確に把握することができる画像処理装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載の画像処理装置は、
車両に搭載され、車両の位置する道路を撮影する撮像手段と、
撮像手段の撮影した撮像画像から白線のエッジを検出することで、道路上の白線の位置を検出する白線検出手段と、
白線検出手段の検出した白線のエッジ強度の距離分布を、撮像手段からの距離に対応させて算出する距離分布算出手段と、
距離分布算出手段の算出したエッジ強度の距離分布に基づいて、白線検出手段による白線検出結果の信頼度合いを算出する白線検出信頼度算出手段と、を備えることを特徴とする。

このように、本発明の画像処理装置では、直線近似処理を施していないエッジ強度の距離分布に基づいて、白線検出結果の信頼度合いを算出する。これにより、白線の見えないエリアがある場合や白線が部分的に遮蔽されている場合等、天候以外の要因による白線検出の信頼性の低下を把握することができる。

請求項２に記載の画像処理装置によれば、白線検出信頼度算出手段は、
エッジ強度の距離分布において、エッジ強度が撮像手段からの距離に応じて所定の変化を示す場合、当該所定の変化を示す撮像手段からの距離をエッジ検出距離として算出するエッジ検出距離算出手段を備え、
エッジ検出距離算出手段の算出したエッジ検出距離の長さにより、白線検出結果の信頼度を算出することを特徴とする。

例えば、車両前方の白線が先行車によって遮蔽されている場合、白線のエッジ強度の距離分布に所定の変化が見られる。従って、この所定の変化が見られる撮像手段からの距離をエッジ検出距離とし、このエッジ検出距離の長さによって、白線検出結果の信頼性を算出することができる。

請求項３に記載の画像処理装置によれば、エッジ検出距離算出手段は、エッジ強度の距離分布における最大のエッジ強度を基準としてエッジ強度の閾値を設定し、エッジ強度の距離分布において、エッジ強度が閾値以下となる撮像手段からの距離をエッジ検出距離として算出することを特徴とする。これにより、エッジ強度の距離分布における最大のエッジ強度に基づいてエッジ検出距離を算出することができる。

請求項４に記載の画像処理装置によれば、エッジ検出距離算出手段は、エッジ強度の距離分布において、撮像手段からの距離に応じたエッジ強度の変化度合いが、予め設定された変化度合い以上に変化する撮像手段からの距離をエッジ検出距離として算出することを特徴とする。これにより、エッジ強度の変化度合いに基づいてエッジ検出距離を算出することができる。

請求項５に記載の画像処理装置は、
車両に搭載され、車両の位置する道路を撮影する撮像手段と、
撮像手段の撮影した撮像画像から白線のエッジを検出することで、道路上の白線の位置を検出する白線検出手段と、
白線検出手段の検出した白線のエッジ検出回数の距離分布を、撮像手段からの距離に対応させて算出する距離分布算出手段と、
距離分布算出手段の算出したエッジ検出回数の距離分布に基づいて、白線検出手段による白線検出結果の信頼度合いを算出する白線検出信頼度算出手段と、を備えることを特徴とする。

例えば、検出すべき白線が破線である場合や撮像画像が外乱の影響を受ける場合、白線検出手段において、撮像画像の全てのフレームにおいてエッジが検出できるとは限らない。そのため、白線検出手段では、通常、例えば、ある一定時間の間に検出したエッジを平均化し、その平均化したエッジから白線の位置を検出する。

このように、平均化したエッジから白線の位置を検出する場合には、一定時間におけるエッジの検出回数を撮像手段からの距離に応じてカウントしておき、エッジ検出回数の距離分布に基づいて、白線検出結果の信頼度合いを算出する。これにより、白線の見えないエリアがある場合や白線が部分的に遮蔽されている場合等、天候以外の要因による白線検出の信頼性の低下を把握することができる。

請求項６に記載の画像処理装置によれば、白線検出信頼度算出手段は、
エッジ検出回数の距離分布において、エッジ検出回数が撮像手段からの距離に応じて所定の変化を示す場合、当該所定の変化を示す撮像手段からの距離をエッジ検出距離として算出するエッジ検出距離算出手段を備え、
エッジ検出距離算出手段の算出したエッジ検出距離の長さにより、白線検出結果の信頼度を算出することを特徴とする。

例えば、車両前方の白線が先行車によって遮蔽されている場合、エッジ検出回数の距離分布に所定の変化が見られる。従って、この所定の変化が見られる撮像手段からの距離をエッジの検出距離として算出し、このエッジの検出距離の長さによって、白線検出結果の信頼性を算出することができる。

請求項７に記載の画像処理装置によれば、エッジ検出距離算出手段は、エッジ検出回数の距離分布における最大のエッジ検出回数を基準としてエッジ検出回数の閾値を設定し、エッジ検出回数の距離分布において、エッジ検出回数が閾値以下となる撮像手段からの距離をエッジ検出距離として算出することを特徴とする。これにより、エッジ検出回数の距離分布における最大のエッジ検出回数に基づいてエッジ検出距離を算出することができる。

請求項８に記載の画像処理装置によれば、エッジ検出距離算出手段は、エッジ検出回数の距離分布において、撮像手段からの距離に応じたエッジ検出回数の変化度合いが、予め設定された変化度合い以上に変化する撮像手段からの距離をエッジ検出距離として算出することを特徴とする。これにより、エッジ検出回数の変化度合いに基づいてエッジ検出距離を算出することができる。

請求項９に記載の画像処理装置によれば、白線検出信頼度算出手段の算出した白線検出結果の信頼度に応じた車両の走行支援を実行する走行支援手段を備えることを特徴とする。これにより、レーンキープアシストや車線逸脱警報のような撮像画像を用いアプリケーションにおいて、白線検出結果の信頼度に応じた走行支援を実現することができる。

以下、本発明の画像処理装置の実施形態に関して、図面に基づいて説明する。本実施形態における画像処理装置は、例えば、自動車等の車両に搭載され、車両の位置する道路上の白線の位置を検出するものである。画像処理装置の検出した白線の位置を示す白線位置情報は、自車両の駆動系や操舵系等のアクチュエータの駆動を制御して走行支援を行う走行支援装置において用いられる。

（第１の実施形態）
図１は、本実施形態における画像処理装置２０、及びその周辺装置の全体構成を示すブロック図である。ビデオカメラ１０は、一定時間間隔毎（例えば、毎秒３０フレーム）に車両前方の道路を含む画像を撮影し、この撮影した画像の画素毎の明るさの程度を示す画素値等の画像情報を画像処理装置２０へ出力する。

画像処理装置２０は、マイクロコンピュータとして構成されるもので、図示しない、何れも周知のＲＯＭ、ＲＡＭ、ＣＰＵ、Ｉ／Ｏ、及びこれらを接続するバスによって構成される。ＲＯＭには、ＣＰＵが実行するためのプログラムが書き込まれており、ＣＰＵは、このプログラムに従った演算処理を実行する。

図１に示すように、画像処理装置２０の機能は、白線検出部２２、エッジ強度距離分布算出部２４、及びエッジ検出距離算出部２６の各機能ブロックを備える。白線検出部２２は、カメラ１０からの画像情報に基づいて、自車線の走行区画の境界を示す白線を検出する。

例えば、図２に示すような車両前方の道路を含む画像が撮影された場合、画像の水平ライン毎に画素値を取得し、水平方向に隣り合う画素との差分値の大きさ（微分値）をエッジの強さを示すエッジ強度として検出する。すなわち、路面（暗い）から白線（明るい）、或いは、白線（明るい）から路面（暗い）に切りかわる画素において強度の高いエッジが検出される。

白線検出部２２は、水平ライン毎のエッジ強度を示すエッジ情報をエッジ強度距離分布算出部２４へ出力するとともに、このエッジ情報から求まる道路上の白線の位置を示す白線位置情報を走行支援装置３０へ出力する。

なお、検出すべき白線が破線である場合や撮像画像が外乱の影響を受ける場合、白線検出部２２において、撮像画像の全てのフレームにおいてエッジが検出できるとは限らない。そのため、白線検出部２２では、通常、例えば、ある一定時間の間に検出したエッジを平均化（なまし処理）し、その平均化したエッジから白線の位置を検出する。

エッジ強度距離分布算出部２４は、白線検出部２２からのエッジ情報をもとに、白線のエッジ強度の距離分布を、ビデオカメラ１０からの距離（自車からの距離と略同じ距離）に対応させて算出する。例えば、図３に示すように白線エッジが検出された場合、図４に示すように、自車からの距離に対応させたエッジ強度の距離分布を算出する。

図４（ａ）に、図３における左側の白線のエッジ強度の距離分布を示し、図４（ｂ）に、図３における右側の白線のエッジ強度の距離分布を示す。なお、自車からの距離については、ビデオカメラ１０の取りつけ位置、取り付け角度、画角等は固定されているため、画像の垂直方向の画素位置から算出することができる。

エッジ検出距離算出部２６は、エッジ強度距離分布算出部２４の算出したエッジ強度の距離分布特性に基づいて、白線エッジが自車からどの程度の距離まで検出されているのか（エッジ検出距離）を算出する。

例えば、図５（ａ）に示すように、自車前方に先行車が存在しない場合には、エッジ検出距離は長くなり、自車前方に先行車が存在する場合には、自車前方の白線が先行車によって遮蔽される。なお、同図（ｂ）に示すように、自車前方の白線が先行車によって遮蔽される場合、例えば、先行車の車体等を白線エッジとして誤検出することがあるため、この先行車のエッジを除外する必要がある。

このように、自車前方の白線が先行車によって遮蔽される場合、図４（ａ）に示したように、白線のエッジ強度の距離分布に所定の変化が見られる。そこで、本実施形態では、この所定の変化が見られる自車からの距離をエッジ検出距離とし、このエッジ検出距離の長さによって、白線検出結果の信頼性を算出する。

具体的には、図６に示すように、エッジ強度の距離分布における最大のエッジ強度（ＭＡＸ）を基準としてエッジ強度の閾値（例えば、最大エッジ強度の半分のエッジ強度）を設定し、エッジ強度の距離分布において、エッジ強度が閾値以下となる自車からの距離をエッジ検出距離として算出する。これにより、エッジ強度の距離分布における最大のエッジ強度に基づいてエッジ検出距離を算出することができる。

エッジ検出距離算出部２６は、このエッジ検出距離の長さに応じて白線検出結果の信頼度合いを算出する。例えば、エッジ検出距離が長いほど信頼度合いを高くし、エッジ検出距離が短いほど信頼度合いを低くする。そして、この算出した白線検出結果の信頼度合いを走行支援装置３０へ出力する。

走行支援装置３０は、自車線内を保持しながら走行するように支援するレーンキープアシストや車線逸脱警報等の走行支援を実行する装置であり、白線検出結果の信頼度に応じた走行支援を実行する。これにより、レーンキープアシストや車線逸脱警報のような撮像画像を用いアプリケーションにおいて、白線検出結果の信頼度に応じた走行支援を実現することができる。

次に、本実施形態の特徴部分に係わる、画像処理装置２０の動作について、図７に示すフローチャートを用いて説明する。同図に示すステップ（以下、Ｓと記す）１０では、ビデオカメラ１０の撮影した画像を取得し、Ｓ２０では、Ｓ１０にて取得した画像に基づいて白線の検出を行う。Ｓ３０では、白線エッジのエッジ強度の距離分布を算出し、Ｓ４０では、エッジ検出距離を算出する。そして、Ｓ５０では、算出したエッジ検出距離から白線検出結果の信頼度合いを算出して、この信頼度合いを走行支援装置３０へ出力する。

このように、本実施形態の画像処理装置２０は、直線近似処理を施していないエッジ強度の距離分布に基づいて、白線検出結果の信頼度合いを算出する。これにより、白線の見えないエリアがある場合や白線が部分的に遮蔽されている場合等、天候以外の要因による白線検出の信頼性の低下を把握することができる。

（変形例１）
図６に示したように、本実施形態の画像処理装置２０では、エッジ強度の距離分布における最大のエッジ強度（ＭＡＸ）を基準としてエッジ強度の閾値（例えば、最大エッジ強度の半分のエッジ強度）を設定し、エッジ強度の距離分布において、エッジ強度が閾値以下となる自車からの距離をエッジ検出距離として算出する。

これに対し、自車からの距離に応じたエッジ強度の変化度合いが、予め設定された変化度合い以上に変化する自車からの距離をエッジ検出距離として算出するようにしてもよい。具体的には、例えば、図８の横軸（自車からの距離）で隣り合う白線エッジ同士の傾きについて閾値（例えば、４５度程度）を設定し、４５度以上の傾きを示す自車からの距離をエッジ検出距離として算出する。これにより、エッジ強度の変化度合いに基づいてエッジ検出距離を算出することができる。

（第２の実施形態）
第２の実施形態は、第１の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。第１の実施形態の画像処理装置２０では、白線のエッジ強度の距離分布を、ビデオカメラ１０からの距離（自車からの距離と略同じ距離）に対応させて算出し、このエッジ強度の距離分布に基づいて白線検出結果の信頼度合いを算出している。

これに対し、本実施形態の画像処理装置２０では、白線エッジのエッジ検出回数の距離分布を算出し、このエッジ検出回数の距離分布に基づいて、白線検出結果の信頼度合いを算出する。すなわち、上述したように、検出すべき白線が破線である場合や撮像画像が外乱の影響を受ける場合、白線検出部２２において、撮像画像の全てのフレームにおいてエッジが検出できるとは限らない。そのため、白線検出部２２では、通常、例えば、ある一定時間の間に検出したエッジを平均化し、その平均化したエッジから白線の位置を検出する。

このように、平均化したエッジから白線の位置を検出する場合、図９に示す本実施形態の白線検出部２２では、一定時間におけるエッジの検出回数を自車からの距離に応じてカウントする。また、エッジ検出回数距離分布算出部２４ａは、図１０に示すように、白線エッジの検出回数の距離分布を、自車からの距離に応じて算出し、エッジ検出距離算出部２６では、このエッジ検出回数の距離分布に基づいて、白線検出結果の信頼度合いを算出する。

エッジ検出距離算出部２６は、エッジ検出回数が自車からの距離に応じて所定の変化を示す場合、当該所定の変化を示す自車からの距離をエッジ検出距離として算出し、このエッジ検出距離の長さにより、白線検出結果の信頼度を算出する。

例えば、自車前方の白線が先行車によって遮蔽されている場合、エッジ検出回数の距離分布には所定の変化が見られる。従って、この所定の変化が見られる自車からの距離をエッジの検出距離として算出し、このエッジの検出距離の長さによって、白線検出結果の信頼性を算出する。

具体的には、図１０に示すように、エッジ検出回数の距離分布における最大のエッジ検出回数（ＭＡＸ）を基準としてエッジ検出回数の閾値（例えば、最大検出回数の半分の検出回数）を設定し、エッジ検出回数の距離分布において、エッジ検出回数が閾値以下となる自車からの距離をエッジ検出距離として算出する。これにより、エッジ検出回数の距離分布における最大のエッジ検出回数に基づいてエッジ検出距離を算出することができる。

次に、本実施形態の特徴部分に係わる、画像処理装置２０の動作について、図１１に示すフローチャートを用いて説明する。同図に示すＳ１０では、ビデオカメラ１０の撮影した画像を取得し、Ｓ２０ａでは、Ｓ１０にて取得した画像に基づいて白線の検出を行う。なお、本実施形態では、ある一定時間の間に検出したエッジを平均化し、その平均化したエッジから白線の位置を検出するとともに、検出回数をカウントする。

Ｓ３０ａでは、白線エッジのエッジ検出回数の距離分布を算出し、Ｓ４０ａでは、エッジ検出距離を算出する。そして、Ｓ５０では、算出したエッジ検出距離から白線検出結果の信頼度合いを算出して、この信頼度合いを走行支援装置３０へ出力する。

このように、本実施形態の画像処理装置２０は、直線近似処理を施していないエッジ検出回数の距離分布に基づいて、白線検出結果の信頼度合いを算出する。これにより、白線の見えないエリアがある場合や白線が部分的に遮蔽されている場合等、天候以外の要因による白線検出の信頼性の低下を把握することができる。

（変形例２）
図１０に示したように、本実施形態の画像処理装置２０では、エッジ検出回数の距離分布における最大のエッジ検出回数（ＭＡＸ）を基準としてエッジ検出回数の閾値を設定し、エッジ検出回数の距離分布において、エッジ検出回数が閾値以下となる自車からの距離をエッジ検出距離として算出する。

これに対し、自車からの距離に応じたエッジ検出回数の変化度合いが、予め設定された変化度合い以上に変化する自車からの距離をエッジ検出距離として算出するようにしてもよい。具体的には、例えば、図１２の横軸（自車からの距離）で隣り合う白線エッジ同士の傾きについて閾値（例えば、４５度程度）を設定し、４５度以上の傾きを示す自車からの距離をエッジ検出距離として算出する。これにより、エッジ検出回数の変化度合いに基づいてエッジ検出距離を算出することができる。

第１の実施形態に係わる、画像処理装置２０、及びその周辺装置の全体構成を示すブロック図である。第１の実施形態に係わる、白線エッジの検出例を示す図である。白線エッジを示す図である。（ａ）は、左側の白線のエッジ強度の距離分布を示し、（ｂ）は、右側の白線のエッジ強度の距離分布を示した図である。（ａ）は、自車前方に先行車が存在しない場合のエッジ検出距離を示した図であり、同図（ｂ）は、自車前方に先行車が存在する場合のエッジ検出距離を示した図である。第１の実施形態に係わる、エッジ強度の距離分布における最大のエッジ強度（ＭＡＸ）を基準として設定されるエッジ強度の閾値を示す図である。第１の実施形態に係わる、画像処理装置２０の動作を示すフローチャートである。第１の実施形態の変形例１に係わる、エッジ強度の距離分布において、隣り合う白線エッジ同士の傾きについて設定されるエッジ強度の閾値を示す図である。第２の実施形態に係わる、画像処理装置２０、及びその周辺装置の全体構成を示すブロック図である。第２の実施形態に係わる、エッジ検出回数の距離分布における最大のエッジ検出回数（ＭＡＸ）を基準として設定されるエッジ検出回数の閾値を示す図である。第２の実施形態に係わる、画像処理装置２０の動作を示すフローチャートである。第２の実施形態の変形例２に係わる、エッジ検出回数の距離分布において、隣り合う白線エッジ同士の傾きについて設定されるエッジ検出回数の閾値を示す図である。

符号の説明

１０ビデオカメラ
２０画像処理装置
２２白線検出部
２４エッジ強度距離分布算出部
２４ａエッジ検出回数距離分布算出部
２６エッジ検出距離算出部
３０走行支援装置

Claims

車両に搭載され、前記車両の位置する道路を撮影する撮像手段と、
前記撮像手段の撮影した撮像画像から白線のエッジを検出することで、前記道路上の白線の位置を検出する白線検出手段と、
前記白線検出手段の検出した白線のエッジの強度を示すエッジ強度の距離分布を、前記撮像手段からの距離に対応させて算出する距離分布算出手段と、
前記距離分布算出手段の算出した前記エッジ強度の距離分布に基づいて、前記白線検出手段による白線検出結果の信頼度合いを算出する白線検出信頼度算出手段と、を備えることを特徴とする画像処理装置。
前記白線検出信頼度算出手段は、
前記エッジ強度の距離分布において、前記エッジ強度が前記撮像手段からの距離に応じて所定の変化を示す場合、当該所定の変化を示す前記撮像手段からの距離をエッジ検出距離として算出するエッジ検出距離算出手段を備え、
前記エッジ検出距離算出手段の算出したエッジ検出距離の長さにより、前記白線検出結果の信頼度を算出することを特徴とする請求項１記載の画像処理装置。
前記エッジ検出距離算出手段は、前記エッジ強度の距離分布における最大のエッジ強度を基準としてエッジ強度の閾値を設定し、前記エッジ強度の距離分布において、前記エッジ強度が前記閾値以下となる前記撮像手段からの距離を前記エッジ検出距離として算出することを特徴とする請求項２記載の画像処理装置。
前記エッジ検出距離算出手段は、前記エッジ強度の距離分布において、前記撮像手段からの距離に応じた前記エッジ強度の変化度合いが、予め設定された変化度合い以上に変化する前記撮像手段からの距離を前記エッジ検出距離として算出することを特徴とする請求項２記載の画像処理装置。
車両に搭載され、前記車両の位置する道路を撮影する撮像手段と、
前記撮像手段の撮影した撮像画像から白線のエッジを検出することで、前記道路上の白線の位置を検出する白線検出手段と、
前記白線検出手段の検出した白線のエッジ検出回数の距離分布を、前記撮像手段からの距離に対応させて算出する距離分布算出手段と、
前記距離分布算出手段の算出した前記エッジ検出回数の距離分布に基づいて、前記白線検出手段による白線検出結果の信頼度合いを算出する白線検出信頼度算出手段と、を備えることを特徴とする画像処理装置。
前記白線検出信頼度算出手段は、
前記エッジ検出回数の距離分布において、前記エッジ検出回数が前記撮像手段からの距離に応じて所定の変化を示す場合、当該所定の変化を示す前記撮像手段からの距離をエッジ検出距離として算出するエッジ検出距離算出手段を備え、
前記エッジ検出距離算出手段の算出したエッジ検出距離の長さにより、前記白線検出結果の信頼度を算出することを特徴とする請求項５記載の画像処理装置。
前記エッジ検出距離算出手段は、前記エッジ検出回数の距離分布における最大のエッジ検出回数を基準としてエッジ検出回数の閾値を設定し、前記エッジ検出回数の距離分布において、前記エッジ検出回数が前記閾値以下となる前記撮像手段からの距離を前記エッジ検出距離として算出することを特徴とする請求項６記載の画像処理装置。
前記エッジ検出距離算出手段は、前記エッジ検出回数の距離分布において、前記撮像手段からの距離に応じた前記エッジ検出回数の変化度合いが、予め設定された変化度合い以上に変化する前記撮像手段からの距離を前記エッジ検出距離として算出することを特徴とする請求項６記載の画像処理装置。
前記白線検出信頼度算出手段の算出した白線検出結果の信頼度に応じた前記車両の走行支援を実行する走行支援手段を備えることを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。