JPWO2009116221A1 - 車両走行支援装置、車両、車両走行支援プログラム - Google Patents

Abstract

車載カメラによる同一位置からの撮像履歴の有無にかかわらず車両が走行中の道路におけるレーンマーク認識阻害因子の有無を高精度で判定することができる装置等を提供する。本発明の車両走行支援装置１０によれば、車載カメラ１２を通じて得られた画像においてエッジが抽出または顕在化されることによりエッジ画像が生成される。エッジ画像がハフ変換されることによりρ−θ空間（ハフ空間）において直線成分の指定投票値に対する投票数が評価される。ρ−θ空間において実空間における車両１の標準走行レーンを表わす指定領域における指定投票値の投票数が閾値以上であるか否かが判定されることにより、道路におけるレーンマーク認識阻害因子の有無が判定される。

Description

本発明は、車両に搭載されている撮像装置を通じて得られた画像に基づいてこの車両の走行を支援する装置等に関する。

カメラにより撮像された画像に基づき、この道路における積雪の有無を判定する技術が提案されている（日本国特開２００５−２７５６９１号公報および特開２００５−３０８４３７号公報参照）。

しかし、前記技術によれば、道路の周辺にカメラが固定されており、このカメラによりあらかじめ撮像された画像または異なる時点において撮像された画像が存在することがこの道路における積雪有無の判定要件とされている。このため、車載カメラにより同じ位置から撮像された画像が存在しない、車両が初めて走行する、道路における積雪等、レーンマークの認識精度を低下させるレーンマーク認識阻害因子の有無を判定することは困難である。

そこで、本発明は、車載カメラによる同一位置からの撮像履歴の有無にかかわらず、車両が走行中の道路におけるレーンマーク認識阻害因子の有無を高精度で判定することができる装置等を提供することを解決課題とする。

第１発明の車両走行支援装置は、車両に搭載されている撮像装置を通じて得られた前記車両の進行方向の状況を表わす画像に基づき、前記車両の走行環境を認識する車両走行支援装置であって、前記画像において走査方向について輝度が閾値を超えて変化する線分をエッジとして抽出するエッジ抽出処理を実行することによりエッジ画像を生成する第１処理要素と、前記第１処理要素により生成された前記エッジ画像にハフ変換処理を実行するとともに、前記ハフ変換処理の実行結果に基づいてρ−θ空間における直線成分の投票値を評価する第２処理要素と、ρ−θ空間において実空間における前記車両の予測走行領域を表わす指定領域における、前記第２処理要素により評価された指定投票値の投票数が閾値以上であることを要件として、前記車両が走行中の道路におけるレーンマークの認識精度を低下させるレーンマーク認識阻害因子の有無を判定する第３処理要素とを備え、前記指定領域の境界が前記レーンマーク認識阻害因子が存在しない状態の道路について前記指定領域における前記指定投票値の投票数が前記閾値未満となるように設定されていることを特徴とする。

第１発明の車両走行支援装置によれば、撮像装置を通じて得られた画像においてエッジが抽出または顕在化されることによりエッジ画像が生成される。また、エッジ画像がハフ変換されることにより、ρ−θ空間（ハフ空間）において直線成分の指定投票値に対する投票数が評価される。そして、ρ−θ空間の指定領域における指定投票値の投票数が閾値以上であるか否かが判定されることにより、車両が走行中の道路におけるレーンマーク認識阻害因子の有無が判定される。これは、ρ−θ空間の指定領域は、車両の予測走行領域に相当しているので、予測走行領域におけるレーンマーク認識阻害因子の有無に応じて、指定領域における指定投票値の投票数が顕著に相違するからである。したがって、撮像装置による同一位置からの撮像履歴の有無にかかわらず、車両が走行中の道路におけるレーンマーク認識阻害因子の有無を高精度で判定することができる。

なお、本発明の構成要素が情報を「認識する」とは、当該構成要素が情報をデータベースから検索すること、メモリ等の記憶装置から情報を読み取ること、センサ等の出力信号に基づき情報を測定、算定、推定、判定すること、測定等された情報をメモリに格納すること等、当該情報をさらなる情報処理のために準備または用意するために必要なあらゆる情報処理を実行することを意味する。

第２発明の車両走行支援装置は、第１発明の車両走行支援装置において、前記第３処理要素が、ρ−θ空間においてρの値により定義される前記指定領域としての第１指定領域における前記指定投票値としての第１指定投票値の投票数が前記閾値としての第１閾値以上であることを要件として、前記車両が走行中の道路における前記レーンマーク認識阻害因子の有無を判定することを特徴とする。

第２発明の車両走行支援装置によれば、第１指定領域（＝ρの値により定義される指定領域）における指定投票値の投票数が第１閾値以上であるか否かが判定されることにより、車両が走行中の道路におけるレーンマーク認識阻害因子の有無が高精度で判定されうる。

第３発明の車両走行支援装置は、第１発明の車両走行支援装置において、前記第３処理要素が、ρ−θ空間においてθの値により定義される前記指定領域としての第２指定領域における前記指定投票値としての第２指定投票値の投票数が前記閾値としての第２閾値以上であることを要件として、前記車両が走行中の道路における前記レーンマーク認識阻害因子の有無を判定することを特徴とする。

第３発明の車両走行支援装置によれば、第２指定領域（＝θの値により定義される指定領域）における指定投票値の投票数が第２閾値以上であるか否かが判定されることにより、車両が走行中の道路におけるレーンマーク認識阻害因子の有無が高精度で判定されうる。

第４発明の車両走行支援装置は、第１発明の車両走行支援装置において、前記第３処理要素により前記レーンマーク認識阻害因子が存在すると判定された場合にはレーンマークの認識処理の実行を保留または停止することを特徴とする。

第４発明の車両走行支援装置によれば、レーンマークの認識精度が低くなる蓋然性が高い状況で、レーンマークの認識処理が実行または継続されることが回避されるので、レーンマークの誤認識に基づいて車両の挙動が制御される等の事態が回避される。

第５発明の車両走行支援装置は、第１発明の車両走行支援装置において、前記第３処理要素が前記レーンマーク認識阻害因子として積雪または道路わきに沿って延在する物体が存在すると判定することを特徴とする。

第５発明の車両走行支援装置によれば、車両が走行中の道路におけるレーンマーク認識阻害因子としての積雪または道路わきに沿って延在する物体の有無が高精度で判定されうる。

第６発明の車両は、撮像装置と、第１発明の車両走行支援装置を備えていることを特徴とする。

第６発明の車両によれば、車両走行支援装置により車両が走行中の道路におけるレーンマーク認識阻害因子の有無が高精度で認識されるので、当該認識結果に基づき車両の安全走行等の観点から車載機器の動作が適当に制御されうる。

第７発明の走行支援プログラムは、車両に搭載されているコンピュータを第１発明の車両走行支援装置として機能させることを特徴とする。

第７発明の走行支援プログラムによれば、車載のコンピュータを、車両が走行中の道路におけるレーンマーク認識阻害因子の有無を高精度で認識する車両走行支援装置として機能させることができる。

本発明の車両の構成説明図である。 本発明の車両走行支援装置の構成説明図である。 本発明の車両走行支援装置の機能を示すフローチャートである。 無積雪時のエッジ抽出処理およびハフ変換処理に関する説明図である。 積雪時のエッジ抽出処理およびハフ変換処理に関する説明図である。 直線成分の投票値および投票数の関係に関する説明図である。 道路わきに沿って延在する茂みが存在しない状態での撮像画像およびエッジ抽出処理に関する説明図である。 道路わきに沿って延在する茂みが存在する状態での撮像画像およびエッジ抽出処理に関する説明図である。

本発明の車両走行支援装置等の実施形態について図面を用いて説明する。

図１および図２に示されている車両（四輪自動車）１には、ＣＣＤカメラや近赤外線カメラ等のカメラ（撮像装置）１２と、車両走行支援装置１０とが搭載されている。カメラ１２は車両１の前方の様子をフロントウィンドウ越しに撮像するように車内空間に取り付けられている。なお、カメラ１２の配置箇所は車両１のフロント部分等に適宜変更されてもよい。車両１には図２に示されているように車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６等のセンサと、操舵装置１４と、制動装置１６とがさらに搭載されている。車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６のそれぞれは車両１の速度、加速度およびヨーレートのそれぞれに応じた信号を出力する。

車両走行支援装置１０はコンピュータまたはＥＣＵ（電子制御ユニット）（ＣＰＵ，ＲＯＭ，ＲＡＭならびにＩ／Ｏ回路およびＡ／Ｄ変換回路等の電子回路等により構成されている。）により構成されている。車両走行支援装置１０にはカメラ１２および速度センサ１２２等からの出力信号が入力される。ＣＰＵにより「車両走行支援プログラム」がメモリから読み出され、かつ、読み出されたプログラムにしたがって後述する種々の処理が実行される。なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車両１に配信または放送され、車載コンピュータのＲＡＭ等の記憶装置に格納されてもよい。車両走行支援装置１０は操舵装置１４および制動装置１６のうち一方または両方の動作を制御することにより、車両１が走行領域から逸脱しないように車両１の走行を支援する走行支援制御を実行する。車両走行支援装置１０は第１処理要素１１０、第２処理要素１２０および第３処理要素１３０を備えている。第１処理要素１１０はカメラ１２を通じて得られた画像においてエッジを抽出または顕在化するエッジ抽出処理を実行することによりエッジ画像を生成する。第２処理要素１２０は第１処理要素１１０により生成されたエッジ画像にハフ変換処理を実行するとともに、ハフ変換処理の実行結果に基づいてρ−θ空間における直線成分の指定投票値に対する投票数を評価する。第３処理要素１３０はρ−θ空間において定義されている指定領域における、第２処理要素１２０により評価された指定投票値の投票数が閾値以上であることを要件として、車両１が走行中の道路におけるレーンマーク認識阻害因子の有無を判定する。ρ−θ空間の指定領域は、実空間における車両１の予測走行領域（たとえば、車両１の左右に一対のレーンマークが存在すると仮定した場合、当該一対のレーンマークに挟まれる領域の一部または全部）を表わしている。指定領域の境界はレーンマーク認識阻害因子が存在しない状態の道路について指定領域における指定投票値の投票数が閾値未満となるように設定されている。

前記構成の車両１および車両走行支援装置１０の機能について説明する。

まず、カメラ１２を通じて車両１の前方または走行方向の状況を表わすディジタル画像が取得される（図３／Ｓ００２）。これにより、たとえば図４（ａ）または図５（ａ）に示されているような車両１の前方に延びる道路の画像が取得される。なお、図４（ａ）は積雪がない状態における撮像画像であり、図５（ａ）は積雪がある状態における撮像画像である。このほか、図７（ａ）または図８（ａ）に示されているような車両１の前方に延びる道路の画像が取得されうる。なお、図７（ａ）は道路わきに延在する茂みがない状態における撮像画像であり、図８（ａ）は道路わきに延在する茂みがある状態における撮像画像である。

また、第１処理要素１１０により、ディジタル画像に対してエッジ抽出処理が実行されることにより、エッジが顕在化されたエッジ画像が生成される（図３／Ｓ００４）。たとえば、図４（ａ）および図５（ａ）のそれぞれに示されている画像に対してエッジ抽出処理が実行されることにより、図４（ｂ）および図５（ｂ）のそれぞれに示されているようにエッジ（白抜き部分）が抽出または顕在化されたエッジ画像が生成される。また、図７（ａ）および図８（ａ）のそれぞれに示されている画像に対してエッジ抽出処理が実行されることにより、図７（ｂ）および図８（ｂ）のそれぞれに示されているようにエッジ（白抜き部分）が抽出または顕在化されたエッジ画像が生成される。なお、エッジは一定の走査方向について輝度が閾値を超えて変化する点または画素により構成される線分を意味しており、特開２００５−３３２１０４号公報および特開２００６−０１２１９１号公報等に開示されている画像処理方法にしたがって認識されうる。

さらに、第２処理要素１２０により第１処理要素１１０により生成されたエッジ画像に対してハフ変換処理が実行される（図３／Ｓ００６）。たとえば、図４（ｂ）および図５（ｂ）のそれぞれに示されているエッジ画像に対してハフ変換処理が実行されることにより、図４（ｃ）および図５（ｃ）のそれぞれに示されているように、ハフ変換されたエッジの直線成分がρ−θ空間の任意の座標に出現する頻度が投票値として評価される。また、図７（ｂ）および図８（ｂ）のそれぞれに示されているエッジ画像に対してハフ変換処理が実行されることによっても、図４（ｃ）および図５（ｃ）のそれぞれに示されているのと同様に、ハフ変換されたエッジの直線成分がρ−θ空間の任意の座標に出現する頻度が投票値として評価される。

また、第２処理要素１２０により、ρ−θ空間において定義されている指定領域Ｓにおける投票値と、投票値が出現する頻度としての投票数との関係を表現するヒストグラムが生成される（図３／Ｓ００８）。これにより、たとえば図６に示されている閾値ライン（一点鎖線）よりも高投票値かつ多投票数側の第１投票領域Ｕ₁および閾値ラインよりも低投票値かつ少投票数側の第２投票領域Ｕ₂のうちいずれかに一部または全部が包含されるように、投票値と投票数との関係を表わす曲線が描かれる。指定領域Ｓとしては、図４（ｃ）および図５（ｃ）のそれぞれに示されている、ρの値により画定されている第１指定領域（一点鎖線で囲まれている）Ｓ₁＝［ρ₁，ρ₂］と、θの値により画定されている第２指定領域（二点鎖線により囲まれている）Ｓ₂＝［θ₁，θ₂］との重なり領域（斜線が付されている）Ｓ₁∩Ｓ₂が定義されている。図４（ｃ）および図５（ｃ）のそれぞれにおいて後述する第１指定領域Ｓ₁および第２指定領域Ｓ₂から外れた領域において投票値が高い一対の箇所があるが、これは主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている。なお、第１指定領域Ｓ₁または第２指定領域Ｓ₂が単独で指定領域Ｓとして定義されてもよい。また、指定領域Ｓの形状としては矩形状ではなく円形状、楕円形状、三角形状または台形状など、さまざまな形状が採用されてもよい。

指定領域Ｓの境界値は、積雪または道路わきに沿って延在する茂み等のレーンマーク認識阻害因子が存在する状態の道路についてはこの指定領域Ｓにおける指定投票値が閾値以上となる一方、レーンマーク認識阻害因子が存在しない状態の道路についてこの指定領域Ｓにおける指定投票値の投票数が閾値未満となるように設定されている。

具体的にはレーンマーク認識阻害因子が存在しない状態の道路については図４（ｃ）に示されているように第１指定領域Ｓ₁において投票値が高い箇所が比較的少なくなる一方、レーンマーク認識阻害因子が存在する状態の道路については図５（ｃ）に示されているように第１指定領域Ｓ₁において投票値が高い箇所が比較的多くなるように第１指定領域Ｓ₁の下限値ρ₁および上限値ρ₂が設定されている。すなわち、前記のように主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている投票値が高い一対の箇所が包含されないように第１指定領域Ｓ₁の下限値ρ₁および上限値ρ₂が設定されている（たとえばρ₁＝０，ρ₂＝０．３ρ_max）。ρ−θ空間における第１指定領域Ｓ₁は、図４（ａ）、図５（ａ）、図７（ａ）および図８（ａ）のそれぞれに示されているカメラ１２の撮像画像における半円形状の第１画像領域Ｑ₁を通過する直線（線分）に相当しており、ひいては、第１画像領域Ｑ₁に相当する実空間領域（車両１の前側近傍領域）に相当している。

同様に、レーンマーク認識阻害因子が存在しない状態の道路については図４（ｃ）に示されているように第２指定領域Ｓ₂において投票値が高い箇所が比較的少なくなる一方、レーンマーク認識阻害因子が存在する状態の道路については図５（ｃ）に示されているように第２指定領域Ｓ₂において投票値が高い箇所が比較的多くなるように第２指定領域Ｓ₂の境界値θ₁およびθ₂が設定されている（たとえばθ＝π／６，θ＝５π／６）。すなわち、前記のように主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている投票値が高い一対の箇所が包含されないように第２指定領域Ｓ₂の境界値θ₁およびθ₂が設定されている。ρ−θ空間における第２指定領域Ｓ₂は、図４（ａ）および図５（ａ）のそれぞれに示されているカメラ１２の撮像画像における三角形状の第２画像領域Ｑ₂を通過する直線（線分）に相当しており、ひいては、第２画像領域Ｑ₂に相当する実空間領域（左右一対のレーンマークが存在すると仮定した場合に当該一対のレーンマークの間に大部分が含まれる領域）に相当している。

このため、レーンマーク認識阻害因子が存在する状態の道路では、図６に示されている閾値ラインよりも高投票値かつ多投票数側の第１投票領域Ｕ₁に一部または全部が包含されるように、投票値と投票数との関係を表わす曲線が描かれる。その一方、積雪がない状態の道路では、図６に示されている閾値ラインよりも高投票値かつ多投票数側の第２投票領域Ｕ₂に一部または全部が包含されるように、投票値と投票数との関係を表わす曲線が描かれる。

さらに、第３処理要素１３０により、指定投票値の投票数が閾値以下であるか否かを判定することにより、車両１が走行中の道路におけるレーンマーク認識阻害因子の有無が判定される（図３／Ｓ０１０）。たとえば、図６に示されている指定投票値における投票数Ｎ₁が閾値Ｎ_th以上である場合には積雪があると判定される一方、投票数Ｎ₂が閾値Ｎ_th未満である場合にはレーンマーク認識阻害因子が存在しないと判定される。なお、１つの指定投票値の投票数が閾値以上であるか否かに応じてではなく、複数の指定投票値のうちそれぞれの投票数が閾値以上であるか否かに応じてレーンマーク認識阻害因子の有無が判定されてもよい。

そして、道路においてレーンマーク認識阻害因子が存在しないと判定された場合（図３／Ｓ０１４‥ＹＥＳ）、ハフ変換より抽出された直線成分が、レーンマークまたは轍を構成すると認識され、当該レーンマークまたは轍により左右が画定された走行領域が設定される（図３／Ｓ０１２）。その上で、操舵装置１４および制動装置１６のうち一方または両方の動作が制御されることにより、車両１が走行領域から逸脱しないように車両１の走行を支援する走行支援制御が実行される（図３／Ｓ０１４）。その一方、道路において積雪があると判定された場合（図３／Ｓ０１０‥ＮＯ）、走行領域の設定および走行支援制御が保留または停止される。すなわち、レーンマークの認識精度が低くなる蓋然性が高い状況で、レーンマークの認識処理が実行または継続されることが回避されるので、レーンマークの誤認識に基づいて車両の挙動が制御される等の事態が回避される。

前記機能を発揮する車両走行支援装置１０によれば、カメラ（撮像装置）１２を通じて得られた画像においてエッジが抽出または顕在化されることによりエッジ画像が生成される（図３／Ｓ００４，図４（ｂ）、図５（ｂ）、図７（ｂ）および図８（ｂ）参照）。また、エッジ画像がハフ変換されることにより、ρ−θ空間（ハフ空間）の任意の点において直線成分の投票値が評価される（図３／Ｓ００６，図４（ｃ）および図５（ｃ）参照）。そして、ρ−θ空間の指定領域Ｓ（図４（ｃ）参照）における指定投票値の投票数が閾値以上であるか否かが判定されることにより、車両１が走行中の道路における積雪または道路わきに沿って延在する草木もしくは茂み等の物体などのレーンマーク認識阻害因子の有無が判定される（図３／Ｓ０１０，図６参照）。これは、ρ−θ空間の指定領域Ｓは、左右一対のレーンマーク等により画定される車両１の予測走行領域に相当しているので、この実空間領域におけるレーンマーク認識阻害因子の有無に応じて、指定領域における指定投票値の投票数が顕著に相違するからである。具体的には、前記のようにρ−θ空間における第１指定領域Ｓ₁は、図４（ａ）に示されているカメラ１２の撮像画像における半円形状の第１画像領域Ｑ₁を通過する直線（線分）に相当し、ひいては、第１画像領域Ｑ₁に相当する実空間領域に相当している。また、ρ−θ空間における第２指定領域Ｓ₂は、図４（ａ）に示されているカメラ１２の撮像画像における三角形状の第２画像領域Ｑ₂を通過する直線（線分）に相当し、ひいては、第２画像領域Ｑ₂に相当する実空間領域に相当している。したがって、カメラ１２による同一位置からの撮像履歴の有無にかかわらず、車両１が走行中の道路におけるレーンマーク認識阻害因子の有無を高精度で判定することができる。

Claims (7)

1. 車両に搭載されている撮像装置を通じて得られた前記車両の進行方向の状況を表わす画像に基づき、前記車両の走行環境を認識する車両走行支援装置であって、
   前記画像において走査方向について輝度が閾値を超えて変化する線分をエッジとして抽出するエッジ抽出処理を実行することによりエッジ画像を生成する第１処理要素と、
   前記第１処理要素により生成された前記エッジ画像にハフ変換処理を実行するとともに、前記ハフ変換処理の実行結果に基づいてρ−θ空間における直線成分の投票値を評価する第２処理要素と、
   ρ−θ空間において実空間における前記車両の予測走行領域を表わす指定領域における、前記第２処理要素により評価された指定投票値の投票数が閾値以上であることを要件として、前記車両が走行中の道路におけるレーンマークの認識精度を低下させるレーンマーク認識阻害因子の有無を判定する第３処理要素とを備え、前記指定領域の境界が前記レーンマーク認識阻害因子が存在しない状態の道路について前記指定領域における前記指定投票値の投票数が前記閾値未満となるように設定されていることを特徴とする車両走行支援装置。
2. 請求項１記載の車両走行支援装置において、
   前記第３処理要素が、ρ−θ空間においてρの値により定義される前記指定領域としての第１指定領域における前記指定投票値としての第１指定投票値の投票数が前記閾値としての第１閾値以上であることを要件として、前記車両が走行中の道路における前記レーンマーク認識阻害因子の有無を判定することを特徴とする車両走行支援装置。
3. 請求項１記載の車両走行支援装置において、
   前記第３処理要素がρ−θ空間においてθの値により定義される前記指定領域としての第２指定領域における前記指定投票値としての第２指定投票値の投票数が前記閾値としての第２閾値以上であることを要件として、前記車両が走行中の道路における前記レーンマーク認識阻害因子の有無を判定することを特徴とする車両走行支援装置。
4. 請求項１記載の車両走行支援装置において、
   前記第３処理要素により前記レーンマーク認識阻害因子が存在すると判定された場合にはレーンマークの認識処理の実行を保留または停止することを特徴とする車両走行支援装置。
5. 請求項１記載の車両走行支援装置において、
   前記第３処理要素が前記レーンマーク認識阻害因子として積雪または道路わきに沿って延在する物体が存在すると判定することを特徴とする車両走行支援装置。
6. 撮像装置と、請求項１記載の車両走行支援装置とを備えていることを特徴とする車両。
7. 車両に搭載されているコンピュータを請求項１記載の車両走行支援装置として機能させることを特徴とする車両走行支援プログラム。
   

Images