JP4128991B2 - 車線認識画像処理装置および車線認識画像処理方法 - Google Patents

Description

本発明は、自動車の予防安全を目的とした車線逸脱警報システム(ＬＤＷＳ：LaneDeparture Warning System)や、運転者の運転負荷軽減を目的とした車線維持制御システム(ＬＫＳ：LaneKeep System)などに用いられ、車線内における自車両横位置情報を提供する車線認識画像処理装置および車線認識画像処理方法に関するものである。

近年、車載用のディスプレイ装置の普及やカメラなどの映像機器の低価格化に伴って、カメラにより車両の周辺を監視することによって安全運転を支援する装置が実用化され、普及してきている。
例えば特開２００１−３３９７１６号公報には、車両に設置された複数のカメラで撮影された入力画像を表示する車両周辺監視装置であって、入力画像と歪み補正（収差補正）画像の対応関係を表す座標変換テーブルを記憶する座標変換テーブル記憶手段と、歪み補正画像と合成画像の対応関係を逐次計算して合成画像を生成する画像合成手段と、合成画像を生成するために必要となる仮想視点位置に関するパラメータを画像合成手段に供給する視点変換用パラメータ供給手段を有した車両周辺監視装置が開示されている。

そして、この車両周辺監視装置によれば、「視点位置をダイナミックに変更して、運転状況に応じて、最適な合成画像を車内の表示装置に表示することができる」ことが記載されている。
即ち、特開２００１−３３９７１６号公報には、「入力画像と歪み補正画像との対応関係を表す座標変換テーブルを有し、複数のカメラからの歪み補正画像を一つの合成画像として、運転者に呈示する」車両周辺監視装置が開示されている。

また、特開平０８−３０５８４１号公報には、入力部（魚眼レンズなどの広角レンズを搭載したＩＴＶカメラ）と、この入力部より入力された歪曲収差を持つ画像をデジタル信号情報に変換する変換部（イメージスキャナなど）と、その画像の全範囲もしくは指定した任意の範囲について歪曲収差のない画像へ補正する補正部（画像処理装置）と、補正された画像情報を表示する表示部を有した歪曲収差画像補正表示装置が開示されている。
即ち、特開平０８−３０５８４１号公報には、「歪曲収差をもつ画像をデジタル信号情報に変換し、その画像の全範囲もしくは指定した任意の範囲について歪曲収差のない画像へ補正する歪曲収差画像補正表示装置」が開示されている。

車線認識画像処理装置とは、車線内における自車横位置情報（例えば、レーマーキングに対する自車の位置情報など）を提供することを目的とするものであり、従来の車線認識画像処理装置では、上述した特開２００１−３３９７１６号公報あるいは特開平０８−３０５８４１号公報などに開示されているような画像合成技術や歪曲収差画像補正技術などが用いられる。
従来の車線認識画像処理装置は、その車線認識画像処理において、カメラのレンズ系の歪曲収差によりレーンマーキングが本来あるべき位置からずれた位置に結像するために、レーンマーキング位置を基にして得られる自車横位置および道路推定曲率半径には誤差が発生する。
そのため、例えば、レーンマーキングから車線内側５０ｃｍの地点で車線逸脱警報を行おうとする場合に、自車両の絶対的な位置がずれる。
従って、従来の車線認識画像処理装置では、システムの要求仕様（例えば、レーンマーキング手前の一定距離内で車線逸脱警報を発生させるという要求仕様）を満足できない恐れがある。

さらに、車線維持制御システム（ＬＫＳ）において、車線中央からのずれ量に応じて車線維持のためのステアリング戻しトルク制御を行う場合、自車横位置誤差のために車両の位置制御に不具合が生じる恐れがある。
また、数学的モデル式より得られる「道路の推定曲率半径の演算結果」にも誤差が含まれるため、前方の道路曲率半径に基づいて車線維持制御を行う場合、自車両の位置制御に不具合が生じるおそれがある。

これらの誤差発生の問題は、画像全体あるいは画像の一部の歪曲収差補正を行うことで解消される。
しかしながら、そのためには画像処理装置内に補正された画像を格納する画像メモリを搭載しなければならず、また、座標変換にかかる処理時間も膨大となるため、ハードウェア、ソフトウェアともに負荷が大きい。
座標変換処理において、ソフトウェアの負荷を軽減し、かつ画像処理のリアルタイム性を確保するには、専用ハードウェア（画像処理専用チップ）が必要となり、装置の小型化、低価格化の障害となる。

ハードウェア、ソフトウェアの負荷を抑えて、専用ハードウェア（画像処理専用チップ）を用いた場合と同様の効果を得るためには、レーンマーキング候補点のみを収差補正した座標に変換する方法が挙げられる。
しかしながら、この場合、車線認識画像処理装置がレーンマーキング候補点の集合について数学的モデル式を導出し、数学的モデル式を元に次回の探索基準点を設定するという方法を用いていると、探索基準点が画像上のレーンマーキング位置とずれるという問題が生じる。
特開２００１−３３９７１６号公報（図１、段落００２４） 特開２００１−３３９７１６号公報（図１、段落０００６）

以上のように、車線逸脱警報システム(ＬＤＷＳ)や車線維持制御システム(ＬＫＳ)などに用いられる従来の車線認識画像処理装置は、カメラのレンズ系の歪曲収差によってレーンマーキングが本来あるべき位置からずれた位置に結像するため、レーンマーキング位置を基にして得られる自車横位置に誤差が発生するので、レーンマーキングに対して精度よく車両の位置を制御することができない。
なお、この誤差発生に起因する問題点は、カメラが撮影する画像全体あるいは画像の一部の歪曲収差補正を行うことで解消される。
しかしながら、そのためには、画像処理装置内に補正された画像を格納する画像メモリを搭載しなければならない。

また、従来の車線認識画像処理装置では、座標変換に要する処理時間も膨大となる。
従って、ソフトウェアの負荷を軽減し、かつ画像処理のリアルタイム性を確保するためには専用ハードウェア（画像処理専用チップ）が必要となり、装置の小型化、低価格化が図れないという問題点がある。
また、ハードウェア、ソフトウェアの負荷を抑えるために、レーンマーキング候補点の集合について数学的モデル式を導出し、この導出された数学的モデル式を元に次回の探索基準点を設定するという方法を用いると、探索基準点が画像上のレーンマーキング位置とずれるという問題が生じる。

この発明は、このように問題点を解決するためになされたものであり、ハードウエアおよびソフトウエアの負荷を大幅に低減することができ、装置の小型化、低価格化が図れると共に、レーンマーキング位置に対する高精度な車両の位置制御に適した車線認識画像処理装置および車線認識画像処理を提供することを目的とする。

この発明に係る車線認識画像処理装置は、走行方向前方車線のレーンマーキングを撮影する撮影手段と、上記撮影手段により得られる画像を一時記憶する画像記憶手段と、上記画像記憶手段に記憶された画像に対してレーンマーキング探索範囲を設定するレーンマーキング探索ウィンドウ設定手段と、上記レーンマーキング探索ウィンドウ設定手段により設定されたレーンマーキング探索範囲からレーンマーキング候補点を抽出するレーンマーキング候補点抽出手段と、上記レーンマーキング候補点抽出手段により抽出されたレーンマーキング候補点の座標を収差補正した座標に変換するレーンマーキング候補点収差補正手段と、上記レーンマーキング候補点収差補正手段により変換されたレーンマーキング候補点の集合を数学的モデル式で近似して、レーンマーキング数学的モデル式を導出する車線認識手段と、上記車線認識手段により導出されたレーンマーキング数学的モデル式から得られる車線認識結果を出力する車線認識結果出力手段とを備えるものである。

また、この発明に係る車線認識画像処理方法は、走行方向前方車線のレーンマーキングを撮影する撮影ステップと、上記撮影ステップにより得られる画像を一時記憶する画像記憶ステップと、上記画像記憶ステップで記憶された画像に対してレーンマーキング探索範囲を設定するレーンマーキング探索ウィンドウ設定ステップと、上記レーンマーキング探索ウィンドウ設定ステップで設定されたレーンマーキング探索範囲からレーンマーキング候補点を抽出するレーンマーキング候補点抽出ステップと、上記レーンマーキング候補点抽出ステップで抽出されたレーンマーキング候補点の座標を収差補正した座標に変換するレーンマーキング候補点収差補正ステップと、上記レーンマーキング候補点収差補正ステップで変換されたレーンマーキング候補点の集合を数学的モデル式で近似して、レーンマーキング数学的モデル式を導出する車線認識ステップと、上記車線認識ステップで導出されたレーンマーキング数学的モデル式から得られる車線認識結果を出力する車線認識結果出力ステップとを有するものである。

この発明による車線認識画像処理装置あるいは車線認識画像処理方法によれば、画像に対して収差補正を施す必要はなく、レーマーキング候補点座標のみを収差補正した座標に変換するだけで済むので、ハードウエアおよびソフトウエアの負荷を大幅に低減することが可能となり、装置の小型化、低価格化が図れる。
さらに、歪曲収差による精度低下をなくすことができるので、レーンマーキング位置に対する高精度な車両の位置制御が行える。

以下、図面に基づいて本発明の一実施の形態について説明する。
なお、各図間において、同一符合は、同一あるいは相当のものを表す。
実施の形態１．
図1は、本発明の実施の形態１による車線認識画像処理装置の構成を示すブロック図である。
なお、図１に示す各手段は、実施の形態１による車線認識画像処理装置におけるソフトウェア処理の各ステップも表しているものとする。
図１に基づいて、実施の形態１による車線認識画像処理装置の各手段の動作（処理）について説明する。

撮影手段１００は、走行する車両の前方（例えば、走行方向前方車線のレーンマーキング）を撮影するカメラ１（図２参照）を表している。
図２は、撮影手段１００であるカメラ１を車両へ取り付けた状態示す図である。
カメラ１は、図２に示すように、車両２のフロントウィンドウ内側などに取り付けられ、車両前方を撮影する。
図３は、車両前方を撮影したときのカメラ１の出力画像であり、カメラ１が撮影して得られた画像は、図３に示すように自車線の左レーンマーキング３および右レーンマーキング４が水平画角内に収まっているものとする。
画像記憶手段２００は、画像メモリあるいはマイコンの内蔵ＲＡＭなどのメモリで構成され、図３に示すような画像をメモリに取り込み、記憶する。

図４は、カメラ１の出力画像に対してレーンマーキング探索ラインおよびレーンマーキング探索ウィンドウを重畳した状態を示す図である。
レーンマーキング探索ウィンドウ設定手段３００は、画像記憶手段２００（即ち、カメラ１）が取り込んだ画像に対して、図４に示すように探索走査線であるレーンマーキング探索ライン１１（Ｖ_０、Ｖ_１、・・・Ｖ_Ｎ−１）上でレーンマーキング候補点を探索するための水平方向走査範囲、即ち、左レーンマーキング探索ウィンドウ５および右レーンマーキング探索ウィンドウ６をN個ずつ設定する。
左右レーンマーキング探索ウィンドウ５、６は、前回の画像処理におけるレーンマーキング数学的モデル式により算出したレーンマーキング探索ライン上の位置（モデル点）を設定基準位置とする。
左右レーンマーキング探索ウィンドウ５、６のサイズは、前回画像と今回画像の時間差で生じるレーンマーキングの最大移動量に合わせて設定する。
即ち、処理周期が長いほど、レーンマーキング探索ウィンドウサイズは大きくなる。

レーンマーキング候補点抽出手段４００は、左右レーンマーキング探索ウィンドウ５、６内を水平方向に走査し、画像記憶手段２００のメモリより読み出した原画像輝度分布に対して、一次元画像フィルタ処理を施し、フィルタ出力結果を得る。
図５は、レーンマーキング探索ライン上のレーンマーキング候補点抽出手順を説明するための図である。
一次元画像フィルタ処理出力結果を閾値により二値化して、図５に示すような○で表すレーンマーキング候補点９、１０を検出する。
この一連の処理を、図５に示すように、Ｖ_ｎ（ｎ＝０、１、・・・、Ｎ−１）のN本設定したレーンマーキング探索ライン１１に対して実施し、左右レーンマーキング３、４に沿った左右レーンマーキング候補点９、１０の集合を得る。
ここでは、車線内側をレーンマーキング候補点の抽出位置としているが、レーンマーキングの中央あるいは左側としてもよく、車線内側に限定するものではない。

レーンマーキング候補点収差補正手段５００は、レーンマーキング候補点９、１０の集合に対して、収差補正を行う。
図６は、樽型レンズによって撮影した画像が歪曲中心に向かって収縮する様子を示す図である。
カメラ１のレンズが樽型であるとすると、歪曲中心に向かって歪曲し、図６に示すように格子上の点がドットの位置にずれて像を結ぶ。
つまり、格子状の対象を撮影したとき、画像周辺部は直線の格子には見えず、変形して歪んで見えることになる。

図７は、レーンマーキング候補点が収差補正された位置に変換されることを説明するための図である。
図７に示すように、レーンマーキング候補点９、１０を収差補正すると、９ａ、１０ａの位置に座標変換される。この補正量は、座標変換テーブルとして格納しておく。
この収差補正テーブル（即ち、座標変換テーブル）は、図８に示すように、歪曲中心から外側へ拡大させる補正量となり、候補点座標(H detect, V detect)を指定すると補正座標(H true, V true)が得られるように構成する。

図９は、レーンマーキング探索ライン上のモデル点が原画像のレーンマーキング位置とずれることを説明するための図である。
車線認識手段６００ａにおいて、レーンマーキング候補９ａ、１０ａの集合を数学的モデル式、例えば、２次式で近似すると、図９に示すように車線を表すレーンマーキング数学的モデル式７ａ、８ａが得られる。
なお、図９において、１３ａは収差補正された左レーンマーキングモデル点、１４ａは収差補正された右レーンマーキングモデル点を表している。

車線認識結果出力手段７００は、車線認識結果、即ち、レーンマーキング数学的モデル式７ａ、８ａより得られる自車横位置、道路曲率半径あるいはレーンマーキング数学的モデル式の係数そのものなどの情報を装置外部へ送信出力する。
車線認識結果出力手段７００での処理が終われば、撮影手段１００のステップに戻り、
次の一連の処理（即ち、上述した撮影手段１００〜車線認識結果出力手段７００での処理）が可能となる。
以上が、図1に示した実施の形態１による車線認識画像処理装置の全体の動作（処理）フローである。

次に、レーンマーキング候補点座標を収差補正座標へ変換する際の手順について説明しておく。
図１０は、候補点座標が収差補正された座標に変換される様子を示す図であり、まず、図１０に示すように、レーンマーキング候補点座標( H detect, V detect )について、歪曲中心からの距離即ち収差像高Xを求める。
収差像高Xは、水平画素サイズをｐ［ｍｍ／画素]、垂直画素サイズをｑ［ｍｍ／画素］とすると、下記の式（１）で表される。
Ｘ＝［｛（H detect−H center）・ｐ｝^２＋｛（V detect−Vcenter）・ｑ｝^２］^1／2
…（１）

収差像高Xと、レンズ設計値より導出した収差補正倍率Yとの関係式を二次近似式で表したものが下記の式（２）である。
Ｙ＝ａＸ^２＋ｂＸ^２＋ｃ …（２）
式（２）より任意の座標について収差補正倍率が求められ、収差補正座標(H true, V true)は、歪曲中心を基準点として下記の式（３）、式（４）で表される。
H true ＝ H center ＋ Ｙ・（Hdetect−H center） …（３）
V true ＝ V center ＋ Ｙ・（Vdetect−V center） …（４）
上記手順により、各(H,V)座標について収差補正座標(H true, V true)への座標変換テーブルを用意しておく。

以上説明したように、本実施の形態による車線認識画像処理装置は、走行方向前方車線のレーンマーキングを撮影する撮影手段１００と、撮影手段１００により得られる画像を一時記憶する画像記憶手段２００と、画像記憶手段２００に記憶された画像に対してレーンマーキング探索範囲を設定するレーンマーキング探索ウィンドウ設定手段３００と、レーンマーキング探索ウィンドウ設定手段３００により設定されたレーンマーキング探索範囲からレーンマーキング候補点を抽出するレーンマーキング候補点抽出手段４００と、レーンマーキング候補点抽出手段４００により抽出されたレーンマーキング候補点の座標を収差補正した座標に変換するレーンマーキング候補点収差補正手段５００と、レーンマーキング候補点収差補正手段５００により変換されたレーンマーキング候補点の集合を数学的モデル式で近似して、レーンマーキング数学的モデル式を導出する車線認識手段６００ａと、車線認識手段６００ａにより導出されたレーンマーキング数学的モデル式から得られる車線認識結果を出力する車線認識結果出力手段７００とを備えている。

従って、本実施の形態による車線認識画像処理装置によれば、画像に対して収差補正を施す必要はなく、レーマーキング候補点座標のみを収差補正した座標に変換するだけでよく、ハードウエアおよびソフトウエアの負荷を大幅に低減することが可能となる。
さらに、歪曲収差による精度低下をなくすことができるので、レーンマーキング位置に対する高精度な車両の位置制御が行える。

実施の形態２．
図1１は、本発明の実施の形態２による車線認識画像処理装置の構成を示すブロック図である。
なお、図１１に示す各手段は、実施の形態２による車線認識画像処理装置におけるソフトウェア処理の各ステップも表しているものとする。
以下、図１１に基づいて、本実施の形態による車線認識画像処理装置の各手段での動作（処理）について説明する。
撮影手段１００〜車線認識手段６００ａ、車線認識結果出力手段７００までの各手段の動作（処理）は、実施の形態１の場合と同じであるので、説明は省略する。

本実施の形態による車線認識画像処理装置は、前述した実施の形態１による車線認識画像処理装置に対して、更に、車線認識手段６００ａが導出するレーンマーキング数学的モデル式によりレーンマーキングモデル点座標を演算するモデル点演算手段８００ａと、モデル点演算手段８００ａにより演算されたモデル点座標を歪曲収差分だけずれたモデル点収差座標へ変換するモデル点収差座標変換手段９００を備え、レーンマーキング探索ウィンドウ設定手段３００は、モデル点収差座標変換手段９００により変換されたモデル点収差座標を次回の探索基準点とすることを特徴とする。

モデル点演算手段８００ａは、車線認識手段６００ａにより得られたレーンマーキング数学的モデル式よりレーンマーキング探索ライン上のモデル点を演算する。
車線認識手段６００ａは、収差補正されたレーンマーキング候補点を使用しているので、モデル点は収差補正された座標となる。
次に、モデル点収差座標変換手段９００は、モデル点演算手段８００ａで得られる収差補正されたレーンマーキングモデル点に対して、収差補正と逆に歪曲収差だけずれた位置に座標変換する「モデル点収差座標変換」を実施する。
図１２は、モデル点を収差分だけ移動させて、原画像のレーンマーキング位置と一致させる様子を説明するための図である。

図１２に示すように、収差補正された左レーンマーキングモデル点１３ａを収差補正まえに相当する位置にある左レーンマーキングモデル点１３へ移動することにより、原画像上の左レーンマーキング３と左レーンマーキングモデル点１３を一致させるものである。
収差補正された左レーンマーキングモデル点１３ａから原画像上の左レーンマーキングモデル点１３への座標変換はV座標の移動を含むため、原画像上の左レーンマーキングモデル点１３のV座標がレーンマーキング探索ライン１１のV座標と一致するように収差補正された左レーンマーキングモデル点１３ａを選ばねばならない。
従って、レーンマーキング探索ライン１１のV座標が連続していなければ、無駄な演算が増える。
これは、原画像上の左レーンマーキングモデル点１３のV座標を指定して収差補正された左レーンマーキングモデル点１３ａへの逆算はできないためである。

そこで、簡易的に原画像上の左レーンマーキングモデル点１３の座標を求める方法として、図１３に示すように、収差補正された左レーンマーキングモデル点１３ａをレーンマーキング探索ライン上のみの移動したモデル点１３ｂを用いる。
厳密には歪曲収差分の移動とはならないが、探索基準位置としては実用上、あまり問題とならないレベルであることが多い。
以上、図１２、図１３を用いた説明では、便宜上、左レーンマーキングについて説明したが、右レーンマーキングモデル点１４、収差補正された右レーンマーキングモデル点１４ａ、１４ｂについても同様である。

以上説明したように、本実施の形態による車線認識画像処理装置は、実施の形態１による車線認識画像処理装置に対して、更に、車線認識手段６００ａが導出するレーンマーキング数学的モデル式によりレーンマーキングモデル点座標を演算するモデル点演算手段８００ａと、モデル点演算手段８００ａにより演算されたモデル点座標を歪曲収差分だけずれたモデル点収差座標へ変換するモデル点収差座標変換手段９００を備え、レーンマーキング探索ウィンドウ設定手段３００は、モデル点収差座標変換手段９００により変換されたモデル点収差座標を次回の探索基準点とする。
このように、本実施の形態では、モデル点を歪曲収差分だけ移動させることにより収差補正するので、次回の探索基準位置が画像上のレーンマーキング位置とずれてしまうことを回避できる。
従って、レーンマーキング認識性能を低下させることなく、自車横位置精度を向上させることができる。

実施の形態３．
図1４は、本発明の実施の形態３による車線認識画像処理装置の構成を示すブロック図である。
なお、図１４に示す各手段は、実施の形態３による車線認識画像処理装置におけるソフトウェア処理の各ステップも表しているものとする。
以下、図１４に基づいて、本実施の形態による車線認識画像処理装置の各手段の動作（処理）について説明する。
撮影手段１００〜車線認識手段６００ａ、車線認識結果出力手段７００までの各手段の動作（処理）は、実施の形態１の場合と同じであるので、説明は省略する。

本実施の形態による車線認識画像処理装置は、実施の形態１による車線認識画像処理装置に対して、更に、レーンマーキング候補点抽出手段４００が抽出するレーンマーキング候補点の集合を数学的モデル式で近似して、収差補正前のレーンマーキング数学的モデル式を導出する収差補正前の車線認識手段６００と、この収差補正前の車線認識手段６００が導出する収差補正前のレーンマーキング数学的モデル式よりレーンマーキングモデル点座標を演算する収差補正前のモデル点演算手段８００を備え、レーンマーキング探索ウィンドウ設定手段３００は、収差補正前のモデル点演算手段８００が演算するレーンマーキングモデル点座標を次回の探索基点とすることを特徴とする。

収差補正前の車線認識手段６００は、収差補正前のレーンマーキング候補点により左レーンマーキング数学的モデル式７、左レーンマーキング数学的モデル式８を導出する点が車線認識手段６００ａと異なる。
これにより、本実施の形態では、車線認識手段６００ａにおける収差補正されたレーンマーキング候補点により導出したレーンマーキング数学的モデル式７ａ、８ａと、収差補正前の車線認識手段６００における収差補正前のレーンマーキング候補点により導出したレーンマーキング数学的モデル式７、８の二種類のモデル式を左右それぞれに持つことになる。
図１５に示すように、レーンマーキング数学的モデル式７ａ、８ａは収差補正されたレーンマーキング候補点を基にしているため、歪曲収差を含む原画像のレーンマーキングとは一致しない。

これに対して、レーンマーキング数学的モデル式７、８は収差補正されていないレーンマーキング候補点を基にしているため、原画像のレーンマーキングと一致する。
従って、図１６に示すように、モデル点演算手段８００においてレーンマーキング数学的モデル式７、８より求めたレーンマーキングモデル点１３、１４は、原画像のレーンマーキングと一致する。
即ち、レーンマーキングモデル点１３、１４は、次回の探索基準位置として収差補正の影響を受けない。
一方、車線認識結果出力手段７００から装置外部へ送信出力されるレーンマーキング数学的モデル式７ａ、８ａは、歪曲収差の影響を受けないものとなる。

以上説明したように、本実施の形態による車線認識画像処理装置は、収差補正まえのレーンマーキング候補点より導出したレーンマーキング数学的モデル式のモデル点を用いることにより、そのまま次回の探索基準位置として使用できる。
その結果、レーンマーキング認識性能を低下させることなく、自車横位置精度を向上させることができる。
なお、収差補正されたレーンマーキング数学的モデル式と収差補正まえのレーンマーキング数学的モデル式という二種類のモデル式を導出する必要があるが、個々のモデル点座標を収差分だけ移動させるよりは、レーンマーキング探索ライン数が増えるほど処理時間の面で有利になる。

実施の形態４．
図１７は、本発明の実施の形態４による車線認識画像処理装置の構成を示すブロック図である。
なお、図１７に示す各手段は、実施の形態４による車線認識画像処理装置におけるソフトウェア処理の各ステップも表しているものとする。
以下、図１７に基づいて、本実施の形態による車線認識画像処理装置の各手段の動作（処理）について説明する。
図１７において、撮影手段１００〜レーンマーキング候補点抽出手段４００までの動作（処理）は、前述の実施の形態１による車線認識画像処理装置と同じであるので、説明は省略する。

収差補正前の車線認識手段６００は、レーンマーキング候補点抽出手段４００によって抽出されたレーンマーキング候補点の座標を収差補正せず、そのまま用いて、レーンマーキング数学的モデル式を導出する。
次に、車線認識結果収差補正手段１０００において、車線認識結果、即ち、収差補正前の車線認識手段６００が導出するレーンマーキング数学的モデル式より得られる自車横位置，道路曲率半径に対して収差補正を行う。
例えば、自車横位置を出力する場合、横位置が既知である環境を用意し、横位置を逐次、変化させながら、横位置の真値と車線認識画像処理装置の出力値とのずれ量を記録し、テーブルとして格納しておく。このテーブルを横位置出力値に適用することにより、収差補正を行う。

ここで、横位置が既知となる環境とは、実物大の道路白線を撮影し、カメラ１を精密に水平移動できる設備を指す。
これは、ミニチュアの環境でもよい。道路白線がミニチュアとなる場合は、縮尺に合わせてカメラ取り付け高さを変えることで対応する。
また、カメラ１を精密に水平移動できない場合は、カメラ正面にチャートを設置し、各横位置に合わせてチャートを切り換えても良い。
道路曲率半径を出力する場合も同様に、チャートを用いてテーブルを作成し、格納することで対応する。
収差補正後の車線認識結果出力手段７００aは、車線認識結果収差補正手段１０００で収差補正された車線認識結果を装置外部へ送信出力する。

以上説明したように、本実施の形態による車線認識画像処理装置は、走行方向前方の車線のレーンマーキングを撮影する撮影手段１００と、撮影手段１００により得られた画像を一時記憶する画像記憶手段２００と、画像記憶手段２００に記憶された画像に対してレーンマーキング探索範囲を設定するレーンマーキング探索ウィンドウ設定手段３００と、レーンマーキング探索ウィンドウ設定手段３００により設定されたレーンマーキング探索範囲からレーンマーキング候補点を抽出するレーンマーキング候補点抽出手段４００と、レーンマーキング候補点抽出手段４００が抽出するレーンマーキング候補点の集合を数学的モデル式で近似して、収差補正前のレーンマーキング数学的モデル式を導出する収差補正前車線認識手段６００と、収差補正前車線認識手段６００により導出されたレーンマーキング数学的モデル式から得られる車線認識結果を収差補正する車線認識結果収差補正手段１０００と、車線認識結果収差補正手段１０００から得られる収差補正された車線認識結果を出力する収差補正後の車線認識結果出力手段７００ａとを備える。
これにより、送信出力する車線認識結果に対してのみテーブル（即ち、横位置の真値と車線認識結果出力手段７００ａの出力値のずれ量を記録したテーブル）を用意して、収差補正を実施すればよいので、ソフトウェア，ハードウェアの負荷を大幅に低減できる。

実施の形態５．
図１８は、本発明の実施の形態５による車線認識画像処理装置の構成を示すブロック図である。
なお、図１８に示す各手段は、実施の形態４による車線認識画像処理装置におけるソフトウェア処理の各ステップも表しているものとする。
以下、図１８に基づいて、本実施の形態による車線認識画像処理装置の各手段の動作（処理）について説明する。
撮影手段１００〜レーンマーキング候補点抽出手段４００、収差補正前の車線認識手段６００、車線認識結果収差補正手段１０００、収差補正後の車線認識結果出力手段７００ａの動作（処理）は、前述の実施の形態４の場合同じであるので、説明は省略する。

収差補正前のモデル点演算手段８００において、収差補正前の車線認識手段６００より得られるレーンマーキング数学的モデル式よりレーンマーキング探索ライン上のモデル点を演算する。
収差補正前のモデル点演算手段８００で演算されたモデル点座標は、レーンマーキング探索ウィンドウ設定手段３００において、次回の探索基準点として使用する。
収差補正前のモデル点演算手段８００により得られるモデル点座標は、収差補正前の車線認識手段６００において収差補正を実施していない候補点座標の集合よりレーンマーキング数学的モデル式を導出しているため、画像上のレーンマーキング位置と一致する。
従って、本実施の形態によれば、収差補正前のモデル点演算手段８００により得られるモデル点は、次回の探索基準点として座標変換などの加工をすることなく使用することができる。

この発明は、装置の小型化、低価格化が図れると共に、レーンマーキング位置に対する高精度な位置制御が行える車両用の車線認識画像処理装置の実現に有用である。

本発明の実施の形態１による車線認識画像処理装置の構成を示すブロック図である。 撮影手段であるカメラを車両へ取り付けた状態示す図である。 車両前方を撮影したときのカメラの出力画像である。 カメラ出力画像上に、レーンマーキング探索ラインおよびレーンマーキング探索ウィンドウを重畳した状態を示す図である。 レーンマーキング探索ライン上のレーンマーキング候補点抽出手順を説明するための図である。 樽型レンズによる画像が歪曲中心に向かって収縮する様子を示す図である。 レーンマーキング候補点が収差補正された位置に変換されることを説明するための図である。 収差補正によって格子上の点が画像の外側に向かって拡大される様子を示す図である。 レーンマーキング探索ライン上のモデル点が原画像のレーンマーキング位置とずれることを説明するための図である。 候補点座標が収差補正された座標に変換される様子を示す図である。 本発明の実施の形態２による車線認識画像処理装置の構成を示すブロック図である。 モデル点を収差分だけ移動させて、原画像のレーンマーキング位置と一致させる様子を説明するための図である。 モデル点の収差分の移動を、水平方向のみに行う様子を説明するための図である。 本発明の実施の形態３による車線認識画像処理装置の構成を示すブロック図である。 収差補正まえの候補点集合から導出したレーンマーキング数学的モデル式が原画像のレーンマーキング位置と一致することを説明するための図である。 収差補正まえの候補点集合から導出したレーンマーキング数学的モデル式によるモデル点が原画像のレーンマーキング位置と一致することを説明するための図である。 本発明の実施の形態４による車線認識画像処理装置の構成を示すブロック図である。 本発明の実施の形態５による車線認識画像処理装置の構成を示すブロック図である。

符号の説明

１００ 撮影手段
２００ 画像記憶手段
３００ レーンマーキング探索ウィンドウ設定手段
４００ レーンマーキング候補点抽出手段
５００ レーンマーキング候補点収差補正手段
６００ 収差補正前の車線認識手段
６００ａ 車線認識手段
７００ 車線認識結果出力手段
７００ａ 収差補正後の車線認識結果出力手段
８００ａ モデル点演算手段
８００ 収差補正前のモデル点演算手段
９００ モデル点収差座標変換手段
１０００ 車線認識結果収差補正手段
１ カメラ ２ 車両
３ 左レーンマーキング ４ 右レーンマーキング
５ 左レーンマーキング探索ウィンドウ
６ 右レーンマーキング探索ウィンドウ
７ 左レーンマーキング数学モデル式
８ 右レーンマーキング数学モデル式
７ａ 収差補正された候補点集合に基づく左レーンマーキング数学モデル式
８ａ 収差補正された候補点集合に基づく右レーンマーキング数学モデル式
９ 左レーンマーキング候補点
１０ 右レーンマーキング候補点
９ａ 収差補正された左レーンマーキング候補点
１０ａ 収差補正された右レーンマーキング候補点
１１ レーンマーキング探索ライン
１２ 歪曲中心
１３ 左レーンマーキングモデル点
１４ 右レーンマーキングモデル点
１３ａ 収差補正された左レーンマーキングモデル点
１３ｂ １３ａを歪曲収差分水平移動した左レーンマーキングモデル点
１４ａ 収差補正された右レーンマーキングモデル点
１４ｂ １４ａを歪曲収差分、水平移動した右レーンマーキングモデル点

Claims (6)

1. 走行方向前方車線のレーンマーキングを撮影する撮影手段と、
   上記撮影手段により得られる画像を一時記憶する画像記憶手段と、
   上記画像記憶手段に記憶された画像に対してレーンマーキング探索範囲を設定するレーンマーキング探索ウィンドウ設定手段と、
   上記レーンマーキング探索ウィンドウ設定手段により設定されたレーンマーキング探索範囲からレーンマーキング候補点を抽出するレーンマーキング候補点抽出手段と、
   上記レーンマーキング候補点抽出手段により抽出されたレーンマーキング候補点の座標を収差補正した座標に変換するレーンマーキング候補点収差補正手段と、
   上記レーンマーキング候補点収差補正手段により変換されたレーンマーキング候補点の集合を数学的モデル式で近似して、レーンマーキング数学的モデル式を導出する車線認識手段と、
   上記車線認識手段により導出されたレーンマーキング数学的モデル式から得られる車線認識結果を出力する車線認識結果出力手段とを備えることを特徴とする車線認識画像処理装置。
2. 上記車線認識手段が導出するレーンマーキング数学的モデル式によりレーンマーキングモデル点座標を演算するモデル点演算手段と、
   上記モデル点演算手段により演算されたモデル点座標を歪曲収差分だけずれたモデル点収差座標へ変換するモデル点収差座標変換手段を備え、
   上記レーンマーキング探索ウィンドウ設定手段は、上記モデル点収差座標変換手段により変換されたモデル点収差座標を次回の探索基準点とすることを特徴とする請求項１記載の車線認識画像処理装置。
3. 上記レーンマーキング候補点抽出手段が抽出するレーンマーキング候補点の集合を数学的モデル式で近似して、収差補正前のレーンマーキング数学的モデル式を導出する収差補正前車線認識手段と、
   上記収差補正前車線認識手段が導出する収差補正前のレーンマーキング数学的モデル式よりレーンマーキングモデル点座標を演算する収差補正前モデル点演算手段を備え、
   上記レーンマーキング探索ウィンドウ設定手段は、上記収差補正前モデル点演算手段が演算するレーンマーキングモデル点座標を次回の探索基点とすることを特徴とする請求項１記載の車線認識画像処理装置。
4. 走行方向前方車線のレーンマーキングを撮影する撮影ステップと、
   上記撮影ステップにより得られる画像を一時記憶する画像記憶ステップと、
   上記画像記憶ステップで記憶された画像に対してレーンマーキング探索範囲を設定するレーンマーキング探索ウィンドウ設定ステップと、
   上記レーンマーキング探索ウィンドウ設定ステップで設定されたレーンマーキング探索範囲からレーンマーキング候補点を抽出するレーンマーキング候補点抽出ステップと、
   上記レーンマーキング候補点抽出ステップで抽出されたレーンマーキング候補点の座標を収差補正した座標に変換するレーンマーキング候補点収差補正ステップと、
   上記レーンマーキング候補点収差補正ステップで変換されたレーンマーキング候補点の集合を数学的モデル式で近似して、レーンマーキング数学的モデル式を導出する車線認識ステップと、
   上記車線認識ステップで導出されたレーンマーキング数学的モデル式から得られる車線認識結果を出力する車線認識結果出力ステップとを有することを特徴とする車線認識画像処理方法。
5. 上記車線認識ステップで導出されるレーンマーキング数学的モデル式によりレーンマーキングモデル点座標を演算するモデル点演算ステップと、
   上記モデル点演算ステップで演算されたモデル点座標を歪曲収差分だけずれたモデル点収差座標へ変換するモデル点収差座標変換ステップを有し、
   上記レーンマーキング探索ウィンドウ設定ステップは、上記モデル点収差座標変換ステップで変換されたモデル点収差座標を次回の探索基準点とすることを特徴とする請求項４記載の車線認識画像処理方法。
6. 上記レーンマーキング候補点抽出ステップで抽出されるレーンマーキング候補点の集合を数学的モデル式で近似して、収差補正前のレーンマーキング数学的モデル式を導出する収差補正前車線認識ステップと、
   上記収差補正前車線認識ステップで導出される収差補正前のレーンマーキング数学的モデル式よりレーンマーキングモデル点座標を演算する収差補正前モデル点演算ステップを有し、
   上記レーンマーキング探索ウィンドウ設定ステップは、上記収差補正前モデル点演算手ステップで演算されるレーンマーキングモデル点座標を次回の探索基点とすることを特徴とする請求項４記載の車線認識画像処理方法。