JP3600378B2

JP3600378B2 - 車両の外界認識装置

Info

Publication number: JP3600378B2
Application number: JP21318396A
Authority: JP
Inventors: 茂人仲山
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1996-07-24
Filing date: 1996-07-24
Publication date: 2004-12-15
Anticipated expiration: 2016-07-24
Also published as: JPH1040499A

Description

【０００１】
【発明の属する技術分野】
この発明は車両の外界認識装置に関し、より具体的には進行方向の路面を撮像するカメラ（撮像手段）が撮像した画像から走行路を認識する装置において、車両のピッチ角変動などに対してカメラパラメータを補正するようにしたものに関する。
【０００２】
【従来の技術】
進行方向の路面を撮像し、走行路区分線を認識するようにした車両の外界認識装置は、例えば特開平８−３０７７０号公報などから知られている。
【０００３】
そのような装置において、車両に搭載したカメラから入力した画像を処理し、得られた走行路区分線（レーンマーキング）の位置を実平面（走行路面）座標に変換するとき、カメラと走行路面との位置関係が既知であることが必要となる。この位置関係を示す、いくつかの値を、カメラパラメータ（前記した撮像パラメータに同じ）と呼ぶ。
【０００４】
カメラパラメータの中で、上記の座標変換の誤差に対して深刻な影響を与えるのは、カメラの俯角の誤差、即ち、車両の姿勢変化に伴うカメラの傾き角度の変動である。車両の姿勢変化、特にピッチ角変動が起こると、カメラ俯角を補正しないで座標変換を行った場合、図１９に示すような誤差が生じる。
【０００５】
尚、この明細書において路面に対する車両の前後方向の傾きを「車両のピッチ角変動」と呼ぶ。また、カメラ（撮像手段）の車両前後方向の傾きを「カメラの俯角」と呼ぶ。
【０００６】
図２０に示すグラフは、車両（乗員４名）が約８０ｋｍ／ｈで直進走行しているときのピッチ角変動を測定したものである。具体的には、停止状態、乗員２名で測定したピッチ角０．０１９［ｄｅｇ．］（度）を初期値とし、そこからの変化量を走行距離〔ｍ〕に対して表した。
【０００７】
このデータ測定時の車両のピッチ角は、初期値よりも平均して０．３５［ｄｅｇ．］ほどプラス方向（車両のフロントが持ち上がった状態）にシフトしている。それに比較すれば、走行中の車両の揺れによるピッチ角変化は、±０．１［ｄｅｇ．］前後であり、乗員数の変化などによる車両の定常的な姿勢変化量に比べて小さいことが分かる。
【０００８】
このように、車両のピッチ角方向の姿勢変化は、次の２つに大別される。
ａ）動的な変化
車両が、走行中に加減速したり、路面の凹凸やウネリにより揺れたときに生じる短期的な変化。加速度計やピッチレートセンサにより定常状態からの変化分として、ある程度は測定可能。
ｂ）静的な変化
乗員数や積載荷物の変化などによる、車両の定常な姿勢変化。傾斜計や車高センサなどで測定可能。静的とは言っても、走行の度に変化する。
【０００９】
走行路区分線の検出誤差は、目的とする自動運転制御の内容により一様ではないが、例えば検出した走行路区分線の直進方向に対する傾き角度の許容誤差を±０．５［ｄｅｇ．］程度とするならば、±０．４［ｄｅｇ．］以上のピッチ角変化は補正する必要がある。
【００１０】
その他にも、座標変換時の誤差要因には道路形状（坂やバンクなど）が考えられるが、高速道路での走行を基本とするとき、そこでは道路構造が法令で規定されており、走行路（レーン）は幅が一定であり、左右の区分線（マーキング）も基本的に平行と仮定することができるので、画像処理結果から補正を行うこともできる。
【００１１】
このようなピッチ角変動に対して、従来技術においては、例えば、車両の四隅に車高センサ（超音波式の距離センサ）を設けて路面との高さを測定し、ピッチ角変動に対してカメラパラメータを補正することも行われているが、車高センサを４個必要とする点で構成が複雑であり、コストも増加する。
【００１２】
その意図から、特開平３−２７６２１１号公報で提案されるように、手動走行と自動走行に切換え可能な車両において、外界認識結果と手動操作量から推定される認識結果とのずれを求め、そのずれを解消するように自動走行時の外界認識結果を補正する手法が提案されている。特開平３−１１８６１１号公報なども、画像入力手段の振動に応じて画像処理開始位置を変更する、即ち、ピッチ角変動に応じて画像処理開始位置を上下させる構成を開示する。
【００１３】
【発明が解決しようとする課題】
しかしながら、上記した従来技術はピッチ角変動のうち主として動的な変化に起因するずれを補正することを主眼としており、そのため補正を常時行うなど、構成が複雑であった。図２０に関して説明したように、ピッチ角変動をもたらす原因としては乗員数や積載貨物の増減などの静的な変化の方が支配的である。しかも、車両が走行している間は乗員数や積載貨物の増減などは変化しない筈であるから、補正は走行中に頻繁に行う必要はない。
【００１４】
従って、この発明の目的は上記した従来技術の欠点を解消し、静的な変化に起因するピッチ角変動によるカメラパラメータのずれを簡易に補正してレーンマーキング検出を精度良く行えるようにすると共に、その補正を走行中に一度行えば足るようにした車両の外界認識装置を提供することにある。
【００１５】
更に、カメラは進行方向を直視するように車両に取り付けられるが、取り付けバラツキなどから車両走行中心線に対してカメラ視野の中心軸がずれることがある。このようなパン角のずれがあると、同様にレーンマーキング検出誤差の原因となる。他方、取り付け精度を上げるとすれば、生産効率はある程度犠牲にせざるを得ない。
【００１６】
従って、この発明の別の目的は上記した従来技術の欠点を解消し、パン角を簡易かつ適正に補正してレーンマーキングの検出精度を上げると共に、生産効率も低下することがないように車両の外界認識装置を提供することにある。
【００１７】
【課題を解決するための手段】
第１の目的を達成するために、この発明に係る車両の外界認識装置は請求項１項において、進行方向の路面を撮像する撮像手段と、前記撮像された画像から、少なくとも１組の走行路区分線を抽出する走行路区分線抽出手段と、前記抽出された少なくとも１組の走行路区分線を所定の撮像パラメータに基づいて実平面上に座標変換する座標変換手段と、走行状態を検出する走行状態検出手段と、前記検出された走行状態において車両が直進走行する状態であるとき、前記座標変換された少なくとも１組の走行路区分線の挟み角が所定値以上か否か判定する判定手段と、および前記座標変換された少なくとも１組の走行路区分線の前記挟み角が前記所定値以上と判定されるとき、前記撮像パラメータを補正する撮像パラメータ補正手段と、を備える如く構成した。
【００１８】
請求項２項にあっては、前記撮像パラメータ補正手段は、前記座標変換された少なくとも１組の走行路区分線の前記挟み角が前記所定値以上と判定されるとき、前記挟み角が小さくなるように前記撮像パラメータを補正する如く構成した。
【００１９】
請求項３項にあっては、前記撮像パラメータが、車両乗員数の変化を含む車両の定常的な姿勢の変化に起因して変化する、前記撮像手段と走行路面との位置関係を示すパラメータである如く構成した。
【００２１】
第２の目的を達成するために、請求項４項に係る車両の外界認識装置は、進行方向の路面を撮像する撮像手段と、前記撮像された画像を所定の撮像パラメータに基づいて実平面上に座標変換する座標変換手段と、前記撮像手段の撮像画像の座標系を基準線と比較し、進行方向に対する偏角を求める偏角算出手段と、前記求めた偏角が所定値以上か否か判定する判定手段と、および前記求めた偏角が前記所定値以上と判定されるとき、前記撮像パラメータを補正する撮像パラメータ補正手段とを備える如く構成した。
【００２２】
また、請求項５項にあっては、前記撮像パラメータ補正手段は、補正を完了したか否かを報知する報知手段を備えることえる如く構成した。
【００２３】
【作用】
請求項１項に係る装置にあっては、静的な変化に起因するピッチ角変動によるカメラパラメータのずれを簡易に補正してレーンマーキング検出を精度良く行えることができる。また、その補正を走行中に一度行えば足るようにしたので、構成としても簡易である。尚、その補正の詳細は請求項２項ないし３項に記載の通りである。
【００２４】
請求項４項に係る装置にあっては、パン角を簡易かつ適正に補正してレーンマーキングの検出精度を上げることができると共に、取り付けバラツキによるパン角ずれを簡易に補正することができるので、取り付け精度を所定基準以上に上げる必要がなく、よって生産効率が低下することもない。
【００２５】
請求項５項に係る装置にあっては、運転者は補正が完了したか否かを認識することができ、補正未了が継続するときは自動運転を選択しないなど必要な措置を取ることができる。
【００２６】
【発明の実施の形態】
以下、添付図面に即してこの発明の実施の形態を説明する。
【００２７】
図１はこの発明に係る車両の外界認識装置を全体的に示す説明透視図である。図において、符号１０はＣＣＤカメラ（モノクロＴＶカメラ）（前記した撮像手段）を示し、ＣＣＤカメラ１０は運転席上方のルームミラー取り付け位置付近に固定され、車両進行方向を単眼視する。
【００２８】
符号１２は、車両室内の中央部付近に設けられて車両重心の鉛直軸（ｚ軸）回りの角加速度を検出するヨーレートセンサを示す。更に、車両のドライブシャフト（図示せず）の付近にはリードスイッチからなる車速センサ１４が設けられて車両の進行速度を検出すると共に、舵角センサ１６が車両のステアリングシャフト１８の付近に設けられてステアリング舵角を検出する。
【００２９】
また、ステアリングシャフト１８には舵角制御モータ２０が取り付けられると共に、スロットル弁（図示せず）にはパルスモータからなるスロットルアクチュエータ２２が取り付けられ、更にブレーキ（図示せず）にはブレーキ圧力アクチュエータ（図示せず）が取り付けられる。
【００３０】
上記したＣＣＤカメラ１０などの出力は、制御ユニット２４に送られる。
【００３１】
図２はその制御ユニットの構成をより詳細に示すブロック図である。
【００３２】
ＣＣＤカメラ１０の出力は制御ユニット２４においてレーンマーキング検出画像処理ユニット３０に送られ、エッジ検出とハフ（Ｈｏｕｇｈ）変換により直線成分（走行路区分線（レーンマーキング））の抽出が行われる。舵角センサ１６などの出力は処理回路（図示せず）を経て車両走行状態検知ユニット３２に送られると共に、前記した舵角制御モータ２０などの制御アクチュエータの出力も車両制御ユニット３４を解して車両走行状態検知ユニット３２に送られる。
【００３３】
レーンマーキング検出画像処理ユニット３０、車両走行状態検知ユニット３２および車両制御ユニット３４の出力は、総合判断ユニット３６に入力される。他方、車両運転席前方のダッシュボードに設けられたドライバインターフェース３８（図１で図示省略）を通じてドライバ（運転者）から手動運転から自動運転への切換え指令などが入力され、同様に総合判断ユニット３６に入力される。
【００３４】
総合判断ユニット３６では切換え指令がなされたとき、入力情報に基づいて所定の運転状態においてＣＣＤカメラ１０から得られた画像入力に基づき、適宜舵角および車速を制御すると共に、ブレーキ動作を行ない、自動運転を行う。尚、自動運転は、例えば本出願人が先に特開平７−８１６０４号公報で提案したような技術である。但し、この発明の要旨はカメラパラメータの補正にあるので、その説明は省略する。
【００３５】
続いて、図３フロー・チャートを参照して出願に係る車両の外界認識装置の動作を説明する。これは前記した総合判断ユニット３６が行う動作である。
【００３６】
図示のプログラムは機関が始動してから停止するまでの１回の走行中に基本的には１度行う。具体的には、この処理は、イグニションスイッチ（図示せず）がオンされて車速センサ１４の出力が零から所定の値に達したところで行う。
【００３７】
尚、この発明の目的がピッチ角変動の静的な変化によるカメラパラメータの補正にあることから、走行中にピッチ角変動の静的な変化が生じた可能性の状況、例えばパーキングエリアでの停止などを検知し、その後にもこの処理を行うのが望ましい。そのような状況は例えば、車両ドアにその開閉を検知する手段を設けると共に、車速センサ１４の出力から車速零の状態が所定時間継続したか否かを検出することで検知できよう。
【００３８】
先ず、Ｓ１０においてピッチ角変化量（ずれ）を零に初期設定し、Ｓ１２に進んで車両が所定速度以上で直進走行中か否か判断する。
【００３９】
これは望ましくは、自動運転におけるレーンマーキング検出誤差を低減する意図から、自動運転ではなく、人が操縦している手動運転中にあって所定速度以上で直進走行中か否か判断する。所定速度（例えば８０ｋｍ／ｈ）以上か否かは車速センサ１４の出力、直進走行中か否かは、ヨーレートセンサ１２および舵角センサ１６の出力から推定（判断）する。
【００４０】
即ち、この装置においては、高速道路などの走行路区分線が整備された環境を前提とすると共に、走行路の左右の区分線は平行であると言う仮定に基づき、車両のピッチ角の静的な変動分を求めて補正するようにした。所定速度以上であることを要求する理由は、高速道路を走行していることを推定するためである。
【００４１】
Ｓ１２で肯定されるときはＳ１４に進み、車両運転席前方のダッシュボードのパネルに設けたランプ（図示せず）を点灯させ、補正処理中である旨の告知（報知）を行い、Ｓ１６に進んでレーンマーキング検出（抽出）画像処理を行う。これは先に述べたように、エッジ検出およびハフ変換などから直線成分を検出し、レーンマーキング（走行路区分線）を検出（抽出）する処理である。尚、レーンマーキングは走行レーン間に表示される破線のみならず、路肩を示す実線で表示されるマーキングをも含む意味で使用する。
【００４２】
次いでＳ１８に進んで左右のレーンマーキングを検出したか否か判断し、肯定されるときはＳ２０に進んで検出レーンマーキングを実平面（走行路面）上で直線近似し、左右２直線の直線式とその積分値（平均値）を求める。次いでＳ２２に進んで所定回数繰り返したか否か判断し、肯定されるときはＳ２４に進んで積分値を（処理回数−１）で除算して現状の直線式を算出する。
【００４３】
より具体的には、先ず検出されたレーンマーキング位置を、カメラ俯角を含むカメラパラメータの初期設定値を用いて実平面上の座標に変換し、検出されたレーンマーキングの左右２直線の直線式を実平面上で求める。図４にカメラパラメータの内容を、図５に検出された左右のレーンマーキングの近似直線を示す。そして、このようなレーンマーキング検出、実平面上の座標への変換および直線式算出処理を繰り返し所定回数行ない、図６に示すような２本の直線の積分値を求める。上記積分値を各々（処理回数−１）で除算し、現状の直線式とする。
【００４４】
即ち、図５および図６に示すように左右の２直線をＬ１，Ｌ２とし、実平面上での直線式を、
Ｌ１：ｙ＝Ａ１・ｘ＋Ｂ１
Ｌ２：ｙ＝Ａ２・ｘ＋Ｂ２
とするとき、各々の直線の傾きＡと切片Ｂについてそれぞれ積分値を求める。
【００４５】
この積分について説明すると、レーンマーキング検出画像処理が一定間隔の入力画像に対して行われるのであれば、結果として得られる左右の２直線の直線式のデータは、等間隔な分点として考えられる。従って、各直線式のデータの積分値は、ニュートン・コーツ公式に代表される補間型公式により近似値が与えられる。
【００４６】
例として直線Ｌ１の傾きＡ１について述べる。いま（ｎ＋１）回の処理により、傾きＡ１のデータ
Ａ１（０），Ａ１（１），Ａ１（２），Ａ１（３），Ａ１（４），・・・Ａ１（ｎ−１），Ａ１（ｎ）
が得られたとする（ｎ：偶数）。積分の区間（ａ，ｂ）は（０，ｎ）である。ニュートン・コーツ公式のなかで最も簡単な台形則を用いれば、積分の近似値Ｓは、以下のように与えられる。
Ｓ＝ｈ（Ａ１（０）／２＋Ａ１（１）＋Ａ１（２）＋・・・＋Ａ１（ｎ−１）＋Ａ１（ｎ）／２）
（但し、ｈ＝（ｂ−ａ）／ｎ）
【００４７】
また、シンプソン則を用いれば、同様の場合の積分の近似値Ｓは、以下のように与えられる。
Ｓ＝（ｈ／３）（Ａ１（０）＋４Ａ１（１）＋２Ａ１（２）＋４Ａ１（３）＋２Ａ１（４）＋・・・４Ａ１（ｎ−１）＋Ａ１（ｎ））（但し、ｈ＝（ｂ−ａ）／ｎ）
【００４８】
現状の傾きＡ１は、かくして得られた積分の近似値Ｓをｍ（＝処理回数−１）で除算して以下のように求める。
Ａ１＝Ｓ／ｍ
【００４９】
続いてＳ２６に進み、求めた２直線が平行か否か（前記した所定の関係にあるか否か）判断する。これは、左右の２直線Ｌ１，Ｌ２の挟み角θ（図７に示す）を
θ＝ａｔａｎ（Ａ１）− ａｔａｎ（Ａ２）
と求め、求めた挟み角θを適宜設定するしきい値と比較することで行う。
【００５０】
より具体的には、求めた挟み角θがしきい値よりも小さい場合、２直線は平行とみなす。しきい値は、前記した自動運転制御に対する要件から、±０．１［ｄｅｇ．］程度とする。
【００５１】
このように、路上に区分線が平行に表示された走行環境において、それら走行路区分線の平行度を検出できるように初期設定されたカメラパラメータ、特に俯角を用いて実際に２本の走行路区分線を抽出し、それらが平行となるようなカメラ俯角を逆に求めることで、初期設定値に対する現状のピッチ角変化量（ずれ）を推定し、それによって補正量を求めるようにした。
【００５２】
Ｓ２６で否定されるときはＳ２８に進み、検出した２直線を平行とするような（即ち、前記した所定の関係となるような）カメラ俯角を求め、初期設定値に対する現状のピッチ角変化量を推定し、カメラパラメータを補正する。
【００５３】
これについて説明すると、積分して求めた左右の２直線Ｌ１，Ｌ２の実平面上での直線式を前記の如く、
Ｌ１：ｙ＝Ａ１・ｘ＋Ｂ１
Ｌ２：ｙ＝Ａ２・ｘ＋Ｂ２
とするとき、図６に示すようなＬ１とＬ２のカメラ座標系での中心線ｙ＝Ａ・ｘ＋Ｂを求める。
【００５４】
この中心線は、
傾きＡ＝ｔａｎ（（ａｔａｎ（Ａ１）＋ａｔａｎ（Ａ２））／２）
切片Ｂ＝（Ｂ１＋Ｂ２）／２
の直線である。
【００５５】
続いて２直線Ｌ１，Ｌ２を、画像（撮像面）座標上に変換する。画像（撮像面）座標上での直線式を、図８に示す如く、
Ｌ１’：ｙｄ＝Ａｄ１・ｘｄ＋Ｂｄ１
Ｌ２’：ｙｄ＝Ａｄ２・ｘｄ＋Ｂｄ２
とする。
【００５６】
画像（撮像面）座標上の直線Ｌ１’，Ｌ２’を再び実平面（カメラ座標系）に変換するとき、傾きＡ１”，Ａ２”が、先に求めた中心線の傾きＡと等しくなるようなカメラ俯角（カメラパラメータ補正値）を求める。尚、Ａ１”，Ａ２”がともにＡと等しくなるようなカメラ俯角を求めるのは困難であれば、Ａ１”，Ａ２”それぞれについてＡと等しくなるようなカメラ俯角を別々に求めて平均しても良い。また、Ｌ１が路肩側に表示された実線で、Ｌ２が破線である場合には、Ａ１”がＡと等しくなるカメラ俯角の方を用いるようにしても良い。
【００５７】
尚、この作業はより具体的には図９に示すように、処理領域をピッチ角変化量に対応する量だけ、画像を垂直方向に平行移動させて行っても良い。即ち、カメラパラメータの補正手法は他にも、ＣＣＤカメラ１０の取り付け位置を物理的に変更する、座標変換計算値を変更するなど種々の対応が考えられるが、図示の如く処理領域を調整して補正しても良い。
【００５８】
次いでＳ３０に進んで規定回数（例えばレーンマーキング検出画像処理時間が６６ｍｓの場合、５回）を超えたか否か判断し、肯定されない限り、Ｓ１２に戻り、補正したカメラパラメータを用いて以上の処理を繰り返す。
【００５９】
そしてＳ２６で２直線が平行と判断されるときはＳ３２に進んでダッシュボードのパネルに設けた別のランプ（図示せず）を点灯させ、補正が完了した旨の告知（報知）を行ってプログラムを終了する。またＳ３０で規定回数を超えたと判断されるときはＳ３４に進んで更に別のランプを点灯させ、補正ができなかった旨（補正未了）の告知（報知）を行ない、Ｓ１０に戻る。
【００６０】
またＳ１２で否定されるときはＳ３６に進んで更に別のランプを点灯させるなどして補正可能な走行状況ではないことを告知（報知）し、Ｓ１０に戻る。Ｓ１８で左右のレーンマーキングが検出できなかったと判断されるときはＳ３８に進み、それが規定回数（例えば５回）を超えたか否か判断し、否定されるときはＳ１２に戻ると共に、肯定されるときはＳ４０に進んでＳ３４と同様の処理をしてＳ１０に戻る。
【００６１】
以上の如く、図示のプログラムは、基本的に走行の初期などに起動され、機関始動から停止の走行の間に一度だけ行われる。
【００６２】
上記の如く構成したことによって、静的な変化に起因するピッチ角変動によるカメラパラメータのずれを簡易に補正してレーンマーキング検出を精度良く行えることができる。また、その補正を走行中に一度行えば足るようにしたので、構成としても簡易である。
【００６３】
また、補正完了などを報知（告知）するようにしたので、運転者は補正が完了したか否かを認識することができ、補正未了が継続するときは自動運転を選択しないなど必要な措置を取ることができる。
【００６４】
続いて、カメラパラメータのパン角補正について説明する。
【００６５】
ＣＣＤカメラ１０は、車両の前方に進行方向を直視するように車両の直進方向にカメラ視野の中心軸が取り付けられる。具体的には座標系は、ＣＣＤカメラ１０の視野中央をＸｒ軸とし、レンズの焦点位置を座標原点としたカメラ座標系（図１０に示す）と、車両の前方直進方向をＸr-car 軸とした車両の所定位置（重心位置など）を座標原点とした座標系（「車両のローカル座標系」という。図１１に示す）からなる。
【００６６】
そして、実平面上に座標変換するときは、正確には、図１２に示すように、車両のローカル座標系を基準として行う。図１３はその際の点の変換を、図１４は直線の変換の詳細を示す。
【００６７】
従って、ＣＣＤカメラ１０はカメラ座標系と車両ローカル座標の縦軸（Ｘ軸）が一致するように取り付けられるが、実際には取り付けバラツキなどからずれが生じ、図１５に示すように、カメラ座標系での検出レーンマーキングが常時ある偏角をもつ場合が起こり易い。カメラパラメータのパン角補正は、このような車両の直進方向に対するカメラ視野の中心軸のずれを補正し、図１６に示す如く、両座標系のＸ軸を一致させる作業である。
【００６８】
図１７はその作業を示すフロー・チャートである。
【００６９】
パン角補正は一度行えば、カメラを脱着しない限り、繰り返す必要がないので、図示のプログラムは、例えば製造後の検査時、所定距離走行後の定期点検時などに行われる。従って、パン角補正は先に図３フロー・チャートで説明した俯角補正に先立って行われる処理である。また、パン角補正は先の俯角補正と類似するので、説明は簡単に止める。
【００７０】
以下説明すると、Ｓ１００でパン角補正量Ｐａｎを零に初期設定し、Ｓ１０２に進んで模擬レーンマーキング検出（抽出）画像処理を行う。これは、車両の直進方向を確認するために、検査工場の路面に表示した模擬的なレーンマーキング（具体的には先の走行路区分線と同様な平行な２直線）を検出（抽出）する処理である。
【００７１】
続いてＳ１０４に進んで左右のレーンマーキングを検出したか否か判断し、肯定されるときはＳ１０６に進んで検出レーンマーキングを実平面上で直線近似し、左右２直線の中心線（前記した基準線）と実平面座標の縦軸との偏角とその積分値を求め、Ｓ１０８に進んで所定回数繰り返したか否か判断し、肯定されるときはＳ１１０に進んで図示の如く偏角を求める。
【００７２】
即ち、図１８に示すように、検出された模擬レーンマーキング位置を初期設定のカメラパラメータを用いて実平面上の座標に変換する（初期設定ではＰａｎ＝０）。続いて検出された模擬レーンマーキングの左右の２直線の中心線を実平面上で求め、次いで求めた中心線と車両ローカル座標系の縦軸（Ｘ軸）との偏角を求める。中心線の求め方は、図示の如く、先の俯角補正と同様である。
【００７３】
上記処理を繰り返して所定回数行って偏角の積分値を求め（偏角は反時計方向回りを正とする）、積分値を（処理回数−１）で除算し、現状の偏角とする。続いてＳ１１２に進んで求めた偏角がしきい値（先と同様の理由から±０．１［ｄｅｇ．］程度）未満か否か判断し、否定されるときはＳ１１４に進み、求めた偏角をパン角補正量Ｐａｎ（初期設定値＝０）に加算してパン角補正量Ｐａｎを修正する（尚、負の偏角が求められたときは減算する）。
【００７４】
次いでＳ１１６に進み、そこで規定回数を超えたと判断されない限り、直ちにＳ１０２に戻ると共に、規定回数を超えたと判断されたときはＳ１１８に進んで先の図３フロー・チャートの処理と同様にダッシュボードに設けたランプ（図示せず）を点灯するなどして補正できなかった旨（補正未了）の告知（報知）を行ってプログラムを終了する。この場合、補正未了の告知を行うことで、例えば検査係員が装置に異常がないかどうか点検するなどの措置を取ることができる。
【００７５】
そしてＳ１１２で偏角がしきい値未満と判断されたとき、Ｓ１２０に進んでランプに点灯するなどしてパン角補正完了の告知（報知）を行って、プログラムを終了する。
【００７６】
またＳ１０４で否定されたときは、Ｓ１２２に進んで規定回数を超えたか否か判断し、否定される限りＳ１０２に戻ると共に、肯定されるときはＳ１２４に進んでＳ１１８と同様の処理を行ってプログラムを終了する。このときも必要に応じて検査係員が装置を点検するようにしても良い。
【００７７】
上記の如く構成したので、パン角を簡易かつ適正に補正してレーンマーキングの検出精度を上げることができる。また、取り付けバラツキによるパン角ずれを簡易に補正することができるので、取り付け精度を所定基準以上に上げる必要がなく、よって生産効率を低下させることもない。
【００７８】
尚、上記において基準線として走行路区分線の中心線を使用したが、それに限られるものではなく、検査工場に白線を表示して基準線としても良い。また車両を走行させて基準線を検出したが、車両を静止させたまま前方にプロジェクタなどを介して路面を投影させ、その中の基準線を検出するようにしても良い。
【００７９】
また、この発明をピッチ角変動に基づくカメラパラメータの補正とパン角補正の双方について述べたが、前記した第１の目的を達成するときパン角補正は必ずしも必須ではなく、第２の目的を達成するときカメラパラメータの補正は必須ではないことはいうまでもない。
【００８０】
また、この発明を手動運転と自動運転が切換え可能なものについて説明したが、自動運転の種別を問わないことはいうまでもない。但し、自動運転の種別によってカメラパラメータの許容誤差が異なり、従って補正で修正する精度が異なることは先に述べた通りである。
【００８１】
また、ＣＣＤカメラを１基用いて単眼視する構成を例にとったが、２基用いて両眼視するものであっても良い。
【００８２】
【発明の効果】
請求項１項に係る装置にあっては、静的な変化に起因するピッチ角変動によるカメラパラメータのずれを簡易に補正してレーンマーキング検出を精度良く行えることができる。また、その補正を走行中に一度行えば足るようにしたので、構成としても簡易である。
【００８３】
請求項４項に係る装置にあっては、パン角を簡易かつ適正に補正してレーンマーキングの検出精度を上げることができると共に、取り付けバラツキによるパン角ずれを簡易に補正することができるので、取り付け精度を所定基準以上に上げる必要がなく、よって生産効率を低下させることもない。
【図面の簡単な説明】
【図１】この発明に係る車両の外界認識装置を全体的に示す説明透視図である。
【図２】図１に示す処理ユニットの詳細を示す機能ブロック図である。
【図３】図１装置の動作を示すフロー・チャートである。
【図４】図３フロー・チャートで用いるカメラパラメータを示す説明図である。
【図５】図３フロー・チャートで検出されたレーンマーキングの近似直線を示す説明図である。
【図６】図３フロー・チャートで積分後求められたレーンマーキングの直線を示す説明図である。
【図７】図３フロー・チャートで求められた２直線が平行であるか否かを判断するのに必要な２直線の挟み角を求める作業を示す説明図である。
【図８】図３フロー・チャートで検出した２直線を平行とするようなカメラ俯角を求める作業を示す説明図である。
【図９】図３フロー・チャートのカメラパラメータの補正手法の一例を示す説明図である。
【図１０】図１に示すＣＣＤカメラの座標系を示す説明図である。
【図１１】車両の前方直進方向を縦軸（Ｘ軸）とし、車両の所定位置を座標原点とする車両ローカル座標系を示す説明図である。
【図１２】図１０のカメラ座標系を図１１の車両ローカル座標系に変換したときの作業を示す説明図である。
【図１３】図１２のカメラ座標系から車両ローカル座標系の変換を点の変換について詳細に示す説明図である。
【図１４】図１２のカメラ座標系から車両ローカル座標系の変換を直線の変換について詳細に示す説明図である。
【図１５】車両の進行方向に対するカメラ視野の中心軸のずれを示すパン角ズレを示す説明図である。
【図１６】カメラ座標系と車両ローカル座標系の縦軸（Ｘ軸）を一致させ、車両の進行方向に対するカメラ視野の中心軸のずれを補正する、パン角補正を示す説明図である。
【図１７】図１６に示すパン角補正作業を具体的に示すフロー・チャートである。
【図１８】図１７フロー・チャートの偏角の算出作業を示す説明図である。
【図１９】車両ピッチ角変動のレーンマーキング検出への影響を示す説明図である。
【図２０】車両ピッチ角変動の解析結果を示すグラフ図である。
【符号の説明】
１０ＣＣＤカメラ（撮像手段）
１２ヨーレートセンサ
１４車速センサ
１６舵角センサ
２４制御ユニット
３０総合判断ユニット

Claims

ａ．進行方向の路面を撮像する撮像手段と、
ｂ．前記撮像された画像から、少なくとも１組の走行路区分線を抽出する走行路区分線抽出手段と、
ｃ．前記抽出された少なくとも１組の走行路区分線を所定の撮像パラメータに基づいて実平面上に座標変換する座標変換手段と、
ｄ．走行状態を検出する走行状態検出手段と、
ｅ．前記検出された走行状態において車両が直進走行する状態であるとき、前記座標変換された少なくとも１組の走行路区分線の挟み角が所定値以上か否か判定する判定手段と、
および
ｆ．前記座標変換された少なくとも１組の走行路区分線の前記挟み角が前記所定値以上と判定されるとき、前記撮像パラメータを補正する撮像パラメータ補正手段と、
を備えたことを特徴とする車両の外界認識装置。
前記撮像パラメータ補正手段は、前記座標変換された少なくとも１組の走行路区分線の前記挟み角が前記所定値以上と判定されるとき、前記挟み角が小さくなるように前記撮像パラメータを補正することを特徴とする請求項１項記載の車両の外界認識装置。
前記撮像パラメータが、車両乗員数の変化を含む車両の定常的な姿勢の変化に起因して変化する、前記撮像手段と走行路面との位置関係を示すパラメータであることを特徴とする請求項１項または２項記載の車両の外界認識装置。
ｇ．進行方向の路面を撮像する撮像手段と、
ｈ．前記撮像された画像を所定の撮像パラメータに基づいて実平面上に座標変換する座標変換手段と、
ｉ．前記撮像手段の撮像画像の座標系を基準線と比較し、進行方向に対する偏角を求める偏角算出手段と、
ｊ．前記求めた偏角が所定値以上か否か判定する判定手段と、および
ｋ．前記求めた偏角が前記所定値以上と判定されるとき、前記撮像パラメータを補正する撮像パラメータ補正手段と、
を備えたことを特徴とする車両の外界認識装置。
前記撮像パラメータ補正手段は、
ｌ．補正を完了したか否かを報知する報知手段、
を備えることを特徴とする請求項１項から４項のいずれかに記載の車両の外界認識装置。