JP2707761B2

JP2707761B2 - 車両状態量測定装置

Info

Publication number: JP2707761B2
Application number: JP1278269A
Authority: JP
Inventors: 久志里中
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1989-10-25
Filing date: 1989-10-25
Publication date: 1998-02-04
Anticipated expiration: 2013-02-04
Also published as: JPH03139706A

Description

【発明の詳細な説明】［産業上の利用分野］この発明は車両の横変位またはヨー角を検出する車両
状態量測定装置、特に走行コースに沿って配置された案
内線（例えば白線）をカメラによって撮影し、この撮影
画像から車両状態量を測定するものに関する。

［従来の技術］従来より、予め定められた走路（コース）を自動的に
走行する自動操縦制御が知られており、工場内の無人搬
送車や耐久走行試験等に用いられている。この自動操縦
制御は、走路の幅方向における車両位置や走路に対する
車両の向きを検出し、これらの車両状態量情報に応じ
て、ハンドル、アクセル、ブレーキ等を自動的に制御
し、走路（案内線）に沿った自動走行を実現している。

このような車両の走行制御において、車両状態量の測
定は非常に重要である。なぜなら、車両状態量の測定
が、制御の前提となっており、これが不正確であった場
合には、適確な走行制御は行えないからである。

ここで、この走行制御における横変位、ヨー角等の車
両状態量の検出について説明する。

このような車両状態量の認識方式として、テレビカメ
ラでとらえた走路の画像の中から、走路両側の白線を抽
出し、この白線の位置から横変位、ヨー角を検出するも
のが知られている。例えば、雑誌「映像情報（Ｉ） 19
87年９月号 P.31〜35」には、工場通路の画像認識とし
て、テレビカメラでとらえた工場通路画像から、通路両
側の白線位置を認識することによって車両の横変位、ヨ
ー角を知るものが示されている。

すなわち、第14図に示すように自動操縦を行う車両10
が案内線（白線）12,14の間に位置しているとすると、
車両10のヨー角はΔθ、横変位はΔＸとなる。

そして、自動操縦車10には、テレビカメラ（図示せ
ず）が取り付けられており、このテレビカメラで得られ
た画像より白線12,14を検出する。この白線12,14の検出
は、例えば得られた画像をＭ×Ｎの画素毎の画像に変換
し、その画素毎の輝度情報より白の画素を抽出すること
によって行う。これにより、例えば第15図に示すような
白線が認識される。

この左右の白線12、14が認識されれば、その交点Pxが
得られる。この交点は消失点であり、車両のヨー角Δθ
は、次式で得られることとなる。

Δθ（rad）＝−Px/f ここで、Pxは消失点のＸ座標、ｆはカメラの焦点距離
である。また、この例では、画像の中心を原点として、
横方向をＸ軸、縦方向をＹ軸としたX,Y座標系を利用し
て、交点Pxを検出している。

また、上述の式は、車両に搭載されたカメラの白線に
対する角度がヨー角に対応すること、カメラ角度に応じ
て画像中における２本の白線が交わる点が移動すること
に基づいて求められたものである。

一方、第16図に示すように、直線の傾きａが得られる
と、車両の横変位ΔＸは、次式で得られることとなる。

ΔＸ（ｍ）＝−h/a±Wr/2 ここで、ｈはカメラの高さ（ｍ）、ａは直線の傾き、
Wrは道路幅（ｍ）を表わす。また、この例では、画像の
中心を原点として、横方向をＸ軸、縦方向をＹ軸とした
X,Y座標系を利用して、傾きａを検出している。

なお、この式は、Ｘ軸上の中心から白線までの距離が
横変位に応じて変化し、原点の高さがカメラの高さｈに
応じて変化するため、これらの比が白線の傾きａとなる
ことに基づいて求められたものである。

このようにして、車両10に搭載したテレビカメラによ
って得た前方の画像を処理し、案内線（白線）を検出す
ることにより、車両のヨー角Δθ、横変位ΔＸを測定す
ることができる。

［発明が解決しようとする課題］しかしながら、上述のような車両のヨー角、横変位検
出においては、走路が直線のみで形成されている場合に
は、正しい測定が行えるが、走路にカーブが存在する場
合には、正しい検出が行えないという問題点があった。

これは、白線12,14がカーブしていれば、その近似直
線の傾きと交点がカーブの影響でずれるからである。

一方、特開昭63−314623号には、テレビカメラによっ
て得られた画像情報より、走路の状況（カーブの曲率半
径）を検出し、これによって自動操縦車の走行制御を行
うことが示されている。

しかしながら、予め定められた走路においては、カー
ブの曲率を予め知ることができるため、カーブの曲率半
径自体はそれ程重要な情報ではない。従って、カーブの
曲率半径だけを求めても自動操縦等を効果的に達成する
ための情報とはならなかった。

この発明は上記問題点を解決することを課題としてな
されたものであり、自動走行制御に重要な横変位、ヨー
角を走路がカーブであっても十分正確に検出することが
できる車両状態量測定装置を提供することを目的とす
る。

［課題を解決するための手段］上記目的を達成するために、本発明は、第１図に示す
ように、車両の前方を撮影するカメラＡと、このカメラ
によって得られた画像から２本の案内線を抽出する案内
線抽出手段Ｂと、この案内線抽出手段によって得られた
２本の案内線について、車両からの距離の異なる２点に
おける接線をそれぞれ検出する接線検出手段Ｃと、接線
検出手段によって得られた同一案内線における車両前方
の異なる２つの接線より、案内線の曲率を算出する曲率
算出手段Ｄと、曲率と接線の傾き補正量との関係を予め
記憶している記憶手段Ｅと、この記憶手段に予め記憶さ
れている関係により、車両の同一前方距離の２つの接線
を補正すると共に、補正された接線に基づいて、車両の
横変位を検出する状態量検出手段Ｆと、を有し、走路形
状に起因する横変位における誤差を補正することを特徴
とする。

また、本発明は、車両の前方を撮影するカメラＡと、
このカメラによって得られた画像から２本の案内線を抽
出する案内線抽出手段Ｂと、この案内線抽出手段によっ
て得られた２本の案内線について、車両からの距離の異
なる２点における接線をそれぞれ検出する接線検出手段
Ｃと、接線検出手段によって得られた同一案内線におけ
る車両前方の異なる２つの接線より、案内線の曲率を算
出する曲率算出手段Ｄと、曲率と接線の交点補正量との
関係を予め記憶している記憶手段Ｅと、この記憶手段に
予め記憶されている関係により、車両の同一前方距離の
２つの接線を補正すると共に、補正された接線に基づい
て、車両のヨー角を検出する状態量検出手段Ｆと、を有
し、走路形状に起因するヨー角における誤差を補正する
ことを特徴とする。

［作用］本発明は上述のような構成を有しており、カメラＡに
よって得られた画像から２本の案内線を抽出する。そし
てこの２本の案内線の車両からの距離が異なる２点にお
ける接線、すなわち４つの接線を接線検出手段Ｃによっ
て検出する。

次に、曲率算出手段では、接線検出手段Ｃによって得
られた、同一案内線における車両からの異なる距離の２
本の接線の傾き差より案内線の曲率を算出する。

ここで、検出される案内線の接線は、走路の曲率によ
って変化する。すなわち、検出される案内線の傾き、２
本の案内線が交わる点（交点）等は、走路の曲率によっ
て変化する。本発明では、記憶手段Ｅにこの曲率と接線
の傾き補正量又は曲率と接線の交点補正量の関係が記憶
されている。

そして、状態量検出手段Ｆは、記憶手段Ｅに記憶され
ている関係から接線を補正して、補正された接線（車両
の前方同一距離の２つの接線）を用いて、車両の状態
量、すなわち車両の横変位またはヨー角を検出する。

このように、記憶手段Ｅのデータを用いて接線を補正
するため、車両状態量を走路の曲率によって補正するこ
とができ、常時正確な検出を行うことができる。

［実施例］以下、この発明に係る車両状態量速装置の一実施例に
ついて、図面に基づいて説明する。

第２図は、実施例に構成を示すブロック図であり、車
両前方の画像はカメラ20によって撮影される。このカメ
ラ20は、例えばCCDカメラのような通常の走査線毎のア
ナログ信号であるビデオ信号（画像信号）を出力するも
のでよい。

そして、このカメラ20によって得られた画像信号は、
A/Dコンバータ22に供給される。このA/Dコンバータ22は
カメラ20によって得られた画像信号を所定の画素毎（例
えば従来例と同様のＭ×Ｎ個）のデジタルデータに変換
する。そして、得られた画素毎のデジタルデータはフレ
ームメモリ24に１フレーム（１画面）分ずつ記憶され、
これがモニタ26に表示される。なお、この表示はフレー
ムメモリ24からデジタルデータを読出し、これを上述の
場合と反対にアナログの画像信号に変換して、モニタ26
に供給することによって行われる。

一方、この１画面毎のデジタルデータは、ローカルバ
ス30を介し、信号処理を高速で行う高速処理装置（DS
P）40に供給される。このDSP40は、まず１画面分のデジ
タルデータを処理し、この中における白の画素を検出す
ることによって、案内線である２本の白線12,14を抽出
する。

そして、検出された２本の白線12,14について、車両
からの前方距離が異なる２つの距離についての接線をそ
れぞれ求めるとともに、この接線の傾きをそれぞれ検出
する。

このようにして求められた接線についての情報は、CP
U50に供給される。このCPU50は、得られた４つの接線の
データより、走路の曲率半径（カーブＲ）を算出すると
ともに、このカーブＲに応じて補正されたヨー角θ、横
変位Ｘを算出すると。

なお、このCPU50における演算のためには、予め記憶
されているデータが必要であり、このためのデータはロ
ーカルメモリ52記憶されている。

次に、DSP40、CPU50におけるカーブＲ、横編位ｘ、ヨ
ー角θの算出について説明する。

第３図に示すように、CPU50においては、通常のCPUの
動作と同様の立上がり時の各種変数の設定等の初期設定
を行う（S1）。

初期設定が終了した場合には、A/Dコンバータ22によ
りテレビカメラ20からの画像信号を１画面分ずつデジタ
ルデータ（画像データ）としてフレームメモリ24書き込
む（S2）。

そして、データ転送の領域を定めるための変数ｉを
「１」にセットして（S3）、このｉ＝１で特定される領
域の画像データをDSP40に転送する（S4）。このデータ
の転送は、CPU52の指令によりフレームメモリ22内の所
定の領域のデータを読出し、これをローカルバス30を介
し、DSP40に供給することによって行う。また、変数ｉ
で特定される領域は、例えば第４図に示すように、車両
からの前方（ｙ方向）２つの距離（例えば、前方10m及
び20m）について、左右（ｘ方向）２点の合計４点（ｉ
＝１〜４）とする。

DSP40は、この所定の領域の画像データを処理し、接
線を検出する（S5）。すなわち、このDSP40における処
理は第3A図に示うように、画像データのエッジを検出す
ることにより、白線12,14の位置を特定する（S51）。こ
のエッジ検出は、画素毎の画像データについてそれぞれ
白か否かを判定し、白と白以外の画素のエッジを検出
し、これを認識するエッジフィルタによって行う。

そして、この白線12,14について接線の検出を行う（S
52）。この例においては、接線検出を得られたエッジに
ついてのデータをから最小自乗法により近似直線を算出
することによって行う。

このようにして、DSP40による接線検出（直線検出）
が終了した場合には、CPU40は次回の処理領域の予測を
行う（S6）。この予測は、変数ｉで特定される同一の領
域について、前回の処理において検出した白線12、14の
位置と今回検出した白線12、14の位置を比較し、その移
動方向に基づいて行う。そして、この結果はCPU52にお
いて記憶しておき、次回の処理における変数ｉ＝１〜４
に対応する処理領域の特定に利用する。

このようにして、変数ｉ＝１の領域についての直線検
出についての処理が終了するため、残りの３つの領域に
ついて直線検出を繰返し変数ｉ＝１〜４の領域について
直線検出を行う（S7、８）。

そして、車両の前方４点における直線を検出した場合
には、検出した直線の傾き差Δａを算出する（S9）。す
なわち、第５図に示すように、ｉ＝１及びｉ＝３の２つ
の領域から得られた直線が次のようなものであった場
合、ｙ＝a₁x＋b₁ ｙ＝a₃x＋b₃ 傾き差Δａは、次式によって与えられる。

Δａ＝|1/a₁−1/a₃| 次に、この傾き差Δａを利用してカーブＲを検出する
（S10）。傾き差Δａは、白線12,14が曲っているために
生じるものであり、両者には一定の関係がある。

そこで、次のような条件における傾き差Δａとカーブ
Ｒの関係を調べた。

テレビカメラ20の焦点距離:10mm テレビカメラ20設置高さ:1.4m 左右案内線の幅:3.75m 前方距離:10m,20m そして、その結果を第６図に示す。ここで、第６図
は、ヨー角を０、±5,±10゜に変化させたものをそれぞ
れ示しており、第６図（Ａ）は横変位が1m、第６図
（Ｂ）は横変位が0m、第６図（Ｃ）は横変位が−1mの場
合である。これより、横変位ΔＸ、ヨー角Δθの変化に
よらず、傾き差ΔａとカーブＲにはほぼ一定の関係があ
ることが理解される。

さらに、第７図は横変位Ｘ及びヨー角θが０の場合の
傾き差ΔａとカーブＲの関係を示したものであり、この
第７図の関係を適用した場合における曲率Ｒの精度は第
８図のようになる。これより、カーブＲが200m以上であ
れば、１つの曲線でかなりの精度のカーブＲの推定が行
えることが分る。なお、第８図のデータは横変位を1mと
したものである。

また、第９図は傾き差ΔａとカーブＲの関係について
実際の測定したものを示しており、これより理論値どう
りの値が測定値として得られることが理解される。

そこで、傾き差ΔａとカーブＲの関係をローカルメモ
リ52にマップとして記憶しておけば、求められた傾き差
Δａから左右の白線12,14についてのカーブＲを検出す
ることができる。

このようにして、カーブＲを検出した場合には、この
カーブＲを利用して真の傾きを算出するため、検出した
カーブＲから傾き補正量を算出する（S11）。このた
め、ローカルメモリ52にはカーブＲと傾き補正量の関係
がマップとして記憶されている。この関係は、上述のｉ
＝１〜４の領域において得られたそれぞれの傾きa₁〜a₄
に対し、それぞれ第10図（Ａ），（Ｂ），（Ｃ），
（Ｄ）に示すようなものとなる。

このようにして、傾き補正量が算出された場合には、
この補正量を利用して真の傾きをそれぞれ算出し、得ら
れた真の傾きより横変位を算出する（S12）。なお、こ
の例は左カーブについての傾き補正量を示しており、得
られた傾き補正量を傾きが反時計回りに回転するように
加算して、真の傾きを算出する。

そして、得られた真の傾きより、横変位を従来例と同
様の式によって算出する。すなわち、車両の横変位ΔＸ
は、従来例においても記載したとおり、 ΔＸ（ｍ）＝−h/a±Wr/2 で得られる。ここで、ｈはカメラの高さ（ｍ）、ａは直
線の真の傾き、Wrは車線幅である。

次に、カーブＲを利用して左右両側の接線から得られ
る交点の補正量を算出する。この交点の位置は上述の従
来例と同様の式によりヨー角θを算出するために必要な
ものである。そして、この交点の補正量もカーブＲから
求めることができるため、予めローカルメモリ52にマッ
プとして記憶しておく。この補正量は、例えば第11図
（Ａ）、（Ｂ）に示すように、前方10m及び20mの距離に
おける接線から求めた２つの交点に対しそれぞれ求めら
れることになる。

そして、この交点の補正量を用いて真の交点を算出
し、これに基づいてヨー角θの計算を行う（S14）。こ
こで、ヨー角の計算は、従来例と同様の式を用いて行
う。すなわち、車両のヨー角Δは、従来例においても記
載したとおり、 Δθ（rad）＝−Px/f で得られる。ここで、Pxは補正された真の交点のＸ座
標、ｆはカメラの焦点距離である。なお、この例におい
ては、カーブが左曲がりであるため、真の交点の算出
は、交点が左側に移動するように加算する。

このようにして、算出したカーブＲを用いて補正され
た横変位Ｘ、ヨー角θが得られた場合には、その値をカ
ーブＲとともにD/Aコンバータ60によってアナログ信号
に変換して出力する。

直線近似の変形例上述の例のおいては、DSP22における接線を検出する
直線近似において、得られたエッジに対する最小自乗法
を用いたが、これに代えてHough変換を用いることもで
きる。

ここで、Hough変換とは、所定の方程式で定められる
線を検出する場合に、パラメータ空間に写像するもので
あり、本発明のようなエッジ点から直線検出する場合に
は、各点について次の変換を行い、Hough空間に写像す
る。

ρ＝x cos θ＋y sin θ ここで、ρは原点から直線へ下ろした垂線の長さ、θ
は垂線とｘ軸のなす角である。

このような変換を行うとρ−θ空間（Hough空間）の
１点はｘ−ｙ空間の１本の直線に対応することになる。
このため、Hough空間において複数の線が集中している
点の位置により検出したい直線を得ることができる。

そして、このようなHough変換を用いると、求めたい
直線と関係ないエッジは直線近似から排除することがで
き、これらの影響のない正確な近似直線を得ることがで
きる。

なお、これをプログラムとして実現するには、Hough
空間を表わす２次元配列を用意し、画像中のエッジ点す
べてに対応する軌跡を描き、この軌跡が通過する度に配
列要素に「１」を加え、大きな値を持つ配列要素を抽出
すればよい。また、この改良として「１」を加えるので
はなく微分値やエッジの方向を利用してその方向に対応
する配列要素だけに加算を行ってもよい。

このHough変換を用いる場合には、第３図のフローチ
ャートの直線検出（S52）において、第12図のような処
理を行う。

４つの領域において近似直線を求めるため、白線12,1
4が存在すると予測される１つの領域を定め、ここにお
いてエッジ点のHough変換を行う（S501）。そして、Hou
gh空間における軌跡通過位置について対応する２次元配
列の各配列要素毎にカウントを行い、その最大値Hmaxと
そのときのパラメータ（ρ₀,θ_０）を求める（S502）。

次に、最大値Hmaxを所定のしきい値thと比較する（S4
03）。これは正しく直線が検出された場合には多くの軌
跡が同一の点を通過するので、最大値Hmaxの大きさによ
り正しい直線が検出されたか否かを判定することができ
る。ここで、このthは理論上検出される最大エッジ点数
に所定の係数α（０＜α＜＜1,例えばα＝0.2）を乗算
したものとすることができる。

このようにして直線が検出できた場合には、傾きａと
切片ｂを次式により算出する（S504）。

α＝−cos θ₀/sin θ_０ｂ＝ρ₀/sin θ_０このようにして、直線が検出できた場合（Hmax＞th）
には、フラグＦに「１」を立て（S505）、検出できなか
った場合（Hmax＜th）にはフラグＦを立てない（Ｆ＝
０）（S406）。

このようなHough変換による直線抽出は、直線を抽出
した４つの領域について行うため、その領域を指定する
変数ｉを１〜４まで変更してそれぞれ処理を行う（S50
7）。

ここで、この処理により直線が検出できなかった場合
には、その領域ｉについての直線を推定しなければなら
ない。そして、この検出できなかった直線は、検出でき
た走路の反対側の直線とほぼ平行であり、また前回の検
出結果に近いはずである。そこで、変数ｉを１〜４間で
変更し、Ｆ＝０であり、直線が検出できなかった領域に
ついて（S507〜S510）、これらの条件からその領域にお
ける直線を推定する（S511）。

そして、このように４つの領域について直線の検出が
終った場合には、Hough変換すべき次回のHough変換を行
う空間を予測しておき（512）。時間のデータ取り込み
に利用する。

このようにして、１つの画面についての４つの領域に
ついての直線の検出をHough変換を利用して行うことが
できる。

応用例このように、得られた横変位Ｘ、ヨー角θ、カーブＲ
は、例えば次のような制御に移用することができる。

例１検出された横変位Ｘ、ヨー角θ、カーブＲを利用して
車両の現在または将来における走路逸脱の可能性を計算
し、この可能性に応じて警報を発したり、加減速制御を
行う。

すなわち、走路逸脱の可能性は、横変位、ヨー角が大
きい程大きく、本発明においてはこれらの値として、正
確な値が得られているため、より正確な制御が行える。
また、カーブＲが検出されているため、現車速によって
このカーブを曲がることができるか等の判断等が行え、
走路逸脱の可能性の計算を正確に行うことができる。な
お、このような走路逸脱防止システムの概略構成を第13
図に示す。ここで、画像処理装置100においてカメラ20
から得られた画像を処理し、横変位Ｘ、ヨー角θ、カー
ブＲを検出し、走行制御装置200において、警報加減速
等の制御を行う。

例２この例では、車両の自動操縦に本発明を適用する。自
動操縦車においては、横変位、ヨー角に基づいて、操舵
制御を行う。そこで、これらの検出値が正確であれば、
自動操縦の精度を向上することができる。さらに、カー
ブＲを知ることができるため、これを利用して、操舵補
正を行うより滑らかな走行を達成することができる。

［発明の効果］以上説明したように、本発明に係る車両状態量測定装
置によれば、カーブＲを検出し、これにより検出値を補
正するため、横変位、ヨー角の車両状態量をカーブ路に
おいても正確に測定することができる。

【図面の簡単な説明】

第１図は本発明に係る車両用状態量測定装置の構成を示
すブロック図、第２図は実施例の構成を示すブロック図、第2A図は実施
例のDSP40の動作を示すフローチャート、第３図は実施例の動作を示すフローチャート、第3A図は
DSPの動作を示すフローチャート、第４図は実施例の処理対象領域を示す説明図、第５図は傾き差を示す説明図、第６図はヨー角、横変位を変化させた場合における傾き
差とカーブＲの関係を示す特性図、第７図はヨー角、横変位＝０の場合における傾き差とカ
ーブＲの関係を示す特性図、第８図は第７図の特性を適用した場合のカーブＲと精度
の関係を示す特性図、第９図は理論値と測定値の関係を示す特性図、第10図はカーブＲと傾き補正量の関係を示す特性図、第11図はカーブＲと交点補正量の関係を示す特性図、第12図はHough変換を用いた近似直線検出のフローチャ
ート、第13図は走路逸脱防止システムのイメージを示す概略斜
視図、第14図は車両を横変位、ヨー角を示す説明図、第15図は従来例におけるヨー角Δθ算出のための説明
図、第16図は従来例における横変位ΔＸ算出のための説明図
である。 10……車両 12,14……案内線 20……カメラ 40……DSP 50……CPU

Claims

(57)【特許請求の範囲】

【請求項１】車両の前方を撮影するカメラと、このカメラによって得られた画像から２本の車両の案内
線を抽出する案内線抽出手段と、この案内線抽出手段によって得られた２本の案内線につ
いて、車両からの距離の異なる２点における接線をそれ
ぞれ検出する接線検出手段と、接線検出手段によって得られた同一の案内線の車両の前
方の異なる２つの接線より、案内線の曲率を算出する曲
率算出手段と、曲率と接線の傾き補正量との関係を予め記憶している記
憶手段と、この記憶手段に予め記憶されている関係により、車両の
同一前方距離の２つの接線を補正すると共に、補正され
た接線に基づいて、車両の横変位を検出する状態量検出
手段と、を有し、走路形状に起因する横変位における誤差を補正すること
を特徴とする車両状態量測定装置。
【請求項２】車両の前方を撮影するカメラと、このカメラによって得られた画像から２本の車両の案内
線を抽出する案内線抽出手段と、この案内線抽出手段によって得られた２本の案内線につ
いて、車両からの距離の異なる２点における接線をそれ
ぞれ検出する接線検出手段と、接線検出手段によって得られた同一の案内線の車両の前
方の異なる２つの接線より、案内線の曲率を算出する曲
率算出手段と、曲率と接線の交点補正量との関係を予め記憶している記
憶手段と、この記憶手段に予め記憶されている関係により、車両の
同一前方距離の２つの接線を補正すると共に、補正され
た接線に基づいて、車両のヨー角を検出する状態量検出
手段と、を有し、走路形状に起因するヨー角における誤差を補正すること
を特徴とする車両状態量測定装置。