JPH04253286A - 路面パラメータの推定方法および推定装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば車両や移動ロボ
ットの姿勢制御、障害物検知または走行可能領域の認識
等のために路面と車両との位置関係を計測する路面パラ
メータの推定方法および推定装置に関する。

【０００２】

【従来の技術】従来の障害物検知装置としては、例えば
「知能自動車の構成とその制御手法」、システムと制御
、Ｖｏ１．２２，Ｎｏ．８，ｐｐ４５６−４６４，（１
９７８）に記載され、図９（ａ）に示すものがある。こ
の装置においては、車両前方に２台のカメラ５１，５３
を垂直に設置し、これらのカメラで撮像した車両前方の
画像を微分回路５５，５７で微分して、エッジを抽出し
、この抽出した各エッジをそれぞれ直接または可変ディ
レイ５９を介して論理回路６３に供給し、エッジの座標
値の対応関係から高さのある物体を障害物として判断部
６５で認識するものである。

【０００３】更に詳しくは、高さを有する物体には水平
方向エッジが２本以上あると仮定し、この２本の視差は
一定であり、かつ一定視差を有する２本のエッジの間に
異なる視差を有する他のエッジがない時、２本のエッジ
が障害物の下端と上端であると判断する。カメラからの
距離によって視差は変化するので、カメラから一定の距
離に障害物の下端と上端があれば検出可能である。すな
わち、ほぼ垂直に立っている障害物を認識することがで
きる。その他のエッジは路面上にあると判断する。

【０００４】図９（ｂ）において、車両５０の前方にあ
る物体６７と障害物６９とが存在し、それぞれのエッジ
点を図示のようにＡ〜Ｅとすると、点ＡとＢはカメラか
ら見ると、同距離にあって、視差は同じであり、Ａ−Ｂ
間の距離が小さいので、障害物ではないと判断する。点
ＢとＣはカメラから見ると、異距離であって、視差が異
なるので、障害物ではないと判断する。点ＣとＤはカメ
ラから見ると、異距離であって、視差が異なるので、障
害物ではないと判断する。点ＤとＥはカメラから見ると
、同距離であり、Ｄ−Ｅ間の距離が大きいので障害物と
判断する。

【０００５】

【発明が解決しようとする課題】上述した従来の装置で
は、上下２本のエッジを有し、カメラから等距離にある
ものを障害物として検出しているため、例えば図１０に
示すように、エッジ間の距離が短いロープ７１、または
傾斜した障害物７３は検出することができない。また、
路面と車両との位置関係を正確に計測する手法ではない
。

【０００６】本発明は、上記に鑑みてなされたもので、
その目的とするところは、路面上の文字、汚れ、影等の
影響を受けることなく上述した障害物をも正確に検出す
ることができる路面パラメータの推定方法および推定装
置を提供することにある。

【０００７】

【課題を解決するための手段】上記目的を達成するため
、請求項１に記載された発明の路面パラメータの推定方
法は、少なくとも２台のカメラを設け、該カメラで撮像
した画像を処理してエッジ点を抽出し、エッジ点の有す
る特徴をコード化した画像を作成し、このコード化され
た画像を入力し、所定の基準位置に対する路面平面の傾
き角および路面から前記基準位置までの距離をパラメー
タとし、前記各カメラに対応する各エッジ点を座標変換
し、１つのカメラのあるエッジ点に対してカメラ間の距
離に対応した量だけ離れ、かつ同一特徴コードを有する
他のカメラのエッジ点が存在するとき、両エッジ点はマ
ッチしたと判断し、このマッチした個数が最も多いパラ
メータを路面パラメータと推定することを要旨とする。

【０００８】前記特徴コードはエッジ点の方向を表す量
であり、路面上の線が各カメラに映った時のエッジの傾
き角の差に対応した量だけオフセットしていても同一コ
ードを有すると判断することを要旨とする。

【０００９】前記推定された路面パラメータを用いて、
各カメラに対応するエッジ点を座標変換し、１つのカメ
ラのあるエッジ点に対してカメラ間距離に対応した量だ
け離れ、かつ同一特徴コードを有する他のカメラのエッ
ジ点が存在するとき、各エッジ点は路面上の点と判断し
、かつ各エッジ点またはその近傍点は障害物の点でない
と判断することにより路面上の点と障害物の点を分離す
ることを要旨とする。

【００１０】また、請求項４に記載された発明の路面パ
ラメータの推定装置は、図１に示すように、同一方向の
画像を撮像する少なくとも２台のカメラ５１と、該カメ
ラで撮像した画像を処理してエッジ点を抽出し、エッジ
点の有する特徴をコード化した画像を作成するエッジ点
抽出コード化手段５３と、該エッジ点抽出コード化手段
でコード化された画像を入力し、所定の基準位置に対す
る路面平面の傾き角および路面から前記基準位置までの
距離をパラメータとし、前記各カメラに対応する各エッ
ジ点を座標変換する座標変換手段５５と、１つのカメラ
のあるエッジ点に対して前記カメラ間の距離に対応した
量だけ離れ、かつ同一特徴コードを有する他のカメラの
エッジ点が存在するとき、両エッジ点はマッチしたと判
断し、このマッチした個数が最も多いパラメータを路面
パラメータと推定する路面パラメータ推定手段５７とを
有することを要旨とする。

【００１１】

【作用】請求項１及び４にそれぞれ記載された発明であ
る路面パラメータの推定方法および推定装置では、少な
くとも２台のカメラで撮像した画像から抽出したエッジ
点の特徴をコード化した画像を作成し、各カメラに対応
する各エッジ点を座標変換し、１つのカメラのあるエッ
ジ点に対するカメラ間の距離に対応した量だけ離れ、同
一特徴コードを有する他のカメラのエッジ点が存在する
とき、両エッジ点はマッチしたと判断し、このマッチし
た個数が多いパラメータを路面パラメータと推定してい
る。

【００１２】更に、請求項２に記載された発明では、請
求項１における特徴コードをエッジ点の方向を表わす量
とし、路面上の線が各カメラに映った時のエッジの傾き
角の差に対応した量だけオフセットしていても同一コー
ドを有すると判断する。請求項３に記載された発明では
、前記推定された路面パラメータを用いて、各カメラに
対応するエッジ点を座標変換し、１つのカメラのあるエ
ッジ点に対してカメラ間距離に対応した量だけ離れ、か
つ同一特徴コードを有する他のカメラのエッジ点が存在
するとき、各エッジ点は路面上の点と判断し、かつ各エ
ッジ点またはその近傍点は障害物の点でないと判断する
。

【００１３】

【実施例】以下、図面を用いて本発明の実施例を説明す
る。

【００１４】図２は各請求項に記載された発明の一実施
例に係わる路面パラメータの推定方法を実施する装置の
構成図である。同図に示す装置は、車両前方を向けて車
両に取り付けられた２台のカメラ１，２を有し、これら
のカメラ１，２で撮像した画像は画像処理装置５に供給
されて処理される。カメラ１，２は本実施例では例えば
水平に位置付けられているものとして説明するが、これ
に限定されるものでなく、上下に位置付たり、または他
の配置で同様に処理できるものである。

【００１５】図３は図２に示す装置の画像処理装置５の
構成を示す図である。同図において、前記カメラ１，２
からそれぞれ入力された左右２枚の画像は、前処理部９
によりエッジ点が検出され、更にエッジの特徴として方
向コードが求められる。それから、路面パラメータ推定
部１１により左右のエッジ情報がマッチングされ、カメ
ラ位置を基準とした路面の平面パラメータが求められる
。この求まった平面パラメータから路面点と障害物との
分離部１３により障害物点データと路面データとに分離
され、それぞれ障害物検出部１５およびレーン検出部１
７に供給され、各画像からそれぞれ障害物およびレーン
が検出される。

【００１６】次に、図４に示すようなカメラ座標系およ
びワールド座標系を考える。ワールド座標系のＹ，Ｚ，
Ｘをそれぞれ車両の進行方向、高さ方向、右側方向とす
る。また、カメラ座標系を（ｘ，ｙ）とし、焦点距離を
Ｃとする。一般に、ｚを定数とすると（すなわち、平面
上の点が画像化されているとすると）、カメラ座標系か
らワールド座標系への変換式が次のように定義される。

【００１７】

【数１】

【００１８】但し、

【００１９】

【数２】

【００２０】また、

【００２１】

【数３】

【００２２】ここで、ａ１１〜ａ３３はω、φおよびｋ
を回転角とする回転マトリックスである。また、カメラ
１，２はそれぞれ車両の原点に対する位置（焦点の位置
）と傾き角（光軸の傾き角）が既知のものとする。カメ
ラ１に対して、Ｘ軸にＸ０１、Ｙ軸にＹ０１、Ｚ軸にＺ
０１ずれて位置し、ｘ１　軸（カメラ座標系）回りにω
０１、ｙ１　軸回りにφ０１、ｚ１　軸回りにｋ０１な
る回転角を有するとする。同様に、カメラ２に対して、
Ｘ軸にＸ０１、Ｙ軸にＹ０２、Ｚ軸にＺ０２ずれて位置
し、ω０２、φ０２、ｋ０２なる回転角を有するとする
。

【００２３】カメラ１，２から同時に入力された画像は
、前処理手段９によりエッジ検出と特徴コード化が行わ
れる。空間フィルタリングによるエッジ検出と方向コー
ド化が適する。

【００２４】今、カメラ１，２がほぼ水平に位置し、そ
れぞれ水平方向走査線があるとすると、ステレオマッチ
ングでは水平エッジは利用できない。これは端点以外は
視差がいくつでもマッチしてしまうためである。従って
、水平エッジは除外する。図５にコード化の例を示す。 画像Ｂｉ（ｘ，ｙ）（ｉ＝１，２）に対し、縦エッジを
Ｃｉ（ｘ，ｙ）、右下がりの斜めエッジをＤｉ（ｘ，ｙ
）、水平エッジをＥｉ（ｘ，ｙ）、右上がりの斜めエッ
ジをＦｉ（ｘ，ｙ）として検出する（ブロック１１０，
１２０，１３０，１４０）。次に、縦エッジが閾値Ｔｈ
以上の時（白から黒に変化）、コードとして「１」を与
え、−Ｔｈ以下の時（黒から白に変化）、「５」を与え
る。また、水平エッジ成分より斜め方向成分の方が大き
く、かつ閾値Ｔｈより大きい画素に対して、右下がりに
白から黒に変化の時、「２」、黒から白に変化の時、「
６」、左下がりに白から黒に変化の時、「４」、黒から
白に変化の時、「８」をそれぞれ与え、その他は「０」
となる（エッジのない点と水平エッジ点）（ブロック１
５０）。

【００２５】コード化画像をＧｉ（ｘ，ｙ）（ｉ＝１，
２）とし、路面パラメータの推定へ進む。なお、コード
化画像を細線化して路面パラメータの推定をおこなって
もよい。この場合、コード別の細線化してもよいし、エ
ッジ点のすべてを合成して細線化して線として残った点
のみコードを与えてもよい。

【００２６】次に、図６及び図７のフローチャートを参
照して路面パラメータの推定を説明する。路面パラメー
タはピッチ角ω０　、ロール角ｋ０、路面から車両原点
までの距離ｈ０　である。

【００２７】図６及び図７において、まずパラメータ空
間Ｐ（ω’，ｋ’，ｈ’）をクリアする（ステップ２１
０）。そして、ｈ’，ｋ’，ω’を変化させながら、Ｇ
１　（ｘ，ｙ）とＧ２　（ｘ，ｙ）がマッチした点を数
えて、Ｐ（ω’，ｋ’，ｈ’）に格納していく（ステッ
プ２２０〜２４０）。

【００２８】ｈ’，ｋ’，ω’をある値に仮定すると、
（１）〜（３）式でカメラ座標系の点列はワールド座標
系に変換できる。この時の変換式は（１）〜（３）式の
中でＺ，Ｚ０　，Ｙ０　，Ｘ０　，ω，ｋ，φに対して
、カメラ１の場合には、 Ｘ０　＝Ｘ　１，Ｙ０　＝Ｙ０１，Ｚ０＝Ｚ０１，　　
　　Ｚ＝−ｈ’，ω＝ω’−ω０１，φ＝−φ０１，　
　　　ｋ＝ｋ’−ｋ０１カメラ３に対しては、 Ｘ０　＝Ｘ０２，Ｙ０　＝Ｙ０２，Ｚ０＝Ｚ０２，　　
　　Ｚ＝−ｈ’，ω＝ω’−ω０２，φ＝−φ０２，　
　　　ｋ＝ｋ’−ｋ０２を代入して計算すればよい。

【００２９】ｈ’，ｋ’，ω’の計算範囲はカメラが水
平であれば、ｈ’は車両原点の路面からの高さ近辺、ｋ
’は０°近辺、ω’は−９０°近辺となる。

【００３０】ｈ’，ｋ’，ω’を仮定すると、（２），
（３）式は一意に決まるので、まずｂ１　〜ｂ９　を計
算する（ステップ２５０）。

【００３１】次に、コード化画像を走査しながら、座標
変換を行う（ステップ２６０）。走査範囲は画像の下部
（手前の領域）のみでよい。これは障害物が映っていな
い領域の方が精度もよく、また路面にうねりがあると、
手前の路面の方程式を求めた方が利用し易いからである
。

【００３２】カメラ１，２においてそれぞれのエッジ点
の個数を計数するために、ｎ１　，ｎ３　を０にクリア
する（ステップ２７０）。それから、カメラ１，２のそ
れぞれについて、Ｇ１　（ｘ，ｙ）、すなわちコードが
０でない点について、（１）式よりＸ，Ｙを計算する（
ステップ２８０，２９０）。カメラ１の場合、ｎ１　を
更新し、配列Ｘ１　（ｎ１　），Ｙ１　（ｎ１　）にｘ
，ｙを、Ｚ１　（ｎ１　）にコードを格納する。カメラ
２についても同様である。この処理をｘ，ｙでループす
ると、カメラ１，２のそれぞれのエッジ点数がｎ１　，
ｎ２　となる。

【００３３】次に、マッチング処理として、ｉ，ｊを変
化させながら、配列Ｘ　１（ｉ）とＸ２　（ｊ），Ｙ１
　（ｉ）とＹ２　（ｊ），Ｚ１　（ｉ）とＺ２　（ｊ）
を比較する（ステップ３００，３１０）。すなわち、２
台のカメラが水平に位置し、走査線も水平方向とすると
、右カメラと左カメラが同一のワールド座標上の点を示
すということは、Ｙ１　（ｉ）＝　　Ｙ　２（ｊ）、か
つＸ１　（ｉ）とＸ２　（ｉ）の差がカメラ間の距離Ｗ
に等しく、カードＺ１　（ｉ）とＺ２　（ｊ）も等しい
ということである。従って、以上の判断を行い、マッチ
すれば、パラメータ空間Ｐ（ω’，ｋ’，ｈ’）をイン
クリメントする。

【００３４】ここで、コードのマッチングについて説明
する。カメラを水平に位置させると、路面上の線は左カ
メラより右カメラの方がやや時計周りの方向に傾いて映
る。従って、コードを対応させた場合、左カメラが「１
」（縦エッジ）の時、右カメラは「１」でも「２」（右
上がり）でもよいと判断する。「２」（右上がり）の時
は、右カメラは水平エッジでもよいことになるが、水平
エッジは除いて考えているので「２」のみよしとする。 同様に、左カメラが「４」の時は「４」か「５」、「５
」の時は「５」か「６」、「６」の時は「６」のみ、「
８」の時は「８」と「１」という比較を行う。

【００３５】なお、エッジコード化に代わる手法として
、濃度勾配によるエッジの方向を表す手法も考えられる
。すなわち、横方向の一次微分Δｘと縦方向の微分Δｙ
を求め、θ＝ｔａｎ−１Δｙ／Δｘにより方向を表すも
のである。このパラメータを用いた時も、左カメラに対
して右カメラの方が路面上の線は寝てくることを考慮に
入れてマッチングする必要がある。例えば左カメラをθ
１　、右カメラをθ２　とし、反時計回りにθをとると
、θ２　≦θ１　＜θ２　＋Ｔ０　 （Ｔ０　は閾値） を満足する時、マッチングすると考えられる。

【００３６】以上の処理を探索範囲のすべてのω’，ｋ
’，ｈ’について行う。そして、最後にＰ（ω’，　　
ｋ’，ｈ’）の中から最大値を探索し、最大値を与える
ω’，ｋ’，ｈ’をω０　，ｋ０　，ｈ０　として路面
パラメータとする（ステップ３２０）。

【００３７】次に、図８を参照して、路面点と障害部と
の分離処理について説明する。

【００３８】まず、路面画像Ｒｉ（ｘ，ｙ）および障害
物画像Ｓｉ（ｘ，ｙ）を用意し、Ｒｉ（ｘ，ｙ）＝０、
Ｓｉ（ｘ，ｙ）＝Ｇｉ（ｘ，ｙ）とする（ステップ４１
０，４２０）。なお、ｉはカメラ１，３を表す（ｉ＝１
，２）。

【００３９】路面パラメータと同様の処理により、ワー
ルド座標系のデータを作る（ステップ４３０，４４０）
。すなわち、コード化画像を走査しながら、座標変換を
行い、カメラ１，３においてそれぞれのエッジ点の個数
を計数するために、ｎ１　，ｎ２　を０にクリアする。 この場合、ω’，ｋ’，ｈ’に代わって、ω０　，ｋ０
　，ｈ０　を使用する。また、カメラ座標系の座標（ｘ
，ｙ）も同時に記憶しておく。すなわち、Ｇｉ（ｘ，ｙ
）が０でなければ、ｘｉ　（ｎｉ　）＝ｘ，ｙｉ（ｎｉ
　）＝ｙなる配列を作成する（ステップ４５０，４６０
）。

【００４０】それから、マッチング処理を行う（ステッ
プ４８０）。これは路面パラメータの推定時と全く同じ
である。そして、マッチしたら、路面画像の方は「１」
を与え、障害物画像の方はその点をクリアする。

【００４１】以上のようにして、１画面分ループすると
、路面画像はマッチした点のみが、障害物画像の方は画
像Ｇｉ（ｘ，ｙ）からマッチした点が消去された画像と
なる。なお、量子化誤差の影響で路面上の点でも必ずマ
ッチするとは限らない。従って、障害物画像の方に路面
点のデータが少し残ることになる。これを回避するため
には、マッチした点の近傍点も合わせて消去した方がよ
い。また、画面下部ほど広い近傍領域を消去するとよい
。更に、近傍点はエッジの方向の方角に広く、エッジ方
向に垂直の方向に狭くとってもよい。

【００４２】このようにして得られた路面画像には、レ
ーンマーク（白線）、影、路面の汚れ、段差部分等の情
報がふくまれているが、障害物情報はないので、例えば
レーン検出や、走行領域の検出（走行可能域の地図作成
等）などを行うことができる。一方、障害物画像には、
路面上の点が含まれず、障害物やカードレール、溝など
の情報のみであり、この画像を出発点にして障害物検出
を行えば、原画像から行うよりも容易に処理できる。す
なわち、従来から広く行われているステレオマッチング
や、従来例に示した手法を用いて、障害物の位置計測が
可能となる。

【００４３】上記実施例は２台のカメラを水平関係に左
右に配置するとともに、それぞれのカメラの走査線がほ
ぼ水平になるように配置している場合について説明した
が、これに限定されるものでなく、例えばカメラを上下
に設けたり、走査線を垂直方向にしても全く同様の処理
が行える。例えば、カメラを上下に配設し、走査線が垂
直の場合、すなわちカメラが横向きに設定されている場
合には、前処理もマッチング手法も全く同様であるが、
ワールド座標系のＸ軸とＺ軸の取り扱いを逆にすればよ
い。

【００４４】また、上記実施例では、方向コードのマッ
チングの際、左右画像で路面上の線の傾き（映り具合い
）に応じたマッチングを取るようにしたため、マッチン
グの精度、すなわち路面パラメータの計測精度を向上す
ることができる。

【００４５】

【発明の効果】以上説明したように、各請求項に記載さ
れた発明によれば、少なくとも２台のカメラを用いて、
ステレオマッチングを行い、路面平面を表すパラメータ
として車両のピッチ、ロール、路面からの高さを求め、
障害物と路面上の点とを分離するようにしているので、
車両の運動パラメータを求めることができるのみならず
、路面上の文字や汚れ、影などの影響を受けずに例えば
、傾斜した障害物等をも正確に検出することができる。

【図面の簡単な説明】

【図１】請求項４に記載された発明のクレーム対応図。

【図２】本発明の一実施例に係わる路面パラメータの推
定方法を実施する装置の構成図。

【図３】図２に示す装置の画像処理装置の構成を示す図
。

【図４】カメラ座標系およびワールド座標系の説明図。

【図５】コード化処理を示すブロック図。

【図６】路面パラメータの推定処理を示すフローチャー
ト。

【図７】路面パラメータの推定処理を示すフローチャー
ト。

【図８】路面点と障害物との分離処理を示すフローチャ
ート。

【図９】従来の障害物検出装置の構成を示すブロック図
。

【図１０】従来の欠点を示す説明図。

【符号の説明】

１，２　　カメラ ５　　画像処理装置 ９　　前処理部 １１　　路面パラメータ推定部 １３　　路面点と障害物との分離部

Claims (4)

【特許請求の範囲】
1. 【請求項１】　　少なくとも２台のカメラを設け、該カ
   メラで撮像した画像を処理してエッジ点を抽出し、エッ
   ジ点の有する特徴をコード化した画像を作成し、このコ
   ード化された画像を入力し、所定の基準位置に対する路
   面平面の傾き角および路面から前記基準位置までの距離
   をパラメータとし、前記各カメラに対応する各エッジ点
   を座標変換し、１つのカメラのあるエッジ点に対してカ
   メラ間の距離に対応した量だけ離れ、かつ同一特徴コー
   ドを有する他のカメラのエッジ点が存在するとき、両エ
   ッジ点はマッチしたと判断し、このマッチした個数が最
   も多いパラメータを路面パラメータと推定することを特
   徴とする路面パラメータの推定方法。
2. 【請求項２】　　前記特徴コードはエッジ点の方向を表
   す量であり、路面上の線が各カメラに映った時のエッジ
   の傾き角の差に対応した量だけオフセットしていても同
   一コードを有すると判断することを特徴とする請求項（
   １）記載の路面パラメータの推定方法。
3. 【請求項３】　　前記推定された路面パラメータを用い
   て、各カメラに対応するエッジ点を座標変換し、１つの
   カメラのあるエッジ点に対してカメラ間距離に対応した
   量だけ離れ、かつ同一特徴コードを有する他のカメラの
   エッジ点が存在するとき、各エッジ点は路面上の点と判
   断し、かつ各エッジ点またはその近傍点は障害物の点で
   ないと判断することにより路面上の点と障害物の点を分
   離することを特徴とする請求項（１）記載の路面パラメ
   ータの推定方法。
4. 【請求項４】　　同一方向の画像を撮像する少なくとも
   ２台のカメラと、該カメラで撮像した画像を処理してエ
   ッジ点を抽出し、エッジ点の有する特徴をコード化した
   画像を作成するエッジ点抽出コード化手段と、該エッジ
   点抽出コード化手段でコード化された画像を入力し、所
   定の基準位置に対する路面平面の傾き角および路面から
   前記基準位置までの距離をパラメータとし、前記各カメ
   ラに対応する各エッジ点を座標変換する座標変換手段と
   、１つのカメラのあるエッジ点に対して前記カメラ間の
   距離に対応した量だけ離れ、かつ同一特徴コードを有す
   る他のカメラのエッジ点が存在するとき、両エッジ点は
   マッチしたと判断し、このマッチした個数が最も多いパ
   ラメータを路面パラメータと推定する路面パラメータ推
   定手段とを有することを特徴とする路面パラメータの推
   定装置。