JPH0396451A - 車両用障害物検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） この発明は、車両走行時の例えば前方にある障害物を車
両設置の複数のカメラにより検出する車両用障害物検出
装置に関する。

（従来の技術） 従来の車両用障害物検出装置としては、例えば第６図及
び第７図に示すようなものがある。これらの図は「知能
自動車の構成とその制御手法」（システムと制御、■０
吏．２２、ＮＯ．８、ＰＰ４５６〜４６４　（１９７８
））に記載されたもののブロック図と抽出画像の処理説
明図である。

第７図において（ａ）（ｂ）はカメラ座標、（Ｃ）はワ
ールド座標で表示したもので処理は（ａ）−（ｂ）→（
Ｃ）の順である。

いまこの従来のものを詳説すると、車両前方に２台のＴ
Ｖ（テレビ）カメラ（以下カメラと称するが、立体認識
のできるカメラであればその種類はいずれでもよい。）
を上下に取付け、これらのカメラの走査方向が上下にな
るようカメラを横向きに取付け、物体とその背景との境
界では、明暗変化が大きいことを利用し、同一視差を持
つエッジすなわち、定められた距離にあるエッジのみを
映像信号を微分により抽出し、一方その物体の路面から
の高さを、走査する時間より判定し、ある高さ（１０ｃ
ｍ）以上の時、判断部にて障害物と見なすものである。

その際、距離は、２台のうちの一方の例えばカメラ２の
映像信号が遅延回路（可変ディレイ）によりカメラ１か
らの遅延時間に対応して変化することを利用し、可変デ
ィレイのディレイ段数を変化させながら処理を行うこと
により、近い所から遠い所までの障害物を検出できるよ
うにしているものである。

（発明が解決しようとする課題） しかしながら、このような従来の障害物検出装置にあっ
ては、カメラを上下に２台配列してその同一視差を持つ
エッジのみを検出する構成となっていたため、水平エッ
ジは検出できても垂直エッジの検出はできず、したがっ
て第７図に示すようなボールｐは、（ａ）から（ｂ）へ
のカメラ座標移動時ｐ゛に変わり、路面文字（線）吏言
，吏２の吏Ｉ−，’Ｊ−２　−に変わったものと区別が
つかないという問題があった。この場合、ラバコーン『
は円錐状であるためｒ−，ｒ’と変わり認識できるｇｏ
また、このように（Ｃ）図にてラバーコーンｒ′という
遠方の障害物を検出できても、車両の進行予想領域の予
測ができないため、この障害物と衝突するか否かの判断
ができないという問題点があった。そこでこの発明は垂
直エッジの物体を検出でき、又、当該物体が車両進行時
の障害物となるか否かを判断できるようにした車両用陣
この発明は、以上のような目的を達成するため、車両設
置の少くとも２台のカメラからの映像信号を人力する手
段と、この入力された映像信号を透視変換により共通の
ワールド座標系を持つ画像に変換する手段と、該変換さ
れた画像の差をとることにより高さのある物体を抽出す
る手段とを備えるようにしたもので、２台のカメラは垂
直又は水平以外の位置関係をもって配置されたものであ
り、また、車両の操舵角信号により車両の進行予想領域
を計算する手段と該領域の範囲内で高さのある物体を抽
出する手段を備える車両用障害物検出装置である。

（作用） 例えば、２台のカメラの映像信号を車両進行方向及びこ
れに直角な方向の座標に透視変換し、その両変換画像の
差をとると、路面上の文字や白線は消去され高さを持つ
物体のみが座標上に現われる。従って、斜めでも、垂直
でも道路上の高さのある物体を検出することができる。

又、座標上に車両の進行領域を予想して表示する為、該
物体が車両の障害物となるかどうかを容易に判断できる
。

（実施例） 以下、この発明の一実施例を第１図〜第５図に示す図面
に基づいて説明する。第２図は、この発明のカメラ配置
図の一例である。２台のカメラ１，２は車両前面図（ａ
）及び側面図（ｂ）の如く車両前部に設置し、路面に対
して垂直及び水平の両方向にずらせて配置するようにす
る。また、カメラ１．２は、路面映像を重視しやや下向
くように取付ける。また、カメラ１．２は斜めに向くよ
うに取付けてもよい。

第１，図は、前記設置カメラによりこの発明の処理を行
うユニットの構成図である。２台のカメラ１，２の映像
信号は、画像処理部３で処理され、別途入力された操舵
角、車速の情報と共にホストコンピュータ４にて判断し
、警報信号や制御信号を出力する。すなわち、画像処理
部３はカメラ１２の映像信号を入力する人力手段３ａと
、この映像信号を透視変換により共通のワールド座標に
変換する変換手段３ｂと、この変換された画像の差をと
る事により高さのある物体を抽出する抽出手段３ｃとか
らなる。又、ホストコンピュータ４は操舵角信号に基づ
き車両の進行予想領域を計算する計算手段４ａと該領域
内で高さのある物体を抽出する抽出手段４ｂとからなり
、車速を入力したときは警報を出すこともできるもので
ある。

次に前記実施例の作用を第３図のフローチャートと、第
４図の画（象処理説明図と、第５図のウインドイング説
明図とを参照しつつ説明する。

まず２台のカメラ１．２に入力された画Ｉ１（ａ）を画
像処理部３に入力する。ここで、ｐはボール、ｒはラバ
ーコーン、（１＋．ｌ２は道路上の白線であることは前
と同じである。但し、カメラ１のものにサフィックスを
１，カメラ２のものにサフィックスを２として付すが、
白線は前者が’ｆＢ．１２，後者が（１３．ｌ４で表わ
してある（第４図）。

前述の画像を夫々、Ａ＋　　（ｘ．ｙ）Ａ２　　（Ｘ，
ｙ）とする。ここｘ−１〜Ｎ，ｙ−１〜ＭでＮは表示画
面の横方向の画素数、Ｍは表示画面の縦方向の画素数を
表わす。次に、それぞれの画像を透視変換（ｂ）により
ワールド座標に変換し、変換後の画像をそれぞれＢ＋　
　（Ｘ，Ｙ），Ｂ２　　（Ｘ，Ｙ）とする。変換した座
標の原点は、２台のカメラ１．２の位置の中心から垂直
に路面におろした点とし、Ｘ軸は車両進行方向と直角か
つ路面上、Ｙ軸は車両進行方向かつ路面上にあるものと
し、Ｘ，Ｙの限界範囲はそれぞれＸ−−Ｐ−Ｐ，Ｙ−Ｑ
，〜Ｑ２とする。Ｑ＋　は、カメラ視界のうち最も近い
点のＹ座標、Ｑ２は障害物を検出すべき最も遠方のＹ座
標を表わし、例えば、８０ｍにセットする。

この値は、低速時には、小さくするなど車速に応じて変
更してもよい。ＰはＹ＝０２におけるカメラ視界の横方
向の長さである。この長さはＹ−０２の時よりＹ＝Ｑ＋
　の時の方がカメラの視界が狭くなるから小さいが、近
似的にｘ−−ｐ−ｐとして計算を行うと、透視変換は次
式で表わされる。

Ｂ＋　　（Ｘ，Ｙ）−Ａｔ　　（ｘ，ｙ）ただし ａ　１　Ｘ　＋　ｂ　＋　Ｙ　＋　Ｃ　＋ｇ　＋　　Ｘ
　＋　ｈ　＋　　Ｙ　＋　ｋ　＋Ｘ−−Ｐ−Ｐ，　　Ｙ
−Ｑ，　　〜Ｑ２ｉ−．１．２（カメラ番号） ａ　ｌ　＋　　ｂ　ｌ　＋　　　ｌ　ｒ　　ｄ　ｌ　ｒ
　　　ｌ　＋　　ｆ　ｌ　＊　　ｇ　ＩＣ　　　　　　
　　　　　　　　　ｅ ｈｌ，ｋ＋，は定数である。定数ａ１〜ｋ１は、カメラ
の向き、路面からの高さ等により決まるパラメータ群で
あるが、カメラを一度設置すれば、固定される定数であ
り、あらかじめ、それぞれのカメラに応じて求めておけ
ばよい。

次に、Ｂ，（Ｘ，Ｙ）と８２　　（Ｘ，Ｙ）をマッチン
グさせ（Ｃ）図のようにする。つまり両画像の差をとる
わけである。このマッチング画像をＣ（Ｘ，Ｙ）とする
と Ｃ　（Ｘ．Ｙ）””　ｌ　Ｂ＋　　（Ｘ，Ｙ）　　　Ｂ
２　　（Ｘ，Ｙ） Ｘ　−　−　Ｐ　−　Ｐ　，　Ｙ　＝　Ｑ　＋　〜Ｑ２
この式によれば、路面上の文字や白線（１．ｌ２．及び
ｉ：＋，ｉ４は、２台のカメラとも同じＸ，　Ｙ座標に
変換されているためＣ　（Ｘ，Ｙ）では消去され０にな
る。よって高さを持つ物体ボールｐ及びラバーコーンｒ
のみが視差によりｐ一及びｒとして第４図（Ｃ）のよう
に現われてくる。この時、２台のカメラの関係位置は、
路面に対して垂直あるいは水平以外の位置即ち斜めに設
置されているため、垂直エッジ，水平エッジを持つ物体
は、共にそのエッジ成分に対応する量が第４図のように
（ａ）．（ｂ）から（Ｃ）にマッチングされＸ，Ｙの関
数としてＣ　（Ｘ，Ｙ）に残ることになる（ボールＰが
検出されることが理解できる）。

次に、注目すべきウインドウを設定する。すなわちウイ
ンドウは操舵角信号をホストコンピュータ４に入力し、
車両の走行軌跡を予測し、軌跡の範囲外をぬりつぶすこ
とにより得られる。すなわち、第５図において、操舵角
をθ（直進時は、θ一〇）、ホイールベースをＬ，　　
トレッドをＷ１またカメラが車両前部中央にあると仮定
し、そのカメラと後輪軸迄の距離をｙ０とすれば、後輪
軸の中央の点の座標は（０，ｙ．）で、旋回時の旋Ｌ 回中心は（　　　　　　，−ｙ．） ｊｘｎ　θ となる。また …　θ　　　　　　２ ｓｉｕ　　θ　　ＣＯＳ　　θ 軌跡の内側及び外側の余裕をともにＥとすると車両の通
過する予測範囲は、次式を満足するＸ，Ｙの座標の範囲
となる。

（ｘ　　　　　　　）”　　＋　（　　Ｙ　−　ｙ，　
　）　　２Ｉａｆｉ　θ Ｌ　　　　　　　Ｗ ≧　（−　　−　　−　　−　　Ｅ）　　２…　θ　　
　　２ かつ Ｌ （Ｘ　−　　　　　　　）　　’　　＋　　（Ｙ＋ｙｏ
　　）　　２ｌ！ロ　θ Ｌ　　　　　　Ｗ／２ よって、画像Ｃ　（Ｘ，Ｙ）上で中心をＬ （　　　　．−ｙ．） ｌｅａ　　θ とし、半径（ｒｌ−Ｅ）の円弧の内側と半径（『２＋Ｅ
）の円弧の外側とをぬりつぶすことにより、ウィンドウ
Ｗｄが設定される（第３図（ｄ）参照）なお、直進時（
θ−Ｏ）は、直線　Ｘ−−Ｗ／２−Ｈの左側及び直線Ｘ
−Ｗ／２＋Ｅの右側をぬりつぶせばウインドウが設定さ
れる。

次に、残った画像は変換誤差により路面上でも１画素程
度のずれが生ずるため、これを平滑化により除去し２値
化する。そして第３図（ｅ）のように拡大、縮小を行う
ことにより分離しているエッジを１つにまとめる。最後
に第３図（ｆ）のように、進行予想領域の物体の座標、
例えばＹ座標の最少値（すなわち、最も近い物体迄の距
離）とその点のＸ座標の最大値と最少値（すなわち、物
体の幅）を求め、もし物体が存在しなければ存在しない
意味の信号を出力し、もし物体が存在した場合で車速に
対して物体が近いと判断した時は警報を出力する。

また、この実施例では、上記の作用効果に加えて、更に
以下のような作用効果がある。すなわち、透視変換とマ
ッチング処理は、それぞれ画像処理部３とホストコンピ
ュータ４で並列処理されるため、高速に演算することが
でき、高速で運転する車両に対応して制御することがで
きるという効果がある。

以上の実施例ではカメラを２個斜めに設けたものについ
て説明したが、カメラは３個以上でもよい。

［発明の効果］ 以上説明してきたように、この発明によれば、車両に斜
めに設置された少くとも２台のカメラからの映像信号を
人力する手段と、人力された映像信号を透視変換により
ワールド座標に変換する手段と、該変換された複数の画
像の差をとることにより高さのある物体を抽出する手段
とを備える構成としたため、垂直エッジまたは水平エッ
ジのみを含む物体でも抽出でき、障害物の検出がより正
確に行うことができる効果が得られる。

また、車両の進行予想領域を予測し、その範囲内の障害
物との衝突を予測し必要に応じて警報を出す構威にした
ため、安全運転ができ、また、赤外線カメラを使うこと
により、濃霧運転にも役立つという効果が得られる。

【図面の簡単な説明】

第１図はこの発明の一実施例のユニット構成を示すブロ
ック図、第２図は第１図の実施例のカメラ装置の設置例
図、第３図は第１図の実施例のフローチャート、第４図
は同じく透視変換及びマッチングの画像処理の説明図、
第５図は同じくウィンドイング説明図、第６図は従来例
のブロック構戊図、第７図は従来例による障害物抽出説
明図である。 １・・・カメラ ２・・・カメラ ３・・・画像処理部 ４・・・ホストコンピュータ ｐ・・・ボール ｒ・・・ラバーコーン

Claims (1)

【特許請求の範囲】
1. （１）車両に設置された少くとも２台のカメラからの映
   像信号を入力する手段と、入力された映像信号を透視変
   換により、共通のワールド座標系を持つ画像に変換する
   手段と、該変換された複数の画像の差をとることにより
   高さのある物体を抽出する手段とを備え、かつ、前記２
   台のカメラが垂直又は水平以外の位置関係をもって配置
   されることを特徴とする車両用障害物検出装置。