JP4256992B2

JP4256992B2 - 障害物検出装置

Info

Publication number: JP4256992B2
Application number: JP25545999A
Authority: JP
Inventors: 寛服部
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1999-09-09
Filing date: 1999-09-09
Publication date: 2009-04-22
Anticipated expiration: 2019-09-09
Also published as: JP2001076128A

Description

【０００１】
【発明の属する技術分野】
自動車の安全運転を支援するために、車載カメラにより、先行車や歩行者、駐車車両等、道路上に存在する障害物を検出する障害物検出装置に関する。
【０００２】
【従来の技術】
センサにより障害物を検知するための技術は、レーザや超音波等を利用するものと、ＴＶカメラを利用するものに大別される。レーザを利用するものは高価であり、非実用的である。また、超音波を利用するものは超音波の解像度が低いため、障害物の検出精度に問題がある。
【０００３】
これに対し、ＴＶカメラは比較的安価であり、解像度や計測精度、計測範囲の面からも障害物検出に適する。ＴＶカメラを用いる場合、１台のカメラを使用する方法と複数台のカメラ（ステレオカメラ）を使用する方法がある。
【０００４】
１台のカメラを使用する方法は、そのカメラで撮影した１枚の画像から、輝度や色、あるいはテクスチャ等の情報を手がかりにして道路領域と障害物領域を分離する。例えば、画像中で彩度の低い中程度の輝度領域、つまり灰色の領域を抽出し道路領域を求めたり、テクスチャの少ない領域を求めて、道路領域を抽出し、それ以外の領域を障害物領域とする。しかし、道路と似た輝度、色、あるいはテクスチャを持つ障害物も数多く存在するため、この方法で一般の状況下において障害物領域と道路領域を切り分けるのは困難である。
【０００５】
これに対し、複数台のカメラを用いる方法は３次元情報を手がかりにして障害物を検出する。複数台のカメラを用いて対象シーンの３次元情報を得る技術は、一般にステレオ視と呼ばれる。ステレオ視とは、例えば２つのカメラを左右に配置し、３次元空間中で同一点である点を左右画像間で対応づけ、三角測量の要領で、その点の３次元位置を求めるものである。各カメラの道路平面に対する位置や姿勢等をあらかじめ求めておくと、ステレオ視により、画像中の任意の点の道路平面からの高さが得られる。したがって、高さの有無により、障害物領域と道路領域を分離することができる。１台のカメラを用いる方式では、道路と似た輝度や色、テクスチャを持つ領域を障害物として検出することは困難であるが、ステレオ視によれば、道路面からの高さを手がかりにして障害物を検出するため、より一般的なシーンでの障害物検出が可能である。
【０００６】
通常のステレオ視は、画像上の任意の点のステレオカメラからの距離を求める技術であり、このためには、あらかじめ複数のカメラの間隔や向き、およびカメラレンズの焦点距離、画像中心等に関するパラメータを求める必要がある。これらを求める作業をキャリブレーションと呼ぶ。キャリブレーションは、３次元位置が既知な点を多数用意し、その点の画像への投影位置を求め、カメラの位置や姿勢、カメラレンズの焦点距離等に関するパラメータを算出する。しかし、この作業は多大な時間と労力を必要とし、ステレオ視による障害物検出の実用化を妨げる原因の１つとなっている。
【０００７】
しかし、画像上で道路領域と障害物領域を分離すればよいのであれば、必ずしもキャリブレーションは必要でない。すなわち、道路平面上の点の左右画像への投影点を（ｕ_ｌ，ｖ_ｌ）、（ｕ_ｒ，ｖ_ｒ）とすれば、
【数１】

【外１】

各カメラの道路平面に対する位置と姿勢、さらに、各カメラのレンズの焦点距離、画像原点に関するパラメータである。ｈは、あらかじめ道路平面上の４点以上の左右画像への投影点から求めておく。この関係式を用いて、左画像上の任意の点Ｐ（ｕ_ｌ，ｖ_ｌ）が道路平面上に存在すると仮定した場合の右画像上の対応点Ｐ'（ｕ_ｒ，ｖ_ｒ）を求める。
点Ｐが道路平面上に存在すれば、点ＰとＰ′が正しい対応点の組となるので、２点の輝度の差は小さくなる。したがって、点ＰとＰ′の輝度の違いが大きい場合には、点Ｐは障害物領域に属すると判定する。以下では式１を道路平面拘束と呼ぶ。
【０００８】
この方式には、キャリブレーションと並んで、ステレオ視の問題である対応探索が不要というメリットもある。通常のステレオ視は、左右画像間で同一点を対応づける必要があり、その対応づけは探索計算により行われるため、計算コストが高い。しかし、上記の方式は、その対応探索が不要であるため、計算コストが極めて低く、実用的な方式である。
【０００９】
ステレオカメラが３次元空間中で固定していれば、道路平面と各カメラの幾何学的な関係は不変であるので、一度求めたパラメータｈを使って、道路平面上に存在する障害物を検出可能である。しかし、車が走行している場合には、車自身の振動や道路の傾斜の変化等のため、道路平面と各カメラの相対的な位置や姿勢の関係は時々刻々変化する。つまり、走行中にパラメータｈは変化するため、静止時に求めた道路平面拘束を走行中の障害物検出に用いることはできない。
【００１０】
通常、このような問題に対しては、道路面上の多数の特徴点（道路上のペイントの角点等）を使って道路平面拘束を計算し、障害物を検出するという方法が用いられる。しかし、道路面上の多数の特徴点を抽出することは困難であり、障害物上の特徴点を誤抽出することが多い。さらに、抽出した特徴点の対応探索を行なう必要があるため、計算コストが高い。また、求めるパラメータの数が多いため、安定に道路平面拘束を求めることは極めて難しいという問題があった。
【００１１】
【発明が解決しようとする課題】
上記のように、障害物検出装置はレーザや超音波を用いるものとＴＶカメラを用いるものに大別できるが、レーザや超音波を利用する障害物検出装置は高価であったり、計測精度が低いという問題があった。また、ＴＶカメラを利用する障害物検出装置は、使用環境が限定されていたり、多大な時間と労力を必要とするキャリブレーションが必要であったり、計算コストが高い左右画像の対応探索が必要であったり、車の走行中の振動や道路の傾斜に対処する実用的な方策がないという問題があった。そこで、本発明は上記事情を鑑みてなされたもので、キャリブレーションの手間が少なく、道路両端の２本の白線の走行中の画像上の動きだけから、道路平面と各カメラの幾何学的な関係を求めることにより、走行中に振動や道路自身に傾斜があっても、道路平面上に存在する障害物を高速に検出する障害物検出装置を提供する。
【００１２】
【課題を解決するための手段】
本発明による障害物検出装置は、面上を移動する移動体の異なる位置に固定され、画像を入力する複数台のＴＶカメラと、これらの複数台のＴＶカメラにより入力された複数枚の画像を蓄積するための画像蓄積部と、３次元空間中のある面上に存在する線を画像から抽出する特徴抽出部と、この特徴抽出部により抽出された線および前記移動体が静止している時に予め求めた面上の点の上記複数枚の各画像への投影位置間に成り立つ関係のみから、移動体の移動時における面上の任意の点の複数枚の各画像への投影位置間に成り立つ関係式を求めるパラメータ計算部と、このパラメータ計算部により算出した関係式を用いて、面から離れた上方に存在する物体を検出する検出部とを有する。本発明の一形態による障害物検出装置の特徴抽出部は、３次元空間中のある面上に存在し、複数台のＴＶカメラとほぼ同一方向で、３次元空間中で互いに平行な複数の線を画像から抽出し、それらの線の消失点を求める。本発明の他の形態による障害物検出装置の特徴抽出部は、３次元空間中のある面上に存在し、複数台のＴＶカメラとほぼ同一方向で、３次元空間中で互いに平行な複数の線を画像から抽出し、それらの線の画像上での傾きと、消失点を求める。
【００１３】
【発明の実施の形態】
以下で、本発明の実施例を図面に従い説明する。本実施例は、図１に示すように車に搭載した左右２台のステレオカメラから、歩行者や先行車、駐車車両等、道路平面上に存在する障害物を検出する状況を想定している。
図２は同実施例における本装置の概略構成を示すもので、ここでは画像入力部１、画像蓄積部２、特徴抽出部３、パラメータ計算部４、検出部５から構成している。本装置は、道路平面上の点の左右画像への投影位置の間に成り立つ関係式（以下では道路平面拘束と呼ぶ）を静止時にあらかじめ求めておいて、自車の振動や道路の傾斜等により時々刻々変化する走行時の道路平面拘束を、道路上に存在する２本の白線の動きのみから計算し、それを用いて道路平面上に存在する障害物と道路領域を識別する。
【００１４】
同実施例では、図３に示すように、道路両端の２本の白線をｌ_１、ｌ_２とし、直線ｌ_１、ｌ_２方向をＹ軸、左右、上下方向を各々Ｘ、Ｚ軸、傾斜のない平面（基準面）をＸＹ平面とするステレオカメラ座標系を設定する。画像入力部１は、左右２台のＴＶカメラを用いて２枚の画像を入力する。これら２台のカメラの位置や姿勢をあらかじめ求めておく必要はないが、ここでは各カメラは車に固定されており、走行中には変化しないものとする。
【００１５】
画像蓄積部２は、画像入力部１により入力された２枚の画像を画像メモリに蓄積する。
【００１６】
特徴抽出部３は、画像蓄積部２により蓄積された２枚の画像上において、図６に示すように、２本の直線ｌ_１、ｌ_２を各々検出し、その交点（消失点）を求める。この直線検出はエッジ抽出処理とＨｏｕｇｈ変換等を用いて行なう。
【００１７】
パラメータ計算部４は、静止時に求めた基準平面に対する道路平面拘束と、特徴抽出部３により求めた２本の白線とその消失点から、走行時の道路平面拘束を計算する。以下に、この方法について説明する。３次元空間中の点（Ｘ，Ｙ，Ｚ）の画像への投影点を（ｕ，ｖ）とすると、一般に、
【数１】

という関係式が成り立つ。h = (h₁₁,h₁₂,・・・,t₃)^Ｔはカメラの位置と姿勢、焦点距離、画像中心に関するパラメータである。ｈは定数倍しても同一のカメラモデルを表すので、ｈの任意の１要素を"１"としても一般性を失わない。そこで以下ではｈ_３２＝１とする。
【００１８】
図３に示したステレオカメラ座標系では道路平面（基準面）はＺ＝０と表されるため、道路平面上の点Ｐ（Ｘ，Ｙ）の投影点は上式にＺ＝０を代入して、
【数３】

となる。ここで以下の前提下でカメラモデルを考える。
（ａ）カメラから比較的遠方を対象領域とする。
（ｂ）左右カメラの前後の位置ずれが微小である。
【００１９】
これらの前提の下では、
【数４】

となる。ここで、βは図５に示すような左右カメラの視点の中点と座標原点のＹ方向のずれであり、ｔ_３＝β＋Δｔ_３である。
したがって、式（４）は、
【数５】

と簡略化できる。さらにＹｃ＝Ｙ＋βとおくと、
【数６】

【外３】

の投影点を各々ｕ_ｌ、ｕ_ｒとすれば、
【数７】

となる（ｔ_ｌ、ｔ_ｒは白線の消失点）。
これより、
【数８】

となる。ここで、"ｌ"、"ｒ"は各々左右画像に対する添字である。ステレオカメラのキャリブレーションを行なっていないので、Ｍ_ｌ、Ｍ_ｒは未知であるが、Ａは静止時に傾斜のない道路平面上の特徴点から、あらかじめ求めておく。
【００２０】
走行時の道路の傾斜変化や自車の振動によって、道路平面が基準面Ｚ＝０から傾斜面Ｚ＝ｐＹと変化したとする（図４）。Ｘ方向の勾配は、一般にＹ方向の勾配に比べて十分小さいので無視することができ、傾斜面と基準面の交線をＸ軸にとれば、傾斜面の方程式はＺ＝ｐＹと表現できる。Ｚ＝ｐＹに対する道路平面拘束を２本の白線の動き（図７）から計算可能する方法を示す。傾斜面上の点（Ｘ，Ｙ，Ｚ）の画像への投影位置（ｕ'，ｖ'）は、式（２）にＺ＝ｐＹを代入すると、前述の２つの前提下では、
【数９】

【外４】

【数１０】

Ｙｃ＝Ｙ＋βとおき、さらに式（３）よりｖ'についても同様の式変形を行うと、
【数１１】

【外５】

だから上式は、
【数１２】

【外６】

【数１３】

であり、
【数１４】

【外７】

【数１５】

となる。ただし、β_１＝ｍ_２１β、β_２＝ｍ_２２βとした。図７のように傾斜によって画像上の片方の
【外８】

【数１６】

を得る。
もう１本の白線（ｌ_２→ｌ'_２）についても同様に式変形を行なうと、
【数１７】

【外９】

（１６）の行列Ｋを求めることができる。左右画像に各々について上記の処理を行なうと、道
【外１０】

れる。したがって、
式（９）を用いると、
【数１８】

となる。式（９）のＡが、傾斜によりＡ'＝Ｋ_ｒＡＫ_ｌ ^−１と変化したことになる。
式（１９）が傾斜面に対する道路平面拘束である。
【００２１】
検出部５は、パラメータ計算部４で求めた道路平面拘束を用いて、障害物を検出する。左画像の任意の点（ｕ_ｌ，ｖ_ｌ）の輝度をＩ_Ｌ（ｕ_ｌ，ｖ_ｌ）とし、点（ｕ，ｖ）が道路平面上に存在すると仮定した場合の右画像上の対応点（ｕ_ｒ，ｖ_ｒ）を式（１９）から求め、その輝度をＩ_Ｒ（ｕ_ｒ，ｖ_ｒ）とする。点（ｕ，ｖ）が実際に道路平面上に存在すれば、点ＰとＰ'は正しい対応点の組となるから、基本的には点ＰとＰ'の輝度が同じになる。つまり、
【数１９】

として、Ｄ≠０、あるいは誤差を考慮し、Ｄ＞Ｔｈｒ（Ｔｈｒはあらかじめ設定した閾値）となる点Ｐは障害物領域に属すると判定する。
【００２２】
以上のようにして、車載のステレオカメラから走行時に道路平面上の障害物を検出することができる。
【００２３】
本実施例は画像入力部１で、２台のＴＶカメラを左右に並べて２枚の画像を入力しているが、これらのカメラは上下に配置してもよい。また、３台以上のカメラを配置してもよい。
【００２４】
また、特徴抽出部３は、道路平面上の２本の線を抽出する場合について説明したが、３本以上の線を抽出してもよい。
【００２５】
また、走行中の自車の振動のみを考慮すればよい場合には、式（１６）でβ＝０（β_１＝β_２＝０）と仮定してよいので、同式右辺の行列がＫ＝Ｉ（Ｉは単位行列）となり、式（１９）において、Ａ'＝Ａとなる。これにより、さらに高速に傾斜面に対する道路平面拘束を得ることができる。
【００２６】
また、検出部５はさらに図８に示す構成をとることもできる。ここでは、画像変換部５−１、差異計算部５−２から構成している。画像変換部５−１は、右画像を以下の手順に従って画像変換する。一般に、画像は画像上の点（ｕ，ｖ）を変数とし、その各点に対して輝度値が定義された関数ｆ（ｕ，ｖ）として表現できる。以下では画像をこのように表現する。
【００２７】
図９に示すようなステレオ画像が入力されたとし、右画像をｇ（ｕ，ｖ）、その変換後の画像をｇ'（ｕ，ｖ）とする。以下のように、ｇ'（ｕ，ｖ）を求める。
【数２０】

ただし、（ｕ'，ｖ'）は、式１９より求める。
ｇ'（ｕ，ｖ）は、画像ｇ（ｕ，ｖ）上の任意の点が道路平面上に存在すると仮定した場合に、左カメラで得られる画像である。例えば、図１０の右画像からは、同図に示すような変換画像を得る。図１１に示すように、道路平面上にある点の投影点は、左画像と変換画像で同一となるのに対し、道路平面上にない点、すなわち、障害物（この場合は先行車両）上の点は、道路からの高さに応じて異なる位置に投影される。したがって、この左画像と変換画像の差分を取ることにより、道路平面上の障害物を検出する。つまり、左画像をｆ（ｕ，ｖ）とすると、
【数２１】

として、Ｄ'≠０、あるいは誤差を考慮して、Ｄ'＞Ｔｈｒ（Ｔｈｒはあらかじめ設定した閾値）となる点（ｕ，ｖ）は障害物領域に属すると判定する。
【００２８】
また、検出部５は画素間差分をとることによって２枚の画像の差異を検出したが、各点に対して（２ｗ＋１）×（２ｗ＋１）のウィンドウを設定し、ウィンドウ内の輝度値の正規化相互相関Ｃを計算して差異を検出してもよい。２枚の画像Ｆ（ｕ，ｖ）、Ｇ（ｕ，ｖ）の点（ｕ，ｖ）のＣは、
【数２２】

ここで、Ｎ＝（２ｗ＋１）×（２ｗ＋１）、ａ_１、ａ_２は２枚の画像のウィンドウ内の輝度の平均、
【外１１】

らかじめ設定した閾値）となる点（ｕ，ｖ）が障害物領域に属すると判定する。
【００２９】
また、本実施例では道路両端の２本の白線を直線として抽出したが、道路がカーブしている場合には白線は曲線となる。この場合には、白線を曲線として抽出すれば、同様に障害物を検出することができる。
【００３０】
また、道路面として平面を仮定して説明したが、曲面の場合であっても、平面の場合と同様に障害物を検出することができる。
【００３１】
また、本実施例は、車載カメラからの障害物検出に関して記述したが、例えば、移動ロボットの自律走行にも適用することが可能であり、本手法は車載カメラからの障害物検出に限定されるものではない。
【００３２】
その他、本発明の要旨を逸脱しない範囲で変形を実施できる。
【００３３】
【発明の効果】
道路平面からの高さの有無により障害物を検出するため、明るさの変動や影の影響を受けず、画像中から先行車や歩行者等の障害物を検出することができる。また、道路平面と各カメラの幾何学的な関係から成り立つ拘束式を、道路両端の２本の白線のみから求めているため、走行中の振動や道路平面に傾斜にある場合でも、高速に道路平面上の障害物を検知することができ、実用的効果は多大である。
【図面の簡単な説明】
【図１】本発明の実施形態の例。
【図２】本発明の全体構成。
【図３】ステレオカメラ座標系を説明するための図。
【図４】傾斜面を説明するための図。
【図５】パラメータβを説明するための図。
【図６】道路両端の２本の白線と、その消失点を説明するための図。
【図７】道路両端の２本の白線の走行中の変化を説明するための図。
【図８】検出部５の変形例。
【図９】ステレオ画像。
【図１０】右画像とその変換画像を説明するための図。
【図１１】左画像と右画像の変換画像を説明するための図。
【符号の説明】
１、画像入力部
２、画像蓄積部
３、特徴抽出部
４、パラメータ計算部
５、検出部

Claims

面上を移動する移動体の異なる位置に固定され、画像を入力する複数台のＴＶカメラと、
これらの複数台のＴＶカメラにより入力された複数枚の画像を蓄積するための画像蓄積部と、
３次元空間中のある面上に存在する線を前記画像から抽出する特徴抽出部と、
この特徴抽出部により抽出された前記の線、および前記移動体が静止している時に予め求めた面上の点の上記複数枚の各画像への投影位置間に成り立つ関係のみから、前記移動体の移動時における前記面上の任意の点の、上記複数枚の各画像への投影位置間に成り立つ関係式を求めるパラメータ計算部と、
このパラメータ計算部により算出した関係式を用いて、前記面から離れた上方に存在する物体を検出する検出部と
を備え、
前記特徴抽出部が、３次元空間中のある面上に存在し、前記複数台のＴＶカメラとほぼ同一方向で、３次元空間中で互いに平行な複数の線を画像から抽出し、それらの線の消失点を求めることを特徴とする障害物検出装置。
面上を移動する移動体の異なる位置に固定され、画像を入力する複数台のＴＶカメラと、
これらの複数台のＴＶカメラにより入力された複数枚の画像を蓄積するための画像蓄積部と、
３次元空間中のある面上に存在する線を前記画像から抽出する特徴抽出部と、
この特徴抽出部により抽出された前記の線、および前記移動体が静止している時に予め求めた面上の点の上記複数枚の各画像への投影位置間に成り立つ関係のみから、前記移動体の移動時における前記面上の任意の点の、上記複数枚の各画像への投影位置間に成り立つ関係式を求めるパラメータ計算部と、
このパラメータ計算部により算出した関係式を用いて、前記面から離れた上方に存在する物体を検出する検出部と
を備え、
前記特徴抽出部が、３次元空間中のある面上に存在し、前記複数台のＴＶカメラとほぼ同一方向で、３次元空間中で互いに平行な複数の線を画像から抽出し、それらの線の画像上での傾きと、消失点を求めることを特徴とする障害物検出装置。