JPH07334679A

JPH07334679A - 領域抽出装置

Info

Publication number: JPH07334679A
Application number: JP6130527A
Authority: JP
Inventors: Kazunori Onoguchi; 一則小野口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1994-06-13
Filing date: 1994-06-13
Publication date: 1995-12-22
Anticipated expiration: 2014-12-13
Also published as: JP2989744B2; US5694483A

Abstract

(57)【要約】【構成】３次元空間中で連続的に変化する道路領域を
有する画像を入力する２台のＴＶカメラ１ａ，１ｂと、
ＴＶカメラ１ａ，１ｂからそれぞれ画像メモリ２ａ，２
ｂを経て入力した複数の画像を３次元空間中で設定した
射影面にそれぞ射影する変換部３と、この変換部３より
得られた射影面におけるそれぞれの射影データを蓄積す
る領域メモリ４と、この領域メモリ４のそれぞれの射影
データの中から画像情報が類似している領域を前記射影
面上に存在する道路領域として抽出する領域抽出部５と
からなる。【効果】３次元空間中の面の情報を用いることにより
道路領域を抽出するため、２次元の画像処理により道路
領域を抽出する場合に問題となる天候の変動による画像
の変化の影響を受けない。また、３次元的な高さの情報
を用いるため、道路脇の灰色の建物や道路面上に存在す
る色やテクスチャーが類似な障害物を道路領域として誤
抽出することがない。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】道路領域等の３次元空間中で連続
的に変化する面領域を抽出する領域抽出装置に関する。

【０００２】

【従来の技術】従来は、１台のカメラ画像から、色やテ
クスチャー等の情報を手がかりにして道路領域を抽出し
ている。例えば、画像中で彩度の低い中程度の輝度領
域、つまり灰色の領域を抽出し道路領域を求めたり、道
路端を示す２本の白線を抽出し、その内部のテクスチャ
ーのない領域を求めて、道路領域を抽出している。

【０００３】すなわち、従来は２次元の画像処理により
画像を領域分割し道路領域を抽出している。

【０００４】ところが、屋外を撮影した画像の場合、天
候の変化等により、同じ場所を撮像した画像でも輝度レ
ベルや色合いが異なる。また、樹木などの影が道路上に
さしている場合、道路面のテクスチャーも時々刻々変化
する。

【０００５】このため、色やテクスチャーを用いた２次
元画像処理のみでは、道路領域を安定に抽出することが
難しい。

【０００６】そのため従来は、色抽出やエッジ等のテク
スチャー抽出の際に、晴天用、曇天用、雨天用等といっ
た複数のパラメータを用意し、これらを使い分けて天候
の変動に対処していた。

【０００７】しかし、天候の変化に伴う画像の変動パタ
ーンは無数に考えられるため、すべての変動に対処でき
るようなパラメータを用意しておくことは不可能であ
る。また、２次元の情報しか用いていないため、道路脇
に建てられている灰色の建物を道路領域として誤抽出し
たり、色やテクスチャーが類似な障害物が道路上に存在
した場合正しく検出することができないという問題があ
った。

【０００８】

【発明が解決しようとする課題】すなわち、従来は、天
候の変化に対処できるようなパラメータを用意しておく
ことができず、また、２次元の情報しか用いていないた
め、道路脇に建てられている灰色の建物を道路領域とし
て誤抽出したり、色やテクスチャーが類似な障害物が道
路上に存在した場合に正しく検出することができないと
いう問題点があった。

【０００９】そこで、本発明は、天候の変化や、道路脇
に建てられている灰色の建物を道路領域として誤抽出し
たり、色やテクスチャーが類似な障害物が、道路上に存
在していても、道路領域等の測定面領域を正しく検出で
きる領域抽出装置を提供する。

【００１０】

【課題を解決するための手段】本発明の領域抽出装置
は、３次元空間中で連続的に変化する平面または曲面の
道路領域等の測定面領域を有する画像を入力する複数台
のＴＶカメラと、これら複数のＴＶカメラからそれぞれ
入力した複数の画像を３次元空間中で設定した射影面に
それぞれ射影する変換部と、この変換部より得られた射
影面におけるそれぞれの射影データを蓄積する領域メモ
リと、この領域メモリのそれぞれの射影データの中から
画像情報が類似している領域を前記射影面上に存在する
前記測定面領域として抽出する領域抽出部からなるもの
である。

【００１１】

【作用】本発明の領域抽出装置について説明する。

【００１２】複数台のＴＶカメラが、３次元空間中で連
続的に変化する平面または曲面の道路領域などの測定面
領域を有する画像を入力する。

【００１３】変換部は、これら複数のＴＶカメラからそ
れぞれ入力した複数の画像を３次元空間中で設定した射
影面にそれぞれ射影する。

【００１４】領域メモリは、この変換部より得られた射
影面におけるそれぞれの射影データを蓄積する。

【００１５】領域抽出部は、この領域メモリのそれぞれ
の射影データの中から画像情報が類似している領域を前
記射影面上に存在する前記測定面領域として抽出する。

【００１６】以上のように、３次元空間中の射影面の情
報を用いることにより、測定面領域を抽出するため、２
次元の画像処理により測定面領域を抽出する場合に問題
となる天候の変動による画像の変化の影響を受けない。
また、３次元的な高さの情報を用いるため、例えば、道
路領域を抽出する場合に道路脇の灰色の建物や道路面上
に存在する色やテクスチャーが類似の障害物を道路領域
として抽出することがない。

【００１７】さらに、３次元空間中で測定面領域を構成
する画像中の領域を抽出するために、画像を道路が存在
すると仮定した平面または曲面上に射影する。このとき
測定面部分は複数の画像上の点が平面上で同一点に射影
されるので、設定した領域メモリ上の同じアドレスに同
程度の画像情報が射影される。そのため、測定面部分と
高さが異なる対象物が存在する領域メモリに対しては、
複数の画像の領域メモリ上の射影位置が異なるため、異
なる画像情報が射影される。そのため、領域メモリを走
査して、類似している画像情報が複数のＴＶカメラから
射影されている部分を抽出し、この中から幅が等しい帯
状の領域を求めれば、多眼視の持つ対応付けの問題を解
くことなく、容易に３次元空間中で道路面等の測定面を
構成している画像中の領域を抽出することができる。

【００１８】

【実施例】以下で、本発明の一実施例を図面に従い説明
する。本実施例は車載カメラより撮像した道路画像から
道路領域を抽出する場合を想定している。

【００１９】図１は本実施例における領域抽出装置の概
略構成を示すもので、ＴＶカメラ１ａ、ＴＶカメラ１
ｂ、画像メモリ２ａ、画像メモリ２ｂ、変換部３、領域
メモリ４、領域抽出部５から構成されている。また、Ｔ
Ｖカメラ１ａ、ＴＶカメラ１ｂはカメラの光軸がそれぞ
れ平行に設定されている。

【００２０】ＴＶカメラ１ａ、１ｂより入力された画像
は画像メモリ２ａ、２ｂに蓄積される。変換部３は、画
像メモリ２ａ、２ｂに蓄積されている画像を３次元空間
中に予め設定しておいた座標系において生成した面上に
射影し、領域メモリ４に射影結果を書き込む。領域抽出
部５は領域メモリを走査して、真に面上に存在する領域
を切り出す。

【００２１】図２に変換部３の一構成例を示す。

【００２２】画像メモリ２ａ、２ｂより入力した２枚の
画像からステレオ計測部６が面の方程式を算出するため
に必要なサンプル点を抽出し、その３次元位置をステレ
オ計測する。サンプル点は例えば道路端、道路端近傍の
白線、またはセンターライン上にとる。

【００２３】図５にサンプル点の例を示す。

【００２４】左右画像から道路上に引かれた道路端を示
す２組の白線を図６の処理の流れに従って抽出する。

【００２５】ステップ１において、左右各々の画像から
エッジを抽出する。

【００２６】ステップ２において、エッジの中から長さ
が予め設定しておいた閾値Ｌよりも長いものを選択す
る。

【００２７】ステップ３において、選択されたエッジ群
Ａの中から画像中で間隔が予め設定しておいた閾値ｄに
近い平行なエッジペアＢを選択する。

【００２８】ステップ４において、これらのエッジペア
の中で、図５に示すような画像中央から画像の左右下端
に向かって伸びる２組の平行エッジペアを道路端を示す
白線ペアとして選択する。

【００２９】左右画像中で図６の処理に従い、２組の平
行エッジペアを抽出した後、図５に示すように各々の平
行エッジペアを横切るような２本の直線を左右画像で同
じ高さに設定する。図５では、左画像に対してＬ１、Ｌ
２の２本の直線、右画像に対してＲ１、Ｒ２の２本の直
線を設定する。

【００３０】そして、それぞれの直線が平行エッジペア
を横切る点を左から順番に対応付け、サンプル点とす
る。例えば、直線Ｌ１、Ｌ２から、（ａl ，ａr ），
（ｂl ，ｂr ），（ｃl ，ｃr ），（ｄl ，ｄr ）が対
応付けられる。直線Ｌ２、Ｒ２から、（ｅl ，ｅr ），
（ｆl ，ｆr ），（ｇl ，ｇr ），（ｈl ，ｈr ）が対
応付けられる。

【００３１】ステレオ計測部６は、これらサンプル点の
画像中の対応位置から、サンプル点の３次元空間中の位
置を算出する。

【００３２】面算出部７は、算出されたサンプル点の３
次元位置から最小２乗法を用いてサンプル点を含む平面
の方程式Ｐ：ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０を算出する。

【００３３】射影部８ａ，８ｂは画像メモリ２ａ，２ｂ
の画像を面算出部７が算出した平面Ｐ上に射影する。

【００３４】図７を用いてこの射影手法に関し説明す
る。

【００３５】ステレオカメラの座標系をＯ−ＸＹＺとす
る。左右画像中心を０l ，Ｏr とする。左右カメラの焦
点位置をＣl ，Ｃr とする。左右画像面上の点ｑl ，ｑ
r を平面Ｐ上へ射影した点をＱl ，Ｑr とする。左右画
像上の画像中心を原点とする座標系をそれぞれ、ｘl −
ｙl ，ｘr −ｙr とする。Ｏl ，Ｏr をそれぞれ起点と
してｘl ，ｘr 軸上で長さが画像面のｘ軸方向の画素サ
イズに相当するベクトルをそれぞれｎlx，ｎrxとする。
Ｏl ，Ｏr をそれぞれ起点としてｙl ，ｙr 軸上で長さ
が画像面のｙ軸方向の画素サイズに相当するベクトルを
ｎly，ｎryとする。また、ｑl ，ｑr の画像面上の位置
をそれぞれ（ｋlx，ｋly），（ｋrx，ｋry）とする。点
ｑl ，ｑr を平面Ｐ上へ射影した点Ｑl ，Ｑr のステレ
オカメラ座標系での位置を以下の式より求める。まず、
ｑl に対しては次の関係が成り立つ。

【００３６】

【数１】ステレオカメラのキャリブレーションにより

【数２】は既知であるとすると、Ｑl とｑl を結ぶ直線の方程式
は

【数３】として表される。このｘ，ｙ，ｚを平面式Ｐ：ａｘ＋ｂ
ｙ＋ｃｚ＋ｄ＝０に代入し、ｔを求めることにより、ｑ
l のＰ上の射影点Ｑl の位置（Ｑlx，Ｑly，Ｑlz）を算
出することができる。

【００３７】ｑr に対しても同様に次の関係が成り立
つ。

【００３８】

【数４】ステレオカメラのキャリブレーションにより

【数５】は既知であるとすると、Ｑr とｑr を結ぶ直線の方程式
は

【数６】として表される。このｘ，ｙ，ｚを平面式Ｐ：ａｘ＋ｂ
ｙ＋ｃｚ＋ｄ＝０に代入し、ｔを求めることにより、ｑ
r のＰ上の射影点Ｑr の位置（Ｑrx，Ｑry，Ｑrz）を算
出することができる。

【００３９】以上の処理により射影部８ａは画像メモリ
２ａに格納されている左画像上の点ｑl を面算出部７が
求めた平面Ｐ上の点Ｑl へ射影する。また、射影部８ｂ
は画像メモリ２ｂに格納されている右画像上の点ｑr を
面算出部７が求めた平面Ｐ上の点Ｑr へ射影する。

【００４０】領域メモリは、図８に示すようなｍ×ｎの
２次元配列である。道路領域の探索範囲をＸmin ＜Ｘ＜
Ｘmax 、Ｙmin ＜Ｙ＜Ｙmax とすると、Ｘmin からＸma
x までをｍ等分に、またＹmin からＹmax までをｎ等分
にサンプリングして射影部８ａ，８ｂの結果を領域メモ
リに書き込む。つまり、領域メモリ上の（ｉ，ｊ）には
射影点Ｑl ，Ｑr のＸ座標値、Ｙ座標値が

【数７】の範囲内にあるものを書き込む。

【００４１】図９に示すように、平面Ｐ上の点Ｑが領域
メモリの要素（ｉ，ｊ）に対応付けられる時、図８に示
すデータが（ｉ，ｊ）に書き込まれる。ただし、Ｑは左
画像上の点ｑl と右画像上の点ｑr が同時に射影される
点である。

【００４２】Ｑの座標値（ｘ，ｙ，ｚ）、ｑl ，ｑr の
カラー情報（ＲＧＢ値）、ｑl ，ｑr 近傍のエッジ密
度、ｑl ，ｑr 近傍のテクスチャー情報がそれぞれ蓄積
される。射影部８ａ，８ｂは、画像メモリ２ａ，２ｂに
格納された左画像及び右画像の全画素ｑl,ｑr に対し
て、平面Ｐ上の射影位置Ｑl ，Ｑr を求め、上記探索範
囲に含まれるもののみを選択した後、対応する領域メモ
リの各要素に図８に示すデータを書き込む。

【００４３】領域抽出部５は、領域メモリ４に蓄積され
たデータから道路領域を抽出する。

【００４４】まず、領域メモリを走査して、データが書
き込まれていない要素を周囲のデータを用いて線形補間
する。この際、図８に示す各要素の各データは、座標値
（Ｘ，Ｙ，Ｚ）を除き、左画像に対するものは左画像同
士、右画像に対するものは右画像同士で補間を行う。

【００４５】次いで、画像のＲＧＢ値より求めた色情
報、近傍のエッジ密度、及び近傍のテクスチャー情報が
左画像と右画像で類似している領域を領域メモリ上で抽
出し、道路領域候補とする。

【００４６】図１０に示すように、道路平面上に存在し
ない点Ａはそれぞれ異なる点としてＰ上に射影される。
このため、領域メモリの各要素（ｉ，ｊ）に書き込まれ
ている左右画像の色情報、エッジ情報、テクスチャー情
報が異なる領域は、道路平面上に存在しないと判定でき
る。

【００４７】走行中の道路の幅Ｗが既知であるとし、道
路平面とステレオカメラ座標系のｘｙ平面が平行に近い
場合、道路領域は領域メモリ上で図１１に示す幅Ｗの帯
状の領域となる。このため、道路領域候補の中から、こ
の幅Ｗに近い帯状の領域を選択することにより、道路領
域を決定する。市街地では道路は通常、歩道、側溝、街
路樹、塀等、道路平面とは高さが異なるもので区切られ
ている。そのため、本手法により道路領域を抽出するこ
とができる。

【００４８】上記の実施例は変換部３が図２に示す構成
をとった場合について説明しているが、変換部３が図３
に示す構成をとることもできる。

【００４９】この構成では、カメラ姿勢算出部１０が道
路平面に対するＴＶカメラ１ａ，１ｂの姿勢をポテンシ
ョンメータ、エンコーダ、またはジャイロ等の内界セン
サを用いて計測する。この姿勢情報を用いてＴＶカメラ
１ａ，１ｂに対する道路平面の位置を面算出部９が算出
する。そして、射影部１１ａ，１１ｂが射影部８ａ，８
ｂと同様の手法を用いて平面上の射影点を求める。

【００５０】また、変換部３は図４に示す構成をとるこ
ともできる。

【００５１】この構成では、レーザレンジファインダ、
パターン投光による距離測定器、レーザレーダ、超音波
センサ等の投射型距離センサ１３を用いて、道路平面上
のサンプル点の位置を求める。このサンプル点に位置を
用い、面算出部１２が面算出部７と同様の手法により、
道路平面を算出する。そして、射影部１４ａ，１４ｂが
射影部８ａ，８ｂと同様の手法を用いて平面上の射影点
を求める。

【００５２】本実施例では、射影点を領域メモリへ書き
込む際、等間隔にサンプリングしたが、ステレオカメラ
座標系の原点よりも遠い領域は画像上で小さく移るた
め、解像度は通常荒くなる。逆に近い領域は画像上で大
きく移るため解像度が高くなる。このため、例えば、Ｙ
min に近い点程、Ｘ、Ｙのサンプル間隔を細かくし、Ｙ
max に近い点程、Ｘ、Ｙのサンプル間隔を大きくするこ
とにより、情報量を減少させることなく領域メモリの容
量を減少させることができる。

【００５３】また、本実施例では道路面として平面を仮
定して説明したが、ステレオカメラ座標系で方程式が既
知である曲面であれば、平面の場合と同様に道路領域を
抽出することができる。

【００５４】本実施例は、道路領域抽出に関して記述し
たが、例えばＦＡ応用における作業台面の抽出など、他
の領域抽出にも適用することが可能であり、本手法は道
路領域抽出に限定されるものではない。

【００５５】

【発明の効果】本発明の領域抽出装置を用いると、３次
元空間中の射影面の情報を用いているため、明るさの変
動や影の影響を受けず、画像中から平面または曲面の測
定面領域を抽出することができる。また、ステレオ視に
おける対応付けの必要がないため、設定した平面上の領
域を容易に抽出することができる。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成を示すブロック
図。

【図２】ステレオ視を用いた変換部の構成を示すブロッ
ク図。

【図３】カメラ姿勢を用いた変換部の構成を示すブロッ
ク図。

【図４】投射型距離センサを用いた変換部の構成を示す
ブロック図。

【図５】本実施例において、サンプル点の選び方を説明
する図。

【図６】同じくサンプル点を選ぶ処理のフローチャー
ト。

【図７】本実施例において、射影方法を説明する図。

【図８】領域メモリを説明する図。

【図９】対応領域を説明する図。

【図１０】道路面上に存在しない対象物を説明する図。

【図１１】道路領域を説明する図。

【符号の説明】

１ａＴＶカメラ１ｂＴＶカメラ２ａ画像メモリ２ｂ画像メモリ３変換部４領域メモリ５領域抽出部

Claims

【特許請求の範囲】

【請求項１】３次元空間中で連続的に変化する平面また
は曲面の道路領域等の測定面領域を有する画像を入力す
る複数台のＴＶカメラと、これら複数のＴＶカメラからそれぞれ入力した複数の画
像を３次元空間中で設定した射影面にそれぞれ射影する
変換部と、この変換部より得られた射影面におけるそれぞれの射影
データを蓄積する領域メモリと、この領域メモリのそれぞれの射影データの中から画像情
報が類似している領域を前記射影面上に存在する前記測
定面領域として抽出する領域抽出部からなることを特徴
とする領域抽出装置。
【請求項２】前記変換部の射影面の設定を、複数枚の画
像を用いるステレオ計測等の多眼視により行うことを特
徴とする請求項１記載の領域抽出装置。
【請求項３】前記変換部の射影面の設定を、この射影面
に対する前記ＴＶカメラの姿勢データを求めることで行
うことを特徴とする請求項１記載の領域抽出装置。
【請求項４】前記変換部の射影面の設定を、レーザレン
ジファインダ、光パターン投光、超音波の少なくとも１
つの投射型距離センサを用いて行うことを特徴とする請
求項１記載の領域抽出装置。
【請求項５】前記領域メモリは、前記画像の各画素を射
影面上に射影した際の射影位置に対応するメモリアドレ
ス上に、射影される各画素の輝度、色、周辺のエッジ密
度、周辺のテクスチャーの少なくとも１つの画像情報を
射影データとして蓄積することを特徴とする請求項１記
載の領域抽出装置。
【請求項６】前記領域メモリ上に割り当てられる射影位
置に対応するアドレスの分解能を射影位置によって変え
ることを特徴とする請求項１記載の領域抽出装置。
【請求項７】前記領域抽出部が、前記領域メモリに蓄積された射影データの中の複数の画
像の輝度、色、周辺のエッジ密度、周辺のテクスチャー
の少なくとも１つの画像情報が類似している領域を領域
メモリ上で前記測定面領域として抽出することを特徴と
する請求項１記載の領域抽出装置。
【請求項８】前記領域抽出部が、前記領域メモリに蓄積された射影データの中の複数の画
像の輝度、色、周辺のエッジ密度、周辺のテクスチャー
の少なくとも１つの画像情報が類似しており、一定の幅
の帯状の領域を前記測定面領域として抽出することを特
徴とする請求項１記載の領域抽出装置。