JP3344627B2 - ステレオ式車外監視装置 - Google Patents
ステレオ式車外監視装置Info
- Publication number
- JP3344627B2 JP3344627B2 JP24281299A JP24281299A JP3344627B2 JP 3344627 B2 JP3344627 B2 JP 3344627B2 JP 24281299 A JP24281299 A JP 24281299A JP 24281299 A JP24281299 A JP 24281299A JP 3344627 B2 JP3344627 B2 JP 3344627B2
- Authority
- JP
- Japan
- Prior art keywords
- distance data
- filter
- pixel block
- luminance
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012806 monitoring device Methods 0.000 title claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000013459 approach Methods 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 5
- 101100371648 Caenorhabditis elegans usp-14 gene Proteins 0.000 description 14
- 101150090882 tgt-1 gene Proteins 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 101100079124 Arabidopsis thaliana NAC079 gene Proteins 0.000 description 9
- 102100023374 Forkhead box protein M1 Human genes 0.000 description 8
- 101000907578 Homo sapiens Forkhead box protein M1 Proteins 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
ら算出された距離データに基づいて車外の状況を認識す
るステレオ式車外監視装置に関する。
た一対の車載カメラ(ステレオカメラ)を用いたステレ
オ式車外監視装置が注目されている。この監視装置にお
いて、一方の画像中の画素ブロックと相関を有する画素
ブロックが他方の画像中において特定され(ステレオマ
ッチング)、両者の相対的なずれ量である視差が算出さ
れる。この算出された画素ブロック毎の視差から、三角
測量の原理を用いて距離データが算出されると共に、画
像認識技術を用いて撮像画像中の対象物(例えば先行車
等)が認識される。そして、この認識結果に応じて、ド
ライバーへの注意の喚起やシフトダウン等の車輌制御が
行われる。
ブロック単位で算出された視差の信頼性を向上させるた
めに、ステレオマッチングが取れた画素ブロックに関す
るエッジ状態を検証することが重要である。この検証方
法の一つとして、横方向(水平方向)における画素ブロ
ックの輝度変化量を評価する手法がある。例えば、マッ
チングが取れたある画素ブロックに関して、水平方向に
隣接した画素対の輝度変化量と所定の輝度判定しきい値
とを比較し、このしきい値以上の変化量を有する画素対
の数をカウントする。そして、所定数以上のカウント数
を有する画素ブロックに関する視差を距離データとして
出力すると共に、それ以下の画素ブロックに関する視差
は信頼性が低いものとして除外する。車外監視は、この
ようにして出力された距離データに基づいて行われるた
め、距離データがある程度の数以上出力されないと、必
要な情報量が不足するため適切な監視を行うことが困難
となる。
おいては、固定された輝度判定しきい値が初期調整の段
階で設定され、実際の監視環境に拘わらず、それが一律
に適用されていた。そのため、監視環境によっては必ず
しも適切ではない値となることがあった。その結果、監
視環境によって車外監視に必要な数だけの距離データが
出力されなかったり、逆に、出力数が過剰となりノイズ
的な距離データが増大してしまうという問題があった。
て輝度判定しきい値を自動的に調整し、監視環境に拘わ
らず適切な数の距離データを安定して出力することによ
り、車外監視の信頼性を一層向上させることである。
めに、本発明は、車外の景色を撮像した一対の画像に基
づいて、複数の画素を有する画素ブロック毎に距離デー
タを算出することによって、車外の状況を監視するステ
レオ式車外監視装置において、一方の画像中の画素ブロ
ック毎に、当該画素ブロックの輝度特性と相関を有する
画素ブロックを他方の画像中から特定することにより、
当該画素ブロックの視差を算出する算出手段と、算出手
段において視差が算出された画素ブロックに関して、当
該画素ブロック中の隣接画素間における輝度の変化量と
輝度判定しきい値とを比較することにより、輝度の変化
量が大きな画素ブロックを特定すると共に、当該特定さ
れた画素ブロックに関する視差を距離データとして算出
する特定手段と、特定手段において算出された距離デー
タの数に応じて、輝度判定しきい値を調整する調整手段
とを有するステレオ式車外監視装置を提供する。
段において算出された距離データの数が、特定手段にお
いて算出されるべき距離データの数を規定した目標値に
近づくように、輝度判定しきい値を調整することが好ま
しい。
ータの信頼性を判断するフィルタ手段をさらに設けるこ
とが望ましい。この場合、このフィルタ手段は、信頼性
が低いと判断された距離データを除去すると共に、信頼
性が高いと判断された距離データを車外の状況を監視す
るために用いる有効距離データとして出力する。そし
て、調整手段は、フィルタ手段により除去された距離デ
ータの数に応じて、輝度判定しきい値を調整する。
去された距離データの数が、フィルタ手段により除去さ
れるべき距離データの数を規定した目標値に近づくよう
に、輝度判定しきい値を調整するようにしてもよい。
定されるべき距離データの数を規定した目標値とフィル
タ手段により除去されるべき距離データの数を規定した
目標値とをパラメータとして含み、かつ、特定手段にお
いて算出された距離データの数とフィルタ手段により除
去された距離データの数とを変数として含む評価式に基
づいて、輝度判定しきい値の適性度を算出し、当該算出
された適正度に基づいて、輝度判定しきい値を調整する
ことが好ましい。
ルタを含んでいてもよい。このグループフィルタは、近
接した値の距離データを有する隣接画素ブロックをグル
ープ化して、当該グループ化された画素ブロックの面積
を算出し、かつ、当該算出された面積の大きさに応じ
て、距離データの出力または除去を行うフィルタであ
る。
ィルタを含んでいてもよい。このペアリングフィルタ
は、一方の画像中の複数の画素ブロックが、他方の画像
中の同一の画素ブロックと相関が取れている場合に、当
該画素ブロックのいずれかに係る距離データを出力する
と共に、残りの画素ブロックに係る距離データを除去す
るフィルタである。
て隣接した画素間の輝度の変化量に基づいて、距離デー
タを特定することが好ましい。
以上の輝度の変化量を有する隣接画素対の数が所定数以
上有する画素ブロックに関する視差を距離データとして
特定するようにしてもよい。
装置のブロック図である。また、図2は、本実施例に係
るデータ処理手法を説明するための図である。自車輌の
前方の景色を撮像するステレオカメラは、CCD等のイ
メージセンサを内蔵した一対のカメラ1,2で構成され
ている。これらのカメラ1,2は、自動車等の車輌の車
幅方向において所定の間隔で、ルームミラーの近傍に取
り付けられている。メインカメラ1は、車輌の進行方向
に向かって右側に取り付けられており、基準画像を出力
する。一方、サブカメラ2は、進行方向に向かって左側
に取り付けられており、比較画像を出力する。カメラ対
1,2の同期が取れている状態において、それぞれのカ
メラ1,2から出力されたアナログ画像は、A/Dコン
バータ3により、所定の輝度階調(例えば、256階調
のグレースケール)のデジタル画像に変換される。デジ
タル化されたこれらの画像(ステレオ画像)は、補正回
路4において、輝度の補正および画像の幾何学的な変換
等が行われる。通常、ステレオカメラ1,2の取付位置
は、程度の差こそあれ誤差があるため、それに起因した
ずれが左右の画像に存在している。そこで、アフィン変
換等を用いて、画像の回転や平行移動等の幾何学的な変
換を行う。これにより、後述するステレオマッチングに
おける前提である、基準画像の水平線と比較画像の水平
線との一致が保証される。以上のような画像処理を経
て、メインカメラ1の出力信号から、水平方向が512
画素、垂直方向が200画素の基準画像データが生成さ
れる。また、サブカメラ2の出力信号から、基準画像と
垂直方向長が同じで、基準画像よりも大きな水平方向長
の比較画像データが生成される(一例として、水平方向
が640画素、垂直方向が200画素)。基準画像デー
タおよび比較画像データは、画像データメモリ7に格納
される。
判定回路6において、基準画像データと比較画像データ
とに基づいて距離データが算出される。この距離データ
は、4×4画素で構成された画素ブロック単位で算出さ
れる。まず、ステレオマッチング回路5は、基準画像デ
ータ中の一の画素ブロック(例えば図2に示した画素ブ
ロックPB1)を調査対象とした場合、この対象画素ブ
ロックの輝度特性と相関を有する画素ブロックを比較画
像データを探索して特定する。周知のとおり、ステレオ
画像に映し出された対象物間での距離は、ステレオ画像
中における視差、すなわち、基準画像および比較画像の
位置に関する水平方向のずれ量として現れる。したがっ
て、対象画素ブロックPB1と相関を有する画素ブロッ
クを特定しようとする場合(ステレオマッチング)、対
象画素ブロックPB1のj座標値と同じ値の水平線(エ
ピポーラライン)上の比較画像を探索すればよい。ステ
レオマッチング回路5は、このエピポーラライン上を1
画素ずつシフトしていくことで、エピポーラライン上の
所定の画素範囲内におけるすべての比較画素ブロックの
相関を評価する。
ライン上に存在する画素ブロック毎にシティブロック距
離を算出する。シティブロック距離を算出することによ
り、演算量の増大を招くことなく、画素ブロック間の相
関を精度よく検出することができる。図3は、シティブ
ロック距離の算出手法を説明するための図である。同図
中に示したan,bnは、画素ブロックを構成する画素の
輝度値を示している。基準画素ブロックPB1とエピポ
ーラライン上の一の画素ブロックPBXとのシティブロ
ック距離CBは、下式に従って算出することができる。
クの輝度特性が類似しているほど(すなわち相関が大き
いほど)、シティブロック距離CBが小さくなり、両者
がまったく同じであればこの値CBは0になる。このよ
うにして、エピポーラライン上の複数の画素ブロックに
関するシティブロック距離CBを求め、基本的には、そ
の値が最小となる画素ブロックPB3を、基準画素ブロ
ックPB1と相関を有する画素ブロックであると判断す
る。そして、基準画素ブロックPB1と、特定された画
素ブロックPB3との視差を求める(図3の例では視差
は8画素)。以上の手法によって、基準画像データにお
けるすべての画素ブロックに関する視差を算出してい
く。なお、シティブロック距離を算出するためのハード
構成を含めたステレオマッチングの詳細については特開
平5−114009号公報に開示されているので、必要
ならば参照されたい。
て、画素ブロックの水平方向の輝度エッジ(輝度変化
量)を評価することにより、ステレオマッチング回路5
において算出された視差にフィルタリング処理を施す。
図4は、画素ブロックに関する水平方向の輝度エッジの
評価手法を説明するための図である。距離データの算出
単位である画素ブロックにおいて、水平方向において隣
接した画素対の輝度変化量(絶対値)ΔPn(1≦n≦
16)を算出する。ただし、一番左側の画素列(P1 1,
P12,P13,P14)に関しては、左側に隣接した画素ブ
ロックの一番右側の画素列から輝度変化量ΔPを算出す
る。つぎに、これらの16個の輝度変化量ΔPnのう
ち、輝度判定しきい値DCDXth以上のものの数をカウ
ントする。この輝度判定しきい値DCDXthは、フィー
ドバック制御により、調整部17において適切に設定さ
れる。そして、このDCDXしきい値以上の輝度変化量
ΔPの数が4つ未満の画素ブロックに関する視差は除外
し、それ以上の画素ブロックに関する視差のみを距離デ
ータとして出力する。水平方向の輝度変化量が少なく、
輝度の特徴があまりないような画素ブロックは、ステレ
オマッチング回路5においてマッチングが取れたとして
も、その視差の信頼性は低い場合が多い。そこで、判定
回路6において、このような画素ブロックに関して算出
された視差を除去することにより、距離データの信頼性
を高めている。このような処理を経て判定回路6から出
力された距離データが、距離データメモリ8に格納され
る。なお、判定回路6は、この距離データの出力数Nを
カウントしており、その数をマイクロコンピュータ9に
通知する。
クである認識部10は、道路形状(直線やカーブ曲率)
や車輌前方の立体物(走行車)等を認識する。この認識
は、画像データメモリ7中に記憶された画像データと、
距離データメモリ8に格納された距離データのうちフィ
ルタ処理部13を経たデータとに基づいて行われる。ま
た、図示していない車速センサや舵角センサからのセン
サ情報、或いはナビゲーション情報等も参照される。そ
して、これらの認識結果に基づいて、警報が必要と判定
された場合、モニタやスピーカー等の警報装置11を作
動させてドライバーに注意を促す。また、必要に応じて
制御装置12を制御することにより、AT(自動変速
機)のシフトダウンやエンジン出力の抑制、或いはブレ
ーキの作動といった車輌制御が実行される。
グ回路5においてステレオマッチングが取れた画素ブロ
ックについて、それに係る距離データの信頼性を所定の
条件に基づいて検証し、この条件に合致する距離データ
だけを出力する。これにより、ノイズ的な距離データを
効率よく除去できるため、後段の認識部10における認
識精度を向上させることができる。本実施例におけるフ
ィルタ処理部13は、ペアリングフィルタ14およびグ
ループフィルタ15で構成されている。
チング回路5において相関が取れているとされた画素ブ
ロック間の位置関係の矛盾を検出し、それに係る距離デ
ータを除外する。具体的には、基準画像データ中の複数
の画素ブロックが、比較画像中の同一の画素ブロックと
相関が取れている場合に、当該画素ブロックのいずれか
に係る距離データを出力すると共に、残りの画素ブロッ
クに係る距離データを除去する。ステレオ法の原理か
ら、比較画像データにおける一の画素ブロックは、基準
画像データにおける一の画素ブロックと相関(マッチン
グ)が取られる。しかしながら、道路のパイロン列、複
数の照明灯または複数の電柱といった複数の類似物が映
し出されている状況では、図2で示したように、複数の
画素ブロックPB1,PB2が、同一の画素ブロックP
B3とマッチしてしまうことがある。これにより、ステ
レオマッチング回路5において誤った視差が算出されて
しまう。
複数の画素ブロックPB1,PB2と重複している場
合、いずれか1つの距離データだけを有効とする。統計
的な見地から、距離データ(視差)が大きいものは偽情
報である確率が高い。そこで、距離データの値の最も小
さいもの(画素ブロックPB2の視差3)を有効距離デ
ータとして出力すると共に、それ以外のもの(画素ブロ
ックPB1の視差8)は無効距離データであるとして除
去する。ただし、どちらの距離データも一定値以下の場
合は、それらはいずれも有効距離データであるとして出
力する。ペアリングフィルタ14によって除去された距
離データの数が多いということは、ミスマッチングが多
いということを示している。なお、ペアリングフィルタ
における具体的な処理手順については、特開平7−15
2914号公報に開示されているので、必要ならば参照
されたい。
手順により、距離データメモリ8に格納されたあるステ
レオ画像に関する多数の距離データから、有効距離デー
タのみをグループフィルタ15に対して出力する。それ
とともに、その画像に関して無効にされた距離データの
数をカウントして、そのトータル数を無効距離データ数
Pnとして演算部16に通知する。
離データは、グループフィルタ15においてさらにフィ
ルタリングされる。グループフィルタ14は、近接した
値の距離データを有する隣接画素ブロックをグループ化
すると共に、グループ化された画素ブロックの面積を算
出し、その面積の大きさに応じて、距離データの出力ま
たは除去を行うフィルタである。ノイズ等の影響による
ミスマッチにより生じた距離データは、周囲の距離デー
タと大きく異なり、かつ、その距離データと同様の値を
有するグループの面積が比較的小さくなるという特性が
ある。そこで、グループフィルタ15は、距離データ領
域において同様の値を有する距離データ群の面積を検出
し、面積が小さな距離データを除外する。上述したよう
に、距離データは4×4画素の画素ブロック単位で算出
されるため、距離データ領域は、128×50(単位は
画素ブロック)となる。図5は、このような距離データ
領域の一部における距離データの出力状態を示した図で
ある。グループフィルタ15におけるフィルタ処理とし
て、まず、上下及び左右方向において隣接した距離デー
タに関して、その変化量が所定のしきい値以内のものを
グループ化ししていく(例えば図5で示したグループ
A,B)。なお、このしきい値は距離データの大きさに
より変えている。つぎに、グループの面積の大きさを検
出し、所定の大きさ(例えば2画素ブロック)よりも大
きな面積を有するグループを有効グループとする。グル
ープフィルタ15は、この有効グループに属する距離デ
ータを有効距離データとして出力する。一方、所定の大
きさ以下の面積を有するグループに属する距離データ
(孤立距離データ)は信頼性が低いものと判断して除去
する。図5の例では、2つの距離データ(その値が5,
30)が無効距離データとして除去される。なお、グル
ープフィルタにおける具体的な処理手順については、特
開平10−285582号公報に開示されているので、
必要ならば参照されたい。
順により、ペアリングフィルタ14から出力された多数
の距離データのうち有効距離データのみを、認識部10
に対して出力する。それとともに、このフィルタ15に
おいて無効にされた距離データの数をカウントして、そ
のトータル数を無効距離データ数Gnとして演算部16
に通知する。
れた距離データ出力数Nと、ペアリングフィルタ14に
おいて算出された無効距離データ数Pnと、グループフ
ィルタ15において算出された無効距離データ数Gnと
に基づいて、輝度判定しきい値DCDXthの適性度Eを
評価する。本実施例において、適性度Eは下記のような
評価式によって算出される。
/Ng/TGT3 - 1)) Yn=N−Pn−Gn Ng=N−Pn
あり、グループフィルタ15から出力された距離データ
数、換言すると最終的に認識部10で用いられる距離デ
ータの数である。また、Ngはペアリングフィルタ14
からの出力数である。さらに、TGT1,TGT2,TGT3は目標
値である。すなわち、第1の目標値TGT1は、判定回路6
から出力されるべき距離データ数の目標を規定した値で
あり、第2の目標値TGT2は、グループフィルタ15から
出力されるべき距離データ数の目標を規定した値であ
る。また、第3の目標値TGT3は、グループフィルタ15
において除去されるべき距離データの割合を示した値で
ある。各目標値TGT1,TGT2,TGT3の値は、実験やシミュ
レーション等を通じた距離データの出力特性から適切に
設定する必要がある。なお、撮像環境の明るさに応じて
(昼と夜とで)、これらの目標値を変更している。一例
として、昼間においては、第1の目標値TGT1を3000、第
2の目標値TGT2を1600、そして第3の目標値TGT3を33%
に設定している。また、夜間においては、第1の目標値
TGT1を2000、第2の目標値TGT2を1000、そして第3の目
標値TGT3を33%に設定している。各距離データ数N,P
n,Gnが目標値TGT1,TGT2,TGT3相当であれば適性度
は0、すなわち最も適正な出力状態であると判断され
る。なお、車外認識は有効距離データに基づいて行われ
るので、有効距離データの出力数Ynが最も重要な値で
ある。したがって、有効距離データ出力数Ynに関する
項については重み係数2を乗じている。
れた適性度Eに基づいて、輝度判定しきい値DCDXth
を3〜6の範囲内で調整する。理論的に、適性度Eが0
でない場合(すなわち距離データの出力数が目標値相当
でない場合)、輝度判定しきい値DCDXthを変更すれ
ばよい。しかしながら、制御の安定性を考慮して、適性
度Eが-0.3から0.3の範囲ならば輝度判定しきい値DC
DXthを変更しない。一方、適性度Eが0.3以上の場
合、輝度判定しきい値DCDXthは、現在の値に一定値
aを加算することにより、現在よりも大きな値に更新す
る。ただし、輝度判定しきい値DCDXthは6を上限と
する。また、適性度Eが-0.3以下の場合、輝度判定しき
い値DCDXthは、現在の値に一定値aを減算すること
により、現在よりも小さな値に更新する。ただし、輝度
判定しきい値DCDXthは3を下限とするこのようにし
て、調整部17において調整された輝度判定しきい値D
CDXthが判定回路6にフィードバックされる。
距離データの出力数およびその除去数は、それに相当す
る目標値になるように近づいていく。例えば、距離デー
タ出力数Nだけに着目した場合(他の評価項の値が不変
であると仮定した場合)、第1の目標値TGT1相当の距離
データ出力数Nであるならば(すなわち、距離データ出
力の適正率N/TGT1が1)、数式2によって算出される
適性度Eは0となる。したがって、距離データ出力数N
は適切であると判断され、輝度判定しきい値DCDXth
は変更されない。これに対して、距離データ出力数Nが
この目標値TGT1よりも大きい場合、上記の適正率N/TG
T1は1よりも大きくなるため、適性度Eは正となる。し
たがって、輝度判定しきい値DCDXthは現在よりも大
きな値に変更される(E>0.3の場合)。その結果、判
定部6における画素ブロックに関する輝度変化量の評価
基準が厳しくなるため、距離データ出力数Nは減少する
(第1の目標値TGT1に近づく)。一方、距離データ出力
数Nがこの目標値TGT1よりも小さい場合、適性度Eは負
となり、輝度判定しきい値DCDXthは現在よりも小さ
な値に変更される(E<-0.3の場合)。その結果、判定
部6における画素ブロックに関する輝度変化量の評価基
準が緩和されるため、距離データ出力数Nは増加する
(第1の目標値TGT1に近づく)。
(およびその適正率Yn/TGT2)についても該当し、フ
ィードバック制御を通じて、有効距離データ出力数Yn
は目標値TGT2に近づいていく。なお、車外監視を行う認
識部10に入力される情報は有効距離データであるか
ら、この距離データの数Ynは、他の距離データ数N,
Pn,Gnよりも重要である。このような観点から、上
述したように、数式2における有効距離データ数Ynに
関する評価項については重み係数2を乗算している。
ルタ15における距離データの除去率の目標値を規定し
たものである。数式2の一番右側の評価項だけに着目し
た場合、グループフィルタ15の除去率(Ng/Gn)
が第3の目標値TGT3相当であるならば、適性度Eは0と
なる。したがって、この場合は適切な除去率であると判
断され、輝度判定しきい値DCDXthは変更されない。
い値DCDXthのフィードバック制御では、距離データ
に関する出力数や除去数を、評価式に代入することによ
って、輝度判定しきい値DCDXthの適性度Eを評価し
ている。そして、これらの適性度が-0.3から0.3の範囲
に収束するように、輝度判定しきい値DCDXthを増加
または減少する。これにより、車外監視を行う上で比較
的信頼性の高い有効距離データを、監視環境に依存する
ことなく安定的に得ることができる。そして、このよう
な有効距離データを目標値相当の数だけ得ることができ
る。その結果、車外監視の精度や安定性を一層向上させ
ることができる。この理由を以下の2つの状況を想定し
て説明する。
えば日中と夜間) 日中のように、画像に輝度エッジが明確に出現するよう
な監視環境では、比較的大きな輝度判定しきい値DCD
Xthを設定しても、車外監視必要な数だけの距離データ
を得ることができる。しかしながら、それを夜間に用い
ると、十分な数の距離データを得ることができず、適切
な車外監視を行うことが困難となる(情報量の不足)。
逆に、夜間を想定した比較的小さな輝度判定しきい値D
CDXthを日中に用いると、過剰な距離データが出力さ
れてしまう(情報量の過多)。本実施例では、有効距離
データの出力数の適性度Yn/TGT1に主眼をおいた(す
なわち重み係数2を乗算した)評価式に基づいて、DC
DXthの適性度Eを評価している。したがって、撮像環
境の明るさに依存することなく、適切な数の有効距離デ
ータを得ることができる。
離データ)の出力数の目標値を規定した目標値TGT1(ま
たはTGT2)のみで輝度判定しきい値DCDXthの適性度
を評価した場合、画素ブロックのミスマッチの増大によ
って、ノイズ的な距離データ(有効距離データ)だけが
増えてしまうおそれがある。そこで、フィルタ処理部1
3で除去されるべき距離データ数の目標値も考慮した評
価式に基づいて、輝度判定しきい値DCDXthの適性度
Eを評価している。この調整の基本となる各目標値は、
実験やシミュレーション等による距離データの出力特性
に基づいて、監視状況毎に適切に設定されている。した
がって、輝度エッジが生じにくい夜間においても、ミス
マッチによるノイズ的な距離データを除去しつつ、有効
距離データ数を増大させるような輝度判定しきい値DC
DXthを自動的に設定することができる。
況 監視環境の明るさが同様であっても、景色によっては距
離データが過剰に算出されることがある。例えば、走行
路の周辺に林や生垣が存在するような状況では、その輝
度エッジに起因した距離データが多数算出される傾向が
ある。このような状況で算出される適性度Eは、目標値
が規定する数より多くの距離データが出力(或いは除
去)されるため、大きくなる傾向にある。したがって、
フィードバック制御を通じて、輝度判定しきい値DXD
Xthが大きくなるように調整される。その結果、輝度エ
ッジの評価基準が厳しくなり、距離データの出力数等が
抑制される。その際、林や生垣に起因した輝度エッジの
変化量は、白線や先行車に係るそれよりも小さい場合が
多い。したがって、輝度判定に関する評価基準を厳しく
したとしても、白線や先行車に係る距離データ(車外監
視を行う上で重要な距離データ)は除外されにくいの
で、車外監視の信頼性を損なうことはない。
ては、監視環境に拘わらず、監視制御を行う上で必要な
数の距離データを、ノイズ的な距離データをあまり増大
させることなく得ることができる。そして、このような
処理を経て算出された距離データに基づいた車外監視を
行えば、監視環境の影響をあまり受けることなく、かつ
信頼性の高い監視制御を行うことが可能となる。
限定されるものではなく、例えば、以下のような方法に
ついても広く適用することができる。
おける水平方向の輝度変化量を輝度判定しきい値DCD
Xthと比較し、輝度の変化量が大きな画素ブロックに関
する視差を距離データとして特定している。これは、画
素ブロックの輝度変化パターンに特徴がなければ、それ
に関する視差の信頼性も低いという知得に基づくもので
ある。したがって、本発明は、輝度判定しきい値に基づ
き、画素ブロック中の輝度特性を評価するような手法に
広く適用することができる。これは、例えば、垂直方向
の輝度の変化量を評価する手法または垂直方向および水
平方向の双方における輝度の変化量を評価する手法を含
む。
理部は、ペアリングフィルタおよびグループフィルタで
構成されているがフィルタはいずれか一方であってもよ
い。また、ローパスフィルタやハイパスフィルタ等を用
いてもよい。例えば、監視すべき距離が比較的近傍のみ
である場合大きな距離データはノイズとなる。そこで、
大きな値を有する距離データを除去するローパスフィル
タを用いることがある。この場合、ローパスフィルタに
おける除去数をカウントして、これに基づき適性度を評
価してもよい。同様のことは、監視すべき距離が比較的
遠方のみである場合に用いられるハイパスフィルタにつ
いてもいえる。
の除去数(具体的には、除去数Pn,Gn)をカウント
しているが、各フィルタの出力数(具体的には、ペアリ
ングフィルタの出力数およびグループフィルタの出力
数)をカウントしてもよい。フィルタへの入力数が特定
されている場合、その除去数または出力数の一方が特定
されれば、他方は一意に特定されるからである。その意
味で、フィルタの除去数をカウントすることは、その出
力数をカウントすることと等価である。
に応じて輝度判定しきい値を自動的に調整し、監視環境
に拘わらず信頼性の高い距離データを適切な数だけ安定
して出力することができる。したがって、このような距
離データに基づいて車外監視を行うことにより、監視制
御の安定性と信頼性を一層向上させることができる。
図
の図
の評価手法を説明するための図
するための図
A/Dコンバータ、 4 補正回路、5 ステレ
オマッチング回路、 6 判定回路、7 画像データメ
モリ、 8 距離データメモリ、9 マイクロコ
ンピュータ、 10 認識部、11 警報装置、
12 制御装置、13 フィルタ処理部、
14 ペアリングフィルタ、15 グループフィル
タ、 16 演算部、17 調整部
Claims (9)
- 【請求項1】車外の景色を撮像した一対の画像に基づい
て、複数の画素を有する画素ブロック毎に距離データを
算出することによって、車外の状況を監視するステレオ
式車外監視装置において、 一方の画像中の画素ブロック毎に、当該画素ブロックの
輝度特性と相関を有する画素ブロックを他方の画像中か
ら特定することにより、当該画素ブロックの視差を算出
する算出手段と、 前記算出手段において視差が算出された画素ブロックに
関して、当該画素ブロック中の隣接画素間における輝度
の変化量と輝度判定しきい値とを比較することにより、
輝度の変化量が大きな画素ブロックを特定すると共に、
当該特定された画素ブロックに関する視差を距離データ
として算出する特定手段と、 前記特定手段において算出された距離データの数に応じ
て、前記輝度判定しきい値を調整する調整手段とを有す
ることを特徴とするステレオ式車外監視装置。 - 【請求項2】前記調整手段は、前記特定手段において算
出された距離データの数が、前記特定手段において算出
されるべき距離データの数を規定した目標値に近づくよ
うに、前記輝度判定しきい値を調整することを特徴とす
る請求項1に記載されたステレオ式車外監視装置。 - 【請求項3】前記特定手段において算出された距離デー
タの信頼性を判断するフィルタ手段をさらに有し、 前記フィルタ手段は、信頼性が低いと判断された距離デ
ータを除去すると共に、信頼性が高いと判断された距離
データを車外の状況を監視するために用いる有効距離デ
ータとして出力し、 前記調整手段は、前記フィルタ手段により除去された距
離データの数に応じて、前記輝度判定しきい値を調整す
ることを特徴とする請求項2に記載されたステレオ式車
外監視装置。 - 【請求項4】前記調整手段は、前記フィルタ手段により
除去された距離データの数が、前記フィルタ手段により
除去されるべき距離データの数を規定した目標値に近づ
くように、前記輝度判定しきい値を調整することを特徴
とする請求項3に記載されたステレオ式車外監視装置。 - 【請求項5】前記調整手段は、前記特定手段において特
定されるべき距離データの数を規定した目標値と前記フ
ィルタ手段により除去されるべき距離データの数を規定
した目標値とをパラメータとして含み、かつ、前記特定
手段において算出された距離データの数と前記フィルタ
手段により除去された距離データの数とを変数として含
む評価式に基づいて、前記輝度判定しきい値の適性度を
算出し、当該算出された適正度に基づいて、前記輝度判
定しきい値を調整することを特徴とする請求項4に記載
されたステレオ式車外監視装置。 - 【請求項6】前記フィルタ手段はグループフィルタを含
み、 前記グループフィルタは、近接した値の距離データを有
する隣接画素ブロックをグループ化して、当該グループ
化された画素ブロックの面積を算出し、かつ、当該算出
された面積の大きさに応じて、前記距離データの出力ま
たは除去を行うことを特徴とする請求項3,4または5
に記載されたステレオ式車外監視装置。 - 【請求項7】前記フィルタ手段はペアリングフィルタを
含み、 前記ペアリングフィルタは、一方の画像中の複数の画素
ブロックが、他方の画像中の同一の画素ブロックと相関
が取れている場合に、当該画素ブロックのいずれかに係
る距離データを出力すると共に、残りの画素ブロックに
係る距離データを除去することを特徴とする請求項3,
4,5または6に記載されたステレオ式車外監視装置。 - 【請求項8】前記特定手段は、画像の水平方向において
隣接した画素間の輝度の変化量に基づいて、距離データ
を特定することを特徴とする請求項1から5のいずれか
に記載されたステレオ式車外監視装置。 - 【請求項9】前記特定手段は、輝度判定しきい値以上の
輝度の変化量を有する隣接画素対の数が所定数以上有す
る画素ブロックに関する視差を距離データとして特定す
ることを特徴とする請求項8に記載されたステレオ式車
外監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24281299A JP3344627B2 (ja) | 1999-08-30 | 1999-08-30 | ステレオ式車外監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24281299A JP3344627B2 (ja) | 1999-08-30 | 1999-08-30 | ステレオ式車外監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001067484A JP2001067484A (ja) | 2001-03-16 |
JP3344627B2 true JP3344627B2 (ja) | 2002-11-11 |
Family
ID=17094665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24281299A Expired - Lifetime JP3344627B2 (ja) | 1999-08-30 | 1999-08-30 | ステレオ式車外監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3344627B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4644958B2 (ja) * | 2001-03-19 | 2011-03-09 | パナソニック電工株式会社 | 距離測定装置 |
JP2004038877A (ja) * | 2002-07-08 | 2004-02-05 | Yazaki Corp | 車両用周辺監視装置及び画像処理装置 |
JP4128131B2 (ja) | 2003-11-19 | 2008-07-30 | 富士通株式会社 | フォールスパス検出プログラム |
WO2006014974A2 (en) * | 2004-07-26 | 2006-02-09 | Automotive Systems Laboratory, Inc. | Vulnerable road user protection system |
JP4613139B2 (ja) * | 2006-03-16 | 2011-01-12 | 富士重工業株式会社 | エッジ検出システム |
JP4832227B2 (ja) * | 2006-09-07 | 2011-12-07 | 富士重工業株式会社 | 物体検出装置および物体検出方法 |
JP5057134B2 (ja) * | 2006-10-27 | 2012-10-24 | コニカミノルタホールディングス株式会社 | 距離画像生成装置、距離画像生成方法及びプログラム |
JP4937933B2 (ja) | 2008-01-18 | 2012-05-23 | 富士重工業株式会社 | 車外監視装置 |
JP4980970B2 (ja) * | 2008-03-26 | 2012-07-18 | 富士重工業株式会社 | 撮像手段の調整装置および物体検出装置 |
JP6354316B2 (ja) * | 2014-05-16 | 2018-07-11 | 株式会社デンソー | 画像検出装置及びプログラム |
-
1999
- 1999-08-30 JP JP24281299A patent/JP3344627B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2001067484A (ja) | 2001-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210110188A1 (en) | Stereo imaging device | |
JP3587506B2 (ja) | ステレオカメラの調整装置 | |
US9424462B2 (en) | Object detection device and object detection method | |
JP3280001B2 (ja) | ステレオ画像の位置ずれ調整装置 | |
US8244027B2 (en) | Vehicle environment recognition system | |
US6734787B2 (en) | Apparatus and method of recognizing vehicle travelling behind | |
JP3352655B2 (ja) | 車線認識装置 | |
JP4876080B2 (ja) | 環境認識装置 | |
US9704404B2 (en) | Lane detection apparatus and operating method for the same | |
JP3287465B2 (ja) | ステレオ画像処理装置 | |
US20090237491A1 (en) | Object Detecting System | |
JP3312729B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
JP2001091247A (ja) | 距離データの検査方法およびその検査装置 | |
JP3344627B2 (ja) | ステレオ式車外監視装置 | |
JP3301995B2 (ja) | ステレオ式車外監視装置 | |
JPH09113221A (ja) | 車載用画像処理装置及びその画像処理方法 | |
JP2009239485A (ja) | 車両用環境認識装置および先行車追従制御システム | |
KR100355993B1 (ko) | 차선 이탈 경보장치 및 방법 | |
JP2003256875A (ja) | ステレオ画像の位置ずれ調整装置、位置ずれ調整方法、およびステレオ式監視装置 | |
JP3235831B2 (ja) | ステレオ式車外監視装置 | |
JP3272696B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
JP6204844B2 (ja) | 車両のステレオカメラシステム | |
JP3272694B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
JP2018526922A (ja) | グレア検出方法及び装置 | |
JP4209647B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020814 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3344627 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080830 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080830 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090830 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090830 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100830 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110830 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110830 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120830 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120830 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130830 Year of fee payment: 11 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |