JPH09288737A - 車載用画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 簡単な構成でしきい値を適正な値に補正する
ことができる車載用画像処理装置を提供する。 【解決手段】 エッジ画像に検出領域を設定し該検出領
域内のエッジ画像としきい値とを比較して二値画像を得
る二値画像抽出手段と、二値画像を処理して対象物を抽
出する対象物抽出手段と、二値画像のうち一方の値に対
応する画像の量を計量する計量手段と、この計量手段で
計量した計量値に基づきしきい値を補正するしきい値補
正手段とを備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、車両に搭載され
たカメラなどの撮像手段により撮像した車両周辺の画像
を処理する車載用画像処理装置に関するものである。

【０００２】

【従来の技術】従来、ＣＣＤカメラ等により得た画像に
処理を施して道路上に描かれた白線等を抽出する車載用
画像処理装置が知られている。そして、白線等を抽出す
るために用いるしきい値の設定方法についても種々提案
されている。

【０００３】例えば、特開平５−３４７０００号公報に
開示された走行レーン検出装置は、しきい値算出領域内
の輝度最大値と輝度平均値とを組み合わせて、白線を抽
出するために用いるしきい値の算出を行っている。しか
しながら輝度最大値を用いてしきい値を設定すると、高
い輝度のノイズが入った場合、ノイズにより輝度最大値
が引き上げられ、その結果しきい値が高めに設定され白
線を抽出できなくなるという可能性があった。

【０００４】また、特開平６−３４１８２１号公報に開
示された走行レーン検出装置は、走査線位置におけるエ
ッジの輝度の最大値及び平均値を基にしきい値の設定を
行っている。このため、上記特開平５−３４７０００号
公報と同様の問題点を有している。更に、入力される画
像の輝度は一定ではなく、晴天時のように高めの輝度の
画像、或いは曇天時もしくはトンネル内のように低めの
輝度の画像などがある。この公報のものにおいては、高
めの輝度の画像の場合はしきい値が低めに設定されるた
めノイズが多くなり、低めの輝度の画像の場合はしきい
値が高めに設定されるため白線を抽出できなくなる可能
性がある。

【０００５】また、特開平５−１１５００５号公報に開
示されたしきい値決定方法は、濃淡画像から注目点の濃
度Ｇ０と、その８近傍の点のうちで注目点に対して対称
な２点を含まないように選んだ４点の濃度Ｇ１乃至Ｇ４
を抽出することにより、５種類のヒストグラムから最適
なしきい値を決定するものである。しかしながら、この
公報のものでは複雑な演算を要し回路規模が大きくなる
等の問題点がある。

【０００６】

【発明が解決しようとする課題】この発明は上述の課題
を解決するために為されたものであって、簡単な構成で
しきい値を適正な値に補正することができる車載用画像
処理装置を提供することを目的としている。

【０００７】また、この発明は、しきい値が大きく補正
されることがなく安定性の良い車載用画像処理装置を提
供することを目的としている。

【０００８】また、この発明は、ノイズによりしきい値
が誤って補正されることを抑制する車載用画像処理装置
を提供することを目的としている。

【０００９】また、この発明は、抽出する対象物が間欠
部を有するものであっても該対象物を抽出するためのし
きい値を適正な値に補正することができる車載用画像処
理装置を提供することを目的としている。

【００１０】また、この発明は、画像の一部の領域でし
きい値が不適正になっている場合であってもしきい値を
適正な値に補正することができる車載用画像処理装置を
提供することを目的としている。

【００１１】また、この発明は、画像中にしきい値が高
すぎる領域としきい値が低すぎる領域とが共存している
場合であってもしきい値を適正な値に補正することがで
きる車載用画像処理装置を提供することを目的としてい
る。

【００１２】

【課題を解決するための手段】この発明に係る車載用画
像処理装置は、車両に搭載され車両周辺の画像を撮像す
る撮像手段と、画像を処理してエッジ画像を得るエッジ
抽出手段と、エッジ画像に検出領域を設定し該検出領域
内のエッジ画像としきい値とを比較して二値画像を得る
二値画像抽出手段と、二値画像を処理して対象物を抽出
する対象物抽出手段と、二値画像のうち一方の値に対応
する画像の量を計量する計量手段と、この計量手段で計
量した計量値に基づきしきい値を補正するしきい値補正
手段とを備えたものである。

【００１３】また、この発明に係る車載用画像処理装置
は、しきい値補正手段は、予め定めた補正上限値と補正
下限値とを有し、１回の補正動作で補正する量を補正上
限値及び補正下限値で制限するものである。

【００１４】また、この発明に係る車載用画像処理装置
は、計量手段で計量した計量値が予め定めた最大計量値
以上であるときは最大計量値を計量手段の計量値とする
ものである。

【００１５】また、この発明に係る車載用画像処理装置
は、しきい値補正手段は、計量値をフィルタ処理すると
共に計量値が増大するときの時定数と計量値が減少する
ときの時定数とを異ならせたフィルタ手段を有するもの
である。

【００１６】また、この発明に係る車載用画像処理装置
は、複数の検出領域を有し、計量手段は二値画像のうち
一方の値に対応する画像の量を各々の検出領域において
計量すると共に、しきい値補正手段は計量手段で計量し
た複数の計量値のうち何れか１つでも予め定めた上限値
以上であるときあるいは複数の計量値のうち何れか１つ
でも予め定めた下限値以下のときはしきい値を補正する
ものである。

【００１７】また、この発明に係る車載用画像処理装置
は、複数の計量値のうち何れか１つでも予め定めた上限
値以上であると共に複数の計量値のうち何れか１つでも
予め定めた下限値以下のときは、しきい値を減少させる
ものである。

【００１８】

【発明の実施の形態】

実施の形態１．図１は実施の形態１の車載用画像処理装
置の構成を簡略化して示したブロック図である。図にお
いて、１は車両に搭載され車両周辺の画像を撮像する撮
像手段としてのＣＣＤカメラ、２はＣＣＤカメラ１から
の画像信号をアナログ／ディジタル変換するＡ／Ｄ変換
手段としてのＡ／Ｄ変換器、３はＡ／Ｄ変換器２によっ
てＡ／Ｄ変換された画像情報を記憶する画像メモリ、４
は画像メモリ３に格納された画像情報からエッジを抽出
してエッジ画像を得るエッジ抽出手段としてのエッジ抽
出回路、５はエッジ画像に検出領域を設定し検出領域内
のエッジ画像と後述するしきい値とを比較して０或いは
１で示される二値画像を得る二値画像抽出手段としての
二値化処理回路、６は二値画像からノイズ等を除去する
ために時間積分処理を行い抽出の対象物である白線を抽
出する対象物抽出手段としての対象物抽出回路、７は二
値画像に基づいて上述のしきい値を設定及び補正するし
きい値設定回路で、後述する計量手段、しきい値補正手
段及び計量手段で計量した計量値をフィルタ処理するフ
ィルタ手段を包含している。

【００１９】図２は実施の形態１の処理手順を示すフロ
ーチャート、図３は図２のフローチャートによる画像処
理の結果を表すグラフである。図３において（ａ）はＣ
ＣＤカメラ１で撮像した画像であって、３１は検出領域
としての走査線、３２は道路上に描かれた文字、３３は
左側白線、３４は右側白線である。ＣＣＤカメラ１で得
られた画像（ａ）は走査線３１上にある画素の輝度値が
検出される。（ｂ）はこの輝度値を示すグラフで、横軸
が画像の横位置に対応すると共に縦軸が画素の輝度値を
示している。この画像情報は画像メモリ３に格納され
る。図２のステップ２１では画像メモリ３に格納された
画像情報がエッジ抽出回路４に与えられ、エッジ抽出回
路４においてエッジ画像が作成される。エッジの抽出は
隣り合う画素の輝度値の差の絶対値で求められる。
（ｃ）は（ｂ）に示される画像情報からエッジを抽出し
たエッジ画像である。ステップ２２ではある値以上のエ
ッジのみを抽出するため、二値化処理回路５において
（ｃ）に示すエッジ画像としきい値３５とを比較して
（ｄ）に示す二値画像を得る。この二値画像は、画素の
輝度値がしきい値３５以上であった部分は１となってい
ると共に画素の輝度値がしきい値３５未満であった部分
は０となっている。

【００２０】ステップ２３は対象物としての白線を検出
する処理で対象物検出回路６は（ｄ）に示す二値画像を
時間積分処理してノイズを除去し白線を抽出する。即
ち、白線は例えば３４のように間欠部があったとして
も、基本的には道路上に略連続的に存在している。これ
に対し、道路上に描かれた文字３２は一時的に存在する
ものに過ぎず、連続的には存在しないものである。従っ
て、（ｄ）に示す二値画像に時間積分処理を施すことに
より、連続的に存在するもののみが残ることになる。
（ｅ）は二値画像に時間積分処理を施した結果を示すグ
ラフであって、左側白線３３に対応するピーク３６と右
側白線３４に対応するピーク３７とが突出して示されて
いる。また、道路上に描かれた文字３２はそのレベルが
低く抑えられている。この時間積分処理は次の（１）式
に基づいて行われる。

【００２１】

【数１】

【００２２】（１）式においてＡ（ｎ）はある時点にお
ける任意の画素の輝度値、Ｂ（ｎ）は同時刻の同画素の
時間積分値、Ｂ（ｎ−１）は１つ前のフレームの同画素
の時間積分値、τは所定の時定数である。（ｅ）におい
て時間積分処理後の値としきい値４０とが比較され、し
きい値４０以上であるピーク３６とピーク３７とが白線
として抽出される。

【００２３】続くステップ２４はしきい値設定処理で上
述の二値化処理において用いられるしきい値３５を補正
するものである。ステップ２４ではしきい値３５の値が
適正な値であるか否かが判定される。もし、しきい値３
５の値が適正な値であればここでは何も行わずステップ
２１に処理を戻す。逆に適正な値でない場合は、しきい
値設定回路７から二値化処理回路５に指示が与えられ、
しきい値３５の値が補正される。その後、処理はステッ
プ２１に戻される。

【００２４】図４は、図２のステップ２４のしきい値設
定処理を詳細に示すフローチャートである。ステップ２
４１では、左側検出領域としてのサーチ領域３８、即ち
走査線３１の図示左半分の位置にある二値画像をサーチ
して、画像が１となっている画素の数を計数する。ま
た、同様に、右側検出領域としてのサーチ領域３９、即
ち走査線３１の図示右半分の位置にある二値画像をサー
チして、画像が１となっている画素の数を計数する。ス
テップ２４１は二値画像のうち一方の値に対応する画像
の量を計量する計量手段を構成している。ステップ２４
２はクリップ手段であって、ステップ２４２の処理はノ
イズによりしきい値３５が望ましくない値に補正される
ことを防止するためのものである。即ち、ノイズ等の影
響によりステップ２４１の計数値が大きく誤差を含んで
いた場合は、最終的に得られる適正なしきい値３５の値
も誤差を大きく含むものとなる。これを防止するために
ステップ２４２では予め定めた最大計数値で左側の計数
値及び右側の計数値を制限している。ここでは、ステッ
プ２４１で計数した左側の計数値あるいは右側の計数値
が、予め定めた最大計量値としての最大計数値以上であ
るか否かを判定する。そして最大計数値未満の値である
場合はそのまま次の処理に進むと共に最大計数値以上の
場合は計数値を最大計数値に制限し次の処理に進む。ス
テップ２４３はしきい値補正手段に包含されるフィルタ
手段であって、ここでは左右それぞれの計数値にフィル
タ処理が施される。このフィルタ処理は時間積分処理で
あって上述した（１）式に基づいて行われる。但し、こ
の場合、Ａ（ｎ）はある時点での計数値、Ｂ（ｎ）は同
時刻の計数値の時間積分値、Ｂ（ｎ−１）は前回処理時
の計数値、τは所定の時定数となる。なお、このとき時
定数τは計数値が増加するときと計数値が減少するとき
とではその値が異なっている。即ち、計数値が減少した
場合は計数値が増加した場合に比し時定数τを大きくし
ており、これにより間欠白線などのように白線が途切れ
た場合であっても計数値の推量が得られるようになって
いる。これは間欠白線だけでなく、白線が汚れて見えに
くいとき、或いは白線に影が映っている場合などにも有
効である。

【００２５】ステップ２４４では、計数値と予め設定さ
れた不感帯下限値とが比較される。そして、右側計数値
或いは左側計数値のどちらか一方でも不感帯下限値より
も小さければ、しきい値３５を低くするよう補正が為さ
れる。計数値が不感帯下限値よりも小さいということ
は、二値画像において１となる画像の量が少ないという
ことを意味している。これはしきい値３５が高めに設定
されているということを意味しており、しきい値３５が
高すぎて白線を抽出できなくなる恐れが出てくる。これ
を防止するためにしきい値３５が下方補正される。ステ
ップ２４５はしきい値３５の候補を設定する処理で、右
側の計数値と左側の計数値のうち少ない方の計数値と、
不感帯下限値との差を演算し、前回までに設定されてい
るしきい値３５の値をこの差の分だけ引き下げて、今回
のしきい値３５の候補とする。

【００２６】ステップ２４６では、計数値と予め設定さ
れた不感帯上限値とが比較される。そして、右側計数値
或いは左側計数値のどちらか一方でも不感帯上限値より
も大きければ、しきい値３５を高くするよう補正が為さ
れる。計数値が不感帯上限値よりも大きいということ
は、二値画像において１となる画像の量が多いというこ
とを意味している。これはしきい値３５が低めに設定さ
れているということを意味しており、しきい値３５が低
すぎてノイズまでをも抽出してしまう恐れが出てくる。
これを防止するためにしきい値３５が上方補正される。
ステップ２４７はしきい値３５の候補を設定する処理
で、右側の計数値と左側の計数値のうち大きい方の計数
値と、不感帯上限値との差を演算し、前回までに設定さ
れているしきい値３５の値をこの差の分だけ引き上げ
て、今回のしきい値３５の候補とする。即ち、上述のス
テップ２４４及び２４６によれば、計数値が不感帯下限
値以上で且つ不感帯上限値以下のときにはしきい値が適
正であるとしてしきい値３５の補正が禁止されている。

【００２７】ステップ２４９は今回のしきい値３５の値
を設定する処理である。ステップ２４９は優先手段を有
しており、まず、その機能について説明する。実施の形
態１では左側の計数値と右側の計数値とを有している。
従って、画像の状態によっては、一方の計数値が不感帯
下限値よりも小さくなっており、且つ、他方の計数値が
不感帯上限値よりも大きくなっているということもあり
得る。このような場合ではステップ２４９は、ステップ
２４５で演算された今回のしきい値３５の候補を選択す
る。これは、ステップ２４５で演算されるしきい値３５
の候補は前回までに設定されたしきい値３５を引き下げ
るものであるから、該候補を優先して選択することによ
りノイズが増加したとしても、これとは逆にしきい値を
上方補正してその結果白線検出ができなくなるという事
態を招くよりも望ましいという理由によるものである。
即ち、例えば、走査線３１からなる単一の検出領域を有
すると共に検出領域の左側にガードレールが写り込んだ
状態を想定する。ガードレールは輝度が高いので、ステ
ップ２４１において計数される画素の数が大きくなる。
計数値が大きくなるとしきい値３５が低く設定されてい
ると判定され、しきい値３５は上方補正される。そし
て、その結果、しきい値が高くなりすぎて白線を抽出で
きなくなるような事態を招く恐れがある。これに対し、
実施の形態１では検出領域を複数の領域に分割し、かつ
優先手段を有している。そして、ある検出領域では計数
値が不感帯上限値よりも大きくなっていたとしても他の
検出領域における計数値が不感帯下限値よりも小さけれ
ば他の検出領域における計数値に基づいてしきい値３５
を補正するように構成されている。従って、上述のよう
な不都合は生じない。

【００２８】更にステップ２４９の処理では、しきい値
３５を上方補正する場合の制限値である補正上限値と、
しきい値３５の値を下方補正する場合の制限値である補
正下限値とが予め設定されている。まずステップ２４５
あるいはステップ２４７で演算された今回のしきい値３
５の候補と前回までに設定されているしきい値３５との
差を演算する。そしてその差が予め定められている補正
上限値或いは補正下限値を超えている場合には、今回の
しきい値３５の値を補正上限値或いは補正下限値の何れ
か一方の値に設定する。これはしきい値３５が急激に変
動しないようにするためのものである。従って、装置の
安定性が向上する。

【００２９】なお、上記実施の形態において検出領域を
複数に分割したのは、検出領域の一部においてノイズ過
剰となる或いは白線の抽出が困難となるという事態を防
止するためでもある。例えば、検出領域が単一である場
合において、検出領域の左側に高輝度の物体が写り込ん
だとする。このとき高輝度の物体による白線の誤抽出を
防止するために、しきい値３５を引き上げる必要があ
る。まず、ステップ２４１では二値画像が１となってい
る画素の数を計数する。しかしながらこの計数は検出領
域全体において計数されたものである。従って、検出領
域の左側に高輝度の物体が写り込んでいたとしても、検
出領域の他の部分（中間部乃至右側）の輝度が低けれ
ば、計数値は妥当な値と判定され、しきい値３５は補正
されない。即ち、検出領域の一部に不都合が生じていて
も、全体として見れば正常であると判定される恐れがあ
る。これに対し実施の形態１では検出領域を複数に分割
しており、また、いずれの検出領域の計数値が不感帯か
ら逸脱したとしても、しきい値３５を補正するようにし
ているので上述のような不都合は生じない。なお、一方
の検出領域の計数値が大きいことに応じてしきい値を引
き上げた結果、他方の検出領域において計数値が不感帯
下限値よりも小さくなってしまった場合は上述したよう
に優先手段が働く。

【００３０】なお、上述の実施の形態では二値画像の１
の画像の量を計量したが、二値画像の０の画像の量を計
量するようにしても良い。ここで、実施の形態１では二
値画像の１の画像の量を計量していたので計量値が多い
ほどしきい値３５が低いと判定されこれに対処するよう
処理していた。これに対し、二値画像の０の画像の量を
計量する場合は、計量値が大きくなるほどしきい値が高
いと判定されるのでこれに対処するよう実施の形態１の
処理を変更してやればよい。

【００３１】

【発明の効果】以上のように、この発明に係る車載用画
像処理装置によれば、二値画像のうち一方の値に対応す
る画像の量を計量し、この計量値に基づいて二値画像抽
出手段のしきい値を補正するようにしたので、簡単な構
成でしきい値を適正な値に補正することができる。

【００３２】また、この発明に係る車載用画像処理装置
によれば、１回の補正動作で補正する量を補正上限値及
び補正下限値で制限するようにしたので、しきい値が大
きく補正されることがなく安定性の良い車載用画像処理
装置を得ることができる。

【００３３】また、この発明に係る車載用画像処理装置
によれば、計量手段で計量した計量値が予め定めた最大
計量値以上であるときは最大計量値を計量手段の計量値
としたので、ノイズによりしきい値が誤って補正される
ことを抑制することができる。

【００３４】また、この発明に係る車載用画像処理装置
によれば、計量値が増大するときの時定数と計量値が減
少するときの時定数とを異ならせたフィルタ手段を有す
るので、抽出する対象物が間欠部を有するものであって
も該対象物を抽出するためのしきい値を適正な値に補正
することができる。

【００３５】また、この発明に係る車載用画像処理装置
によれば、複数の検出領域を有し、計量手段は二値画像
のうち一方の値に対応する画像の量を各々の検出領域に
おいて計量すると共に、しきい値補正手段は計量手段で
計量した複数の計量値のうち何れか１つでも予め定めた
上限値以上であるときあるいは複数の計量値のうち何れ
か１つでも予め定めた下限値以下のときはしきい値を補
正するようにしたので、画像の一部の領域でしきい値が
不適正になっている場合であってもしきい値を適正な値
に補正することができる。

【００３６】また、この発明に係る車載用画像処理装置
によれば、複数の計量値のうち何れか１つでも予め定め
た上限値以上であると共に複数の計量値のうち何れか１
つでも予め定めた下限値以下のときはしきい値を減少さ
せるようにしたので、画像中にしきい値が高すぎる領域
としきい値が低すぎる領域とが共存している場合であっ
てもしきい値を適正な値に補正することができる。

【図面の簡単な説明】

【図１】 実施の形態１の概略の構成を示すブロック図
である。

【図２】 実施の形態１の処理手順を示すフローチャー
トである。

【図３】 実施の形態１による画像処理の結果を表すグ
ラフである。

【図４】 しきい値設定処理の詳細を示すフローチャー
トである。

【符号の説明】

１ ＣＣＤカメラ、２ Ａ／Ｄ変換器、３ 画像メモ
リ、４ エッジ抽出回路、５ 二値化処理回路、６ 対
象物抽出回路、７ しきい値設定回路、３１ 走査線、
３２ 道路上に描かれた文字、３３ 左側白線、３４
右側白線、３５ しきい値、３６、３７ ピーク、３
８、３９ サーチ領域、４０ しきい値

Claims (6)

【特許請求の範囲】
1. 【請求項１】 車両に搭載され車両周辺の画像を撮像す
   る撮像手段と、前記画像を処理してエッジ画像を得るエ
   ッジ抽出手段と、前記エッジ画像に検出領域を設定し該
   検出領域内のエッジ画像としきい値とを比較して二値画
   像を得る二値画像抽出手段と、前記二値画像を処理して
   対象物を抽出する対象物抽出手段と、前記二値画像のう
   ち一方の値に対応する画像の量を計量する計量手段と、
   この計量手段で計量した計量値に基づき前記しきい値を
   補正するしきい値補正手段とを備えたことを特徴とする
   車載用画像処理装置。
2. 【請求項２】 しきい値補正手段は、予め定めた補正上
   限値と補正下限値とを有し、１回の補正動作で補正する
   量を前記補正上限値及び前記補正下限値で制限すること
   を特徴とする請求項１記載の車載用画像処理装置。
3. 【請求項３】 計量手段で計量した計量値が予め定めた
   最大計量値以上であるときは前記最大計量値を前記計量
   手段の計量値とすることを特徴とする請求項１記載の車
   載用画像処理装置。
4. 【請求項４】 しきい値補正手段は、計量値をフィルタ
   処理すると共に計量値が増大するときの時定数と前記計
   量値が減少するときの時定数とを異ならせたフィルタ手
   段を有することを特徴とする請求項１記載の車載用画像
   処理装置。
5. 【請求項５】 複数の検出領域を有し、計量手段は二値
   画像のうち一方の値に対応する画像の量を各々の検出領
   域において計量すると共に、しきい値補正手段は計量手
   段で計量した複数の計量値のうち何れか１つでも予め定
   めた上限値以上であるときあるいは前記複数の計量値の
   うち何れか１つでも予め定めた下限値以下のときは前記
   しきい値を補正することを特徴とする請求項１記載の車
   載用画像処理装置。
6. 【請求項６】 複数の計量値のうち何れか１つでも予め
   定めた上限値以上であると共に前記複数の計量値のうち
   何れか１つでも予め定めた下限値以下のときは、前記し
   きい値を減少させることを特徴とする請求項５記載の車
   載用画像処理装置。