JPH06203154A

JPH06203154A - 画像処理装置

Info

Publication number: JPH06203154A
Application number: JP4193165A
Authority: JP
Inventors: Chiaki Aoyama; 千秋青山; Koyo Sekine; 高陽関根
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1992-06-26
Filing date: 1992-06-26
Publication date: 1994-07-22
Anticipated expiration: 2015-09-04
Also published as: US5835614A; JP3083918B2

Abstract

(57)【要約】【目的】道路画像情報から白線を検出するために物体の
反射率を用い、反射率が一定なことを利用して白線を精
度良く検出することを目的とする。【構成】画像信号入力部２０からの信号に対し処理部分
領域手段２１により、基準線を設定し、処理幅を決め処
理幅の切り替えを行う。次いで、輝度演算部３０で各処
理領域毎の物体の輝度を演算し、一方では、贋のエッジ
信号を消すためのエッジを検出３２し、輝度に応じて入
力信号演算部３６、４４で入力信号に処理を施し、入力
信号演算部からの信号と基準値とで振幅をならす様に比
例演算部３８、４６で演算し、しきい値処理部４０、４
８で２値化する。そして、比較処理部５０で贋のエッジ
信号を消すために比較処理を施し画像情報から白線信号
を求める。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像信号から境界領域
を検出する画像処理装置に関し、例えば、自動車を自動
走行させるに当たり、道路から得られる画像情報、例え
ば、白線情報を取り出すための画像処理装置に関する。

【０００２】

【従来技術】従来、画像情報を二値化するための技術と
しては、例えば、特開平2ー236689号公報、特公昭63ー535
84号公報、特開昭61ー25279号公報、特開昭64ー1067 号公
報等に見られるような技術が知られていた。

【０００３】こうした先行技術の中に、任意の画素の値
とその周辺の画素の値の平均値との差に対して、しきい
値処理を施して二値化するものが存在する。（下式１参
照）

【０００４】

【発明が解決しようとする問題点】しかし、上記の様な
処理を同じ画素信号に対して施しても、画素に対する輝
度が高い場合（明るいとき）と低い場合（暗いとき）で
は、その結果が同じにならないことがある。

【０００５】例えば、明るい時（下式２参照）任意の点
の輝度と平均輝度との差は３０あって、しきい値を上回
るが、暗い時（下式３参照）ではその差が１０でしきい
値を下回ってしまうことになる。任意の点の輝度−平均輝度−しきい値（１）明るい時６０ − ３０ − １５（２）暗い時２０ − １０ − １５（３）

【０００６】

【課題を解決するための手段】ところで、物体に光を照
射したとき、光源の強さによって物体の輝度は変化する
が、反射率は通常ほぼ一定である。それ故、これを用い
て画像信号を二値化できれば、光源の強さに影響されな
いでそれを二値化出来ることになる。反射率＝物体の輝
度／そこに当たる光の強さや量そこで本発明は、物体の
反射率に注目し、入力した画像信号を反射率に対応した
値に変換することを特徴とする。

【０００７】つまり、画像信号に対し、Hough 変換等各
種の画像処理を施す前に、入力信号を画素毎に反射率に
対応した信号に変換する。

【０００８】反射率に対応した信号への変換は、先ず、
変換しようとする画素を選定し、次にその画素の近傍の
領域の画素を選定し、その画素信号の平均値を演算す
る。そして、その画素の輝度とその近傍の領域の画素の
輝度の平均値の比を取ることにより行われる。

【０００９】ここで、その反射率に対応する信号を求め
る演算式（４）に上記の明るい時と暗い時の画素信号の
値を入力してみると、変換された信号の値が共に２とな
って、光源の強さに影響されないことがわかる。反射率に対応した信号の値＝任意の点の輝度／平均輝度（４）明るい時の反射率に対応した信号の値＝６０／３０（５）暗い時の反射率に対応した信号の値＝２０／１０（６）このように本発明は、画像の入力信号を光源の強さの変
化等による物体に当たる光の強さに影響されない反射率
に対応した信号に変換することを特徴とする。

【００１０】従って、説明に用いられたような、任意の
輝度とは選ばれた１つの画素の輝度でも良いし、複数の
画素の輝度の演算値等いろいろなものが考えられる。

【００１１】また、平均輝度も複数の画素の輝度のモー
ド値、メディアン値、平均値の他種々のものが考えられ
るし、画素１点への光の当たる強度や量を直接検出して
もよい。

【００１２】また、選ばれた１つの画素の近傍の領域の
画素でなくても、そこに当たる光量が推定できれば他の
画素でも良い。更に、自動車等自分でライト調節した被
写体を入力する場合は、ライトの調整手段より推定する
こともできる。

【００１３】また、式（４）のような演算式の他、次の
式（７）の様に各種のものが考えられる。Ｋ＝（任意の輝度＋ｌ）／（平均輝度＋ｍ）（７）また、輝度に限らず、明度、色彩値等でもよい。

【００１４】つまり、そこに当たる光の強さに影響を受
けない信号の値、または、影響を減らす信号の値を反射
率に対応した信号の値と定義する。

【００１５】

【作用】上記のように、画像信号を物体の反射率に対応
した値に変換することにより、画像の輝度差が大きくて
も画像の変化点を（道路の明暗（日向、日陰）にかかわ
らず白線を）精度よく検出できる。

【００１６】

【実施例】本発明に係る画像処理装置について、以下図
面を参照して説明する。

【００１７】図１は、本発明に係る画像処理装置の構成
の一例を示すブロック図である。図１において、撮像装
置１０により撮影した被写体の画像信号を得、この信号
を画像処理装置１２により処理して、道路の白線検出を
行い、処理画像出力装置１４により出力する。本発明で
は、適応利得制御により入力画像の輝度の暗い部分でも
コントラストが保てるように画像を変換する。図１の画
像処理装置１２の処理機能構成を図２にブロックで示
し、且つ、処理の途中の波形を図４に示す。

【００１８】本発明を解り易く説明するために図２を簡
略化した図３および図４により、本発明の大きな流れを
説明する。

【００１９】まず、カメラ等で入力した信号を画像信号
入力部２０より入力する。次いで、処理領域設定手段２
１によって画像をいくつかの領域に区分けする。

【００２０】そして、その区分けされた１つの領域を仮
にＡとする。そして、その領域Ａで図１９に示すような
マスクを用いて縦方向のエッジ信号（ｂ）を検出する。

【００２１】また、領域Ａの画素の輝度の平均値ｃを検
出する。

【００２２】そして、１つの画素の縦エッジ信号ｂと輝
度の平均値ｃの比率演算を行い信号ｄを得る。

【００２３】こうして、特に信号ｄをしきい値処理部
４０に於て二値化をする。

【００２４】これに並行して、領域Ａについて反射率演
算部４６によって、１つの画素の輝度ａと領域Ａの平
均輝度ｃの比率演算を行い信号ｆを得、こうして特に信
号ｆをしきい値処理部４８において二値化して信号ｇ
を得る。

【００２５】このように、図３で並行して処理された左
側のフローの信号ｅと右側のフローの信号ｇを比較処理
する。これによって贋エッジを除去し、本当のエッジ信
号ｈを得る。

【００２６】次に処理領域設定手段２１について詳しく
説明する。反射率を演算するときに平均輝度をとる領域
が広すぎたり、狭すぎたりするとうまく対象物を検出で
きない。

【００２７】ここで、参考のために処理領域の幅を走査
ラインの上から下まで一定にした場合（図３において、
処理領域設定手段２１の処理幅を一定にした場合）の処
理の例を挙げると、その結果の画像が図７、図８に示す
画像である。図７ではその処理を全て小さな幅で行って
いるために遠方の白線は出ているが、近くの白線が２本
になっている。図８では大きな幅で処理しているために
近くの白線は出ているが遠くの白線は細くなるので周囲
の信号に埋もれて出てきていない。

【００２８】領域の平均輝度は路面がアスファルトであ
り、白線がそこに引かれているとすれば、平均輝度を求
めるときに、切り出す領域の大きさを、白線とアスファ
ルトの両方を含む大きさにすれば、白線を含む領域の平
均輝度は一定になる。しかし、切り出す領域の大きさを
アスファルトだけ、または、白線だけを含む大きさとす
れば、両方を含む領域の平均輝度とは相違する。そこ
で、アスファルトと白線の両方を含む大きさの領域で切
り出した信号を二値化する場合に、しきい値を平均輝度
より大きく取れば相対的に白線はアスファルト部分より
明るくなり、白線部分が白線を表す信号として取り出す
ことができ、アスファルト部分は二値化しても信号とし
て現れない。従って、白線を検出するには、領域の大き
さを白線の幅より大きく取ることが必要である。しか
し、領域を広く取りすぎると影などの影響により光源の
強さが場所によって異なっている様な場合に、平均輝度
がわからなくなるので無闇に大きくはできない。

【００２９】先ず、図６に示すように基準線１８を設定
する。ここで基準線１８を定める理由は、撮像した道路
画像において、画像のどの位置から白線を検出するため
の画素数（領域の大きさ）を変化させるかその位置を決
定するためである。それは、白線を検出するための画素
数を変化させないと、画面上では図５に見られるように
遠方の白線は細く、近くの白線は広く表示されるので、
同じ画素数で遠近の白線情報を取り出すことになり、白
線情報が適切に取り出すことが出来ない。従って、白線
を取り出すときの画素の数を変化させる必要が生じる。

【００３０】ここで、図２の破線部分で囲んだ処理領域
設定手段２１で処理領域の設定を行い、基準線設定部２
２で基準線１８を設定した後、最小幅処理領域設定部２
４で、基準線１８より上の遠方部分を白線の最小幅を処
理幅として処理する処理部分として設定し、処理幅可変
処理部分設定部２６で、基準線１８より下の近傍部分
を、より近い部分では増加する処理幅で処理する処理部
分として設定し、処理幅切り替え部２８で処理幅の切り
替えを行う。このように、平均輝度をとる領域の幅は、
図６に示すように道路の遠近に応じて遠くは狭く、近く
は広く設定した。水平線の位置までは一定の幅の平均を
使い、それから下は線形に最大幅まで増加するようにす
る。

【００３１】図１２における処理幅設定６４の流れを図
１５のＰＡＤ図で示す。前にも述べたように処理領域の
幅は画像の上端からの位置により変える。図１５の７８
で水平線の位置を判定し（図２に示す基準線設定部２２
の機能に相当する）、水平線より遠方であれば８０で処
理幅を最小幅（図２に示す最小幅処理領域設定部２４の
機能に相当する）とし、それ以下であれば処理幅を可変
（図２に示す処理幅可変処理領域設定部２６の機能に相
当する）とする。水平方向では一定である。

【００３２】このように、水平線より遠方部分では小さ
な処理領域とし、水平線より近傍部分では近くなる程大
きな処理領域とした。

【００３３】但し、本実施例では水平線を直接検出する
かわりに走査ラインの１つを基準線にして遠方部分と近
傍部分に分割している。

【００３４】また、実施例では、道路の白線を対象とし
ているため、近傍部分では近くなる程広くなるような処
理領域を設定しているが、これは本来白線が同じ太さの
為、近くなる程大きく映る為である。それ故、白線以
外のものを対象とするときにはその対象物が撮った大き
さに合わせて処理領域を設定することも考えられる。

【００３５】次に、図１１に於ける反射率の演算方法６
６に付いて詳しく説明する。

【００３６】反射率に付いては簡略化して先に説明した
ように、１つの画素の輝度の比率を求めることで得ら
れ、本実施例では図２、図３の右側のフローと左側のフ
ローの各々で反射率を求めその比率を演算している。

【００３７】基本的には、分子側となる１つの画素の輝
度と分母側となる領域の輝度を求めれば良いが、本実施
例では暗いときでも、明るいときでも精度を上げるよう
それぞれ補正した値を用いるようにしている。

【００３８】先ず、図２の右側のフローの分子側となる
１つの画素の輝度に付いては、充分明るいときには検出
したままの輝度を用いる（図１６の８８）が、それより
暗い時には近傍の画素を選定し、その画素の輝度との平
均値で代用する（図１６の８７と図１６の８５）。以上
は、図２に示す入力信号演算部４４の働きである。

【００３９】図２の右のフローの分母側となる領域の輝
度に付いては、通常の明るさの時には領域の画素の輝度
の平均値をそのまま用いる（図１６の８８、図１６の８
７）が暗い時には領域の画素の平均輝度ではなく、別に
定めた規定値を用いる（図１６の８５）。以上が図２の
４２の働きである。

【００４０】図２の左側のフローについてであるが、こ
れも上記説明の右側のフローと基本的に同じ考え方であ
り、その働きは次の通りである。

【００４１】左側のフローの分子側となる縦エッジ信号
に付いて、充分明るい時には検出したままのエッジ信号
を用いる（図１７の９４）が、それより暗い時には近傍
の画素を選定し、その画素のエッジで信号との平均値で
代用する（図１７の９３、図１７の９１）。以上が図２
の３６の働きである。

【００４２】図２の左側のフローの分母側となる領域の
輝度に付いては、図２の右側のフローの分母側を求めた
ときと全く同様で、通常の明るさの時は領域の画素の輝
度の平均値をそのまま用いる（図１７の９４、図１７の
９３）が、暗い時には領域の画素の領域の平均輝度では
なく別に定めた規定値を用いる（図１７の９１）。以上
が図２の３４の働きである。

【００４３】これを、図２と図１６と図１７を用いて説
明すると、入力した画像信号に対し処理領域を設定し
（図２の２１）、その領域毎に明るさを検出し（図２の
３０）、図２の右側のフローでは、その明るさ毎（図１
６の８４、８５）に反射率を求め（図２の４６）、しき
い値によって二値化する（図２の４８）。

【００４４】図２の左側のフローでは、領域の明るさ毎
（図１７の９０、９２）に、反射率を求め（図２の３
８）、二値化している（図２の４０）。

【００４５】この右側のフローの二値化した信号（図４
のｇ）と左側のフローの二値化した信号（図４のｅ）を
比較すると、影によって出来た贋の縦エッジが検出でき
除去出来る（図２の５０）。

【００４６】その後、図２のメディアンフィルタ５２を
介して１ライン毎に処理を行うことによって生じる処理
画像の１ライン抜けや孤立線をラインの上下の関係より
除去する。

【００４７】そして、最終的に処理結果を図２の出力部
５４より出力する。

【００４８】ちなみに、図２２の８３と図１７の８９は
走査ラインの各１ラインを横方向に１画素づつ移動して
反射率を求める画素としている。また、図２の右側のフ
ローの分子側となる画素の輝度や左側のフローの分子側
となる縦エッジ信号のそれぞれを近傍画素との平均値よ
り算出する時は（図２の４４、図１６の８５、８７、図
２の３６、図１７の９１、９３）、輝度演算部（図２の
３０）で検出した明るさが暗いほど、より広く、また
は、多くの近傍の画素より平均値を求めるのが好まし
い。

【００４９】図１８は、図１１に於けるしきい値処理６
８のＰＡＤ図を示し、画像信号を二値化する時のしきい
値を示したもので図３の４０、４８、図２の４０、４８
に相当する。

【００５０】図１３は縦エッジ検出部（図３の３２、図
２の３２）の処理をＰＡＤ図で説明したものであり、７
２で走査ラインを高さ方向に走査し、７４で横方向に走
査し、画素の１つ１つに付いて図１４に示すような縦方
向エッジ検出用マスクで検出している。

【００５１】次に、図１８により、図１１に於ける贋の
エッジ除去７０の方法について詳しく説明する。

【００５２】本発明のように、画像入力信号に対して反
射率を求め、しきい値処理を施すと、影のコントラスト
が強い図９の様な画像の場合に、図１０に示すように影
の周囲が白線のように贋の信号として現れることがあ
る。これは暗い部分により相対的に引き上げられた暗い
部分が明るくなってしまい、しきい値処理により切り出
されることによって贋の信号（図４のｇのロの信号）を
発生することが原因である。このような場合に左右いず
れか一方の境界に原画像と対応する部分（図４のｇのイ
の信号）を見るとエッジが殆ど無いことが特徴である。
そこで、少なくとも一方の境界が原画像でエッジを持た
ないのであればその領域（図４のｇのロの信号）を削除
することにする。この処理の結果、図１０から図１１が
得られる。

【００５３】これは、図３の右側のフローの画像の入力
信号に対して反射率を求め、二値化した図４のｇの信号
と図３の左側のフローの画像の入力信号に対して縦エッ
ジ処理し、反射率を求めて二値化した図４のｅの信号を
比較して、図４のｇのロの信号が贋のエッジとして検出
できる。これを図１９のＰＡＤ図で次のように処理す
る。

【００５４】図４のｇで見られるような信号に対し
て、”０”から”１”に変化するところから”１”か
ら”０”に変化するところについて着目する。その位置
に、縦エッジ検出と反射率としきい値処理した図４のｅ
の信号を比較して、そこにエッジが存在しない部分に付
いては贋のエッジなので”１”になっている領域を”
０”にする。図１９によれば、１０４で領域を水平方向
に走査し、１０６で二値化のエッジを捉え、１０８でエ
ッジ強度がしきい値以下であるかを判定し、エッジが立
ち上がりか立ち下がりかを１１０で判定し、暗から明の
立ち上がりならば１１２と１１４で次のエッジまでの輝
度を全て”０”にする。明から暗への立ち下がりならば
１１６と１１８で前のエッジまでの輝度を全て”０”に
する。このようにして、図４のｅの信号との比較処理に
よって、図４のｇの信号が図４のｈの信号のように贋の
エッジを除去できる。また、精度が少し落ちることは否
めないが図４に於て、信号ｂとｇの比較、信号ｄとｇの
比較の各々の比較によっても贋のエッジは除去できる。

【００５５】更に、その場合も反射率演算の代わりに、
各画素の輝度を平均輝度の差の演算に代用しても贋のエ
ッジは除去できる。

【００５６】

【発明の効果】以上のように、本発明によれば、反射率
を利用して２値化することにより道路画像情報から白線
の候補となる領域を、陰やコントラストが低い場合で
も、それらの影響を受けずに取り出すことができ、結果
として白線を精度良く取り出すことが出来る。

【図面の簡単な説明】

【図１】本発明に係る画像処理装置のブロック図であ
る。

【図２】図１の画像処理装置の処理機能を表すブロック
図である。

【図３】図２を簡略化したブロック図である。

【図４】図２の各部の波形図である。

【図５】道路の光線の状態を表す図である。

【図６】道路画像情報を処理する基準線を説明する図で
ある。

【図７】処理領域の処理幅を一定にした場合の図であ
る。

【図８】処理領域の処理幅を一定にした場合の図であ
る。

【図９】道路の光線の状態を表す図である。

【図１０】図９に処理を施した図である。

【図１１】図１０にエッジの処理を施した図である。

【図１２】本発明に係る画像処理装置の処理の流れを表
すＰＡＤ図である。

【図１３】エッジ処理の流れを表すＰＡＤ図である。

【図１４】エッジ検出のためのマスクを表す図である。

【図１５】処理幅設定の流れを表すＰＡＤ図である。

【図１６】入力信号演算部の処理の流れを表すＰＡＤ図
である。

【図１７】入力信号演算部の処理の流れを表すＰＡＤ図
である。

【図１８】しきい値処理の流れを表すＰＡＤ図である。

【図１９】エッジ除去の流れを表すＰＡＤ図である。

【符号の説明】

１０…撮像装置１２…画像処理装置１４…処理画像出力装置２２…基準線設定部２４…最小幅処理領域設定部２８…増加処理幅処理領域設定部３０…輝度演算部３２…縦エッジ検出部３４、４２…基準値演算部３６、４４…入力信号演算部３８、４６…比例演算部４０、４８…しきい値処理部５０…比較処理部

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年１２月２日

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】全図

【補正方法】変更

【補正内容】

【図１】

【図１４】

【図２】

【図３】

【図６】

【図１５】

【図４】

【図５】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１８】

【図１６】

【図１７】

【図１９】

Claims

【特許請求の範囲】

【請求項１】画像信号を入力し、出力するまでの過程に
於て、画像信号から得た入力信号を被写体の反射率に対応した
信号に変換する手段を備えることを特徴とする画像処理
装置。
【請求項２】請求項１記載の入力信号を被写体の反射率
に対応した信号に変換する手段は、入力信号より任意の画素の信号の値を検出する手段と、入力信号から前記任意の画素の輝度を検出する手段と、前記任意の画素の信号の値と輝度を比率演算する手段で
構成することを特徴とする画像処理装置。
【請求項３】請求項２記載の任意の画素の信号の値を検
出する手段は、入力画像の明るさ検出手段を有し、明るさ検出手段によって暗いと判定された時に前記任意
の画素の近傍の画素を選定し、前記任意の画素と近傍の画素の信号の値より演算するこ
とを特徴とする画像処理装置。
【請求項４】請求項２記載の任意の画素の輝度を検出す
る手段は、前記任意の画素の近傍の画素を選定する手段と、該近傍の画素と前記任意の画素の信号の値より演算する
手段からなることを特徴とする画像処理装置。
【請求項５】請求項３記載の入力画像の明るさ検出手段
は、任意の画素の近傍の画素を選定する手段と、該近傍の画素と任意の画素の信号の値を演算する手段か
らなることを特徴とする画像処理装置。
【請求項６】画像入力信号に反射率演算を行った後にし
きい値処理した信号と、画像入力信号に任意の方向でエッジ検出した信号を比較
し、贋のエッジを除去することを特徴とする画像処理装
置。
【請求項７】画像入力信号に反射率演算を行った後にし
きい値処理した信号と、画像入力信号に任意の方向でエッジ検出した後、反射率
演算を行った信号を比較し、贋のエッジを除去すること
を特徴とする画像処理装置。
【請求項８】画像入力信号に反射率演算を行った後にし
きい値処理した信号と、画像入力信号に任意の方向でエッジ検出した後、反射率
演算を行い、更に、しきい値処理した信号を比較し、贋
のエッジを除去することを特徴とする画像処理装置。
【請求項９】画像入力信号より画素信号と平均輝度との
差をしきい値処理した信号と、画像入力信号に任意の方向でエッジ検出した信号を比較
し、贋のエッジを除去することを特徴とする画像処理装
置。
【請求項１０】画像入力信号より画素信号と平均輝度と
の差をしきい値処理した信号と、画像入力信号に任意の方向でエッジ検出した値と平均輝
度との差を取った信号を比較し、贋のエッジを除去する
ことを特徴とする画像処理装置。
【請求項１１】画像入力信号より画素信号と平均輝度と
の差をしきい値処理した信号と、画像入力信号に任意の方向でエッジ検出した値と平均輝
度との差を取り、更に、しきい値処理した信号を比較
し、贋のエッジを除去することを特徴とする画像処理装
置。
【請求項１２】画像の中で領域を選定し、その領域の中
で各種の画像処理を行う画像処理装置において、水平線を仮に選定し、水平線の遠方部分と近傍部分に分
割し、遠方部分と近傍部分では異なった領域の広さを選
定する手段を備えることを特徴とする画像処理装置。
【請求項１３】画像の中で領域を選定し、その領域の中
で各種の画像処理を行う画像処理装置において、近傍ほど、領域を広く選定する手段を備える画像処理装
置。