JPH0278000A - 車両運転支援装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は車両運転者の車外状況認知力を高める運転支援
装置に係り、特に道路標識を認識したり、悪天候時や夜
間において前方を良好に認識することを可能にする車両
運転支援装置に関する。

〔従来の技術〕

従来、車両に積載する道路標識の認識装置については、
特開昭６２−１０８３９６号に記載されているように、
道路標識の色を用いて道路標識を認識していた。

また、従来前方の障害物を検知し、運転を支援する装置
は、特開昭６１−２１１８００号に記載のように、車体
から超音波などの信号キャリアを発射し、反射信号の有
無により障害物の有無を検知していた。

〔発明が解決しようとする課題〕

道路標識認識に関する上記従来技術は、道路標識の塗装
の色のみを検出することによって、道路標識を認識して
いた。しかし、塗装の色は、紫外線等の影響により退色
することが考えられる。また、薄暮時の太陽光や夜間や
天候が悪い時など人工照明された時、塗装の色調が変化
が発生する。

特に、近年多用されているハロゲンランプのオレンジ色
の照明下では、非常に大きく色調が変化する。以上の様
に、道路標識の塗装色のみの検出では、誤認識や認識不
能が発生する開運があった。

また、前方認識に関する上記従来技術では、車両前方に
おける障害物の有無のみしか検知できず、障害物の固定
や状況の認知はあい変わらず人間の直接的な視覚に頼ら
なければならなかった。ところが、雨、雪、霧、夜など
の悪条件下では、状況の正確な認知が著しく困難になり
、安全性の低下を招いていた。

本発明の目的は、高い確度で道路標識を認識したり、悪
条件下でも運転者が車両前方の状況を正確に認知できる
よう支援するための装置を提供することにある。

〔課題を解決するための手段〕

上記目的は、光学情報入力手段を複数化し、道路標識の
塗装色の検出に加え、道路標識の大きさ形状を検出し、
予め記憶された道路標識のテキスト情報と照合すること
によって、高精度の道路標識認識装置が実現する。

また、前方認識の支援については、車両前方を撮像装置
で撮影し、この画像について画像処理を行い、雨、雪、
霧などの影響を取り除いた鮮明な画像を運転者の見える
位置に表示することにより達成される。

〔作用〕

車両の前方の風景から複数の光学情報入力手段を用いて
複数の地点における画像情報を得、これら複数の地点に
おける画像情報から色別に単純な図形情報を抽出し、対
応する図形情報を識別して、図形の大きさ、形状を判定
し、予め記憶された道路標識のテキスト情報と照合する
。以上の処理により、道路標識の認識には、主として大
きさ、形状等の図形情報を用いるために、退色や照明光
による道路標識の塗装色の変化によらず、高精度で認識
できる。

雨、雪、ｆｌなどの悪天候条件下では、運転者には、車
外に存在する物体からの先具外に、雨や雪。

霧などを構成する粒子（雨滴、氷の粒）からの散乱光が
到達し、また通常の物体からの光はこれらによって散乱
されて減衰が大きくなる。このようなことから、車外の
風景には雑音成分が大きくなり、さらにコントラストも
悪くなることから、運転者が車外の状況を認知すること
が困難になる。

また、夜間においては、対象から運転者に到達する光そ
のものが少なく、さらに他車のヘッドライトや周囲の建
物からの直接光などで、対象のコントラストが低下する
。

従って、何らかの方法で雑音成分を除去した風景を運転
者が見ることができるようにする必要がある。

このようなことは、車体前方の風景を搬像装置でとらえ
、この画像に対して階調処理、空間フィルタ処理などの
デジタル画像処理を行うことによって可能となる。

階調処理ではコントラストの改善、空間フィルタ処理で
は雑音やぼけの除去、高い空間周波数成分の補償などに
より、鮮明な画像が得られる。

〔実施例〕

以下、本発明を実施例を用いて説明する。第１図は、本
発明の第１の実施例の構成図である。車両１０上の左右
端に２台の光学情報入力手段１および２が取付けられて
いる。画像メモリ３は光学情報入力手段１により入力さ
れた前方の風景の画像情報が記憶され、画像メモリ４は
光学情報入力手段２により入力された前方の風景の画像
情報が記憶される。情報処理部５は、各画像メモリ３゜
４に記憶された画像情報を処理し、道路ｍ識テキスト６
に記憶された道路標識の情報と照合し、道路標識の内容
を認識する。情報出力手段７は、情報処理部５で認識さ
れた道路標識の内容を運転者にわかるよう出力する。前
記２つの光学情報入力手段１，２は、可能な限り広い視
野の風景の画像情報を取り、さらに泥はね等により、光
学情報入力手段１，２が汚れるのを最小限に抑えるため
に。

車両のなるべく高い位置に取付けることが望ましい。第
２図は、車両の側面図である。第２図に示す様に、車両
１ｏのルーフ１１の前部に光学情報入力手段１及び２を
取付けると、領域１２が視野に入る。第３図に、車両の
上部より見た光学情報入力手段１，２の視野の状態を示
す、第３図を用いて、道路標識認識における光学的な方
法について説明する。車両の全幅にほぼ等しい間隔Ｗで
光学情報入力手段１及び２は取付けられている。破線で
示した領域２０は、光学情報入力手段１の視野である。

−点破線で示した領域２１は、光学情報入力手段２の視
野である。今、光学情報入力手段の前方、距離Ωに道路
標識２２（例えば、制限速度標識）があるとする。第４
図に光学情報入力手段１により検出された前方の風景の
画像２３及び、光学情報入力手段２により検出された前
方の風景の画像２４を示す。各画像はレンズのため逆に
なっている。画像２４では、光学情報入力手段２の正面
に道路標識２２があるために、画面のほぼ中央に道路標
識像２６がある。画像２３では。

道路標識２２が光学情報入力手段１の左前方にあるため
に、画面の右側に道路標識像２５がある。

すなわち、同じ道路標識２２の画像であっても、光学情
報入力手段１と２が間隔Ｗ離れて設置されているために
、画面上における位置が異なる。この位置の差を検出す
ることによって道路標識までの距！ＩＱが求まる。第５
図を用いて説明する。点Ａはレンズ２７によって受光面
２９上に点ＡＩとして結像される。また点Ａはレンズ２
８によって、受光面３ｏ上に点Ａ２として結像される。

各レンズと各受光面の距離を６９点Ａ１の受光面２９の
中心からの距離をａｌ、点Ａ２の受光面３０の中心から
の距離をａ２とすると、距離Ｑは次式により求まる。　
　　′ （１＝　−ｗ １−ａ２ したがって、各点像の位置を検出することによって、点
までの距離が求まる。距離Ｑが求まると、受光面上の像
の大きさのＲ／ｄ倍により実際の大きさが求まる。以上
の過程により、大きさの判別ができる。道路標識認識の
過程を第６図を用いて説明する。道路の風景を画像情報
入力手段１，２によって入力し、画像メモリ３，４に画
像情報として記憶する。次に、情報処理部において、道
路標識に用いられている塗装色を元に、画像情報を色別
に分解し、道路標識を含むと考えられる塗装色の一群を
抽出する。次に、色別に抽出された左右２つの、この場
合、道路標識の塗装色に相当するものが無い場合、次の
画像を入力する。画像情報より、道路標識が単純な形態
をしていることに着目し、同一部分を認識する。同一部
分が認識された場合、それが道路標識の形状と類似して
いるか判別し、道路標識の候補が無い場合、次の画像を
入力する。道路標識の候補が有る場合、第５図で示した
様に、距離認識、大きさ認識を行ない、道路標識として
認識した後、運転者に必要な情報を、表示装置あるいは
音声を用いて出力する。

以上、本実施例では、色の他に形状、大きさを判別の要
素として用いており、高精度の認識が可能になる。第７
図は、光学情報入力手段の構成の一例である。レンズ３
１の結像面（レンズ３１より距離ｄ離れている。）にビ
ジコン、チューブや２次元ＭＯ３光センサや２次元ＣＣ
Ｄセンサの受光面３３が置かれている。この受光面３３
上には、結像した画像を各色別の光に分解するために色
フィルタが設けられている。色フィルタの波長特性は、
道路標識に用いられている塗装色の色調に合せることに
より、各色の分布強度を適確にとらえることができる。

また、各道路標識に用いられている塗装色は、２色ある
いは３色の決まった組合せである。したがって１色調に
より画像情報内の道路標識の候補を選択する際、ある点
の絶対的な色調を識別する事に加えて、ある領域内の色
の分布が上記の決まった２色あるいは３色の組合せであ
ることを識別することにより、認識精度の向上が可能に
なる。また、レンズ３１にズーム機能を付加すると非常
に有効である。このレンズ３１のズーム機能によって、
前方の風景に識別可能な道路標識がなかった場合、ある
いは既に認識した道路標のみの場合より遠方の像を入力
し、遠方の情報を認識する。この機能により、高速道路
等の場合、遠方の情報を予め運転者に知らせることによ
り、より迅速な対応をとることができる。また、レンズ
３１に自動焦点調整機能を付加すると有効である。この
機能は例えば、近距離（５０ｍ程度）と無限遠距離（３
００ｍ以上）に焦点を切り替える。市街地等の場合、車
両前方の風景中に非常に多くの色や形状のものがあるこ
とが考えられる。

この時、近距離に焦点を合わせておくと、受光面３３上
に明瞭に結像する風景の位置が決まる。逆に、より遠く
の風景は、ぼけることにより像のコントラストが低下し
近距離の風景がより明確になり判別しやすくなる。無限
遠に焦点を合せ、遠方の風景を受光面３３に結像させる
。この場合、道路標識は小さいために内容の判別は困難
であるが、色は識別できるから道路標識の候補として判
別し、遠方に新たな道路標識がある可能性を運転者に示
すことによって、例えば、行先を示す道路標識等の場合
、運転者の時前チエツクができ、より運転者の認識が早
まる。通常のビジコン・チューブ等の光センサは、１／
３ｏ秒あるいは１／６０秒に１回の割り合いで１画面分
の画像情報を検出する。

したがって、上記のズーム機能あるいは、焦点調整機能
を用いて、各段階に逐次切替えることにより、近距離か
ら遠方までの情報を常に把握することができる。

次に、前方認識支援装置の一実施例を第７〜９図により
説明する。

第８図に、本発明になる装置の概観である。

１０１は車体前方の風景を撮影する画像情報入力装置で
あり、可視光用または赤外光用である。

取付位置はできるだけ地面から高い場所が望ましいが、
開口部の汚れを防止するため、車室内に取付けて良い。

１０２は入力された画像情報を記憶するための画像メモ
リである。１０３は記憶された画像情報に演算を加える
画像処理装置であり、処理画像をデイスプレィ１０５に
表示する。

第９図は、本装置のブロック図である。操作部１０４の
中のスイッチなどを切り換えることにより、各種画像処
理の内容を選択することができ、運転者が最も見易く、
都合の良い画像を選ぶことができる。

次に画像処理の方法について述べる。

まず、階調処理として、各画素の濃淡に応じて施す処理
においては、入力画像に応じて、画像の場所によって変
わらず、画像全体に対して−様な処理を施す５ｈｉｆｔ
　１ｎｖａｒｉａｎｔな処理か、場所によって処理を変
える５ｈｉｆｔ　ｖａｒｉａｎｔな処理を行う。

コンピュータを使用し、階調処理の入力・出力特性を数
式または表で与えて処理を行う。５ｈｉｆｔｉｎｖａｒ
ｉａｎｔな処理は例えば第１０図に示すような入出力特
性の処理を行う。

本実施例によれば、コントラストを強調できるなどの効
果があり、鮮明な画像が与えられる。

空間フィルタ処理はｉｍａｇｅ　ｅｎｈａｎｃｅｍｅｎ
ｔの手段として有効である。

入出力像のフーリエ変換をそれぞれＦ　（Ｎｘ。

Ｎ　ｙ）　＋　Ｇ　（Ｎ　ｘ　ｙ　Ｎ　ｙ）−撮像系の
ＭＴＦ（空間周波数に対する光学系の伝達特性を○ＴＦ
（ｏｐｔｉｃａｌ　ｔｒａｎｓｆｅｒ　ｆｕｎｃｔｉｏ
ｎ　）といい、そのうちで振幅に関するものをＭ　Ｔ　
Ｆ　（ｍｏｄｕｌａｔｉｏｎｔｒａｎｓｆｅｒ　ｆｕｎ
ｃｔｉｏｎ　）と称する。〕をＨ（Ｎｘ。

Ｎｙ）、画像処理による補正をＰ　（Ｎｘ、Ｎｙ）とす
ると、 Ｇ（Ｎｘ、　Ｎｙ）＝　Ｐ　（Ｎｘ、　Ｎｙ）Ｈ（Ｎｘ
、　Ｎｙ）　Ｆ　（Ｎｘ、　Ｎｙ）となる。悪天候や夜
間などでぼけや雑音の多い入力画像Ｆ　（Ｎｘ、Ｎｙ）
に対して、最適な画像処理Ｐ　（Ｎｘ、Ｎｙ）を行うこ
とにより、運転者が前方の認識を容易に行えるような画
像Ｇ　（Ｎｘ。

Ｎｙ）を得る。

ぼけた人力画像に対しては、低域成分を減衰させて高域
成分を相対的に強調するような処理を行う。霧によるぼ
けのように広範囲に影響している雑音は、そのスペクト
ルが低周波域に集中しているので、高域フィルタによっ
て除去できる。低域フィルタは、原画像から高い周波数
成分の雑音を除くのに用いられる。また帯域フィルタは
、緩やかな変化（低周波成分）と高い周波数の雑音を除
去して、画像を得たい場合に用いられる。

このように、外界の種々の状況に対応できるよう、処理
内容Ｐ　（Ｎ　ｘ　ｅ　Ｎ　ｙ　）をいくつかメニュー
として用意しておき、状況に応じて操作部１０４を操作
して最適なＰ　（Ｎ　ｘ　＋　Ｎ　ｙ）を選択すればよ
い。

本実施例によれば、低周波、高周波、帯域型の各種雑音
に対してこれを除去できる効果があり、良好な車外の画
像が得られる。

〔発明の効果〕

本発明によれば、道路標識を適確に認識し、運転者の逐
次知らせることができるので、道路標識の見落し等がな
くなり、安全で快適な運転を可能にする。

また、悪天候や夜間に対し、これにより車両前方画像に
存在する各種雑音を除去できたり、コントラスとの強調
などによる画質の改良により、運転者の前方認知を容易
にし、安全走行を行う有効な補助になる効果がある。

【図面の簡単な説明】

第１図は本発明の道路標識認識機能の実施例のブロック
構成図、第２図は車両に取付ける位置を示す図、第３図
から第５図は本発明の原理図、第６図は情報処理のフロ
ーチャート、第７図は光学情報人力手段の構成図、第８
図は本発明の前方認識支援機能の概要図、第９図はその
ブロック図。 第１０図は画像処理における各種階調処理の内容を示す
図である。 １．２・・・光学情報入力手段、３，４・・・画像メモ
リ、５・・・情報処理部、６・・・道路標識テキスト、
７・・・情報出力手段、１０１・・・画像情報入力装置
、１０２・・・画像メモリ、１０３・・・画像処理装置
、１０４・・・操作部、１０５・・・デイスプレィ、１
０６・・・ハンドル。

Claims (1)

1. 【特許請求の範囲】 １、車両上に積載された画像情報入力手段と、該画像情
   報入力手段によつて入力された画像情報を記憶する画像
   メモリと、記憶された画像情報を処理する情報処理部と
   、該情報処理部によつて認識又は処理された車両外状況
   についての内容を出力する情報出力手段よりなることを
   特徴とする車両運転支援装置。 ２、特許請求の範囲第１項において、道路標識に関する
   画像情報を記憶した道路標識テキストを設け、これによ
   つて画像メモリに記憶された画像情報を処理し、道路標
   識を認識し、これを出力することを特徴とする車両運転
   支援装置。 ３、特許請求の範囲第１項において、画像メモリに記憶
   された画像情報に存在する各種雑音成分を画像処理によ
   つて除去し、修正された画像を出力して悪天候時や夜間
   において運転を支援することを特徴とする車両運転支援
   装置。 ４、特許請求の範囲第３項において、画像処理として空
   間フィルタ処理を行うことを特徴とする車両運転支援装
   置。 ５、特許請求の範囲第３項において、画像処理として階
   調処理を行うことを特徴とする車両運転支援装置。 ６、特許請求の範囲第３項において、車両乗員が操作で
   きる位置に操作部を設け、画像処理の内容を選択できる
   ことを特徴とする車両運転支援装置。