JPS6378299A - 画像処理技術を用いた信号認識装置を有する自動車 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、進行方向の１８号機表示を画像処理技術を利
用して認識することにより、運転者の１３号見逃しを防
止すると共に、信号機との距離も測定可能にして信号機
設置場所での走行の安全性を高めるようにした画像処理
技術を用いた（８号認識装置を有する自動車に関する。

〔従来の技術〕

一１’ＩＱに、自動車交通の秩序は、運転汗による交通
法規の遵守により保たれているが、交通法規における信
号機の役ｖノは極めて大きく、運転者がこれを的確に認
識できなければ交通の秩序は維持できず、大事故につな
がりかねない。従来、この信号機の認識は、運転者自身
の目視により行われていた。

〔発明が解決しようとする問題点〕

しかしながら、運転者自身の目視による信号機のｉ＝　
Ｆ、ｈでは、運転者が他のものに気をとられているとき
などついうっかり見逃し易く、また朝晩や、太陽が目に
入った時などは信号機が非常に見にく（、認識できたと
しても信号機の直前になってしまうこともあり、１１め
て危険であるのが実情である。

本発明１よ上記問題点を解決するためのもので、運転者
の信号見逃しを防止すると共に、信号機と車との距■も
判別できるようにして特に信号機設置場所での走行の危
険を未然に防止できる画像処理技術を用いた信号認識装
置を有する自動車を提供することを目的とする。

〔問題点を解決するための手段〕

そのために本発明の画像処理技術を用いた信号認識装置
を有する自動車は、前方撮影用カメラと、車速センサと
、カメラで撮影した画像信号が入力されるビデオＲＡＭ
と、ビデオＲＡＭからの画像データを読み込んで輝度の
高い部分の領域を取り出し、この領域の大きさと色を基
にウィンドウで囲み、ウィンドウ内でエツジを検出して
予め記憶している参照信号機エツジと比較し、ウィンド
ウ内で検出したエツジと参照信号機エツジとが一致した
ことを条件として、信号機と認識すると共に、信号機と
の距■を算出する信号認識装置と、信号認識装置からの
信号機認識信号と信号機との距離信号及び車速データが
入力されるＣＰＵと、ＣＰＵからの出力（５号により運
転車に警告するための警告手段とを備えたことを特徴と
する。

〔作用及び発明の効果〕 本発明の画像処理技術を用いた信号認識袋ｉｌを有する
自動車は、カメラで無限遠点より高い領域を撮影して画
像信号をビデオＲＡＭに読み込み、ビデオＲＡ　Ｍから
の画像データから輝度の高い部分の領域を取り出し、こ
の領域の大きさと色を基にウィンドウで囲み、ウィンド
ウ内でエツジを検出し、予め記ｔｒｌｌ、ている参照信
号機エツジと比較してウィンドウ内で検出したエツジと
参照信号機エツジとが一致したことを条件として、（３
号機であると認識すると共に、ウィンドウの位置と大き
さの時間的変化から信号機と車との距離を求め、信号が
赤、又は黄であり、別途測定した車速に対して信号機と
の距離が予め入力した車速に対応する安全制動距離より
も短いとき、運転車に警告して減速の指示を与えること
により、信−号機の見逃しを防止すると共に、信号機設
置場所での走行の安全性を向上させ、更に画像処理シス
テムを汎用的に使用することにより装置のコストの低減
化を図ることが可能となる。

〔実施例〕

以下、図面を参照しつつ実施例を説明する。

第１図は本発明による画像処理システム及び警告装置の
全体構成を示す図、第２図は信号機認識におけるウィン
ドウの囲み方を説明するだめの図、第３図はカメラで撮
影する前方視界を示す図、第４図は１３号５１　ｉ：　
ａのプロセスを説明するためのフロ−チャートであり、
ｌはカメラ、２はビデオＲＡＭ、３は信号認識装置、４
はＣＰＵ、５はディスプレイ装置、６はディスプレイ用
コン１−ローラ、７はディスプレイ、１０は信号機、１
１はウィンドろ、２０は前方視界、２１は現在のウィン
ドウ、２２は前回のウィンドウ、２３は無限遠点である
。

図において、カメラ１、ビデオＴ？ＡＭ２、信号認識装
置３、ＣＰＵ４、ディスプレイ装置５からなる画像処理
システムを車に１ｈ叔する。カメラ１は、車のボンネッ
トより高い位置に水平に設置することにより、第３図に
示すように（３号のコ、３識可能領域を画面の無限遠点
２３より高い領域に限定して、前方車両のテールランプ
等の点灯物の影Ｓを除くようにする。

画像処理システムにおける信号機の認識は、先ずカメラ
１により第３図のように前方視界を撮影してその画像信
号をビデオＲＡＭ２に読み込む。

画像認識装置３は、後述するように信号機の認識を行う
と共に、信号機との距離を算出する。ＣＰＵ４は、信号
機の認識１３号と信号機との距離及び別途測定した車速
データとから信号が赤、黄であり、測定した車速に対し
て、（Ｓ号機との距離が予め入力した車速に対応する安
全制動距離よりも短いとき、警告信号を出力し、ディス
プレイ装置５により運転車に警告して減速の指示を与え
る。

この場合の警告は、視覚表示に限らず、警告音であって
もよいことは勿論である。

信号機の認識は、第４図に示すように、ステップ■でビ
デオＲＡＭからの画像データを読み込み、ステップ■で
読み込んだ画像領域内より、信号の赤、ｎ、黄の色に相
当する輝度の高い部分が有るか否かを検出し、もしあれ
ば、ステップ■において輝度の高い領域を取り出し、こ
の領域の大きさと色をもとに、ステップ■においてウィ
ンドウで囲む。ウィンドウは色により大きさｊマ同じと
し、ただし取り方を区別し、例えば、第２図に示すよう
に、輝度の高い領域が黄色であった場合、この領域を中
心に、領域の縦に倍、俣に４倍程度の大きさにウィンド
ウをとり、青や赤で認識した場合はこの領域を右、左に
寄せた状！襟になるようにウィンドウをとる。この場合
ウィンドウの領域は可能な限り小さくとることで、処理
速度と、正確さを増すようにするのが望ましい。次にス
テップ■で、ウィンドウ内でエツジ検出を行い、ステッ
プ■で、予め入力しておいた信号機の参照エツジと比較
し、合致した場合信号機とＩ’ｌｌ断し、ステップ■で
表示色を出力する。

次に第５図のフローチャートにより信号機の検出方法を
より詳細に説明する。

ステップ■でビデオＲＡ　Ｍの画像信号からＲｌＧ、Ｂ
各階調を読み込み、ステップ■で各画素町に次のような
色度の計算をする。

ＲＧ　　　　　　　Ｂ Ｒ＋Ｇ＋ｒ３〕Ｒ＋Ｇ＋ＢノＲ＋Ｇ＋Ｂステップ■では
、予めＲＯ’Ａに記憶しである信号機の表示色に相当す
る画素を取り出し、ステ２・プ■で求めた色度と比較し
、赤、青、黄の何れであるかを判断する。ステップ■で
は（Ｒ＋Ｇ＋Ｂ）の輝度計算を行い、予めＲＯＭに記１
ｆＶＬである信号機の輝度に相当する画素を堰り出し、
計算により求めた輝度と比較し、信号機相当の輝度か否
を判断する。イＳ号機相当の輝度であれば、ステ、プ■
で、予め！’？ＯＭに記憶しである相当輝度との比較に
より２値画面をつくり、高輝度領域の大きさを計算する
。ステップ■では、画素の近傍を調べ、隣接した画素で
１であるものを数えて高輝度領域の大きさを調べ、計算
で求めた高輝度領域が信号相当の大きさか否か判断し、
信号相当の大きさであれば、次にステップ■でウィンド
ウで取り出す。

ウィンドウは予めＲＯＭにもっており、高輝度領域の大
きさと、ステップ■で求めた色とからウィンドウを選択
する。ステップ■では、ウィンドウ内でエツジを検出し
、ステップ■で予めＲＯＭに記憶しである参照信号機エ
ツジと比較する。この比較は、例えば排他的論理和を用
いればよい、比較の結果、エツジ内の２値画像信号で１
である画素数とウィンドウ内の画素の総数との比が所定
値以上であることを条件として、ｉδ号機の表示である
と判断する。

なお、予めＲＯＭに記ｔαしておく信号機の輝度、表示
色等の参照データは、夜と昼、或いは晴天と雨天のよう
に時刻、天候等に応じたものを用意しておき、状況に応
じて使い分けるようにしても良い。

次に、信号機との距離を求める方法について、第６図に
基づき説明する。

図において、信号機と車との距離を求めるのに、前回に
信号機の判断に用いたウィンドウ２２を記憶しておき、
現在のウィンドウ２１の座標との変化量を求める 今、前回のウィンドウ２２０Ｐ＋（Ｘ＋、ｙ＋）、Ｐｔ
（ｘ　ｆ＋　ｙｚ）が、時間Δを後に現在のウィンドウ
２１のＰ＋　’（Ｘ＋　’＋　３’ｌ　　’）　、Ｐｔ
　’（ｘｚ　’。

ｙ２　′）に移動したゐすると、例えばＸ方向のウィン
ドウの位置の変化ΔＸは、 Δｘ＝ｌｘ、−ｘ、’ｌ ウィンドウの大きさの変化Δｌは、 ΔＡ＝ｌｘ、　　　Ｘｚ　　ｌ　　ｌｘ＋　　゛　Ｘｆ
ｉ　　’１となり、これからΔＸ／Δｔ、ΔＰ／ΔＬを
計算し、予めＲＯＭ内に記憶されているウィンドウの位
でと大きさの時間的変化と距離との対応データを比較し
て信号機との間の距なを求める。

なお、ウィンドウの位置と大きさの時間的変化は、上記
のようにＸ方向でなく、Ｙ方向で求めてもよいことは勿
論である。

以上のように本発明によれば、人間の目視によらず信号
機の認識ができるので信号■の見逃しを防止できると共
に、信号機との距離を測定することにより、信号機設置
場所での走行の安全性を向上させ、更に画像処理システ
ムを車にｔｇ　！Ｉ　Ｌ、他の対象物認識や前方視界を
後部座席者に伝えることができる等これを汎用的に用い
ることができるため（，１９認３６２１１としてのコス
トの低減化を図ることも可能となる。

【図面の簡単な説明】

第１図は本発明による画像処理システム及び警告装置の
全体構成を示す図、第２図は信号ａ認識におけるウィン
ドウの囲み方を説明するための図、第３図はカメラで撮
影する前方視界を示す図、第４図は信号機認識のプロセ
スを説明するためのフローチャート、第５図は信号機エ
ツジの検出方法を説明するためのフローチャート、第６
図は信号機との距離を測定する方法を説明するための図
である。 １・・・カメラ、２・・・ビデオＲＡＭ、３・・・信号
認識装置、４・・・ＣＰＵ、５・・・ディスプレイ装置
、６・・・ディスプレイ用コントローラ、７・・・ディ
スプレイ、ＩＯ・・・信号機、１１・・・ウィンドウ、
２０・・・前方視界、２１・・・現在のウィンドウ、２
２・・・前回のウィンドウ、２３・・・無限違点 第１図 第２図 、１０

Claims (11)

【特許請求の範囲】
1. （１）前方撮影用カメラと、車速センサと、カメラで撮
   影した画像信号が入力されるビデオＲＡＭと、ビデオＲ
   ＡＭからの画像データを読み込んで輝度の高い部分の領
   域を取り出し、この領域の大きさと色を基にウィンドウ
   で囲み、ウィンドウ内でエッジを検出して予め記憶して
   いる参照信号機エッジと比較し、ウィンドウ内で検出し
   たエッジと参照信号機エッジとが一致したことを条件と
   して、信号機と認識すると共に、信号機との距離を算出
   する信号認識装置と、信号認識装置からの信号機認識信
   号と信号機との距離信号及び車速データが入力されるＣ
   ＰＵと、ＣＰＵからの出力信号により運転車に警告する
   ための警告手段とを備えた画像処理技術を用いた信号認
   識装置を有する自動車。
2. （２）前記輝度の高い部分の領域の取り出しは、ビデオ
   ＲＡＭの画像データから算出した色度及び輝度値と、予
   めＲＯＭに記憶した信号機の表示色度及び輝度の参照デ
   ータとの比較により行うことを特徴とする特許請求の範
   囲第１項記載の画像処理技術を用いた信号認識装置を有
   する自動車。
3. （３）前記色度、輝度の参照データは、時刻又は天候に
   応じたデータが備えられていることを特徴とする特許請
   求の範囲第２項記載の画像処理技術を用いた信号認識装
   置を有する自動車。
4. （４）前記ＣＰＵは、車速に対する安全制動距離データ
   を備え、信号が赤又は黄のとき、信号機との距離が、測
   定した車速に対する安全制動距離以下のとき警告信号を
   出力することを特徴とする特許請求の範囲第１項記載の
   画像処理技術を用いた信号認識装置を有する自動車。
5. （５）前記信号機との距離は、信号機の検出のためにあ
   てはめたウィンドウの位置と大きさの時間的変化から算
   出することを特徴とする特許請求の範囲第１項記載の画
   像処理技術を用いた信号認識装置を有する自動車。
6. （６）前記ウィンドウは、輝度の高い領域が黄色のとき
   、該領域の縦、横にそれぞれ所定倍した大きさのもので
   、該領域を中心にして囲んだものであることを特徴とす
   る特許請求の範囲第１項記載の画像処理技術を用いた信
   号認識装置を有する自動車。
7. （７）前記ウィンドウは、輝度の高い領域が赤色のとき
   、該領域の縦、横にそれぞれ所定倍した大きさのもので
   、該領域を左に寄せて囲んだものであることを特徴とす
   る特許請求の範囲第１項記載の画像処理技術を用いた信
   号認識装置を有する自動車。
8. （８）前記ウィンドウは、輝度の高い領域が青色のとき
   、該領域の縦、横にそれぞれ所定倍したもので、該領域
   を右に寄せて囲んだものであることを特徴とする特許請
   求の範囲第１項記載の画像処理技術を用いた信号認識装
   置を有する自動車。
9. （９）前記カメラは、車のボンネツトよりも高い位置に
   水平に設置することを特徴とする特許請求の範囲第１項
   記載の画像処理技術を用いた信号認識装置を有する自動
   車。
10. （１０）前記警告手段は、視覚表示手段により構成する
    ことを特徴とする特許請求の範囲第１項記載の画像処理
    技術を用いた信号認識装置を有する自動車。
11. （１１）前記警告手段は、警告音発生手段により構成す
    ることを特徴とする特許請求の範囲第１項記載の画像処
    理技術を用いた信号認識装置を有する自動車。