JP2839100B2 - 移動車の前方車認識装置及びその方法 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は移動車の前方車認識装置及びその方法に関
し、特に、例えば自車の前方を走行する前方車を、その
外界の可視光画像と赤外光画像とから認識捕捉するため
の前方車認識に関する。

（従来の技術） 車両の走行制御の分野、特に前方車の追従走行制御の
分野において、従来から行なわれている前方車認識は、
前方車を含む外界の画像を取り込み、その外界の画像の
なかから、車両に特徴的なもの、例えば車両中心にある
ナンバプレートを抽出し、これをもつて車両が抽出され
たと認識するものである。

（発明が解決しようとする課題） しかしながら、この従来の認識方法は、画像全体から
対象を認識するというものであり、原理的には画像の局
所的な各部分の特徴を抽出し、この抽出された特徴と事
前に用意した特徴パターンとを照合して、対象を把握す
るというものであるからして、複雑なアルゴリズムと膨
大な演算を要し、リアルタイム処理を要する走行制御に
は不適格であつた。また、特徴量だけでは、車両かどう
かの判別すら困難になる場合もあつた。

そこで、本発明の目的は、移動車としての自車の、そ
の前方にある車両を前方車として認識するための認識装
置及び方法であって、高い確実性を維持しつつ且つ高速
に前方車を認識することのできる移動車の前方車認識装
置及び方法を提案するところにある。

（課題を達成するための手段及び作用） 上記課題に鑑みて発明者達は次の点に着目した。即
ち、車両には特有の部分がある。その卑近な例がウイン
カであり、ブレーキランプであり、マフラ等である。そ
して、これらの特有部分の位置関係は車両においては、
大体固定的である。そこで、もしこれらの特有な部分の
うちのいずれか１つでも認識できれば、例えば、マフラ
位置を検出できれば、この検出されたマフラ位置から、
上記位置関係に基づいて他の特有部分の位置が推定でき
る。そして、この推定された位置に、他の特有な部分、
例えば、ブレーキランプ等があることが認識できたなら
ば、前方にあるものは車両であると、ある程度の確実さ
をもつてみなすことができる。換言すれば、最初にある
特有部分が認識されれば、この特有部分と所定の位置関
係にある他の特有部分を認識するための認識処理対象
は、この所定範囲内にあるデータに絞られる。その結
果、この他の特有部分を認識するための認識処理は高速
化する。

一方、最初に認識する特有部分の認識原理及び方法と
残りの他の特有な部分の認識原理及び方法とが同じもの
であれば、この前方車認識手法の認識速度は、従来から
の前方車認識手法による認識速度と大差ないものになつ
てしまう。そこで、発明者達は更に次の点に着目した。
即ち、上述の最初に認識すべき特有部分として、その部
分だけが、他の部分に比して相対的に多く所定の物理信
号を放射する部分を選定した。その例として、例えば、
赤外線を大量に発生するマフラがある。前方を赤外線カ
メラで捕えれば、マフラ部分だけが際立って把握でき
る。そして、他の特有部分、例えば、ブレーキランプの
検出は通常の画像処理から行なうことができる。

然して上述の課題を達成するための本発明の前方車認
識装置の構成は、 外界の可視光画像を入力する可視光画像入力手段と、 前記外界の赤外光画像を入力する赤外光画像入力手段
と、 入力された前記外界の赤外光画像中における、車両に
特有な既知の部分の前記外界中の位置を検出する検出手
段と、 前記検出手段により検出された前記特有な既知部分の
位置に対して相対的に既知の位置関係にある所定の画像
領域を、前記可視光画像中に設定する手段と、 前記可視光画像中の前記画像領域内の可視光画像デー
タに対して、前記外界に車輌があるか否かの車両認識処
理を行なう車輌認識手段とを備えたことを特徴とする。

また、上述の課題を達成するための本発明の前方車認
識方法の構成は、 外界の可視光画像と赤外光画像とを入力し、 入力された赤外光画像中において、車両に特有な既知
の部分の前記外界中の位置を検出し、 検出された前記特有な既知部分の位置に対して相対的
に既知の位置関係にある所定の画像領域を前記可視光画
像中に設定し、 前記可視光画像中の前記画像領域内の可視光画像デー
タに対して、前記外界に車輌があるか否かの車両認識処
理を行なうことを特徴とする。

（実施例） 以下、添付図面を参照して本願発明の好適な実施例の
原理的構成を説明する。

この原理的な構成は、第１図に示すように、外界認識
のための画像入力手段と、車両の所定の部分だけが他の
部分に比して相対的に多く放射する物理信号を二次元的
に検出する検出手段と、この検出された物理信号に基づ
いて、前記車両に特有な部分の凡その二次元位置を、前
記画像入力手段における画像空間内の位置情報に変換す
る手段と、前記画像入力手段内の外界画像の、前記車両
に特有な部分の画像空間内位置の近傍領域を抽出する手
段と、この近傍領域内の画像データに対して、車両と認
識するための認識処理を行なう認識処理手段とを備えた
ことを特徴とする。

以下添付の第２図以下を参照して、より具体的な実施
例であって、本発明の前方車認識を、前方車に追従して
自車が走行するための制御に利用した実施例を説明す
る。

第２図はこの実施例の走行制御システムのブロツク図
である。この制御システムは大きく分けて、前方車を認
識するために外界認識を行なう認識装置100と、この認
識結果に基づいてその前方車に追従走行を行なう追従走
行制御装置200とからなる。認識装置100は、前方車を認
識するために、２系統の画像処理系を有する。１つは赤
外光の画像を入力処理する系（以下、『赤外光処理系』
と呼ぶ）であり、他は可視光のカラー画像を入力処理す
る系（以下、『可視光処理系』と呼ぶ）である。

第２図のシステムについて更に詳細に説明する。赤外
光処理系は、赤外線カメラ10と、比較器11と、演算装置
12と、赤外光画像データを格納するイメージメモリ13と
からなる。また、可視光処理系は、カラーの可視光カメ
ラ16、演算装置17、カラー画像データを格納するイメー
ジメモリ18からなる。赤外光処理系と可視光処理系と
は、内部にマイクロコンピユータ（不図示）を有する前
方車認識制御装置14により制御され、その認識結果はワ
ークメモリ15に格納される。制御装置14により実行され
る制御手順は第８図のフローチヤートに後で関連して説
明される。

認識装置100による認識結果は追従走行制御装置200に
送られる。第３図は、この追従走行制御装置200の構成
を詳細に説明する図である。認識装置100からは、追従
走行に必要な情報、例えば、前方車の進行方向、位置、
速度、路端位置等が出力される。40は加減速制御部であ
り、41は操舵制御部である。これら制御部40,41は、認
識装置100による認識結果に基づいてスロツトルアクチ
ユエータ43,ステアリングアクチユエータ44及びブレー
キアクチユエータ42を制御して走行制御を行なう。即
ち、加減速制御部40は、前方車までの距離、及び車速等
に基づいて自車の車速を決定し、この車速に対応するよ
うにスロツトルアクチユエータ43若しくはブレーキアク
チユエータ42を制御する。同じく、操舵制御部41は、前
方車の自車に対する位置、路端位置等に基づいて、操舵
力制御アクチユエータ30を制御する。

第４図は、道路400上で、自車300の前方に２台の前方
車301,302が走行している様子を示している。車両301,3
02には夫々、マフラ301a,302aが装着されている。以下
説明する自車300による前方車認識は、301,302が車両で
あることを識別し、どちらの車両が直前車であるかを識
別し、直前車と識別された車両301に追従走行しようと
いうものである。但し、車両301が直前車と認識された
後の、この直前車301に追従走行する制御は本発明と直
接には関係しないので、その説明は省略する。

第5A図は赤外線カメラ10により捕えられ、イメージメ
モリ13に格納された赤外光画像を、便宜的に可視化した
図である。第5B図は、同じく、可視光カメラ16により捕
えられ、イメージメモリ18に格納された可視光画像を、
便宜的に可視化した図である。ここで、イメージメモリ
13,18との座標系は原点及び解像度を一致させてある。
この一致化により、イメージ13内の画素位置は、そのま
まイメージメモリ18の画素位置に一致する。

第5A図においては、排気ガスに熱せられて高温度状態
にあるマフラ301a,302aの画像だけが捕えられている。
一般に、車両からは、マフラ以外の部分からも赤外線は
放射されているが、比較器11に設定された比較値を適当
な値に設定すれば、マフラよりも定温の部分の画像は除
去される。即ち、イメージメモリ13には、車両のマフラ
周辺の画像だけが残されることになる。その結果、マフ
ラ301aと302aの画像空間中での位置を演算することは極
めて容易であり、短時間に得られる。

第5B図に示されたイメージメモリ18の画像では、便宜
上、道路400の路端400a,400bと、マフラ301aを含む直前
車301の後方像と、前方車302のマフラ302aとタイヤの像
のみがカメラから読取られて記憶されていたとする。第
６図は、一般的な車両500の背面図である。図中、500a
はマフラであり、500bおよび500cは左右のストツプラン
プ及びウインカである。第６図に示したような車両は、
マフラの位置に対する左右夫々のストツプランプ及びウ
インカの互いの位置関係は大体決まつている。第６図の
例では、マフラ500aは車両500の右側に寄つているが、
なかには、左側に寄つている車両もあろう。しかし、そ
の場合でも、マフラに対するストツプランプ及びウイン
カ位置関係は既知の範囲内にあるといつて良い。

この実施例では、赤外線カメラ10で得たイメージメモ
リ13中の画像からマフラの位置P_Mを得たら、次に、イメ
ージメモリ18の画像空間のP_Mを起点にして、上記の位置
関係にある範囲内の画像データについて、ストツプラン
プ等の認識を行なう。この認識において、認識速度を高
めるために、実施例の装置では、次のような工夫を凝ら
している。即ち、一般的に、ストツプランプは赤であ
り、ウインカは橙色である。そこで、演算装置17が、後
述の計算に従つて、ストツプランプやウインカの色の画
像データを抽出し、この色の画像データについて、認識
処理を行なうようにしている。第７図は、マフラ位置P_M
を起点にした、この認識処理対象領域700を示すもので
ある。尚、マフラが車両の右側にある場合も鑑みて、処
理領域701を設定することが必要な場合がある。

第8A図および第8B図は、制御装置14によつて実行され
る制御の手順を示すフローチヤートである。第8B図に示
した制御手順は、制御装置14が可視光カメラ16及び演算
装置17を制御して、カラー画像をイメージメモリ18に格
納し、更に、赤と橙の画像をワークメモリ15に格納する
ための手順である。また、第8A図に示した制御手順は、
カメラ10、比較器11、演算装置12を制御して、赤外光像
をイメージメモリ13に格納すると共に、マフラ位置P_Mを
検出し、この位置から第７図で説明した領域のイメージ
メモリ18内の画像についてストツプランプ等を認識し、
さらに、この認識により、前方の物体を車両と認識する
までの手順を示す。尚、第8A図の手順と第8B図の手順
は、制御装置14により例えば周知のマルチタスク制御に
より、並行に実行される。

先ず、カラー画像の入力について第8B図に従つて説明
する。ステツプS40において、可視光カメラ16が撮影し
たRGBの画像信号を１フレーム分イメージメモリ18に記
憶する。次に、ステツプS42で演算装置17に対して、赤
色及び橙色の画素を抽出するための演算を行なわせ、ス
テツプS44でその結果をワークメモリ15に記憶する。こ
の場合、カメラ16が読取つたRGBの画像データを以下の
式に基づいて正規化する。

ここで、 Ｔ＝Ｒ＋Ｇ＋Ｂ ‥‥‥（２） である。またはノイズ除去のために、以下の範囲外のカ
ラー濃度rgbを有する画素を除去する。

r_L≦ｒ≦r_H g_L≦ｇ≦g_H ‥‥‥（３） b_L≦ｂ≦b_H かくして、ワークメモリ15には、（３）の範囲内にある
カラー濃度を有する画像（この画像はストツプランプ等
の画像である筈であり、例えば第5B図のようなものであ
る）が格納された。第９図に、ワークメモリ内における
データ配置状態について示す。赤及び橙の画像が記憶さ
れるワークメモリ15の領域900は赤外光像が記憶される
メモリ13と一致するように設定されている。

次に、赤外光像の入力及び、マフラの認識、車両の認
識制御について第8B図に従つて説明する。ステツプS2に
おいて、カメラ10及び比較器11を駆動して、赤外光像を
イメージメモリ13に記憶する。次に、イメージメモリ13
の画像に対してステツプS4で二値化処理を行なつて、マ
フラの像を抽出する。次に、ステツプS6で、演算装置12
に対して、イメージメモリ13の二値画像に対して特徴量
演算を行なわせる。この特徴量の演算は、イメージメモ
リ13内の二値画像について輪郭線検出を行ない、その輪
郭線で囲まれる面積S_nを計算することである。ここで、
ｎは輪郭線抽出により二値画像内に検出された閉曲線の
番号である。ステツプS8では、計算された面積が一定の
範囲内にあるものをマフラの候補として抽出する。その
範囲とは、 t_L≦S_n≦t_H で表わされる。第5A図の例では、マフラ301aの面積が
S₁、マフラ302aの面積がS₂と計算されたとすると、 t_L≦S₁,S₂≦t_H であることが予想される。

ステツプS10では、マフラの候補が少なくとも１つ見
付かつたか否かが判断され、１つも見付からなかつた場
合は、現時点では、カメラ10の視界には車両は存在しな
いことを意味するので、マルチタスクプログラムにリタ
ーンする。そして、ステツプS2〜ステツプS8の操作を、
ステツプS10でマフラの候補点が見付かるまで繰返され
る。ステツプS12では、見付かつた候補点P_Mnの座標をワ
ークメモリ15に記憶する。

ステツプS14〜ステツプS24のループは、ステツプS2〜
ステツプS10のループで見付かつた少なくとも１つの候
補の位置P_Mnの夫々について、その周りで第７図に示し
た領域を設定し、その領域内で、ワークメモリ15に格納
されている赤と橙の画像から、ストツプランプ及びウイ
ンカを抽出する制御である。即ち、P_Mnの各領域につい
て、ステツプS14でラベル付けを行ない、ステツプS16で
ラベルの付けられた範囲の画像の特徴量を演算する。こ
れらの特徴量とは、第７図に示すように、左右夫々のス
トツプランプ及びウインカと思われる像の大きさ、左右
間の距離Ｌ等である。ステツプS20では、これらの特徴
量に基づいて車両のストツプランプ及びウインカが認識
されたかを判断し、YESならば、ステツプS22で車両位置
をワークメモリに記憶する。

ステツプS14〜ステツプS22の操作を、ステツプS24で
全候補に対して行なうまで繰り替えす。もし、第5B図の
ような赤と橙の画像がワークメモリ15に記憶されていた
ならば、車両302のストツプランプ及びウインカは認識
されないので、マフラ302aはステツプS20の判断で候補
から除外される。

ステツプS26では上述の制御によつて少なくとも１つ
の車両が認識されたかを判断する。１つも認識されてい
ないならば、そのフレーム内には車両は撮影されていな
いのであるから、マルチタスク制御プログラムのメイン
ルーチンに戻つて、ステツプS2から実行される。ステツ
プS28では、複数の車両が認識された場合に、直前車を
認識する。これは、認識された車両位置が自車に最も近
いものを直前車とすることにより可能となる。ステツプ
S30では、その直前車の位置をワークメモリに記憶し、
ステツプS32で、追従走行制御装置200に対し、直前車が
認識された旨を通知する。

以上説明した実施例によると、 ：車両に特有な部分として、マフラ、ストツプラン
プ、ウインカの３つを選定し、このうち、マフラを最初
に検出すべきものと選定している。さらに、マフラの検
出のために、マフラだけが大量に放射する物理信号、即
ち、赤外線画像を用いている。従つて、マフラの検出
は、赤外線画像中には、マフラだけしか存在しない筈な
ので、その検出は極めて高速且つ高精度である。

：一方、ストツプランプ、ウインカを含む車両の画像
を可視光カメラで取り込んでおく。そして、で検出し
たマフラ位置に対して既知の位置関係にある筈のストツ
プランプ、ウインカを検出するために、このマフラ位置
に対して上記既知の関係である所定の領域を可視光カメ
ラ画像内に設定し、この領域にストツプランプ、ウイン
カを認識するための画像処理を集中する。この集中処理
のために、ストツプランプ、ウインカの認識処理の速度
及び精度が高いものとなる。

：前記実施例は、ストツプランプ、ウインカを含む前
方車の画像をカラー画像で取り込むようにしている。そ
して、ストツプランプ、ウインカが赤及び橙であること
に鑑みて、カラー画像中から、赤と橙の画素を抽出し、
この赤と橙で形成された画像に対して、ストツプラン
プ、ウインカを認識するための処理を集中することによ
り、ストツプランプ、ウインカの認識処理の速度及び精
度は、に比して更に高いものとなる。

：このように、高速且つ構成度に前方車が認識される
ので、第３図に示した前方車追従走行制御が高速且つ信
頼性のあるものとなる。

以下、第２図実施例に対する変形例を説明する。

：第２図実施例では、最初に検出すべき車両に特有な
部分としてマフラを選んだが、適当な物理信号を指向性
が少なく放射するものであるならば、マフラに限定され
ることはない。但し、この場合、次に検出すべき車両に
特有な部分が放射する物理信号と同じものを放射するよ
うな部分を選ぶべきでないことは言うまでもない。

：，で簡単に示唆したように、本発明では、スト
ツプランプ、ウインカの認識のためにカラー画像を用い
ることは本質的ではなく、モノクロ画像からストツプラ
ンプ、ウインカを認識してもよい。但し、この場合は、
ストツプランプ、ウインカ周辺の他の部分の画像も処理
対象となるので、第２図実施例の方式よりも若干処理速
度が遅いものとなる。しかし、この処理速度の遅れは、
で述べたところのマフラ周辺に画像処理対象領域が限
定され、その結果処理速度が上がるという効果により、
十分補償される。

：第２図実施例では、RGB系の画像データに対して画
像処理を行なつていたが、色度座標系（例えば、La＊ｂ
＊系）等を用いてもよい。

：第２図実施例システムでは、赤若しくは橙の画素を
抽出しているために、前方車が赤若しくは橙の車両であ
る場合には、ウインカ等と車体と区別がつかなくなる恐
れがある。このような車全体を認識する必要がある。

（発明の効果） 以上説明したように、本発明の移動車の前方車認識装
置及び方法は、外界の可視光画像と赤外光画像とを入力
し、入力された赤外光画像中において、車両に特有な既
知の部分の前記外界中の位置を検出し、検出された前記
特有な既知部分の位置に対して相対的に既知の位置関係
にある所定の画像領域を前記可視光画像中に設定し、前
記可視光画像中の前記画像領域内の可視光画像データに
対して、前記外界に車輌があるか否かの車両認識処理を
行なうようにしている。

即ち、車輌認識のための認識処理を行う画像処理領域
を、一般的に車輌に特有な部分（例えば、ウインカ、ブ
レーキランプ、マフラ）について上記赤外光画像中に検
出された位置（例えばウインカ、ブレーキランプ、マフ
ラの位置）に対して相対的に既知の位置関係にある画像
領域に設定することにより、即ち、限定することによ
り、画像データの処理量が減少するので、車輌認識のた
めの効率が上昇する。一方、この画像処理領域では、一
般的に車輌に特有な部分に対して相対的に既知の位置関
係にある車輌部分の画像領域であるはずなので、車輌認
識に好適な画像データがその画像処理領域に存在するこ
とが保証され、即ち、車輌認識の確実度が向上する。

【図面の簡単な説明】

第１図は本発明の構成を示す図、 第２図及び第３図は本発明を適用した実施例システムの
構成をブロツク的に示す図、 第４図は自車と前方車が道路上を走行している様子を示
す図、 第5A図，第5B図は夫々、赤外線カメラによつて捕えられ
た画像、可視光カメラによつて捕えられた画像の例を示
す図、 第６図は実施例に用いられる車両の背面図を示す図、 第７図はマフラに対する、ストツプランプ，ウインカ等
の位置関係を示す図、 第8A図，第8B図は夫々、実施例に係る制御手順を示すフ
ローチヤート、 第９図はワークメモリ15内のデータ配置状態を説明する
図である。 図中、 10……カメラ、11……比較器、12,17……演算装置、13,
18……イメージメモリ、14……前方車認識制御装置、15
……ワークメモリ、16……可視光カメラ、100……前方
車認識装置、200……追従走行制御装置、40……加減速
制御部、41……操舵制御部、42……ブレーキアクチユエ
ータ、43……スロツトルアクチユエータ、44……ステア
リングアクチユエータ、300……自車、301,302……前方
車、300a,301a,302a,500a……マフラ、500……車両、50
0b,500c……ストツプランプ等、700,701……認識対象領
域である。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭61−155908（ＪＰ，Ａ) 特開 昭63−120212（ＪＰ，Ａ) 特開 昭54−92117（ＪＰ，Ａ) 特開 昭62−205313（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) B60R 21/00 G08G 1/16

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】外界の可視光画像を入力する可視光画像入
   力手段と、 前記外界の赤外光画像を入力する赤外光画像入力手段
   と、 入力された前記外界の赤外光画像中における、車両に特
   有な既知の部分の前記外界中の位置を検出する検出手段
   と、 前記検出手段により検出された前記特有な既知部分の位
   置に対して相対的に既知の位置関係にある所定の画像領
   域を、前記可視光画像中に設定する手段と、 前記可視光画像中の前記画像領域内の可視光画像データ
   に対して、前記外界に車輌があるか否かの車両認識処理
   を行なう車輌認識手段とを備えた移動車の前方車認識装
   置。
2. 【請求項２】外界の可視光画像と赤外光画像とを入力
   し、 入力された赤外光画像中において、車両に特有な既知の
   部分の前記外界中の位置を検出し、 検出された前記特有な既知部分の位置に対して相対的に
   既知の位置関係にある所定の画像領域を前記可視光画像
   中に設定し、 前記可視光画像中の前記画像領域内の可視光画像データ
   に対して、前記外界に車輌があるか否かの車両認識処理
   を行なうことを特徴とする移動車の前方車認識方法。