JP6194245B2

JP6194245B2 - 信号機認識装置

Info

Publication number: JP6194245B2
Application number: JP2013271586A
Authority: JP
Inventors: 中川　亮; 亮中川
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2013-12-27
Filing date: 2013-12-27
Publication date: 2017-09-06
Anticipated expiration: 2033-12-27
Also published as: JP2015125708A

Description

本発明は、車載カメラで撮影した画像に基づき主信号機、及びこの主信号機の手前に設置されている補助信号機を認識し、この補助信号機が車載カメラの画角から外れた場合であっても補助信号機の情報を推定するようにした信号機認識装置に関する。

近年、自動車等の車両では、車載カメラ等により自車両前方の走行環境を撮影し、撮影した画像から先行車や信号機等の物体を認識すると共に、信号機であれば、その点灯している信号の灯火色を認識し、必要な注意警報・自動ブレーキの作動等の運転支援制御を行う技術が知られている。

交差点に設置されている信号機を認識する技術として、例えば特許文献１（特許第４８５２９０５号公報）には、車載カメラから信号機までの直線距離と仰角とに応じて、信号機に対応するテンプレートを１画素ずつずらしながらテンプレートマッチングを行って、テンプレートとの相関を計算し、この相関が最も高い値となった画像上の位置に信号機があると認識する技術が開示されている。

この文献に開示されている技術によれば、車載カメラから信号機までの距離が近くなるほど、撮像面に撮像される信号機の画素数が多くなるため、対応するテンプレートも大きくなるので、遠方よりも高い精度で信号機を認識することができる。

ところで、最近では、交差点において、走行車線前方の信号機（以下、「主信号機」と称する）に加え、対向車線側に設置されている対向車線用信号機の背面に、主信号機を補助するための信号機（以下、「補助信号機」と称する）を設置しているものも増えている。

この補助信号機は、自車両前方を走行する大型車両によって主信号機に対する視界が遮られても、補助信号機を認識することで安全に交差点を通過できるように配慮したものであり、当然、各信号灯は主信号機と同じタイミングで各信号灯が点灯或いは点滅する。この補助信号機は主信号機よりも自車両に対して近い位置にあり、従って、差点手前では、主信号機よりも高い精度で補助信号機を認識することができる。従って、この補助信号機を追跡対象とすることで高精度な運転支援を行うことが可能となる。

特許第４８５２９０５号公報

しかし、補助信号灯は、対向車線用信号機の背面に取付けられているため、自車両が交差点に近づくと、主信号機よりも早期に画角から外れてしまう。通常走行において、前方の固定物が一時的なロストではなく、画角から外れた場合、再度認識されることはないので、車載カメラで撮影した画像に基づいて認識した固定物の情報はクリアされる。従って、補助信号機も画角から外れた場合、その情報はクリアされる。

補助信号機が画角から外れた場合、運転支援制御では自車進行路上の次に最も近い位置にある信号機、すなわち主信号機を追跡対象信号機として認識し、この主信号機に基づいて制御を継続させる。しかし、主信号機は交差点を挟んで遠方にあり、例えば、信号機を基準に交差点を判定する運転支援制御では、交差点手前において、補助信号機を基準に交差点を判定し、自動ブレーキ制御等の運転支援を行っている際に、補助信号機が画角から外れたため、追跡対象が遠方の主信号機に切り替わると、交差点の位置判定に若干のずれが生じて制御ハンチングが発生し易くなり、制御性が悪化する不具合がある。

この対策として、当初から補助信号機を追跡対象から排除し、主信号機を追跡対象とすることも考えられるが、制御精度が低下してしまう不都合がある。

本発明は、上記事情に鑑み、補助信号機が画角から外れとなった後の追跡対象が主信号機に切り替わる迄の間の過度状態において、運転支援制御等における制御ハンチングを防止し、良好な制御性を得ることのできる信号機認識装置を提供することを目的とする。

本発明による信号機認識装置は、自車両前方の走行環境を撮影する車載カメラと、前記車載カメラで撮影した画像から主信号機、及び該主信号機よりも手前にあり該主信号機と同じ動作をする補助信号機を認識する信号機認識手段と、認識した前記補助信号機の情報を格納する記憶手段とを備え、前記信号機認識手段は、前記車載カメラで撮影した画像から撮像面上の前記補助信号機の設置位置を求め、該設置位置から画角外れとなる距離を算出する画角外れ距離算出手段と、前記自車両と前記補助信号機との間の距離が前記画角外れとなる距離に達したか否かを判定する画角外れ判定手段と、前記画角外れ判定手段で前記自車両と前記補助信号機との間の距離が前記画角外れとなる距離に達した後に画角外れと判定した場合、前記画角外れとなる距離を基準に前記自車両の移動距離に基づいて該自車両と前記補助信号機との間の距離を推定すると共に、前記主信号機の動作を該補助信号機の動作として設定する画角外れ信号機推定手段とを備える。

本発明によれば、車載カメラで撮影した補助信号機が撮像面から画角外れとなったときでも、この補助信号機の情報をクリアせず、継続的に推定させるようにしたので、補助信号機が画角から外れとなった後の追跡対象が主信号機に切り替わる迄の間の過度状態において、運転支援制御等における制御ハンチングが防止され、良好な制御性を得ることができる。

信号機認識装置の概略構成図信号機認識処理ルーチンを示すフローチャート画角外れ信号機推定処理ルーチンを示すフローチャート画角外れ距離の算出方法を示す説明図追跡対象信号機を補助信号機から主信号機へ切換えるタイミングを示すタイムチャート自車両が補助信号機と主信号機とを設置している交差点の手前を走行している状態の説明図画角外れ距離と補助信号機間距離との関係、及び画角外れとなった状態の説明図（ａ）は上画角外れの状態を示す画像の説明図、（ｂ）は横画角外れの状態を示す画像の説明図

以下、図面に基づいて本発明の一実施形態を説明する。図１の符号１は自動車等の車両（自車両）であり、この車両の車室内の前部であってフロントガラスの上部に車載カメラ２が臨まされている。この車載カメラ２は、メインカメラ２ａとサブカメラ２ｂとからなるステレオカメラである。この各カメラ２ａ，２ｂには、ＣＣＤ，ＣＭＯＳ等の撮像素子（イメージセンサ）が内蔵されており、例えば、車幅方向中央に配設されているルームミラを挟んで左右の対称な位置に配設されている。尚、以下においては、特に断りのない限り、車載カメラ２と記載した場合は、便宜的にメインカメラ２ａとサブカメラ２ｂとの双方を示すものとする。

又、この車載カメラ２は自車進行路の走行環境をカラー画像で撮影するカラーカメラであり、各撮像素子の画素データは、Ｒ，Ｇ，Ｂ毎に８ビット（０〜２５５階調）の輝度値に設定されている。尚、輝度値は８ビットに限定されるものではない。

メインカメラ２ａは、ステレオ処理を行う際に必要な基準画像（右画像）を撮影し、サブカメラ２ｂは、この処理における比較画像（左画像）を撮影する。互いに同期している状態において、両カメラ２ａ，２ｂから出力される、Ｒ，Ｇ，Ｂの各アナログ画像が、Ａ／Ｄコンバータ３により所定階調のデジタル画像に変換される。そして、デジタル変換された画像は、画像認識ユニット１１に出力される。

画像認識ユニット１１は、マイクロコンピュータを主体に構成され、周知のＣＰＵ、ＲＯＭ、ＲＡＭ等を有しており、ＣＰＵで処理される信号機認識機能として、画像認識処理手段としての画像認識処理部１２、カメラ制御部１３、信号機認識手段としての信号機認識部１４を有し、更に、この画像認識ユニット１１は記憶手段としての記憶部１５を備えている。この記憶部１５には、追跡対象信号機情報を記憶する記憶領域（追跡対象信号機記憶部）と画角外れ信号機情報を記憶する領域（画角外れ信号機記憶部）とが設定されている。

画像認識処理部１２は、車載カメラ２で撮影した画像データに基づき、自車両前方の立体物を認識すると共に平均輝度値を算出する。すなわち、車載カメラ２で撮影した画像データには、立体物として、信号機、先行車、道路標識、白線、及び、対向車、歩行者等があり、これら各立体物を認識すると共に、これらと自車両１との距離を、メインカメラ２ａとサブカメラ２ｂとの視差から求める。この場合、信号機は所定高さ（約５〜６ｍ）の位置にあるため、路上の立体物として比較的早期に認識される。尚、各立体物の識別は、周知のパターンマッチング法等を用いて行われる。又、立体物と自車両１との距離の求め方については周知であるため説明を省略する。

信号機認識部１４は、画像認識処理部１２で処理した画像データに基づき、自車両１に最も近い主信号機２２、及びこの主信号機２２よりも手前にあり、且つ主信号機２２と同じ動作をする補助信号機２３を認識し、自車両１から両信号機２２，２３までの距離Ｌｍ，Ｌｓ、及び両信号機２２，２３の点灯している信号（赤、黄、青）を調べ、これら両信号機２２，２３の情報を記憶部１５に設定されている追跡対象信号機記憶部に逐次格納する。

ところで、主信号機２２に対し、これに対をなす補助信号機２３が付設されているか否かは、例えば、図６に示すように、自車両１から最も近い位置にある信号機（図においては補助信号機２３）と自車両１との間の距離Ｌｓと、その前方にある信号機（図においては主信号機２２）と自車両１との距離Ｌｍとをそれぞれ求め、両距離Ｌｍ，Ｌｓの差分Ｌｍ−Ｌｓが所定範囲に収まっている場合、手前の信号機は補助信号機２３であると判定する。

又、補助信号機２３は、幹線道路等、比較的車線幅の広い道路の交差点２１に設置されている場合が多い。この補助信号機２３は対向車線側に設置されている対向車線用信号機の背面に固定されており、各信号灯は主信号機２２と同じタイミングで点灯する。更に、この各信号機２２，２３は横断歩道２４ａ，２４ｂの手前に設置されている場合が多く、従って、横方向では、おおよそ対向車線側の停止線２５付近に位置している。

又、主信号機２２と補助信号機２３とは、少なくとも交差点２１、及び両横断歩道２４ａ，２４ｂを挟んだ分だけ離れており、従って、車載カメラ２の撮像面に結像する信号機２２，２３の画素数は、主信号機２２よりも補助信号機２３のほうが多く、そのため、補助信号機２３は主信号機２２よりもより正確に認識することができる。しかし、補助信号機２３は主信号機２２よりも自車両１に対して必ず手前側で認識されるため、画角外れ（撮像面の撮像領域領から外れる現象）は主信号機２２よりも早期に発生する。

ここで、図４を参照して、上画角外れとなる距離（上画角外れ距離）Ｌｚの算出方法について説明する。尚、図中のｓは撮像面の上下方向の１／２サイズ、ｆは撮像面からの焦点距離、ｈは補助信号機２３の撮像面の上下方向中央からの高さであり、上方の画角外れ（上画角外れ）の生じる距離Ｌｚは、
Ｌｚ＝（ｆ・ｈ／ｓ）＋ｆ…（１）
から求めることができる。この場合、焦点距離ｆは短いため無視すれば、
Ｌｚ＝ｆ・ｈ／ｓ…（２）
となる。尚、図中のθは画角である。

同様に、横方向の画角外れ（横画角外れ）の生じる距離Ｌｙは、上式（１），（２）の高さｈを撮像面の幅方向中央からの横距離（補助信号機２３の外側端部までの距離）ｗと読み替え、画像面の上下方向の１／２サイズｓを画像面の幅方向の１／２サイズｓと読み替えることで、（１’），（２'）式のように求めることができる。

Ｌｙ＝（ｆ・ｗ／ｓ）＋ｆ…（１’）
Ｌｙ＝ｆ・ｗ／ｓ…（２’）
従って、メインカメラ２ａの撮像面に結像された補助信号機２３の画像に基づき撮像面の上下方向中央からの高さｈを求めることで、上画角外れ距離Ｌｚが求められ、撮像面の幅方向中央からの横距離ｗを求めることで、横画角外れ距離Ｌｙを求めることができる。

そして、上画角外れ距離Ｌｚと横画角外れ距離Ｌｙとを比較して、何れか長い方の距離、すなわち、早期に画角外れが生じる側の距離を真の画角外れ距離Ｌｇとして設定する。

上述した補助信号機２３の高さは、画像認識処理部１２で求めた自車両１から補助信号機２３までの距離（補助信号機間距離）Ｌｓ（図６参照）に基づき、撮像面の１画素ピッチ当たりの実高さを求め、撮像面の上下方向中央から補助信号機２３の上端までの画素数に１ピッチ当たりの実高さを掛けることで求めることができる。同様に、横距離ｗは、補助信号機間距離Ｌｓ（図６参照）に基づいて求めた撮像面の１画素ピッチ当たりの実横長さに、撮像面の幅方向中央から補助信号機２３の外側端部までの画素数を掛けることで求めることができる。

そして、信号機認識部１４は、上述した画角外れ距離Ｌｇに基づき、自車両１が画角外れ距離Ｌｇに達したか否かを調べ、画角外れ距離Ｌｇに達した後、補助信号機２３に関する情報はクリアせず、継続的に推定させる。

上述した信号機認識部１４での信号機認識処理は、具体的には、図２に示す信号機認識処理ルーチンに従って実行される。このルーチンは、車載カメラ２のフレームレートに対応して起動され、先ず、ステップＳ１で、追跡対象信号機記憶部に記憶されている補助信号機２３の情報に基づき、前回のフレーム画像で認識した補助信号機２３が、今回のフレーム画像でも認識されているか否かの信号機追跡処理を行い、ステップＳ２へ進み、今回のフレーム画像においても補助信号機２３が認識されている場合、信号機追跡が継続していると判定し、ステップＳ１１へジャンプする。又、今回のフレーム画像からは補助信号機２３が認識されていない場合、ステップＳ３へ進み、ステップＳ３，Ｓ４で一時的なロストか、画角外れかを調べる。

先ず、ステップＳ３では、追跡対象信号機である補助信号機２３の設置位置を特定する高さｈと横距離ｗとに基づき、上画角外れ距離Ｌｚと横画角外れ距離Ｌｙとを上述した（２），（２’）式から各々求め、何れか長い方の距離を真の画角外れ距離Ｌｇとして設定する（Ｌｇ←ｍａｘ(Ｌｚ，Ｌｙ））。因みに、図７は自車両１の補助信号機間距離Ｌｓが上画角外れ距離Ｌｚに達した状態を示し、この状態から更に進むと、図８（ａ）に示すように、補助信号機２３が上画角外れを生じる。この状態は、Ｌｚ＞Ｌｙであるため、真の画角外れ距離Ｌｇは上画角外れ距離Ｌｚで設定される（Ｌｇ←Ｌｚ）。尚、このステップＳ３での処理が、本発明の画角外れ距離算出手段に対応している。

そして、ステップＳ４へ進み、画像認識処理部１２で求めた補助信号機間距離Ｌｓと、真の画角外れ距離Ｌｇとを比較する。そして、Ｌｓ≧Ｌｇの場合、未だ、自車両１が画角外れ距離Ｌｇに到達しておらず、一時的なロストと判定し、ステップＳ１１へジャンプする。ステップＳ２或いはステップＳ４からステップＳ１１へ進むと、画角外れポイントＰｉをクリアして（Ｐｉ←０）、ルーチンを抜ける。

一方、ステップＳ４で、Ｌｓ＜Ｌｇと判定された場合、自車両１が画角外れ距離Ｌｇに到達し、上画角外れ（図８(a)参照）、或いは横画角外れ（図８(b)参照）が生じているため、ステップＳ５へ進み、画角外れポイントＰｉをインクリメントし（Ｐｉ←Ｐｉ＋１）、ステップＳ６へ進む。ステップＳ６では、画角外れポイントＰｉと予め設定されている画角外れ継続判定しきい値Ｐｏとを比較する。このる画角外れ継続判定しきい値Ｐｏは、自車両１が画角外れ距離Ｌｇに到達した直後の過度状態における誤判定を防止するためのものであり、画角外れ継続判定しきい値Ｐｏは予め実験等から求めて設定されている。尚、本実施形態では、この画角外れ継続判定しきい値Ｐｏを所定フレーム数（例えば、フレームレート３０［fps］場合、１０程度）に対応する値に設定している。

そして、Ｐｉ＜Ｐｏの場合、画角外れ継続判定しきい値Ｐｏに達していないため、ルーチンを抜ける。一方、Ｐｉ≧Ｐｏの場合、補助信号機２３は画角外れ状態にあると判定し、ステップＳ７へ進む。尚、このステップＳ４〜Ｓ６での処理が、本発明の画角外れ判定手段に対応している。

又、ステップＳ７へ進むと、追跡対象信号機記憶部に格納されている主信号機２２の情報に基づき主信号機２２が認識されているか否かを調べ、主信号機２２が認識されていない場合、主信号機２２の点灯している信号に基づいて補助信号機２３の点灯している信号を設定することができないため、そのままルーチンを抜ける。

一方、主信号機２２が認識されている場合、ステップＳ８へ進み、追跡対象信号機記憶部に格納されている、画角外れとなった補助信号機２３の情報を、画角外れ信号機記憶部へ移動させて、ステップＳ９へ進む。追跡対象信号機記憶部に格納されている両信号機２２，２３の情報は、他の制御処理においても読込まれるため、画角外れとなった補助信号機２３の情報は、追跡対象信号機記憶部ではクリアして画角外れ信号機記憶部に記憶させるようにしている。尚、このステップＳ８での処理が、本発明の記憶情報移動手段に対応している。

そして、ステップＳ９へ進むと、後述する画角外れ信号機推定処理ルーチンで求めた補助信号機間距離Ｌｓの推定値（推定補助信号機間距離）Ｌｓ’に基づき、自車両１が画角外れとなった補助信号機２３を通過したか否かを調べ、通過していない場合（０＜Ｌｓ’）、そのままルーチンを抜ける。又、通過した場合（Ｌｓ’≦０）、ステップＳ１０へ進み、画角外れ信号機記憶部に記憶されている画角外れとなっている補助信号機２３の情報をクリアして、ルーチンを抜ける。このステップＳ９，Ｓ１０での処理が、本発明の補助信号機情報クリア手段に対応している。

この画角外れ信号機記憶部に記憶されている画角外れとなっている補助信号機２３の情報は、図３に示す画角外れ信号機推定処理ルーチンにおいて逐次更新される。尚、このフローチャートでの処理が本発明の画角外れ信号機推定手段に対応している。

このルーチンでは、先ず、ステップＳ２１で自車両１の移動距離に基づき推定補助信号機間距離Ｌｓ’を設定する。すなわち、自車両１の移動距離はＧＰＳを利用した測位情報に基づいて算出し、或いは車速センサで検出した車速に基づいて算出する。そして、補助信号機２３が画角外れ距離Ｌｇに到達したときから、この画角外れ距離Ｌｇを基準に、この画角外れ距離Ｌｇから移動距離を減算して推定補助信号機間距離Ｌｓ’を設定し、記憶させる。

次いで、ステップＳ２２へ進み、主信号機２２の点灯している信号の灯火色を調べ、この灯火色を補助信号機２３の灯火色として記憶させ、ルーチンを抜ける。この場合、信号の灯火色は、点灯している信号灯の色を検出することで行っても良いが、信号灯の配列は予め決められているため、各信号灯の輝度を検出し、高い輝度を示す信号灯の配列位置から点灯している信号の灯火色を認識するようにしても良い。

この画角外れ信号機記憶部に格納されている補助信号機２３の推定補助信号機間距離Ｌｓ’及び点灯している信号灯色は、例えば運転支援制御システムにて読込まれ、推定補助信号機間距離Ｌｓ’に基づいて交差点までの距離を推定すると共に、点灯している信号灯色が黄色、或いは赤色の場合、必要な注意警報・自動ブレーキの作動等の運転支援制御が行われる。

以上の結果、図５に示すように、補助信号機２３が画角外れとなった後であっても（時間ｔ１）、推定補助信号機間距離Ｌｓ’は自車両１が補助信号機２３を通過するまで、すなわち、自車両１が交差点に差し掛かるまで継続的に推定され、自車両１が補助信号機２３を通過すると（時間ｔ２）、その情報がクリアされ、主信号機２２が最も近い追跡対象信号機として設定される。

このように、本実施形態によれば、追跡対象信号機である補助信号機２３の画像が車載カメラ２の画角から外れた後、追跡対象が主信号機２２に切り替わる間の過度状態においては、補助信号機２３の情報をクリアせず、追跡対象として継続的に推定させるようにしたので、例えば、運転支援制御システムでは、交差点手前における必要な注意警報・自動ブレーキの作動等の運転支援制御が、画角外れとなった補助信号機２３の情報に基づいて行うことで、制御途中で追跡対象信号機が補助信号機から主信号機に切り替わることがなく、制御ハンチングが防止され、良好な制御性を得ることができる。

尚、本発明は、上述した実施形態に限るものではなく、主信号機と補助信号機とが交差点のない道路に設置されている場合であっても適用することができる。又、車載カメラ２はモノクロカメラであっても良い。

１…自車両、
２…車載カメラ、
１１…画像認識ユニット、
１４…信号機認識部、
１５…記憶部、
２２…主信号機、
２３…補助信号機、
Ｌｇ…画角外れ距離、
Ｌｓ…補助信号機間距離、
Ｌｓ’…推定補助信号機間距離、
Ｌｙ…横画角外れ距離、
Ｌｚ…上画角外れ距離、
Ｐｉ…ポイント、
Ｐｏ…画角外れ継続判定しきい値

Claims

自車両前方の走行環境を撮影する車載カメラと、
前記車載カメラで撮影した画像から主信号機、及び該主信号機よりも手前にあり該主信号機と同じ動作をする補助信号機を認識する信号機認識手段と、
認識した前記補助信号機の情報を格納する記憶手段と
を備え、
前記信号機認識手段は、
前記車載カメラで撮影した画像から撮像面上の前記補助信号機の設置位置を求め、該設置位置から画角外れとなる距離を算出する画角外れ距離算出手段と、
前記自車両と前記補助信号機との間の距離が前記画角外れとなる距離に達したか否かを判定する画角外れ判定手段と、
前記画角外れ判定手段で前記自車両と前記補助信号機との間の距離が前記画角外れとなる距離に達した後に画角外れと判定した場合、前記画角外れとなる距離を基準に前記自車両の移動距離に基づいて該自車両と前記補助信号機との間の距離を推定すると共に、前記主信号機の動作を該補助信号機の動作として設定する画角外れ信号機推定手段と
を備えることを特徴とする信号機認識装置。
前記画角外れ判定手段は、前記自車両と前記補助信号機との間の距離が前記画角外れとなる距離に達したと判定した後、所定時間経過後に前記画角外れと判定する
ことを特徴とする請求項１記載の信号機認識装置。
前記信号機認識手段は、前記画角外れ信号機推定手段で設定した前記自車両と前記補助信号機との間の距離情報、及び前記補助信号機の動作情報を、前記記憶手段に設定されている追跡対象信号機記憶部から画角外れ信号機記憶部へ移動させる記憶情報移動手段
を更に備えることを特徴とする請求項１或いは２記載の信号機認識装置。
前記信号機認識手段は、前記画角外れ信号機記憶部に格納されている前記距離情報が０以下となったか否かを判定し、０以下となったとき前記距離情報及び前記動作情報をクリアする補助信号機情報クリア手段
を更に備えることを特徴とする請求項３記載の信号機認識装置。