JPH09272414A - 車両制御装置 - Google Patents

Abstract

(57)【要約】 【課題】 車両候補位置付近に限って設定した範囲の画
像情報のみに対して画像認識処理を行うことにより、簡
易な処理装置で先行車両の合図等の画像認識ができ、さ
らにその認識結果を用いて先行車両の挙動を予測した走
行制御を行うことで、熟練した運転者による車両操作と
違和感の少ない制御を行う。 【解決手段】 先行車両を認識するレーザーレーダー１
と、自車両の前方を撮像するカメラ３と、撮像された画
面中、画像処理範囲を先行車両が認識された範囲に設定
するＡ／Ｄ値記憶部６と、この設定された範囲を画像処
理して先行車両の自車両に対する合図を認識する合図認
識部７と、認識結果に基づき先行車両の挙動変化を予測
して自車両の走行を制御する判断部１３とを備えてい
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像処理技術を
用いて認識した先行車両の位置情報に基づいて自車両の
走行制御或いは車間距離近接の警報を発する車両制御装
置に関するものである。

【０００２】

【従来の技術】従来、車両認識装置と画像処理装置とを
組み合わせて自車両の位置情報を得て、自車両前方の障
害物への追突を防止する装置として、例えば特開平５−
１１３４８２号公報に開示された車載用追突防止装置が
ある。この装置は、車両認識装置としての車載テレビカ
メラで撮影した車両前方の画像を、画像処理装置で処理
して自車両の走行車線を検出する。そして、この走行車
線の前方の曲がり具合に応じて同じく車両認識装置を構
成するレーザレーダのビームの投射方向を設定すること
で自車両の行く手の障害物を検出して追突を防止するよ
うにしたものである。

【０００３】また、先行車両の画像認識処理結果を使用
して車間距離警報を発する従来の装置として、特公平６
−１０８３９号公報に開示された先行車両の警報ランプ
認識装置がある。この装置は自車両前方をカラーテレビ
カメラで撮像して得られたカラー映像信号から特定の色
彩のカラー画像信号を抽出する。

【０００４】抽出されたカラー画像信号に基づいて先行
車両のブレーキランプ等を判別認識すると共に、この認
識されたカラー画像信号の時間経過に伴う変化によって
先行車両との距離および相対速度等を演算し、演算結果
に基づいて運転者に先行車両との近接を警報するように
したものである。

【０００５】

【発明が解決しようとする課題】従来の車載用追突防止
装置は以上のように、先行車両の位置をレーザレーダで
精密に計測し、この計測結果を基に自車両と先行車両間
の距離や相対速度を算出し、更に画像認識によって得ら
れた自車両の走行車線情報を加味して自車両の運転者へ
警報または追突回避のための走行制御を行っていた。

【０００６】しかしながら、走行制御は、基本的に先行
車が挙動変化を起こしてからその挙動変化に対応して開
始することになる。即ち、先行車両が自車線に侵入して
来てから或いはブレーキをかけから初めて走行制御を開
始する。その結果、熟練した運転者が先行車両のターン
シグナルやストップランプの点灯に対応して追突回避の
ための車両操作を起こすタイミングと比べ、走行制御の
開始が遅れる。そのために、走行制御による自動車両操
作切り替えに対するフィーリングが、追突回避のために
行う熟練した運転者の手動車両操作と合わず違和感を感
じる等の問題点があった。

【０００７】また、従来の先行車両の警報ランプ認識装
置においては、車両認識用センサによる車両認識領域と
は無関係に自車両前方の情景全体の画像認識処理を行う
ため、画像認識処理範囲が広くなり画像処理に時間を要
した。また、認識対象物の認識精度を向上させるために
は対象物の色情報が不可欠である。

【０００８】従って、増大した画像データの処理を高速
化するために高速演算処理装置を必要とし、また色情報
を得るためにカラーテレビカメラが必要となると共に、
カラー映像信号処理のための回路を必要とすることから
回路の規模が大きくなり、全体的に装置のコスト高や大
型化を招くといった問題点があった。

【０００９】この発明は上記のような問題点を解消する
ためになされたもので、画像中の認識処理対象を限定し
て処理することで装置の低コスト化及び小規模化を実現
すると共に、実際に運転者が先行車両を意識して手動に
て行う安全運転操作と遜色のない自動安全運転制御を行
うことができる車両制御装置を得ることを目的とする。

【００１０】

【課題を解決するための手段】請求項１の発明に係る車
両制御装置は、先行車両を認識する車両認識手段と、自
車両の前方を撮像する撮像手段と、前記撮像された画面
中、画像処理範囲を前記先行車両が認識された範囲に設
定する処理範囲設定手段と、この設定された範囲を画像
処理する画像処理手段と、画像処理結果に基づき前記先
行車両の挙動変化を予測して自車両の走行を制御する制
御手段とを備えたものである。

【００１１】請求項２の発明に係る車両制御装置は、請
求項１において、撮像手段にモノクロカメラを用いたも
のである。

【００１２】請求項３の発明に係る車両制御装置は、請
求項１において、画像処理手段が先行車両後部に設けら
れた灯火器の点灯或いは消灯状態を認識し、制御手段が
この認識結果に基づいて先行車両の挙動変化を予測する
ものである。

【００１３】請求項４の発明に係る車両制御装置は、請
求項１ないし３のいずれかにおいて、画像処理手段が、
自車両と先行車両との距離に応じて画像処理精度を可変
するものである。

【００１４】請求項５の発明に係る車両制御装置は、請
求項１ないし４のいずれかにおいて、画像処理手段が、
路面上の走行車線区分用の車線を認識する車線認識手段
を有し、車線認識時に灯火器の点灯或いは消灯状態を認
識結果を補正するものである。

【００１５】請求項６の発明に係る車両制御装置は、請
求項１または２において、撮像手段にステレオカメラを
用いたものである。

【００１６】

【発明の実施の形態】

実施の形態１．以下、この発明の実施の形態１を図につ
いて説明する。図１は本実施の形態に係る車両制御装置
の構成を示すブロック図である。図において、１は先行
車両を認識する車両認識用センサとしてレーザレーダで
あり、このレーザレーダ１は図２に示すように車両のフ
ロントグリルに装着されている。レーザレーダ１は自車
前方の先行車両との間の距離および方向を測定するよう
に設定されている。

【００１７】２はレーザレーダ１からの情報を基に先行
車両後部両端のリフレクタの位置を割り出す車両認識処
理部、３は自車両周辺の情景を撮影する撮像手段として
のモノトーンのカメラ３であって、このカメラ３は図２
に示すように車両のルームミラーにフロントグラスに向
けて内蔵されている。カメラ３は自車両前方の道路や先
行車両などの情景を撮像するように設定されている。
尚、レーザレーダ１及び車両認識処理部２から車両認識
手段が構成される。

【００１８】４はカメラ３から出力されたビデオ信号よ
りタイミング信号を分離するなどの前処理を行い画像信
号を出力する信号変換部、５は信号変換部４から出力さ
れた画像信号をデジタル信号に変換するＡ／Ｄ変換部、
６は処理範囲設定手段としてのＡ／Ｄ記憶部であり、こ
のＡ／Ｄ記憶部６はＡ／Ｄ変換部５より出力された情景
の画像信号における先行車両部分にウインドをかけてフ
レーム（画像処理範囲）を設定し、フレーム領域内の画
像データを記憶する。尚、フレーム設定領域は車両認識
処理部２により認識された車両位置情報、即ちリフレク
位置により概ね決定することができる。

【００１９】７は合図認識部であり、この合図認識部７
はＡ／Ｄ値記憶部６より得られた画像信号のＡ／Ｄ値の
レベルや左右対象性等の特徴からブレーキランプやター
ンシグナル等の点灯を検知し、先行車両の自車両に対す
る合図を認識する。８はＡ／Ｄ値記憶部６より得られた
画像信号のＡ／Ｄ値を２値化処理して情景画像の輪郭デ
ータを記憶する２値化データ記憶部、９は２値化された
輪郭データを基に走行路上の白線等の特徴を抽出し、自
車両の走行車線等の認識を行う車線認識部である。尚、
合図認識部は画像処理手段の一部を構成する。

【００２０】１０はカメラ３の出力であるビデオ信号の
レベルが後処理に最適なレベルとなるようにカメラ３の
絞り等を調節する受光感度調整部、１１は自車両の車速
等の車両運転状態を検出するための車両運転状態セン
サ、１２は車両運転状態センサ１１から出力される検出
信号の波形整形を行う信号変換部、１３は各認識結果お
よび車両の運転状態を基に自車両の各種制御の指示を発
するための制御手段としての判断部である。

【００２１】１４は判断部１３からの指示に従い自車両
のスロットル開度の制御を行うスロットル制御部、１５
は判断部１３からの指示に従い自車両のブレーキの制御
を行うブレーキ制御部、１６は判断部１３からの指示に
従い運転者へ、例えば車間距離が近接している等の警報
制御を行う警報制御部である。

【００２２】次に、本実施の形態の動作を図３のフロー
チャートに沿って説明する。先ず、ステップＳ１０１で
は装置の電源投入直後に各種設定データの初期設定を行
う。次にステップＳ１０２で、車両認識処理部２はレー
ザレーダ１からの情報を基に割り出した先行車両のリフ
レクタの位置に基づき、先行車両の位置情報を認識す
る。

【００２３】一方、カメラ３から入力された自車両前方
の情景のビデオ信号は信号変換部４により信号処理され
た後にＡ／Ｄ変換部５でデジタル信号による画像信号に
変換される。画像信号は２値化データ記憶部８で２値化
処理されて記憶されると共に、車線認識部９に入力され
て自車両の走行車線の認識処理に用いられる。

【００２４】更にステップＳ１０３では、Ａ／Ｄ変換部
５より入力された画像信号は車両認識処理部２で認識さ
れた車両位置情報と突き合わされ先行車両の位置付近に
相当する画像フレーム（図４の破線による矩形枠）を設
定する。設定された画像フレーム内の必要な画像データ
のＡ／Ｄ値が選択的にＡ／Ｄ値記憶部６に読み込まれ
る。

【００２５】本実施の形態における画像フレームの設定
手順としては以下のようである。図４に示す２台の先行
車両の後端に設置されたリフレクタまでの距離および方
向はレーザレーダ１からの情報により既知であり、また
カメラ３の取り付け角度も既知である。従って、画面上
で先行車両の後端に設置された灯火器類の映像が存在す
る範囲は特定できる。そのため、この範囲に基づいて画
像フレームを設定する。実際には、画像認識候補車両の
位置検出誤差や路面の勾配変化等の誤差要因を見込んだ
やや広めの画像フレームを設定し、画像処理の対象領域
とする。

【００２６】ステップＳ１０４で、合図認識部７は前回
読み込んだＡ／Ｄ値をＡ／Ｄ値記憶部６より読み出し、
ステップＳ１０５でＡ／Ｄ値を後述するＸ軸投影法によ
る処理に基づいて先行車両のブレーキランプ或いはター
ンシグナル等の点灯状態を検出する。判断部１３は点灯
状態を検出した結果より、先行車両の後方車両（自車両
を含む）に対する走行状態変更等の合図の特徴を抽出す
る。

【００２７】図５は、図４に示した自車線内前方の先行
車両に対する画像フレームより合図の特徴抽出のための
画像処理を行った例（この場合ターニングランプが点灯
した直後）を示す。図５の例では、先ず各画素の明るさ
を示すＡ／Ｄ値に対し、今回のＡ／Ｄ値と１回前のＡ／
Ｄ値との間で時間的差分演算を施した後、その差分値を
垂直方向に加算することによりＸ軸投影値を求め、この
値が所定値Ａを越えて極大となる垂直ラインを求める。

【００２８】求められた垂直ライン上のＡ／Ｄ値におい
て、所定値Ｂを越える部分が所定の幅Ｃ以下で存在すれ
ば、レーザレーダ１からの情報により求めた車両候補の
リフレクタの方向と垂直ラインでＡ／Ｄ値が所定値Ｂを
越える幅Ｃの方向との一致性を判断した上で、一致して
いればターニングランプの点灯と見なす。

【００２９】このようにして求めたターニングランプの
点灯（あるいは消灯）の情報と、各合図の持つ特徴とか
ら、ターンニングランプによる合図の有無を判定する。
具体的には、所定範囲内の周期で片側が点滅する場合は
ターンシグナル、両側同時に点灯する場合はブレーキラ
ンプと判定する。同様にハザードランプの点滅について
も識別が可能である。

【００３０】合図の特徴が抽出されたならば、ステップ
Ｓ１０６で制御用フラグをクリア（ＢＬ＝０，ＴＲ＝
０，ＴＬ＝０）する。ここでＢＬはブレーキランプの点
灯或いは消灯を示すフラグ、ＴＲは右ターニングランプ
の点灯或いは消灯を示すフラグ、ＴＬは左ターニングラ
ンプの点灯或いは消灯を示すフラグである。

【００３１】ステップＳ１０５おける合図の特徴抽出結
果は、ブレーキランプの点灯であることがステップＳ１
０７において判断部１３で判断されたならばフラグＢＬ
＝１とする。だが、合図の特徴抽出結果が例えば左車線
への変更を合図するターンシグナルの点灯であること
が、ステップＳ１０９において判断部１３で判断された
ならばフラグＢＬ＝１とする。或いは左車線への変更を
合図するターンシグナルの点灯であればフラグＢＲ＝１
とする。

【００３２】そして、ステップＳ１１１で判断部１３は
車線認識部９より車線認識結果、そして信号変換部１２
を通して車両運転状態センサ１１より自車両の車速、ハ
ンドル角等の車両運転状態を入力する。更に、ステップ
Ｓ１１２で、判断部１３はこれらの入力情報を総合的に
判断し、制御パラメータ（例えば、ブレーキランプの点
灯を判断したのであれば自車両のブレーキ制御タイミン
グ、先行車両の車線変更合図のターンシグナルの点灯の
判断であれば、車速に応じて車間距離を広げるための減
速動作に伴うスロットル開度、スロットル制御タイミン
グ等）を設定する。

【００３３】これら制御パラメータの設定に当たって
は、ステップＳ１０７〜１１０で認識された合図の状態
により制御パラメータを設定することで、走行制御の特
性が変更される。従って、自車両は、先行車両が実際に
挙動変化を起こしその挙動変化に対応して走行制御を行
うのではなく、挙動変化を予測しての走行制御であるた
め、自車両の運転者にとってよりフィーリングの良い走
行制御となる。

【００３４】具体的には、例えば隣車線を走行中の先行
車両が自車線側のターンシグナルを点滅させていると判
断した場合は、当該車両に対する自車線内割り込み判定
の感度を上げた制御パラメータ設定とすることにより、
自車前方への割り込みに対しても早めに同一車線内に入
ったと判定して減速制御や警報制御が行われるようにす
る。また、例えば自車線内の先行車のブレーキランプが
点灯していると判断した場合には、目標車間距離が長め
となるような制御パラメータ設定とすることにより、早
めに減速を始め、また早めに警報が発せられるようにす
る。

【００３５】実施の形態２．実施の形態１では、一度所
定の位置で検出したランプ点滅を合図の特徴抽出とした
が、ランプ点滅位置の検出精度を高めるために、今回の
ランプ点滅位置と前回のランプ点滅位置との一致性判定
や、Ｘ軸投影値等に対するフィルタリング処理などを追
加することで、ランプ点滅位置の誤検出を招き易い外乱
に対して強い、高精度な合図判断結果を得ることができ
る。

【００３６】実施の形態３．実施の形態１では、画像処
理が簡素化できるという本発明の特徴を生かす意味か
ら、コストの低いモノトーンのカメラを用いて画像信号
を得る例を示したが、カラーカメラを用いて得た画像信
号の色情報を処理して合図認識を行うことでも高精度な
合図判断結果を得ることができる。

【００３７】実施の形態４．また、図４から明らかなよ
うに、合図認識に用いる画像フレームは画像認識車両候
補が近距離に存在するほど大きくなり、画像フレーム内
の認識処理の計算量も多くなるが、画像フレーム内の画
像データを記憶する際に近距離の場合ほど間引いてサン
プリングして処理することで、記憶素子容量や処理時間
の増加を抑制しつつ十分な認識結果を得ることができ
る。

【００３８】実施の形態５．走行路面に描かれた走行車
線区分線を認識して画像として取り込まれた画像フレー
ム中のデータを処理しての合図認識処理結果を、車線認
識部９による車線認識結果で補正することで、合図認識
結果に対する画像フレーム内に入った走行車線区分線の
影響を軽減することができる。

【００３９】即ち、図６に示すように車両の一方の側面
と走行路面上の白色点線表示がほぼ重なるような状況の
場合は、白色点線は路面の黒地に対して輝度が高いため
にターンシグナルとの識別が難しくなる。そこで、白色
点線の位置に相当する部分の画像データを予め消去して
おくことにより、ターンシグナルの認識性を向上させる
ことができる。

【００４０】実施の形態６．実施の形態１では自車両前
方の車両に対応した走行制御および警報制御の例を示し
たが、例えば自車両後方側の車両を監視対象した場合
に、後方車両との車間距離警報にも本装置の適用が可能
である。

【００４１】実施の形態７．上記実施の形態１では、レ
ーザレーダ及びシングルレンズカメラを用いたが、車両
認識センサとしては電波式レーダを用いたり、合図等の
認識用カメラとしてステレオカメラを用いる例も考えら
れる。電波式レーダを用いることで雨、霧に対して感度
が低下するレーザレーダの欠点が解消できる。ステレオ
カメラを用いることで、先行車両までの距離をも画像処
理にて測定することができる。

【００４２】実施の形態８．上記実施の形態１では、今
回の画像と前回の画像におけるリフレクタ部分の画素の
明るさを示すＡ／Ｄ値の差分変化よりランプの点滅を判
断し、合図を認識した。しかし、走行路には街路灯等が
路上照明機器設置されているため、この街路灯が情景の
画像データに取り込まれると、ブレーキランプの点灯と
誤認識されることもある。

【００４３】そこで合図認識精度を高めるため、対象と
する画像の情景（カメラが向いている方向）等に応じ
て、例えば差分前の画素の明るさを示すＡ／Ｄ値におい
て、車両後方端部の灯火器と路上照明機器の画素の明る
さを示すＡ／Ｄ値を差別化するなどし、取り込んだ画像
データに路上照明機器の画素の明るさを示すＡ／Ｄ値が
現れてもブレーキランプの点灯と誤認識しないようにす
る処理を各Ａ／Ｄ値の差分化と併用する等の合図認識処
理手法も考えられる。

【００４４】

【発明の効果】請求項１の発明によれば、先行車両を認
識する車両認識手段と、自車両の前方を撮像する撮像手
段と、前記撮像された画面中、画像処理範囲を前記先行
車両が認識された範囲に設定する処理範囲設定手段と、
この設定された範囲を画像処理する画像処理手段と、画
像処理結果に基づき前記先行車両の挙動変化を予測して
自車両の走行を制御する制御手段とを備えたので、車両
認識手段からの情報によって得られた車両候補位置付近
に限られた範囲の画像情報のみに対して画像認識処理を
行うことにより、簡易な処理装置で先行車両の合図等の
画像認識ができ、さらにその認識結果を用いて先行車両
の挙動を予測した走行制御を行うことで、熟練した運転
者による車両操作と違和感の少ない制御を行うことがで
きるという効果がある。

【００４５】請求項２の発明によれば、撮像手段にモノ
クロカメラを用いたので、請求項１の効果に加えて装置
のコストが低価格できる共に、画像処理が簡易化できる
という効果がある。

【００４６】請求項３の発明によれば、画像処理手段が
先行車両後部に設けられた灯火器の点灯或いは消灯状態
を認識し、制御手段がこの認識結果に基づいて先行車両
の挙動変化を予測するようにしたので、限られた範囲の
画像情報のみに対して画像認識処理を行うことにより、
簡易な処理装置で先行車両の合図等の画像認識を高精度
にしかも短時間に行うことができるという効果がある。

【００４７】請求項４の発明によれば、画像処理手段は
自車両と先行車両との距離に応じて画像処理精度を可変
するようにしたので、先行車両の接近に伴い画像フレー
ムが大きくなっても、画像フレーム内に相当する画像デ
ータを記憶する際に、画像データを間引いてサンプリン
グして処理することで、記憶素子容量や処理時間の増加
を抑制しつつ十分な認識結果を得ることができるという
効果がある。

【００４８】請求項５の発明によれば、画像処理手段は
路面上の走行車線区分用の車線を認識する車線認識手段
を有し、車線認識時に灯火器の点灯或いは消灯状態を認
識結果を補正するようにしたので、画像フレーム内に入
った走行車線区分線の合図認識結果への影響を軽減でき
るという効果がある。

【００４９】請求項６の発明によれば、撮像手段にステ
レオカメラを用いたので、先行車両の画像認識と、距離
及び方向を測定を同時に行うことができるため装置のコ
ストが低価格すると共に、装置を小規模化できるという
効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１に係る車両制御装置
の構成図である。

【図２】 本実施の形態に係るレーザレーダ及びカメラ
の取り付け位置を説明する図である。

【図３】 本実施の形態の動作を説明するフローチャー
トである。

【図４】 本実施の形態に係る画像フレームの設定手順
を説明する画像データを示す図である。

【図５】 本実施の形態に係る合図の特徴を抽出する手
順を説明する画像データを示す図である。

【図６】 本実施の形態に係る走行車線区分線の合図認
識結果への影響を軽減する手順を説明する画像データを
示す図である。

【符号の説明】 １ レーザレーダ、２ 車両認識処理部、３ カメラ、
７ 合図認識部、１３判断部、１４ スロットル制御
部、１５ ブレーキ制御部、１６ 警報制御部。

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０１Ｂ 11/00 Ｇ０１Ｂ 11/00 Ｈ Ｇ０１Ｓ 11/12 Ｇ０１Ｓ 11/00 Ｂ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 先行車両を認識する車両認識手段と、自
   車両の前方を撮像する撮像手段と、前記撮像された画面
   中、画像処理範囲を前記先行車両が認識された範囲に設
   定する処理範囲設定手段と、この設定された範囲を画像
   処理する画像処理手段と、画像処理結果に基づて前記先
   行車両の挙動変化を予測し、自車両の走行を制御する制
   御手段とを備えたことを特徴とする車両制御装置。
2. 【請求項２】 撮像手段はモノクロカメラであることを
   特徴とする請求項１に記載の車両制御装置。
3. 【請求項３】 画像処理手段は先行車両後部に設けられ
   た灯火器の点灯或いは消灯状態を認識し、制御手段はこ
   の認識結果に基づいて先行車両の挙動変化を予測して車
   両の走行制御を行うことを特徴とする請求項１に記載の
   車両制御装置。
4. 【請求項４】 画像処理手段は、自車両と先行車両との
   距離に応じて画像処理精度を可変することを特徴とする
   請求項１ないし３のいずれかに記載の車両制御装置。
5. 【請求項５】 画像処理手段は、路面上の走行車線区分
   用の車線を認識する車線認識手段を有し、車線認識時に
   灯火器の点灯或いは消灯状態の認識結果を補正すること
   を特徴とする請求項１ないし４のいずれかに記載の車両
   制御装置。
6. 【請求項６】 撮像手段はステレオカメラを用いたこと
   を特徴とする請求項１または２に記載の車両制御装置。