JP3938532B2

JP3938532B2 - 車両制御装置、プログラム及び方法

Info

Publication number: JP3938532B2
Application number: JP2002260381A
Authority: JP
Inventors: 雄二長谷川
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2002-09-05
Filing date: 2002-09-05
Publication date: 2007-06-27
Anticipated expiration: 2022-09-05
Also published as: EP1396833A1; DE60300266T2; EP1396833B1; US6847894B1; DE60300266D1; JP2004102439A; ATE287113T1

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラ等により撮影された画像を用いて接近する車両を検出し、対応する操作を車両に指示する車両制御装置、プログラム及び方法に関する。
【０００２】
【従来の技術】
従来より、自動車にセンサやカメラ等を設置して、その出力から自車両に接近する他の車両を検出することが行われている。接近車両の有無の判定は、多くの場合、カメラにより撮影された画像から抽出された特徴量と予め準備されたテンプレートとのパターンマッチングによって実現されている。例えば、特許第３０１４２３３号は、撮影した画像を複数のウィンド領域に分割し、ウィンド領域毎に抽出した特徴量をデータ列として、画像に対応したパターンを作成しておき、このパターンと撮影した画像を比較することによって、接近対象を自動的かつ確実に判定することのできる接近対象物検出装置を開示している。
【０００３】
撮影した画像から特徴を抽出するには様々な方法を用いることができるが、中でもオプティカルフローを利用するものが多い。例えば、特許第３０１１５６６号は、撮影した画像からオプティカルフローを求め、これを利用して移動物体とその移動方向を検出することによって、背景と分離して接近車のみを検出することができる接近車監視装置を開示している。この発明では、オプティカルフローの利用によりノイズが除去され、より正確な検出が可能となっている。
【０００４】
さらに、画像処理により接近車を検出するだけでなく、これを自車両の制御にまで発展させることも行われている。例えば、特開２００１−１０１５９２号公報は、交差点等に進入する時に、その状況を事前に検出し、この検出結果に応じて衝突回避のための適切な措置を自動的に講じる車両用衝突防止装置を開示している。この装置によると、画像処理の結果、衝突回避のための措置が必要と判断されたときには、車両用衝突防止装置は、ブレーキを自動的に掛ける操作を指令したり、またはアクセルの運転者による踏み込みを一時的に禁止するようにしている。
【０００５】
【発明が解決しようとする課題】
画像から接近する車両を検出するには、画像と所定のテンプレートとのパターンマッチングを行う必要がある。しかし、比較のためのテンプレートを予め準備しておくようにすると、種々多様な状況において的確な車両制御を実現するためには非常に多数のテンプレートが必要となり、記憶容量の点から問題である。
【０００６】
また、運転者が他車両との衝突回避の措置が必要であると判断する場面は、走行中の道路状況や天候、運転者の性格等によって、かなりのばらつきがあると考えられる。従って、判定を行うためのテンプレートを固定してしまうと、柔軟性に欠け、また意図しない状況で衝突回避の措置が行われたりすることは、運転上好ましくない。
【０００７】
従って、比較的少ない記憶容量で実現可能であり、また運転者のブレーキタイミングの特性や車両を取り巻く状況に柔軟に対応することができる、入力画像に基づいた車両制御が必要とされている。
【０００８】
【課題を解決するための手段】
本発明の原理は、運転者によってブレーキ操作が実行される度に、判定用のテンプレートに車両前方の画像を反映させ、テンプレートと類似する画像が得られたときで、かつ運転者がアクセルの解除またはブレーキなどの衝突回避操作を行わなかった場合に、ブレーキ系のスロットル弁を閉側に強制駆動することで、アクセルを不能にし、かつ運転者が急ブレーキをかけた時のために十分なブレーキ力を発揮できるようにしておくものである。
【０００９】
本発明の一態様は、接近する車両を検出して自車両の衝突回避操作を行う車両制御装置である。この装置は、自車両の外部の画像を撮影する撮影手段と、他車両の接近を検出するためのテンプレートを記憶するテンプレート記憶手段と、運転者のブレーキ操作に応じて、テンプレートを更新するテンプレート更新手段と、撮影した画像とテンプレートとを比較して、他車両が接近しているか否かを判定するための評価値を算出する認識処理手段と、この評価値がしきい値を超えたとき、自車両に衝突回避操作を行わせる動作指示手段を備えている。
【００１０】
この構成によると、車両制御装置は、自車両の前方を撮影した画像に基づいて、前方を走行する車両が相当接近してきたために、自車両の減速や停止が必要であるか否かの判断を、評価値としきい値の比較によって行う。そして、減速や停止が必要と判断され、かつ、運転者によってアクセルペダルを戻したりブレーキペダルを踏むなどの衝突回避の操作が行われなかった場合に、自車両に衝突回避操作を行わせる制御信号を送信する。この結果、車両の衝突等を未然に防止できる。しきい値（実施形態におけるｋ₁）は１つとは限られず、複数のしきい値を持ち、どのしきい値を超えたかに応じて衝突回避操作の種類を変えることもできる。なお、衝突回避操作とは、例えばブレーキ系のスロットル弁を閉側に強制駆動することである。こうすると、車両の駆動力が低減し、またブレーキブースタに十分な負圧が供給されるので、運転者の判断が遅れ急ブレーキ操作となってしまったときでも、車両に十分な制動力を与えることができる。衝突回避操作には、他にも運転手への警報や警告表示、アクセルペダルの戻し及びブレーキペダルの強制駆動などが含まれる。
【００１１】
テンプレートは複数の小領域からなり、各小領域はそれぞれ固有値を持つ。固有値は好ましくは２５６階調の画素濃度値であるが、これに限定されず、撮影された画像に対してフーリエ変換、ガボール変換あるいはウェーブレット変換などを適用して得られる値でも良い。
【００１２】
認識処理手段は、以下のような手順で前記評価値を算出する。まず、撮影された画像とテンプレートとを小領域単位で比較して各小領域の近似度を算出する。次に、画像からオプティカルフローを算出する。続いて、近似度とオプティカルフローとを乗じることによって、各小領域の特徴値を算出する。そして、全ての特徴値と各小領域に与えらた重み付け値を足し合わせることによって前記評価値が得られる。特徴値とは、例えば後述の実施例における局所的動き量Ｖ_nである。また、近似度は、各小領域に含まれる画素濃度値の相加平均値と、各小領域の固有値との比較によって算出される。
【００１３】
テンプレート更新手段は、運転者によってブレーキ操作が行われると、他車両の接近情報を含む小領域の重み付けを大きくし（実施例のＳ３０８、Ｓ３１２における重み付け値Ｗ_ｎに対する処理）、さらに、当該小領域の固有値を、画像において対応する小領域の値に近づける（実施例のＳ３０８、Ｓ３１２におけるテンプレートＭ_ｎに対する処理）ように動作する。これにより、運転者がブレーキを踏むべきと判断した状況をテンプレートとして記憶させることができ、個々の運転者の個性や交通状況が車両接近の判定に反映されることになる。
【００１４】
テンプレートは、好ましくは、正極性の前記重み付け値が与えられるテンプレートと負極性の前記重み付け値が与えられるテンプレートからなるテンプレートセットとしてテンプレート記憶手段に記憶される。このテンプレートセットは１セットに限られず、車両の進行方向に対応して、左回転用、直進用及び右回転用の３種類を準備しても良い。この場合、テンプレート更新手段は、車両の進行方向に応じたセット内のテンプレートを更新し、認識処理手段は、車両の進行方向に応じたセット内のテンプレートについて前記評価値を算出する。このように、固定のテンプレートを多数準備しておく代わりに、運転者の個性や交通状況などに応じて行われるブレーキ操作に基づいて一定数のテンプレートが逐次更新されるようにすることで、テンプレート用の記憶容量を削減することができる。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【００１６】
図１は、本発明による車両制御装置の制御対象であるブレーキ系１の構成例を示している。ブレーキ系１は、車室内に設置され運転者が操作を行うブレーキペダル２とアクセルペダル４を備えている。これらのペダルにはセンサが付設されており、それぞれのペダルが踏まれているか否かを検出することができる。ブレーキペダル２は、ブレーキブースタ６に連結されている。内燃機関８のインテークマニホールド１０内で発生する負圧は、圧力導管１２を通ってブレーキブースタ６側に供給されている。ブレーキブースタ６は、この負圧によって、ブレーキペダル２の踏力に応じた倍力比の助勢力を発生させる。
【００１７】
ブレーキブースタ６に連結されたマスタシリンダ１４は、ブレーキ踏力とブレーキブースタ６の助勢力との合力に応じたマスタシリンダ圧Ｐｍを発生させる。このマスタシリンダ圧Ｐｍは、４つのタイヤＦＲ、ＦＬ、ＲＲ、ＲＬに対応して設けられた液圧系統１６、１８、２０、２２に供給され、それぞれのタイヤに制動力を与える。
【００１８】
タイヤＦＲ、ＦＬに制動力を与えるホイルシリンダ２４、２６は、それぞれ常開型電磁弁２８、３０と常閉型電磁弁３２、３４に接続されている。また、タイヤＲＲ、ＲＬに制動力を与えるホイルシリンダ３６、３８は、それぞれ常開型電磁弁４０、４２と常閉型電磁弁４４、４６に接続されている。
【００１９】
マスタシリンダ１４はタンデムタイプであり、液圧系統１６、１８に連通する出力ポート４８と液圧系統２０、２２に連通する出力ポート５０を有する。
【００２０】
ブレーキ系１は、さらに吐出弁５２、５４、吸入弁５６、５８、モータ６０、ポンプ６２、６４、補助リザーバ６６、６８、比例液圧弁７０、７２を備える。比例減圧弁７０、７２は、ブレーキ制御時の後輪荷重の減少量に対応して前輪（タイヤＦＲ、ＦＬ）側よりも後輪（タイヤＲＲ、ＲＬ)側の制動圧を比例的に低減させて制動バランスを取るためのものである。
【００２１】
常開型電磁弁２８、３０、４０、４２、常閉型電磁弁３２、３４、４４、４６、モータ６０、比例減圧弁７０、７２等は、電子制御ユニット（ＥＣＵ）７４によって制御される。
【００２２】
運転者がブレーキペダル２を踏み込むことによってブレーキ操作が行われると、ＥＣＵ７４からの信号に応じて常開型電磁弁２８、３０、４０、４２が開状態となり、常閉型電磁弁３２、３４、４４、４６が閉状態となり、さらにポンプ６２、６４は停止状態になる。この結果、マスタシリンダ１４とホイルシリンダ２４、２６、３６、３８は導通状態となり、マスタシリンダ圧Ｐｍがホイルシリンダ２４、２６、３６、３８に供給され、運転者のブレーキ踏力に応じた制動力が発生する。
【００２３】
また、アンチロック制御時には、ＥＣＵ７４からの信号に応じてポンプ６２、６４が導通状態となり、常開型電磁弁２８、３０、４０、４２及び常閉型電磁弁３２、３４、４４、４６が適宜、開状態または閉状態となる。これによって、ホイルシリンダ２４、２６、３６、３８の圧力が適宜増圧、減圧、維持の何れかにされる。例えば、タイヤＦＲが不要なロック状態になりそうであると検知された場合、常開型電磁弁２８は励磁されて閉状態となり、常閉型電磁弁３２は励磁されて開状態となる。この結果、液圧系統１６の制動液圧の一部が補助リザーバ６８側に流出し、タイヤＦＲに対する制動力が減少する。補助リザーバ６８に貯留されたフルードは、ポンプ６４によって再び液圧系統１６に戻される。
【００２４】
ＥＣＵ７４は、アクセルペダル４の踏み込み量に応じて、内燃機関８内のスロットル弁７６を全閉状態から全開状態にまで開度制御する。スロットル弁７６の開度が増加すると、内燃機関８の回転数も増加し、車両の駆動力が増加する。
【００２５】
スロットル弁７６の開度が大きいほど、インテークマニホールド１０で発生する負圧は小さくなるので、圧力導管１２からブレーキブースタ６に供給される負圧も小さくなる。この結果、ブレーキブースタ６による助勢限界圧が低下する。。このような場合に急ブレーキ操作が行われると、マスタシリンダ圧Ｐｍが助勢限界圧を超えてしまい、ブレーキ踏力に応じた車両制動力が得られなくなる可能性がある。
【００２６】
本発明の目的の一つは、このような急ブレーキ操作時であっても、十分な車両制動力が得られるようにすることである。従って、本発明の一実施形態による車両制御装置は、自車両の前方を撮影した画像に基づいて、例えば、前方を走行する車両が相当接近してきたために、自車両の減速や停止が必要であるか否かの判断を行う。そして、減速や停止が必要と判断され、かつ、運転者によってアクセルペダルを戻したりブレーキペダルを踏むなどの衝突回避の操作が行われなかった場合に、ブレーキ系１のスロットル弁７６を閉方向に制御する。この結果、車両の駆動力が低減し、またブレーキブースタ６に十分な負圧が供給される状態になるので、運転者の判断が遅れ急ブレーキ操作となってしまったときでも、十分な車両制動力を得ることができる。
【００２７】
図２は、本発明の一実施例である車両制御装置８０の機能ブロック図である。車両制御装置８０は、画像を撮影するカメラ１０２と、画像に基づいて車両に与える制御指示を決定する画像処理部１００と、決定された制御指示に従ってブレーキ系１の各部に制御信号を送信するＥＣＵ７４を有する。
【００２８】
カメラ１０２は、一例としてＣＣＤカメラであり、車両の前方に設置され、車両の進行方向の画像を所定の時間間隔毎に撮影する。撮影した画像は順次、画像処理部１００に送られる。図３は、車両にカメラ１０２を取付ける位置の一例を示している。当然ながら、カメラ１０２は他の場所に取付けても良いし、またカメラは１つではなく２つ以上でも良い。撮影された画像は、例えば０〜２５５の２５６階調の濃度値で表される画素を持つディジタル画像である。別の実施形態では、より多くの階調又は少ない階調の画像でも良い。
【００２９】
画像処理部１００は、画像記憶部１０４、認識処理部１０６、動作指示部１０８、制御信号受信部１１０、テンプレート更新部１１４及びテンプレート記憶部１１６を含む。画像処理部１００の各機能ブロックは、ソフトウェアまたはハードウェアによって実現される。また、画像処理部１００は、ＥＣＵ７４と一体の構成となっていても良い。
【００３０】
画像記憶部１０４は、カメラ１０２から送られた画像を所定の枚数ずつ記憶する。一実施形態では、連続する２枚の画像を記憶する。
【００３１】
認識処理部１０６は、画像記憶部１０４に記憶された画像に基づいて、ブレーキ系１に制御信号を送るか否かの判定を行う。より具体的には、認識処理部１０６は、画像記憶部１０４に記憶された画像とテンプレート記憶部１１６に記憶されているテンプレートＭ_ｎとの後述するような処理により、自車両の進行方向の状況を認識する。すなわち、前進時には、前方を走行する他車両が自車両に接近しているか否かを判定し、さらにブレーキ系１に対して何らかの制御を行うべきか否かを判定する。この結果は動作指示部１０８に送られる。
【００３２】
動作指示部１０８は、認識処理部１０６の判定結果に従って、適切な制御指示をＥＣＵ７４に送る。これによって、ＥＣＵ７４を通して、スロットル弁７６の閉側駆動またはその他の制御が行われる。
【００３３】
画像とマッチングするためのテンプレートは、テンプレート記憶部１１６に記憶されている。以下では、記憶されるテンプレートの枚数をｎ（ｎ＝１，２，…）で、各テンプレートをＭ_ｎで表すことにする。
【００３４】
図４にテンプレートの構成の一例を示す。１枚のテンプレートは２０行×２０列の４００個の小領域で構成される。テンプレートの各小領域には、撮影された画像における同一サイズの小領域内の複数の画素が対応づけられる。各小領域はそれぞれ固有値を持つ。本実施例では、固有値として画素濃度値を使用する。この固有値は、運転者がブレーキを踏むたびに、カメラ１０２により撮影された画像を元にして更新されていく。具体的には、画像をテンプレートと同じ大きさの４００個の小領域に分割し、各小領域に含まれる画素の濃度値の相加平均を取ったものに適当な補正を加えてその小領域の濃度値とする。これによって、テンプレートの各小領域には、０〜２５５の２５６階調の濃度値のうちの１つが与えられることになる。濃度値の初期値はランダムに与えられる。
【００３５】
前方車両の接近具合を高精度に認識できるように、テンプレートは取得画像の中央部分に対応付けて位置設定される。図５及び図６は、カメラ１０２により撮影される画像とテンプレート（長方形の黒枠で表す）との位置関係を示している。
【００３６】
テンプレートは取得画像と同一のサイズとしても良い。但し、画像に対してテンプレートのサイズが大きすぎると、前方車両の接近と直接には関係のない各道路固有の画像の影響を受けやすくなってしまう。また、画像に対してテンプレートのサイズが小さすぎると、テンプレート全体が前方車両の画像だけで占められ、かえって車両接近を精度良く検出できなくなってしまう。従って、画像に対するテンプレートのサイズは、予め実験等を行って、カメラ１０２の分解能、ＥＣＵ７４の処理能力、テンプレートの枚数、小領域の総数等に応じて適宜設定することが好ましい。
【００３７】
本実施形態では、テンプレート記憶部１１６には図７に示すように２個のテンプレートが記憶されており、順にＭ₁、Ｍ₂のラベルが振られている。それぞれのテンプレートは、撮影された画像から得られるオプティカルフローの方向によって分けられているが、これについては後述する。このようにテンプレートを複数持つのは、より正確な判定を行うためであるが、テンプレートの数は１つでも良く、また他の枚数でも良い。
【００３８】
本発明では、テンプレートＭ_ｎは、予め与えられた固定のものが使用され続けるのではなく、運転者のブレーキ操作に応答して適宜更新されていく点に特徴がある。つまり、車両の走行中に運転者によりブレーキ操作が行われると、ブレーキペダルに備えられたセンサから制御信号が出力され、画像処理部１００内の制御信号受信部１１０に送られる。制御信号が受信されると、テンプレート更新部１１４は、所定のアルゴリズムに従って必要なテンプレートＭ_ｎを更新する。このテンプレート更新のプロセスは、図１０を参照して詳細に後述する。
【００３９】
このように、固定のテンプレートを多数準備しておく代わりに、運転者の個性や交通状況などに応じて行われるブレーキ操作に基づいて一定数のテンプレートが毎回更新されるようにすることで、テンプレート用の記憶容量を削減することができる。
【００４０】
なお、テンプレートの各小領域に対応する数値は、上述のような２５６階調で表される濃度値に限定されない。さらに多いあるいは少ない階調の濃度値でも良い。さらには、撮影された画像に対してフーリエ変換、ガボール変換あるいはウェーブレット変換などを適用して得られる値でも良い。取得画像に応じた値を持ち画像とマッチングできるものであれば、本発明において使用することができる。
【００４１】
続いて、本発明に従って画像から接近車両を認識し車両に制御信号を出力するプロセスを、図８のフローチャートを用いて説明する。以下の説明では、テンプレート記憶部１１６が図７に示す２枚のテンプレートＭ₁、Ｍ₂を有している場合について説明する。２枚のテンプレートの各小領域には、それぞれオプティカルフローの方向に対応して、極性が逆の重み付け値Ｗ₁、Ｗ₂が与えられる。
【００４２】
カメラ１０２によって撮影された車両前方の画像は、順次画像記憶部１０４に格納される（Ｓ２００）。画像の中の各画素は、８ビット（２５６階調）の濃度値で表現されている。
【００４３】
認識処理部１０６は、画像記憶部１０４に格納された最新の画像と、テンプレート記憶部１１６内のすべてのテンプレートＭ_ｎを比較する。そして、全テンプレートの各小領域において、それぞれ近似度Ｓ_ｎを算出する（Ｓ２０２）。
【００４４】
ここで、図８、９を参照して、近似度Ｓ_ｎを算出する動作について説明する。
【００４５】
認識処理部１０６は、画像記憶部１０４に記憶されている最新の画像について、１番目のテンプレートＭ₁の各小領域に対応する部分の画素濃度値の相加平均をそれぞれ算出し、テンプレートと同配列の４００個の濃度値を得る。ここで、テンプレートＭ_ｎのある小領域の濃度値をＭ_ｎ(ｘ,ｙ)と、時刻ｔに撮影された画像の上述処理済みの配列の濃度値をＩ_t(ｘ,ｙ)と表すことにする。(ｘ,ｙ)は、テンプレートの小領域の位置を表す。例えば、図４において左下隅の小領域は(１,１)で表され、右上隅の小領域は(２０,２０)で表される。次に、上記のように算出した画像の画素濃度値と、テンプレートＭ₁の濃度値Ｍ₁(ｘ,ｙ)を小領域毎に比較する。そして、その差分が所定値より小さければその小領域について濃度値が近似していると見なし、所定値より大きければ近似していないとみなす。
【００４６】
以上の内容を数式で表すと、以下に述べるとおりである。画像とテンプレートの差分Ｄ_ｎ(ｘ,ｙ)は、次式で表される。
【００４７】
Ｄ_ｎ(ｘ,ｙ)＝｜Ｍ_ｎ(ｘ,ｙ)−Ｉ_t(ｘ,ｙ)｜ (１)
差分Ｄ_ｎ(ｘ,ｙ)と所定のしきい値Ｇ_ｎとの比較により、次式に従って近似度Ｓ_ｎを決定する。
【００４８】
【数１】

しきい値Ｇ_ｎは、予め実験等によって設定されている。
【００４９】
得られた近似度Ｓ_n(ｘ,ｙ)は、テンプレートと同様の配列を持つことになる。図９は、近似度Ｓ_n(ｘ,ｙ)の一例である。この近似度を見ることによって、画像とテンプレートとの近似の度合いを見ることができる。
【００５０】
次に、認識処理部１０６は、最新の画像Ｉ_t(ｘ,ｙ)と、その直前に取得された画像Ｉ_t-1(ｘ,ｙ)とを用いて、各小領域についてオプティカルフローを計算する（Ｓ２０４）。周知のように、オプティカルフロー（ｖ_ｘ(ｘ,ｙ),ｖ_ｙ(ｘ,ｙ)）は以下の式から計算することができる。
【００５１】
∂ｘｖ_ｘ(ｘ,ｙ)＋∂ｙｖ_ｙ(ｘ,ｙ)＋∂ｔ＝０ (２)
(ｘ,ｙ)は、上述したのと同様に配列内の各小領域を指定する座標である。ここで、車両制御装置８０を使用する車両は、通常、前後進の他は右左折を行うのみであるため、ｙ方向（上下方向）のオプティカルフローはｘ方向（左右方向）に比べて十分小さい。従って本実施例では、計算負荷低減のためにｘ成分ｖ_ｘ(ｘ,ｙ)だけを式(２)から求める。
【００５２】
続いて、認識処理部１０６は、近似度Ｓ_ｎ(ｘ,ｙ)とオプティカルフローｖ_ｘ(ｘ,ｙ)に基づき、次式によって各小領域の局所的な動き量Ｖ_ｎ(ｘ,ｙ)を計算する（Ｓ２０６）。
【００５３】
Ｖ_ｎ(ｘ,ｙ)＝Ｓ_ｎ(ｘ,ｙ)・ｖ_ｘ(ｘ,ｙ) (３)
局所的な動き量Ｖ_ｎ(ｘ,ｙ)は、図９において近似度Ｓ_ｎ(ｘ,ｙ)＝１の小領域のみについてオプティカルフローの値を反映させたものになる。なお、局所的な動き量Ｖ_ｎ(ｘ,ｙ)には、各小領域毎のオプティカルフローの方向に応じた方向情報も含まれる。
【００５４】
ステップＳ２００からＳ２０６までの処理は、２番目のテンプレートＭ₂の全小領域に対しても同様に実行される。
【００５５】
続いて、認識処理部１０６は、以下の式によって評価値Ｂを計算する（Ｓ２０８）。
【００５６】
【数２】

ここで、Ｗ_ｎ(ｘ,ｙ)は各小領域に対する重み付け値である。図７に示すように、テンプレートＭ₁の各小領域に対しては、正の重み付け値Ｗ₁が与えられ、テンプレートＭ₂の各小領域に対しては、負の重み付け値Ｗ₂が与えられる。従って、テンプレート上における左向きを「正」、右向きを「負」とすると、テンプレートＭ₁に左向きの局所的な動き量Ｖ_ｎ(ｘ,ｙ)が多く、テンプレートＭ₂に右向きの局所的な動き量Ｖ_ｎ(ｘ,ｙ)が多いほど、評価値Ｂは大きい値となる。また、α_ｎは、各テンプレートＭ_ｎのテンプレート係数であり、０＜α_ｎ≦１である。ｎは記憶されているテンプレートの総数であり、本実施例ではｎ＝２である。重み付け値Ｗ_ｎ(ｘ,ｙ)は、運転者のブレーキ操作に応じて適宜更新されるが、これについては図１０を参照して後述する。テンプレート係数α_ｎは、テンプレート毎に予め実験等によって設定されている。
【００５７】
通常、前方車両の接近の度合いが大きい程、オプティカルフローｖ_ｘ(ｘ,ｙ)の値は大きくなる。評価値Ｂは、局所的な動き量Ｖ_ｎ(ｘ,ｙ)を重み付け値Ｗ_ｎ(ｘ,ｙ)によって強調し、さらにこれを全てのテンプレートについて加えたものなので、相似度Ｓ_ｎ(ｘ,ｙ)＝１となっている小領域の数が多く、オプティカルフローｖ_ｘ(ｘ,ｙ)の値が大きく、また重み付け値Ｗ_ｎ(ｘ,ｙ)が大きいほど、評価値Ｂが大きくなるようにされている。すなわち、今回撮影された画像が、過去のブレーキ操作時の画像に近い程評価値Ｂは大きくなり、また、評価値Ｂは、前方車両に対する接近の度合いが大きい程大きな値になる。
【００５８】
続いて認識処理部１０６は、式(４)により得られた評価値Ｂが所定のしきい値ｋ_１より大きいか否かを判定する（Ｓ２１０）。この判定の結果、Ｂがしきい値ｋ_１以下の場合は、このルーチンを終了する。Ｂがしきい値ｋ_１より大きい場合は、認識処理部１０６は車両の制動等の衝突回避操作が必要であると判断する。従って、ステップＳ２１２において、運転者が衝突回避操作を実際に行っているか否かをブレーキペダルに取付けられたセンサからの信号の有無によって判定する。この判定は、アクセルペダル４の解除の有無によって行っても良い。衝突回避操作が行われている場合は、このルーチンを終了する。衝突回避操作が行われていない場合は、動作指示部１０８は制御指示をＥＣＵ７４に通知する（Ｓ２１２）。これに応答して、ＥＣＵ７４は、スロットル弁７６を閉側に制御する等の所定の動作を行わせる。この結果、上述のように車両の駆動力が低減し、かつブレーキブースタ６に十分な負圧が供給されることとなるので、急ブレーキ操作が行われても、十分なブレーキ力を発揮できる状態となり、車両の安全性が増す。スロットル弁７６の閉側制御と同時に、警報や警告表示を行うようにしても良い。
【００５９】
ステップＳ２１０における評価値Ｂの比較において、しきい値ｋ_１を低すぎる値に設定すると、早いタイミングでスロットル弁７６が閉側に駆動されることとなり、不要な場合でも車両の駆動力が低減する可能性がある。逆に、しきい値ｋ_１を高すぎる値に設定すると、必要なタイミングで車両の減速等が行われない可能性がある。従って、しきい値ｋ_１は、車両を取り巻く環境の複雑さ、車両の速度、画像処理部１００の演算能力、テンプレートＭ_ｎの構成及び枚数など、様々なパラメータを考慮して適切に設定することが望ましい。
【００６０】
別の実施形態では、認識処理部１０６は、ステップＳ２１０における比較におけるしきい値を複数（例えば、ｋ₁〜ｋ₃の３つ）有しており、評価値Ｂがどのしきい値を超えたかに応じて異なる車両制御を実行する。例えば、評価値Ｂがしきい値ｋ₁を超えた場合はスロットル弁７６を閉側に制御するだけであるが、ｋ₂（＞ｋ₁）を超えた場合はさらに運転者に警報や警告表示を行い、ｋ₃（＞ｋ₂）を超えた場合は、ブレーキペダルを強制的に動作させる。
【００６１】
また、さらに別の実施形態では、図８においてステップＳ２１２を設けず、ステップＳ２１０においてＢ＞ｋ_１の場合、衝突回避操作の有無に関わらず、何らかの制御指令を出力するようにしても良い。
【００６２】
図８における処理において、テンプレートの数は２枚に限られない。例えば、直進、右回転、左回転ではオプティカルフローの生じ方に違いがあることから、各進行方向毎に図７に示したようなテンプレートのセットを持つようにしても良い。この場合、ステアリング角に応じて図８の処理が行われるテンプレートのセットが選択される。
【００６３】
さらに、車両のタイプ（大型、小型など）または風景に応じた所定数のテンプレートセットを有し、実際の走行中の前方車両または風景に応じて図８の処理に使用されるテンプレートセットを選択するようにしても良い。例えば、テンプレートセットとして高速道路用、市街地用、山間地用の３セットを用意しておき、カーナビゲーションシステムから把握される現在の道路環境に応じて、図８の処理に使用されるテンプレートセットを選択するような構成にすることができる。
【００６４】
次に、図１０を参照して、テンプレートＭ_ｎの各小領域における濃度値Ｍ_ｎ(ｘ,ｙ)と重み付け値Ｗ_ｎ(ｘ,ｙ)の更新処理について説明する。この処理は、運転者のブレーキ操作時毎に、全テンプレート（２枚）の全小領域（例えば４００個）それぞれに対して行われる。
【００６５】
まず、制御信号受信部１１０は、ブレーキペダル２に備えられたセンサからの信号に基づいて、運転者によるブレーキ操作が行われたか否かを判定する（Ｓ３００）。
【００６６】
ブレーキ操作が行われていない場合、テンプレート更新部１１４は、式(３)で算出される現在の局所的動き量の絶対値|Ｖ_ｎ(ｘ,ｙ)|が、予め設定されたしきい値ｄより大きいか否かを判定する（Ｓ３０２）。|Ｖ_ｎ(ｘ,ｙ)|≦ｄであれば、テンプレートの小領域の画素濃度値や重み付け値Ｗ_ｎの更新は不要であるので、このルーチンを終了する。
【００６７】
|Ｖ_ｎ(ｘ,ｙ)|＞ｄである場合は、ブレーキ操作がされていないにも関わらず、当該小領域の局所的動き量Ｖ_ｎ(ｘ,ｙ)が大きくなっていることを意味する。この場合、テンプレート更新部１１４は、車両接近の判断に不要な情報が反映されていると判断し、当該小領域の重み付け値Ｗ_ｎ(ｘ,ｙ)を０に設定する（Ｓ３０４）。この処理によって、局所的動き量Ｖ_ｎ(ｘ,ｙ)の大きさが所定値ｄ以上となっている小領域についての情報はキャンセルされる。
【００６８】
一方、ステップＳ３００においてブレーキ操作が行われた場合、テンプレート更新部１１４は、|Ｖ_ｎ(ｘ,ｙ)|＞ｄかつ|Ｗ_ｎ(ｘ,ｙ)|＞０が成り立つか否かを判定する（Ｓ３０６）。これが成り立つ場合、当該小領域は接近検出に必要な情報を含んでいると判断されるので、テンプレート更新部１１４は、当該小領域について濃度値Ｍ_ｎ(ｘ,ｙ)及び重み付け値Ｗ_ｎ(ｘ,ｙ)の更新を行う（Ｓ３０８）。
【００６９】
濃度値Ｍ_ｎ(ｘ,ｙ)及び重み付け値Ｗ_ｎ(ｘ,ｙ)の更新は、それぞれ以下の式によって行われる。
【００７０】
Ｍ_ｎ(ｘ,ｙ)＝Ｍ_ｎ(ｘ,ｙ)−ｑ(Ｍ_ｎ(ｘ,ｙ)−Ｉ_t(ｘ,ｙ)) (５)
Ｗ_ｎ(ｘ,ｙ)＝Ｗ_ｎ(ｘ,ｙ)＋ｗ (６)
ここで、ｑは０＜ｑ≦１の範囲の固定値であり、ｗは重み付け値Ｗ_n(ｘ,ｙ)の初期値である。なお、式(６)のｗは、テンプレートＭ₂に関しては負の値である。この式(５)、(６)により、テンプレートに含まれる情報のうち、車両の接近に関する情報が特に際だっていく。
【００７１】
ステップＳ３０６において、|Ｖ_ｎ(ｘ,ｙ)|＞ｄかつ|Ｗ_ｎ(ｘ,ｙ)|＞０が成り立たない場合、テンプレート更新部１１４は、重み付け値Ｗ_ｎ(ｘ,ｙ)が０であるか否かを判定する（Ｓ３１０）。この判定の結果、Ｗ_ｎ(ｘ,ｙ)＝０でない場合、今回のルーチンは終了する。一方、Ｗ_ｎ(ｘ,ｙ)＝０である場合、テンプレート更新部１１４は、対応する入力画像Ｉ_tの値をテンプレートＭ_ｎの当該小領域にセットし、重み付け値Ｗ_ｎ(ｘ,ｙ)には初期値ｗが与えられる（Ｓ３１２）。この処理は、前方画像を捉えているはずであるにもかかわらず、重み付け値Ｗ_ｎ(ｘ,ｙ)が未だ０なので、その部分の画像が初めて得られたと判断して、当該小領域を入力画像Ｉ_tにおいて対応する小領域の濃度値にセットするものである。
【００７２】
ここで、図５及び図６を用いて、図１０の処理について説明する。
【００７３】
図５及び図６は、カメラ１０２により撮影される車両前方の画像の一例であり、前方を走行する車両と自車両との車間距離が異なるものを示している。それぞれの画像内で長方形の黒枠で示す部分から作られるテンプレートは、車両と背景の位置関係の違いから、別のものとなると考えられる。そして、前方の車両との車間距離が大体図５の画像のような距離にきた時に、運転者がブレーキペダルを踏む傾向があると仮定する。すると、図５の画像から得られたテンプレートとの類似度が高い画像が得られたときは、衝突回避操作を行うべきであると推測される。そこで、テンプレート更新部１１４は、ブレーキをかけた時の画像を現在のテンプレートに反映させるように、式(５)によりテンプレートを更新するのである。つまり、テンプレートは、運転者によるブレーキ操作が行われた時の画像によって、次々と更新されていく。
【００７４】
ブレーキ操作が行われた時、テンプレートＭ_ｎの小領域の重み付け値Ｗ_ｎ(ｘ,ｙ)は、画像Ｉ_tに近いほど初期値ｗが加算されてその重み付け値の絶対値が大きくされ、濃度値Ｍ_ｎ(ｘ,ｙ)は、画像Ｉ_tに近づけられる。これにより、前方から同様の画像が得られる時に何回もブレーキ操作が行われると、画像Ｉ_tにおいて、近似度Ｓ_n(ｘ,ｙ)＝１の部分の領域が選択され、重み付け値Ｗ_ｎ(ｘ,ｙ)等によって（抽出）されていく。これによって、前方において不定期に存在する物体の特徴点のように、安定して検出されない部分の情報は切り捨てられる。このように図１０の処理によって、前方車両の接近を判断する情報として信頼性（重要性）の高いものはより強調され、それ以外の情報は削除されるという情報の選択が行われていくことになる。
【００７５】
ブレーキペダルが継続して踏み続けられた場合、テンプレート等の更新は、例えば、ブレーキペダル踏み込みの最初のタイミングで更新処理を行い、ペダルを踏んだ状態からさらに強く踏み込まれた場合は、さらにテンプレート等を更新するようにする。
【００７６】
なお、図８の処理と同様に、図１０においてもテンプレートのセットは１つに限られず、進行方向に対応付けてテンプレートのセットを持ち、ステアリング角に応じて、更新するテンプレートのセットを選択するようにしても良い。また、図８の処理と同様に、車両のタイプや風景に応じて、複数のテンプレートセットの中から更新するテンプレートのセットを選択するようにしても良い。
【００７７】
以上のような構成によって、本発明による車両制御装置は以下のごとく動作する。車両の走行時、運転者がブレーキ操作を行うたびに、一定の条件を満たす場合、そのときに撮影された画像の特徴を反映するようにテンプレートが更新されていく。この処理と並行して、車両制御装置は、自車両の前方を撮影した画像に基づいて、前を走行する他の車両が相当接近してきたために、自車両の減速や停止が必要であるか否かの判断を行う。そして、減速や停止が必要と判断され、かつ、運転者によってアクセルペダルを戻したりブレーキペダルを踏むなどの運転操作が行われていない場合、ブレーキ系１のスロットル弁７６を閉方向に制御する。この結果、車両の駆動力が低減し、またブレーキブースタ６に十分な負圧が供給される状態になるので、運転者の判断が遅れ急ブレーキ操作となってしまった時でも十分な制動力を車両に与える。また、スロットル弁が閉側に強制駆動されることで、アクセルペダルが踏まれたままの状態であっても車両の駆動力は抑えられる。
【００７８】
以上、本発明のいくつかの好ましい実施形態を図面を参照して説明した。ここで、本発明の具体的な適用事例を説明する。車両制御装置を用いることで、例えば渋滞中または市街地走行のように、比較的車間の小さい状態でかつブレーキペダルを踏む頻度が高い場合に特に優れた効果を発揮すると考えられる。このような交通状況では、運転者の注意が散漫になりがちであるので、本発明によって車両の衝突を防止できる。
【００７９】
本明細書に示した構成に従って他にも種々の車両制御を行うことができる。例えば、スロットル弁７６を閉側制御する代わりに、運転者の応答を待つことなく、直接車両の減速や制動を行うようにしたり、単に警報を発するようにしたりすることもできる。あるいは、運転者がアクセルペダルを踏む時の画像をテンプレート化して、前車両との車間が離れた時に加速をするように制御することもできる。さらに、接近検出は自車両前方からの接近に限られず、カメラの設置位置や評価値Ｂの算出式などを変更して、自車両の側面や後方からの接近車両を検出するように構成しても良い。
【００８０】
また、以上では主に四輪車を例として実施形態を説明したが、本発明の車両制御装置は二輪車に応用することも可能である。
【００８１】
【発明の効果】
本発明によれば、運転者のブレーキ操作に応じてテンプレートを逐次更新していくテンプレート更新手段を備えるので、運転者の特性や車両を取り巻く状況に柔軟に対応することができる車両の制動制御を比較的少ない記憶容量で実現することができる。
【図面の簡単な説明】
【図１】本発明による車両制御装置の制御対象であるブレーキ系の図である。
【図２】車両制御装置の機能ブロック図である。
【図３】カメラを車両に取り付ける位置の例を示した図である。
【図４】テンプレートの構成を示す図である。
【図５】カメラによって撮影される画像の一例である。
【図６】カメラによって撮影される画像の一例である。
【図７】予め準備されているテンプレートを示した図である。
【図８】画像処理部における車両接近の認識処理のフローチャートである。
【図９】テンプレートの各小領域に代入される近似度を示す図である。
【図１０】画像処理部におけるテンプレート更新処理のフローチャートである。
【符号の説明】
１ブレーキ系
８０車両制御装置
１００画像処理部
１０２カメラ
１０４画像記憶部
１０６認識処理部
１０８動作指示部
１１０制御信号受信部
１１４テンプレート更新部
１１６テンプレート記憶部

Claims

接近する他の車両を検出して自車両の衝突回避処理を行う車両制御装置であって、
自車両の外部の画像を撮像する撮像手段と、
前記画像の所定の領域に対応し、複数の小領域に画素濃度値および重み付け値を有するテンプレートを記憶するテンプレート記憶手段と、
前記自車両の運転者のブレーキ操作に応じて、ブレーキ操作がされたときに前記撮影手段から得られる画像に基づいて前記テンプレートの前記画素濃度値および前記重み付け値の少なくとも一方を更新することで前記テンプレートを更新するテンプレート更新手段と、
新たに前記撮影手段から得られた画像と更新されたテンプレートとを前記小領域毎に比較して、前記小領域毎に得られる画素濃度値とオプティカルフローとに基づいた前記他車両の接近度合いを示す評価値を算出する認識処理手段と、
前記評価値が所定のしきい値を超えたとき、前記自車両に衝突回避処理を指示する動作指示手段と、
を備える車両制御装置。
前記認識処理手段は、新たに前記撮影手段から得られる画像の各小領域に含まれる画素濃度値の相加平均値と、前記テンプレートの対応する小領域の画素濃度値とを比較して各小領域の近似度を算出し、前記画像に基づき前記小領域のオプティカルフローを算出し、前記近似度と前記オプティカルフローとを乗じることによって各小領域の局所的動き量を算出し、小領域毎の前記局所的動き量と前記重み付け値とを積算した値を全小領域分足し合わせることによって前記評価値を算出する請求項１記載の車両制御装置。
前記テンプレート記憶手段は、正極性の前記重み付け値が与えられるテンプレートと負極性の前記重み付け値が与えられるテンプレートとを有するテンプレートセットを記憶する請求項１又は２記載の車両制御装置。
前記テンプレートセットは、前記車両の右回転用、直進用及び左回転用の３セットからなり、
前記テンプレート更新手段は前記車両の進行方向に応じた前記テンプレートセット内のテンプレートを更新し、
前記認識処理手段は前記車両の進行方向に応じた前記テンプレートセット内のテンプレートに対して前記評価値を算出する、請求項３に記載の車両制御装置。
前記テンプレート更新手段は、前記車両のブレーキ操作が行われたとき、前記局所的な動き量が所定の値より大きい前記小領域の重み付けを大きくし、かつ、当該小領域の画素濃度値を、前記撮影手段から得られた画像において対応する小領域の画素濃度値に近づけるように前記テンプレートを更新する、請求項２から４のいずれかに記載の車両制御装置。
前記衝突回避処理は、前記車両のスロットルバルブを閉側に強制駆動する処理である請求項１から５のいずれかに記載の車両制御装置。
接近する他の車両を検出して自車両の衝突回避処理を車載コンピュータに実行させるための車両制御プログラムであって、
車載の撮影手段から得られる自車両の外部の画像の所定の領域に対応し、複数の小領域に画素濃度値および重み付け値を有するテンプレートを記憶する処理と、
前記自車両のブレーキ操作がされたときに前記撮影手段から得られる画像に基づいて前記テンプレートの前記画素濃度値および前記重み付け値の少なくとも一方を更新することで前記テンプレートを更新する処理と、
新たに前記撮影手段から得られた画像と更新された前記テンプレートとを前記小領域毎に比較して、前記小領域毎に得られる画素濃度値とオプティカルフローとに基づいて前記他車両の接近度合いを示す評価値を算出する処理と、
前記評価値が所定のしきい値を超えたとき、前記自車両に衝突回避処理を指示する処理と、
を実行するようにした車両制御プログラム。
接近する他の車両を検出して自車両の衝突回避を制御するため、車載コンピュータによって実施される方法であって、
車載の撮影手段から得られる自車両の外部の画像の所定の領域に対応し、複数の小領域に画素濃度値および重み付け値を有するテンプレート記憶し、
前記自車両のブレーキ操作がされたときに前記撮影手段から得られる画像に基づいて前記テンプレートの前記画素濃度値および前記重み付け値の少なくとも一方を更新することで前記テンプレートを更新し、
新たに前記撮影手段から得られた画像と更新されたテンプレートとを前記小領域毎に比較して、前記小領域毎に得られる画素濃度値とオプティカルフローとに基づいて前記他車両の接近度合いを示す評価値を算出し、
前記評価値が所定のしきい値を超えたとき、前記自車両に衝突回避処理を指示するようにした、車両制御方法。