以下、本発明に係る移動体制御装置及び対象物検知装置について好適な実施形態を挙げ、添付の図面を参照しながら詳細に説明する。
[運転支援装置10が搭載された自車12の全体構成]
図1は、本発明に係る移動体制御装置及び対象物検知装置の一実施形態である運転支援装置10が搭載された車両(以下、自車12という)の全体構成図である。四輪車である自車12は、右前輪13R、左前輪13L、右後輪14R、及び左後輪14Lを有する。
自車12は、ステアリングホイール16と、ステアリングホイール16が取り付けられたステアリングシャフト17と、ステアリングシャフト17を回動駆動するステアリングアクチュエータ18と、ステアリングシャフト17の回動角度(操舵角)を検出する舵角センサ19と、電動パワーステアリングに関する制御を司る電子制御ユニット(以下、ECU20)を備える。ECU20には、ステアリングホイール16を作動させるステアリングアクチュエータ18が接続されている。
自車12は、ブレーキペダル21と、ブレーキペダル21を回動駆動するペダルアクチュエータ22と、ブレーキペダル21の踏込量に対応する制動油圧を発生する油圧制御装置23と、制動油圧に応じて車輪(例えば、右後輪14R、左後輪14L)の制動力を発生するブレーキアクチュエータ24R、24Lと、電動ブレーキに関する制御を司る電子制御ユニット(以下、ECU26)を備える。ECU26には、ブレーキペダル21を作動させるペダルアクチュエータ22が接続されている。
自車12は、自車12の運転支援に関する各種制御を実行する電子制御ユニット(以下、運転支援ECU28)を備える。ECU20、26及び運転支援ECU28は、中央処理装置(CPU)及びメモリを備えるコンピュータである。ECU20、26は、運転支援ECU28にそれぞれ接続されており、対象物との接触を回避するために自車12を誘導する各信号(以下、誘導信号)を運転支援ECU28から取得する。
運転支援ECU28には、ヨーレートを検出するヨーレートセンサ30と、現在位置を検出するGPS(Global Positioning System)センサ31と、速度を検出する車速センサ32とが更に接続されている。
自車12の前部及び後部には、該自車12の前方及び後方における撮像画像を表す信号(以下、撮像信号)を取得するカメラ34、35が1つずつ配置されている。運転支援ECU28には、カメラ34、35からの撮像信号が逐次供給される。
自車12の前方(例えば、フロントグリル周辺)には、外方に向けてミリ波等の電磁波を送信し、その反射波の受信特性に基づいて障害物の距離を検出する距離センサ36が1つ配置されている。運転支援ECU28には、距離センサ36からの受信信号が逐次供給される。
自車12の車室内には、報知等のための音声を発するスピーカ38と、カメラ34等により撮像された画像、地図情報等を表示するタッチパネルディスプレイ40が配置されている。
運転支援ECU28は、上記した各種センサから供給される検知信号に基づいて自車12の周囲の状況を認識し、ECU26及びペダルアクチュエータ22を介したブレーキペダル21の制御を行う。これと併せて又はこれとは別に、運転支援ECU28は、ECU20及びステアリングアクチュエータ18を介してステアリングホイール16の制御を行う。運転支援ECU28は、これらの制御を介して、自車12が対象物(例えば、図4の他車82)と接触するのを事前に回避する運転支援制御を実現する。
[運転支援装置10の機能ブロック図]
図2は、図1に示す運転支援装置10の機能ブロック図である。運転支援ECU28は、対象物検知部50(対象物検知手段)、動向予測部52(動向予測手段)及び誘導信号生成部54として機能する。
対象物検知部50は、カメラ34からの撮像信号及びセンサ群56からのセンサ信号に基づいて、自車12の周辺にて対象物の存否及びその種別を検知する。センサ群56は、舵角センサ19、ヨーレートセンサ30、GPSセンサ31、車速センサ32、距離センサ36(図1)の全部又は一部であってもよいし、これ以外の検出手段が含まれてもよい。
対象物検知部50は、具体的には、輪郭情報抽出部58と、タイヤ輪郭認識部60と、移動体端部認識部62(単に端部認識部ともいう;第1探索範囲設定部64及び第2探索範囲設定部66を含む)と、種別判定部68を有する。なお、各部の具体的機能については後述する。
動向予測部52は、対象物検知部50により検知された対象物のうち、監視下におくべき対象物(以下、監視対象物)の動向を予測する。動向予測部52は、具体的には、監視対象物の動きを推定する動き推定部70と、自車12が監視対象物と接触する可能性の有無について判定する接触可能性判定部72を有する。
誘導信号生成部54は、動向予測部52による予測結果に応じて、自車12を誘導するための誘導信号を生成し、ECU20、26に向けて出力する。この「誘導」には、自車12を自動運転させる形態のみならず、運転者に対して自車12の移動操作を促す形態も含まれる。また、ECU20、26は、移動体(自車12)の挙動を制御する移動体制御手段として機能する。
[運転支援装置10の動作]
続いて、図1及び図2に示す運転支援装置10の動作について、図3のフローチャート及び図4〜図9Bを参照しながら説明する。
図4は、十字路80の周辺を走行する自車12及び他車82の位置関係を示す第1の平面図である。本図及び後述する図5〜図6、図8A〜図9Bは、自動車が左側走行する旨の取り極めがある国又は地域における十字路80の状況を示している。
十字路80は、直線状の道路84と、該道路84に交差する道路85とから構成される。自車12は、道路84を直進しながら十字路80の交差点86を通過しようとする。また、他車82は、道路85を直進しながら交差点86を通過しようとする。
ここで、破線で囲む扇形状の領域は、カメラ34(図1)の撮像可能範囲88に相当する。また、カメラ34の撮像面は、他車82が有する4つのタイヤのうち手前側の2つ(以下、タイヤ90、91)にそれぞれ対向する。
図3のステップS1において、運転支援ECU28は、カメラ34からの撮像信号をフレーム単位で入力し、自車12の前方(図4に示す撮像可能範囲88)における撮像画像92を取得する。例えば、カメラ34としてRGBカメラを用いる場合、得られた撮像信号は、3つのカラーチャンネルからなる多階調画像を示す。
図5に示すように、撮像画像92の中には、十字路80の投影像である十字路部位94及び他車82の投影像である車両部位96がそれぞれ存在する。車両部位96の下側縁部には、概略円形状である2つのタイヤ部位98、99が水平方向に並んで配置されている。
ステップS2において、対象物検知部50は、ステップS1で取得された撮像画像92の中から特定の形状を有する投影像(図5の車両部位96を含む)を抽出することで、対象物の存否及び種別を検知する。対象物の種別は、例えば、人体、各種動物(具体的には、鹿、馬、羊、犬、猫等の哺乳動物、鳥類等)、人工構造物(具体的には、車両を含む移動体、標識、電柱、ガードレール、壁等)等が挙げられる。なお、検知処理の詳細については後述する。
ステップS3において、対象物検知部50は、ステップS2で検知された対象物のうち、監視対象物の候補(以下、監視候補という)が存在するか否かを判定する。監視候補が1つも存在しないと判定された場合(ステップS3:NO)、運転支援装置10は、当該フレームでの運転支援動作を終了する。一方、監視候補が少なくとも1つ存在すると判定された場合(ステップS3:YES)、対象物検知部50は、監視候補の種別及び位置情報を動向予測部52に供給する。
ステップS4において、動向予測部52は、ステップS3で判定された監視候補の中から未だ選択されていない監視対象物を1つ選択する。この動向予測部52は、監視対象物の存在を初めて検知した場合、この監視対象物の動向の予測処理を開始すると共に、監視対象物が検知されなくなるまで当該予測処理を継続する。後述するように、車両部位96(図5)は2つのタイヤ部位98、99を含むので、車両部位96が示す他車82(図4)は、監視対象物の1つとして選択される。
ステップS5において、動き推定部70は、ステップS4により選択された監視対象物の動きを推定する。推定対象である「動き」には、例えば、移動の有無、移動方向、移動速度、体の向き又はこれらの時間変化が挙げられる。
図6は、自車12及び他車82の動きの推定結果を示す概略説明図である。ここでは、任意の平面座標系(XY座標系)を導入すると共に、自車12及び他車82の特徴点をそれぞれP0(X0,Y0)、P1(X1,Y1)とする。自車12の速度ベクトル(Vx0,Vy0)は、センサ群56からのセンサ信号(例えば、ヨーレート及び車速)に基づいて算出可能である。また、他車82の速度ベクトル(Vx1,Vy1)は、例えば、直近フレームからの変位量を求め、フレーム間隔時間を除算することで算出可能である。
ステップS6において、接触可能性判定部72は、ステップS5で推定された動きの関係から、自車12が監視対象物と接触する可能性(以下、接触可能性という)があるか否かを定量的又は定性的に予測・評価する。接触可能性の評価方法については、公知の評価手法を種々採用できる。例えば、速度ベクトルがこのまま一定で保たれると仮定し、軌跡T0を走行する自車12及び軌跡T1を走行する他車82の位置が同時点で重なるか否かを判定してもよい。接触可能性判定部72は、更に、両者の位置が重なるまでの経過時間が少ないほど接触可能性が高いとし、経過時間が多いほど接触可能性が低いと評価してもよい。
ステップS7において、接触可能性判定部72は、ステップS6で得られた評価結果に基づいて、自車12における監視対象物との接触可能性があるか否かを判定する。接触可能性がないと判定された場合(ステップS7:NO)、ステップS8に進む。
ステップS8において、動向予測部52は、すべての監視対象物について選択・評価が終了したか否かを判定する。未だ終了していないと判定された場合(ステップS8:NO)、ステップS4に戻って、新たに選択され得る監視対象物についてステップS5〜S7を順次繰り返す。その後、すべての監視対象物について接触可能性がないと判定された場合(ステップS8:YES)、運転支援装置10は当該フレームでの運転支援動作を終了する。
一方、接触可能性判定部72は、少なくとも1つの監視対象物に対して接触可能性があると判定した場合(ステップS7:YES)、ステップS9に進む。
ステップS9において、運転支援装置10(具体的には、ECU26)は、ステップS8にて接触可能性があると判定された場合に、自車12を減速又は停止させる制御(以下、減速停止制御という)を行う。この制御に先立ち、誘導信号生成部54は、例えば、ECU26の制御に供される誘導信号を生成した後、この誘導信号をECU26に向けて出力する。ECU26は、ペダルアクチュエータ22に駆動信号を供給することでブレーキペダル21を回動させる。これにより、自車12の減速停止制御が行われ、この結果、自車12が監視対象物(具体的には、他車82)と接触するのを未然に回避できる。
なお、運転支援装置10は、上記した減速停止制御とは別に、自車12を誘導する動作を行ってもよい。具体的には、運転支援装置10は、ECU20及びステアリングアクチュエータ18を介して、ステアリングホイール16を転舵させることで、自車12の走行方向を変更してもよい。或いは、運転支援装置10は、監視対象物が存在する旨の音声情報(又は可視情報)をスピーカ38(又はタッチパネルディスプレイ40)に出力することで、自車12の乗員に対して運転操作の実行を促してもよい。
このようにして、運転支援装置10は、1つのフレームでの運転支援動作を終了する。運転支援装置10は、フレーム時間間隔おきに図3に示すフローチャートを順次実行することで、走行中の自車12の周辺に存在する対象物を逐次検知すると共に、必要に応じて自車12の挙動を制御する。
[監視対象物の選択方法]
続いて、監視対象物の選択方法(図3のステップS4)について、図7のフローチャートを主に参照しながら詳細に説明する。以下、監視候補の種別には、1つ又は2つ以上の「タイヤ」が認識された対象物(以下、特定物体)が含まれることを想定する。
ステップS11において、動向予測部52は、特定物体が有するタイヤの個数(以下、タイヤ個数)を判別する。タイヤ個数が2つ以上であると判別された場合(ステップS11:2つ以上)、ステップS12に進む。
ステップS12において、動向予測部52は、タイヤ個数が2つ以上である特定物体を監視対象物として選択する。図4及び図5の例では、2つのタイヤ90、91(タイヤ部位98、99)の存在が認識されるので、他車82は監視対象物として選択される。一方、動向予測部52は、タイヤ個数が1つであると判別した場合(ステップS11:1つ)、ステップS13に進む。
ステップS13において、動向予測部52は、特定物体の近傍位置に別の物体が存在するか否かを判定する。別の物体が存在すると判定された場合(ステップS13:YES)、動向予測部52は、タイヤ個数が1つである特定物体を監視対象物として選択する(ステップS12)。以下、上記した判定処理がなされる具体例について、図8A〜図9Bを参照しながら詳細に説明する。
<第1例>
図8Aは、十字路80の周辺を走行する自車12及び他車82、102の位置関係を示す第2の平面図である。自車12は、図4と同様に、道路84を直進しながら十字路80の交差点86を通過しようとする。一方、並走する他車82、102は、道路85を直進しながら交差点86を通過しようとする。自車12に対して奥側の他車82は、手前側の他車102と比べて僅かに先行する。
本図から理解されるように、カメラ34の撮像面は、他車102が有する4つのタイヤのうち手前側の2つ(以下、タイヤ104、105)にそれぞれ対向する。また、他車102の存在により、自車12(カメラ34の撮像方向)から見て、他車82の一部(後側のタイヤ91を含む)が隠蔽されている。
図8Bに示すように、撮像画像92の中には、十字路部位94、車両部位96の他、他車102の投影像である車両部位106が存在する。車両部位106の下側縁部には、概略円形状である2つのタイヤ部位108、109が水平方向に並んで配置されている。車両部位96の下側縁部には、前側のタイヤ90に相当するタイヤ部位98が1つだけ配置されている。
図8A及び図8Bの例では、タイヤ90(タイヤ部位98)を有する他車82の近傍位置に、2つ以上のタイヤ104、105(タイヤ部位108、109)を有する別の対象物(すなわち、他車102)の存在が認識されるので、他車82は監視対象物として選択される。なお、この選択とは別に、他車102も監視対象物の1つとして選択され得ることは言うまでもない。
<第2例>
図9Aは、十字路80の周辺を走行する自車12及び他車82の位置関係を示す第3の平面図である。自車12は、図4と同様に、道路84を直進しながら十字路80の交差点86を通過しようとする。他車82は、図4と同様に、道路85を直進しながら交差点86を通過しようとする。なお、道路85の側部には、直方体状の静止物110、具体的には建造物が存在する。本図から理解されるように、静止物110の存在により、自車12(カメラ34の撮像方向)から見て、他車82の一部(後側のタイヤ91を含む)が隠蔽されている。
図9Bに示すように、撮像画像92の中には、十字路部位94、車両部位96の他、静止物体部位112が存在する。車両部位96の下側縁部には、前側のタイヤ90に相当するタイヤ部位98が1つだけ配置されている。
図9A及び図9Bの例では、1つ以上のタイヤ90(タイヤ部位98)を有する他車82が、別の物体である静止物110(静止物体部位112)の近傍を移動しているので、他車82は監視対象物として選択される。
図7のステップS13に戻って、動向予測部52は、特定物体の近傍位置に別の物体が存在しないと判定した場合(ステップS13:NO)、動向予測部52は、1つのタイヤの存在が認識された特定物体を、監視対象物から除外する(ステップS14)。なぜならば、この特定物体が車両ではない可能性が高いか、或いは、自車12に対する接触可能性が低いからである。
このようにして、動向予測部52は、2つ以上のタイヤ90、91(タイヤ104、105)が認識された他車82(他車102)、又は1つのタイヤ90が認識され且つ所定の条件を満たす他車82を選択する(図3のステップS4)。
[運転支援装置10による第1の効果]
以上のように、移動体制御装置としての運転支援装置10は、自車12の移動中に撮像することで自車12の周辺における撮像画像92を取得するカメラ34と、撮像画像92に基づいてタイヤ90、91(タイヤ104、105)を有する他車82(他車102)を対象物の1つとして検知する対象物検知部50と、1つ以上のタイヤ90、91(タイヤ104、105)を有する他車82(他車102)を検知した場合に他車82(他車102)の動向の予測を開始する動向予測部52と、その予測結果に応じて自車12の挙動を制御するECU20、26を備える。
このように構成したので、移動体である確度が高い他車82等の動向の予測をいち早く開始可能となり、それだけ予測の信頼性及び時間応答性が向上する。これにより、対象物(他車82等)との接触を回避する動作又は操作を行うための時間を十分に確保できる。
また、ECU26は、2つ以上のタイヤ90、91を有する特定物体(他車82)が自車12と接触する可能性があると予測された場合に減速停止制御を行ってもよい。2つ以上のタイヤ90、91を有する他車82は移動体である確度がきわめて高いことから、減速停止制御を行う際の適時性が一層高くなる。
また、ECU26は、特定物体(他車82)が、2つ以上のタイヤ104、105を有する別の対象物(他車102)の近傍に位置し、且つ、自車12と接触する可能性があると予測された場合に減速停止制御を行ってもよい。これにより、他車102の存在によって他車82の一部が隠蔽され得る場合、又は実際に隠蔽された場合であっても適切に対処できる。
また、ECU26は、1つ以上のタイヤ90を有する特定物体(他車82)が、別の対象物(静止物110)の近傍を移動し、且つ、自車12と接触する可能性があると予測された場合に減速停止制御を行ってもよい。これにより、静止物110の物陰から他車82が飛び出す場合であっても適切に対処できる。
[検知処理の具体例]
続いて、対象物検知装置としての運転支援装置10(特に、対象物検知部50)の具体的動作について、図10〜図18を参照しながら説明する。ここでは、矩形状の画像領域を有する撮像画像92(図4等)に対して輪郭抽出処理を施し、得られた輪郭画像130に基づいて対象物を検知することを想定する。
図10は、輪郭画像130に含まれる車両輪郭132を示す第1の模式図である。本図を含め、輪郭画像130の水平方向に沿った軸を「H軸」と定義すると共に、H軸の右方向、左方向をそれぞれ矢印H1方向、矢印H2方向と称する。また、輪郭画像130の垂直方向に沿った軸を「V軸」と定義すると共に、V軸の上方向、下方向をそれぞれ矢印V1方向、矢印V2方向と称する。
車両輪郭132は、前部が矢印H1方向、後部が矢印H2方向にある他車82(図4等;車種A)の右側部の形状を示す輪郭である。車両輪郭132は、車体の形状を示す車体輪郭134と、窓の形状を示す窓輪郭136と、前側のタイヤ90(同図)の形状を示すタイヤ輪郭138と、後側のタイヤ91(同図)の形状を示すタイヤ輪郭140とから主に構成される。
ところで、車両輪郭132の特徴点を算出する具体例として、タイヤ輪郭138の位置を手掛かりにしてV軸方向に延びる先端エッジ142を認識し、この先端エッジ142の位置を求める手法が挙げられる。タイヤ輪郭138(右端点)と先端エッジ142の間隔Gfが十分大きいので、タイヤ輪郭138及び先端エッジ142を区別して認識可能である。
上記と同様の手法を用いて、タイヤ輪郭140の位置を手掛かりにしてV軸方向に延びる後端エッジ144を認識する。このとき、タイヤ輪郭140(左端点)と後端エッジ144の間隔Grが十分大きいので、タイヤ輪郭140及び後端エッジ144を区別して認識可能である。
図11は、輪郭画像130に含まれる車両輪郭146を示す第2の模式図である。車両輪郭146は、前部が矢印H1方向、後部が矢印H2方向にある他車82(車種B)の右側部の形状を示す輪郭である。車両輪郭146は、車両輪郭132と同様に、車体輪郭134と、窓輪郭136(部分輪郭136a、136b、136c)と、タイヤ輪郭138、140とから主に構成される。
図10及び図11から理解されるように、車種B(車両輪郭146)は、車種A(車両輪郭132)よりも小型である。特に、H軸方向長さ(車両の全長)がより短く設計されているので、間隔Gf、Grが小さい傾向がある。ここで、上記した手法を用いた場合、タイヤ輪郭138、140と一体的に認識してしまうことで、先端エッジ142又は後端エッジ144が認識できない可能性がある。
また、自車12から離れた場所に他車82が存在する場合、輪郭画像130の中における車両輪郭132、146のサイズは相対的に小さくなる。輪郭画像130(すなわち、図4等の撮像画像92)の解像度及び全体サイズは常に固定されている場合、間隔Gf、Grが小さくなるので、上記と同様に、先端エッジ142又は後端エッジ144が認識できない可能性がある。
そこで、種別の違い又は位置・姿勢の変化等により、端部形状が異なる他車82の投影像を含んだ撮像画像92を用いた場合であっても、他車82の端部位置を検出する確度を向上できる検知方法を提案する。
以下、対象物としての特定物体の検知処理(図3のステップS2)の具体例について、図12及び図17のフローチャートを主に参照しながら詳細に説明する。ここで、「特定物体」とは、少なくとも1つのタイヤ90、91を含む物体を意味する。
本検知処理において、輪郭画像130の中から、水平方向(H軸方向)及び垂直方向(V軸方向)に延びる輪郭成分の存否を探索する場合がある。ところが、道路84、85(図4等)の傾斜、カメラ34のロール等に起因して、H軸に対して僅かに傾いた状態下に車両輪郭132、146が映し出される場合がある。
上記した事情を考慮して、特定方向のみならず、該特定方向に対して一定角度だけ傾斜した方向を含めて取り扱う点に留意する。以下、H軸方向及び該H軸方向に対して許容範囲内(例えば、−20度から20度までの範囲)で傾斜した方向を「実質H軸方向」と称する。同様に、V軸方向及び該V軸方向に対して許容範囲内で傾斜した方向を「実質V軸方向」と称する。
図12のステップS21において、輪郭情報抽出部58(輪郭情報抽出手段)は、タイヤ90、91を有する他車82を含んで撮像された撮像画像92(図4等)に対して輪郭抽出処理を施すことで輪郭情報を取得する。輪郭抽出処理として、例えば、ソーベル(Sobel)型、ロバーツ(Roberts)型、プレヴィット(Prewitt)型のフィルタ処理を含む、公知の抽出手法を種々採用できる。ここでは、輪郭情報として、オン・オフの2値で表現した輪郭画像130(図11)が得られたとする。
ステップS22において、タイヤ輪郭認識部60(タイヤ輪郭認識手段)は、ステップS21で取得された輪郭画像130の中から、タイヤ90、91(図4等)の形状を示すタイヤ輪郭138、140を認識する。具体的には、タイヤ輪郭認識部60は、ハフ変換等の画像認識処理を用いて、円形又は楕円形であるタイヤ輪郭138、140を認識する。
ステップS23において、移動体端部認識部62(移動体端部認識手段)は、ステップS22で認識されたタイヤ輪郭138、140のうち未だ選択されていない1つを選択する。先ずは、前側のタイヤ輪郭138が選択されたことを想定する。
ステップS24において、第1探索範囲設定部64は、タイヤ輪郭138の位置を基準として第1探索範囲150、151を設定する。ここで、第1探索範囲150、151は、車体輪郭134に含まれる端部輪郭166(図14B)の存否を探索する範囲の一種であり、任意のサイズを採り得る。
図13は、第1探索範囲150〜153の設定方法に関する概略説明図である。第1探索範囲150、151は、タイヤ輪郭138の位置(ここでは、円の中心)を基準として、H軸方向の最短距離がDh1、最長距離がDh2(>Dh1)であり、且つ、矢印V1方向の上方の位置に設定される。本図例では、説明の便宜のため、後側のタイヤ輪郭140に関する2つの第1探索範囲152、153も同時に示している。
なお、輪郭画像130の描画内容では、タイヤ輪郭138が前側・後側のどちらであるかの区別が難しいことを考慮し、タイヤ輪郭138を基準としてH軸対称となる位置関係下に第1探索範囲150、151を設定する点に留意する。
ステップS25において、移動体端部認識部62は、ステップS24で設定された第1探索範囲150、151を含む範囲にて、車両輪郭146の一部を構成する端部輪郭166(図14B)の存否を探索する。具体的には、移動体端部認識部62は、車体輪郭134のV軸方向周縁に存在する、概略L字状に屈曲したエッジ部位を捉えるための探索処理を実行する。以下、図14A及び図14Bを参照しながら説明する。
第1に、移動体端部認識部62は、第1探索範囲150、151にて、一方向に延びる部分成分(ここでは、傾斜成分156)があるか否かを探索する。図14Aから理解されるように、第1探索範囲150の中には、太線で示す傾斜成分156が存在している。本図例では、一方向は、V軸方向に対して傾斜角度θだけ傾斜する方向である。傾斜角度θ(単位:度)は、0≦|θ|<90の範囲にある任意の値であり、探索の際に制約条件(例えば、上記した許容範囲、或いはこれと別の条件)を付与してもよい。
第2に、移動体端部認識部62は、傾斜成分156の下端点158から、実質V軸方向に沿って下方(矢印V2方向)に延びる垂直成分(以下、第1垂直成分160)があるか否かを探索する。図14Bから理解されるように、第1探索範囲150の下側境界を跨いで、太線で示す第1垂直成分160が存在している。
第3に、図14Bに示すように、移動体端部認識部62は、第1垂直成分160の最下点162を始点とし、実質H軸方向に延びる水平成分(以下、第1水平成分164;太線で図示する)を認識する。
そして、移動体端部認識部62は、第1垂直成分160及び第1水平成分164の結合体を、1つの端部輪郭166として認識する。
移動体端部認識部62は、第1〜第3の手順に沿って、傾斜成分156、第1垂直成分160及び第1水平成分164の存否を順次探索し、いずれか1つでも認識できなかった場合には探索を終了する。その結果、移動体端部認識部62は、第1探索範囲150での探索結果に基づき「端部輪郭166が存在する」と認識すると共に、第1探索範囲151での探索結果に基づき「存在しない」と認識する。
このように、移動体端部認識部62は、一方向に延びる傾斜成分156を第1探索範囲150にて探索した後、傾斜成分156の下端点158から、実質V軸方向に沿って下方に延びる第1垂直成分160を探索し、端部輪郭166を認識してもよい。これにより、概略L字状に屈曲したエッジ部位(傾斜成分156及び第1垂直成分160の連結成分)を捉える確度が一層向上する。
ステップS26において、移動体端部認識部62は、ステップS25での探索結果から、端部輪郭166、176が存在するか否かを判定する。図13〜図14Bの例では、端部輪郭166が存在するので(ステップS26:NO)、ステップS31に進む。
ステップS31において、移動体端部認識部62は、ステップS25での探索処理により認識された端部輪郭166の位置情報を取得する。位置情報として、端部輪郭166の画像データの他、例えば、最下点162の座標、第1垂直成分160の向き、第1水平成分164の向き、タイヤ輪郭138の中心座標・半径等が挙げられる。
ステップS32において、移動体端部認識部62は、すべてのタイヤ輪郭138、140について選択・探索が終了したか否かを判定する。未だ終了していないと判定された場合(ステップS32:NO)、ステップS23に戻って、新たに選択され得るタイヤ輪郭140について、ステップS24以降の動作を繰り返す。
図13に戻って、本図から理解されるように、第1探索範囲152、153の中にはいずれも、車体輪郭134に含まれる端部輪郭176(図16B)の成分が存在しない。すなわち、移動体端部認識部62は、ステップS25での探索結果から端部輪郭176が存在しないと判定し(ステップS26:YES)、ステップS27に進む。
ステップS27において、第2探索範囲設定部66は、タイヤ輪郭140の位置を基準として第2探索範囲167、168を設定する。ここで、第2探索範囲167、168は、車体輪郭134に含まれる端部輪郭176(図16B)の存否を探索する範囲の一種であり、第1探索範囲150〜153と同一の又は異なるサイズを有する。
図15は、第2探索範囲167、168の設定方法に関する概略説明図である。第2探索範囲167、168は、タイヤ輪郭140の位置(円の中心)を基準として、H軸方向の最短距離がDh2である位置に設定される。ここで、タイヤ輪郭140が前側・後側のどちらであるかの区別が難しいことを考慮し、タイヤ輪郭140を基準としてH軸対称となる位置関係下に第2探索範囲167、168を設定する点に留意する。
ステップS28において、移動体端部認識部62は、ステップS27で設定された第2探索範囲167、168を含む範囲にて、車両輪郭146の一部を構成する端部輪郭176(図16B)の存否を探索する。具体的には、移動体端部認識部62は、車体輪郭134のV軸方向周縁に存在する、V軸方向に延びるエッジ部位を捉えるための探索処理を実行する。以下、図16A及び図16Bを参照しながら説明する。
第1に、移動体端部認識部62は、第2探索範囲167、168にて、実質V軸方向に沿って下方(矢印V2方向)に延びる垂直成分があるか否かを探索する。図16Aから理解されるように、第2探索範囲168の中には、太線で示す部分成分169が存在している。
第2に、移動体端部認識部62は、部分成分169を含む垂直成分(以下、第2垂直成分170)の最下点172を探索する。図16Bから理解されるように、第2探索範囲168の下側境界を跨いで、太線で示す第2垂直成分170が存在している。
第3に、図16Bに示すように、移動体端部認識部62は、第2垂直成分170の最下点172を始点とし、実質H軸方向に延びる水平成分(以下、第2水平成分174;太線で図示する)を認識する。
そして、移動体端部認識部62は、第2垂直成分170及び第2水平成分174の結合体を、1つの端部輪郭176として認識する。
移動体端部認識部62は、第1〜第3の手順に沿って、部分成分169を含む第2垂直成分170、及び第2水平成分174の存否を順次探索し、いずれか1つでも認識できなかった場合には探索を終了する。その結果、移動体端部認識部62は、第2探索範囲167での探索結果に基づき「存在しない」と認識すると共に、第2探索範囲168での探索結果に基づき「端部輪郭176が存在する」と認識する。
このように、移動体端部認識部62は、実質V軸方向に沿って下方に延びる第2垂直成分170(部分成分169)を第2探索範囲168にて探索し、端部輪郭176を認識してもよい。これにより、V軸方向に延びるエッジ部位(第2垂直成分170)を捉える確度が一層向上する。
また、移動体端部認識部62は、第1探索範囲152、153からの探索により端部輪郭176を認識しなかった場合に、第2探索範囲167、168にて端部輪郭176の少なくとも一部(部分成分169)の存否を探索し、端部輪郭176を認識してもよい。位置が異なる2種類の探索範囲をそれぞれ設定し、第1探索範囲152(153)及び第2探索範囲167(168)の順に段階的に探索することで、両方の探索範囲で探索処理を実行する場合と比べて演算処理量を低減できる。
なお、図12例では、第1探索範囲150〜153(S24)及び第2探索範囲167、168(S27)の順番で探索処理を実行しているが、これと逆の順に探索処理を実行しても同様の効果が得られる。
ステップS29において、移動体端部認識部62は、ステップS28での探索結果から、端部輪郭166、176が存在するか否かを判定する。図15〜図16Bの例では、端部輪郭176が存在するので(ステップS29:NO)、ステップS31に進む。その後、移動体端部認識部62は、探索処理により認識された端部輪郭176の位置情報を取得する(ステップS31)。
一方、端部輪郭166、176が存在しないと判定された場合(ステップS29:YES)、対象物検知部50は、ステップS22で認識されたタイヤ輪郭138、140が「タイヤではない」と検知する(ステップS30)。ここで、「タイヤではない」とは、文言通りの意味のみならず、他車82の前側・後側の近傍に存在する「タイヤではない」という意味を含んでもよい。
ステップS32に進んで、移動体端部認識部62が、すべてのタイヤ輪郭138、140について選択・探索が終了したと判定した場合(ステップS32:YES)、次のステップ(S33)に進む。
図17のステップS33において、種別判定部68は、複数の輪郭グループの組み合わせのうち、未だ選択されていない輪郭グループのペアを1組選択する。ここで、タイヤ輪郭138及び端部輪郭166からなる第1グループ、タイヤ輪郭140及び端部輪郭176からなる第2グループのペアが選択された場合を想定する。
ステップS34において、種別判定部68は、ステップS31で選択された輪郭グループのペアの線対称性について評価する。この評価手法の一例について、図18を参照しながら説明する。
図18の右半分側には、第1グループに関する位置情報が示されている。位置情報は、最下点162の位置を示す特徴点E1、第1水平成分164の向きを示す方向ベクトルVch1、第1垂直成分160の向きを示す方向ベクトルVcv1、タイヤ輪郭138の中心位置を示す特徴点C1、及び、タイヤ輪郭138の大きさを示す半径R1からなる。
図18の左半分側には、第2グループに関する位置情報が示されている。位置情報は、最下点172の位置を示す特徴点E2、第2水平成分174の向きを示す方向ベクトルVch2、第2垂直成分170の向きを示す方向ベクトルVcv2、タイヤ輪郭140の中心位置を示す特徴点C2、及び、タイヤ輪郭140の大きさを示す半径R2からなる。
種別判定部68は、例えば、[1]特徴点E1、E2の中点が対称軸180上にあるか否か、[2]特徴点C1、C2の中点が対称軸180上にあるか否か、[3]方向ベクトルVch1、Vch2が平行であるか否か、[4]方向ベクトルVcv1、Vcv2が平行であるか否か、[5]半径R1が半径R2と等しいか否か、等を総合的に考慮して線対称性を評価する。
ステップS35において、種別判定部68は、ステップS34で得られた評価結果に基づいて、選択対象である輪郭グループのペアに線対称性があるか否かを判定する。線対称性がないと判定された場合(ステップS35:NO)、ステップS36をスキップし、ステップS37に進む。一方、線対称性があると判定された場合(ステップS35:YES)、次のステップ(S36)に進む。
ステップS36において、種別判定部68は、輪郭グループのペアの一部を構成するタイヤ輪郭138、140の存在を根拠にし、2つ以上のタイヤ90、91(図4等)が認識された「車両」として検知する。
ここで、種別判定部68は、移動体端部認識部62により第1探索範囲150〜153及び第2探索範囲167、168のどちらから端部輪郭166、176が探索されたかに応じて、他車82の種別(図10の車種A、図11の車種B)を判定してもよい。これにより、他車82に関する具体的な形態的特徴(移動体の種別)を取得できる。
ステップS37において、種別判定部68は、すべてのペアについて選択・評価が終了したか否かを判定する。未だ終了していないと判定された場合(ステップS37:NO)、ステップS33に戻って、新たに選択され得る輪郭グループのペアについて、ステップS34〜S36の動作を順次繰り返す。一方、すべての選択・評価が終了したと判定された場合(ステップS37:YES)、次のステップ(S38)に進む。
ステップS38において、種別判定部68は、孤立した残りの輪郭グループの存在を根拠にし、1つのタイヤ90(図8A)が認識された「部分隠蔽車両」として検知する。すなわち、対象物検知部50は、車両部位96(図5)、106(図8B)から「車両」を検知し、車両部位96(図8B、図9B)から「部分隠蔽車両」を検知する。
このように、種別判定部68は、タイヤ輪郭認識部60により認識されたタイヤ輪郭138(140)及び移動体端部認識部62により認識した端部輪郭166(176)を輪郭グループとし、各輪郭グループのH軸方向対称性に基づいて特定物体が有するタイヤ90、91の個数を判定する。これにより、きわめて簡便な画像処理手法でありながら高い確度で、特定物体の特徴(移動体であるか否か、或いはタイヤの個数)を検知できる。
[運転支援装置10による第2の効果]
以上のように、運転支援装置10は、タイヤ90、91を有する他車82を含んで撮像された撮像画像92に対して輪郭抽出処理を施すことで輪郭画像130を取得する輪郭情報抽出部58と、輪郭画像130の中からタイヤ90、91の形状を示すタイヤ輪郭138、140を認識するタイヤ輪郭認識部60と、タイヤ輪郭138、140の近傍に位置する他車82のH軸方向端部を示す端部輪郭166、176を認識する移動体端部認識部62を備える。
そして、移動体端部認識部62は、タイヤ輪郭138、140の位置を基準として、H軸方向の距離が閾値(Dh2)以下であって且つV軸上方向の位置に、端部輪郭166、176を探索する第1探索範囲150〜153を設定する第1探索範囲設定部64を有し、第1探索範囲150〜153にて端部輪郭166の少なくとも一部の存否を探索し、端部輪郭166を認識する。
このように構成したので、H軸方向と比べて、タイヤ輪郭138、140との間隔が相対的に大きい部位(矢印V1方向)の輪郭を手掛かりとして端部輪郭166、176の存否を探索可能となり、その結果、タイヤ輪郭138、140及び端部輪郭166、176を区別・認識する確度が高くなる。これにより、撮像により得られる撮像画像92を用いることを前提として、種別の違い又は位置・姿勢の変化等にかかわらず、他車82、102の端部位置を検出する確度を向上できる。
[補足]
なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。
本実施形態では、撮像手段として単眼カメラ(カメラ34)を用いているが、複眼カメラ(ステレオカメラ)であってもよい。また、カラーカメラに代替して赤外線カメラを用いてもよく、或いは両方を併せ備えてもよい。
また、本実施形態では、運転支援装置10全体を自車12に搭載しているが、装置の配置はこれに限られない。例えば、自車12に搭載した撮像手段からの撮像信号を、無線通信手段を介して別個の演算処理装置(運転支援ECU28を含む)に送信する構成であってもよい。或いは、撮像手段を固定配置しておき、外側から自車12の周辺を撮像する構成であってもよい。
また、本実施形態では、運転支援装置10を四輪車(狭義の車両)に適用しているが、移動体全般に適用可能である。移動体として、例えば、二輪車を含む広義の車両、船舶、航空機、人工衛星等が挙げられる。