JP6323262B2 - 車両の接近物体検出装置 - Google Patents

Description

本発明は、車両に固定された撮像装置（カメラ）によって撮影された画像に基づいて同車両に接近する物体を検出する車両の接近物体検出装置に関する。

入力画像に基づいて動きベクトル（オプティカルフローベクトル）を算出し、移動物体を検出する移動物体検出装置（以下、「従来装置」とも称呼される。）が特許文献１に記載されている。オプティカルフローベクトル（以下、単に「フローベクトル」とも称呼される。）は、同一の撮像装置によって所定時間だけ離れた時刻に撮影された２枚の画像の両方に含まれる対象物（被写体又は被写体の一部）の同画像内における移動を表すベクトルである。

従来装置は、算出されたフローベクトルから乱雑度の高いベクトルを除去し、残ったベクトルを時間的に積算して得られる対象物の移動量に相関を有する平均値が所定値を超えた場合、そのベクトルを移動物体のものであると判定する。

特開２００６−２６００４９号公報

ところで、従来装置によって車両に接近する物体の有無を判定する場合、車両の進行方向正面に加え、車両の左側方領域及び右側方領域も判定の対象である方が有用である。例えば、撮像装置の水平方向の画角（視野）が、車両の進行方向正面を含み、左水平方向近傍から右水平方向近傍までの略１８０度であれば、その撮像装置によって撮影された画像に基づいて車両の側方から接近する対象物（例えば、他の車両）を特定できる。この撮像装置によれば、車両の進行方向前方にある対象物は、画像の中央近傍に写り、車両の左側方及び右側方にある対象物は、画像の左方及び右方の端部にそれぞれ写る。

ただし、広角画像を撮影できる撮像装置に用いられる光学部材（例えば、レンズ）において収差が発生する場合がある。その結果、実際の大きさが互いに等しく且つ車両との距離が互いに等しい２つの対象物のそれぞれが画像の端部及び画像の中央近傍に写るとき、画像の端部に写る対象物の画像上の大きさが、画像の中央近傍に写る対象物の画像上の大きさよりも小さくなる。

加えて、収差が発生していると、実際の移動速度が互いに等しい２つの対象物のそれぞれが画像の端部及び画像の中央近傍に写るとき、画像の端部に写る対象物の画像上の移動速度が、画像の中央近傍に写る対象物の画像上の移動速度よりも小さくなる。より具体的に述べると、画像の中央近傍に写る対象物が所定速度ｖで車両に接近している場合、画像上その対象物は一定時間Δｄにおいて左方又は右方に前述した所定値以上移動する。一方、画像の端部に写る対象物が所定速度ｖで車両に接近している場合、一定時間Δｄにおけるその対象物の画像上の大きさは増加するが、一定時間Δｄにおけるその対象物の画像上の位置は殆ど変化しない。

そのため、画像の端部に写る対象物が車両に接近している場合、その対象物について得られるフローベクトルの水平成分の大きさが前述した所定値を超えないことが多く、或いは、その対象物についてフローベクトル自体を得ることができない場合がある。その結果、従来装置が広角画像を撮影できる撮像装置を備えた場合（収差を有する画像を撮影する撮像装置を備えた場合）、車両に接近する物体が存在するか否かを正しく判定できない現象が発生する虞がある。

本発明はこの問題に対処するために成され、その目的は、広角画像を撮影できる撮像装置を備え、その撮像装置によって撮影された画像に基づいて車両に接近する物体の有無を判定することが可能な車両の接近物体検出装置を提供することである。

上記目的を達成するための車両の接近物体検出装置（以下、「本発明装置」とも称呼される。）は、
車両の車体に固定されるとともに同車体の左側方領域と右側方領域とを含む一つの画像を撮影する撮像装置、ベクトル取得部、接近点抽出部、及び、判定部を備える。

前記ベクトル取得部は、
前記撮像装置によって特定時点にて撮影された特定画像と、同撮像装置によって同特定時点よりも前の時点であってそれぞれ異なる複数の時点にて撮影された参照画像のそれぞれと、に基づいて、同特定画像と、同参照画像のそれぞれと、の双方に撮影されている対象物の、その参照画像が撮影された時点から前記特定時点までの移動量及び移動方向を表すオプティカルフローベクトルを取得する。

前記接近点抽出部は、
前記参照画像のそれぞれに基づいて取得されたオプティカルフローベクトルであって前記車両の直進方向正面が前記画像に投影された点を通る垂直な線に向かう水平方向成分を有するベクトルの数である接近点数を同参照画像のそれぞれに対して取得する。

前記判定部は、
前記参照画像のそれぞれに対して取得された接近点数が、「その参照画像が取得された時点から前記特定時点までの時間」が長くなるほど増加する場合、前記車両に接近する対象物が存在すると判定する。

前記車両の直進方向正面が前記画像に投影された点を通る垂直な線は、「仮想中心線」とも称呼される。車両が停止しているとき、移動している対象物であって、やがて車両の進行方向前方を横切る対象物に基づくフローベクトルは、仮想中心線に向かう水平方向成分を有する。例えば、車両の左側にある対象物であって、やがて画像上の仮想中心線を左から右に横切る方向に移動している対象物に基づくフローベクトルは、右向きの水平方向成分を有する。

そのため、画像上の位置が仮想中心線よりも左側にある対象物に基づくフローベクトルが右向きの水平方向成分を有していれば、その対象物を接近物体であると特定することができる。同様に、画像上の位置が仮想中心線よりも右側にある対象物に基づくフローベクトルが左向きの水平方向成分を有していれば、その対象物を接近物体であると特定することができる。

本発明装置によれば、撮像装置が広角画像を撮影する結果、画像の端部に小さく写る対象物の画像上の移動速度が小さいため、その対象物に基づいてフローベクトルを充分に取得できない現象が発生する場合であっても車両に接近する物体の有無を判定することができる。

より具体的に述べると、対象物の画像上の移動速度が小さく且つ参照画像（例えば、図６の第１画像）が撮影された時点と特定時点との時間間隔が短ければ、対象物の画像上の移動距離が非常に短くなる。そのため、その対象物の参照画像上の位置と特定画像上の位置とが同一であると判断され、その対象物の移動を表すフローベクトルが取得できない場合が発生し得る。或いは、その対象物に基づいて取得されるフローベクトルの数が少なく且つフローベクトルの大きさが非常に小さくなる場合が発生し得る。

しかし、参照画像が撮影された時点から特定時点までの間隔が長くなれば、例えば、図６の第２画像が撮影された時点から特定時点までの時間間隔があれば、その対象物に基づくフローベクトルがより多く取得できる可能性がある。

参照画像が撮影された時点から特定時点までの間隔が更に長くなれば、例えば、図６の第３画像が撮影された時点から特定時点までの時間間隔があれば、その対象物に基づくフローベクトルが更に多く取得できる可能性がある。即ち、フローベクトルを取得する際に参照される２つの画像のそれぞれが撮影された時刻の間の間隔が長くなれば、取得されるフローベクトルの数が増加する場合がある。

その対象物が、車両に接近する物体であれば、その対象物に基づいて取得されるフローベクトルは仮想中心線に向かう成分を有する。従って、この場合、特定画像及び参照画像のそれぞれが撮影された時刻の間隔が長くなるほどその参照画像に対する接近点数が増加する。

換言すれば、本発明装置は、参照画像が撮影された時点から特定時点までの間隔が長くなるほど接近点数が増加する場合に車両に接近する物体が存在すると判定する。

加えて、本発明装置によれば、移動すること無くその場で形態が変化している対象物を接近物体であると判定する誤判定の発生を抑制することができる。

より具体的に述べると、図８に示される立木（対象物６１）のように位置を変えること無く風になびく対象物の一部が一時的に車両に接近する場合がある。例えば、画像上において仮想中心線よりも左側にある立木（対象物６１）が図８［Ｂ］に示されるように左に湾曲し、その後、図８［Ａ］に示されるように元の直立状態に戻るとき、この立木の根元部分以外の部分は、一時的に車両に接近している。

そのため、図８［Ａ］及び図８［Ｂ］に示される画像に基づいて取得されるフローベクトルから算出される接近点数は立木の形態の変化に応じた値になる（即ち、接近点数＞０）。

しかし、図８［Ａ］及び図８［Ｃ］に示される特定画像及び参照画像に示される対象物６１の位置及び形態は略同一であるので、これらの画像に基づいて取得されるフローベクトルから算出される接近点数は「０」になる（即ち、接近点数＝０）。

従って、「参照画像が撮影された時点から特定時点までの間隔が長くなるほど接近点数が増加するという関係」が成立しないので、本発明装置は、この場合、車両に接近する物体が存在しないと判定する。

なお、本発明は、上記車両の接近物体検出装置を搭載する車両にも係り、更に、上記車両の接近物体検出装置にて使用される方法にも及ぶ。

本発明の実施形態に係る車両の接近物体検出装置（本検出装置）が適用される車両（本車両）の概略図である。 本車両がＴ字路に進入する様子を表した図である。 本車両がＴ字路に進入する際に本検出装置によって撮影された画像を表した図である。 本検出装置によって撮影される画像に生じる収差を表した図である。 本検出装置によって撮影された画像及びオプティカルフローベクトルの例である。 本検出装置によって撮影された画像の部分拡大図である。 本検出装置によって撮影される画像のそれぞれに基づいて接近点数を算出する過程を表した図である。 本検出装置によって撮影された画像の部分拡大図である。 本検出装置のＣＰＵが実行する接近物体検出処理ルーチンを示したフローチャートである。

（構成）
以下、図面を参照しながら本発明の実施形態に係る車両の接近物体検出装置（以下、「本検出装置」とも称呼される。）について説明する。本検出装置は、図１に概略構成が示された車両１０に適用される。本検出装置は、カメラ２０及びＥＣＵ３０を含んでいる。

カメラ２０は、車両１０の車体の前端中央部に固定されている。カメラ２０の水平方向の画角（視野）は、車両１０の進行方向正面を含み、左水平方向近傍から右水平方向近傍までの略１８０度である。具体的には、カメラ２０の水平方向の画角は、図１に示された直線Ｌｅと直線Ｒｅとがなす角度に等しい。カメラ２０は、撮影した画像を表す信号をＥＣＵ３０へ出力する。

例えば、図２に示すように車両１０がＴ字路に進入するために位置Ｐｓにて停止している場合、図３に示すような画像がカメラ２０によって撮影される。対象物５１〜対象物５４は、走行している車両１０以外の車両である。この例において、対象物５１〜対象物５４のそれぞれは、何れも同型の車両であって大きさが略等しい。加えて、対象物５１〜対象物５４のそれぞれの走行速度は、いずれも略等しい。

図２において、車両１０の進行方向正面方向（カメラ２０から車両１０の進行方向正面に伸びる半直線Ｌｈ０の方向）に比較的近い位置にある対象物５１は、図３において、画像の中央に比較的近い位置に写る。一方、図２において、車両１０の左側方の位置にある対象物５２は、図３において、左方の端部近傍に写る。

図３において、対象物５２の大きさは対象物５１の大きさよりも著しく小さい。これは、「対象物５２と車両１０との間の距離」が「対象物５１と車両１０と間の距離」よりも長いこと、及び、「画像の端部に写っている対象物５２の大きさ」がカメラ２０の収差の影響によって「画像中央に移る対象物の大きさ」よりも小さくなること、が原因である。

カメラ２０の収差は、カメラ２０の水平方向の画角が大きいことによって生じる画像の歪曲である。具体的には、カメラ２０によって撮影される画像は、図４に示すように樽型に歪曲した収差を有する。

図１に示される、ＥＣＵ３０は、周知のマイクロコンピュータを含む電子回路であり、ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェース等を含んでいる。ＲＯＭは、ＣＰＵが実行するプログラムを記憶している。

ＥＣＵ３０は、表示装置４１及び車速センサ４２と接続されている。表示装置４１は、車両１０の車室内に設けられた図示しないセンターコンソールに配設されている。後述する接近物体検出処理が実行されるとき、表示装置４１はカメラ２０によって撮影された画像を連続的に表示する。換言すれば、表示装置４１には動画像が表示される。

表示装置４１は、図示しない操作スイッチを備えている。車両１０の乗員は、この操作スイッチを操作することによって接近物体検出処理のオン状態及びオフ状態のいずれか一方を選択することができる。加えて、表示装置４１は、図示しないスピーカーを備えている。

車速センサ４２は、車両１０の車軸の回転速度を検出し、車両１０の走行速度（車速）Ｖｓを表す信号を出力する。

（接近物体検出処理の概要）
カメラ２０は所定の撮影周期Δｔ毎に画像を撮影する。ＥＣＵ３０は、カメラ２０によって撮影された画像を、撮影されたタイミング（世代）毎にＲＡＭ上に記憶する。ＥＣＵ３０は、カメラ２０によって最後に撮影された画像（最新画像）である特定画像、及び、３世代前までの画像のそれぞれ（以下、それぞれ「第１画像」〜「第３画像」とも称呼される。）、をＲＡＭ上に保持する。

特定画像が撮影された時刻ｔは、「特定時点」とも称呼される。第１画像は、特定画像が撮影された時刻である時刻ｔよりもΔｔだけ以前（即ち、時刻（ｔ−Δｔ）、以下、「第１時点」とも称呼される。）に撮影された画像である。第２画像は、第１画像が撮影された時刻（ｔ−Δｔ）よりもΔｔだけ以前（即ち、時刻（ｔ−２Δｔ）、以下、「第２時点」とも称呼される。）に撮影された画像である。第３画像は、第２画像が撮影された時刻（ｔ−２Δｔ）よりもΔｔだけ以前（即ち、時刻（ｔ−３Δｔ）、以下、「第３時点」とも称呼される。）に撮影された画像である。

ＥＣＵ３０は、特定画像と、第１画像〜第３画像のそれぞれと、に基づいてフローベクトルを取得する。例えば、ＥＣＵ３０が特定画像と第１画像とに基づいてフローベクトルを取得するとき、ＥＣＵ３０は、特定画像及び第１画像のそれぞれを所定の大きさの矩形に分割する。即ち、ＥＣＵ３０は、特定画像及び第１画像のそれぞれを矩形の集合として扱う。

そして、ＥＣＵ３０は、第１画像を構成するそれぞれの矩形が特定画像においてどの位置に現れるかを探索する。探索に成功した場合、第１画像におけるその矩形の位置（移動元）を始点とし、特定画像における同矩形の位置（移動先）を終点とするフローベクトルが得られる。ＥＣＵ３０は、この処理を、第１画像を構成する矩形のそれぞれに対して実行する。

図５にフローベクトルの例を各黒矢印により示す。図５には、第１画像の一部であって車両１０の進行方向正面を含む部分が示されている。図５には、便宜上、収差が無い画像が示されている。図５の例において、車両１０は、第１時点から特定時点にかけて前進（直進）している。各フローベクトルは、この第１画像と（第１画像よりも後に撮影された）特定画像とに基づいて取得されている。

図５において、静止している対象物（例えば、建造物）に基づく各フローベクトルの始点と終点とを通る直線のそれぞれが交わる点は、「無限遠点ＦＯＥ」とも称呼される。無限遠点ＦＯＥは、車両１０の直進方向正面が「カメラ２０によって撮影された画像」に投影された点であるともいえる。車両１０の直進方向正面が「カメラ２０によって撮影された画像」に投影された点（無限遠点ＦＯＥ）を通る垂直な線が、仮想中心線Ｌｍである。

図３に示された各黒矢印は、特定画像と第１画像とに基づいて取得された対象物５１〜対象物５４のそれぞれの移動を表すフローベクトルの例を表している。図３には第１画像が示されている。

ＥＣＵ３０は、図３において、「仮想中心線Ｌｍよりも左側にある対象物であって対応するフローベクトルが右向きの水平方向成分を有する対象物」を接近物体であると特定する。同様に、ＥＣＵ３０は、「仮想中心線Ｌｍよりも右側にある対象物であって対応するフローベクトルが左向きの水平成分を有する対象物」を接近物体であると特定する。換言すれば、ＥＣＵ３０は、仮想中心線Ｌｍに向かう成分を有するフローベクトルに対応する対象物を接近物体であると特定する。

より具体的に述べると、図２において、半直線Ｌｈ０と、移動する対象物からその対象物の進行方向前方に伸びる半直線と、が交わる場合、その対象物に基づくフローベクトルは、仮想中心線Ｌｍに向かう水平方向成分を有する。

例えば、半直線Ｌｈ０と、車両１０の左側から車両１０に接近する車両である対象物５１から対象物５１の進行方向前方に伸びる半直線Ｌｈ１と、は点Ｐｉ１にて交わる。換言すれば、車両１０が停止していれば、対象物５１は、やがて車両１０の進行方向前方を左から右に横切る。そのため、図３における対象物５１に基づくフローベクトルは、右向きの水平方向成分を有している。従って、ＥＣＵ３０は、対象物５１が接近物体であると特定する。

同様に、図２において、半直線Ｌｈ０と、車両１０の右側から車両１０に接近する車両である対象物５３から対象物５３の進行方向前方に伸びる半直線Ｌｈ２と、は点Ｐｉ２にて交わる。そのため、図３における対象物５３に基づくフローベクトルは、左向きの水平方向成分を有している。従って、ＥＣＵ３０は、対象物５３が接近物体であると特定する。

一方、図２において、半直線Ｌｈ０と、車両１０の右側にあって車両１０から離れていく車両である対象物５４から対象物５４の進行方向前方に伸びる半直線Ｌｈ３と、は交わらない。そのため、図３における対象物５４に基づくフローベクトルは左向きの水平方向成分を有していない（右向きの水平方向成分を有している）。従って、ＥＣＵ３０は、対象物５４が接近物体ではないと判定する。

ところで、上述したように、車両１０の左側から車両１０に接近する車両である対象物５２は、図３に示された画像において著しく小さく写っている。そのため、対象物５２に基づくフローベクトルの大きさは、例えば、「実際の走行速度が対象物５２と略等しい対象物５１」に基づくフローベクトルの大きさよりも著しく小さくなる。

そのため、ＥＣＵ３０は、対象物５２に基づくフローベクトルを充分に算出できない可能性がある。換言すれば、ＥＣＵ３０は、カメラ２０によって撮影された画像の左方又は右方の端部に写る対象物が接近物体であるか否かを、その対象物に基づくフローベクトルが仮想中心線Ｌｍに向かう成分を有しているか否かによっては正確に特定できない虞がある。

そこで、ＥＣＵ３０は、第１画像のみならず第２画像及び第３画像にも基づいてフローベクトルを取得し、第１画像〜第３画像のそれぞれに関して仮想中心線Ｌｍに向かう成分を有するフローベクトルの数を第１接近点数Ｐｃ１〜第３接近点数Ｐｃ３のそれぞれとして算出する。

この点、図６を参照しながら説明する。図６［Ａ］〜［Ｄ］は、図３に示された画像における対象物５２を含む部分Ｓｐの部分拡大図である。図６［Ａ］は特定画像の一部である。図６［Ｂ］は第１画像の一部であり、図６［Ｂ］に示される各黒矢印は第１画像と特定画像とに基づいて取得されたフローベクトルである。図６［Ｃ］は第２画像の一部であり、図６［Ｃ］に示される各黒矢印は第２画像と特定画像とに基づいて取得されたフローベクトルである。図６［Ｄ］は第３画像の一部であり、図６［Ｄ］に示される各黒矢印は第３画像と特定画像とに基づいて取得されたフローベクトルである。

例えば、ＥＣＵ３０が特定画像及び第１画像に基づいてフローベクトルを取得するとき、ＥＣＵ３０は、特定画像及び第１画像のそれぞれを水平方向の長さがＲｈであり垂直方向の長さがＲｖである矩形に分割する。そして、ＥＣＵ３０は、第１画像を構成する矩形（参照矩形）と、特定画像を構成する矩形のそれぞれと、の差分に相関を有する値（差分相関値）を算出する。ＥＣＵ３０は、差分相関値が最も小さくなる特定画像の矩形（対応矩形）を参照矩形の移動先であると判定する。即ち、ＥＣＵ３０は、参照矩形の位置を始点とし、対応矩形の位置を終点とするフローベクトルを取得する。ＥＣＵ３０は、第１画像を構成する全ての矩形について、このフローベクトルを取得する処理を実行する。

次いで、ＥＣＵ３０は、取得されたフローベクトルのそれぞれについて、仮想中心線Ｌｍに向かう成分を有しているか否かを判定し、仮想中心線Ｌｍに向かう成分を有するベクトルの数である第１接近点数Ｐｃ１を算出する。

図６［Ａ］及び［Ｂ］は、特定画像及び第１画像の仮想中心線Ｌｍよりも左側の部分であるから、図６に示される対象物に基づいて取得されるフローベクトルについて、仮想中心線Ｌｍに向かう成分は、右向きの水平方向成分である。図６［Ｂ］に示された各黒矢印から理解されるように、特定画像及び第１画像のそれぞれの、図６に示される部分に基づいて取得されたフローベクトルの数は「６」である。

図６［Ｂ］に示されるフローベクトルはいずれも右向きの水平方向成分、即ち、仮想中心線Ｌｍに向かう成分を有している。従って、これらのフローベクトルの数が、第１接近点数Ｐｃ１に等しい。即ち、第１接近点数Ｐｃ１＝６である。同様に、ＥＣＵ３０は、特定画像及び第２画像に基づいて第２接近点数Ｐｃ２を算出し、特定画像及び第３画像に基づいて第３接近点数Ｐｃ３を算出する。本例において、第２接近点数Ｐｃ２＝１１であり、第３接近点数Ｐｃ３＝１３である。第１接近点数Ｐｃ１〜第３接近点数Ｐｃ３の算出過程を、図７に図式化する。

時間の経過と共に対象物５２が次第に車両１０に接近しているので、第１画像〜第３画像のそれぞれが撮影された時点（第１時点〜第３時点）から特定画像が撮影された時点までの時間が長くなるほど接近点数が増加している。即ち、Ｐｃ１＜Ｐｃ２＜Ｐｃ３の関係が成立している。

より具体的に述べると、第１画像〜第３画像の何れかに含まれる矩形の１つに写された対象物５２の一片（対象物５２の一部）から特定画像におけるその一片までの移動距離が、矩形の水平方向の長さＲｈ及び垂直方向の長さＲｖと比較して小さい場合がある。この場合、その一片の移動はフローベクトルとして取得することができない。

換言すれば、カメラ２０の撮影周期Δｔが経過する間に対象物５２の一片が画像上を移動する距離が、矩形の大きさ（水平方向の長さＲｈ及び垂直方向の長さＲｖ）と比較して小さければ、ＥＣＵ３０は、その一片を始点とするフローベクトルを取得することができない。

しかし、撮影周期Δｔの２倍の時間（即ち、２Δｔ）が経過する間にその一片が移動する距離が矩形の大きさよりも大きくなれば、その一片を始点とするフローベクトルを取得することができるようになる。この場合、第１接近点数Ｐｃ１よりも第２接近点数Ｐｃ２の方が大きくなる（即ち、Ｐｃ１＜Ｐｃ２）。

同様に、撮影周期Δｔの３倍の時間（即ち、３Δｔ）が経過する間にその一片が移動する距離が矩形の大きさよりも大きくなれば、その一片を始点とするフローベクトルを取得することができるようになる。この場合、第２接近点数Ｐｃ２よりも第３接近点数Ｐｃ３の方が大きくなる（即ち、Ｐｃ２＜Ｐｃ３）。

以上より、対象物５２のように画像の左方又は右方の端部に小さく写る対象物があっても、Ｐｃ１＜Ｐｃ２＜Ｐｃ３の関係が成立しているとき、ＥＣＵ３０は、車両１０に接近する物体が存在すると判定することができる。換言すれば、ＥＣＵ３０は、特定画像及び第１画像〜第３画像に基づいて得られる第１接近点数Ｐｃ１〜第３接近点数Ｐｃ３の傾向に応じて車両１０に接近する物体の有無を判定する。

ところで、ＥＣＵ３０は、第１画像及び第２画像を参照することなく、第３画像と特定画像とに基づいて得られるフローベクトルによっても画像の端部に小さく写る対象物が接近しているか否かを判定できる。即ち、この場合、参照画像が撮影された時点から特定時点までの間隔がより長くなるので、フローベクトルを確実に取得することができる。

しかし、この場合、移動すること無くその場で形態が変化している対象物を接近物体であると判定する誤判定が発生し得る。一方、上述したように第１接近点数Ｐｃ１〜第３接近点数Ｐｃ３の傾向に応じて接近物体の有無を判定すれば、この誤判定の発生を抑制することができる。この点、図８を参照しながら説明する。

図８［Ａ］〜［Ｄ］のそれぞれは、図６と同様に、カメラ２０によって撮影される画像の一部を示している。図８［Ａ］〜［Ｄ］に示される対象物６１は、沿道の立木である。対象物６１の場所は変化しないが、対象物６１は風によって横方向になびく場合がある。図８［Ａ］は特定画像であり、図８［Ｂ］は第１画像であり、図８［Ｃ］は第２画像であり、図８［Ｄ］は第３画像である。図８［Ｂ］に示される各黒矢印は第１画像と特定画像とに基づいて取得されたフローベクトルの例である。図８［Ｄ］に示される各黒矢印は第３画像と特定画像とに基づいて取得されたフローベクトルの例である。

対象物６１は風により、第３時点において右に湾曲し、第２時点には直立状態に戻り、第１時点において左に湾曲し、特定時点には再び直立状態に戻っている。ＥＣＵ３０が特定画像と、第１画像〜第３画像のそれぞれと、に基づいてフローベクトルを取得し、第１接近点数Ｐｃ１〜第３接近点数Ｐｃ３を算出した場合、第１接近点数Ｐｃ１＞０であるが、第２接近点数Ｐｃ２及び第３接近点数Ｐｃ３はいずれも「０」となる。

なお、図８［Ｄ］に示される第３画像と特定画像とに基づいて取得されたフローベクトルは、左向きの水平方向成分を有する。図８［Ｄ］に示される部分は画像の仮想中心線Ｌｍよりも左側にあるので、仮想中心線Ｌｍに向かう成分は、右向きの水平方向成分である。従って、第３画像と特定画像とに基づいて取得されたフローベクトルは仮想中心線Ｌｍに向かう成分を有しないので、これらの左向きの水平方向成分を有するフローベクトルの数は、第３接近点数Ｐｃ３の算出においてカウントされない。

少なくとも第１接近点数Ｐｃ１＞第２接近点数Ｐｃ２であるので、Ｐｃ１＜Ｐｃ２＜Ｐｃ３の関係が成立しない。そのため、ＥＣＵ３０は、車両１０に接近する物体が存在しないと判定する。換言すれば、のぼり旗及び立木のように定位置に存在し且つその形態が変化することにより一時的且つ部分的に車両１０に接近する対象物があっても、ＥＣＵ３０は、車両１０に接近する物体が存在しないと判定する。

（具体的作動）
次に、ＥＣＵ３０の具体的作動について説明する。ＥＣＵ３０のＣＰＵ（以下、単に「ＣＰＵ」とも称呼される。）は、撮影周期Δｔが経過する毎に図９にフローチャートにより示した「接近物体検出処理ルーチン」を実行する。

従って、適当なタイミングになると、ＣＰＵは、図９のステップ９００から処理を開始してステップ９０５に進み、カメラ２０によって撮影された画像を取得する。ＣＰＵは、この画像を特定画像としてＲＡＭ上に記憶する。

次いで、ＣＰＵは、ステップ９１０に進み、接近物体検出条件が成立しているか否かを判定する。本例において、接近物体検出条件は、車両１０の乗員による操作によって接近物体検出処理がオン状態となっており且つ車速Ｖｓが速度閾値Ｖｔｈ以下である場合に成立する。

車両１０の乗員は、Ｔ字路及び十字路等の交差点への進入時に接近物体検出機能を活用するので、交差点への進入に伴って車速Ｖｓが速度閾値Ｖｔｈまで低下したとき、ＣＰＵは接近物体の検知を行う。

接近物体検出条件が成立していた場合、ＣＰＵはステップ９１０にて「Ｙｅｓ」と判定してステップ９１５に進み、本ルーチンが以前実行されたときに取得された画像（第１画像〜第３画像）のそれぞれと、今回取得された画像（特定画像）と、に基づいてフローベクトルを取得する。

次いで、ＣＰＵは、ステップ９２０に進み、第１接近点数Ｐｃ１〜第３接近点数Ｐｃ３を算出する。次いで、ＣＰＵは、ステップ９２５に進み、第１接近点数Ｐｃ１〜第３接近点数Ｐｃ３について、Ｐｃ１＜Ｐｃ２＜Ｐｃ３の関係が成立しているか否かを判定する。

Ｐｃ１＜Ｐｃ２＜Ｐｃ３の関係が成立していれば、ＣＰＵは、ステップ９２５にて「Ｙｅｓ」と判定してステップ９３０に進む。ステップ９３０にてＣＰＵは、車両１０に接近する物体が存在すると判定する。

次いで、ＣＰＵは、ステップ９３５に進み、表示装置４１に表示された画像において、仮想中心線Ｌｍに向かう成分を有するフローベクトルに対応する対象物（即ち、接近物体）が表示されている箇所の色彩をその他の箇所と異なる色（本例において、赤色）に変更する。加えて、ＣＰＵは、表示装置４１が備えるスピーカーから警告音を発生させる。その後、ＣＰＵは、ステップ９９５に進み、本ルーチンを一旦終了する。

一方、Ｐｃ１＜Ｐｃ２＜Ｐｃ３の関係が成立していなければ、ＣＰＵは、ステップ９２５にて「Ｎｏ」と判定してステップ９４０に進み、車両１０に接近する物体が存在しないと判定し、ステップ９９５に直接進む。なお、接近物体検出条件が成立していなかった場合、ＣＰＵは、ステップ９１０にて「Ｎｏ」と判定してステップ９９５に直接進む。

以上、説明したように、本検出装置（カメラ２０及びＥＣＵ３０）は、
車両（１０）の車体に固定されるとともに同車体の左側方領域と右側方領域とを含む一つの画像（収差を有する広角画像、例えば、図３）を撮影する撮像装置（カメラ２０）と、
前記撮像装置によって特定時点（時刻ｔ）にて撮影された特定画像と、同撮像装置によって同特定時点よりも前の時点であってそれぞれ異なる複数の時点（時刻ｔ−Δｔ、時刻ｔ−２Δｔ、及び、時刻ｔ−３Δｔ）にて撮影された参照画像（第１画像〜第３画像）のそれぞれと、に基づいて、同特定画像と、同参照画像のそれぞれと、の双方に撮影されている対象物の、その参照画像が撮影された時点から前記特定時点までの移動量及び移動方向を表すオプティカルフローベクトルを取得する（図９のステップ９１５）ベクトル取得部と、
前記参照画像のそれぞれに基づいて取得されたオプティカルフローベクトルであって前記車両の直進方向正面が前記画像に投影された点を通る垂直な線（仮想中心線Ｌｍ）に向かう水平方向成分を有するベクトルの数である接近点数（第１接近点数Ｐｃ１〜第３接近点数Ｐｃ３）を前記参照画像のそれぞれに対して取得する（図９のステップ９２０）接近点抽出部と、
前記参照画像のそれぞれに対して取得された接近点数が、その参照画像が取得された時点から前記特定時点までの時間が長くなるほど増加する場合（Ｐｃ１＜Ｐｃ２＜Ｐｃ３の関係が成立し、図９のステップ９２５にて「Ｙｅｓ」と判定される場合）、前記車両に接近する対象物が存在すると判定する（図９のステップ９３０）判定部と、
を備えている。

本検出装置によれば、撮像装置の水平方向の画角が大きいために画像の左方又は右方の端部に小さく写る対象物があっても、車両１０に接近する物体の有無を判定することができる。加えて、本検出装置は、移動すること無くその場で形態が変化している対象物を接近物体であると判定することを抑制することができる。更に、本検出装置によれば、車両の左側方及び右側方を単一の撮像装置によって撮影できるので、撮像装置を２式備える場合と比較してコストを抑えることが可能となる。

以上、本発明に係る車両の接近物体検出装置の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。例えば、本実施形態において、参照画像はカメラ２０によって撮影された最新の画像であり、第１画像は参照画像よりも撮影周期Δｔだけ以前に撮影された画像（即ち、第１画像は参照画像の１世代前の画像）であった。しかし、参照画像は最新の画像でなくても良い。更に、第１画像は、参照画像の２世代以上前の画像であっても良い。同様に、第２画像は、第１画像の２世代以上前の画像であっても良く、第３画像は、第２画像の２世代以上前の画像であっても良い。

加えて、ＥＣＵ３０は、特定画像と、第１画像〜第３画像と、を参照することによって接近物検出処理を実行していた。即ち、ＥＣＵ３０は、３世代前までの画像を参照していた。しかし、ＥＣＵ３０が参照するのは、２世代前まで或いは４世代前まで等、異なる世代数の画像であっても良い。

加えて、ＥＣＵ３０は、特定画像及び第１画像〜第３画像に基づいて得られる第１接近点数Ｐｃ１〜第３接近点数Ｐｃ３の傾向に応じて接近物体の有無を判定していた。更に、ＥＣＵ３０は、別の方法による接近物体検出処理を併用しても良い。例えば、ＥＣＵ３０は、「第１画像と特定画像とに基づいて取得されるフローベクトルであって仮想中心線Ｌｍに向かう水平方向成分を有するベクトル」の水平方向成分の大きさが所定の閾値を超える場合に接近物体が存在すると判定しても良い。

加えて、ＥＣＵ３０は、第１画像〜第３画像のそれぞれを、所定の大きさの矩形に分割し、全ての矩形について、その矩形が特定画像においてどの位置に現れるかを探索していた。即ち、ＥＣＵ３０は、全ての矩形について、その矩形を始点とするフローベクトルを取得していた。しかし、ＥＣＵ３０は、特徴のある矩形についてのみ、その矩形を始点とするフローベクトルを取得しても良い。特徴のある矩形は、例えば、矩形を構成する一辺に現れる色彩が、他の一辺に現れる色彩と顕著に異なっているため、その矩形が対象物の輪郭の一部である可能性が高いと考えられる矩形であっても良い。或いは、特徴のある矩形は、その中における色彩の変化が著しい矩形であっても良い。

加えて、カメラ２０は、車両１０の車体の前端中央部に固定されていた。しかし、カメラ２０は、車両１０の車室内に固定されていても良い。例えば、カメラ２０は、車室内に配設されたルームミラー（不図示）に固定されていても良い。

或いは、カメラ２０は車両１０の車体の後端に固定されても良い。この場合、ＥＣＵ３０は、車両１０が後進する際に車両１０の左側方及び右側方から接近する物体の有無を判定しても良い。

ＥＣＵ３０は、車両１０の乗員による操作によって接近物体検出処理がオン状態となっており且つ車速Ｖｓが速度閾値Ｖｔｈ以下である場合に接近物体検出条件が成立していると判定していた。しかし、ＥＣＵ３０は、車速Ｖｓに依らず、接近物体検出処理がオン状態となっていれば接近物体検出条件が成立していると判定しても良い。

加えて、ＥＣＵ３０は、図９のステップ９１５にて、所謂、ブロックマッチング法によりオプティカルフローベクトルを取得していた。ＥＣＵ３０は、他の方法（例えば、勾配法）によりオプティカルフローベクトルを取得しても良い。

車両…１０、カメラ…２０、ＥＣＵ…３０、表示装置…４１、車速センサ…４２。

Claims (1)

1. 車両の車体に固定されるとともに同車体の左側方領域と右側方領域とを含む一つの画像を撮影する撮像装置と、
   前記撮像装置によって特定時点にて撮影された特定画像と、同撮像装置によって同特定時点よりも前の時点であってそれぞれ異なる複数の時点にて撮影された参照画像のそれぞれと、に基づいて、同特定画像と、同参照画像のそれぞれと、の双方に撮影されている対象物の、その参照画像が撮影された時点から前記特定時点までの移動量及び移動方向を表すオプティカルフローベクトルを取得するベクトル取得部と、
   前記参照画像のそれぞれに基づいて取得されたオプティカルフローベクトルであって前記車両の直進方向正面が前記画像に投影された点を通る垂直な線に向かう水平方向成分を有するベクトルの数である接近点数を同参照画像のそれぞれに対して取得する接近点抽出部と、
   前記参照画像のそれぞれに対して取得された接近点数が、その参照画像が取得された時点から前記特定時点までの時間が長くなるほど増加する場合、前記車両に接近する対象物が存在すると判定する判定部と、
   を備えた、車両の接近物体検出装置。
   

Images