JP3424808B2 - 車両用後側方監視装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動車などの車両
に設置した小型ＣＣＤのような撮像装置によって後側方
を撮像し、その撮像された画像に基づいて自車両が走行
している周囲の後側方から接近してくる他車両を検知し
て、その他車両の接近を運転者に警報等によって知らせ
るための車両用後側方監視装置に関する。

【０００２】

【従来の技術】例えば高速道路などの片側２車線以上の
道路を走行中の車両の運転者が車線変更を行なう際に
は、その車両が変更しようとする隣接車線に、それより
も速い速度で走行中の他車両が後側方から追い上げてき
た場合などには、その他車両の存在を前記運転者が見落
したまま車線変更を行なうと、大事故につながる危険性
が極めて高い。

【０００３】また、自車両と同じ車線を後続の他車両が
走行している場合にも、その後続の他車両が、自車両よ
りも速い速度（互いに対地速度で比較して）で急接近し
てきた場合には、自車両が急ブレーキを掛けるなどする
と追突される危険性があり、この意味でも近接車両を確
実に認識しておくことが必要である。特に近年では、乗
用車をはじめとして道路上を走行する各種車両は、その
走行速度も加速度も共に強化されてさらに高性能化が進
んで来ているので、上記の車線変更や加減速の際の車両
の動きはさらに俊敏なものとなり、その結果、自車両の
周囲に走行中の他車両の存在を前記運転者が見落すこと
は、危険な状態や大事故の発生の確率をさらに高めるこ
とになる。

【０００４】また、そのような運転者による周囲の他車
両の見落しを防ぐためには、まず運転者自身が周囲に対
してさらに注意を向けることが必要であることは言うま
でもないが、しかし人間の集中力や認知力は前記のよう
な車両性能の向上に対しては追随できる限界に近付いて
来ており、またそのような限界の領域で発生する他車両
の存在の見落としなどに起因した事故も多数発生してい
た。また、特に高速走行となるに従って人間の視覚的な
認識力は急激に低下することが一般的に知られており、
車両のさらなる高速走行対応につれて、上記のような車
線変更時などに発生する周囲の他車両の見落しなどの問
題は、さらに深刻化することも予測される。またさらに
は、特に後側方から自車両へと接近して来る他車両の場
合には、自車両における運転者の着座位置から斜め後ろ
側つまり後側方の、特定の領域には、死角が存在してい
るので、特にこの死角の領域内に入った他車両について
は、運転者が見落とす確率が極めて高く、この死角領域
内に入って走行中の他車両を見落とすことに起因して、
その他車両と自車両とで衝突や接触などの事故が発生す
る危険性が極めて高いものとなる。

【０００５】従って、上記のような事故や危険な状態の
発生を未然に防ぐためには、単に運転者による周囲の他
車両への注意を促すだけではなく、人間の直接的な認識
力とは別に、自車両の周囲を走行中の他車両の存在を自
動的に正確かつ確実に認識してその情報を運転者に明確
に伝達（報知）することで、上記のような危険性の問題
を解決しようとする技術が提案されている。即ち、隣接
車線を走行中の他車両や後続の他車両を認識することを
可能とする従来の技術としては、例えば特開平１−１８
９２８９号公報に開示された、車両情報表示装置の技術
がある。この特開平１−１８９２８９号公報に開示され
た技術によれば、車両の後側方をカメラによって撮影
し、撮影された画像をモニタ画面に表示させることによ
って、隣接車線を走行中の他車両および後続の他車両を
運転者に認識させるようにすることができる。

【０００６】しかしながら、このような技術によれば、
隣接車線を走行中の他車両や後続の他車両の存在を運転
者が認識するためには運転者は必ずそのモニタ画面に視
線を向けてそのモニタ画面に表示されている画像をよく
見た上で、そのモニタ画面に他車両が映し出されている
か否かを確認することが必要となるが、運転者にとって
はモニタ画面内に表示された車両を見落とすおそれがあ
り、またモニタ画面を見ただけでは隣接車線を走行中の
車両及び後続車両の速度が自車の速度より速いか否かを
直ちに判断することも困難であり、また前方に向かって
の安全な運転を継続するためには、前方をよく見て運転
することが必要なので、この本来の前方に対して視覚的
な注意を向けることの他に、前記のモニタ画面に表示さ
れている画像にも頻繁に視覚的な注意を向けることが必
要となるので、注意力を常に分散させて居なければなら
ず、場合によってはそのような後側方の安全確認を行な
うために視線を前方とモニタ画面との間で行き来させる
ということは運転者にとってむしろ煩雑であり、また、
かえって注意力が常に分散してしまうという問題もあっ
た。

【０００７】そこで、前記の自車両の後部に、後向きに
ビデオカメラを取り付けて、その自車両の走行中に得ら
れた撮像画像の各点が全体として収束するような無限遠
点又は消失点（一般にＦＯＥ（Focus of Expansion）と
呼ばれる）を求めるとともに、前記撮像画像中の他車両
の画像として認識された特徴点を抽出し、その特徴点の
時間的な移動を移動ベクトル即ちオプティカルフロー
（以下これをオプティカルフローと呼称）として求め、
このオプティカルフローが前記ＦＯＥから発散する方向
に向かっているか、それとも前記ＦＯＥに収束する方向
に向かっているかに応じて、隣接車線を走行中の他車両
あるいは後続の他車両の、自車に対して接近して来る相
対速度あるいは相対距離あるいは相対的位置関係を算出
するようにした車両用後側方監視装置や、それによる車
両用後側方監視方法が種々提案されている（特願平５−
１９６１８９号等）。

【０００８】このような従来の車両用後側方監視装置に
よる後側方監視方法について、その主要点を図９に基づ
き簡潔に説明する。図９は、自車両後部に後ろ向きに取
り付けられた撮像手段である監視用カメラによって得ら
れた画像つまりそのカメラのＣＣＤ撮像素子のような撮
像素子のイメージプレーン１１００の枠内に得られた後
側景の概要の一例を示す図である。なお、この図９は自
車両が走行している隣の車線を走行している他車両１１
０１が自車両を追い越していく状態を一例として示して
いる。

【０００９】先ず図９（ａ）において、他車両１１０１
の画像を、前記のイメージプレーン１１００の枠内に得
られた後側景の画像の中から区別して認識する。

【００１０】他車両１１０１の画像認識の手法としては
種々の方式が利用可能であるが、例えば認識対象物であ
る他車両１１０１の画像とその他の道路や背景等（図示
省略）の画像との輝度差を利用して、それらの間の境界
認識、即ちいわゆるエッジを正確に検出することが従来
一般的である。このエッジの検出には、検出精度を高め
るために、前処理として微分処理によるエッジ強調や、
空間フィルタリングを用いたノイズ除去などの画像処理
手法を用いても良いことは言うまでもない。なお、画像
処理の一般的傾向として膨大な量のデータ処理が必要と
なりがちであるので、可能な限りの処理の簡略化を図る
ことが望ましい。前記の境界認識の手法としては、例え
ばＦｒｅｅｍａｎの方式やＳｋｌａｎｓｋｙの方式や距
離分割方式など種々の多角形近似方式などを用いること
ができる。そして、このようにして他車両１１０１の画
像の境界（エッジ）の認識を得た後、その境界あるいは
その境界の内部に包含される領域認識を行なうなどし
て、その中から予め定められた所定の条件に適合する特
徴点Ａを抽出する。

【００１１】この図９では、特徴点Ａとして他車両１１
０１の画像の境界（エッジ）のうちＦＯＥに最も近い位
置つまり自車両からは最も遠い位置のエッジ１１０２の
中心点を抽出する場合についての一例を示している。そ
して、前記の特徴点Ａが抽出された時点のコマの次の時
点のコマでは、前記の特徴点Ａと対応する対応点を、図
９（ｂ）のＦＯＥと特徴点Ａを結ぶ直線上で探索する。
この一例では図９（ｂ）の点Ａ′が対応点として検出さ
れている。そして前記のコマで抽出された点Ａからこの
点Ａ′を結ぶベクトルがオプティカルフローとなる。こ
の図９の一例の場合では、オプティカルフローがＦＯＥ
から発散する方向に向かっているのであるから、隣接車
線を走行中の他車両は、自車両に対して接近して来る状
態にあり、しかもこのときのオプティカルフローの大き
さ（つまりそのベクトルの絶対値は、このとき他車両１
１０１が自車両（のカメラ）に向かって接近して来る速
度が大きくかつ両車間の距離が近いほど、大きくなるの
で、このオプティカルフローの大きさと、そのときの両
車間での危険性の高さとはほぼ比例することになる。

【００１２】そして、このようにして得られた他車両１
１０１の特徴点のオプティカルフローの情報に基づい
て、その他車両１１０１の動きが自車両にとって危険性
が高いか否かを判定する。そして危険性が高いと判定さ
れ、かつそのときに自車両が車線変更を行なうために方
向指示器を作動させた場合などには、そのとき車線変更
を行なうことは危険性が高いという旨の警告を、例えば
アラーム音のような警報音等で運転者に対して知らせる
ことで、上記のような車線変更の際などの他車との衝突
や接触等の事故の発生を未然に防ぐことを可能とするこ
とができる、というものである。

【００１３】なお、図９及び図７中の符号１２０５，１
２０６，１２０７は、いずれも道路１２０２上の車線を
区分するために道路１２０２上に塗布された白線を示し
ている。

【００１４】

【発明が解決しようとする課題】しかしながら、例えば
図７に示すように、他車両１１０１が自車両１１０３の
撮像手段による撮像可能領域外の、その撮像手段１１０
４におけるいわゆる死角の領域１２００に入ってしまっ
た場合には、その撮像手段１１０４では他車両１１０１
の画像を撮像することは不可能なのだから、このような
場合には上記のような従来の技術に係る車両用後側方監
視装置では他車両１１０１の存在を検知することが不可
能である。

【００１５】しかも、このような撮像手段１１０４にお
ける死角の領域１２００は、運転者の着座位置から見て
も同様に（あるいはそれ以上に）他車両１１０１の存在
の認知が困難な死角の領域と殆ど重なっている。

【００１６】しかもさらには、このような死角の領域１
２００は、自車両１１０３が道路１２０２上の左車線１
２０３を走行中に右車線１２０４へと車線変更する際
に、その自車両１１０３が移動して行く可能性の高い領
域、つまり右車線１２０４における自車両１１０３の長
さ方向の領域帯１２０１を中心としてその前後に亙って
の領域と重なっているので、このような死角の領域１２
００内に他車両１１０１が侵入している状態での、自車
両１１０３の右車線１２０４への車線変更は、大事故に
もつながり得る極めて危険なものとなるという問題があ
る。

【００１７】そこでこのような撮像手段１１０４におけ
る撮像可能な領域外の死角に起因した問題を解決するた
めに、撮像手段１１０４の撮像可能な領域の大きさ、換
言すれば撮像手段１１０４の撮像可能な範囲の角度θを
可能な限り広角度にするために、例えばそのカメラに用
いられるレンズの径を大きなものにすることなども検討
されるが、いずれにしても撮像手段１１０４の撮像可能
領域の角度θは、高々θ≦１００度程度までであり、ま
た余りにも無理に撮像可能領域の角度θを広げ過ぎる
と、撮像される画像に歪みや収差等が大きく発生してし
まい、正しい輝度や形状の画像が得られなくなり、ある
いはそれを補正しようとしても、そのためのデータ処理
が極めて繁雑なものとなるという、また別の問題があ
り、実現性に乏しいと言わざるを得ない。また、いかに
撮像手段１１０４の撮像可能領域の角度θを広げたとし
ても、理論的に１８０度以上にすることは不可能である
から、その撮像手段１１０４が設置された位置から前方
の、特に前記の自車両１１０３の長さ方向の領域帯１２
０１内に他車両１１０１が侵入している場合には、その
状態が最も認知され難くしかも最も危険性が高いにもか
かわらず、やはり検知不可能であり、その結果、やはり
最も危険な状態を検知することができないという問題が
あった。

【００１８】本発明はこのような問題を解決するために
成されたもので、自車両に対して最も危険な状態であ
る、他車両がその死角の領域に侵入している場合に、そ
の他車両が前記死角の領域内に侵入していることを正確
かつ確実に検知あるいは推測することが可能な車両用後
側方監視装置を提供することを課題としている。

【００１９】

【課題を解決するための手段】本発明の車両用後側方監
視装置は、第１に、走行している自車両から後側景を撮
像手段１０１によって撮像し、所定時間相前後する２コ
マの画像どうしで対応する対応点の時間的移動をオプテ
ィカルフローとして検出し、自車両に対する後方又は隣
接車線を走行中の他車両の接近状態を監視する車両用後
側方監視装置において、ある時点に撮像された前記後側
景の画像中から、前記後方又は隣接車線を走行中の他車
両の画像の少なくとも一点を特徴点として抽出する特徴
点抽出手段１０２と、前記時点の次の時点のコマとして
撮像された画像中から、前記特徴点に対応する対応点を
検出する対応点検出手段１０３と、前記特徴点と前記対
応点とを結ぶベクトルを前記他車両の特徴点のオプティ
カルフローとして形成するオプティカルフロー形成手段
１０４と、前記他車両の特徴点のオプティカルフローが
前記撮像手段１０１の撮像可能なイメージプレーンの枠
から外側に向かってフレームアウトして消失した場合
に、該消失する直前の前記他車両の特徴点のオプティカ
ルフローに基づいて、前記他車両の特徴点のオプティカ
ルフローが消失した時点以降の前記他車両と前記自車両
との間の車間距離および相対的位置関係のうち少なくと
もいずれか一方を推測する死角内車間距離推測手段１０
５とを備え、前記死角内車間距離推測手段は、前記撮像
手段の撮像可能なイメージプレーンの枠内の周縁部の所
定領域に到達した時点における前記他車両の特徴点のオ
プティカルフローが、前記後側景における水平方向乃至
上方に向かう方向に対応する方向成分を持ったオプティ
カルフローであった場合には、前記到達した時点又は該
時点の次のコマの時点以降の前記他車両と前記自車両と
の間の車間距離および相対的位置関係の推測を実行せ
ず、前記撮像手段の撮像可能なイメージプレーンの枠内
の周縁部の所定領域に到達した時点における前記他車両
の特徴点のオプティカルフローが、前記後側景における
水平方向未満乃至下方に向かう方向に対応する方向成分
を持った、前記自車両の死角へと入って行く他車両の特
徴点のオプティカルフローであった場合にのみ、前記到
達した時点または該時点の次のコマの時点以降の前記他
車両と前記自車両との間の車間距離および相対的位置関
係のうち少なくともいずれか一方の推測を行なう死角内
車間距離推測手段であることを特徴としている。

【００２０】即ち、他車両が自車両の（撮像手段の）死
角の領域に侵入したということは、撮像手段のイメージ
プレーン上で他車両の特徴点のオプティカルフローがそ
のイメージプレーンの枠から外側へとフレームアウトし
て行ったということに対応している。

【００２１】そこで、このように他車両の特徴点のオプ
ティカルフローが前記撮像手段１０１の撮像可能なイメ
ージプレーンの枠から外側に向かってフレームアウトし
て消失した場合には、死角内車間距離推測手段１０５
は、その特徴点が消失した時点から他車両が自車両の撮
像手段の死角の領域に侵入したものと判定し、その消失
直前の他車両の特徴点のオプティカルフローのイメージ
プレーン中での位置の座標に基づいて、その消失時点で
の前記他車両の自車両に対する相対的位置を算出するこ
とができ、またその消失時点でのオプティカルフローの
長さに基づいて、その消失時点での前記他車両の自車両
に対する相対的速度を算出し、さらにこの相対的速度に
基づいて、その後（つまり他車両が死角の領域に侵入開
始して後）の他車両の自車両に対する車間距離や相対的
位置を、例えば１秒ごとなど時々刻々に推測することが
できる。

【００２２】そしてさらに、そのようにして得られた推
測の結果の前記他車両の自車両に対する車間距離や相対
的位置のデータを、例えば液晶表示パネルを用いてなる
表示手段１０６等の表示画面に表示出力するなどすれ
ば、運転者に対して自車両の周囲における特にその死角
の領域に入って目視では認知することが殆ど困難な他車
両の存在を確実に認知することが可能となる。

【００２３】なお、前記の死角内車間距離推測手段１０
５は、前記消失する直前のオプティカルフローの前記イ
メージプレーン内における座標に基づいて、その消失す
る直前の時点における前記他車両の自車両に対する相対
的位置を判定し、この時点に置ける相対的位置を出発点
として前記消失した時点以降の前記他車両と前記自車両
との間の車間距離および相対的位置関係のうち少なくと
もいずれか一方乃至は両方を推測すれば良い。また、例
えば図８に一例を示すように、比較的小さい曲率半径で
カーブした道路上を自車両および他車両１３０１，１３
０２，１３０３が走行している場合などには、自車両よ
りも低速で走行している他車両１３０１は、自車両の撮
像手段１０１のイメージプレーン１１００にその画像が
撮像された場合、自車両からむしろ遠くへと離れて行く
方向でイメージプレーン１１００の枠から外れて行くこ
とになる。しかし、このような反対に離れて行く他車両
１３０１についても自車両の死角領域に侵入して来るも
のとして判定してしまう場合がある。あるいは他車両１
３０２のように道路の分岐から別方向へと離脱して行く
場合もある。そこで、そのような場合の誤判定を防ぐた
めに、本発明によれば、死角内車間距離推測手段１０５
は消失直前の他車両の特徴点のオプティカルフローが前
記後側景における水平方向未満乃至下方に向かう方向に
対応する方向成分を持った、前記自車両の死角へと入っ
て行く他車両の特徴点のオプティカルフローであった場
合にのみ、前記到達した時点または該時点の次のコマの
時点以降の前記他車両と前記自車両との間の車間距離お
よび相対的位置関係のうち少なくともいずれか一方の推
測を行なうものとし、その他の場合、つまり他車両の特
徴点のオプティカルフローが自車両に対して離れて行く
方向の成分を有しつつ（つまりこれが前記後側景におけ
る水平方向乃至上方に向かう方向に対応する方向成分と
いうことに該当している）イメージプレーン１１００の
枠から外れて行く場合には、そのときの他車両１３０
１，１３０２は自車両の死角領域に侵入したものとは判
定しないようにする。これにより、他車両１３０３のよ
うに本当に死角領域に侵入して来た場合にのみ、それを
正確に判定することができ、また誤判定を防ぐことがで
きる。

【００２４】本発明の車両用後側方監視装置は、第２
に、上記第１記載の車両用後側方監視装置において、前
記死角内車間距離推測手段１０５は、前記他車両の特徴
点のオプティカルフローが前記撮像手段１０１の撮像可
能なイメージプレーンの枠内の周縁部の所定領域に到達
した際に、前記オプティカルフローが次のコマの時点で
は消失するものと見做して、前記到達した時点でのオプ
ティカルフローを前記消失する直前の前記他車両の特徴
点のオプティカルフローとして用いて、前記到達した時
点又は該時点の次のコマの時点以降の前記他車両と前記
自車両との間の車間距離および相対的位置関係のうち少
なくともいずれか一方を推測する死角内車間距離推測手
段１０５であることを特徴としている。

【００２５】即ち、自車両が前進方向に走行していると
きに他車両が自車両に追い付いて来てその自車両の死角
の領域に入って行く場合には一般に、その状態に対応し
て撮像手段のイメージプレーンの枠内の撮像可能な範囲
のうち、その周縁部から最も周端の外枠そのものにかけ
ての予め妥当なものとして定められた所定領域内に、前
記オプティカルフローが到達した後、次のコマの時点で
そのオプティカルフローは消失する筈である。

【００２６】ということは、換言すれば、イメージプレ
ーンの枠内のいずれかの位置でオプティカルフローが抽
出された後、そのオプティカルフローがイメージプレー
ン内を移動して来てそのイメージプレーンの所定の周縁
部乃至最も外周端の部分（の撮像セルの位置）に来たと
きには、次のコマの時点ではそのオプティカルフロー
は、上記第１の記載の如くイメージプレーンの枠から外
側へとフレームアウトするようにして消失するものと見
做して良いということになる。

【００２７】ただしここで、オプティカルフローが前記
のイメージプレーン内を移動して来て前記の周縁部に一
度は到達したが、その次の時点のコマでは再びイメージ
プレーンの中心寄りへと戻ってしまう、といったことも
あり得るが、その確率は極めて僅かである。そこで、そ
のような特殊な場合については例外的な事象として考え
るものとすれば、オプティカルフローがイメージプレー
ン内を移動して来てそのイメージプレーンの周縁部の所
定領域（の撮像セルの位置）に来たときには、次のコマ
の時点ではそのオプティカルフローは上記第１の記載の
如くイメージプレーンの枠から外側へとフレームアウト
するようにして消失するものと見做しても良いというこ
とになるわけである。

【００２８】第３に、本発明の車両用後側方監視装置
は、上記第１または第２記載の車両用後側方監視装置に
おいて、前記死角内車間距離推測手段１０５によって推
測された前記他車両と前記自車両との間の車間距離また
は相対的位置関係に基づいて、前記自車両に対しての前
記他車両との接触又は衝突の危険性の度合いを判定する
危険度判定手段１０７を、さらに具備することを特徴と
している。

【００２９】即ち、死角内車間距離推測手段１０５によ
って推測された前記他車両と前記自車両との間の車間距
離または相対的位置関係に基づいて、その時々刻々での
前記自車両に対しての前記他車両との接触又は衝突の危
険性の度合いを、危険度判定手段１０７が判定すること
ができる。そしてさらには、それを運転者に対して表示
して警告することや警報ブザーを鳴動させるなどして、
前記のような車両どうしの接触や衝突の危険性を未然に
回避することができる。

【００３０】第４に、本発明の車両用後側方監視装置
は、前記死角内車間距離推測手段１０５によって推測さ
れた前記他車両と前記自車両との間の車間距離または相
対的位置関係が、前記自車両にとって前記他車両との接
触又は衝突の危険性がある状態として予め定められた範
囲内にあるときに、車線変更の際の意思表示を行なうた
めに前記自車両に設置されている方向指示器１０８を点
灯する旨の入力が成された場合には、前記危険性がある
旨の警報を聴覚的情報および視覚的情報のうち少なくと
もいずれか一方で発する警報発生手段１０９を、さらに
具備することを特徴としている。

【００３１】即ち、上記のように自車両の死角の領域に
他車両が侵入している状態のときに自車両が車線変更等
の動きを実行すると、自車両と他車両とが衝突するなど
して甚だしくは大事故が発生する場合さえ有り得たが、
本発明によればそのような自車両の死角の領域に他車両
が侵入している状態のときに自車両が車線変更等の動き
を実行しようとして方向指示器１０８を点灯する旨の入
力が成された場合には、前記危険性がある旨の警報を警
報発生手段１０９が聴覚的情報または視覚的情報として
発する。これにより、自車両の死角の領域に他車両が侵
入している状態のときにそれを推測し、自車両の車線変
更等の動きを実行する以前にその動きによる危険性が大
である旨の警報を発して、自車両と他車両とが衝突する
などして甚だしくは大事故が発生するといった問題を解
決することができる。

【００３２】

【００３３】

【００３４】

【００３５】第５に、本発明の車両用後側方監視装置
は、上記請求項１乃至４いずれかに記載の車両用後側方
監視装置において、前記他車両の特徴点のオプティカル
フローが前記撮像手段１０１の撮像可能なイメージプレ
ーンの枠から外側に向かってフレームアウトして消失し
た場合に、該消失してから一定の時間内に車線変更のた
めの操作を行われたとき、横方向衝突の発生する危険性
がある旨の警報を聴覚的情報および視覚的情報のうち少
なくともいずれか一方で発する第２の警報発生手段１０
９′をさらに具備することを特徴としている。

【００３６】即ち、他車両の特徴点のオプティカルフロ
ーが撮像手段１０１の撮像可能なイメージプレーン１１
００の枠から外側に向かってフレームアウトして消失し
た場合に、画面端からオプティカルフローが消えた時点
から例えば３秒間のように、高速道路上での一般的な追
い越しに要する時間などの所定の時間は近接車両が自車
両の横の死角領域を走行しているものと見做すことがで
きる。そこで、消失してから一定の時間内に、ターンシ
グナル等の車線変更のための操作を行って車線変更の意
思を示した場合には、横方向衝突が発生する危険性が高
いので、その旨の警報を発生することによって、他車両
と自車両との間の車間距離や相対的位置関係の推測を行
なうことなく、他車両１１０１（図３）、１３０３（図
８）のように死角領域に侵入した車両について、第２の
警報発生手段１０９′が簡易的に危険性を警報すること
ができる。

【００３７】

【発明の実施の形態】以下、本発明に係る車両用後側方
監視装置の実施形態を図面に基づいて説明する。図１は
その主要部の構成を示す図である。

【００３８】この車両用後側方監視装置は、走行してい
る自車両から後側景を撮像手段１０１によって撮像し、
所定時間相前後する２コマの画像どうしで対応する対応
点の時間的移動をオプティカルフローとして検出し、自
車両に対する後方又は隣接車線を走行中の他車両の相対
的位置関係を監視する車両用後側方監視装置であって、
さらに詳細には、ある時点に撮像された前記後側景の画
像中から、前記後方又は隣接車線を走行中の他車両の少
なくとも一点を特徴点として抽出する特徴点抽出手段１
０２と、前記時点の次の時点のコマとして撮像された画
像中から前記特徴点に対応する対応点を検出する対応点
検出手段１０３と、前記特徴点と前記対応点とを結ぶベ
クトルを前記他車両の特徴点のオプティカルフローとし
て形成するオプティカルフロー形成手段１０４と、前記
他車両の特徴点のオプティカルフローが前記撮像手段１
０１の撮像可能なイメージプレーンの枠から外側に向か
ってフレームアウトして消失した場合に、その消失する
直前の前記他車両の特徴点のオプティカルフローに基づ
いて、前記他車両の特徴点のオプティカルフローが消失
した時点以降の前記他車両と前記自車両との間の車間距
離および相対的位置関係を推測する死角内車間距離推測
手段１０５とを備えている。

【００３９】そして前記死角内車間距離推測手段１０５
は、さらに詳細には、前記他車両の特徴点のオプティカ
ルフローが前記撮像手段１０１の撮像可能なイメージプ
レーンの枠内の周縁部の所定領域に到達した際に、前記
オプティカルフローが次のコマの時点では消失するもの
と見做して、その到達した時点でのオプティカルフロー
を前記消失する直前の前記他車両の特徴点のオプティカ
ルフローとして用いて、前記到達した時点又はその時点
の次のコマの時点以降の前記他車両と前記自車両との間
の車間距離および相対的位置関係を推測する。

【００４０】なお、上記のイメージプレーンの枠内の周
縁部の所定領域を、イメージプレーンの枠から余りにも
内側にまで取ると、特徴点が消失したと見做す時点が余
りにも早くなり過ぎてしまうという不都合が生じ、また
逆にイメージプレーンの枠に近すぎてその周縁部の所定
領域のスペースが小さ過ぎると、今度は特徴点が消失す
ることを検知できなくなる。

【００４１】何故なら、その周縁部の所定領域のスペー
スが小さ過ぎると、例えば他車両のスピードが速い場合
などに、撮像タイミングのコマごとに検出される特徴点
（対応点）がそのスペースを通り越してしまう確率が高
くなり、その結果、その周縁部の所定領域で特徴点の消
失が検出できなくなる確率が高くなるからである。

【００４２】従って、このような条件を考慮して、上記
のような周縁部の領域を設定することが望ましい。

【００４３】また、前記の死角内車間距離推測手段１０
５で推測された、前記他車両の自車両に対する車間距離
や相対的位置のデータを、例えば液晶表示パネルを用い
てなる表示手段１０６等の表示画面に表示出力して、運
転者に対して自車両の周囲における特にその死角の領域
に入って目視では認知することが殆ど困難な他車両の存
在を確実に認知することを可能としている。

【００４４】さらには、前記の死角内車間距離推測手段
１０５によって推測された前記他車両と前記自車両との
間の車間距離または相対的位置関係に基づいて、前記自
車両に対しての前記他車両との接触又は衝突の危険性の
度合いを判定する危険度判定手段１０７を備えて、死角
内車間距離推測手段１０５によって推測された前記他車
両と前記自車両との間の車間距離または相対的位置関係
に基づいて、その時々刻々での前記自車両に対しての前
記他車両との接触又は衝突の危険性の度合いをこの危険
度判定手段１０７が判定し、その結果に基づいて危険性
が一定レベル以上になったならば警報ブザー１１０を鳴
動させて、運転者に対して車両どうしの接触や衝突の危
険性を警告する。

【００４５】この危険性の度合いの判定の手法について
は、従来の一般的な車両用後側方監視装置の利用してい
る判定基準を用いれば良く、あるいは、特に他車両が自
車両の死角の領域１２００に入った際の危険性の度合い
についての基準を新たに作成しても良い。

【００４６】例えば、図７に示したような他車両１１０
１が自車両１１０３の死角に侵入している状態の場合に
は、さらにその他車両１１０１が自車両１１０３の長さ
方向の領域帯１２０１の中にその一部でも入っている状
態のときに自車両１１０３が車線変更を行なう場合に両
車の衝突の危険性が特に高くなると考えられるから、こ
のような自車両１１０３の長さ方向の領域帯１２０１の
中に他車両１１０１の一部でも入っている状態を、前記
の危険性の度合いの判定基準に用いるなどしても良い。

【００４７】また、前記の死角内車間距離推測手段１０
５によって推測された前記他車両と前記自車両との間の
車間距離または相対的位置関係が、前記自車両にとって
前記他車両との接触又は衝突の危険性がある状態として
予め定められた範囲内にあるときに、車線変更の際の意
思表示を行なうために前記自車両に設置されている方向
指示器１０８を点灯する旨の入力が成された場合には、
前記危険性がある旨の警報を聴覚的情報または視覚的情
報として発する警報発生手段１０９を、さらに備えてい
る。

【００４８】上記の図７で示したように、自車両１１０
３の死角の領域１２００に他車両１１０１が侵入してい
る状態のときに、自車両１１０３が車線変更等の動きを
実行すると、自車両１１０３と他車両１１０１とが衝突
するなどして甚だしくは大事故が発生する場合さえ有る
ので、そのような自車両１１０３の死角の領域１２００
に他車両１１０１が侵入している状態のときに自車両１
１０３が車線変更等の動きを実行しようとして方向指示
器１０８を点灯する旨の入力が成された場合には、前記
危険性がある旨の警報を警報発生手段１０９が警報ブザ
ー１１０を鳴動させるといった聴覚的情報を発して、そ
の危険の旨を運転者に警告する。

【００４９】またさらには、死角内車間距離推測手段１
０５は、前記撮像手段１０１の撮像可能なイメージプレ
ーンの枠内の周縁部の所定領域に到達した時点における
前記他車両の特徴点のオプティカルフローが、前記後側
景における水平方向乃至上方に向かう方向に対応する方
向成分を持ったオプティカルフローであった場合には前
記到達した時点又は該時点の次のコマの時点以降の前記
他車両と前記自車両との間の車間距離および相対的位置
関係の推測を実行しない。

【００５０】そして、この死角内車間距離推測手段１０
５は、前記撮像手段１０１の撮像可能なイメージプレー
ンの枠内の周縁部の所定領域に到達した時点における前
記他車両の特徴点のオプティカルフローが、前記後側景
における水平方向未満乃至下方に向かう方向に対応する
方向成分を持った、前記自車両の死角へと入って行く他
車両の特徴点のオプティカルフローであった場合にの
み、前記到達した時点または該時点の次のコマの時点以
降の前記他車両と前記自車両との間の車間距離および相
対的位置関係のうち少なくともいずれか一方の推測を行
なう。

【００５１】次に、上記の各手段の機能および動作につ
いて詳述する。撮像手段１０１は、ＣＣＤ撮像素子のよ
うな撮像デバイスを用いた撮像カメラのような撮像装置
であって、図２に示すように自車両１１０３の最後部に
設置されて、そこから撮像可能な角度θに亙っての領域
の後側景を撮像する。

【００５２】図３は、前記の図２のような状態のときに
撮像手段１０１のイメージプレーン（後述）上にレンズ
系を介して結像される画像の一例を示す図である。な
お、図３においては、図８、図９と同様の部分について
は同一の符号を付して示している。

【００５３】このようなイメージプレーン（後述）上に
結像された画像から、特徴点抽出手段１０２は、他車両
１１０１の画像とその他の道路や背景等（図示省略）の
画像との輝度差を利用して、それらの間の境界を認識す
る。即ち、いわゆるエッジを検出する。

【００５４】こうして図３のような結像から検出された
エッジの一例を図４に示す。このエッジの検出には、検
出精度を高めるために、前処理として微分処理によるエ
ッジ強調や、空間フィルタリングを用いたノイズ除去な
どの画像処理手法を用いても良い。

【００５５】また、画像処理の一般的傾向として膨大な
量のデータ処理が必要となりがちであるので、可能な限
りの処理の簡略化を図ることが望ましいことは言うまで
もない。このような画像処理自体は従来の手法を好適に
用いることができる。

【００５６】そして、このようにして他車両１１０１の
画像の境界（エッジ）の認識を得た後、その境界あるい
はその境界の内部に包含される領域認識を行なうなどし
て、その中から予め定められた所定の条件に適合する特
徴点Ａを抽出する。

【００５７】即ち、特徴点抽出手段１０２は、図４の他
車両１１０１のエッジ９１１のうちから予め定められた
所定の条件に適合する特徴点Ａを抽出する。

【００５８】この抽出の際の所定の条件としては、例え
ばイメージプレーン１１００におけるエッジ９１１の座
標のうち他車両１１０１の進行方向最も後ろ側であるよ
うな一点の座標を選別して抽出するようにしても良く、
あるいはその他にも、他車両１１０１の進行方向最も先
頭の一点を選別して抽出するようにしても良い。

【００５９】ただし、これら２つの例について言えば、
最も後ろ側の一点の座標を選別して特徴点Ａとして抽出
する場合には、その特徴点Ａは他車両１１０１の車体全
体が最後尾まで完全に死角の領域１２００に入ってしま
ってからしか、そのような他車両１１０１の存在を検知
することができないが、しかし他車両１１０１が完全に
死角の領域１２００に入った段階で確実にその動きを検
知することができる。また一方、最も先頭の一点の座標
を選別して特徴点Ａとして抽出する場合には、その特徴
点Ａは他車両１１０１の車体の先端の一部でも死角の領
域１２００に入るとそのような他車両１１０１の動きを
検知することになるので、より早めに検知することがで
きるが、他車両１１０１の走行速度が小刻みに変化して
いるような場合などには外乱的な誤差が出やすい傾向に
なることも考えられる。

【００６０】従って、そのような事項なども考慮して、
特徴点Ａを抽出する際のルールを設定すれば良いことは
言うまでもない。

【００６１】あるいは、特徴点Ａとして他車両１１０１
の画像の境界（エッジ）のうち後述するＦＯＥに最も近
い位置、つまり自車両からは最も遠い位置のエッジの中
心点を抽出するようにしても良い。

【００６２】そして、この他車両１１０１の特徴点Ａを
抽出することと並行あるいは前後して、特徴点抽出手段
１０２は、その内部に形成されているＦＯＥ検出部（図
示省略）によってＦＯＥ１２０８を検出する。

【００６３】このＦＯＥ１２０８の検出は、撮像手段１
０１によって結像された画像を画像信号に変換した後、
その画像信号を一旦、フレームメモリに格納する。そし
てこの画像信号に基づいてＦＯＥ検出部が時間的に連続
する２コマの画像から無限遠点即ちＦＯＥ１２０８を検
出する。

【００６４】なお、このときフレームメモリから読み出
された１フレーム分過去の画像信号に基づいて画像信号
からエッジ９１１を形成するために、ハイパスフィルタ
（ＨＰＦ）を用いるなどして、画像信号の高周波成分の
みを通過させる。即ち換言すれば、画像信号を微分する
などして図４に一例を示すようなエッジ９１１の画像に
対応する信号を形成すれば良い。

【００６５】このようにしてＦＯＥ１２０８および特徴
点Ａが抽出されると、それらに基づいて、対応点検出手
段１０３は、前記の画像の次のコマとして前記の画像を
撮像した時点から撮像周期Δｔだけ後に撮像される次の
コマの画像中から、前記の特徴点Ａに対応する対応点Ａ
´を検出する。このときの対応点Ａ´の探索は特徴点Ａ
とＦＯＥ１２０８とを通る半直線上で探索すれば良い。

【００６６】続いて、オプティカルフロー形成手段１０
４は、特徴点Ａから対応点Ａ´に向かうベクトルを取っ
てオプティカルフロー５００を形成する。

【００６７】こうして他車両１１０１の特徴点Ａを抽出
し、その次の時点でのコマの画像において特徴点Ａに対
応する対応点Ａ´を検出し、特徴点Ａから対応点Ａ´を
結ぶベクトルを取ってオプティカルフロー５００を形成
し、さらに次のコマの画像が撮像されると、前回の対応
点Ａ´を今度は前回の特徴点Ａの代りに特徴点Ａ´とし
て用いて、さらにその次の時点でのコマの画像における
対応点（Ａ´）´つまり前回のコマの特徴点Ａ´に対応
する対応点（Ａ´）´を検出する。このような処理を、
時々刻々と撮像タイミングごとに次々に画像のコマが撮
像されるごとに次々と繰り返して行くことで、その時々
刻々のオプティカルフロー５００を得ることができる。

【００６８】そしてこのオプティカルフロー５００は、
他車両１１０１の自車両１１０３との相対的位置関係の
時々刻々の変化に対応して、その時々刻々で方向も絶対
値も変化して行くが、このとき特に、他車両１１０１の
スピードの方が自車両１１０３のスピードよりも速い場
合には、他車両１１０１は後側方から追い付いて来てや
がては例えば図３に示したような状態となる。

【００６９】つまり、イメージプレーン１１００の枠か
ら外れる位置、即ち死角の領域１２００へと侵入して行
くことになる。すると、抽出される特徴点Ａに対応する
実物の他車両１１０１の最後部も前記のイメージプレー
ン１１００の枠に対応する撮像可能な領域（θ）から外
れてしまうので、従来の技術ではそれ以降の他車両１１
０１の動きを認知することができなくなる。

【００７０】そこで本発明に係る車両用後側方監視装置
においては、他車両１１０１の特徴点Ａのオプティカル
フロー５００が前記撮像手段１０１の撮像可能なイメー
ジプレーン１１００の枠から外側に向かってフレームア
ウトして消失した場合に、死角内車間距離推測手段１０
５は、その消失する直前の前記他車両１１０１の特徴点
Ａのオプティカルフロー５００に基づいて、他車両１１
０１の特徴点Ａのオプティカルフロー５００が消失した
時点以降の他車両１１０１と自車両１１０３との間の車
間距離Ｌおよび相対的位置Ｐ（Ｘ，Ｙ，Ｚ）を推測す
る。

【００７１】そしてその推測の結果、他車両１１０１が
例えば領域帯１２０１のような特に危険性の高い相対的
位置に居ることが推測される場合には、危険度判定手段
１０７が判定するか、あるいはそのとき方向指示器１０
８の点灯指示が入力されている場合には警報発生手段１
０９が危険性ありと判定して、その旨を鳴動ブザー１１
０等で運転者に警告することで、自車両１１０３におけ
る死角の領域１２００に他車両１１０１が入った場合の
危険を回避することができる。

【００７２】次に、上記のような自車両１１０３の死角
の領域１２００に他車両１１０１が侵入した場合に他車
両１１０１の動きを推測するための死角内車間距離推測
手段１０５の機能および動作をさらに詳細に説明する。

【００７３】図３や図４に示すように、他車両１１０１
が自車両１１０３に追い付いて来てやがて他車両１１０
１（画像ではなくて実体の他車両１１０１）は撮像手段
１０１の死角の領域１２００に侵入する。

【００７４】するとこのとき、最後部の画像の一点であ
る特徴点Ａ（あるいは換言すれば特徴点Ａに次々に対応
する対応点Ａ´，（Ａ´）´，（（Ａ´）´）´…ただ
しここではそれらを代表して特徴点Ａと呼称する。以下
同様）もイメージプレーン１１００の枠の外へと外れて
行き、その特徴点Ａは消失することになるが、その消失
する直前の１コマの時点で形成されたオプティカルフロ
ー５０１を用いて、死角内車間距離推測手段１０５は、
その後の撮像手段１０１での撮像〜認知が不可能な状態
となる他車両１１０１の動きを推測する。

【００７５】即ち、前記の特徴点Ａが消失する直前の１
コマの時点で形成されたオプティカルフロー５０１の、
イメージプレーン１１００上における座標（位置）およ
び長さ（つまりオプティカルフロー５０１をベクトルと
考えればその絶対値）に基づいて、前記の特徴点Ａが消
失した直後からの他車両１１０１の動きを推測すること
ができる。

【００７６】そこで次に、そのようなオプティカルフロ
ー５０１に基づいた、特徴点Ａが消失した後の他車両１
１０１と自車両１１０３との車間距離や相対的位置を推
測する機能および動作についてを図５等に基づいてさら
に詳述する。

【００７７】図５は、イメージプレーン１１００上にお
ける特徴点Ａおよびオプティカルフロー５００と道路１
２０２上の実物の他車両１１０１の位置ＰやＰ´との関
係を模式的に示す図である。ここに、図５において符号
５０２は撮像手段１０１のカメラのレンズ系、またＰは
ある時点での他車両１１０１の走行位置；Ｐ（Ｘ，Ｙ，
Ｚ）、Ｐ´はその次のコマの撮像が行なわれる時点つま
り周期Δｔを隔てた後の他車両１１０１の相対的位置、
Ａは前記の点Ｐに対応してイメージプレーン１１００上
に結像される点、Ａ´は前記の点Ｐ´に対応してイメー
ジプレーン１１００上に結像される点、ｆはレンズ系５
０２からイメージプレーン１１００までの距離である。
なお説明の簡潔化を図るために、図５で座標軸Ｚは他車
両１１０１の走行方向に対して平行に取ってあり、また
イメージプレーン１１００は座標軸Ｚに対して垂直に交
わるように配置されているものとした。

【００７８】この図５に基づいて幾何学的に考察すると
下記に示すような関係式が求められる。即ち、 ｘ＝ｆ・Ｘ／Ｚ …（１） Ｘ´＝｛（Δｘ／Δｔ）・Ｚ＋ｘ・Ｚ´｝／ｆ …（２） ｕ＝Δｘ／Δｔとすると、 …（３） Ｚ＝（ｆ・Ｘ´−ｘＺ´）／ｕ …（４）

【００７９】 ここで、上記のＺ´は隣接車線を走行中の他車両１１０１と自車両１１０３と の相対速度であるから、これをＺ´＝−α …（５） とすると、上記（４）式は、 Ｚ＝（ｆ・Ｘ´＋ｘ・α）／ｕ …（６）

【００８０】従って、オプティカルフロー５０１のｘ方
向成分（即ちΔｘ／Δｔ＝ｕ）は、 ｕ＝（ｆ・Ｘ´＋ｘ・α）／Ｚ …（７）

【００８１】そしてまた、オプティカルフロー５０１の
ｙ方向成分（即ちΔｙ／Δｔ＝ｖ）についても上記とほ
ぼ同様に、 ｖ＝（ｆ・Ｙ´＋ｙ・α）／Ｚ …（８） 以上のような計算式が得られる。

【００８２】ところで、他車両１１０１は一般に、隣接
車線１２０４を直進しながら自車両１１０３に追い付い
て来る場合が殆どである。つまりその移動の方向は殆ど
Ｚ軸に平行であって、Ｘ軸方向つまり横方向の動きにつ
いては、例えばこの他車両１１０１が左車線１２０３へ
と車線変更する場合か、あるいは特殊な事情などにより
蛇行している場合などが考えられるが、いずれにせよそ
のようなＸ軸方向つまり横方向の動きの速さは前記の本
来の走行速度つまりＺ軸方向の速度の大きさよりもかな
り小さいので、つまり横方向の他車両１１０１のオプテ
ィカルフロー５０１のＸ軸方向成分については無視して
も実質上構わない場合もある。特に、例えば図２中で他
車両１１０１が横方向右側へと動く場合には、他車両１
１０１は撮像手段１０１の死角の領域１２００に対して
さらに積極的に侵入して行くことになるが、しかしそれ
と同時に他車両１１０１は自車両１１０３からさらに離
れて行く方向に動いていくことになるから、本発明に係
る技術が必要な状況とはむしろ逆に自車両１１０３に対
して接触や衝突する危険性が低くなる方向に向かうこと
になる。従って、このような点で本発明に係る技術にお
いては他車両１１０１の速度ベクトルのＸ軸方向成分つ
まり横方向の速度の初期値については推測をしない場合
について述べたが、このＸ軸方向成分についても推測す
るようにしても良いことは言うまでもない。

【００８３】また他車両１１０１のＹ軸方向の動きつま
り高さ方向の動きについても、それを考慮しなければな
らない必然性は前記のＸ軸方向の動きの場合よりもさら
に薄いことは言うまでもない。

【００８４】上記のような理由から、Ｘ軸方向およびＹ
軸方向の他車両１１０１の動きについては考慮に入れな
いで省略しても構わないことになる。よって、上記の
（７）式および（８）式において、Ｘ´＝０，Ｙ´＝０
をそれぞれ代入すると、 ｕ＝ｘ・α／Ｚ …（９） ｖ＝ｙ・α／Ｚ …（１０） このような簡潔な関係式が得られる。

【００８５】そしてさらに、自車両１１０３に追い付い
て来た他車両１１０１が、撮像手段１０１の死角の領域
１２００に侵入して行き、やがてはその死角の領域１２
００に完全に入り込んで撮像手段１０１の撮像領域から
消失することになるが、そのような死角の領域１２００
に他車両１１０１が入り込んだ時点における他車両１１
０１の位置については、上記の如く死角内車間距離推測
手段１０５で判定することができる。

【００８６】つまり、例えば図２乃至図４に示したよう
な状態を一例に取ると、他車両１１０１が撮像手段１０
１の死角の領域１２００に侵入して行き、やがては他車
両１１０１の最後部もその死角の領域１２００に完全に
入り込むと、他車両１１０１の画像は撮像手段１０１の
撮像領域から完全に消失することになるが、その一コマ
前の時点で撮像された画像中の特徴点Ａ（ただし図５に
即して言えば、対応点Ａ´）の、イメージプレーン１１
００における座標（ｘ，ｙ）を読み取って、その（ｘ，
ｙ）の値および撮像手段１０１の撮像領域の視野角θお
よび路面幅Ｗに基づいて幾何学的な位置関係によって計
算し、まずそのときの他車両１１０１の位置Ｐ´（Ｘ，
Ｙ，Ｚ）の情報のうち特にＺつまり図２に示すような車
間距離Ｌ1 を検出する。

【００８７】つまり、さらに詳細には、イメージプレー
ンの左右の縁から外へ消える直前で発生したオプティカ
ルフローの発生点の座標（ｘ，ｙ）は、イメージプレー
ンの左右の縁の位置で発生したものとする。つまり、撮
像手段１０１の（ＣＣＤカメラの）水平方向画角θの画
角の端で発生したとする。ただしこのとき、自車両と接
近車両とはそれぞれ走行車線の中央を走行しているもの
とする。高速道路では路面幅Ｗは一般に一定の値（例え
ば３．５ｍ）に規格が統一されているから、固定的に予
め定まっている値である前記の水平方向画角θと路面幅
Ｗとを用いて、Ｌ1 ＝Ｗ／ｔａｎ（θ／２）…（１３）
なる演算によってＬ1 を求めることができる。また図５
から、Ａ′（ｘ，ｙ）について（θ／２）＝ｔａｎ
^-1（ｘ／ｆ）として（θ／２）を求め、この（θ／２）
を（１３）式に代入してＬ1 を求めても良い。

【００８８】またさらに、上記のようにして検出された
車間距離；Ｌ1 ＝Ｚと、イメージプレーンの左右の縁か
ら外へ消える直前の座標（ｘ，ｙ）で発生したオプティ
カルフロー（ｕ，ｖ）を上記の（９）式および（１０）
式に代入する。そしてさらに変形すると、 α＝ｕ・Ｌ1 ／ｘ …（１１） α＝ｖ・Ｌ1 ／ｙ …（１２） となり、結局、図５に即して言うと特徴点Ａに最終的に
対応する対応点Ａ´が消失する直前のオプテイカルフロ
ー５０１の大きさと、その消失する直前の時点のコマに
おけるイメージプレーン１１００上での対応点Ａ´の座
標（ｘ，ｙ）とに基づいて、上記の車間距離Ｌ1 を求め
ることができ、また他車両１１０１の自車両１１０３に
対する相対速度の大きさαについて求めることができ
る。

【００８９】そしてさらには、本発明によれば、前記の
消失直前のオプテイカルフロー５０１の大きさと、それ
が消失する直前の時点のコマにおける特徴点Ａのイメー
ジプレーン１１００上での座標Ａ´（ｘ，ｙ）とに基づ
いて、その特徴点Ａのオプテイカルフロー５０１がイメ
ージプレーン１１００から消失してから後の、他車両１
１０１の動きを、死角内車間距離推測手段１０５が推測
する。

【００９０】即ち、上記のようにしてオプテイカルフロ
ー５０１が消失する直前のオプテイカルフロー５０１の
大きさと、その時点のコマにおける特徴点Ａのイメージ
プレーン１１００上での座標Ａ´（ｘ，ｙ）とを検出す
る。

【００９１】そしてオプテイカルフロー５０１が消失し
た後も、他車両１１０１は前記のオプテイカルフロー５
０１が消失した時点で検出された速度のままで走行を継
続するものと見做しても、ほぼ正確な推測が可能なはず
である。何故なら、他車両１１０１が自車両１１０３の
死角の領域１２００に入っていて危険性が高い状態とい
うのは、その他車両１１０１と自車両１１０３との間の
距離がさほど大きくない状態が殆どだからである。換言
すれば、例えば図２において他車両１１０１が死角の領
域１２００に入ってから自車両１１０３の長さ方向の領
域帯１２０１をも追い越して自車両１１０３の前方に出
るまでの間には、通常では他車両１１０１が速度を大幅
に変化させることは少ない筈で、高々追い抜き・追い越
し途中での加減速がある程度と考えられる。

【００９２】従って、その間の他車両１１０１の動き
は、前記のオプテイカルフロー５０１が消失する直前の
相対速度αと、そのときの他車両１１０１の位置Ｐ´
（Ｘ，Ｙ，Ｚ）とを初期値として用いて、それ以降の他
車両１１０１の相対速度αについては等速度が維持され
ているものとし、またこの他車両１１０１の位置につい
ては前記の相対速度αでＺ軸方向に沿って直進しつつあ
るものとして、他車両１１０１の走行状態を推測するこ
とができる。

【００９３】即ち、定期的に推測処理を行なうように予
め定められた周期ΔＴが来るごとに、死角内車間距離推
測手段１０５は上記の相対速度αを用いてΔＬ＝α・Δ
Ｔを演算し、このΔＬの値を初期値であるＬ1 から差し
引いて行き（つまりＬ1 −ΔＬ＝Ｌ1 −α・ΔＴ）、そ
の時々刻々つまり周期ΔＴごとに他車両１１０１と自車
両１１０３との間の車間距離Ｌを推測することができ
る。

【００９４】こうして、オプテイカルフロー５０１がイ
メージプレーン１１００から消失した後の他車両１１０
１の動きを高い妥当性を以て推測することができるが、
さらには、そのようにして推測された他車両１１０１の
動きが、予め定めておいた危険性の高い状況に対応した
状態に該当しているか否かを、危険度判定手段１０７が
判定する。

【００９５】即ち、この危険度判定手段１０７は、特に
消失直前のオプティカルフロー５０１が、水平よりも上
方向に向かう方向成分を持っている場合には、例えば図
８の一例に則して言うと、他車両１３０１の場合のよう
に、比較的急なカーブの道路上で遅い速さで走行してい
る他車両１３０１が、その遅さに起因して自車両１１０
３から離れて行ってその結果にイメージプレーン１１０
０の枠から外へとフレームアウトした、という場合や、
他車両１３０２のように道路の分岐によってフレームア
ウトした、といった場合などに対応していると考えて良
いので、そのような場合には上記のような推測を実行し
ても無意味である。よって、そのような場合を除いて、
消失直前のオプティカルフロー５０１が水平よりも下方
向に向かう方向成分を持っている場合にのみ、上記のよ
うな推測を死角内車間距離推測手段１０５が実行すると
ともに、その推測の結果を用いてこの危険度判定手段１
０７が危険性が高いとの判定を出した場合には、警報発
生手段１０９と共に兼用している警報ブザー１１０によ
ってその危険性を運転者に警告する。

【００９６】なお、この危険度判定手段１０７は、単に
上記のような死角の領域１２００に侵入した他車両１１
０１の危険度の判定を行なうだけでなく、後続車両等
（図示省略）の自車両１１０３に対する危険度の判定な
ど従来の一般的な後方監視の際の危険性の判定について
も行なうことが可能であることは言うまでもない。

【００９７】即ち、オプティカルフロー５００，５０１
等がＦＯＥ１２０８から発散する方向に向かっている
か、それともＦＯＥ１２０８に収束する方向に向かって
いるかに応じて、隣接車線１２０４を走行中の他車両１
１０１及び後続車両（図示省略）の速度の自車両１１０
３に対する接近度（すなわち危険度）を判断する。即
ち、オプティカルフロー５００，５０１等がＦＯＥから
発散する方向に大きく向かっているほど危険度が高いと
判断する。そしてそうであれば警報を発する。あるいは
警告灯を点灯させるようにしても良いことは言うまでも
ない。

【００９８】ところで、警報発生手段１０９は、例えば
図７に示すように自車両１１０３の死角の領域１２００
に他車両１１０１が侵入している状態のときに、自車両
１１０３が車線変更等の動きを実行すると、自車両１１
０３と他車両１１０１とが衝突するなどして甚だしくは
大事故が発生する場合さえ有る。

【００９９】そこで、そのような自車両１１０３の死角
の領域１２００に他車両１１０１が侵入している状態の
ときに自車両１１０３が車線変更等の動きを実行しよう
として方向指示器１０８を点灯する旨の入力が成された
場合には、前記危険性がある旨の警報を警報発生手段１
０９が聴覚的情報として警報ブザー１１０を鳴動させ
て、その旨を運転者に警告する。なお、このような警報
を発するか否かを判定する基準としては、本実施形態で
は他車両１１０１が死角の領域１２００に入ってから自
車両１１０３の前方に完全に出るまでの間の状態に居る
場合に、危険性が高いものと判定するようにしている。

【０１００】即ち、上記のようにして他車両１１０１が
死角の領域１２００に入って消失する直前のオプティカ
ルフロー５０１に基づいて初期値として得られた相対速
度αで他車両１１０１が自車両１１０３を追い抜いて行
き、自車両１１０３の前方に完全に出るまでの間の状態
において、方向指示器１０８による車線変更の意思表示
（つまり入力）が成された場合に、危険性が高いものと
判定し、その旨の警報を発するようにしている。しかし
これのみには限定されず、この他にも種々の判定基準を
用いることができることは言うまでもない。

【０１０１】次に、本発明に係る車両用後側方監視装置
の動作を、特に死角に入った他車両の動きを推測する動
作を中心として説明する。図６は、本発明に係る車両用
後側方監視装置の動作を、特に死角に入った他車両の動
きを推測する動作を中心として説明する概要フローチャ
ートである。

【０１０２】まず撮像手段１０１は後側景の画像を撮像
する（ｓ１）。続いて、特徴点抽出手段１０２は、前記
後側景の画像中から前記後方又は隣接車線を走行中の他
車両の画像を識別し、その他車両の画像一点を特徴点Ａ
として抽出する（ｓ２）。

【０１０３】そして対応点検出手段１０３は、前記時点
の次の時点のコマとして撮像された画像中から前記特徴
点Ａに対応する対応点Ａ´を検出する（ｓ３）。

【０１０４】続いてオプティカルフロー形成手段１０４
は、前記特徴点Ａと前記対応点Ａ´とを結ぶベクトルを
前記他車両の特徴点のオプティカルフロー５００として
形成する（ｓ４）。

【０１０５】そして、この対応点Ａ´の検出〜オプティ
カルフロー５００の形成は、相前後するコマごとに次々
と検出される対応点Ａ´がイメージプレーン１１００の
外枠に近い所定領域に到達するまで、つまり特徴点Ａが
イメージプレーン１１００の外枠からフレームアウトと
して消失するまで繰り返され、その度ごとにオプティカ
ルフロー５００が形成される（ｓ５のＮ〜ｓ５のＹ）。

【０１０６】そして特徴点Ａがイメージプレーン１１０
０の外枠からフレームアウトとして消失する直前になる
と、つまり換言すれば、図５に示した対応点Ａ´がイメ
ージプレーン１１００の外枠に近い所定領域に到達する
と、死角内車間距離推測手段１０５は、その時点での他
車両１０１の対応点Ａ´の、イメージプレーン１１００
上における座標Ａ´（ｘ，ｙ）に基づいて、そのときの
他車両１１０１の相対速度αおよび相対的位置の座標Ｐ
´（Ｘ，Ｙ，Ｚ）を求める（ｓ６）。

【０１０７】そしてさらに、前記の特徴点Ａ（他車両の
後端部分）がイメージプレーン１１００の外枠からフレ
ームアウトとして消失する直前または対応点Ａ´がイメ
ージプレーン１１００の外枠に近い所定領域に到達した
時点の距離Ｌ1 を初期値として用いて、周期ΔＴごとに
（ｓ７のＹ）、他車両１１０１と自車両１１０３との間
の車間距離Ｌを式Ｌ1 −α・ΔＴの演算を行って求め
（ｓ８ａ）、この車両距離Ｌに自車両１１０３の車体長
さを加算して図７に示すような自車両の先端から他車両
の後端までの距離Ｌ2 を算出する（ｓ８）。Ｌ2 は他車
両後端が自車両先端より後方にある場合は正の値、自車
両先端より前方にある場合は負の値を取るものとする。
そしてこの算出した距離Ｌ2 についてＬ2 ≧Ｓ、Ｌ2 ＜
Ｓの判定を行う（ｓ９）。ここでＳは自車両が車線変更
しても先行位置に存在するようになった他車両との間に
適当な車間距離を保てるように予め設定された安全余裕
距離であり、自車両の先端の前方を負としたとき、例え
ば−１０ｍ等の負の値とされる。

【０１０８】上記判定の結果、Ｌ2 ≧Ｓであるときには
（ｓ９のＹ）、さらにこのとき方向指示器１０８にオン
の入力があれば（ｓ１０のＹ）、警報発生手段１０９に
よって警報を発生させる（ｓ１１）。続いて、方向指示
器１０８のオン入力つまり方向指示器を点灯させること
を中止すれば、再び前記のｓ７に戻り、それ以降の動作
を繰り返す。

【０１０９】そしてＬ2 ＜Ｓとなったときには（ｓ９の
Ｎ）、危険性が低下したのだから、それまでのＬの演算
や相対速度αおよび相対的位置の座標Ｐ´（Ｘ，Ｙ，
Ｚ）の値のデータ等をリセットして、再びｓ（ステッ
プ）１に戻り、上記の動作を最初からまた繰り返す（ｓ
１〜）。すなわち、Ｌ2 ＜Ｓとなったときには、一度消
失した他車両１１０１が距離Ｓ以上先行した安全圏に脱
した判断して、方向指示器１０８にオンの入力があって
も警報発生手段１０９によって警報を発生させることが
なくなる。このようにして本発明に係る車両用後側方監
視装置は動作して、死角の領域１２００内における他車
両１１０１の動きを推測し、その危険を回避することが
できる。

【０１１０】なお、本実施形態においては、特徴点Ａと
して他車両１１０１の最後部の一点を抽出するようにし
たが、特徴点Ａの抽出はこれのみには限定されず、この
他にも例えば他車両１１０１の最先頭部の一点を抽出す
るようにしても良い。

【０１１１】ただしその場合には、上記実施形態の特徴
点Ａの取り方と比較して、その他車両１１０１の長さｂ
の分だけ上記の場合とは車間距離Ｌの値がずれることに
なるが、そのようなずれを補正することなどで対処しつ
つ他車両１１０１の最先頭部の一点を特徴点Ａとして抽
出するようにしても良い。

【０１１２】また、上記実施形態では監視用カメラ即ち
撮像手段１０１は自車両１１０３の最後尾のほぼ中央部
一か所に設置する場合について述べたが、これ以外に
も、撮像手段１０１を自車両１１０３の後方の左右両方
の二か所に１個ずつ合計２個配置した場合にも、その一
つ一つ毎に本発明の技術を適用可能である。

【０１１３】また、オプティカルフローが画面左右の端
から画面外へ消えた状況で、画面端からオプティカルフ
ローが消えた時点から所定の時間（例えば３秒間のよう
に、高速道路上での一般的な追い越しに要する時間な
ど）は近接車両が自車両の横の死角領域を走行している
ものと見做すことができる。そこで、この所定時間内に
おいてターンシグナル等で車線変更の意思を示した場合
には、横方向衝突が発生する危険性が高いので、その旨
の警報を発生するようにしても良い。

【０１１４】

【発明の効果】以上説明したように、本発明によれば、
第１に、運転者に対して自車両の周囲における特にその
死角の領域に入って目視では認知することが殆ど困難な
他車両の存在を、確実に認知することが可能となる。

【０１１５】また第２に、オプティカルフローがイメー
ジプレーン内を移動して来てそのイメージプレーンの周
縁部の所定領域（の撮像セルの位置）に来たときには、
次のコマの時点ではそのオプティカルフローは上記第１
の記載の如くイメージプレーンの枠から外側へとフレー
ムアウトするようにして消失するものと見做しても良い
ということになる。これにより、上記第１記載の技術で
述べた死角の領域に入って目視では認知することが殆ど
困難な他車両の存在を確実に認知することが可能とな
る。

【０１１６】また第３に、死角内車間距離推測手段によ
って推測された前記他車両と前記自車両との間の車間距
離または相対的位置関係に基づいて、その時々刻々での
前記自車両に対しての前記他車両との接触又は衝突の危
険性の度合いを、危険度判定手段が判定することができ
る。そしてさらには、それを運転者に対して表示して警
告することや警報ブザーを鳴動させるなどして、前記の
ような車両どうしの接触や衝突の危険性を未然に回避す
ることができる。

【０１１７】また第４に、自車両の死角の領域に他車両
が侵入している状態のときにそれを推測し、自車両の車
線変更等の動きを実行する以前にその動きによる危険性
が大である旨の警報を発して、自車両と他車両とが衝突
するなどして甚だしくは大事故が発生するといった問題
を解決することができる。

【０１１８】

【０１１９】さらに第５に、他車両が死角領域に侵入し
ている状況で車線変更の操作があったときに、簡易的に
危険を警報することができる。

【図面の簡単な説明】

【図１】本発明に係る車両用後側方監視装置の主要部の
構成を示す図である。

【図２】本発明に係る車両用後側方監視装置を搭載した
自車両が他車両とともに道路上を走行している場合の一
例を示す図である。

【図３】図２のような状態のときに撮像手段のイメージ
プレーン上にレンズ系を介して結像される画像の一例を
示す図である。

【図４】図３のような結像から検出されたエッジの画像
の一例を示す図である。

【図５】イメージプレーン上における特徴点Ａおよびオ
プティカルフローを模式的に示す図である。

【図６】本発明に係る車両用後側方監視装置の動作を、
特に死角に入った他車両の動きを推測する動作を中心と
して説明する概要フローチャートである。

【図７】従来の車両用後側方監視装置を搭載した自車両
が他車両とともに道路上を走行している場合の一例を示
す図である。

【図８】曲率半径の比較的小さな道路およびその道路上
を走る他車両等が撮像手段のイメージプレーン上にレン
ズ系を介して画像として結像された場合の一例を示す図
である。

【図９】自車両後方に後ろ向きに取り付けられた撮像手
段である後方監視用カメラによって得られた時間的に連
続した画像、つまりそのカメラのＣＣＤ撮像素子のよう
な撮像素子のイメージプレーンの枠内に得られた後側景
の一例の概要を示す図である。

【符号の説明】 １０１ 撮像手段 １０２ 特徴点抽出手段 １０３ 対応点検出手段 １０４ オプティカルフロー形成手段 １０５ 死角内車間距離推測手段 １０６ 表示手段 １０７ 危険度判定手段 １０８ 方向指示器 １０９ 警報発生手段 １０９′第２の警報発生手段 １１０ 警報ブザー

フロントページの続き (56)参考文献 特開 平９−76851（ＪＰ，Ａ) 特開 平９−48282（ＪＰ，Ａ) 特開 平６−130076（ＪＰ，Ａ) 特開 平７−50769（ＪＰ，Ａ) 特開 昭63−38056（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) B60R 1/00 B60R 21/00 H04N 7/18

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 走行している自車両から後側景を撮像手
   段によって撮像し、所定時間相前後する２コマの画像中
   の対応点の時間的移動をオプティカルフローとして検出
   し、自車両に対する後方又は隣接車線を走行中の他車両
   の接近状態を監視する車両用後側方監視装置において、 ある時点に撮像された前記後側景の画像中から、前記後
   方又は隣接車線を走行中の他車両の画像の少なくとも一
   点を特徴点として抽出する特徴点抽出手段と、 前記時点の次の時点のコマとして撮像された画像中か
   ら、前記特徴点に対応する対応点を検出する対応点検出
   手段と、 前記特徴点と前記対応点とを結ぶベクトルを前記他車両
   の特徴点のオプティカルフローとして形成するオプティ
   カルフロー形成手段と、 前記他車両の特徴点のオプティカルフローが前記撮像手
   段の撮像可能なイメージプレーンの枠から外側に向かっ
   てフレームアウトして消失した場合に、該消失する直前
   の前記他車両の特徴点のオプティカルフローに基づい
   て、前記他車両の特徴点のオプティカルフローが消失し
   た時点以降の前記他車両と前記自車両との間の車間距離
   および相対的位置関係のうち少なくともいずれか一方を
   推測する死角内車間距離推測手段とを備え、 前記死角内車間距離推測手段は、前記撮像手段の撮像可
   能なイメージプレーンの枠内の周縁部の所定領域に到達
   した時点における前記他車両の特徴点のオプティカルフ
   ローが、前記後側景における水平方向乃至上方に向かう
   方向に対応する方向成分を持ったオプティカルフローで
   あった場合には、前記到達した時点又は該時点の次のコ
   マの時点以降の前記他車両と前記自車両との間の車間距
   離および相対的位置関係の推測を実行せず、前記撮像手
   段の撮像可能なイメージプレーンの枠内の周縁部の所定
   領域に到達した時点における前記他車両の特徴点のオプ
   ティカルフローが、前記後側景における水平方向未満乃
   至下方に向かう方向に対応する方向成分を持った、前記
   自車両の死角へと入って行く他車両の特徴点のオプティ
   カルフローであった場合にのみ、前記到達した時点また
   は該時点の次のコマの時点以降の前記他車両と前記自車
   両との間の車間距離および相対的位置関係のうち少なく
   ともいずれか一方の推測を行なう死角内車間距離推測手
   段である ことを特徴とする車両用後側方監視装置。
2. 【請求項２】 請求項１記載の車両用後側方監視装置に
   おいて、 前記死角内車間距離推測手段は、前記他車両の特徴点の
   オプティカルフローが前記撮像手段の撮像可能なイメー
   ジプレーンの枠内の周縁部の所定領域内に到達した際
   に、前記オプティカルフローが次のコマの時点では消失
   するものと見做して、前記到達した時点でのオプティカ
   ルフローを前記消失する直前の前記他車両の特徴点のオ
   プティカルフローとして用いて、前記到達した時点又は
   該時点の次のコマの時点以降の前記他車両と前記自車両
   との間の車間距離および相対的位置関係のうち少なくと
   もいずれか一方を推測する死角内車間距離推測手段であ
   ることを特徴とする車両用後側方監視装置。
3. 【請求項３】 請求項１又は２記載の車両用後側方監視
   装置において、 前記死角内車間距離推測手段によって推測された前記他
   車両と前記自車両との間の車間距離または相対的位置関
   係に基づいて、前記自車両に対しての前記他車両との接
   触又は衝突の危険性の度合いを判定する危険度判定手段
   を、さらに具備することを特徴とする車両用後側方監視
   装置。
4. 【請求項４】 請求項１乃至３いずれかに記載の車両用
   後側方監視装置において、 前記死角内車間距離推測手段によって推測された前記他
   車両と前記自車両との間の車間距離または相対的位置関
   係が、前記自車両にとって前記他車両との接触又は衝突
   の危険性がある状態として予め定められた範囲内にある
   ときに、車線変更の際の意思表示を行なうために前記自
   車両に設置されている方向指示器を点灯する旨の入力が
   成された場合には、前記危険性がある旨の警報を聴覚的
   情報および視覚的情報のうち少なくともいずれか一方で
   発する警報発生手段をさらに具備することを特徴とする
   車両用後側方監視装置。
5. 【請求項５】 請求項１乃至４いずれかに記載の車両用
   後側方監視装置において、 前記他車両の特徴点のオプティカルフローが前記撮像手
   段の撮像可能なイメージ プレーンの枠から外側に向かっ
   てフレームアウトして消失した場合に、該消失してから
   一定の時間内に車線変更のための操作を行われたとき、
   横方向衝突の発生する危険性がある旨の警報を聴覚的情
   報および視覚的情報のうち少なくともいずれか一方で発
   する第２の警報発生手段をさらに具備することを特徴と
   する車両用後側方監視装置。