JP3791380B2 - 周囲車両検出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、自車両の周囲に存在する他の車両を検出する技術に関する。
【０００２】
【従来の技術】
自車両の周囲に存在する他の車両を検出する技術の従来例としては、特開２０００−２５９９９８号公報（車両用後側方監視装置）に記載された装置がある。この装置においては、車両の後側方に設置されたカメラによって他の車両を撮像し、撮像車両像の任意の点に着目し、その点が所定時間でどちらの方向に、どのくらい移動するかを計算する（この計算手法がオプティカルフロー）。そして上記任意の点を複数の点について着目することにより、車両としての形状に対応した着目点の移動方向と移動量から近傍車両の移動を認識し、その車両の移動速度を予測する構成となっている。つまり、上記従来例においては、撮像画面内で注目すべき移動体を探索し、移動体を発見する第１の構成要素と、発見した撮像移動体の任意の点に着目し、その任意の点が所定時間後に移動した地点とを比較し、移動の方向と移動量から移動体の速度や移動方向を算定する第２の構成要素とを有していることが特徴である。
【０００３】
【発明が解決しようとする課題】
しかし、上記第１の構成要素においては、注目すべき移動体の探索において、多くの場合、撮像画面上のどこに移動体が存在し得るかを仮定し、その範囲内を逐次探索していく必要がある。なぜなら、初めて移動物体を捕らえる場面においては、その移動物体がどの部分に出現するかが予測できないため、全範囲とは言わないまでも、出現が予想される広い範囲の撮像領域内で輝度の変化や後述する移動量を算定するための任意の着目点を設定する必要がある。そのため画像領域全体が探索領域の場合などでは移動体の発見に時間を要するという問題がある。また、第２の構成要素においては、所定の時間間隔で、移動体と考えられる物体表面の着目点の移動方向と移動範囲を算定するものである。ここで問題になるのは、現在の着目点が所定時間後にどの場所の点に移動しているかの対応関係を発見することである。例えば、移動によって着目している点近傍の光学的環境（例えば、日の当たり方や影など）が変化すると、着目点の対応点が探索できない場合がある。これは、対応点の発見が、輝度情報（エッジも含めて）にのみによって行われているためであり、移動量の算定における検出信頼性を劣化させる原因となっている。
【０００４】
本発明は上記のごとき従来技術の問題を解決するためになされたものであり、周囲の光学的環境等に影響されずに、自車の周囲に存在する他の車両を確実に検出することの出来る周囲車両検出装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、本発明においては特許請求の範囲に記載するように構成している。すなわち、請求項１に記載の発明においては、自車両周囲を撮像し、所定時間内に複数の画像を得る画像取得手段と、前記複数の画像から画像中の回転部分を検出する回転部分検出手段と、前記回転部分の位置から他車両の位置を予測する他車両位置予測手段と、を備えるように構成している。
【０００６】
さらに上記の回転部分検出手段は、前記画像取得手段で得た複数の画像をＤＣＴ変換し、ＤＣＴ係数に特定の規則的な変化が存在する場合に当該画像部分が回転部分であると判断するように構成している。なお、ＤＣＴ係数とは、ＤＣＴ（Discrete Cosine Transform：離散的余弦変換、詳細後述）によって得られる係数である。
【０００７】
上記の回転部分検出手段の構成をさらに詳述すると、請求項２に記載のように、所定時間間隔で撮像した複数のフレームを一つのグループとして扱い、前記各フレームについて、ＤＣＴ係数を計算し、それをフレーム分集め、水平方向空間周波数も垂直方向空間周波数も低いＤＣ成分から水平方向空間周波数も垂直方向空間周波数も高い範囲まで、ＤＣＴ係数を水平、垂直周波数毎にそれぞれ加算し、その加算した結果を、前記グループの代表値として、再度、周波数毎に配列したＤＣＴ係数のパターンを求め、そのパターンにおいて特定の重みを持った数値が水平および垂直方向の平面上を規則的に移動し、その周波数が全体的に小さくなってくる変化が時間的もしくはフレーム毎に往復する場合に、そのフレームの画像部分が回転部分であると判断するように構成している。
【０００８】
また、請求項３においては、前記回転部分検出手段で検出した回転部分の回転速度を算出する回転速度算出手段を備えている。
また、請求項４に記載のように、前記回転速度算出手段は、算出した回転速度の変化から他車両の加減速を推定する機能を備えている。
【０００９】
また、請求項５においては、検出した他車両の車体速度を検出する車体速度検出手段を備え、該車体速度検出手段で検出した車体速度と、前記回転速度算出手段で算出した回転速度に対応した他車両の移動速度とを比較し、両者に所定値以上の差があった場合は、検出した他車両の車輪がスリップしていると判断するスリップ状況予測手段を備えるように構成している。
【００１０】
【発明の効果】
請求項１においては、回転部分を検出して画像内の車両位置を予測しているので、従来のように着目すべき点の探索を逐次行う必要が無く、かつ、回転部分のない車両以外の物と誤判断するおそれが少なく、正確な他車両検出を行うことが出来るという効果が得られる。
【００１１】
また、請求項１および請求項２においては、ＤＣＴ係数に特定の規則的な変化が存在する場合に当該画像部分が回転部分であると判断するので、回転部分を確実かつ容易に検出することが出来る。
【００１２】
請求項３においては、他車両のタイヤの回転速度を検出することが出来る。また、請求項４においては、検出した回転速度の時系列的な変化を見ることで、画像内車両の加速又は、減速を推定する事が出来る。
【００１３】
また、請求項５においては、タイヤの回転速度から算出した車両の移動速度と他の方法で検出した車両の車体速度とを比較することにより、検出した他車両のタイヤがスリップしているか否かを判断することが出来る。
【００１４】
【発明の実施の形態】
（第１の実施例）
図１は、本発明の第１の実施例を示すブロック図であり、本発明を車両の後側方警戒装置に適用した場合を例示する。
図１において、カメラ１は電子式のカメラであり、自車両に搭載され、車両周囲（例えば後側方）の景色を撮像する。カメラ１から出力された画像信号は撮像処理部２に入力される。撮像処理部２の出力は、回転部分検出部３に入力され、ここで撮像画面全体から回転部分を検出する。回転部分検出部３の出力は、他車両位置予測部４に入力されて他車両の位置が予測され、また回転速度算出部５に入力されて回転部分の回転速度（タイヤの回転速度）が算出される。それらの情報は、後側方警報部６に入力され、後側方警報に利用される。上記の撮像処理部２、回転部分検出部３、他車両位置予測部４、回転速度算出部５は、例えばマイクロコンピュータを用いて構成することが出来る。また、後側方警報部６はマイクロコンピュータによる警報判断手段と光、映像、音響等による警報装置とから構成することが出来る。
なお、本説明における他車両とは、４輪車等のいわゆる自動車に限らず、回転するタイヤを有する車両、例えばバイクや自転車も含む。
【００１５】
次に動作について説明する。カメラ１より撮影された映像は、撮像処理部２に入力される。撮像処理部２においては、カメラ１の映像をフレームごとに抽出する。なお、通常のカメラでは、１フレームが３３ｍｓ程度毎に出力されるが、本発明では、より高速な撮像によって１ｍｓから２ｍｓごとに１フレームの画像が観察できる環境を前提としている。
【００１６】
次に、１フレームごとの画像は、回転部分検出部３に１フレーム全体画像として入力される。ここで、後述する手法により回転部分が検出される。他車両位置予測部４では回転部分の位置から他車両位置を予測する。また、回転速度算出部５では回転部分の回転速度を計測し、その変化を算出する。それらの結果に応じて後側方警報部６が警報を発生するか否かの判断を行い、ランプ点灯等の光信号やブザー、チャイム等の音響信号などで車両の乗員に警報を発する。
【００１７】
以下、回転部分検出部３における回転部分の検出手法、他車両位置予測部４における他車両位置の予測手法、回転速度算出部５における回転速度の検出処理および後側方警報部６における警報発生の判断機能について順次説明する。
まず、回転部分検出部３における回転部分検出原理の概略について説明する。
図２はカメラ１で撮像した他車両の画像の一例を示す図である。図２において、（ａ）は時刻ｔにおける画像であり、それが（ｂ）の状態を経て、時刻ｔ＋δｔに（ｃ）の画像に変化した場合を示す。図２に示したように、検出の目標となる車両などの移動体については、自車の移動や他車と自車の相対的な位置変化がいかなる場合でも、撮像画面内における所定時間ごとの移動のベクトルは、線形なベクトルで表現できる。これは、景色についても同じであり、移動の方向は、線形式で表現できる。このように背景（景色）も車両も同じ線形式で表現できる点が、前記従来例における問題の根源的原因である。しかし、図２に示すように、移動体のタイヤの動きに着目すると、タイヤのホイールが完全に点対称でなければ、スポーク（タイヤの中央部分から外周方向へ向かう線）が存在し、そのスポークは、タイヤ回転に応じて上記画像内で回転運動を呈する。このように、タイヤ全体としての移動は線形的に外装される直線によってその中心位置が予測されるが、スポークの回転に着目すると、明らかに回転運動に他ならない。本発明は、この点に着目し、こうした直線的な移動の中から回転運動する部分を発見し、この回転運動する部分から他車両を検出するものである。
【００１８】
以下、直線的な移動ベクトルの中から回転運動する部分のみを見つける方法について説明する。
ここでは、ＪｐｅｇやＭｐｅｇ（それぞれ画像圧縮処理の一方法）などの画像処理手法などで一般的に利用される、離散的余弦変換によって得られるＤＣＴ係数列を用いて、空間的な輝度の変化から回転物体を発見する手法を説明する。
まず、実施例を説明する前に、本発明の基礎となる直交変換（公知の方法）について、簡単に説明する。
直交変換の一つの手法として、基底関数に余弦（cos）を用いたＤＣＴ（Discrete Cosine Transform：離散的余弦変換）がある。この方法は、先述したようにＪｐｅｇ、Ｍｐｅｇなどの情報圧縮で利用されており、専用の処理用プロセッサが安価に入手できる。なお、この方法については、例えば「“ポイント図解式最新ＭＰＥＧ教科書”マルチメディア通信研修会編 株式会社アスキー １９９４．１０．１１第１版第２刷 第１２頁〜第１８頁」に詳細な説明が記載されている。
【００１９】
図３は、空間的な情報が２次元平面に正射影された情報の例を示した図である。図３においては、画素の位置ｘ，ｙにおける情報をｆ（ｘ，ｙ）とする。本発明では、カメラ画像なのでカメラに受像した輝度データに対応すると考える。ここで、ｆ（ｘ，ｙ）に関して離散的余弦変換を行う。いわば周波数空間への写像であり、平面データの特徴を周波数平面に変換するものである。変換式を下記（数１）式に示す。
【００２０】
【数１】

ただし、Ｐ＝π×（２ｘ＋１）×Ｕ／１６
Ｑ＝π×（２ｙ＋１）×Ｖ／１６
Ｃｕ，Ｃｖ＝１／√２ （ｕ，ｖ＝０）
Ｃｕ，Ｃｖ＝１ （ｕ，ｖ≠０）
Ｕ、Ｖは、図４に示すＤＣＴ係数の位置を表す。
【００２１】
上記（数１）式は、８ビットのデータであり、水平、垂直に８×８のデータの場合の変換式である。
【００２２】
図４は、ＤＣＴ係数を順番に配置した状態を示す図である。図４において、縦軸は垂直方向空間周波数を示し、横軸は水平方向空間周波数を示す。図の左上は、垂直方向空間周波数が低く、かつ、水平方向空間周波数が低い物体に対応する係数に相当し、図の右下は、垂直方向空間周波数が高く、かつ、水平方向空間周波数が高い物体に対応する係数に相当する。
このＤＣＴ係数の配置は、カメラによって得られた２次元的分布情報に対応する周波数分析の結果を表している。また、水平方向空間周波数が高く、垂直方向空間周波数が低い情報に対する係数の分布や、水平方向空間周波数が低く、垂直方向空間周波数が高い情報に対する係数の分布などが係数の配置として把握できる。
上記の説明では、ＤＣＴ係数列の演算に関し、一つのフレームについてのみ説明したが、本発明では、たとえば、１ｍｓ間隔で撮像した画像情報を数フレーム用意し、その数フレームをＧＯＰ（Group Of Pictures）として、一つのグループとして扱い、各フレーム（１回の観測）について、ＤＣＴ係数を計算し、それをフレーム分集め、水平方向空間周波数も垂直方向空間周波数も低いＤＣ成分から水平方向空間周波数も垂直方向空間周波数も高い範囲まで、ＤＣＴ係数を水平、垂直周波数毎にそれぞれ加算し、その加算した結果を、ＧＯＰの代表値として、再度、周波数毎に配列する。これによって、１フレームにおける空間的周波数の特徴と、時間的な変化によって規定される空間的な周波数変化の両者がＤＣＴ係数のパターンとして表象されることになる。
【００２３】
ここで、画像内に回転部分を含み、かつ、その回転部分にスポークが存在し、そのスポークが回転中心に対して回転しているならば、時間的に水平方向空間周波数と垂直方向空間周波数は特定の変化を規則的に行う。図５は上記の様子を示した図である。
この特定の変化は、ＤＣＴ平面において、回転部分が接近することによって物体が大きくなり、空間周波数は小さくなってくるので、特定の重みを持った数値を時間的に観察していると、図５に示すように、水平および垂直方向の平面上を規則的に移動し、その周波数が全体的に小さくなってくる動きが時間的もしくはフレーム毎に往復する動きとして回転部分は観察される。こうした規則的な係数の変化が存在すれば、それはタイヤを持った移動体、すなわち車やバイク、自転車などであると判断出来る。また、その周波数から回転部分の回転速度を算定することができる。
【００２４】
また、本発明と従来の方法とを組み合わせてもよい。すなわち、上記のようにして回転部分（タイヤ）を検出することが出来れば、前記従来例のような画像処理による他車両の探索方法における着目点および対応点を、その検出した場所に設定すれば直ちに他車両を検出して位置や移動を算出することが出来る。そのため他車両の探索が容易かつ迅速になり、しかも無駄な画像処理が省けるので、演算処理も容易になる。
【００２５】
図６は、回転部分検出部３および他車両位置予測部４における演算処理を示すフローチャートであり、ステップＳ１〜ステップＳ６は回転部分検出部３における処理、ステップＳ７は他車両位置予測部４における処理を示す。
図６において、ステップＳ１では、撮像処理部２からカメラ１で撮像した画像を入力する。自動車や自転車のタイヤのように高速回転する回転部分を検出する場合には、入力する画像は１〜２ｍｓ間隔ごとに１フレームを入力する。
次に、ステップＳ２では、図４に示したようなＤＣＴ係数を演算する。そして数フレーム分を一つのグループとしてＧＯＰとする。
次に、ステップＳ３では、ＧＯＰごとにＤＣＴ係数の移動を観察する。
次に、ステップＳ４では、上記ステップＳ３における観察結果について、前記特定の変化（特徴的な変化）が観察されたか否かを判断し、観察されなかった場合（ＮＯ）には、ステップＳ５で回転部分が存在しないとしてステップＳ１へ戻る。観察された場合（ＹＥＳ）には、ステップＳ６で回転部分が存在すると判断する。
【００２６】
次に、ステップＳ７では、検出した回転部分の位置から他車両の位置を予測する。通常の車両の場合には回転部分（タイヤ）と車体の位置がほぼ定まっているので、画像上において回転部分の位置が判れば他車両の位置を推定することが出来る。なお、前記のように、従来の画像処理による探索方法と組み合わせて、従来例の探索方法における着目点および対応点を、上記の回転部分を検出した場所に設定すれば直ちに他車両を検出して位置や移動を算出することが出来る。
【００２７】
次に、回転速度算出部５について説明する。
図７は、回転速度算出部５における演算処理を示すフローチャートである。
まず、ステップＳ１１では、前記回転部分検出部３によって検出された回転部分について、ＤＣＴ係数の移動速度を計算し、ステップＳ１２では、上記の移動速度を回転速度に変換する。つまり、ＤＣＴ係数の周波数の変化から回転部分の回転速度（検出したタイヤの回転速度）を算定することが出来る。
次に、ステップＳ１３では、回転速度変化を演算し、ステップＳ１４では、回転速度が増加しているか否かを判断する。ステップＳ１４でＹＥＳの場合、つまり回転速度が増加している場合（後側方の他車両が加速している場合）には自車両に接近する可能性があるので、ステップＳ１６で警報発生準備と判断する。ステップＳ１４でＮＯの場合、つまり回転速度が増加していない場合（後側方の他車両が定速または減速している状態）には、ステップＳ１５で警報不要と判断する。
【００２８】
次に、図８は後側方警報部６における演算処理を示すフローチャートである。
図８においては、まず、ステップＳ２１で、前記図７のステップＳ１４の結果に応じて警報が不要か否かを判断し、ＮＯの場合（必要）には、ステップＳ２２で、自車両の方向指示器を観測側（他車両位置予測部４で求めた他車両が発見された側）に操作したか否かを判断する。ステップＳ２２でＹＥＳの場合、つまり方向指示器を他車両側に操作した場合には、ステップＳ２３で、操舵角速度から操舵方向を予測する。そしてステップＳ２４で、観測側に大きく操舵されることが予測される（例えばレーンチェンジする程度の操舵か）か否かを判断する。つまり、方向指示器を他車両側に操作し、操舵角をその方向に大きく操作したとすれば、それは自車両の走行方向を他車両が発見された方向に変更（例えばレーンチェンジ）しようとしていることになるので、ステップＳ２５で警報を発生する。上記のステップＳ２１でＹＥＳ（不要）、ステップＳ２２と２４でＮＯの場合にはそのまま終了する。
なお、ステップＳ２２で方向指示器を対象物体（他車両）側に操作した場合に直ちに警報を発生するように構成してもよい。
【００２９】
上記のように、第１の実施例においては、ＤＣＴ係数の周波数領域上での周波数変化を検出することによって、回転部分（他車両のタイヤ）を検出しているので、直接にエッジ強度や輝度の違いを比べる従来の手法よりも光学的外乱を受けにくいという特徴がある。
【００３０】
（第２の実施例）
図９は第２の実施例の構成を示すブロック図である。この実施例は、前記図１の構成に、レーザレーダ７、車体速度検出部８およびスリップ状況予測部９を追加したものである。
レーザレーダ７は、他車両位置予測部４で検出した他車両の存在方向に向けてレーザ光を照射し、他車両を検出する。車体速度検出部８はレーザレーダ７の検出結果から他車両の車体速度（他車両の移動速度）を検出する。或いは従来例の画像処理方法を用いて他車両の車体速度を検出してもよい。スリップ状況予測部９は、回転速度算出部５のステップＳ１２で求められたタイヤの回転速度を入力し、その値に相当する他車両の移動速度を算出し、その回転速度による移動速度と上記の車体速度とを比較する。そしてその差が所定値よりも大きいときは、スリップ状態と判定する。後側方警報部６においては、スリップしている場合は、その挙動が危険であるため、実施例１で示したように方向指示器や操舵の観測がなくても周囲危険の警報を発生する。
【００３１】
図１０は、図９における演算処理を示すフローチャートである。図１０のステップＳ１〜ステップＳ７は前記図６と同じであり、ステップＳ３１〜ステップＳ３５が追加されている。
ステップＳ３１では、回転速度算出部５のステップＳ１２で求められたタイヤの回転速度を入力し、その値に相当する他車両の移動速度を算出する。この場合には、他車両のタイヤの半径（もしくは直径）が必要であるが、例えば画像処理で求めたタイヤの画像とレーザレーダ７で求めた自車両と他車両との距離からタイヤの半径を算出することができる。タイヤの回転速度をω、タイヤの半径をｒとすれば、タイヤの移動速度νは下記の式で示される。
ν［ｍ／ｓ］＝（ω／２π）２πｒ＝ωｒ［ｍ／ｓ］
ただし、νの単位は［ｍ／ｓ］、ｒの単位は［ｍ］、ωの単位は［rps］である。
【００３２】
ステップＳ３２では、レーザレーダ７の検出結果から他車両の車体速度（他車両の移動速度）を算出する。
ステップＳ３３では、「Ｋ＝タイヤの回転速度から算出した移動速度／レーザレーダ７で求めた車体速度」を算出する。
ステップＳ３４では、Ｋ＞１か否かを判断し、ＹＥＳの場合、つまり、タイヤの回転速度から算出した移動速度の方がレーザレーダ７で求めた車体速度よりも大きい場合には、タイヤがスリップしているとして、ステップＳ３５でスリップ注意と判断する。なお、図１０のステップＳ１１では、Ｋ＞１になっているが、Ｋ＞１＋α（αは予め設定した所定値）にしてもよい。或いは、タイヤの回転速度から算出した移動速度とレーザレーダ７で求めた車体速度との差が所定値以上の場合にスリップしていると判断してもよい。
【００３３】
以上説明したように、本発明においては、Ｊｐｅｇなどの処理において、水平、垂直周波数変化に基づいて回転部分を検出するので、回転部分と非回転部分の判別が容易になり、この判別により回転部分をすばやく画像全体から推定し、かつ、その周波数から回転速度を推定することが出来る。これにより、高速で、かつ外乱などでの変化に影響されにくく、タイヤを持った移動物体を検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例を示すブロック図。
【図２】カメラ１で撮像した他車両の画像の一例を示す図。
【図３】空間的な情報が２次元平面に正射影された情報の例を示した図。
【図４】ＤＣＴ係数を順番に配置した状態を示す図。
【図５】ＤＣＴ係数が水平および垂直方向の平面上を規則的に移動する特定の変化を示す図。
【図６】回転部分検出部３および他車両位置予測部４における演算処理を示すフローチャート。
【図７】回転速度算出部５における演算処理を示すフローチャート。
【図８】後側方警報部６における演算処理を示すフローチャート。
【図９】第２の実施例の構成を示すブロック図。
【図１０】第２の実施例における演算処理を示すフローチャート。
【符号の説明】
１…カメラ ２…撮像処理部
３…回転部分検出部 ４…他車両位置予測部
５…回転速度算出部 ６…後側方警報部
７…レーザレーダ ８…車体速度検出部
９…スリップ状況予測部

Claims (5)

1. 自車両の周囲に存在する他車両を検出する装置であって、
   自車両周囲を撮像し、所定時間内に複数の画像を得る画像取得手段と、
   前記画像取得手段で得た複数の画像をＤＣＴ変換し、ＤＣＴ係数に特定の規則的な変化が存在する場合に当該画像部分が回転部分であると判断することにより画像中の回転部分を検出する回転部分検出手段と、
   前記回転部分の位置から他車両の位置を予測する他車両位置予測手段と、
   を備えたことを特徴とする周囲車両検出装置。
2. 前記回転部分検出手段は、所定時間間隔で撮像した複数のフレームを一つのグループとして扱い、前記各フレームについて、ＤＣＴ係数を計算し、それをフレーム分集め、水平方向空間周波数も垂直方向空間周波数も低いＤＣ成分から水平方向空間周波数も垂直方向空間周波数も高い範囲まで、ＤＣＴ係数を水平、垂直周波数毎にそれぞれ加算し、その加算した結果を、前記グループの代表値として、再度、周波数毎に配列したＤＣＴ係数のパターンを求め、そのパターンにおいて特定の重みを持った数値が水平および垂直方向の平面上を規則的に移動し、その周波数が全体的に小さくなってくる変化が時間的もしくはフレーム毎に往復する場合に、そのフレームの画像部分が回転部分であると判断することを特徴とする請求項１に記載の周囲車両検出装置。
3. 前記回転部分検出手段で検出した回転部分の回転速度を算出する回転速度算出手段を備えたことを特徴とする請求項１または請求項２の何れかに記載の周囲車両検出装置。
4. 前記回転速度算出手段は、算出した回転速度の変化から他車両の加減速を推定する機能を備えたことを特徴とする請求項３に記載の周囲車両検出装置。
5. 検出した他車両の車体速度を検出する車体速度検出手段を備え、該車体速度検出手段で検出した車体速度と、前記回転速度算出手段で算出した回転速度に対応した他車両の移動速度とを比較し、両者に所定値以上の差があった場合は、検出した他車両の車輪がスリップしていると判断するスリップ状況予測手段を備えたことを特徴とする請求項３に記載の周囲車両検出装置。

Images