JP4809019B2 - 車両用障害物検出装置 - Google Patents

Description

本発明は、車両用障害物検出装置に関するものである。

今日では、車両周囲の障害物を検出する装置が実用化されている。このような車両用障害物検出装置は、障害物を検出するためにレーダの原理を利用するものと、カメラを利用するものの２種類に大別することができる。レーダの原理を利用する車両用障害物検出装置としては、レーザ光を送信し、障害物で反射されたレーザ光の到達時間から障害物の位置を検出するいわゆるレーザレーダ（特許文献１）や、ＧＨｚ帯域のミリ波を送信し、障害物で反射されたミリ波の到達時間から障害物の位置を検出するいわゆるミリ波レーダ（特許文献２）、超音波を送信し、障害物で反射された超音波の到達時間から障害物の有無を検出するいわゆる超音波ソナー（特許文献３）が一般的である。またカメラを利用する車両用障害物検出装置としては、車両後方を撮影するカメラ映像の隣り合う映像フレーム間の画像の差分から障害物を検出する装置（特許文献４）や、車両前方を２つのカメラで撮影し、左右の画像の差分から障害物を検出するいわゆるステレオカメラ装置（特許文献４）が一般的である。
特開平５−１１９１４７号公報 特開平５−２７３３３９号公報 特開平５−２１０８００号公報 特開２００４−１０４４７８公報

しかしながら、レーザレーダはレーザをスキャニングするための駆動機構を備えており、またミリ波レーダはミリ波の送受信アンテナを備えているため、いずれも小型化が難しく、またコストも非常に高価であるという問題点がある。

また超音波ソナーは安価であるが、横方向の分解能が低く物体の有無程度しかわからないため、障害物の位置や方向を認識するには不向きであるという問題点がある。

またカメラ映像の映像フレーム間の画像の差分から障害物を検出する装置では、車両の速度が遅く隣り合う映像フレーム間の画像の差分がほとんどない場合は、障害物の検出精度が低下するという問題点がある。

さらに、ステレオカメラ装置では、カメラのレンズの歪により左右の画像の差分の算出精度が悪くなり、障害物の検出精度が低下するという問題点がある。また、車両に取り付ける際に、車両１台ごとに精度高く取り付け調整を行う必要があり、多大な労力が必要であるという問題点がある。

本発明の課題は、俯瞰映像への変換を行った車両周囲の映像に基づいて障害物検出を行うとともに、障害物を検出する車両周囲の領域を複数に分割し、分割位置および車両の走行状態に応じて複数の障害物検出方法を使い分け、障害物検出精度の向上を図る障害物検出装置を提供することにある。

上記問題を解決するために、請求項１に記載の発明は、それぞれの光軸が異なる方向に設定され、車両の周囲の映像を撮影する複数の撮影部を備え、同一時点に２つの撮影部で、重複して撮影される領域を含む２つの映像をそれぞれ俯瞰映像に変換して、それぞれの俯瞰映像を、前記重複して撮影される領域の座標系が互いに重なるように座標変換して、前記座標変換された俯瞰映像同士の差分結果に基づいて前記車両の周囲の障害物を検出する第一の障害物検出処理と、１つの撮影部で異なる時間に撮影された２つの映像フレームを、それぞれ俯瞰映像に変換して、変換された２つの俯瞰映像のうち一方を、前記２つの映像フレーム間における前記車両の移動量と移動方向に応じた量だけ座標変換して、前記座標変換された俯瞰映像と、前記２つの俯瞰映像のうち他方との差分結果に基づいて前記車両の周囲の障害物を検出する第二の障害物検出処理と、のうち少なくとも第一の障害物検出処理を行う一方、１つの撮影部で撮影される領域では、前記第二の障害物検出処理を行う制御装置本体を備えたことを特徴としている。

上記構成によれば、車両周囲を複数のカメラの撮影範囲に基づいて複数の領域に分割し、各領域で２つの障害物検出方法を使い分ける。この動作により、障害物検出の精度を向上することができる。
さらに、上記構成によれば、撮影した映像を俯瞰映像に変換して障害物検出を行う。この動作により、カメラのレンズ歪やカメラの位置合わせによる影響を排除することができ、障害物検出の精度を向上することができる。

また請求項２に記載の発明は、請求項１において、前記制御装置本体は、前記第二の障害物検出処理を行う際に、車速が低速の場合は間隔を隔てた２つの映像フレームを用い、車速が高速の場合は間隔を狭めた２つの映像フレームを用いることを特徴としている。

上記構成によれば、車速に応じて比較する映像フレームの間隔を変化させる。この動作により、映像変化が少ない低速時の障害物検出の精度を向上することができる。

また請求項３に記載の発明は、請求項１において、前記制御装置本体は、前記車両の姿
勢を検出する姿勢検出部を備え、前記姿勢検出部で検出された前記車両の姿勢に基づいて
前記俯瞰映像への変換を行うことを特徴としている。

上記構成によれば、撮影した映像を俯瞰映像に変換する際に、車両の姿勢に応じた変換テーブルを用いる。この動作により、車両姿勢の変化による撮影映像の変化の影響を排除することができ、障害物検出の精度を向上することができる。

また請求項４に記載の発明は、請求項１から３のいずれか１項において、前記複数の撮影部は、隣り合う互いの光軸が直交するように車体の前方、後方、右側方、左側方に取り付けられていることを特徴とする。

上記構成によれば、車両の全周囲において障害物を検出することができる。

また請求項５に記載の発明は、請求項１から４のいずれか１項において、前記制御装置
本体は、検出された障害物の位置に基づいて該障害物が前記車両に接近していることを検
出した場合に所定の警報を行うことを特徴としている。

上記構成によれば、自車両に接近する障害物に対してのみ警報を行うため、必要以上の警報を行って運転者や乗員にわずらわしさを感じさせることがない。

また請求項６に記載の発明は、請求項１から５のいずれか１項において、前記制御装置
本体は、検出された障害物の位置が、前記車両のハンドルの操舵角に基づいて該車両の予
想進路を算出する予想進路算出部が算出した予想進路内にある場合または予想進路の左右
所定の距離以下の位置にある場合に、所定の警報を行うことを特徴としている。

上記構成によれば、予想進路線と所定の位置関係にある障害物に対してのみ警報を行うため、必要以上の警報を行って運転者や乗員にわずらわしさを感じさせることがない。

また請求項７に記載の発明は、請求項５または６において、前記所定の警報は、前記制
御装置本体に接続された警報音発生部が発する警報音であることを特徴としている。

上記構成によれば、警報音により運転者に注意喚起を行うことができる。

また請求項８に記載の発明は、請求項５または６において、前記所定の警報は、前記複
数の撮影部で撮影した映像のうち検出した障害物を含む映像の障害物付近でかつ該障害物
と前記車両との間に所定の画像を重畳し、前記車両の車内に設けられた表示部に該映像を
表示することを特徴としている。

上記構成によれば、運転者に視覚的な注意喚起を行うことができる。

本発明によれば、俯瞰映像への変換を行った車両周囲の映像に基づいて障害物検出を行うとともに、障害物を検出する車両周囲の領域を複数に分割し、分割位置および車両の走行状態に応じて複数の障害物検出方法を使い分け、障害物検出精度の向上を図る障害物検出装置を提供することができる。

以下、本発明の実施例を図面に従って説明する。

図１に本発明の実施例のブロック図を示す。

制御装置本体１には、撮影カメラ２が電気的に接続されており、撮影カメラ２が出力する映像信号を取り込む。撮影カメラ２は、前方撮影カメラ２Ｆ、後方撮影カメラ２Ｂ、右側方撮影カメラ２Ｒ、左側方撮影カメラ２Ｌを備えている。撮影カメラ２が請求項における複数の撮影部にあたる。

制御装置本体１は、取り込んだ映像を俯瞰映像および所定の変換映像に変換する映像変換部１Ａを備えている。この映像変換部１Ａは、各変換を行う場合に利用する変換テーブルを備えており、映像の変換は、撮影カメラ２で撮影された映像の各画素を変換テーブルで定義された座標位置に置き換えることで行うことが出来る。変換テーブルは、変換前後の撮影カメラ２の位置と撮影範囲、撮影画素数、変換した映像の向きや大きさ等に基づいて事前に算出設定することができる。ここで、撮影カメラ２は車両に取り付けられており（後述）、車両が路面に平行に位置する場合と、路面に対して角度を有して位置する場合とでは、同じカメラで撮影した映像でも映像の見え方が異なるため、俯瞰映像への変換は車両の姿勢を考慮する必要がある。すなわち、車両の姿勢に応じた変換テーブルを複数用意しておき、車両の姿勢に応じた変換テーブルをその都度使って俯瞰映像への変換を行う必要がある。このため、映像変換部１Ａは、車両姿勢に応じた複数の変換テーブルを備えている。

制御装置本体１は、取り込んだ映像および映像変換部１Ａにより変換された映像を一時的に記憶する記憶部１Ｂを備えている。

制御装置本体１は、所定の映像に情報を重畳する映像処理部１Ｃを備えている。映像処理部１Ｃの出力は、車内に設けられた表示部３に表示される。

制御装置本体１には、車両の車速を検出する車速センサ４、車両の水平回転方向を検出するヨーセンサ５、車両の左右傾きを検出するロールセンサ６、車両の上下変位を検出するピッチセンサ７が電気的に接続されており、各センサが出力する出力信号を取り込む。

制御装置本体１は、取り込んだ車速サンサ４の出力値に基づき、車速を判定する。また車速に基づき、車両の直線移動量V（ｔ）(後述)を算出する。

制御装置本体１は、取り込んだヨーセンサ５、ロールセンサ６、ピッチセンサ７の出力値を用いて車両姿勢を算出し、算出した車両姿勢に基づいて前述した変換テーブルを選択し、取り込んだ撮影カメラ２の映像の変換を行う。このヨーセンサ５、ロールセンサ６、ピッチセンサ７と制御装置本体１が、請求項における姿勢検出部にあたる。

また、制御装置本体１は、操舵角センサ８が検出したハンドルの操舵角に基づいて車両の予想進路を算出する予想進路算出部が出力する予想進路線の座標および映像を取り込む。取り込んだ予想進路線の座標は障害物警報を発する際に用いられ（後述）、またその映像は映像処理部１Ｃで撮影カメラ２により撮影された映像に重畳される。

図２に、撮影カメラ２の取り付け位置を示す。

前方撮影カメラ２Ｆは、車両前方のフロントグリル２０の略中央部に取り付けられており、車両前方を撮影する。

後方撮影カメラ２Ｂは、車両後方に取り付けられたリアスポイラ２１の略中央部に取り付けられており、車両後方を撮影する。

右側方撮影カメラ２Ｒは右ドアミラー２２Ｒ内部に下方を向くように取り付けられており、車両右側方を撮影する。

左側方撮影カメラ２Ｌは左ドアミラー２２Ｌ内部に下方を向くように取り付けられており、車両左側方を撮影する。

図３に各カメラの撮影領域を示す。

前方撮影カメラ２Ｆの撮影領域は、領域Ａ＋領域Ｂ＋領域Ｃとなる。後方撮影カメラ２Ｂの撮影領域は、領域Ｆ＋領域Ｇ＋領域Ｈとなる。右側方撮影カメラ２Ｒの撮影領域は、領域Ｃ＋領域Ｅ＋領域Ｈとなる。左側方撮影カメラ２Ｌの撮影領域は、領域Ａ＋領域Ｄ＋領域Ｆとなる。

すなわち、領域Ａは、前方撮影カメラ２Ｆおよび左側方撮影カメラ２Ｌで撮影される。領域Ｂは、前方撮影カメラ２Ｆのみで撮影される。領域Ｃは、前方撮影カメラ２Ｆおよび右側方撮影カメラ２Ｒで撮影される。領域Ｄは、左側方撮影カメラ２Ｌのみで撮影される。領域Ｅは、右側方撮影カメラ２Ｒのみで撮影される。領域Ｆは、後方撮影カメラ２Ｂおよび左側方撮影カメラ２Ｌで撮影される。領域Ｇは、後方撮影カメラ２Ｂのみで撮影される。領域Ｈは、後方撮影カメラ２Ｂおよび右側方撮影カメラ２Ｒで撮影される。

次に、図４のフローチャートを用いて、本実施例における障害物検出の基本動作を説明する。

ステップＳ１０１では、障害物を検出する領域が判定される。障害物を検出する領域が領域Ａ、領域Ｃ、領域Ｆ、領域Ｈの場合は、フローはステップＳ１０２へ移行し、２カメラによる障害物検出を行う。一方、障害物を検出する領域が領域Ｂ、領域Ｄ、領域Ｅ、領域Ｇの場合は、フローはステップＳ１０５へ移行し、１カメラによる障害物検出を行う。

ステップＳ１０２では、制御装置本体１が、ヨーセンサ５、ロールセンサ６、ピッチセンサ７の各出力信号の値を用いて車両姿勢を算出し、算出した車両姿勢に基づいて撮影カメラ２で撮影した映像を俯瞰映像に変換する際に利用する変換テーブルを選択する。この後に、フローはステップＳ１０３へ移行する。

ステップＳ１０３では、ステップＳ１０２で選択された変換テーブルを用いて、撮影カメラ２で撮影した映像が俯瞰映像に変換される。この後に、フローはステップＳ１０４へ移行する。

ステップＳ１０４では、同時に撮影した２カメラの映像の差分に基づいて障害物を検出するステレオ画像処理（後述）が行われる。この後に、フローはステップＳ１１２へ移行する。

ステップＳ１０５では、車速センサ４で検出した車速が判定される。車速が所定値Ｖ１以上である場合は、フローはステップＳ１０６〜ステップＳ１０８へ移行し、隣り合う映像フレーム間の差分を算出して障害物検出を行う。一方、車速が所定値Ｖ１未満である場合は、車速が遅く隣り合う映像フレーム間の差分を算出しても差分が少なく精度良く障害物検出が行えない状態であるとして、フローはｆ（＞１）映像フレームを隔てた２つの映像フレーム間の差分を算出して障害物検出を行うステップＳ１０９〜ステップＳ１１１へ移行する。

ステップＳ１０６では、制御装置本体１が、ヨーセンサ５、ロールセンサ６、ピッチセンサ７の各出力信号の値を用いて車両姿勢を算出し、算出した車両姿勢に基づいて撮影カメラ２で撮影した映像を俯瞰映像に変換する際に利用する変換テーブルを選択する。この後に、フローはステップＳ１０７へ移行する。

ステップＳ１０７では、ステップＳ１０６で選択された変換テーブルを用いて、撮影カメラ２で撮影した映像が俯瞰映像に変換される。この後に、フローはステップＳ１０８へ移行する。

ステップＳ１０８では、隣り合う映像フレーム間の差分に基づいて障害物を検出するモーションステレオ処理（後述）が行われる。この後に、フローはステップＳ１１２へ移行する。

ステップＳ１０９では、制御装置本体１が、ヨーセンサ５、ロールセンサ６、ピッチセンサ７の各出力信号の値を用いて車両姿勢を算出し、算出した車両姿勢に基づいて撮影カメラ２で撮影した映像を俯瞰映像に変換する際に利用する変換テーブルを選択する。この後に、フローはステップＳ１１０へ移行する。

ステップＳ１１０では、ステップＳ１０９で選択された変換テーブルを用いて、撮影カメラ２で撮影した映像が俯瞰映像に変換される。この後に、フローはステップＳ１１１へ移行する。

ステップＳ１１１では、ｆ映像フレームを隔てた２つの映像フレーム間の差分に基づいて障害物を検出するモーションステレオ処理（後述）が行われる。この後に、フローはステップＳ１１２へ移行する。

ステップＳ１１２では、表示部３に表示する映像上の障害物検出位置付近に警報線を重畳表示する。

ステップＳ１１３では、警報発生条件が成立した場合に、所定の警報が行われる。ここで、予想進路算出部９で算出した予想進路付近に障害物がある場合、および障害物が自車両に接近する場合を警報発生条件とする。また、警報音発生部１０により発する警報音、および警報線の点滅表示を所定の警報とする。

以上の動作フローにより、障害物を検出する領域が２つのカメラ映像で撮影される領域Ａ、領域Ｃ、領域Ｆ、領域Ｈの場合は、撮影映像が俯瞰映像に変換された後に、ステレオ画像処理によって障害物検出が行われる。

また、障害物を検出する領域が一つのカメラ映像で撮影される領域Ｂ、領域Ｄ、領域Ｅ、領域Ｇの場合は、撮影映像が俯瞰映像に変換された後に、２つの映像フレーム間の差分に基づいて障害物の検出を行うモーションステレオ処理が行われる。この場合、車速が速い（車速≧Ｖ１）場合は、隣り合う映像フレーム間の差分を算出する。一方、車速が遅い場合は、隣り合う映像フレーム間の差分を算出しても、画像の差分が少なく障害物を検出できない可能性がある。このため、ｆ(＞１)映像フレームを隔てた２つの映像フレーム間の差分を算出し、障害物の検出精度の向上を図る。

また、車両の姿勢に応じた変換テーブルを用いて俯瞰変換を行う。これにより、車両の姿勢変化による映像変化の影響を排除し、障害物検出の精度を向上することができる。

なお、上記ステレオ画像処理による障害物検出が請求項における第一の障害物検出処理にあたる。また上記モーションステレオ処理による障害物検出が請求項における第二の障害物検出処理にあたる。

次に、２つのカメラで撮影される領域Ａ、領域Ｃ、領域Ｆ、領域Ｈにおける障害物検出の動作を、図５のフローチャートと図６〜図１０の動作説明図を用いて説明する。ここでは、代表例として、領域Ｆにおける障害物検出の動作を説明する。

ステップＳ２０１では、左側方撮影カメラ２Ｌで撮影された映像が車両姿勢に応じて選択された変換テーブルに基づいて俯瞰映像に変換される。左側方撮影カメラ２Ｌで撮影された映像は、車両の前後方向の撮影範囲が広くなるように、図６の左上図のように撮影される（図６中の文字Ａ、Ｄ、Ｆは説明のための文字であり、左側方撮影カメラ２Ｌで撮影された映像内に挿入されているものではない）。この映像はレンズによる歪を含んだ映像となり、歪は撮影画角が大きくなればなるほど増大する。この映像を、俯瞰映像に変換して映像の歪を除去すると、図６の左下図に示す映像となる。この後に、フローはステップＳ２０２へ移行する。

ステップＳ２０２では、後に行う差分算出の前処理として、ステップＳ２０１で変換した俯瞰映像を、図６の右下図に示すように９０度左に回転した映像に変換する。なお、左側方撮影カメラ２Ｌで撮影された映像が図６の右上図のように撮影される場合は、このステップは不要である。この後に、フローはステップＳ２０３へ移行する。

ステップＳ２０３では、後に行う差分算出の前処理として、ステップＳ２０２で９０度左回転した俯瞰映像を、図７におけるＰ１の位置での俯瞰映像に変換する。ここでＰ１の位置は、車両左側方の接線ＬＬ上にあり、車両左側方の接線ＬＬと車両後端の接線ＬＢとの交点ＰＣからの距離Ｌ２が、交点ＰＣから後方撮影カメラ２Ｂまでの距離Ｌ１と同じ距離となる位置である。このような位置とすることで、領域Ｆに対する２つのカメラの位置が対照位置となり、ステレオ画像処理による領域Ｆ内の障害物検出を精度良く実行することができる。この後に、フローはステップＳ２０４へ移行する。

ステップＳ２０４では、後方撮影カメラ２Ｂで撮影した映像が、俯瞰映像に変換される。後方撮影カメラ２Ｂで撮影された映像は、図８の左上図のようにレンズによる歪を含み、上下が逆転した映像となる（図８中の文字Ｆ、Ｇ、Ｈは説明のための文字であり、後方撮影カメラ２Ｂで撮影された映像内に挿入されているものではない）。この歪は撮影画角が大きくなればなるほど増大する。この映像を１８０度回転すると、図８の左下図の映像となる。さらにこの映像を、俯瞰映像に変換して映像の歪を除去すると、図８の右下図の映像となる。ステップＳ２０３で得た左側方撮影カメラ２Ｌの俯瞰映像とステップＳ２０４で得た後方撮影カメラ２Ｂの俯瞰映像を、位置調整を行って合わせると、図９に示す映像を得ることができる。この映像でわかるように、領域Ｆは、左側方撮影カメラ２Ｌおよび後方撮影カメラ２Ｂの双方で撮影されている。この後に、フローはステップＳ２０５へ移行する。

ステップＳ２０５では、ステップＳ２０４で変換した後方撮影カメラ２Ｂの俯瞰映像を図７におけるＰ１の位置からの俯瞰映像に変換する。この後に、フローはステップＳ２０６へ移行する。

ステップＳ２０６〜ステップＳ２０７がステレオ画像処理による障害物検出のフローである。

ステップＳ２０６では、ステップＳ２０３で変換した左側方撮影カメラ２Ｌの映像と、ステップＳ２０５で変換した後方撮影カメラ２Ｂの映像の差分が算出される。ここで、左側方撮影カメラ２Ｌおよび後方撮影カメラ２Ｂで撮影された映像内の物体がすべて道路面と同一面上にあるものと仮定すると、ステップＳ２０５で変換した後方撮影カメラ２Ｂの映像は、ステップＳ２０３で変換した左側方撮影カメラ２Ｌの映像と一致するはずである。逆に言えば、これらの映像の差分を取った際に、差分がある画像部分が、道路面と同一面上にはない物体、すなわち障害物であると特定することができる。この後に、フローはステップＳ２０７へ移行する。

ステップＳ２０７では、差分が検出された座標位置、すなわち表示画面上における障害物の座標位置を算出する。障害物の座標位置は、差分が検出された座標に設定する。この後に、フローはステップＳ２０８へ移行する。

ステップＳ２０８では、映像処理部１Ｃにより、ステップＳ２０７で算出された座標位置または座標位置付近の左側方撮影カメラ２Ｌの映像または後方撮影カメラ２Ｂの映像に、警報線を重畳表示する。警報線は、障害物より車両に近い側に表示される。図１０に、左側方撮影カメラ２Ｌの映像に警報線を重畳表示した例を示す。この後に、フローはステップＳ２０９へ移行する。

ステップＳ２０９では、予想進路算出部９で算出した予想進路線に対する障害物の位置が判定される。検出された障害物の位置が予想進路算出部９で算出した予想進路線より外側で所定距離Ｄ以上離れている場合は（図１０参照）、障害物との接触の可能性が低いと判定されて、フローはステップＳ２０１へ戻り、障害物警報は行われない。一方、検出された障害物の位置が予想進路算出部で算出した予想進路線より外側で所定距離Ｄ未満の位置にある場合は、障害物との接触の可能性があると判定されて、フローは障害物警報を行うステップＳ２１０以降へ移行する。

ステップＳ２１０では、障害物が自車両に接近しているかどうかの判定が行われる。現在の障害物の位置と前回算出した障害物の位置とを比較し、現在の障害物の位置が前回の位置よりも自車両側に位置する場合は、障害物が自車両に接近していると判定されて、障害物警報を行うためにフローはステップＳ２１１へ移行する。一方、現在の障害物の位置が前回の位置よりも車体から離れている場合は、障害物が自車両から遠ざかっていると判定されて、障害物警報は行わず、フローはステップＳ２０１へ戻る。

ステップＳ２１１では、警報音発生部１０により警報音を発するとともに、表示部３の画面上に表示された警報線を点滅して、運転者への注意喚起を行う障害物警報が行われる。

以下、ステップＳ２０１〜ステップＳ２１１が繰り返される。

以上の動作フローにより、２つのカメラで撮影される領域Ｆにおける障害物検出が実施される。領域Ａ、領域Ｃ、領域Ｈについても同様の動作フローにより障害物検出が実施される。

なお、車両から表示部３に表示される任意の道路面までの距離はあらかじめ調べておくことが可能であるため、ステップＳ２０６で差分の検出された位置座標を車両からの距離に換算することができ、この距離を表示部３に表示しても良い。

次に、一つのカメラで撮影される領域Ｂ、領域Ｄ、領域Ｅ、領域Ｇにおける障害物検出の動作を、図１１のフローチャートと図１２〜図１３の動作説明図を用いて説明する。一つのカメラによる障害物検出は、撮影位置が変化する一つのカメラで同一の障害物を撮影した際の映像の差分に基づいて障害物を検出する、いわゆるモーションステレオ処理を用いる。ここでは代表例として、領域Ｇにおける障害物検出の動作を説明する。

ステップＳ３０１では、車速センサ４によって検出された車速が判定される。車速が所定値Ｖ１以上の場合は、フローはステップＳ３０２へ移行する。一方、車速が所定値Ｖ１未満の場合は、フローはステップＳ３０３へ移行する。

ステップＳ３０２では、比較を行う映像フレームの間隔ｆが設定される。車速が所定値Ｖ１以上の場合は、隣り合う映像フレーム、すなわちＮ映像フレームとＮ＋１映像フレームの比較を行うため、ｆに値１が代入される。この後に、フローはステップＳ３０６へ移行する。

ステップＳ３０３では、車速センサ４によって検出された車速が判定される。車速が所定値Ｖ２（＜Ｖ１）以上の場合は、フローはステップＳ３０４へ移行する。一方、車速が所定値Ｖ２未満の場合は、フローはステップＳ３０５へ移行する。

ステップＳ３０４では、比較を行う映像フレームの間隔ｆが設定される。車速が所定値Ｖ１未満Ｖ２以上の場合は、Ｎ映像フレームとＮ＋ｆｒ２（＞１、例えば１５）映像フレームの比較を行うため、ｆに値ｆｒ２が代入される。この後に、フローはステップＳ３０６へ移行する。

ステップＳ３０５では、比較を行う映像フレームの間隔ｆが設定される。車速が所定値Ｖ２未満の場合は、Ｎ映像フレームとＮ＋ｆｒ３（＞ｆｒ２、例えば３０）映像フレームの比較を行うため、ｆに値ｆｒ３が代入される。この後に、フローはステップＳ３０６へ移行する。

ステップＳ３０６では、後方撮影カメラ２Ｂで撮影された映像が、俯瞰映像に変換される。この後に、フローはステップＳ３０７へ移行する。

ステップＳ３０７では、ある時点での後方撮影カメラ２Ｂの俯瞰映像が記憶部１Ｂに記憶される（図１２参照）。ここで、記録された俯瞰映像の映像フレームがＮ映像フレームであるとする。この後に、フローはステップＳ３０８へ移行する。

ステップＳ３０８では、後方撮影カメラ２ＢのＮ＋ｆ映像フレームの俯瞰映像が記憶部１Ｂに記憶される（図１２参照）。ｆの値は、ステップＳ３０１〜ステップＳ３０５で設定したように、車速がＶ１以上の場合はｆ＝１となり、車速がＶ１未満Ｖ２以上の場合はｆ＝ｆｒ２（＞１）となり、車速がＶ２未満の場合はｆ＝ｆｒ３（＞ｆｒ２）となる。この後に、フローはステップＳ３０９へ移行する。

ステップＳ３０９では、映像がｆ映像フレーム進んだ間の車両の移動量Ｖ（ｆ）を算出し、車両の移動量Ｖ（ｆ）に対応する映像の移動量Ｓ（ｆ）を算出する。映像がｆ映像フレーム進んだ間の車両の移動量Ｖ（ｆ）は、車速センサ４で検出した車速と、映像がｆ映像フレーム進む間の所要時間から算出することができる。ここで、車両の移動量と映像の移動量の対応関係はあらかじめ調べておくことができるため、映像がｆ映像フレーム進む間の車両の移動量Ｖ（ｆ）を算出すれば、映像がｆ映像フレーム進む間の映像の移動量Ｓ（ｆ）を算出することができる。この後に、フローはステップＳ３１０へ移行する。

ステップＳ３１０では、ステップＳ３０８で記憶されたＮ＋ｆ映像フレームの俯瞰映像が、映像の移動方向とは逆方向に、映像の移動量Ｓ（ｆ）分シフトされる。この後に、フローはステップＳ３１１へ移行する。

ステップＳ３１１では、ステップＳ３０７で記憶されたＮ映像フレームの俯瞰映像と、ステップＳ３１０で得られたシフト後のＮ＋ｆ映像フレームの俯瞰映像の差分が算出される（図１２参照）。ここで、Ｎ映像フレームの俯瞰映像内の物体およびシフト後のＮ＋ｆ映像フレームの俯瞰映像内の物体がすべて道路面と同一面上にあるものと仮定すると、Ｎ映像フレームの俯瞰映像は、シフト後のＮ＋ｆ映像フレームの俯瞰映像と一致するはずである。逆に言えば、これらの映像の差分を取った際に、差分がある画像部分が、道路面と同一面上にはない物体、すなわち障害物であると特定することができる。この後に、フローはステップＳ３１２へ移行する。

ステップＳ３１２では、差分が検出された座標位置、すなわち表示画面上における障害物の座標位置を算出する。障害物の座標位置は、差分が検出された座標に設定する。この後に、フローはステップＳ３１３へ移行する。

ステップＳ３１３では、映像処理部１Ｃにより、ステップＳ３１２で算出された座標位置または座標位置付近の後方撮影カメラ２Ｂの映像に、警報線を重畳表示する。警報線は、障害物より車両に近い側に表示される。図１３に、後方撮影カメラ２Ｂの映像に警報線を重畳表示した例を示す。この後に、フローはステップＳ３１４へ移行する。

ステップＳ３１４では、予想進路算出部９で算出した予想進路線に対する障害物の位置が判定される。検出された障害物の位置が予想進路算出部９で算出した予想進路線より外側にある場合は、障害物との接触の可能性が低いと判定されて、フローはステップＳ３０１へ戻り、障害物警報は行われない。一方、検出された障害物の位置が予想進路算出部で算出した予想進路線より内側にある場合は（図１３参照）、障害物との接触の可能性があると判定されて、フローは障害物警報を行うステップＳ３１５以降へ移行する。

ステップＳ３１５では、障害物が自車両に接近しているかどうかの判定が行われる。現在の障害物の位置と前回算出した障害物の位置とを比較し、現在の障害物の位置が前回の位置よりも自車両側に位置する場合は、障害物が自車両に接近していると判定されて、障害物警報を行うためにフローはステップＳ３１６へ移行する。一方、現在の障害物の位置が前回の位置よりも車体から離れている場合は、障害物が自車両から遠ざかっていると判定されて、障害物警報は行わず、フローはステップＳ３０１へ戻る。

ステップＳ３１６では、警報音発生部１０により警報音を発するとともに、表示部３の画面上に表示された警報線を点滅して、運転者への注意喚起を行う障害物警報が行われる。

以下、ステップＳ３０１〜ステップＳ３１６が繰り返される。

以上の動作フローにより、一つのカメラで撮影される領域Ｇにおける障害物検出が実施される。領域Ｂ、領域Ｄ、領域Ｅについても同様の動作フローにより障害物検出が実施される。

なお、車両から表示部３に表示される任意の道路面までの距離はあらかじめ調べておくことが可能であるため、ステップＳ３１２で差分の検出された位置座標を車両からの距離に換算することができ、この距離を表示部３に表示しても良い。

以上の動作により、車両周囲を複数のカメラの撮影領域に基づいて複数の領域に分割し、各領域で複数の障害物検出方法を使い分ける。この動作により、障害物検出の精度を向上することができる。

また、撮影した映像を俯瞰映像に変換して障害物検出を行う。この動作により、カメラのレンズ歪やカメラの取り付け位置による影響を排除することができ、障害物検出の精度を向上することができる。

また、撮影した映像を俯瞰映像に変換する際に、車両の姿勢に応じた変換テーブルを用いる。この動作により、車両姿勢の変化による映像変化の影響を排除することができ、障害物検出の精度を向上することができる。

また、一つのカメラで撮影される領域の障害物検出においては、車速に応じて比較する映像フレームの間隔を変化させる。すなわち、車速が速く隣り合う映像フレーム間の映像変化が十分に得られる場合は隣り合う映像フレームを比較して障害物検出を行う。一方、車速が遅く隣り合う映像フレーム間の映像変化が十分に得られない場合は、所定の映像フレームを隔てた映像フレームを比較して障害物検出を行う。この動作により、障害物検出の精度を向上することができる。

また、予想進路線の外側で所定距離以内にある障害物および予想進路線内にある障害物に対してのみ警報を行うため、必要以上の警報を行って運転者や乗員にわずらわしさを感じさせることがない。

さらに、自車両に接近する障害物に対してのみ警報を行うため、必要以上の警報を行って運転者や乗員にわずらわしさを感じさせることがない。

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎず、本発明は実施例の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。

例えば、車両周囲を撮影するカメラの数は本実施例に記載した数に限られるものではなく、より多くのカメラを用いても良い。

また、カメラの設置位置は本実施例に記載した設置位置に限られるものではなく、車両の外形等に合わせて設置位置を調整しても良い。

また、領域Ａ、領域Ｃ、領域Ｆ、領域Ｈでは、走行中は１カメラによるモーションステレオ処理での障害物検出も可能である。したがって、障害物検出精度をより向上させるため、領域Ａ、領域Ｃ、領域Ｆ、領域Ｈでは、走行中に２カメラによるステレオ画像処理に基づいた障害物検出と１カメラによるモーションステレオ処理での障害物検出を併用しても良い。

また障害物警報の方法は、本実施例に記載した方法に限られず、運転者に注意喚起を行うことが出来る他の方法を用いることが出来る。

また、車速センサ４、ヨーセンサ５、ロールセンサ６、ピッチセンサ７の出力が分散型制御ネットワークの規格であるＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）上で送受信され、制御装置本体１はＣＡＮ経由でこれ等の出力信号を受け取っても良い。

さらに、車速センサ４、ヨーセンサ５、ロールセンサ６、ピッチセンサ７の出力信号により変換テーブルを選択する際に、各出力信号に基づいて所定時間後に利用する変換テーブルを予測して利用しても良い。

本発明の実施例のブロック図である。 本発明の実施例の撮影カメラ２の取り付け位置を示す図である。 本発明の実施例において撮影カメラ２が撮影する領域を示す図である。 本発明の実施例の障害物検出の基本動作のフローチャートである。 本発明の実施例の２カメラを用いた障害物検出のフローチャートである。 本発明の実施例の２カメラを用いた障害物検出の動作説明図である。 本発明の実施例の２カメラを用いた障害物検出の他の動作説明図である。 本発明の実施例の２カメラを用いた障害物検出の他の動作説明図である。 本発明の実施例の２カメラを用いた障害物検出の他の動作説明図である。 本発明の実施例の障害物検出の表示例である。 本発明の実施例の１カメラを用いた障害物検出のフローチャートである。 本発明の実施例の１カメラを用いた障害物検出の動作説明図である。 本発明の実施例の障害物検出の表示例である。

符号の説明

１ 制御装置本体
１Ａ 映像変換部
１Ｂ 記憶部
１Ｃ 映像処理部
２ 撮影カメラ
２Ｆ 前方撮影カメラ
２Ｂ 後方撮影カメラ
２Ｒ 右側方撮影カメラ
２Ｌ 左側方撮影カメラ
３ 表示部
４ 車速センサ
５ ヨーセンサ
６ ロールセンサ
７ ピッチセンサ
８ 操舵角センサ
９ 予想進路算出部
１０ 警報音発生部
２０ フロントグリル
２１ リアスポイラ
２２Ｒ 右ドアミラー
２２Ｌ 左ドアミラー

Claims (8)

1. それぞれの光軸が異なる方向に設定され、車両の周囲の映像を撮影する複数の撮影部を備え、
   同一時点に２つの撮影部で、重複して撮影される領域を含む２つの映像をそれぞれ俯瞰映像に変換して、それぞれの俯瞰映像を、前記重複して撮影される領域の座標系が互いに重なるように座標変換して、前記座標変換された俯瞰映像同士の差分結果に基づいて前記車両の周囲の障害物を検出する第一の障害物検出処理と、
   １つの撮影部で異なる時間に撮影された２つの映像フレームを、それぞれ俯瞰映像に変換して、変換された２つの俯瞰映像のうち一方を、前記２つの映像フレーム間における前記車両の移動量と移動方向に応じた量だけ座標変換して、前記座標変換された俯瞰映像と、前記２つの俯瞰映像のうち他方との差分結果に基づいて前記車両の周囲の障害物を検出する第二の障害物検出処理と、
   のうち少なくとも第一の障害物検出処理を行う一方、１つの撮影部で撮影される領域では、前記第二の障害物検出処理を行う制御装置本体を備えたことを特徴とする車両用障害物検出装置。
2. 前記制御装置本体は、前記第二の障害物検出処理を行う際に、車速が低速の場合は間隔を隔てた２つの映像フレームを用い、車速が高速の場合は間隔を狭めた２つの映像フレームを用いることを特徴とする請求項１に記載の車両用障害物検出装置。
3. 前記制御装置本体は、前記車両の姿勢を検出する姿勢検出部を備え、前記姿勢検出部で
   検出された前記車両の姿勢に基づいて前記俯瞰映像への変換を行うことを特徴とする請求
   項１に記載の車両用障害物検出装置。
4. 前記複数の撮影部は、隣り合う互いの光軸が直交するように車体の前方、後方、右側方、左側方に取り付けられていることを特徴とする請求項１から３のいずれか１項に記載の車両用障害物検出装置。
5. 前記制御装置本体は、検出された障害物の位置に基づいて該障害物が前記車両に接近し
   ていることを検出した場合に所定の警報を行うことを特徴とする請求項１から４のいずれ
   か１項に記載の車両用障害物検出装置。
6. 前記制御装置本体は、検出された障害物の位置が、前記車両のハンドルの操舵角に基づ
   いて該車両の予想進路を算出する予想進路算出部が算出した予想進路内にある場合または
   予想進路の左右で所定の距離以下の位置にある場合に、所定の警報を行うことを特徴とす
   る請求項１から５のいずれか１項に記載の車両用障害物検出装置。
7. 前記所定の警報は、前記制御装置本体に接続された警報音発生部が発する警報音である
   ことを特徴とする請求項５または６に記載の車両用障害物検出装置。
8. 前記所定の警報は、前記複数の撮影部で撮影した映像のうち検出した障害物を含む映像
   の障害物付近でかつ該障害物と前記車両との間に所定の画像を重畳し、前記車両の車内に
   設けられた表示部に該映像を表示することを特徴とする請求項５または６に記載の車両用
   障害物検出装置。

Images