JP4269862B2 - 車載用移動体検出装置 - Google Patents

Description

本発明は画像処理技術を用いて車両の例えば前方を横切る歩行者などを検出する車載用移動体検出装置に関する。

交通事故防止対策の一つとして、車両に前方障害物検出センサを搭載し、危険な時には非常ブレーキをかけるシステムが研究されている。その一例として、車両の前方を撮影するカメラを車両に搭載し、このカメラから得られた画像を順次記憶し、最新画像を以前の画像と比較して差分をとることにより、撮影エリアを画素毎に物体なし、物体あり、物体退却、物体進入の４値に４値化し、画像中の物体あり、物体退却、物体進入に夫々対応する画素の分布により物体の移動ベクトルを算定し、該移動ベクトルの方向と道路を横断する方向との比較により横断歩道上の歩行者を識別するというものがある（例えば、特許文献１）。
特開平７−２００９８６号公報

上記の特許文献１に記載の装置では、自車両の前方に自車両が走行する道路と交差する方向に移動する物体が存在すると、衝突の恐れのある物体が前方にあると判断する。このため、自車両の走行する道路の前方に立体交差する他の道路または鉄路が存在していた場合、実際には衝突の恐れがないにもかかわらず、その立体交差している道路または鉄路を走行する自動車や鉄道を衝突する恐れのある移動物体と判断してしまうという問題がある。このような問題は、自車両の走行する道路の前方がカーブしている場合においても、同様に生ずる。

本発明は上記事情に鑑みてなされたものであり、その目的は、自車両が走行している道路と立体交差している道路を走行している他の車両など、衝突の恐れのない移動物体については、これを検出しないようにすることができる車載用移動体検出装置を提供することにある。

上記の目的を達成するために、本発明は、車両に搭載され、自車両の前方を撮影する撮影手段と、この撮影手段による撮影画像を処理して移動体の存否を検出する画像処理手段と、自車両の位置を取得するための位置取得手段と、前記位置取得手段による検出位置の周辺の地図データを取得する地図データ取得手段とを備え、前記画像処理手段は、前記地図データ取得手段が取得した地図データに基づいて自車両の前方の道路の形態を検出し、自車両の走行する道路の前方がカーブしている場合、自車両の前方に自車両の移動方向とは異なる方向に移動する物体があっても当該物体が自車両と衝突する恐れのない前記前方のカーブを、移動体の存否を検出するための前記撮影画像の処理から除外するので、衝突の恐れのない移動物体については、これを検出しないようにすることができる。

また、本発明では、自車両の速度を検出する速度検出手段を設け、撮影画像のうち自車両の前方向について、車速に応じた範囲に狭めて移動体の存否の検出処理を実行するように構成することができる。この構成によれば、撮影画像の全体を対象にして画像処理しなくとも済み、処理時間を短縮することができる。
この場合、撮影画像のうち自車両の前方向について、車速に応じた範囲に狭めて移動体の存否の検出処理を実行することができる。
また、本発明では、画像処理手段が移動体を検出したとき、移動体の存在を報知する報知手段を設けることができる。この報知手段は、報知したことによる応答動作があったとき、報知を停止するように構成することができる。更に、画像処理手段が移動体の存在を検出したとき、自車両の運転を支援するための運転支援手段を設けることができる。

以下、本発明の一実施例を図面に基づいて説明する。
図２に示すように、車両１のルーフ１ａの前側部分には、撮影手段としてのビデオカメラ２が設けられている。このビデオカメラ２は、例えばＣＣＤ素子を用いたもので、車両１の周囲のうちの一方向である前方向を車両１の上部から撮影する。
このビデオカメラ２により撮影された画像は、図１に示すように、画像処理手段としての画像処理装置３に送られる。この画像処理装置３は、図示はしないがマイクロコンピュータ、メモリなどを備えており、ビデオカメラ２から送られてくる画像を、道路輝度パターンと歩行者や車両などの移動体輝度パターンのパターン相関により２値化してこの画像２値化データを順次メモリに記憶するようになっている。そして、画像処理装置３は、最新フレームの画像２値化データと既に記憶されている画像２値化データとの差分をとることにより、撮像エリアを物体なし、物体あり、物体退却、物体進入の４値に画素毎に４値化し、画像中の物体あり、物体退却、物体進入に夫々対応する画素の分布から物体の移動ベクトルを算定し、該移動ベクトルの方向と横断方向の比較に基づいて車両１の前方を横切る人や他車両を識別（移動体検出処理）するようになっている。

画像処理装置３は、上記のようにして車両の前方を移動体が横切ることを検出すると、車両１との距離が短い場合、運転支援手段としての車両制御装置４に危険信号を出力する。そして、車両制御装置４は、危険信号を受信することによって、例えば運転者がブレーキペダルを踏んだとき、これをアシストして急ブレーキが掛かるようにブレーキ装置を制御する。なお、画像処理装置３は、撮影画像について、基準位置からの画素数をカウントすることによって車両１から移動体までの距離を演算する（距離演算手段）ようになっている。なお、上記基準位置は、図７に示す撮影画像において、その下端に定められている。但し、基準位置は撮影画像の下端に限られない。

この画像処理装置３には、車両１の速度検出手段としての車速計測装置５により計測された車速信号が入力される。車速計測装置５は、例えば図示しない車軸の回転検出装置から当該車軸の回転に伴って出力される単位時間当たりのパルス信号をカウントすることによって車速を演算するようになっている。また、画像処理装置４には、ナビゲーション装置６から自車両１の前方の地図データが入力されるようになっている。

ここで、ナビゲーション装置６は、ナビゲーション制御装置７、地図データ記憶装置８、位置検出手段としてのＧＰＳ受信機９、スピーカ１０、表示装置１１、入力装置１２などを備えている。ＧＰＳ受信機９は、ＧＰＳ衛星からの測位信号を受信して車両１の位置を演算する。制御装置７は、マイクロコンピュータを主体とするもので、ＧＰＳ受信機９により取得した位置情報に基づいて車両１の周辺の地図データを地図データ記憶装置８から取得して表示装置１１に表示する。

前記地図データ記憶装置８はＤＶＤやＨＤＤなどの記憶媒体及びその読取装置からなり、その記憶媒体に記憶された地図データには、道路の種別、横断歩道の位置などの情報が含まれている。
また、ナビゲーション装置６は、ＧＰＳ受信機９から受信した位置情報を前回受信した位置情報と比較することにより、自車両１の進行方向を検出する（車両進行方向検出手段）。そして、ナビゲーション装置６は、地図データ記憶装置８から取得した自車両１の周辺の地図データより、自車両から進行方向に少なくともビデオカメラ２の撮影範囲までの地図データを選択して画像処理装置３に送信する。なお、この自車両１の進行方向の地図データの選択は、画像処理装置３が行うように構成しても良い。

制御装置７は、目的地が入力装置１２の操作によって入力されると、現在位置から目的地に至るまでの案内経路を演算し、表示装置１１に表示された地図に当該案内経路を色分け表示すると共に、交差点などで右左折方向をスピーカ１０から音声にて出力する。また、このスピーカ１０は、後述のようにして自車両の前方に歩行者や他車両などの移動体が存在することが検出されたとき、運転者に音声などによって警報を発する。なお、表示装置１１は、地図表示手段としてばかりでなく、画像処理装置３の報知手段としても機能し、画像処理装置３が移動体を検出した場合に、画像処理装置３からの信号によって移動体の位置を例えば点滅表示（警告表示）によって報知するようになっている。

さて、画像処理装置３は、上記の移動体検出処理時、車速計測装置８の検出速度及びナビゲーション制御装置７からの地図データに基づいて、処理対象とする撮影画像の範囲を狭めるようになっている。この移動体検出処理の内容を図３乃至図５に示すフローチャートをも参照しながら説明する。
画像処理装置３が図３に示す運転支援プログラムの実行を開始すると、移動体検出処理ルーチン（ステップＳ１）に入る。この移動体検出処理ルーチンは図４に示されている。このルーチンに入ると、画像処理装置３は、まず、ビデオカメラ２の撮影画像を取得する（ステップＡ１）。次に、画像処理装置３は、車速計測装置５から車速を取得し（ステップＡ２）、この車速から画像認識縦幅を演算する（ステップＡ３）。この画像認識縦幅が設定されると、後述のように、画像処理装置３による移動体検出処理は、ビデオカメラ２の撮影画像の全域を対象とすることなく、縦、横、斜めの各方向のうちの縦方向（図１０で上下方向；車両の進行方向）については、その画像認識縦幅の範囲に狭めて実行されるようになる。

この実施例では、認識縦幅は、撮影画像の基準位置である下端（車両１の直前）から上方（車両１の前方）への幅（画素数）で定められている。この認識縦幅は、本実施例の場合、移動体を発見してからブレーキを操作して車両が止るまでの車両走行距離に定められ、ステップＡ３では、実際には車速を基にしてその車両停止距離の演算を行うものである。例えば、図１０（ａ）及び（ｂ）は車速の高低の相違による認識縦幅Ｗの相違を示すもので、同図（ａ）は車速が遅い場合、同図（ｂ）は車速が早い場合を示している。

画像処理装置３が上記の認識縦幅の演算処理を行うと、ナビゲーション制御装置７は、自車両１の位置を取得する（ステップＡ４）と共に、自車両１の前方の地図データを取得して画像処理装置３に送る（ステップＡ５）。そして、画像処理装置３は、ナビゲーション制御装置７から送られた自車両１の位置と地図データとから、ビデオカメラ２の撮影画像中に、自車両１の前方に図１１（ａ）、（ｂ）、（ｃ）のような交差点が存在しているか（ステップＡ６）、同図（ｄ）、（ｅ）、（ｆ）のような分合流点が存在しているか（ステップＡ７）、同図（ｇ）のような横断歩道が存在しているか（ステップＡ８）を判断し、その後に横方向認識位置決定処理を実行する（ステップＡ１０）。

このステップＡ１０〜Ａ１３の横方向認識位置決定処理は、移動体の存否を検出するための撮影画像の処理対象範囲を横方向（他方向）について設定するためのもので、その処理内容は図５に示されている。即ち、横方向認識位置決定処理のルーチンに入ると、画像処理装置３は、地図データから得られる交差点、分合流点、横断歩道などの特別道路形態が自車両１から何メートル先にあって、それは撮影画像中のどこに相当するかを演算する（ステップＢ１）。そして、その特別道路形態が認識縦幅内に入っているか否かを判断し、入っていなければ（ステップＢ２で「ＮＯ」）、画像処理装置３は、移動体検出処理を行わずに図５のルーチンを終了し、図４のステップＡ１４へ移行する。

特別道路形態が撮影画像中の認識縦幅内にあるとき（ステップＢ２で「ＹＥＳ」）、画像処理装置３は、撮影画像の特別道路形態の位置を確定し、画像横方向認識位置設定処理を行う（ステップＢ３）。この認識位置は、例えば図９に示すように自車両の前方に交差点Ａが存在していた場合、図１０に示すように縦幅Ｗ内における縦方向中央の道路の側端Ｅを中心に左右に等幅Ｄとなるような範囲に設定される。この場合、幅Ｄは道路の幅などの道路形態によって適宜定められる。また、走行道路の中央部は幅Ｆだけ除かれる。走行道路の中央部を幅Ｆだけ画像処理の対象から外す理由は、運転者が注意を集中する範囲であるからであるが、特に外さなくとも良い。

このように画像横方向認識位置決定処理では、夫々の道路形態に応じて横方向認識位置（幅）を決定するものである。なお、図１１（ａ）〜（ｇ）に示した破線は、各道路形態での画像横方向認識位置（範囲）を示す。また、図５のステップＢ２で「ＮＯ」となった場合、横方向認識位置は０（ゼロ）で、画像処理は行わないことを意味する。
画像横方向認識位置設定処理を終了すると、画像処理装置３は、認識除外範囲決定処理を実行する（ステップＢ４）。この認識除外範囲決定処理の内容は図６〜図８に示されている。このうち、図６は特別道路形状が交差点の場合、図７は特別道路形状が横断歩道の場合、図８は特別道路形状がカーブの場合である。認識除外範囲決定処理では、画像処理装置３は、まず地図データから交差点は立体交差か否か（図６の場合）、歩道は歩道橋か否か(図７の場合)、道路の前方はカーブか否か（図８の場合）を判断する。

そして、画像処理装置３は、立体交差点、歩道橋、カーブであった場合、それぞれ立体交差する相手側道路を画像処理対象から除外し、歩道橋を画像処理対象から除外し、前方のカーブを画像処理対象から除外する。図１２および図１３は交差点が立体交差点の場合を示し、（ａ）が地図表示画面、(ｂ)が撮影画像を示している。そして、図１２は相手側道路が自車両の走行する道路の下側を通る場合、図１３は相手側道路が自車両の走行する道路の上側を通る場合であり、両図の（ｂ)に斜線を付した部分が画像処理から除外された部分である。また、図１４は自車両の走行する道路の前方がカーブしている場合を示し、（ａ）が地図表示画面、（ｂ）が撮影画像を示しており、（ｂ）に斜線を付した部分が画像処理から除外された部分である。

認識除外範囲決定処理を終了すると、画像処理装置３は、図４のルーチンに戻って認識範囲合成処理を実行する（ステップＡ１４）。この認識範囲合成処理は、画像認識縦幅と画像認識横幅と認識除外範囲とを合成して認識範囲を設定するものである。この認識範囲合成処理の結果、例えば図１５（ａ）に示すように、自車両の前方に立体交差点Ｓ１が存在し、更にその少し先に通常の交差点Ｓ２が存在する道路形態の場合、認識範囲合成処理の結果、画像処理対象範囲は図１５（ｂ）に斜線で示すように立体交差する相手側道路を除外した範囲となる。

その後、画像処理装置３は、前述の移動体検出処理を実行し（ステップＡ１５）、図３のステップＳ２に移行する。このステップＡ１５の実行時において、撮影画像のうち、立体交差点や歩道橋や前方に存在するカーブは画像処理対象から除外されているので、それら立体交差する相手側道路や歩道橋や前方のカーブを移動する車両や人は本来衝突する恐れがないにもかかわらず、衝突する恐れのある移動体として検出されることがなくなる。

しかも、本実施例によれば、移動体の存否を検出するための横方向の画像処理範囲を道路の形態に応じて狭めるようにしてので、移動体の存否を検出するための認識処理を迅速に行うことができる。更に、本実施例では、縦方向についても、車速に応じて画像処理範囲を狭めるので、より一層認識処理を迅速に行うことができる。
そして、画像処理装置３は、移動体が存在していなかった場合（ステップＳ２で「ＮＯ」）には、元のステップＳ１に戻る。また、移動体が存在していた場合（ステップＳ２で「ＹＥＳ」）には、画像処理装置３は、報知処理及び運転支援処理動作を行い、ステップＳ１に戻る。ここで、報知処理は表示装置１１の地図中に移動体の存在位置を表示すると共に、スピーカ１０から音声などを発することによって行われる。また、運転支援処理は、車両制御装置４に危険信号を出力し、ブレーキ操作が行われた場合に、車両制御装置４がブレーキ装置を制御して急ブレーキが掛かるようにする。

なお、本発明は上記し且つ図面に示す実施例に限定されるものではなく、以下のような拡張或は変更が可能である。
本発明は、画像認識縦幅の設定（ステップＡ３）、画像横方向認識位置の設定（ステップＢ３）は行わず、ステップＢ４の認識除外範囲決定処理だけを実行するものであっても良い。

自車両の周辺の地図データは無線通信手段により地図データベースサーバ（地図センタ）に接続して無線通信網を介して取得する構成としても良い。
自車両の位置は、ＧＰＳ受信機に限られず、地磁気方位センサ、車両の走行距離センサなどの組み合わせにより取得するものであっても良い。
警報に対する応答動作をしたとき、これを画像処理装置３に伝える手段を設けても良い。例えばアクセルペダルを緩めて車速を落としたとき、これを画像処理装置３が検出して警報を停止するようにしても良い。

自車両の幅から走行道路の幅を予想し、それに合わせて画像の横方向の処理範囲を変えるようにしても良い。
車速に応じてビデオカメラ２の上下方向の傾きを変えて撮影範囲を変化するようにしても良い。
地図データから住宅地域では、家からの人の飛び出しが多いので、画像処理範囲を家の玄関部分に絞るようにしても良い。

車両の進行方向はジャイロスコープで検出するようにしても良い。
報知処理はブザーを鳴らすことであってよい。

本発明の一実施例を示すブロック図 車両のビデオカメラの撮影範囲を示す図 運転支援のためのフローチャート 移動体検出のためのフローチャート 撮影画像の横方向の処理範囲を設定するためのフローチャート 認識除外範囲決定処理のためのフローチャートその１ 同その２ 同その３ 表示装置に表示された地図の一例を示す図 ビデオカメラによる撮影画像の一例を示す図 各種の道路形態を示す図 立体交差点の一例を示す図 同他の例を示す図 カーブを示す図 立体交差点と通常の交差点が続く場合の画像処理範囲を示す図

符号の説明

１は車両、２はビデオカメラ（撮影手段）、３は画像処理装置（画像処理手段）、４は車両制御装置（運転支援手段）、５は車速計測装置（車速検出手段）、７はナビゲーション制御装置（地図データ取得手段）、９はＧＰＳ受信機（位置取得手段）、１１は表示装置（報知手段）である。

Claims (7)

1. 車両に搭載され、自車両の前方を撮影する撮影手段と、
   この撮影手段による撮影画像を処理して移動体の存否を検出する画像処理手段と、
   自車両の位置を取得するための位置取得手段と、
   前記位置取得手段による検出位置の周辺の地図データを取得する地図データ取得手段とを備え、
   前記画像処理手段は、前記地図データ取得手段が取得した地図データに基づいて自車両の前方の道路の形態を検出し、自車両の走行する道路の前方がカーブしている場合、自車両の前方に自車両の移動方向とは異なる方向に移動する物体があっても当該物体が自車両と衝突する恐れのない前記前方のカーブを、移動体の存否を検出するための前記撮影画像の処理から除外することを特徴とする車載用移動体検出装置。
2. 車両に搭載され、自車両の前方を撮影する撮影手段と、
   この撮影手段による撮影画像を処理して移動体の存否を検出する画像処理手段と、
   自車両の位置を取得するための位置取得手段と、
   前記位置取得手段による検出位置の周辺の地図データを取得する地図データ取得手段と、
   自車両の速度を検出する速度検出手段と
   を備え、
   前記画像処理手段は、前記地図データ取得手段が取得した地図データに基づいて自車両の前方の道路の形態を検出し、自車両の走行する道路の前方に立体交差する他の道路または鉄路が存在し、或は自車両の走行する道路の前方がカーブしている場合など、自車両の前方に、自車両の移動方向とは異なる方向に移動する物体があっても当該物体が自車両と衝突する恐れのない道路または鉄路が存在するとき、その衝突の恐れのない道路または鉄路或は前記前方のカーブを、移動体の存否を検出するための前記撮影画像の処理から除外し、且つ前記撮影画像のうち自車両の前方向について、車速に応じた範囲に狭めて移動体の存否の検出処理を実行することを特徴とする車載用移動体検出装置。
3. 請求項１記載の車載用移動体検出装置において、
   更に、自車両の速度を検出する速度検出手段を具備し、
   前記画像処理手段は、前記撮影画像のうち自車両の前方向について、車速に応じた範囲に狭めて移動体の存否の検出処理を実行することを特徴とする車載用移動体検出装置。
4. 請求項２または３記載の車載用移動体検出装置において、
   前記画像処理手段は、前記撮影画像のうち自車両の前方向について、車速が速いとき縦方向に範囲を広く、車速が遅いとき縦方向に狭くし前記検出処理を実行することを特徴とする車載用移動体検出装置。
5. 請求項１ないし４のいずれかに記載の車載用移動体検出装置において、
   前記画像処理手段が移動体を検出したとき、移動体の存在を報知する報知手段を備えていることを特徴とする車載用移動体検出装置。
6. 請求項５記載の車載用移動体検出装置において、
   報知手段は、報知したことによる応答動作があったとき、報知を停止することを特徴とする車載用移動体検出装置。
7. 請求項１乃至４のいずれかに記載の車載用移動体検出装置において、
   前記画像処理手段が移動体の存在を検出したとき、自車両の運転を支援するための運転支援手段を備えていることを特徴とする車載用移動体検出装置。

Images