JP6198871B2 - 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視プログラムとその記録媒体 - Google Patents

Description

本発明は、自車両と自車両の周辺の車両との衝突を未然に防止するために注意喚起したり、又はブレーキ等の制動を行う車両周辺監視装置、車両周辺監視方法、及び車両周辺監視プログラムとその記録媒体に関するものである。

このような車両周辺監視装置の従来技術としては、対象車両の位置及び相対速度を使用することで、車両後方からの危険が車両前方の危険より大きく評価された場合に、上昇されたブレーキ力の低下を行うか、又は上昇を制限するブレーキ装置の制御方法及び装置がある（例えば、特許文献１参照）。

また、見通可能範囲と見通不能範囲との境界線を構成する直線のうち、移動体が移動方向に進行すると交差する交差直線の現在位置側の端点である注意喚起位置を特定し、自車両の運転者から見て注意喚起位置が位置する音像定位方向に現在位置と注意喚起位置との距離により、すなわち対象移動物体の接近により、それに応じた注意喚起装置がある（例えば、特許文献２参照）。

特許４７０９３６０号公報 特開２０１５−０５７６８６号公報

しかしながら、上記特許文献１及び２のいずれも、対象車両が急発進により自車両の制動では停止できない位置関係に入ってしまうと自車両の減速が間に合わず、衝突してしまう可能性があるという課題がある。

本発明は、上記の課題を解決するために為されたもので、対象車両の状態から対象車両が自車両に衝突する可能性を排除することができる車両周辺監視装置、車両周辺監視方法、及び車両周辺監視プログラムとその記録媒体を提供することを目的とする。

上記の目的を達成するための本発明に係る車両周辺監視装置は、カメラ映像信号から、対象車両の移動推定エリアを算出する検知部と、センサ信号から、自車両の運転状態を取得する自車両状態認識部と、前記自車両の運転状態から前記自車両の移動推定経路を算出するとともに前記対象車両の移動推定エリアに前記自車両の移動推定経路が一定時間後に進入するか否かを判定する危険判定部と、前記危険判定部において、進入すると判定されたとき、警告信号を出力する警告部とを備え、前記危険判定部は、前記検知部が、前記対象車両の振動が有ったことを検知したとき、前記対象車両のワイパー動作が有ったことを検知したとき、又は前記対象車両内の温度を検知したときに、前記自車両の移動推定経路を算出する。
また、上記の目的を達成するための本発明に係る車両周辺監視装置は、カメラ映像信号から、対象車両の移動推定エリアを算出する検知部と、センサ信号から、自車両の運転状態を取得する自車両状態認識部と、前記自車両の運転状態から前記自車両の移動推定経路を算出するとともに前記対象車両の移動推定エリアに前記自車両の移動推定経路が一定時間後に進入するか否かを判定する危険判定部と、前記危険判定部において、進入すると判定されたとき、警告信号を出力する警告部とを備え、前記危険判定部は、前記検知部が、前記対象車両のワイパー動作が有ったことを検知したときに、前記自車両の移動推定経路を算出する。

また本発明では、カメラ映像信号から、対象車両の移動推定エリアを算出し、センサ信号から、自車両の運転状態を取得し、前記自車両の運転状態から前記自車両の移動推定経路を算出するとともに前記対象車両の移動推定エリアに前記自車両の移動推定経路が一定時間後に進入するか否かを判定し、進入すると判定されたとき、警告信号を出力し、前記対象車両の振動が有ったことを検知したとき、前記対象車両のワイパー動作が有ったことを検知したとき、又は前記対象車両内の温度を検知したときに、前記自車両の移動推定経路を算出する車両周辺監視方法が提供される。
また本発明では、カメラ映像信号から、対象車両の移動推定エリアを算出し、センサ信号から、自車両の運転状態を取得し、前記自車両の運転状態から前記自車両の移動推定経路を算出するとともに前記対象車両の移動推定エリアに前記自車両の移動推定経路が一定時間後に進入するか否かを判定し、進入すると判定されたとき、警告信号を出力し、前記対象車両のワイパー動作が有ったことを検知したときに、前記自車両の移動推定経路を算出する車両周辺監視方法が提供される。

また、本発明では、上記の目的を達成するため、上記に記載の車両周辺監視方法をコンピュータに実行させる車両周辺監視プログラムが提供される。

また、本発明では、上記の目的を達成するため、上記に記載の車両周辺監視プログラムを記憶したコンピュータ読み取り可能な記憶媒体が提供される。

本発明に係る車両周辺監視装置、車両周辺監視方法、及び車両周辺監視プログラムとその記録媒体によれば、対象車両のカメラ映像信号から、対象車両の移動可能エリアを算出するとともに、センサ信号から自車両の移動推定経路を算出し、自車両が一定時間後に対象車両の移動推定エリアに進入すると判定したとき、警告信号を出力するように構成したので、例えば駐車時に自車両と対象車両との衝突を未然に防ぐことが可能となる。

本発明に係る車両周辺監視装置、車両周辺監視方法、及び車両周辺監視プログラムとその記録媒体の各実施の形態に共通な構成を示すブロック図である。 図１に示す車両周辺監視装置、車両周辺監視方法、及び車両周辺監視プログラムとその記録媒体の実施の形態１による動作例を示すフローチャートである。 本発明に係る車両周辺監視装置、車両周辺監視方法、及び車両周辺監視プログラムとその記録媒体における対象車両と自車両との関係を概略的に説明するための平面図である。 図１に示す車両周辺監視装置、車両周辺監視方法、及び車両周辺監視プログラムとその記録媒体の実施の形態２による動作例を示すフローチャートである。 図１に示す車両周辺監視装置、車両周辺監視方法、及び車両周辺監視プログラムとその記録媒体の実施の形態３による動作例を示すフローチャートである。

以下、本発明の各実施の形態を、添付図面に沿って説明する。なお、各実施の形態においては、車両周辺監視装置を中心として説明するが、車両周辺監視方法、及び車両周辺監視プログラムとその記録媒体についても同様に適用される。また、対象車両は、駐車場に位置する場合を例に採っているが、この場合に限定されるものではない。

実施の形態１．
図１に示す本発明の車両周辺監視装置１には、カメラ２と、マイクロフォン３と、速度センサ４と、ヨーレートセンサ５と、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ：ヒューマン・マシーン・インタフェース）装置６と、車両制御部７と、カーナビゲーションシステム８とが接続されている。なお、これらの構成要素は、後述するように、全ての実施の形態に必須のものではなく、各実施の形態に応じて使用されるものである。

ここで、車両周辺監視装置１は、駐車車両の状態を検知し、自車両との相対関係を判定して警告を行うものである。カメラ２は、自車両の前方を含む周辺の映像を取得するものである。マイクロフォン３は、自車両に取り付けられ、周辺の環境音を収録するものである。速度センサ４は、自車両の速度を検出するものである。ヨーレートセンサ５は、自車両のヨーレートを検出するものである。ＨＭＩ装置６は、車両接近を検知した場合に運転者への注意喚起を行うスピーカやディスプレイ等である。車両制御部７は、車両制御信号を元に車両のブレーキ制御等を行うものである。カーナビゲーションシステム８は、ＧＰＳ又は地図情報等から自車両が存在する場所の情報を提供するものである。

車両周辺監視装置１は、さらに、カメラ２によって取得された映像を画像処理する検知部１１と、マイクロフォン３によって取得された環境音を解析する音響処理部１２と、速度センサ４からの速度情報及びヨーレートセンサ５からのヨーレート情報等の車両動作情報から自車両の運転状態を推定する自車両状態認識部１３と、検知部１１、音響処理部１２、及び自車両状態認識部１３の出力情報により、対象車両に対して自車両が衝突する危険性を判定する危険判定部１４と、この危険判定部１４の判定結果からＨＭＩ装置６を介して運転者に対して注意喚起を行う警告部１５と、危険判定部１４の判定結果に基づきブレーキ装置等の車両制御部７への制御信号を生成する制御信号生成部１６とで構成されている。なお、カーナビゲーションシステム８の出力情報も危険判定部１４に与えられる。

以下、本実施の形態１の動作について、図２に示すフローチャートと、図３に示す、実際に車両周辺監視装置の使用が想定される状況を元に説明する。なお、本実施の形態１では、カメラ２による検知のみで構成される場合の動作を説明する。

検知部１１は、自車両２０に取り付けられたカメラ２からの車両周辺の映像を取得する（ステップＳ１）。ここでは、図３に示すように、駐車場内で周辺に駐車車両、すなわち対象車両３０が存在する状況を想定している。カメラ２からの映像は、画像処理機能を有する検知部１１によって一定周期毎に連続的に取得される。ここでの周期は、数１０〜数１００ｍｓｅｃ等、運転者に早期に警告でき、かつ画像解析をより詳細に行えることを考慮した間隔が望ましい。

検知部１１は、さらに、カメラ２から取得した画像から、駐車車両３０の有無を検知し（ステップＳ２）、併せて、その位置及び向き等を危険判定部１４に通知する。この場合の検知方法は、画素値や、輝度の勾配情報やエッジ情報からパターンマッチングにより検出する方法により可能であるし、学習による方法でもよいし、フレーム間の画素値変化を用いた方法でもよいし、或いはステレオによる視差を用いる方法でもよく、いずれも技術的に良く知られている。

また、対象車両３０が検知された場合（ステップＳ２のＹｅｓ）、当該対象車両３０の状態を検知する（ステップＳ３）。すなわち、ここでは、車両３０内に搭乗者が存在するか、車両３０に取り付けられたワイパーが動作しているか、ヘッドライトが点灯しているか、車両３０が振動しているかを判定する。対象車両内に搭乗者が存在するか否かは、対象車両内の温度を赤外線センサ等によって判定してもよい。これらの判定の内、少なくとも一つに該当する場合は、対象車両３０が移動可能な危険状態に在ると判断できるため（ステップＳ３のＹｅｓ）、これを危険判定部１４に通知する。

危険判定部１４において、検知部１１から通知された状態の対象車両３０は、急加速により発進して来る可能性があるため、対象車両３０の位置及び向きから移動すると推定される危険なエリアを算出する（ステップＳ４）。なお、この危険エリアは固定値でもよいし、対象車両３０の動作状態に応じて動的に算出してもよい。図３に示すような駐車場の例であれば、対象車両３０は直進するか、又は一定の角度範囲内でハンドルが切られて移動することになるから、危険エリアは長方形か、又は扇形になる。

また、対象車両３０の危険エリアは、自車両２０との位置関係から動的に変更してもよい。
例えば、自車両２０と対象車両３０の距離をｘ、自車両の車速をｖとすると、対象車両３０に到達するまでの時間ｔは、ｔ＝ｘ／ｖとなる。

対象車両３０を一定加速度ａで加速するものと仮定すると、自車両２０が対象車両３０の後方に辿り着くまでの時間ｔを用いて、対象車両３０の移動量ｄは、ｄ＝ａｔ^２／２となる。
また、対象車両３０のハンドル舵角を一定の範囲で規定すると。上記ｄを半径とした扇形が対象物の危険エリアとなる。

一方、自車両状態認識部１３は、自車両２０に搭載された各種センサ、例えば、図１に示すように、速度センサ４及びヨーレートセンサ５から自車両２０の運転状態を取得し、危険判定部１４に通知する（ステップＳ５）。危険判定部１４は、自車両状態認識部１３から送られて来た自車両２０の運転状態情報から、自車両２０の移動推定経路を算出する（ステップＳ５）。

そして、危険判定部１４は、対象車両３０の危険エリア及び自車両２０の移動推定経路の情報を元に、自車両２０が一定時間後に対象車両３０の危険エリアに入り込む、すなわち進入すると推定されるか否かを判定し（ステップＳ６）、一定時間後に進入すると判定したときには、警告部１５に通知する。
例えば、自車速とヨーレートから一定時間後に進む移動距離ｘ（ｔ）、ｙ（ｔ）は以下の式で推定できる。

この通知を受けた警告部１５は、音やディスプレイ表示等の出力をＨＭＩ装置６を介して行い、運転手に注意喚起を行う（ステップＳ７）。
ここで、運転者への警告だけではなく、制御信号生成部１６を通じて、車両制御部７により車両２０を減速させたり、ステアリング操作を命令することで自車両の制御を行ってもよい。

なお、本実施の形態では、前方のみでなく、例えば後退時には後方カメラの映像により後方を観測するなど、多方向に適用することができる。
また、自車両が駐車中の場合は、対象車両が前方に動く可能性だけではなく、ドアを開けることによって横に広がる可能性も考慮して危険エリアを算出してもよい。

また、本実施の形態では、対象車両の状態を検知する際に、その検知の信頼性や変化タイミングなどから危険度を数値化し、その危険度に応じて危険エリアの大きさ、警告音の大きさ、並びに自動ブレーキの開始タイミング及びその強さを変化させても良い。例えば、上記の一定時間後までの時間を数値化し、短ければ短いほど危険度が増すように設定することができる。

また、例えば、カメラ２の出力画像から、対象車両内の搭乗者が自車両の方を向いていることを合わせて検知することで、対象車両から除外するようにしてもよい。

また、本実施の形態において、カメラ２は可視光カメラを用いて説明したが、遠赤外線カメラを用いて、温度から対象車両及び搭乗者を検知する方式を採用しても良い。

以上の処理により、対象車両が移動可能かどうかを、カメラを用いて検知し、自車両との衝突の可能性を求めることで、運転者に注意喚起することや、必要に応じて自車両の制御を行い、以て安全を確保することが可能となる。

実施の形態２．
図４のフローチャートは、本実施の形態２における車両周辺監視装置１の動作例を示しており、本実施の形態では、カメラ２による検知に加えて、マイクロフォン３によって周辺の音を集める（ステップＳ１１）。そして、ステップＳ２で検出した対象車両の方向にエンジン音が有るか否かを判定する（ステップＳ１２）。これによって、対象車両の存在を検知し、信頼性を向上させた構成となっている。

このように、画像処理の結果だけでなく、自車両周辺の音に含まれるエンジン音の変化量を、車両周辺監視装置１における音響処理部１２によって解析し、エンジン音が有ったときに（ステップＳ１２のＹｅｓ）、初めて後続のステップＳ４〜Ｓ７の処理を実行することになる。

この場合、音響処理部１２がマイクロフォン３からの周辺音を取得する時間間隔についても、数１０〜数１００ｍｓｅｃなど、運転者に早期に警告でき、かつ音響分析をより詳細に行えることを考慮した間隔が望ましい。

実施の形態３．
図５は、本発明による車両周辺監視装置の実施の形態３として、起動条件をフローチャートで示したものであり、カーナビゲーションシステム８が持っているＧＰＳ情報とマップ情報、すなわち自車両の現在地点情報を取得し（ステップＳ２１）、この現在地点情報から自車両が駐車場に存在する場合（ステップＳ２２のＹｅｓ）のみ、図２及び図４に示す上記実施の形態１及び２による車両周辺監視装置を起動する（ステップＳ２３）ものである。

なお、本装置の起動に利用するのではなく、例えば、装置は常時稼働としておき、駐車場であることを危険判定部１４の危険度の算出に利用するようにしてもよい。
また、危険判定部は、自動運転走行時にのみ起動されるように設定してもよい。

また、上記の各実施の形態は、カメラ映像信号から、対象車両の移動推定エリアを算出し、センサ信号から、自車両の移動推定経路を算出し、前記対象車両の移動推定エリアに前記自車両の移動推定経路が一定時間後に進入するか否か判定し、前記危険判定部において、進入すると判定されたとき、警告信号を出力する車両周辺監視方法を内包するものである。

また、上記の各実施の形態は、上記に記載の車両周辺監視方法をコンピュータに実行させる車両周辺監視プログラムとして提供される。

また、上記の各実施の形態は、上記に記載の車両周辺監視プログラムを記憶したコンピュータ読み取り可能な記憶媒体としても提供される。

Claims (14)

1. カメラ映像信号から、対象車両の移動推定エリアを算出する検知部と、
   センサ信号から、自車両の運転状態を取得する自車両状態認識部と、
   前記自車両の運転状態から前記自車両の移動推定経路を算出するとともに前記対象車両の移動推定エリアに前記自車両の移動推定経路が一定時間後に進入するか否かを判定する危険判定部と、
   前記危険判定部において、進入すると判定されたとき、警告信号を出力する警告部とを備え、
   前記危険判定部は、前記検知部が、前記対象車両の振動が有ったことを検知したときに、前記自車両の移動推定経路を算出する
   車両周辺監視装置。
2. カメラ映像信号から、対象車両の移動推定エリアを算出する検知部と、
   センサ信号から、自車両の運転状態を取得する自車両状態認識部と、
   前記自車両の運転状態から前記自車両の移動推定経路を算出するとともに前記対象車両の移動推定エリアに前記自車両の移動推定経路が一定時間後に進入するか否かを判定する危険判定部と、
   前記危険判定部において、進入すると判定されたとき、警告信号を出力する警告部とを備え、
   前記危険判定部は、前記検知部が、前記対象車両のワイパー動作が有ったことを検知したときに、前記自車両の移動推定経路を算出する
   車両周辺監視装置。
3. 前記警告部は、運転者に対して警告音又は警告映像により警告する
   請求項１又は２に記載の車両周辺監視装置。
4. 前記危険判定部は、前記一定時間を数値化して設定された危険度に基づいて判定を行う
   請求項１又は２に記載の車両周辺監視装置。
5. 前記危険判定部は、自動運転走行時にのみ起動される
   請求項１又は２に記載の車両周辺監視装置。
6. 前記警告信号を出力するときに前記自車両の速度を低減させる車両制御部に自動ブレーキ信号を出力する制御信号生成部をさらに備えた
   請求項１又は２に記載の車両周辺監視装置。
7. 前記自車両の運転手が、前記対象車両に対して注意を払っているか否かを判別する運転手監視装置をさらに備えた
   請求項１又は２に記載の車両周辺監視装置。
8. 前記センサ信号は、速度センサ及びヨーレートセンサからの出力信号である
   請求項１又は２に記載の車両周辺監視装置。
9. マイクロフォンからの周辺音により前記対象車両が存在するか否かを判定して前記危険判定部に与える音響処理部をさらに備え、前記危険判定部は、前記周辺音が検知されたことを条件として前記判定を行う
   請求項１又は２に記載の車両周辺監視装置。
10. 前記危険判定部は、カーナビゲーションシステムからの自車両の現在地情報から、前記自車両が駐車場に位置している場合にのみ前記判定を行う
    請求項１又は２に記載の車両周辺監視装置。
11. カメラ映像信号から、対象車両の移動推定エリアを算出し、
    センサ信号から、自車両の運転状態を取得し、
    前記自車両の運転状態から前記自車両の移動推定経路を算出するとともに前記対象車両の移動推定エリアに前記自車両の移動推定経路が一定時間後に進入するか否かを判定し、
    進入すると判定されたとき、警告信号を出力し、
    前記対象車両の振動が有ったことを検知したときに、前記自車両の移動推定経路を算出する、
    車両周辺監視方法。
12. カメラ映像信号から、対象車両の移動推定エリアを算出し、
    センサ信号から、自車両の運転状態を取得し、
    前記自車両の運転状態から前記自車両の移動推定経路を算出するとともに前記対象車両の移動推定エリアに前記自車両の移動推定経路が一定時間後に進入するか否かを判定し、
    進入すると判定されたとき、警告信号を出力し、
    前記対象車両のワイパー動作が有ったことを検知したときに、前記自車両の移動推定経路を算出する、
    車両周辺監視方法。
13. 請求項１１又は１２に記載の車両周辺監視方法をコンピュータに実行させる車両周辺監視プログラム。
14. 請求項１３に記載の車両周辺監視プログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images