JP6489006B2 - 前方車両監視装置 - Google Patents

Description

本発明は、自車前方の二輪車を監視する前方車両監視装置に関する。

現在、自動車等の車両に撮像手段、並びに超音波センサおよびミリ波レーダ等の検出手段を設け、これらの手段を用いて車両の前方に存在する物体を認識し、車両の運転者に当該物体との衝突の危険を伝える技術が開発されている。さらに、上記撮像手段または検出手段により車両の前方に存在する物体を認識し、当該物体との衝突を避けるべく、車両を自動的に制動し、または車両の走行経路を自動的に変更する技術の開発が進められている。

例えば、下記の特許文献１には、車両周辺に存在する物体を検出し、当該物体の周囲に、進入を回避すべき物体領域を設定し、当該物体領域に進入しないように車両の運転を制御する装置が記載されている。

特開２０１０−７００６１号公報

ところで、一般に、自車（自己が運転している車両）の前方を二輪車が走行している場合、二輪車が転倒し、転倒した二輪車に自車が衝突する可能性がある。夜間、雨天時、または霧が発生しているときのように視界が悪いときには、自車の運転者による、転倒した二輪車の視認が遅れることがあるため、衝突が発生する可能性が高まる。そこで、上記撮像手段等を用いて二輪車の転倒を自動的に認識し、その認識結果を自車の運転者に伝えることにより、二輪車の転倒を自車の運転者に早期に把握させ、転倒した二輪車との衝突を予防することが望まれる。また、自車が、運転を自動的に行う機能を有する自動運転車両である場合には、二輪車の転倒を自動的に認識し、その認識結果に基づいて自車を早期に自動制動し、転倒した二輪車との衝突を確実に回避することが望まれる。

一方、自車に設けられた撮像手段により撮像した二輪車の画像に基づいて二輪車の転倒を自動的に認識する技術を開発する場合、次のような問題がある。すなわち、二輪車が転倒したとき、二輪車の左面または右面が地面に接触した状態となる。一方、二輪車は、カーブまたは交差点等を曲がるときに左方向または右方向に大きく傾斜し、二輪車の左面または右面が地面に接近した状態となる。このため、撮像手段により撮像した二輪車の画像に基づいて二輪車が転倒したことと、二輪車が曲がっていることとを判別することは容易でない。

他方、上記特許文献１には、車両周辺に存在する物体が二輪車である場合に、二輪車の高さに基づいて物体領域を設定し、これにより、二輪車とすれ違い、または二輪車を追い越す際に、二輪車の転倒の可能性を考慮した適切な横車間距離を確保する技術が記載されている。しかしながら、この文献には、自車の前方を走行している二輪車が実際に転倒したことを認識する方法については何も記載されていない。

本発明は例えば上述したような問題に鑑みなされたものであり、本発明の目的は、二輪車の転倒を正確に認識することができ、転倒した二輪車と自車との衝突を回避する措置を早期にとることができる前方車両監視装置を提供することにある。

上記目的を達成するために、本発明の前方車両監視装置は、自車の前方の二輪車を監視する前方車両監視装置であって、自車の前方を撮像する撮像部と、前記撮像部から得られた撮像画像中に含まれる前記二輪車の画像である二輪車画像を用いて前記二輪車の揺動を認識し、前記二輪車が転倒するか否かを前記二輪車の揺動に基づいて判断する転倒判断部と、前記転倒判断部により前記二輪車が転倒すると判断されたときには、前記二輪車が転倒したことを通知し、警告を出力し、または前記二輪車が転倒したことを示す情報を外部へ出力する出力部とを備えていることを特徴とする。

本発明のこの態様によれば、自車に設けられた転倒判断部および出力部が、自車の前方の二輪車が転倒することを判断し、その結果を自車の運転者に伝えるので、夜間や悪天候等により視界が悪くても、自車の運転者は二輪車の転倒を早期に把握することができ、自車を迅速に停止させて、転倒した二輪車と自車との衝突を回避することができる。また、自車が、運転を自動的に行う機能を有する自動運転車両である場合には、自車に設けられた転倒判断部および出力部が、自車の前方の二輪車が転倒することを判断し、二輪車が転倒したことを示す情報を運転制御装置（自動運転を司る装置）等に出力するので、例えば運転制御装置等において自車を自動的に停止させて二輪車との衝突を回避する制御を早期に実行することができる。

また、転倒判断部は、二輪車が転倒するか否かを二輪車の揺動に基づいて判断するので、二輪車の転倒を正確かつ容易に判断することができる。すなわち、二輪車を後方から見た場合、二輪車は左方向または右方向に大きく揺動して転倒に至る。二輪車の揺動は明確で単純な動きであるため、撮像画像を介して正確かつ容易に認識することができる。また、二輪車はカーブまたは交差点等を曲がるときにも左方向または右方向に揺動するが、例えば、二輪車がカーブまたは交差点等を曲がるときには、揺動の程度が二輪車の最大バンク角以下であり、二輪車が転倒するときには、揺動の程度が二輪車の最大バンク角を超える。したがって、カーブまたは交差点等を曲がっている二輪車と、転倒する二輪車とを、揺動の程度に基づいて正確かつ容易に識別することができる。

また、本発明の前方車両監視装置において、前記転倒判断部は、前記二輪車画像内であって地面から離れた所定の位置に観測点を設定し、前記撮像画像における地面を認識し、前記観測点と前記地面との間の距離が所定の距離基準値よりも小さいときに、前記二輪車が転倒すると判断することが好ましい。

本発明のこの態様によれば、視界が悪い場合でも、転倒判断部により、二輪車の転倒を正確に判断することができる。すなわち、悪天候時には、撮像部から得られる撮像画像が不鮮明になることがある。また、夜間において、例えば撮像部として赤外線カメラを用いた場合には、二輪車およびその運転者において温度の低い部分の鮮明な画像を得ることが難しい。しかしながら、このように撮像部から得られる撮像画像が不鮮明である場合でも、例えば二輪車画像の輪郭（後方から見た二輪車およびその運転者の外形）、および地面については、ほぼ正確に認識することができる。したがって、例えば二輪車画像の輪郭に基づいて二輪車画像内の所定の位置に観測点を設定し、観測点と地面との間の距離を認識し、この距離に基づいて二輪車の転倒を判断することにより、悪天候時や夜間のような視界の悪い状況下においても、二輪車の転倒を正確に判断することができる。

また、本発明の前方車両監視装置において、前記転倒判断部は、前記観測点と前記地面との間の距離が前記距離基準値よりも小さい状態が所定時間継続したときに、前記二輪車が転倒すると判断することが好ましい。

本発明のこの態様によれば、転倒判断部により、二輪車の転倒をより一層正確に判断することができる。すなわち、二輪車が例えばその最大バンク角を超えるほどに大きく揺動した場合でも、その後、姿勢を持ち直し、転倒を免れることがある。観測点と地面との間の距離が距離基準値よりも小さい状態が所定時間継続したときに二輪車が転倒すると判断することにより、このように二輪車が一旦大きく揺動した後に姿勢を持ち直して転倒を免れたことを認識することができる。

また、本発明の前方車両監視装置において、前記観測点は、前記二輪車画像の図芯であることが好ましい。

本発明のこの態様によれば、悪天候時や夜間における撮像のために撮像画像が不鮮明である場合でも、二輪車画像の輪郭および地面については、ほぼ正確に認識することができ、二輪車画像の輪郭から二輪車画像の図芯（図心または重心）を容易に算出することができる。そして、この図芯と地面との距離に基づいて二輪車の転倒を判断することができる。よって、悪天候時や夜間においても二輪車の転倒を正確かつ容易に判断することができる。

また、本発明の前方車両監視装置において、前記転倒判断部は、前記二輪車画像内の直線状の画像要素を特定し、前記撮像画像における地面を認識し、前記画像要素と前記地面とのなす角度が所定の基準角度範囲外となったときに、前記二輪車が転倒すると判断する構成としてもよい。

本発明のこの態様によれば、二輪車画像内の直線状の画像要素を特定することができる場合には、二輪車の転倒を正確に判断することができる。

また、本発明の前方車両監視装置において、前記転倒判断部は、前記画像要素と前記地面とのなす角度が前記基準角度範囲外となった状態が所定時間継続したときに、前記二輪車が転倒すると判断することが好ましい。

本発明のこの態様によれば、例えば二輪車が一旦大きく揺動した後に姿勢を持ち直して転倒を免れたことを認識することができ、二輪車の転倒の判断の精度を高めることができる。

また、本発明の前方車両監視装置において、前記自車は自動運転車両であってもよい。

本発明のこの態様によれば、自車の前方の二輪車が転倒した場合に、転倒した二輪車と自車との衝突を自動的に回避することができ、自動運転の安全性を高めることができる。

本発明によれば、二輪車の転倒を正確に認識することができ、転倒した二輪車と自車との衝突を回避する措置を早期にとることができる。

交差点の周囲に存在する、本発明の第１の実施形態による前方車両監視装置を備えた自車、二輪車および他車を示す説明図である。 図１中の自車および二輪車を拡大して示す説明図である。 本発明の第１の実施形態による前方車両監視装置を含む車両制御システムを示すブロック図である。 本発明の第１の実施形態による前方車両監視装置の動作を示すフローチャートである。 本発明の第１の実施形態による前方車両監視装置においてカメラまたは赤外線カメラにより撮像された二輪車画像および地面の画像を示す説明図である。 本発明の第１の実施形態による前方車両監視装置において二輪車画像の図芯の変位を示す説明図である。 本発明の第１の実施形態による前方車両監視装置において、二輪車の直進時および左折時における二輪車画像を示す説明図である。 本発明の第２の実施形態による前方車両監視装置の動作を示すフローチャートである。 本発明の第２の実施形態による前方車両監視装置において、二輪車の直進時および左折時における二輪車画像を示す説明図である。 本発明の第２の実施形態による前方車両監視装置において、二輪車画像中の画像要素と地面とのなす角度に関する基準角度範囲を示す説明図である。

（第１の実施形態）
図１は、交差点の周囲に存在する自車、二輪車および他車を示している。図２は、図１中の自車５および二輪車８を拡大して示している。図１において、自車５は、道路１を走行しており、交差点３に接近しつつある。自車５の前方には二輪車８が走行しており、二輪車８は、交差点３にまさに進入するところである。自車５が走行している道路１において、交差点３の向こう側の反対車線には他車６が走行している。また、道路１と交わる道路２には、もう１つの他車７が停止している。自車５および他車６、７はそれぞれ四輪の自動車であり、いずれも運転を自動的に行う機能を有する自動運転車両である。一方、二輪車８は自動二輪車である。二輪車８は、運転を自動的に行う機能を有していない。

自車５は、運転制御機能、車車間通信機能、および前方車両監視機能等を備えている。運転制御機能は、自動運転を行うべく、自車５の発進、停止、制動、加速、減速、操舵等を自動的に制御する機能である。車車間通信機能は、自車５と他車６、７との間で無線通信を行い、各車両の自動運転に要する情報等を互いに提供し合う機能である。前方車両監視機能は、自車５の前方の二輪車８が転倒するか否かを判断し、二輪車８が転倒したときには、その旨を自車５の運転者に通知し、または、運転制御機能を利用して自車５を停止させ、または、車車間通信機能を利用して、二輪車８が転倒したことを示す情報を他車６、７に提供する機能である。運転制御機能および前方車両監視機能を実現するために、自車５は、図２に示すように、撮像部の一手段としてのカメラ１３をはじめ、後述するように自車５の周囲を監視する種々の撮像手段および検出手段を備えている。なお、他車６、７も自車５と同様に、これらの機能、および車両の周囲を監視する種々の撮像手段および検出手段を備えている。

図３は自車５に設けられた車両制御システム１１を示している。上述した運転制御機能、車車間通信機能および前方車両監視機能は、この車両制御システム１１により実現される。なお、他車６、７にも図３に示す車両制御システム１１が設けられている。

図３において、車両制御システム１１は、自車５の周囲を監視する撮像手段として、カメラ１３および赤外線カメラ１４を備え、自車５の周囲を監視する検出手段として、超音波センサ１５、ミリ波レーダ１６およびレーザレーダ１７等を備えている。カメラ１３および赤外線カメラ１４は撮像部の具体例である。カメラ１３および赤外線カメラ１４は、自車５の前方を撮像する装置であり、いずれもビデオカメラ等である。具体的には、カメラ１３は、撮像対象から発せられる可視光線を電気信号に変換して画像を生成する装置であり、日中における撮像に用いられる。一方、赤外線カメラ１４は、撮像対象から発せられる遠赤外線を電気信号に変換して画像を生成する装置であり、夜間における撮像に用いられる。カメラ１３および赤外線カメラ１４は、例えば自車５の運転室内においてフロントガラスの近傍に取り付けられている。超音波センサ１５は、超音波を発射し、それが対象物に反射して返ってくるまでの時間を計測することで、対象物の有無や、対象物までの距離を検出する装置である。ミリ波レーダ１６は、ミリ波帯の電波を発射し、反射波の帰還時間や周波数を測定することで、対象物との距離、速度または方向を検出する装置である。レーザレーダ１７は、レーザを照射し、そのレーザの反射を観測することで、対象物との距離を測定する装置である。超音波センサ１５、ミリ波レーダ１６およびレーザレーダ１７は自車５の車体に取り付けられている。

また、車両制御システム１１は、主に自車５の位置および状態を認識するための装置として、ジャイロセンサ３１、加速度センサ３２、車速センサ３３、およびＧＰＳ（グローバル・ポジショニング・システム）受信部３４を備えている。これらのセンサは自車５の車体に取り付けられている。

また、車両制御システム１１は、記憶部２１、通知部２２、前方車両監視部２３、運転制御部３５、および車車間通信部３６を備えている。これらは車体に設けられており、また、これらは例えばバスを介して相互に接続されている。

記憶部２１は、例えば書換可能な不揮発性の半導体記憶素子、またはハードディスクドライブ等を備えている。記憶部２１には、自車５の位置を認識するのに要する地図データ、および二輪車８の転倒の判断に要する後述の距離基準値等が記憶されている。

通知部２２は、自車５の運転室内に設けられ、自車５の運転者に向け、種々の情報を視覚的にまたは音声により出力する装置である。例えば、通知部２２は、文字および画像を表示するディスプレイを備え、音声または警報音を鳴らすスピーカを備えている。

前方車両監視部２３は、自車５の前方の二輪車８が転倒するか否かを判断し、二輪車８が転倒したときには、通知部２２を介してその旨を自車５の運転者に通知し、運転制御部３５と協働して自車５を停止させ、かつ、車車間通信部３６を介して二輪車８の転倒を他車６、７へ伝える装置である。前方車両監視部２３は、例えば演算処理装置にコンピュータプログラムを読み込ませ、それを実行することにより実現される。前方車両監視部２３は、二輪車８が転倒するか否かの判断を行う転倒判断部２４と、二輪車８が転倒したことを示す情報を通知部２２、運転制御部３５および車車間通信部３６に出力する出力部２５とを備えている。前方車両監視部２３には、カメラ１３、赤外線カメラ１４、超音波センサ１５、ミリ波レーダ１６、およびレーザレーダ１７が接続されている。転倒判断部２４は、カメラ１３もしくは赤外線カメラ１４から得られる撮像画像、または超音波センサ１５、ミリ波レーダ１６もしくはレーザレーダ１７から得られる情報を用いて自車５の前方の物体を認識し、カメラ１３または赤外線カメラ１４から得られる撮像画像を用いてその物体が二輪車８であることを認識し、さらに、当該撮像画像を用いて二輪車８が転倒するか否かを判断する。なお、車両制御システム１１において、カメラ１３、赤外線カメラ１４、超音波センサ１５、ミリ波レーダ１６、レーザレーダ１７、前方車両監視部２３、記憶部２１および通知部２２を含む部分が、本発明の実施形態による前方車両監視装置１２に相当する。

運転制御部３５は、自車５の発進、停止、制動、加速、減速、操舵等を制御し、自車５の運転を自動的に行う装置である。運転制御部３５には、カメラ１３、赤外線カメラ１４、超音波センサ１５、ミリ波レーダ１６、レーザレーダ１７、ジャイロセンサ３１、加速度センサ３２、車速センサ３３およびＧＰＳ受信部３４が接続されている。運転制御部３５は、ジャイロセンサ３１、加速度センサ３２、車速センサ３３、またはＧＰＳ受信部３４から得られる情報と、記憶部２１に記憶保持された地図データを用い、自車５の位置、速度、走行方向等を特定する。また、運転制御部３５は、カメラ１３、赤外線カメラ１４、超音波センサ１５、ミリ波レーダ１６、またはレーザレーダ１７から得られる情報を用い、自車５の周辺の状態を認識する。さらに、運転制御部３５は、車車間通信部３６から出力された、他車６、７の位置、速度、走行方向等の情報を用い、他車６、７の走行を予測する。そして、運転制御部３５は、自車５の位置、速度、走行方向等の特定、自車５の周囲の状態の認識、および他車６、７の走行の予測を行いつつ、自車５の運転者により指示された目的地に向かって自車５の運転を行う。また、運転制御部３５は、二輪車８が転倒したことを示す情報が前方車両監視部２３から出力されたときには、自車５を停止させる。また、運転制御部３５は、自車５の位置、速度、走行方向等の情報を車車間通信部３６へ出力する。

また、車車間通信部３６は、運転制御部３５から出力された、自車５の位置、速度、走行方向等の情報を他車６、７へ送信する。また、車車間通信部３６は、他車６、７の位置、速度、走行方向等の情報を他車６、７から受信し、これらの情報を運転制御部３５へ出力する。また、車車間通信部３６は、二輪車８が転倒したことを示す情報が前方車両監視部２３から出力されたとき、その情報を他車６、７へ送信する。

図４は、前方車両監視装置１２が、二輪車８の転倒の発生の有無を判断し、二輪車８が転倒したときには、その旨を示す情報を通知部２２、運転制御部３５および車車間通信部３６に出力する動作を示している。

図４に示すように、自車５が稼働を開始したとき、まず、日中においてはカメラ１３が自車５の前方の撮像を開始し、夜間においては赤外線カメラ１４が自車５の前方の撮像を開始する（ステップＳ１）。カメラ１３および赤外線カメラ１４のそれぞれの視野角は、例えば、図２に示すように３０度ないし４５度程度である。カメラ１３または赤外線カメラ１４は、自車５の前方の撮像画像を生成し、この撮像画像を前方車両監視部２３へ出力する。また、自車５が稼働を開始したとき、超音波センサ１５、ミリ波レーダ１６、およびレーザレーダ１７が自車５の周囲の状態の検出を開始し、自車５の前方の状態を示す情報を前方車両監視部２３へ出力する。

続いて、前方車両監視部２３の転倒判断部２４が、カメラ１３もしくは赤外線カメラ１４から出力された撮像画像、または超音波センサ１５、ミリ波レーダ１６もしくはレーザレーダ１７から出力された、自車５の前方の状態を示す情報から、自車５の前方に、自車５と同じ方向に直進している二輪車８が存在するか否かを判断する（ステップＳ２）。具体的には、転倒判断部２４は、カメラ１３もしくは赤外線カメラ１４から出力された撮像画像、または超音波センサ１５、ミリ波レーダ１６もしくはレーザレーダ１７から出力された情報に基づき、自車５の前方に物体が存在することを認識する。また、転倒判断部２４は、カメラ１３または赤外線カメラ１４から出力された撮像画像に基づき、その物体が二輪車８であることを認識する。さらに、転倒判断部２４は、カメラ１３もしくは赤外線カメラ１４から出力された撮像画像、または超音波センサ１５、ミリ波レーダ１６もしくはレーザレーダ１７から出力された情報に基づき、その二輪車８が自車５と同じ方向に直進していることを認識する。

自車５の前方に自車５と同じ方向に直進している二輪車８が存在しない場合には（ステップＳ２：ＮＯ）、処理はステップＳ１へ戻る。そして、カメラ１３または赤外線カメラ１４は自車５の前方の撮像を続行し、超音波センサ１５、ミリ波レーダ１６、およびレーザレーダ１７は自車５の周囲の状態の検出を続行する。

一方、自車５の前方に自車５と同じ方向に直進している二輪車８が存在する場合には（ステップＳ２：ＹＥＳ）、転倒判断部２４が、カメラ１３または赤外線カメラ１４から出力された撮像画像内に含まれる二輪車画像を特定する（ステップＳ３）。

ここで、図５は、撮像画像内に含まれる二輪車画像４１および地面４２の画像を示している。図５に示すように、二輪車画像４１は、後方から見た二輪車８およびその運転者を示す画像である。例えば晴天時の日中においてカメラ１３から出力された撮像画像には、図５中の実線および破線で示したように、二輪車８の車体４３、バックミラー４４、テールランプ４５、ナンバープレート４６、後輪４７、運転者の背中４８、ヘルメット４９等がそれぞれ識別可能に鮮明に映し出される。

ところが、激しい雨のときや霧が発生しているとき等、悪天候時の日中においてカメラ１３から出力された撮像画像、または夜間において赤外線カメラ１４から出力された撮像画像は、晴天時の日中においてカメラ１３から出力された撮像画像と比較して不鮮明となる。例えば、悪天候時の日中または夜間の撮像画像においては、図５中の破線で示した部分等が曖昧になり、例えば二輪車８の車体４３と運転者の背中４８とを識別することが困難になる。

しかし、悪天候時の日中または夜間の撮像画像においても、自ら発光し、または比較的高い温度の熱を発しているテールランプ４５はほぼ鮮明に映し出される。また、悪天候時の日中または夜間の撮像画像においても、４つの直線に囲まれた長方形のナンバープレート４６の外形はほぼ鮮明に映し出される。また、悪天候時の日中または夜間の撮像画像においても、二輪車８およびその運転者の全体的な輪郭、すなわち、二輪車８の車体４３、バックミラー４４、後輪４７、運転者の背中４８、ヘルメット４９の全体的な輪郭はほぼ鮮明に映し出される。したがって、悪天候時の日中または夜間の撮像画像において、テールランプ４５、ナンバープレート４６、または二輪車８およびその運転者の全体的な輪郭を認識することは、他の部分を認識することと比較して容易である。本実施形態において、転倒判断部２４は、撮像画像において、二輪車８およびその運転者の全体的な輪郭を認識し、その輪郭の画像を二輪車画像４１として特定する。

続いて、転倒判断部２４は、カメラ１３または赤外線カメラ１４から出力された撮像画像内に含まれる地面を認識する（ステップＳ４）。図５に示すように、晴天時の日中にカメラ１３から出力された撮像画像、悪天候時の日中にカメラ１３から出力された撮像画像、および夜間に赤外線カメラ１４から出力された撮像画像のいずれにおいても、地面４２はほぼ鮮明に映し出される。転倒判断部２４は、例えば、撮像画像において、二輪車８の輪郭の下端部（後輪４７の下端部）に接する長い直線を地面４２として認識する。

もっとも、夜間に赤外線カメラ１４から出力された撮像画像において、地面４２が不鮮明な場合には、同じ場所で日中に撮像した撮像画像を記憶部２１に保持しておき、この日中の撮像画像に映し出されている地面の位置から、夜間の撮像画像における地面を推定してもよい。

続いて、転倒判断部２４は、ステップＳ３で特定した二輪車画像４１の図芯５１を算出する（ステップＳ５）。二輪車画像４１の図芯５１は、二輪車画像の外形に基づいて周知の方法により算出することができる。

続いて、転倒判断部２４は、二輪車画像４１内であって地面４２から離れた所定の位置に観測点を設定する。本実施形態において、転倒判断部２４は、二輪車画像４１の図芯５１に基づいて観測点を設定する（ステップＳ６）。

ここで、図６は、二輪車画像４１の図芯５１の変位を示している。二輪車８が直進している間、二輪車８は、地面の凹凸、サスペンションの撓み、または後輪４７の撓み等により垂直方向に往復動する。この結果、図６に示すように、自車５の前方を自車５と同じ方向に直進している二輪車８をカメラ１３または赤外線カメラ１４により継続的に撮像している間、連続的に得られる複数の撮像画像内にそれぞれ含まれる二輪車画像４１の位置も垂直方向に変位し、したがって、それぞれの二輪車画像４１の図芯５１の位置も垂直方向に変位する。転倒判断部２４は、例えば、自車５の前方を自車５と同じ方向に直進している二輪車８をカメラ１３または赤外線カメラ１４により所定時間継続して撮像し、その間に、カメラ１３または赤外線カメラ１４から出力される複数の撮像画像内にそれぞれ含まれる二輪車画像４１を特定し、それぞれの二輪車画像４１の図芯５１を算出し、算出した複数の図芯５１の平均的な位置に観測点５２を設定する。例えば、転倒判断部２４は、算出した複数の図芯５１のうち、最も高い位置にある図芯５１Ａと、最も低い位置にある図芯５１Ｂとの垂直方向における中間位置に観測点５２を設定する。

続いて、転倒判断部２４は距離基準値を決定する（ステップＳ７）。距離基準値とは、撮像画像において、観測点５２と地面４２との間の距離を示す値であって、二輪車８が左方向または右方向へ揺動し、観測点５２と地面４２との間の距離がそれよりも小さくなったときに当該二輪車８が転倒する値である。具体的には、距離基準値は、二輪車８のバンク角が最大バンク角に達したときの撮像画像における観測点５２と地面４２との間の距離である。なお、ここでいう最大バンク角とは、カウルの有無、二輪車の種類（スクータか否か）等、二輪車の構造から推定されるバンク角の最大値である。

距離基準値は予め算定され、記憶部２１に記憶保持されている。本実施形態においては、距離基準値が二輪車の構造の相違に応じて複数のタイプに分けて記憶保持されている。具体的には、スクータか否か、カウルを有しているか否か、タイヤのサイズ、車体のサイズ等に基づいて定めた複数の値が距離基準値として記憶保持されている。例えば、（１）スクータでなく、カウルを有していない二輪車に用いる距離基準値、（２）スクータでなく、カウルを有している二輪車に用いる距離基準値、（３）スクータに用いる距離基準値の３タイプの距離基準値が記憶保持されている。転倒判断部２４は、ステップＳ７において、二輪車画像４１の外形から、二輪車８がスクータであるか否かを判断し、スクータでない場合には、カウルを有しているか否かをさらに判断し、判断結果に基づいて上述した３タイプの距離基準値の中から、撮像した二輪車画像４１に最適な１つを選択する。なお、距離基準値は、過去の撮像データに基づき、学習機能を用いて随時蓄積、更新してもよい。

続いて、転倒判断部２４は、ステップＳ６で設定した観測点５２と、ステップＳ４で認識した地面４２との間の距離が、ステップＳ７で決定した距離基準値よりも小さいか否かを判断する（ステップＳ８）。そして、転倒判断部２４は、観測点５２と地面４２との間の距離が距離基準値よりも小さい場合には、二輪車８が転倒する可能性があると判断し、そうでない場合には、二輪車８が転倒する可能性がないと判断する。

ここで、図７は、二輪車８の直進時および左折時における二輪車画像４１を示している。転倒判断部２４は、二輪車の左方向または右方向の揺動に基づいて、二輪車が転倒するか否かを判断する。図７からわかる通り、二輪車を後方から見た場合、二輪車は左方向または右方向に大きく揺動して転倒に至る。二輪車の揺動は明確で単純な動きであるため、撮像画像に基づいて正確かつ容易に認識することができる。また、二輪車はカーブまたは交差点等を曲がるときにも左方向または右方向に揺動するが、例えば、二輪車がカーブまたは交差点等を曲がるときには、揺動の程度が二輪車の最大バンク角以下であり、二輪車が転倒するときには、揺動の程度が二輪車の最大バンク角を超える。したがって、二輪車が、カーブまたは交差点等を曲がっているか、それとも転倒する直前であるのかを、揺動の程度に基づいて識別することができる。

さらに、二輪車の左方向または右方向の揺動は、観測点５２と地面４２との間の距離に基づいて認識することができる。すなわち、図７において実線で示したように、直進時には、二輪車はほとんど左右に揺動せず、地面に対して垂直に立っている。このとき、観測点５２と地面４２との間の距離は最大となる。図７中のＤ１は、二輪車の直進時における観測点５２と地面４２との間の距離を示している。一方、図７において破線で示したように、例えば二輪車が交差点を左折し、左方向に揺動したとき、二輪車は、その左面が地面に接近するように左方向に傾斜する。これに伴い、観測点５２が地面４２に接近し、観測点５２と地面４２との間の距離が小さくなる。図７中のＤ２は、二輪車のバンク角が最大バンク角に達したときの観測点５２と地面４２との間の距離を示している。二輪車の揺動の程度が大きくなり、二輪車のバンク角が最大バンク角を超えたとき、二輪車は車体を起こすことが困難となり、転倒の可能性が生じる。すなわち、観測点５２と地面４２との間の距離がＤ２よりも小さくなったとき、二輪車の転倒の可能性が生じる。したがって、観測点５２と地面４２との間の距離がＤ２よりも小さくなったときに、二輪車が転倒する可能性があると判断することができる。転倒判断部２４は、このような考え方に基づき、Ｄ２を距離基準値として決定し、観測点５２と地面４２との間の距離が距離基準値よりも小さくなったときに、二輪車８が転倒する可能性があると判断する。

ステップＳ８において、二輪車８が転倒する可能性がないと転倒判断部２４が判断した場合には（ステップＳ８：ＮＯ）、処理はステップＳ１へ戻る。一方、二輪車８が転倒する可能性があると転倒判断部２４が判断した場合には（ステップＳ８：ＹＥＳ）、転倒判断部２４は、続いて、観測点５２と地面４２との間の距離が距離基準値よりも小さい状態が所定時間継続したか否かを判断する（ステップＳ９）。そして、転倒判断部２４は、観測点５２と地面４２との間の距離が距離基準値よりも小さい状態が所定時間継続した場合には、二輪車８の転倒が確定したと判断し、そうでない場合には、二輪車８は転倒しないと判断する。

すなわち、二輪車が大きく揺動し、そのバンク角が一時的に最大バンク角を超えた場合でも、その後、姿勢を持ち直し、転倒を免れることがある。最大バンク角を超えて揺動した二輪車８が姿勢を持ち直して転倒を免れる場合、観測点５２と地面４２との間の距離が距離基準値よりも小さくなった時点から所定時間が経過するまでの間に、観測点５２と地面４２との間の距離が距離基準値以上となる。一方、最大バンク角を超えて揺動した二輪車８が姿勢を持ち直すことなく転倒に至る場合、観測点５２と地面４２との間の距離が距離基準値よりも小さくなった時点から所定時間が経過するまでの間、観測点５２と地面４２との間の距離が距離基準値よりも小さい状態が維持される。転倒判断部２４は、このような考え方に基づき、観測点５２と地面４２との間の距離が距離基準値よりも小さい状態が所定時間継続した場合に、二輪車８の転倒が確定したと判断する。

ステップＳ９において、二輪車８が転倒しないと転倒判断部２４が判断した場合には（ステップＳ９：ＮＯ）、処理はステップＳ１へ戻る。一方、二輪車８の転倒が確定したと転倒判断部２４が判断した場合には（ステップＳ９：ＹＥＳ）、続いて、出力部２５が、二輪車８が転倒したことを示す情報を通知部２２、運転制御部３５および車車間通信部３６に出力する（ステップＳ１０）。二輪車８が転倒したことを示す情報に応じ、通知部２２は、二輪車８が転倒したことを自車５の運転者に通知する。例えば、通知部２２は、警告音を鳴らし、警告表示をディスプレイに表示する。また、運転制御部３５は、二輪車８が転倒したことを示す情報に応じ、自車５を停止させる。また、車車間通信部３６は、二輪車８が転倒したことを示す情報を他車６、７へ送信する。

以上、説明した通り、本発明の実施形態による前方車両監視装置１２によれば、転倒判断部２４が自車５の前方の二輪車８が転倒することを判断し、出力部２５が通知部２２を介してその結果を自車５の運転者に伝えるので、夜間や悪天候等により視界が悪くても、自車５の運転者は二輪車の転倒を早期に把握することができ、転倒した二輪車８と自車５との衝突を回避する措置を迅速にとることができる。また、出力部２５が、二輪車８が転倒したことを示す情報を運転制御部３５に出力することによって、運転制御部３５により自車５を早期に停止させることができ、自車５と二輪車８との衝突を確実に回避することができる。さらに、出力部２５が、二輪車８が転倒したことを示す情報を、車車間通信部３６を介して他車６、７へ送信することにより、他車６、７において、二輪車８との衝突を回避する措置を早期に実行させることができる。

また、前方車両監視装置１２によれば、転倒判断部２４により、二輪車８が転倒するか否かを二輪車８の揺動に基づいて判断するので、二輪車８の転倒を正確かつ容易に判断することができる。また、二輪車８の揺動の程度に基づいて、二輪車８がカーブまたは交差点等を曲がっているのか、転倒するのかを正確に判別することができる。

また、二輪車画像４１内に設定された観測点５２と地面４２との距離に基づいて二輪車８の揺動の程度を認識することにより、悪天候時や夜間のような視界の悪い状況下において鮮明な撮像画像を得られない場合でも、二輪車８が転倒するか否かを正確に判断することができる。また、二輪車画像４１内の観測点５２の設定を、二輪車画像４１の図芯に基づいて行うので、二輪車８の転倒判断の要素となる観測点５２を容易に設定することができる。

また、観測点５２と地面４２との間の距離が距離基準値よりも小さい状態が所定時間継続したときに、二輪車８が転倒すると判断することにより、二輪車８が大きく揺動したものの、姿勢を持ち直して転倒に至らない場合を認識することができ、二輪車８が転倒するか否かを、より一層正確に判断することができる。

また、二輪車の構造の相違に応じて複数タイプの距離基準値を記憶保持し、それらの中から最適な１つを選択して二輪車８の転倒を判断することにより、二輪車８の転倒判断の精度を高めることができる。

なお、前方車両監視装置１２によれば、二輪車８がカーブまたは交差点等を左または右に曲がるときに転倒する場合だけなく、例えば、二輪車８が直進時に、道路に飛び出した人や動物との衝突を避けようとして急ブレーキをかけて転倒する場合等、種々の態様の転倒につき、その発生の有無を判断することができる。

（第２の実施形態）
図８は、本発明の第２の実施形態による前方車両監視装置が、二輪車８の転倒の発生の有無を判断し、二輪車８が転倒したときには、その旨を示す情報を通知部２２、運転制御部３５および車車間通信部３６に出力する動作を示している。図９は、二輪車８の直進時および左折時における二輪車画像４１を示している。

上述した第１の実施形態による前方車両監視装置１２では、二輪車画像４１内に設定された観測点５２と地面４２との間の距離が距離基準値よりも小さいか否かに基づいて二輪車８が転倒するか否かを判断したが、本発明の第２の実施形態による前方車両監視装置では、二輪車画像４１中の直線状の画像要素と地面とのなす角度が基準角度範囲外か否かに基づいて二輪車８が転倒するか否かを判断する。本実施形態による前方車両監視装置のその余の部分は、第１の実施形態による前方車両監視装置１２と同じである。

図８において、本実施形態による前方車両監視装置は、第１の実施形態による前方車両監視装置１２と同様に、カメラ１３または赤外線カメラ１４により、自車５の前方の撮像画像を取得し、超音波センサ１５、ミリ波レーダ１６、およびレーザレーダ１７により、自車５の前方の状態を示す情報を取得し、撮像画像および自車５の前方の状態を示す情報から、自車５の前方に、自車５と同じ方向に直進している二輪車８が存在するか否かを判断する（ステップＳ２１、Ｓ２２）。続いて、自車５の前方に、自車５と同じ方向に直進している二輪車８が存在する場合には、本実施形態による前方車両監視装置の転倒判断部は、第１の実施形態による前方車両監視装置１２の転倒判断部２４と同様に、撮像画像内に含まれる二輪車画像４１および地面４２を認識する（ステップＳ２３、Ｓ２４）。

続いて、本実施形態による転倒判断部は、二輪車画像４１中の直線状の画像要素６１（図９参照）を特定する（ステップＳ２５）。上述したように、撮像画像が悪天候時の日中または夜間における撮像により得られたものである場合、その撮像画像は、晴天時の日中における撮像により得られた撮像画像と比較して不鮮明である。しかしながら、図９に示すように、悪天候時の日中または夜間の撮像画像においても、二輪車８およびその運転者の全体的な輪郭および地面４２は他の部分と比較してほぼ鮮明であり、また、４つの直線に囲まれた長方形のナンバープレート４６の外形もほぼ鮮明である。本実施形態による転倒判断部は、直線状の画像要素６１として、例えばナンバープレート４６の下辺の部分を特定する。なお、ナンバープレート４６の上辺、左辺または右辺の部分を直線状の画像要素として特定してもよい。

続いて、本実施形態による転倒判断部は、基準角度範囲を決定する（ステップＳ２６）。基準角度範囲とは、二輪車画像４１中の直線状の画像要素６１と地面４２とのなす角度の範囲を示す情報であって、二輪車８が左方向または右方向へ揺動し、画像要素６１と地面４２とのなす角度がその範囲内であれば当該二輪車８が転倒しない値である。

ここで、図１０（１）は、二輪車８のナンバープレート４６の下辺を画像要素６１として特定した場合の基準角度範囲の具体例を示し、図１０（２）は、二輪車８のナンバープレート４６の左辺を画像要素６１として特定した場合の基準角度範囲の具体例を示している。いずれの場合においても、基準角度範囲ＡＲは、例えば、右方向に揺動した二輪車８のバンク角が最大バンク角に達したときの画像要素６１と地面４２とのなす角度ＭＲから、左方向に揺動した二輪車８のバンク角が最大バンク角に達したときの画像要素６１と地面４２とのなす角度ＭＬまでである。

基準角度範囲は予め算定され、記憶部２１に記憶保持されている。本実施形態においても、第１の実施形態と同様に、二輪車の構造の相違に応じて複数タイプの基準角度範囲が記憶保持されており、転倒判断部２４は、ステップＳ２６において、二輪車画像４１の外形に基づいて、複数タイプの角度基準範囲の中から、撮像した二輪車画像４１に最適な１つを選択する。

続いて、本実施形態による転倒判断部は、画像要素６１と地面４２とのなす角度が基準角度範囲外であるか否かを判断する（ステップＳ２７）。そして、画像要素６１と地面４２とのなす角度が基準角度範囲外でない場合には（ステップＳ２７：ＮＯ）、転倒判断部は、二輪車８が転倒する可能性はないと判断し、処理をステップＳ２１へ戻す。一方、画像要素６１と地面４２とのなす角度が基準角度範囲外である場合には（ステップＳ２７：ＹＥＳ）、転倒判断部は、二輪車８が転倒する可能性があると判断し、ステップＳ２８へ処理を進める。

そして、ステップＳ２８において、本実施形態の転倒判断部は、画像要素６１と地面４２とのなす角度が基準角度範囲外である状態が所定時間継続したか否かを判断し、当該状態が所定時間継続した場合には、二輪車８の転倒が確定したと判断する。二輪車８の転倒が確定したと判断された場合、続いて、本実施形態による出力部が、二輪車８が転倒したことを示す情報を通知部２２、運転制御部３５および車車間通信部３６に出力する（ステップＳ２９）。

このような構成を有する、本発明の第２の実施形態による前方車両監視装置によっても、本発明の第１の実施形態による前方車両監視装置１２と同様の作用効果を得ることができる。

なお、上述した第１の実施形態では、二輪車が転倒する可能性があるか否かの判断基準である距離基準値を、二輪車のバンク角が最大バンク角に達したときの観測点と地面との間の距離とし、第２の実施形態では、二輪車が転倒する可能性があるか否かの判断基準である基準角度範囲を、二輪車のバンク角が最大バンク角に達したときの画像要素と地面とのなす角度に基づいて定めたが、本発明はこれらに限らない。例えば、距離基準値を、二輪車の一部またはその運転者の一部が地面と接触した時点における観測点と地面との距離とし、角度基準範囲を、二輪車の一部またはその運転者の一部が地面と接触した時点における画像要素と地面とのなす角度に基づいて定めてもよい。また、二輪車の構造に応じて複数の距離基準値（基準角度範囲）を記憶保持し、それらのうちの１つを選択する場合を例にあげたが、単一の距離基準値（基準角度範囲）を用いて判断を行ってもよい。

また、上述した第１の実施形態では、二輪車画像の図芯に基づいて観測点を設定したが、これに限らず、二輪車の運転者が装着しているヘルメットの図芯に基づいて観測点を設定してもよいし、ヘルメットの上端点に観測点を設定してもよいし、テールランプの図芯に基づいて観測点を設定してもよい。また、上述した第２の実施形態では、ナンバープレートの辺を画像要素として特定したが、これに限らず、例えば左右のバックミラーの上端点を互いに結んだ直線を画像要素として特定してもよい。

また、上述した各実施形態では、カメラ１３および赤外線カメラ１４といった撮像手段、並びに超音波センサ１５、ミリ波レーダ１６およびレーザレーダ１７といった検出手段を用いて自車５の前方の二輪車の存在を認識する場合を例にあげたが、自車５の前方の二輪車の認識にどのような撮像手段または検出手段を用いるかは適宜設定することができる。また、日中における撮像にはカメラ１３を用い、夜間における撮像には赤外線カメラ１４を用いる場合を例にあげたが、撮像に用いるカメラの選択基準は適宜設定することができる。また、撮像に用いるカメラを例えば赤外線カメラ１４のみとしてもよい。また、カメラと赤外線カメラとを常時併用して撮像を行い、二輪車画像および地面の認識に用いる撮像画像をカメラと赤外線カメラのそれぞれから得られる撮像画像の中から選択するようにしもよい。

また、上述した各実施形態では、自車５が自動運転車両である場合を例にあげ、二輪車が転倒すると判断した場合には自車５を自動的に停止させることとしたが、自車５と二輪車８との衝突を回避する措置として、例えば、自車５を減速させつつその走行方向を変更するといった制御を自動的に行ってもよい。一方、本発明は、手動運転車両にも適用することができる。この場合、二輪車が転倒すると判断した場合には、その旨を運転者に通知するのみとしてもよい。

また、上述した各実施形態では、四輪の自動車に前方車両監視装置を搭載する場合を例にあげたが、本発明はこれに限らず、前方車両監視装置を、自動二輪車等の鞍乗型車両に搭載してもよい。

また、本発明は、請求の範囲および明細書全体から読み取ることのできる発明の要旨または思想に反しない範囲で適宜変更可能であり、そのような変更を伴う前方車両監視装置もまた本発明の技術思想に含まれる。

５ 自車
８ 二輪車
１２ 前方車両監視装置
１３ カメラ（撮像部）
１４ 赤外線カメラ（撮像部）
１５ 超音波センサ
１６ ミリ波レーダ
１７ レーザレーダ
２１ 記憶部
２２ 通知部
２３ 前方車両監視部
２４ 転倒判断部
２５ 出力部
３５ 運転制御部
３６ 車車間通信部
４１ 二輪車画像
４２ 地面
４４ バックミラー
４５ テールランプ
４６ ナンバープレート
４７ 後輪
４９ ヘルメット
５１ 図芯
５２ 観測点
６１ 画像要素

Claims (7)

1. 自車の前方の二輪車を監視する前方車両監視装置であって、
   自車の前方を撮像する撮像部と、
   前記撮像部から得られた撮像画像中に含まれる前記二輪車の画像である二輪車画像を用いて前記二輪車の揺動を認識し、前記二輪車が転倒するか否かを前記二輪車の揺動に基づいて判断する転倒判断部と、
   前記転倒判断部により前記二輪車が転倒すると判断されたときには、前記二輪車が転倒したことを通知し、警告を出力し、または前記二輪車が転倒したことを示す情報を外部へ出力する出力部とを備えていることを特徴とする前方車両監視装置。
2. 前記転倒判断部は、前記二輪車画像内であって地面から離れた所定の位置に観測点を設定し、前記撮像画像における地面を認識し、前記観測点と前記地面との間の距離が所定の距離基準値よりも小さいときに、前記二輪車が転倒すると判断することを特徴とする請求項１に記載の前方車両監視装置。
3. 前記転倒判断部は、前記観測点と前記地面との間の距離が前記距離基準値よりも小さい状態が所定時間継続したときに、前記二輪車が転倒すると判断することを特徴とする請求項２に記載の前方車両監視装置。
4. 前記観測点は、前記二輪車画像の図芯であることを特徴とする請求項２または３に記載の前方車両監視装置。
5. 前記転倒判断部は、前記二輪車画像内の直線状の画像要素を特定し、前記撮像画像における地面を認識し、前記画像要素と前記地面とのなす角度が所定の基準角度範囲外となったときに、前記二輪車が転倒すると判断することを特徴とする請求項１に記載の前方車両監視装置。
6. 前記転倒判断部は、前記画像要素と前記地面とのなす角度が前記基準角度範囲外となった状態が所定時間継続したときに、前記二輪車が転倒すると判断することを特徴とする請求項５に記載の前方車両監視装置。
7. 前記自車は自動運転車両であることを特徴とする請求項１ないし６のいずれかに記載の前方車両監視装置。

Images