JP6371655B2 - 車両挙動判定装置 - Google Patents

Description

本発明は、車両の回転挙動を判定する車両挙動判定装置に関する。

車両には、衝突等から乗員を保護するため、エアバッグを展開させるエアバッグ装置、シートベルトを巻き取って弛みを吸収するプリテンショナ装置、ヘッドレストを移動させるアクティブヘッドレスト装置等が設けられている。例えば、エアバッグ装置は、ステアリングホイール、インストルメントパネル、シートおよびルーフトリム等に格納されるエアバッグモジュールを有している。このエアバッグモジュールは、衝突時にガスを発生させるインフレータと、インフレータからのガスによって膨張するエアバッグとを備えている。ところで、車両が鉛直軸回りに回転するスピン挙動や、車両がロール軸回りに回転するロールオーバー挙動が発生した場合には、車体側部のサイドエアバッグやカーテンエアバッグを回転挙動に応じて適切に展開させる必要がある。このため、車両には、スピン挙動を検出するヨーレートセンサや、ロールオーバー挙動を検出するロールレートセンサが搭載されている（特許文献１参照）。

特開２００８−２４７３８７号公報

ところで、エアバッグ装置等の誤作動を防止する観点から、車両には複数のヨーレートセンサやロールレートセンサが搭載されることも多い。しかしながら、ヨーレートセンサやロールレートセンサは高価なセンサであることから、ヨーレートセンサやロールレートセンサの個数を削減することが望まれている。このため、ヨーレートセンサやロールレートセンサに代えて、車両の回転挙動を判定する装置の開発が求められている。

本発明の目的は、車両の回転挙動を判定することにある。

本発明の車両挙動判定装置は、車両の回転挙動を判定する車両挙動判定装置であって、撮像周期毎に車両周囲を撮像して画像データを出力するセンサ部と、前記センサ部より出力される複数の前記画像データから、共通の特徴点を抽出する特徴点抽出部と、撮像時点の異なる複数の前記特徴点を比較し、前記特徴点の移動量を演算する移動量演算部と、前記特徴点の移動量に基づいて、前記車両の回転挙動を判定する挙動判定部と、を有し、前記センサ部として、車両前方の画像データを出力する前センサ部と、車両後方の画像データを出力する後センサ部との少なくともいずれか一方を備え、前記特徴点抽出部は、前記特徴点として、前記画像データの消失点よりも右側の領域から右特徴点を抽出し、前記画像データの消失点よりも左側の領域から左特徴点を抽出し、前記移動量演算部は、前記右特徴点の移動量を演算し、前記左特徴点の移動量を演算し、前記挙動判定部は、前記右特徴点と前記左特徴点との移動量の垂直方向成分に基づいて、前記車両の回転挙動がロール軸回りに回転するロールオーバー挙動であるか否かを判定する。

本発明によれば、車両周囲の画像データに基づいて、車両の回転挙動を判定することができる。

本発明の一実施の形態である車両挙動判定装置を備えた車両を示す概略図である。 （ａ）および（ｂ）は、車体側部に設けられたエアバッグモジュールの展開状態を示す説明図である。 車両を上方から示す図である。 車両挙動判定装置およびエアバッグシステムの制御系を示す概略図である。 制御ユニットが有する機能の一部を示すブロック図である。 （ａ）および（ｂ）は、スピン挙動発生時の前方画像データと後方画像データとの変化を示すイメージ図である。 スピン挙動発生時における前方画像データの特徴点の移動状況を示すイメージ図である。 （ａ）および（ｂ）は、スピン挙動発生時の左方画像データと右方画像データとの変化を示すイメージ図である。 （ａ）および（ｂ）は、スピン挙動発生時における左特徴点と右特徴点との移動状況を示すイメージ図である。 （ａ）および（ｂ）は、ロールオーバー挙動発生時の前方画像データと後方画像データとの変化を示すイメージ図である。 ロールオーバー挙動発生時における前方画像データの特徴点の移動状況を示すイメージ図である。 （ａ）および（ｂ）は、ロールオーバー挙動発生時の左方画像データと右方画像データとの変化を示すイメージ図である。 （ａ）および（ｂ）は、ロールオーバー挙動発生時における左特徴点と右特徴点との移動状況を示すイメージ図である。 スピン挙動およびロールオーバー挙動の判定手順の一例を示すフローチャートである。 スピン挙動およびロールオーバー挙動の判定手順の一例を示すフローチャートである。 エアバッグ展開制御の実行手順の一例を示すフローチャートである。 （ａ）〜（ｃ）は、スピン展開モードにおけるエアバッグモジュールＡ１〜Ａ１４の展開状況の一例を示す図である。 （ａ）および（ｂ）は、ロールオーバー展開モードにおけるエアバッグモジュールの展開状況の一例を示す図である。 （ａ）および（ｂ）は、ロールオーバー展開モードにおけるエアバッグモジュールの展開状況の一例を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。図１は本発明の一実施の形態である車両挙動判定装置１０を備えた車両１１を示す概略図である。図１に示すように、車両挙動判定装置１０は、車両周囲を撮像するカメラユニット（センサ部）Ｃ１〜Ｃ４を有している。カメラユニットＣ１〜Ｃ４には、ＣＣＤやＣＭＯＳ等のイメージセンサが内蔵されており、カメラユニットＣ１〜Ｃ４によって撮像された画像データは後述する制御ユニット２０に出力される。カメラユニットとして、車両前方の画像データを出力するカメラユニット（前センサ部）Ｃ１が設けられており、車両後方の画像データを出力するカメラユニット（後センサ部）Ｃ２が設けられている。また、カメラユニットとして、車両左方の画像データを出力するカメラユニット（左センサ部）Ｃ３が設けられており、車両右方の画像データを出力するカメラユニット（右センサ部）Ｃ４が設けられている。後述するように、車両挙動判定装置１０は、画像データに基づいて車両１１の回転挙動を判定し、判定した回転挙動をエアバッグシステム１２に出力する。そして、エアバッグシステム１２は、回転挙動に応じてエアバッグモジュールの展開モードを設定し、展開モードに応じてエアバッグモジュールの展開を制御する。

図１に示すように、車両１１にはエアバッグシステム１２が搭載されている。エアバッグシステム１２は、車室内の各部に設置される複数のエアバッグモジュールＡ１〜Ａ１４を有している。ドライバシート１３の前方には、フロントエアバッグとして、図示しないステアリングホイールに格納されるエアバッグモジュールＡ１が設けられている。また、ドライバシート１３の前方には、ニーエアバッグとして、図示しないインストルメントパネル下部に格納されるエアバッグモジュールＡ２が設けられている。さらに、ドライバシート１３の側方には、サイドエアバッグとして、ドライバシート側部に格納されるエアバッグモジュールＡ３が設けられている。同様に、パッセンジャシート１４の前方には、フロントエアバッグとして、図示しないインストルメントパネル上部に格納されるエアバッグモジュールＡ４が設けられている。また、パッセンジャシート１４の前方には、ニーエアバッグとして、図示しないインストルメントパネル下部に格納されるエアバッグモジュールＡ５が設けられている。さらに、パッセンジャシート１４の側方には、サイドエアバッグとして、パッセンジャシート側部に格納されるエアバッグモジュールＡ６が設けられている。さらに、ドライバシート１３とパッセンジャシート１４との間には、センタエアバッグとして、ドライバシート側部やパッセンジャシート側部に格納されるエアバッグモジュールＡ７が設けられている。

右リヤシート１５の前方には、フロントエアバッグとして、ドライバシート背部に格納されるエアバッグモジュールＡ８が設けられている。また、右リヤシート１５の側方には、サイドエアバッグとして、右リヤシート側部に格納されるエアバッグモジュールＡ９が設けられている。同様に、左リヤシート１６の前方には、フロントエアバッグとして、パッセンジャシート背部に格納されるエアバッグモジュールＡ１０が設けられている。また、左リヤシート１６の側方には、サイドエアバッグとして、左リヤシート側部に格納されるエアバッグモジュールＡ１１が設けられている。さらに、右リヤシート１５と左リヤシート１６との間には、センタエアバッグとして、右リヤシート側部や左リヤシート側部に格納されるエアバッグモジュールＡ１２が設けられている。さらに、車体側部には、カーテンエアバッグとして、ルーフパネルとルーフトリムとの間に格納されるエアバッグモジュールＡ１３，Ａ１４が設けられている。

図２（ａ）および（ｂ）は、車体側部に設けられたエアバッグモジュールＡ３，Ａ９，Ａ１３の展開状態を示す説明図である。図２（ａ）には展開前のエアバッグモジュールＡ３，Ａ９，Ａ１３が示されており、図２（ｂ）には展開後のエアバッグモジュールＡ３，Ａ９，Ａ１３が示されている。図２（ａ）に示すように、右側の車体側部には、ルーフトリム内に格納されるエアバッグモジュールＡ１３が設けられている。また、右側の車体側部には、ドライバシート側部に格納されるエアバッグモジュールＡ３が設けられており、右リヤシート側部に格納されるエアバッグモジュールＡ９が設けられている。図２（ｂ）に示すように、エアバッグモジュールＡ１３は、右フロントドアＤ１および右リヤドアＤ３の窓ガラスＷ１，Ｗ３を覆うように展開される。また、エアバッグモジュールＡ３，Ａ９は、エアバッグモジュールＡ１３よりも下方で、乗員の側面を覆うように展開される。このように、車体側部のエアバッグモジュールＡ３，Ａ９，Ａ１３は、ドアＤ１，Ｄ３と乗員との間に展開される。なお、左側の車体側部に設けられるエアバッグモジュールＡ６，Ａ１１，Ａ１４についても、エアバッグモジュールＡ３，Ａ９，Ａ１３と同様に、ドアＤ２，Ｄ４と乗員との間に展開される。

図３は車両１１を上方から示す図である。図３に示すように、車両１１には、エアバッグ展開制御に窓ガラスＷ１〜Ｗ４の開閉制御を連動させるため、ウィンドウレギュレータＲ１〜Ｒ４が設けられている。右フロントドアＤ１には、窓ガラスＷ１を開閉するウィンドウレギュレータＲ１が組み込まれており、左フロントドアＤ２には、窓ガラスＷ２を開閉するウィンドウレギュレータＲ２が組み込まれている。また、右リヤドアＤ３には、窓ガラスＷ３を開閉するウィンドウレギュレータＲ３が組み込まれており、左リヤドアＤ４には、窓ガラスＷ４を開閉するウィンドウレギュレータＲ４が組み込まれている。なお、各ウィンドウレギュレータＲ１〜Ｒ４は、窓ガラスＷ１〜Ｗ４にアームやケーブル等を介して連結される図示しない電動アクチュエータを有している。

図４は車両挙動判定装置１０およびエアバッグシステム１２の制御系を示す概略図である。図１および図４に示すように、車両挙動判定装置１０およびエアバッグシステム１２は、車両１１の回転挙動を判定してエアバッグモジュールＡ１〜Ａ１４およびウィンドウレギュレータＲ１〜Ｒ４を制御するため、ＣＰＵやメモリ等によって構成される制御ユニット２０を有している。制御ユニット２０には、衝突時の加速度を車体前部で検出する加速度センサＳａ１，Ｓａ２、衝突時の加速度を車体側部で検出する加速度センサＳａ３〜Ｓａ６、衝突時の加速度を車体後部で検出する加速度センサＳａ７，Ｓａ８が接続されている。また、制御ユニット２０には、ドライバシート１３における乗員の有無や体格等を検出する着座センサＳｂ１、パッセンジャシート１４における乗員の有無や体格等を検出する着座センサＳｂ２、右リヤシート１５における乗員の有無や体格等を検出する着座センサＳｂ３、左リヤシート１６における乗員の有無や体格等を検出する着座センサＳｂ４が接続されている。さらに、制御ユニット２０には、各車輪の回転速度を検出する車輪速センサ２１、ステアリングホイールの操舵角を検出する操舵角センサ２２等が接続されている。また、制御ユニット２０には、衝突時の加速度を検出する加速度センサ２３が組み込まれている。

続いて、制御ユニット２０の機能について詳細に説明する。図５は制御ユニット２０が有する機能の一部を示すブロック図である。図５に示すように、制御ユニット２０は、車両１１の回転挙動つまりスピン挙動やロールオーバー挙動を判定する車両挙動判定部３０を有している。また、制御ユニット２０は、判定された回転挙動に基づきエアバッグモジュールＡ１〜Ａ１４およびウィンドウレギュレータＲ１〜Ｒ４を制御する乗員保護制御部３１を有している。車両挙動判定部３０は、画像処理部３２、特徴点抽出部３３、データ記憶部３４、特徴点比較部３５および挙動判定部３６を備えている。また、乗員保護制御部３１は、展開モード設定部３７、展開制御部３８およびウィンドウ制御部３９を備えている。車両挙動判定部３０を備える制御ユニット２０は、後述するように、特徴点抽出部、移動量演算部および挙動判定部として機能する。

カメラユニットＣ１〜Ｃ４は、所定の撮像周期毎に画像データを制御ユニット２０の画像処理部３２に出力する。画像処理部３２は、画像データに対して、ノイズ除去処理、エッジ抽出処理および２値化処理等を実行する。これらの補正処理が施された画像データは画像処理部３２から特徴点抽出部３３に送信され、特徴点抽出部３３において画像データから特徴点が抽出される。例えば、特徴点抽出部３３は、画像データから濃度勾配のある点を特徴点として抽出する。このような特徴点が抽出される対象物としては、車両周囲に存在するあらゆる物が対象となる。例えば、停止車両、先行車両、後続車両、併走車両、走行道路の白線、標識、信号機、電柱、ガードレール、縁石等から特徴点を抽出することが可能である。また、抽出される特徴点としては、物に限られることはなく、走行道路の白線等が交わる無限遠点つまり消失点であっても良い。

画像データから抽出された特徴点は、特徴点抽出部３３からデータ記憶部３４に格納され、特徴点抽出部３３から特徴点比較部３５に送信される。そして、特徴点比較部（移動量演算部）３５は、データ記憶部３４から送信される前回の特徴点と、特徴点抽出部３３から送信される今回の特徴点とを比較し、画像データ上で移動する特徴点の移動量を演算する。つまり、特徴点比較部３５においては、撮像時点が異なる複数の画像データに基づき、特徴点の画素の流れに相当するオプティカルフローが検出される。続いて、特徴点比較部３５から挙動判定部３６に特徴点の移動量が送信され、挙動判定部３６は特徴点の移動量に基づいて車両１１の回転挙動を判定する。挙動判定部３６は、車両１１の回転挙動が鉛直軸回りに回転するスピン挙動であるか否かを判定し、車両１１の回転挙動がロール軸回りに回転するロールオーバー挙動であるか否かを判定する。なお、ロール軸とは、車両前部と車両後部とのロールセンタを結ぶ軸であり、車両１１の前後方向に伸びる軸である。

以下、車両１１の回転挙動の判定方法について説明する。まず、図６および図７を用いて、車両前後のカメラユニットＣ１，Ｃ２を用いたスピン挙動の判定方法について説明し、図８および図９を用いて、車両左右のカメラユニットＣ３，Ｃ４を用いたスピン挙動の判定方法について説明する。その後、図１０および図１１を用いて、車両前後のカメラユニットＣ１，Ｃ２を用いたロールオーバー挙動の判定方法について説明し、図１２および図１３を用いて、車両左右のカメラユニットＣ３，Ｃ４を用いたロールオーバー挙動の判定方法について説明する。

［スピン挙動の判定例１］
図６（ａ）および（ｂ）はスピン挙動発生時の前方画像データと後方画像データとの変化を示すイメージ図である。図６（ａ）にはスピン挙動発生前の状況が示され、図６（ｂ）にはスピン挙動発生時の状況が示されている。図６（ａ）および（ｂ）に示すように、車両１１に右回りのスピン挙動が発生した場合には、車両前方の画像データ（以下、前方画像データと記載する。）は左側（矢印α方向）に移動し、車両後方の画像データ（以下、後方画像データと記載する。）は右側（矢印β方向）に移動する。すなわち、前方画像データまたは後方画像データから特徴点を抽出し、この特徴点の移動量の水平方向成分を演算することにより、車両１１のスピン挙動を判定することが可能となる。

例えば、前方画像データから特徴点を抽出した場合において、移動量の水平方向成分が左方向に大きい場合には、車両１１に右回りのスピン挙動が発生していると判定される。一方、移動量の水平方向成分が右方向に大きい場合には、車両１１に左回りのスピン挙動が発生していると判定される。同様に、後方画像データから特徴点を抽出した場合において、移動量の水平方向成分が左方向に大きい場合には、車両１１に左回りのスピン挙動が発生していると判定される。一方、移動量の水平方向成分が右方向に大きい場合には、車両１１に右回りのスピン挙動が発生していると判定される。なお、図６（ａ）および（ｂ）に示す後方画像データは左右反転させた画像データであり、後方画像データに付した右側とは車両右側の画像を意味し、後方画像データに付した左側とは車両左側の画像を意味する。

ここで、図７はスピン挙動発生時における前方画像データの特徴点の移動状況を示すイメージ図である。なお、図７には、スピン挙動発生前の走行道路上の白線が実線で示され、スピン挙動発生時の走行道路上の白線が一点鎖線で示されている。図７に示すように、撮像時点が前の前方画像データから特徴点として消失点Ｐａ１が抽出され、撮像時点が後の前方画像データから共通の特徴点として消失点Ｐａ２が抽出された場合について考える。このとき、特徴点の移動量（Ｐａ１→Ｐａ２）の水平方向成分が所定の閾値を上回るＸａであった場合には、前方画像データが大きく水平方向に移動する状況であるため、車両１１にスピン挙動が発生していると判定される。図示する場合には、符号Ｐａ１から符号Ｐａ２に特徴点が左側に移動することから、車両１１の回転挙動は右側に旋回するスピン挙動であると判定される。

前述の説明では、特徴点として消失点を用いているが、これに限られることはなく、他の特徴点を用いても良い。例えば、図７に示すように、撮像時点が前の前方画像データの標識４０から特徴点としてＰｂ１を抽出し、撮像時点が後の前方画像データの標識４０から共通の特徴点としてＰｂ２を抽出しても良い。このとき、特徴点の移動量（Ｐｂ１→Ｐｂ２）の水平方向成分が所定の閾値を上回るＸｂであった場合には、前方画像データが左方向に移動する状況であるため、車両１１に右回りのスピン挙動が発生していると判定される。また、撮像時点が前の前方画像データの白線から特徴点としてＰｃ１を抽出し、撮像時点が後の前方画像データの白線から共通の特徴点としてＰｃ２を抽出しても良い。このとき、特徴点の移動量（Ｐｃ１→Ｐｃ２）の水平方向成分が所定の閾値を上回るＸｃであった場合には、前方画像データが左方向に移動する状況であるため、車両１１に右回りのスピン挙動が発生していると判定される。

なお、前述の特徴点Ｐｂ１，Ｐｃ１のように、消失点以外から抽出された特徴点を用いる場合には、同様のスピン挙動が発生した場合であっても、車速や撮像周期に応じて移動量の水平方向成分は変化することになる。このため、スピン挙動の判定精度を高めるためには、スピン挙動を判定する際の閾値を車速や撮像周期に応じて変化させることが望ましい。また、図７に示すように、車両１１の回転挙動が右回りのスピン挙動である場合において、特徴点Ｐｂ１のように、消失点よりも左側の領域から特徴点を抽出すると、特徴点の移動量の水平方向成分が大きくなる。一方、車両１１の回転挙動が右回りのスピン挙動である場合において、特徴点Ｐｃ１のように、消失点よりも右側の領域から特徴点を抽出すると、特徴点の移動量の水平方向成分が小さくなる。このように、同様のスピン挙動が発生した場合であっても、特徴点の抽出領域が消失点よりも左側であるか右側であるかによって、移動量の水平方向成分は変化することになる。このため、スピン挙動の判定精度を高めるためには、スピン挙動を判定する際の閾値を特徴点の抽出領域に応じて変化させることが望ましい。また、乗員のステアリング操作による誤判定を回避するため、操舵角に応じてスピン挙動を判定する際の閾値を変化させても良い。なお、前述の説明では、前方画像データから抽出した特徴点を用いて、車両１１のスピン挙動を判定しているが、これに限られることはなく、後方画像データから抽出した特徴点を用いて、車両１１のスピン挙動を判定しても良いことはいうまでもない。

［スピン挙動の判定例２］
図８（ａ）および（ｂ）はスピン挙動発生時の左方画像データと右方画像データとの変化を示すイメージ図である。図８（ａ）にはスピン挙動発生前の状況が示され、図８（ｂ）にはスピン挙動発生時の状況が示されている。図８（ａ）および（ｂ）に示すように、車両１１に右回りのスピン挙動が発生した場合には、車両左方の画像データ（以下、左方画像データと記載する。）は後側（矢印α方向）に進められ、車両右方の画像データ（以下、右方画像データと記載する。）は前側（矢印β方向）に戻される。すなわち、左方画像データおよび右方画像データから特徴点を抽出し、これら特徴点の移動量の水平方向成分を演算して比較することにより、車両１１のスピン挙動を判定することが可能となる。

例えば、左方画像データから特徴点として左特徴点ＰＬを抽出し、右方画像データから特徴点として右特徴点ＰＲを抽出する。そして、左特徴点ＰＬと右特徴点ＰＲとの移動量の水平方向成分を比較し、左特徴点ＰＬが右特徴点ＰＲよりも後方に大きく移動する場合には、車両１１に右回りのスピン挙動が発生していると判定される。一方、左特徴点ＰＬと右特徴点ＰＲとの移動量の水平方向成分を比較し、右特徴点ＰＲが左特徴点ＰＬよりも後方に大きく移動する場合には、車両１１に左回りのスピン挙動が発生していると判定される。なお、図示する場合には、ガードレール４１の反射鏡が特徴点として抽出されている。

ここで、図９（ａ）および（ｂ）はスピン挙動発生時における左特徴点と右特徴点との移動状況を示すイメージ図である。なお、図９（ａ）にはスピン挙動発生前の状況が示され、図９（ｂ）にはスピン挙動発生時の状況が示されている。図９（ａ）および（ｂ）に示すように、撮像時点が前の左方画像データから特徴点として左特徴点ＰＬ１が抽出され、撮像時点が後の左方画像データから共通の特徴点として左特徴点ＰＬ２が抽出される。同様に、図９（ａ）および（ｂ）に示すように、撮像時点が前の右方画像データから特徴点として右特徴点ＰＲ１が抽出され、撮像時点が後の右方画像データから共通の特徴点として右特徴点ＰＲ２が抽出される。

このとき、左方画像データにおいては、左特徴点の移動量（ＰＬ１→ＰＬ２）の水平方向成分がＸａであるのに対し、右方画像データにおいては、右特徴点の移動量（ＰＲ１→ＰＲ２）の水平方向成分がＸａよりも大幅に小さいＸｂであった場合について考える。この場合は、左特徴点ＰＬ１の水平方向成分Ｘａと右特徴点ＰＲ１の水平方向成分Ｘｂとの差が所定の閾値を上回る状況であり、左右の画像データが大きく水平方向にずれる状況であることから、車両１１にスピン挙動が発生していると判定される。すなわち、図示する場合には、車両１１が前進走行中であることから、車両１１にスピン挙動が発生していない場合には、左特徴点ＰＬ１は符号Ｚ１で示す位置に移動し、右特徴点ＰＲ１は符号Ｚ２で示す位置に移動する。しかしながら、図９（ｂ）に示すように、左特徴点ＰＬ１はスピン成分によって符号ＰＬ２で示す位置に進められ、右特徴点ＰＲ１はスピン成分によって符号ＰＲ２で示す位置に戻されることから、車両１１の回転挙動は右側に旋回するスピン挙動であると判定される。

なお、前述の説明では、左特徴点ＰＬ１と右特徴点ＰＲ１との移動量を比較することにより、車両１１の回転挙動がスピン挙動であるか否かを判定しているが、これに限られることはない。例えば、左特徴点ＰＬ１の移動量の水平方向成分から直進成分を減算してスピン成分を演算し、このスピン成分の大きさに基づいて車両１１にスピン挙動が発生しているか否かを判定しても良い。これにより、左特徴点ＰＬ１の移動量だけを用いてスピン挙動を判定することが可能となる。また、右特徴点ＰＲ１の移動量の水平方向成分から直進成分を減算してスピン成分を演算し、このスピン成分の大きさに基づいて車両１１にスピン挙動が発生しているか否かを判定しても良い。これにより、右特徴点ＰＲ１の移動量だけを用いてスピン挙動を判定することが可能となる。また、乗員のステアリング操作による誤判定を回避するため、操舵角に応じてスピン挙動を判定する際の閾値を変化させても良い。

［ロールオーバー挙動の判定例１］
図１０（ａ）および（ｂ）はロールオーバー挙動発生時の前方画像データと後方画像データとの変化を示すイメージ図である。図１０（ａ）にはロールオーバー挙動発生前の状況が示され、図１０（ｂ）にはロールオーバー挙動発生時の状況が示されている。図１０（ａ）および（ｂ）に示すように、車両１１に右回りのロールオーバー挙動が発生した場合には、前方画像データは左側（矢印α方向）に傾動し、後方画像データは左側（矢印β方向）に傾動する。すなわち、前方画像データまたは後方画像データから特徴点を抽出し、この特徴点の移動量の垂直方向成分を演算することにより、車両１１のロールオーバー挙動を判定することが可能となる。

ここで、図１１はロールオーバー挙動発生時における前方画像データの特徴点の移動状況を示すイメージ図である。図１１には、ロールオーバー挙動発生前の走行道路上の白線が実線で示され、ロールオーバー挙動発生時の走行道路上の白線が一点鎖線で示されている。まず、図１１に示すように、前方画像データの領域を、消失点よりも左側の領域ＡＬと、消失点よりも右側の領域ＡＲとに区画する。次いで、撮像時点が前の前方画像データの領域ＡＬから、特徴点として左特徴点ＰＬ１が抽出され、撮像時点が後の前方画像データの領域ＡＬから、共通の特徴点として左特徴点ＰＬ２が抽出される。同様に、撮像時点が前の前方画像データの領域ＡＲから、特徴点として右特徴点ＰＲ１が抽出され、撮像時点が後の前方画像データの領域ＡＲから、共通の特徴点として右特徴点ＰＲ２が抽出される。なお、図示する場合には、標識４０が左特徴点ＰＬ１として抽出され、白線が右特徴点ＰＲ１として抽出されている。

このとき、左特徴点の移動量（ＰＬ１→ＰＬ２）の垂直方向成分が下向きのＹａであるのに対し、右特徴点の移動量（ＰＲ１→ＰＲ２）の垂直方向成分が上向きのＹｂであった場合について考える。この場合は、左側の領域ＡＬが下がって右側の領域ＡＲが上がる状況であり、前方画像データが左回りに回転する状況であることから、車両１１に右回りのロールオーバー挙動が発生していると判定される。一方、図示する状況とは逆に、左特徴点ＰＬ１の移動量の垂直方向成分が上向きであり、右特徴点ＰＲ１の移動量の垂直方向成分が下向きであった場合には、車両１１に左回りのロールオーバー挙動が発生していると判定される。

なお、前述の説明では、左特徴点と右特徴点との垂直方向成分の向きが逆転していることから、車両１１にロールオーバー挙動が発生すると判定しているが、これに限られることはない。例えば、左特徴点と右特徴点との垂直方向成分の向きが共通であったとしても、垂直方向成分に所定の閾値を上回る差が認められる場合には、車両１１にロールオーバー挙動が発生していると判定される。また、左特徴点と右特徴点との垂直方向成分の向きが逆転している場合であっても、垂直方向成分の差が所定の閾値を下回る場合には、ロールオーバー挙動が発生していないと判定される。なお、前述の説明では、前方画像データから抽出した特徴点を用いて、車両１１のロールオーバー挙動を判定しているが、これに限られることはなく、後方画像データから抽出した特徴点を用いて、車両１１のロールオーバー挙動を判定しても良いことはいうまでもない。

［ロールオーバー挙動の判定例２］
図１２（ａ）および（ｂ）はロールオーバー挙動発生時の左方画像データと右方画像データとの変化を示すイメージ図である。図１２（ａ）にはロールオーバー挙動発生前の状況が示され、図１２（ｂ）にはロールオーバー挙動発生時の状況が示されている。図１２（ａ）および（ｂ）に示すように、車両１１に右回りのロールオーバー挙動が発生した場合には、左方画像データは下方（矢印α方向）に移動し、右方画像データは上方（矢印β方向）に移動する。すなわち、左方画像データおよび右方画像データから特徴点を抽出し、これら特徴点の移動量の垂直方向成分を演算して比較することにより、車両１１のロールオーバー挙動を判定することが可能となる。

例えば、左方画像データから特徴点として左特徴点ＰＬを抽出し、右方画像データから特徴点として右特徴点ＰＲを抽出する。そして、左特徴点ＰＬと右特徴点ＰＲとの移動量の垂直方向成分を比較し、左特徴点ＰＬが右特徴点ＰＲよりも下方に大きく移動する場合には、車両１１に右回りのロールオーバー挙動が発生していると判定される。一方、左特徴点ＰＬと右特徴点ＰＲとの移動量の垂直方向成分を比較し、右特徴点ＰＲが左特徴点ＰＬよりも下方に大きく移動する場合には、車両１１に左回りのロールオーバー挙動が発生していると判定される。なお、図示する場合には、ガードレール４１の反射鏡が特徴点として抽出されている。

ここで、図１３（ａ）および（ｂ）はロールオーバー挙動発生時における左特徴点と右特徴点との移動状況を示すイメージ図である。なお、図１３（ａ）にはロールオーバー挙動発生前の状況が示され、図１３（ｂ）にはロールオーバー挙動発生時の状況が示されている。図１３（ａ）および（ｂ）に示すように、撮像時点が前の左方画像データから特徴点として左特徴点ＰＬ１が抽出され、撮像時点が後の左方画像データから共通の特徴点として左特徴点ＰＬ２が抽出される。同様に、図１３（ａ）および（ｂ）に示すように、撮像時点が前の右方画像データから特徴点として右特徴点ＰＲ１が抽出され、撮像時点が後の右方画像データから共通の特徴点として右特徴点ＰＲ２が抽出される。

このとき、左方画像データにおいては、左特徴点の移動量（ＰＬ１→ＰＬ２）の垂直方向成分が下向きのＹａであるのに対し、右方画像データにおいては、右特徴点の移動量（ＰＲ１→ＰＲ２）の垂直方向成分が上向きのＹｂであった場合について考える。この場合は、左方画像データが下がって右方画像データが上がる状況であることから、車両１１に右回りのロールオーバー挙動が発生していると判定される。一方、図示する状況とは逆に、左特徴点ＰＬ１の移動量の垂直方向成分が上向きであり、右特徴点ＰＲ１の移動量の垂直方向成分が下向きであった場合には、車両１１に左回りのロールオーバー挙動が発生していると判定される。

なお、前述の説明では、左特徴点と右特徴点との垂直方向成分の向きが逆転していることから、車両１１にロールオーバー挙動が発生すると判定しているが、これに限られることはない。例えば、左特徴点と右特徴点との垂直方向成分の向きが共通であったとしても、垂直方向成分に所定の閾値を上回る差が認められる場合には、車両１１にロールオーバー挙動が発生していると判定される。また、左特徴点と右特徴点との垂直方向成分の向きが逆転している場合であっても、垂直方向成分の差が所定の閾値を下回る場合には、ロールオーバー挙動が発生していないと判定される。

続いて、前述したスピン挙動とロールオーバー挙動との判定手順をフローチャートに沿って説明する。図１４および図１５はスピン挙動およびロールオーバー挙動の判定手順の一例を示すフローチャートである。まず、図１４のフローチャートを用いて、車両前後のカメラユニットＣ１，Ｃ２を用いたスピン挙動およびロールオーバー挙動の判定手順について説明し、図１５のフローチャートを用いて、車両左右のカメラユニットＣ３，Ｃ４を用いたスピン挙動およびロールオーバー挙動の判定手順について説明する。

［スピン挙動およびロールオーバー挙動の判定手順例１］
図１４に示すように、ステップＳ１１では、カメラユニットＣ１から制御ユニット２０に前方画像データが取り込まれ、ステップＳ１２では、制御ユニット２０によって前方画像データにノイズ除去等の補正処理が施される。続いて、ステップＳ１３では、前方画像データから特徴点Ｐ１が抽出される。続くステップＳ１４では、撮像時点の異なる新旧の特徴点Ｐ１が比較され、新旧の前方画像データ間における特徴点Ｐ１の移動量Ｌが演算される。また、ステップＳ１４では、移動量Ｌの水平方向成分Ｌｘが演算され、移動量Ｌの垂直方向成分Ｌｙが演算される。

次いで、ステップＳ１５では、特徴点Ｐ１の移動量Ｌが所定の閾値Ａ１以上であるか否かが判定される。ステップＳ１５において、移動量Ｌが閾値Ａ１未満であると判定された場合には、ステップＳ１１に戻って新たな前方画像データが取り込まれる。一方、ステップＳ１５において、移動量Ｌが閾値Ａ１以上であると判定された場合には、ステップＳ１６に進み、移動量Ｌの水平方向成分Ｌｘが所定の閾値Ａ２以上であるか否かが判定される。ステップＳ１６において、水平方向成分Ｌｘが閾値Ａ２以上であると判定された場合には、ステップＳ１７に進み、車両１１にスピン挙動が発生していると判定される。一方、ステップＳ１６において、水平方向成分Ｌｘが閾値Ａ２未満であると判定された場合には、ステップＳ１８に進み、移動量Ｌの垂直方向成分Ｌｙが所定の閾値Ａ３以上であるか否かが判定される。ステップＳ１８において、垂直方向成分Ｌｙが閾値Ａ３以上であると判定された場合には、ステップＳ１９に進み、車両１１にロールオーバー挙動が発生していると判定される。一方、ステップＳ１８において、垂直方向成分Ｌｙが閾値Ａ３未満であると判定された場合には、ステップＳ１１に戻って新たな前方画像データが取り込まれる。

なお、スピン挙動やロールオーバー挙動の回転方向については、水平方向成分Ｌｘの向きや、垂直方向成分Ｌｙ１の向きに基づき判定される。また、特徴点を抽出する画像データとしては、前方画像データに限られることはない。例えば、後方画像データであっても良く、左方画像データであっても良く、右方画像データであっても良い。

［スピン挙動およびロールオーバー挙動の判定手順例２］
図１５に示すように、ステップＳ２１では、カメラユニットＣ３，Ｃ４から制御ユニット２０に左方画像データおよび右方画像データが取り込まれ、ステップＳ２２では、制御ユニット２０によって左方画像データおよび右方画像データにノイズ除去等の補正処理が施される。続くステップＳ２３では、左方画像データから左特徴点Ｐ１が抽出され、ステップＳ２４では、右方画像データから右特徴点Ｐ２が抽出される。次いで、ステップＳ２５では、撮像時点の異なる新旧の左特徴点Ｐ１が比較され、新旧の左方画像データ間における左特徴点Ｐ１の移動量Ｌ１が演算される。また、ステップＳ２５では、移動量Ｌ１の水平方向成分Ｌｘ１が演算され、移動量Ｌ１の垂直方向成分Ｌｙ１が演算される。同様に、続くステップＳ２６では、撮像時点の異なる新旧の右特徴点Ｐ２が比較され、新旧の左方画像データ間における右特徴点Ｐ２の移動量Ｌ２が演算される。また、ステップＳ２６では、移動量Ｌ２の水平方向成分Ｌｘ２が演算され、移動量Ｌ２の垂直方向成分Ｌｙ２が演算される。

次いで、ステップＳ２７では、移動量Ｌ１と移動量Ｌ２との差の絶対値が、所定の閾値Ｂ１以上であるか否かが判定される。ステップＳ２７において、移動量Ｌ１，Ｌ２の差が閾値Ｂ１未満であると判定された場合には、ステップＳ２１に戻って新たな左方画像データおよび右方画像データが取り込まれる。一方、ステップＳ２７において、移動量Ｌ１，Ｌ２の差が閾値Ｂ１以上であると判定された場合には、ステップＳ２８に進み、水平方向成分Ｌｘ１と水平方向成分Ｌｘ２との差の絶対値が、所定の閾値Ｂ２以上であるか否かが判定される。ステップＳ２８において、水平方向成分Ｌｘ１，Ｌｘ２の差が閾値Ｂ２以上であると判定された場合には、ステップＳ２９に進み、車両１１にスピン挙動が発生していると判定される。一方、ステップＳ２８において、水平方向成分Ｌｘ１，Ｌｘ２の差が閾値Ｂ２未満であると判定された場合には、ステップＳ３０に進み、垂直方向成分Ｌｙ１と垂直方向成分Ｌｙ２との差の絶対値が、所定の閾値Ｂ３以上であるか否かが判定される。ステップＳ３０において、垂直方向成分Ｌｙ１，Ｌｙ２の差が閾値Ｂ３以上であると判定された場合には、ステップＳ３１に進み、車両１１にロールオーバー挙動が発生していると判定される。一方、ステップＳ３０において、垂直方向成分Ｌｙ１，Ｌｙ２の差が閾値Ｂ３未満であると判定された場合には、ステップＳ２１に戻って新たな左方画像データおよび右方画像データが取り込まれる。

なお、スピン挙動やロールオーバー挙動の回転方向については、水平方向成分Ｌｘ１，Ｌｘ２の向きや、垂直方向成分Ｌｙ１，Ｌｙ２の向きに基づき判定される。また、左特徴点および右特徴点を抽出する画像データとしては、左方画像データおよび右方画像データに限られることはない。例えば、前方画像データから左特徴点と右特徴点とを抽出しても良く、後方画像データから左特徴点と右特徴点とを抽出しても良い。

これまで説明したように、画像データから抽出した特徴点の移動量に基づいて、スピン挙動やロールオーバー挙動等を判定することができる。これにより、スピン挙動やロールオーバー挙動の検出能力を確保しながら、ヨーレートセンサやロールレートセンサ等の使用個数を削減することが可能となる。

［エアバッグ展開制御］
続いて、車両１１の回転挙動に応じてエアバッグモジュールＡ１〜Ａ１４を展開するエアバッグ展開制御について説明する。前述したように、エアバッグ展開制御を実行する制御ユニット２０は、挙動判定部３６によって判定された回転挙動（スピン挙動，ロールオーバー挙動）に基づいて、エアバッグモジュールＡ１〜Ａ１４およびウィンドウレギュレータＲ１〜Ｒ４を制御する乗員保護制御部３１を有している。図５に示すように、乗員保護制御部３１は、回転挙動に基づいてエアバッグモジュールＡ１〜Ａ１４の展開モードを設定する展開モード設定部３７と、展開モードに応じてエアバッグモジュールＡ１〜Ａ１４を展開する展開制御部３８と、を備えている。また、乗員保護制御部３１は、回転挙動に基づいてウィンドウレギュレータＲ１〜Ｒ４を制御するウィンドウ制御部３９を備えている。なお、エアバッグモジュールＡ１〜Ａ１４は、ガスを発生させるインフレータ４２と、ガスによって膨張するバッグ４３とを有している。衝突発生時には、展開制御部３８からインフレータ４２に点火信号が出力され、インフレータ４２から放出されるガスによってバッグ４３が膨張状態となる。

以下、エアバッグ展開制御の実行手順について説明する。図１６はエアバッグ展開制御の実行手順の一例を示すフローチャートである。図１６に示すように、ステップＳ４１では、車両１１にスピン挙動が発生しているか否かが判定される。ステップＳ４１において、スピン挙動の発生が判定されている場合には、ステップＳ４２に進み、車体側部のエアバッグモジュールを中心に展開するスピン展開モードが設定される。このスピン展開モードが設定されると、ステップＳ４３に進み、ウィンドウレギュレータＲ１〜Ｒ４が制御され、車体側部の窓ガラスＷ１〜Ｗ４が閉じられる。一方、ステップＳ４１において、スピン挙動が発生していないと判定された場合には、ステップＳ４４に進み、車両１１にロールオーバー挙動が発生しているか否かが判定される。ステップＳ４４において、ロールオーバー挙動の発生が判定されている場合には、ステップＳ４５に進み、車体側部のエアバッグモジュールを中心に展開するロールオーバー展開モードが設定される。このロールオーバー展開モードが設定されると、ステップＳ４３に進み、ウィンドウレギュレータＲ１〜Ｒ４が制御され、車体側部の窓ガラスＷ１〜Ｗ４が閉じられる。また、ステップＳ４４において、ロールオーバー挙動が発生していないと判定された場合には、ステップＳ４６に進み、通常展開モードが設定される。この通常展開モードは、衝突時に所定レベル以上の加速度を検出する加速度センサＳａ１〜Ｓａ８の位置に基づいて、展開対象となるエアバッグモジュールＡ１〜Ａ１４を選択して展開する展開モードである。

このように、エアバッグモジュールＡ１〜Ａ１４の展開モードが設定されると、ステップＳ４７に進み、エアバッグモジュールＡ１〜Ａ１４に対する展開指令の有無が判定される。すなわち、ステップＳ４７では、エアバッグモジュールＡ１〜Ａ１４の展開が必要な衝突状況が発生したか否かが判定される。このステップＳ４７においては、例えば、加速度センサＳａ１〜Ｓａ８の何れかにおいて所定レベル以上の加速度が検出され、かつ制御ユニット２０内の加速度センサ２３によって所定レベル以上の加速度が検出された場合に、エアバッグモジュールＡ１〜Ａ１４に対する展開指令が有ると判定される。ステップＳ４７において、展開指令が有ると判定されると、ステップＳ４８に進み、制御ユニット２０から展開対象のエアバッグモジュールＡ１〜Ａ１４に点火信号が出力される。なお、各展開モードにおいて、展開対象となるエアバッグモジュールＡ１〜Ａ１４は、各シート１３〜１６における乗員の着座状況、所定レベル以上の加速度を検出した加速度センサＳａ１〜Ｓａ８の位置等によって決定される。

ここで、図１７（ａ）〜（ｃ）はスピン展開モードにおけるエアバッグモジュールの展開状況の一例を示す図である。また、図１８（ａ）、図１８（ｂ）、図１９（ａ）および図１９（ｂ）は、ロールオーバー展開モードにおけるエアバッグモジュールの展開状況の一例を示す図である。なお、図１７〜図１９には、乗員がドライバシート１３に着座したときの展開状況が示されている。

車両１１にスピン挙動が発生した場合には、車両１１が回転しながら障害物に向かうことから、障害物に対して車体側部から衝突する状況が考えられる。このため、スピン挙動の発生が判定された場合には、車体側部のエアバッグモジュールＡ３，Ａ１３を中心にエアバッグモジュールを展開するスピン展開モードが設定される。ところで、車体側部のエアバッグモジュールＡ３，Ａ１３を展開する際に、ドアＤ１の窓ガラスＷ１が開かれていると、エアバッグモジュールＡ３，Ａ１３が車外に露出することから、エアバッグモジュールＡ３，Ａ１３を適切に機能させることが困難となる。そこで、図１７（ａ）に示すように、スピン展開モードの設定時に窓ガラスＷ１が開かれていた場合には、図１７（ｂ）に示すように、衝突前からウィンドウレギュレータＲ１が制御されて窓ガラスＷ１が閉じ始められる。これにより、図１７（ｃ）に示すように、衝突時においては、車体側部の窓ガラスＷ１を閉じた状態のもとで、車体側部のエアバッグモジュールＡ３，Ａ１３が展開される。これにより、車体側部のエアバッグモジュールＡ３，Ａ１３を適切に展開することができ、乗員を適切に保護することが可能となる。

また、車両１１にロールオーバー挙動が発生する状況とは、例えば、斜面に沿って横転する虞のある状況や、縁石等に衝突して横転する虞のある状況であることから、車両１１の横転状況に合わせてエアバッグモジュールを展開することが重要である。このため、ロールオーバー挙動の発生が判定された場合には、車体側部のエアバッグモジュールＡ３，Ａ１３を中心にエアバッグモジュールを展開するロールオーバー展開モードが設定される。ところで、車体側部のエアバッグモジュールＡ３，Ａ１３を展開する際に、ドアＤ１の窓ガラスＷ１が開かれていると、エアバッグモジュールＡ３，Ａ１３が車外に露出することから、エアバッグモジュールＡ３，Ａ１３を適切に機能させることが困難となる。そこで、図１８（ａ）に示すように、ロールオーバー展開モードの設定時に窓ガラスＷ１が開かれていた場合には、図１８（ｂ）に示すように、横転前からウィンドウレギュレータＲ１が制御されて窓ガラスＷ１が閉じ始められる。これにより、図１９（ａ）および（ｂ）に示すように、横転時においては、車体側部の窓ガラスＷ１を閉じた状態のもとで、車体側部のエアバッグモジュールＡ３，Ａ１３が展開される。また、車両１１が横転する際には、車体の下部から上部にかけて徐々に路面等に接触することから、図１９（ａ）に示すように、下側のサイドエアバッグであるエアバッグモジュールＡ３を展開した後に、図１９（ｂ）に示すように、上側のカーテンエアバッグであるエアバッグモジュールＡ１３を展開している。これにより、車体側部のエアバッグモジュールＡ３，Ａ１３を適切に展開することができ、乗員を適切に保護することが可能となる。

本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。前述の説明では、新旧２つの画像データを比較して特徴点の移動量を演算しているが、これに限られることはなく、３つ以上の画像データを比較して特徴点の移動量を演算しても良い。また、カメラユニットＣ１〜Ｃ４としては、単眼カメラであっても良く、ステレオカメラであっても良い。さらに、カメラユニットＣ１，Ｃ２の撮像方向は、車両１１の前後方向に対して傾斜しても良く、カメラユニットＣ３，Ｃ４の撮像方向は、車両１１の車幅方向に対して傾斜しても良い。

また、前述の説明では、スピン挙動やロールオーバー挙動の判定結果に基づいてエアバッグシステム１２を制御しているが、これに限られることはない。例えば、スピン挙動やロールオーバー挙動の判定結果を用いて、各車輪のブレーキ制御やトルク分配制御等を実行することにより、スピン挙動やロールオーバー挙動を解消しても良い。なお、前述の説明では、特徴点抽出部、移動量算出部および挙動判定部を、１つの制御ユニット２０に組み込んでいるが、これに限られることはない。例えば、特徴点抽出部、移動量算出部および挙動判定部を、複数の制御ユニットに分けて組み込んでも良い。

１０ 車両挙動判定装置
１１ 車両
２０ 制御ユニット
３３ 特徴点抽出部
３５ 特徴点比較部（移動量演算部）
３６ 挙動判定部
Ｃ１ カメラユニット（センサ部，前センサ部）
Ｃ２ カメラユニット（センサ部，後センサ部）
Ｃ３ カメラユニット（センサ部，左センサ部）
Ｃ４ カメラユニット（センサ部，右センサ部）

Claims (1)

1. 車両の回転挙動を判定する車両挙動判定装置であって、
   撮像周期毎に車両周囲を撮像して画像データを出力するセンサ部と、
   前記センサ部より出力される複数の前記画像データから、共通の特徴点を抽出する特徴点抽出部と、
   撮像時点の異なる複数の前記特徴点を比較し、前記特徴点の移動量を演算する移動量演算部と、
   前記特徴点の移動量に基づいて、前記車両の回転挙動を判定する挙動判定部と、
   を有し、
   前記センサ部として、車両前方の画像データを出力する前センサ部と、車両後方の画像データを出力する後センサ部との少なくともいずれか一方を備え、
   前記特徴点抽出部は、前記特徴点として、前記画像データの消失点よりも右側の領域から右特徴点を抽出し、前記画像データの消失点よりも左側の領域から左特徴点を抽出し、
   前記移動量演算部は、前記右特徴点の移動量を演算し、前記左特徴点の移動量を演算し、
   前記挙動判定部は、前記右特徴点と前記左特徴点との移動量の垂直方向成分に基づいて、前記車両の回転挙動がロール軸回りに回転するロールオーバー挙動であるか否かを判定する、
   車両挙動判定装置。

Images