JPWO2017104712A1 - 車両用ロール角推定システム、車両、車両用ロール角推定方法及びプログラム - Google Patents

Abstract

車両用ロール角推定システム（１０）は、撮像装置（４０）と、撮像装置（４０）のロール角を推定するロール角推定装置（２０）とを備える。ロール角推定装置（２０）は、画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成部（２２）と、輝度勾配方向ヒストグラムを用いて、重力方向である垂直方向のエッジ（Ｅｖ）に対応する輝度勾配方向、及び、水平方向のエッジ（Ｅｈ）に対応する輝度勾配方向を特定し、特定した垂直方向のエッジ（Ｅｖ）に対応する輝度勾配方向、又は水平方向のエッジ（Ｅｈ）に対応する輝度勾配方向の少なくとも一方を用いて、ロール角を推定する推定部（２３）とを備える。

Description

本発明は、画像処理により車両のロール角を推定する技術に関する。

画像処理により車両の傾きを推定する技術として、特開２０１５―５８９１５号公報（特許文献１）には、自動二輪車に搭載したカメラで撮像された画像データに基づいて、自動二輪車のロール角を推定するロール角推定装置が開示されている。このロール角推定装置は、画像データから検出された直線を、垂直方向の直線と水平方向の直線に分類して、垂直方向の直線の平均勾配と、水平方向の直線の平均勾配を算出する。これらの平均勾配に基づいて、自動二輪車のロール角が推定される。

また、撮像画像中の被写体の傾きを補正する技術として、特許第４９５０２９０号公報（特許公報２）には、撮像部の物理的な傾きを検知するセンサを備えた撮像装置が開示されている。この撮像装置では、センサで検知された撮像部の傾きに基づいて画像処理を行って、撮像画像中の被写体に現れる複数の角度成分のヒストグラムを作成する。ヒストグラムにおいて一定の基準を満たす度数を有する角度成分が、回転変換のための回転角として選択される。基準を満たす角度成分が存在しない場合、センサで検出された傾きが回転変換のための回転角として選択される。

さらに、画像の傾きを補正する技術として、特許第４８６２０８０号公報（特許文献３）には、撮像画像を構成する画素ブロックの輝度情報を用いて撮像画像の補正を行う画像処理装置が開示されている。この画像処理装置は、輝度勾配又は輝度スペクトル強度の方向分布を算出する演算式に、画素ブロックの画素の位置情報と輝度情報とを代入して演算を行い、画素ブロック内画像の傾きを推定するのに適しているか否かを判定する。適していると判定された画素ブロックで検出された線分の傾き角に基づいて、撮像画像の傾き角が求められる。

特開２０１５−５８９１５号公報 特許第４９５０２９０号公報 特許第４８６２０８０号公報

上記従来の特開２０１５―５８９１５号公報に記載のロール角推定装置では、検出された垂直方向又は水平方向の直線の本数が、ロール角推定に有効な本数でない場合、推定精度が得られない場合がある。

特許第４９５０２９０号公報に記載の撮像装置は、センサで検出した撮像部の傾きに基づいて画像処理を行うため、センサがないと、正確な被写体の傾き補正は困難になる。特許第４８６２０８０号公報に記載の画像処理装置は、センサを用いないため、検出された線分の傾き角又は輝度勾配が、垂直方向又は水平方向を示すものであるかを検証できない。そのため、撮像画像の傾き角を正確に求めることができない場合が生じ得る。

そこで、本願は、進行方向に対して左右に傾斜可能な車両において、車両の前方又は後方を撮影する撮像装置のロール角を、撮像装置で撮影された画像を用いて正確に推定することができる技術を開示する。

課題を解決するための手段及び発明の効果

車両の進行方向（つまり車両の前後方向）に対して左右方向に傾斜する車両がある。車両の前後方向を軸とした左右方向の傾斜角（回転角）、つまり車両のロール角を取得することにより、車両のロール角に関わる情報を、車両の制御等、様々な用途で用いることができる。

車両のロール角を取得するためには、各種のセンサの結果を直接利用するという方法がある。あるいは、各種のセンサの結果に基づいて演算処理を行い、車両のロール角を推定するという方法がある。

発明者らは、車両のロール角を推定するシステムについて研究した。左右方向に傾斜する車両の中でも、ロール角の範囲が限定されている車両がある。例えば、自動二輪車は、左右方向に傾斜する車両であるが、ロール角には制限がある。道路あるいは地面に対して垂直方向に延びる方向を中心として、左方向および右方向のいずれの方向に対しても、車両のロール角は９０度より小さい角度に制限されている。ロール角の最大角度は、車体の左右方向の外縁形状によって決まる。自動二輪車の他、例えば、自動三輪車、ＬＭＷ（Leaning Multi Wheel）、スノーモービル、ＡＴＶ（全地形走行車）、及び、水上バイク（パーソナルウォータークラフト）なども、ロール角が制限された車両である。これに対して、航空機は、機体の進行方向に対して左右に傾斜する乗り物であるが、ロール角に制限がない。すなわち、地面、雪面、又は水面等の走行面に接しながら走行又は航走する車両、言い換えれば走行面上を走行中の車両は、ロール角の範囲が制限される。

また、左右方向に傾斜する車両の中でも、車両の左右方向を軸とした上下方向の回転角、つまり車両のピッチ角の変化が小さい車両あるいはピッチ角の変化が殆どない車両がある。例えば、自動二輪車は、ピッチ角の変化は非常に小さい。自動二輪車のピッチ角の変化は、サスペンションのストローク範囲内である。このようにピッチ角の変化範囲が小さい車両の例として、自動二輪車の他、自動三輪車、ＬＭＷ（Leaning Multi Wheel）、スノーモービル、ＡＴＶ（全地形走行車）、及び、水上バイク（パーソナルウォータークラフト）等が挙げられる。これに対して、航空機は、機体の進行方向に対して左右方向に傾斜する乗り物であるが、ピッチ角の変化に制限がない。すなわち、地面、雪面、又は水面等の走行面に接しながら走行又は航走する車両、言い換えれば走行面上を走行中の車両は、ピッチ角の変化が小さい。

発明者は、左右方向に傾斜する車両の中でも、ロール角に制限があり、ピッチ角の変化が小さい車両のロール角推定システムについて研究した。発明者らは、このような車両に取り付けられたカメラで、車両の走行中の前後方向の画像を撮影した。撮影した画像の輝度勾配方向ヒストグラムを調査した。発明者は、車両の走行中のあらゆる状況で撮影された画像の輝度勾配方向ヒストグラムを調べた。その結果、輝度勾配方向ヒストグラムの度数分布において、垂直方向のエッジに対応する輝度勾配方向の度数と、水平方向のエッジに対応する輝度勾配方向の度数が、一定の相対関係を持って特徴的に現れる場合があることが発明者によって見いだされた。

さらに、画像の輝度勾配方向ヒストグラムにおいて、垂直方向のエッジに対応する輝度勾配方向、及び水平方向のエッジに対応する輝度勾配方向を特定する構成に想到した。特定した垂直方向のエッジに対応する輝度勾配方向、及び水平方向のエッジに対応する輝度勾配方向を用いると、車両のロール角を正確に推定できることを見出した。すなわち、走行面に接しながら走行中の車両の前後方向を撮影して得られる画像の輝度勾配方向ヒストグラムにおいて、垂直方向のエッジに対応する輝度勾配方向と、垂直方向のエッジに対応する輝度勾配方向を特定することで、車両のロール角を正確に推定できる。これらの知見に基づき、以下の実施形態に想到した。

本発明の実施形態における車両用ロール角推定システムは、進行方向に対して左右に傾斜可能な車両に搭載される。前記車両用ロール角推定システムは、前記車両の前方あるいは後方を撮像可能な撮像装置と、前記撮像装置で撮像された画像を取得し、前記画像を解析することにより前記車両の傾斜によって変化する前記撮像装置のロール角を推定するロール角推定装置と、を備える。前記ロール角推定装置は、前記画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成部と、前記輝度勾配方向ヒストグラムを用いて、重力方向である垂直方向のエッジに対応する輝度勾配方向、及び、前記重力方向に直交する方向である水平方向のエッジに対応する輝度勾配方向を特定し、特定した前記垂直方向のエッジの前記輝度勾配方向、又は前記水平方向のエッジの前記輝度勾配方向の少なくとも一方を用いて、前記ロール角を推定する推定部とを備える（第１の構成）。
第１の構成によれば、推定部は、輝度勾配方向ヒストグラムから、重力方向である垂直方向のエッジの前記画像の基準軸に対する傾き、及び、前記重力方向に直交する方向である水平方向のエッジの前記画像の基準軸に対する傾きを特定する。すなわち、走行面上を走行中の車両の撮像装置により車両の前方あるいは後方を撮像して得られる画像の輝度勾配ヒストグラムにおいて、重力方向である垂直方向のエッジに対応する輝度勾配方向及び、重力方向に直交する方向である水平方向のエッジに対応する輝度勾配方向が特定される。輝度勾配方向ヒストグラムの度数分布では、垂直方向のエッジに対応する輝度勾配方向の度数と、水平方向のエッジに対応する輝度勾配方向の度数が、一定の相対関係を持って特徴的に現れることが発明者らによって見いだされている。そのため、走行面上を走行中の車両の前方あるいは後方を撮像して得られる画像の輝度勾配方向ヒストグラムを生成し、これを用いて、垂直方向のエッジと水平方向のエッジに対応する輝度勾配方向を特定することで、垂直方向のエッジ及び水平方向のエッジの画像における傾きを正確に特定することができる。垂直方向のエッジの輝度勾配方向、又は水平方向のエッジの輝度勾配方向の少なくとも一方を用いてロール角を推定することで、正確なロール角推定が可能になる。その結果、撮像装置のロール角を、撮影された画像を用いて正確に推定することができる。

前記推定部は、前記輝度勾配方向ヒストグラムにおけるピークのうち、互いに垂直な関係を有する２つの輝度勾配方向に対応する２つのピークの輝度勾配方向を、前記垂直方向のエッジに対応する輝度勾配方向及び前記水平方向のエッジに対応する輝度勾配方向として特定することができる（第２の構成）。

第２の構成によれば、度数分布が他より多くなっている輝度勾配方向のうち、互いに垂直な関係を有する２つの輝度勾配方向が、画像における垂直方向のエッジ及び水平方向のエッジに対応する輝度勾配方向として特定される。そのため、画像における垂直方向及び水平方向の傾きをより正確に特定することができる。なお、互いに垂直な関係を有する２つのピークは、互いに垂直な関係を有する輝度勾配方向に対応する２つのピークである。

前記推定部は、前記２つのピークの輝度勾配方向のうち、前記画像の垂直軸からの傾きが第１の閾値より小さい方向の傾きを、前記垂直方向のエッジに対応する輝度勾配方向とし、前記画像の垂直軸からの傾きが前記第１の閾値より大きい方向の傾きを、前記水平方向のエッジに対応する輝度勾配方向と特定し、前記ロール角を推定することができる（第３の構成）。

進行方向に対して左右に傾斜可能な車両では、走行中の左右の傾斜角度に限度がある。そのため、画像の垂直軸に対する垂直方向のエッジの傾きにも限度がある。これを利用して、上記第３の構成とするとことで、互いに垂直な関係を有する輝度勾配方向の２つのピークのいずれが垂直方向であるかを特定することができる。

前記ヒストグラム生成部は、任意の角θ（θは０度以上、１８０度以下）について、角θと角（θ＋１８０度）を同一視することにより、角θの範囲（０度以上、１８０度以下）で輝度勾配方向ヒストグラムを生成することができる（第４の構成）。第４の構成により、効率よく輝度勾配方向ヒストグラム生成処理を実行することができる。

前記ヒストグラム生成部は、各画素の輝度勾配強度について重みづけを行った上で各画素の輝度勾配をヒストグラムに加算することができる（第５の構成）。第５の構成により、輝度勾配強度を加味した輝度勾配方向ヒストグラムを作成することができる。

前記推定部は、互いに垂直な関係を有する２つのピークを抽出することができないとき、前記輝度勾配方向ヒストグラムのピークのうち、過去の前記垂直方向のエッジに対応する輝度勾配方向との角度が第２の閾値を超えない輝度勾配方向を持つピークを、垂直方向のエッジに対応する輝度勾配方向のピークとして抽出し、当該ピークの輝度勾配方向を用いて現在のロール角を推定することができる（第６の構成）。

例えば、撮影された画像において水平方向のエッジに対応する輝度勾配方向の度数が少なく明瞭なピークが現れない場合、互いに垂直な関係を有する２つのピークを抽出することができない。上記第６の構成によれば、このような場合であっても、過去に特定された垂直方向のエッジに対応する輝度勾配方向から第２の閾値を越えない範囲にあるピークの輝度勾配方向を、現在の垂直方向のエッジに対応する輝度勾配方向として特定することができる。そのため、垂直方向のエッジに対応する輝度勾配方向を用いて、ロール角を推定することができる。

前記推定部は、互いに垂直な関係を有する２つのピークを抽出することができないとき、過去の輝度勾配方向ヒストグラムと、現在の輝度勾配方向ヒストグラムの形状のマッチングを行うことにより、前記過去から現在までのロール角の変位を算出し、前記ロール角の変位と、前記過去におけるロール角とから現在のロール角を推定する（第７の構成）。

第７の構成によれば、互いに垂直な関係を有する２つのピークを抽出することができない場合に、過去の輝度勾配方向ヒストグラムと現在の輝度勾配方向ヒストグラムを用いて、ロール角を推定することが可能になる。

車両用ロール角推定システムは、前記車両の傾斜角を検出する内界センサをさらに備えてもよい。この場合、前記内界センサにより検出された前記車両の傾斜角を用いて前記推定部により推定された前記ロール角を補完することができる（第８の構成）。第８の構成により、上記輝度勾配方向ヒストグラムを用いてロール角を推定できない場合に、ロール角の推定値を補完することができる。

車両用ロール角推定システムは、前記車両の傾斜角を検出する内界センサを備えてもよい。この場合、前記内界センサにより検出された前記車両の傾斜角を用いて前記推定部により推定された前記ロール角を検証することができる（第９の構成）。第９の構成により、ロール角の推定精度を向上させることができる。

上記第１〜第９のいずれかの構成を有する車両用ロール角推定システムを備える車両も、本発明の実施形態に含まれる。本発明の実施形態における車両は、進行方向に対して左右に傾斜可能な車両である。前記車両は、前記車両の前方あるいは後方を撮像可能な撮像装置と、前記撮像装置で撮像された画像を取得し、前記画像を解析することにより前記車両の傾斜によって変化する前記撮像装置のロール角を推定する傾斜角推定装置と、を備える。前記傾斜角推定装置は、前記画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成部と、前記輝度勾配方向ヒストグラムを用いて、重力方向である垂直方向のエッジに対応する輝度勾配方向、及び、前記重力方向に直交する方向である水平方向のエッジに対応する輝度勾配方向を特定し、特定した前記垂直方向のエッジに対応する輝度勾配方向、又は前記水平方向のエッジに対応する輝度勾配方向の少なくとも一方を用いて、前記ロール角を推定する推定部と、を備える。

本発明の実施形態における車両用ロール角推定方法は、進行方向に対して左右に傾斜可能な車両において、前記車両の前方あるいは後方を撮像可能な撮像装置で撮像された画像を解析することにより、前記車両の傾斜によって変化する前記撮像装置のロール角を推定する方法である。前記車両用ロール角推定方法は、前記撮像装置で撮像された画像を取得する画像取得工程と、前記画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成工程と、コンピュータが、前記輝度勾配方向ヒストグラムを用いて、重力方向である垂直方向のエッジに対応する輝度勾配方向、及び、前記重力方向に直交する方向である水平方向のエッジに対応する輝度勾配方向を特定する特定工程と、前記コンピュータが、特定した前記垂直方向のエッジに対応する輝度勾配方向、又は前記水平方向に対応する輝度勾配方向の少なくとも一方を用いて、前記ロール角を推定する推定工程とを有する。

本発明の実施形態における車両用ロール角推定プログラムは、進行方向に対して左右に傾斜可能な車両において、前記車両の前方あるいは後方を撮像可能な撮像装置で撮像された画像を解析することにより、前記車両の傾斜によって変化する前記撮像装置のロール角を推定するプログラムである。前記車両用ロール角推定プログラムは、前記撮像装置で撮像された画像を取得する画像取得処理と、前記画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成処理と、前記輝度勾配方向ヒストグラムを用いて、重力方向である垂直方向のエッジに対応する輝度勾配方向、及び、前記重力方向に直交する方向である水平方向のエッジに対応する輝度勾配方向を特定する特定処理と、特定した前記垂直方向のエッジに対応する輝度勾配方向、又は前記水平方向のエッジに対応する輝度勾配方向の少なくとも一方を用いて、前記ロール角を推定する推定処理と、をコンピュータに実行させる。

上記車両用ロール角推定システム、上記車両用ロール角推定方法、及び上記車両用ロール角推定プログラムにおいて、重力方向である垂直方向のエッジに対応する輝度勾配方向は、重力方向である垂直方向のエッジの画像の基準軸に対する傾きである。重力方向に直交する方向である水平方向のエッジに対応する輝度勾配方向は、重力方向に直交する方向である水平方向のエッジの画像の基準軸に対する傾きである。

本発明における車両は、車両の前後方向を軸とする回転方向すなわちロール方向に回転可能な車両であって、ロール角が制限されて、ピッチ角の変化が小さい車両である。具体的には、地面、雪面又は水面等の走行面上を走行又は航走する車両である。車両は、例えば、自動二輪車、自動三輪車、ＬＭＷ（Leaning Multi Wheel）、スノーモービル、ＡＴＶ（全地形走行車）、又は、水上バイク（パーソナルウォータークラフト）等である。

図１は、実施形態１の車両の側面図である。 図２は、車両用ロール角推定システム１０の構成例を示す機能ブロック図である。 図３は、画像における座標を説明するための図である。 図４は、車両の傾斜角を説明するための図である。 図５は、図２に示すロール角推定装置の動作例を示すフローチャートである。 図６は、画素周辺の輝度勾配方向の例を示す図である。 図７Ａは、ｘ方向の輝度勾配の算出に用いられるＳｏｂｅｌフィルタの一例を示す図である。 図７Ｂは、ｙ方向の輝度勾配の算出に用いられるＳｏｂｅｌフィルタの一例を示す図である。 図８は、式（６）による計算を実行する際の処理例を示すフローチャートである。 図９は、輝度勾配方向ヒストグラムにおける互いに垂直な輝度勾配方向に相当する２つのピークの例を示す図である。 図１０Ａは、車両１の左右方向の傾斜角が０度のときの画像と、車両１の傾きとの関係の一例を示す図である。 図１０Ｂは、図１０Ａに示す画像において検出される２つのピークの例を示す図である。 図１１Ａは、車両１の左右方向の傾斜角が０度でないときの画像と車両１の傾きとの関係の一例を示す図である。 図１１Ｂは、図１１Ａに示す画像において検出される２つのピークの例を示す図である。 図１２Ａは、前回フレームにおいて検出された互いに垂直な関係を有する２つのピークの輝度勾配方向を示す図である。 図１２Ｂは、現フレームで検出されたピークの輝度勾配方向を示す図である。 図１３は、実施形態２における車両用ロール角推定システムの構成例を示す機能ブロック図である。 図１４は、図１３に示すロール角推定装置２０の動作例を示すフローチャートである。 図１５は、車両用ロール角推定システムを用いてロール角を推定する例を示す図である。

図１６は、ロール角推定システムを説明するための図である。

以下の説明では、説明の目的で、本発明の深い理解を提供するために多数の具体的な詳細を述べる。しかしながら、当業者には、これらの特定の詳細なしに本発明を実施できることが明らかである。本開示は、本発明の例示として考慮されるべきであり、本発明を以下の図面または説明によって示される特定の実施形態に限定することを意図するものではない。

以下、図面を参照しながら、本発明の実施形態における車両用ロール角推定システムを含む車両について説明する。本実施形態では、車両として、自動二輪車を例に説明する。図中、同一又は相当部分には、同一符号を付して、その部材についての説明は繰り返さない。また、各図中の構成部材の寸法は、実際の構成部材の寸法及び各構成部材の寸法比率等を忠実に表したものではない。なお、以下の説明において、前方、後方、左方及び右方は、シートに着座し且つハンドルを握った状態のライダーから見た前方、後方、左方及び右方を意味する。図面において、矢印Ｆは、車両の前方向を示している。矢印Ｂは、車両の後方向を示している。矢印Ｌは、車両の左方向を示している。矢印Ｒは、車両の右方向を示している。矢印Ｕは、車両の上方向を示している。矢印Ｄは、車両の下方向を示している。車両の左右方向及び上下方向のいずれにも直交する方向が、車両の前後方向になる。

（実施形態１）
［概要］
図１６は、実施形態１におけるロール角推定システムを説明するための図である。ロール角推定システム１０は、撮像装置４０と、ロール角推定装置２０を備える。撮像装置４０は、車両１の前方あるいは後方を撮像可能である。ロール角推定装置１０は、撮像装置４０で撮像された画像を取得し、画像を解析することにより車両１の左右方向の傾斜角δ、すなわち車両１の傾斜によって変化する撮像装置４０のロール角を推定する。車両１の傾斜角δは、車両１のロール角と称してもよい。ロール角推定装置２０は、ヒストグラム生成部２２と、推定部２３を含む。ヒストグラム生成部２２は、撮像装置４０で撮像された画像Ｇ２に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成する。推定部２３は、輝度勾配方向ヒストグラムを用いて、重力方向である垂直方向のエッジＥｖに対応する輝度勾配方向θ２、及び、重力方向に直交する方向である水平方向のエッジＥｈに対応する輝度勾配方向θ１を特定する。推定部２３は、特定した垂直方向のエッジＥｖの輝度勾配方向θ２、又は水平方向のエッジＥｈの輝度勾配方向θ１の少なくとも一方を用いて、車両１のロール角δすなわち撮像装置４０のロール角を推定する。図１６に示す例では、推定部２３は、輝度勾配方向ヒストグラムにおけるピークうち、互いに垂直な関係を有する２つのピークＰｅａｋ１，Ｐｅａｋ２の輝度勾配方向θ１、θ２を、水平方向のエッジＥｈに対応する輝度勾配方向θ１及び垂直方向のエッジＥｖに対応する輝度勾配方向θ２として特定する。

［自動二輪車の全体構成］
図１は、実施形態１の車両１の側面図である。車両１は、自動二輪車であり、進行方向に対して左右に傾斜可能な車両の一例である。図１において、矢印Ｆは、車両の前方向を示している。矢印Ｂは、車両の後方向を示している。矢印Ｕは、車両の上方向を示している。矢印Ｄは、車両の下方向を示している。車両の前後方向及び上下方向のいずれにも直交する方向が、車両の左右方向になる。

車両１は、ヘッドパイプ１１と、フレーム２と、フロントフォーク３と、前輪４と、ハンドル５と、リヤアーム７と、後輪８と、エンジン９とを備える。ヘッドパイプ１１は、フレーム２の前部に配置される。ヘッドパイプ１１の上方には、ハンドル５が回転可能に取り付けられる。ヘッドパイプ１１の下方には、フロントフォーク３が配置される。フロントフォーク３の下端部には、前輪４が回転可能に取り付けられる。

ヘッドパイプ１１にはフレーム２が接続される。フレーム２は、ヘッドパイプ１１から車両１の後方に延びる。フレーム２の後端部は、下方に湾曲している。フレーム２の後端部には、ピボット軸６が設けられる。リヤアーム７の前端部は、ピボット軸６に取り付けられ、リヤアーム７は、ピボット軸６回りを上下に回転可能に支持される。リヤアーム７の後部には、後輪８が回転可能に取り付けられている。

フレーム２の下方には、エンジン９が配置される。エンジン９は、支持プレートによりフレーム２に取り付けられる。フレーム２の上方には、燃料タンク１２が配置される。燃料タンク１２の後方には、座席シート１３が配置される。

車両の前部に、フロントカバー１５が配置される。フロントカバー１５は、上部にウインドスクリーン１５ｂを備える。フロントカバー１５はさらに、開口１５ａを有する。ヘッドライトユニット３０は、フロントカバー１５の背面側に、開口１５ａに露出するよう配置される。

車両１は、さらに、車両用ロール角推定システム１０を備える。車両用ロール角推定システム１０は、撮像装置４０とロール角推定装置２０とを含む。撮像装置４０は、例えば、車両１の前方を撮像可能なカメラで構成される。撮像装置４０は、フロントカバー１５に取り付けられる。撮像装置４０は、光軸が車両１の進行後方すなわち前後方向となるように、配置される。撮像装置４０は、車両１の左右方向中央部に配置することができる。車両１が進行方向に対して左右に傾斜すると、撮像装置４０のロール（光軸周りの回転）の角度（以下、ロール角と称する）が変化する。撮像装置４０の左右方向（水平軸）と、車両１の左右方向（水平軸）とが一致するように、撮像装置４０を車両１に取り付けることが好ましい。

ロール角推定装置２０は、撮像装置４０で撮像された画像を解析することにより、撮像装置４０のロール角の推定値を算出する。ロール角推定装置２０は、ヘッドパイプ１１に取り付けられ、撮像装置４０と接続される。撮像装置４０とロール角推定装置２０との接続は、有線でも無線でもよい。

ロール角推定装置２０は、撮像装置４０で撮像された画像のデータを記録するメモリと、画像のデータを処理するプロセッサを含むコンピュータ（マイコン）を備える。なお、ロール角推定装置２０の全部又は一部は、回路（ハードウエア）で形成されてもよい。また、コンピュータを、ヒストグラム生成部２２及び推定部２３として動作させるためのプログラム、及び、そのようなプログラムを記録した非一時的な(non-transitory)記録媒体も、本発明の実施形態に含まれる。

図２は、車両用ロール角推定システム１０の構成例を示す機能ブロック図である。図２に示す例では、ロール角推定装置２０は、メモリ２１、ヒストグラム生成部２２及び、推定部２３を備える。メモリ２１には、撮像装置４０が撮像した画像のデータ、画像処理で用いられるデータ、及び、画像処理で生成されるデータが記録される。ロール角推定装置２０は、撮像装置４０で撮像された画像を取得し、メモリ２１に記録する。１つの画像のデータは、マトリクス状に配置された複数の画素それぞれの画素値を含む。画像のデータは、例えば、２次元のｘｙ座標の各点における画素値として記録される。この場合、ｘｙ座標の各点は各画素に対応し、画素値は、画素の輝度（濃度）を示す値を含んでいる。１つの画像において画素の行（横）方向をｘ方向、列（縦）方向をｙ方向として以下、説明する。

図３は、撮像装置４０で撮像した画像Ｇの一例を示す図である。本実施形態では、一例として、図３に示すように、画像Ｇの左上端の画素に対応する位置を、ｘｙ座標において（ｘ,ｙ）＝（０,０）すなわち原点Ｏとする。画像Ｇの左からｘ１番目、上からｙ１番目の画素の位置は、（ｘ,ｙ）＝（ｘ１,ｙ１）の座標で表される。ここでは、画像Ｇの縦方向がｙ方向、横方向がｘ方向となる。ｘ方向は、画像Ｇの水平軸、ｙ方向は、画像の垂直軸、と称する場合もある。

以下では、重力方向（鉛直方向）を垂直方向と称し、垂直方向と直交する方向すなわち垂直方向に対して垂直な方向を水平方向と称する。撮像装置４０で撮像された画像Ｇには、垂直方向のエッジＥｖと、水平方向のエッジＥｈが含まれる。図３に示す画像Ｇは、車両１が右に傾いた状態で撮像された画像である。そのため、垂直方向のエッジＥｖは、画像Ｇの垂直軸（ｙ方向）に対して、車両１の傾斜角と同じ角度で傾いている。水平方向のエッジＥｈも、同様に画像の水平軸（ｘ方向）に対して、車両１の傾斜角と同じ角度で傾いている。

なお、撮像装置４０は、所定周期で連続して撮像（動画撮影）することができる。この場合、連続して撮像された複数の画像が、撮像順がわかる状態でメモリ２１に記録される。この場合、各画像をフレームと称することがある。

ヒストグラム生成部２２は、画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成する。ヒストグラム生成部２２は、各画素における輝度勾配方向を計算し、輝度勾配方向の範囲を分割した複数の区間（級）毎に、複数の画素における輝度勾配方向の度数を計算する。複数の区間の度数を示すデータが、輝度勾配方向ヒストグラムとして生成される。

ここで、輝度勾配方向は、注目画素の周りの画素における輝度変化の方向を示す値として算出することができる。輝度勾配方向は、画像におけるエッジの方向に垂直となる。輝度勾配方向ヒストグラムにおいて、各区間の度数の値は、重み付けされた値を度数の分だけ加算した値としてもよい。重み付けの値は、例えば、各画素における輝度勾配の強度に基づく値とすることができる。輝度勾配方向の範囲を分割した複数の区間は予め設定することができる。ヒストグラム生成処理の具体例は後述する。

推定部２３は、ヒストグラム生成部２２が生成した輝度勾配方向ヒストグラムを用いて、撮像装置４０の画像撮像時のロール角を推定する。なお、撮像装置４０は、車両１に取り付けられているので、撮像装置４０のロール角は、車両１の左右方向の傾斜に応じて変化する。そのため、撮像装置４０のロール角を推定することは、車両１の左右方向の傾斜角を推定することと同等である。

具体的には、推定部２３は、輝度勾配方向ヒストグラムから、重力方向である垂直方向のエッジの画像における傾き、及び、重力方向に直交する方向すなわち水平方向のエッジの画像における傾きを特定する。すなわち、推定部２３は、画像に写っている被写体の垂直方向のエッジ及び水平方向のエッジが、画像の基準軸（例えば、ｘ方向）に対してどの程度傾いているかを決定する。

推定部２３は、特定した垂直方向のエッジの傾き又は水平方向のエッジの傾きの少なくとも一方を用いて、ロール角の推定値を計算する。推定部２３は、例えば、垂直方向のエッジ又は水平方向のエッジの画像の基準軸に対する角度を必要に応じて変換した値を、ロール角の推定値とすることができる。

推定部２３は、上記の車両用ロール角推定処理において、例えば、輝度勾配方向ヒストグラムにおけるピークのうち、互いに垂直な関係を有する２つのピークを抽出することができる。抽出した２つのピークに対応する２つの輝度勾配方向を、垂直方向のエッジの画像の基準軸に対する傾き及び水平方向のエッジの画像の基準軸に対する傾きとして特定することができる。

この場合、推定部２３は、輝度勾配方向ヒストグラムの度数分布におけるピークを検出する。次に、推定部２３は、検出した複数のピークのうち２つのピークに対応する２つの輝度勾配方向の間の角度を計算する。計算した角度が９０度（又は９０度から所定の範囲内）であると判断する場合、これらの２つのピークを、互いに垂直な関係を有する２つのピークとして抽出することができる。なお、推定部２３は、所定の条件を満たすピーク値を持つピークの中から、上記２つのピークを抽出することもできる。

推定部２３は、抽出した２つのピークの輝度勾配方向のうち、画像の垂直軸（ｙ軸）に対する傾きが第１の閾値より小さい方向を、垂直方向のエッジの方向とし、画像の垂直軸（ｙ軸）に対する傾きが上記第１の閾値より大きい方向を、水平方向のエッジの方向として、これらの水平方向のエッジ又は垂直方向のエッジの画像の基準軸（例えば、ｘ方向）に対する傾きを、ロール角を示す値に変換することができる。

撮像装置４０で動画が撮影される構成の場合、推定部２３は、連続して撮像された複数のフレームについて、順次、ロール角の推定値を算出することができる。これにより、ロール角の時系列データを生成することができる。

推定部２３で算出されたロール角の推定値は、例えば、車両制御部５０による制御に用いられる。ロール角を用いた車両の制御は、特定のものに限られない。例えば、車両制御部５０は、画像の下端から、画像に写る対象物の下端までの距離を用いて、車両と対象物との実際の距離を計測することができる。車両制御部５０は、対象物との距離に基づいて、ブレーキ又はスロットルを制御してもよい。この場合、車両制御部５０は、撮像装置４０のロール角を用いて、画像を補正してから、画像の下端から、画像に写る対象物の下端までの距離を計算することができる。これにより、車両１の左右方向の傾斜によって撮像装置４０のロール角が変化した場合にも、対象物との距離を正確に計測することができる。

例えば、車両１が進行方向に対して左右に傾斜すると、撮像装置４０で撮影した画像も傾く。画像が傾くと、画像の下端から対象物の下端までの距離も変化する。この場合、車両制御部５０は、推定部２３で算出されたロール角と同じ大きさで逆方向に画像を回転させる。回転させた画像の下端から対象物の下端までの距離により、車両と対象物との実際の距離を算出することができる。これにより、車両１が傾いた場合であっても車両１と対象物との距離を正確に測定することができる。

このように、画像を用いて対象物と車両１との距離を計測する場合、推定部２３で算出されるロール角の誤差は１度以内であることが好ましい。加速度センサ又はジャイロセンサを用いて車両１の傾斜角を計測する場合は、一般的に数度程度の誤差が生じるため、これらのセンサの値を画像処理に用いて対象物と車両１との距離を正確に計測するのは難しい。また、上記従来の特開２０１５―５８９１５号公報に記載のロール角推定装置では、推定したロール角を用いた画像解析により、走行中の対象物との距離を計測することは想定されていない。そのため、推定精度及び処理速度が、距離計測等のための画像解析に適したものとなっていない。これに対して、本実施形態のロール角推定装置２０は、１度以内の誤差でロール角を算出することができる。そのため、ロール角推定装置２０の推定部２３で算出されるロール角を用いた画像処理により、対象物と車両１との距離を正確に計測することができる。

また、車両制御部５０は、推定部２３で算出されたロール角を、車両１の左右方向の傾斜角として用いて、車両１を制御することもできる。この場合、推定部２３は、車両１の傾斜角を出力するものとなる。すなわち、ロール角推定装置２０は、画像データを用いて車両の傾斜角を計算するものであってもよい。車両制御部５０は、例えば、車両１の傾斜角に応じて、ブレーキの制動力、駆動力、又は車両１の姿勢等を制御することができる。駆動力の制御では、例えば、燃料の噴射量、点火タイミング、スロットル開度等を、ロール角推定装置２０で計算された傾斜角を用いて調節することができる。姿勢の制御では、例えば、ロール角推定装置２０で計算された傾斜角を用いてサスペンションを制御することができる。なお、車両制御部５０は、１又は複数の基板に実装された回路又はプロセッサにより構成することができる。

図４は、車両１の傾斜角を説明するための図である。図４において、矢印Ｌは、車両の左方向を示している。矢印Ｒは、車両の右方向を示している。矢印Ｕは、車両の上方向を示している。矢印Ｄは、車両の下方向を示している。車両の左右方向及び上下方向のいずれにも直交する方向が、車両の前後方向になる。これらの矢印Ｌ、Ｒ、Ｕ、Ｄの方向は、図１０Ａ、図１１Ａにおいても同じである。

図４に示すように、傾斜角δは、重力方向（鉛直方向）である垂直方向の線Ｖと、車両１の上下方向線Ｕ１との角度となる。本実施形態では、一例として、垂直線Ｖを基準として上下方向線Ｕ１が車両１の進行方向に向かって右にある場合に傾斜角δが正（＋）となり、左にある場合に傾斜角δが負（−）となり、垂直線Ｖと上下方向線Ｕ１が重なる場合に傾斜角δ＝０となる場合について説明する。

［動作例］
図５は、図２に示すロール角推定装置２０の動作例を示すフローチャートである。図５は、連続して撮像される複数の画像すなわちフレームのうち１の画像について、ロール角の推定値を算出する場合の例を示す。ロール角推定装置２０は、１つの画像を取得する（ステップＳ１）。ロール角推定装置２０は、撮像装置４０で撮像された画像のうち１つの画像のデータを、メモリ２１に記録し、ロール角推定装置２０のプロセッサからアクセス可能な状態とする。

＜ヒストグラム生成処理＞
ステップＳ２〜Ｓ４において、ヒストグラム生成部２２は、画像のデータを用いて、輝度勾配方向の度数分布を示すデータである輝度勾配方向ヒストグラムを生成する。このヒストグラム生成処理において、ヒストグラム生成部２２は、各画素の輝度勾配方向及び輝度勾配強度を算出する（ステップＳ２、Ｓ３）。

図６は、注目する画素の座標を（ｘ,ｙ）とした場合の、画素周辺の輝度勾配方向の例を示す図である。ここでは、（ｘ,ｙ）における注目画素について、輝度勾配方向及び輝度勾配強度を算出する場合の例を説明する。ヒストグラム生成部２２は、注目画素に対して上下左右に隣接する画素の輝度値から、注目画素の位置（ｘ,ｙ）におけるｘ方向の輝度勾配ｆｘ（ｘ,ｙ）及びｙ方向の輝度勾配ｆｙ（ｘ,ｙ）を求める。ｘ方向及びｙ方向の輝度勾配ｆｘ（ｘ,ｙ）、ｆｙ（ｘ,ｙ）は、下記式（１）により計算できる。下記式（１）において、Ｌ（ａ,ｂ）は、（ａ,ｂ）における画素値を示す。

注目画素の輝度勾配強度ｍ（ｘ,ｙ）は、上記ｆｘ（ｘ,ｙ）、ｆｙ（ｘ,ｙ）を下記式（２）に代入して計算できる。

注目画素の輝度勾配方向θ（ｘ,ｙ）は、上記ｆｘ（ｘ,ｙ）、ｆｙ（ｘ,ｙ）を、下記式（３）に代入して求めることができる。

ヒストグラム生成部２２は、画像中の予め決められた範囲の複数の画素それぞれについて、輝度勾配方向θ及び、輝度勾配強度ｍを計算する。ヒストグラム生成部２２は、複数の画素の輝度勾配方向θ及び輝度勾配強度ｍを用いて、輝度勾配方向ヒストグラムを生成する（図５のステップＳ４）。

上記式（３）により輝度勾配方向を計算する場合、輝度勾配方向θは、画像のｘ方向に対する角度で表される。すなわち、ｘ方向を画像の基準軸として、基準軸に対する角度で、輝度勾配方向が表される。この場合、輝度勾配方向θは、０度以上３６０度以下の値をとり得る。ヒストグラム生成部２２は、角θと角（θ＋１８０度）を同一視することにより、角θの範囲（０度以上、１８０度以下）で、輝度勾配方向ヒストグラムを生成することができる。

なお、ｘ方向の輝度勾配ｆｘ（ｘ,ｙ）及びｙ方向の輝度勾配ｆｙ（ｘ,ｙ）の計算方法は上記例に限られない。例えば、図７（ａ）及び図７（ｂ）に示すＳｏｂｅｌフィルタを用いて、ｆｘ（ｘ,ｙ）、ｆｙ（ｘ,ｙ）を計算することができる。図７（ａ）は、ｘ方向の輝度勾配の算出に用いられるＳｏｂｅｌフィルタを、図７（ｂ）は、ｙ方向の輝度勾配の算出に用いられるＳｏｂｅｌフィルタを示す。この場合、ｘ方向の輝度勾配ｆｘ（ｘ,ｙ）は、下記式（４）により、ｙ方向の輝度勾配ｆｙ（ｘ,ｙ）は、下記式（５）により計算できる。

上記式（４）において、ａｉｊは、図７（ａ）に示すフィルタの値を各要素とする３行３列の行列におけるｉ行ｊ列の要素の値を示す。上記式（５）において、ｂｉｊは、図７（ｂ）に示すフィルタの値を各要素とする３行３列の行列におけるｉ行ｊ列の要素の値を示す。なお、Ｓｏｂｅｌフィルタは、３行３列に限られない。

図５のステップＳ４において、ヒストグラム生成部２２は、輝度勾配方向θの範囲（０度以上、１８０度以下）を分割した複数の区間それぞれに該当する輝度勾配方向を持つ画素の数（度数）をカウントする。複数の区間は、例えば、輝度勾配方向θのとる得る範囲（０度以上、１８０度以下）を複数の値（例えば、０、１、２、・・・、１８０）に量子化したものとすることができる。ヒストグラム生成部２２は、各区間について、度数、又は、重み付けされた値の度数分の加算値をメモリ２１に記録する。この各区間の度数又は加算値が、輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムとなる。この際、ヒストグラム生成部２２は、画像中の予め設定された範囲に含まれる複数の画素について、輝度勾配方向の度数分布のデータを生成することができる。

一例として、算出する領域をｒ、量子化する輝度勾配方向をＡ＝（０、１、２、３、４、・・・、１８０）をとすると、輝度勾配方向ヒストグラムＨ［ｒ］は下記式（６）により計算することができる。下記式（６）に示す例では、輝度勾配強度ｍ（ｘ,ｙ）が重みとして、各区間に投票される。

図８は、ヒストグラム生成部２２が、上記式（６）による計算を実行する際の処理例を示すフローチャートである。ヒストグラム生成部２２は、画素のｘ座標を示す変数ｘ、画素のｙ座標を示す変数ｙ、及び、輝度勾配方向の各区間を示す変数ａを初期化する（ステップＳ１１、Ｓ１２、Ｓ１３）。図８において、Ｘ＿ｓｔａｒｔは、ｘの初期値、Ｙ＿ｓｔａｒｔは、Ｙの初期値である。なお、図８に示す処理は、ｘ＝［Ｘ＿ｓｔａｒｔ, Ｘ＿ｅｎｄ］、ｙ＝［Ｙ＿ｓｔａｒｔ, Ｙ＿ｅｎｄ］の範囲に含まれる画素について、輝度勾配方向ヒストグラムを生成する処理とする。

座標（ｘ,ｙ）の注目画素において、輝度勾配方向θ（ｘ,ｙ）が、ａと一致すれば（ステップＳ１４でＹＥＳ）、ヒストグラム生成部２２は、そのａに対応する区間の度数値ｈ（ａ）に、輝度勾配強度ｍ（ｘ,ｙ）を加算する（ステップＳ１５）。すなわち、輝度勾配強度が重みとして投票される。輝度勾配方向θ（ｘ,ｙ）が、ａと一致しない場合（ステップＳ１４でＮＯ）、ａに１が加算され（ステップＳ１６）、ステップＳ１４の判断が実行される。これにより、量子化された各値（ａ＝０、１、２、３、・・・１８０）のうち該当する輝度勾配方向に、輝度勾配強度に基づいて重み付けされた値が投票される。なお、ステップＳ１４では、θ（ｘ,ｙ）とａが一致するか否かを判断しているが、ａが区間の範囲を示す場合は、θ（ｘ,ｙ）がａの示す区間に含まれるか否かが判断されることになる。

１つの注目画素について投票処理が終了すると（ステップＳ１７でＹＥＳ又はステップＳ１５の終了）、変数ｘに１を加算し（ステップＳ１８）、再度、ステップＳ１３〜Ｓ１７で示される１つの画素についての投票処理が実行される。変数ｘが、上限値Ｘ＿ｅｎｄに達すると（ステップＳ１９でＹＥＳ）、変数ｙに１を加算し（ステップＳ２０）、ステップＳ１２〜Ｓ１９で示される１行の画素群についての投票処理が実行される。変数ｙが、上限値Ｙ＿ｅｎｄに達すると（ステップＳ２１でＹＥＳ）、処理が終了する。

図８に示す処理により、量子化された輝度勾配方向θの各値（ａ＝０、１、２、３、・・・１８０）それぞれについて、該当する画素の輝度勾配強度が加算された値ｈ（ａ）が、度数分布を示すデータすなわち輝度勾配方向ヒストグラムとして生成され、記録される。なお、ヒストグラム生成処理は、上記例に限られない。例えば、輝度勾配方向θのとり得る範囲を分割した複数の区間は、（０〜１．４度、１．５〜２．４度、２．５〜３．４度、・・・、１７９．４〜１８０度）と、幅を持った区間としてもよい。また、各区間に対して、重み付けされた値ではなく、度数そのものを記録したものを輝度勾配方向ヒストグラムとすることもできる。

＜２つのピークを検出した場合のロール角推定処理＞
図５のステップＳ４において、上記のようにヒストグラム生成部２２が、輝度勾配方向ヒストグラムを生成すると、推定部２３は、輝度勾配方向ヒストグラムにおいて、互いに垂直な輝度勾配方向に相当する２つのピークを検出する（ステップＳ５）。ステップＳ５において、推定部２３は、輝度勾配方向ヒストグラムのピークを検出する。

推定部２３は、例えば、輝度勾配方向ヒストグラムに対して極値検出処理を実行してピークを検出することができる。例えば、所定の閾値を上回る頻度（度数）を持つ輝度勾配方向の区間をピークの区間として検出することができる。また、ピークの値（ピークの強さ）を所定の閾値と比較することにより、ピーク検出結果の成否を判定することができる。例えば、ピークの値が、閾値に満たない場合は、推定部２３は、正常な検出結果でないと判断し、後の処理ではピークとして扱わないようにすることができる。

推定部２３は、複数のピークを検出した場合、複数のピークのうち２つのピークそれぞれの輝度勾配方向の間の角度を計算し、この角度が９０度となるか否かを判断する。この判断において、推定部２３は、２つの輝度勾配方向の間の角度が、９０度から所定の範囲内である場合も、９０度であると判断することもできる。これにより、互いに垂直な輝度勾配方向を有する２つのピークを検出することができる。

図９は、輝度勾配方向ヒストグラムにおける互いに垂直な輝度勾配方向に相当する２つのピークの例を示す図である。図９において、ｐｅaｋ１及びｐｅaｋ２が、互いに垂直な関係を有する２つのピークである。ｐｅaｋ１の輝度勾配方向とｐｅaｋ２の輝度勾配方向は、互いに垂直となっている。

推定部２３は、互いに垂直な２つのピークを検出した場合（ステップＳ５でＹＥＳ）、検出した２つのピークそれぞれに対応する２つの輝度勾配方向を、水平方向に対応するエッジの方向及び垂直方向に対応するエッジの方向として、撮像装置４０のロール角を計算する（ステップＳ６）。なお、本実施形態では、輝度勾配方向は、画像のｘ方向（水平軸）に対する角度で表される。

例えば、推定部２３は、互いに垂直な関係にある２つのピークの輝度勾配方向θ１、θ２のうち、画像の垂直軸（ｙ軸）からの角度（ずれ）が、第１の閾値Ｔｈ１より小さい方向（例えば、θ１）を、垂直方向のエッジのｘ方向に対する傾きとしてロール角の推定値を決定することができる。すなわち、撮像装置４０の上下方向線は、重力方向である垂直方向に対して、−θ１だけ傾いているとして、ロール角を算出することができる。推定部２３は、垂直方向のエッジとｘ方向との角度を、撮像装置４０の上下方向（すなわち車両の上下方向）と重力方向すなわち垂直方向との角度に変換したものをロール角とすることができる。例えば、撮像装置４０のロール角を、車両１の傾斜角と同様に、垂直方向に対する撮像装置４０の上下方向線の角度で表す場合（進行方向に向かって右が正、左が負とする）、ロール角αを、α＝θ１―９０として算出することができる。この場合、ロール角αは、車両１の傾斜角と同じである。

また、推定部２３は、互いに垂直な関係にある２つのピークの輝度勾配方向θ１、θ２のうち、画像の垂直軸（ｙ軸）からの角度（ずれ）が、第１の閾値Ｔｈ１より大きい方向（例えば、θ２）を、水平方向のエッジのｘ方向に対する傾きとしてロール角の推定値を決定することができる。すなわち、撮像装置４０の左右方向線は、重力方向と直角な水平方向に対して、−θ２だけ傾いているとして、ロール角を算出することができる。推定部２３は、水平方向のエッジとｘ方向との角度を、撮像装置４０の上下方向（すなわち車両の上下方向）と垂直方向（重力方向）との角度に変換したものをロール角とすることができる。例えば、撮像装置４０のロール角を、車両１の傾斜角と同様に、垂直方向に対する撮像装置４０の上下方向線の角度で表す場合、θ２が１８０−Ｔｈ１より大きい場合（θ２＞１８０−Ｔｈ１）は、ロール角αをα＝θ２−１８０とし、θ２がＴｈ１より小さい場合（θ２＜Ｔｈ１）は、ロール角αを、α＝θ２として算出することができる。この場合、ロール角αは、車両１の傾斜角と同じである。

一例として、第１の閾値Ｔｈ１を４５度とした場合、ピークの輝度勾配方向θを、下記式（７）により、ロール角α（＝車両の傾斜角）に変換することができる。

図１０Ａは、車両１の左右方向の傾斜角が０度のときに撮影された画像と、車両１の傾きとの関係の一例を示す図である。図１０Ｂは、図１０Ａに示す画像において検出される２つのピークの例を示す図である。図１０Ａに示す例では、車両１が左右方向に傾いていないので、画像Ｇ１に写る被写体の垂直方向（重力方向）のエッジＥｖの線は、画像Ｇ１のｘ方向に対して垂直な方向となる。重力方向に直角な水平方向のエッジＥｈの線は、画像Ｇ１のｘ方向と同じ方向となる。

図１０Ｂは、図１０Ａに示す画像Ｇ１の輝度勾配方向ヒストグラムから検出された互いに垂直な輝度勾配方向を持つ２つのピークＰ１、Ｐ２の画像のｘ方向に対する角度を示している。図１０Ｂにおける輝度勾配方向θ２＝０度、１８０度のピークＰ２は、図１０Ａの画像Ｇ１における垂直方向のエッジＥｖに対応する。なお、上述したように、０度及び１８０度は同一視できる。画像におけるエッジの方向と輝度勾配方向は直交する。そのため、図１０Ｂにおける輝度勾配方向θ１＝９０度のピークＰ１は、図１０Ａの画像Ｇ１における水平方向のエッジＥｈに対応する。

図１０Ａ及び図１０Ｂに示す例では、推定部２３は、２つのピークの輝度勾配方向θ１、θ２のうち、画像の垂直軸（ｙ軸）に対する角度が第１の閾値Ｔｈ１より小さい方向θ１を、垂直方向のエッジＥｖのｘ方向に対する傾きとしてロール角の推定値を決定する。この場合、ロール角αは、α＝θ１−９０＝０と計算される。また、推定部２３は、２つのピークＰ１、Ｐ２の輝度勾配方向θ１、θ２のうち、画像のｙ軸に対する角度が、第１の閾値Ｔｈ１より大きい方向θ２を、水平方向のエッジＥｈのｘ方向に対する傾きとしてロール角の推定値を決定することもできる。この例では、θ２＝０とすると、θ２＜Ｔｈ１なので、ロール角αは、α＝θ２＝０と計算される。θ２＝１８０の場合も、θ２＞Ｔｈ１＋９０なので、ロール角αは、α＝θ２−１８０＝０と計算される。なお、αの絶対値はδの絶対値と同じである。

図１１Ａは、車両１の左右方向の傾斜角が０度でないときに撮影された画像と、車両１の傾きとの関係の一例を示す図である。図１１Ｂは、図１１Ａに示す画像において検出される２つのピークの例を示す図である。図１１Ａに示す例では、車両１の上下方向線Ｕ１が重力方向である垂直方向に対して左（マイナス側）に角度δだけ傾いている。そのため、画像Ｇ２に写る被写体の垂直方向のエッジＥｖの線は、画像Ｇ２のｙ方向に対して角度δだけ傾く。水平方向のエッジＥｈの線は、画像Ｇ２のｘ方向に対して角度δだけ傾く。

図１１Ｂは、図１１Ａに示す画像Ｇ２の輝度勾配方向ヒストグラムから検出された互いに垂直な輝度勾配方向を持つ２つのピークＰ１、Ｐ２の画像のｘ方向に対する角度を示している。図１１Ｂにおける輝度勾配方向θ２のピークＰ２は、図１１Ａの画像Ｇ２における垂直方向のエッジＥｖに対応する。図１１Ｂにおける輝度勾配方向θ１のピークＰ１は、図１１Ａの画像Ｇ２における水平方向のエッジＥｈに対応する。

図１１Ａ及び図１１Ｂに示す例では、推定部２３は、２つのピークの輝度勾配方向θ１、θ２のうち、画像の垂直軸（ｙ軸）に対する角度が第１の閾値Ｔｈ１より小さい方向θ１を、垂直方向のエッジＥｖのｘ方向に対する傾きとしてロール角の推定値を決定する。この場合、ロール角αは、α＝θ１−９０と計算される。

また、推定部２３は、２つのピークＰ１、Ｐ２の輝度勾配方向θ１、θ２のうち、画像のｙ軸に対する角度が、第１の閾値Ｔｈ１より大きい方向θ２を、水平方向のエッジＥｈのｘ方向に対する傾きとしてロール角の推定値を決定することもできる。この例では、θ２＞Ｔｈ１＋９０なので、ロール角αは、α＝θ２−１８０と計算される。なお、αの絶対値はδの絶対値と同じである。

なお、画像の基準線に対する垂直方向のエッジ又は水平方向のエッジの傾きを用いて、撮像装置４０のロール角を算出する処理は、上記例に限られない。推定部２３は、上記例とは異なる計算により、垂直方向のエッジ又は水平方向のエッジの画像の基準軸に対する角度を、撮像装置４０のロール角の基準軸又は、車両１の傾斜角の基準軸に対する角度に変換してもよい。撮像装置４０のロール角の基準軸又は、車両１の傾斜角の基準軸は、特定のものに限定されない。上記例は、撮像装置４０の光軸が車両１の進行方向と同じであり、撮像装置４０の左右方向が車両１の左右方向と同じ場合の処理である。また、撮像装置４０の光軸又は左右方向の少なくともいずれかが、車両とずれている場合であっても、推定部２３において、ずれに応じた変換処理を実行することで、ロール角又は傾斜角を算出することができる。

＜過去のロール角推定結果を利用したロール角推定処理＞
図５のステップＳ５において、互いに垂直な関係を有する２つのピークが検出できない場合（ステップＳ５でＮＯ）、推定部２３は、輝度勾配方向ヒストグラムのピークのうち、過去に特定された垂直方向のエッジに対応する輝度勾配方向との角度の差が第２の閾値Ｔｈ２を超えない輝度勾配方向を持つピークを、現在の垂直方向のエッジに対応するピークとして抽出する（ステップＳ７）。推定部２３は、抽出したピークの輝度勾配方向を用いて現在のロール角を推定する（ステップＳ８）。

この場合、垂直方向のエッジに対応するピークとして抽出されたピークの輝度勾配方向に対して垂直な方向が、画像の被写体における垂直方向を示す。推定部２３は、この抽出されたピークの輝度勾配方向に垂直な方向の画像の基準軸（ｘ方向）に対する傾きを、垂直方向のエッジの方向と特定し、ロール角を計算することができる。

ステップＳ７の処理により、互いに垂直な関係を有する２つのピークが検出できない場合であっても、垂直方向のエッジに対応するピークが検出できる。ステップＳ８において、垂直方向のエッジに対応するピークの輝度勾配方向からロール角を推定することが可能になる。そのため、画像中に水平方向のエッジ及び垂直方向のエッジの両方が他より多く存在する場合と、いずれか一方のみが他より多く存在する場合の両場面で、ロール角推定が可能になる。

第２の閾値Ｔｈ２は、予め決められた値であってもよいし、前回の画像（前回フレームの画像）と今回の画像（現フレームの画像）の撮影時間等に基づいて算出される値であってもよい。例えば、予め設定された車両のロール角の角速度上限と、前回の画像の撮影から今回の画像の撮影までの経過時間を基に、第２の閾値Ｔｈ２を算出することができる。このように、車両のロール角速度の上限値に基づく第２の閾値Ｔｈ２を設定することで、垂直方向のピークを、連続する複数のフレームにわたって追跡することができる。

図１２Ａ及び図１２Ｂは、１つの前のフレーム（以下、前フレームと称する）の画像で検出された垂直方向に基づいて、現フレームの画像における垂直方向を推定する例を示す図である。現フレームは、ロール角推定の対象となっているフレームである。図１２Ａは、前フレームにおいて検出された互いに垂直な関係を有する２つのピークＰ１１、Ｐ２１の輝度勾配方向を示す。図１２Ａにおいて、ｙ方向に対する傾斜が第１の閾値Ｔｈ１より小さい輝度勾配方向のピークＰ１１は、画像の被写体の水平方向のエッジに対応する。ピークＰ２１は、画像の被写体の垂直方向のエッジに対応する。

図１２Ｂは、現フレームで検出されたピークＰ２２の輝度勾配方向を示す。例えば、画像において、水平方向のエッジが少ない場合、水平方向のエッジに対応する輝度勾配方向の度数が小さくなり、輝度勾配方向ヒストグラムにおいて、水平方向のエッジに対応するピークが検出されない。このような場合、垂直な関係を有する２つのピークは検出されず、図１２Ｂに示すように、１つのピークだけ検出されやすい。なお、図１２Ｂには、前フレームで検出されたピークＰ２１の輝度勾配方向も点線で示している。

図１２Ｂに示す例の場合、推定部２３は、前フレームで垂直方向のエッジに対応するものとして特定されたピークＰ２１の輝度勾配方向から、第２の閾値Ｔｈ２の範囲内にある輝度勾配方向を持つピークＰ２２を、現フレームの垂直方向のエッジに対応するピークとして抽出する。推定部２３は、抽出したピークＰ２２の輝度勾配方向θ２２を用いて、撮像装置４０のロール角を算出する。例えば、輝度勾配方向θ２２に垂直な方向Ｄ２１の角度θ２２−９０を、ロール角α＝θ２２−９０−９０に変換することができる。

なお、図１２Ａ及び図１２Ｂに示す例では、前フレームのピークの輝度勾配方向と現フレームのピークの輝度勾配方向を比較している。これに対して、推定部２３は、輝度勾配方向をロール角又は傾斜角に変換した値を比較してもよい。また、現フレームとの比較対象は、１つ前のフレームに限られず、２つ以上前のフレームと現フレームの比較対象としてもよい。

一例として、推定部２３は、角速度上限と、第２の閾値Ｔｈ２＝Δαと、過去のロール角推定結果αt-1と用いて、下記式（８）により、現フレームの垂直方向のエッジに対応するピークの範囲すなわち上限値と下限値を決定できる。第２の閾値Ｔｈ２＝Δαは、前フレームの画像から現フレームの画像まで時間を用いて算出される。上限値と下限値は、周期性を有する場合がある。

推定部２３は、輝度勾配方向ヒストグラムにおいて、閾値Ｔｈ２により決定される範囲内にピークを探索する。この範囲内でピークが検出された場合、推定部２３は、検出されたピークの値（強さ）により、垂直方向のエッジに対応するピークとして採用するか否かを判断してもよい。

＜過去の輝度勾配方向ヒストグラムを利用したロール角推定処理＞
図５のステップＳ７において、条件を満たすピークが検出できない場合（ステップＳ７でＮＯ）、推定部２３は、過去の輝度勾配方向ヒストグラムと、現在の輝度勾配方向ヒストグラムの形状のマッチングを実行する（ステップＳ９）。推定部２３は、マッチング結果を用いて、過去から現在までのロール角の変位を算出し、ロール角の変位と、過去におけるロール角とから現在のロール角を推定する（ステップＳ１０）。

このように、ステップＳ５で２つのピークが検出できず、さらにステップＳ７でもピークが検出されない場合であっても、ステップＳ９において、輝度勾配方向ヒストグラムのマッチングを行うことで、垂直方向を追跡することができる。例えば、画像中に垂直方向のエッジ及び水平方向のエッジよりも、他の方向のエッジが多い場合、輝度勾配方向ヒストグラムにおいて、垂直方向及び水平方向に対応する輝度勾配方向のピークが不明瞭になりやすい。このような場合、連続する複数の画像において、他の方向のエッジに対応するピークがあれば、マッチングにより、連続する複数の画像間におけるピークの対応関係を特定することができる。複数画像間のピークの対応関係を用いて、連続する複数の画像におけるロール角の変位を算出することができる。そのため、画像中に水平方向のエッジ及び垂直方向のエッジの両方が他より多く存在する場合、及び、いずれか一方のみが他より多く存在する場合に加え、さらに、いずれも他より多く存在しない場合にも、ロール角推定が可能になる。

推定部２３は、例えば、前フレームの輝度勾配方向ヒストグラムの形状と、現フレームの輝度勾配方向ヒストグラムの形状とをマッチングする。マッチング処理では、推定部２３は、例えば、前フレームの輝度勾配方向ヒストグラムにおける１以上のピークの位置及び強さと、現フレームの輝度勾配方向ヒストグラムにおける１以上のピークの位置及び強さとを比較する。推定部２３は、比較結果として、ピーク配置のマッチング度合いを示すスコアを算出する。前フレームの輝度勾配方向ヒストグラムと現フレームの輝度勾配方向ヒストグラムとの角度方向の相対位置関係を変化させ、比較及びスコアの算出を繰り返す。これにより、スコアをよくする相対位置関係を決定する。すなわち、前フレームと現フレームの輝度勾配方向ヒストグラムの角度をずらして、ピークのマッチング度合いを評価し、最もマッチするときの角度のずれを決定する。これにより、前フレームと現フレームと角度のずれ量が得られる。推定部２３は、この角度のずれ量を、前フレームからのロール角の変位として算出することができる。

以上の図５に示す処理により、撮像された画像の情報だけから撮像装置４０のロール角及び車両１の傾斜角を推定することができる。そのため、画像にのみ依存するロール角の推定を行うことができ、車両１毎のパラメータ調整等が不要となる。また、ロール角推定精度は、車両１の走行中の振動の影響を受けにくい。

（実施形態２）
図１３は、実施形態２における車両用ロール角推定システム１０ａの構成例を示す機能ブロック図である。車両用ロール角推定システム１０ａは、図１に示すように車両１に実装することができる。図１３において、図２と同じ部分には同じ符号を付している。図１３に示す車両用ロール角推定システム１０ａは、図２に示す構成に、内界センサ６０を追加した構成である。

内界センサ６０は、例えば、ジャイロセンサ、加速度センサ又はこれらの組み合わせとすることができる。内界センサ６０は、車両１の傾斜角を出力し、メモリ２１に記録する。或いは、内界センサ６０のセンサ情報を用いて、推定部２３が、車両の傾斜角又は撮像装置４０のロール角を計算することができる。例えば、内界センサ６０にジャイロセンサが含まれる場合、ジャイロセンサから出力されるロールレート（角速度）に基づいて、車両１の傾斜角を計算することができる。内界センサ６０に加速度センサが含まれる場合、加速度センサによるＧを用いて、車両１の傾斜角を計算することができる。

推定部２３は、内界センサ６０により検出された車両１の傾斜角を用いて推定部２３が推定したロール角を補完することができる。推定部２３は、画像から得られる輝度勾配方向ヒストグラムに基づいてロール角を推定できなかった場合、内界センサ６０により検出された傾斜角を車両の傾斜角として採用することができる。

図１４は、図１３に示すロール角推定装置２０の動作例を示すフローチャートである。図１４において、ステップＳ１〜Ｓ１０は、図５のステップＳ１〜Ｓ１０と同様に実行することができる。ステップＳ９で、輝度勾配方向ヒストグラムのマッチングができない場合（ステップＳ９でＮＯ）、推定部２３は、内界センサ６０により検出された傾斜角をメモリ２１から読み出し、撮像装置４０のロール角とする。

内界センサ６０が、ジャイロセンサ及び他のセンサ（例えば、加速度センサ）を含む場合、推定部２３は、ステップＳ１００において、まず、ジャイロセンサにより得られる角速度を用いて、車両１の傾斜角又は撮像装置４０のロール角を算出することができる。このロール角の算出が、ステップＳ５の処理が実行されてから、所定の時間内であれば、推定部２３は、加速度センサの情報によるによる補間は実行せず処理を終了してもよい。所定の時間を経過していた場合は、推定部２３は、加速度センサの情報を用いた補間処理も実行する。ジャイロセンサにより得られる角速度は、短時間であれば、誤差が少なく有用な情報である。そのため、推定部２３による推定処理の経過時間に応じて、ジャイロセンサの情報のみ用いて補間するか、他のセンサの情報も用いて補間するかを切り替えることがでる。

また、推定部２３は、内界センサ６０により検出された車両１の傾斜角を用いて推定部２３が推定した撮像装置４０のロール角を検証することもできる。例えば、推定部２３によって撮像装置４０のロール角αをα＝Ａと推定した場合、α＝Ａと内界センサで検出された傾斜角との差が所定の範囲内にあれば、α＝Ａが正しいと判断することができる。傾斜角の差が所定の範囲内になければα＝Ａが正しくないと判断することができる。例えば、ステップＳ６で推定されたロール角α＝Ａが正しくないと判断された場合、推定部２３は、垂直方向成分の追跡（ステップＳ７）や、ヒストグラムマッチング（ステップＳ９）など別の方法で傾斜角を推定し、さらに検証を行ってもよい。

上記実施形態１及び実施形態２において、前記輝度勾配方向ヒストグラムにおいて互いに垂直な関係を有する２つの輝度勾配方向に対応する２つのピークが、垂直方向及び水平方向の輝度勾配方向として、検出された場合、高い精度で、ロール角を推定することができる。そのため、車両用ロール角推定システムは、輝度勾配方向ヒストグラムにおいて互いに垂直な関係を有する２つの輝度勾配方向に対応する２つのピークが検出されるか否かによって、ロール角の推定値の精度を判断することができる。

上記実施形態１及び実施形態２において、前記輝度勾配方向ヒストグラムにおいて互いに垂直な関係を有する２つの輝度勾配方向に対応する２つのピークが、垂直方向及び水平方向の輝度勾配方向として、検出された場合、高い精度で、ロール角を推定することができる。そのため、車両用ロール角推定システムは、輝度勾配方向ヒストグラムにおいて互いに垂直な関係を有する２つの輝度勾配方向に対応する２つのピークが検出されるか否かによって、ロール角の推定値の精度を判断することができる。

図１５は、上記実施形態１又は実施形態２における車両用ロール角推定システムを用いてロール角を推定する例を示す図である。図１５は、車両用ロール角推定システムに入力される画像ＧＳ１、ＧＳ２、ＧＳ３と、各画像の輝度勾配方向ヒストグラムＨＳ１、ＨＳ２、ＨＳ３の例を示す。画像ＧＳ１、ＧＳ２、ＧＳ３は、車両１が走行面上を走行中に、撮像装置４０が車両１の前方を撮影して得られる画像の例である。画像ＧＳ１では、画像に含まれる全エッジのうちで、垂直方向のエッジＥｖ及び水平方向エッジＥｈが占める割合が高い。画像ＧＳ２は、垂直方向のエッジＥｖ及び水平方向エッジＥｈの全エッジに対する割合が画像ＧＳ１より低い。画像ＧＳ３は、垂直方向のエッジＥｖ及び水平方向エッジＥｈの全エッジに対する割合が画像ＧＳ２より低い。

そのため、画像ＧＳ１に輝度勾配方向ヒストグラムＨＳ１では、互いに垂直な関係を有する２つの輝度勾配方向に対応する２つのピークＰ１、Ｐ２が抽出される。ピークＰ２は、垂直方向のエッジに対応する輝度勾配方向のピークとして抽出される。ピークＰ１は、水平方向のエッジに対応する輝度勾配方向のピークとして抽出される。これらのピークＰ１，Ｐ２の強度は、他のピークに比べて高い。抽出されたピークＰ２の画像の基準軸に対する傾きθによって、車両１の左右方向の傾斜角δが算出される。一例として、δ＝θと算出される。

画像ＧＳ２に輝度勾配方向ヒストグラムＨＳ２では、互いに垂直な関係を有する２つの輝度勾配方向に対応する２つのピークＰ１、Ｐ２が抽出される。ピークＰ２は、垂直方向のエッジに対応する輝度勾配方向のピークとして抽出される。ピークＰ１は、水平方向のエッジに対応する輝度勾配方向のピークとして抽出される。これらのピークの強度は、他のピークに比べて、同程度である。この場合も、抽出されたピークＰ２の画像の基準軸に対する傾きθによって、車両１の左右方向の傾斜角δ（一例として、δ＝θ）が算出される。

画像ＧＳ３に輝度勾配方向ヒストグラムＨＳ３では、互いに垂直な関係を有する２つの輝度勾配方向に対応する２つのピークＰ１、Ｐ２が抽出される。ピークＰ２は、垂直方向のエッジに対応する輝度勾配方向のピークとして抽出される。ピークＰ１は、水平方向のエッジに対応する輝度勾配方向のピークとして抽出される。これらのピークＰ１，Ｐ２の強度は、他のピークに比べて低い。抽出されたピークＰ２の画像の基準軸に対する傾きθによって、車両１の左右方向の傾斜角δ（一例として、δ＝θ）が算出される。

このように、上記の実施形態１及び２では、垂直方向のエッジの輝度勾配方向に対応するピークと、水平方向の輝度勾配方向に対するするピークを特定することで、ロール角を推定するので、高い精度で、車両１の左右方向の傾斜角δを推定することができる。特に、図１５の画像ＧＳ３のように、垂直エッジの輝度勾配方向と水平エッジの輝度勾配方向が少ない度数で輝度勾配方向ヒストグラムに存在する画像が入力された場合も、垂直エッジと水平エッジの輝度勾配方向の度数が高い画像ＧＳ１又は画像ＧＳ２とほぼ同等の精度で、ロール角を推定することができる。言い換えれば、そのような画像を入力した場合にも、ロール角を推定できるものは、垂直の輝度勾配方向と水平の輝度勾配方向を特定する処理を行っているものと推定できる。

上記実施形態１及び２の車両用ロール角推定システムは、輝度勾配方向ヒストグラムにおける９０度離れた２つのピークの両方の強度が小さい画像、又は、２つのピークのうち１つの強度が小さい画像を入力した場合であっても、ロール角を高精度で推定できる。上記実施形態１及び２の車両用ロール角推定システムにおいて、入力された画像の輝度勾配方向ヒストグラムで、強度が小さくても、互いに垂直な関係の２つのピークが検出されると、高精度でロール角を推定できる。なお、輝度勾配方向ヒストグラムにおいて、互いに垂直な関係を有する２つのピークは、厳密に９０度だけ離れた２つのピークに限られない。２つのピークの輝度勾配方向範囲の差が、互いに垂直な関係にある２つエッジに対応する輝度勾配方向と見なせる程度に９０度からずれている場合も、互いに垂直な関係を有するものとする。

例えば、上記従来技術のように、垂直方向の直線の平均勾配と、水平方向の直線の平均勾配を計算する方法や、輝度勾配方向ヒストグラムのパターンマッチングによってロール角を推定する方法では、垂直方向のエッジ及び水平方向のエッジの輝度勾配方向のピークが小さい、すなわち、これらの輝度勾配方向の度数が低い場合、ロール角を正確に推定するのは難しい。

以上、本発明の実施形態について説明したが、本発明の実施形態は上記例に限られない。例えば、本発明の車両用ロール角推定システムの適用対象は自動二輪車に限定されるものではない。本発明の車両用ロール角推定システムは、自動二輪車以外の鞍乗型車両（自転車、自動三輪車、ＬＭＷ（Leaning Multi Wheel）、スノーモービル、ＡＴＶ（全地形走行車）等）に適用してもよい。なお、鞍乗型車両とは、乗員が鞍にまたがるような状態で乗車する車両全般を指している。鞍乗型車両には、スクータ型の車両も含まれる。また、鞍乗型車両以外の車両にも本発明を適用することができる。本発明は、左右に傾斜可能なリーン車両に適用することができる。本発明は、左右に傾斜することで旋回する車両すなわちリーン姿勢で旋回する車両に好適に適用することができる。リーン車両は、左に旋回するときに左に傾斜し、右に旋回するときに右に傾斜する。

なお、撮像装置４０は、前方ではなく後方を撮影するものとすることもできる。また、撮像装置４０の光軸は、必ずしも進行方向と同じでなくもよい。また、撮像装置４０の配置位置は、フロントカバー１５に限られず、例えば、ハンドル５、ヘッドパイプ１１等であってもよい。ロール角推定装置２０の位置もヘッドパイプ１１に限れられない。また、撮像装置４０及びロール角推定装置２０の両方を、フロントカバー１５又はヘッドパイプ１１に取り付けることもできる。また、撮像装置４０とロール角推定装置２０は、１つの筐体に収納されてもよいし、それぞれ異なる筐体に収納されてもよい。

ロール角推定装置２０の動作例は、図５及び図１４に示した例に限られない。図５及び図１４において、過去の垂直方向から特定される垂直方向を用いたロール角推定処理（ステップＳ７及びＳ８）、又は、過去の輝度勾配方向ヒストグラムとのマッチング結果を用いたロール角推定処理（ステップＳ９及びＳ１０）の少なくとも一方を省略してもよい。

なお、車両１は、車両用ロール角推定システムで推定されたロール角を、記録又は表示することができる。或いは、車両は、推定されたロール角を用いた車両の制御を行うことができる。推定したロール角を用いて車両を制御すると、推定されたロール角が車両の制御状態（挙動）に影響する。そのため、車両の制御状態から、推定されたロール角を、把握することができる。

本明細書にて使用される専門用語は、特定の実施例を説明する目的で使用されるだけであり、発明を制限する意図を有しない。

本明細書にて使用される用語「および/または」は、複数の列挙された関連する構成物のうち１つ又は複数のあらゆるすべての組み合わせを含む。

「含む（including）」「備える（comprising）」または「有する（having）」その他これらに類する用語は、本明細書中で使用される場合、記載された特徴、工程、操作、要素、成分および/またはそれらの等価物の存在を特定するが、さらなる他の特徴、工程、操作、要素、成分および/またはそれらのグループのうちの１つまたは複数の存在又は追加を除外するものではない。

「取り付けられた(mounted)」、「接続された(connected)」、「結合された(coupled)」および/またはそれらに等価な用語は、本明細書中で使用される場合、広い意味で使用され、直接的および間接的、両方の、取り付け、接続および結合を包含する。さらに、「接続された」および「結合された」は、直接的または間接的いずれの場合も、物理的または機械的な接続または結合に限定されず、電気的な接続または結合を含み得る。

他に定義されない限り、本明細書で使用される全ての用語（技術用語および科学用語を含む）は、本発明が属する当業者によって一般的に理解されるのと同じ意味を有する。

一般的に使用される辞書に定義された用語のような用語は、関連する技術および本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想的または過度に形式的な意味で解釈されることはない。

本発明の説明においては、複数の技術およびステップが開示されていると理解される。これらの各々は、個別の効果を有し、各々は、他の開示された１つ以上の技術、または、場合によっては全ての技術と共に使用することもできる。したがって、本明細書では、明確にするために、個々のステップの全てのとり得る組み合わせを不必要に繰り返すことを控える。それにもかかわらず、明細書および特許請求の範囲は、そのような組み合わせがすべて本発明および請求項の範囲内にあることを理解して読まれるべきである。

１ 車両
２０ ロール角推定装置
２２ ヒストグラム生成部
２３ 推定部
４０ 撮像装置
６０ 内界センサ

Claims (12)

1. 進行方向に対して左右に傾斜可能な車両に搭載された車両用ロール角推定システムであって、
   前記車両の前方あるいは後方を撮像可能な撮像装置と、
   前記撮像装置で撮像された画像を取得し、前記画像を解析することにより前記車両の傾斜によって変化する前記撮像装置のロール角を推定するロール角推定装置と、
   を備え、
   前記ロール角推定装置は、
   前記画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成部と、
   前記輝度勾配方向ヒストグラムを用いて、重力方向である垂直方向のエッジに対応する輝度勾配方向、及び、前記重力方向に直交する方向である水平方向のエッジに対応する輝度勾配方向を特定し、特定した前記垂直方向のエッジの前記輝度勾配方向、又は前記水平方向のエッジの前記輝度勾配方向の少なくとも一方を用いて、前記ロール角を推定する推定部と、
   を備える車両用ロール角推定システム。
2. 請求項１に記載の車両用ロール角推定システムであって、
   前記推定部は、前記輝度勾配方向ヒストグラムにおけるピークのうち、互いに垂直な関係を有する２つのピークの輝度勾配方向を、前記垂直方向のエッジに対応する輝度勾配方向及び前記水平方向のエッジに対応する輝度勾配方向として特定する、車両用ロール角推定システム。
3. 請求項２に記載の車両用ロール角推定システムであって、
   前記推定部は、前記２つのピークの輝度勾配方向のうち、前記画像の垂直軸からの傾きが、第１の閾値より小さい方向を、前記垂直方向のエッジに対応する輝度勾配方向とし、前記画像の垂直軸からの傾きが前記第１の閾値より大きい方向を、前記水平方向のエッジに対応する輝度勾配方向と特定し、前記ロール角を推定する、車両用ロール角推定システム。
4. 請求項１ないし請求項３のいずれか１項に記載の車両用ロール角推定システムであって、
   前記ヒストグラム生成部は、任意の角θ（θは０度以上、１８０度以下）について、角θと角（θ＋１８０度）を同一視することにより、角θの範囲（０度以上、１８０度以下）で輝度勾配方向ヒストグラムを生成する、車両用ロール角推定システム。
5. 請求項１ないし請求項４のいずれか１項に記載の車両用ロール角推定システムであって、
   前記ヒストグラム生成部は、各画素の輝度勾配強度に基づく重みづけを行った上で各画素の輝度勾配方向を前記ヒストグラムに加算する、車両用ロール角推定システム。
6. 請求項２に記載の車両用ロール角推定システムであって、
   前記推定部は、
   互いに垂直な関係を有する２つのピークを抽出することができないとき、前記輝度勾配方向ヒストグラムのピークのうち、過去の前記垂直方向のエッジに対応する輝度勾配方向との角度が第２の閾値を超えない輝度勾配方向を持つピークを、垂直方向のエッジに対応する輝度勾配方向のピークとして抽出し、当該ピークの輝度勾配方向を用いて現在のロール角を推定する、車両用ロール角推定システム。
7. 請求項２に記載の車両用ロール角推定システムであって、
   前記推定部は、
   互いに垂直な関係を有する２つのピークを抽出することができないとき、過去の輝度勾配方向ヒストグラムと、現在の輝度勾配方向ヒストグラムの形状のマッチングを行うことにより、前記過去から現在までのロール角の変位を算出し、前記ロール角の変位と、前記過去におけるロール角とから現在のロール角を推定する、車両用ロール角推定システム。
8. 請求項１ないし請求項７のいずれかに記載の車両用ロール角推定システムであって、さらに、
   前記車両の傾斜角を検出する内界センサ、
   を備え、
   前記内界センサにより検出された前記車両の傾斜角を用いて前記推定部により推定された前記ロール角を補完する、車両用ロール角推定システム。
9. 請求項１ないし請求項８のいずれかに記載の車両用ロール角推定システムであって、さらに、
   前記車両の傾斜角を検出する内界センサ、
   を備え、
   前記内界センサにより検出された前記車両の傾斜角を用いて前記推定部により推定された前記ロール角を検証する、車両用ロール角推定システム。
10. 進行方向に対して左右に傾斜可能な車両であって、
    前記車両の前方あるいは後方を撮像可能な撮像装置と、
    前記撮像装置で撮像された画像を取得し、前記画像を解析することにより前記車両の傾斜によって変化する前記撮像装置のロール角を推定する傾斜角推定装置と、
    を備え、
    前記傾斜角推定装置は、
    前記画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成部と、
    前記輝度勾配方向ヒストグラムを用いて、重力方向である垂直方向のエッジに対応する輝度勾配方向、及び、前記重力方向に直交する方向である水平方向のエッジに対応する輝度勾配方向を特定し、特定した前記垂直方向のエッジに対応する輝度勾配方向、又は前記水平方向のエッジに対応する輝度勾配方向の少なくとも一方を用いて、前記ロール角を推定する推定部と、
    を備える、車両。
11. 進行方向に対して左右に傾斜可能な車両において、前記車両の前方あるいは後方を撮像可能な撮像装置で撮像された画像を解析することにより、前記車両の傾斜によって変化する前記撮像装置のロール角を推定する車両用ロール角推定方法であって、
    前記撮像装置で撮像された画像を取得する画像取得工程と、
    前記画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成工程と、
    コンピュータが、前記輝度勾配方向ヒストグラムを用いて、重力方向である垂直方向のエッジに対応する輝度勾配方向、及び、前記重力方向に直交する方向である水平方向のエッジに対応する輝度勾配方向を特定する特定工程と、
    前記コンピュータが、特定した前記垂直方向のエッジに対応する輝度勾配方向、又は前記水平方向のエッジに対応する輝度勾配方向の少なくとも一方を用いて、前記ロール角を推定する推定工程と、
    を有する車両用ロール角推定方法。
12. 進行方向に対して左右に傾斜可能な車両において、前記車両の前方あるいは後方を撮像可能な撮像装置で撮像された画像を解析することにより、前記車両の傾斜によって変化する前記撮像装置のロール角を推定する車両用ロール角推定プログラムであって、
    前記撮像装置で撮像された画像を取得する画像取得処理と、
    前記画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成処理と、
    前記輝度勾配方向ヒストグラムを用いて、重力方向である垂直方向のエッジに対応する輝度勾配方向、及び、前記重力方向に直交する方向である水平方向のエッジに対応する輝度勾配方向を特定する特定処理と、
    特定した前記垂直方向のエッジに対応する輝度勾配方向、又は前記水平方向のエッジに対応する輝度勾配方向の少なくとも一方を用いて、前記ロール角を推定する推定処理と、
    をコンピュータに実行させる、車両用ロール角推定プログラム。

Images