JP6630741B2 - ヴィークル用ロール角推定システム、ヴィークル、ヴィークル用ロール角推定方法及びプログラム - Google Patents

Description

本発明は、画像処理によりヴィークルのロール角を推定する技術に関する。

画像処理により車両の傾きを推定する技術として、特開２０１５―５８９１５号公報（特許文献１）には、自動二輪車に搭載したカメラで撮像された画像データに基づいて、自動二輪車のロール角を推定するロール角推定装置が開示されている。このロール角推定装置は、画像データから検出された直線を、垂直方向の直線と水平方向の直線に分類して、垂直方向の直線の平均勾配と、水平方向の直線の平均勾配を算出する。これらの平均勾配に基づいて、自動二輪車のロール角が推定される。

また、撮像画像中の被写体の傾きを補正する技術として、特許第４９５０２９０号公報（特許公報２）には、撮像部の物理的な傾きを検知するセンサを備えた撮像装置が開示されている。この撮像装置では、センサで検知された撮像部の傾きに基づいて画像処理を行って、撮像画像中の被写体に現れる複数の角度成分のヒストグラムを作成する。ヒストグラムにおいて一定の基準を満たす度数を有する角度成分が、回転変換のための回転角として選択される。基準を満たす角度成分が存在しない場合、センサで検出された傾きが回転変換のための回転角として選択される。

さらに、画像の傾きを補正する技術として、特許第４８６２０８０号公報（特許文献３）には、撮像画像を構成する画素ブロックの輝度情報を用いて撮像画像の補正を行う画像処理装置が開示されている。この画像処理装置は、輝度勾配又は輝度スペクトル強度の方向分布を算出する演算式に、画素ブロックの画素の位置情報と輝度情報とを代入して演算を行い、画素ブロック内画像の傾きを推定するのに適しているか否かを判定する。適していると判定された画素ブロックで検出された線分の傾き角に基づいて、撮像画像の傾き角が求められる。

特開２０１５−５８９１５号公報 特許第４９５０２９０号公報 特許第４８６２０８０号公報

上記従来の特開２０１５―５８９１５号公報に記載のロール角推定装置では、検出された垂直方向又は水平方向の直線の本数が、ロール角推定に有効な本数でない場合、推定精度が得られない場合がある。

特許第４９５０２９０号公報に記載の撮像装置は、センサで検出した撮像部の傾きに基づいて画像処理を行うため、センサがないと、正確な被写体の傾き補正は困難になる。特許第４８６２０８０号公報に記載の画像処理装置は、センサを用いないため、検出された線分の傾き角又は輝度勾配が、垂直方向又は水平方向を示すものであるかを検証できない。そのため、撮像画像の傾き角を正確に求めることができない場合が生じ得る。

そこで、本願は、左右に傾斜可能なヴィークルにおいて、ヴィークルの前方又は後方を撮像する撮像装置のロール角を、撮像装置で撮像された画像を用いて正確に推定することができる技術を開示する。

課題を解決するための手段及び発明の効果

車両の進行方向（つまり車両の前後方向）に対して左右方向に傾斜する車両がある。このような車両は、車両の前後方向を軸として回転、すなわちロール方向に回転する。車両の前後方向を軸とした左右方向の傾斜角（回転角）、つまり車両のロール角を取得することにより、車両のロール角に関わる情報を、車両の制御等、様々な用途で用いることができる。

発明者らは、車両のロール角を推定するシステムについて研究した。発明者は、左右方向に傾斜する車両の中でも、ロール角に制限があり、ピッチ角の変化が小さい車両のロール角推定システムについて研究した。

例えば、自動二輪車は、左右方向に傾斜する車両であるが、ロール角には制限がある。道路あるいは地面に対して垂直方向に延びる方向を中心として、左方向および右方向のいずれの方向に対しても、車両のロール角は９０度より小さい角度に制限されている。ロール角の最大角度は、車体の左右方向の外縁形状によって決まる。また、自動二輪車は、ピッチ角の変化は非常に小さい。自動二輪車のピッチ角の変化は、サスペンションのストローク範囲内の非常に小さい変化である。

このように、ロール角に制限があり、ピッチ角の変化が小さい車両は、自動二輪車の他に、自動三輪車、ＬＭＷ（Leaning Multi Wheel）、スノーモービル、ＡＴＶ（全地形走行車）等が挙げられる。すなわち、地面、雪面、又は水面等の走行面に接しながら走行又は航走する車両、言い換えれば走行面上を走行中の車両は、ロール角に制限があり、ピッチ角の変化が小さい。

発明者らは、このようなロール角に制限があり、ピッチ角の変化が小さい車両に取り付けられたカメラで、車両の走行中の前後方向の画像を撮像した。撮像した画像の輝度勾配方向ヒストグラムを調査した。発明者は、車両の走行中のあらゆる状況で撮像された画像の輝度勾配方向ヒストグラムを調べた。その結果、輝度勾配方向ヒストグラムの度数分布において、垂直方向のエッジに対応する輝度勾配方向の度数と、水平方向のエッジに対応する輝度勾配方向の度数が、顕著に現れる場合があることが発明者によって見いだされた。

発明者らは、さらに、輝度勾配方向ヒストグラムにおける垂直方向のエッジに対応する輝度勾配方向の度数と、水平方向のエッジに対応する輝度勾配方向の度数の特徴を利用して、ロール角を推定することを検討した。鋭意検討を重ねた結果、発明者は、走行中の車両の前方又は後方を撮像した画像の輝度勾配方向ヒストグラムの歪度と、車両のロール角との間に相関関係が見られる場合があることを見出した。ここで、歪度は、輝度勾配方向ヒストグラムの対称性を示す値である。度数分布の対称性が高い程、歪度が０に近くなる。具体的には、ロール角が０度の時すなわち、車両の上下方向線が垂直線に対して左右に傾いていない時、歪度が０となり、ロール角の変化に伴って歪度が変化する場合がある。これは、走行中の車両の撮像装置で車両の前方又は後方を撮像した画像における垂直方向のエッジ及び／又は水平方向のエッジが、他の方向のエッジに比べて多くなる傾向があることに起因すると考えられる。

上記知見に基づき、発明者らは、走行中の車両の撮像装置で車両の前方又は後方を撮像した画像の輝度勾配方向ヒストグラムにおいて、歪度を算出し、歪度に基づいて車両のロール角すなわち撮像装置のロール角を推定する構成に想到した。

さらに、発明者らは、ロール角及びピッチ角に制限がないヴィークルに搭載された撮像装置で、進行中のヴィークルの前方又は後方を撮像した画像においても、垂直方向のエッジ及び／又は水平方向のエッジが、他の方向のエッジに比べて多くなる場合があることを見出した。そして、ロール角及びピッチ角に制限がないヴィークルにおいて、進行中のヴィークルの前方又は後方をヴィークルの撮像装置で撮像された画像の輝度勾配方向ヒストグラムの歪度に基づいてヴィークルのロール角を推定できる場合があることに想到した。以下では、「ヴィークルのロール角」を「ヴィークルの傾斜角」と称する。

本発明の実施形態におけるヴィークル用ロール角推定システムは、進行方向に対して左右に傾斜可能なヴィークルに搭載されたヴィークル用ロール角推定システムである。前記ヴィークル用ロール角推定システムは、前記ヴィークルの前方あるいは後方を撮像可能な撮像装置と、前記撮像装置で撮像された画像を取得し、前記画像を解析することにより前記ヴィークルの傾斜によって変化する前記撮像装置のロール角を推定するロール角推定装置と、を備える。前記ロール角推定装置は、前記画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成部と、前記輝度勾配方向ヒストグラムの対称性を示す歪度を算出し、算出された歪度に基づき、前記ロール角を推定する推定部とを備える（第１の構成）。

発明者らは、撮像装置で撮像された画像の輝度勾配方向ヒストグラムの度数分布と、撮像時の撮像装置のロール角との関係を詳しく検討した結果、輝度勾配方向ヒストグラムの対称性と撮像装置のロール角と関係性を見出した。この知見に基づき、発明者らは、輝度勾配方向ヒストグラムの歪度を算出し、ロール角の推定に用いることに想到した。上記第１の構成によれば、推定部は、画像の輝度勾配方向ヒストグラムの対称性を示す歪度を算出し、算出された歪度に基づき、前記ロール角を推定する。これにより、正確なロール角推定が可能になる。その結果、撮像装置のロール角を、撮像された画像を用いて正確に推定することができる。

前記推定部は、前記歪度が０に対して所定範囲内となるとき、前記ロール角が０度であると推定することができる（第２の構成）。

発明者らは、撮像装置のロール角が０度のとき、歪度が０に近くなることを見出した。この知見に基づき、発明者らは、撮像画像の輝度勾配方向ヒストグラムの歪度が０から所定の範囲内にあるときに、ロール角を０度と推定することで、より正確な推定ができることに想到した。なお、撮像装置のロール角が０とは、車両の上下方向線の垂直線に対する車両の左右方向の傾きが０度であることを同じである。すなわち、撮像装置のロール角が０の場合は、車両の傾斜角が０の場合である。

なお、輝度勾配方向ヒストグラムの歪度が０から所定の範囲内にあるとは、歪度が０と見なせる範囲内にあることを意味する。前記所定の範囲内は、例えば、求められるロール角の推定精度に応じて許容される誤差の範囲とすることができる。すなわち、本明細書において歪度が０とは、歪度が厳密に０である場合の他、歪度が０と見なせる場合も含む。

上記第２の構成において、前記ロール角推定装置は、前記撮像装置で連続して撮像された複数の画像を取得する態様であってもよい。この場合、前記推定部は、前記複数の画像のうち対象画像において前記歪度が０に対して前記所定範囲にないとき、前記ロール角が０度であると推定された過去の画像の輝度勾配方向ヒストグラムにおける水平方向又は垂直方向のエッジのピークに対応するピークを、前記対象画像の輝度勾配方向ヒストグラムから抽出してもよい。前記推定部は、前記抽出したピークの輝度勾配方向に基づいて、前記対象画像におけるロール角を推定することができる（第３の構成）。

第３の構成によれば、推定部は、ロール角が０度と推定された画像の後に撮像されたロール角推定の対象となる対象画像において、過去の画像の水平方向又は垂直方向のエッジのピークに対応するピークを抽出することができる。抽出したピークの輝度勾配方向は、対象画像に含まれる垂直方向のエッジ又は水平方向のエッジに対応する。そのため、抽出したピークの輝度勾配方向を用いて、撮像装置のロール角を推定することができる。このように、連続して撮像される複数の画像において、歪度が０となる画像を基にして、垂直方向又は水平方向のエッジに対応するピークを追跡することができる。これにより、連続して撮像される複数の画像のそれぞれにおいて、ロール角を推定することができる。

なお、ロール角が０度と推定された画像の輝度勾配方向ヒストグラムにおける水平方向又は垂直方向のエッジのピークは、例えば、輝度勾配方向ヒストグラムの中央のピーク又はこの中央のピークと垂直な関係を有するピークとすることができる。

上記第３の構成において、前記推定部は、前記対象画像において前記歪度が０に対して前記所定範囲にないとき、前記対象画像の１つ前の画像における水平方向又は垂直方向のエッジのピークの輝度勾配方向との角度が閾値を超えない輝度勾配方向を持つピークを、前記対象画像の輝度勾配方向ヒストグラムから抽出してもよい。前記推定部は、前記抽出したピークの輝度勾配方向に基づいて、前記対象画像におけるロール角を推定することができる（第４の構成）。これにより、対象画像の輝度勾配方向ヒストグラムにおいて、歪度が０である過去の画像の輝度勾配方向ヒストグラムの水平方向又は垂直方向のエッジのピークに対応するピークを容易に特定することができる。

上記第１〜第４のいずれかの構成において、前記ロール角推定装置は、前記撮像装置で連続して撮像された複数の画像を取得する態様であってもよい。この場合、前記推定部は、前記複数の画像のうち対象画像において前記歪度が０に対して前記所定範囲にないとき、過去の画像の輝度勾配方向ヒストグラムと前記対象画像の輝度勾配方向ヒストグラムの形状のマッチングを行うことにより、前記過去の画像から前記対象画像までのロール角の変位を算出し、前記ロール角の変位と、前記過去の画像におけるロール角とから前記対象画像におけるロール角を推定することができる（第５の構成）。

例えば、撮像された画像において水平方向及び垂直方向のエッジに対応する輝度勾配方向の度数が少なく明瞭なピークが現れない場合がある。上記第５の構成によれば、このような場合であっても、過去の輝度勾配方向ヒストグラムと現在の輝度勾配方向ヒストグラムを用いて、ロール角を推定することが可能になる。

上記第１〜第５のいずれかの構成において、前記ヒストグラム生成部は、任意の角θ（θは０度以上、１８０度以下）について、角θと角（θ＋１８０度）を同一視することにより、角θの範囲（０度以上、１８０度以下）で輝度勾配方向ヒストグラムを生成することができる（第６の構成）。第６の構成により、効率よく輝度勾配方向ヒストグラム生成処理を実行することができる。

上記第１〜第６のいずれかの構成において、前記ヒストグラム生成部は、各画素の輝度勾配強度について重みづけを行った上で各画素の輝度勾配方向をヒストグラムに加算することができる（第７の構成）。第７の構成により、輝度勾配強度を加味した輝度勾配方向ヒストグラムを作成することができる。

上記第１〜第７のいずれかの構成において、ヴィークル用ロール角推定システムは、前記ヴィークルの傾斜角を検出する内界センサをさらに備えてもよい。この場合、前記内界センサにより検出された前記ヴィークルの傾斜角を用いて前記推定部により推定された前記ロール角を補完することができる（第８の構成）。第８の構成により、上記輝度勾配方向ヒストグラムを用いてロール角を推定できない場合に、ロール角の推定値を補完することができる。

上記第１〜第７のいずれかの構成において、ヴィークル用ロール角推定システムは、前記ヴィークルの傾斜角を検出する内界センサを備えもよい。この場合、前記内界センサにより検出された前記ヴィークルの傾斜角を用いて前記推定部により推定された前記ロール角を検証することができる（第９の構成）。第９の構成により、ロール角の推定精度を向上させることができる。

上記第８の構成において、ヴィークル用ロール角推定システムは、前記内界センサにより検出された前記ヴィークルの傾斜角を用いて前記推定部により推定された前記ロール角を検証することができる（第１０の構成）。第１０の構成により、ロール角の推定精度を向上させることができる。

上記第１〜第１０のいずれかの構成を有するロール角推定システムを備えるヴィークルも、本発明の実施形態に含まれる。

本発明の実施形態におけるヴィークル用ロール角推定方法は、左右に傾斜可能なヴィークルにおいて、前記ヴィークルの前方あるいは後方を撮像可能な撮像装置で撮像された画像を解析することにより前記ヴィークルの傾斜によって変化する前記撮像装置のロール角を推定するヴィークル用ロール角推定方法である。前記ヴィークル用ロール角推定方法は、前記撮像装置で撮像された画像を取得する画像取得工程と、前記画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成工程と、コンピュータが、前記輝度勾配方向ヒストグラムの対称性を示す歪度を算出し、算出された歪度に基づき、前記ロール角を推定する推定工程とを有する。

本発明の実施形態におけるヴィークル用ロール角推定プログラムは、左右に傾斜可能なヴィークルにおいて、前記ヴィークルの前方あるいは後方を撮像可能な撮像装置で撮像された画像を解析することにより、前記ヴィークルの傾斜によって変化する前記撮像装置のロール角を推定するヴィークル用ロール角推定プログラムである。前記ヴィークル用ロール角推定プログラムは、前記撮像装置で撮像された画像を取得する画像取得処理と、前記画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成処理と、前記輝度勾配方向ヒストグラムの対称性を示す歪度を算出し、算出された歪度に基づき、前記ロール角を推定する推定処理とをコンピュータに実行させる。

［ヴィークルの定義］
本発明におけるヴィークルは、ヴィークルの前後方向を軸とする回転方向すなわちロール方向に回転可能なヴィークルである。具体的には、地面、雪面又は水面等の走行面上を走行又は航走するヴィークル、或いは、空中を飛ぶヴィークルが本発明のヴィークルに含まれる。ヴィークルは、例えば、自動二輪車、自動三輪車、ＬＭＷ（Leaning Multi Wheel）、自動車、スノーモービル、ＡＴＶ（全地形走行車）、電車、汽車、マリンヴィークル（パーソナルウォータークラフト）、船舶、航空機、ヘリコプター、ドローン（遠隔操縦又は自律飛行が可能な無人機）等である。

図１は、実施形態１の車両の側面図である。 図２は、ロール角推定システム１０の構成例を示す機能ブロック図である。 図３は、画像における座標を説明するための図である。 図４は、車両の傾斜角を説明するための図である。 図５は、図２に示すロール角推定装置の動作例を示すフローチャートである。 図６は、画素周辺の輝度勾配方向の例を示す図である。 図７Ａは、ｘ方向の輝度勾配の算出に用いられるＳｏｂｅｌフィルタの一例を示す図である。 図７Ｂは、ｙ方向の輝度勾配の算出に用いられるＳｏｂｅｌフィルタの一例を示す図である。 図８は、式（７）による計算を実行する際の処理例を示すフローチャートである。 図９は、ロール角と歪度の関係の一例を示すグラフである。 図１０Ａは、車両１の左右方向の傾斜角が０度のときの画像と、車両１の傾きとの関係の一例を示す図である。 図１０Ｂは、図１０Ａに示す画像において検出される２つのピークの例を示す図である。 図１０Ｃは、図１０Ａに示す画像において算出される輝度勾配方向ヒストグラムの例を示す図である。 図１０Ｄは、ロール角が０のときの輝度勾配方向ヒストグラムの他の例を示す図である。 図１１Ａは、車両１の左右方向の傾斜角が０度でないときの画像と車両１の傾きとの関係の一例を示す図である。 図１１Ｂは、図１１Ａに示す画像において検出される２つのピークの例を示す図である。 図１２は、現フレームで検出されたピークの輝度勾配の一例を示す図である。 図１３は、実施形態２におけるロール角推定システムの構成例を示す機能ブロック図である。 図１４は、図１３に示すロール角推定装置２０の動作例を示すフローチャートである。 ヴィークル用ロール角推定システムを用いてロール角を推定する例を示す図である。 ヴィークル用ロール角推定システムを用いてロール角を推定する例を示す図である。 ヴィークル用ロール角推定システムを用いてロール角を推定する例を示す図である。 ヴィークル用ロール角推定システムを用いてロール角を推定する例を示す図である。 図１９は、ロール角推定システムを説明するための図である。

以下の説明では、説明の目的で、本発明の深い理解を提供するために多数の具体的な詳細を述べる。しかしながら、当業者には、これらの特定の詳細なしに本発明を実施できることが明らかである。本開示は、本発明の例示として考慮されるべきであり、本発明を以下の図面または説明によって示される特定の実施形態に限定することを意図するものではない。

以下、図面を参照しながら、本発明の実施形態におけるヴィークル用ロール角推定システムを含む車両について説明する。本実施形態では、車両として、自動二輪車を例に説明する。図中、同一又は相当部分には、同一符号を付して、その部材についての説明は繰り返さない。また、各図中の構成部材の寸法は、実際の構成部材の寸法及び各構成部材の寸法比率等を忠実に表したものではない。なお、以下の説明において、前方、後方、左方及び右方は、シートに着座し且つハンドルを握った状態のライダーから見た前方、後方、左方及び右方を意味する。

（実施形態１）
［概要］
図１９は、実施形態１のヴィークル用ロール角推定システムを説明するための図である。ヴィークル用ロール角推定システム１０は、進行方向に対して左右に傾斜可能な車両１に搭載されたヴィークル用ロール角推定システムである。ヴィークル用ロール角推定システム１０は、撮像装置４０と、ロール角推定装置２０を備える。撮像装置４０は、車両１の前方あるいは後方を撮像可能である。ロール角推定装置２０は、撮像装置４０で撮像された画像Ｇ１、Ｇ２を取得し、画像Ｇ１、Ｇ２を解析することにより車両１の傾斜によって変化する撮像装置４０のロール角すなわち車両１の左右方向の傾斜角を推定する。ロール角推定装置２０は、ヒストグラム生成部２２と、推定部２３を有する。ヒストグラム生成部２２は、画像Ｇ１、Ｇ２に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成する。推定部２３は、輝度勾配方向ヒストグラムの対称性を示す歪度を算出し、算出された歪度に基づき、ロール角を推定する。例えば、歪度が０となるとき、ロール角が０度であると推定することができる。

［自動二輪車の全体構成］
図１は、実施形態１の車両１の側面図である。車両１は、自動二輪車であり、左右に傾斜可能な車両の一例である。図１において、矢印Ｆは、車両の前方向を示している。矢印Ｂは、車両の後方向を示している。矢印Ｕは、車両の上方向を示している。矢印Ｄは、車両の下方向を示している。車両の前後方向及び上下方向のいずれにも直交する方向が、車両の左右方向になる。

車両１は、ヘッドパイプ１１と、フレーム２と、フロントフォーク３と、前輪４と、ハンドル５と、リヤアーム７と、後輪８と、エンジン９とを備える。ヘッドパイプ１１は、フレーム２の前部に配置される。ヘッドパイプ１１の上方には、ハンドル５が回転可能に取り付けられる。ヘッドパイプ１１の下方には、フロントフォーク３が配置される。フロントフォーク３の下端部には、前輪４が回転可能に取り付けられる。

ヘッドパイプ１１にはフレーム２が接続される。フレーム２は、ヘッドパイプ１１から車両１の後方に延びる。フレーム２の後端部は、下方に湾曲している。フレーム２の後端部には、ピボット軸６が設けられる。リヤアーム７の前端部は、ピボット軸６に取り付けられ、リヤアーム７は、ピボット軸６回りを上下に回転可能に支持される。リヤアーム７の後部には、後輪８が回転可能に取り付けられている。

フレーム２の下方には、エンジン９が配置される。エンジン９は、支持プレートによりフレーム２に取り付けられる。フレーム２の上方には、燃料タンク１２が配置される。燃料タンク１２の後方には、座席シート１３が配置される。

車体の前部に、フロントカバー１５が配置される。フロントカバー１５は、上部にウインドスクリーン１５ｂを備える。フロントカバー１５はさらに、開口１５ａを有する。ヘッドライトユニット３０は、フロントカバー１５の背面側に、開口１５ａに露出するよう配置される。

車両１は、さらに、ヴィークル用ロール角推定システム１０を備える。ヴィークル用ロール角推定システム１０は、撮像装置４０とロール角推定装置２０とを含む。撮像装置４０は、例えば、車両１の前方を撮像可能なカメラで構成される。撮像装置４０は、フロントカバー１５に取り付けられる。撮像装置４０は、光軸が車両１の進行後方すなわち前後方向となるように、配置される。撮像装置４０は、車両１の左右方向中央部に配置することができる。車両１が左右に傾斜すると、撮像装置４０のロール（光軸周りの回転）の角度（以下、ロール角と称する）が変化する。撮像装置４０の左右方向（水平軸）と、車両１の左右方向（水平軸）とが一致するように、撮像装置４０を車両１に取り付けることが好ましい。

ロール角推定装置２０は、撮像装置４０で撮像された画像を解析することにより、撮像装置４０のロール角の推定値を算出する。ロール角推定装置２０は、ヘッドパイプ１１に取り付けられ、撮像装置４０と接続される。撮像装置４０とロール角推定装置２０との接続は、有線でも無線でもよい。

ロール角推定装置２０は、撮像装置４０で撮像された画像のデータを記録するメモリと、画像のデータを処理するプロセッサを含むコンピュータ（マイコン）を備える。なお、ロール角推定装置２０の全部又は一部は、回路（ハードウエア）で形成されてもよい。また、コンピュータを、ヒストグラム生成部２２及び推定部２３として動作させるためのプログラム、及び、そのようなプログラムを記録した非一時的な(non-transitory)記録媒体も、本発明の実施形態に含まれる。

図２は、ヴィークル用ロール角推定システム１０の構成例を示す機能ブロック図である。図２に示す例では、ロール角推定装置２０は、メモリ２１、ヒストグラム生成部２２及び、推定部２３を備える。メモリ２１には、撮像装置４０が撮像した画像のデータ、画像処理で用いられるデータ、及び、画像処理で生成されるデータが記録される。ロール角推定装置２０は、撮像装置４０で撮像された画像を取得し、メモリ２１に記録する。１つの画像のデータは、マトリクス状に配置された複数の画素それぞれの画素値を含む。画像のデータは、例えば、２次元のｘｙ座標の各点における画素値として記録される。この場合、ｘｙ座標の各点は各画素に対応し、画素値は、画素の輝度（濃度）を示す値を含んでいる。１つの画像において画素の行（横）方向をｘ方向、列（縦）方向をｙ方向として以下、説明する。

図３は、撮像装置４０で撮像した画像Ｇの一例を示す図である。本実施形態では、一例として、図３に示すように、画像Ｇの左上端の画素に対応する位置を、ｘｙ座標において（ｘ,ｙ）＝（０,０）すなわち原点Ｏとする。画像Ｇの左からｘ１番目、上からｙ１番目の画素の位置は、（ｘ,ｙ）＝（ｘ１,ｙ１）の座標で表される。ここでは、画像Ｇの縦方向がｙ方向、横方向がｘ方向となる。ｘ方向は、画像Ｇの水平軸、ｙ方向は、画像Ｇの垂直軸、と称する場合もある。

以下では、重力方向（鉛直方向）を垂直方向と称し、垂直方向と直交する方向すなわち垂直方向に対して垂直な方向を水平方向と称する。撮像装置４０で撮像された画像Ｇには、垂直方向のエッジＥｖと、水平方向のエッジＥｈが含まれる。図３に示す画像Ｇは、車両１が右に傾いた状態で撮像された画像である。そのため、垂直方向のエッジＥｖは、画像Ｇの垂直軸（ｙ方向）に対して、車両１の傾斜角と同じ角度で傾いている。水平方向のエッジＥｈも、同様に画像Ｇの水平軸（ｘ方向）に対して、車両１の傾斜角と同じ角度で傾いている。

なお、撮像装置４０は、所定周期で連続して撮像（動画撮影）することができる。この場合、連続して撮像された複数の画像が、撮像順がわかる状態でメモリ２１に記録される。この場合、各画像をフレームと称することがある。

ヒストグラム生成部２２は、画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成する。ヒストグラム生成部２２は、各画素における輝度勾配方向を計算し、輝度勾配方向の範囲を分割した複数の区間（級）毎に、複数の画素における輝度勾配方向の度数を計算する。複数の区間の度数を示すデータが、輝度勾配方向ヒストグラムとして生成される。

ここで、輝度勾配方向は、注目画素の周りの画素における輝度変化の方向を示す値として算出することができる。輝度勾配方向は、画像におけるエッジの方向に垂直となる。輝度勾配方向ヒストグラムにおいて、各区間の度数の値は、重み付けされた値を度数の分だけ加算した値としてもよい。重み付けの値は、例えば、各画素における輝度勾配の強度に基づく値とすることができる。輝度勾配方向の範囲を分割した複数の区間は予め設定することができる。ヒストグラム生成処理の具体例は後述する。

推定部２３は、ヒストグラム生成部２２が生成した輝度勾配方向ヒストグラムを用いて、撮像装置４０の画像撮像時のロール角を推定する。なお、撮像装置４０は、車両１に取り付けられているので、撮像装置４０のロール角は、車両１の左右方向の傾斜に応じて変化する。そのため、撮像装置４０のロール角を推定することは、車両１の左右方向の傾斜角を推定することと同等である。

具体的には、推定部２３は、輝度勾配方向ヒストグラムの対称性を示す歪度を算出し、算出された歪度に基づき、ロール角を推定する。歪度は、画像における輝度勾配方向の分布の歪みの度合い（非対称の度合い）を示す値とも言える。歪度が０に近い程、歪みが少なく対称性が高くなる。歪度Ｓｋは、画像に含まれる複数の画素における輝度勾配方向の値θｉと、複数の画素における輝度勾配方向の平均値θμ、輝度勾配方向を計算した画素の個数ｎ、複数の画素における輝度勾配方向の標準偏差ｓを用いて、例えば、下記式（１）によって計算することができる。

このように、画像における輝度勾配方向ヒストグラムの歪度を用いて、ロール角を計算することで、簡単な処理で精度の高いロール角推定が可能になる。発明者らは、当初、特開２０１５−５８９１５号公報に記載のように、画像から直線を検出し、検出した直線の方向を用いて画像に含まれるエッジの垂直方向又は水平方向を特定し、ロール角を計算する方法について検討した。この方法を用いた場合、精度よく垂直方向又は水平方向を特定するには、複数フレームの処理が必要になる。そこで、発明者らは、輝度勾配方向のヒストグラムを用いて、垂直方向又は水平方向を特定することを検討した。その結果、例えば、輝度勾配方向のヒストグラムにおける最頻値を用いて画像中の垂直方向を検出する方法を用いると、垂直方法ではなく水平方向が誤って検出される場合があることがわかった。このような誤認識を避けるために、車両１に取り付けられた加速度センサ等を利用して垂直方向の推定範囲を制限することも検討した。しかし、車両１の加速度センサの値は、遠心力の影響を受けるため正確な推定が難しいことがわかった。発明者らは、車両１に取り付けられた撮像装置４０のロール角と、撮像された画像の輝度勾配方向ヒストグラムとの関係を注意深く観察した結果、輝度勾配方向ヒストグラムの対称性と撮像装置のロール角との間にある関係性を見出した。この知見に基づき、上記の推定部２３の構成に想到した。すなわち、推定部２３において、画像における輝度勾配方向ヒストグラムの対称性を示す歪度を計算し、ロール角の推定に用いることで、精度の高いロール角推定を可能にすることに想到した。

一例として、推定部２３は、画像における歪度が０に対して所定の範囲Ｔｈ１内となるとき、その画像の撮像装置４０のロール角を０度と推定することができる。すなわち、推定部２３は、歪度が、０又は０と見なせる程度に０に近い場合に、歪度は０と判断し、ロール角＝０度と推定することができる。これにより、連続して撮像される複数の画像のうち歪度が０と判断される画像において、ロール角＝０度と特定することができる。なお、範囲Ｔｈ１は、第１の閾値の一例である。

また、推定部２３は、ロール角推定の対象とする対象画像において、歪度が０でないと判断する場合、過去の画像の輝度勾配方向ヒストグラムのピークと、対象画像の輝度勾配方向ヒストグラムのピークとの比較結果に基づいて、ロール角を計算することができる。この場合、推定部２３は、ロール角が０度と判断された過去の画像の輝度勾配方向ヒストグラムの水平方向又は垂直方向のエッジのピークに対応するピークを、対象画像の輝度勾配方向ヒストグラムから抽出する。ロール角が０度と判断された過去の画像の輝度勾配方向ヒストグラムは、１つの輝度勾配方向の値を中心に対象な分布を示す。この輝度勾配方向ヒストグラムにおいて、中心となる値に対応する位置のピークを中央のピークとする。推定部２３は、例えば、中央のピークと中央のピークと垂直な関係を有するピークのいずれか一方を、水平方向又は垂直方向のエッジのピークと決定することができる。推定部２３は、ロール角が０度と判断された過去の画像の水平方向又は垂直方向のエッジのピークに対応するピークを、対象画像から抽出する。これにより、推定部２３は、対象画像における垂直方向又は水平方向のエッジに対応するピークを特定することができる。

ロール角が０度と判断された画像の輝度勾配方向ヒストグラムの中央のピークは、輝度勾配方向ヒストグラムにおいて、画像に含まれる複数の画素の輝度勾配方向の値を降順又は昇順に並べたときの中央の値（中央値）に最も近いピーク又は中央値から所定距離内にあるピークとすることができる。また、この中央値に対して９０度の差を有する輝度勾配方向の値に最も近いか又は所定距離内にあるピークを、中央のピークと垂直な関係を有するピークとすることができる。

上述したように、この中央のピークは、画像における水平方向のエッジ又は垂直方向のエッジに対応する。例えば、０〜１８０度の任意の角θについて、角θと角（θ＋１８０度）を同一視して輝度勾配方向ヒストグラムを生成する場合、輝度勾配方向の範囲は、０〜１８０度となる。この場合、９０度に最も近いピーク又は９０度から所定距離内にあるピークを中央のピークとすることができる。この中央のピークは、画像に含まれる水平方向のエッジに対応する。輝度勾配方向は、エッジの方向と垂直な方向となるためである。輝度勾配方向ヒストグラムの輝度勾配方向の範囲を０〜３６０度とする場合は、１８０度に最も近いピーク又は１８０度から所定距離内にあるピークが中央のピークとなる。このピークは、画像に含まれる垂直方向のエッジに対応する。

例えば、推定部２３は、対象画像において、歪度が０でないと判断した場合、ロール角が０度と判断された過去の画像における水平方向又は垂直方向のエッジのピークの輝度勾配方向を取得（参照）する。推定部２３は、この取得（参照）した輝度勾配方向との角度が閾値Ｔｈ２１を越えない輝度勾配方向を持つピークを、対象画像の輝度勾配方向ヒストグラムから抽出する。これにより、対象画像の垂直方向又は水平方向に対応するピークが抽出される。この場合、参照先の過去の画像は、ロール角が０度であると推定された直近の画像とすることが好ましい。

また、参照先の過去の画像は、ロール角が０度と判断された過去の画像に限られない。例えば、１つ前の画像において、垂直方向又は水平方向のエッジのピークが抽出されていた場合は、この抽出されたピークの輝度勾配方向を基に、対象画像の輝度勾配方向ヒストグラムから対応するピークを抽出することができる。この場合、１つ前の画像は、必ずしもロール角が０度と判断された画像でなくてもよい。具体例として、推定部２３は、対象画像の１つ前の画像における水平方向又は垂直方向のエッジのピークの輝度勾配方向を取得（参照）する。推定部２３は、この取得した輝度勾配方向との角度が閾値Ｔｈ２２を超えない輝度勾配方向を持つピークを、対象画像の輝度勾配方向ヒストグラムから抽出することができる。推定部２３は、抽出したピークの輝度勾配方向に基づいて、対象画像におけるロール角を推定する。

上記の閾値Ｔｈ２１、Ｔｈ２２は、同じであってもよいし、異なっていてもよい。閾値Ｔｈ２１、Ｔｈ２２はいずれも第２の閾値Ｔｈ２の例である。閾値Ｔｈ２１、Ｔｈ２２は、例えば、予めメモリ２１に記録された値であってもよいし、対象画像と過去の画像との撮像時間差等に基づいて計算される値であってもよい。例えば、撮像装置４０のロール角（車両１の傾斜角）変化における角速度の最大値をメモリ２１等に記録しておき、この角速度の最大値に対象画像と過去の画像との撮像時間差を掛けた値を、閾値Ｔｈ２１又は閾値Ｔｈ２２とすることができる。

このように、推定部２３は、対象画像において歪度が０でないと判断した場合、ロール角が０度であると判断した過去の画像の輝度勾配方向ヒストグラムにおける垂直方向又は水平方向のピークに対応するピークを、対象画像の輝度勾配方向ヒストグラムから抽出する。これにより、対象画像に含まれる垂直方向又は水平方向のエッジの方向を特定することができる。推定部２３は、垂直方向又は水平方向のエッジの方向の画像の基準軸（例えば、ｘ方向）に対する角度（傾き）をロール角に変換することができる。

例えば、推定部２３は、連続して撮像された複数の画像それぞれについて順次ロール角推定処理を実行することができる。この場合、推定部２３は、対象画像において、歪度が０と判断する場合はロール角を０度と推定し、歪度が０でないと判断する場合は、過去の画像の輝度勾配方向ヒストグラムから得られる垂直方向又は水平方向の輝度勾配方向を基に、対象画像における垂直方向又は水平方向の輝度勾配方向を特定することができる。この場合、推定部２３は、過去の画像の輝度方向ヒストグラムにおける中央のピーク又はこれに対応するピークの輝度勾配方向又はこれに垂直な方向から第２の閾値（Ｔｈ２１又はＴｈ２２）の範囲内の輝度勾配方向を持つピークを、対象画像の輝度勾配方向ヒストグラムから抽出する。

このようにして、推定部２３は、ロール角が０度と判断された画像の輝度勾配方向ヒストグラムにおける水平方向又は垂直方向のエッジに対応するピークを、その後の複数の画像の輝度勾配方向ヒストグラムにおいて追跡することができる。これにより、ロール角が０度と判断された画像の輝度勾配方向ヒストグラムの水平方向又は垂直方向のエッジのピークを基準として、その後の複数の画像におけるロール角を精度よく推定することができる。

撮像装置４０で動画が撮像される構成の場合、推定部２３は、連続して撮像された複数の画像（フレーム）について、順次、ロール角の推定値を算出することができる。これにより、ロール角の時系列データを生成することができる。

推定部２３で算出されたロール角の推定値は、例えば、車両制御部５０による制御に用いられる。ロール角を用いた車両の制御は、特定のものに限られない。例えば、車両制御部５０は、画像の下端から、画像に写る対象物の下端までの距離を用いて、車両と対象物との実際の距離を計測することができる。車両制御部５０は、対象物との距離に基づいて、ブレーキ又はスロットルを制御することができる。この場合、車両制御部５０は、撮像装置４０のロール角を用いて、画像を補正してから、画像の下端から、画像に写る対象物の下端までの距離を計算することができる。これにより、車両１の左右方向の傾斜によって撮像装置４０のロール角が変化した場合にも、対象物との距離を正確に計測することができる。

例えば、車両１が左右方向に傾斜すると、撮像装置４０で撮像した画像も傾く。画像が傾くと、画像の下端から対象物の下端までの距離も変化する。この場合、車両制御部５０は、推定部２３で算出されたロール角と同じ大きさで逆方向に画像を回転させる。回転させた画像の下端から対象物の下端までの距離により、車両と対象物との実際の距離を算出することができる。これにより、車両１が傾いた場合であっても車両１と対象物との距離を正確に測定することができる。

このように、画像を用いて対象物と車両１との距離を計測する場合、推定部２３で算出されるロール角の誤差は１度以内であることが好ましい。加速度センサ又はジャイロセンサを用いて車両１の傾斜角を計測する場合は、一般的に数度程度の誤差が生じるため、これらのセンサの値を画像処理に用いて対象物と車両１との距離を正確に計測するのは難しい。また、上記従来の特開２０１５―５８９１５号公報に記載のロール角推定装置では、推定したロール角を用いた画像解析により、走行中の対象物との距離を計測することは想定されていない。そのため、上記従来のロール角推定装置では、推定精度及び処理速度が、距離計測等のための画像解析に適したものとなっていない。これに対して、本実施形態のロール角推定装置２０は、１度以内の誤差でロール角を算出することができる。そのため、ロール角推定装置２０の推定部２３で算出されるロール角を用いた画像処理により、対象物と車両１との距離を正確に計測することができる。また、上記従来のロール角推定装置では、ロール角を計算するために複数のフレームの処理が常に必要となるが、本実施形態のロール角推定装置２０では、歪度が０と判断される場合は、単一のフレームにおいて高精度にロール角を判断することができる。

また、車両制御部５０は、推定部２３で算出されたロール角を、車両１の左右方向の傾斜角として用いて、車両１を制御することもできる。この場合、推定部２３は、車両１の傾斜角を出力するものとなる。すなわち、ロール角推定装置２０は、画像データを用いて車両の傾斜角を計算するものであってもよい。車両制御部５０は、例えば、車両１の傾斜角に応じて、ブレーキの制動力、駆動力、又は車両１の姿勢等を制御することができる。駆動力の制御では、例えば、燃料の噴射量、点火タイミング、スロットル開度等を、ロール角推定装置２０で計算された傾斜角を用いて調節することができる。姿勢の制御では、例えば、ロール角推定装置２０で計算された傾斜角を用いてサスペンションを制御することができる。なお、車両制御部５０は、１又は複数の基板に実装された回路又はプロセッサにより構成することができる。

図４は、車両１の傾斜角を説明するための図である。図４において、矢印Ｌは、車両の左方向を示している。矢印Ｒは、車両の右方向を示している。矢印Ｕは、車両の上方向を示している。矢印Ｄは、車両の下方向を示している。車両の左右方向及び上下方向のいずれにも直交する方向が、車両の前後方向になる。これらの矢印Ｌ、Ｒ、Ｕ、Ｄの方向は、図１０Ａ、図１１Ａにおいても同じである。

図４に示すように、傾斜角δは、重力方向（鉛直方向）である垂直方向の線Ｖと、車両１の上下方向線Ｕ１との角度となる。本実施形態では、一例として、垂直線Ｖを基準として上下方向線Ｕ１が車両１の進行（前進）方向に向かって右にある場合に傾斜角δが正（＋）となり、左にある場合に傾斜角δが負（−）となり、垂直線Ｖと上下方向線Ｕ１が重なる場合に傾斜角δ＝０となる場合について説明する。

［動作例］
図５は、図２に示すロール角推定装置２０の動作例を示すフローチャートである。図５は、連続して撮像される複数の画像すなわちフレームのうち１の画像について、ロール角の推定値を算出する場合の例を示す。ロール角推定装置２０は、１つの画像を取得する（ステップＳ１）。ロール角推定装置２０は、撮像装置４０で撮像された画像のうち１つの画像のデータを、メモリ２１に記録し、ロール角推定装置２０のプロセッサからアクセス可能な状態とする。

＜ヒストグラム生成処理＞
ステップＳ２〜Ｓ４において、ヒストグラム生成部２２は、画像のデータを用いて、輝度勾配方向の度数分布を示すデータである輝度勾配方向ヒストグラムを生成する。このヒストグラム生成処理において、ヒストグラム生成部２２は、各画素の輝度勾配方向及び輝度勾配強度を算出する（ステップＳ２、Ｓ３）。

図６は、注目する画素の座標を（ｘ,ｙ）とした場合の、画素周辺の輝度勾配方向の例を示す図である。ここでは、（ｘ,ｙ）における注目画素について、輝度勾配方向及び輝度勾配強度を算出する場合の例を説明する。ヒストグラム生成部２２は、注目画素に対して上下左右に隣接する画素の輝度値から、注目画素の位置（ｘ,ｙ）におけるｘ方向の輝度勾配ｆｘ（ｘ,ｙ）及びｙ方向の輝度勾配ｆｙ（ｘ,ｙ）を求める。ｘ方向及びｙ方向の輝度勾配ｆｘ（ｘ,ｙ）、ｆｙ（ｘ,ｙ）は、下記式（２）により計算できる。下記式（２）において、Ｌ（ａ,ｂ）は、（ａ,ｂ）における画素値を示す。

注目画素の輝度勾配強度ｍ（ｘ,ｙ）は、上記ｆｘ（ｘ,ｙ）、ｆｙ（ｘ,ｙ）を下記式（３）に代入して計算できる。

注目画素の輝度勾配方向θ（ｘ,ｙ）は、上記ｆｘ（ｘ,ｙ）、ｆｙ（ｘ,ｙ）を、下記式（４）に代入して求めることができる。

ヒストグラム生成部２２は、画像中の予め決められた範囲の複数の画素それぞれについて、輝度勾配方向θ及び、輝度勾配強度ｍを計算する。ヒストグラム生成部２２は、複数の画素の輝度勾配方向θ及び輝度勾配強度ｍを用いて、輝度勾配方向ヒストグラムを生成する（図５のステップＳ４）。

上記式（４）により輝度勾配方向を計算する場合、輝度勾配方向θは、画像のｘ方向に対する角度で表される。すなわち、ｘ方向を画像の基準軸として、基準軸に対する角度で、輝度勾配方向が表される。この場合、輝度勾配方向θは、０度以上３６０度以下の値をとり得る。ヒストグラム生成部２２は、角θと角（θ＋１８０度）を同一視することにより、角θの範囲（０度以上、１８０度以下）で、輝度勾配方向ヒストグラムを生成することができる。

なお、ｘ方向の輝度勾配ｆｘ（ｘ,ｙ）及びｙ方向の輝度勾配ｆｙ（ｘ,ｙ）の計算方法は上記例に限られない。例えば、図７Ａ及び図７Ｂに示すＳｏｂｅｌフィルタを用いて、ｆｘ（ｘ,ｙ）、ｆｙ（ｘ,ｙ）を計算することができる。図７Ａは、ｘ方向の輝度勾配の算出に用いられるＳｏｂｅｌフィルタを、図７Ｂは、ｙ方向の輝度勾配の算出に用いられるＳｏｂｅｌフィルタを示す。この場合、ｘ方向の輝度勾配ｆｘ（ｘ,ｙ）は、下記式（５）により、ｙ方向の輝度勾配ｆｙ（ｘ,ｙ）は、下記式（６）により計算できる。

上記式（５）において、ａｉｊは、図７Ａに示すフィルタの値を各要素とする３行３列の行列におけるｉ行ｊ列の要素の値を示す。上記式（６）において、ｂｉｊは、図７Ｂに示すフィルタの値を各要素とする３行３列の行列におけるｉ行ｊ列の要素の値を示す。なお、Ｓｏｂｅｌフィルタは、３行３列に限られない。

図５のステップＳ４において、ヒストグラム生成部２２は、輝度勾配方向θの範囲（０度以上、１８０度以下）を分割した複数の区間それぞれに該当する輝度勾配方向を持つ画素の数（度数）をカウントする。複数の区間は、例えば、輝度勾配方向θのとる得る範囲（０度以上、１８０度以下）を複数の値（例えば、０、１、２、・・・、１８０）に量子化したものとすることができる。ヒストグラム生成部２２は、各区間について、度数、又は、重み付けされた値の度数分の加算値をメモリ２１に記録する。この各区間の度数又は加算値が、輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムとなる。この際、ヒストグラム生成部２２は、画像中の予め設定された範囲に含まれる複数の画素について、輝度勾配方向の度数分布のデータを生成することができる。

一例として、算出する領域をｒ、量子化する輝度勾配方向をＡ＝（０、１、２、３、４、・・・、１８０）とすると、輝度勾配方向ヒストグラムＨ［ｒ］は下記式（７）により計算することができる。下記式（７）に示す例では、輝度勾配強度ｍ（ｘ,ｙ）が重みとして、各区間に投票される。

図８は、ヒストグラム生成部２２が、上記式（７）による計算を実行する際の処理例を示すフローチャートである。ヒストグラム生成部２２は、画素のｘ座標を示す変数ｘ、画素のｙ座標を示す変数ｙ、及び、輝度勾配方向の各区間を示す変数ａを初期化する（ステップＳ１１、Ｓ１２、Ｓ１３）。図８において、Ｘ＿ｓｔａｒｔは、ｘの初期値、Ｙ＿ｓｔａｒｔは、Ｙの初期値である。なお、図８に示す処理は、ｘ＝［Ｘ＿ｓｔａｒｔ, Ｘ＿ｅｎｄ］、ｙ＝［Ｙ＿ｓｔａｒｔ, Ｙ＿ｅｎｄ］の範囲に含まれる画素について、輝度勾配方向ヒストグラムを生成する処理とする。

座標（ｘ,ｙ）の注目画素において、輝度勾配方向θ（ｘ,ｙ）が、ａと一致すれば（ステップＳ１４でＹＥＳ）、ヒストグラム生成部２２は、そのａに対応する区間の度数値ｈ（ａ）に、輝度勾配強度ｍ（ｘ,ｙ）を加算する（ステップＳ１５）。すなわち、輝度勾配強度が重みとして投票される。輝度勾配方向θ（ｘ,ｙ）が、ａと一致しない場合（ステップＳ１４でＮＯ）、ａに１が加算され（ステップＳ１６）、ステップＳ１４の判断が実行される。これにより、量子化された各値（ａ＝０、１、２、３、・・・１８０）のうち該当する輝度勾配方向に、輝度勾配強度に基づいて重み付けされた値が投票される。なお、ステップＳ１４では、θ（ｘ,ｙ）とａが一致するか否かを判断しているが、ａが区間の範囲を示す場合は、θ（ｘ,ｙ）がａの示す区間に含まれるか否かが判断されることになる。

１つの注目画素について投票処理が終了すると（ステップＳ１７でＹＥＳ又はステップＳ１５の終了）、変数ｘに１を加算し（ステップＳ１８）、再度、ステップＳ１３〜Ｓ１７で示される１つの画素についての投票処理が実行される。変数ｘが、上限値Ｘ＿ｅｎｄに達すると（ステップＳ１９でＹＥＳ）、変数ｙに１を加算し（ステップＳ２０）、ステップＳ１２〜Ｓ１９で示される１行の画素群についての投票処理が実行される。変数ｙが、上限値Ｙ＿ｅｎｄに達すると（ステップＳ２１でＹＥＳ）、処理が終了する。

図８に示す処理により、量子化された輝度勾配方向θの各値（ａ＝０、１、２、３、・・・１８０）それぞれについて、該当する画素の輝度勾配強度が加算された値ｈ（ａ）が、度数分布を示すデータすなわち輝度勾配方向ヒストグラムとして生成され、記録される。なお、ヒストグラム生成処理は、上記例に限られない。例えば、輝度勾配方向θのとり得る範囲を分割した複数の区間は、（０〜１．４度、１．５〜２．４度、２．５〜３．４度、・・・、１７９．４〜１８０度）と、幅を持った区間としてもよい。また、各区間に対して、重み付けされた値ではなく、度数そのものを記録したものを輝度勾配方向ヒストグラムとすることもできる。

＜歪度が０の場合のロール角推定処理＞
図５のステップＳ４において、上記のようにヒストグラム生成部２２が、輝度勾配方向ヒストグラムを生成すると、推定部２３は、輝度勾配方向ヒストグラムにおける歪度を計算し、歪度が０か否かを判断する（ステップＳ５）。

ここでは、一例として、ステップＳ２において画像に含まれるｎ個の画素それぞれについて、輝度勾配方向（θ１，θ２，・・・，θｎ、以下θｉとする（ｉ＝１、２、・・・ｎ））が計算された場合について説明する。ステップＳ５の歪度の計算において、推定部２３は、ｎ個の画素の輝度勾配方向θｉの算術平均θμ＝（１／ｎ）・（Σθｉ）と、標準偏差ｓ＝［（１／ｎ）・｛Σ（θｉ−θμ）²｝］^(1/2)を計算する。推定部２３は、これらのｎ、θμ、ｓを上記式（１）に代入して、歪度Ｓｋを計算する。

推定部２３は、歪度Ｓｋが、０に対して所定の範囲Ｔｈ１内であるか否かを判断する。例えば、推定部２３は、｜Ｓｋ−０｜＜＝Ｔｈ１であるか否かを判断する。ここで、Ｔｈ１の値は、０か、又は０と見なすことができる程度に小さい値に設定することができる。これにより、推定部２３は、歪度Ｓｋが０か否かを判断することができる。

歪度Ｓｋが０に対して所定の範囲Ｔｈ１内である場合（ステップＳ５でＹＥＳ）、推定部２３は、ロール角αは０度と推定する（ステップＳ６）。推定部２３は、ロール角の値（α＝０）を出力する。

発明者らは、車両１に取り付けた撮像装置４０のロール角の遷移と、撮像画像の輝度勾配方向ヒストグラムから算出される歪度の遷移とを注意深く観察した結果、ある特徴的な関係があることを見出した。図９は、ロール角と歪度の関係の一例を示すグラフである。図９において、横軸は時間、縦軸は歪度及びロール角を表す。図９に示すグラフから、ロール角が０度のとき、輝度勾配方向ヒストグラムから算出した歪度が０になることがわかる。この関係性に基づいて、推定部２３が、歪度Ｓｋが０か否かを判定することによりロール角の値を推定する構成とすることで、精度の高いロール角推定が可能になる。

図１０Ａは、車両１の左右方向の傾斜角が０度すなわち撮像装置４０のロール角が０度のときに撮像された画像と、車両１の傾きとの関係の一例を示す図である。図１０Ｂは、図１０Ａに示す画像において検出される２つのピークの例を示す図である。図１０Ｃは、図１０Ａに示す画像において算出される輝度勾配方向ヒストグラムの例を示す図である。

図１０Ａに示す例では、車両１が左右方向に傾いていないので、画像Ｇ１に写る被写体の垂直方向（重力方向）のエッジＥｖの線は、画像Ｇ１のｘ方向に対して垂直な方向となる。垂直方向と直交する方向である水平方向のエッジＥｈの線は、画像Ｇ１のｘ方向と同じ方向となる。

図１０Ｂは、図１０Ａに示す画像Ｇ１の輝度勾配方向ヒストグラムから検出された互いに垂直な輝度勾配方向を持つ２つのピークＰ１、Ｐ２の画像のｘ方向に対する角度を示している。図１０Ｂにおける輝度勾配方向θ２＝０度、１８０度のピークＰ２は、図１０Ａの画像Ｇ１における垂直方向のエッジＥｖに対応する。図１０Ｂにおける輝度勾配方向θ１＝９０度のピークＰ１は、図１０Ａの画像Ｇ１における水平方向のエッジＥｈに対応する。このように、画像におけるエッジの方向と輝度勾配方向は互いに直交する関係にある。なお、上述したように、０度及び１８０度は同一視できる。

図１０Ｃに示す例では、輝度勾配方向ヒストグラムは、輝度勾配方向＝９０度の線を対称軸として左右対称となっている。この輝度勾配方向ヒストグラムでは、０度、９０度及び１８０度においてピークが存在する。そのため、この輝度勾配方向ヒストグラムから算出される歪度は０となる。推定部２３は、歪度が０なので、ロール角すなわち車両１の傾斜角は０度と推定することができる。

図１０Ｄは、ロール角が０のときの輝度勾配方向ヒストグラムの他の例を示す図である。図１０Ｄは、画像において垂直方向のエッジが少なく、水平方向のエッジが他より多く存在する場合の輝度勾配方向ヒストグラムである。例えば、画像において水平線が写っており、建物など人工物が少ない場合は、このような輝度勾配方向ヒストグラムが算出される。この輝度勾配方向ヒストグラムでは、９０度においてピークが存在する。この輝度勾配方向ヒストグラムも、輝度勾配方向＝９０度の線を対称軸として左右対称となっている。そのため、歪度は０となる。このように、歪度が０になる態様として、水平方向のエッジ又は垂直方向のエッジのいずれかのピークのみが存在する態様もあり得る。

図５のステップＳ５において、推定部２３は、歪度が０か否かの判定に加え、輝度勾配方向ヒストグラムのピークが所定条件を満たすか否かを判定することができる。例えば、推定部２３は、歪度が０でかつ輝度勾配方向ヒストグラムのピークが所定条件を満たす場合に、ロール角が０度であると推定することができる。所定条件は、例えば、０度、９０度又は１８０度に対応するピークが閾値Ｔｈ１２を越える、等とすることができる。所定条件判断の具体例として、推定部２３は、０度、９０度、又は１８０度から所定の範囲内に、閾値Ｔｈ１２を越えるピークがあるか否かを判断することができる。或いは、推定部２３は、最も強いピークの位置が、０度、９０度又は１８０度から所定範囲にあるか否かを判断することができる。

このように、歪度、及び輝度勾配方向ヒストグラムのピークの両方について判断することで、推定精度をより向上させることができる。例えば、まれに、ロール角が０度でない場合でも、歪度が０になる場合がある。それは、例えば、垂直方向及び水平方向のエッジの他に強いエッジが存在する場合等である。推定部２３は、０度、９０度又は１８０度から所定範囲内に最も強いピーク又は閾値Ｔｈ１２より強い強度を持つピークがあるか否かを判断することで、このような場合のロール角の誤推定を避けることができる。

＜過去の画像の処理結果を利用したロール角推定処理＞
ステップＳ５で、ＮＯすなわち歪度が０でないと判断された場合、推定部２３は、過去の画像の垂直方向又は水平方向のエッジのピークを基に、現在の垂直方向又は水平方向のエッジに対応するピークとして抽出する（ステップＳ７）。具体的には、推定部２３は、過去の画像で特定された垂直方向又は水平方向（本例では、垂直方向）のエッジのピークの輝度勾配方向を取得する。推定部２３は、取得した輝度勾配方向との角度の差が閾値Ｔｈ２を超えない輝度勾配方向を持つピークを、現在の画像の輝度勾配方向ヒストグラムから抽出する。推定部２３は、抽出したピークの輝度勾配方向を用いて現在のロール角を推定する（ステップＳ８）。

推定部２３は、例えば、輝度勾配方向ヒストグラムに対して極値検出処理を実行してピークを検出することができる。具体例として、所定の閾値を上回る頻度（度数）を持つ輝度勾配方向の区間をピークの区間として検出することができる。また、ピークの値（ピークの強さ）を所定の閾値と比較することにより、ピーク検出結果の成否を判定することができる。例えば、ピークの値が、閾値に満たない場合は、推定部２３は、正常な検出結果でないと判断し、後の処理ではピークとして扱わないようにすることができる。

図１１Ａは、車両１の左右方向の傾斜角が０度でないときに撮像された画像と、車両１の傾きとの関係の一例を示す図である。図１１Ｂは、図１１Ａに示す画像において検出される２つのピークの例を示す図である。図１１Ａに示す例では、車両１の上下方向線Ｕ１が重力方向（鉛直方向）に対して左（マイナス側）に角度δだけ傾いている。そのため、画像Ｇ２に写る被写体の垂直方向のエッジＥｖの線は、画像Ｇ２のｙ方向に対して角度δだけ傾く。水平方向のエッジＥｈの線は、画像Ｇ２のｘ方向に対して角度δだけ傾く。

図１１Ｂは、図１１Ａに示す画像Ｇ２の輝度勾配方向ヒストグラムから検出された２つのピークＰ３、Ｐ４の画像のｘ方向に対する角度を示している。ピークＰ３、Ｐ４は、互いに垂直な輝度勾配方向を持つ。図１１Ｂにおける輝度勾配方向θ３のピークＰ３は、図１１Ａの画像Ｇ２における水平方向のエッジＥｈに対応する。図１１Ｂにおける輝度勾配方向θ４のピークＰ４は、図１１Ａの画像Ｇ２における垂直方向のエッジＥｖに対応する。

図１１Ａに示す画像Ｇ２の輝度勾配方向ヒストグラムの歪度は０にはならない。この場合、輝度勾配方向ヒストグラムにおけるピークＰ３、Ｐ４の配置は、輝度勾配方向＝９０度の線を軸とした線対称とはならない。このような場合、推定部２３は、歪度は０でないと判断する（図５のステップＳ５でＮＯ）。この場合、ステップＳ７において、推定部２３は、対象画像（現フレーム）である画像Ｇ２の輝度勾配方向ヒストグラムのピークのうち、１つ前の画像（前フレーム）で特定された垂直方向のエッジに対応する輝度勾配方向との角度の差が閾値Ｔｈ２を超えない輝度勾配方向を持つピークを抽出する。

１つ前の画像（前フレーム）でロール角が０度と判断された場合（例えば、前フレームが図１０Ａの画像Ｇ１である場合）、推定部２３は、前フレームの垂直方向のエッジのピーク（図１０ＢのＰ２）の輝度勾配方向（θ２＝１８０度）を取得する。この場合、前フレームの垂直方向のエッジのピーク（図１０ＢのＰ２）は、輝度勾配方向ヒストグラムの中央のピーク（図１０ＢのＰ１）と垂直な関係を有するピークである。推定部２３は、取得した輝度勾配方向（θ２＝１８０度）に対する角度が閾値Ｔｈ２を越えない輝度勾配方向を持つピークを、画像Ｇ２（現フレーム）の輝度勾配方向ヒストグラムから抽出する。図１１Ｂに示す例では、ピークＰ４の輝度勾配方向θ４と、ピークＰ２（図１０Ｂ参照）のθ２（＝１８０度）との角度（δ）が閾値Ｔｈ２を越えない。そのため、ピークＰ４が、垂直方向のエッジに対応するピークとして抽出される。

１つの前の画像（前フレーム）でロール角が０度でないと判断された場合、推定部２３は、前フレームの輝度勾配方向ヒストグラムにおける垂直方向のエッジのピークの輝度勾配方向との角度が閾値Ｔｈ２を越えないピークを、対象画像（現フレーム）の輝度勾配方向ヒストグラムから抽出することができる。

具体例を、図１２を用いて説明する。図１２は、対象画像（現フレーム）で検出されたピークＰ５の輝度勾配方向の他の例を示す。ここでは、対象画像の１つ前の画像（前フレーム）が、図１１Ａに示す画像Ｇ２である場合について説明する。画像Ｇ２では、ロール角は０度でないと判断される。図１２には、前フレームで検出されたピークＰ４の輝度勾配方向も点線で示している。例えば、画像において、水平方向のエッジが少ない場合、水平方向のエッジに対応する輝度勾配方向の度数が小さくなり、輝度勾配方向ヒストグラムにおいて、水平方向のエッジに対応するピークが検出されない。このような場合、図１２に示すように、１つのピークＰ５だけ検出されやすい。

図１２に示す例の場合、推定部２３は、前フレームで垂直方向のエッジに対応するものとして特定されたピークＰ４の輝度勾配方向から、閾値Ｔｈ２の範囲内にある輝度勾配方向を持つピークＰ５を、現フレームの垂直方向のエッジに対応するピークとして抽出する。このようにして抽出されたピークは、直近にロール角が０度と判断された画像（図１０Ａの画像Ｇ１）の輝度勾配方向ヒストグラムにおける垂直方向のエッジのピークＰ２（図１０Ｂ参照）に対応するピークである。

なお、図１０Ｂ、図１１Ｂ及び図１２に示す例では、前フレームのピークの輝度勾配方向と現フレームのピークの輝度勾配方向を比較している。これに対して、推定部２３は、輝度勾配方向をロール角又は傾斜角に変換した値を比較してもよい。このような比較処理も、輝度勾配方向の比較処理と同等である。

一例として、推定部２３は、角速度上限と、閾値Ｔｈ２＝Δαと、過去のロール角推定結果αt-1と用いて、下記式（８）により、現フレームのロール角（垂直方向のエッジに対応するピークの輝度勾配方向の変換値）の範囲を決定できる。下記式（８）では、ロール角の上限値と下限値を決定している。閾値Ｔｈ２＝Δαは、前フレームの画像から現フレームの画像まで時間を用いて算出される。上限値と下限値は、周期性を有する場合がある。

推定部２３は、輝度勾配方向ヒストグラムにおいて、閾値Ｔｈ２により決定される範囲内にピークを探索する。この範囲内でピークが検出された場合、推定部２３は、検出されたピークの値（強さ）により、垂直方向のエッジに対応するピークとして採用するか否かを判断してもよい。

なお、現フレームとの比較対象は、１つ前のフレームに限られず、２つ以上前のフレームと現フレームの比較対象としてもよい。

上記例は、ステップＳ７において、垂直方向のエッジに対応するピークを抽出する処理例である。これに対して、推定部２３は、水平方向のエッジに対応するピークを抽出してもよいし、垂直方向及び水平方向のエッジの両方のピークをそれぞれ抽出してもよい。また、推定部２３は、垂直方向のエッジのピーク又は水平方向のエッジのピークの一方を探索し、見つからない場合に他方を探索してもよい。推定部２３は、抽出したピークの輝度勾配方向に基づいて、ロール角を推定する（ステップＳ８）。

ステップＳ８において、推定部２３は、ステップＳ７で抽出したピークの輝度勾配方向を、垂直方向又は水平方向のエッジの方向として、撮像装置４０のロール角を計算する。

本例では、ステップＳ７で抽出したピークの輝度勾配方向θは、垂直方向のエッジ又は水平方向のエッジの画像のｘ方向に対する角度を示す。この場合、推定部２３は、一例として、この輝度勾配方向θを、重力方向に対する撮像装置４０の上下方向線（すなわち車両１の上下方向線）の角度を示す値に変換したものをロール角の推定値とすることができる。これは、撮像装置４０のロール角を、車両１の傾斜角と同様に、垂直方向（重力方向）に対する撮像装置４０の上下方向線の角度で表す場合の例である（進行方向に向かって右が正、左が負とする）。

ステップＳ７で抽出したピークの輝度勾配方向θが、垂直方向のエッジ又は水平方向のエッジのいずれに対応する場合であっても、推定部２３は、輝度勾配方向θをロール角の推定値に変換することができる。例えば、正常に走行中の車両１の重力方向に対する傾斜角は、一定以上大きくなりにくいことが発明者らによって把握されている。発明者らはこの知見を基に、車両の傾斜角すなわち撮像装置のロール角の重力方向に対する傾きに閾値Ｔｈ３（第３の閾値の一例）を設定することに想到した。推定部２３は、この閾値Ｔｈ３と、抽出した輝度勾配方向θとを比較することで、輝度勾配方向θが水平方向又は垂直方向のどちらに相当するかを判断する。

具体的には、輝度勾配方向θと画像の垂直軸（ｙ軸）からの角度（ずれ）が、閾値Ｔｈ３より小さい場合、推定部２３は、輝度勾配方向θが水平方向のエッジに対応する輝度勾配方向であるとしてロール角の推定値を決定することができる。輝度勾配方向θと、画像の垂直軸（ｙ軸）との角度（ずれ）が閾値Ｔｈ３より大きい場合は、推定部２３は、輝度勾配方向θが垂直方向のエッジに対応する輝度勾配方向であるとしてロール角の推定値を決定することができる。

本例では、推定部２３は、輝度勾配方向θが（９０−Ｔｈ３）と（９０＋Ｔｈ３）の間である場合（９０−Ｔｈ３＜θ＜９０＋Ｔｈ３）に、輝度勾配方向θは、垂直方向のエッジに対応する輝度勾配方向と判断する。図１１Ｂに示す例では、ピークＰ３の輝度勾配方向θ３が（９０−Ｔｈ３＜θ３＜９０＋Ｔｈ３）となっている。この場合、ロール角αは、α＝θ３―９０として算出される。

また、推定部２３は、輝度勾配方向θが（９０−Ｔｈ３）より小さいか、又は（９０＋Ｔｈ３）より大きい場合（θ＜９０−Ｔｈ３、又は、９０＋Ｔｈ３＜θ）に、輝度勾配方向θは、垂直方向のエッジに対応する輝度勾配方向と判断する。図１１Ｂに示す例では、ピークＰ４の輝度勾配方向θ４が（９０＋Ｔｈ３＜θ４）となっている。この場合、ロール角αは、α＝θ４―１８０として算出される。なお、θ４＜９０−Ｔｈ３の場合は、ロール角αは、α＝θ４として算出される。

このようにして、推定部２３は、ステップＳ７で抽出されたピークの輝度勾配方向θを、水平方向又は垂直方向のエッジの画像の基準軸に対する傾き（角度）を示す値とし、この値を、求めるロール角の基準軸に対する傾き（角度）に変換することができる。

一例として、閾値Ｔｈ３を４５度とした場合、ピークの輝度勾配方向θを、下記式（９）により、ロール角α（＝車両の傾斜角）に変換することができる。

＜過去の輝度勾配方向ヒストグラムを利用したロール角推定処理＞
図５のステップＳ７において、条件を満たすピークが抽出できない場合（ステップＳ７でＮＯ）、推定部２３は、過去の輝度勾配方向ヒストグラムと、現在の輝度勾配方向ヒストグラムの形状のマッチングを実行する（ステップＳ９）。推定部２３は、マッチング結果を用いて、過去から現在までのロール角の変位を算出し、ロール角の変位と、過去におけるロール角とから現在のロール角を推定する（ステップＳ１０）。

このように、ステップＳ５で歪度が０でないと判断し、さらにステップＳ７でもピークが抽出されない場合であっても、ステップＳ９において、輝度勾配方向ヒストグラムのマッチングを行うことで、垂直方向を追跡することができる。例えば、画像中に垂直方向のエッジ及び水平方向のエッジよりも、他の方向のエッジが多い場合、輝度勾配方向ヒストグラムにおいて、垂直方向及び水平方向に対応する輝度勾配方向のピークが不明瞭になりやすい。このような場合、連続する複数の画像において、他の方向のエッジに対応するピークがあれば、マッチングにより、連続する複数の画像間におけるピークの対応関係を特定することができる。複数画像間のピークの対応関係を用いて、連続する複数の画像におけるロール角の変位を算出することができる。そのため、画像中に水平方向のエッジ及び垂直方向のエッジの両方が他より多く存在する場合、及び、いずれか一方のみが他より多く存在する場合に加え、さらに、いずれも他より多く存在しない場合にも、ロール角推定が可能になる。

推定部２３は、例えば、前フレームの輝度勾配方向ヒストグラムの形状と、現フレームの輝度勾配方向ヒストグラムの形状とをマッチングする。マッチング処理では、推定部２３は、例えば、前フレームの輝度勾配方向ヒストグラムにおける１以上のピークの位置及び強さと、現フレームの輝度勾配方向ヒストグラムにおける１以上のピークの位置及び強さとを比較する。推定部２３は、比較結果として、ピーク配置のマッチング度合いを示すスコアを算出する。前フレームの輝度勾配方向ヒストグラムと現フレームの輝度勾配方向ヒストグラムとの角度方向の相対位置関係を変化させ、比較及びスコアの算出を繰り返す。これにより、スコアをよくする相対位置関係を決定する。すなわち、前フレームと現フレームの輝度勾配方向ヒストグラムの角度をずらして、ピークのマッチング度合いを評価し、最もマッチするときの角度のずれを決定する。これにより、前フレームと現フレームと角度のずれ量が得られる。推定部２３は、この角度のずれ量を、前フレームからのロール角の変位として算出することができる。

推定部２３は、ステップＳ６、Ｓ８又はＳ１０で推定されたロール角を出力する。算出されたロール角の出力形態は特に限定されないが、例えば、車両制御部５０がアクセス可能な記録装置に記録することができる。例えば、ロール角αの値は、画像の識別子又は時刻等と対応付けて記録することができる。また、ロール角推定装置２０は、車両制御部５０にロール角を示すデータを通知してもよい。

以上の図５に示す処理により、撮像された画像の情報だけから撮像装置４０のロール角及び車両１の傾斜角を推定することができる。そのため、画像にのみ依存するロール角の推定を行うことができ、車両１毎のパラメータ調整等が不要となる。また、ロール角推定精度は、車両１の走行中の振動の影響を受けにくい。

（実施形態２）
図１３は、実施形態２におけるヴィークル用ロール角推定システム１０ａの構成例を示す機能ブロック図である。ヴィークル用ロール角推定システム１０ａは、図１に示すように車両１に実装することができる。図１３において、図２と同じ部分には同じ符号を付している。図１３に示すヴィークル用ロール角推定システム１０ａは、図２に示す構成に、内界センサ６０を追加した構成である。

内界センサ６０は、例えば、ジャイロセンサ、加速度センサ又はこれらの組み合わせとすることができる。内界センサ６０は、車両１の傾斜角を出力し、メモリ２１に記録する。或いは、内界センサ６０のセンサ情報を用いて、推定部２３が、車両の傾斜角又は撮像装置４０のロール角を計算することができる。例えば、内界センサ６０にジャイロセンサが含まれる場合、ジャイロセンサから出力されるロールレート（角速度）に基づいて、車両１の傾斜角を計算することができる。内界センサ６０に加速度センサが含まれる場合、加速度センサによるＧを用いて、車両１の傾斜角を計算することができる。

推定部２３は、内界センサ６０により検出された車両１の傾斜角を用いて推定部２３が推定したロール角を補完することができる。推定部２３は、画像から得られる輝度勾配方向ヒストグラムに基づいてロール角を推定できなかった場合、内界センサ６０により検出された傾斜角を車両の傾斜角として採用することができる。

図１４は、図１３に示すロール角推定装置２０の動作例を示すフローチャートである。図１４において、ステップＳ１〜Ｓ１０は、図５のステップＳ１〜Ｓ１０と同様に実行することができる。ステップＳ９で、輝度勾配方向ヒストグラムのマッチングができない場合（ステップＳ９でＮＯ）、推定部２３は、内界センサ６０により検出された傾斜角をメモリ２１から読み出し、撮像装置４０のロール角とする。

内界センサ６０が、ジャイロセンサ及び他のセンサ（例えば、加速度センサ）を含む場合、推定部２３は、ステップＳ１００において、まず、ジャイロセンサにより得られる角速度を用いて、車両１の傾斜角又は撮像装置４０のロール角を算出することができる。このロール角の算出が、ステップＳ５の処理が実行されてから、所定の時間内であれば、推定部２３は、加速度センサの情報によるによる補完は実行せず処理を終了してもよい。所定の時間を経過していた場合は、推定部２３は、加速度センサの情報を用いた補完処理も実行する。ジャイロセンサにより得られる角速度は、短時間であれば、誤差が少なく有用な情報である。そのため、推定部２３による推定処理の経過時間に応じて、ジャイロセンサの情報のみ用いて補完するか、他のセンサの情報も用いて補完するかを切り替えることがでる。

また、推定部２３は、内界センサ６０により検出された車両１の傾斜角を用いて推定部２３が推定した撮像装置４０のロール角を検証することもできる。例えば、推定部２３によって撮像装置４０のロール角αをα＝Ａと推定した場合、α＝Ａと内界センサで検出された傾斜角との差が所定の範囲内にあれば、α＝Ａが正しいと判断することができる。傾斜角の差が所定の範囲内になければα＝Ａが正しくないと判断することができる。例えば、ステップＳ６で推定されたロール角α＝Ａが正しくないと判断された場合、推定部２３は、垂直方向成分の追跡（ステップＳ７）や、ヒストグラムマッチング（ステップＳ９）など別の方法で傾斜角を推定し、さらに検証を行ってもよい。

図１５〜図１８は、上記実施形態１又は実施形態２におけるヴィークル用ロール角推定システムを用いてロール角を推定する例を示す図である。図１５〜図１８に示す画像Ｇ１〜Ｇ４は、ヴィークル用ロール角推定システムに入力される画像の例である。画像Ｇ１〜Ｇ４は、車両１が走行中に、撮像装置４０が車両１の前方を撮像して得られる画像の例である。図１５〜図１８に示す輝度勾配方向ヒストグラムＨＳ１〜ＨＳ４は、画像Ｇ１〜Ｇ４それぞれの輝度勾配方向ヒストグラムである。

図１５に示す画像Ｇ１は、車両１が進行方向に対して左右方向に傾いていない時すなわち車両１の左右方向の傾斜角が０の時に撮像された画像である。画像Ｇ１には、垂直方向のエッジＥｖと水平方向のエッジＥｈが、他の方向のエッジより多く含まれている。そのため、輝度勾配方向ヒストグラムＨＳ１には、水平方向のエッジＥｈに対応するピークＰ１と垂直方向のエッジＥｖに対応するピークＰ２が現れる。車両１が左右方向に傾斜していない場合は、これらのピークＰ１、Ｐ２の位置は、輝度勾配方向ヒストグラムにおいて対称な位置となる。そのため、この画像Ｇ１の輝度勾配方向ヒストグラムの歪度は、０と計算される。この場合、車両１の傾斜角δすなわち撮像装置４０のロール角αは、０と推定される。

図１６に示す画像Ｇ２は、車両１が進行方向に対して左右方向に傾いている時すなわち車両１の左右方向の傾斜角が０でない時に撮像された画像である。画像Ｇ２には、垂直方向のエッジＥｖと水平方向のエッジＥｈが、他の方向のエッジより多く含まれている。そのため、輝度勾配方向ヒストグラムＨＳ２には、水平方向のエッジＥｈに対応するピークＰ３と垂直方向のエッジＥｖに対応するピークＰ４が現れる。車両１が左右方向に傾斜している場合は、これらのピークＰ３、Ｐ４の位置は、輝度勾配方向ヒストグラムにおいて非対称な位置となる。そのため、この画像Ｇ２の輝度勾配方向ヒストグラムの歪度は０とならない。この場合、例えば、直近の過去に歪度が０と計算された画像（例えば、画像Ｇ１）のピークＰ１、Ｐ２に対応する画像Ｇ２のピークＰ３、Ｐ４が特定される。画像Ｇ２の輝度勾配方向ヒストグラムＨＳ２のピークＰ３、Ｐ４の輝度勾配方向θ１、θ２の少なくともいずれかにより、車両１の傾斜角δを推定することができる。

図１７に示す画像Ｇ３は、車両１がマリンヴィークルである場合の例である。画像Ｇ３は、車両１が進行方向に対して左右方向に傾いていない時すなわち車両１の左右方向の傾斜角が０でない時に撮像された画像である。画像Ｇ３では、水平方向エッジＥｈが他の方向のエッジに比べて多く、垂直方向のエッジはほとんどない。画像Ｇ３の輝度勾配方向ヒストグラムＨＳ３では、水平方向のエッジＥｈに対応するピークＰ１が中央に配置される。輝度勾配方向ヒストグラムＨＳ３の歪度は０になる。この場合、車両１の傾斜角δすなわち撮像装置４０のロール角αは、０と推定される。

図１８に示す画像Ｇ４は、車両１が進行方向に対して左右方向に傾いていない時すなわち車両１の左右方向の傾斜角が０でない時に撮像された画像である。画像Ｇ４では、ｙ軸に対して左に約４５度傾いた方向のエッジと、ｙ軸に対して右に約４５度傾いた方向のエッジが、他の方向のエッジより多い。画像Ｇ４では、水平方向エッジも、垂直方向のエッジもほとんどない。画像Ｇ４の輝度勾配方向ヒストグラムＨＳ４においては、各エッジに対応するピークが、対称な位置に配置される。そのため、歪度が０になる。この場合、車両１の傾斜角δすなわち撮像装置４０のロール角αは、０と推定される。このように、画像のｙ軸（縦軸）に対して＋４５度のエッジと、―４５度のエッジが同じ位含まれており、他の方向のエッジがこれらのエッジに比べて少ない場合、輝度勾配方向ヒストグラムの歪度が０になる。

上記実施形態によれば、輝度勾配方向ヒストグラムの歪度が０の時は、高精度で、ロール角を０と推定できる。歪度＝０の時にロール角＝０を検出することで、その後のロール角の推定又は測定、或いは、ロール角に関連する車両の制御に、ロール角＝０の情報を利用することができる。例えば、歪度＝０のときに、ＩＭＵ等の内界センサのロール角を０にリセットすることができる。

以上、本発明の実施形態について説明したが、本発明の実施形態は上記例に限られない。例えば、本発明のヴィークル用ロール角推定システムの適用対象は自動二輪車に限定されるものではない。本発明のヴィークル用ロール角推定システムは、自動二輪車以外の鞍乗型車両（自転車、自動三輪車、ＬＭＷ（Leaning Multi Wheel）、自動車、スノーモービル、ＡＴＶ（全地形走行車）等）、電車、汽車、マリンヴィークル（パーソナルウォータークラフト）、船舶、航空機、ヘリコプター、ドローン（遠隔操縦又は自律飛行が可能な無人機）に適用してもよい。なお、鞍乗型車両とは、乗員が鞍にまたがるような状態で乗車する車両全般を指している。鞍乗型車両には、スクータ型の車両も含まれる。また、鞍乗型車両以外の車両にも本発明を適用することができる。本発明は、左右に傾斜可能なリーン車両に適用することができる。本発明は、左右に傾斜することで旋回する車両すなわちリーン姿勢で旋回する車両に好適に適用することができる。リーン車両は、左に旋回するときは左に傾斜し、右に旋回するときは右に傾斜する。

なお、撮像装置４０は、前方ではなく後方を撮像するものとすることもできる。また、撮像装置４０の光軸は、必ずしも車両の前後方向と同じでなくもよい。また、撮像装置４０の配置位置は、フロントカバー１５に限られず、例えば、ヘッドパイプ１１等であってもよい。ロール角推定装置２０の位置もヘッドパイプ１１に限れられない。また、撮像装置４０及びロール角推定装置２０の両方を、フロントカバー１５又はヘッドパイプ１１に取り付けることもできる。また、撮像装置４０とロール角推定装置２０は、１つの筐体に収納されてもよいし、それぞれ異なる筐体に収納されてもよい。

ロール角推定装置２０の動作例は、図５及び図１４に示した例に限られない。図５及び図１４において、過去の垂直方向から特定される垂直方向を用いたロール角推定処理（ステップＳ７及びＳ８）、又は、過去の輝度勾配方向ヒストグラムとのマッチング結果を用いたロール角推定処理（ステップＳ９及びＳ１０）の少なくとも一方を省略してもよい。

歪度の算出は、上記式（１）を用いた計算に限られない。輝度勾配方向ヒストグラムの対称性を計算する他の近似式を用いて歪度を計算してもよい。歪度は、輝度勾配方向ヒストグラムの対称の度合いを示す値である。

輝度勾配方向ヒストグラムの歪度に基づいてロール角を推定する処理は、歪度が０に対して所定範囲内となるとき、前記ロール角が０度であると推定する処理に限られない。例えば、推定部は、輝度勾配方向ヒストグラムの歪度に応じたロール角の値を算出してもよい。推定部は、予め記録された関数又は対応データを用いて、算出された歪度に対応するロール角を算出してもよい。この場合、関数は、歪度を引数として、ロール角の値を返す関数とすることができる。対応データは、例えば、様々な歪度に対応するロール角の値を記録したデータとすることができる。また、推定部は、歪度に加えて、他の情報を用いて、ロール角を推定してもよい。

ヴィークルは、ヴィークル用ロール角推定システムで推定されたロール角を、記録、又は表示することができる。或いは、推定されたロール角を用いてヴィークルを制御することができる。この場合、推定されたロール角がヴィークルの制御状態（挙動）に影響を与える。そのため、ヴィークルの制御状態から推定されたロール角を、把握することができる。

本明細書にて使用される専門用語は、特定の実施例を説明する目的で使用されるだけであり、発明を制限する意図を有しない。

本明細書にて使用される用語「および/または」は、複数の列挙された関連する構成物のうち１つ又は複数のあらゆるすべての組み合わせを含む。

「含む（including）」「備える（comprising）」または「有する（having）」その他これらに類する用語は、本明細書中で使用される場合、記載された特徴、工程、操作、要素、成分および/またはそれらの等価物の存在を特定するが、さらなる他の特徴、工程、操作、要素、成分および/またはそれらのグループのうちの１つまたは複数の存在又は追加を除外するものではない。

「取り付けられた(mounted)」、「接続された(connected)」、「結合された(coupled)」および/またはそれらに等価な用語は、本明細書中で使用される場合、広い意味で使用され、直接的および間接的、両方の、取り付け、接続および結合を包含する。さらに、「接続された」および「結合された」は、直接的または間接的いずれの場合も、物理的または機械的な接続または結合に限定されず、電気的な接続または結合を含み得る。

他に定義されない限り、本明細書で使用される全ての用語（技術用語および科学用語を含む）は、本発明が属する当業者によって一般的に理解されるのと同じ意味を有する。

一般的に使用される辞書に定義された用語のような用語は、関連する技術および本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想的または過度に形式的な意味で解釈されることはない。

本発明の説明においては、複数の技術およびステップが開示されていると理解される。これらの各々は、個別の効果を有し、各々は、他の開示された１つ以上の技術、または、場合によっては全ての技術と共に使用することもできる。したがって、本明細書では、明確にするために、個々のステップの全てのとり得る組み合わせを不必要に繰り返すことを控える。それにもかかわらず、明細書および特許請求の範囲は、そのような組み合わせがすべて本発明および請求項の範囲内にあることを理解して読まれるべきである。

１ 車両
２０ ロール角推定装置
２２ ヒストグラム生成部
２３ 推定部
４０ 撮像装置
６０ 内界センサ

Claims (13)

1. 進行方向に対して左右に傾斜可能なヴィークルに搭載されたヴィークル用ロール角推定システムであって、
   前記ヴィークルの前方あるいは後方を撮像可能な撮像装置と、
   前記撮像装置で撮像された画像を取得し、前記画像を解析することにより前記ヴィークルの傾斜によって変化する前記撮像装置のロール角を推定するロール角推定装置と、
   を備え、
   前記ロール角推定装置は、
   前記画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成部と、
   前記輝度勾配方向ヒストグラムの対称性を示す歪度を算出し、算出された歪度に基づき、前記ロール角を推定する推定部と、
   を備え、
   前記輝度勾配ヒストグラムの対称性を示す歪度を、画像に含まれる複数の画素における輝度勾配方向の値θｉ、複数の画素における輝度勾配方向の平均値θμ、輝度勾配方向を計算した画素の個数ｎ、複数の画素における輝度勾配方向の標準偏差ｓを用いて算出する、ヴィークル用ロール角推定システム。
2. 請求項１に記載のヴィークル用ロール角推定システムであって、
   前記推定部は、前記歪度が０に対して所定範囲内となるとき、前記ロール角が０度であると推定する、ヴィークル用ロール角推定システム。
3. 請求項２に記載のヴィークル用ロール角推定システムであって、
   前記ロール角推定装置は、前記撮像装置で連続して撮像された複数の画像を取得し、
   前記推定部は、前記複数の画像のうち対象画像において前記歪度が０に対して前記所定範囲にないとき、前記ロール角が０度であると推定された過去の画像の輝度勾配方向ヒストグラムにおける水平方向又は垂直方向のエッジのピークに対応するピークを、前記対象画像の輝度勾配方向ヒストグラムから抽出し、前記抽出したピークの輝度勾配方向に基づいて、前記対象画像におけるロール角を推定する、ヴィークル用ロール角推定システム。
4. 請求項３に記載のヴィークル用ロール角推定システムであって、
   前記推定部は、前記対象画像において前記歪度が０に対して前記所定範囲にないとき、前記対象画像の１つ前の画像における水平方向又は垂直方向のエッジのピークの輝度勾配方向との角度が閾値を超えない輝度勾配方向を持つピークを、前記対象画像の輝度勾配方向ヒストグラムから抽出し、前記抽出したピークの輝度勾配方向に基づいて、前記対象画像におけるロール角を推定する、ヴィークル用ロール角推定システム。
5. 請求項１ないし請求項４のいずれかに記載のヴィークル用ロール角推定システムであって、
   前記ロール角推定装置は、前記撮像装置で連続して撮像された複数の画像を取得し、
   前記推定部は、前記複数の画像のうち対象画像において前記歪度が０に対して前記所定範囲にないとき、過去の画像の輝度勾配方向ヒストグラムと前記対象画像の輝度勾配方向ヒストグラムの形状のマッチングを行うことにより、前記過去の画像から前記対象画像までのロール角の変位を算出し、前記ロール角の変位と、前記過去の画像におけるロール角とから前記対象画像におけるロール角を推定する、ヴィークル用ロール角推定システム。
6. 請求項１ないし請求項５のいずれか１項に記載のヴィークル用ロール角推定システムであって、
   前記ヒストグラム生成部は、任意の角θ（θは０度以上、１８０度以下）について、角θと角（θ＋１８０度）を同一視することにより、角θの範囲（０度以上、１８０度以下）で輝度勾配方向ヒストグラムを生成する、ヴィークル用ロール角推定システム。
7. 請求項１ないし請求項６のいずれか１項に記載のヴィークル用ロール角推定システムであって、
   前記ヒストグラム生成部は、各画素の輝度勾配強度に基づく重みづけを行った上で各画素の輝度勾配方向を前記ヒストグラムに加算する、ヴィークル用ロール角推定システム。
8. 請求項１ないし請求項７のいずれかに記載のヴィークル用ロール角推定システムであって、さらに、
   前記ヴィークルの傾斜角を検出する内界センサ、
   を備え、
   前記内界センサにより検出された前記ヴィークルの傾斜角を用いて前記推定部により推定された前記ロール角を補完する、ヴィークル用ロール角推定システム。
9. 請求項１ないし請求項７のいずれかに記載のヴィークル用ロール角推定システムであって、さらに、
   前記ヴィークルの傾斜角を検出する内界センサ、
   を備え、
   前記内界センサにより検出された前記ヴィークルの傾斜角を用いて前記推定部により推定された前記ロール角を検証する、ヴィークル用ロール角推定システム。
10. 請求項８に記載のヴィークル用ロール角推定システムであって、
    前記内界センサにより検出された前記ヴィークルの傾斜角を用いて前記推定部により推定された前記ロール角を検証する、ヴィークル用ロール角推定システム。
11. 左右に傾斜可能なヴィークルであって、
    前記請求項１ないし請求項１０のいずれかに記載のヴィークル用ロール角推定システムを備える、ヴィークル。
12. 左右に傾斜可能なヴィークルにおいて、前記ヴィークルの前方あるいは後方を撮像可能な撮像装置で撮像された画像を解析することにより前記ヴィークルの傾斜によって変化する前記撮像装置のロール角を推定するヴィークル用ロール角推定方法であって、
    前記撮像装置で撮像された画像を取得する画像取得工程と、
    前記画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成工程と、
    コンピュータが、前記輝度勾配方向ヒストグラムの対称性を示す歪度を画像に含まれる複数の画素における輝度勾配方向の値θｉと、複数の画素における輝度勾配方向の平均値θμ、輝度勾配方向を計算した画素の個数ｎ、複数の画素における輝度勾配方向の標準偏差ｓを用いて算出し、算出された歪度に基づき、前記ロール角を推定する推定工程と、
    を有するヴィークル用ロール角推定方法。
13. 左右に傾斜可能なヴィークルにおいて、前記ヴィークルの前方あるいは後方を撮像可能な撮像装置で撮像された画像を解析することにより、前記ヴィークルの傾斜によって変化する前記撮像装置のロール角を推定するヴィークル用ロール角推定プログラムであって、
    前記撮像装置で撮像された画像を取得する画像取得処理と、
    前記画像に含まれる複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成するヒストグラム生成処理と、
    前記輝度勾配方向ヒストグラムの対称性を示す歪度を画像に含まれる複数の画素における輝度勾配方向の値θｉと、複数の画素における輝度勾配方向の平均値θμ、輝度勾配方向を計算した画素の個数ｎ、複数の画素における輝度勾配方向の標準偏差ｓを用いて算出し、算出された歪度に基づき、前記ロール角を推定すると推定処理と、
    をコンピュータに実行させる、ヴィークル用ロール角推定プログラム。
    

Images