JP7411108B2 - 車両姿勢推定システムおよび車両姿勢推定方法 - Google Patents

Description

本発明は、車両の姿勢を推定する車両姿勢推定システムおよび車両姿勢推定方法に係り、特に、自動二輪車の傾斜角度の推定に適用して有効な技術に関する。

交通事故を未然に防止するため、二輪車向けの安全支援システムＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ）の導入が進んでいる。例えば、車載カメラを利用して車両周辺の監視や車両認識を行い、注意喚起（アラート）・衝突回避などに活用している。

自動二輪車は自動四輪車と操舵メカニズムが異なり、特に進行方向を変える際に、車体を左右に傾斜させて旋回する。そのため、車載カメラで撮像された画像データも傾斜する。従来のカメラ映像処理では、傾斜した映像を前提としていないため、認識性能に大きく影響する。

安定した認識性能を得るために、市販の傾斜センサーによる傾斜情報をカメラに入力し、その傾斜情報を用いて、正確な被写体傾きを補正する手法がある。例えば、特許文献１に開示された技術では、撮像部の物理的な傾きを検知するセンサーで検知された撮像部の傾きに基づいて画像処理を行う。

また、特許文献２～４には、撮像手段により撮像された画像データに基づいて、車体傾斜角度を検出する技術が開示されている。

特許文献２では自動二輪車の前方を撮影するカメラ装置から順次出力された撮影画像に含まれる道路と空との境界線を抽出し、車両カメラの水平基準線との相対的な角度を算出している。

また、特許文献３に開示された技術では、画像データから複数の画素の輝度勾配方向の度数分布を示す輝度勾配方向ヒストグラムを生成し、輝度勾配方向ヒストグラムを用いて、重力方向である垂直方向のエッジに対応する輝度勾配方向、及び、重力方向に直交する方向である水平方向のエッジに対応する輝度勾配方向を特定し、特定した垂直方向のエッジの前記輝度勾配方向、又は水平方向のエッジの前記輝度勾配方向の少なくとも一方を用いて、傾斜角を推定している。

また、特許文献４に開示された技術では、画像データ中から複数の直線を検出する直線検出手段により、画像データの垂直軸に対する垂直方向の直線の平均勾配を算出する垂直方向平均勾配と、水平軸に対する水平方向の直線の平均勾配を算出する水平方向平均勾配に基づいて、車両の傾斜角を推定している。

特許第４９５０２９０号公報 特開２０１５－２２７０８２号公報 国際公開第２０１７／１０４７１２号 特開２０１５－５８９１５号公報

上記特許文献１では、傾斜を検出する専用のセンサーで検出した撮像部の傾きに基づいて画像処理を行うため、専用のセンサーを車体に取り付ける必要がある。専用のセンサーがないと、正確な傾き補正は困難になる。

また、認識用の車両カメラを用いる場合、上記特許文献２～４に開示された技術では、所定の限られた条件下でなければ、車両の傾斜角を推定することができない。

特許文献２～４では、傾斜角度の算出に用いる水平線や道路脇の信号機およびビルと、道路上の横断歩道などの人工物を抽出することが必要である。しかし、カーブ走行中、自動二輪車の傾斜によって、撮影画像に対象とする人工物が映らない場合がある。そのような環境下では特許文献２～４の技術を適用することができない。

例えば、夜間には、近距離の路面や遠方の街灯などの発光体は取得できるが、建造物の輪郭線や水平線などの画像を取得するのが困難な状態になる。そのため、撮像画像から傾斜角を求めることができない問題が生じ得る。

そこで、本発明の目的は、車載カメラを利用して車両の姿勢を推定する車両姿勢推定システムおよび車両姿勢推定方法において、走行場所や環境に影響されることなく、車両の傾斜角度を正確に推定可能な車両姿勢推定システムおよび車両姿勢推定方法を提供することにある。

上記課題を解決するために、本発明は、車両に搭載された測距装置で取得した路面に対応する測定領域内に、第一の領域と、前記第一の領域と同一の水平ライン上の第二の領域と、を設定する領域設定部と、前記車両から前記第一の領域および前記第二の領域のそれぞれの路面までの距離を算出する距離算出部と、前記第一の領域および前記第二の領域のそれぞれの路面までの距離、並びに、前記第一の領域および前記第二の領域の位置関係に基づいて、前記車両の傾斜角を求める傾斜角算出部と、を有し、前記傾斜角算出部は、前記水平ライン上にない第三の領域として、前記第一の領域または前記第二の領域と同じ距離を持つ領域を探索することを特徴とする。

また、本発明は、車両姿勢推定システムを用いて車両の姿勢を推定する車両姿勢推定方法であって、領域設定部が、車両に搭載された測距装置で取得した路面に対応する測定領域内に、第一の領域と、前記第一の領域と同一の水平ライン上の第二の領域と、を設定し、距離算出部が、前記車両から前記第一の領域および前記第二の領域のそれぞれの路面までの距離を算出し、傾斜角算出部が、前記第一の領域および前記第二の領域のそれぞれの路面までの距離、並びに、前記第一の領域および前記第二の領域の位置関係に基づいて、前記車両の傾斜角を求め、前記傾斜角算出部は、前記水平ライン上にない第三の領域として、前記第一の領域または前記第二の領域と同じ距離を持つ領域を探索することを特徴とする。

本発明によれば、車載カメラを利用して車両の姿勢を推定する車両姿勢推定システムおよび車両姿勢推定方法において、走行場所や環境に影響されることなく、車両の傾斜角度を正確に推定可能な車両姿勢推定システムおよび車両姿勢推定方法を実現することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１に係る車両姿勢推定システムを示すブロック図である。 図１の画像処理部を示すブロック図である。 図２の視差演算部での視差演算処理を概念的に示す図である。 本発明の実施例１に係る自動二輪車の傾斜角度（ロール角）を示す図である。 図２の車両姿勢推定部での処理を示すフローチャートである。 本発明の実施例１に係る検知領域設定を示す図である。 本発明の実施例１に係る傾斜角度算出処理を示すフローチャートである。 本発明の実施例１に係る検知領域設定（右に傾いている状態）を示す図である。 図８における傾斜角度（ロール角）の推定処理を示す図である。 本発明の実施例２に係る自動二輪車の傾斜角度（ピッチ角）を示す図である。 本発明の実施例２に係る傾斜角度算出処理を示すフローチャートである。 本発明の実施例２に係る検知領域設定を示す図である。 本発明の実施例３に係る傾斜角度算出処理を示すフローチャートである。 本発明の実施例３に係る道路形状の推定処理を示す図である。

以下、図面を用いて本発明の実施例を説明する。なお、各図面において同一の構成については同一の符号を付し、重複する部分についてはその詳細な説明は省略する。

先ず、図１から図９を参照して、本発明の実施例１に係る車両姿勢推定システム及び車両姿勢推定方法について説明する。本実施例は、視差データに基づいて車体の傾斜角度（ロール角φ）を推定する場合の一例である。

図１は、本実施例の車両姿勢推定システムの構成を示すブロック図である。本実施例の車両姿勢推定システムでは、図１に示すように、車両１００は、撮像部１０１と、画像処理部１０２と、物体認識部１０３と、車両制御部１０４と、警報通知部１０５と、走行系制御部１０６を備える。

撮像部１０１は、左カメラ１１と右カメラ１２の２つのカメラに接続され、車両１００の外界の画像を撮像し、撮像した画像を画像処理部１０２に転送する。なお、図１では、カメラ１１，１２は車両１００の前部に設置されており、車両１００の前方の画像を撮像する例を示しているが、車両１００の後部に設置して後方の画像を撮像してもよく、車両１００の前部及び後部の両方に設置して前後の画像を撮像してもよい。

画像処理部１０２は、カメラ１１，１２及び撮像部１０１により撮像した画像を基に、認識処理で使用する画像を生成し、画像に関する情報を物体認識部１０３に転送する。

物体認識部１０３は、画像処理部１０２から転送された画像情報に関わる情報に基づいて、走行レーンやターゲット車両、道路標識、歩行者等を識別し、物体認識に関する情報を車両制御部１０４に転送する。

車両制御部１０４は、画像処理部１０２、物体認識部１０３、警報通知部１０５及び走行系制御部１０６より各種情報（車両１００の走行速度やブレーキの作動状態など）を取得し、取得した情報と予め設定されている最大傾斜角度、最高車両速度等の情報と比較する。そして、画像処理部１０２、物体認識部１０３、警報通知部１０５及び走行系制御部１０６の各部に適切な動作情報（警報通知，表示，制御など）を提供する。

また、車両制御部１０４は、撮像画像及び車両走行に関わる情報に基づいて、警告情報を警報通知部１０５に転送するとともに、車両１００の制動に関わる舵角や減速量等を走行系制御部１０６に転送する。

警報通知部１０５は、車両制御部１０４より車両１００の走行状態に関わる警告を受信し、液晶パネル等による画像表示、もしくはスピーカ等による音声や警告音発振により、ドライバに注意喚起を促す。

走行系制御部１０６は、車両制御部１０４から転送された車両１００の走行状態に関わる減速量の情報に基づきブレーキ制動等を行う。

なお、上記構成は本発明の一例を示すものであり、本発明の構成は上記の構成に限られるものではない。

図２は、図１の画像処理部１０２の構成を示すブロック図である。画像処理部１０２には、画像生成部２０１と視差演算部２０２と車両姿勢推定部２０３と傾斜角度管理部２０４が備えられている。

画像生成部２０１では、左カメラ１１と右カメラ１２及び撮像部１０１により撮像された画像のノイズ除去や歪み補正、回転処理等を行った後の画像を切り出し、認識処理で使用されるエッジ画像や濃淡画像が生成され、（図示しない）メモリの生成画像保持部に保存される。認識処理に必要な画像であれば、他の画像も特に制限されない。

視差演算部２０２では、左カメラ１１と右カメラ１２及び撮像部１０１により撮像された画像を画像生成部２０１でノイズ除去や歪み補正、回転処理等を行った後の画像データを基に、２つのカメラで撮像された画像の視差を求めて、その視差を距離に変換する。

車両姿勢推定部２０３では、視差画像が生成される。視差画像の距離データにより、走行中の路面の所定の距離で車両傾斜角度を推定する。

傾斜角度管理部２０４では、車両姿勢推定部２０３で求めた車両傾斜角とカメラ１１，１２により撮像された画像の対応付けを行い、傾斜のロール角を用いて撮像画像を回転し、傾斜のピッチ角を用いて撮像画像を切り出す処理を行う。そして、画像生成部２０１にて補正後の撮像画像を用いて物体認識部１０３に入力される画像を生成する。

図３は、図２の視差演算部２０２での視差演算処理を概念的に示したものである。左カメラ１１と右カメラ１２にて計測対象物１０の画像を撮像する場合を考える。計測対象物１０の左画像３１を左カメラ１１の２次元センサー２１で撮像し、計測対象物１０の右画像３２を右カメラ１２の２次元センサー２２で撮像する。右カメラ１２が撮影した右画像３２を基準画像とし、例えば５画素×５画素のような基準ブロック画像４２を定義する。
ブロック画像のサイズはこの例に限るものではない。

一方、左カメラ１１が撮影した左画像３１の中で、基準ブロック画像４２と同じ縦位置（Ｙ座標）と横位置（Ｘ座標）を基準として、探索幅（例えば１２８画素）の参照画像４１を選択する。その後、基準ブロック画像４２と参照画像４１との差分を計算する。計算方法には種類がいくつかあるが、本実施例ではその代表例であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を使って次の式（１）の計算を行う。

但し、Ｉは参照画像４１の中の画像ブロック（例：５×５画素）、Ｔは基準ブロック画像４２の画像データであり、ｉ、ｊは画像ブロック内の座標である。１つの視差を算出するために、参照画像４１の参照位置を１画素ずつずらしながら探索幅の分だけ演算を行い、最もＳＡＤ値が小さくなる位置を探索する。

左画像３１では参照画像４１の位置に撮影される。この結果、基準ブロック画像４２の位置と参照画像４１には視差Ｓが生じる。この視差Ｓは、計測対象物１０となる前方の車両が左カメラ１１と右カメラ１２に近い場合は大きい値となり、遠いものは小さい値となる。このように求めた視差Ｓを、画像全体で求める。この視差Ｓを用いて、三角測量の原理で左カメラ１１と右カメラ１２までの距離を測定することが出来る。光軸が平行、基線距離がＢ（ｍ）、焦点距離がｆ（画素）のカメラで、ある対象物を撮像したときに、視差Ｓから距離Ｄｓは次の式（２）で求められる。

図４は、車両１００の傾斜角度（ロール角φ）を計算する原理を示した図である。車両１００の水平状態（ロール角φ＝０度）、車両全体の重心とタイヤ接地面の中心を結ぶ線と地面が直角を成す。車体を傾ける時に、ロール角φを生じる。重心が左右に移動するロール方向に車両１００に搭載された左カメラ１１、右カメラ１２の視差データはロール方向の回転に伴う前方路面までの距離を検出し、検出した距離から車両ロール角（φ）を算出して出力する。

図５は、図２の車両姿勢推定部２０３での処理を示すフローチャートである。図５に示すように、先ず、ステップＳ５０１において視差画像を取得した後、ステップＳ５０２において検知領域を設定し、ステップＳ５０３においてステップＳ５０２で設定した領域から距離を算出し、ステップＳ５０４において各検知領域の距離を用いて傾斜角度を推定する処理を行う。以下、図６も参照して、各々の処理を具体的に説明する。図６は、視差画像６００に設定した検知領域の一例を示している。

ステップＳ５０１では、画像処理部１０２の視差演算部２０２で計算した視差画像を取得する。計測対象物１０までの距離情報を色の濃淡により可視化した画像が図６の視差画像６００である。視差画像では距離が近いものが白く、遠いものが黒く表される。

続いて、ステップＳ５０２では、視差画像６００に検知領域を設定する。なお、図６の例では、視差画像６００の下部領域において路面に対応する領域内に、第一領域６０１と、同一の水平ライン上（同Ｙ座標）に設けられる第二領域６０２を設置する。第一領域６０１と第二領域６０２は、それぞれの路面までの距離を測定する領域であるため、近距離の路面に設定することが望ましい。

また、第一領域６０１と第二領域６０２の縦横サイズが同じ大きさになるように設定することが必要である。第一領域６０１と第二領域６０２のサイズをあまり小さくすると（例えば、１画素）、距離を算出する際の精度が劣化する可能性がある。そこで、本実施例では縦９画素、横９画素のような検知領域を定義し、第一領域６０１の中心座標６１１を（ｘ１，ｙ１）、第二領域６０２の中心座標６１２を（ｘ２，ｙ１）とする。本発明の趣旨を逸脱しない範囲で検知領域のサイズは適宜変更しても良い。

続いて、ステップＳ５０３では、第一領域６０１、第二領域６０２のそれぞれに写った路面までの距離を算出する処理が行われる。路面までの距離は、各検知領域内の距離の平均値とする。本実施例では、視差データのノイズ影響を考慮するため、検知領域の視差データを距離が近い順に並べて、最も近い距離のデータと、最も遠い距離のデータを除いたデータから距離の平均値を算出し、その算出結果を検知領域の代表距離とする。

これにより、ノイズの影響を排除することができ、安定して検知距離を求めることができる。なお、検知距離の算出方法はこれに限定されるものではなく、標準偏差等に基づいて検知領域内の距離算出手法を採用しても良い。

続いて、ステップＳ５０４では、第一領域６０１及び第二領域６０２でのそれぞれの路面までの距離を用いて傾斜角度を算出（推定）する。図７を用いて、ステップＳ５０４での処理を詳しく説明する。

図７は、図５のステップＳ５０４傾斜角算出処理の詳細を示すフローチャートである。

先ず、ステップＳ７０１において、第一領域６０１と第二領域６０２から算出した距離を取得する。

次に、ステップＳ７０２において、取得した第一領域距離と第二領域距離を比較し、両者が同値かを判断する。両者が同値であれば（Ｎｏ）、車両１００の進行方向に対して水平状態になるので、ステップＳ７０７へ移行し、傾斜角度のロール角０度をステップＳ５０４の出力とする。

一方、両者が相違すれば（Ｙｅｓ）、車両１００の進行方向に対して左側または右側に傾いた状態になる。例えば、第一領域６０１から算出した距離が第二領域６０２から算出した距離より大きい場合、車両１００は右側方向に傾いた状態になる。

逆に、第二領域６０２から算出した距離が第一領域６０１から算出した距離より大きい場合、車両１００は左側方向に傾いた状態になる。車両１００が傾斜している場合には、ステップＳ７０３へ移行し、検知領域の距離が大きい方を基準値（基準距離）として設定し、距離が小さい検知領域と同じ中心座標、同じサイズの第三領域を設定する。

図８は、視差画像８００において、第一領域８０１の検知距離が第二領域８０２の検知距離より大きい場合を示した一例である。第一領域８０１の検知距離を基準値として設定し、第三領域８０３の縦横サイズを第二領域８０２と同じ大きさに設定し、第三領域８０３の中心座標８１３を第二領域８０２の中心座標８１２と同じ位置（ｘ２，ｙ１）に配置する。

続いて、ステップＳ７０４において、第三領域８０３の位置座標を第二領域８０２の真上方向に１画素ずらして再度第三領域８０３の距離を計算する。

次に、ステップＳ７０５へ移行し、基準の距離（第一領域８０１の検知距離）と第三領域８０３の距離を比較する。第三領域８０３の距離が基準値（第一領域８０１の検知距離）より小さい場合（Ｙｅｓ）、ステップＳ７０４へ戻り、ステップＳ７０４の処理を繰り返す。なお、本発明の趣旨を逸脱しない範囲で真上方向にずらすサイズは適宜変更しても良い。

一方、第三領域８０３の距離が基準値（第一領域８０１の検知距離）より大きいか等しい場合（Ｎｏ）、ステップＳ７０６へ移行し、図９に示すように、視差画像９００において、第一領域９０１の中心座標９１１（ｘ１，ｙ１）、第二領域９０２の中心座標９１２（ｘ２，ｙ１）及び第三領域９０３の中心座標９１３（ｘ２，ｙ２）を用いて、下記の式（３）により各中心座標から車両１００の傾斜角（ロール角度φ）を算出する。

ここで、Δｘ＝ｘ２－ｘ１，Δｙ＝ｙ２－ｙ１である。

ステップＳ５０４で算出した傾斜角情報を各部に転送する。

傾斜角度管理部２０４では、車両姿勢推定部２０３で求めた車両傾斜角度（ロール角度φ）とカメラ１１，１２により撮影された画像の対応付けを行い、傾斜のロール角度を用いて撮像の画像回転処理を行う。

画像処理部１０２は、車両傾斜情報（ロール角度φ）を物体認識部１０３に転送し、認識用世界座標系やカメラ座標系、画像座標系、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）等の位置を補正し、より高精度な認識を行う。

また、車両１００の傾斜角度と走行経路に対する最大傾斜角度、最高車両速度が予め設定されており、転送された車両傾斜情報（ロール角度φ）と合わせて車両制御部１０４で判定する。危険な傾斜角を運転者に知らせたり、車両１００の速度をコントロールしたりする等の処理を行う。

以上で説明した本実施例の車両姿勢推定システムによれば、走行環境に限定せずに、車両の傾斜角度（ロール角度φ）を正確に推定できるため、適切な認識処理に基づいて補正を実現することができる。また、傾斜角を用いて画像生成部２０１で撮像画像を回転する処理を行うことができる。

なお、本実施例では、前方を撮像する撮像部１０１を用いて、路面までの距離を測定する例を説明したが、上述したように、車両１００に設置したリアカメラを用いて、路面まで距離を測定し、車両傾斜角度情報を生成する構成としても良い。

本実施例の車両姿勢推定システムは、言い換えると、車両１００に搭載された測距装置（カメラ１１，１２及び撮像部１０１）で取得した路面に対応する測定領域（視差画像６００）内に、第一の領域６０１と、第一の領域６０１と同一の水平ライン上の第二の領域６０２と、を設定する領域設定部（車両姿勢推定部２０３のステップＳ５０２）と、車両１００から第一の領域６０１および第二の領域６０２のそれぞれの路面までの距離を算出する距離算出部（車両姿勢推定部２０３のステップＳ５０３）と、第一の領域６０１および第二の領域６０２のそれぞれの路面までの距離、並びに、第一の領域６０１および第二の領域６０２の位置関係に基づいて、車両１００の傾斜角度（ロール角度φ）を求める傾斜角算出部（車両姿勢推定部２０３のステップＳ５０４）を有している。

また、図９に示すように、傾斜角算出部（車両姿勢推定部２０３のステップＳ５０４）では、第一の領域９０１及び第二の領域９０２と同じ水平ライン上にない第三の領域９０３として、第一の領域９０１または第二の領域９０２と同じ距離を持つ領域を探索する。

また、距離算出部（車両姿勢推定部２０３のステップＳ５０３）は、撮像装置（カメラ１１，１２及び撮像部１０１）で得られた画像（視差画像９００）から路面までの距離を求め、領域設定部（車両姿勢推定部２０３のステップＳ５０２）は、第一の領域９０１と第二の領域９０２と水平ライン上にない第三の領域９０３を画像（視差画像９００）内に設定する。

また、第三の領域９０３は、第一の領域９０１及び第二の領域９０２とは異なる距離の領域である。

以上により、専用の傾斜センサーを設けずに、走行場所や環境に影響されることなく、車両の傾斜角度を正確に推定することができる。

次に、図１０から図１２を参照して、本発明の実施例２に係る車両姿勢推定システム及び車両姿勢推定方法について説明する。本実施例は、傾斜角度処理において、車両１００のピッチ角を推定する例である。なお、実施例１との共通点については重複する説明を省略する。

図１０は、車両ピッチ角を計算する原理を示す図である。図中の太い破線は、車両１００の前後軸である。前後軸は、大まかには車両１００の進行方向と一致するが、あくまでも車体１００を基準に設定されているので、厳密には一致しない。例えば、車両１００の前部が少し上った状態で走行しているような場合、車両１００の進行方向と前後軸とは両者が一致することはない。

この前後軸の先端側（車両１００の前部）が重力の方向に沿って上下に移動することでピッチ角（θ）が成される。そして、車両１００の前部に搭載された左カメラ１１及び右カメラ１２の視差データはピッチ方向の回転に伴う前方路面までの距離を検出し、検出した距離から車両ピッチ角（θ）を算出して出力する。

本実施例における車両ピッチ角（θ）を算出するための傾斜角度算出処理のフローチャートを図１１に示す。本処理では、図１２に示すように、第三領域１２０３の位置を固定し、第二領域１２０２の上の路面に設定する。具体的な位置座標を限定していないが、あまり第二領域１２０２と近過ぎたり、離れた過ぎたりした場合、算出する際の精度が劣化する可能性がある。そのため、第三領域１２０３は第二領域１２０２より約１～２ｍ離れた路面に設定することが望ましい。

例えば、本実施例では、図１２に示すように、視差画像１２００において、第一領域１２０１、第二領域１２０２、第三領域１２０３の各領域と中心座標（１２１１～１２１３）を設定し、第一領域１２０１と第二領域１２０２から算出した距離が同値であり、さらにピッチ角０度時に、第三領域１２０３の測定値を基準距離として、予め設定する。

図１１のステップＳ１１０１において、各領域距離を取得する処理は、第一領域１２０１、第二領域１２０２、第三領域１２０３の各設定領域でそれぞれに写った路面までの距離を取得する処理が行われる。

次に、ステップＳ１１０２において、取得した第一領域１２０１の距離と第二領域１２０２の距離を比較し、両者が同値かを判断する。両者が相違すれば（Ｎｏ）、前回求めた結果から読み出し、ピッチ角とする。

一方、両者が同値であれば（Ｙｅｓ）、ステップＳ１１０３へ移行し、第三領域１２０３の検知距離と基準距離を比較する。

ステップＳ１１０３において、第三領域１２０３の検知距離と基準距離が同値であれば（Ｎｏ）、車両１００は水平であるため、ステップＳ１１０５へ移行し、ピッチ角度θ＝０度と算出する。

一方、両者が相違すれば（Ｙｅｓ）、ステップＳ１１０４へ移行し、傾斜角度（ピッチ角度θ）を計算する。

例えば、第三領域１２０３の測定値をｍ３とし、第三領域１２０３の距離から予め設定した基準距離をｓ３とする。第三領域１２０３から算出した距離ｍ３が基準距離ｓ３より大きい場合（ｍ３＞ｓ３）、車両１００は前部が少し上った状態で走行している。逆に、第三領域１２０３から算出した距離ｍ３が基準距離ｓ３より小さい場合（ｍ３＜ｓ３）、車両は前部が下がった状態になる。第三領域１２０３の距離ｍ３と基準距離ｓ３が同じ場合（ｍ３＝ｓ３）、平坦な道路で走行し、車両ピッチ角０度を出力する（ステップＳ１１０５）。

従って、第三領域１２０３の測定値ｍ３と第三領域１２０３の距離から予め設定した基準距離ｓ３を用いで、下記の式（４）により車両１００の傾斜角（ピッチ角度θ）を算出することができる（ステップＳ１１０４）。

以上のように図１１に示すステップＳ５０４で算出した傾斜角情報を各部に転送する。

傾斜角度管理部２０４では、車両姿勢推定部２０３で求めた車両傾斜角（ピッチ角度θ）とカメラ１１，１２により撮影された画像の対応付けを行い、傾斜のピッチ角を用いて撮像画像を切り出す処理を行う。

車両傾斜情報（ピッチ角度θ）を物体認識部１０３に転送し、認識用世界座標系やカメラ座標系、画像座標系、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）等の位置を補正し、より高精度な認識を行う。

また、車両１００の傾斜角度と走行経路に対する最大傾斜角度、最高車両速度が予め設定されており、転送された車両傾斜情報（ピッチ角度θ）と合わせて車両制御部１０４で判定する。危険な傾斜角を運転者に知らせたり、車両１００の速度をコントロールしたりする等の処理を行う。

以上で説明した本実施例の車両姿勢推定システムによれば、走行環境に限定せずに、車両の傾斜角度（ピッチ角度θ）を正確に推定できるため、適切な認識処理に基づいて補正を実現することができる。また、傾斜角を用いて画像生成部２０１で撮像画像を回転する処理を行うことができる。

なお、本実施例においても、車両１００に設置したリアカメラを用いて、路面まで距離を測定し、車両傾斜角度情報を生成する構成としても良い。

次に、図１３及び図１４を参照して、本発明の実施例３に係る車両姿勢推定システム及び車両姿勢推定方法について説明する。本実施例は、車両傾斜角度を決定する際に、道路の曲率半径を用いる点で実施例１及び実施例２と相違する。なお、実施例１及び実施例２との共通点については重複する説明を省略する。

図１３は、本実施例における車両傾斜角の算出処理のフローチャートを示したものである。

最初に、ステップＳ１３０１において、視差演算部２０２で生成された視差データを取得する。

次に、ステップＳ１３０２において、道路の曲率半径を算出する。

続いて、ステップＳ１３０３において、ステップＳ１３０２で算出した道路の曲率半径と自車速度から、車両傾斜角を求める。

図１４に示すように、走行経路１４００は、実際に車両が走行した経路であるので、視差データに基づいて、カーブ曲率半径１４０１を求めることができる。また、カメラによって道路標識１４０２を検知し、道路標識１４０２に表示された情報から曲率半径を取得する手段もある。

そして、例えば、視差データから計算されたカーブ曲率半径（Ｒ）１４０１と、車速ｖと、重力加速度ｇとから、下記の式（５）により車両の傾斜角（ロール角度φ）を算出することができる。

本実施例によれば、道路の曲率半径から、車両１００の傾斜角の検知が可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記の実施例は本発明に対する理解を助けるために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、本発明の侵害発見の難易性は、視差画像による観点から、平面画像を移し込んだ場合と実画像との差分で検証する方法等がある。

また、上記の各実施例では、車両１００として主に自動二輪車の例を用いて説明したが、本発明は、車体が前後左右に大きく傾斜することを前提としているオフロード四輪車等にも有効である。

また、上述したように、本発明は、推定（算出）した傾斜角度に基づく警告情報を液晶パネル等による画像表示、もしくはスピーカ等による音声や警告音発振により、ドライバに注意喚起を促すＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ）に適用することが可能であり、さらに、推定（算出）した傾斜角度に基づく警告情報を警報通知部１０５に転送するとともに、走行系制御部１０６に転送することで自動運転ＡＤ（Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ）にも適用することが可能である。

１０…計測対象物、１１，１２…カメラ、２１，２２…２次元センサー、３１…左画像、３２…右画像、４１…参照画像、４２…基準ブロック画像、１００…車両、１０１…撮像部、１０２…画像処理部、１０３…物体認識部、１０４…車両制御部、１０５…警報通知部、１０６…走行系制御部、２０１…画像生成部、２０２…視差演算部、２０３…車両姿勢推定部、２０４…傾斜角度管理部、６００，８００，９００，１２００…視差画像、６０１，６０２，８０１，８０２，８０３，９０１，９０２，９０３，１２０１，１２０２，１２０３…検知領域、６１１，６１２，８１１，８１２，８１３，９１１，９１２，９１３，１２１１，１２１２，１２１３…（検知領域の）中心座標、１４００…走行経路、１４０１…カーブ曲率半径、１４０２…道路標識

Claims (10)

1. 車両に搭載された測距装置で取得した路面に対応する測定領域内に、第一の領域と、前記第一の領域と同一の水平ライン上の第二の領域と、を設定する領域設定部と、
   前記車両から前記第一の領域および前記第二の領域のそれぞれの路面までの距離を算出する距離算出部と、
   前記第一の領域および前記第二の領域のそれぞれの路面までの距離、並びに、前記第一の領域および前記第二の領域の位置関係に基づいて、前記車両の傾斜角を求める傾斜角算出部と、
   を有し、
   前記傾斜角算出部は、前記水平ライン上にない第三の領域として、前記第一の領域または前記第二の領域と同じ距離を持つ領域を探索する車両姿勢推定システム。
2. 車両に搭載された測距装置で取得した路面に対応する測定領域内に、第一の領域と、前記第一の領域と同一の水平ライン上の第二の領域と、を設定する領域設定部と、
   前記車両から前記第一の領域および前記第二の領域のそれぞれの路面までの距離を算出する距離算出部と、
   前記第一の領域および前記第二の領域のそれぞれの路面までの距離、並びに、前記第一の領域および前記第二の領域の位置関係に基づいて、前記車両の傾斜角を求める傾斜角算出部と、
   を有し、
   前記距離算出部は、撮像装置で得られた画像から路面までの距離を求め、
   前記領域設定部は、前記第一の領域と前記第二の領域と前記水平ライン上にない第三の領域を前記画像内に設定する車両姿勢推定システム。
3. 請求項２に記載の車両姿勢推定システムにおいて、
   前記第三の領域は、前記第一の領域および前記第二の領域とは異なる距離の領域である車両姿勢推定システム。
4. 車両に搭載された測距装置で取得した路面に対応する測定領域内に、第一の領域と、前記第一の領域と同一の水平ライン上の第二の領域と、を設定する領域設定部と、
   前記車両から前記第一の領域および前記第二の領域のそれぞれの路面までの距離を算出する距離算出部と、
   前記第一の領域および前記第二の領域のそれぞれの路面までの距離、並びに、前記第一の領域および前記第二の領域の位置関係に基づいて、前記車両の傾斜角を求める傾斜角算出部と、
   を有し、
   前記傾斜角算出部は、前記第一の領域および前記第二の領域の位置関係から道路の曲率半径を算出し、
   前記算出した道路の曲率半径と前記車両の車速と重力加速度に基づいて、前記車両の傾斜角を求める車両姿勢推定システム。
5. 請求項１から４のいずれか１項に記載の車両姿勢推定システムにおいて、
   前記測距装置は、複数のカメラを有し、
   前記距離算出部は、前記複数のカメラで撮影した複数の画像から路面までの距離を算出し、
   前記傾斜角算出部は、前記複数のカメラで撮影した複数の画像の視差に基づいて、前記車両の傾斜角を求める車両姿勢推定システム。
6. 車両姿勢推定システムを用いて車両の姿勢を推定する車両姿勢推定方法であって、
   領域設定部が、車両に搭載された測距装置で取得した路面に対応する測定領域内に、第一の領域と、前記第一の領域と同一の水平ライン上の第二の領域と、を設定し、
   距離算出部が、前記車両から前記第一の領域および前記第二の領域のそれぞれの路面までの距離を算出し、
   傾斜角算出部が、前記第一の領域および前記第二の領域のそれぞれの路面までの距離、並びに、前記第一の領域および前記第二の領域の位置関係に基づいて、前記車両の傾斜角を求め、
   前記傾斜角算出部は、前記水平ライン上にない第三の領域として、前記第一の領域または前記第二の領域と同じ距離を持つ領域を探索する車両姿勢推定方法。
7. 車両姿勢推定システムを用いて車両の姿勢を推定する車両姿勢推定方法であって、
   領域設定部が、車両に搭載された測距装置で取得した路面に対応する測定領域内に、第一の領域と、前記第一の領域と同一の水平ライン上の第二の領域と、を設定し、
   距離算出部が、前記車両から前記第一の領域および前記第二の領域のそれぞれの路面までの距離を算出し、
   傾斜角算出部が、前記第一の領域および前記第二の領域のそれぞれの路面までの距離、並びに、前記第一の領域および前記第二の領域の位置関係に基づいて、前記車両の傾斜角を求め、
   前記距離算出部は、撮像装置で得られた画像から路面までの距離を求め、
   前記領域設定部は、前記第一の領域と前記第二の領域と前記水平ライン上にない第三の領域を前記画像内に設定する車両姿勢推定方法。
8. 請求項７に記載の車両姿勢推定方法において、
   前記第三の領域は、前記第一の領域および前記第二の領域とは異なる距離の領域である車両姿勢推定方法。
9. 車両姿勢推定システムを用いて車両の姿勢を推定する車両姿勢推定方法であって、
   領域設定部が、車両に搭載された測距装置で取得した路面に対応する測定領域内に、第一の領域と、前記第一の領域と同一の水平ライン上の第二の領域と、を設定し、
   距離算出部が、前記車両から前記第一の領域および前記第二の領域のそれぞれの路面までの距離を算出し、
   傾斜角算出部が、前記第一の領域および前記第二の領域のそれぞれの路面までの距離、並びに、前記第一の領域および前記第二の領域の位置関係に基づいて、前記車両の傾斜角を求め、
   前記傾斜角算出部は、前記第一の領域および前記第二の領域の位置関係から道路の曲率半径を算出し、
   前記算出した道路の曲率半径と前記車両の車速と重力加速度に基づいて、前記車両の傾
   斜角を求める車両姿勢推定方法。
10. 請求項６から９のいずれか１項に記載の車両姿勢推定方法において、
    前記距離算出部は、複数のカメラで撮影した複数の画像から路面までの距離を算出し、
    前記傾斜角算出部は、前記複数のカメラで撮影した複数の画像の視差に基づいて、前記車両の傾斜角を求める車両姿勢推定方法。

Images