JP6992452B2

JP6992452B2 - 情報処理装置及び情報処理システム

Info

Publication number: JP6992452B2
Application number: JP2017230886A
Authority: JP
Inventors: 英之原
Original assignee: Isuzu Motors Ltd
Current assignee: Isuzu Motors Ltd
Priority date: 2017-11-30
Filing date: 2017-11-30
Publication date: 2022-01-13
Anticipated expiration: 2037-11-30
Also published as: JP2019101671A

Description

本開示は情報処理装置及び情報処理システムに関し、特に、車両に搭載されて車両前方から後側方に存在する白線の状態を取得する技術に関する。

ＬＫＡＳ（Lane Keeping Assist System）やＬＫＳ（Lane Keeping System）などに代表される運転支援装置に搭載される白線認識では、前方カメラで撮影した路面映像を画像処理にかけることで画像上の座標系での白線の位置を検出する（例えば、特許文献１を参照）。

特開２００４－１９９３４１号公報

運転支援装置においては、認識した白線に基づいて操舵制御を実行する。このため、白線の推定値の精度が十分でないと操舵制御に悪影響を与える場合がある。したがって、白線認識において推定処理の精度、特にノイズ低減が望まれている。

本開示はこれらの点に鑑みてなされたものであり、白線認識におけるノイズを低減する技術を提供することを目的とする。

本開示の第１の態様は、車両の走行状態と、前記車両の進行方向前方の道路を被写体に含む画像である前方画像とに基づいて、前記道路に存在する白線の状態を示す変数を含む状態変数を推定するための情報処理装置である。この装置は、推定した前記状態変数に基づいて、前記道路に存在する白線の位置の推定値である推定座標を算出する白線位置推定部と、前記走行状態に基づいて、前記白線位置推定部が過去に算出した推定座標を、前記車両の進行方向後方に存在する白線の位置を示す後方座標に変換する座標変換部と、前記前方画像を基準として設定された座標軸における座標であって、前記前方画像に存在する白線の位置を示す座標である前方座標を、前記前方画像から検出する前方座標検出部と、前記後方座標と前記前方座標とを観測量とし、前記状態変数の状態空間モデルを用いて前記状態変数の推定値を更新する状態推定部と、を備える。

前記状態推定部は、前記白線の曲率及び前記車両の正面方向に対する前記曲率の変化率を前記状態変数に含む状態空間モデルを用いて、前記状態変数の推定値を更新してもよい。

前記座標変換部は、前記車両の速度とヨーレートとを前記走行状態として取得してもよく、前記前方画像の撮像時刻よりも過去において前記白線位置推定部が算出した前記推定座標を、前記後方座標に変換してもよい。

前記状態推定部は、前記状態変数の時間遷移を表す状態方程式と、前記観測量と前記状態変数との関係を記述する観測方程式とを含むカルマンフィルタを用いて前記状態変数の推定値を更新してもよく、前記観測方程式は、クロソイド曲線を近似する曲線で前記白線をモデル化した方程式であってもよい。

本開示の第２の態様は、車両に搭載される情報処理システムである。このシステムは、前記車両の進行方向前方の道路を被写体に含む画像である前方画像を取得するカメラと、前記車両の走行状態を取得するセンサと、上述した情報処理装置と、を備える。

本開示によれば白線認識におけるノイズを低減することができる。

レーンキープシステムの処理を示す図である。ピンホールカメラモデルを説明するための図である。車両座標系におけるＹ軸とＺ軸との間の関係を示す図である。車両の動きに基づく白線位置の座標変換を示す図である。白線の状態と白線の形状との定義を示す図である。カルマンフィルタによる白線の曲率の推定値を示す図である。車線中心までの横範囲の推定値を示す図である。白線に対する方位角の推定値を示す図である。実施の形態に係る情報処理システムの概要を説明するための模式図である。実施の形態に係る情報処理装置の機能構成を模式的に示す図である。実施の形態に係る情報処理装置が実行する状態変数の更新処理の流れを説明するためのフローチャートである。

以下本発明を好適な実施の形態をもとに説明する。まず、実施の形態の基礎となる理論を前提技術として述べ、その後、具体的な実施の形態を説明する。

＜前提技術＞
実施の形態の基礎となる技術は、後側方の白線座標を用いたカルマンフィルタによって白線状態推定のノイズを低減する技術である。

［１．緒言］
ＬＫＡＳやＬＫＳなどに代表される運転支援装置に搭載される白線認識では、図１に示すように、前方カメラで撮影した路面映像を画像処理にかけることで画像上の座標系での白線の位置を検出する。その後、検出した白線座標を車両運動の制御に有為な情報、すなわち、車両中心と白線との距離である横変位、車両の白線に対する方位角及び白線の曲率へと変換する。この変換処理のことを白線の状態推定処理と呼ぶ。このとき、推定値の精度が十分でないと操舵制御に悪影響を与える場合がある。そのため、推定処理の精度、特にノイズ低減性能が高いことが望ましい。

上述の推定処理には処理速度及び推定値の低ノイズ化の観点からカルマンフィルタが広く用いられている（参考文献１）。ただし、白線状態推定のカルマンフィルタでは一般的にノイズ低減性能と推定精度がトレードオフの関係にある。例えば、曲率の推定値に含まれるノイズを極力減らすようフィルタを設計すると、急カーブ等の曲率の変化率が高い状況での推定精度が低下する。一方、白線状態推定とは異なる高精度地図とのマッチングによる自己位置推定問題において、参考文献２では、前方カメラに加え、車両の周囲の複数のカメラから取得した車両周辺の車線情報を用いることで、車線レベルでの自己位置推定の精度が向上することが報告されている。その際、カメラにより取得した現在の車線情報のみではなく、過去の車線情報を統合することで車両周辺の車線形状の認識精度を向上させている。

そこで、本実施の形態では、白線状態推定問題に対して前方以外の車線情報を利用することによる推定性能の向上を試みる。すなわち、通常用いられる前方白線の座標に加え、新たに車両の後側方の白線座標を白線状態推定のカルマンフィルタの観測量として導入する。その際、車両の後側方の白線座標は各時刻における白線の横変位の推定値及び車両の運動の履歴を用いて推定する。これにより、後側方の白線座標を取得するための後方カメラは不要となり、既存の車線維持装置と同様の装置の構成で提案手法による白線認識を実行できる。なお、後側方の白線座標はセンサによる観測によって得られる値ではないため、本物の観測量ではない擬似的な観測量である。加えて、後側方の白線座標を用いれば、前方白線の一部又は全てが汚れや逆光などにより一時的にカメラから検出できなかった場合にも後側方の白線のみを観測量として安定した推定値が得られるようになるという効果も期待できる。また、本実施の形態では白線形状の近似式として曲率の変化率を考慮可能な三次曲線を採用する。そして、提案したカルマンフィルタによる車両走行時の白線状態推定を実施し、最大曲率の推定性能及び推定値のノイズについて従来のカルマンフィルタにより得られる推定値と比較する。

［２．画面座標系及び車両座標系］
本実施の形態ではカメラ画像の中心を原点とし、画像の右方向にｘ軸、上方向にｙ軸を設けた座標系を画面座標系と呼ぶ。一方、現実世界における座標系としてカメラ取り付け位置を原点とし、カメラの光軸方向にＺ軸、車両右手方向にＸ軸、これら２つの軸に垂直な方向にＹ軸を設ける車両座標系を定義する。画面座標系及び車両座標系の関係が図２に示すようなピンホールカメラモデルにより与えられるとすれば、各座標の関係式は次式のように表される。

ここで、ｆはカメラの焦点距離である。ただし、上式のみでは二次元座標である画面座標系から三次元座標である車両座標系への変換は一意に定まらない。そこで、白線は常に路面上に存在することからＹ座標及びＺ座標の間に図３の幾何学的関係から得られる次式の条件を適用することで、画面座標上のある点を車両座標の一点と対応させる。

ここで、ηはカメラの俯角、ｈはカメラの取り付け位置の路面からの高さである。なお、式（３）においては俯角ηが微小であるとしている。

［３．後側方の白線座標の計算方法］
本実施の形態では、車両の運動の情報から運動後の車両の後側方白線の点の座標を計算する方法について述べる。まず、図４（ａ）に示す、ある時間ステップｋでの左後側方の白線上の車両前面近傍からＩ番目の点の車両座標系における座標値を（Ｘ^ｋ _ＬＩ，Ｚ^ｋ _ＬＩ）とおく。また、同じ点の図４（ｂ）に示す車両が移動した後の時間ステップｋ＋１での車両座標系での座標値を（Ｘ^ｋ＋１ _ＬＩ，Ｚ^ｋ＋１ _ＬＩ）とする。このとき、座標値（Ｘ^ｋ _ＬＩ，Ｚ^ｋ _ＬＩ）及び（Ｘ^ｋ＋１ _ＬＩ，Ｚ^ｋ＋１ _ＬＩ）の関係は二次元の座標変換を用いることで次式のように表すことができる。

ここで、ΔΨ_ｋ＝γ_ｋΔｔ_ｋであり、γ_ｋは車両のヨーレート、Δｔ_ｋはステップ間の時間増分を表す。また、（Ｘ^ｋ _Ｄ，Ｚ^ｋ _Ｄ）は時間ステップｋでの車両座標系から見た Δｔ_ｋ後のカメラ位置の移動先であり、車両の速度Ｖ_ｋ及びヨーレートγ_ｋを用いた自律航法により算出する。一方、後側方の点が存在しない場合又は前回新しい後側方の点を生成してから一定距離を走行した際には車両の真横に新しく点を生成する。そのような場合、式（４）及び式（５）を用いず、代わりに次式を用いて時刻ｋ＋１での各点の座標を計算する。

ここで、Ｕ_Ｌｋは時間ステップｋにおいて推定されている左白線までの横変位である。上述の計算を各時間ステップにおいてＩ＝１～Ｎに対して実行することで、後側方の白線の座標値を更新する。ただし、Ｎは左白線又は右白線の後側方の点の数である。

なお、右の白線の座標値（Ｘ^ｋ＋１ _ＲＩ，Ｚ^ｋ＋１ _ＲＩ）についても（Ｘ^ｋ _ＲＩ，Ｚ^ｋ _ＲＩ）及びＵ_Ｒｋを用いて式（４）～（９）と同様に計算する。

［４．白線状態推定のカルマンフィルタ］
［４．１．カルマンフィルタの構成］
カルマンフィルタは状態変数の時間遷移を表す状態方程式による予測ステップ及び観測量と状態変数の関係を記述する観測方程式による修正ステップから構成される。本実施の形態では車両に対する白線の状態を状態変数とし、白線上の点の座標値を観測量として扱う。また、本実施の形態では状態方程式は線形となる一方、観測方程式は非線形となる。そのため、非線形系にも対応可能な拡張カルマンフィルタ（参考文献３）を採用する。以下に観測方程式のみが非線形となる場合のカルマンフィルタの構成を示す。

ここで、式（１０）～（１４）における各変数の意味はそれぞれ以下のとおりである。
ｘ_ｋ：状態変数ベクトル
ｙ_ｋ：観測量ベクトル
ｇ_ｋ：状態変数から観測量を算出する非線形関数
Ａ_ｋ：状態遷移行列
Ｂ_ｋ：プロセスノイズの状態空間への写像行列
Ｃ_ｋ：状態変数を観測空間へ写像する観測行列
Ｐ_ｋ：状態変数の誤差の共分散行列
Ｑ_ｋ：プロセスノイズの共分散行列
Ｒ_ｋ：観測ノイズの共分散行列
Ｋ_ｋ：最適カルマンゲイン
Ｉ：単位行列

また、（^－）及び（＾）はそれぞれｘ_ｋ又はＰ_ｋの予測量及び修正量を表す。式（１０）～（１４）の計算を各時間ステップｋにおいて実行し、ｘ_ｋ及びＰ_ｋを逐次更新することで、最も確からしい白線の状態ｘ_ｋを得る。

［４．２．状態方程式］
白線の状態を表す状態変数として本実施の形態では図５に示す車両中心から車線中心までの横変位Ｕｃ、白線の曲率ρ、白線の接線に対する車両の方位角θ及び車線幅Ｗを採用する。また、道路構造令（参考文献４）によれば、日本の道路は直線路、曲率一定の曲線路及び曲率が曲線長に比例して変化する緩和曲線路、すなわち、クロソイド曲線によって構成されている。そこで、本実施の形態ではクロソイドパラメータを推定可能となるよう曲率の車両進行方向への変化率ε≡∂ρ／∂ｚを状態変数に加える。また、参考文献１と同様にカメラの設置緒元である俯角ηを状態変数として考慮する。さらに、曲率ρ以外の状態変数はプロセスノイズのみによって変動するものとし、曲率ρはノイズに加え、その時点で推定されているεに次のステップまでに移動する距離を乗じた分だけ増減するものとしてモデル化する。以上より、本実施の形態ではカルマンフィルタの状態方程式を次式のように構築する。

ただし、式（１６）は式（１５）のベクトル及び行列の各成分を表している。ここで、ｖ_ｋは各状態変数に対応するプロセスノイズであり、カルマンフィルタの理論体系では平均値が零、共分散行列がＱ_ｋの多変量正規分布に従うと仮定する。また、ΔＺ_ｋは単位ステップの間に車両がＺ軸方向へ進む距離であり、車両の速度Ｖ_ｋ及びヨーレートγ_ｋを用いてΔＺ_ｋ＝Ｖ_ｋΔｔ_ｋｃｏｓ（γ_ｋΔｔ_ｋ）のように計算する。

［４．３．観測方程式］
一般に曲率の変化率が一定であるクロソイド曲線は、三次曲線で近似できることが知られており、本実施の形態ではクロソイド状態変数εを観測量によって補正可能となるよう白線形状を三次曲線によって近似する。すなわち、各状態変数を用いて車両座標系における白線の近似方程式を以下の式（１７）のように表す（図５）。

ここで、ｉは左右の白線の識別を表し、左白線の場合には零、右白線の場合には１になるものとする。ただし、式（１７）の導出においては横変位Ｕｃ及び方位角θがカメラ位置の真横での値であることを、曲率ρ及びその変化率εが曲線の頂点での値であることを仮定している。加えて、θは微小であり、ρと比較してεは十分に小さいとしている。

また、式（１）～（３）を用いて式（１７）から車両座標Ｘ及びＺを消去し、前方白線の観測量である画面座標ｘ及びｙを用いて表すことで前方白線座標に対する観測方程式を導出する。一方、後側方の白線座標は車両座標系で記述されることから式（１７）を後側方の各点について並べ、観測ノイズを加えたものが後側方白線に対する観測方程式となる。以上より、本実施の形態で用いる観測方程式が次式のように得られる。

ただし、式（１９）及び式（２０）はそれぞれ式（１８）のベクトルのｊ番目又はＪ番目の成分をしており、式（１９）が前方白線の点に対する観測方程式に、式（２０）が後側方白線の点に対する観測方程式に対応する。なお、ｎ_Ｌ、ｎ_Ｒ、Ｎ_Ｌ及びＮ_Ｒをそれぞれ前方左白線、前方右白線、後側方左白線及び後側方右白線の点の数とすれば、Ｊ＝１～（ｎ_Ｌ＋ｎ_Ｒ）、Ｊ＝（ｎ_Ｌ＋ｎ_Ｒ＋１）～（ｎ_Ｌ＋ｎ_Ｒ＋Ｎ_Ｌ＋Ｎ_Ｒ）となる。また、式（１８）のｗ_ｋは各観測量に対応する観測ノイズであり、カルマンフィルタの理論体系では平均値が零、共分散行列がＲ_ｋの多変量正規分布に従うと仮定する。さらに、拡張カルマンフィルタでは式（１８）の非線形関数ｇ_ｋを時刻ｋで予測された状態変数の近傍で線形化することで観測行列Ｃ_ｋを求める。すなわち、観測行列をＣ_ｋ＝∂ｇ_ｋ(ｘ_ｋ)／∂ｘ_ｋのように計算する。

［５．推定結果及び検討］
［５．１．推定条件］
推定対象の試験データは大小のカーブを含む試験路を走行時に車両前方の路面を撮影した映像データとした。その際、撮影に用いたカメラの諸元は表１のとおりである。

ここで、ｕはピクセルあたりの実距離、ｘ^ｐ _ｍａｘ及びｙ^ｐ _ｍａｘはそれぞれ画像の横及び縦方向の最大ピクセル数である。同データから画像処理により抽出された左右それぞれ１０個の白線上の点の画面座標ならびに車両の速度Ｖ_ｋ及びヨーレートγ_ｋをカルマンフィルタへの入力データとした。また、後側方の白線については約３メートル間隔で左右それぞれ最大１０個の点を生成し、カルマンフィルタの観測量として用いた。すなわち、ｎ_Ｌ＝ｎ_Ｒ＝Ｎ_Ｌ＝Ｎ_Ｒ＝１０とした。

また、カルマンフィルタの設定値であるプロセスノイズ及び観測ノイズの共分散行列の各成分をそれぞれ式（２１）及び式（２２）のように定義した。

ここで、曲率一定路を走行中にはより変動の少ない曲率の推定値が得られるようεの推定値に応じてＱ_ρｋ及びＱ_εｋの値を変化させるものとした。また、Ｒ_１～Ｒ_２０は前方白線の観測ノイズに対する共分散、Ｒ_２１～Ｒ_４０は後側方白線の観測ノイズに対する共分散である。以上の共分散行列の各成分の値を曲率の推定値が道路設計値と近くなり、同時に推定値のノイズが極力少なくなるよう調整し、推定に用いた。

さらに、次節では本実施の形態で提案したカルマンフィルタによる推定結果との比較のために参考文献１と同様に前方白線座標のみを観測量とし、二次曲線によって白線形状を近似する従来のカルマンフィルタによる推定結果を併せて掲載する。ただし、従来のカルマンフィルタに入力データとして与える白線上の点の画面座標は本実施の形態で提案したカルマンフィルタに対する入力と同様の値である。

［５．２．推定結果］
図６に前節で述べた推定条件のカルマンフィルタによる曲率ρの推定値を示す。まず、図６（ａ）を見ると提案したカルマンフィルタによる曲線路での曲率の推定値は従来のカルマンフィルタによる推定値と同様に比較的道路設計値と近い値となっている。このことから提案モデルにおいて急な曲線路における最大曲率の推定性能が損なわれていないことがわかる。また、図６（ｂ）はノイズ低減性能について比較するために図６（ａ）の０～２００ｓの区間を拡大した図である。同図において、提案モデルによる推定値は従来モデルによる推定値と比較して大きく振動が抑えられており、ノイズが減少している。さらに、このノイズの大きさを定量的に評価するために図６（ｂ）の１１５～１７３ｓの曲率一定の曲線路における曲率の平均値及び分散値を計算した結果を表２に示す。表２より、提案モデルでは従来モデルと比較して分散値が６分の１程度まで減少していることがわかる。

次に、従来モデル及び提案モデルによる車線中心線までの横変位Ｕｃ及び白線に対する方位角θの推定値をそれぞれ図７及び図８に示す。図７及び図８のいずれにおいても提案モデルを用いた場合には従来モデルと比較して推定値の細かい振動が少なくなっており、ノイズが減少していると言える。なお、横変位及び方位角は車両の運動に依存して値が変化するため、道路設計値が既知である曲率のように推定値の正確性について議論することは難しい。ただし、提案モデルによる横変位及び方位角の推定値は従来モデルによる推定値の平均的挙動とほぼ一致しており、提案モデルの推定精度に特に問題はないと考えられる。

以上のように本実施の形態で提案したモデルを用いることで、各状態変数の推定ノイズが低減される理由は次のように考えられる。まず、後側方の白線座標は横変位の推定値、すなわちカルマンフィルタにより一度フィルタリングされた値及び車両の運動の情報のみから算出している。そのため、車速及びヨーレートを取得する慣性センサのノイズは含まれるもののカメラによる観測ノイズが直接含まれていない。したがって、後側方白線の座標は前方白線の座標と比較してノイズが少なく、これが観測量に加わることで推定値も低ノイズ化したと考えられる。

［６．結言］
本実施の形態では、前方カメラの映像から検出された白線の画面座標から実際の白線の位置及び形状を推定する白線状態推定問題において、前方白線に加え、新たに後側方の白線の座標を観測量に加えるカルマンフィルタを構築した。その際、後側方の白線の座標を後方カメラにより検出するのではなく、過去の車両の運動の情報を用いて推定した。また、白線形状の近似方程式として道路のクロソイドパラメータを考慮可能な三次曲線を採用した。上述の新たに構築したカルマンフィルタを用いることで、車両走行時の白線状態推定において後側方の白線を用いない従来のカルマンフィルタと同程度の最大曲率を推定すると同時に推定値のノイズを大きく減らすことが可能となった。

［参考文献］
（１）白土良太、古性裕之、毛利宏、辻正文、“画像処理による道路形状・車両挙動の推定”、自動車技術会学術講演会前刷集、 No.115-00, 178(2000), pp. 13-16.
（２）田中裕也、早瀬茂規、嘉藤俊介、萬谷潔、工藤真、“デジタル地図とカメラセンサ情報の統合によるレーンレベルの自己位置推定”、公益社団法人自動車技術会
2017年春季大会学術講演会講演予稿集、 030(2017), pp. 160-165.
（３）足立修一、丸太一郎、カルマンフィルタの基礎(2012)、東京電気大学出版局。
（４）社団法人日本道路協会、道路構造令の解説と運用(2004)、丸善株式会社。

＜具体例＞
以上を前提技術として、実施の形態について説明する。
図９は、実施の形態に係る情報処理システムＳの概要を説明するための模式図である。図９に示す例では、情報処理システムＳは運転者Ｄが運転する車両Ｖに搭載されており、情報処理装置１、カメラ２、及びセンサ３を含んでいる。なお、実施の形態に係る情報処理システムＳは、運転者Ｄが搭乗しない自動運転で走行する車両Ｖに搭載されてもよい。

カメラ２は、車両Ｖの進行方向前方の道路を被写体に含む画像である前方画像を取得する。カメラ２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の既知の固体撮像素子を用いて実現される。

センサ３は、車両Ｖの走行状態を取得する。具体的には、センサ３は、車両Ｖの速度、車両Ｖの加速度、車両Ｖのヨー角の変化する速さヨーレート等の物理量を、車両Ｖの走行状態として取得する。

情報処理装置１は、前方画像と走行状態とに基づいて、道路に存在する白線の状態を示す変数を含む状態変数を推定する。以下、情報処理装置１の推定処理について図１０を参照して説明する。

図１０は、実施の形態に係る情報処理装置１の機能構成を模式的に示す図である。実施の形態に係る情報処理装置１は、記憶部１０と制御部１１とを備える。

記憶部１０は、ＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Drive）等の不揮発性記憶装置、及びＤＲＡＭ（Dynamic Random Access Memory）等の一時記憶部を含む。不揮発性記憶装置は、実施の形態に係る情報処理装置１を実現するための各種プログラム及びデータベースの格納部として機能する。一時記憶部は、制御部１１の作業メモリとして機能する。

制御部１１は、車両ＶのＥＣＵ（Electronic Control Unit）等のプロセッサである。制御部１１は、記憶部１０に格納されているプログラムを実行することにより、白線位置推定部１１０、座標変換部１１１、前方座標検出部１１２、及び状態推定部１１３として機能する。

白線位置推定部１１０は、推定されている状態変数に基づいて、道路に存在する白線の位置の推定値である推定座標を算出する。前提技術の［４．２．状態方程式］において説明したように、情報処理装置１が用いるカルマンフィルタの状態変数には、車両中心から車線中心までの横変位Ｕｃ及び車線幅Ｗが含まれる。これらの状態変数を用いることにより、白線位置推定部１１０は、前提技術の［２．画面座標系及び車両座標系］で説明した車両座標系における車両Ｖの真横に存在する白線の位置の推定値を推定する。

なお、情報処理装置１が用いるカルマンフィルタの状態変数には、車両中心から車線中心までの横変位Ｕｃ及び車線幅Ｗの他、白線の曲率ρ及び白線の接線に対する車両Ｖの方位角θも含まれる。白線位置推定部１１０は、これらの情報を用いることにより、車両Ｖの真横に存在する白線の位置に加えて、車両Ｖの前後に存在する白線の位置を推定してもよい。

座標変換部１１１は、車両Ｖの走行状態に基づいて、白線位置推定部１１０が過去に算出した推定座標を、車両Ｖの進行方向後方に存在する白線の位置を示す後方座標に変換する。

車両Ｖは走行しているため、車両座標系の原点は刻一刻と変化する。したがって、白線位置推定部１１０がある時刻に算出した推定座標と、別の時刻に算出した推定座標とは、座標系の原点が異なることになる。

そこで、座標変換部１１１は、車両Ｖの速度とヨーレートとを走行状態として取得する。座標変換部１１１は、車両Ｖの速度とヨーレートとに基づいて、処理対象としている前方画像の撮像時刻よりも過去において白線位置推定部１１０が算出した推定座標を、現在の車両座標系における座標に変換する。具体的には、座標変換部１１１は、前提技術の［３．後側方の白線座標の計算方法］で説明した式（４）及び式（５）に基づいて、白線位置推定部１１０が過去に算出した推定座標を車両座標系における後方座標に変換する。

なお、座標変換部１１１は、前提技術の［３．後側方の白線座標の計算方法］で説明したように、後側方の点が存在しない場合又は前回新しい後側方の点を生成してから一定距離を走行した際には、式（６）及び式（７）に基づいて車両Ｖの真横に新しく点を生成する。その後、座標変換部１１１は、式（８）及び式（９）に基づいて、既存の後側方の点の座標を現在の車両座標系における座標に変換する。

このように、座標変換部１１１は、状態変数に基づいて推定された白線位置である前方座標を座標変換することにより、後方座標を算出する。したがって、座標変換部１１１が算出する後方座標も、状態変数に基づく推定値であり、センサ３が撮像した前方画像を解析することによって直接得られた検出値ではない。

前方座標検出部１１２は、カメラ２が取得した前方画像から、その前方画像に存在する白線の位置を示す座標である前方座標を検出する。したがって、前方座標検出部１１２が検出する前方座標は、前方画像を基準として設定された座標軸における座標である。このように、前方座標は前方画像から直接検出された測定値であり、この点で推定値である後方座標とは異なる。

状態推定部１１３は、座標変換部１１１が算出した後方座標と前方座標検出部１１２が検出した前方座標とを観測量とし、状態変数の状態空間モデルを用いて状態変数の推定値を更新する。具体的には、状態推定部１１３は、前提技術の［４．白線状態推定のカルマンフィルタ］で説明したアルゴリズムに基づいて、状態変数を更新する。

後方座標は、状態変数に基づいて導出された座標であるため、厳密には「観測量」ではない。しかしながら、実施の形態に係る情報処理装置１は、前方座標検出部１１２が前方画像から直接検出した前方座標のみならず、後方座標も「観測量」とみなして状態変数を更新する。

後方座標はカルマンフィルタを用いて推定された状態変数に由来するため、前方画像から直接検出された前方座標よりもノイズが小さいことが期待できる。このため、前方座標のみを観測量として状態変数を更新する場合と比較して、状態変数の推定値のノイズが低減されることが期待できる。ゆえに、実施の形態に係る情報処理装置１は、白線認識におけるノイズの低減に効果がある。さらに、何らかの理由でカメラ２が前方画像の撮像に失敗したり、前方画像における白線の検出に失敗したりしても、後方座標に基づいて状態変数の推定を継続することができる。

前提技術の［４．２．状態方程式］において説明したように、我が国の道路は直線路、曲率一定の曲線路及び曲率が曲線長に比例して変化する緩和曲線路、すなわち、クロソイド曲線によって構成されている。ここで、直線路、曲率一定の曲線路は、道路を走行する車両Ｖの正面の方向に対する曲率の変化率が０であり、クロソイド曲線は車両Ｖの正面方向に対する曲率の変化率が一定である。いずれにしても、車両Ｖの正面方向に対する曲率の変化率を用いて表現できる。

そこで、実施の形態に係る状態推定部１１３は、白線の曲率及び車両Ｖの正面方向に対する曲率の変化率を状態変数に含む状態空間モデルを用いて、状態変数の推定値を更新する。特に、式（１６）に示すように、曲率ρの更新はプロセスノイズによる変動に加え、その時点で推定されている曲率の変化率εに車両Ｖの移動量を乗じた値も変動するようにモデル化されている。これにより、実施の形態に係る状態推定部１１３は、実際の道路形状の特性を状態変数の更新に反映させることができる。

前提技術の［４．１．カルマンフィルタの構成］において説明したように、状態推定部１１３は状態変数の時間遷移を表す状態方程式と、観測量と状態変数との関係を記述する観測方程式とを含むカルマンフィルタを用いて状態変数の推定値を更新する。ここで、情報処理装置１は、白線がクロソイド曲線に基づく道路に沿って存在していることを仮定している。

より具体的には、実施の形態に係る情報処理装置１において、式（１７）で示すクロソイド曲線を近似する三次曲線として白線がモデル化されており、観測方程式は式（１７）に基づいて構築される。なお、前方白線に対する観測方程式は式（１９）に示すように状態変数に関する非線形関数として記述されている。そこで、状態推定部１１３は、前提技術の［４．３．観測方程式］で説明したように、式（１８）のｇ_ｋを時刻ｋで予測された状態変数の近傍で線形化することで観測行列Ｃｋを求める。

このように、実施の形態に係る状態推定部１１３は、実際の道路形状の特性を観測方程式に反映させているので、状態変数の推定精度をより高めることができる。

図１１は、実施の形態に係る情報処理装置１が実行する状態変数の更新処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば車両Ｖのエンジンが始動したときに開始する。

白線位置推定部１１０は、道路に存在する白線の状態を示す変数を含む状態変数に基づいて、白線の位置の推定値である推定座標を算出する（Ｓ２）。座標変換部１１１は、車両Ｖの走行状態に基づいて、白線位置推定部１１０が過去に算出した推定座標を、車両Ｖの進行方向後方に存在する白線の位置を示す後方座標に変換する（Ｓ４）。

前方座標検出部１１２は、カメラ２が撮像した前方画像に存在する白線の位置を示す画面座標系における座標である前方座標を、前方画像から検出する（Ｓ６）。状態推定部１１３は、後方座標と前方座標とを観測量とし、状態変数のカルマンフィルタを用いて状態変数の推定値を更新する（Ｓ８）。

状態変数の更新処理を継続する間（Ｓ１０のＮｏ）、情報処理装置１はステップＳ２に戻り、更新後の状態変数に基づいてステップＳ２からステップＳ８までの処理を繰り返す。これにより、車両Ｖが走行中であっても、過去に推定した状態変数に基づく白線位置の推定値を後方座標に変換し、その変換座標を観測量に含めて状態変数を更新することができる。

例えば、車両Ｖのエンジンが停止する等の理由によって状態変数の更新処理を終了すると（Ｓ１０のＹｅｓ）、本フローチャートにおける処理は終了する。

以上説明したように、実施の形態に係る情報処理装置１によれば、白線認識におけるノイズを低減することができる。さらに、何らかの理由でカメラ２が前方画像の撮像に失敗したり、前方画像における白線の検出に失敗したりしても、後方座標に基づいて状態変数の推定を継続することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

１・・・情報処理装置
１０・・・記憶部
１１・・・制御部
１１０・・・白線位置推定部
１１１・・・座標変換部
１１２・・・前方座標検出部
１１３・・・状態推定部
２・・・カメラ
３・・・センサ
Ｓ・・・情報処理システム

Claims

車両の走行状態と、前記車両の進行方向前方の道路を被写体に含む画像である前方画像とに基づいて、前記道路に存在する白線の状態を示す変数を含む状態変数を推定するための情報処理装置であって、
推定した前記状態変数に基づいて、前記道路に存在する白線の位置の推定値である推定座標を算出する白線位置推定部と、
前記走行状態に基づいて、前記白線位置推定部が過去に算出した推定座標を、前記車両の進行方向後方に存在する白線の位置を示す後方座標に変換する座標変換部と、
前記前方画像を基準として設定された座標軸における座標であって、前記前方画像に存在する白線の位置を示す座標である前方座標を、前記前方画像から検出する前方座標検出部と、
前記後方座標と前記前方座標とを観測量とし、前記状態変数の状態空間モデルを用いて前記状態変数の推定値を更新する状態推定部と、を備える、
情報処理装置。
前記状態推定部は、前記白線の曲率及び前記車両の正面方向に対する前記曲率の変化率を前記状態変数に含む状態空間モデルを用いて、前記状態変数の推定値を更新する、
請求項１に記載の情報処理装置。
前記座標変換部は、前記車両の速度とヨーレートとを前記走行状態として取得し、前記前方画像の撮像時刻よりも過去において前記白線位置推定部が算出した前記推定座標を、前記後方座標に変換する、
請求項１又は２に記載の情報処理装置。
前記状態推定部は、前記状態変数の時間遷移を表す状態方程式と、前記観測量と前記状態変数との関係を記述する観測方程式とを含むカルマンフィルタを用いて前記状態変数の推定値を更新し、
前記観測方程式は、クロソイド曲線を近似する曲線で前記白線をモデル化した方程式である、
請求項１から３のいずれか一項に記載の情報処理装置。
車両に搭載される情報処理システムであって、
前記車両の進行方向前方の道路を被写体に含む画像である前方画像を取得するカメラと、
前記車両の走行状態を取得するセンサと、
請求項１から４のいずれか一項に記載の情報処理装置と、
を備える情報処理システム。