JP4926127B2 - 移動体搭載用前方撮像制御装置 - Google Patents

Description

本発明は、道路を走行する移動体、例えば車両に搭載され、路面を視界に含む画像センサー系に対するものであり、特に走行面に対する撮像系の姿勢を自動推定する機能を有する移動体搭載用前方撮像制御装置に関する。

車体の安定制御等を行う目的にて、車載用前方撮像装置は、走行中の自車位置を検出するため、車両前方部に設けられている。
この車載用前方撮像装置は、車両に搭載された状態にて路面を含む車外環境を観測するため、取り付け誤差や荷重状態によって、車両及び路面表面に対するカメラ（撮像部）の姿勢が設計時の標準姿勢から変化する。
したがって、このようなカメラで得られる画像を用い、撮像装置の設置時からの姿勢のずれを補償するため、車線（路面に描かれた白線等）認識や消失点認識を行い、姿勢推定を行うことにより、撮像装置の撮像した画像を用いて車線認識や障害物検出を行う機器が想定した性能を満たすように、撮像装置の姿勢のずれに対する補正を行う必要がある。

従来の技術としては、直線状態の車線の中央を直進して走行している際、路面に描かれた車線とその消失点とにより、撮像手段の姿勢を表すパラメーターを補正し、撮像手段の姿勢のずれ、すなわち光軸のずれを、画像処理により調整する（例えば、特許文献１参照）。
また、従来の技術としては、測定パラメーター分布のヒストグラムから最も頻度の高い値（最頻値）を選択し、その最頻値を推定値として、撮像装置の光軸を画像処理により修正する（例えば、特許文献２参照）。

また、従来の技術としては、消失点候補を原点に極座標変換した輝度画像の射影から求めた車線境界を示す白線に起因するピークを検出することにより、車線位置及び消失点を求める（例えば、特許文献３参照）。
特開２００２−２５９９９５号公報 特開平１１−３３７３１０号公報 特開２００２−１５０３０２号公報

しかしながら、特許文献１に示す技術にあっては、路面において白線をレーン境界マーキングとして用いない地域において、撮像手段の姿勢を表すパラメーターを得ることができず、撮像手段の姿勢角値の補正を行うことができない欠点がある。
特許文献２に示す技術にあっては、各測定パラメーター分布において、同一の測定値であっても、ヒストグラムの量子化方法によって最頻値が変化するため、画像の補正に誤差が発生する欠点がある。また、特許文献２に示す技術にあっては、量子化単位を細かくして誤差を小さくしようとすると、推定値として妥当な最頻値を得るには多数の測定値を必要とする欠点がある。

また、特許文献３の示す技術にあっては、特許文献１と同様に、路面の白線を基準として消失点等の認識を行うため、路面において白線をレーン境界マーキングとして用いない地域において、撮像手段の姿勢角値の補正を行うことができない欠点がある。
本発明は、このような事情に鑑みてなされたもので、路面の白線に依存せずに、特徴点の無い路面でも安定した頻度にて姿勢の測定が行え、少ない測定値にて高い精度の姿勢角ずれの推定が行なえる撮像装置姿勢パラメーター補正機能を備えた車載用前方撮像制御装置の提供を目的とする。

本発明の移動体搭載用前方撮像制御装置は、既定の方向の路面の領域を撮像する撮像手段が撮像した画像を入力し、撮像手段の姿勢角を推定する移動体搭載用前方撮像制御装置であり、前記画像の各画素を仮想的な路面表面の２次元平面上に前記撮像手段の光学モデルに従う座標変換により対応付ける投影変換手段と、前記２次元平面に仮想的に投影された投影画像において、直進方向を縦軸として、該投影画像を遠景及び近影に分割し、遠景及び近景それぞれを横軸に対して射影してそれらの間に定義される類似度を算出する射影類似度算出手段と、遠景及び近景の射影の類似度が最大となる俯角、パン角の値を、前記撮像手段の撮像方向を示す姿勢角の測定値として選択する姿勢角算出手段とを有することを特徴とする。

本発明の移動体搭載用前方撮像制御装置は、前記撮像手段が撮像した画像の各画素を時系列的に平滑化する画素値平滑化手段をさらに有することを特徴とする。

本発明の移動体搭載用前方撮像制御装置は、前記移動体に搭載された速度センサー及び慣性センサーから得る、移動体の直進速度及びヨーレートから安定走行状態を検知する走行検知手段と、該旋回角速度から前記パン角の値を補正する旋回補正手段とをさらに有することを特徴とする。

本発明の移動体搭載用前方撮像制御装置は、前記姿勢角の測定値の集合から、誤差を含む測定値の正規分布と、一様に分布する入力画像に外乱が発生した場合などに得られる誤測定値との混合分布形を推定し、正しい姿勢角の推定値を求める姿勢角推定手段とを有することを特徴とする。

本発明のプログラムは、上記いずれかの移動体搭載用前方撮像制御装置として、コンピューターを機能させるための移動体搭載用前方撮像制御プログラムである。

以上説明したように、本発明の移動体搭載用前方撮像制御装置によれば、移動体の進行方向と車線方向とがおおむね一致する場合に、姿勢角算出手段が姿勢角値候補を繰り返し選び、この姿勢角値候補にしたがって前記投影変換手段が入力画像を仮想的な路面平面座標に投影して投影画像を生成し、前記射影類似度算出手段がこの投影画像を２つ以上の矩形に等分割し、射影類似度算出手段が各矩形について内部の画素縦列毎の特徴値を算出し、射影類似度算出手段が各矩形について特徴値を並べた配列をその矩形の射影として生成し、射影類似度算出手段が車線方向に縦に並ぶ２つ以上の矩形についてそれらの射影間の類似度を算出し、移動体が車線方向に進行しているときにこの類似度が高くなる傾向を利用し、姿勢角算出段がこの類似度が最大となる姿勢角候補を選択することにより、明確なレーンマーカーがない場合でも撮像手段の姿勢角を測定値として測定することができる。
また、本発明の移動体搭載用前方撮像装置によれば、画像内の路面における模様の各部分について移動速度の判定が行える特徴的な模様を有する特徴点が存在しない場合でも、撮像部の姿勢角を推定することができる。

また、本発明の移動体搭載用前方撮像制御装置によれば、姿勢角推定手段が姿勢角の測定値の集合から、測定誤差を含んだ測定値の正規分布と一様に分布する誤測定値との混合分布として分布形を推定し正しい姿勢角の最尤推定値を求めるため、誤測定値の影響を受けずに姿勢角の推定値が得られ、また、姿勢角の測定値の数が比較的少ない場合においても安定した姿勢角の推定値を得て、撮像手段の基準姿勢角からの誤差を補正できる。

以下、本発明の一実施形態による 装置を図面を参照して説明する。図１は同実施形態による移動体搭載用前方撮像制御装置の構成例を示すブロック図である。
この図において、移動体搭載用前方撮像制御装置１は、画像入力部１１，投影変換部１２，記憶部１３，射影類似度算出部１４， 姿勢角算出部１５，姿勢角推定部１６，走行検知部１７及び旋回補正部１８から構成されている。
画像入力部１１は、撮像部１００、例えばＣＣＤ（Charge Coulpled Device）カメラなどにより、予め設定した周期にて撮像した撮像画像を時系列的に取り込み、記憶部１３の画像記憶領域にタイムスタンプに対応させて、最新の画像を１フレーム記憶させる。後述の時系列フィルター適用の場合は最新のフィルター出力を記憶しておき、撮像画像が入力されるに従い、この最新のフィルター出力を更新する。

投影変換部１２は、記憶部１３の画像記憶領域に記憶された撮像画像における画素を、順次、路面を近似した仮想的な路面表面である２次元平面の対応する座標に対し、撮像部１００の光学モデル（姿勢角や焦点距離など）に従い投影し、上記２次元平面に対して投影画像を生成する。
射影類似度算出部１４は、上記２次元平面において、直進方向を縦軸として、この縦軸方向に投影画像を複数に分割、例えば遠景部及び近影部に２分割し、この遠景部及び近景部それぞれに分布する特徴量を横軸に対して独立に射影し、横軸に射影された遠景部及び近景部のヒストグラムを比較することにより、遠景部及び近景部間の類似度を算出する。

姿勢角算出部１５は、前記タイムスタンプに対応した撮像画像を記憶部１３の画像記憶領域から読み出し、遠景部の射影と近景部の射影との間の類似度が最大となる俯角、パン角の値を、撮像手段の撮像方向を示す姿勢角測定値として求める。
姿勢角推定部１６は、姿勢角算出部１５による姿勢角測定値の測定値の集合から、誤差を含む測定値の正規分布と、一様に分布する誤測定値との混合分布形を推定し、正しい姿勢角の推定値を求める。

走行検知部１７は、速度センサー１０１や慣性センサー（ヨーレートセンサー）１０２から、移動体の走行における速度及びヨーレートを検出し、移動体の安定直進状態あるいは安定旋回状態を検知する。
旋回補正部１８は、入力される旋回角速度に対応して、パン角の算出値に対する補正量を出力する。

次に、各部の処理について説明する。
＜投影変換＞
以下、投影変換部１２が行う投影変換の処理について説明する。この投影変換の処理の説明において、移動体近傍における路面を平面と考え、以降これを路面平面（上記２次元平面）と定義する。
上記撮像部１００の撮像面座標系として、光軸中心を原点に持つように、図１に示す（ｘ，ｙ）座標系をとる。この（ｘ，ｙ）座標系において、横軸となるｘ軸は光軸に対し垂直かつ路面平面に対し並行にとる。

一方、ｙ軸は光軸Ｌと直交、かつｘ軸と直交し、路面から遠くなる向きを正方向としてとる。
そして、撮像部１００は、（ｘ，ｙ）座標系における撮像面Ｇに結像した像を、撮像した撮像画像として画像入力部１１へ与える。
撮像画像が入力される毎に、画像入力部１１は、記憶部１３の画像記憶領域に格納する。
次に、投影変換部１２は、順次、上記画像記憶領域から撮像画像を入力し、各撮像画像の画素を仮想的な路面表面における２次元平面に投影し投影画像を生成する。

この２次元平面の座標系としては、原点を撮像部２００の焦点Ｑに対する直下の点Ｏとして、撮像部１００の光軸直線を路面平面に射影して得る直線をｄ軸（縦軸）にとし、このｄ軸に直交する路面平面上の直線としてｗ軸（横軸）を、光軸方位方向に向かって右が正、左が負となるようにとって、２次元座標系（ｗ，ｄ）を設定する。
これにより、入力される撮像画像から撮像部１００の光路を逆にたどることで、仮想的な路面の２次元平面に投影した投影画像を考えることができる。
また、変換する画像における一画素の大きさは、撮像面における撮像画像において縦Δｙメートル、横Δｘメートルに対応するものとする。
一方、投影画像での一画素の大きさは、路面表面における２次元平面において縦Δｄメートル、横Δｗメートルに対応するように生成されるとする。

上記投影変換とは、撮像部１００の撮像した撮像画像座標点から、路面表面における２次元平面上の投影画像座標点に変換する処理を指す。実装上の投影変換部１２の変換処理としては、路面表面における２次元平面上の投影画像の各画素値を、撮像部１００が撮像した撮像画像の画素値からの算出処理となる。
撮像部１００の撮像した撮像画像の一例を図３に、また、撮像画像全体を投影変換した投影画像の一例を図４に示す。

この投影変換における撮像面の座標系（ｘ，ｙ）と、路面表面の平面座標系（ｗ，ｄ）との対応関係は、図２に示すように、撮像部１００の焦点距離をｆとし、焦点Ｑの路面平面からの高さをｚとし、撮像部１００の光軸の俯角をφ［rad］とする。ここで、俯角φは真下を向いている場合が０であり、路面平面に平行の場合π／２であるとする。 この結果、撮像面上の点（ｘ，ｙ）と路面平面上の点（ｗ，ｄ）との対応は、下記に示す（１）式及び（２）式により表される。

以下、（１）式による（ｘ，ｙ）座標系から（ｗ，ｄ）座標系への変換を正変換、（２）式による（ｗ，ｄ）座標系から（ｘ，ｙ）座標系への変換を逆変換と定義する。
（１）式における焦点Ｑの（ｗ，ｄ）座標系からの距離ｚ、撮像部１００の焦点距離ｆ、光軸Ｌの俯角φの各々については、撮像面の位置(x, y)毎に変化しないため、定数と考えてよい。
また、以下、（ｘ，ｙ）座標系における撮像面上において、ｙの座標が一定となる直線をスキャンラインと定義する。

この結果、任意のスキャンライン上の（ｘ，ｙ）については、ｄの計算はｘに依存しないため、ｄも一定値、すなわち定数と考えても良い。
すなわち、図５に示すように、撮像部１００の撮像面上におけるｙが一定のスキャンラインが、路面平面の（ｗ，ｄ）座標系において、ｄが一定となる直線に写像されることを示している。
以下においては、路面平面上に写像されたスキャンラインを投影面スキャンラインと定義する。

上述したように、投影面スキャンライン上ではｙが一定のため、（１）式に従い、ｗの算出はＣを定数とし、
ｗ＝Ｃ×ｘ
と簡略化できる。
つまり、（ｘ，ｙ）座標系 から（ｗ，ｄ）座標系への座標変換において、一座標点あたりの演算量を乗算一回程度に簡略化することができる。

また、スキャンライン上の位置ｘを定数Δｘずつ増加させ、ｗを順に計算する場合、
定数Ｃ_ｗ＝Ｃ×Δｘ
とし、ｘに対応するｗを、ｗ（ｘ）と表記した場合、
漸化式ｗ（ｘ＋１）＝ｗ（ｘ）＋Ｃ_ｗ
となる。
すなわち、（１）式による正変換における一座標点あたりに必要な演算を、加算１回程度に簡略化することができる。

また、（１）式及び（２）式の構成から、（ｗ，ｄ）座標系と（ｘ，ｙ）座標系との対応が線形となるには、ｄが定数、すなわちｙが定数となることが条件であることがわかる。
このような線形座標変換において、変換元の座標系における二点間の距離は変換先の座標系において定数倍となる。
このとき、定数の加算で表される変換前の座標系についての漸化式は、変換後の座標系においても定数の加算による漸化式として表される。

上述したように、（１）式による正変換で、（ｘ，ｙ）座標系から（ｗ，ｄ）座標系への写像を用いて投影画像を生成する場合、撮像画像の画素を一つずつ選択し、選択した画素中心の撮像面の座標（ｘ，ｙ）に対応する路面表面の座標（ｗ，ｄ）を算出し、（ｗ，ｄ）に位置する路面の投影画像の各画素に対して、撮像面の位置（ｘ，ｙ）の画素値をコピー（複写）していく。
このとき、路面表面に投影される投影画像においては、撮像画像の画素との対応関係により、画素値がコピーされた画素の他に、画素値の設定されない画素や、１つの画素に２つの画素値が重複してコピーされる画素が生じたりする。

「撮像系の各画素値とは路面の一点を観測した値である」という簡略化をしているため、投影変換により撮像面の画素に対応する観測点は路面平面上においては遠景にてまばらに分布し、近景で密に分布する。

上述のような場合、画素値の設定されない画素に対し、隣接する最寄りの画素値をコピーする方法や、隣接した画素及び近傍の画素の各画素値から、平均値を求めて補正値として補間する方法を採用することができる。そのようにすると、画素値がコピーされずに、画素値が設定されない画素を無くすことができる。
一方、１つの画素に複数の画素値が重複してコピーされた際には、画素値を順次重ね書きして、単に最後にコピーされた画素値を採用するのが最も簡単な方法である。または、計算資源に余裕がある場合には、重複コピーが行われる毎に、コピーされる画素値を順次加算し、その画素に画素値がコピーされた回数を記録しておき、全てのコピーが終了した後に平均値を算出し、その平均値をその画素の画素値としてもよい。

一方、路面平面座標（ｗ，ｄ）から入力画像座標（ｘ，ｙ）への逆変換を用いて投影画像を生成する場合では（２）式において、ｈ，ｆ，φを定数とした場合、ｙはｄの値のみに依存し、ｄを固定としたとき、定数Ｃ_２により、ｘ＝Ｃ_２×ｗと簡単な計算により求めることができる。
ゆえに、変換先の投影画像で画素で画素座標を一つずつ選び、逆変換を用いて変換元の入力画像で対応する画素座標を同定して投影画像を生成する場合、投影画像の各画素への値のコピーが必ず１回ずつ行われる利点がある。ただし、入力画像全体が同時にメモリ上に格納されている必要があり、入力画像全体の取得を待たずに投影画像生成を始めることはできない。また、単純に１対１の画素値コピーをするやり方では入力画像の細かい模様が投影画像に反映されない場合もあり、望ましくない結果を生む可能性がある。

ここで、撮像部１００における光軸Ｌのパン角（相対方位角）が０でない場合を考える。上記パン角θとしては、車両直進方向からの相対的方角を考え、車両前方方向を０とし、左回り（反時計回り）を正の値、右回り（時計回り）を負の値として単位ラジアン(rad)で表すこととする。
このとき、路面表面の２次元平面上において、車両直進方向をλ軸にとると、ｄ軸はλ軸に対して左回りに角度θ回転していることになる。

そこで、図６に示すように、λ軸を垂直軸にとり、ｗ軸を左回りに角度θさせたω軸を水平軸にとった（ω，λ）座標系を考える。この図６において、パン角θのとき、撮像面上（ｘ，ｙ）に投影変換で対応する路面平面上の（ω，λ）は、（１）式におけるパン角０として求めた (ｗ，ｄ）を、原点（０，０）を中心として、左回りに角度θ回転することにより計算できる。
したがって、（１）式に対して、二次元回転行列を適用し、以下に示す（３）式の正変換式を得る。

上記（３）式において、ｚ，ｆ，φ各々を定数とし、ｙも固定として定数項をまとめると、（ω，λ）座標系における路面平面でのスキャンラインの直線式が得られる。このとき、一座標点あたりの演算量は乗算２回と加算２回となる。
そのようにすると、パン角θを考慮する場合も、入力画像でのスキャンライン毎に、ｘについての以下の（４）式に示す漸化式を用いることにより、一座標点あたり加算２回で投影変換が計算できる。

一方、パン角θが０でない場合の逆変換で（ω，λ）座標系から（ｘ，ｙ）座標系への座標変換式は、以下の（５）式のようになり、λ固定またはω固定としても、座標点変換毎の除算を必ず行う必要がある。

このため、上記（５）式において、ｄ_ｔ＝（λcosθ−ωsinθ）とｄ_ｔとを定義して、ｄ_ｔが一定となるように点（ω，λ）の集合をとると、この点の集合は直線をなすこととなる。
この直線上の点(ω, λ)においては、（５）式よりｄ_ｔに対応するｙ座標が一定となるため、対応する（ｗ，ｄ）座標点群はｗ軸に平行な投影面スキャンラインとなる。このとき、ｄ_ｔを予め計算しておき、（４）式を計算する際に定数とすることにより、座標点ごとの除算を避けて正変換と同程度の計算量にて、（４）式の計算を行うことができる。

投影画像生成時には図７に示すように、路面平面上の各座標位置（ｗ，ｄ）を、連続させて隙間なく選択する。すなわち、直線式ｄ_ｔ＝（λcosθ − ωsinθ）におけるｄ_ｔを順に選択して求める。

以下の説明において、投影画像は記憶部１３における画像記憶領域の名前Ｇの２次元配列にて画素値の配列として記憶されるものと仮定する。以降、例えばｒ行ｃ列の配列要素を擬似Ｃ言語コードにより、Ｇ［ｒ］[ｃ]のように表記することとする。ここで、行列計算の慣習に倣い、２次元配列の横列を行と呼び、縦列を単に列と呼ぶ。ただし、混乱の恐れのあるときは行を横列、列を縦列として参照する。ここで、ｒが縦軸方向の画素位置を示し、ｃが横軸方向の画素位置を示している。
一方、撮像画像は、上記Ｇと同様に、各要素が１画素を表す配列である入力画像Ｍ[ｈ][ｖ]として、記憶部１３における画像記憶領域に保持される。ここで、ｖが縦軸方向の画素位置を示し、ｈが横軸方向の画素位置を示している。

以下、この配列Ｇや配列Ｍなどの画素配列は、同時に全体をメモリに保持しない構成が実現できるが、計算方法を簡潔に示すためにどちらの配列領域も記憶部１３の記憶領域に確保されているものとする。
また、Ｇを位置（ｒ、ｃ）から、画素値に写像する関数と考える際、Ｇ（ｒ、ｃ）と表記する。この際、投影画像の各画素値が記憶部１３の記憶領域（以下、メモリと記載する）に格納されているか否かは考慮しない。

上記画素値は、処理する画像がカラー画像の場合に３次元実数ベクトル、また画像がモノクローム画像の場合に１次元実数を想定する。
以降の説明においては、説明を簡略化するため、一次元実数で輝度を表した画素値を想定するが、カラー画像の場合の処理も同様である。また、この画素値としては、内積が定義される量であれば、以降に述べる方法と同様の計算方式が適用できる。

入力画像の解像度は遠方の道路を監視するのに必要な解像度となっているため、近景にては必要以上に高い解像度となっている。
例えば、レーン境界線の検知においては、路面表面上にて５cm程度の画素解像度が適当であるが、遠景にて１画素幅が路面表面の５cmを表しているとき、近景にては１０画素幅以上の解像度にて路面表面上の５cmの範囲における画像を表しているのが普通となる。
投影画像においては、遠景部と近景部とで、路面表面における画像の解像度（cm／pixel）は同程度となるため、近景部で必要以上の画素解像度を用いずに済み、投影変換以降の処理において必要なメモリサイズと計算量とをより小さくできる利点もある。

ここで、すでに述べたように、入力画像中で近景部と遠景部では路面に対する解像度、すなわち観測点の密度が異なるため、撮像画像の画素と投影画像の画素とは１対１にて対応していない。
このため、入力画像の画素Ｍ[ｈ][ｖ]を一つずつ選択し、選択した画素を画素位置（ｈ，ｖ）と対応する投影画像の一画素Ｇ[ｒ][ｃ]に画素値をコピーしていく処理においては、投影画像に画素値を持たない画素が生じる。ここでは、画素配列中の列番号をｈ、行番号をｖとする。
画素値を持たない画素の発生を防止する法の一つは、逆変換により座標変換し、上述した処理とは反対に、投影画像の画素Ｇ[ｒ][ｃ]を一つずつ順次選択し、この選択した投影画像の画素に対応する入力画像の画素Ｍ（ｈ，ｖ）の画素値をコピーすることである。以下、上述した座標値の逆変換により、投影画像の各画素に対する、撮像画像における対応する画素の画素値のコピーを想定する。
ただし、投影画像の画素に対して、撮像画像の対応する画素位置が撮像部１００の撮像可能な領域外（視界外の領域）である場合、この投影画像の画素の画素値を算出することができない。以降、このような画素値を算出することができない画素を無効画素と呼ぶ。

次に、図８を用いて、本実施形態における投影変換部１２が行う投影変換の処理を説明する。この図８は、上記投影変換部１２の投影変換における動作例を説明するフローチャートである。
ステップＳ５０１において、投影変換部１２は、メモリ上のＧに属する全画素を画素値−１で初期化する。画素値−１は無効画素を示す。

次に、ステップＳ５０２において、図９の路面平面における座標系において、変数λ_ｔを、最小値λ_ｍｉｎで初期化する。
また、パン角θに従い、図７に示すように、λ座標の増分Δλ＝Δω×tanθとし、ｗ座標の増分Δｗ＝Δω／cosθとする。ただし、ωの増分Δωは投影画像の画素幅δ_ωに等しくとる。上記Δω、Δλ、Δｗは、図７に示すように、投影面スキャンライン上を動く点における一度に動く距離と方向とを表すベクトルのω座標成分、λ座標成分、ｗ座標成分である。

ここで、θ＜π／２である場合、投影面スキャンライン上を動く上記点の移動に従って画素を順次選択することにより、画素の縦列毎に、投影面スキャンライン上の画素を一つずつ過不足なくとれる。
すなわち、図７に示すように、漸化式λ_ｔ＋１＝λ_ｔ＋δ_λにより（ステップＳ５１２）、投影面スキャンラインを一画素分ずつ上にあげ、繰り返しステップＳ５０４からＳ５１１の処理を行なうことで投影画像の画素を隙間なく処理できる。

次に、ステップＳ５０３において、Δω及びΔλの単位は、ｘ，ｙ，ｄ，ｗなどと同じくメートル単位である。そして、Δω、Δλを（ｃ，ｒ）座標系での単位に変換し、それぞれΔｃ＝Δω／δ_ｃ 、Δr =Δλ/δ_ｒとして求める。ここで、画素配列中の列番号をｃ、行番号をｒとする。また、δ_ｃは投影画像の画素の横幅であり、δ_ｒは縦幅である。

次に、ステップＳ５０４において、投影面スキャンライン式ｄ_ｔ＝（λcosθ − ωsinθ）の定数項をｄ_ｔ＝λ_ｔ／cosθとして算出する。
また、変数ｗを投影面スキャンラインの始点座標ω_ｍｉｎ／cosθに初期化する。

次に、ステップＳ５０５において、（ω，λ）座標系における投影面スキャンラインの始点（ω_０，λ_０）を、（ ω_ｍｉｎ ，λ_ｔ＋ω_ｍｉｎ×tanθ）として算出する（図９）。

次に、ステップＳ５０６において、投影面スキャンラインの始点を、路面表面の２次元平面の距離単位（例えば、ｍ）の座標値の上記（ω，λ）座標系から、投影画像の画素単位の位置座表の（ｃ，ｒ）座標系に、変換して置き換え、図１０に示すように、変数ｃと変数ｒとの初期値とする。すなわち、（ｃ，ｒ）＝ (｛ω−ω_０｝／δ_ω ，−｛λ−λ_０｝／δ_λ ）の式から、変数ｃと変数ｒとが求められる。ここで、δ_ωは投影画像の画素の横幅であり、δ_λは縦幅である。

次に、ステップＳ５０７において、（２）式により逆変換を行い、ｄ＝ｄ_ｔとして（ｘ，ｙ）を算出する。

次に、ステップＳ５０８において、図１１に示すように、ここで得られた撮像画像の距離単位（例えば、ｍ）の座標値である（ｘ，ｙ）を、入力画像の画素単位の位置座標の（ｈ，ｖ）座標系に対応させ、変数ｈと変数ｖとの初期値とする。
すなわち、（ｈ，ｖ）＝（｛ｘ／δ_ｘ｝＋ｏ_ｈ ，−｛ｙ／δ_ｙ｝＋ｏ_ｖ）として、画素の位置が算出される。ここで、δ_ｘは入力画像の画素の横幅であり、δ_ｙは縦幅であり、ｏ_ｈ及びｏ_ｖは入力画像の（ｈ，ｖ）座標系における（ｘ，ｙ）座標系の原点が位置する画素位置である。

次に、ステップＳ５０９において、入力画像の画素の画素Ｍ［ｈ］［ｖ］の画素値を、投影画像の画素Ｇ［ｒ］［ｃ］の画素値としてコピーする。

次に、ステップＳ５１０において、ｒ，ｃ，ｈ各々に対して、それぞれΔｒ、Δｃ、Δｈを加算し、値を更新する。

次に、ステップＳ５１１において、ｃが上限に達していない、すなわちｃ <ｃ_ｍａｘならば、処理をステップＳ５０９へ戻す。

次に、ステップＳ５１２において、λtが上限に達していない、すなわちλ_ｔ＜λ_ｍａｘのときはステップＳ５０４へ処理を戻し、一方、λ_ｔ≧λ_ｍａｘのときは処理を終了する。
図８のフローチャートにおいて、一画素毎に実行される演算は最内部のループ（ステップＳ５０９〜ステップＳ５１１）内の３回の加算と、画素値のコピー程度とで、撮像画像からの投影画像の生成が可能であることが分かる。これは、専用ハードウェアを用いずとも、汎用プロセッサーやＤＳＰ（デジタル・シグナル・プロセッサー）においても毎秒数百回程度実行可能な処理量である。

＜撮像部１００姿勢測定のための類似度算出＞
以下、射影類似度算出部１４が行う撮像部１００の姿勢測定における近景部と遠景部との間の類似度の算出方式について説明する。
本実施形態においては、すでに述べたように、撮像画像から、仮想路面平面上への投影画像に基づき、俯角やパン角などの撮像部１００の姿勢角を推定する。投影画像を特定方向に沿って、この特定方向に並ぶ各画素の画素値の平均値を算出し、この平均値の並びを射影ヒストグラムとすることにより、小さな処理量にて画像の全体的な特徴及び変動を類似度に反映する方法を採用している。ここで、各画素の画素値の平均値を算出する代わりに、画像の他の特徴値を用いても良い。

ここで、射影類似度算出部１５が求める上記縦射影を定義する。この縦射影は列ｃの画素列についての特徴量Ｐ［ｃ］を算出した際のＰを指す。この特徴量は、平均輝度，画素値勾配のヒストグラム，色のヒストグラムなどを用いることができ、これらのなかから計算の容易さと、画素列間の類似性及び相違度などを表す表現力との釣り合いで選択することができる。

以降の説明においては、画素値の平均を特徴量の例として説明するが、一次元または多次元のベクトルなど差の絶対値またはノルムにて距離が定義できる量であれば同じ議論となる。
射影類似度算出部１５は、ある行ｒから、行ｒ＋ｋまでの範囲について平均値を特徴量とした縦射影を、一次元配列Ｐとして生成する。このＰの各要素Ｐ［ｃ］は、
Ｐ［ｃ］ ＝ （Ｇ［ｒ］［ｃ］ ＋ Ｇ［ｒ＋１］［ｃ］ ＋ Ｇ［ｒ＋２］［ｃ］
＋ Ｇ［ｒ＋３］［ｃ］ ＋ … ＋ Ｇ［ｒ＋ｋ］［ｃ］）／（ｋ＋１）
の式により、列ｃ内で行ｒから行ｒ＋ｋまで画素値の平均を計算することにより求める。ここで、Ｇ［ ］［ ］は、対応する画素の画素値を示している。

ここで、上記式において、ｃは列を指定する添え字で、特に範囲を指定しない場合は全ての列ｃに対してＰ［ｃ］を計算するものとする。
また、図４に示すように、図の左側と右側とにおける斜線で示す台形部分のように、入力画像から投影画像へ変換する際に、変換元の入力画像において対応する画素が無く、撮像画像において画素値がコピーされたない部分については平均値の計算に加えない。
本実施形態においては、投影画像を遠景部及び近景部の２つに二分し、それぞれについて縦射影を求めた例を示している。

また、本実施形態においては、縦射影の類似度算出の際に、列位置ｃの各画素についての平均輝度値の勾配を算出する。すなわち、列位置ｃの勾配は、左右の列ｃ−１と、列ｃ＋１との間における輝度値の平均の変化量から算出される。
例えば、列ｃの輝度値の平均をＰ［ｃ］とすると、列ｃの輝度値の平均の勾配Ｓ［ｃ］は以下の式を用いて算出する。
Ｓ［ｃ］＝（Ｐ［ｃ＋１］−Ｐ［ｃ−１］）／２

図１２に、上述した輝度値の平均による縦射影と、その勾配のパターン列を示す。
この図１２において、各々算出された遠景部の左側の縦射影がＬ１であり、遠景部の右側の縦射影がＲ１であり、遠景部の左側の縦射影勾配がＬｄ１であり、遠景部の右側の縦射影勾配がＲｄ１であり、近景部の左側の縦射影がＬ２であり、近景部の右側の縦射影がＲ２であり、近景部の左側の縦射影勾配がＬｄ２であり、近景部の右側の縦射影勾配がＲｄ２である。

ここで、縦射影同士を比較する際、平均輝度値の配列である縦射影の比較ではなく、縦射影の勾配同士を比較して、遠景部と近影部との路面表面の類似度を、例えば相関係数として算出する。この結果、夜間など近景部と遠景部とで明るさに差がある場合において、この明るさの違いの影響を緩和することができ、遠景部及び近景部間の路面の模様を比較することとなるため、遠景部及び近景部とにおいて、路面表面における模様の類似度をより良く検出できることが期待される。
以降においては、二つの縦射影について、例えば遠景部の右側と近景部の右側の類似度と言ったときは、それぞれの縦射影の勾配を比較して数値化した値を考えるとする。この類似度は、後述するように、縦射影の勾配が完全に一致したとき最大となる量を想定、すなわち、類似度が高いほど、高い類似性を有しているとする。

また、路面表面の支配的な輝度に対して、車線境界により明るいマーカーとより暗いマーカーとが交互に現れるような道路状態の場合、輝度平均を求める段階において両者の特徴が相殺されてしまう。
このような状況に対応する必要がある場合、輝度勾配ヒストグラムや色勾配ヒストグラムを各列ｃについて作成する。
輝度勾配ヒストグラムは、隣接する各画素単位での輝度値の勾配を算出し、以下に示す正勾配の合計数及び負勾配の合計数から構成し、類似性の比較を行う。色勾配ヒストグラムにおいても同様であり、各画素の色の変化の差をヒストグラムとして算出し、類似度の比較を行う。

例えば、二段階ヒストグラムとして、列ｃの正勾配の合計を、記憶部１３における記憶領域におけるＰ［２×ｃ］に、負勾配の合計をＰ［２×ｃ＋１］に格納することが考えられる。
射影対象となる投影画像での画素のうち、撮像画像の視界外と対応する画素はすでに述べたように、画素値を持たない無効画素である。このような無効画素は、前述のように負の画素値（−１）を格納しておくなどの方法により、他の画素値を有する画素と区別できるようにしておく。そして、射影の計算時には、画素値として「−１」を検出した際、この画素を無効画素を除外し、残りの画素の画素値についてヒストグラム生成及び類似度の計算を行なう。

＜姿勢角である俯角及びパン角の測定＞
以下、姿勢角算出部１５が行う撮像部１００の姿勢推定における姿勢角の測定の処理について説明する。
移動体、例えば自車両が十分な速度にて、一定時間の間直進しているとき、走行車線の方向と進行方向とがほぼ一致していると想定できる。そして、路面上の濃淡はレーンマーカーを含めて車線方向に垂直な方向への変化が大きく、車線方向（すなわち走行方向）への変化は小さい傾向があり、このとき撮像部１００にて撮像した路面表面における２次元平面の撮像画像は縦方向の模様が顕著になる。

そのため、正確な撮像部１００の姿勢角（俯角・パン角）を用いて得られた投影画像は、投影画像の上部と下部、すなわち遠景部と近景部とにおいて路面表面の濃淡の縦射影が高い類似度を持つと想定される。
そこで、走行検知部１７がヨーレートセンサー（慣性センサー）などから、移動体が安定した直進走行をしているか否かの検出を行い、直進走行をしている状態を検出したならば、姿勢角算出部１５は投影画像上部(遠景部)と下部(近景部)との縦射影の類似度を最大にする姿勢角（俯角・パン角）を測定値とするようにする。
そして、後に上記測定を十分に繰り返した後、姿勢角推定部１６は、姿勢角の測定値の分布から、撮像部１００の姿勢角（俯角・パン角）の真値の推定を行なう。

以下、図１３を用いて、本実施形態における姿勢角算出部１５が行う姿勢角（俯角・パン角）測定の処理の動作を説明する。この図１３は、姿勢角算出部１５が行う姿勢角の測定の動作例を示すフローチャートである。以下、特に処理の主体を記載しないものは、姿勢角算出部１５が行う処理とする。
ステップＳ４０１において、走行検知部１７により自車両の安定直進が検出されたとき、姿勢角、すなわち俯角及びパン角の測定値を以下のステップにより測定する。

ステップＳ４０２において、記憶部１３から入力画像（撮像画像）を読み出して取得する。
次に、ステップＳ４０３において、姿勢角候補、すなわち俯角・パン角のペア候補(φ，θ)を選択する。ここでは、撮像部１００の規定取り付け俯角φ_０［rad］と、規定取り付け誤差ε［rad］、俯角測定に求められる解像度をΔφ［rad］とした場合、俯角候補φを例えば測定範囲［φ_０ −３×ε，φ_０＋３×ε］をΔφ刻みにて変化させ、順に選択して用いる。パン角θについても、同様に測定範囲を設定しておき、この測定範囲にてΔθ刻みにて変化させ、上記俯角・パン角のペア候補とする。

次に、ステップＳ４０４において、姿勢角候補、すなわち俯角φ、パン角θの仮定のもとにて、投影変換部１２に対して図８に示す手順に従い、投影画像の各画素に座標逆変換で対応する入力画像上の位置の画素値を取得し、この取得した画素値を投影画像の画素にコピーする手法にて投影変換を行なわせる。
そして、ステップＳ４０５において、後に詳述するように、射影類似度算出部１４に対して、投影画像を用いて、近景の射影と遠景の射影との間の類似度を計算し、姿勢角仮定に用いた姿勢角候補に対する評価値とする。

次に、ステップＳ４０６において、上記測定範囲［φ_０ −３×ε，φ_０＋３×ε］を俯角候補φが超えたか否かを判定し、超えている場合、必要な測定範囲及び必要な精度を得るための個数の姿勢角候補をすべて評価したとし、処理をステップＳ４０７へ戻し、超えていない場合、姿勢角候補がすべて評価されていないとし、ステップＳ４０３に処理を戻し、次の評価に用いる新しい姿勢角候補を選択する。測定解像度Δφ、Δθについては、実験的に高い解像度で評価値の分布を求めておき、最大評価値ピークの十分近傍に必ず姿勢角候補が来る程度にΔφおよびΔθを小さく設定する。姿勢角候補の個数は測定範囲と測定解像度で決定する。評価値ピーク近傍の候補を見つけた後さらに高解像度でピーク位置を求めるためには、その候補近傍でさらに高い測定解像度で評価値ピークを探索する。

そして、ステップＳ４０７において、ステップ４０３からステップＳ４０６にて評価したすべての姿勢角測定値候補から、最も高い評価値を有する俯角・パン角のペア(φ，θ)を選択し、これを姿勢角測定値とする。
次に、ステップＳ４０８において、記憶部１３の所定の記憶領域に記憶されている、時系列的に測定した姿勢角測定値の集合を更新する。

次に、ステップＳ４０９において、姿勢角測定値集合に含まれる測定値の個数が、要求推定精度を得るために必要な個数となったか否かの判定を行い、姿勢角測定値が上記必要な個数となった場合、処理をステップＳ４１０へ進め、姿勢角測定値が必要な個数未満である場合、処理をステップＳ４０１へ戻す。
そして、ステップＳ４１０において、姿勢角推定部１６が、後述するように、姿勢角測定値の分布の同定を行う。
この同定後、ステップＳ４１１において、姿勢角推定部１６が同定した誤差分布から姿勢角の推定値を算出する。

次に、ステップＳ４０５における姿勢候補の評価を、図１４を参照して説明する。図１４は、射影類似度算出部１４が行う評価値（類似度）を算出する際の動作例を示すフローチャートである。以下、特に処理の主体を記載しないものは、射影類似度算出部１４が行う処理とする。
ステップＳ６０１において、ステップＳ５０１にあるように、投影変換部１２が、メモリ上の投影画像Ｇの各画素Ｇ[ｒ][ｃ]の画素値を無効画素の画素値である−１に書き換えることにより初期化する。

ステップＳ６０２において、図１２に示すように、遠景部の左半分側の縦射影Ｌ１を算出する。
同様に、ステップＳ６０３において、遠景部の右半分側の縦射影Ｒ１を算出する。
また、ステップＳ６０４において、近景部の左半分側の縦射影Ｌ２を算出し、ステップＳ６０５において、近景部の右半分の縦射影Ｒ２を算出する。
次に、ステップＳ６０６において、遠景部の左半分側の縦射影Ｌ１の縦射影勾配Ｌｄ１、遠景部の右半分側の縦射影Ｒ１の縦射影勾配Ｒｄ１、近景部の左半分側の縦射影Ｌ２の縦射影勾配Ｌｄ２、近景部の右半分側の縦射影Ｒ２の縦射影勾配Ｒｄ２を算出する。

そして、ステップＳ６０７において、縦射影勾配を表す配列をベクトルとしてみると、
Ｌｃ＝（Ｌｄ１×Ｌｄ２）／（｜Ｌｄ１｜×｜Ｌｄ２｜）
の式、すなわちＬｄ１、Ｌｄ２の内積をＬｄ１、Ｌｄ２のノルムで割ったベクトル間コサインを、縦射影左半分の類似度として計算する。
この計算は、相関係数よりも計算が簡単であり、画素値勾配のように平均値が０に近い数値を要素に持つベクトル同士の場合、相関係数に対する近似となる。

同様に、
Ｒｃ＝（Ｒｄ１×Ｒｄ２）／（｜Ｒｄ１｜×｜Ｒｄ２｜）
の式を縦射影右半分の類似度とする。
そして、ステップＳ６０８において、ステップＳ６０７にて算出した射影左半分の類似度Ｌｃ及び縦射影右半分の類似度Ｒｃを加算し、Ｌｃ＋Ｒｃを評価値とする。
また、上記計算において、ＬｃまたはＲｃの算出にて、分母が０になるときは、評価値を「−１」として算出する。

ここで、縦射影の類似度を、遠景部及び近景部にて、射影の左右別々に求めることにより、例えば白線と点線など左右の境界線マーカーが異なる場合、白線などによる強い射影パターンの近くに、車線方向からずれた中くらいの強さのパターンがある場合、もう一方での点線境界による弱い（ヒストグラムの値が小さい）縦射影のパターンよりも評価値に大きく影響してしまうのを抑制する効果がある。
ここで強い射影パターンとは射影を構成する数値の絶対値が大きい傾向をもつことを表す。左右別に計算することで左右のレーン境界による縦射影のパターンの強さの差を補った類似度が得られる。

また、縦射影Ｌ１，Ｌ２，Ｒ１，Ｒ２を求める幅は、路面表面における画像上の車線幅よりやや広めにすることにより、自車走行レーンとその境界線にのみ注目した処理となるので測定精度が高くなる。
また、路面以外の景観の影響を避けるため、投影画像の進行方向に対して垂直な横射影を、縦射影と同様に計算し、上部と下部で分散値に一定以上の差を生ずる（φ，θ）については誤差とし、比較候補から除外する。
また、車間距離センサーが利用可能なときは、前方の移動体（車両）との車間距離が小さく、正しい俯角・パン角による投影画像でも、前方の移動体が撮像部１００に撮像されつ影響にて、上部と下部で縦射影に相違を生ずることが推測される場合は姿勢角測定処理を行なわないようにするとよい。

＜姿勢角である俯角及びパン角の推定＞
以下、姿勢角推定部１６が行う撮像部１００の姿勢推定の算出の処理について説明する。
上述した姿勢角の測定において、算出された、撮像部１００における姿勢角測定値ベクトルν＝（φ，θ）の分布には、測定誤差を含んだ正規分布に加え、車線と垂直でない画素値変動成分やその他の原因によるクラッターの一様分布が混合していると考えられる。
そのため、姿勢角測定値ベクトルνの分布から、誤推定値クラッターのなす一様分布と妥当な測定値の正規分布の混合分布パラメーターを推定し（姿勢角測定値の分布同定）、誤測定成分をとり除いてより正確に撮像部１００の姿勢角を推定する。

計算の簡略化のため、姿勢角測定値ベクトルνの分布型としてはφ成分とθ成分との分布が無相関と想定する。すなわち、撮像部１００のロール角がごく小さいとき、φ成分及びθ成分における測定誤差分布は、通常それぞれ独立と考えても実用上問題ない。
混合分布パラメーターは、尤度最大化法の一つであるＥＭ法により漸近的に推定することができる。

すなわち、ステップｔまで推定平均値ベクトルμ_ｔ、推定分散値ベクトルσ_ｔ、推定事前確率Ｐ_ｔ（Ω_ｋ）が求まっている場合、ステップｔ＋１における推定平均値ベクトルμ_ｔ＋１、推定分散値ベクトルσ_ｔ＋１、推定事前確率Ｐ_ｔ＋１（Ω_ｋ）を計算する式を下に示す。
ここで、各式において、Ω_ｋは、カテゴリを示す変数でΩ_１は平均値μをもち誤差σを分散にもつ正規分布をなす真値に正規誤差が加わった母集団を、Ω_２は測定範囲で一様分布をするクラッター母集団を示している。

また、｛ν｝はパラメーター測定値ベクトル（φ，θ）の集合を表し、ｓ番目の測定値ベクトルはν_ｓと表すとする。さらに、Σ_ｓ［Ｑ］はｓをとりうる値の範囲について変化させ、式Ｑの値の和を算出することを意味する。
ｐ_ｔ(ν_ｓ|Ω_１) ≡ (２π×σ_ｔ)^−１／２exp{−(ν_ｓ−μ_ｔ)^２／(２×σ^２）}
ｐ(ν_ｓ|Ω_２) ≡ 1 / (νのとりうる値の面積)
Ｐ(Ω_ｋ|ν_ｓ) ≡ ｐ_ｔ(ν_ｓ|Ω_ｋ)×Ｐ_ｔ(Ω_ｋ) ／ {ｐ_ｔ(ν_ｓ|Ω_１)
×Ｐ_ｔ(Ω_１)＋ｐ(ν_ｓ|Ω_２)×Ｐ_ｔ(Ω_２) }
と定義する。

すなわち、姿勢角推定値を求めるための漸化式としては、
μ_ｔ＋１ = Σ_ｓ[ν_ｓ×Ｐ（Ω_１ ｜ν_ｓ) / {Ｐ(Ω_１ |ν_ｓ) + Ｐ(Ω_２ |ν_ｓ)}]
σ_ｔ＋１ = Σ_ｓ[(ν-μ(t))^２×Ｐ(Ω_１ |ｘ_ｓ) / { Ｐ(Ω_１ |ｘ_ｓ) + Ｐ(Ω_２ |ｘ_ｓ)}]
Ｐ_ｔ＋１(Ω_ｋ) ＝ Σ_ｓ[Ｐ(Ω_ｋ ｜ｘ_ｓ)／{Ｐ(Ω_１ ｜ｘ_ｓ)＋Ｐ(Ω_２｜ｘ_ｓ)}]
これらの漸化式を用いて推定パラメーターμ(ｔ)の変化「μ_ｔ＋１−μ_ｔ」が求める精度以下、すなわち高い精度となるまでつづける。そして、推定パラメーターμ(ｔ)の変化が求める精度以下となった際のν_ｓに対応する姿勢角推定値ベクトル(φ，θ)を、撮像部１００の姿勢角推定値とする。

＜時系列平滑化による前処理＞
撮像画像の各画素について、時系列的に平均や重み付け平均をとることにより、画像内の移動物が軌跡を描く残像のような時系列平滑画像が得られる。以下、画像入力部１１における時系列平滑画像生成の処理について説明する。
レーンマーカーが破線や金属鋲である場合などに対応する際、遠景部と近景部とのそれぞれの奥行きはレーンマーカー間隔の一周期以上とするべきである。
そうでないと正しい撮像部１００の姿勢パラメーターによる投影画像にもかかわらず、遠景部と近景部との縦射影間において、類似度が低くなる原因となりうる。

しかし、撮像画像から時系列平滑画像を生成して入力画像の代わりに用いることで、レーンマーカーなどが長い軌跡を描くため、遠景部および近景部の奥行きを短くとってもそれらの縦射影間の類似度は正しい姿勢パラメーター下で高くなる。
このように、時系列平滑画像においては、全ての路面の模様が進行方向に沿った軌跡を描くこととなり、進行方向からずれた方向性をもつ模様は薄められる効果があり、撮像画像にて路面表面の模様の方向性が進行方向とずれていることによるパン角測定誤差が改善されるという効果も期待される。

上述した平滑画像を得る典型的な方法においては、時刻ｔの撮像画像で位置（ｈ，ｖ）の画素値をＭ_ｔ（ｈ，ｖ）とし、平滑画像の位置（ｈ，ｖ）の画素値Ｓ_ｔ（ｈ，ｖ）を得る漸化式を、以下のように設定する。
Ｓ_ｔ（ｈ，ｖ）＝α×Ｍ_ｔ（ｈ，ｖ）＋(１−α)×Ｓ_ｔ−１（ｈ，ｖ）
上記式において、係数αは入力される画素値に対する重み付けの係数であり、処理に対応して通常０から１の間（０＜α＜１）の値を選ぶ。

＜ヨーレートによるパン角補正＞
ヨーレートセンサー（慣性センサー）の出力値、すなわち旋廻角速度が安定している場合、車両は近似的に円軌道を旋廻していると考えられる。以下に、旋回補正部１８のパン角補正処理について説明する。
このときの回転半径Ｒがある程度大きい場合は、図１５のように点線矢印にて示す撮像部１００のパン角に対し、路面模様のなす円軌道から求まるパン角測定値は実線矢印のようになると考えられる。
そして、図１６に示すように、旋回補正部１８は、走行検知部１７から入力する、速度センサー１０１から得られる車両速度Ｖ[m／sec]と、慣性センサー１０２から得られるヨーレートω[rad／sec]とから、旋回半径Ｒ＝Ｖ／ωを算出する。

また、パン角測定値の本来の値に対するずれε[rad]は、図中のＤと、Ｌとから、逆正接の関数atanにより、
ε＝atan（Ｌ／Ｄ）
として表せる。
ここで、Ｄは測定における路面観測範囲の奥行きであり、
Ｌ＝（Ｒ^２−Ｄ^２）^１／２−ＲとＬが求まる。

したがって、旋回補正部１８は、
ε＝atan（（１−Ｒ^２／Ｄ^２）^１／２−Ｒ／Ｄ）
としてずれεを求め、パン角測定値の補正量とする。
上述したように、旋廻角速度から得られた誤差εを、パン角θの測定値に対して、旋回方向に対応して、加算あるいは減算することで補正を行うことにより、カーブ中のパン角測定も可能になり、直線道路の少ない地域でも本発明を利用したシステムを適用できる。

なお、図１における移動体搭載用前方撮像制御装置１の機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することにより移動体搭載用前方撮像装置の撮像した撮像画像に対する姿勢角制御を行ってもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューターシステム」は、ウェブページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明の一実施形態による移動体搭載用前方撮像制御装置の構成例を示すブロック図である。 撮像画像と投影画像との座標変換を説明するための概念図である。 移動体搭載用前方撮像装置が撮像した撮像画像の一例を示す概念図である。 図３の撮像画像を投影変換した投影画像の一例を示す概念図である。 撮像画像から投影画像への投影処理（対応する画素間における画素値のコピー処理）を説明するための概念図である。 投影画像の座標系と、パン角を有する投影画像の座標系との対応関係を示す概念図である。 投影画像の座標系と、パン角を有する投影画像の座標系との対応関係を示す概念図である。 投影変換部１２が行う投影画像生成の処理の動作例を示すフローチャートである。 投影変換部１２が行う投影画像生成の処理の動作例を示すフローチャートである。 投影画像の座標系と路面表面の２次元平面の座標系との対応関係を示す概念図である。 入力画像の座標系と撮像画像の座標系との対応関係を示す概念図である。 図１における射影類似度算出部１４の類似度算出の動作例を説明する概念図である。 図１における姿勢角算出部１５及び姿勢角推定部１６による姿勢角推定の動作例を説明するフローチャートである。 図１における射影類似度算出部１４による類似度算出の動作例を説明するフローチャートである。 旋回補正部１８のパン角θの誤差を算出する処理を説明する概念図である。 旋回補正部１８のパン角θの誤差を算出する処理を説明する概念図である。

符号の説明

１…移動体搭載用前方撮像制御装置 １１…画像入力部 １２…投影変換部 １３…記憶部 １４…射影類似度算出部 １５…姿勢角算出部 １６…姿勢角推定部 １７…走行検知部 １８…旋回補正部１００…撮像部１０１…速度センサー１０２…慣性センサー

Claims (5)

1. 既定の方向の路面の領域を撮像する撮像手段が撮像した画像を入力し、撮像手段の姿勢角を推定する移動体搭載用前方撮像制御装置であり、
   前記画像の各画素を仮想的な路面表面の２次元平面上に前記撮像手段の光学モデルに従う座標変換により対応付ける投影変換手段と、
   前記２次元平面に仮想的に投影された投影画像において、直進方向を縦軸として、該投影画像を遠景及び近影に分割し、遠景及び近景それぞれを横軸に対して射影してそれらの間に定義される類似度を算出する射影類似度算出手段と、
   遠景及び近景の射影の類似度が最大となる俯角、パン角の値を、前記撮像手段の撮像方向を示す姿勢角の測定値として選択する姿勢角算出手段と
   を有することを特徴とする移動体搭載用前方撮像制御装置。
2. 前記撮像手段が撮像した画像の各画素を時系列的に平滑化する画素値平滑化手段
   をさらに有することを特徴とする請求項１記載の移動体搭載用前方撮像制御装置。
3. 前記移動体に搭載された速度センサー及び慣性センサーから、移動体の直進速度及びヨーレートから旋回角速度を求める走行検知手段と、
   該旋回角速度から前記パン角の値を補正する旋回補正手段と
   をさらに有することを特徴とする請求項１または請求項２に記載の移動体搭載用前方撮像制御装置。
4. 前記姿勢角の測定値の集合から、誤差を含む測定値の正規分布と、一様に分布する入力画像に外乱が発生した場合などに得られる誤測定値との混合分布形を推定し、正しい姿勢角の推定値を求める姿勢角推定手段と
   を有することを特徴とする請求項１から請求項３のいずれかに記載の移動体搭載用前方撮像制御装置。
5. 請求項１から請求項４のいずれかに記載の移動体搭載用前方撮像制御装置として、コンピューターを機能させるための移動体搭載用前方撮像制御プログラム。

Images