JP7404010B2 - 位置推定装置及び方法 - Google Patents

Description

本発明の実施形態は、位置を推定する技術に関する。

車両用ナビゲーションシステムは、自動車などが移動しているときに複数の全世界位置測定システム（ＧＰＳ、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）に属する人工衛星から送出されて伝搬して来る信号を受信して移動体の現在位置を確認し、また、移動体の速度を確認しなければならない。このような車両用ナビゲーション装置は、ＧＰＳ受信機で受信した情報を用いて緯度、経度、及び高度情報を含む３次元の車両の現在位置を算出する。しかし、ＧＰＳ信号は、約１０ｍ～１００ｍ程度のＧＰＳ位置誤差を有する。このような位置の誤差は、他の情報を用いて補正される。

実施形態の課題は、位置推定装置において、初期測位情報における回転誤差及び位置誤差を補償するための情報を算出することにある。

実施形態の課題は、位置推定装置において、初期測位情報における回転誤差を、回転パラメータを用いて補償することにある。

一実施形態に係る位置推定方法は、対象に対して推定された測位情報及びマップデータに基づいて第１回転基準点を決定するステップと、前記対象の前方に対するイメージデータから第２回転基準点を推定するステップと、前記第１回転基準点及び前記第２回転基準点に基づいて算出された回転パラメータを用いて、前記測位情報を補正するステップとを含む。

位置推定方法は、センサによって検出された検出データに基づいて前記対象の初期位置及び初期姿勢を含む初期測位情報を推定することによって前記測位情報を推定するステップをさらに含み得る。

前記第１回転基準点を決定するステップは、前記マップデータで前記測位情報に基づいて候補領域を抽出するステップと、前記候補領域に基づいて前記第１回転基準点を決定するステップとを含み得る。

前記候補領域を抽出するステップは、前記対象の前方で前記対象に隣接する領域を前記候補領域として抽出するステップを含み得る。

前記候補領域を抽出するステップは、前記対象が走行している車路に関する車路境界線を含む領域を前記候補領域として抽出するステップを含み得る。

前記第１回転基準点を決定するステップは、前記候補領域に含まれた車路境界線を延長するステップと、前記延長された車路境界線上の地点のうち、前記対象から閾値距離よりも遠い地点を前記第１回転基準点として決定するステップとを含み得る。

前記第２回転基準点を推定するステップは、消失点検出モデルに基づいて前記イメージデータから前記第２回転基準点を検出するステップを含み得る。

前記消失点検出モデルは、トレーニングイメージからトレーニング基準点を出力するようにトレーニングされたモデルを含み得る。

前記第２回転基準点を検出するステップは、前記イメージデータからランドマークオブジェクトを抽出するステップと、前記消失点検出モデルに基づいて前記ランドマークオブジェクトから前記第２回転基準点を検出するステップとを含み得る。

前記測位情報を補正するステップは、前記第１回転基準点及び前記第２回転基準点に基づいて回転パラメータを算出するステップと、前記算出された回転パラメータに基づいて前記測位情報を補正することによって最終測位情報を決定するステップとを含み得る。

前記回転パラメータを算出するステップは、前記第１回転基準点がイメージ平面に投影された地点が前記第２回転基準点にマッチングするように、前記第１回転基準点を補償するための回転パラメータを決定するステップを含み得る。

前記回転パラメータを算出するステップは、前記第１回転基準点の３次元座標、前記第２回転基準点の２次元座標、カメラ固有パラメータ、及び前記対象のロール角に基づいて前記回転パラメータを算出するステップを含み得る。

前記最終測位情報を決定するステップは、前記回転パラメータを用いて初期姿勢を補正することによって対象の最終姿勢を決定するステップを含み得る。

前記測位情報を補正するステップは、前記最終姿勢を決定した後、前記対象の初期位置に対する位置パラメータを算出するステップと、前記位置パラメータを用いて前記初期位置を補正することによって、対象の最終位置を決定するステップとをさらに含み得る。

前記最終位置を決定するステップは、前記初期位置に対して第１軸のオフセットを適用するステップと、前記初期位置に対して前記第１軸と区別される第２軸のオフセットを適用するステップとを含み得る。

前記第１軸のオフセットを適用するステップは、前記位置パラメータから前記対象の横軸に対応する成分を前記測位情報に反映するステップを含み、前記第２軸のオフセットを適用するステップは、前記位置パラメータから前記対象の長さ軸に対応する成分を前記測位情報に反映するステップを含み得る。

前記位置パラメータを算出するステップは、前記マップデータから検出されたマップランドマーク及び前記イメージデータから検出されたイメージランドマークに基づいて、前記位置パラメータを決定するステップを含み得る。

前記位置パラメータを決定するステップは、前記マップデータから検出されたマップランドマークの２次元座標と、それに対応するイメージランドマークの２次元座標との間の差に基づいて前記位置パラメータを算出するステップを含み得る。

一実施形態に係る位置推定装置は、イメージデータを検出するセンサと、対象に対して推定された測位情報及びマップデータに基づいて第１回転基準点を決定し、前記対象の前方に対する前記イメージデータから第２回転基準点を推定し、前記第１回転基準点及び前記第２回転基準点に基づいて算出された回転パラメータを用いて前記測位情報を補正するプロセッサとを含む。

位置推定装置は、測位において主要な要素である回転誤差を補償するための回転パラメータを、回転基準点などを用いて剛健に決定することができる。

位置推定装置は、回転パラメータ及び位置パラメータを算出し、最初の測位情報に反映することによって正確な最終測位情報を決定することができる。

一実施形態に係る位置推定装置の構成を示すブロック図である。 一実施形態に係る位置推定の誤差を説明する図である。 一実施形態に係る位置推定の誤差を説明する図である。 一実施形態に係る位置推定方法を説明するフローチャートを示す。 一実施形態に係るパラメータ算出を説明するための図である。 一実施形態に係る第１回転基準点を説明する図である。 一実施形態に係る第２回転基準点を説明する図である。 一実施形態に係る第２回転基準点を検出するための消失点検出モデルを説明する図である。 一実施形態に係る第２回転基準点を検出するための消失点検出モデルを説明する図である。 一実施形態に係る第２回転基準点を検出するための消失点検出モデルを説明する図である。 一実施形態に係る位置推定装置に対して推定された初期測位情報及び位置推定装置の実際の姿勢による回転基準点の誤差を説明する図である。 一実施形態に係る第１回転基準点及び第２回転基準点を用いて初期測位情報を補償する動作を説明する図である。 一実施形態に係る回転パラメータを用いて測位情報を補償する動作を説明する図である。 一実施形態に係る位置パラメータを用いて測位情報を補償する動作を説明する図である。 一実施形態に係る位置パラメータを用いて測位情報を補償する動作を説明する図である。

下記で説明する実施形態は様々な変更が加えられることができる。特許出願の範囲がこのような実施形態によって制限も限定もされることはない。各図面に提示された同じ参照符号は同じ部材を示す。

本明細書で開示されている特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。

本明細書で用いた用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

また、添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。

図１は、一実施形態に係る位置推定装置の構成を示すブロック図である。本明細書において「対象」は、位置推定装置１００によって位置及び姿勢が推定されるオブジェクトを示す。例えば、位置推定装置１００が車両に取り付けられる場合、その対象は車両であってもよい。

位置推定装置１００は、センサ１１０、プロセッサ１２０、及びメモリ１３０を含む。

センサ１１０は、検出データを生成する。例えば、センサ１１０は、位置を推定するために用いられる情報を検出することで検出データを生成する。位置を推定するために用いられる情報は、ＧＰＳ信号、加速度信号、速度信号、及びイメージ信号などの様々な信号を含む。プロセッサ１２０は、このような検出データを用いて一次的に初期測位情報を測定する。初期測位情報は、概略的に測定された、対象の位置及び姿勢を指示する情報を含む。例えば、センサ１１０は、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）及びＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュールを含む。センサ１１０は、対象の加速度及び角速度を示すＩＭＵ信号及びＧＰＳ信号を検出データとして取得する。

ＩＭＵは、慣性測定機（Ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｒ）とも示す。ＩＭＵは、姿勢変換、位置移動に対する変化速度、及び変位量を測定し、例えば、並進運動（例えば、加速度）を検出する３軸加速度計と、回転運動（例えば、角速度）を検出する３軸ジャイロスコープから構成される。ＩＭＵは、外部情報に依存しないことから、加速度信号及び角速度信号を安定的に収集することができる。ＧＰＳモジュールは、３つ以上の人工衛星から送信された信号を受信し、衛星と位置推定装置１００の位置を算出し、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）と示してもよい。ＧＰＳモジュールは、１Ｈｚで絶対位置を測定し、低いノイズしか有しないことから安定的に動作できる。ＩＭＵ３０１は、１００Ｈｚで相対位置を測定し、高速で測定することができる。

また、センサ１１０は、イメージデータを検出する。例えば、センサ１１０はカメラセンサを含んでもよく、カメラセンサは可視光線領域の光線を受信し、光線の強度を検出する。カメラセンサは、赤色チャネル、青色チャネル、及び緑色チャネルのそれぞれに対応する光線の強度を検出してカラーイメージを生成する。ただし、センサ１１０をこれに限定することなく、センサ１１０は、赤外線センサ、ライダセンサ、レーダーセンサ、熱画像センサ、及び深度センサなどを含んでもよい。カメラセンサは、位置推定装置１００の外部（例えば、位置推定装置１００の前方向）を撮影してイメージデータを生成する。

プロセッサ１２０は、対象に対して推定された測位情報及びマップデータに基づいて第１回転基準点を決定する。本明細書において、対象は、位置推定装置１００によって位置及び姿勢が推定されるオブジェクトを示す。例えば、位置推定装置１００は、車両に搭載されてもよく、対象は車両であってもよい。測位情報は、対象の位置、姿勢、及び動き（例えば、速度及び加速度）などの情報を含む。

本明細書において、回転基準点は、対象に対して推定された測位情報で回転誤差を補正するための基準となる地点を示す。第１回転基準点は、マップデータを用いて決定された回転基準点を示す。例えば、第１回転基準点は、２次元のイメージ平面上の消失点に対応する３次元地点として、車路境界線上の地点のうちイメージセンサから十分に遠い地点を示す。第１回転基準点の決定は、下記の図６を参照して説明する。

プロセッサ１２０は、対象の前方に対するイメージデータから第２回転基準点を推定する。第２回転基準点は、上述したセンサ１１０によって検出されたイメージデータを用いて推定された回転基準点を示す。第２回転基準点は消失点の一種として、３次元空間で平行な二以上の直線（例えば、車路境界線）が２次元のイメージ平面に投影される場合、該当の直線は、任意の一点に収斂する地点を示す。第２回転基準点の決定は、下記の図７～図１０を参照して説明する。

プロセッサ１２０は、第１回転基準点及び第２回転基準点に基づいて算出された回転パラメータを用いて測位情報を補正する。回転パラメータは、一次的に推定された初期測位情報及び対象の実際の位置及び姿勢間の誤差を補償するためのパラメータを示す。例えば、センサ１１０に含まれたカメラセンサは、対象（例えば、車両）の長手方向の軸に平行な光軸を有するよう対象に取り付けられる。この場合、カメラセンサも対象の動きと同じ動きを有するため、カメラセンサによって検出されるイメージデータは、対象の位置及び姿勢と一致する視覚的情報を含む。したがって、プロセッサ１２０は、初期測位情報に対応する第１回転基準点を、上述したイメージデータから検出された第２回転基準点にマッチングさせることができるように、回転パラメータを適用する。回転パラメータの算出については下記の図５を参照して説明し、回転パラメータの適用については下記の図１１～図１５を参照して説明する。

メモリ１３０は、位置推定方法を行うために要求されるデータを臨時的又は永久的に格納し得る。例えば、メモリ１３０は、イメージデータから回転基準点を検出するための消失点検出モデル及びそのモデルパラメータを格納してもよい。消失点検出モデルについては、下記の図９～図１０を参照して説明する。

上述したように、位置推定装置１００は、センサ１１０によって検出された検出データに基づいて、対象の初期位置及び初期姿勢を含む初期測位情報を推定する。初期測位情報は、姿勢誤差及び位置誤差を示し、以下の図２及び図３では初期測位情報に示される誤差について説明する。

図２及び図３は、一実施形態に係る位置推定の誤差を説明する図である。

一実施形態に係る位置推定装置は、ＧＰＳ信号及び加速度信号などを用いて初期測位情報を測定する。図２は、初期測位情報で初期姿勢が実際の姿勢に対して回転誤差Δθを有する状況を示す。初期測位情報は、位置推定装置が取り付けられた対象が任意の初期位置及び初期姿勢を有するものを指示する。マップデータ（例えば、ＨＤ（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）マップ）によれば、初期測位情報に対応するマップ車路境界線２１０は、図２に示した通りである。一方、実際にイメージセンサによって撮影されたイメージデータに示されるイメージ車路境界線２２０は、マップ車路境界線２１０と他の角度を示す。したがって、位置推定装置は、このような回転誤差を下記の図５により算出された回転パラメータを用いて補償できる。

参考として、マップデータは、マップに関する情報を含んでもよく、例えば、ランドマークに関する情報を含んでもよい。例えば、ランドマークは、運転者に道路を走行するために必要な情報を提供するために任意の地理的位置に固定されたオブジェクトを示す。例えば、道路表示板及び信号機などがランドマークに属してもよい。韓国道路交通法によれば、ランドマークは合計６種のクラスに分類される。例えば、ランドマークは、注意標識、規制標識、指示標識、補助標識、路面表示、信号機などに分類される。ただし、ランドマークの各クラスごとの分類を上述したものに限定されることはない。国ごとにクラスの種類が変わり得る。

また、本明細書で車路境界線は車路を定義する線として、道路面にペインティングされた実線又は点線などであり、道路の外郭に沿って配置された縁石（ｋｅｒｂ）などであってもよい。

図３は、初期測位情報で初期位置が実際の位置に対して位置誤差Δｘを有する状況を示す。マップデータによれば、初期測位情報に対応するマップ車路境界線３１０は、図３に示す通りである。一方、実際にイメージセンサによって撮影されたイメージデータに示されるイメージ車路境界線３２０は、マップ車路境界線３１０と異なる位置に示される。したがって、位置推定装置は、このような位置誤差を下記の図１２、図１４、及び図１５を参照して説明するように補償することができる。

図４は、一実施形態に係る位置推定方法を説明するフローチャートを示す。

まず、ステップＳ４１０において、位置推定装置は、対象に対して推定された測位情報及びマップデータに基づいて第１回転基準点を決定する。第１回転基準点の決定は、下記の図６を参照して説明する。

そして、ステップＳ４２０において、位置推定装置は、対象の前方に対するイメージデータから第２回転基準点を推定する。第２回転基準点の推定は、下記の図７～図１０を参照して説明する。

次に、ステップＳ４３０において、位置推定装置は、第１回転基準点及び第２回転基準点に基づいて算出された回転パラメータを用いて測位情報を補正する。回転パラメータを用いた測位情報の補正については、下記の図１２を参照して説明する。

図５は、一実施形態に係るパラメータ算出を説明するための図である。

一実施形態によれば、任意の位置誤差及び任意の回転誤差により補償された第１回転基準点５１０を、イメージ平面に投影された地点が第２回転基準点５４０にマッチングすると仮定する。このような仮定下で方程式をまとめると、第１回転基準点５１０がイメージ平面に投影された地点が第２回転基準点５４０にマッチングされるように回転パラメータを算出することができる。位置推定装置は、第１回転基準点５１０及び第２回転基準点５４０に基づいて回転パラメータを算出し得る。以下は、回転パラメータの算出のための数式を誘導する過程について説明する。

まず、第１回転基準点５１０は、マップデータ５０１から最初測位情報に基づいて決定される。例えば、最初測位情報により、マップデータ５０１上で対象の最初位置及び最初姿勢が決定される。このような対象の最初位置及び最初姿勢でイメージセンサによって撮影される車路境界線の消失点に対応する第１回転基準点５１０が決定される。上述したように、平行な二以上の車路境界線が３次元空間上で実際に交差しないこともある。ただし、この車路境界線を２次元イメージ平面に投影したとき、投影された車路境界線が交差するものと予測される地点が、第１回転基準点５１０として決定される。このような第１回転基準点５１０の決定については、下記の図６を参照して説明する。

ここで、最初測位情報、例えば、最初位置及び最初姿勢に上述したように任意の位置誤差及び姿勢誤差があると仮定すると、第１回転基準点５１０に対して位置／姿勢パラメータ補正５２０が適用される。例えば、位置パラメータ及び姿勢パラメータが第１回転基準点５１０に対して補償されてもよい。位置パラメータ及び姿勢パラメータが補償された第１回転基準点５１０に透視投影５３０が適用される場合、第１回転基準点５１０の２次元座標５９１が取得される。ここで、第１回転基準点５１０の２次元座標５９１は、入力イメージ５０３から検出された第２回転基準点５４０の２次元座標５９２と同一であると仮定する。このような第１回転基準点５１０及び第２回転基準点５４０の関係は次の数式のように示される。

上述した数式（１）において、ｐ_ｘ、ｐ_ｙ、ｐ_ｚはそれぞれ第１回転基準点５１０の３次元座標（例えば、ｘ、ｙ、ｚ座標）を示す。ｔ_ｘ、ｔ_ｙ、ｔ_ｚは位置パラメータ（例えば、位置誤差）のｘ、ｙ、ｚ変位値として、並進変換に対応する値を示す。θｘ、θｙ、及びθｚはそれぞれｘ軸を基準とする回転誤差、ｙ軸を基準とする回転誤差、ｚ軸を基準とする回転誤差であって、回転パラメータを示す。

はｙ軸を基準としてθｙだけ回転するための回転変換を示し、

はｘ軸を基準としてθｘだけ回転するための回転変換を示し、

はｚ軸を基準としてθｚだけ回転するための回転変換を示す。

は、回転変換及び並進変換が適用された第１回転基準点５１０の３次元座標を２次元座標で透視投影５３０変換した行列である。ｆはイメージセンサの焦点距離、ｃ_ｘ、ｃ_ｙはカメラ固有情報５０２（例えば、カメラ固有パラメータ）として、それぞれ主点（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）のｘ座標及びｙ座標を示す。ｖ’_ｘ、ｖ’_ｙ、ｖ’_ｚは、誤差の補正後にイメージ平面に投影された第１回転基準点５１０の３次元座標（例えば、ｘ、ｙ、ｚ座標）を示す。

ここで、ｖ’_ｘ、ｖ’_ｙ、ｖ’_ｚは３次元座標であるが、行列演算の便宜のために３次元座標に表現されたものであり、ホモジニアス座標（ｈｏｍｏｇｅｎｅｏｕｓ ｃｏｏｒｄｉｎａｔｅ）上の点であるため、下記の数式（２）のように２次元座標に表現されてもよい。

上述した数式（１）を２次元平面座標にまとめると、次の数式（３）のように表現される。

上述した数式（３）で、ｑ_ｘ及びｑ_ｙは下記の数式（４）のように示される。

上述した数式（４）において、消失点（ＶＰ、ｖａｎｉｓｈｉｎｇ ｐｏｉｎｔ）の特性によれば、ｐ_ｚはｐ_ｙに対して十分に大きいため（例えば、ｐｚ＞＞ｐｙ）、ｐ_ｙ／ｐ_ｚは０に収斂される。ｐ_ｘ／ｐ_ｚはδｘとして示される。δｘは定数であってもよい。また、消失点の特性によれば、未知数ｔ_ｘ、ｔ_ｙ、ｔ_ｚ、θｘ、θｙ、θｚのうちｔ_ｘ、ｔ_ｙ、ｔ_ｚが消去される。したがって、ｑ_ｘ、ｑ_ｙは下記の数式（５）のように示される。

したがって、ｑ_ｙは消去され、ｑ_ｘは回転パラメータのうちθｙに対する値に表現される。そのため、上述した数式（３）を再びまとめると、下記の数式（６）に示される。

上述した数式（６）において、車両のロール角が与えられれば（例えば、θｚ＝０）、θｘ、θｙに対する数式に整理される。上述した数式（６）において、未知数θｘ、θｙを除いた残りの変数が全て与えられるため、下記の数式（７）のようにｘ軸回転及びｙ軸回転に対して２つの連立方程式が成立する。

上述した数式（６）及び数式（７）は、第１回転基準点５１０の２次元座標５９１及び第２回転基準点５４０の２次元座標５９２が同一であるという仮定下で導き出される。したがって、位置推定装置は、上述した数式（６）及び数式（７）に基づいて、第１回転基準点５１０がイメージ平面で投影された地点が第２回転基準点５４０にマッチングするよう、第１回転基準点５１０を補償するための回転パラメータを決定し得る。例えば、位置推定装置は、第１回転基準点５１０の３次元座標、第２回転基準点５４０の２次元座標５９２、カメラ固有パラメータ、及び対象のロール角（例えば、θｚ）に基づいて、上述した数式（６）又は数式（７）を充足する回転パラメータを算出できる。

以下、図６を参照して第１回転基準点の３次元座標を決定する動作について説明する。

図６は、一実施形態に係る第１回転基準点を説明する図である。

一実施形態によれば、位置推定装置は、車路境界線の地点のうち対象６１０から十分遠い距離の地点を第１回転基準点６５０として決定する。上述したように、第１回転基準点６５０は、イメージ平面上で車路境界線６３１が交差して見えるはずの消失点に対応する。対象６１０からの距離が十分遠い地点であるほど、イメージ平面上の消失点に収斂されるためである。

例えば、位置推定装置は、マップデータで測位情報に基づいて候補領域６２０を抽出し得る。位置推定装置は、マップデータベース６０１から対象６１０の現在位置に関連するマップデータをロードする。例えば、位置推定装置は、対象６１０の前方で対象６１０に隣接する領域を候補領域６２０として抽出する。位置推定装置は、対象６１０が走行している車路６３２に関連する車路境界線６３１を含む領域を候補領域６２０として抽出する。位置推定装置が取り付けられた対象６１０が走行している車路６３２を定義する車路境界線６３１のうち、対象６１０に近い車路境界線６３１がイメージセンサによって安定的に撮影される可能性が高いためである。

そして、位置推定装置は、候補領域６２０に基づいて第１回転基準点６５０を決定する。一実施形態によれば、位置推定装置は、候補領域６２０に含まれた車路境界線６３１を延長し得る。例えば、位置推定装置は、候補領域６２０に含まれた車路境界線６３１を定義するウェイポイント（ｗａｙｐｏｉｎｔｓ）のうち少なくとも二つのウェイポイントを選択し、選択されたウェイポイントを連結する直線を延長し得る。ただし、基準点の決定は、車路境界線６３１を延長することに限定されず、例えば車路境界線６３１を定義するウェイポイント間の平均的な傾きを算出し、算出された傾きを有する直線を延長してもよい。位置推定装置は、延長された車路境界線６４０上の地点のうち、対象６１０から閾値距離６４１よりも遠い地点を第１回転基準点６５０として決定する。このように決定された第１回転基準点６５０の３次元座標はｐ_ｘ、ｐ_ｙ、ｐ_ｚに表現される。図６では、説明の便宜のために２次元のトップビューに示したが、マップデータの３次元座標系は、対象６１０（例えば、対象６１０の外郭上の任意の一地点）を原点にする３次元座標系に変換されてもよい。したがって、第１回転基準点６５０は、対象６１０を基準とする座標系に表現される。

以下、図７は、上述した第１回転基準点６５０に対する比較の基準となる第２回転基準点について説明する。

図７は、一実施形態に係る第２回転基準点を説明する図である。

一実施形態に係る位置推定装置は、イメージデータから第２回転基準点７２０を検出する。位置推定装置は、消失点検出モデルに基づいてイメージデータから第２回転基準点７２０を検出する。

例えば、位置推定装置は、車路境界線７１０が交差して見える地点を第２回転基準点７２０として検出する。消失点検出モデルは、境界線の幾何構造（ｇｅｏｍｅｔｒｉｃａｌ ａｎｄ ｓｔｒｕｃｔｕｒａｌ）情報（例えば、傾きなど）が数学的にモデリングされたものである。位置推定装置は、数学的モデルに基づいて、検出された車路境界線から第２回転基準点７２０を検出する。

ただし、第２回転基準点７２０の検出がこれに限定されることなく、消失点検出モデルとして機械学習構造が使用される。機械学習構造を用いた第２回転基準点７２０の検出については、下記の図８～図１０を参照して説明する。

図８～図１０は、一実施形態に係る第２回転基準点を検出するための消失点検出モデルについて説明する図である。

一実施形態によれば、位置推定装置は、消失点検出モデル８１０，９１０，１０１０に基づいてイメージデータから第２回転基準点を検出する。消失点検出モデルは機械学習構造で実現され、例えば、ニューラルネットワークを含む。

ニューラルネットワークは、ディープニューラルネットワーク（ＤＮＮ、ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）の例示である。ＤＮＮは、完全接続ネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋ）、ディープコンボリューショナルネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）、及びリカレントニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などを含む。ニューラルネットワークは、ディープランニングに基づいて非線形関係にある入力データ及び出力データを互いにマッピングすることで、オブジェクト分類、オブジェクト認識、音声認識、及び映像認識などを行ってもよい。ディープランニングは、ビッグデータセットから映像又は音声認識のような問題を解決するための機械学習方式である。ディープランニングの指導式（ｓｕｐｅｒｖｉｓｅｄ）又は非指導式（ｕｎｓｕｐｅｒｖｉｓｅｄ）学習を介して入力データ及び出力データを互いにマッピングする。

ニューラルネットワークは、入力レイヤ、隠しレイヤ、及び出力レイヤを含む。入力レイヤ、隠しレイヤ、及び出力レイヤはそれぞれ複数のノードを含む。

隠しレイヤは、様々な数のレイヤを含む。入力データは、入力レイヤから入力されるが、これに限定されることなく、隠しレイヤに直接入力される。ニューラルネットワークで出力レイヤを除いたレイヤのノードは、出力信号を送信するためのリンクを介して次のレイヤのノードと接続される。リンク数は、次のレイヤに含まれたノード数に対応する。

隠しレイヤに含まれた各ノードには、以前のレイヤに含まれたノードの加重された入力に関する活性関数の出力が入力される。加重された入力は、以前のレイヤに含まれたノードの入力にシナプス加重値（ｓｙｎａｐｔｉｃ ｗｅｉｇｈｔ）が乗算されたものである。シナプス加重値は、ニューラルネットワークのモデルパラメータに称されてもよい。活性関数は、シグモイド（ｓｉｇｍｏｉｄ）、ハイパボリックタンジェント（ｈｙｐｅｒｂｏｌｉｃ ｔａｎｇｅｎｔ；ｔａｎｈ）及びＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）を含んでもよく、活性関数によってニューラルネットワークに非線型性が形成される。出力レイヤに含まれた各ノードには以前のレイヤに含まれたノードの加重された入力が入力される。

ニューラルネットワークは、入力データが与えられれば、隠しレイヤを経て出力レイヤに分類及び認識しようとするクラス数に応じて関数値を算出し、そのうち最も大きい値を有するクラスに入力データを分類する。

ニューラルネットワークの幅と深度が十分大きければ、任意の関数を実できる程度の容量を有する。ニューラルネットワークが適切なトレーニング過程を介して多くのトレーニングデータを学習すれば、最適な認識性能を達成することができる。

図８は、消失点検出モデルの基本構造を示す。

本明細書において、消失点検出モデル８１０は、イメージデータ８０１から回転基準点情報８０９を出力するようにトレーニングされた機械学習構造である。例えば、消失点検出モデル８１０は、上述したニューラルネットワークで構成されるが、これに限定されることはない。回転基準点情報８０９は、第２回転基準点に対応する地点のイメージ平面上の２次元座標（例えば、ｘ座標及びｙ座標）である。消失点検出モデル８１０で入力レイヤ及び出力レイヤの次元は固定されるという制限があるが、隠しレイヤの構造は制限されないこともある。

トレーニング装置は、消失点検出モデル８１０をトレーニングデータに基づいてトレーニングさせ得る。トレーニングデータは、トレーニング入力及びトレーニング出力の対を含む。トレーニング出力は、任意のトレーニング入力に対して与えられた実際のグランドトゥルースデータ（ｇｒｏｕｎｄ ｔｒｕｔｈ ｄａｔａ）であり、トレーニング基準点（例えば、回転基準点の座標）であり得る。トレーニング装置は、消失点検出モデル８１０をトレーニングイメージからトレーニング基準点を出力するようにトレーニングさせ得る。例えば、トレーニング装置は、トレーニングイメージから消失点検出モデル８１０に基づいて算出された臨時出力、及びトレーニング基準点間の損失が最小化されるようにモデルパラメータをアップデートする。トレーニング装置は損失が収斂されるまでモデルパラメータのアップデートを繰り返す。このように、トレーニングされたモデルは、位置推定装置に格納される。

図９は、車路境界線検出モデル９２０及び消失点検出モデル９１０を用いる動作を説明する。

一実施形態に係る位置推定装置は、イメージデータ９０１からランドマークオブジェクトを抽出する。例えば、位置推定装置は、消失点検出モデル９１０に基づいてランドマークオブジェクトから回転基準点情報９０９として第２回転基準点を検出し得る。

例えば、位置推定装置は、ランドマークオブジェクトとして車路境界線を検出する。位置推定装置は、車路境界線検出モデル９２０に基づいて、イメージデータ９０１から車路境界線を検出する。車路境界線検出モデル９２０は、イメージデータ９０１から車路境界線に対応する地点を出力するようにトレーニングされたモデルであってもよい。

トレーニング装置は、予めトレーニングが完了した車路境界線検出モデル９２０をロードする。トレーニング装置は、トレーニングが完了した車路境界線検出モデル９２０に基づいて、イメージデータ９０１から車路境界線イメージを出力する。トレーニング装置は、車路境界線イメージから消失点検出モデル９１０に基づいて臨時出力を算出し、臨時出力及びトレーニング出力間の損失に基づいてモデルパラメータをアップデートする。ここで、トレーニング装置は、車路境界線検出モデル９２０のモデルパラメータを保持しながら、消失点検出モデル９１０のモデルパラメータだけをアップデートする。

ただし、これに限定されることなく、２つのモデルを次の図１０に示すようにジョイントトレーニング（ｊｏｉｎｔ ｔｒａｉｎｉｎｇ）させてもよい。

図１０は、図９と同じニューラルネットワーク構造をトレーニングさせる他の例示について説明する。

一実施形態によれば、位置推定装置は、イメージデータ１００１から車路境界線検出モデル１０２０に基づいて車路境界線情報１００８を出力する。位置推定装置は、車路境界線情報１００８から消失点検出モデル１０１０に基づいて回転基準点情報１００９を出力する。

例えば、トレーニング装置は、イメージデータ１００１を車路境界線検出モデル１０２０に伝搬（ｐｒｏｐａｇａｔｅ）させることにより車路境界線情報１００８を算出する。また、トレーニング装置は、消失点検出モデル１０１０に車路境界線情報１００８を伝搬させることにより回転基準点情報１００９を算出する。トレーニング装置は、車路境界線情報１００８に対する車路境界線損失及び回転基準点情報１００９に対する基準点損失に基づいて、車路境界線検出モデル１０２０及び消失点検出モデル１０１０、２つのモデルのモデルパラメータを同時に又は順次にアップデートできる。このようなトレーニング過程で、消失点検出モデル１０１０のトレーニング及び車路境界線検出モデル１０２０のトレーニングは相互のトレーニングを補助する。

図１１は、一実施形態に係る位置推定装置に対して推定された初期測位情報及び位置推定装置の実際の姿勢による回転基準点の誤差を説明する図である。

図１１において、初期測位情報による姿勢の対象１１１０は、車路境界線に対して斜めに位置していると仮定する。ここで、対象１１１０の姿勢は、初期測位情報により仮想的に図示されている。図６を参照して説明したように、位置推定装置は、対象１１１０が走行している車路の境界線を定義する地点のうち、対象１１１０から閾値距離よりも遠い地点を第１回転基準点１１５０として決定する。初期測位情報による姿勢の対象１１１０に取り付けられたセンサ１１１１の視野角に対応するイメージ平面で第１回転基準点１１５０が投影される場合、第１回転基準点１１５０が投影された地点１１５１は、図１１に示す通りである。

上述した初期測位情報とは異なって、実際の対象１１２０は、車路境界線と平行に位置してもよい。実際の対象１１２０のセンサ１１２１は、対象１１２０の前方に対するイメージを撮影する。位置推定装置は、図７～図１０を参照して上述したように、イメージデータ１１６０から第２回転基準点１１６１を検出し得る。

上述したように、最初測位情報に含まれた誤差によって、第１回転基準点１１５０がイメージ平面に直ちに投影された地点と第２回転基準点１１６１は互いに異なる地点に示される。したがって、第１回転基準点１１５０がイメージ平面に投影された地点と第２回転基準点１１６１間の差１１５６は、最初の測位情報に含まれた誤差（例えば、回転誤差及び位置誤差など）に対応する。

一実施形態に係る位置推定装置は、図５を参照して上述したように、算出された回転パラメータを用いて最初測位情報を以下の図１２に示すように補正する。

図１２は、一実施形態に係る第１回転基準点及び第２回転基準点を用いて初期測位情報を補償する動作を説明する図である。図１３は、一実施形態に係る回転パラメータを用いて測位情報を補償する動作を説明する図である。図１４及び図１５は、一実施形態に係る位置パラメータを用いて測位情報を補償する動作を説明する図である。

まず、位置推定装置は、マップデータ１２０１を取得する。ステップＳ１２１０において、位置推定装置は、マップデータ１２０１から最初測位情報に基づいて第１回転基準点を決定する。第１回転基準点の決定は図６を参照して上述したため、その説明は省略する。

一方、位置推定装置は、イメージデータ１２０２を取得する。ステップＳ１２２０において、位置推定装置は、消失点検出モデル１２０３に基づいて、イメージデータ１２０２から第２回転基準点を検出する。消失点検出モデル１２０３は、数学的モデル又は機械学習構造のモデルであり得る。

次に、ステップＳ１２３０において、位置推定装置は、回転パラメータ及び位置パラメータを用いて最初測位情報を補正する。

ステップＳ１２３１において、位置推定装置は、回転パラメータを算出し、回転パラメータを用いて最初測位情報を補正する。一実施形態によれば、位置推定装置は、第１回転基準点及び第２回転基準点に基づいて回転パラメータを算出する。例えば、位置推定装置は、第１回転基準点及び第２回転基準点から初期姿勢に対する回転パラメータを算出する。また、位置推定装置は、算出された回転パラメータに基づいて測位情報を補正することで最終測位情報を決定し得る。例えば、位置推定装置は、回転パラメータを用いて初期姿勢を補正することによって、対象の最終姿勢を決定し得る。図１３に示すように、回転パラメータを用いて測位情報を補償１３３１することで、第１回転基準点がイメージ平面に投影される位置がセンサを基準にして回転される。

一実施形態によれば、位置推定装置は、上述したように最終姿勢を決定した後、対象の初期位置に対する位置パラメータを算出する。位置推定装置は、位置パラメータを用いて初期位置を補正することで、対象の最終位置を決定し得る。

例えば、ステップＳ１２３２において、位置推定装置は、第１軸の位置パラメータを算出し、第１軸の位置パラメータを用いて測位情報を補正する。位置推定装置は、初期位置に対して第１軸上のオフセットを適用する。位置推定装置は、位置パラメータから対象の横軸に対応する成分を測位情報に反映する。図１４に示すように、第１軸の位置パラメータを用いて測位情報を補償１４３２することで、第１回転基準点がイメージ平面に投影される第１軸上の位置が移動される。

ステップＳ１２３３において、位置推定装置は、第２軸の位置パラメータを算出し、第２軸の位置パラメータを用いて測位情報を補正する。位置推定装置は、初期位置に対して第１軸と区別される第２軸上のオフセットを適用する。位置推定装置は、位置パラメータから対象の長さ軸に対応する成分を測位情報に反映する。図１５に示すように、第２軸の位置パラメータを用いて測位情報を補償１５３３することで、第１回転基準点がイメージ平面に投影される第２軸上の位置が移動される。

一実施形態に係る位置推定装置は、マップデータ１２０１から検出されたマップランドマーク及びイメージデータ１２０２から検出されたイメージランドマークに基づいて、位置パラメータ（例えば、第１軸の位置パラメータ及び第２軸の位置パラメータ）を決定する。例えば、位置推定装置は、マップデータ１２０１から検出されたマップランドマークの２次元座標、及びそれに対応するイメージランドマークの２次元座標間の差に基づいて位置パラメータを算出する。参考として、位置推定装置は、イメージデータ１２０２から検出された各ランドマークにランドマークスコアを設定する。位置推定装置は、マップデータ１２０１に含まれたマップランドマークをイメージ平面（例えば、初期位置及び初期姿勢でセンサの視野角による平面）に投影し、イメージデータ１２０２に示されたイメージランドマーク間に重なる程度に応じてマッチングスコアを算出する。位置推定装置は、マップランドマークの２次元座標又はイメージランドマークの２次元座標移動により、最も高いマッチングスコアを示す座標移動値に対応する位置パラメータを決定し得る。

上述したように、位置推定装置は、回転パラメータ及び位置パラメータを算出し、最初測位情報に反映することで正確な最終測位情報を決定できる。

位置推定装置は、最終測位情報を介して対象がマップデータ１２０１上で予め決定された場所に到達したか否か、又は、経路から離脱したか否かを判断するための情報を提供する。位置推定装置は、車両用情報システムと結合される。また、位置推定方法は、車両用デバイスでソフトウェア、ウェブサービス、チップ形態に具現されて提供され得る。

一実施形態に係る位置推定装置は、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）環境でイメージ及びマップデータ１２０１に基づいた測位に適用される。例えば、位置推定装置は価格が安くかつ小型化される。また、位置推定装置は、マップデータ１２０１のマップランドマーク及びイメージデータ１２０２のイメージランドマーク間に誤差が生じても、上述したように位置パラメータ及び回転パラメータを介して誤差を補償し得る。さらに、位置推定装置は、ランドマークの個数が制限されることなく（例えば、４個未満であっても）、位置パラメータ及び回転パラメータを決定し得る。

一実施形態に係る位置推定装置は、測位において主要な要素である回転誤差を補償するための回転パラメータを、回転基準点などを用いて剛健に決定することができる。

以上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

１００：位置推定装置
１１０：センサ
１２０：プロセッサ
１３０：メモリ

Claims (20)

1. 位置推定方法において、
   対象に対して推定された測位情報及びマップデータに基づいて第１回転基準点を決定するステップと、
   前記対象の前方に対するイメージデータから第２回転基準点を推定するステップと、
   前記第１回転基準点及び前記第２回転基準点に基づいて算出された回転パラメータを用いて、前記測位情報を補正するステップと、
   を含み、前記測位情報を補正するステップは、
   前記第１回転基準点の３次元座標、前記第２回転基準点の２次元座標、カメラ固有パラメータ、及び前記対象のロール角に基づいて回転パラメータを算出するステップと、
   前記算出された回転パラメータに基づいて前記測位情報を補正することによって最終測位情報を決定するステップと、
   を含む、位置推定方法。
2. センサによって検出された検出データに基づいて前記対象の初期位置及び初期姿勢を含む初期測位情報を推定することによって前記測位情報を推定するステップをさらに含む、請求項１に記載の位置推定方法。
3. 前記第１回転基準点を決定するステップは、
   前記マップデータから、前記測位情報に基づいて候補領域を抽出するステップと、
   前記候補領域に基づいて前記第１回転基準点を決定するステップと、
   を含む、請求項１又は２に記載の位置推定方法。
4. 前記候補領域を抽出するステップは、前記対象の前方で前記対象に隣接する領域を前記候補領域として抽出するステップを含む、請求項３に記載の位置推定方法。
5. 前記候補領域を抽出するステップは、前記対象が走行している車路に関する車路境界線を含む領域を前記候補領域として抽出するステップを含む、請求項３に記載の位置推定方法。
6. 前記第１回転基準点を決定するステップは、
   前記候補領域に含まれた車路境界線を延長するステップと、
   前記延長された車路境界線上の地点のうち、前記対象から閾値距離よりも遠い地点を前記第１回転基準点として決定するステップと、
   を含む、請求項３に記載の位置推定方法。
7. 前記第２回転基準点を推定するステップは、消失点検出モデルに基づいて前記イメージデータから前記第２回転基準点を検出するステップを含む、請求項１－６のうち何れか一項に記載の位置推定方法。
8. 前記消失点検出モデルは、トレーニングイメージからトレーニング基準点を出力するようにトレーニングされたモデルを含む、請求項７に記載の位置推定方法。
9. 前記第２回転基準点を検出するステップは、
   前記イメージデータからランドマークオブジェクトを抽出するステップと、
   前記消失点検出モデルに基づいて前記ランドマークオブジェクトから前記第２回転基準点を検出するステップと、
   を含む、請求項７に記載の位置推定方法。
10. 前記回転パラメータを算出するステップは、前記第１回転基準点がイメージ平面に投影された地点が前記第２回転基準点にマッチングするように、前記第１回転基準点を補償するための回転パラメータを決定するステップを含む、請求項１に記載の位置推定方法。
11. 前記最終測位情報を決定するステップは、前記回転パラメータを用いて初期姿勢を補正することによって対象の最終姿勢を決定するステップを含む、請求項１に記載の位置推定方法。
12. 前記測位情報を補正するステップは、
    前記最終姿勢を決定した後、前記対象の初期位置に対する位置パラメータを算出するステップと、
    前記位置パラメータを用いて前記初期位置を補正することによって、対象の最終位置を決定するステップと、
    をさらに含む、請求項１１に記載の位置推定方法。
13. 前記最終位置を決定するステップは、
    前記初期位置に対して第１軸のオフセットを適用するステップと、
    前記初期位置に対して前記第１軸と区別される第２軸のオフセットを適用するステップと、
    を含む、請求項１２に記載の位置推定方法。
14. 前記第１軸のオフセットを適用するステップは、前記位置パラメータから前記対象の横軸に対応する成分を前記測位情報に反映するステップを含み、
    前記第２軸のオフセットを適用するステップは、前記位置パラメータから前記対象の長さ軸に対応する成分を前記測位情報に反映するステップを含む、請求項１３に記載の位置推定方法。
15. 前記位置パラメータを算出するステップは、前記マップデータから検出されたマップランドマーク及び前記イメージデータから検出されたイメージランドマークに基づいて、前記位置パラメータを決定するステップを含む、請求項１２に記載の位置推定方法。
16. 前記位置パラメータを決定するステップは、前記マップデータから検出されたマップランドマークの２次元座標と、それに対応するイメージランドマークの２次元座標との間の差に基づいて前記位置パラメータを算出するステップを含む、請求項１５に記載の位置推定方法。
17. 請求項１乃至１６のいずれか一項に記載の位置推定方法をコンピュータに実行させるための命令語を含むコンピュータプログラム。
18. 位置推定装置において、
    イメージデータを検出するセンサと、
    対象に対して推定された測位情報及びマップデータに基づいて第１回転基準点を決定し、前記対象の前方に対する前記イメージデータから第２回転基準点を推定し、前記第１回転基準点及び前記第２回転基準点に基づいて算出された回転パラメータを用いて前記測位情報を補正するプロセッサと、
    を含み、前記測位情報を補正する場合に、前記プロセッサは、
    前記第１回転基準点の３次元座標、前記第２回転基準点の２次元座標、カメラ固有パラメータ、及び前記対象のロール角に基づいて回転パラメータを算出し、
    前記算出された回転パラメータに基づいて前記測位情報を補正することによって最終測位情報を決定する、位置推定装置。
19. 前記対象は車両であり、
    前記センサは、前記車両に取り付けられる、請求項１８に記載の位置推定装置。
20. 前記測位情報は、ＧＰＳ信号及び加速度信号から取得される情報を含む、請求項１８に記載の位置推定装置。

Images