JP7343054B2 - 位置推定方法、位置推定装置、および位置推定プログラム - Google Patents

Description

本開示の技術は、位置推定方法、位置推定装置、および位置推定プログラムに関する。

車両や船舶、ロボットなどの移動体にセンサを搭載し、センサにより得られた情報から周辺地図を作成する取り組みの重要性は広く認識されている。特に自動運転に向け、移動体周辺のどの位置にどのような交通標識や看板などの周辺物体が設置されているかを推定して周辺地図に反映させる必要がある。頻繁にアップデートされる交通標識や看板の位置を網羅したデータベースが存在しないためである。

高精度に周辺物体の位置を推定する方法として、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ ＲａｎｇｉｎｇまたはＬａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）方式と呼ばれる自己位置推定と環境地図の作成とを同時に行うＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）と呼ばれる技術が知られている（非特許文献１）。

しかし、頻繁に地図をアップデートする必要がある上に、全世界の広域な範囲を網羅するにはＬＩＤＡＲ方式は高価なため、安価なセンサにより得られた情報から周辺地図を作成する取り組みが注目されている。安価なセンサを用いて、周辺物体の位置推定を行う方式として、移動体から撮像されたカメラ映像から切り出した、共通する被写体（この場合は周辺物体）が撮影されている画像間のペアを作成し、三角測量を行う技術が知られている（特許文献１）。

移動体から撮像されたカメラの映像または画像とＧＰＳ軌跡を用いて周辺物体の位置座標を一意に推定する場合、各画像ペアによる三角測量結果の中にはＧＰＳの精度低下の影響などにより、信頼性の低いものが混在している。上記特許文献１に記載の位置座標推定装置では以下の２つの方法で信頼性の低い三角測量結果による影響を取り除いている。

（第１の方法） ＧＰＳ軌跡の水平方向の信頼性を示すＨＤＯＰ（Ｈｏｒｉｚｏｎｔａｌ ｄｉｌｕｔｉｏｎ ｏｆ ｐｒｅｃｉｓｉｏｎ、水平精度低下率）の値に閾値を設けて、ＨＤＯＰの値が悪いＧＰＳを用いた推定を行わないことにより、偶然誤差の影響を取り除く。

（第２の方法） 最終的な推定位置座標の出力時に、三角測量で推定した座標分布の平均値または中央値を採用する単純な統計処理を行うことにより、座標分布の中で限定的な系統誤差の影響を取り除く。

「ＳＩＰ自動走行システムＡｕｔｏｍａｔｅｄ ｄｒｉｖｉｎｇ ｓｙｓｔｅｍ ｆｏｒ ｅｖｅｒｙｏｎｅ ａ ｓｍｉｌｅ」、２０１８年５月１１日第１期ＳＩＰ記者勉強会（第３回）、インターネット＜ ＵＲＬ： ｈｔｔｐｓ：／／ｗｗｗ８．ｃａｏ．ｇｏ．ｊｐ／ｃｓｔｐ／ｇａｉｙｏ／ｓｉｐ／ｐｒｅｓｓ／ｊｉｄｏｓｏｋｏ．ｐｄｆ＞

ＷＯ２０２０／０３９９３７

移動体の周辺物体の位置を推定して、自動運転を見据えた周辺地図に反映するにあたり、ＬＩＤＡＲ方式は高い精度が実現できるが、コストも高くなるため、広い範囲を網羅した上で日々アップデートし続けることは困難である。

上記特許文献１の手法では、高価なセンサを用いずに安価なセンサで測位した情報を用いて位置座標の推定を行う。また、安価なセンサを用いた場合の課題として、非特許文献１では、時系列センサデータを統計的な手法で加工している。しかしながら、時系列センサデータに含まれるセンサデータが取得されたときの移動体と周辺環境との関係を考慮していないため、当該センサデータを用いた位置座標の推定にはなお改善の余地を残す。

開示の技術は、上記の点に鑑みてなされたものであり、移動体が移動する区間またはその周辺に存在する位置推定対象の位置を精度よく推定することができる位置推定方法、位置推定装置、および位置推定プログラムを提供することを目的とする。

本開示の第１態様は、位置推定方法であって、移動体がセンシングしながら所定の区間の移動を複数回することで得られたセンサ情報および前記センサ情報が取得された位置情報を用いて、前記移動体の周辺に存在する位置推定対象の位置を推定する位置推定方法であって、前記所定の区間の移動ごとに、前記位置情報と前記センサ情報に基づき、前記位置推定対象の位置候補を複数推定する推定ステップと、前記所定の区間の移動ごとに、前記所定の区間の移動で得られた前記位置推定対象の複数の位置候補に基づき、前記位置候補を推定する際に用いられた前記位置情報が、前記位置情報を求めるために用いたＧＰＳ衛星の位置、前記位置情報を求めたときの前記移動体の現実空間の位置、及び前記移動体、のいずれに起因する誤差を有するか、若しくはいずれに起因する誤差を有さないか、を評価する評価ステップと、前記複数回の前記所定の区間の移動において前記推定された前記位置推定対象の複数の位置候補から、前記誤差を有すると評価された、前記所定の区間の移動において推定された前記位置推定対象の位置候補を除いた結果に基づき、前記位置推定対象の位置の最終出力値を決定する決定ステップと、を有する。

本開示の第２態様は、位置推定装置であって、移動体がセンシングしながら所定の区間の移動を複数回することで得られたセンサ情報および前記センサ情報が取得された位置情報を用いて、前記移動体の周辺に存在する位置推定対象の位置を推定する位置推定装置であって、前記所定の区間の移動ごとに、前記位置情報と前記センサ情報に基づき、前記位置推定対象の位置候補を複数推定する位置推定部と、前記所定の区間の移動ごとに、前記所定の区間の移動で得られた前記位置推定対象の複数の位置候補に基づき、前記位置候補を推定する際に用いられた前記位置情報が、前記位置情報を求めるために用いたＧＰＳ衛星の位置、前記位置情報を求めたときの前記移動体の現実空間の位置、及び前記移動体、のいずれに起因する誤差を有するか、若しくはいずれに起因する誤差を有さないか、を評価し、前記複数回の前記所定の区間の移動において前記推定された前記位置推定対象の複数の位置候補から、前記誤差を有すると評価された、前記所定の区間の移動において推定された前記位置推定対象の位置候補を除いた結果に基づき、前記位置推定対象の位置の最終出力値を決定する位置決定部と、を含んで構成される。

本開示の第３態様は、位置推定プログラムであって、移動体がセンシングしながら所定の区間の移動を複数回することで得られたセンサ情報および前記センサ情報が取得された位置情報を用いて、前記移動体の周辺に存在する位置推定対象の位置を推定するための位置推定プログラムであって、前記所定の区間の移動ごとに、前記位置情報と前記センサ情報に基づき、前記位置推定対象の位置候補を複数推定し、前記所定の区間の移動ごとに、前記所定の区間の移動で得られた前記位置推定対象の複数の位置候補に基づき、前記位置候補を推定する際に用いられた前記位置情報が、前記位置情報を求めるために用いたＧＰＳ衛星の位置、前記位置情報を求めたときの前記移動体の現実空間の位置、及び前記移動体、のいずれに起因する誤差を有するか、若しくはいずれに起因する誤差を有さないか、を評価し、前記複数回の前記所定の区間の移動において前記推定された前記位置推定対象の複数の位置候補から、前記誤差を有すると評価された、前記所定の区間の移動において推定された前記位置推定対象の位置候補を除いた結果に基づき、前記位置推定対象の位置の最終出力値を決定することをコンピュータに実行させるためのプログラムである。

開示の技術によれば、移動体の周辺に存在する位置推定対象の位置を精度よく推定することができる。

本実施形態の位置推定装置を備えた車載システムの概略構成図である。 本実施形態の位置推定装置のハードウェア構成を示すブロック図である。 本実施形態の位置推定装置の機能構成を表すブロック図である。 トリップごとの位置候補点の分布を示す図である。 位置候補点のクラスタリング結果の一例を示す図である。 オブジェクトごとの位置候補点の分布を示す図である。 本実施形態の位置推定処理の流れを表すフローチャートである。 本実施形態のオブジェクト検知処理の流れを表すフローチャートである。 本実施形態のオブジェクトマッチング処理の流れを表すフローチャートである。 本実施形態の観測ペア生成処理の流れを表すフローチャートである。 観測ペアにおける視線ベクトルの交点角度を説明するための図である。 観測ペアにおける視線ベクトルの交点が後ろ側にできる場合を説明するための図である。 本実施形態の位置座標推定処理の流れを表すフローチャートである。 本実施形態の最終出力決定処理の流れを表すフローチャートである。 トリップごとの評価値と誤差平均の配列の一例を示す図である。 本実施形態のクラスタリング処理の流れを表すフローチャートである。 クラスタごとの位置候補点の一例を示す図である。 クラスタごとの所属座標候補点数と、累積占有率の一例を示す図である。 本実施形態の他の例におけるクラスタリング処理の流れを表すフローチャートである。 地図上の道路付近の領域を、一定サイズの領域に区切った例を示す図である。 区切られた領域内の、ｘ軸上に分布した複数の座標候補点のうちの一つについて、座標候補点の密度を表すガウス関数を求めた例を示す図である。 区切られた領域内の、ｘ軸上に分布した複数の座標候補点の各々について求めたガウス関数の和を求めた例を示す図である。 ガウス関数の和を示す曲線上で、丸印で示される３つの極値が探索された例を示す図である。 ガウス関数の和を示す曲線上で、座標候補点のペアについて探索された極値同士の距離が閾値よりも小さい座標候補点のペアが同じクラスタに属する例を示す図である。 クラスタにおける極値のｚ座標が閾値よりも小さいクラスタが除外される例を示す図である。 ２つのクラスタの極値と極値の間に出現する谷のｚ座標が閾値よりも大きい例を示す図である。 本実施形態の信頼度算出処理の流れを表すフローチャートである。

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

＜本実施形態の概要＞
上記特許文献１の第１の方法でＨＤＯＰの値による選別を実施し、第２の方法で中央値又は平均値を出力する単純な統計処理を実施している。しかしながら、移動体から安価なセンサを用いて取得された動的な情報を元に三角測量などの方法で位置推定を行う場合に、推定精度低下を引き起こす、以下の（ａ）～（ｊ）の課題がある。

（ａ）高架やビル、前方を走行する移動体などの遮蔽物による位置や状況に依存した一時的なＧＰＳ精度の低下が起きる。

（ｂ）天空におけるＧＰＳ衛星の配置が好ましくないことによる一時的なＧＰＳ精度の低下が起きる。

（ｃ）車両速度が速すぎることによる三角測量を行うことができるペア数が減少する。

（ｄ）ＧＰＳなどの自車位置情報取得装置とカメラの位置のずれが起きる。

（ｅ）カメラの処理性能不足によるフレーム飛びによるカメラ画像と位置情報との間の時刻のずれが起きる。

（ｆ）上記（ａ）～（ｅ）などの要因により一定期間連続して正しい位置から外れた推定が行われてしまい、系統誤差が発生する。

（ｇ）三角測量を行う交点角度が鋭角になった場合、渋滞、停車中、オブジェクトが画像の中心部に撮像されている場合など、三角測量が不可となる事象が発生する。

（ｈ）自車位置からマッチングした周辺物体への視線ベクトルの符号が、三角測量のために作成したペア間で負となった場合、ペア画像マッチング時のミスにより、進行方向の後ろ側にペアの視線ベクトルの交点ができてしまい、正常に位置推定が行えない事象が発生する。

（ｉ）周辺物体が事前に学習されたどの物体であるかを映像から検出する際に、事前に学習したテンプレート画像と入力画像に写る対象物のサイズが異なることによるマッチング率の低下が起きる。

（ｊ）推定したい物体が先行車両や周辺の植物などの他の物体に隠れてしまうことによるマッチング率の低下が起きる。

上記（ａ）～（ｊ）の課題は、位置情報を推定する際に用いられたＧＰＳ衛星の位置に起因する課題、位置情報を求めたときの移動体の現実空間の位置に起因する改題、及び移動体自体に起因する課題、に大別される。

上記特許文献１の第１の方法ではＨＤＯＰの値を参照する。しかしながら、ＨＤＯＰの値は天空におけるＧＰＳ衛星の配置の好ましさを元に算出しており、上記（ｂ）の課題は解決できても、（ａ）の課題を解決することはできない。

また、上記特許文献１の第２の方法では複数の推定点から求められた平均値や中央値を最終結果とすることで、上記（ａ）～（ｅ）などの要因によりＧＰＳ精度が瞬間的に低下して、ごく一部の三角測量結果の推定精度が低下している場合には統計的にその影響を排除することができる。しかし、（ｆ）に挙げたように、ＧＰＳ精度が一定期間低下し続けて、三角測量結果の大部分が誤っていた時に信頼性の低い三角測量結果の影響を取り除くことができないという問題があった。

本発明の実施形態では、上記に挙げたような移動体に搭載された安価なセンサを用いて取得したセンサ情報や位置情報を用いて周辺物体の位置を推定する際に生じる課題を、三角測量時に工夫を加えたり、統計処理により推定結果に信頼度を付与したりすることにより解決する。

以下では、車両が車載カメラで動画ないし静止画を撮像しながら所定の区間を移動することをトリップと呼ぶ。この所定の区間は、一定期間ごとに区切った期間である。なお、所定の区間を、地図上を一定のメッシュで区切った領域としてもよいし、道路単位で区切った領域としてもよい。

また、車両の周辺物体１つ１つをオブジェクトと呼び、オブジェクトは、位置推定対象の一例である。静止物体がオブジェクトに対応する。静止物体とは、道路標識、交通信号機、電柱、ポスト、自動販売機、建物、看板などの固定物に加えて、駐車車両やロードコーンなど、少なくとも一定時間同じ位置にある物体を含み得る。また、静止物体には、一時停止中の他の車両や信号待ちをしている人を含めることも可能である。なお、例えば同じ「駐車禁止標識」であったとしても、異なる場所に２つ以上設置されていた場合、それらは別オブジェクトとみなす。

三角測量などの方法でオブジェクトの位置座標と推定された三角測量結果を座標候補点と呼ぶ。１つの画像ペアからは、当該画像ペアでマッチングされえたオブジェクトの１つの座標候補点が算出されるため、一度の走行から複数の座標候補点が出力される。

座標候補点の分布を参照しながら、最終的に一意に定めたオブジェクトの位置座標を位置座標の最終出力値と呼ぶ。なお、位置座標の最終出力値の算出にあたっては、一つのトリップだけでなく、移動範囲が重複している複数回のトリップにおいて推定された座標候補点をあわせて利用して最終出力値を算出する。

＜本実施形態に係る位置推定装置の構成＞
図１は、本実施形態の位置推定装置１を備えた車載システムの一例を示す。図１では、移動体の一例として車両４が示されている。車両４は、特定の車両に限定されるものではなく、様々な個人、車種、メーカーの車両であってもよい。ただし、移動体には、車両、二輪車、自転車、パーソナルモビリティ、ロボット、歩行者、船舶、飛行機、ドローンなど、センサを搭載することが可能なあらゆる移動が含まれ得る。したがって、図１に示した車載システムは一例にすぎず、歩行者が所持するスマートフォンなどに置き換えることも可能である。

図１において、移動体としての車両４には、本実施形態の位置推定装置１と、カメラ２と、ＧＰＳセンサ３とが搭載されている。

カメラ２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の固体撮像デバイスを用いたもので、車両４の進行方向など、任意の方向の道路領域を撮像範囲に含むように、設置場所、向きおよび角度が設定されている。カメラ２は、撮像した画像を取得し、取得した画像を位置推定装置１へ出力する。

なお、カメラ２によって取得される画像は、動画像であってもよく、一定の時間間隔で撮像される静止画像であってもよい。

ＧＰＳセンサ３は、複数のＧＰＳ衛星が送信するＧＰＳ信号を受信して測距演算を行うことにより車両４の緯度・経度を算出するもので、この算出された経度および緯度を含む位置情報を位置推定装置１へ出力する。位置情報は、経度および緯度に加えて、ＧＰＳ計測の確からしさを表す情報を含むことができる。なお、以下では、経度および緯度を、「位置座標」とも言う。ＧＰＳ計測の確からしさとは、例えば、ＧＰＳ衛星の配置状況に応じて決定される指標である。なお、位置座標の取得は、ＧＰＳセンサ３に限定されるものではなく、同等の機能が発揮されるのであれば、無線基地局やＷｉ－Ｆｉ（登録商標）アクセスポイントの位置情報を利用するなど、他の手段を使用してもよい。

図２は、本実施形態の位置推定装置１のハードウェア構成を示すブロック図である。

図２に示すように、位置推定装置１は、入出力インタフェースユニット１０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ２０Ａ、プログラムメモリ２０Ｂ、およびデータメモリ３０を有する。各構成は、バス４０を介して相互に通信可能に接続されている。

入出力インタフェースユニット１０は、例えば１つ以上の有線または無線の通信インタフェースユニットを含んでいる。入出力インタフェースユニット１０は、上記カメラ２およびＧＰＳセンサ３を含む外部機器から情報を受け取るとともに、位置推定装置１により生成された情報を外部へと出力する。

プロセッサ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、プロセッサ２０Ａは、データメモリ３０からプログラムを読み出し、プログラムメモリ２０Ｂを作業領域としてプログラムを実行する。プロセッサ２０Ａは、データメモリ３０に記憶されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。本実施形態では、データメモリ３０には、位置推定プログラムが格納されている。位置推定プログラムは、１つのプログラムであっても良いし、複数のプログラムまたはモジュールで構成されるプログラム群であっても良い。

プログラムメモリ２０Ｂは、各種プログラムおよび各種データを格納する。プログラムメモリ２０Ｂは、作業領域として一時的にプログラムまたはデータを記憶する。データメモリ３０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。

次に、位置推定装置１の機能構成について説明する。図３は、位置推定装置１の機能構成の例を示すブロック図である。

入出力インタフェースユニット１０は、車両４に搭載されたドライブレコーダ等のカメラ２で記録された画像や、車両４に搭載されたＧＰＳセンサ３からの位置情報を受け取って制御ユニット２０に出力する。本実施形態では、入出力インタフェースユニット１０は、車両４がセンシングしながら移動するときに得られた画像および位置情報を受け取る。さらに、入出力インタフェースユニット１０は、制御ユニット２０から出力されたデータを外部へと出力させる。例えば、推定された位置座標が、出力結果として、入出力インタフェースユニット１０を介して、地図に対して位置情報をマッピングする可視化手段へと出力される。あるいは、入出力インタフェースユニット１０は、位置座標の推定結果を表示するために生成された表示データを、例えば車両４のカーナビゲーション装置（図示省略）の表示部へ出力して表示させることもできる。

データメモリ３０の記憶領域は、観測データ記憶部３１と、オブジェクトデータ記憶部３２と、オブジェクト別データ記憶部３３と、座標データ記憶部３４と、最終データ記憶部３５とを備えている。

観測データ記憶部３１は、カメラ２により得られた画像と、ＧＰＳセンサ３により得られた位置情報を記憶するために使用される。以下、画像と位置情報を合わせて「観測データ」とも言う。

オブジェクトデータ記憶部３２は、画像中で検知されたオブジェクトを識別する情報を、当該画像に紐付けられた位置情報とともに記憶するために使用される。

オブジェクト別データ記憶部３３は、検知されたオブジェクトごとに分割された画像および位置情報を記憶するために使用される。

座標データ記憶部３４は、オブジェクトの画像またはオブジェクトの識別情報とともに、該オブジェクトの位置座標データを記憶するために使用される。

最終データ記憶部３５は、オブジェクトの位置座標の最終出力値を記憶するために使用される。

ただし、上記観測データ記憶部３１～最終データ記憶部３５は必須の構成ではなく、例えば、クラウドに配置されたデータベースサーバ等の外部の記憶装置に設けられたものであってもよい。この場合、位置推定装置１は、通信ネットワーク等を介して上記クラウドのデータベースサーバにアクセスすることにより、必要なデータを取得する。

制御ユニット２０は、上記プロセッサ２０Ａと、上記プログラムメモリ２０Ｂとから構成され、機能的には、観測データ取得部２１、オブジェクト検知部２２、オブジェクトマッチング部２３、観測ペア生成部２４、位置推定部２５、位置決定部２６、および出力制御部２７を備えている。

観測データ取得部２１は、入出力インタフェースユニット１０を介して、カメラ２から出力された画像、およびＧＰＳセンサ３から出力された位置情報を取り込み、観測データ記憶部３１に格納する。

オブジェクト検知部２２は、観測データ記憶部３１から画像を読み出し、位置座標を推定したいオブジェクトが写っているか検知する処理を行い、検知結果をオブジェクトデータ記憶部３２に格納する。例えば、オブジェクト検知部２２は、検知されたオブジェクトを示すボックス情報を画像に付与してオブジェクトデータ記憶部３２に格納することができる。

オブジェクトマッチング部２３は、オブジェクトが写っていると検知された画像に所望のオブジェクトが撮像されているか検出を行い、当該画像に移っているオブジェクトの名称を検出する。この検出では、例えばオブジェクトの名称と当該オブジェクトが撮像されている画像を用いて学習された学習済みモデルを用いてもよいし、パターンマッチングなどを用いてもよい。

また、事前に学習したり、パターンマッチのために用意したテンプレート画像と入力画像に写るオブジェクトの歪みやサイズの違いを考慮しないとマッチング率が低下するため、本実施形態では、レンズ歪み補正とテンプレート拡大補正を実施する。車載カメラの画像では画像の中心部に比べて、外側で歪みが生じやすいため、レンズ歪み補正では、歪みによって変形した被写体のエッジから歪みを除去した上でマッチングを行う。テンプレート拡大補正では、テンプレートを拡大縮小しながら入力画像とのマッチングをかけ、サイズの違いによりマッチング率が低下することを防ぐ。

観測ペア生成部２４は、所定の区間の移動であるトリップごとに、各画像から検出されたオブジェクトの名称に基づいて、同じオブジェクトが映っている画像のペアを観測ペアとして生成する。このとき、上記特許文献１ではＨＤＯＰの値が高い観測ペアのみを除外していたが、本実施形態では、図１１に示した三角測量時に視線ベクトルの交点角度が鋭角となっている観測ペアの除去も行う。これは、交点角度が鋭角の場合、渋滞、停車中、オブジェクトが画像の中心部に撮像されている場合など、三角測量による測量が不可となる可能性が高いためである。また、図１２に示すように車両４の位置からマッチングしたオブジェクトに対する視線ベクトルを求めた際に、観測ペア間でその視線ベクトル同士の符号が負となる、すなわち車両４の位置から進行方向に対して道路を挟んで左と右の方向にあるオブジェクトに対して成立してしまった観測ペアを除去する。このような観測ペアは画像マッチング時のミスにより生成されてしまうが、三角測量を行う際に進行方向の後ろ側に観測ペアのベクトル交点ができてしまい、正常に位置推定が行えないためである。

位置推定部２５は、所定の区間の移動であるトリップごとに、各観測ペアから、位置情報とオブジェクトの検知結果に基づく三角測量を用いてオブジェクトの位置を表す座標候補点を推定する。

なお、座標候補点の推定までの方法を、上記特許文献１に記載の方法と同様のものとして説明したが、本開示の構成はこの方法に限ったものではない。車載カメラの画像と当該画像を撮像したときの車両４の位置情報とを用いてオブジェクトの座標候補点を推定する方法であれば、他の方法であってもよい。

位置決定部２６は、位置情報に誤りがあるトリップを除くために、トリップごとに得られたオブジェクトの位置を表す座標候補点を所定の空間にマッピングする。位置決定部２６は、トリップごとに、マッピングされた座標候補点に基づいて、座標候補点を推定する際に用いられた位置情報が、位置情報を求めるために用いたＧＰＳ衛星の位置、位置情報を求めたときの車両４の現実空間の位置、及び車両４自体のいずれに起因する誤差を有するか、若しくはいずれに起因する誤差を有さないか、を評価する。位置決定部２６は、誤差を有すると評価されたトリップに属する座標候補点を除いた、座標候補点に基づき、オブジェクトの位置の最終出力値を決定し、最終データ記憶部３５に格納する。所定の空間としては、例えば、Ｘ軸、Ｙ軸、Ｚ軸からなる三次元空間を用いることができる。

これにより、座標候補点の分布を見ながら信頼性の低い座標候補点を除外した上で、残った座標候補点の密集度合を考慮しながら最終的に出力するオブジェクトの位置の最終出力値を決定することができる。この際、位置決定部２６は、算出したオブジェクトの位置の最終出力値の信頼度も計算することができる。

出力制御部２７は、最終データ記憶部３５に記憶されたオブジェクトの位置を示す最終出力値を読み出し、入出力インタフェースユニット１０を介して外部に出力する処理を行う。

次に、位置決定部２６における詳細な処理について説明する。図４～図６は、位置決定部２６における処理の概要を示す図である。

位置決定部２６は、まず位置推定部２５で推定された座標候補点群の中から、トリップ単位で、推定結果又は位置情報が誤差を有すると評価されるトリップにおいて推定された座標候補点を除去する（図４参照）。ここでは、当該トリップにおいて取得された位置情報および画像から推定された座標候補点群をまとめて除去し、最終出力値の算出時に除外対象とする。

あるいは、位置決定部２６は、トリップ内で同じオブジェクトを推定していると考えられる座標候補点からなる点群単位で、推定結果又は位置情報が誤差を有すると評価される、トリップとオブジェクトの組み合わせにおいて推定された座標候補点を除去する。以下、トリップ内で同じオブジェクトを推定していると考えられる座標候補点からなる点群単位を、「トリップとオブジェクトの組み合わせ単位」とも言う。また、トリップと、当該トリップ内で推定されたオブジェクトとの組み合わせを、「トリップとオブジェクトの組み合わせ」とも言う。ここでは、当該トリップにおいて取得された位置情報および画像から推定された座標候補点群のうち、当該オブジェクトについて推定された座標候補点群をまとめて除去し、最終出力値の算出時に除外対象とする。

その後、位置決定部２６は、複数のトリップから推定された座標候補点群のうち、除外対象とならなかった座標候補点に対して、クラスタリング処理を行う（図５参照）。このクラスタリング処理の中で座標候補点群のうち同じオブジェクトについて推定している座標候補点を判別した上で、外れ値の除外を行う。クラスタリング処理で除外されなかった各オブジェクトの座標候補点の平均値または中央値を、オブジェクトごとの最終出力値とする。

最後に、位置決定部２６は、最終出力値に対して信頼度を計算して最終結果と合わせて出力する信頼度算出を行う（図６参照）。

図４では、後述する複数の評価値のうち、正解座標との誤差と負の相関がある評価値を選択した場合を例に示している。また、３つのトリップｔｒｉｐ１～ｔｒｉｐ３の各々に対して色分けして表示した×印で示される座標候補点の分布により、評価値が小さいトリップｔｒｉｐ３において推定された座標候補点を除去する例を示している。

図６では、後述する複数の評価値のうち、正解座標との誤差と正の相関がある評価値を選択した場合を例に示している。また、複数のトリップにおいて推定された座標候補点群のうち、３つのオブジェクトｏｂｊ１～ｏｂｊ３の各々について推定された、丸で囲まれた座標候補点の分布により、評価値が大きいｏｂｊｅｃｔ３について推定された座標候補点について、低い信頼度が算出される例を示している。また、評価値が小さいｏｂｊｅｃｔ１，２について推定された座標候補点について、高い信頼度が算出される例を示している。

また、図５では、後述する２種類のクラスタリング手法のうち、ハードクラスタリングを選択した場合のクラスタリング結果の例を示している。

＜本実施形態に係る位置推定装置の作用＞
次に、位置推定装置１の作用について説明する。図７は、位置推定装置１による位置推定処理の流れを示すフローチャートである。プロセッサ２０Ａがデータメモリ３０から位置推定プログラムを読み出して、プログラムメモリ２０Ｂに展開して実行することにより、位置推定処理が行なわれる。また、位置推定装置１に、車両４がセンシングしながら所定の区間の移動を複数回することで得られた画像および位置情報が入力される。

ステップＳ１０において、プロセッサ２０Ａは、観測データ取得部２１として、入出力インタフェースユニット１０を介して、観測データとして画像と位置情報とを取得し、観測データ記憶部３１に格納する。ここでは、画像として、車両４のカメラ２により撮像された走行中の前方の画像が取得されているものとする。

例えば、画像に、車両４が走行している道路や、道路に描かれた白線、歩道、周囲の建物、前方の走行車両、駐車車両などに加え、オブジェクトの一例として看板や標識が撮像されている。また、位置情報は、ＧＰＳ計測を行った時刻の情報と、計測された位置情報と、ＧＰＳ計測の確からしさを表す情報とを含むことができる。位置情報は、緯度・経度の数値として取得される。

ここでは、画像と位置情報は少なくとも１秒程度の時間間隔で計測されており、かつ１秒程度の粒度で時刻が同期されているものとする。画像は、それぞれ、対応する位置情報に紐付けられて観測データ記憶部３１に蓄積される。なお、入力された画像が動画像である場合には、フレーム毎に取り出した静止画が、観測データ記憶部３１に蓄積される。

ステップＳ２０において、プロセッサ２０Ａは、オブジェクト検知部２２として、オブジェクト検知処理を行う。図８は、上記オブジェクト検知部２２による処理手順と処理内容の一例を示すフローチャートである。

オブジェクト検知部２２は、まずステップＳ２０１において、観測データ記憶部３１から各画像を読み出す。この画像には撮像された時刻が秒単位で保持されているものとする。

ステップＳ２０３において、オブジェクト検知部２２は、各画像内からオブジェクトを検知する処理を行う。この処理は、例えば、Ｙｏｌｏｖ２（物体検出アルゴリズム）等の方法を用いて行うことができる（例えば、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６１２．０８２４２参照）。なお、１つの画像に複数のオブジェクトがある場合は、複数のオブジェクトが検知される。

ステップＳ２０４において、オブジェクト検知部２２は、検知結果をオブジェクトデータ記憶部３２に格納する処理を行う。例えば、オブジェクト検知部２２は、検知されたオブジェクトを示すボックス情報を画像に付与して、オブジェクトデータ記憶部３２に格納することができる。なお、オブジェクト検知された画像は、位置情報に紐づけられてオブジェクトデータ記憶部３２に格納される。

一例として、街中にある標識の位置座標を推定する場合を考えると、オブジェクト検知部２２が、オブジェクト検知によって標識を検知し、検知した標識に対して矩形情報として記録される。対象とするオブジェクトは、看板や、路上駐車車両、自動販売機などでもよく、標識に限定されない。

ステップＳ３０において、プロセッサ２０Ａは、オブジェクトマッチング部２３として、所定の区間の移動であるトリップごとに、当該トリップにおいて得られた位置情報、およびオブジェクト検知後の画像に基づいて、オブジェクトマッチング処理を行う。図９は、上記オブジェクトマッチング部２３による処理手順と処理内容の一例を示すフローチャートである。図９のオブジェクトマッチング処理が、トリップごとに実行される。

まずステップＳ３０１において、オブジェクトマッチング部２３は、データメモリ３０にあるオブジェクトデータ記憶部３２から、処理対象のトリップについて得られた、オブジェクト検知後の画像を読み出す。

次いで、ステップＳ３０２において、オブジェクトマッチング部２３は、処理対象のトリップについて、各画像において検知されたオブジェクトが同一のものであるかの判定処理を行う。判定処理は、例えば、オブジェクトが写っていると検知された画像に所望のオブジェクトが撮像されているか検出を行い、各オブジェクトの名称を検知し、オブジェクトの名称に基づいて、各画像において検知されたオブジェクトが同一のものであるかを判定する。

ステップＳ３０３において、オブジェクトマッチング部２３は、処理対象のトリップについて、同一のオブジェクトと判定された画像を含む各観測データを同一のオブジェクトに関する観測データ群として分割する。一例として、街中にある標識を検知した後に、例えば同じ車両４における別フレームにおいて同一の標識が検知されているか、ないしは別の車両４によって撮像された画像に同一の標識が検知されているかを検索する処理を行い、同一の標識であると判定された画像を含む観測データごとに観測データ群が分割される。

ステップＳ３０４において、オブジェクトマッチング部２３は、処理対象のトリップについて、分割した結果をデータメモリ３０にあるオブジェクト別データ記憶部３３に格納する。例えば、複数の画像において同一の標識が検知され、矩形情報が付与されている。オブジェクト別に分割された画像は、それぞれ、位置情報に紐づけられてオブジェクト別データ記憶部３３に格納される。

ステップＳ４０において、プロセッサ２０Ａは、観測ペア生成部２４として、トリップごとに、観測ペア生成処理を行う。図１０は、上記観測ペア生成部２４による処理手順と処理内容の一例を示すフローチャートであり、トリップごとに繰り返される。

まずステップＳ４０１において、観測ペア生成部２４は、処理対象のトリップについて、データメモリ３０にあるオブジェクト別データ記憶部３３に格納された、オブジェクトごとに分割された観測データ群を読み出す。ここでは、検知できているすべてのオブジェクトに関する観測データ群を読み出してもよいし、特定のオブジェクトに関する観測データ群を読み出してもよい。

次いでステップＳ４０２において、観測ペア生成部２４は、同一オブジェクトが撮像された少なくとも２つの画像から観測ペアを生成する前に、より精度の高い位置情報を有する観測データを判別する処理を行う。この際、ＧＰＳ計測の確からしさを表す指標も同時に計測されていることを利用し、確からしさが高い観測データどうしで観測ペアが生成されるようにする。例えば、観測データ群の各時刻におけるＧＰＳ情報のうち、ＧＰＳ計測の確からしさを表すカラムの値を参照し、確からしさの低い観測データを破棄して、確からしさの高い観測データの中から観測ペアが生成されるようにする。

ここで、確からしさを表す指標として、例えばＧＰＳ衛星配置の影響を考慮した指標がある。ＧＰＳ衛星の配置とＧＰＳ受信機の場所の相対関係に応じて、ＧＰＳ受信機の位置計算誤差が異なることが知られている。このように、測定点に対するＧＰＳ衛星の配置によって精度が低下する度合いは、ＧＤＯＰ（Ｇｅｏｍｅｔｒｉｃ Ｄｉｌｕｔｉｏｎ Ｏｆ Ｐｒｅｃｉｓｉｏｎ：幾何学的精度低下率）と呼ばれ、このうち水平方向のＤＯＰを取り出してＨＤＯＰ（Ｈｏｒｉｚｏｎｔａｌ Ｄｉｌｕｔｉｏｎ Ｏｆ Ｐｒｅｃｉｓｉｏｎ：水平精度低下率）と呼ぶ。ＨＤＯＰの数値が大きいほど水平方向の位置測定精度が悪くなっていることを意味する。例えば、確からしさを表す指標としてＨＤＯＰを採用した場合、ＨＤＯＰの値がある閾値よりも高い観測データに関しては、計測した緯度および経度の精度が悪い可能性が高いことを示しているため、該当する観測データを削除することができる。

次いでステップＳ４０３において、観測ペア生成部２４は、残った観測データの中から、位置座標を計算するための観測ペアを生成する。残った観測データに関しては各観測データどうしの全組み合わせを観測ペアとして生成してよい。ここで、観測ペアを作る対象の観測データとしては、ＨＤＯＰの値に閾値を設けてもよいし、全観測データのうち割合として精度が上位（ＨＤＯＰの値が低い）に含まれるものとしてもよい。

次いでステップＳ４０４において、観測ペア生成部２４は、生成した観測ペアの各々に対し、車両４の位置から同じオブジェクトに対する視線ベクトルを延長して得られる直線の交点を算出し、交点角度が鋭角となっている観測ペアの除去を行う。図１１では、時刻ｔ＝０における画像と、時刻ｔ＝１における画像との観測ペアにおける視線ベクトルの交点角度を求める例を示している。オブジェクトの位置座標を（ｘ，ｙ，ｚ）とし、時刻ｔ＝０における車両４の位置（ｘ０、ｙ０、ｚ０）から、画像上のオブジェクトの画像座標から求められるオブジェクトの位置（ｘ０’、ｙ０’、ｚ０’）へ向かう視線ベクトル（ｖｘ０、ｖｙ０、ｖｚ０）を延長して得られる直線を示している。また、時刻ｔ＝１における車両４の位置（ｘ１、ｙ１、ｚ１）から、画像上のオブジェクトの画像座標から求められるオブジェクトの位置（ｘ１’、ｙ１’、ｚ１’）へ向かう視線ベクトル（ｖｘ１、ｖｙ１、ｖｚ１）を延長して得られる直線を示している。また、これらの直線の交点角度をΘとしている。

次いでステップＳ４０５において、観測ペア生成部２４は、残った観測ペアから、三角測量を行う際の視線ベクトルの交点が後ろ側にできる観測ペアの除去を行う（図１２参照）。図１２では、時刻ｔ＝ｔ０における画像と、時刻ｔ＝ｔ１における画像との観測ペアにおける視線ベクトルの交点が、時刻ｔ＝ｔ１における自車位置より後ろ側にできた例を示している。

ステップＳ５０において、プロセッサ２０Ａは、位置推定部２５として、トリップごとに、位置推定処理を行う。図１３は、上記位置推定部２５による処理手順と処理内容の一例を示すフローチャートであり、トリップごとに繰り返される。

まずステップＳ５０１において、位置推定部２５は、処理対象のトリップについて、観測ペア生成部２４によって生成された観測ペアを取得する。

次いで、ステップＳ５０２において、位置推定部２５は、各観測ペアを用いて、オブジェクトの位置座標を算出する。具体的には、観測ペアの各画像について、位置情報から得られる車両４の位置からオブジェクトの方向への視線ベクトルを算出し、各画像について得られた視線ベクトルを延長して得られる直線の交点を算出し、オブジェクトの位置座標とする。

次いで、ステップＳ５０４において、位置推定部２５は、算出されたオブジェクトの位置座標を座標データ記憶部３４に格納する。ここでは、位置座標は、対応するオブジェクトを含む画像と関連付けて格納されるものとする。

ステップＳ６０において、プロセッサ２０Ａは、位置決定部２６として、最終出力決定処理を行う。図１４は、上記位置決定部２６による処理手順と処理内容の一例を示すフローチャートである。

まずステップＳ６０１において、位置決定部２６は、複数回のトリップにおいて推定されたオブジェクトの位置座標である座標候補点群を座標データ記憶部３４から読み込む。位置決定部２６は、読み込んだ座標候補点群を、どのトリップの位置情報および画像から推定されたかを元に、トリップ単位に、同じトリップにおいて推定された座標候補点群に分割する。あるいは、位置決定部２６は、読み込んだ座標候補点群を、どのトリップの位置情報および画像から推定されたか、およびオブジェクトの名称を元に、トリップおよびオブジェクトの組み合わせ単位に、当該トリップにおいて当該オブジェクトについて推定された座標候補点群に分割する。なお、トリップ内に駐車禁止の標識が複数あるような同種類のオブジェクトが複数存在する場合、クラスタリングを行った後に画像毎にどのオブジェクトを撮影したものであるかを特定してもよい。

次のステップＳ６０２、Ｓ６０３は、高精度な測定装置により各オブジェクトの位置座標の正解データが求められている地図上の領域に属する座標候補点について実行される。また、以下では、座標候補点群をトリップ単位に分割した場合の例について説明する。座標候補点群をトリップおよびオブジェクトの組み合わせ単位に分割した場合に、「トリップ」を「トリップおよびオブジェクトの組み合わせ」に読み替えればよい。

ステップＳ６０２において、位置決定部２６は、トリップごとに、当該トリップの座標候補点群のうち、正解データがある領域内の座標候補点群について、６つの評価値を計算する。

例えば、１つ目の評価値として、正解データがある領域内の座標候補点群についての座標の共分散の値を計算する。２つ目の評価値として、正解データがある領域内の座標候補点群についての座標の共分散の絶対値を計算する。３つ目の評価値として、予め定められた、位置推定対象の位置の推定に失敗する状況を規定した推定失敗条件に該当した回数を計算する。推定失敗条件としては、観測ペアの画像を取得したときの位置情報と、移動ベクトル算出のために取得した１フレーム後の画像を取得したときの位置情報との距離が０．０１ｍよりも近いこと、観測ペアの各画像を取得したときの位置情報のユークリッド距離が９９９ｍよりも大きいこと、推定された位置推定対象の位置と自車位置との間の距離が２０ｍよりも遠いこと、画像内のベクトルを地上座標系に座標変換した際の媒介変数が負になり、うまく変換できないことがある。なお、上記の各数字は一例であり適宜設計の変更が可能である。

４つ目の評価値として、正解データがある領域内の座標候補点群の中で最も離れている２つの座標間の距離を計算する。５つ目の評価値として、正解データがある領域内の座標候補点群に対して重回帰分析をかけた際の決定係数の値を計算する。６つ目の評価値として、正解データがある領域内の座標候補点群に対して作成した共分散行列の固有値のうち大きい方の値を計算する。

上記では、トリップ単位で評価値を計算する場合を例に説明したが、これに限定されるものではなく、トリップおよびオブジェクトの組み合わせ単位で評価値を計算し、同じトリップ内のオブジェクト間で評価値の平均を取るようにしてもよい。

続いて、ステップＳ６０３において、位置決定部２６は、トリップごとに、当該トリップの座標候補点群のうち、正解データがある領域内の座標候補点群について、正解座標との間の誤差平均を計算する。ここで、誤差を計算する際には、正解座標とオブジェクトの名称が同じ座標候補点について、正解座標との誤差を計算する。位置決定部２６は、トリップごとに、正解データがある領域内の座標候補点群についての、正解座標との間の誤差平均と、上記で求めた評価値の値との間の相関を、評価値を計算する。この評価値の計算を、評価値の種類ごとに繰り返す。なお、１つのトリップ内に２つ以上の同種のオブジェクトがある場合、複数ある正解座標のうち、座標候補点との距離が最も短いものを正解座標としてもよい。

例えば、図１５に示すように、トリップごとに評価値を計算し、評価値の配列を作る。また、各トリップで算出された座標候補点と正解座標との間の誤差平均を計算し、誤差平均の配列も作る。この２つの配列を入力として相関係数の値と正負を調べる。図１５では、トリップＴｒｉｐ１では、評価値が２０で、誤差平均が３［ｍ］であり、トリップＴｒｉｐ２では、評価値が５０で、誤差平均が５［ｍ］である例を示している。

続いて、ステップＳ６０４において、位置決定部２６は、相関係数の絶対値が一番大きかった評価値をこれ以降の最終出力決定処理で採用する評価値として選択する。位置決定部２６は、トリップごとに、正解データの有無にかかわらず全ての座標候補点に対して、選択した評価値を計算し、全てのトリップの中で最小値が０、最大値が１になるように正規化した配列を作成する。なお、相関係数の絶対値が最大の評価値を取ることに代えて、相関係数の絶対値が所定の閾値以上となるものを選択してもよい。この場合選択された複数の評価値のうち、正解データがある領域内でもっとも精度が向上したものを最終的に選択すればよい。

上記ステップＳ６０１で、座標候補点群をトリップおよびオブジェクトの組み合わせ単位に分割した場合には、トリップおよびオブジェクトの組み合わせごとに、正解データの有無にかかわらず全ての座標候補点に対して、選択した評価値を計算し、トリップおよびオブジェクトの全組み合わせの中で最小値が０、最大値が１になるように正規化した配列を作成する。

続いて、ステップＳ６０５において、位置決定部２６は、正規化した評価値に対して閾値を設け、正解座標との間の誤差平均と、評価値との間に正の相関がある場合には、評価値が閾値よりも大きいトリップを、位置座標の最終出力値の算出のための以降のクラスタリングの処理の際に除外する。あるいは、位置決定部２６は、負の相関があった場合、評価値が閾値よりも小さいトリップを、位置座標の最終出力値の算出のための以降のクラスタリングの処理の際に除外する。

上記ステップＳ６０１で、座標候補点群をトリップおよびオブジェクトの組み合わせ単位に分割した場合には、正の相関があれば、評価値が閾値よりも大きいトリップおよびオブジェクトの組み合わせを、位置座標の最終出力値の算出のための以降のクラスタリングの処理の際に除外する。あるいは、位置決定部２６は、負の相関があれば、評価値が閾値よりも小さいトリップおよびオブジェクトの組み合わせを、位置座標の最終出力値の算出のための以降のクラスタリングの処理の際に除外する。

上記図４の例では、誤差との間に負の相関がある評価値が大きいトリップｔｒｉｐ１、ｔｒｉｐ２は、後続のクラスタリング処理に進み、評価値が小さいトリップｔｒｉｐ３は後続のクラスタリング処理には進まず除外される。ここではＧＰＳエラーや車両走行速度超過などの理由によりうまく座標候補点の推定ができない問題が頻発したトリップでは、推定できるオブジェクトの種類や推定される座標候補点の数が少ないという特色を反映した評価値が選択されていることを想定した。具体的には、共分散行列の固有値のうち大きい方の値を評価値として選択した例を想定している。ここで、固有値はばらつきを反映しているため、この評価値は、座標候補点のばらつきが少ない、すなわち、推定できたオブジェクト数が少ないことを評価する。

ステップＳ６０６において、位置決定部２６は、クラスタリング処理を行う。

ここで、複数のトリップから算出された座標候補点をすべて考慮した上でオブジェクトごとに位置座標の最終出力値を算出する際に、単に座標候補点の平均値や中央値を算出すると、ＧＰＳエラーなどによる外れ値の影響を受けてしまうため、統計処理により外れ値の除外を行う。本実施形態では、この統計処理の方法として、ハードクラスタリングを用いる方法とカーネル密度推定を用いる方法の２種類について説明する。

まず、ハードクラスタリングを用いる方法について示す。図１６は、上記位置決定部２６によるハードクラスタリングを用いたクラスタリング処理の処理手順と処理内容の一例を示すフローチャートである。

まずステップＳ６１１において、位置決定部２６は、複数のトリップにおいて推定された座標候補点群を、従来既知の手法を使ってハードクラスタリングする。例えば、座標候補点を緯度経度順にソートした上で、緯度経度が小さいものから順にクラスタ重心とする。そして、緯度経度が小さい順に他の座標候補点を見ていった上で一定距離よりも重心から近ければ同じクラスタに属しているとみなし、遠ければ次のクラスタの重心とみなして同様の処理を繰り返していく。

最終的に各クラスタの重心の位置を、クラスタに属する座標候補点の平均値に更新する。

次に、ステップＳ６１２において、位置決定部２６は、各クラスタの重心間の距離を算出し、距離が一定以上近いものは同じオブジェクトを推定しているとみなす。このとき、重心間距離に閾値を設ける方法だけでなく、クラスタに属する座標候補点の数が少なすぎる場合は近くの大きなクラスタと同じオブジェクトを推定しているとみなすようにしてもよい。

続いて、ステップＳ６１３において、位置決定部２６は、同じオブジェクトを推定しているとみなされたクラスタ同士を比較し、属している座標候補点が多いものから順に座標候補点の数を累積していく。

ステップＳ６１４において、位置決定部２６は、累積座標候補点の数が同じオブジェクトを推定しているとみなした全座標候補点数に対して占める占有率を、累積クラスタが増えるごとに算出し、累積占有率が閾値を超えたら累積処理を中止する。閾値を超えた最初のクラスタまでのクラスタに属する座標候補点を位置座標の最終出力値の算出対象とする。

最後に、ステップＳ６１５において、位置決定部２６は、オブジェクト毎に、位置座標の最終出力値の算出対象となった全座標候補点の平均値あるいは中央値を、位置座標の最終出力値とする。

ハードクラスタリングによる外れ値除去のイメージを図１７に示す。図１７中のクラスタ１、２、３はすべて重心間の距離が十分に近く、同じオブジェクトを推定しているとみなされたと想定する。クラスタ１、２、３のうち、所属候補点数が多い、クラスタ１→クラスタ２→クラスタ３の順に所属座標候補点数を累積して、全座標候補点に対する累積占有率を求める。図１８に示すように、クラスタ１の所属座標候補点数は８０、全座標候補点数は１００なので、クラスタ１までの累積占有率は０．８である。次に所属座標候補点数が多いクラスタ２には１５個の座標候補点が所属しているので、クラスタ２までの累積占有率は９５／１００で０．９５である。最後にクラスタ３には５個の座標候補点が所属しているので、クラスタ３までの累積占有率は１．０となる。ここで外れ値として除外せずに位置座標の最終出力値の算出に採用する累積占有率の閾値が０．７だったと想定すると、クラスタ１の時点ですでに累積占有率０．８＞閾値０．７なので、ここではクラスタ１に属する座標候補点のみが、位置座標の最終出力値の算出に採用され、クラスタ２、３に属する座標候補点はすべて除外対象となる。クラスタ１、２、３すべての平均を位置座標の最終出力値とすると図中の黒色の星印が位置座標の最終出力値となるが、クラスタ２、３を除外し、クラスタ１に所属する座標候補点の平均を位置座標の最終出力値とすると、位置座標の最終出力値は白色の星印となる。図中の駐車禁止標識が正解位置の場合、クラスタリングで外れ値を除外することにより、出力する位置座標の最終出力値がより正解に近づいていることが分かる。

なお、ハードクラスタリングに用いる手法は、上記で説明したがものに限定されるものではない。ただし、クラスタリング数を事前に決定する必要がない手法を用いることが好ましい。

次に、カーネル密度推定を用いる方法について示す。図１９は、上記位置決定部２６によるカーネル密度推定を用いたクラスタリング処理の処理手順と処理内容の一例を示すフローチャートである。

まず、ステップＳ６２１において、位置決定部２６は、道路データベース（図示省略）を用い、地図上の道路領域を切り出し、切り出した道路領域を一定のサイズに区切る（図２０参照）。図２０は、地図上の道路付近の領域を、点線で囲まれた一定サイズの領域に区切った例を示している。

次に、ステップＳ６２２において、位置決定部２６は、上記ステップＳ６２１で区切った領域内にある座標候補点１つ１つについてガウス関数を求め、ガウスカーネルを作成する（図２１参照）。このとき、ガウスカーネルの広がりの大きさはハイパーパラメータとして設定する。以降、説明を簡単にするため、座標候補点の座標のｘ軸のみとカーネルの密度ｚを用いて記載するが、実際は緯度、経度ｘ，ｙと密度を示すｚ軸が存在する。図２１では、区切られた領域内の、ｘ軸上に分布した複数の座標候補点のうちの一つについて、座標候補点の密度を表すガウス関数を求めた例を示している。

次に、ステップＳ６２３において、位置決定部２６は、上記ステップＳ６２２で求めた各座標候補点のガウス関数の和を求める（図２２）。このガウス関数の和のｚ値が座標候補点ｘにおける密度の大きさとなるため、密度を推定していることになる。図２２は、区切られた領域内の、ｘ軸上に分布した複数の座標候補点の各々について求めたガウス関数の和を求めた例を示している。

次に、ステップＳ６２４において、位置決定部２６は、上記ステップＳ６２３で求められたガウス関数の和における極値の各々を探索する（図２３）。図２３では、ガウス関数の和を示す曲線上で、白色の丸印で示される座標候補点の各々について、所定のステップ幅で移動することにより、灰色の丸印で示される極値が探索された例を示している。

次に、ステップＳ６２５において、位置決定部２６は、探索された極値同士の距離を算出し、この距離が閾値よりも小さければ、その座標候補点のペアは同じクラスタに属するとみなす（図２４）。図２４は、ガウス関数の和を示す曲線上で、白色の丸印で示される座標候補点のペアについて、所定のステップ幅で移動することにより探索された、灰色の丸印で示される極値同士のｘ軸方向の距離が閾値よりも小さければ、座標候補点のペアは同じクラスタに属するとみなす例を示している。

次に、ステップＳ６２６において、位置決定部２６は、クラスタにおける極値のｚ座標が閾値よりも小さければ、当該クラスタは所属座標候補点の密度が低いため、外れ値として除外する（図２５）。図２５は、３つのクラスタのうち、クラスタにおける極値のｚ座標が閾値よりも小さいクラスタが除外される例を示している。なお、閾値はトリップ数に比例する値とするのが望ましい。

次に、ステップＳ６２７において、位置決定部２６は、極値と極値の距離が十分に近く、かつ大きいクラスタ同士だった場合は、極値と極値の間に出現する谷が浅いと判断し、この谷のｚ座標が閾値よりも大きい場合には、これらのクラスタは同一クラスタとみなす（図２６）。図２６は、２つのクラスタの極値と極値の間に出現する谷のｚ座標が閾値よりも大きい場合には、この２つのクラスタは同一クラスタとみなす例を示している。

次に、ステップＳ６２８において、位置決定部２６は、各クラスタの所属座標候補点平均値または密度が最大となる点の座標を位置座標の最終出力値とする。上記ステップＳ６２７で同一視したクラスタの密度最大点としては、同一視する前の所属候補点数が多いクラスタの密度最大点を採用する。なお、同一クラスタとみなしたクラスタ間で密度最大点を平均した値を位置座標の最終出力値として採用してもよい。

ステップＳ６０７において、位置決定部２６は、信頼度算出処理を行う。

車両や船舶から周辺物体であるオブジェクトの位置を推定する場合、所定の事情により、複数のトリップ間で共通して特定のオブジェクトだけ極端に精度が低くなること、すなわち正解位置との誤差が大きくなることがある。上記のように精度が低くなる事情として、車両自体の位置情報が、遮蔽物などの事情により正確に取れないこと、推定したい物体が先行車両等に隠れて推定できないこと、速度が出過ぎてペアリングがうまくいかないこと、などがある。

そこで本実施形態においては、クラスタリングなどの統計処理を施して位置座標の最終出力値を出した後のタイミングで、各オブジェクトの位置座標の最終出力値の信頼度が高いかどうかを、正解座標の位置を参照することなく算出する信頼度算出処理を行う。

図２７は、上記位置決定部２６による信頼度算出処理の処理手順と処理内容の一例を示すフローチャートである。

信頼度算出処理においても、オブジェクトの正解位置が求められている地図上の領域を使用して評価値の選択と相関正負の判断を行う。

まず、ステップＳ６３１において、位置決定部２６は、クラスタリング時に同じオブジェクトを推定しているとみなされた座標候補点をオブジェクトごとに切り出す。

次に、ステップＳ６３２において、位置決定部２６は、正解データがある領域内のオブジェクトの座標候補点群について、上記ステップＳ６０２と同様に６つの評価値を計算する。このとき、上記ステップＳ６０４で選択された評価値も含める。

そして、ステップＳ６３３において、位置決定部２６は、オブジェクトごとに、当該オブジェクトの座標候補点群のうち、正解データがある領域内の座標候補点群について、正解座標との間の誤差平均を計算する。位置決定部２６は、オブジェクトごとに、正解データがある領域内の座標候補点群についての、正解座標との間の誤差平均と、上記で求めた評価値の値との間の相関を計算する。位置決定部２６は、この相関の計算を、評価値の種類ごとに繰り返す。

例えば、オブジェクトごとに評価値を計算し、評価値の配列を作る。また、各オブジェクトで算出された座標候補点と正解座標との間の誤差平均を計算し、誤差平均の配列も作る。この２つの配列を入力として相関係数の値と正負を調べる。

続いて、ステップＳ６３４において、位置決定部２６は、相関係数の絶対値が一番大きかった評価値をこれ以降の信頼度算出処理で採用する評価値として選択する。位置決定部２６は、正解データの有無にかかわらず、全てのオブジェクトの各々について、当該オブジェクトの座標候補点群に対して、選択した評価値を計算し、全てのオブジェクトの中で最小値が０、最大値が１になるように、各オブジェクトについて計算した評価値を正規化する。なお、相関係数の絶対値が最大の評価値を取ることに代えて、相関係数の絶対値が所定の閾値以上となるものを選択してもよい。この場合、選択された複数の評価値のうち、正解データがある領域内でもっとも精度が向上したものを最終的に選択すればよい。

次に、ステップＳ６３５において、位置決定部２６は、正解座標との間の誤差平均と、評価値の値との間に正の相関がある場合、評価値の値が大きいほど信頼度が低くなるように信頼度を算出し、負の相関がある場合、評価値の値が大きいほど信頼度が高くなるように信頼度を算出し、位置座標の最終出力値と対応付けて最終データ記憶部３５に格納する。

上記図６にオブジェクトごとに算出した信頼度を出力するイメージを示す。上記図６の例では、信頼度算出処理の評価値が、正解座標との誤差との間で正の相関がある場合を示している。したがって、評価値が小さいオブジェクトｏｂｊ１、ｏｂｊ２では高い信頼度が算出され、評価値が大きいオブジェクトｏｂｊ３では低い信頼度が算出され、位置座標の最終出力値と合わせて信頼度が出力される。

その後、出力制御部２７は、例えばオペレータの操作をトリガとして、決定された位置座標の最終出力値および信頼度を最終データ記憶部３５から読み出し、入出力インタフェースユニット１０を介して外部装置などに出力することができる。

以上説明したように、本実施形態に係る位置推定装置は、所定の区間の移動であるトリップごとに、位置情報と画像に基づき、オブジェクトの位置候補を複数推定し、トリップごとに、トリップで得られたオブジェクトの複数の位置候補に基づき、推定結果又は位置情報が誤差を有するかを評価し、複数回のトリップにおいて推定されたオブジェクトの複数の位置候補から、推定結果又は位置情報が誤差を有すると評価されるトリップにおいて推定されたオブジェクトの位置候補を除いた結果に基づき、オブジェクトの位置の最終出力値を決定する。これにより、車両の周辺に存在するオブジェクトの位置を精度よく推定することができる。

また、車載カメラにより撮像された画像に基づいて、周辺の物体の位置座標を推定する際に、取得された車両の位置情報のずれや、速度超過による観測ペアの不備などの理由で信頼度が低いトリップを自動的に選別した上で、クラスタリングなどの統計処理により外れ値を除外することにより、推定精度を高める。さらに、推定されたオブジェクトの位置座標の最終出力値とあわせて、信頼度を出力する。この際、オブジェクトの位置座標の最終出力値の信頼度をあわせて出力するだけでなく、利用シーンによっては信頼度が低い最終出力値を除外して出力を行うなどの応用も考えられる。また、算出したオブジェクトの位置座標の活用シーンに応じて、自動運転への活用で人命が関わるなど、数は少なくても信頼度が高い結果を使いたい場合は出力する最終出力値を限定することが考えられる。また、人が参照する地図を作成する場合などでは、信頼性が低くてもその旨を明示すれば記載されていた方が良いため、信頼度を併記して最終出力値を記載するなどの活用が考えらえる。

また、推定結果又は位置情報が誤差を有するかを評価する評価値やクラスタリングの方法を複数用意することにより、移動体の種類や地形によって誤差の出方にばらつきがある周辺物体の位置推定において、それぞれふさわしい評価値やクラスタリング方法を選択することができる。ただし、評価値の選択はある程度一般化が可能と考えられるため、すべての領域で周辺物体の正解座標を用意する必要はない。

本実施形態に係る位置推定装置では、三角測量などにより周辺物体であるオブジェクトの位置座標を推定する際に、所定の区間の移動であるトリップにおいて取得された画像や位置情報から得られた座標候補点のうち、最終出力値の精度に悪影響を与える可能性がある座標候補点を自動的に選別し、最終出力値の算出時の考慮対象から除外する。また、採用された座標候補点から最終出力値を算出する際にも、外れ値を除外するためのクラスタリング処理を実施する。さらに、クラスタリング処理を終えて算出された最終出力値についても、全てのオブジェクトの正解座標を参照することなく各最終出力値の信頼度を自動的に計算して出力することができる。

なお、本発明は、上述した実施形態の装置構成および作用に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、車両が移動しながら車載カメラによって画像を撮像する場合を例に説明したが、これに限定されるものではなく、車両が移動しながら、画像以外のセンサ情報をセンシングするようにしてもよい。

また、正解データがある領域内の正解座標を用いて評価値を選択する場合を例に説明したが、これに限定されるものではない。例えば、複数の領域についての正解データを入手することにより、選択する評価値の種類や相関の正負を一般化しておき、正解データが入手できない場合であっても、上記の手法を適用するようにしてもよい。

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、およびＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、位置推定処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、およびＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記各実施形態では、位置推定プログラムがデータメモリ３０に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

以上の実施形態に関し、更に以下の付記を開示する。

（付記項１）
移動体がセンシングしながら所定の区間の移動を複数回することで得られたセンサ情報および前記センサ情報が取得された位置情報を用いて、前記移動体の周辺に存在する位置推定対象の位置を推定するための位置推定装置であって、
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
前記所定の区間の移動ごとに、前記位置情報と前記センサ情報に基づき、前記位置推定対象の位置候補を複数推定し、
前記所定の区間の移動ごとに、前記所定の区間の移動で得られた前記位置推定対象の複数の位置候補に基づき、前記位置候補を推定する際に用いられた前記位置情報が、前記位置情報を求めるために用いたＧＰＳ衛星の位置、前記位置情報を求めたときの前記移動体の現実空間の位置、及び前記移動体、のいずれに起因する誤差を有するか、若しくはいずれに起因する誤差を有さないか、を評価し、
前記複数回の前記所定の区間の移動において前記推定された前記位置推定対象の複数の位置候補から、前記誤差を有すると評価された、前記所定の区間の移動において推定された前記位置推定対象の位置候補を除いた結果に基づき、前記位置推定対象の位置の最終出力値を決定する
位置推定装置。

（付記項２）
移動体がセンシングしながら所定の区間の移動を複数回することで得られたセンサ情報および前記センサ情報が取得された位置情報を用いて、前記移動体の周辺に存在する位置推定対象の位置を推定するための位置推定処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記位置推定処理は、
前記所定の区間の移動ごとに、前記位置情報と前記センサ情報に基づき、前記位置推定対象の位置候補を複数推定し、
前記所定の区間の移動ごとに、前記所定の区間の移動で得られた前記位置推定対象の複数の位置候補に基づき、前記位置候補を推定する際に用いられた前記位置情報が、前記位置情報を求めるために用いたＧＰＳ衛星の位置、前記位置情報を求めたときの前記移動体の現実空間の位置、及び前記移動体、のいずれに起因する誤差を有するか、若しくはいずれに起因する誤差を有さないか、を評価し、
前記複数回の前記所定の区間の移動において前記推定された前記位置推定対象の複数の位置候補から、前記誤差を有すると評価された、前記所定の区間の移動において推定された前記位置推定対象の位置候補を除いた結果に基づき、前記位置推定対象の位置の最終出力値を決定する
非一時的記憶媒体。

１ 位置推定装置
２ カメラ
３ ＧＰＳセンサ
４ 車両
１０ 入出力インタフェースユニット
２０ 制御ユニット
２０Ａ プロセッサ
２０Ｂ プログラムメモリ
２１ 観測データ取得部
２２ オブジェクト検知部
２３ オブジェクトマッチング部
２４ 観測ペア生成部
２５ 位置推定部
２６ 出力制御部
２７ 出力制御部
３０ データメモリ

Claims (8)

1. 移動体がセンシングしながら所定の区間の移動を複数回することで得られたセンサ情報および前記センサ情報が取得された位置情報を用いて、前記移動体の周辺に存在する位置推定対象の位置を推定する位置推定方法であって、
   前記所定の区間の移動ごとに、前記位置情報と前記センサ情報に基づき、前記位置推定対象の位置候補を複数推定する推定ステップと、
   前記所定の区間の移動ごとに、前記所定の区間の移動で得られた前記位置推定対象の複数の位置候補に基づき、前記位置候補を推定する際に用いられた前記位置情報が、前記位置情報を求めるために用いたＧＰＳ衛星の位置、前記位置情報を求めたときの前記移動体の現実空間の位置、及び前記移動体、のいずれに起因する誤差を有するか、若しくはいずれに起因する誤差を有さないか、を評価する評価ステップと、
   前記複数回の前記所定の区間の移動において前記推定された前記位置推定対象の複数の位置候補から、前記誤差を有すると評価された、前記所定の区間の移動において推定された前記位置推定対象の位置候補を除いた結果に基づき、前記位置推定対象の位置の最終出力値を決定する決定ステップと、
   を有する位置推定方法。
2. 前記評価ステップは、前記所定の区間の移動および前記位置推定対象の組み合わせごとに、前記所定の区間の移動で得られた前記位置推定対象の位置候補に基づき、前記位置候補を推定する際に用いられた前記位置情報が、前記位置情報を求めるために用いたＧＰＳ衛星の位置、前記位置情報を求めたときの前記移動体の現実空間の位置、及び前記移動体、のいずれに起因する誤差を有するか、若しくはいずれに起因する誤差を有さないか、を評価し
   前記決定ステップは、前記複数回の前記所定の区間の移動において前記推定された前記位置推定対象の複数の位置候補から、前記誤差を有すると評価された、前記所定の区間の移動および前記位置推定対象の組み合わせにおいて推定された前記位置推定対象の位置候補を除いた結果に基づき、前記位置推定対象の位置の最終出力値を決定する請求項１記載の位置推定方法。
3. 前記評価ステップは複数種類の評価値で評価し、
   前記決定ステップは、
   前記複数回の前記所定の区間の移動において前記推定された前記位置推定対象の複数の位置候補から、
   前記複数種類の評価値のうち、予め用意された正解値との誤差との相関の絶対値が所定の閾値よりも大きい評価値で前記誤差を有すると評価された、前記所定の区間の移動において推定された前記位置推定対象の位置候補を除いた結果に基づき、
   前記最終出力値を決定する
   請求項１記載の位置推定方法。
4. 前記複数種類の評価値は、
   前記推定された位置推定対象の位置候補の共分散の値、
   前記推定された位置推定対象の位置候補の共分散の絶対値、
   予め定められた、前記位置推定対象の位置候補の推定に失敗する状況を規定した推定失敗条件に該当した回数、
   前記推定された前記位置推定対象の複数の位置候補の中で最も離れている２つの前記位置候補間の距離、
   前記推定された位置推定対象の複数の位置候補に対して重回帰分析をかけた際の決定係数の値、または
   前記推定された位置推定対象の複数の位置候補に対して作成した共分散行列の固有値のうち大きい方の値
   を含む請求項３記載の位置推定方法。
5. 前記決定ステップは、
   前記複数種類の評価値のうち、予め用意された正解値との誤差との相関の絶対値が所定の閾値よりも大きい評価値について正の相関があった場合、前記評価値が閾値よりも大きい、前記所定の区間の移動において推定された前記位置推定対象の位置候補を除き、
   予め用意された正解値との誤差との相関の絶対値が所定の閾値よりも大きい評価値について負の相関があった場合、前記評価値が閾値よりも小さい、前記所定の区間の移動において推定された前記位置推定対象の位置候補を除いて、前記最終出力値を決定する請求項３または４記載の位置推定方法。
6. 前記決定ステップは、前記複数回の前記所定の区間の移動について前記推定された位置推定対象の複数の位置候補に基づき、前記位置推定対象ごとに最終出力値を決定する際に、
   前記複数回の前記所定の区間の移動について前記推定された位置推定対象の位置候補から、前記誤差を有すると評価された、前記所定の区間の移動において推定された前記位置推定対象の複数の位置候補を除いた結果に対して、クラスタリングを行った結果、または密度を表すガウス関数の推定を行った結果から、前記位置推定対象ごとに前記最終出力値を決定する請求項１～請求項５の何れか１項記載の位置推定方法。
7. 移動体がセンシングしながら所定の区間の移動を複数回することで得られたセンサ情報および前記センサ情報が取得された位置情報を用いて、前記移動体の周辺に存在する位置推定対象の位置を推定する位置推定装置であって、
   前記所定の区間の移動ごとに、前記位置情報と前記センサ情報に基づき、前記位置推定対象の位置候補を複数推定する位置推定部と、
   前記所定の区間の移動ごとに、前記所定の区間の移動で得られた前記位置推定対象の複数の位置候補に基づき、前記位置候補を推定する際に用いられた前記位置情報が、前記位置情報を求めるために用いたＧＰＳ衛星の位置、前記位置情報を求めたときの前記移動体の現実空間の位置、及び前記移動体、のいずれに起因する誤差を有するか、若しくはいずれに起因する誤差を有さないか、を評価し、
   前記複数回の前記所定の区間の移動において前記推定された前記位置推定対象の複数の位置候補から、前記誤差を有すると評価された、前記所定の区間の移動において推定された前記位置推定対象の位置候補を除いた結果に基づき、前記位置推定対象の位置の最終出力値を決定する位置決定部と、
   を含む位置推定装置。
8. 移動体がセンシングしながら所定の区間の移動を複数回することで得られたセンサ情報および前記センサ情報が取得された位置情報を用いて、前記移動体の周辺に存在する位置推定対象の位置を推定するための位置推定プログラムであって、
   前記所定の区間の移動ごとに、前記位置情報と前記センサ情報に基づき、前記位置推定対象の位置候補を複数推定し、
   前記所定の区間の移動ごとに、前記所定の区間の移動で得られた前記位置推定対象の複数の位置候補に基づき、前記位置候補を推定する際に用いられた前記位置情報が、前記位置情報を求めるために用いたＧＰＳ衛星の位置、前記位置情報を求めたときの前記移動体の現実空間の位置、及び前記移動体、のいずれに起因する誤差を有するか、若しくはいずれに起因する誤差を有さないか、を評価し、
   前記複数回の前記所定の区間の移動において前記推定された前記位置推定対象の複数の位置候補から、前記誤差を有すると評価された、前記所定の区間の移動において推定された前記位置推定対象の位置候補を除いた結果に基づき、前記位置推定対象の位置の最終出力値を決定する
   ことをコンピュータに実行させるための位置推定プログラム。