JP7481933B2 - 自己位置推定装置および地図生成システム - Google Patents

Description

本開示は、自己位置推定装置および地図生成システムに関する。

自己位置推定装置として、車両に搭載されたカメラで認識した車両の周辺の地物と地図情報とを照合して、位置を推定するものが知られている。特許文献１には、実世界を走行する車両が観測した観測情報に基づいて、実世界と地図情報との不整合を動的に検出する技術が記載されている。不整合を検出した場合に、その地点の観測情報を効率的に取得し、地図情報を更新することができる。

特開２０１７－１８１８７０号公報

しかし、実世界と地図情報との不整合を検出する度に、観測情報を地図情報に追加していくと、地図情報の量が増大するおそれがある。そのため、地図情報の量を増大させることなく、自己位置を推定できる技術が望まれていた。

本開示は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。

本開示の一形態によれば、周辺を撮像するカメラ（１２２）を有する車両（１０）に搭載される、前記車両の位置を推定する自己位置推定装置（１１０）が提供される。自己位置推定装置は、前記カメラが撮像した画像である周辺画像に基づいて、前記車両の周辺の地物を検出する検出部（１１１）と、前記車両の位置を表す第１車両位置情報を取得する車両位置取得部（１１２）と、前記第１車両位置情報が表す位置に応じた範囲に含まれる地物の位置の情報である地図情報を取得する地図情報取得部（１１３）と、前記地図情報と、前記検出部が検出した地物の位置の情報と、の照合を行うことにより、前記第１車両位置情報より高い精度で位置を表し、前記車両の方向を示す情報を含む第２車両位置情報を生成する生成部（１１４）と、レーザにより赤外線を照射して前記赤外線の反射光に基づいて地物の位置の情報を取得する赤外線センサ（１２５）と、を備える。前記生成部は、前記検出された地物のうち、自然環境によって変化する地物である外乱物体を、前記周辺画像を用いて特定し、前記地図情報のうち、前記外乱物体に関する情報を使用せずに、前記地図情報と、前記検出部が検出した地物の位置の情報と、の前記照合を行い、前記物体センサが取得した地物の位置の情報であって前記外乱物体以外の地物の位置の情報であり、前記周辺画像において前記類似度が予め定められた第１閾値より高い領域にある地物の位置の情報を、前記地図情報に反映させたのちに、前記照合を行う。

この形態の自己位置推定装置によれば、生成部は、地図情報のうち、外乱物体に関する情報を使用せずに、地図情報と、検出部が検出した地物の位置の情報と、の照合を行い、第２車両位置情報を生成する。そのため、地図情報の量を増大させることなく、車両の自己位置を推定することができる。

地図生成システムの構成を示す概要図である。 自己位置推定処理の一例を示したフローチャートである。 外乱物特定処理の一例を示したフローチャートである。 第２車両位置情報生成処理の一例を示したフローチャートである。 第２実施形態における外乱物体特定処理の一例を示したフローチャートである。 第３実施形態における地図生成システムの構成を示す概要図である。 第３実施形態における外乱物体特定処理の一例を示したフローチャートである。 第４実施形態における地図情報反映処理の一例を示したフローチャートである。 第５実施形態における第２車両位置情報生成処理の一例を示したフローチャートである。

Ａ．第１実施形態：
図１に示すように、地図生成システム１００は、車両１０と外部サーバ２０とを備える。車両１０は、外部サーバ２０と通信を行う。本実施形態において、車両１０は、自己位置推定装置１１０と、カメラ１２２と、物体センサ１２４と、車両位置センサ１２６と、地図情報記憶部１３０と、通信部１４０と、を備える。

カメラ１２２は、車両１０の周辺を撮像して画像を取得する。物体センサ１２４は、地物の位置の情報を取得する。物体センサ１２４として、例えば、レーザーレーダー、ミリ波レーダー、超音波センサ等の反射波を利用した物体センサが挙げられる。本実施形態において、物体センサ１２４は、レーザにより赤外線を照射して赤外線の反射光に基づいて地物の位置の情報を取得する赤外線センサ１２５を有する。本実施形態において、「地物」は、街路樹における葉の部分のみや、路上に積もった雪も含む概念である。

車両位置センサ１２６は、現在の車両１０の位置を検出する。車両位置センサ１２６として、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅm）などの汎地球航法衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ（ｓ）（ＧＮＳＳ））が挙げられる。本実施形態において、車両位置センサ１２６が検出する車両１０の位置を表す情報を第１車両位置情報という。

地図情報記憶部１３０は、地図情報を記憶する。「地図情報」は、各地物の位置を示す情報である。本実施形態において、地図情報は、３次元情報である。

自己位置推定装置１１０は、検出部１１１と、車両位置取得部１１２と、地図情報取得部１１３と、生成部１１４と、を備える。自己位置推定装置１１０は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、これらの各部の機能を実現する。ただし、これらの各部の機能の一部又は全部をハードウェア回路で実現してもよい。

検出部１１１は、カメラ１２２が撮像した画像である周辺画像に基づいて、車両１０の周辺の地物を検出する。検出部１１１は、例えば、セマンティックセグメンテーション等の画像解析技術を用いて、カメラ１２２が撮像した周辺画像から地物を検出する。

車両位置取得部１１２は、車両位置センサ１２６から、第１車両位置情報を取得する。

地図情報取得部１１３は、地図情報記憶部１３０から、第１車両位置情報が表す位置に応じた範囲に含まれる地物の位置の情報である地図情報を取得する。

生成部１１４は、地図情報と、検出部１１１が検出した地物の位置の情報と、の照合を行うことにより、第２車両位置情報を生成する。「検出部１１１が検出した地物の位置の情報」は、本実施形態において、物体センサ１２４から取得できる。また、検出部１１１が検出した地物の位置の情報は、例えば、カメラ１２２が撮像した周辺画像を用いてステレオマッチングにより求められてもよい。「第２車両位置情報」は、第１車両位置情報より高い精度で位置を表し、車両１０の方向を示す情報を含む。また、生成部１１４は照合に用いた、外乱物体以外の地物の位置の情報の少なくとも一部を反映させた地図情報を、通信部１４０を介して、外部サーバ２０に送信する。

外部サーバ２０は、生成部１１４が照合に用いた、外乱物体以外の地物の位置の情報の少なくとも一部を反映した地図情報を自己位置推定装置１１０から受信する。また、外部サーバ２０は、受信した地図情報と予め有する地図情報とを統合して記憶する。外部サーバ２０は、要求に応じて、記憶している統合した地図情報の少なくとも一部を自己位置推定装置１１０に送信する。なお、外部サーバ２０は、地図情報だけでなく、カメラ１２２が撮影した周辺画像や物体センサ１２４が取得した地物の位置の情報を受信して、予め有する地図情報と統合して記憶してもよい。

図２に示す自己位置推定処理は、生成部１１４が、車両１０の自己位置を推定する一連の処理である。この処理は車両１０の走行中、自己位置推定装置１１０により繰り返し実行される処理であり、例えば、１００ｍｓ毎に繰り返し実行される処理である。

ステップＳ１００で、車両位置取得部１１２は、車両位置センサ１２６から第１車両位置情報を取得する。

ステップＳ２００において、検出部１１１は、カメラ１２２が撮影した車両１０の周辺画像を取得する。

ステップＳ３００において、検出部１１１は、ステップＳ２００で取得した周辺画像から地物を検出する。

ステップＳ４００において、地図情報取得部１１３は、地図情報記憶部１３０から地図情報を取得する。より具体的には、地図情報取得部１１３は、ステップＳ１００で取得した第１地図情報が示す位置に応じた範囲の地図情報を取得する。

ステップＳ５００において、生成部１１４は、ステップＳ２００で取得した周辺画像を用いて外乱物体を特定する。「外乱物体」とは、自然環境によって変化する地物である。外乱物体特定処理の詳細については後述する。

ステップＳ６００において、生成部１１４は、第２車両位置情報を生成する。より具体的には、地図情報のうち、ステップＳ５００で特定した外乱物体に関する情報を使用せずに、地図情報と、検出部１１１が検出した地物の位置の情報と、の照合を行うことにより、第２車両位置情報を生成する。第２車両位置情報生成の詳細については後述する。

図３に示す外乱物体特定処理は、図２に示すステップＳ５００において、生成部１１４が、周辺画像において外乱物体を特定する一連の処理である。この処理は、検出した地物全てに対して行われる。

ステップＳ５１０において、生成部１１４は、赤外線センサ１２５から赤外線情報を取得する。「赤外線情報」は、赤外線センサ１２５が検出した反射光の強度を含む。

ステップＳ５２０において、生成部１１４は、地物が緑色と赤色と黄色とのうち少なくとも一色以上を含むか否かを判定する。より具体的には、生成部１１４は、地物が周辺画像において緑色と赤色と黄色とのうち少なくとも一色以上を含む部分か否かを判定する。地物が緑色と赤色と黄色とのうち少なくとも一色以上を含む場合、ステップＳ５３０の処理に進む。一方、地物が緑色と赤色と黄色とのいずれも含まない場合、外乱物体特定処理を終了する。つまり、外乱物体でないと判断する。

ステップＳ５３０において、生成部１１４は、地物の赤外線の反射光の強度（以下、「反射強度」ともいう）が予め定められた閾値強度より大きいか否かを判定する。反射強度が閾値強度より大きい場合、ステップＳ５４０の処理に進む。一方、反射強度が閾値強度以下の場合、外乱物体特定処理を終了する。つまり、外乱物体でないと判断する。なお、ステップＳ５１０～Ｓ５３０の処理は、ステップＳ５３０の処理がステップＳ５１０の処理よりも後に行われれば、この順に限らず、任意の順序で行うことができ、並行して行ってもよい。

ステップＳ５４０において、生成部１１４は、地物が外乱物体であると特定する。つまり、本実施形態において、植物の葉や茎等の季節によって変化する地物が周辺情報において外乱物体として特定される。

図４に示す第２車両位置情報生成処理は、図２に示すステップＳ６００において、生成部１１４が、第２車両位置情報を生成する一連の処理である。

ステップＳ６１０において、生成部１１４は、図２に示すステップＳ５００で特定した外乱物体以外の地物の位置の情報を地図情報に反映する。本実施形態において、生成部１１４は赤外線センサ１２５が検出した地物の位置の情報であって外乱物体以外の地物の位置の情報の少なくとも一部を、地図情報に反映させる。

ステップＳ６２０において、生成部１１４は、ステップＳ６１０で反映された地図情報と、検出部１１１が検出した地物の位置の情報と、の照合を行う。すなわち、生成部１１４は、地図情報のうち、外乱物体に関する情報を使用せずに、地図情報と、検出部１１１が検出した地物の位置の情報と、の照合を行う。この照合を行うことで、生成部１１４は第２車両位置情報を生成する。

以上で説明した本実施形態の自己位置推定装置１１０によれば、生成部１１４は、地図情報のうち、外乱物体に関する情報を使用せずに、地図情報と、検出部１１１が検出した地物の位置の情報と、の照合を行い、第２車両位置情報を生成する（図３のステップＳ５４０、ならびに図４のステップＳ６１０、Ｓ６２０参照）。そのため、地図情報の量を増大させることなく、車両１０の自己位置を推定することができる。また、外乱物体に関する情報を用いて推定するよりも精度よく、車両１０の自己位置を推定することができる。

また、生成部１１４は、外乱物体として、緑色と赤色と黄色との内少なくとも一色以上を含む地物であって、かつ、赤外線の強度が閾値強度以上である地物を外乱物体として特定する（図３のステップＳ５２０～Ｓ５４０参照）。そのため、外乱物体として、葉や茎を特定できる。また、生成部１１４は、葉や茎以外の地物の位置の情報の少なくとも一部を、地図情報に反映させたのちに、照合を行う（図３のステップＳ５４０、ならびに図４のステップＳ６１０、Ｓ６２０参照）。そのため、地図情報記憶部１３０に記憶された地図情報のみを用いて推定するよりも精度よく、車両１０の自己位置を推定することができる。

Ｂ．第２実施形態：
図５に示す第２実施形態の外乱物体特定処理は、図２に示すステップＳ５００における処理である。第２実施形態は、パターンマッチングを用いて外乱物体を特定する点が第１実施形態と異なる。第２実施形態の地図生成システムの他の点は、第１実施形態の地図生成システムの構成と同一であるため、地図生成システムの構成や他の処理の説明は省略する。

ステップＳ５１０Ｂにおいて、生成部１１４は、周辺画像を用いてパターンマッチングを行う。より具体的には、パターンマッチングによって、周辺画像において、地物を識別する。ここで、地物は、植物または雪、雹、火山灰などの区別がなされて、識別される。

ステップＳ５２０Ｂにおいて、生成部１１４は、地物が植物または雪、雹、火山灰のいずれかであるか否かを判定する。生成部１１４は、地物が植物または雪、雹、火山灰のいずれかである場合、ステップＳ５３０Ｂの処理に進む。一方、生成部１１４は、地物が植物または雪、雹、火山灰のいずれでもない場合、外乱物体特定処理を終了する。つまり、外乱物体でないと判断する。

ステップＳ５３０Ｂにおいて、生成部１１４は、地物が外乱物体であると特定する。つまり、本実施形態において、植物や雪、雹、火山灰等が外乱物体として特定される。

以上で説明した第２実施形態の自己位置推定装置１１０によれば、生成部１１４は、外乱物体として、植物と雪と雹と火山灰との内少なくとも1つ以上を含む地物を外乱物体として特定する（図５参照）。また、生成部１１４は、植物や雪や雹や火山灰以外の地物の位置の情報の少なくとも一部を、地図情報に反映させたのちに、照合を行う（図４参照）。そのため、地図情報記憶部１３０に記憶された地図情報のみを用いて推定するよりも精度よく、車両１０の自己位置を推定することができる。

Ｃ．第３実施形態：
図６に示す第３実施形態の地図生成システム１００の構成は、自己位置推定装置１１０が、画像生成部１１５と類似度算出部１１６とを備える点が第１実施形態と異なり、他の構成は同一である。

画像生成部１１５は、機械学習を用いて周辺画像から外乱が除去された除去済み画像を生成する。画像生成部１１５は、例えば、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ））を用いて、周辺画像から除去済み画像を生成する。「外乱」は、外乱物体や、降っている最中の雪や雹、火山灰等を含む。

類似度算出部１１６は、周辺画像の各領域と除去済み画像の各領域との類似度を算出する。

図７に示す第３実施形態の外乱物体特定処理は、図２に示すステップＳ５００における処理である。第３実施形態は、機械学習を用いて生成した除去済み画像を用いて外乱物体を特定する点が第１実施形態と異なる。第３実施形態の地図生成システム１００の他の点は、第１実施形態と同一である。

ステップＳ５１０Ｃにおいて、画像生成部１１５は、周辺画像から外乱が除去された除去済み画像を生成する。

ステップＳ５２０Ｃにおいて、カウンタ変数ｎを１に設定する。

ステップＳ５３０Ｃにおいて、類似度算出部１１６は、周辺画像と除去済み画像との類似度を算出する。より具体的には、類似度算出部１１６は、第ｎ地物領域（ｎは自然数）における類似度を算出する。「地物領域」とは、図２におけるステップＳ３００で検出した周辺画像における地物のある領域である。

ステップＳ５４０Ｃにおいて、生成部１１４は、第ｎ地物領域における類似度が予め定められた第１閾値以下か否かを判定する。類似度が第１閾値以下の場合、ステップＳ５５０Ｃの処理に進む。一方、類似度が第１閾値より高い場合、ステップＳ５６０Ｃの処理に進む。

ステップＳ５５０Ｃにおいて、生成部１１４は、第ｎ地物領域が示す地物が外乱物体であると特定する。つまり、本実施形態において、植物や雪、雹、火山灰等が外乱物体として特定される。

ステップＳ５６０Ｃにおいて、図２におけるステップＳ３００で検出した周辺画像における全地物において類似度の算出が完了したか否か判別する。類似度の算出が完了した場合、つまりｎが周辺画像における地物の数と等しい場合、外乱物体特定処理を終了する。一方、類似度の算出が完了していない場合、つまりｎが周辺画像における地物の数より小さい場合、ステップＳ５７０Ｃにおいてｎを１インクリメントし、ステップＳ５３０Ｃの処理に戻る。

以上で説明した第３実施形態の自己位置推定装置１１０によれば、生成部１１４は、周辺画像における類似度が第１閾値以下の領域を外乱物体として特定する（図７のステップＳ５４０Ｃ参照）。そのため、機械学習の精度に応じて、精度よく外乱物体を特定できる。また、生成部１１４は、周辺画像における類似度が第１閾値より高い領域にある地物の位置の情報を、地図情報に反映させたのちに、照合を行う（図７のステップＳ５５０Ｃ、ならびに図４のステップＳ６１０、Ｓ６２０参照）。そのため、地図情報記憶部１３０に記憶された地図情報のみを用いて推定するよりも精度よく、車両１０の自己位置を推定することができる。

Ｄ．第４実施形態：
図８に示す第４実施形態における地図情報反映処理は、図４に示すステップＳ６１０において、生成部１１４が地図情報を反映する一連の処理である。この処理は、地物領域毎に行われる。また、この処理は、全ての地物領域に対して行われることが好ましい。第４実施形態は、周辺画像における地物領域と除去済み画像との類似度に応じて、地図情報に反映させる情報を決定する点が第３実施形態と異なる。第４実施形態の地図生成システムの他の点は、第３実施形態と同一であるため、地図生成システムの構成や他の処理の説明は省略する。

ステップＳ６１１において、生成部１１４は、周辺画像における地物のある領域と除去済み画像との類似度（図７のステップＳ５３０Ｃ参照）が、第１閾値より高いか否かを判定する。すなわち、外乱物体がある領域か否かを判定する。地物領域の類似度が第１閾値以下の場合、ステップＳ６１２の処理に進む。一方、地物領域の類似度が第１閾値より高い場合、ステップＳ６１６の処理に進む。

ステップＳ６１２において、生成部１１４は、複数の除去済み画像に基づいて、車両１０の周辺の地物の位置の情報である位置情報を生成する。生成部１１４は、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）やステレオマッチング等の画像解析技術を用いて、複数の除去済み画像から地物の位置情報を生成する。また、機械学習を用いて、地物の位置を推定し、位置情報を生成してもよい。

ステップＳ６１３において、生成部１１４は、ステップＳ６１２で生成した位置情報の信頼度を生成する。「信頼度」とは、位置情報が示す地物の位置の推定の確かさの度合いを示す。信頼度が高いほど、地物の位置の推定を信頼できる可能性が高い。例えば、除去済み画像における地物領域に対応する領域（以下、「対応領域」ともいう）のコントラストが高く、除去済み画像において対応領域と類似している領域がない場合の位置情報の信頼度は、対応領域のコントラストが低い場合の位置情報の信頼度や、除去済み画像において対応領域と類似している領域がある場合の位置情報の信頼度よりも高い。なお、ステップＳ６１２とＳ６１３との処理は、並行して行ってもよい。

ステップＳ６１４において、生成部１１４は、ステップＳ６１３で生成した信頼度が予め定められた第２閾値より高いか否かを判定する。信頼度が第２閾値より高い場合、ステップＳ６１５の処理に進む。一方、信頼度が第２閾値以下の場合、地図情報反映処理を終了する。

ステップＳ６１５において、生成部１１４は、ステップＳ６１２で生成した位置情報を地図情報に反映し、地図情報反映処理を終了する。

ステップＳ６１６において、生成部１１４は、地物領域に含まれる地物の位置の情報を地図情報に反映し、地図情報反映処理を終了する。本実施形態において、生成部１１４は、物体センサ１２４が検出した地物の位置の情報である物体センサ情報を、地図情報に反映させる。

以上で説明した第４実施形態の自己位置推定装置１１０によれば、生成部１１４は、位置情報の信頼度が第２閾値より高い地物領域にある地物の位置情報を地図情報に反映する（図８のステップＳ６１５参照）。そのため、周辺画像から外乱物体を除去した部分の領域についての位置情報を用いて、車両１０の位置を推定できる。

Ｅ．第５実施形態：
図９に示す第５実施形態における第２車両位置情報生成処理は、図２に示すステップＳ６００において、生成部１１４が、第２車両位置情報を生成する一連の処理である。第５実施形態は、周辺画像における類似度が第１閾値よりも高い領域の大きさに応じて、地図情報反映処理を行う点が第４実施形態と異なる。第５実施形態の地図生成システムの他の点は、第４実施形態の地図生成システムと同一であるため、地図生成システムの構成や他の処理の説明は省略する。

ステップＳ６１０Ｅにおいて、生成部１１４は、周辺画像における類似度（図７のステップＳ５７０Ｃ参照）が第１閾値よりも高い領域（以下、「第１類似度領域」ともいう）の大きさが予め定められた第３閾値より小さいか否かを判定する。第１類似度領域の大きさが第３閾値より小さい場合、ステップＳ６２０Ｅの処理に進む。一方、第１類似度領域の大きさが第３閾値以上の場合、ステップＳ６５０Ｅの処理に進む。

ステップＳ６２０Ｅにおいて、生成部１１４は、第１地図情報反映処理を行う。第１地図情報反映処理とは、図８に示す地図情報反映処理である。

ステップＳ６３０Ｅにおいて、生成部１１４は、生成画像における信頼度（図８のステップＳ６１３参照）が第２閾値より高い地物の位置の情報を有する画素数（以下、「第１信頼度画素数」ともいう）が予め定められた第４閾値以下か否かを判定する。第１信頼度画素数が第４閾値以下の場合、ステップＳ６４０Ｅの処理に進む。一方、第１信頼度画素数が第４閾値より大きい場合、ステップＳ６６０Ｅの処理に進む。

ステップＳ６４０Ｅにおいて、生成部１１４は、既知の技術であるデッドレコニングにより第２車両位置情報を生成する。例えば、生成部１１４は、車両位置取得部１１２が取得した第１車両位置情報と、ジャイロセンサや加速度センサ等から取得した情報とを用いて、走行した距離や経路を推定し、第２車両位置情報を生成する。

ステップＳ６５０Ｅにおいて、生成部１１４は、第２地図情報反映処理を行う。第２地図情報反映処理とは、物体センサ１２４が検出した地物の位置の情報であって外乱物体以外の地物の位置の情報の少なくとも一部を、地図情報に反映させる処理である。

ステップＳ６６０Ｅにおいて、生成部１１４は、ステップ６２０ＥもしくはＳ６５０Ｅで反映された地図情報と、検出部１１１が検出した地物の位置の情報と、の照合を行う。すなわち、地図情報のうち、外乱物体に関する情報を使用せずに、地図情報と、検出部１１１が検出した地物の位置の情報と、の照合を行う。この照合を行うことで、生成部１１４は第２車両位置情報を生成する。

以上で説明した第５実施形態の自己位置推定装置１１０によれば、生成部１１４は、周辺画像における類似度が第１閾値よりも高い領域の大きさが第３閾値以下の場合に、第１地図情報反映処理を行う（図９のステップＳ６２０Ｅ参照）。すなわち、生成部１１４は、位置情報の信頼度が第２閾値より高い地物領域にある地物の位置情報を地図情報に反映する。そのため、外乱物体が存在する領域が広い場合であっても、除去済み画像を用いて生成した位置情報を用いて車両の位置を推定できる。

また、生成部１１４は、デッドレコニングにより車両１０の位置を推定する（図９のステップＳ６５０Ｅ参照）。そのため、外乱物体が存在する領域が広い場合であって、かつ、信頼度が高い位置情報が少ない場合であっても、車両１０の位置を推定できる。

Ｆ．その他の実施形態：
（Ｆ１）上述した実施形態において、生成部１１４は、図２に示すステップＳ５００で特定した外乱物体以外の地物の位置の情報を地図情報に反映している。この代わりに、生成部１１４は、地図情報から外乱物体に関する情報を除外してもよい。

（Ｆ２）上述した第３実施形態において、画像生成部１１５は、パターンマッチング等を行い、周辺情報に外乱物体が存在するか否かを判定してから、除去済み画像を生成してもよい。この場合、周辺情報に外乱物体が存在しない場合は、図７に示す外乱物体特定処理を行わず、図３や図５に示す外乱物体特定処理を行う。一方、周辺画像に外乱物体が存在する場合、図７に示す外乱物体特定処理を行い、画像生成部１１５は、除去済み画像を生成する。

（Ｆ３）上述した第５実施形態において、生成部１１４は、ステップＳ６３０ＥおよびＳ６４０Ｅの処理を省略してもよい。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。

１０…車両、２０…外部サーバ、１００…地図生成システム、１１０…自己位置推定装置、１１１…検出部、１１２…車両位置取得部、１１３…地図情報取得部、１１４…生成部、１１５…画像生成部、１１６…類似度算出部、１２２…カメラ、１２４…物体センサ、１２５…赤外線センサ、１２６…車両位置センサ、１３０…地図情報記憶部、１４０…通信部

Claims (6)

1. 周辺を撮像するカメラ（１２２）を有する車両（１０）に搭載される、前記車両の位置を推定する自己位置推定装置（１１０）であって、
   前記カメラが撮像した画像である周辺画像に基づいて、前記車両の周辺の地物を検出する検出部（１１１）と、
   前記車両の位置を表す第１車両位置情報を取得する車両位置取得部（１１２）と、
   前記第１車両位置情報が表す位置に応じた範囲に含まれる地物の位置の情報である地図情報を取得する地図情報取得部（１１３）と、
   前記地図情報と、前記検出部が検出した地物の位置の情報と、の照合を行うことにより、前記第１車両位置情報より高い精度で位置を表し、前記車両の方向を示す情報を含む第２車両位置情報を生成する生成部（１１４）と、
   レーザにより赤外線を照射して前記赤外線の反射光に基づいて地物の位置の情報を取得する赤外線センサ（１２５）と、を備え、
   前記生成部は、
   前記検出された地物のうち、自然環境によって変化する地物である外乱物体を、前記周辺画像を用いて特定し、
   前記地図情報のうち、前記外乱物体に関する情報を使用せずに、前記地図情報と、前記検出部が検出した地物の位置の情報と、の前記照合を行い、
   前記周辺画像において緑色と赤色と黄色とのうち少なくとも一色以上を含む部分であって、かつ、前記赤外線センサが検出した反射光の強度が予め定められた閾値強度より大きい部分にある地物を、前記外乱物体として特定し、
   前記赤外線センサが検出した地物の位置の情報であって前記外乱物体以外の地物の位置の情報の少なくとも一部を、前記地図情報に反映させたのちに、前記照合を行う、自己位置推定装置。
2. 周辺を撮像するカメラ（１２２）を有する車両（１０）に搭載される、前記車両の位置を推定する自己位置推定装置（１１０）であって、
   前記カメラが撮像した画像である周辺画像に基づいて、前記車両の周辺の地物を検出する検出部（１１１）と、
   前記車両の位置を表す第１車両位置情報を取得する車両位置取得部（１１２）と、
   前記第１車両位置情報が表す位置に応じた範囲に含まれる地物の位置の情報である地図情報を取得する地図情報取得部（１１３）と、
   前記地図情報と、前記検出部が検出した地物の位置の情報と、の照合を行うことにより、前記第１車両位置情報より高い精度で位置を表し、前記車両の方向を示す情報を含む第２車両位置情報を生成する生成部（１１４）と、
   地物の位置の情報を取得する物体センサ（１２４）と、
   機械学習を用いて前記周辺画像から外乱が除去された除去済み画像を生成する、画像生成部（１１５）と、
   前記周辺画像の各領域と前記除去済み画像の各領域との類似度を算出する類似度算出部（１１６）と、を備え、
   前記生成部は、
   前記検出された地物のうち、自然環境によって変化する地物である外乱物体を、前記周辺画像を用いて特定し、
   前記地図情報のうち、前記外乱物体に関する情報を使用せずに、前記地図情報と、前記検出部が検出した地物の位置の情報と、の前記照合を行い、
   前記物体センサが取得した地物の位置の情報であって前記外乱物体以外の地物の位置の情報であり、前記周辺画像において前記類似度が予め定められた第１閾値より高い領域にある地物の位置の情報を、前記地図情報に反映させたのちに、前記照合を行う、自己位置推定装置。
3. 請求項２に記載の自己位置推定装置であって、
   前記生成部は、複数の前記除去済み画像に基づいて、前記車両の周辺の地物の位置の情報である位置情報を、それぞれの信頼度とともに生成し、前記信頼度が予め定められた第２閾値より高い位置情報を前記地図情報に反映させたのちに、前記照合を行う、自己位置推定装置。
4. 請求項３に記載の自己位置推定装置であって、
   前記生成部は、前記周辺画像において前記類似度が前記第１閾値よりも高い領域の大きさが予め定められた第３閾値より小さい場合に、
   前記物体センサが取得した地物の位置の情報であって前記外乱物体以外の地物の位置の情報であり、前記周辺画像において前記類似度が前記第１閾値よりも高い領域にある地物の位置の情報と、
   前記信頼度が前記第２閾値より高い位置情報と、を使用して、
   前記地図情報との前記照合を行う、自己位置推定装置。
5. 請求項４に記載の自己位置推定装置であって、
   前記生成部は、前記除去済み画像における前記信頼度が前記第２閾値より高い地物の位置の情報を有する画素数が予め定められた第４閾値以下の場合に、デッドレコニングにより前記第２車両位置情報を生成する、自己位置推定装置。
6. 地図生成システムであって、
   請求項１から請求項５までのいずれか一項に記載の自己位置推定装置と、
   外部サーバ（２０）と、を備え、
   前記外部サーバは、
   前記生成部が反映した前記地図情報を前記自己位置推定装置から受信し、
   受信した前記地図情報と予め有する地図情報とを統合して記憶し、
   統合した前記地図情報を前記自己位置推定装置に送信する、地図生成システム。

Images