JP2024071018A - 地図データ作成装置 - Google Patents
地図データ作成装置 Download PDFInfo
- Publication number
- JP2024071018A JP2024071018A JP2022181711A JP2022181711A JP2024071018A JP 2024071018 A JP2024071018 A JP 2024071018A JP 2022181711 A JP2022181711 A JP 2022181711A JP 2022181711 A JP2022181711 A JP 2022181711A JP 2024071018 A JP2024071018 A JP 2024071018A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- map
- map image
- control device
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 claims description 76
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012854 evaluation process Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Instructional Devices (AREA)
Abstract
【課題】自己位置推定の精度を向上させること。【解決手段】制御装置は、車両が備えるカメラによって路面を撮像することで得られた地図画像データを取得する。制御装置は、地図画像データを取得した地点の座標を含む位置情報を地図画像データに紐付ける。制御装置は、地図画像データの信頼度であって自己位置推定の精度に関する信頼度を評価する。【選択図】図6
Description
本開示は、地図データ作成装置に関する。
特許文献1に開示の自律走行車は、カメラと、記憶装置と、制御装置と、を備える。カメラは、路面を撮像するように配置されている。記憶装置は、地図データを記憶している。地図データは、予め路面を撮像した地図画像データと位置情報とが紐付けされたデータである。制御装置は、カメラから画像データを取得する。制御装置は、画像データと地図画像データとのマッチングにより自己位置を推定する。
地図画像データには、自己位置推定を行う際に、マッチングが行いにくくなる原因、あるいは、誤マッチングの原因になる低品質画像データが含まれている場合がある。
上記課題を解決する地図データ作成装置は、自律走行車が自己位置推定を行う際に用いる地図データであって前記自律走行車が備える撮像装置から取得した画像データとの照合に用いられる地図データを作成する地図データ作成装置であって、前記地図データ作成装置は、制御装置を備え、前記制御装置は、車両が備える撮像装置によって路面を撮像することで得られた地図画像データを取得し、前記地図画像データを取得した地点の座標を含む位置情報を前記地図画像データに紐付け、前記地図画像データの信頼度であって前記自己位置推定の精度に関する信頼度を評価する。
制御装置は、地図データを作成する際に、地図画像データの信頼度を評価する。信頼度は、自己位置推定の精度に関するため、この信頼度を指標とすることによって自己位置推定の精度を向上させることができる。
上記地図データ作成装置について、前記制御装置は、前記地図画像データを構成する画素のうち、輝度が低輝度閾値未満の画素と輝度が高輝度閾値以上の画素との合計数が画素閾値以上の場合、前記地図画像データの前記信頼度を低下させてもよい。
上記地図データ作成装置について、前記制御装置は、前記地図画像データに含まれる特徴点の数が特徴点閾値未満の場合、前記地図画像データの前記信頼度を低下させてもよい。
上記地図データ作成装置について、前記制御装置は、前記地図画像データに含まれる特徴点が偏って分布している場合、前記地図画像データの前記信頼度を低下させてもよい。
上記地図データ作成装置について、前記制御装置は、複数の前記地図画像データ同士でマッチングを行い、特徴点のマッチング数が第1マッチング閾値以上の場合、前記地図画像データの前記信頼度を低下させてもよい。
上記地図データ作成装置について、前記制御装置は、複数の前記地図画像データ同士でマッチングを行い、特徴点のマッチング数が第1マッチング閾値以上の場合、前記地図画像データの前記信頼度を低下させてもよい。
上記地図データ作成装置について、前記制御装置は、前記信頼度の評価値が閾値未満であるサンプル画像データと前記地図画像データとのマッチングを行い、特徴点のマッチング数が第2マッチング閾値以上の場合、前記地図画像データの前記信頼度を低下させてもよい。
本発明によれば、自己位置推定の精度を向上させることができる。
以下、地図データ作成装置の一実施形態について説明する。
図1に示すように、車両10は、車体11と、駆動輪21と、操舵輪31と、を備える。車両10は、乗用車であってもよいし、産業車両であってもよい。産業車両は、フォークリフト、トーイングトラクタ、及び無人搬送車を含む。本実施形態の車両10は、自律走行可能な自律走行車である。
図1に示すように、車両10は、車体11と、駆動輪21と、操舵輪31と、を備える。車両10は、乗用車であってもよいし、産業車両であってもよい。産業車両は、フォークリフト、トーイングトラクタ、及び無人搬送車を含む。本実施形態の車両10は、自律走行可能な自律走行車である。
図2に示すように、車両10は、走行モータ22と、走行モータドライバ23と、操舵モータ32と、操舵モータドライバ33と、を備える。走行モータ22は、駆動輪21を回転させるためのモータである。走行モータドライバ23は、走行モータ22を駆動させる。走行モータ22の駆動により駆動輪21が回転することで、車両10は走行する。操舵モータ32は、操舵輪31を操舵するためのモータである。操舵モータドライバ33は、操舵モータ32を駆動させる。操舵モータ32の駆動により操舵輪31が操舵されることで、車両10は旋回する。
車両10は、制御装置12を備える。制御装置12は、プロセッサ13と、記憶部14と、を備える。プロセッサ13としては、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、及びDSP(Digital Signal Processor)を挙げることができる。記憶部14は、RAM(Random Access Memory)及びROM(Read Only Memory)を含む。記憶部14は、処理をプロセッサ13に実行させるように構成されたプログラムコードまたは指令を格納している。記憶部14、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。制御装置12は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェア回路によって構成されていてもよい。処理回路である制御装置12は、コンピュータプログラムに従って動作する1つ以上のプロセッサ、ASICやFPGA等の1つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。
車両10は、カメラ41を備える。カメラ41は、撮像装置である。カメラ41は、単眼カメラである。カメラ41は、デジタルカメラである。カメラ41は、撮像素子を備える。撮像素子としては、例えば、CCDイメージセンサ(Charge Coupled Device image sensor)、及びCMOSイメージセンサ(Complementary Metal Oxide Semiconductor image sensor)を挙げることができる。カメラ41としては、例えば、RGBカメラ、赤外線カメラ、グレースケールカメラ、及び可視光カメラを挙げることができる。
カメラ41は、所定のフレームレートで撮像を行って画像データを生成する。この画像データは、カメラ41で撮像した画像のデジタルデータである。
図1に示すように、カメラ41は、路面Srを撮像するように配置されている。カメラ41は、路面Srを撮像した画像を示す画像データを生成する。カメラ41は、鉛直方向を向いた状態で車体11の底部に設けられている。
図1に示すように、カメラ41は、路面Srを撮像するように配置されている。カメラ41は、路面Srを撮像した画像を示す画像データを生成する。カメラ41は、鉛直方向を向いた状態で車体11の底部に設けられている。
図2に示すように、車両10は、照明装置51を備える。照明装置51は、路面Srの照明を行うように配置されている。詳細にいえば、照明装置51は、路面Srのうちカメラ41によって撮像される範囲の照明を行う。本実施形態において、照明装置51は、鉛直方向を向いた状態で車体11の底部に設けられている。照明装置51としては、例えば、発光ダイオードを用いることができる。照明装置51により路面Srの照明が行われることによって、車両10の周辺環境によって路面Srの輝度に差が生じることを抑制している。
車両10は、測位装置61を備える。測位装置61は、衛星航法装置62と、慣性測定装置63と、を備える。衛星航法装置62は、GNSS(Global Navigation Satellite System)衛星から送信される衛星信号を受信する。衛星航法装置62は、衛星信号を用いて位置を測定する。慣性測定装置63は、ジャイロセンサ、及び加速度センサを含む。
車両10は、補助記憶装置71を備える。補助記憶装置71は、制御装置12が読み取り可能な情報を記憶している。補助記憶装置71としては、例えば、ハードディスクドライブ、ソリッドステートドライブ、及びフラッシュメモリを挙げることができる。
補助記憶装置71は、地図データM1を記憶している。地図データM1は、路面Srを予め撮像した地図画像データと位置情報とを紐付けたものである。車両10が走行する範囲は、予め定められている。位置情報は、座標と、姿勢と、を含む。座標は、絶対位置を表す座標系である地図座標系の座標である。地図座標系は、直交座標系であってもよいし、地理座標系であってもよい。地図座標系は、X軸と、Y軸と、を備える。X軸とY軸とは互いに直交している。X軸及びY軸は、水平方向を表す座標系である。姿勢は、地図座標系の座標軸に対する車両10の傾きを示す情報である。本実施形態の姿勢は、X軸に対する傾きを示す情報である。
地図データM1に含まれる全ての地図画像データには、信頼度の評価値が付与されている。信頼度の評価値は、2値で表されてもよいし、スコアで表されてもよい。信頼度の評価値を2値で表す場合、地図画像データが低品質画像データか否かが2値で表される。信頼度の評価値をスコアで表す場合、地図画像データの信頼度が高いほどスコアが高くなる。本実施形態において、信頼度の評価値は、2値で表されている。即ち、信頼度の評価値は、地図画像データが低品質画像データか否かを表す。適宜、地図画像データのうち低品質画像データとは異なる地図画像データを通常品質画像データと称する。通常品質画像データは、低品質画像データよりも信頼度が高い。信頼度の評価値は、低品質画像データと通常品質画像データとを表しているといえる。
車両10は、無線通信機81を備える。無線通信機81は、無線LAN(Local Area Network)、ZigBee(登録商標)、LPWA(Low Power Wide Area)、又は移動通信システム等、任意の無線通信方式で通信を行うことが可能な通信機器である。無線通信機81は、無線信号を送受信可能である。この無線信号には、トータルステーションによって検出された位置情報が含まれている。トータルステーションは、車両10の位置情報を検出する装置である。無線通信機81を介して、制御装置12は、トータルステーションによって検出された位置情報を取得可能である。
<自己位置推定>
制御装置12は、自己位置推定を行う。自己位置推定は、所定の制御周期で繰り返し行われる。自己位置推定は、車両10が自律走行する際に行われる。例えば、車両10は、目標地点までの走行経路を生成する。そして、車両10は、自己位置推定により自己位置を認識しつつ走行経路に沿って走行する。
制御装置12は、自己位置推定を行う。自己位置推定は、所定の制御周期で繰り返し行われる。自己位置推定は、車両10が自律走行する際に行われる。例えば、車両10は、目標地点までの走行経路を生成する。そして、車両10は、自己位置推定により自己位置を認識しつつ走行経路に沿って走行する。
図3に示すように、ステップS1において、制御装置12は、カメラ41から画像データを取得する。
次に、ステップS2において、制御装置12は、地図データM1に含まれる地図画像データのうち信頼度の評価値が閾値未満の地図画像データを除外する。閾値は、低品質画像データが除外されるように設定されている。
次に、ステップS2において、制御装置12は、地図データM1に含まれる地図画像データのうち信頼度の評価値が閾値未満の地図画像データを除外する。閾値は、低品質画像データが除外されるように設定されている。
次に、ステップS3において、制御装置12は、画像データと地図画像データとのマッチングを行う。ステップS2で低品質画像データを除外しているため、ステップS3でのマッチングは、ステップS1で取得された画像データと、地図データM1のうち低品質画像データを除外した地図画像データとで行われることになる。
制御装置12は、画像データから特徴点を抽出する。制御装置12は、特徴点の特徴量を記述する。特徴量としては、例えば、特徴量ベクトル、及び輝度値を挙げることができる。また、制御装置12は、地図画像データを用いて特徴点の抽出、及び特徴量の記述を行う。制御装置12は、画像データから得られた特徴点及び特徴量と、地図画像データから得られた特徴点及び特徴量とを照合し、特徴量が類似する特徴点のペアを探索する。制御装置12は、特徴点のペアに基づき、画像データに対応する地図画像データを特定する。例えば、制御装置12は、特徴点のペアが集中している地図画像データを画像データに対応する地図画像データと特定する。上記したマッチングは、特徴量記述子を用いて行うことができる。特徴量記述子は、例えば、ORB(Oriented FAST and Rotated BRIEF)、SIFT(Scale-Invariant Feature Transform)、又はSURF(Speeded Up Robust Features)である。
次に、ステップS4において、制御装置12は、画像データに対応する地図画像データに基づき、自己位置の推定を行う。自己位置は、地図座標系での車両10の座標、及び車両10の姿勢を含む。制御装置12は、地図画像データと画像データとの相対位置、及び地図画像データと画像データとの相対角度を算出する。地図画像データと画像データとの相対位置とは、画像データと地図画像データとのずれ量である。画像データと地図画像データとの相対角度とは、画像データと地図画像データとのずれ角である。画像データと地図画像データとは、完全には一致しない場合が多い。これは、地図画像データを取得した時点と、画像データを取得した時点とで車両10の位置及び姿勢が完全に一致することが少ないためである。このため、画像データは、地図画像データの一部にのみ一致することが多い。地図画像データを取得した時点と、画像データを取得した時点で、車両10の位置がずれていた場合、車両10の位置の差によって地図画像データに写る路面Srの位置と画像データに写る路面Srの位置にずれが生じる。このずれ量が、地図画像データと画像データとの相対位置である。ずれ量は、地図画像データの特徴点と画像データの特徴点との位置関係から把握することができる。同様に、地図画像データを取得した時点と、画像データを取得した時点での車両10の姿勢の差によって、画像データは、地図画像データを回転させたものになる。この回転により生じるずれ角が、画像データと地図画像データとの相対角度である。制御装置12は、画像データに対応する地図画像データに紐付けられた位置情報と、相対位置と、相対角度とに基づき自己位置を推定する。制御装置12は、地図画像データに紐付けられた座標を相対位置に対応する座標だけずらす。制御装置12は、地図画像データに紐付けられた姿勢を相対角度だけずらす。これにより得られる地図座標系での座標、及び姿勢を制御装置12は自己位置とする。ステップS4の処理を終えると、制御装置12は、自己位置推定を終了する。
上記したように、地図データM1は、車両10が自己位置推定を行う際に用いられる。地図データM1は、車両10が備えるカメラ41から取得した画像データとの照合に用いられる。
<地図データ作成制御>
地図データ作成制御について説明する。地図データ作成制御は、地図データM1を作成する際に制御装置12によって行われる制御である。地図データ作成制御は、車両10の走行中に行われる。地図データM1を作成する際、車両10は、人の操作によって走行してもよいし、制御装置12による制御によって走行してもよい。
地図データ作成制御について説明する。地図データ作成制御は、地図データM1を作成する際に制御装置12によって行われる制御である。地図データ作成制御は、車両10の走行中に行われる。地図データM1を作成する際、車両10は、人の操作によって走行してもよいし、制御装置12による制御によって走行してもよい。
図4に示すように、ステップS11において、制御装置12は、地図作成処理を行う。地図作成処理について詳細に説明を行う。
図5に示すように、ステップS21において、制御装置12は、位置情報を取得する。位置情報は、例えば、測位装置61及び無線通信機81の少なくとも1つから取得することができる。測位装置61から取得できる位置情報は、衛星航法装置62を用いて取得した経緯度、及び慣性測定装置63を用いて算出する自己移動量の少なくとも1つによって算出可能である。
図5に示すように、ステップS21において、制御装置12は、位置情報を取得する。位置情報は、例えば、測位装置61及び無線通信機81の少なくとも1つから取得することができる。測位装置61から取得できる位置情報は、衛星航法装置62を用いて取得した経緯度、及び慣性測定装置63を用いて算出する自己移動量の少なくとも1つによって算出可能である。
次に、ステップS22において、制御装置12は、カメラ41から地図画像データを取得する。カメラ41から取得する画像データであって地図データM1に用いられる画像データが地図画像データである。ステップS21とステップS22とは同期して行われる。従って、ステップS21で取得される位置情報は、地図画像データを取得した地点の地図座標系の座標を含む。
次に、ステップS23において、制御装置12は、ステップS21で取得した位置情報をステップS22で取得した地図画像データに紐付ける。
制御装置12は、ステップS21~ステップS23の処理を繰り返し行う。これにより、制御装置12は、カメラ41から地図画像データを複数回取得する。各地図画像データには、位置情報が紐付けられる。車両10が地図データM1の作成を行う範囲の走行を終えると、地図作成処理は終了する。地図作成処理によって作成される地図データM1は、信頼度の評価値が付与される前のデータである。信頼度の評価値が付与される前の地図データM1を評価前地図データと称する。
制御装置12は、ステップS21~ステップS23の処理を繰り返し行う。これにより、制御装置12は、カメラ41から地図画像データを複数回取得する。各地図画像データには、位置情報が紐付けられる。車両10が地図データM1の作成を行う範囲の走行を終えると、地図作成処理は終了する。地図作成処理によって作成される地図データM1は、信頼度の評価値が付与される前のデータである。信頼度の評価値が付与される前の地図データM1を評価前地図データと称する。
図4に示すように、制御装置12は、地図作成処理を終えると、ステップS12において、信頼度評価処理を行う。信頼度評価処理では、地図画像データの信頼度が評価される。信頼度は、自己位置推定の精度に関する信頼度である。信頼度評価処理について詳細に説明を行う。
図6に示すように、ステップS31において、制御装置12は、評価対象地図画像データを決定する。評価対象地図画像データは、地図作成処理で作成された評価前地図データに含まれる地図画像データであって信頼度の評価が行われていない地図画像データである。ステップS32~ステップS36では、地図画像データの信頼度が評価される。ステップS32~ステップS36で評価される地図画像データは、評価対象地図画像データである。ステップS31で評価対象地図画像データを順次変更していくことによって、評価前地図データに含まれる全ての地図画像データについて信頼度が評価される。
ステップS32において、制御装置12は、画素値評価を行う。画素値評価では、地図画像データを構成する画素の輝度から地図画像データの信頼度が評価される。制御装置12は、地図画像データを構成する画素の輝度が低輝度閾値未満か否かを判定する。地図画像データを構成する画素の輝度が過剰に低いことは、自己位置推定を行う際に、画像データと地図画像データとのマッチングが行いにくくなる原因、あるいは、誤マッチングの原因になる場合がある。低輝度閾値としては、画像データと地図画像データとのマッチングの際に許容される輝度に基づいて設定されている。地図画像データを構成する画素の輝度が低輝度閾値未満になる場合としては、例えば、路面Srが汚れている場合、路面Srに影が存在している場合、及び照度不足の場合を挙げることができる。照度不足は、例えば、雨天時に路面Srが濡れた場合、照明装置51が故障した場合、又は路面Srが光を反射しにくい色彩の場合に生じる。
制御装置12は、地図画像データを構成する画素の輝度が高輝度閾値以上か否かを判定する。地図画像データを構成する画素の輝度が過剰に高いことは、自己位置推定を行う際に、画像データと地図画像データとのマッチングが行いにくくなる原因、あるいは、誤マッチングの原因になる場合がある。高輝度閾値としては、画像データと地図画像データとのマッチングの際に許容される輝度に基づいて設定されている。地図画像データを構成する画素の輝度が高輝度閾値以上になる場合としては、例えば、車両10の下方に日が差し込んでいる場合、又は塗装によって路面Srが光を反射しやすくなっている場合を挙げることができる。
制御装置12は、地図画像データを構成する画素のうち、輝度が低輝度閾値未満の画素と輝度が高輝度閾値以上の画素との合計数が画素閾値以上の場合、地図画像データの信頼度を低下させる。詳細にいえば、ステップS32の処理を行う時点で信頼度の評価値が通常品質画像データに対応する評価値の場合、制御装置12は、通常品質画像データに対応する評価値を低品質画像データに対応する評価値に低下させる。ステップS32の処理を行う時点で信頼度の評価値が低品質画像データに対応する評価値の場合、制御装置12は、信頼度の評価値を維持する。上記したように、輝度が低輝度閾値未満の画素、及び輝度が高輝度閾値以上の画素は、マッチングが行いにくくなる原因、あるいは、誤マッチングの原因になる場合がある。画素閾値としては、画像データと地図画像データとのマッチングの際に許容される画素数に基づいて設定されている。
次に、ステップS33において、制御装置12は、特徴点数評価を行う。特徴点数評価では、地図画像データに含まれる特徴点の数から地図画像データの信頼度が評価される。制御装置12は、地図画像データから特徴点を抽出する。特徴点の抽出は、自己位置推定を行う際と同様の手法で行うことができる。特徴点の抽出は、輝度勾配に基づいて行われる。制御装置12は、地図画像データに含まれる特徴点の数が特徴点閾値未満の場合、地図画像データの信頼度を低下させる。地図画像データに含まれる特徴点の数が少ないと、画像データと地図画像データとのマッチングを行った際に特徴点のペアが少なくなる。この場合、マッチングが行いにくくなる。特徴点閾値としては、画像データとのマッチングを行った際に、特徴点のペア数が許容範囲となるように設定されている。
次に、ステップS34において、制御装置12は、特徴点分布評価を行う。特徴点分布評価では、地図画像データに含まれる特徴点の分布から地図画像データの信頼度が評価される。制御装置12は、特徴点の分布が偏っているか否かを判定する。特徴点の分布の偏りは、例えば、標準偏差で求めることができる。特徴点の分布の偏りは、特徴点が直線状に分布しているなど特定の形状になるように特徴点が分布していることを含む。特徴点の分布の偏りは、地図画像データの一部に集中して特徴点が分布していることを含む。特徴点の分布に偏りが生じる場合としては、例えば、グレーチングが写っている場合、路面Srの塗装部分と非塗装部分との境界線が写っている場合、及び影と日向が写っている場合を挙げることができる。特徴点の分布が偏っていることは、画像データと地図画像データとのマッチングが行いにくくなる原因、あるいは、誤マッチングの原因になる場合がある。制御装置12は、地図画像データに含まれる特徴点が偏って分布している場合、地図画像データの信頼度を低下させる。
次に、ステップS35において、制御装置12は、地図画像データ同士でのマッチングによる評価を行う。詳細にいえば、制御装置12は、評価対象地図画像データと、評価対象地図画像データとは異なる全ての地図画像データとでマッチングを行う。マッチングは、自己位置推定の際に行われるマッチングと同様である。即ち、制御装置12は、地図画像データ同士で特徴点のペアを探索する。制御装置12は、特徴点のマッチング数が第1マッチング閾値以上の場合、地図画像データの信頼度を低下させる。特徴点のマッチング数とは、特徴点のペア数である。第1マッチング閾値は、画像データとのマッチングを行った際に、当該画像データに対応する地図画像データとして複数の地図画像データが特定されないように設定されている。
次に、ステップS36において、制御装置12は、サンプル画像データと地図画像データとのマッチングを行う。サンプル画像データは、信頼度の評価値が閾値未満である画像データである。即ち、サンプル画像データは、低品質画像データのサンプルである。サンプル画像データとしては、例えば、グレーチングが写る画像データ、路面標示などの塗装が写る画像データ、影及び日向が写る画像データ、汚れが写る画像データ、水溜まりなどの鏡面反射が生じる場所が写る画像データ、及び照度不足の画像データが挙げられる。制御装置12は、サンプル画像データと地図画像データとのマッチングを行う。マッチングは、自己位置推定の際に行われるマッチングと同様である。即ち、制御装置12は、地図画像データとサンプル画像データで特徴点のペアを探索する。制御装置12は、特徴点のマッチング数が第2マッチング閾値以上の場合、地図画像データの信頼度を低下させる。サンプル画像データが複数ある場合、制御装置12は、複数のサンプル画像データ毎に、地図画像データとのマッチングを行う。この場合、制御装置12は、少なくとも1つのサンプル画像データと地図画像データとの特徴点のマッチング数が第2マッチング閾値以上であれば地図画像データの信頼度を低下させる。第2マッチング閾値は、第1マッチング閾値と同一の値であってもよいし、異なる値であってもよい。第2マッチング閾値は、低品質画像データと地図画像データとのマッチングを行った際に、当該地図画像データが低品質画像データに対応する地図画像データとして特定されるように設定されている。ステップS36の処理を終えると、制御装置12は、信頼度評価処理を終了する。
図4に示すように、制御装置12は、信頼度評価処理を終えると、ステップS13において、信頼度の評価値を地図画像データに付与する。本実施形態においては、ステップS32~ステップS36のうち少なくとも1つで信頼度の低下が行われた地図画像データには低品質画像データに対応する評価値が付与される。ステップS32~ステップS36の全てで信頼度の低下が行われなかった地図画像データには通常品質画像データに対応する評価値が付与される。ステップS13の処理を終えると、制御装置12は、地図データ作成制御を終了する。
上記したように、地図データ作成制御を行うことによって地図データM1を作成する制御装置12が地図データ作成装置である。
[本実施形態の効果]
(1)制御装置12は、地図データM1を作成する際に、地図画像データの信頼度を評価している。そして、制御装置12は、地図画像データに信頼度の評価値を付与する。制御装置12は、自己位置推定を行う際には、信頼度の評価値が閾値未満の地図画像データを除外する。このように、自己位置推定の際に地図画像データを除外するか否かの指標として信頼度を用いることができる。信頼度の評価値が閾値未満の地図画像データを除外して自己位置推定を行うことによって、信頼度の評価値が閾値未満の地図画像データを原因としてマッチングが行えなかったり、誤マッチングが生じたりすることが抑制される。従って、自己位置推定の精度を向上させることができる。
[本実施形態の効果]
(1)制御装置12は、地図データM1を作成する際に、地図画像データの信頼度を評価している。そして、制御装置12は、地図画像データに信頼度の評価値を付与する。制御装置12は、自己位置推定を行う際には、信頼度の評価値が閾値未満の地図画像データを除外する。このように、自己位置推定の際に地図画像データを除外するか否かの指標として信頼度を用いることができる。信頼度の評価値が閾値未満の地図画像データを除外して自己位置推定を行うことによって、信頼度の評価値が閾値未満の地図画像データを原因としてマッチングが行えなかったり、誤マッチングが生じたりすることが抑制される。従って、自己位置推定の精度を向上させることができる。
(2)制御装置12は、地図画像データを構成する画素のうち輝度が低輝度閾値未満の画素と輝度が高輝度閾値以上の画素との合計数が画素閾値以上の場合、地図画像データの信頼度を低下させる。輝度が低輝度閾値未満の画素と輝度が高輝度閾値以上の画素との合計数が画素閾値以上の地図画像データは、マッチングが行いにくくなる原因、あるいは、誤マッチングの原因になる場合がある。このような地図画像データについて信頼度を低下させることによって、信頼度の評価値が閾値未満の地図画像データを原因としてマッチングが行えなかったり、誤マッチングが生じたりすることが抑制される。
(3)制御装置12は、地図画像データに含まれる特徴点の数が特徴点閾値未満の場合、地図画像データの信頼度を低下させる。地図画像データに含まれる特徴点の数が特徴点閾値未満の場合、画像データと地図画像データとのマッチングを行った際に特徴点のペアが少なくなる。このような地図画像データについて信頼度を低下させることによって、信頼度の評価値が閾値未満の地図画像データを原因としてマッチングが行えなくなることが抑制される。
(4)制御装置12は、地図画像データに含まれる特徴点が偏って分布している場合に、地図画像データの信頼度を低下させる。グレーチングが写る地図画像データ、路面Srの塗装部分と非塗装部分との境界線が写る地図画像データ、及び影と日向が写る地図画像データは、マッチングが行いにくくなる原因、あるいは、誤マッチングの原因になる場合がある。このような地図画像データについて信頼度を低下させることによって、信頼度の評価値が閾値未満の地図画像データを原因としてマッチングが行えなかったり、誤マッチングが生じたりすることが抑制される。
(5)制御装置12は、地図データM1に含まれる複数の地図画像データ同士でマッチングを行い、特徴点のマッチング数が第1マッチング閾値以上の場合、地図画像データの信頼度を低下させる。地図画像データ同士でマッチングを行った際の特徴点のマッチング数が多いと、自己位置推定の際に画像データに対応して複数の地図画像データが特定される場合がある。この場合、複数の地図画像データのうちいずれが正しいかを制御装置12が認識しにくく、自己位置推定の精度が低下する場合がある。このような地図画像データについて信頼度を低下させることによって、自己位置推定の精度を向上させることができる。
(6)制御装置12は、サンプル画像データと地図画像データとのマッチングを行い、特徴点のマッチング数が第2マッチング閾値以上の場合、地図画像データの信頼度を低下させる。サンプル画像データと地図画像データとのマッチングを行った場合に特徴点のマッチング数が第2マッチング閾値以上の場合、当該地図画像データは低品質画像データと特徴が一致する地図画像データである。このような地図画像データについては、低品質画像データとみなして信頼度を低下させることによって、信頼度の評価値が閾値未満の地図画像データを原因としてマッチングが行えなかったり、誤マッチングが生じたりすることが抑制される。
[変更例]
実施形態は、以下のように変更して実施することができる。実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
実施形態は、以下のように変更して実施することができる。実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
○制御装置12は、地図データ作成制御において信頼度の評価値が閾値未満の地図画像データの再取得を行ってもよい。信頼度の評価値が閾値未満の地図画像データに紐付けられた地図座標系の座標に車両10が移動すると、制御装置12は、カメラ41から地図画像データを取得する。車両10は、人の操作によって走行してもよいし、制御装置12による制御によって走行してもよい。このように、信頼度は、地図画像データを再取得するか否かの指標として用いることができる。
○制御装置12は、自己位置推定の信頼度を判定する際に、地図画像データに付与された信頼度の評価値を用いてもよい。この場合、地図画像データに付与された信頼度の評価値が高いほど、自己位置推定の信頼度も高くなる。
○制御装置12は、地図画像データから低品質範囲を特定してもよい。低品質範囲とは、地図画像データの一部であって画像データと地図画像データとのマッチングの際に、マッチングが行えない原因、あるいは誤マッチングの原因となる範囲である。制御装置12は、例えば、地図画像データを複数の範囲に区分して、範囲毎に信頼度の評価を行えばよい。そして、制御装置12は、信頼度の評価値が閾値未満の範囲を低品質範囲とする。制御装置12は、自己位置推定を行う際には、低品質範囲をマスクして画像データとのマッチングを行う。マスクされた箇所については、特徴点の抽出が行われない。このため、低品質範囲を原因として自己位置推定の精度が低下することを抑制できる。
○制御装置12は、画素値評価、特徴点数評価、特徴点分布評価、地図画像データ同士でのマッチングによる評価、及びサンプル画像データとのマッチングによる評価の少なくとも1つを行えればよい。制御装置12は、画素値評価、特徴点数評価、特徴点分布評価、地図画像データ同士でのマッチングによる評価、及びサンプル画像データとのマッチングによる評価から任意の組み合わせで信頼度評価処理を行うことができる。
○制御装置12は、画素値評価、特徴点数評価、特徴点分布評価、地図画像データ同士でのマッチングによる評価、及びサンプル画像データとのマッチングによる評価のうち複数の評価によって信頼度が低下した地図画像データに低品質画像データに対応する評価値を付与してもよい。制御装置12は、2つの評価、3つの評価、4つの評価、又は5つの評価によって信頼度が低下した地図画像データに低品質画像データに対応する評価値を付与してもよい。
○信頼度の評価値をスコアにした場合、制御装置12は、画素値評価、特徴点数評価、特徴点分布評価、地図画像データ同士でのマッチングによる評価、及びサンプル画像データとのマッチングによる評価のそれぞれで信頼度が低下する度に、スコアを低くしてもよい。
○地図データ作成装置は、制御装置12と、制御装置12とは異なる外部装置と、を備えていてもよい。外部装置は、車両10の外部に設けられた装置である。外部装置のハードウェア構成は、例えば、制御装置12と同一である。この場合、制御装置12が評価前地図データを作成する。制御装置12によって作成された評価前地図データは、制御装置12と外部装置との通信、あるいは、記憶媒体によって外部装置に記憶される。外部装置は、信頼度評価処理によって評価前地図データの評価を行う。これにより、外部装置は、地図データM1を作成する。
○信頼度の評価値をスコアにした場合、スコアに対して閾値を設定してもよい。閾値は、低品質画像データが除外されるように設定されている。
○地図データM1は、車両10とは異なる車両の走行によって作成されてもよい。即ち、地図データM1の作成に用いられる車両と、地図データM1が用いられる自律走行車とは、異なっていてもよい。地図データM1の作成に用いられる車両としては、自律走行を行えない車両を用いてもよい。
○地図データM1は、車両10とは異なる車両の走行によって作成されてもよい。即ち、地図データM1の作成に用いられる車両と、地図データM1が用いられる自律走行車とは、異なっていてもよい。地図データM1の作成に用いられる車両としては、自律走行を行えない車両を用いてもよい。
○撮像装置は、リニアイメージセンサであってもよい。
○地図データM1が記憶される記憶装置は、記憶部14であってもよい。
上記実施形態及び変更例から把握できる技術的思想について記載する。
○地図データM1が記憶される記憶装置は、記憶部14であってもよい。
上記実施形態及び変更例から把握できる技術的思想について記載する。
[態様1]自律走行車が自己位置推定を行う際に用いられる地図データであって前記自律走行車が備える撮像装置から取得した画像データとの照合に用いられる地図データを作成する地図データ作成装置であって、前記地図データ作成装置は、制御装置を備え、前記制御装置は、車両が備える撮像装置によって路面を撮像することで得られた地図画像データを取得し、前記地図画像データを取得した地点の座標を含む位置情報を前記地図画像データに紐付け、前記地図画像データの信頼度であって前記自己位置推定の精度に関する信頼度を評価する、地図データ作成装置。
[態様2]前記制御装置は、前記地図画像データを構成する画素のうち、輝度が低輝度閾値未満の画素と輝度が高輝度閾値以上の画素との合計数が画素閾値以上の場合、前記地図画像データの前記信頼度を低下させる、[態様1]に記載の地図データ作成装置。
[態様3]前記制御装置は、前記地図画像データに含まれる特徴点の数が特徴点閾値未満の場合、前記地図画像データの前記信頼度を低下させる、[態様1]又は[態様2]に記載の地図データ作成装置。
[態様4]前記制御装置は、前記地図画像データに含まれる特徴点が偏って分布している場合、前記地図画像データの前記信頼度を低下させる、[態様1]~[態様3]のうちいずれか1つに記載の地図データ作成装置。
[態様5]前記制御装置は、複数の前記地図画像データ同士でマッチングを行い、特徴点のマッチング数が第1マッチング閾値以上の場合、前記地図画像データの前記信頼度を低下させる、[態様1]~[態様4]のうちいずれか1つに記載の地図データ作成装置。
[態様6]前記制御装置は、前記信頼度の評価値が閾値未満であるサンプル画像データと前記地図画像データとのマッチングを行い、特徴点のマッチング数が第2マッチング閾値以上の場合、前記地図画像データの前記信頼度を低下させる、[態様1]~[態様5]のうちいずれか1つに記載の地図データ作成装置
M1…地図データ、Sr…路面、10…自律走行車である車両、12…地図データ作成装置である制御装置、41…撮像装置であるカメラ。
Claims (6)
- 自律走行車が自己位置推定を行う際に用いる地図データであって前記自律走行車が備える撮像装置から取得した画像データとの照合に用いられる地図データを作成する地図データ作成装置であって、
前記地図データ作成装置は、制御装置を備え、
前記制御装置は、
車両が備える撮像装置によって路面を撮像することで得られた地図画像データを取得し、
前記地図画像データを取得した地点の座標を含む位置情報を前記地図画像データに紐付け、
前記地図画像データの信頼度であって前記自己位置推定の精度に関する信頼度を評価する、地図データ作成装置。 - 前記制御装置は、前記地図画像データを構成する画素のうち、輝度が低輝度閾値未満の画素と輝度が高輝度閾値以上の画素との合計数が画素閾値以上の場合、前記地図画像データの前記信頼度を低下させる、請求項1に記載の地図データ作成装置。
- 前記制御装置は、前記地図画像データに含まれる特徴点の数が特徴点閾値未満の場合、前記地図画像データの前記信頼度を低下させる、請求項1に記載の地図データ作成装置。
- 前記制御装置は、前記地図画像データに含まれる特徴点が偏って分布している場合、前記地図画像データの前記信頼度を低下させる、請求項1に記載の地図データ作成装置。
- 前記制御装置は、複数の前記地図画像データ同士でマッチングを行い、特徴点のマッチング数が第1マッチング閾値以上の場合、前記地図画像データの前記信頼度を低下させる、請求項1に記載の地図データ作成装置。
- 前記制御装置は、前記信頼度の評価値が閾値未満であるサンプル画像データと前記地図画像データとのマッチングを行い、特徴点のマッチング数が第2マッチング閾値以上の場合、前記地図画像データの前記信頼度を低下させる、請求項1に記載の地図データ作成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022181711A JP2024071018A (ja) | 2022-11-14 | 2022-11-14 | 地図データ作成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022181711A JP2024071018A (ja) | 2022-11-14 | 2022-11-14 | 地図データ作成装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024071018A true JP2024071018A (ja) | 2024-05-24 |
Family
ID=91129220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022181711A Pending JP2024071018A (ja) | 2022-11-14 | 2022-11-14 | 地図データ作成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024071018A (ja) |
-
2022
- 2022-11-14 JP JP2022181711A patent/JP2024071018A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969655B (zh) | 用于检测车位的方法、装置、设备、存储介质以及车辆 | |
US11915099B2 (en) | Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data | |
US11474247B2 (en) | Methods and systems for color point cloud generation | |
CN111856491B (zh) | 用于确定车辆的地理位置和朝向的方法和设备 | |
CN112734765B (zh) | 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质 | |
RU2720140C1 (ru) | Способ оценки собственной позиции и устройство оценки собственной позиции | |
US10872246B2 (en) | Vehicle lane detection system | |
JP2019125116A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7190261B2 (ja) | 位置推定装置 | |
CN113496201B (zh) | 物体状态识别装置、方法、计算机可读取的记录介质及控制装置 | |
US20210231460A1 (en) | Change point detection device and map information distribution system | |
WO2021172264A1 (ja) | 検出器の姿勢・位置検出装置 | |
JP6834401B2 (ja) | 自己位置推定方法及び自己位置推定装置 | |
US20210231457A1 (en) | Apparatus and method for collecting data for map generation, and vehicle | |
WO2022202915A1 (ja) | 自律走行車及び自律走行車の自己位置推定方法 | |
Hosseinyalamdary et al. | Lane level localization; using images and HD maps to mitigate the lateral error | |
JP2024071018A (ja) | 地図データ作成装置 | |
CN116892949A (zh) | 地上物检测装置、地上物检测方法以及地上物检测用计算机程序 | |
CN111788573A (zh) | 移动平台的环境检测中的天空确定以及相关的系统和方法 | |
Aqel et al. | Estimation of image scale variations in monocular visual odometry systems | |
Jaspers et al. | Fast and robust b-spline terrain estimation for off-road navigation with stereo vision | |
RU2785076C1 (ru) | Способ автономной посадки беспилотного летательного аппарата | |
CN117631676B (zh) | 一种矿区无人驾驶车辆自动引导前进的方法和装置 | |
RU2794046C1 (ru) | Способ позиционирования объекта | |
Khalfin et al. | Developing, Analyzing, and Evaluating Vehicular Lane Keeping Algorithms Under Dynamic Lighting and Weather Conditions Using Electric Vehicles |