JP7280393B2

JP7280393B2 - 視覚位置決め方法、関連モデルの訓練方法及び関連装置並びに機器

Info

Publication number: JP7280393B2
Application number: JP2021578181A
Authority: JP
Inventors: ▲鮑▼▲虎▼▲軍▼; 章国▲鋒▼; 余▲海▼林; ▲馮▼友▲計▼
Original assignee: Zhejiang Sensetime Technology Development Co Ltd
Current assignee: Zhejiang Sensetime Technology Development Co Ltd
Priority date: 2020-10-16
Filing date: 2021-03-22
Publication date: 2023-05-23
Anticipated expiration: 2041-03-22
Also published as: KR20220051162A; CN112328715B; CN112328715A; JP2023502819A; WO2022077863A1; TW202217662A

Description

［関連出願への相互参照］
本願は、２０２０年１０月１６日に中国特許局に提出された、出願番号が２０２０１１１１０５６９．５である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に組み込まれる。
［技術分野］
本開示は、コンピュータビジョンの技術分野に関し、特に、視覚位置決め方法、関連モデルの訓練方法及び関連装置並びに機器に関する。

視覚位置決めは、マップデータの様々な表現方式に応じて、複数の方式に分けることができる。その中でも、構造ベース方式（特徴ベース（ｆｅａｔｕｒｅ－ｂａｓｅｄ）方式）は、高い精度と優れた一般化性能を備えているため、幅広く注目されている。

現在、特徴ベースの方式により視覚位置決めを実行する場合、画像データとマップデータとの間の複数の点ペアをマッチングして取得する必要がある。しかしながら、部分的な類似度を用いてマッチング関係を確立すると、その信頼度が弱く、特に、大規模なシナリオや繰り返し構造／繰り返しテクスチャを含むシナリオでは、誤ったマッチングが発生しやすく、その結果、視覚位置決めの精度に影響を与える。ランダム・サンプル・コンセンサス（ＲＡＮＳＡＣ：ＲａｎｄｏｍＳａｍｐｌｅＣｏｎｓｅｎｓｕｓ）を使用すると、誤ったマッチングを除去することができるが、ＲＡＮＳＡＣは各サンプル点を確率抽出するため、初期マッチングの外れ点が多すぎると、ＲＡＮＳＡＣには時間がかかるとともに精度が低いという問題があり、その結果、視覚位置決めの即時性と精度に影響を与える。これを鑑みて、視覚位置決めの精度と即時性を向上させることは解決すべき課題となる。

本開示は、視覚位置決め方法、関連モデルの訓練方法及び関連装置並びに機器を提供する。

本開示の第１態様は、マッチング予測モデルの訓練方法は、サンプル画像及びマップデータを用いて、サンプルマッチングデータを構築することであって、サンプルマッチングデータは、いくつかのグループの点ペア及び各グループの点ペアの実際の一致値を含み、各グループの点ペアの２つの点はそれぞれサンプル画像及びマップデータから取得されたものである、ことと、マッチング予測モデルを用いていくつかのグループの点ペアに対して予測処理を行い、点ペアの予測一致値を取得することと、実際の一致値及び前記予測一致値を用いて、マッチング予測モデルの損失値を決定することと、損失値を用いて、マッチング予測モデルのパラメータを調整することと、を含む。

したがって、サンプル画像及びマップデータを用いてサンプルマッチングデータを構築し、サンプルマッチングデータは、いくつかのグループの点ペア及び各グループの点ペアの実際の一致値を含み、各グループの点ペアの２つの点はそれぞれサンプル画像及びマップデータから取得されたものであり、マッチング予測モデルを用いていくつかのグループの点ペアに対して予測処理を行い、点ペアの予測一致値を取得し、実際の一致値及び前記予測一致値を用いて、マッチング予測モデルの損失値を決定し、損失値を用いてマッチング予測モデルのパラメータを調整することにより、マッチング予測モデルを用いて一致関係を確立することができる。それによって、視覚位置決めの実行中、マッチング予測モデルを用いて点ペア間の一致値を予測することができ、したがって、予測された一致値に基づいて、一致値の高い点ペアを優先的にサンプリングし、位置決め対象となる画像の姿勢パラメータを決定することができ、これによって、視覚位置決めの精度と即時性を向上させるのに役に立つことができる。

ここで、サンプル画像及びマップデータを用いて、サンプルマッチングデータを構築することは、サンプル画像からいくつかの画像点を取得し、マップデータからいくつかのマップ点を取得して、いくつかのグループの点ペアを構成することであって、いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致する少なくとも１つのグループの一致点ペアを含む、ことと、各グループの一致点ペアについて、姿勢パラメータを用いてマップ点をサンプル画像が属する次元に投影して、マップ点の投影点を取得することと、画像点と投影点との間の差に基づいて、一致点ペアの実際の一致値を決定することと、を含む。

したがって、サンプル画像からいくつかの画像点を取得し、マップデータからいくつかのマップ点を取得し、これらによって、いくつかのグループの点ペアを構成し、いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致する少なくとも１つのグループの一致点ペアを含み、これによって、マッチング予測モデルを訓練するためのサンプルを生成することができ、各グループの一致点ペアについて、姿勢パラメータを用いてマップ点をサンプル画像が属する次元に投影して、マップ点の投影点を取得し、画像点と投影点との間の差に基づいて、一致点ペアの実際の一致値を決定することにより、訓練過程中マッチング予測モデルに一致点ペアの幾何学的特徴を学習させることができ、これによって、マッチング予測モデルの精度を向上させるのに役に立つ。

ここで、いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致しない少なくとも１つのグループの不一致点ペアを含み、サンプル画像及びマップデータを用いて、サンプルマッチングデータを構築することは、不一致点ペアの実際の一致値を、事前設定された値に設定することを更に含む。

したがって、いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致しない少なくとも１つのグループの不一致点ペアを含み、一致点ペアと区別させるために、不一致点ペアの実際の一致値を、事前設定された値に設定し、それによって、マッチング予測モデルのロバスト性を向上させるのに役に立つ。

ここで、サンプル画像からいくつかの画像点を取得し、マップデータからいくつかのマップ点を取得して、いくつかのグループの点ペアを構成することは、サンプル画像内の画像点を第１画像点及び第２画像点に分割することであって、マップデータには第１画像点に一致するマップ点があり、マップデータには第２画像点に一致するマップ点がない、ことと、第１画像点のそれぞれについて、マップデータからいくつかの第１マップ点を割り当てて、第１画像点及び第１マップ点のそれぞれを第１点ペアとして使用することであって、第１マップ点は、第１画像点に一致するマップ点を含む、ことと、第２画像点のそれぞれについて、マップデータからいくつかの第２マップ点を割り当てて、第２画像点及び第２マップ点のそれぞれを第２点ペアとして使用することと、第１点ペア及び第２点ペアからいくつかのグループの点ペアを抽出することと、を含む。

したがって、サンプル画像内の画像を第１画像点及び第２画像点に分割し、マップには第１画像点に一致するマップ点があり、画像データには第２画像点に一致する画像点がなく、第１画像点について、マップデータからいくつかの第１マップ点を割り当てて、第１画像点及び第１マップ点のそれぞれを第１点ペアとして使用し、第１マップ点は、第１画像点に一致するマップ点を含み、第２画像点のそれぞれについて、マップデータからいくつかの第２マップ点を割り当てて、第２画像点及び第２マップ点のそれぞれを第２点ペアとして使用し、第１点ペア及び第２点ペアからいくつかのグループの点ペアを抽出する。これにより、数が多くて不一致点ペア及び一致点ペアを含む、マッチング予測モデルを訓練するためのいくつかのグループの点ペアを構築することができ、これによって、マッチング予測モデルの精度を向上させるのに役に立つ。

ここで、姿勢パラメータを用いてマップ点をサンプル画像が属する次元に投影して、マップ点の投影点を取得することは、一致点ペアに基づいて、サンプル画像の姿勢パラメータを計算することと、姿勢パラメータを用いてマップ点をサンプル画像が属する次元に投影して、マップ点の投影点を取得することと、を含む。

したがって、一致点ペアを用いて、サンプル画像の姿勢パラメータを計算し、姿勢パラメータを用いてマップ点をサンプル画像が属する次元に投影して、マップ点の投影点を取得することにより、投影点と画像点との間の差の精度を向上させるのに役に立つことができ、よって、マッチング予測モデルの精度を向上させるのに役に立つことができる。

ここで、画像点と投影点との間の差に基づいて、一致点ペアの実際の一致値を決定することは、事前設定された確率分布関数を用いて差を確率密度値に変換して、一致点ペアの実際の一致値として使用する。

したがって、事前設定された確率分布関数を用いて差を確率密度値に変換して、一致点ペアの実際の一致値として使用することによって、投影点と画像点との間の差を正確に表すのに役に立つことができ、よって、マッチング予測モデルの精度を向上させるのに役に立つことができる。

ここで、サンプルマッチングデータは２部グラフであり、２部グラフは、いくつかのグループの点ペアと各グループの点ペアを連結する連結辺を含み、連結辺には、点ペアに対応する実際の一致値が注釈され、マッチング予測モデルは、サンプル画像が属する次元に対応する第１点特徴抽出サブモデル、マップデータが属する次元に対応する第２点特徴抽出サブモデル及び辺特徴抽出サブモデルを含み、マッチング予測モデルを用いていくつかのグループの点ペアに対して予測処理を行い、点ペアの予測一致値を取得することは、第１点特徴抽出サブモデル及び第２点特徴抽出サブモデルを用いて２部グラフに対して特徴抽出を実行して、第１特徴及び第２特徴を取得することと、辺特徴抽出サブモデルを用いて第１特徴及び第２特徴に対して特徴抽出を実行して、第３特徴を取得することと、第３特徴を用いて、連結辺に対応する点ペアの予測一致値を取得することと、を含む。

したがって、２部グラフに対して点特徴抽出及び辺特徴抽出を行い、それによって、マッチング予測モデルに、配的空間幾何学的構造を効果的に感知させることができ、よって、マッチング予測モデルの精度を向上させるのに役に立つことができる。

ここで、第１点特徴抽出サブモデル及び第２点特徴抽出サブモデルの構造は、少なくとも１つの残差ブロックを含むか、少なくとも１つの残差ブロック及び少なくとも１つの空間変換ネットワークを含み、及び／又は、辺特徴抽出サブモデルは、少なくとも１つの残差ブロックを含む。

したがって、第１点特徴抽出サブモデル及び第２点特徴抽出サブモデルの構造を、少なくとも１つの残差ブロックを含むか、少なくとも１つの残差ブロック及び少なくとも１つの空間変換ネットワークを含むように設定し、辺特徴抽出サブモデルを少なくとも１つの残差ブロックを含むように設定し、これによって、マッチング予測モデルを最適化するのに役に立ち、マッチング予測モデルの精度を向上させることができる。

ここで、いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致する少なくとも１つのグループの一致点ペアと、含まれた画像点とマップ点との間に一致しない少なくとも１つのグループの不一致点ペアとを含み、実際の一致値及び前記予測一致値を用いて、マッチング予測モデルの損失値を決定することは、一致点ペアの予測一致値及び実際の一致値を用いて、マッチング予測モデルの第１損失値を決定することと、不一致点ペアの予測一致値及び実際の一致値を用いて、マッチング予測モデルの第２損失値を決定することと、第１損失値及び第２損失値に対して加重処理を行い、マッチング予測モデルの損失値を取得することと、を含む。

したがって、一致点ペアの予測一致値及び実際の一致値を用いて、マッチング予測モデルの第１損失値を決定し、不一致点ペアの予測一致値及び実際の損失値を用いて、マッチング予測モデルの第２損失値を決定することにより、第１損失値及び第２損失値に対して加重処理を行い、マッチング予測モデルの損失値を取得し、これによって、マッチング予測モデルに、一致する空間幾何学的構造を効果的に感知させるのに役たつことができ、よって、マッチング予測モデルの精度を向上させる。

ここで、一致点ペアの予測一致値及び実際の一致値を用いて、マッチング予測モデルの第１損失値を決定する前に、前記方法は、一致点ペアの第１数量、及び不一致点ペアの第２数量をそれぞれ統計することを更に含み、一致点ペアの予測一致値及び実際の一致値を用いて、マッチング予測モデルの第１損失値を決定することは、一致点ペアの予測一致値と実際の一致値との間の差値、及び第１数量を用いて、第１損失値を決定することを含み、不一致点ペアの予測一致値及び実際の一致値を用いて、マッチング予測モデルの第２損失値を決定することは、不一致点ペアの予測一致値と実際の一致値との間の差値、及び第２数量を用いて、第２損失値を決定することを含む。

したがって、一致点ペアの第１数量、及び不一致点ペアの第２数量を統計することにより、一致点ペアの予測一致値と実際の一致値との間の差値、及び第１数量を用いて、第１損失値を決定し、不一致点ペアの予測一致値と実際の一致値との間の差、及び第２数量を用いて、第２損失値を決定し、これによって、マッチング予測モデルの損失値の精度を向上させるのに役に立ち、マッチング予測モデルの精度を向上させるのに役に立つことができる。

ここで、サンプル画像が属する次元は２次元又は３次元であり、マップデータが属する次元は２次元又は３次元である。

したがって、サンプル画像及びマップデータが属する次元を設定することにより、２次元－２次元のマッチング予測モデルを訓練することができ、又は２次元－３次元のマッチング予測モデルを訓練することができ、又は３次元－３次元のマッチング予測モデルを訓練することができ、それによって、マッチング予測モデルの適用範囲を向上させることができる。

本開示の第２態様は、視覚位置決め方法を提供し、前記視覚位置決め方法は、位置決め対象となる画像とマップデータとを用いて、認識対象となるマッチングデータを構築することであって、認識対象となるマッチングデータは、いくつかのグループの点ペアを含み、各グループの点ペアの２つの点は、位置決め対象となる画像及びマップデータから取得されたものである、ことと、マッチング予測モデルを用いていくつかのグループの点ペアに対して予測処理を行い、点ペアの予測一致値を取得することと、点ペアの予測一致値に基づいて、位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定することと、を含む。

したがって、位置決め対象となる画像とマップデータとを用いて、認識対象となるマッチングデータを構築し、認識対象となるマッチングデータは、いくつかのグループの点ペアを含み、各グループの点ペアの２つの点は、位置決め対象となる画像及びマップデータから取得されたものであり、マッチング予測モデルを用いていくつかのグループの点ペアに対して予測処理を行い、点ペアの予測一致値を取得し、点ペアの予測一致値に基づいて、位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定し、これによって、視覚位置決め精度と即時性を向上させる。

ここで、点ペアの予測一致値に基づいて、位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定することは、予測一致値に従っていくつかのグループの点ペアを降順に配列することと、前の予め設定された数量のグループの点ペアを用いて、位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定することと、を含む。

したがって、予測一致値に従っていくつかのグループの点ペアを降順に配列し、前の予め設定された数量グループの点ペアを用いて、位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定することにより、配列された後の点ペアでインクリメンタルサンプリングを実行するのに役に立つことができ、一致値が高い点ペアを優先的にサンプリングするため、幾何学的演繹により姿勢パラメータを解くように導くことができ、それによって、視覚位置決めの精度と即時性を向上させることができる。

ここで、マッチング予測モデルは、上記の第１態様におけるマッチング予測モデルの訓練方法によって取得されたものである。

したがって、上記のマッチング予測モデルの訓練方法によって取得されたマッチング予測モデルに対して視覚位置決めを行うことにより、視覚位置決めの精度と即時性を向上させることができる。

本開示の第３態様は、マッチング予測モデルの訓練装置を提供し、前記訓練装置は、サンプル構築部、予測処理部、損失決定部及びパラメータ調整部を備え、サンプル構築部は、サンプル画像及びマップデータを用いて、サンプルマッチングデータを構築するように構成され、ここで、サンプルマッチングデータは、いくつかのグループの点ペア及び各グループの点ペアの実際の一致値を含み、各グループの点ペアの２つの点はそれぞれサンプル画像及びマップデータから取得されたものであり、予測処理部は、マッチング予測モデルを用いていくつかのグループの点ペアに対して予測処理を行い、点ペアの予測一致値を取得するように構成され、損失決定部は、実際の一致値及び前記予測一致値を用いて、マッチング予測モデルの損失値を決定するように構成され、パラメータ調整部は、損失値を用いて、マッチング予測モデルのパラメータを調整するように構成される。

本開示の第４態様は、視覚位置決め装置を提供し、前記視覚位置決め装置は、データ構築部、予測処理部及びパラメータ決定部を備え、データ構築部は、位置決め対象となる画像とマップデータとを用いて、認識対象となるマッチングデータを構築するように構成され、ここで、認識対象となるマッチングデータは、いくつかのグループの点ペアを含み、各グループの点ペアの２つの点は、位置決め対象となる画像及びマップデータから取得されたものであり、予測処理部は、マッチング予測モデルを用いていくつかのグループの点ペアに対して予測処理を行い、点ペアの予測一致値を取得するように構成され、パラメータ決定部は、点ペアの予測一致値に基づいて、位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定するように構成される。

本開示の第５態様は、電子機器を提供し、前記電子機器は、互に結合されているメモリとプロセッサとを備え、プロセッサは、メモリに記憶されているプログラム命令を実行することにより、上記の第１態様におけるマッチング予測モデルの訓練方法、又は上記の第２態様における視覚位置決め方法を実現するように構成される。

本開示の第６態様は、プログラム命令が記憶されているコンピュータ可読記憶媒体を提供し、プログラム命令がプロセッサによって実行されるときに、プロセッサに上記の第１態様におけるマッチング予測モデルの訓練方法、又は上記の第２態様における視覚位置決め方法を実現させる。

本開示の第７態様は、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行され、前記電子機器のプロセッサによって実行されるときに、プロセッサに上記の第１態様におけるマッチング予測モデルの訓練方法、又は上記の第２態様における視覚位置決め方法を実現させる。

上記の方案により、マッチング予測モデルを用いて一致関係を確立することができ、それによって、視覚位置決め中、マッチング予測モデルを用いて点ペア間の一致値を予測することができ、したがって、予測された一致値に基づいて、一致値の高い点ペアを優先的にサンプリングし、一致関係を確立することができ、よって、視覚位置決めの精度と即時性を向上させるのに役に立つことができる。
例えば、本願は以下の項目を提供する。
（項目１）
マッチング予測モデルの訓練方法であって、
サンプル画像及びマップデータを用いて、サンプルマッチングデータを構築することであって、前記サンプルマッチングデータは、いくつかのグループの点ペア及び各グループの点ペアの実際の一致値を含み、各グループの点ペアの２つの点はそれぞれ前記サンプル画像及び前記マップデータから取得されたものである、ことと、
マッチング予測モデルを用いて前記いくつかのグループの点ペアに対して予測処理を行い、前記点ペアの予測一致値を取得することと、
前記実際の一致値及び前記予測一致値を用いて、前記マッチング予測モデルの損失値を決定することと、
前記損失値を用いて、前記マッチング予測モデルのパラメータを調整することと、を含む、マッチング予測モデルの訓練方法。
（項目２）
前記サンプル画像及びマップデータを用いて、サンプルマッチングデータを構築することは、
前記サンプル画像からいくつかの画像点を取得し、前記マップデータからいくつかのマップ点を取得して、いくつかのグループの点ペアを構成することであって、前記いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致する少なくとも１つのグループの一致点ペアを含む、ことと、
前記一致点ペアのそれぞれについて、前記サンプル画像の姿勢パラメータを用いて前記マップ点を前記サンプル画像が属する次元に投影して、前記マップ点の投影点を取得し、前記画像点と前記投影点との差に基づいて、前記一致点ペアの実際の一致値を決定することと、を含む、
項目１に記載の訓練方法。
（項目３）
前記いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致しない少なくとも１つのグループの不一致点ペアを含み、前記サンプル画像及びマップデータを用いて、サンプルマッチングデータを構築することは、
前記不一致点ペアの実際の一致値を、事前設定された値に設定することを更に含む、
項目２に記載の訓練方法。
（項目４）
前記サンプル画像からいくつかの画像点を取得し、前記マップデータからいくつかのマップ点を取得し、これらによって、いくつかのグループの点ペアを構成することは、
前記サンプル画像内の画像点を第１画像点及び第２画像点に分割することであって、前記マップデータには前記第１画像点に一致する前記マップ点があり、前記マップデータには前記第２画像点に一致する前記マップ点がない、ことと、
前記第１画像点のそれぞれについて、前記マップデータからいくつかの第１マップ点を割り当てて、前記第１画像点及び前記第１マップ点のそれぞれを第１点ペアとして使用することであって、前記第１マップ点は、前記第１画像点に一致する前記マップ点を含む、ことと、
前記第２画像点のそれぞれについて、前記マップデータからいくつかの第２マップ点を割り当てて、前記第２画像点及び前記第２マップ点のそれぞれを第２点ペアとして使用することと、
前記第１点ペア及び前記第２点ペアから、いくつかのグループの点ペアを抽出することと、を含む、
項目２又は３に記載の訓練方法。
（項目５）
前記サンプル画像の姿勢パラメータを用いて前記マップ点を前記サンプル画像が属する次元に投影して、前記マップ点の投影点を取得することは、
前記一致点ペアに基づいて、前記サンプル画像の姿勢パラメータを計算することと、
前記姿勢パラメータを用いて前記マップ点を前記サンプル画像が属する次元に投影して、前記マップ点の投影点を取得することと、を含み、
及び／又は、前記画像点と前記投影点との間の差に基づいて、前記一致点ペアの実際の一致値を決定することは、
事前設定された確率分布関数を用いて前記差を確率密度値に変換して、前記一致点ペアの実際の一致値として使用することを含む、
項目２ないし４のいずれか一項に記載の訓練方法。
（項目６）
前記サンプルマッチングデータは２部グラフであり、前記２部グラフは、いくつかのグループの点ペアと各グループの点ペアを連結する連結辺を含み、前記連結辺には、前記点ペアに対応する実際の一致値が注釈され、前記マッチング予測モデルは、前記サンプル画像が属する次元に対応する第１点特徴抽出サブモデル、前記マップデータが属する次元に対応する第２点特徴抽出サブモデル及び辺特徴抽出サブモデルを含み、
前記マッチング予測モデルを用いて前記いくつかのグループの点ペアに対して予測処理を行い、前記点ペアの予測一致値を取得することは、
それぞれ、前記第１点特徴抽出サブモデル及び前記第２点特徴抽出サブモデルを用いて前記２部グラフに対して特徴抽出を行い、第１特徴及び第２特徴を取得することと、
前記辺特徴抽出サブモデルを用いて前記第１特徴及び前記第２特徴に対して特徴抽出を行い、第３特徴を取得することと、
前記第３特徴を用いて、前記連結辺に対応する点ペアの予測一致値を取得することと、を含む、
項目１ないし５のいずれか一項に記載の訓練方法。
（項目７）
前記第１点特徴抽出サブモデル及び前記第２点特徴抽出サブモデルの構造は、少なくとも１つの残差ブロックを含むか、少なくとも１つの残差ブロック及び少なくとも１つの空間変換ネットワークを含み、
及び／又は、前記辺特徴抽出サブモデルは、少なくとも１つの残差ブロックを含む、
項目６に記載の訓練方法。
（項目８）
前記いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致する少なくとも１つのグループの一致点ペアと、含まれた画像点とマップ点との間に一致しない少なくとも１つのグループの不一致点ペアとを含み、
前記実際の一致値及び前記予測一致値を用いて、前記マッチング予測モデルの損失値を決定することは、
前記一致点ペアの前記予測一致値及び前記実際の一致値を用いて、前記マッチング予測モデルの第１損失値を決定することと、
前記不一致点ペアの前記予測一致値及び前記実際の一致値を用いて、前記マッチング予測モデルの第２損失値を決定することと、
前記第１損失値及び前記第２損失値に対して加重処理を行い、前記マッチング予測モデルの損失値を取得することと、を含む、
項目１ないし７のいずれか一項に記載の訓練方法。
（項目９）
前記一致点ペアの前記予測一致値及び前記実際の一致値を用いて、前記マッチング予測モデルの第１損失値を決定する前に、前記訓練方法は、
前記一致点ペアの第１数量及び前記不一致点ペアの第２数量をそれぞれ統計することを更に含み、
前記一致点ペアの前記予測一致値及び前記実際の一致値を用いて、前記マッチング予測モデルの第１損失値を決定することは、
前記一致点ペアの前記予測一致値と前記実際の一致値との間の差値、及び前記第１数量を用いて、前記第１損失値を決定することを含み、
前記不一致点ペアの前記予測一致値及び前記実際の一致値を用いて、前記マッチング予測モデルの第２損失値を決定することは、
前記不一致点ペアの前記予測一致値と前記実際の一致値との間の差値、及び前記第２数量を用いて、前記第２損失値を決定することを含む、
項目８に記載の訓練方法。
（項目１０）
前記サンプル画像が属する次元は２次元又は３次元であり、前記マップデータが属する次元は２次元又は３次元である、
項目１ないし９のいずれか一項に記載の訓練方法。
（項目１１）
視覚位置決め方法であって、
位置決め対象となる画像とマップデータとを用いて、認識対象となるマッチングデータを構築することであって、前記認識対象となるマッチングデータは、いくつかのグループの点ペアを含み、各グループの点ペアの２つの点は、前記位置決め対象となる画像及び前記マップデータから取得されたものである、ことと、
マッチング予測モデルを用いて前記いくつかのグループの点ペアに対して予測処理を行い、前記点ペアの予測一致値を取得することと、
前記点ペアの予測一致値に基づいて、前記位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定することと、を含む、視覚位置決め方法。
（項目１２）
前記点ペアの予測一致値に基づいて、前記位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定することは、
前記予測一致値に従って前記いくつかのグループの点ペアを降順に配列することと、
前前の予め設定された数量のグループの前記点ペアを用いて、前記位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定することと、を含む、
項目１１に記載の視覚位置決め方法。
（項目１３）
前記マッチング予測モデルは、項目１ないし１０のいずれか一項に記載のマッチング予測モデルの訓練方法によって取得されたものである、
項目１１又は１２に記載の視覚位置決め方法。
（項目１４）
マッチング予測モデルの訓練装置であって、
サンプル画像及びマップデータを用いて、サンプルマッチングデータを構築するように構成されるサンプル構築部であって、前記サンプルマッチングデータは、いくつかのグループの点ペア及び各グループの点ペアの実際の一致値を含み、各グループの点ペアの２つの点はそれぞれ前記サンプル画像及び前記マップデータから取得されたものである、サンプル構築部と、
マッチング予測モデルを用いて前記いくつかのグループの点ペアに対して予測処理を行い、前記点ペアの予測一致値を取得するように構成される予測処理部と、
前記実際の一致値及び前記予測一致値を用いて、前記マッチング予測モデルの損失値を決定するように構成される損失決定部と、
前記損失値を用いて、前記マッチング予測モデルのパラメータを調整するように構成されるパラメータ調整部と、を備える、マッチング予測モデルの訓練装置。
（項目１５）
視覚位置決め装置であって、
位置決め対象となる画像とマップデータとを用いて、認識対象となるマッチングデータを構築するデータ構築部であって、前記認識対象となるマッチングデータは、いくつかのグループの点ペアを含み、各グループの点ペアの２つの点は、前記位置決め対象となる画像及び前記マップデータから取得されたものである、データ構築部と、
マッチング予測モデルを用いて前記いくつかのグループの点ペアに対して予測処理を行い、前記点ペアの予測一致値を取得するように構成される予測処理部と、
前記点ペアの予測一致値に基づいて、前記位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定するように構成されるパラメータ決定部と、を備える、視覚位置決め装置。
（項目１６）
電子機器であって、
互に結合されているメモリとプロセッサとを備え、前記プロセッサは、前記メモリに記憶されているプログラム命令を実行して、項目１ないし１０のいずれか一項に記載のマッチング予測モデルの訓練方法、又は項目１１ないし１３のいずれか一項に記載の視覚位置決め方法を実行する、電子機器。
（項目１７）
プロセッサによって実行されるときに、前記プロセッサに項目１ないし１０のいずれか一項に記載のマッチング予測モデルの訓練方法、又は項目１１ないし１３のいずれか一項に記載の視覚位置決め方法を実行させるためのプログラム命令を記憶した、コンピュータ可読記憶媒体。
（項目１８）
電子機器のプロセッサによって実行されるときに、前記プロセッサに項目１ないし１０のいずれか一項に記載のマッチング予測モデルの訓練方法、又は項目１１ないし１３のいずれか一項に記載の視覚位置決め方法を実行させるためのコンピュータ可読コードを含む、コンピュータプログラム。

本開示に係るマッチング予測モデルの訓練方法の一実施例の例示的なフローチャートである。本開示に係るマッチング予測モデルの訓練方法の一実施例の状態の概略図である。図１のステップＳ１１の一実施例の例示的なフローチャートである。図３のステップＳ１１１の一実施例の例示的なフローチャートである。本開示に係る視覚位置決め方法の一実施例の例示的なフローチャートである。本開示に係るマッチング予測モデルの訓練装置の一実施例のフレームワークの概略図である。本開示に係る視覚位置決め装置の一実施例のフレームワークの概略図である。本開示に係る電子機器の一実施例のフレームワークの概略図である。本開示に係るコンピュータ可読記憶媒体の一実施例のフレームワークの概略図である。

以下では、図面を参照して、本開示の実施例の技術的解決策を詳細に説明する。

以下の記載は、限定するためではなく説明するためのものであり、本開示を明白に理解させるために、特定のシステム構造、インターフェース、技術などに関する具体的な詳細を提供している。

本明細書における「システム」および「ネットワーク」という用語は、本明細書で常に互換的に使用される。本明細書における「及び／又は」という用語は、単に関連対象の関連関係を表し、３種類の関係が存在し得ることを示し、例えば、Ａ及び／又はＢは、Ａが独立で存在する場合、ＡとＢが同時に存在する場合、Ｂが独立で存在する場合のような３つの場合を表す。さらに、本明細書における記号「／」は、一般的に、コンテキストオブジェクトが「または」の関係であることを示す。また、本明細書における「複数」という記載は、２つ又は２つ以上を表す。

図１を参照すると、図１は、本開示のマッチング予測モデルの訓練方法の一実施例の例示的なフローチャートである。マッチング予測モデルの訓練方法は、次のステップを含み得る。

ステップＳ１１において、サンプル画像及びマップデータを用いて、サンプルマッチングデータを構築する。

本開示の実施例において、サンプルマッチングデータは、いくつかのグループの点ペア及び各グループの点ペアの実際の一致値を含み、各グループの点ペアの２つの点はそれぞれサンプル画像及びマップデータから取得されたものである。

一実施形態において、マップデータは、サンプル画像によって構築されたものであってもよい。ここで、サンプル画像が属する次元可以は２次元又は３次元である可能性があり、マップデータが属する次元は、２次元又は３次元である可能性があり、ここでは特に限定しない。例えば、サンプル画像が２次元画像である場合、ＳＦＭ（ＳｔｒｕｃｔｕｒｅＦｒｏｍＭｏｔｉｏｎ）などの３次元再構築方式により２次元画像を処理して、疎らな点群モデルのマップデータなどを取得することができ、加えて、サンプル画像は、３次元情報を含んでもよく、例えば、サンプル画像は、ＲＧＢ－Ｄ画像（つまり、カラー画像と深層画像）であってもよく、ここでは特に限定しない。マップデータは、単純な２次元画像で構成されてもよく、３次元点群マップで構成されてもよく、２次元画像と３次元点群との組み合わせによって構成されてもよく、ここでは特に限定しない。

本開示の実施例において、マッチング予測モデルの訓練方法の実行主体は、マッチング予測モデルの訓練装置であってもよく、以下では訓練装置として記載する。例えば、マッチング予測モデルの訓練方法は、端末機器又はサーバ又は他の処理機器によって実行されることができ、ここで、端末機器は、ユーザ機器（ＵＥ：ＵｓｅｒＥｑｕｉｐｍｅｎｔ）、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話、携帯情報端末（ＰＤＡ：ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよい。いくつかの可能な実施形態において、当該マッチング予測モデルの訓練方法は、プロセッサがメモリに記憶されているコンピュータ可読命令を呼び出す方式により実現することができる。

一実施形態において、サンプルマッチングデータは、２部グラフであってもよく、当該２部グラフは、点集合及び辺集合で構成された無向グラフであり、点集合は、互いに交差しない２つの部分集合に分けることができ、辺集合の各辺に関連する２つの点は、それぞれ、当該互いに交差しない２つの部分集合に属する。ここで、サンプルマッチングデータが２部グラフである場合、サンプルマッチングデータは、いくつかのグループの点ペアと各グループの点ペアを連結する連結辺を含み、連結辺には、対応する点ペアの実際の一致値が注釈されており、対応する点ペアの一致度を表すために用いられ、例えば、実際の一致値は、０～１間の値であってもよく、ここで、実際の一致値が０．１である場合、対応する点ペア間の一致度が低く、点ペアにおけるサンプル画像からの点とマップデータからの点とが空間内の同じ点に対応する確率が低いことを表し、実際の一致値が０．９８である場合、対応する点ペア間の一致度が高く、点ペアにおけるサンプル画像からの点とマップデータからの点とが空間内の同じ点に対応する確率が高いことを表す。図２を参照すると、図２は、本開示のマッチング予測モデルの訓練方法の一実施例の状態の概略図を示し、図２に示されたように、左側は、２部グラフで表されたサンプルマッチングデータであり、２部グラフの上側と下側は、互に交差しない２つの点集合であり、２つの点集合の点を連結するのは連結辺であり、連結辺には実際の一致値（未図示）が注釈されている。

一実施形態において、サンプルマッチングデータの多様性を向上させるために、訓練装置は、サンプルマッチングデータに対してデータ拡張を実行してもよい。例えば、訓練装置は、３つの軸に基づきサンプルマッチングデータ内の３次元点の座標をランダムに回転させてもよく、又は、サンプルマッチングデータの３次元点に対して正規化処理を実行してもよく、ここでは特に限定しない。

ステップＳ１２において、マッチング予測モデルを用いていくつかのグループの点ペアに対して予測処理を行い、点ペアの予測一致値を取得する。

図２を続いて参照すると、依然として、サンプルマッチングデータを２部グラフで表すことを例として、マッチング予測モデルは、サンプル画像が属する次元に対応する第１点特徴抽出サブモデルと、マップデータが属する次元に対応する第２点特徴抽出サブモデルと、辺特徴抽出サブモデルとを備えることができる。例えば、サンプル画像が２次元画像であり、マップデータが２次元画像を含む場合、第１点特徴抽出サブモデル及び第２点特徴抽出サブモデルは２次元点特徴抽出サブモデルであり、訓練されたマッチング予測モデルは、２次元－３次元のマッチング予測に用いられることができ、又は、サンプル画像が３次元画像であり、マップデータが３次元点群を含む場合、第１点特徴抽出サブモデル及び第２点特徴抽出サブモデルは３次元点特徴抽出サブモデルであり、訓練されたマッチング予測モデルは、３次元－３次元のマッチング予測に用いられることができ、又は、サンプル画像が２次元画像であり、マップデータが３次元点群である場合、第１点特徴抽出サブモデルは２次元点特徴抽出サブモデルであり、第２点特徴抽出サブモデルは３次元点特徴抽出サブモデルであり、訓練されたマッチング予測モデルは、２次元－３次元のマッチング予測に用いられルことができ、ここで、実際の応用に従ってマッチング予測モデルを設定でき、ここでは特に限定しない。

一実施形態において、訓練装置は、第１点特徴抽出サブモデル及び第２点特徴抽出サブモデルを用いて２部グラフに対して特徴抽出を実行して、第１特徴及び第２特徴を取得した後、辺特徴抽出サブモデルを用いて第１特徴及び第２特徴に対して特徴抽出を実行して、第３特徴を取得し、第３特徴を用いて、連結辺に対応する点の予測一致値（例えば、図２に示された２部グラフの各連結辺に対応する予測一致値）を取得することができる。

一実施形態において、第１点特徴抽出サブモデル及び第２点特徴抽出サブモデルが２次元点特徴抽出サブモデルである場合、１つの残差ブロック、２つの残差ブロック、３つの残差ブロックなど、少なくとも１つの残差ブロック（ｒｅｓｂｌｏｃｋ）を含み得、各残差ブロック（ｒｅｓｂｌｏｃｋ）は、複数の基本ブロック（ｂａｓｅｂｌｏｃｋ）で構成され、各基本ブロック（ｂａｓｅｂｌｏｃｋ）は、１つの１＊１の畳み込み層、バッチ標準化層（ｂａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎ）、コンテキスト標準化層（ｃｏｎｔｅｘｔｎｏｒｍａｌｉｚａｔｉｏｎ）で構成される。第１点特徴抽出サブモデル及び第２点特徴抽出サブモデルが３次元点特徴抽出サブモデルである場合、１つの残差ブロック、２つの残差ブロック、３つの残差ブロックなどの少なくとも１つの残差ブロック（ｒｅｓｂｌｏｃｋ）と、少なくとも１つの空間変換ネットワーク（例えば、ｔ－ｎｅｔ）とを含み得、例えば、等等、ここでは特に限定しない。空間変換ネットワークは、１つであってもよく、２つであってもよい。ここで、空間変換ネットワークは、モデルの最初と最後に配置でき、ここでは特に限定しない。残差ブロック（ｒｅｓｂｌｏｃｋ）の構造は、上記の実施形態の構造を参照してもよく、ここでは繰り返して記載しない。辺特徴抽出サブモデルは、１つの残差ブロック、２つの残差ブロック、３つの残差ブロックなど、少なくとも１つの残差ブロックを含み得、ここでは特に限定しない。残差ブロック（ｒｅｓｂｌｏｃｋ）の構造は、上記の実施形態の構造を参照することができ、ここでは繰り返して記載しない。

ステップＳ１３において、実際の一致値及び前記予測一致値を用いて、マッチング予測モデルの損失値を決定する。

一実施形態において、訓練装置は、実際の一致値と予測一致値との差を統計し、それによって、マッチング予測モデルの損失値を決定することができる。ここで、訓練装置は、全ての点ペアの予測一致値とそれらの実際の一致値との差の合計を統計した後、当該合計値と全ての点ペアの数を使用して、全ての点ペアの予測一致値の平均値を得て、マッチング予測モデルの損失値として使用することができる。

別の実施形態において、いくつかのグループの一致点ペアは、含まれた画像点とマップ点との間に一致する少なくとも１つのグループの一致点ペアを含んでもよく、つまり、一致点ペアに含まれた画像点とマップ点は、空間において同一点であり、いくつかのグループの一致点ペアは、含まれた画像点とマップ点との間に一致しない少なくとも１つのグループの不一致点ペアを含んでもよく、つまり、不一致点ペアに含まれた画像点とマップ点は、空間において異なる点であり、式（１）を参照すると、訓練装置は、一致点ペアの予測一致値

及び実際の一致値

を用いて、マッチング予測モデルの第１損失値

を決定し、不一致点ペアの予測一致値

及び実際の一致値

を用いて、マッチング予測モデルの第２損失値

を決定することができ、それによって、第１損失値

及び第２損失値

に対して加重処理を行い、マッチング予測モデルの損失値

を取得することができる。

上記の式（１）では、

は、マッチング予測モデルの損失値を表し、

は、一致点ペアに対応する第１損失値を表し、

は、不一致点ペアに対応する第２損失値を表し、

は、それぞれ、第１損失値

の重み、第２損失値

の重みを表す。

一実施形態において、式（２）を参照すると、訓練装置は、一致点ペアの第１数量

及び不一致点ペアの第２数量

をそれぞれ統計してもよく、それによって、一致点ペアの予測一致値と実際の一致値との間の差値、及び第１数量を用いて、第１損失値を決定することもできる。

上記の式（２）では、

は第１損失値を表し、

は第１数量を表し、

は、それぞれ、一致点ペアの実際の一致値及び予測一致値を表す。

式（３）を参照すると、訓練装置は、不一致点ペアの予測一致値と実際の一致値との間の差値、及び第２数量を用いて、第２損失値を決定することもできる。

上記の式（３）では、

は第２損失値を表し、

は第２数量を表し、

は、それぞれ、不一致点ペアの実際の一致値及び予測一致値を表し、加えて、不一致点ペアの実際の一致値

は、事前設定された値（例えば、０）に統一に設定されてもよい。

ステップＳ１４において、損失値を用いて、マッチング予測モデルのパラメータを調整する。

本開示の実施例において、訓練装置は、確率的勾配降下法（ＳＧＤ：ＳｔｏｃｈａｓｔｉｃＧｒａｄｉｅｎｔＤｅｓｃｅｎｔ）、バッチ勾配降下法（ＢＧＤ：ＢａｔｃｈＧｒａｄｉｅｎｔＤｅｓｃｅｎｔ）、ミニバッチ勾配降下法（Ｍｉｎｉ－ＢａｔｃｈＧｒａｄｉｅｎｔＤｅｓｃｅｎｔ、ＭＢＧＤ）などにより、損失値を用いてマッチング予測モデルのパラメータを調整し、ここで、バッチ勾配降下法は、反復するたびに、全てのサンプルを用いてパラメータ更新を行うことを指し、確率的勾配降下法は、反復するたびに、１つのサンプルを用いてパラメータ更新を行うことを指し、ミニバッチ勾配降下法は、反復するたびに、１バッチのサンプルを用いてパラメータ更新を行うことを指し、ここでは繰り返して説明しない。

一実施形態において、訓練終了条件を設定することもでき、訓練終了条件を満たす場合、訓練装置は、マッチング予測モデルへの訓練を終了することができる。ここで、訓練終了条件は、損失値が事前設定された損失閾値より小さく、且つ損失値はこれ以上低下しないこと、現在の訓練回数が事前設定された回数閾値（例えば、５００回、１０００回など）に達することであってもよく、ここでは特に限定しない。

上記の法案によれば、サンプル画像及びマップデータを用いてサンプルマッチングデータを構築し、サンプルマッチングデータは、いくつかのグループの点ペア及び各グループの点ペアの実際の一致値を含み、各グループの点ペアの２つの点はそれぞれサンプル画像及びマップデータから取得されたものであり、マッチング予測モデルを用いていくつかのグループの点ペアに対して予測処理を行い、点ペアの予測一致値を取得し、実際の一致値及び前記予測一致値を用いて、マッチング予測モデルの損失値を決定し、損失値を用いてマッチング予測モデルのパラメータを調整することにより、マッチング予測モデルを用いて一致関係を確立することができる。それによって、視覚位置決めの実行中、マッチング予測モデルを用いて点ペア間の一致値を予測することができ、したがって、予測された一致値に基づいて、一致値の高い点ペアを優先的にサンプリングし、位置決め対象となる画像の姿勢パラメータを決定することができ、これによって、視覚位置決めの精度と即時性を向上させるのに役に立つことができる。

図３を参照すると、図３は、図１のステップＳ１１の一実施例の例示的なフローチャートである。ここで、訓練装置は、次のステップによって、サンプルマッチングデータを取得することができる。

ステップＳ１１１において、サンプル画像からいくつかの画像点を取得し、マップデータからいくつかのマップ点を取得し、これらによって、いくつかのグループの点ペアを構成する。

いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致する少なくとも１つのグループの一致点ペアを含み、つまり、いくつかのグループの点ペアは、少なくとも、含まれた画像点及びマップ点が空間内の同一点に対応する一致点ペアを含む。サンプル画像が２次元画像であり、マップデータがＳＦＭ再構築方式によって取得された疎らな点群モデルであることを例とし、いくつかのグループの点ペアは、少なくとも、１つの三角測量された点及び当該三角測量された点に対応する疎らな点群モデルの３次元点を含む。

一実施形態において、いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致しない少なくとも１つのグループの不一致点ペアを含み、つまり、いくつかのグループの点ペアは、含まれた画像点及びマップ点が空間内の異なる点に対応する不一致点ペアを含んでもよい。依然として、サンプル画像が２次元画像であり、マップデータがＳＦＭ再構築方式によって取得された疎らな点群モデルであることを例として、いくつかのグループの点ペアは、三角測量されていない点及び疎らな点群モデルの任意の点を含んでもよく、これによって、不グループの一致点ペアを構成する。これにより、サンプルマッチングデータにノイズを追加することができるため、マッチング予測モデルのロバスト性を向上させることができる。

一実施形態において、図４を参照すると、図４は、図３のステップＳ１１１の一実施例の例示的なフローチャートである。ここで、訓練装置は、次のステップによって、いくつかのグループの点ペアを取得することができる。

ステップＳ４１において、サンプル画像内の画像点を第１画像点及び第２画像点に分割する。

本開示の実施例において、マップデータには第１画像点に一致するマップ点があり、マップデータには第２画像点に一致するマップ点がない。依然として、サンプル画像が２次元画像であり、マップデータがＳＦＭ再構築方式によって取得された疎らな点群モデルであることを例として、第１画像点は、サンプル画像内の三角測量された特徴点であってもよく、第２画像点は、サンプル画像内の三角測量されていない特徴点であってもよく、他の適用シナリオでは、これによって類推でき、ここでは特に限定しない。

一実施場面において、サンプル画像内の画像点はサンプル画像の特徴点である。別の実施形態において、特徴点の座標を正規化平面に変換してもよい。

ステップＳ４２において、第１画像点のそれぞれについて、マップデータからいくつかの第１マップ点を割り当てて、第１画像点及び第１マップ点のそれぞれを第１点ペアとして使用し、ここで、第１マップ点は、第１画像点に一致するマップ点を含む。

第１画像点のそれぞれについて、マップデータからいくつかの第１マップ点を割り当てて、第１画像点及び第１マップ点のそれぞれを第１点ペアとして使用し、第１マップ点は、第１画像点に一致するマップ点を含む。一実施形態において、各第１画像点に割り当てられた第１マップ点の数は、同じでも異なってもよい。別の実施形態において、第１マップ点を割り当てる前に、分割された第１画像点からいくつかの第１画像点をランダムに抽出し、抽出された第１画像点に対して、マップデータからいくつかの第１マップ点を割り当て、第１画像点及び第１マップ点のそれぞれを第１点ペアとして使用するステップを実行してもよく、ここでは特に限定しない。一実施形態において、分割された第１画像点からＮ個の点をランダムに抽出し、抽出されたＮ個の第１画像点のそれぞれに対して、マップデータからＫ個の第１マップ点を割り当て、ランダムに割り当てられたＫ個の第１マップ点は、第１画像点に一致するマップ点を含む。

ステップＳ４３において、第２画像点のそれぞれについて、マップデータからいくつかの第２マップ点を割り当てて、第２画像点及び第２マップ点のそれぞれを第２点ペアとして使用する。

第２画像点のそれぞれについて、マップデータからいくつかの第２マップ点を割り当てて、第２画像点及び第２マップ点のそれぞれを第２点ペアとして使用する。一実施形態において、各第２画像点に割り当てられた第２マップ点の数は、同じでも異なってもよい。別の実施形態において、第２マップ点を割り当てる前に、分割された第２画像点からいくつかの第２画像点をランダムに抽出し、抽出された第２画像点に対して、マップデータからいくつかの第２マップ点を割り当て、第２画像点及び第２マップ点のそれぞれを第２点ペアとして使用するステップを実行してもよく、ここでは特に限定しない。一実施形態において、可分割された第２画像点からＭ個の点をランダムに抽出し、抽出されたＭ個の第２画像点のそれぞれに対して、マップデータからＫ個の第２マップ点を割り当てることができる。

一実施形態において、各第１点ペアと各第２点ペアが一致点ペアであるかどうかを明確にするために、各第１点ペア及び各第２点ペアをトラバースし、第１識別子（例えば、１）を用いて一致点ペアを標識し、第２識別子（例えば、０）を用いて不一致点ペアを標識してもよい。

上記のステップＳ４２及びステップＳ４３は、前後順番に従って実行でき、例えば、ステップＳ４２を実行してから、ステップＳ４３を実行し、又は、ステップＳ４３を実行してから、ステップＳ４２を実行してもよく、更に、上記のステップＳ４２及びステップＳ４３は同時に実行されてもよく、ここでは特に限定しない。

ステップＳ４４において、第１点ペア及び第２点ペアからいくつかのグループの点ペアを抽出する。

本開示の実施例において、第１点ペア及び第２点ペアからランダムに抽出して、いくつかのグループの点ペアをサンプルマッチングデータとして取得する。一実施形態において、第１点ペア及び第２点ペアをランダムに数回抽出することにより、いくつかのサンプルマッチングデータを取得してもよい。別の実施形態において、複数のサンプル画像及びマップデータを取得し、各サンプル画像及びマップデータに対して上記のステップを繰り返し実行して、複数のサンプルマッチングデータを取得してもよく、それによって、サンプルの数量を向上させ、マッチング予測モデルの精度を向上させるのに役に立つことができる。

ステップＳ１１２において、各グループの一致点ペアについて、姿勢パラメータを用いてマップ点をサンプル画像が属する次元に投影して、マップ点の投影点を取得し、画像点と投影点との間の差に基づいて、一致点ペアの実際の一致値を決定する。

各グループの一致点ペアについて、それらに対応するサンプル画像の姿勢パラメータを用いてマップ点をサンプル画像が属する次元に投影して、マップ点の投影点を取得することができる。依然として、サンプル画像が２次元画像であり、マップデータがＳＦＭ再構築方式によって取得された疎らな点群モデルであることを例として、訓練装置は、姿勢パラメータを用いて３次元点を再度投影して、その投影点を取得することができる。

一実施形態において、事前設定された確率分布関数を用いて、画像点とその投影点との間の差を確率密度値に変換して、一致点ペアの実際の一致値として使用することができる。一実施形態において、事前設定された確率分布関数は、標準ガウス分布関数であってもよく、これにより、値の範囲を負の無限大と正の無限大との間の差から対応する確率密度値に変換させ、差の絶対値が大きいほど、対応する確率密度値が小さく、これに対応して、点ペアの一致度が低いほど、差の絶対値が小さく、対応する確率密度値も小さいことを表し、相対的に、点ペアの一致度が高いほど、差の絶対値が０である場合、それに対応する確率密度値が最大であることを表す。

一実施形態において、姿勢パラメータを用いてマップ点をサンプル画像が属する次元に投影する前に、訓練装置は、一致点ペアに基づいて、サンプル画像の姿勢パラメータを計算してもよく、ここで、ＢＡ（ＢｕｎｄｌｅＡｄｊｕｓｔｍｅｎｔ）を使用して姿勢パラメータを計算し、姿勢パラメータを用いてマップ点をサンプル画像が属する次元に投影して、マップ点の投影点を取得することができる。

一実施形態において、不一致点ペアの実際の一致値を０に設定するなど、不一致点ペアの実際の一致値を、事前設定された値に設定してもよい。

上記の実施例との違いとして、サンプル画像からいくつかの画像点を取得し、マップデータからいくつかのマップ点を取得し、これらによって、いくつかのグループの点ペアを構成し、いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致する少なくとも１つのグループの一致点ペアを含み、これによって、マッチング予測モデルを訓練するためのサンプルを生成することができ、各グループの一致点ペアについて、姿勢パラメータを用いてマップ点をサンプル画像が属する次元に投影して、マップ点の投影点を取得し、画像点と投影点との間の差に基づいて、一致点ペアの実際の一致値を決定することにより、訓練過程中マッチング予測モデルに一致点ペアの幾何学的特徴を学習させることができ、これによって、マッチング予測モデルの精度を向上させるのに役に立つ。

図５を参照すると、図５は、本開示に係る視覚位置決め方法の一実施例の例示的なフローチャートである。視覚位置決め方法は、次のステップを含み得る。

ステップＳ５１において、位置決め対象となる画像とマップデータとを用いて、認識対象となるマッチングデータを構築する。

本開示の実施例において、認識対象となるマッチングデータは、いくつかのグループの点ペアを含み、各グループの点ペアの２つの点はそれぞれ位置決め対象となる画像及びマップデータから取得されたものである。ここで、位置決め対象となる画像及びマップデータが属する次元は２次元又は３次元であってもよく、ここでは特に限定しない。例えば、位置決め対象となる画像は２次元画像であってもよく、又は、位置決め対象となる画像はＲＧＢ－Ｄ画像であってもよく、ここでは特に限定しない。マップデータは、単純な２次元画像で構成されてもよく、３次元点群マップで構成されてもよく、２次元画像と３次元点群との組み合わせによって構成されてもよく、ここでは特に限定しない。

ステップＳ５２において、マッチング予測モデルを用いていくつかのグループの点ペアに対して予測処理を行い、点ペアの予測一致値を取得する。

マッチング予測モデルは、サンプルマッチングデータによって事前に訓練されたニューラルネットワークモデルである。一実施形態において、マッチング予測モデルは、上記の任意のマッチング予測モデルの訓練方法の実施例におけるステップによって訓練されたものであってもよく、ここで、訓練ステップは、上記の実施例におけるステップを参照することができ、ここでは繰り返して説明しない。

マッチング予測モデルを用いていくつかのグループの点ペアに対して予測処理を行うことにより、認識対象となるマッチングデータの点ペアの予測一致値を取得することができる。一実施形態において、認識対象となるマッチングデータは２部グラフであり、２部グラフは、いくつかのグループの点ペアと各グループの点ペアを連結する連結辺を含み、マッチング予測モデルは、位置決め対象となる画像が属する次元に対応する第１点特徴抽出サブモデル、マップデータが属する次元に対応する第２点特徴抽出サブモデル、及び辺特徴抽出サブモデルを含み、それによって、第１点特徴抽出サブモデル及び第２点特徴抽出サブモデルを用いて２部グラフに対して特徴抽出を行い、第１特徴及び第２特徴を取得し、辺特徴抽出サブモデルを用いて第１特徴及び第２特徴に対して特徴抽出を実行して、第３特徴を取得し、更に、第３特徴を用いて、連結辺に対応する点ペアの予測一致値を取得することができる。ここで、上記の実施例におけるステップを参照することができ、ここでは繰り返して説明しない
ステップＳ５３において、点ペアの予測一致値に基づいて、位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定する。

認識対象となるマッチングデータの点ペアの予測一致値によって、優先的に、比較的高い予測一致値を有する点ペアを用いて、位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定することができる。一実施形態において、比較的高い予測一致値を有するｎ個の点ペアを用いて、ＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）問題を構築し、それによって、ＥＰｎＰ（ＥｆｆｉｃｉｅｎｔＰｎＰ）などの方式によりＰｎＰ問題を解き、位置決め対象となる画像のカメラデバイスの姿勢パラメータを取得することができる。別の実施形態において、予測一致値に従っていくつかのグループの点ペアを降順に配列し、前の予め設定された数量のグループの点ペアを用いて、位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定してもよい。ここで、前の予め設定された数量は、実際の状況に応じて設定でき、例えば、配列された後のいくつかのグループの点ペアのうち、予測一致値が０ではない点ペアを前の予め設定された数量のグループの点ペアとして使用し、又は、配列された後のいくつかのグループの点ペアのうち、予測一致値が下限値より大きい点ペアを前の予め設定された数量のグループの点ペアとして使用してもよく、前の予め設定された数量は、実際の応用に応じて設定でき、ここでは特に限定しない。ここでは、プログレッシブ均一サンプリング（ＰＲＯＳＡＣ：ＰＲＯｇｒｅｓｓｉｖｅＳＡｍｐｌｅＣｏｎｓｅｎｓｕｓ）などにより、配列された後の点ペアを処理して、位置決め対象となる画像のカメラデバイスの姿勢パラメータを取得することもできる。一実施形態において、位置決め対象となる画像のカメラデバイスの姿勢パラメータは、マップデータが属するマップ座標系におけるカメラデバイスの６つの自由度（ＤｏＦ：Ｄｅｇｒｅｅｏｆｆｒｅｅｄｏｍ）を含み得、前記６つの自由度は、姿勢（ｐｏｓｅ）、つまり座標、及びｘ軸の周りの偏向ヨー（ｙａｗ角）、ｙ軸の周りの偏向ピッチ（ｐｉｔｃｈ角）、ｚ軸の周りの偏向ロール（ｒｏｌｌ角）を含む。

上記の方案により、位置決め対象となる画像とマップデータとを用いて、認識対象となるマッチングデータを構築し、認識対象となるマッチングデータは、いくつかのグループの点ペアを含み、各グループの点ペアの２つの点は、位置決め対象となる画像及びマップデータから取得されたものであり、マッチング予測モデルを用いていくつかのグループの点ペアに対して予測処理を行い、点ペアの予測一致値を取得し、点ペアの予測一致値に基づいて、位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定し、これによって、視覚位置決めの実行中、マッチング予測モデルを用いて点ペア間の一致値を予測して一致関係を確立することができ、これによって、視覚位置決めの精度と即時性を向上させるのに役に立つことができる。

図６を参照すると、図６は、本開示のマッチング予測モデルの訓練装置６０の一実施例の框フレームワークの概略図である。マッチング予測モデルの訓練装置６０は、サンプル構築部６１、予測処理部６２、損失決定部６３及びパラメータ調整部６４を備え、サンプル構築部６１は、サンプル画像及びマップデータを用いて、サンプルマッチングデータを構築するように構成され、ここで、サンプルマッチングデータは、いくつかのグループの点ペア及び各グループの点ペアの実際の一致値を含み、各グループの点ペアの２つの点はそれぞれサンプル画像及びマップデータから取得されたものであり、予測処理部６２は、マッチング予測モデルを用いていくつかのグループの点ペアに対して予測処理を行い、点ペアの予測一致値を取得するように構成され、損失決定部６３は、実際の一致値及び前記予測一致値を用いて、マッチング予測モデルの損失値を決定するように構成され、パラメータ調整部６４は、損失値を用いて、マッチング予測モデルのパラメータを調整するように構成される。

上記の方案により、マッチング予測モデルを用いて一致関係を確立することができ、それによって、視覚位置決め中、マッチング予測モデルを用いて点ペア間の一致値を予測することができ、したがって、予測された一致値に基づいて、一致値の高い点ペアを優先的にサンプリングすることができ、よって、視覚位置決めの精度と即時性を向上させるのに役に立つことができる。

いくつかの実施例において、サンプル構築部６１は、サンプル画像からいくつかの画像点を取得し、マップデータからいくつかのマップ点を取得し、これらによって、いくつかのグループの点ペアを構成するように構成される点ペア取得サブ部を備え、いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致する少なくとも１つのグループの一致点ペアを含み、サンプル構築部６１は、各グループの一致点ペアについて、姿勢パラメータを用いてマップ点をサンプル画像が属する次元に投影して、マップ点の投影点を取得し、画像点と投影点との間の差に基づいて、一致点ペアの実際の一致値を決定するように構成される第１一致値の決定サブ部を備える。

いくつかの実施例において、いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致しない少なくとも１つのグループの不一致点ペアを含み、サンプル構築部６１は、不一致点ペアの実際の一致値を、事前設定された値に設定するように構成される第２一致値の決定サブ部を備える。

上記の実施例との違いとして、いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致しない少なくとも１つのグループの不一致点ペアを含み、一致点ペアと区別させるために、不一致点ペアの実際の一致値を、事前設定された値に設定し、それによって、マッチング予測モデルのロバスト性を向上させるのに役に立つ。

いくつかの実施例において、点ペア取得サブ部は、サンプル画像内の画像点を第１画像点及び第２画像点に分割するように構成される画像点分割部分を備え、マップデータには第１画像点に一致するマップ点があり、マップデータには第２画像点に一致するマップ点がなく、点ペア取得サブ部は、第１画像点のそれぞれについて、マップデータからいくつかの第１マップ点を割り当てて、第１画像点及び第１マップ点のそれぞれを第１点ペアとして使用するように構成される第１点ペア取得部を備え、ここで、第１マップ点は、第１画像点に一致するマップ点を含み、点ペア取得サブ部は、第２画像点のそれぞれについて、マップデータからいくつかの第２マップ点を割り当てて、第２画像点及び第２マップ点のそれぞれを第２点ペアとして使用するように構成される第２点ペア取得部を備え、点ペア取得サブ部は、第１点ペア及び第２点ペアからいくつかのグループの点ペアを抽出するように構成される点ペア抽出部分を備える。

上記の実施例との違いとして、サンプル画像内の画像を第１画像点及び第２画像点に分割し、マップには第１画像点に一致するマップ点があり、画像データには第２画像点に一致する画像点がなく、第１画像点について、マップデータからいくつかの第１マップ点を割り当てて、第１画像点及び第１マップ点のそれぞれを第１点ペアとして使用し、第１マップ点は、第１画像点に一致するマップ点を含み、第２画像点のそれぞれについて、マップデータからいくつかの第２マップ点を割り当てて、第２画像点及び第２マップ点のそれぞれを第２点ペアとして使用し、第１点ペア及び第２点ペアからいくつかのグループの点ペアを抽出することにより、数が多くて不一致点ペア及び一致点ペアを含む、マッチング予測モデルを訓練するためのいくつかのグループの点ペアを構築することができ、これによって、マッチング予測モデルの精度を向上させるのに役に立つ。

いくつかの実施例において、第１一致値の決定サブ部は、一致点ペアに基づいて、サンプル画像の姿勢パラメータを計算するように構成される姿勢計算部を備え、第１一致値の決定サブ部は、姿勢パラメータを用いてマップ点をサンプル画像が属する次元に投影して、マップ点の投影点を取得するように構成される投影部を備える。

上記の実施例との違いとして、一致点ペアを用いて、サンプル画像の姿勢パラメータを計算し、姿勢パラメータを用いてマップ点をサンプル画像が属する次元に投影して、マップ点の投影点を取得することにより、投影点と画像点との間の差の精度を向上させるのに役に立つことができ、よって、マッチング予測モデルの精度を向上させるのに役に立つことができる。

いくつかの実施例において、第１一致値の決定サブ部は、事前設定された確率分布関数を用いて差を確率密度値に変換して、一致点ペアの実際の一致値として使用するように構成される確率密度変換部を備える。

上記の実施例との違いとして、事前設定された確率分布関数を用いて差を確率密度値に変換して、一致点ペアの実際の一致値として使用することによって、投影点と画像点との間の差を正確に表すのに役に立つことができ、よって、マッチング予測モデルの精度を向上させるのに役に立つことができる。

いくつかの実施例において、サンプルマッチングデータは２部グラフであり、２部グラフは、いくつかのグループの点ペアと各グループの点ペアを連結する連結辺を含み、連結辺には、点ペアに対応する実際の一致値が注釈され、マッチング予測モデルは、サンプル画像が属する次元に対応する第１点特徴抽出サブモデル、マップデータが属する次元に対応する第２点特徴抽出サブモデル及び辺特徴抽出サブモデルを含み、予測処理部６２は、第１点特徴抽出サブモデル及び第２点特徴抽出サブモデルを用いて２部グラフに対して特徴抽出を行い、第１特徴及び第２特徴を取得するように構成される点特徴抽出サブ部を備え、予測処理部６２は、辺特徴抽出サブモデルを用いて第１特徴及び第２特徴に対して特徴抽出を実行して、第３特徴を取得するように構成される辺特徴抽出サブ部を備え、予測処理部６２は、第３特徴を用いて、連結辺に対応する点ペアの予測一致値を取得するように構成される予測サブ部を備える。

上記の実施例との違いとして、２部グラフに対して点特徴抽出及び辺特徴抽出を行い、それによって、マッチング予測モデルに、配的空間幾何学的構造を効果的に感知させることができ、よって、マッチング予測モデルの精度を向上させるのに役に立つことができる。

いくつかの実施例において、第１点特徴抽出サブモデル及び第２点特徴抽出サブモデルの構造は、少なくとも１つの残差ブロックを含むか、少なくとも１つの残差ブロック及び少なくとも１つの空間変換ネットワークを含み、及び／又は、辺特徴抽出サブモデルは、少なくとも１つの残差ブロックを含む。

上記の実施例との違いとして、第１点特徴抽出サブモデル及び第２点特徴抽出サブモデルの構造を、少なくとも１つの残差ブロックを含むか、少なくとも１つの残差ブロック及び少なくとも１つの空間変換ネットワークを含むように設定し、辺特徴抽出サブモデルを少なくとも１つの残差ブロックを含むように設定し、これによって、マッチング予測モデルを最適化するのに役に立ち、マッチング予測モデルの精度を向上させることができる。

いくつかの実施例において、いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致する少なくとも１つのグループの一致点ペア及び含まれた画像点とマップ点との間に一致しない少なくとも１つのグループの不一致点ペアを含み、損失決定部６３は、一致点ペアの予測一致値及び実際の一致値を用いて、マッチング予測モデルの第１損失値を決定するように構成される第１損失決定サブ部を備え、損失決定部６３は、不一致点ペアの予測一致値及び実際の一致値を用いて、マッチング予測モデルの第２損失値を決定するように構成される第２損失決定サブ部を備え、損失決定部６３は、第１損失値及び第２損失値に対して加重処理を行い、マッチング予測モデルの損失値を取得するように構成される損失加重サブ部を備える。

上記の実施例との違いとして、一致点ペアの予測一致値及び実際の一致値を用いて、マッチング予測モデルの第１損失値を決定し、不一致点ペアの予測一致値及び実際の損失値を用いて、マッチング予測モデルの第２損失値を決定することにより、第１損失値及び第２損失値に対して加重処理を行い、マッチング予測モデルの損失値を取得し、これによって、マッチング予測モデルに、一致する空間幾何学的構造を効果的に感知させるのに役たつことができ、よって、マッチング予測モデルの精度を向上させる。

いくつかの実施例において、損失決定部６３は更に、一致点ペアの第１数量、及び不一致点ペアの第２数量をそれぞれ統計するように構成される数量統計サブ部と、一致点ペアの予測一致値と実際の一致値との間の差値、及び第１数量を用いて、第１損失値を決定するように構成される第１損失決定サブ部と、不一致点ペアの予測一致値と実際の一致値との間の差値、及び第２数量を用いて、第２損失値を決定するように構成される第２損失決定サブ部と、を備える。

上記の実施例との違いとして、一致点ペアの第１数量、及び不一致点ペアの第２数量を統計することにより、一致点ペアの予測一致値と実際の一致値との間の差値、及び第１数量を用いて、第１損失値を決定し、不一致点ペアの予測一致値と実際の一致値との間の差、及び第２数量を用いて、第２損失値を決定し、これによって、マッチング予測モデルの損失値の精度を向上させるのに役に立ち、マッチング予測モデルの精度を向上させるのに役に立つことができる。

いくつかの実施例において、サンプル画像が属する次元は２次元又は３次元であり、マップデータが属する次元は２次元又は３次元である。

上記の実施例との違いとして、サンプル画像及びマップデータが属する次元を設定することにより、２次元－２次元のマッチング予測モデルを訓練することができ、又は２次元－３次元のマッチング予測モデルを訓練することができ、又は３次元－３次元のマッチング予測モデルを訓練することができ、それによって、マッチング予測モデルの適用範囲を向上させることができる。

図７を参照すると、図７は、本開示に係る視覚位置決め装置７０の一実施例のフレームワークの概略図である。視覚位置決め装置７０は、データ構築部７１、予測処理部７２及びパラメータ決定部７３を備え、データ構築部７１は、位置決め対象となる画像とマップデータとを用いて、認識対象となるマッチングデータを構築するように構成され、ここで、認識対象となるマッチングデータは、いくつかのグループの点ペアを含み、各グループの点ペアの２つ点は、位置決め対象となる画像及びマップデータから取得されたものであり、予測処理部７２は、マッチング予測モデルを用いていくつかのグループの点ペアに対して予測処理を行い、点ペアの予測一致値を取得するように構成され、パラメータ決定部７３は、点ペアの予測一致値に基づいて、位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定するように構成される。

上記の方案により、マッチング予測モデルを用いて一致関係を確立することができ、それによって、視覚位置決め中、マッチング予測モデルを用いて点ペア間の一致値を予測して一致関係を確立することができ、よって、視覚位置決めの精度と即時性を向上させるのに役に立つことができる。

いくつかの実施例において、パラメータ決定部７３は、予測一致値に従っていくつかのグループの点ペアを降順に配列するように構成される点ペア配列サブ部を備え、パラメータ決定部７３は更に、前の予め設定された数量のグループの点ペアを用いて、位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定するように構成されるパラメータ決定サブ部を備える。

本開示の実施例および他の実施例において、「部分」は、部分回路、部分プロセッサ、部分プログラムまたはソフトウェア等であってもよく、もちろん、ユニットであってもよく、モジュールまたは非モジュール化であってもよいことを理解することができる。

上記の実施例との違いとして、予測一致値に従っていくつかのグループの点ペアを降順に配列し、前の予め設定された数量のグループの点ペアを用いて、位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定することにより、配列された後の点ペアでインクリメンタルサンプリングを実行するのに役に立つことができ、一致値が高い点ペアを優先的にサンプリングするため、幾何学的演繹により姿勢パラメータを解くように導くことができ、それによって、視覚位置決めの精度と即時性を向上させることができる。

いくつかの実施例において、マッチング予測モデルは、上記の任意のマッチング予測モデルの訓練装置の実施例におけるマッチング予測モデルの訓練装置によって訓練されたものである。

上記の実施例との違いとして、上記の任意のマッチング予測モデルの訓練装置の実施例におけるマッチング予測モデルの訓練装置によって取得されたマッチング予測モデルに対して視覚位置決めを行うことにより、視覚位置決めの精度と即時性を向上させることができる。

図８を参照すると、本開示に係る電子機器８０の一実施例のフレームワークの概略図である。電子機器８０は、互に結合されているメモリ８１とプロセッサ８２とを備え、プロセッサ８２は、メモリ８１に記憶されているプログラム命令を実行することにより、上記の任意のマッチング予測モデルの訓練方法の実施例におけるステップ、又は上記の任意の視覚位置決め方法の実施例におけるステップを実現するように構成される。一実施形態において、電子機器８０は、携帯電話、タブレットコンピュータなどのモバイル機器を含んでもよいが、これらに限定されず、ここでは特に限定しない。

ここで、プロセッサ８２は、それ自身とメモリ８１を制御することにより、上記の任意のマッチング予測モデルの訓練方法の実施例におけるステップ、又は上記の任意の視覚位置決め方法の実施例におけるステップを実現するように構成される。プロセッサ８２は、中央処理装置（ＣＰＵ：ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）とも呼ばれる。プロセッサ８２は、信号処理機能を備えた集積回路チップであり得る。上述のプロセッサ８２は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）または他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、任意の従来のプロセッサなどであってもよい。さらに、プロセッサ８２は、集積回路チップによって共同で実現されることができる。

図９を参照ると、図９は、本開示に係るコンピュータ可読記憶媒体９０の一実施例のフレームワークの概略図である。コンピュータ可読記憶媒体９０には、プロセッサによって実行可能なプログラム命令９０１が記憶され、プログラム命令９０１は、上記の任意のマッチング予測モデルの訓練方法の実施例におけるステップ、又は上記の任意の視覚位置決め方法の実施例におけるステップを実現するように構成される。

本開示に係るいくつかの実施例において、開示された方法及び装置は、他の方式で実現できることを理解されたい。例えば、上記の装置の実施形態は例示的なものに過ぎず、例えば、モジュール又はユニットの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方式が存在でき、例えば、ユニット又はコンポーネントを組み合わせたり、別のシステムに統合したり、又は一部の特徴を無視したり、又は実行しないことができる。さらに、表示又は議論される相互結合又は直接結合又は通信接続は、いくつかのインターフェースを介して実現でき、装置又はユニット間の間接的な結合又は通信接続は、電気的又は機械的な形であってもよく、他の形であってもよい。

分離部材として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、１箇所に配置される場合もあれば、ネットワークユニットに分散される場合もある。実際の必要に応じて、上記のユニットの一部又は全部を選択して、本実形態の技術案の目的を達成することができる。

また、本開示の各実施例における各機能ユニットを１つの処理ユニットに統合してもよく、各ユニットを別々に１つのユニットとして使用してもよく、２つ以上のユニットを１つのユニットに統合してもよい。前記統合されたユニットは、ハードウェアの形で実装されてもよく、ソフトウェア機能ユニットの形で実装されてもよい。

統合されたユニットがソフトウェア機能ユニットの形で実現され、スタンドアロン製品として販売または使用される場合、１つのコンピュータ可読記憶媒体に記憶されることができる。このような理解に基づいて、本開示の技術的解決策の本質的な部分、すなわち、先行技術に貢献のある部分、又は前記技術的解決策の全部又は一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器等であり得る）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ））に、本開示の各実施形態の方法のステップの全部又は一部を実行させるためのいくつかの命令を含む。上記の記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。

本開示の実施例では、マッチング予測モデルを用いて一致関係を確立することができ、それによって、視覚位置決め中、マッチング予測モデルを用いて点ペア間の一致値を予測することができ、したがって、予測された一致値に基づいて、一致値の高い点ペアを優先的にサンプリングし、一致関係を確立することができ、よって、視覚位置決めの精度と即時性を向上させるのに役に立つことができる。

Claims

マッチング予測モデルの訓練方法であって、
サンプル画像及びマップデータを用いて、サンプルマッチングデータを構築することであって、前記サンプルマッチングデータは、いくつかのグループの点ペア及び各グループの点ペアの実際の一致値を含み、各グループの点ペアの２つの点はそれぞれ前記サンプル画像及び前記マップデータから取得されたものである、ことと、
マッチング予測モデルを用いて前記いくつかのグループの点ペアに対して予測処理を行い、前記点ペアの予測一致値を取得することと、
前記実際の一致値及び前記予測一致値を用いて、前記マッチング予測モデルの損失値を決定することと、
前記損失値を用いて、前記マッチング予測モデルのパラメータを調整することと、を含み、前記サンプル画像及びマップデータを用いて、サンプルマッチングデータを構築することは、
前記サンプル画像からいくつかの画像点を取得し、前記マップデータからいくつかのマップ点を取得して、いくつかのグループの点ペアを構成することであって、前記いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致する少なくとも１つのグループの一致点ペアを含む、ことと、
前記一致点ペアのそれぞれについて、前記サンプル画像の姿勢パラメータを用いて前記マップ点を前記サンプル画像が属する次元に投影して、前記マップ点の投影点を取得し、前記画像点と前記投影点との差に基づいて、前記一致点ペアの実際の一致値を決定することと、を含み、
前記いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致しない少なくとも１つのグループの不一致点ペアを含み、前記サンプル画像及びマップデータを用いて、サンプルマッチングデータを構築することは、
前記不一致点ペアの実際の一致値を、事前設定された値に設定することを更に含む、マッチング予測モデルの訓練方法。
前記サンプル画像からいくつかの画像点を取得し、前記マップデータからいくつかのマップ点を取得し、これらによって、いくつかのグループの点ペアを構成することは、
前記サンプル画像内の画像点を第１画像点及び第２画像点に分割することであって、前記マップデータには前記第１画像点に一致する前記マップ点があり、前記マップデータには前記第２画像点に一致する前記マップ点がない、ことと、
前記第１画像点のそれぞれについて、前記マップデータからいくつかの第１マップ点を割り当てて、前記第１画像点及び前記第１マップ点のそれぞれを第１点ペアとして使用することであって、前記第１マップ点は、前記第１画像点に一致する前記マップ点を含む、ことと、
前記第２画像点のそれぞれについて、前記マップデータからいくつかの第２マップ点を割り当てて、前記第２画像点及び前記第２マップ点のそれぞれを第２点ペアとして使用することと、
前記第１点ペア及び前記第２点ペアから、いくつかのグループの点ペアを抽出することと、を含む、
請求項１に記載の訓練方法。
前記サンプル画像の姿勢パラメータを用いて前記マップ点を前記サンプル画像が属する次元に投影して、前記マップ点の投影点を取得することは、
前記一致点ペアに基づいて、前記サンプル画像の姿勢パラメータを計算することと、
前記姿勢パラメータを用いて前記マップ点を前記サンプル画像が属する次元に投影して、前記マップ点の投影点を取得することと、を含み、
及び／又は、前記画像点と前記投影点との間の差に基づいて、前記一致点ペアの実際の一致値を決定することは、
事前設定された確率分布関数を用いて前記差を確率密度値に変換して、前記一致点ペアの実際の一致値として使用することを含む、
請求項１又は２に記載の訓練方法。
前記サンプルマッチングデータは２部グラフであり、前記２部グラフは、いくつかのグループの点ペアと各グループの点ペアを連結する連結辺を含み、前記連結辺には、前記点ペアに対応する実際の一致値が注釈され、前記マッチング予測モデルは、前記サンプル画像が属する次元に対応する第１点特徴抽出サブモデル、前記マップデータが属する次元に対応する第２点特徴抽出サブモデル及び辺特徴抽出サブモデルを含み、
前記マッチング予測モデルを用いて前記いくつかのグループの点ペアに対して予測処理を行い、前記点ペアの予測一致値を取得することは、
それぞれ、前記第１点特徴抽出サブモデル及び前記第２点特徴抽出サブモデルを用いて前記２部グラフに対して特徴抽出を行い、第１特徴及び第２特徴を取得することと、
前記辺特徴抽出サブモデルを用いて前記第１特徴及び前記第２特徴に対して特徴抽出を行い、第３特徴を取得することと、
前記第３特徴を用いて、前記連結辺に対応する点ペアの予測一致値を取得することと、を含み、
前記第１点特徴抽出サブモデル及び前記第２点特徴抽出サブモデルの構造は、少なくとも１つの残差ブロックを含むか、少なくとも１つの残差ブロック及び少なくとも１つの空間変換ネットワークを含み、
及び／又は、前記辺特徴抽出サブモデルは、少なくとも１つの残差ブロックを含む、
請求項１ないし３のいずれか一項に記載の訓練方法。
前記いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致する少なくとも１つのグループの一致点ペアと、含まれた画像点とマップ点との間に一致しない少なくとも１つのグループの不一致点ペアとを含み、
前記実際の一致値及び前記予測一致値を用いて、前記マッチング予測モデルの損失値を決定することは、
前記一致点ペアの前記予測一致値及び前記実際の一致値を用いて、前記マッチング予測モデルの第１損失値を決定することと、
前記不一致点ペアの前記予測一致値及び前記実際の一致値を用いて、前記マッチング予測モデルの第２損失値を決定することと、
前記第１損失値及び前記第２損失値に対して加重処理を行い、前記マッチング予測モデルの損失値を取得することと、を含む、
請求項１ないし４のいずれか一項に記載の訓練方法。
前記一致点ペアの前記予測一致値及び前記実際の一致値を用いて、前記マッチング予測モデルの第１損失値を決定する前に、前記訓練方法は、
前記一致点ペアの第１数量及び前記不一致点ペアの第２数量をそれぞれ統計することを更に含み、
前記一致点ペアの前記予測一致値及び前記実際の一致値を用いて、前記マッチング予測モデルの第１損失値を決定することは、
前記一致点ペアの前記予測一致値と前記実際の一致値との間の差値、及び前記第１数量を用いて、前記第１損失値を決定することを含み、
前記不一致点ペアの前記予測一致値及び前記実際の一致値を用いて、前記マッチング予測モデルの第２損失値を決定することは、
前記不一致点ペアの前記予測一致値と前記実際の一致値との間の差値、及び前記第２数量を用いて、前記第２損失値を決定することを含む、
請求項５に記載の訓練方法。
視覚位置決め方法であって、
位置決め対象となる画像とマップデータとを用いて、認識対象となるマッチングデータを構築することであって、前記認識対象となるマッチングデータは、いくつかのグループの点ペアを含み、各グループの点ペアの２つの点は、前記位置決め対象となる画像及び前記マップデータから取得されたものである、ことと、
マッチング予測モデルを用いて前記いくつかのグループの点ペアに対して予測処理を行い、前記点ペアの予測一致値を取得することと、
前記点ペアの予測一致値に基づいて、前記位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定することと、を含み、前記点ペアの予測一致値に基づいて、前記位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定することは、
前記予測一致値に従って前記いくつかのグループの点ペアを降順に配列することと、
予め設定された数量のグループの前記点ペアを用いて、前記位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定することと、を含み、
前記マッチング予測モデルは、請求項１ないし６のいずれか一項に記載のマッチング予測モデルの訓練方法によって取得されたものである、視覚位置決め方法。
マッチング予測モデルの訓練装置であって、
サンプル画像及びマップデータを用いて、サンプルマッチングデータを構築するように構成されるサンプル構築部であって、前記サンプルマッチングデータは、いくつかのグループの点ペア及び各グループの点ペアの実際の一致値を含み、各グループの点ペアの２つの点はそれぞれ前記サンプル画像及び前記マップデータから取得されたものである、サンプル構築部と、
マッチング予測モデルを用いて前記いくつかのグループの点ペアに対して予測処理を行い、前記点ペアの予測一致値を取得するように構成される予測処理部と、
前記実際の一致値及び前記予測一致値を用いて、前記マッチング予測モデルの損失値を決定するように構成される損失決定部と、
前記損失値を用いて、前記マッチング予測モデルのパラメータを調整するように構成されるパラメータ調整部と、を備え、
前記サンプル構築部は、
前記サンプル画像からいくつかの画像点を取得し、前記マップデータからいくつかのマップ点を取得して、いくつかのグループの点ペアを構成するように構成される点ペア取得サブ部であって、前記いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致する少なくとも１つのグループの一致点ペアを含む、点ペア取得サブ部と、
前記一致点ペアのそれぞれについて、前記サンプル画像の姿勢パラメータを用いて前記マップ点を前記サンプル画像が属する次元に投影して、前記マップ点の投影点を取得し、前記画像点と前記投影点との差に基づいて、前記一致点ペアの実際の一致値を決定するように構成される第１一致値の決定サブ部と、を備え、
前記いくつかのグループの点ペアは、含まれた画像点とマップ点との間に一致しない少なくとも１つのグループの不一致点ペアを含み、前記サンプル構築部は、前記不一致点ペアの実際の一致値を、事前設定された値に設定するように構成される第２一致値の決定サブ部をさらに備える、マッチング予測モデルの訓練装置。
視覚位置決め装置であって、
位置決め対象となる画像とマップデータとを用いて、認識対象となるマッチングデータを構築するデータ構築部であって、前記認識対象となるマッチングデータは、いくつかのグループの点ペアを含み、各グループの点ペアの２つの点は、前記位置決め対象となる画像及び前記マップデータから取得されたものである、データ構築部と、
マッチング予測モデルを用いて前記いくつかのグループの点ペアに対して予測処理を行い、前記点ペアの予測一致値を取得するように構成される予測処理部と、
前記点ペアの予測一致値に基づいて、前記位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定するように構成されるパラメータ決定部と、を備え、
前記パラメータ決定部は、
前記予測一致値に従って前記いくつかのグループの点ペアを降順に配列するように構成される点ペア配列サブ部と、
前記の予め設定された数量のグループの前記点ペアを用いて、前記位置決め対象となる画像のカメラデバイスの姿勢パラメータを決定するように構成されるパラメータ決定サブ部と、を備え、
前記マッチング予測モデルは、請求項８に記載のマッチング予測モデルの訓練装置によって訓練されたものである、視覚位置決め装置。
電子機器であって、
互に結合されているメモリとプロセッサとを備え、前記プロセッサは、前記メモリに記憶されているプログラム命令を実行して、請求項１ないし６のいずれか一項に記載のマッチング予測モデルの訓練方法、又は請求項７に記載の視覚位置決め方法を実行する、電子機器。
コンピュータに請求項１ないし６のいずれか一項に記載のマッチング予測モデルの訓練方法、又は請求項７に記載の視覚位置決め方法を実行させるためのプログラムを記憶した、コンピュータ可読記憶媒体。
コンピュータに請求項１ないし６のいずれか一項に記載のマッチング予測モデルの訓練方法、又は請求項７に記載の視覚位置決め方法を実行させる、コンピュータプログラム。