JP2023519466A - 点群モデルの構築方法、装置、電子機器、記憶媒体及びプログラム - Google Patents

Abstract

本発明の実施例は、点群モデルの構築方法、装置、機器及び記憶媒体を提供し、前記方法は、パノラマ画像セット内のパノラマ画像の第１特徴を取得することと、前記第１特徴に従って、前記パノラマ画像セット内の少なくとも１グループの画像ペア及び対応するマッチング結果を決定することであって、前記画像ペアは、第１特徴がマッチングされる２つのパノラマ画像を含み、前記マッチング結果は、２つのパノラマ画像の第１特徴間の対応関係を指示することと、前記少なくとも１グループの画像ペア及び対応するマッチング結果に従って、点群モデルを構築することと、を含む。パノラマ画像を使用してマッチングし、マッチング結果に応じて点群モデルをさらに構築するため、画像セット内の画像の数を減らすことができ、それにより、マッチング効率及びモデリング効率が向上し、且つパノラマ画像に対応する空間の範囲が大きいため、パノラマ画像間のマッチング効果を向上させ、さらに、点群モデルの構築精度及び品質を向上させることができる。【選択図】図１

Description

関連出願への相互参照
本願は、２０２１年０３月０４日に中国特許局に提出された、出願番号が２０２１１０２４０３２０．４であり、発明の名称が「点群モデルの構築方法、装置、機器および記憶媒体」である中国特許出願の優先権を主張し、その内容の全てが引用により本願に組み込まれる。

本願は、三次元モデリングの技術分野に関し、点群モデルの構築方法、装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラムに関するがこれらに限定されない。

人工知能技術の発展に伴い、空間モデリング技術は、ますます豊富になり、精度もますます高くなっている。ＳＦＭ（Ｓｔｒｕｃｔｕｒｅ－Ｆｒｏｍ－Ｍｏｔｉｏｎ）技術は、複数の画像を使用して三次元点群モデルを構築することができ、物理空間のデジタル化、高精度の地図作成、拡張現実などの分野で広く使用される。したがって、三次元モデリング技術の分野において、点群モデル構築の精度と品質をどのように向上するかが非常に重要である。

本発明の実施例は、点群モデルの構築方法、装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラムを提供する。

本発明の実施例の第１態様によれば、電子機器に適用する、点群モデルの構築方法を提供し、前記方法は、
パノラマ画像セット内のパノラマ画像の第１特徴を取得することと、
前記第１特徴に従って、前記パノラマ画像セット内の少なくとも１グループの画像ペア及び対応するマッチング結果を決定することであって、前記画像ペアは、第１特徴がマッチングされる２つのパノラマ画像を含み、前記マッチング結果は、２つのパノラマ画像の第１特徴間の対応関係を指示することと、
前記少なくとも１グループの画像ペア及び対応するマッチング結果に従って、点群モデルを構築することと、を含む。

一実施例では、前記パノラマ画像セット内のパノラマ画像の第１特徴を取得することは、
前記パノラマ画像に対応する複数の透視画像（ｐｅｒｓｐｅｃｔｉｖｅ ｉｍａｇｅ）を決定することであって、複数の透視画像に対応する空間の集合は、パノラマ画像に対応する空間であることと、
前記複数の透視画像内の少なくとも１つの透視画像の第２特徴を取得することと、
前記透視画像の第２特徴に従って、前記パノラマ画像の対応する位置の第１サブ特徴を決定することであって、前記透視画像および前記パノラマ画像の対応する位置は、同じ空間に対応することと、
少なくとも１つの前記第１サブ特徴に従って、前記パノラマ画像の第１特徴を決定することと、を含む。

一実施例では、前記パノラマ画像に対応する複数の透視画像を決定することは、
前記パノラマ画像に対応する単位球面（ｕｎｉｔ ｓｐｈｅｒｅ）を取得し、パノラマ画像の画素点座標と単位球面の点座標との第１マッピング関係を決定することと、
前記単位球面に従って、複数の透視画像を決定し、透視画像の画素点座標と単位球面の点座標との第２マッピング関係を決定することであって、前記複数の透視画像に対応する球面点の集合は、単位球面であることと、
前記第１マッピング関係及び前記第２マッピング関係に従って、パノラマ画像の画素点座標と透視画像の画素点座標との第３マッピング関係を決定し、パノラマ画像の画素点の画素情報及び前記第３マッピング関係に従って、透視画像の画素点の画素情報を決定することと、を含む。

一実施例では、前記透視画像の第２特徴は、第２特徴点及び対応する第２記述子を含み、
前記透視画像の第２特徴に従って、前記パノラマ画像の対応する位置の第１サブ特徴を決定することは、
前記透視画像の第２特徴点の座標及び前記第３マッピング関係に従って、前記パノラマ画像の第１特徴点の座標を決定することと、
前記透視画像の第２特徴点に対応する第２記述子に従って、前記パノラマ画像の第１特徴点に対応する第１記述子を決定することと、を含む。

一実施例では、前記第１特徴は、第１特徴点及び対応する第１記述子を含み、
前記第１特徴に従って、前記パノラマ画像セット内の少なくとも１グループの画像ペア及び対応するマッチング結果を決定することは、
各パノラマ画像及び対応するマッチングされるパノラマ画像に従って、複数のグループの画像ペアを決定することと、
前記画像ペアの２つのパノラマ画像の第１記述子に従って、複数のグループの特徴点ペアを決定することであって、各グループの前記特徴点ペアは、マッチングに対応し且つ２つのパノラマ画像にそれぞれ属する２つの第１特徴点を含むことと、
前記複数のグループの特徴点ペアに従って、第１基本行列（ｅｓｓｅｎｔｉａｌ ｍａｔｒｉｘ）を決定し、前記第１基本行列を使用して、前記複数のグループの特徴点ペアをフィルタリングして、前記画像ペアに対応するマッチング結果を取得することと、を含む。

一実施例では、前記各グループの前記画像ペアの２つのパノラマ画像の第１記述子に従って、複数のグループの特徴点ペアを決定した後、前記点群モデルの構築方法は、
前記画像ペアの２つのパノラマ画像の特徴点ペアの数を取得することと、
特徴点ペアの数が事前設定された第１条件を満たす画像ペアをフィルタリングすることと、を更に含む。

一実施例では、前記複数のグループの特徴点ペアに従って、第１基本行列を決定することは、
前記特徴点ペアの２つの第１特徴点の角度誤差に従って、前記特徴点ペアの角度誤差を決定することであって、前記第１特徴点の角度誤差はすべて、前記第１特徴点に対応する単位球面の球面点と単位球面の光学中心との連結線と、外極面との角度であることと、
対応する前記特徴点ペアの角度誤差を残差項として使用して、事前設定された数の前記特徴点ペアに従って、基本行列を複数回決定することと、
各前記基本行列の内点数を決定し、内点数が最も多い基本行列を前記第１基本行列として決定することと、を含む。

一実施例では、前記各前記基本行列に対応する内点数を決定することは、
前記基本行列に従って、前記画像ペアの各グループの特徴点ペアの角度誤差を決定することと、
前記角度誤差が事前設定された第２条件を満たす特徴点ペアを内点として決定することと、
すべての内点に従って、前記基本行列に対応する内点数を決定することと、を含む。

一実施例では、前記第１基本行列を使用して、複数のグループの特徴点ペアをフィルタリングすることは、
前記第１基本行列に従って、前記画像ペアの各グループの特徴点ペアの角度誤差を決定することと、
前記角度誤差が事前設定された第３条件を満たす特徴点ペアをフィルタリングすることと、を含む。

一実施例では、前記点群モデルの構築方法は、
前記画像ペアの特徴点ペアの２つの第１特徴点が属するパノラマ画像上の当該２つの第１特徴点の座標を取得することと、
前記パノラマ画像に対応する第３マッピング関係及び前記パノラマ画像における特徴点ペアに属する第１特徴点の座標に従って、特徴点ペアに関連する透視画像を決定することであって、前記特徴点ペアに関連する透視画像は、特徴点ペアに属する第１特徴点に対応する第２特徴点を有する透視画像であることと、
前記特徴点ペアに関連する透視画像を使用して、前記画像ペアをフィルタリングすることと、を更に含む。

一実施例では、前記特徴点ペアに関連する透視画像を使用して、前記画像ペアをフィルタリングすることは、
前記画像ペアの少なくとも１つのパノラマ画像に対応する、特徴点ペアに関連する透視画像が、連続する複数の画像であり、且つ前記連続する複数の画像の数が事前設定されたフィルタリング閾値より小さいことに応答して、前記画像ペアをフィルタリングすることを含む。

一実施例では、前記少なくとも１グループの画像ペア及び対応するマッチング結果に従って、点群モデルを構築することは、
事前設定された初期化条件、各グループの画像ペアの特徴点ペア、及び第１基本行列に従って、１グループの画像ペアを初期画像ペアとして決定し、前記初期画像ペアの各パノラマ画像のカメラ位置姿勢を決定し、及び前記初期画像ペアの第１特徴点ペアを三角化して、初期三次元点を形成することと、
第１三次元点に対応する第１特徴点と、各未登録画像の第１特徴点とのマッチング関係に従って、パノラマ画像セット内の各パノラマ画像がすべて登録済み画像になるまで、１つの未登録画像を登録画像として複数回決定することであって、前記未登録画像は、すべての第１特徴点が三角化されていないパノラマ画像であり、前記登録済み画像は、三角化された第１特徴点を有するパノラマ画像であり、前記第１三次元点は、前記初期三次元点を含み、又は前記初期三次元点及び前記登録済み画像の第１特徴点の三角化によって形成された三次元点を含むことと、
毎回登録画像を決定した後、前記登録画像のカメラ位置姿勢を決定し、前記登録画像の第１特徴点を三角化して、対応する三次元点を形成し、及び登録済み画像の第３特徴点を三角化して、対応する三次元点を形成することであって、前記第３特徴点は、前記登録済み画像における前記登録画像の第１特徴点とマッチングする第１特徴点であることと、を含む。

一実施例では、前記事前設定された初期化条件、各グループの画像ペアの特徴点ペア、及び第１基本行列に従って、１グループの画像ペアを初期画像ペアとして決定することは、
特徴点ペアの数の降順に応じて、画像ペアを順次選択し、毎回画像ペアを選択した後、前記特徴点ペア及び前記第１基本行列に従って、選択された画像ペアが前記初期化条件を満たして、初期画像ペアとして決定されるまで、前記画像ペアが前記初期化条件を満たすか否かを決定することを含む。

一実施例では、前記特徴点ペア及び前記第１基本行列に従って、前記画像ペアが前記初期化条件を満たすか否かを決定することは、
前記画像ペアの第１基本行列に従って、少なくとも１グループの変位変数を決定し、各グループの変位変数に対して、特徴点ペアの特徴点をそれぞれ三角化して、各グループの変位変数に対応する三次元点を形成し、及び、各グループの三次元点の再投影誤差及び三角化角度に従って、前記三次元点をフィルタリングすることであって、前記変位変数は、回転変数及び並進変数を含むことと、
数が最も多い１グループの三次元点の数が、事前設定された第１数の閾値より大きいことに応答して、対応する変位変数を第１変位変数として決定することと、
複数回の計算によって取得された基本行列から、内点数が点数閾値より大きいか等しい基本行列を選択し、各基本行列に従って、少なくとも１グループの変位変数をそれぞれ決定し、各グループの変位変数に対して、特徴点ペアの特徴点をそれぞれ三角化して、各グループの変位変数に対応する三次元点を形成し、及び、各グループの三次元点の再投影誤差及び三角化角度に従って、前記三次元点をフィルタリングし、各基本行列の数が最も多い１グループの三次元点に対応する変位変数を保持することと、
各基本行列の保持された変位変数と前記第１変位変数との差が事前設定された範囲を満たす場合、前記画像ペアが前記初期化条件を満たすと決定することと、を含む。

一実施例では、前記点群モデルの構築方法は、
初期画像ペアの２つのパノラマ画像上の初期三次元点の再投影誤差を最小化することによって、各パノラマ画像のカメラ位置姿勢及び初期三次元点の位置を最適化すること、及び／又は、
毎回登録画像のカメラ位置姿勢を決定した後、前記登録画像上の三次元点の再投影誤差を最小化することによって、前記登録画像のカメラ位置姿勢を最適化すること、及び／又は、
毎回前記登録画像の特徴点を三角化して、対応する三次元点を形成し、及び登録済み画像の第３特徴点を三角化して、対応する三次元点を形成した後、各登録済み画像上の各三次元点の再投影誤差を最小化することによって、各登録済み画像のカメラ位置姿勢及び各三次元点の位置を最適化すること、を更に含む。

一実施例では、前記点群モデルの構築方法は、
各パノラマ画像に対応する空間に従って、対応するマッチングされるパノラマ画像を決定すること、又は、
事前設定されたコロケーションルールに従って、各パノラマ画像に対応するマッチングされるパノラマ画像を決定することを更に含む。

本発明の実施例の第２態様によれば、点群モデルの構築装置を提供し、前記点群モデルの構築装置は、
パノラマ画像セット内のパノラマ画像の第１特徴を取得するように構成される、取得モジュールと、
前記第１特徴に従って、前記パノラマ画像セット内の少なくとも１グループの画像ペア及び対応するマッチング結果を決定するように構成され、前記画像ペアは、第１特徴がマッチングされる２つのパノラマ画像を含み、前記マッチング結果は、２つのパノラマ画像の第１特徴間の対応関係を指示する、マッチングモジュールと、
前記少なくとも１グループの画像ペア及び対応するマッチング結果に従って、点群モデルを構築するように構成される、構築モジュールと、を備える。

一実施例では、前記取得モジュールは、具体的には、
前記パノラマ画像に対応する複数の透視画像を決定し、
前記複数の透視画像内の少なくとも１つの透視画像の第２特徴を取得し、
前記透視画像の第２特徴に従って、前記パノラマ画像の対応する位置の第１サブ特徴を決定し、
少なくとも１つの前記第１サブ特徴に従って、前記パノラマ画像の第１特徴を決定するように構成され、ここで、複数の透視画像に対応する空間の集合は、パノラマ画像に対応する空間であり、前記透視画像および前記パノラマ画像の対応する位置は、同じ空間に対応する。

一実施例では、前記取得モジュールは、前記パノラマ画像に対応する複数の透視画像を決定するように構成され、具体的には、
前記パノラマ画像に対応する単位球面を取得し、パノラマ画像の画素点座標と単位球面の点座標との第１マッピング関係を決定し、
前記単位球面に従って、複数の透視画像を決定し、透視画像の画素点座標と単位球面の点座標との第２マッピング関係を決定し、
前記第１マッピング関係及び前記第２マッピング関係に従って、パノラマ画像の画素点座標と透視画像の画素点座標との第３マッピング関係を決定し、パノラマ画像の画素点の画素情報及び前記第３マッピング関係に従って、透視画像の画素点の画素情報を決定するように構成され、ここで、前記複数の透視画像に対応する球面点の集合は、単位球面である。

一実施例では、前記透視画像の第２特徴は、第２特徴点及び対応する第２記述子を含み、
前記取得モジュールは、前記透視画像の第２特徴に従って、前記パノラマ画像の対応する位置の第１サブ特徴を決定するように構成され、具体的には、
前記透視画像の第２特徴点の座標及び前記第３マッピング関係に従って、前記パノラマ画像の第１特徴点の座標を決定し、
前記透視画像の第２特徴点に対応する第２記述子に従って、前記パノラマ画像の第１特徴点に対応する第１記述子を決定するように構成される。

一実施例では、前記第１特徴は、第１特徴点及び対応する第１記述子を含み、
前記マッチングモジュールは、具体的には、
各パノラマ画像及び対応するマッチングされるパノラマ画像に従って、複数のグループの画像ペアを決定し、
各グループの前記画像ペアの２つのパノラマ画像の第１記述子に従って、複数のグループの特徴点ペアを決定し、
前記複数のグループの特徴点ペアに従って、第１基本行列を決定し、前記第１基本行列を使用して、前記複数のグループの特徴点ペアをフィルタリングして、前記画像ペアに対応するマッチング結果を取得するように構成され、ここで、各グループの前記特徴点ペアは、マッチングに対応し且つ２つのパノラマ画像にそれぞれ属する２つの第１特徴点を含む。

一実施例では、前記マッチングモジュールが各グループの前記画像ペアの２つのパノラマ画像の第１記述子に従って、複数のグループの特徴点ペアを決定した後、前記点群モデルの構築方法はさらに、
各グループの前記画像ペアの２つのパノラマ画像の特徴点ペアの数を取得し、
特徴点ペアの数が事前設定された第１条件を満たす画像ペアをフィルタリングするように構成される。

一実施例では、前記マッチングモジュールは、前記複数のグループの特徴点ペアに従って、第１基本行列を決定するように構成され、具体的には、
前記特徴点ペア内の２つの第１特徴点の角度誤差に従って、前記特徴点ペアの角度誤差を決定し、
対応する前記特徴点ペアの角度誤差を残差項として使用して、事前設定された数の前記特徴点ペアに従って、基本行列を複数回決定し、
各前記基本行列に対応する内点数を決定し、内点数が最も多い基本行列を、前記第１基本行列として決定するように構成され、ここで、前記第１特徴点の角度誤差は、前記第１特徴点に対応する単位球面の球面点と単位球面の光学中心との連結線と、外極面との角度である。

一実施例では、前記マッチングモジュールは、各前記基本行列に対応する内点数を決定するように構成され、具体的には、
前記基本行列に従って、前記画像ペアの各グループの特徴点ペアの角度誤差を決定し、
前記角度誤差が事前設定された第２条件を満たす特徴点ペアを内点として決定し、
すべての内点に従って、前記基本行列に対応する内点数を決定するように構成される。

一実施例では、前記マッチングモジュールは、前記第１基本行列を使用して、複数のグループの特徴点ペアをフィルタリングするように構成され、具体的には、
前記第１基本行列に従って、前記画像ペアの各グループの特徴点ペアの角度誤差を決定し、
前記角度誤差が事前設定された第３条件を満たす特徴点ペアをフィルタリングするように構成される。

一実施例では、前記マッチングモジュールはさらに、
前記画像ペアの特徴点ペアの２つの第１特徴点が属するパノラマ画像上の当該２つの第１特徴点の座標を取得し、
前記パノラマ画像に対応する第３マッピング関係及び前記パノラマ画像における特徴点ペアに属する第１特徴点の座標に従って、特徴点ペアに関連する透視画像を決定し、
前記特徴点ペアに関連する透視画像を使用して、前記画像ペアをフィルタリングするように構成され、ここで、前記特徴点ペアに関連する透視画像は、特徴点ペアに属する第１特徴点に対応する第２特徴点を有する透視画像である。

一実施例では、前記マッチングモジュールは、前記特徴点ペアに関連する透視画像を使用して、前記画像ペアをフィルタリングするように構成され、具体的には、
前記画像ペアの少なくとも１つのパノラマ画像に対応する、特徴点ペアに関連する透視画像が、連続する複数の画像であり、且つ前記連続する複数の画像の数が事前設定されたフィルタリング閾値より小さいことに応答して、前記画像ペアをフィルタリングするように構成される。

一実施例では、前記構築モジュールは、具体的には、
事前設定された初期化条件、各グループの画像ペアの特徴点ペア、及び第１基本行列に従って、１グループの画像ペアを初期画像ペアとして決定し、前記初期画像ペアの各パノラマ画像のカメラ位置姿勢を決定し、及び前記初期画像ペアの第１特徴点ペアを三角化して、初期三次元点を形成し、
第１三次元点に対応する第１特徴点と、各未登録画像の第１特徴点とのマッチング関係に従って、パノラマ画像セット内の各パノラマ画像がすべて登録済み画像になるまで、１つの未登録画像を登録画像として複数回決定し、
毎回登録画像を決定した後、前記登録画像のカメラ位置姿勢を決定し、前記登録画像の第１特徴点を三角化して、対応する三次元点を形成し、及び登録済み画像の第３特徴点を三角化して、対応する三次元点を形成するように構成され、ここで、前記未登録画像は、すべての第１特徴点が三角化されていないパノラマ画像であり、前記登録済み画像は、三角化された第１特徴点を有するパノラマ画像であり、前記第１三次元点は、前記初期三次元点を含み、又は前記初期三次元点及び前記登録済み画像の第１特徴点の三角化によって形成された三次元点を含み、前記第３特徴点は、前記登録済み画像における前記登録画像の第１特徴点とマッチングする第１特徴点である。

一実施例では、前記構築モジュールは、事前設定された初期化条件、各グループの画像ペアの特徴点ペア、及び第１基本行列に従って、１グループの画像ペアを初期画像ペアとして決定し、前記初期画像ペアの各パノラマ画像のカメラ位置姿勢を決定するように構成され、具体的には、
特徴点ペアの数の降順に応じて、画像ペアを順次選択し、毎回画像ペアを選択した後、前記特徴点ペア及び前記第１基本行列に従って、選択された画像ペアが前記初期化条件を満たして、初期画像ペアとして決定されるまで、前記画像ペアが前記初期化条件を満たすか否かを決定するように構成される。

一実施例では、前記構築モジュールは、前記特徴点ペア及び前記第１基本行列に従って、前記画像ペアが前記初期化条件を満たすか否かを決定するように構成され、具体的には、
前記画像ペアの第１基本行列に従って、少なくとも１グループの変位変数を決定し、各グループの変位変数に対して、特徴点ペアの特徴点をそれぞれ三角化して、各グループの変位変数に対応する三次元点を形成し、及び、各グループの三次元点の再投影誤差及び三角化角度に従って、前記三次元点をフィルタリングし、
数が最も多い１グループの三次元点の数が、事前設定された第１数の閾値より大きいことに応答して、対応する変位変数を第１変位変数として決定し、
複数回の計算によって取得された基本行列から、内点数が点数閾値より大きいか等しい基本行列を選択し、各基本行列に従って、少なくとも１グループの変位変数をそれぞれ決定し、各グループの変位変数に対して、特徴点ペアの特徴点をそれぞれ三角化して、各グループの変位変数に対応する三次元点を形成し、及び、各グループの三次元点の再投影誤差及び三角化角度に従って、前記三次元点をフィルタリングし、各基本行列の数が最も多い１グループの三次元点に対応する変位変数を保持し、
各基本行列の保持された変位変数と前記第１変位変数との差が事前設定された範囲を満たす場合、前記画像ペアが前記初期化条件を満たすと決定するように構成され、ここで、前記変位変数は、回転変数及び並進変数を含む。

一実施例では、前記構築モジュールはさらに、
初期画像ペアの２つのパノラマ画像上の初期三次元点の再投影誤差を最小化することによって、各パノラマ画像のカメラ位置姿勢及び初期三次元点の位置を最適化し、及び／又は、
毎回登録画像のカメラ位置姿勢を決定した後、前記登録画像上の三次元点の再投影誤差を最小化することによって、前記登録画像のカメラ位置姿勢を最適化し、及び／又は、
毎回前記登録画像の特徴点を三角化して、対応する三次元点を形成し、及び登録済み画像の第３特徴点を三角化して、対応する三次元点を形成した後、各登録済み画像上の各三次元点の再投影誤差を最小化することによって、各登録済み画像のカメラ位置姿勢及び各三次元点の位置を最適化するように構成される。

一実施例では、前記マッチングモジュールはさらに、
各パノラマ画像に対応する空間に従って、対応するマッチングされるパノラマ画像を決定し、又は、
事前設定されたコロケーションルールに従って、各パノラマ画像に対応するマッチングされるパノラマ画像を決定するように構成される。

本発明の実施例の第３態様によれば、メモリと、プロセッサとを備える、電子機器を提供し、前記メモリは、プロセッサで実行可能なコンピュータ命令を記憶するように構成され、前記プロセッサは、前記コンピュータ命令を実行するときに、第１態様に記載の点群モデルの構築方法を実行して点群モデルを構築するように構成される。

本発明の実施例の第４態様によれば、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムがプロセッサによって実行されるときに、第１態様に記載の点群モデルの構築方法を実行する。

本発明の実施例の第５態様によれば、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器内のプロセッサは、上記のいずれかの点群モデルの構築方法を実行する。

上記の実施例によれば、パノラマ画像によってパノラマ画像セットを形成し、次に、第１特徴に従ってパノラマ画像セット内のパノラマ画像をマッチングし、第１特徴がマッチングされた２つのパノラマ画像を、１グループの画像ペアとして使用し、それにより、少なくとも１グループの画像ペア及び対応するマッチング結果を決定し、最後に、決定された少なくとも１グループの画像ペア及び対応するマッチング結果に従って、点群モデルを構築する。パノラマ画像を使用してマッチングし、マッチング結果に従って点群モデルをさらに構築するため、画像セット内の画像の数を減らすことができ、それにより、マッチング効率及びモデリング効率が向上し、且つパノラマ画像に対応する空間の範囲が大きいため、パノラマ画像間のマッチング効果を向上させ、さらに、点群モデルの構築精度及び品質を向上させることができる。

上記した一般的な説明及び後述する詳細な説明は、単なる例示及び説明に過ぎず、本発明を限定するものではないことを理解されたい。

ここでの図面は、本明細書に組み込まれてその一部を構成し、本発明と一致する実施例を示し、明細書とともに本発明の原理を説明するために使用される。

本発明の実施例による点群モデルの構築方法のフローチャートである。 本発明の実施例によるパノラマ画像の概略図である。 本発明の実施例によるパノラマ画像の第１特徴を取得する方法の概略図である。 本発明の実施例による画像ペア及び対応するマッチング結果を決定する方法の概略図である。 本発明の実施例による角度誤差の概略図である。 本発明の実施例による初期化条件、特徴点ペア、及び第１基本行列を比較する方法の概略図である。 本発明の実施例による点群モデルの構築装置の構造図である。 本発明の実施例による電子機器の例示的な構造図である。

ここで、例示的な実施例について詳細に説明し、その例を図面に示す。特に明記しない限り、以下の説明が図面に関する場合、異なる図面の同じ数字は同じ又は類似の要素を表す。以下の例示的な実施例で説明される実施形態は、本発明と一致するすべての実施形態を表すものではない。むしろ、それらは、添付された特許請求の範囲に詳述されたように、本発明の特定の態様と一致する装置及び方法の例である。

本発明で使用される用語は、特定の実施例を説明することのみを目的とし、本発明を限定するものではない。本発明及び添付の特許請求の範囲で使用された単数形の「１つ」、「前記」、「上記」及び「当該」は、文脈が他の意味を明確に示さない限り、複数形も含むものとする。また、本明細書で使用される「及び／又は」という用語は、１つ又は複数の関連する列挙されたプロジェクトのいずれか又はすべての可能な組み合わせを指し、それらを含むことを理解されたい。

本発明では、「第１」、「第２」、「第３」などの用語を使用して様々な情報を説明することができるが、これらの情報はこれらの用語に限定されないことを理解されたい。これらの用語は、同じタイプの情報をお互いに区別するためにのみ使用される。例えば、本発明の範囲から逸脱することなく、第１情報はまた、第２情報とも呼ばれ得、同様に、第２情報はまた、第１情報と呼ばれ得る。文脈に応じて、本明細書で使用される「…ば」という語は、「…場合」又は「…時」又は「…決定に応答して」と解釈することができる。

人工知能技術の発展に伴い、空間モデリング技術は、ますます豊富になり、精度もますます高くなっている。ＳＦＭ（Ｓｔｒｕｃｔｕｒｅ－Ｆｒｏｍ－Ｍｏｔｉｏｎ）技術は、複数の画像を使用して三次元点群モデルを構築することができ、物理空間のデジタル化、高精度の地図作成、拡張現実などの分野で広く使用される。関連技術では、複数の画像間のマッチング効果が良くないため、順次構築された点群モデルの精度が低下し、品質が低下する。

これに基づき、第１態様において、本発明の少なくとも１つの実施例は、点群モデルの構築方法を提供し、図１を参照すると、図１は、当該方法のフローチャートであり、ステップＳ１０１～ステップＳ１０３を含む。

ここで、前記点群モデルは、空間に対応する三次元モデルであり、空間は、実世界であり得る。実世界における各オブジェクトは、モデル内の対応する点群によって表され、点群は、三次元点で構成された点の集合である。

さらに、当該方法は、端末機器又はサーバなどの電子機器によって実行でき、端末機器は、ユーザ機器（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、モバイル機器、ユーザ端末、端末、セルラ電話、コードレス電話、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルドデバイス、コンピューティン機器、車載機器、ウェアラブル機器などであり得、前記方法は、プロセッサによってメモリに記憶されたコンピュータ可読命令を呼び出すことで実現することができる。又は、当該方法は、サーバによって実行され得、サーバは、ローカルサーバ、クラウドサーバなどを含み得る。

ステップＳ１０１において、パノラマ画像セット内のパノラマ画像の第１特徴を取得する。

ここで、パノラマ画像セットには複数のパノラマ画像が含まれ、パノラマ画像は、３６０°パノラマ画像など、様々な角度のパノラマ画像であり得、パノラマ画像は、球面カメラによって取得された画像であり、又は、等距離の長方形投影法で、複数の魚眼カメラによって取得された繋ぎあわせた画像であり得、図２を参照すると、図２は、１つのパノラマ画像を例示的に示す。各パノラマ画像は、モデリング空間の１つの局所サブ空間に対応し、パノラマ画像に対応する局所サブ空間のサイズは、同じパラメータでの通常の画像に対応する局所サブ空間のサイズより大きく、前記パノラマ画像セット内のすべてのパノラマ画像に対応する局所サブ空間は、モデリング空間全体を形成することができ、異なるパノラマ画像に対応する局所サブ空間には、重複エリアが存在し得る。

このステップでは、事前トレーニングされたニューラルネットワークによってパノラマ画像の第１特徴を取得してもよく、他の方法でパノラマ画像の第１特徴を取得してもよいが、本発明は、その取得方法を限定することを意図するものではない。パノラマ画像セット内の各パノラマ画像の第１特徴を取得することができる。

ステップＳ１０２において、前記第１特徴に従って、前記パノラマ画像セット内の少なくとも１グループの画像ペア及び対応するマッチング結果を決定し、ここで、前記画像ペアは、第１特徴がマッチングされる２つのパノラマ画像を含み、前記マッチング結果は、２つのパノラマ画像の第１特徴間の対応関係を指示する。

ここで、第１特徴がマッチングされることは、２つのパノラマ画像には、同じ空間に対応する第１特徴点が存在すること、即ち、１つのパノラマ画像の少なくとも１つの第１特徴点、及び別のパノラマ画像の少なくとも１つの第１特徴点は、実世界の同じ空間に対応することである。

このステップでは、Ｂｒｕｔｅ－Ｆｏｒｃｅ ｍａｔｃｈ方法を使用して、パノラマ画像セット内のパノラマ画像をマッチングでき、即ち、トラバーサル（ｔｒａｖｅｒｓａｌ）方法を使用してマッチングする。例えば、各パノラマ画像を順次に取って、他の各パノラマ画像とマッチングすることができ、２つのパノラマ画像をマッチングする場合、２つのパノラマ画像の第１特徴を使用してマッチングし、即ち、２つのパノラマ画像の第１特徴のマッチング結果に従って、パノラマ画像のマッチング結果を決定する。２つのパノラマ画像の第１特徴のマッチングが完了した場合、即ち、２つのパノラマ画像の特徴のマッチングが完了した場合、この２つの画像は、１グループの画像ペアとして決定され、同時に、２つのパノラマ画像の第１特徴の対応関係は、マッチング結果として決定される。

ここで、各パノラマ画像は、別のパノラマ画像と画像ペアを形成することができ、また、別の複数のパノラマ画像と複数のグループの画像ペアをそれぞれ形成することもできる。つまり、各パノラマ画像は、画像ペアを形成した後、ロックされず、他のパノラマ画像と新しい画像ペアを形成し続けることもできる。

ステップＳ１０３において、前記少なくとも１グループの画像ペア及び対応するマッチング結果に従って、点群モデルを構築する。

このステップでは、上記のステップＳ１０２のマッチング結果を使用して点群モデルを構築する。モデリングプロセスは、つまり、ＳＦＭ（Ｓｔｒｕｃｔｕｒｅ－Ｆｒｏｍ－Ｍｏｔｉｏｎ）のプロセスであり、カメラ登録や点群の再構築などを含み、カメラ登録は、パノラマ画像セット内の各パノラマ画像のカメラ運動パラメータ（例えば、カメラの位置姿勢を使用して表すことができる）を復元することであり、点群の再構築は、対応する局所サブ空間（即ち、ステップＳ１０２で言及された局所サブ空間）の三次元構造の点群を復元することである。

一例では、インクリメンタル再構築の方法を使用して点群モデルを構築することができる。

本発明の実施例では、パノラマ画像によってパノラマ画像セットを形成し、次に、第１特徴に従ってパノラマ画像セット内のパノラマ画像をマッチングし、特徴のマッチングを完了した２つのパノラマ画像を、１グループの画像ペアとして使用し、それにより、少なくとも１グループの画像ペア及び対応するマッチング結果を決定し、最後に、決定された少なくとも１グループの画像ペア及び対応するマッチング結果に従って、点群モデルを構築する。パノラマ画像を使用してマッチングし、マッチング結果に従って点群モデルをさらに構築するため、画像セット内の画像の数を減らすことができ、それにより、マッチング効率及びモデリング効率が向上し、且つパノラマ画像に対応する空間の範囲が大きいため、パノラマ画像間のマッチング効果を向上させ、さらに、点群モデルの構築精度及び品質を向上させることができる。

本発明のいくつかの実施例では、以下の方法でパノラマ画像セット内のパノラマ画像の第１特徴を取得することができ、図３を参照すると、図３は、上記の取得方法のフローチャートであり、ステップＳ３０１～ステップＳ３０４を含む。

ステップＳ３０１において、前記パノラマ画像に対応する複数の透視画像を決定し、ここで、複数の透視画像に対応する空間の集合は、パノラマ画像に対応する空間である。

一例では、以下の方法で複数の透視画像を決定することができ、まず、前記パノラマ画像に対応する単位球面を取得し、パノラマ画像の画素点座標と単位球面の点座標との第１マッピング関係を決定し、次に、前記単位球面に従って、複数の透視画像を決定し、透視画像の画素点座標と単位球面の点座標との第２マッピング関係を決定し、ここで、前記複数の透視画像に対応する球面点の集合は、単位球面であり、最後に、前記第１マッピング関係及び前記第２マッピング関係に従って、パノラマ画像の画素点座標と透視画像の画素点座標との第３マッピング関係を決定し、パノラマ画像の画素点の画素情報及び前記第３マッピング関係に従って、透視画像の画素点の画素情報を決定する。

ここで、パノラマ画像に対応する単位球面を取得することは、パノラマ画像を単位球面に逆投影することであり得る。単位球面に従って複数の透視画像を決定することは、単位球面の球の中心を光学中心とする仮想透視カメラが単位球面を撮影して取得された画像を透視画像として決定することであり得、単位球面を撮影する場合、仮想カメラを一定の角度に従って等間隔に回転させ、球面全体を撮影完了するまで、回転するたびに１つの透視画像を撮影して、全視野をカバーする複数の透視画像を取得することができる。例えば、６０°回転ごとに１つの透視画像を撮影する場合、球面全体を撮影するには、６つの透視画像を撮影する必要があり、仮想カメラの視野（ＦＯＶ：Ｆｉｅｌｄ ｏｆ ｖｉｅｗ）及び焦点距離は、通常の画像収集機器（携帯電話、デジタルカメラなど）のパラメータに設定して、通常の画像収集機器によって取得された画像を近似するようにすることができる。

パノラマ画像の画素点座標と単位球面の点座標との第１マッピング関係は、下記の式（１）で表すことができる。

（１）

ここで、

は、単位球面の点座標であり、

は、パノラマ画像の画素点座標であり、ｗは、パノラマ画像の幅であり、ｈは、パノラマ画像の高さである。

単位球面の座標系と同じ仮想カメラによって取得された透視画像の画素点座標と、単位球面の点座標との第２マッピング関係は、下記の式（２）で表すことができる。

（２）

ここで、

は、単位球面の点座標であり、

は、透視画像の画素点座標であり、

は、透視画像の幅であり、

は、透視画像の高さであり、ｆは、仮想カメラの焦点距離である。

単位球面の座標系に対して一定の角度回転した仮想カメラによって取得された透視画像の画素点座標と、単位球面の点座標との第２マッピング関係は、下記の式（３）で表すことができる。

（３）

ここで、

は、単位球面の座標点

が仮想カメラの逆回転行列Ｒ変換後の座標であり、

は、透視画像上の座標であり、

は、透視画像の幅であり、

は、透視画像の高さであり、ｆは、仮想カメラの焦点距離である。

本発明の実施例では、仮想カメラの複数の撮影角度において、１つの角度は、単位球面の座標系と同じであるので、当該角度では、パノラマ画像の画素点座標と透視画像の画素点座標との第３マッピング関係は、上記の式（１）及び式（２）を組み合わせることによって取得することができ、他の角度では、パノラマ画像の画素点座標と透視画像の画素点座標との第３マッピング関係は、上記の式（１）及び式（３）を組み合わせることによって取得することができる。

ここで、パノラマ画像の画素点の画素情報及び前記第３マッピング関係に従って、透視画像の画素点の画素情報を決定することは、パノラマ画像の画素点の画素情報を、透視画像の対応する画素点の画素情報として直接決定することであり得、又は、パノラマ画像の画素点のサンプリング及び／又はバイリニア補間によって、透視画像の画素情報を取得することであり得る。画素情報は、画素点の輝度値、又は画素点の各カラーチャネル（赤、緑、青の３つのチャネルなど）の値であり得る。

ステップＳ３０２において、前記複数の透視画像内の少なくとも１つの透視画像の第２特徴を取得する。

このステップでは、事前トレーニングされたニューラルネットワークによって透視画像の第２特徴を抽出してもよく、他の方法で透視画像の第２特徴を抽出してもよいが、本発明は、その抽出方法を限定することを意図するものではない。パノラマ画像に対応する各透視画像の第２特徴を取得することができる。

一例では、第２特徴は、第２特徴点及び対応する第２記述子であり、つまり、透視画像内のすべての第２特徴点及び対応する第２記述子は、透視画像の第２特徴を構成する。

ステップＳ３０３において、前記透視画像の第２特徴に従って、前記パノラマ画像の対応する位置の第１サブ特徴を決定し、ここで、前記透視画像および前記パノラマ画像の対応する位置は、同じ空間に対応する。

ここで、前記透視画像および前記パノラマ画像の対応する位置は、同じ空間に対応し、つまり、透視画像及びパノラマ画像の対応する位置は、片面の球面上の同じ球面点集合に対応する。

ここで、第１サブ特徴は、パノラマ画像の対応する位置内のすべての第１特徴点及び対応する第１記述子を含み得る。

ステップＳ３０２における例に対応する例では、以下の方法でパノラマ画像の対応する位置の第１サブ特徴を決定できる。まず、前記透視画像の第２特徴点の座標及び前記第３マッピング関係に従って、前記パノラマ画像の第１特徴点の座標を決定し、次に、前記透視画像の第２特徴点に対応する第２記述子に従って、前記パノラマ画像の第１特徴点に対応する第１記述子を決定する。

ここで、第２特徴点に対応するパノラマ画像上の点は、第１特徴点であり、つまり、第１特徴点は第２特徴点に対応し、又は、第１特徴点に対応する単位球面の球面点は、第２特徴点に対応する単位球面の球面点と一致する。第２特徴点に対応する第２記述子は、対応する第１特徴点の第１記述子として直接使用され得る。

ステップＳ３０４において、少なくとも１つの前記第１サブ特徴に従って、前記パノラマ画像の第１特徴を決定する。

ここで、パノラマ画像の第１特徴は、パノラマ画像内のすべての第１特徴点及び対応する第１記述子を含む。

本発明の実施例では、パノラマ画像と単位球面とのマッピング関係及び単位球面と透視画像とのマッピング関係により、パノラマ画像と透視画像とのマッピング関係を決定し、つまり、単位球面を媒体として、パノラマ画像を複数の透視画像に分割し、さらに、透視画像の第２特徴、及び第２特徴点をパノラマ画像に逆マッピングする第１特徴点を抽出することによって、パノラマ画像の第１特徴の抽出を実現する。

本発明のいくつかの実施例では、前記第１特徴は、第１特徴点及び対応する第１記述子を含み、これに対応して、以下の方法で前記第１特徴に従って、前記パノラマ画像セット内の少なくとも１グループの画像ペア及び対応するマッチング結果を決定することができ、図４を参照すると、図４は、上記の決定方法のフローチャートであり、ステップＳ４０１～ステップＳ４０３を含む。

ステップＳ４０１において、各パノラマ画像及び対応するマッチングされるパノラマ画像に従って、複数のグループの画像ペアを決定する。

このステップでは、２つのパノラマ画像が１グループの画像ペアを形成する。各パノラマ画像に対応する空間に従って、対応するマッチングされるパノラマ画像を決定し、又は、事前設定されたコロケーションルールに従って、各パノラマ画像に対応するマッチングされるパノラマ画像を決定することができる。つまり、１つのパノラマ画像のマッチングされるパノラマ画像を決定する場合、当該パノラマ画像の対応する空間と重複するパノラマ画像を、マッチングされるパノラマ画像として使用してもよいし、事前設定されたコロケーションルールに従って決定してもよいし、事前設定されたコロケーションルールは、上記のルールに従って決定することができ、例えば、対応する空間順序に従って、パノラマ画像に番号を付け、次に、各パノラマ画像の後の、事前設定された数（１０枚など）のパノラマ画像を、マッチングされるパノラマ画像として使用することができる。さらに、１つのパノラマ画像以外の他のすべてのパノラマ画像も、当該パノラマ画像のマッチングされるパノラマ画像として使用され得る。

ステップＳ４０２において、前記画像ペアの２つのパノラマ画像の第１記述子に従って、複数のグループの特徴点ペアを決定し、ここで、各グループの前記特徴点ペアは、マッチングに対応し且つ２つのパノラマ画像にそれぞれ属する２つの第１特徴点を含む。

このステップでは、まず、画像ペアの最初のパノラマ画像内の各第１記述子のために、２番目のパノラマ画像内のユークリッド距離（Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ）が最も近い第１記述子を検索し、次に、逆に、画像ペアの２番目のパノラマ画像内の各第１記述子のために、最初のパノラマ画像内のユークリッド距離が最も近い第１記述子を検索し、最初のパノラマ画像内の特定の第１記述子及び２番目のパノラマ画像内の特定の第１記述子が、お互いに、別のパノラマ画像内のユークリッド距離が最も近い第１記述子である場合、上記の２つの第１記述子がマッチングすると見なされ、次に、上記の２つの第１記述子に対応する２つの第１特徴点がマッチングすると決定する。つまり、２つの第１特徴点は、特徴マッチングを完了し、特徴点ペアを形成する。

このステップでは、上記の方法に従って画像ペアの２つのパノラマ画像間のすべての特徴点ペアを決定した後、また、特徴点ペアの数も統計し、さらに、第１条件を事前設定し、第１条件を使用して、ステップＳ４０１で決定された複数のグループの画像ペアをフィルタリングできる。つまり、第１条件を使用して画像ペアの一部を削除することができる。一例では、第１条件は、第２数の閾値より小さいこと、つまり、特徴点ペアの数が第２数の閾値より小さい画像ペアをフィルタリングすることであり得、即ち、特徴点ペアの数が第２数の閾値より小さい画像ペアを削除し、例えば、第２数の閾値を５又は１０などに設定することができ、本発明の実施例は、第２数の閾値の具体的な値を限定することを意図するものではない。画像ペアの一部をフィルタリングすることにより、一致度の低い画像ペアに対する後続の動作を減らすことができ、それにより、動作の複雑さを軽減すると同時に、処理効率を向上させることができる。

ここで、各グループの特徴点ペアは、２つの第１特徴点の対応関係を表し、複数のグループの特徴点ペアは、画像ペアのマッチング結果を構成する。

ステップＳ４０３において、前記複数のグループの特徴点ペアに従って、第１基本行列を決定し、前記第１基本行列を使用して、前記複数のグループの特徴点ペアをフィルタリングして、前記画像ペアに対応するマッチング結果を取得する。

このステップでは、以下の方法で第１基本行列を決定することができる。まず、前記特徴点ペア内の２つの第１特徴点の角度誤差に従って、前記特徴点ペアの角度誤差を決定し、ここで、前記第１特徴点の角度誤差は、当該第１特徴点に対応する単位球面の球面点と単位球面の光学中心との連結線と、外極面との角度であり、次に、対応する前記特徴点ペアの角度誤差を残差項として使用して、事前設定された数の前記特徴点ペアに従って、基本行列を複数回計算し、最後に、各前記基本行列に対応する内点数を決定し、内点数が最も多い基本行列を、前記第１基本行列として決定する。

ここで、各グループの特徴点ペアの２つの第１特徴点に対応する単位球面の点座標、及び基本行列は、下記式（４）に示す関係を満たす。

（４）

上記の式（４）において、Ｅは、基本行例であり、

は、最初のパノラマ画像内の第１特徴点に対応する単位球面の点座標であり、

は、２番目のパノラマ画像内の第１特徴点に対応する単位球面の点座標である。

ここで、２つの第１特徴点の角度誤差のうちの大きい方を、特徴点ペアの角度誤差として決定し、つまり、下記式（５）に従って、特徴点ペアの角度誤差を決定する。

（５）

上記の式（５）において、

は、２番目のパノラマ画像の第１特徴点の角度誤差であり、つまり、２番目のパノラマ画像上の第１特徴点に対応する球面点Ｓ’と光学中心Ｏ_２との連結線と、外極面との角度であり、ここで、対応する外極面は、最初のパノラマ画像上の第１特徴点に対応する球面点Ｓと光学中心Ｏ_１との連結線と、２つの光学中心Ｏ_１とＯ_２との連結線によって形成された平面である。これに対応して、図５を参照すると、

は、最初のパノラマ画像の第１特徴点の角度誤差であり、つまり、最初のパノラマ画像上の第１特徴点に対応する球面点と光学中心との連結線と、外極面との角度であり、ここで、対応する外極面は、２番目のパノラマ画像上の第１特徴点に対応する球面点と光学中心との連結線と、２つの光学中心との連結線によって形成された平面である。本発明の実施例では、角度誤差及び球面誤差を使用して、パノラマ画像のカメラモデルによりよく適合することができる。

ここで、特徴点ペアの角度誤差を残差項として、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）及び５点アルゴリズムにより複数の基本行列を計算でき、５グループの特徴点ペアごとに１つの基本行列を計算できるため、上記の方法で複数の基本行列を取得することができる。

ここで、以下の方法に従って基本行列に対応する内点数を決定することができる。まず、前記基本行列に従って、前記画像ペアの各グループの特徴点ペアの角度誤差を計算し、次に、前記角度誤差が事前設定された第２条件を満たす特徴点ペアを内点として決定し、最後に、すべての内点に従って、前記基本行列に対応する内点数を決定する。つまり、上記の式（５）及び基本行列を使用して、各グループの特徴点ペアの角度誤差を決定し、第２条件を事前設定し、第２条件を使用して内点を選別し、一実例では、第２条件は、角度誤差が第１角度閾値より小さいこと、つまり、第１角度閾値より小さい角度誤差に対応する特徴点ペアを内部点として決定することであり得る。

このステップでは、以下の方法で前記第１基本行列を使用して、前記複数のグループの特徴点ペアをフィルタリングできる。まず、前記第１基本行列に従って、前記画像ペアの各グループの特徴点ペアの角度誤差を決定し、次に、角度誤差が事前設定された第３条件を満たす特徴点ペアをフィルタリングする。

ここで、上記の式（５）及び第１基本行列を使用して、各グループの特徴点ペアの角度誤差を計算でき、第３条件を事前設定し、第３条件を使用して特徴点ペアを選別し、一実例では、第３条件は、角度誤差が第２角度閾値より大きいか等しい（例えば、０．４度より大きいか等しい）こと、つまり、第２角度閾値より大きいか等しい角度誤差に対応する特徴点ペアをフィルタリングすることであり得、即ち、第２角度閾値より大きいか等しい角度誤差に対応する特徴点ペアを削除し、第２角度閾値より小さい角度誤差に対応する特徴点ペアを保持する。

本発明の実施例では、画像ペアを特徴マッチングすることにより、画像ペア間の特徴点ペアを決定し、次に、特徴点ペアに従って第１基本行列を決定し、最後に、第１基本行列を使用して上記の特徴点ペアをフィルタリングし、さらに、第１基本行列の決定時と特徴点ペアのフィルタリング時にいずれも角度誤差を使用したので、他の基本行列と比較して、第１基本行列と一致する特徴点ペアが最も多く、且つフィルタリングステップで第１基本行列と一致しない特徴点ペアを削除したので、第１基本行列の精度を向上させるだけでなく、間違った特徴点ペアを削除することを前提として、特徴点ペアの数を最大化し、画像ペアの２つのパノラマ画像のマッチング精度と正確さを向上させる。さらに、パノラマ画像の３６０度の視野範囲を使用して、画像間の特徴マッチングの数を増やし、弱いテクスチャエリアでのカメラ登録の失敗の可能性を減らす。

本発明のいくつかの実施例では、各グループの画像ペアの第１基本行列の計算及び特徴点ペアのフィルタリングを完了した後、第１特徴点の分布を使用して、２つのパノラマ画像のマッチングが重複テクスチャによることであるか否かを判断し、さらに、複数のグループの画像ペアをフィルタリングすることができ、具体的には、以下の方法を使用できる。まず、前記画像ペアの特徴点ペアの２つの第１特徴点が属するパノラマ画像上の当該２つの第１特徴点の座標を取得し、次に、前記パノラマ画像に対応する第３マッピング関係及び前記パノラマ画像における特徴点ペアに属する第１特徴点の座標に従って、特徴点ペアに関連する透視画像を決定し、ここで、前記特徴点ペアに関連する透視画像は、特徴点ペアに属する第１特徴点に対応する第２特徴点を有する透視画像であり、最後に、前記特徴点ペアに関連する透視画像を使用して、前記画像ペアをフィルタリングする。

さらに、第３数の閾値を事前設定し、透視画像に含まれる特徴点の対に対応する第２特徴点の数を決定することもでき、当該数が上記の第３数の閾値より大きいか等しい場合にのみ、透視画像が、特徴点ペアに関連する透視画像として決定され、例えば、上記の第３数の閾値は、５に設定でき、このようにして、少量のノイズマッチングによる統計エラーを回避することができる。

ここで、前記画像ペアの少なくとも１つのパノラマ画像に対応する、特徴点ペアに関連する透視画像が、連続する複数の画像であり、且つ前記連続する複数の画像の数が事前設定されたフィルタリング閾値より小さいことに応答して、前記画像ペアをフィルタリングする。つまり、特徴点ペアに関連する第１特徴点に対応する第２特徴点がすべて透視画像の一部に集中し、且つこの部分の透視画像の数が事前設定されたフィルタリング閾値より小さい場合、この２つのパノラマ画像のマッチングは、テクスチャの繰り返しによるマッチングエラーであると見なすため、当該画像ペアをフィルタリングし、つまり、削除する。フィルタリング閾値は、透視画像の総量及び事前設定された第１比率に従って決定でき、例えば、透視画像の総量が６で、事前設定された第１比率が０．５である場合、特徴点ペアに関連する透視画像の数が３より小さい場合、当該画像ペアをフィルタリングすると見なされる。

本発明の実施例では、特徴マッチングを完了した第１特徴点はすべて、透視画像の第２特徴点に対応するため、第２特徴点の分布を決定することにより、２つのパノラマ画像のマッチングが重複テクスチャによることであるか否かを判断でき、且つノイズマッチングを削除することにより、上記の判断の精度をさらに向上し、マッチングエラーの画像ペアを排除することができる。重複テクスチャはほとんど局所的であり、パノラマ画像間の全体的なマッチング状況を使用して、マッチングエラーを可能な限り排除し、これに基づくカメラ登録のエラー率を回避する。

本発明のいくつかの実施例では、以下の方法で前記少なくとも１グループの画像ペア及び対応するマッチング結果に従って、点群モデルを構築できる。まず、事前設定された初期化条件、各グループの画像ペアの特徴点ペア、及び第１基本行列に従って、１グループの画像ペアを初期画像ペアとして決定し、初期画像ペアの各パノラマ画像のカメラ位置姿勢を決定し、及び前記初期画像ペアの第１特徴点ペアを三角化して、初期三次元点を形成し、次に、第１三次元点に対応する第１特徴点と、各未登録画像の第１特徴点とのマッチング関係に従って、パノラマ画像セット内の各パノラマ画像がすべて登録済み画像になるまで、１つの未登録画像を登録画像として複数回決定し、ここで、前記未登録画像は、すべての第１特徴点が三角化されていないパノラマ画像であり、前記登録済み画像は、三角化された第１特徴点を有するパノラマ画像であり、前記第１三次元点は、前記初期三次元点を含み、又は前記初期三次元点及び前記登録済み画像の第１特徴点の三角化によって形成された三次元点を含み、毎回登録画像を決定した後、前記登録画像のカメラ位置姿勢を決定し、前記登録画像の第１特徴点を三角化して、対応する三次元点を形成し、及び登録済み画像の第３特徴点を三角化して、対応する三次元点を形成し、前記第３特徴点は、前記登録済み画像における前記登録画像の第１特徴点とマッチングする第１特徴点である。

ここで、初期画像ペアを決定する場合、特徴点ペアの数の降順に応じて、画像ペアを順次選択し、毎回画像ペアを選択した後、前記特徴点ペア及び前記第１基本行列に従って、選択された画像ペアが前記初期化条件を満たして、初期画像ペアとして決定されるまで、前記画像ペアが前記初期化条件を満たすか否かを決定することができる。

さらに、以下の方法で前記特徴点ペア及び前記第１基本行列に従って、前記画像ペアが前記初期化条件を満たすか否かを決定でき、図６を参照すると、図６は、上記の方法のフローチャートであり、ステップＳ６０１～ステップＳ６０４を含む。

ステップＳ６０１において、前記画像ペアの第１基本行列に従って、少なくとも１グループ（４セットなど）の変位変数を決定し、各グループの変位変数に対して、特徴点ペアの特徴点をそれぞれ三角化して、各グループの変位変数に対応する三次元点を形成し、及び、各グループの三次元点の再投影誤差及び三角化角度に従って、前記三次元点をフィルタリングし、ここで、前記変位変数は、回転変数及び並進変数を含む。

ここで、回転変数は、３＊３行列Ｒで表し、並進変数は、三次元ベクトルＴで表すことができる。ｉ番目のパノラマ画像（即ち、最初又は２番目のパノラマ画像）内の各グループの三次元点Ｘの再投影誤差を計算する場合、下記式（６）を使用することができる。

（６）

上記の式において、

は、第１特徴点に対応する単位球面の点座標であり、Ｘは、三次元点座標ベクトルであり、ｆは、仮想透視カメラの焦点距離であり、

を、ｉ番目のパノラマ画像のカメラ行列とし、初期化する際、

は、単位行列であり、

は、ゼロベクトルであり、

であり、

であり、且つＲ及びＴはそれぞれ、当該グループの三次元点に対応する回転変数及び変換変数である。

ここで、各グループの三次元点の再投影誤差及び三角化角度に従って、前記三次元点をフィルタリングする場合、第３角度閾値及び第４角度閾値を設定し、次に、２つのパノラマ画像内の、再投影誤差が第２角度閾値より小さく、且つ三角化角度が第４角度閾値より大きい三次元点を保持することができる。

ステップＳ６０２において、数が最も多い１グループの三次元点の数が、事前設定された第１数の閾値より大きいことに応答して、対応する変位変数を第１変位変数として決定する。

ステップＳ６０３において、複数回の計算によって取得された基本行列から、内点数が点数閾値より大きいか等しい基本行列を選択し、各基本行列に従って、少なくとも１グループ（４グループなど）の変位変数をそれぞれ決定し、各グループの変位変数に対して、特徴点ペアの特徴点をそれぞれ三角化して、各グループの変位変数に対応する三次元点を形成し、及び、各グループの三次元点の再投影誤差及び三角化角度に従って、前記三次元点をフィルタリングし、各基本行列の数が最も多い１グループの三次元点に対応する変位変数を保持する。

ここで、ステップＳ４０３で複数の基本行列を計算して取得し、第１基本行列を決定した後、残りの基本行列は、このステップで使用するために保持し、又はこのステップでは、ステップＳ４０３と同じ方法を再び使用して、複数の基本行列を計算して取得することができる。

ここで、第２比率を事前に設定し、次に、第１基本行列の内点数及び上記の第２比率を使用して、点数閾値を決定でき、第１基本行列の内点数と第２比率との積を点数閾値として使用でき、例えば、第２比率は、０．６に事前設定でき、本発明は、第２比率の具体的な値を限定することを意図するものではない。

このステップにおける、選択された基本行列に対して実行する動作は、ステップＳ６０１～ステップＳ６０２の動作と同じであり、各基本行列のために１つの変位変数を保持する。

ステップＳ６０４において、各基本行列の保持された変位変数と前記第１変位変数との差が事前設定された範囲を満たす場合、前記画像ペアが前記初期化条件を満たすと決定する。

ここで、基本行列の保持された変位変数と、第１変位変数との差は、２つの変位変数の方向間の角度を使用して表すことができ、方向間の角度は、２つの変位変数の回転行列の積によって取得し、事前設定された範囲は、１つの事前設定された第５角度閾値で表すことができ、つまり、第５角度閾値より小さいことは、事前設定された範囲を満たすことであり、したがって、各基本行列の保持された変位変数及び第１変位変数の方向間の角度がすべて、第５角度閾値より小さい場合、前記画像ペアが前記初期化条件を満たすと決定する。

画像ペアが初期化条件を満たさない場合、ステップＳ６０１～ステップＳ６０４によって、他の画像ペアが初期化条件を満たすか否かを判断し続ける。

上記の初期化条件の判断プロセスにおいて、各基本行列の複数の解を判断することにより、初期化条件の判断定結果をより安定させることができる。

さらに、初期画像ペアの２つのパノラマ画像上の初期三次元点の再投影誤差を最小化することによって、各パノラマ画像のカメラ位置姿勢及び初期三次元点の位置を最適化することもできる。

さらに、毎回登録画像のカメラ位置姿勢を決定した後、前記登録画像上の三次元点の再投影誤差を最小化することによって、前記登録画像のカメラ位置姿勢を最適化することもできる。

さらに、毎回前記登録画像の特徴点を三角化して、対応する三次元点を形成し、及び登録済み画像の第３特徴点を三角化して、対応する三次元点を形成した後、各登録済み画像上の各三次元点の再投影誤差を最小化することによって、各登録済み画像のカメラ位置姿勢及び各三次元点の位置を最適化することもできる。

上記の最適化は、下記の損失関数を使用して最適化することができる。

（７）

上記の式（７）において、

は、第１特徴点に対応する単位球面の点座標であり、Ｘ_ｉは、ｉ番目の三次元点の座標ベクトルであり、fは、仮想透視カメラの焦点距離であり、

を、ｉ番目のパノラマ画像のカメラ行列とし、初期化する際、

は、単位行列であり、

は、ゼロベクトルであり、

であり、

であり、且つＲ及びＴはそれぞれ、当該三次元点に対応する回転変数及び変換変数であり、ｍは、パノラマ画像の数であり、ｎは、三次元点の数である。

上記の画像のカメラ位置姿勢を決定することは、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）及びＰ３Ｐアルゴリズムを使用して実行することができる。

上記の点群モデル構築方法の説明から分かるように、当該方法は、パノラマ画像を使用して、カメラ登録及び点群再構築を実行し、それにより、点群モデルの構築を完了することができ、さらに、パノラマ画像に基づいて構築された点群モデルは、通常の透視図に基づいて構築された従来の点群モデルより、精度がより高く、重複テクスチャに対するロバスト性がより高く、シーンの再構築がより包括的である。当該方法で高精度の視覚的地図を作成して、自動運転、ＡＲのために位置決め用の視覚的特徴及び三次元ランドマークポイントを提供でき、さらに、当該方法で、例えば、観光名所、博物館、展示館のＡＲ／ＶＲガイド付きツアー、又は、特定の建物、特定のブロック、又は、特定の都市の三次元モデルの構築、ＡＲの特殊効果などのシーン表示やＶＲアプリケーションのために、特定シーンの三次元モデルを構築することができる。

本発明の実施例の第２態様によれば、点群モデルの構築装置を提供し、図７を参照すると、図７は、当該装置の概略構造図であり、当該装置は、パノラマ画像セット内のパノラマ画像の第１特徴を取得するように構成される、取得モジュール７０１と、
前記第１特徴に従って、前記パノラマ画像セット内の少なくとも１グループの画像ペア及び対応するマッチング結果を決定するように構成され、前記画像ペアは、第１特徴がマッチングされる２つのパノラマ画像を含み、前記マッチング結果は、２つのパノラマ画像の第１特徴間の対応関係を指示する、マッチングモジュール７０２と、
前記少なくとも１グループの画像ペア及び対応するマッチング結果に従って、点群モデルを構築するように構成される、構築モジュール７０３とを備える。

一実施例では、前記取得モジュールは、具体的には、
前記パノラマ画像に対応する複数の透視画像を決定し、
前記複数の透視画像内の少なくとも１つの透視画像の第２特徴を取得し、
前記透視画像の第２特徴に従って、前記パノラマ画像の対応する位置の第１サブ特徴を決定し、
少なくとも１つの前記第１サブ特徴に従って、前記パノラマ画像の第１特徴を決定するように構成され、複数の透視画像に対応する空間の集合は、パノラマ画像に対応する空間であり、前記透視画像および前記パノラマ画像の対応する位置は、同じ空間に対応する。

一実施例では、前記取得モジュールは、前記パノラマ画像に対応する複数の透視画像を決定するように構成され、具体的には、
前記パノラマ画像に対応する単位球面を取得し、パノラマ画像の画素点座標と単位球面の点座標との第１マッピング関係を決定し、
前記単位球面に従って、複数の透視画像を決定し、透視画像の画素点座標と単位球面の点座標との第２マッピング関係を決定し、
前記第１マッピング関係及び前記第２マッピング関係に従って、パノラマ画像の画素点座標と透視画像の画素点座標との第３マッピング関係を決定し、パノラマ画像の画素点の画素情報及び前記第３マッピング関係に従って、透視画像の画素点の画素情報を決定するように構成され、前記複数の透視画像に対応する球面点の集合は、単位球面である。

一実施例では、前記透視画像の第２特徴は、第２特徴点及び対応する第２記述子を含み、
前記取得モジュールは、前記透視画像の第２特徴に従って、前記パノラマ画像の対応する位置の第１サブ特徴を決定するように構成され、具体的には、
前記透視画像の第２特徴点の座標及び前記第３マッピング関係に従って、前記パノラマ画像の第１特徴点の座標を決定し、
前記透視画像の第２特徴点に対応する第２記述子に従って、前記パノラマ画像の第１特徴点に対応する第１記述子を決定するように構成される。

一実施例では、前記第１特徴は、第１特徴点及び対応する第１記述子を含み、
前記マッチングモジュールは、具体的には、
各パノラマ画像及び対応するマッチングされるパノラマ画像に従って、複数のグループの画像ペアを決定し、
各グループの前記画像ペアの２つのパノラマ画像の第１記述子に従って、複数のグループの特徴点ペアを決定し、
前記複数のグループの特徴点ペアに従って、第１基本行列を決定し、前記第１基本行列を使用して、前記複数のグループの特徴点ペアをフィルタリングして、前記画像ペアに対応するマッチング結果を取得するように構成され、各グループの前記特徴点ペアは、マッチングに対応し且つ２つのパノラマ画像にそれぞれ属する２つの第１特徴点を含む。

一実施例では、前記マッチングモジュールは、各グループの前記画像ペアの２つのパノラマ画像の第１記述子に従って、複数のグループの特徴点ペアを決定した後、前記点群モデルの構築方法はさらに、
各グループの前記画像ペアの２つのパノラマ画像の特徴点ペアの数を取得し、
特徴点ペアの数が事前設定された第１条件を満たす画像ペアをフィルタリングするように構成される。

一実施例では、前記マッチングモジュールは、前記複数のグループの特徴点ペアに従って、第１基本行列を決定するように構成され、具体的には、
前記特徴点ペア内の２つの第１特徴点の角度誤差に従って、前記特徴点ペアの角度誤差を決定し、
対応する前記特徴点ペアの角度誤差を残差項として使用して、事前設定された数の前記特徴点ペアに従って、基本行列を複数回決定し、
各前記基本行列に対応する内点数を決定し、内点数が最も多い基本行列を、前記第１基本行列として決定するように構成され、前記第１特徴点の角度誤差は、前記第１特徴点に対応する単位球面の球面点と単位球面の光学中心との連結線と、外極面との角度である。

一実施例では、前記マッチングモジュールは、各前記基本行列に対応する内点数を決定するように構成され、具体的には、
前記基本行列に従って、前記画像ペアの各グループの特徴点ペアの角度誤差を決定し、
前記角度誤差が事前設定された第２条件を満たす特徴点ペアを内点として決定し、
すべての内点に従って、前記基本行列に対応する内点数を決定するように構成される。

一実施例では、前記マッチングモジュールは、前記第１基本行列を使用して、複数のグループの特徴点ペアをフィルタリングするように構成され、具体的には、
前記第１基本行列に従って、前記画像ペアの各グループの特徴点ペアの角度誤差を決定し、
前記角度誤差が事前設定された第３条件を満たす特徴点ペアをフィルタリングするように構成される。

一実施例では、前記マッチングモジュールはさらに、
前記画像ペアの特徴点ペアの２つの第１特徴点が属するパノラマ画像上の当該２つの第１特徴点の座標を取得し、
前記パノラマ画像に対応する第３マッピング関係及び前記パノラマ画像における特徴点ペアに属する第１特徴点の座標に従って、特徴点ペアに関連する透視画像を決定し、
前記特徴点ペアに関連する透視画像を使用して、前記画像ペアをフィルタリングするように構成され、ここで、前記特徴点ペアに関連する透視画像は、特徴点ペアに属する第１特徴点に対応する第２特徴点を有する透視画像である。

一実施例では、前記マッチングモジュールは、前記特徴点ペアに関連する透視画像を使用して、前記画像ペアをフィルタリングするように構成され、具体的には、
前記画像ペアの少なくとも１つのパノラマ画像に対応する、特徴点ペアに関連する透視画像が、連続する複数の画像であり、且つ前記連続する複数の画像の数が事前設定されたフィルタリング閾値より小さいことに応答して、前記画像ペアをフィルタリングするように構成される。

一実施例では、前記構築モジュールは、具体的には、
事前設定された初期化条件、各グループの画像ペアの特徴点ペア、及び第１基本行列に従って、１グループの画像ペアを初期画像ペアとして決定し、前記初期画像ペアの各パノラマ画像のカメラ位置姿勢を決定し、及び前記初期画像ペアの第１特徴点ペアを三角化して、初期三次元点を形成し、
第１三次元点に対応する第１特徴点と、各未登録画像の第１特徴点とのマッチング関係に従って、パノラマ画像セット内の各パノラマ画像がすべて登録済み画像になるまで、１つの未登録画像を登録画像として複数回決定し、
毎回登録画像を決定した後、前記登録画像のカメラ位置姿勢を決定し、前記登録画像の第１特徴点を三角化して、対応する三次元点を形成し、及び登録済み画像の第３特徴点を三角化して、対応する三次元点を形成し、ここで、前記未登録画像は、すべての第１特徴点が三角化されていないパノラマ画像であり、前記登録済み画像は、三角化された第１特徴点を有するパノラマ画像であり、前記第１三次元点は、前記初期三次元点を含み、又は前記初期三次元点及び前記登録済み画像の第１特徴点の三角化によって形成された三次元点を含み、前記第３特徴点は、前記登録済み画像における前記登録画像の第１特徴点とマッチングする第１特徴点である。

一実施例では、前記構築モジュールは、事前設定された初期化条件、各グループの画像ペアの特徴点ペア、及び第１基本行列に従って、１グループの画像ペアを初期画像ペアとして決定し、前記初期画像ペアの各パノラマ画像のカメラ位置姿勢を決定するように構成され、具体的には、
特徴点ペアの数の降順に応じて、画像ペアを順次選択し、毎回画像ペアを選択した後、前記特徴点ペア及び前記第１基本行列に従って、選択された画像ペアが前記初期化条件を満たして、初期画像ペアとして決定されるまで、前記画像ペアが前記初期化条件を満たすか否かを決定するように構成される。

一実施例では、前記構築モジュールは、前記特徴点ペア及び前記第１基本行列に従って、前記画像ペアが前記初期化条件を満たすか否かを決定するように構成され、具体的には、
前記画像ペアの第１基本行列に従って、少なくとも１グループの変位変数を決定し、各グループの変位変数に対して、特徴点ペアの特徴点をそれぞれ三角化して、各グループの変位変数に対応する三次元点を形成し、及び、各グループの三次元点の再投影誤差及び三角化角度に従って、前記三次元点をフィルタリングし、
数が最も多い１グループの三次元点の数が、事前設定された第１数の閾値より大きいことに応答して、対応する変位変数を第１変位変数として決定し、
複数回の計算によって取得された基本行列から、内点数が点数閾値より大きいか等しい基本行列を選択し、各基本行列に従って、少なくとも１グループの変位変数をそれぞれ決定し、各グループの変位変数に対して、特徴点ペアの特徴点をそれぞれ三角化して、各グループの変位変数に対応する三次元点を形成し、及び、各グループの三次元点の再投影誤差及び三角化角度に従って、前記三次元点をフィルタリングし、各基本行列の数が最も多い１グループの三次元点に対応する変位変数を保持し、
各基本行列の保持された変位変数と前記第１変位変数との差が事前設定された範囲を満たす場合、前記画像ペアが前記初期化条件を満たすと決定するように構成され、ここで、前記変位変数は、回転変数及び並進変数を含む。

一実施例では、前記構築モジュールはさらに、
初期画像ペアの２つのパノラマ画像上の初期三次元点の再投影誤差を最小化することによって、各パノラマ画像のカメラ位置姿勢及び初期三次元点の位置を最適化し、及び／又は、
毎回登録画像のカメラ位置姿勢を決定した後、前記登録画像上の三次元点の再投影誤差を最小化することによって、前記登録画像のカメラ位置姿勢を最適化し、及び／又は、
毎回前記登録画像の特徴点を三角化して、対応する三次元点を形成し、及び登録済み画像の第３特徴点を三角化して、対応する三次元点を形成した後、各登録済み画像上の各三次元点の再投影誤差を最小化することによって、各登録済み画像のカメラ位置姿勢及び各三次元点の位置を最適化するように構成される。

一実施例では、前記マッチングモジュールはさらに、
各パノラマ画像に対応する空間に従って、対応するマッチングされるパノラマ画像を決定し、又は、
事前設定されたコロケーションルールに従って、各パノラマ画像に対応するマッチングされるパノラマ画像を決定するように構成される。上記の実施形態の装置に関して、装置の各モジュールが動作を実行する具体的な方法は、既に、第１態様における当該方法の実施例で詳細に説明されており、ここでは詳細に説明しない。

図８を参照すると、本発明の実施例の第３態様によれば、メモリ８０１と、プロセッサ８０２とを備える、電子機器を提供し、前記メモリ８０１は、プロセッサ８０２で実行可能なコンピュータ命令を記憶するように構成され、前記プロセッサ８０２は、前記コンピュータ命令を実行するときに、前記第１態様に記載の点群モデルの構築方法を実行するように構成される。前記メモリ８０１は、揮発性又は不揮発性の記憶媒体を使用することができる。

本発明の実施例の第４態様によれば、コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令がプロセッサによって実行されるときに、前記第１態様に記載の点群モデルの構築方法を実行する。コンピュータ可読記憶媒体は、揮発性または不揮発性記憶媒体であり得る。

本発明は、コンピュータ可読コードを含むコンピュータプログラム製品をさらに提供し、コンピュータ可読コードが機器で実行されるときに、前記機器内のプロセッサは、本発明の実施例のいずれか一項に記載の点群モデルの構築方法を実現するための命令を実行する。

当該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェア又はそれらの組み合わせの方式によって実現され得る。一代替実施例では、前記コンピュータプログラム製品は、コンピュータ記憶媒体として実現され、別の代替実施例では、コンピュータプログラム製品は、例えば、ソフトウェア開発キット（ＳＤＫ：Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）などのソフトウェア製品として実現される。

本発明では、「第１」及び「第２」という用語は、説明の目的でのみ使用され、相対的な重要性を示し又は暗示するものとして解釈されるべきではない。「複数」という用語は、特に明記されていない限り、２つ又は２つ以上を指す。

当業者は、明細書を考慮して、本明細書に開示された発明を実施した後に、本発明の他の実施形態を容易に想到し得る。本発明は、本発明のあらゆる変形、応用又は適応性変化をカバーすることを意図し、これらの変形、応用又は適応性変化は、本発明の一般原理に従い、本発明によって開示されない本技術分野における常識又は従来の技術的手段を含む。明細書及び実施例は、例示としてのみ考慮され、本発明の真の範囲及び思想は、添付の特許請求の範囲によって示される。

本発明は、上記の説明及び添付の図面に示された正確な構造に限定されず、その範囲から逸脱することなく、様々な修正及び変更を行うことができることを理解されたい。本発明の範囲は、添付の特許請求の範囲によってのみ制限される。

本発明の実施例は、点群モデルの構築方法、装置、機器及び記憶媒体を提供し、ここで、当該方法は、パノラマ画像セット内のパノラマ画像の第１特徴を取得することと、前記第１特徴に従って、前記パノラマ画像セット内の少なくとも１グループの画像ペア及び対応するマッチング結果を決定することであって、ここで、前記画像ペアは、第１特徴がマッチングされる２つのパノラマ画像を含み、前記マッチング結果は、２つのパノラマ画像の第１特徴間の対応関係を指示することと、前記少なくとも１グループの画像ペア及び対応するマッチング結果に従って、点群モデルを構築することと、を含む。パノラマ画像を使用してマッチングし、マッチング結果に従って点群モデルをさらに構築するため、画像セット内の画像の数を減らすことができ、それにより、マッチング効率及びモデリング効率が向上し、且つパノラマ画像に対応する空間の範囲が大きいため、パノラマ画像間のマッチング効果を向上させ、さらに、点群モデルの構築精度及び品質を向上させることができる。

Claims (35)

1. 電子機器に適用する、点群モデルの構築方法であって、
   パノラマ画像セット内のパノラマ画像の第１特徴を取得することと、
   前記第１特徴に従って、前記パノラマ画像セット内の少なくとも１グループの画像ペア及び対応するマッチング結果を決定することであって、前記画像ペアは、第１特徴がマッチングされる２つのパノラマ画像を含み、前記マッチング結果は、２つのパノラマ画像の第１特徴間の対応関係を指示することと、
   前記少なくとも１グループの画像ペア及び対応するマッチング結果に従って、点群モデルを構築することと、を含む、前記点群モデルの構築方法。
2. 前記パノラマ画像セット内のパノラマ画像の第１特徴を取得することは、
   前記パノラマ画像に対応する複数の透視画像を決定することであって、複数の透視画像に対応する空間の集合は、パノラマ画像に対応する空間であることと、
   前記複数の透視画像内の少なくとも１つの透視画像の第２特徴を取得することと、
   前記透視画像の第２特徴に従って、前記パノラマ画像の対応する位置の第１サブ特徴を決定することであって、前記透視画像および前記パノラマ画像の対応する位置は、同じ空間に対応することと、
   少なくとも１つの前記第１サブ特徴に従って、前記パノラマ画像の第１特徴を決定することと、を含む、
   請求項１に記載の点群モデルの構築方法。
3. 前記パノラマ画像に対応する複数の透視画像を決定することは、
   前記パノラマ画像に対応する単位球面を取得し、パノラマ画像の画素点座標と単位球面の点座標との第１マッピング関係を決定することと、
   前記単位球面に従って、複数の透視画像を決定し、透視画像の画素点座標と単位球面の点座標との第２マッピング関係を決定することであって、前記複数の透視画像に対応する球面点の集合は、単位球面であることと、
   前記第１マッピング関係及び前記第２マッピング関係に従って、パノラマ画像の画素点座標と透視画像の画素点座標との第３マッピング関係を決定し、パノラマ画像の画素点の画素情報及び前記第３マッピング関係に従って、透視画像の画素点の画素情報を決定することと、を含む、
   請求項２に記載の点群モデルの構築方法。
4. 前記透視画像の第２特徴は、第２特徴点及び対応する第２記述子を含み、
   前記透視画像の第２特徴に従って、前記パノラマ画像の対応する位置の第１サブ特徴を決定することは、
   前記透視画像の第２特徴点の座標及び前記第３マッピング関係に従って、前記パノラマ画像の第１特徴点の座標を決定することと、
   前記透視画像の第２特徴点に対応する第２記述子に従って、前記パノラマ画像の第１特徴点に対応する第１記述子を決定することと、を含む、
   請求項３に記載の点群モデルの構築方法。
5. 前記第１特徴は、第１特徴点及び対応する第１記述子を含み、
   前記第１特徴に従って、前記パノラマ画像セット内の少なくとも１グループの画像ペア及び対応するマッチング結果を決定することは、
   各パノラマ画像及び対応するマッチングされるパノラマ画像に従って、複数のグループの画像ペアを決定することと、
   各グループの前記画像ペアの２つのパノラマ画像の第１記述子に従って、複数のグループの特徴点ペアを決定することであって、各グループの前記特徴点ペアは、マッチングに対応し且つ２つのパノラマ画像にそれぞれ属する２つの第１特徴点を含むことと、
   前記複数のグループの特徴点ペアに従って、第１基本行列を決定し、前記第１基本行列を使用して、前記複数のグループの特徴点ペアをフィルタリングして、前記画像ペアに対応するマッチング結果を取得することと、を含む、
   請求項４に記載の点群モデルの構築方法。
6. 前記各グループの前記画像ペアの２つのパノラマ画像の第１記述子に従って、複数のグループの特徴点ペアを決定した後、前記点群モデルの構築方法は、
   各グループの前記画像ペアの２つのパノラマ画像の特徴点ペアの数を取得することと、
   特徴点ペアの数が事前設定された第１条件を満たす画像ペアをフィルタリングすることと、を更に含む、
   請求項５に記載の点群モデルの構築方法。
7. 前記複数のグループの特徴点ペアに従って、第１基本行列を決定することは、
   前記特徴点ペア内の２つの第１特徴点の角度誤差に従って、前記特徴点ペアの角度誤差を決定することであって、前記第１特徴点の角度誤差は、前記第１特徴点に対応する単位球面の球面点と単位球面の光学中心との連結線と、外極面との角度であることと、
   対応する前記特徴点ペアの角度誤差を残差項として使用して、事前設定された数の前記特徴点ペアに従って、基本行列を複数回決定することと、
   各前記基本行列に対応する内点数を決定し、内点数が最も多い基本行列を、前記第１基本行列として決定することと、を含む、
   請求項５又は６に記載の点群モデルの構築方法。
8. 前記各前記基本行列に対応する内点数を決定することは、
   前記基本行列に従って、前記画像ペアの各グループの特徴点ペアの角度誤差を決定することと、
   前記角度誤差が事前設定された第２条件を満たす特徴点ペアを内点として決定することと、
   すべての内点に従って、前記基本行列に対応する内点数を決定することと、を含む、
   請求項７に記載の点群モデルの構築方法。
9. 前記第１基本行列を使用して、複数のグループの特徴点ペアをフィルタリングすることは、
   前記第１基本行列に従って、前記画像ペアの各グループの特徴点ペアの角度誤差を決定することと、
   前記角度誤差が事前設定された第３条件を満たす特徴点ペアをフィルタリングすることと、を含む、
   請求項７又は８に記載の点群モデルの構築方法。
10. 前記点群モデルの構築方法は、
    前記画像ペアの特徴点ペアの２つの第１特徴点が属するパノラマ画像上の当該２つの第１特徴点の座標を取得することと、
    前記パノラマ画像に対応する第３マッピング関係及び前記パノラマ画像における特徴点ペアに属する第１特徴点の座標に従って、特徴点ペアに関連する透視画像を決定することであって、前記特徴点ペアに関連する透視画像は、特徴点ペアに属する第１特徴点に対応する第２特徴点を有する透視画像であることと、
    前記特徴点ペアに関連する透視画像を使用して、前記画像ペアをフィルタリングすることと、を更に含む、
    請求項５ないし９のいずれか一項に記載の点群モデルの構築方法。
11. 前記特徴点ペアに関連する透視画像を使用して、前記画像ペアをフィルタリングすることは、
    前記画像ペアの少なくとも１つのパノラマ画像に対応する、特徴点ペアに関連する透視画像が、連続する複数の画像であり、且つ前記連続する複数の画像の数が事前設定されたフィルタリング閾値より小さいことに応答して、前記画像ペアをフィルタリングすることを含む、
    請求項１０に記載の点群モデルの構築方法。
12. 前記少なくとも１グループの画像ペア及び対応するマッチング結果に従って、点群モデルを構築することは、
    事前設定された初期化条件、各グループの画像ペアの特徴点ペア、及び第１基本行列に従って、１グループの画像ペアを初期画像ペアとして決定し、前記初期画像ペアの各パノラマ画像のカメラ位置姿勢を決定し、及び前記初期画像ペアの第１特徴点ペアを三角化して、初期三次元点を形成することと、
    第１三次元点に対応する第１特徴点と、各未登録画像の第１特徴点とのマッチング関係に従って、パノラマ画像セット内の各パノラマ画像がすべて登録済み画像になるまで、１つの未登録画像を登録画像として複数回決定することであって、前記未登録画像は、すべての第１特徴点が三角化されていないパノラマ画像であり、前記登録済み画像は、三角化された第１特徴点を有するパノラマ画像であり、前記第１三次元点は、前記初期三次元点を含み、又は前記初期三次元点及び前記登録済み画像の第１特徴点の三角化によって形成された三次元点を含むことと、
    毎回登録画像を決定した後、前記登録画像のカメラ位置姿勢を決定し、前記登録画像の第１特徴点を三角化して、対応する三次元点を形成し、及び登録済み画像の第３特徴点を三角化して、対応する三次元点を形成することであって、前記第３特徴点は、前記登録済み画像における前記登録画像の第１特徴点とマッチングする第１特徴点であることと、を含む、
    請求項５ないし１１のいずれか一項に記載の点群モデルの構築方法。
13. 前記事前設定された初期化条件、各グループの画像ペアの特徴点ペア、及び第１基本行列に従って、１グループの画像ペアを初期画像ペアとして決定することは、
    特徴点ペアの数の降順に応じて、画像ペアを順次選択し、毎回画像ペアを選択した後、前記特徴点ペア及び前記第１基本行列に従って、選択された画像ペアが前記初期化条件を満たして、初期画像ペアとして決定されるまで、前記画像ペアが前記初期化条件を満たすか否かを決定することを含む、
    請求項１２に記載の点群モデルの構築方法。
14. 前記特徴点ペア及び前記第１基本行列に従って、前記画像ペアが前記初期化条件を満たすか否かを決定することは、
    前記画像ペアの第１基本行列に従って、少なくとも１グループの変位変数を決定し、各グループの変位変数に対して、特徴点ペアの特徴点をそれぞれ三角化して、各グループの変位変数に対応する三次元点を形成し、及び、各グループの三次元点の再投影誤差及び三角化角度に従って、前記三次元点をフィルタリングすることであって、前記変位変数は、回転変数及び並進変数を含むことと、
    数が最も多い１グループの三次元点の数が、事前設定された第１数の閾値より大きいことに応答して、対応する変位変数を第１変位変数として決定することと、
    複数回の計算によって取得された基本行列から、内点数が点数閾値より大きいか等しい基本行列を選択し、各基本行列に従って、少なくとも１グループの変位変数をそれぞれ決定し、各グループの変位変数に対して、特徴点ペアの特徴点をそれぞれ三角化して、各グループの変位変数に対応する三次元点を形成し、及び、各グループの三次元点の再投影誤差及び三角化角度に従って、前記三次元点をフィルタリングし、各基本行列の数が最も多い１グループの三次元点に対応する変位変数を保持することと、
    各基本行列の保持された変位変数と前記第１変位変数との差が事前設定された範囲を満たす場合、前記画像ペアが前記初期化条件を満たすと決定することと、を含む、
    請求項１３に記載の点群モデルの構築方法。
15. 前記点群モデルの構築方法は、
    初期画像ペアの２つのパノラマ画像上の初期三次元点の再投影誤差を最小化することによって、各パノラマ画像のカメラ位置姿勢及び初期三次元点の位置を最適化すること、及び／又は、
    毎回登録画像のカメラ位置姿勢を決定した後、前記登録画像上の三次元点の再投影誤差を最小化することによって、前記登録画像のカメラ位置姿勢を最適化すること、及び／又は、
    毎回前記登録画像の特徴点を三角化して、対応する三次元点を形成し、及び登録済み画像の第３特徴点を三角化して、対応する三次元点を形成した後、各登録済み画像上の各三次元点の再投影誤差を最小化することによって、各登録済み画像のカメラ位置姿勢及び各三次元点の位置を最適化することを更に含む、
    請求項１２に記載の点群モデルの構築方法。
16. 前記点群モデルの構築方法は、
    各パノラマ画像に対応する空間に従って、対応するマッチングされるパノラマ画像を決定すること、又は、
    事前設定されたコロケーションルールに従って、各パノラマ画像に対応するマッチングされるパノラマ画像を決定することを更に含む、
    請求項５に記載の点群モデルの構築方法。
17. 点群モデルの構築装置であって、
    パノラマ画像セット内のパノラマ画像の第１特徴を取得するように構成される、取得モジュールと、
    前記第１特徴に従って、前記パノラマ画像セット内の少なくとも１グループの画像ペア及び対応するマッチング結果を決定するように構成されるマッチングモジュールであって、前記画像ペアは、第１特徴がマッチングされる２つのパノラマ画像を含み、前記マッチング結果は、２つのパノラマ画像の第１特徴間の対応関係を指示する、マッチングモジュールと、
    前記少なくとも１グループの画像ペア及び対応するマッチング結果に従って、点群モデルを構築するように構成される、構築モジュールとを備える、前記点群モデルの構築装置。
18. 前記取得モジュールは、パノラマ画像セット内のパノラマ画像の第１特徴を取得するように構成され、具体的には、
    前記パノラマ画像に対応する複数の透視画像を決定し、
    前記複数の透視画像内の少なくとも１つの透視画像の第２特徴を取得し、
    前記透視画像の第２特徴に従って、前記パノラマ画像の対応する位置の第１サブ特徴を決定し、
    少なくとも１つの前記第１サブ特徴に従って、前記パノラマ画像の第１特徴を決定するように構成され、
    複数の透視画像に対応する空間の集合は、パノラマ画像に対応する空間であり、前記透視画像および前記パノラマ画像の対応する位置は、同じ空間に対応する、
    請求項１７に記載の点群モデルの構築装置。
19. 前記取得モジュールは、前記パノラマ画像に対応する複数の透視画像を決定するように構成され、具体的には、
    前記パノラマ画像に対応する単位球面を取得し、パノラマ画像の画素点座標と単位球面の点座標との第１マッピング関係を決定し、
    前記単位球面に従って、複数の透視画像を決定し、透視画像の画素点座標と単位球面の点座標との第２マッピング関係を決定し、
    前記第１マッピング関係及び前記第２マッピング関係に従って、パノラマ画像の画素点座標と透視画像の画素点座標との第３マッピング関係を決定し、パノラマ画像の画素点の画素情報及び前記第３マッピング関係に従って、透視画像の画素点の画素情報を決定するように構成され、
    前記複数の透視画像に対応する球面点の集合は、単位球面である、
    請求項１８に記載の点群モデルの構築装置。
20. 前記透視画像の第２特徴は、第２特徴点及び対応する第２記述子を含み、
    前記取得モジュールは、前記透視画像の第２特徴に従って、前記パノラマ画像の対応する位置の第１サブ特徴を決定するように構成され、具体的には、
    前記透視画像の第２特徴点の座標及び前記第３マッピング関係に従って、前記パノラマ画像の第１特徴点の座標を決定し、
    前記透視画像の第２特徴点に対応する第２記述子に従って、前記パノラマ画像の第１特徴点に対応する第１記述子を決定するように構成される、
    請求項１９に記載の点群モデルの構築装置。
21. 前記第１特徴は、第１特徴点及び対応する第１記述子を含み、
    前記マッチングモジュールは、前記第１特徴に従って、前記パノラマ画像セット内の少なくとも１グループの画像ペア及び対応するマッチング結果を決定するように構成され、具体的には、
    各パノラマ画像及び対応するマッチングされるパノラマ画像に従って、複数のグループの画像ペアを決定し、
    各グループの前記画像ペアの２つのパノラマ画像の第１記述子に従って、複数のグループの特徴点ペアを決定し、
    前記複数のグループの特徴点ペアに従って、第１基本行列を決定し、前記第１基本行列を使用して、前記複数のグループの特徴点ペアをフィルタリングして、前記画像ペアに対応するマッチング結果を取得するように構成され、
    各グループの前記特徴点ペアは、マッチングに対応し且つ２つのパノラマ画像にそれぞれ属する２つの第１特徴点を含む、
    請求項２０に記載の点群モデルの構築装置。
22. 前記マッチングモジュールは、
    各グループの前記画像ペアの２つのパノラマ画像の第１記述子に従って、複数のグループの特徴点ペアを決定した後、さらに、
    各グループの前記画像ペアの２つのパノラマ画像の特徴点ペアの数を取得し、
    特徴点ペアの数が事前設定された第１条件を満たす画像ペアをフィルタリングするように構成される、
    請求項２１に記載の点群モデルの構築装置。
23. 前記マッチングモジュールは、前記複数のグループの特徴点ペアに従って、第１基本行列を決定するように構成され、具体的には、
    前記特徴点ペア内の２つの第１特徴点の角度誤差に従って、前記特徴点ペアの角度誤差を決定し、
    対応する前記特徴点ペアの角度誤差を残差項として使用して、事前設定された数の前記特徴点ペアに従って、基本行列を複数回決定し、
    各前記基本行列に対応する内点数を決定し、内点数が最も多い基本行列を、前記第１基本行列として決定するように構成され、
    前記第１特徴点の角度誤差は、前記第１特徴点に対応する単位球面の球面点と単位球面の光学中心との連結線と、外極面との角度である、
    請求項２１又は２２に記載の点群モデルの構築装置。
24. 前記マッチングモジュールは、各前記基本行列に対応する内点数を決定するように構成され、具体的には、
    前記基本行列に従って、前記画像ペアの各グループの特徴点ペアの角度誤差を決定し、
    前記角度誤差が事前設定された第２条件を満たす特徴点ペアを内点として決定し、
    すべての内点に従って、前記基本行列に対応する内点数を決定するように構成される、
    請求項２３に記載の点群モデルの構築装置。
25. 前記点群モデルの構築装置は、
    前記第１基本行列を使用して、複数のグループの特徴点ペアをフィルタリングするように構成され、具体的には、
    前記第１基本行列に従って、前記画像ペアの各グループの特徴点ペアの角度誤差を決定し、
    前記角度誤差が事前設定された第３条件を満たす特徴点ペアをフィルタリングするように構成される、
    請求項２３又は２４に記載の点群モデルの構築装置。
26. 前記点群モデルの構築装置はさらに、
    前記画像ペアの特徴点ペアの２つの第１特徴点が属するパノラマ画像上の当該２つの第１特徴点の座標を取得し、
    前記パノラマ画像に対応する第３マッピング関係及び前記パノラマ画像における特徴点ペアに属する第１特徴点の座標に従って、特徴点ペアに関連する透視画像を決定し、
    前記特徴点ペアに関連する透視画像を使用して、前記画像ペアをフィルタリングするように構成され、
    前記特徴点ペアに関連する透視画像は、特徴点ペアに属する第１特徴点に対応する第２特徴点を有する透視画像である、
    請求項２１ないし２５のいずれか一項に記載の点群モデルの構築装置。
27. 前記点群モデルの構築装置は、
    前記特徴点ペアに関連する透視画像を使用して、前記画像ペアをフィルタリングするように構成され、具体的には、
    前記画像ペアの少なくとも１つのパノラマ画像に対応する、特徴点ペアに関連する透視画像が、連続する複数の画像であり、且つ前記連続する複数の画像の数が事前設定されたフィルタリング閾値より小さいことに応答して、前記画像ペアをフィルタリングするように構成される、
    請求項２６に記載の点群モデルの構築装置。
28. 前記点群モデルの構築装置は、
    前記少なくとも１グループの画像ペア及び対応するマッチング結果に従って、点群モデルを構築するように構成され、具体的には、
    事前設定された初期化条件、各グループの画像ペアの特徴点ペア、及び第１基本行列に従って、１グループの画像ペアを初期画像ペアとして決定し、前記初期画像ペアの各パノラマ画像のカメラ位置姿勢を決定し、及び前記初期画像ペアの第１特徴点ペアを三角化して、初期三次元点を形成し、
    第１三次元点に対応する第１特徴点と、各未登録画像の第１特徴点とのマッチング関係に従って、パノラマ画像セット内の各パノラマ画像がすべて登録済み画像になるまで、１つの未登録画像を登録画像として複数回決定し、
    毎回登録画像を決定した後、前記登録画像のカメラ位置姿勢を決定し、前記登録画像の第１特徴点を三角化して、対応する三次元点を形成し、及び登録済み画像の第３特徴点を三角化して、対応する三次元点を形成するように構成され、
    前記未登録画像は、すべての第１特徴点が三角化されていないパノラマ画像であり、前記登録済み画像は、三角化された第１特徴点を有するパノラマ画像であり、前記第１三次元点は、前記初期三次元点を含み、又は前記初期三次元点及び前記登録済み画像の第１特徴点の三角化によって形成された三次元点を含み、前記第３特徴点は、前記登録済み画像における前記登録画像の第１特徴点とマッチングする第１特徴点である、
    請求項２１ないし２７のいずれか一項に記載の点群モデルの構築装置。
29. 前記点群モデルの構築装置は、
    前記事前設定された初期化条件、各グループの画像ペアの特徴点ペア、及び第１基本行列に従って、１グループの画像ペアを初期画像ペアとして決定するように構成され、具体的には、
    特徴点ペアの数の降順に応じて、画像ペアを順次選択し、毎回画像ペアを選択した後、前記特徴点ペア及び前記第１基本行列に従って、選択された画像ペアが前記初期化条件を満たして、初期画像ペアとして決定されるまで、前記画像ペアが前記初期化条件を満たすか否かを決定するように構成される、
    請求項２８に記載の点群モデルの構築装置。
30. 前記点群モデルの構築装置は、
    前記特徴点ペア及び前記第１基本行列に従って、前記画像ペアが前記初期化条件を満たすか否かを決定するように構成され、具体的には、
    前記画像ペアの第１基本行列に従って、少なくとも１グループの変位変数を決定し、各グループの変位変数に対して、特徴点ペアの特徴点をそれぞれ三角化して、各グループの変位変数に対応する三次元点を形成し、及び、各グループの三次元点の再投影誤差及び三角化角度に従って、前記三次元点をフィルタリングし、
    数が最も多い１グループの三次元点の数が、事前設定された第１数の閾値より大きいことに応答して、対応する変位変数を第１変位変数として決定し、
    複数回の計算によって取得された基本行列から、内点数が点数閾値より大きいか等しい基本行列を選択し、各基本行列に従って、少なくとも１グループの変位変数をそれぞれ決定し、各グループの変位変数に対して、特徴点ペアの特徴点をそれぞれ三角化して、各グループの変位変数に対応する三次元点を形成し、及び、各グループの三次元点の再投影誤差及び三角化角度に従って、前記三次元点をフィルタリングし、各基本行列の数が最も多い１グループの三次元点に対応する変位変数を保持し、
    各基本行列の保持された変位変数と前記第１変位変数との差が事前設定された範囲を満たす場合、前記画像ペアが前記初期化条件を満たすと決定するように構成され、
    前記変位変数は、回転変数及び並進変数を含む、
    請求項２９に記載の点群モデルの構築装置。
31. 前記点群モデルの構築装置はさらに、
    初期画像ペアの２つのパノラマ画像上の初期三次元点の再投影誤差を最小化することによって、各パノラマ画像のカメラ位置姿勢及び初期三次元点の位置を最適化し、及び／又は、
    毎回登録画像のカメラ位置姿勢を決定した後、前記登録画像上の三次元点の再投影誤差を最小化することによって、前記登録画像のカメラ位置姿勢を最適化し、及び／又は、
    毎回前記登録画像の特徴点を三角化して、対応する三次元点を形成し、及び登録済み画像の第３特徴点を三角化して、対応する三次元点を形成した後、各登録済み画像上の各三次元点の再投影誤差を最小化することによって、各登録済み画像のカメラ位置姿勢及び各三次元点の位置を最適化するように構成される、
    請求項２８に記載の点群モデルの構築装置。
32. 前記点群モデルの構築装置はさらに、
    各パノラマ画像に対応する空間に従って、対応するマッチングされるパノラマ画像を決定し、又は、
    事前設定されたコロケーションルールに従って、各パノラマ画像に対応するマッチングされるパノラマ画像を決定するように構成される、
    請求項２１に記載の点群モデルの構築装置。
33. メモリと、プロセッサとを備える、電子機器であって、
    前記メモリは、プロセッサで実行可能なコンピュータ命令を記憶するように構成され、
    前記プロセッサは、前記コンピュータ命令を実行するときに、請求項１ないし１６のいずれか一項に記載の点群モデルの構築方法を実行するように構成される、前記電子機器。
34. コンピュータプログラムが記憶された、コンピュータ可読記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行されるときに、請求項１ないし１６のいずれか一項に記載の点群モデルの構築方法を実現する、前記コンピュータ可読記憶媒体。
35. コンピュータ可読コードを含む、コンピュータプログラムであって、
    前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器内のプロセッサは、請求項１ないし１６のいずれか一項に記載の点群モデルの構築方法を実現する、前記コンピュータプログラム。

Images