JP7453470B2 - ３次元再構成及び関連インタラクション、測定方法及び関連装置、機器 - Google Patents

Description

（関連出願への相互参照）
本開示は、出願番号が２０２１１００３１５０２．０であり、出願日が２０２１年１月１１日であり、出願名称が「３次元再構成及び関連インタラクション、測定方法及び関連装置、機器」である中国特許出願に基づいて提出され、当該中国特許出願の優先権を主張し、当該中国特許の全ての内容がここで参照により本開示に組み込まれる。

本開示は、コンピュータビジョン技術分野に関し、特に３次元再構成及び関連インタラクション、測定方法及び関連装置、機器に関する。

情報技術の発展及び電子技術のレベルの向上に伴い、人々は、携帯電話、タブレットコンピュータなどの、撮影デバイスが統合された移動端末を使用して、実際のシーンにおける物体を３次元で再構成する傾向が高くなり、したがって、３次元再構成によって得られた３次元モデルを使用して、移動端末で拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、ゲームなどのアプリケーションを実現する。

しかしながら、撮影デバイスが実際のシーンにおける物体をスキャンして撮影する場合、撮影デバイスから取得された画像に異なる程度のノイズがあり、現在の主流のカメラポーズパラメータソルビング方法では、幾つかの誤差が生じることが避けられず、誤差がスキャン及び撮影の進行につれて累積し続けるため、３次元モデルの効果に影響を与え、また、３次元再構成プロセス全体において、スキャン及び撮影の視野範囲の拡大につれて、新しく撮影された画像が継続的に組み込まれ、計算負荷も徐々に増大する。これに鑑み、どのように３次元再構成の効果を高め、３次元再構成のための計算負荷を軽減するかは、解決すべき緊急の問題になる。

本開示は、３次元再構成方法及び関連装置、機器を提供する。

本開示の第１の態様による３次元再構成方法は、撮影デバイスが再構成待ち目標をスキャンすることにより得られた複数のフレームの処理待ち画像を取得することと、各フレームの処理待ち画像と撮影デバイスのキャリブレーションパラメータを使用して、各フレームの処理待ち画像の再構成待ち目標に属する目標画素点及びそのカメラポーズパラメータを決定することと、所定の分割ポリ―シに従って、各フレームの処理待ち画像の画像データを対応するデータセットに順次分割することであって、画像データが少なくとも目標画素点を含むことと、各データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータを順次使用して、各データセットのポーズ最適化パラメータを決定することと、各データセットのポーズ最適化パラメータを使用して、データセットに含まれる画像データが属する処理待ち画像のカメラポーズパラメータを調整することと、所定の３次元再構成方式及び処理待ち画像の調整後のカメラポーズパラメータを使用して、処理待ち画像の画像データに対して再構成処理を実行して、再構成待ち目標の３次元モデルを取得することと、を含む。

したがって、撮影デバイスが再構成待ち目標をスキャンすることにより得られた処理待ち画像と撮影デバイスのキャリブレーションパラメータにより、各フレームの処理待ち画像の再構成待ち目標に属する目標画素点及びそのカメラポーズパラメータを決定し、所定の分割ポリシーに従って、各フレームの処理待ち画像の画像データを対応するデータセットに順次分割し、それによって各データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータを順次使用して、各データセットのポーズ最適化パラメータを決定し、さらに各データセットのポーズ最適化パラメータがその前にあるデータセットのポーズパラメータに基づいて決定されてもよく、したがって、各データセットのポーズ最適化パラメータを使用して、データセットに含まれる画像データの属する処理待ち画像のカメラポーズパラメータを調整する場合、スキャンプロセスに累積されたカメラポーズパラメータの誤差をなくすことに役立つため、所定の３次元再構成方式と処理待ち画像の調整後のカメラポーズパラメータを使用して、処理待ち画像の画像データに対して再構成処理を実行して、得られた再構成待ち目標の３次元モデルの効果が効果的に高まり、かつデータセットを単位としてカメラポーズパラメータの誤差をなくすことにより、計算量を減らすことができ、それによって計算負荷を軽減することに役立つ。

本開示の第２の態様による３次元再構成に基づくインタラクション方法は、再構成待ち目標の３次元モデルを取得することであって、３次元モデルが第１の態様における３次元再構成方法によって得られることと、所定の視覚慣性ナビゲーション方式により、撮影デバイスが配置されているシーンの３次元地図を構築し、３次元地図における撮影デバイスの現在のポーズ情報を取得することと、ポーズ情報に基づいて、撮影デバイスによって現在撮影されているシーン画像に３次元モデルを表示することと、を含む。

したがって、シーンの３次元地図における撮影デバイスのポーズ情報に基づいて、再構成待ち目標の３次元モデルを現在の撮影されているシーン画像に表示することにより、仮想物体と実際のシーンとの幾何学的整合性の融合を実現することができ、且つ３次元モデルが上記第１の態様における３次元再構成方法によって得られるため、３次元再構成の効果を高め、さらに仮想と現実との幾何学的整合性の融合効果を高めることができ、これは、ユーザ体験を向上させることに役立つ。

本開示の第３の態様による３次元再構成に基づく測定方法は、再構成待ち目標の３次元モデルを取得することであって、３次元モデルが上記第１の態様における３次元再構成方法によって得られることと、ユーザが３次元モデルで設定した複数の測定ポイントを受信することと、複数の測定ポイントの間の距離を取得し、再構成待ち目標上の複数の測定ポイントに対応する位置の間の距離を取得することと、を含む。

したがって、ユーザが３次元モデルで設定した複数の測定ポイントを受信することにより、複数の測定ポイントの間の距離を取得し、さらに再構成待ち目標上の複数の測定ポイントに対応する位置の間の距離を取得して、それによって実際のシーンにおける物体の測定ニーズを満たすことができ、且つ３次元モデルが上記第１の態様における３次元再構成方法により得られるため、３次元再構成の効果を高め、さらに測定の精度を向上させることができる。

本開示の第４態様による３次元再構成装置は、画像取得モジュール、第１の決定モジュール、データ分割モジュール、第２の決定モジュール、パラメータ調整モジュール及びモデル再構成モジュールを備え、画像取得モジュールは、撮影デバイスが再構成待ち目標をスキャンすることにより得られた複数のフレームの処理待ち画像を取得するように構成され、第１の決定モジュールは、各フレームの処理待ち画像と撮影デバイスのキャリブレーションパラメータを使用して、各フレームの処理待ち画像の再構成待ち目標に属する目標画素点及びそのカメラポーズパラメータを決定するように構成され、データ分割モジュールは、所定の分割ポリ―シに従って、各フレームの処理待ち画像の画像データを対応するデータセットに順次分割するように構成され、画像データが少なくとも目標画素点を含み、第２の決定モジュールは、各データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータを順次使用して、各データセットのポーズ最適化パラメータを決定するように構成され、パラメータ調整モジュールは、各データセットのポーズ最適化パラメータを使用して、データセットに含まれる画像データの属する処理待ち画像のカメラポーズパラメータを調整するように構成され、モデル再構成モジュールは、所定の３次元再構成方式及び処理待ち画像の調整後のカメラポーズパラメータを使用して、処理待ち画像の画像データに対して再構成処理を実行して、再構成待ち目標の３次元モデルを取得するように構成される。

本開示の第５態様による３次元再構成に基づくインタラクション装置は、モデル取得モジュール、マッピング及び位置決めモジュール及び表示インタラクションモジュールを備え、モデル取得モジュールは、再構成待ち目標の３次元モデルを取得するように構成され、３次元モデルが上記第４態様における３次元再構成方法によって得られ、マッピング及び位置決めモジュールは、所定の視覚慣性ナビゲーション方式により、撮影デバイスが配置されているシーンの３次元地図を構築し、３次元地図における撮影デバイスの現在のポーズ情報を取得するように構成され、表示インタラクションモジュールは、ポーズ情報に基づいて、撮影デバイスによって現在撮影されているシーン画像に３次元モデルを表示するように構成される。

本開示の第６態様による３次元再構成に基づく測定装置は、モデル取得モジュール、表示インタラクションモジュール及び距離取得モジュールを備え、モデル取得モジュールは、再構成待ち目標の３次元モデルを取得するように構成され、３次元モデルが上記第４態様における３次元再構成装置により得られ、表示インタラクションモジュールは、ユーザが３次元モデルで設定した複数の測定ポイントを受信するように構成され、距離取得モジュールは、複数の測定ポイントの間の距離を取得し、再構成待ち目標上の複数の測定ポイントに対応する位置の間の距離を取得するように構成される。

本開示の第７態様による電子機器は、互いに結合されたメモリとプロセッサを備え、プロセッサは、上記第１の態様における３次元再構成方法を実現し、又は上記第２の態様における３次元再構成に基づくインタラクション方法を実現し、又は上記第３の態様における３次元再構成に基づく測定方法を実現するために、メモリに記憶されたプログラム命令を実行するように構成される。

本開示の第８態様によるコンピュータ可読記憶媒体は、プログラム命令を記憶し、プログラム命令がプロセッサに実行されると上記第１の態様における３次元再構成方法を実現し、又は上記第２の態様における３次元再構成に基づくインタラクション方法を実現し、又は上記第３の態様における３次元再構成に基づく測定方法を実現する。

本開示の第９態様によるコンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で動作し、電子機器のプロセッサに実行される場合、上記第１の態様における３次元再構成方法を実現し、又は上記第２の態様における３次元再構成に基づくインタラクション方法を実現し、又は上記第３の態様における３次元再構成に基づく測定方法を実現する。

本開示の第１０の態様によるコンピュータプログラム製品は、コンピュータで動作する場合、コンピュータに、上記第１の態様における３次元再構成方法を実行させ、又は上記第２の態様における３次元再構成に基づくインタラクション方法を実行させ、又は上記第３の態様における３次元再構成に基づく測定方法を実行させる。

上記解決策では、各データセットのポーズ最適化パラメータがその前にあるデータセットのポーズパラメータに基づいて決定されてもよく、したがって、各データセットのポーズ最適化パラメータを使用して、データセットに含まれる画像データの属する処理待ち画像のカメラポーズパラメータを調整する場合、スキャンプロセスに累積されたカメラポーズパラメータの誤差をなくすことに役立つため、所定の３次元再構成方式と処理待ち画像の調整後のカメラポーズパラメータを使用して、処理待ち画像の画像データに対して再構成処理を実行して、得られた再構成待ち目標の３次元モデルの効果が効果的に高まり、かつデータセットを単位としてカメラポーズパラメータの誤差をなくすことにより、計算量を減らすことができ、これは計算負荷を軽減することに役立つ。
例えば、本願は以下の項目を提供する。
（項目１）
３次元再構成方法であって、
撮影デバイスが再構成待ち目標をスキャンすることにより得られた複数のフレームの処理待ち画像を取得することと、
前記処理待ち画像の各フレームと前記撮影デバイスのキャリブレーションパラメータを使用して、前記再構成待ち目標に属する前記処理待ち画像の各フレームの目標画素点及びそのカメラポーズパラメータを決定することと、
所定の分割ポリシーに従って、前記処理待ち画像の各フレームの画像データを対応するデータセットに順次分割することであって、前記画像データは少なくとも、前記目標画素点を含むことと、
各前記データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータを順次使用して、各前記データセットのポーズ最適化パラメータを決定することと、
各前記データセットのポーズ最適化パラメータを使用して、前記データセットに含まれる画像データの属する前記処理待ち画像のカメラポーズパラメータを調整することと、
所定の３次元再構成方式及び前記処理待ち画像の調整後のカメラポーズパラメータを使用して、前記処理待ち画像の画像データに対して再構成処理を実行して、前記再構成待ち目標の３次元モデルを取得することと、を含む、３次元再構成方法。
（項目２）
前記各前記データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータを順次使用して、各前記データセットのポーズ最適化パラメータを決定することは、
各前記データセットを現在のデータセットとして順次使用し、時系列が前記現在のデータセットの前に配置されている少なくとも１つのデータセットを候補データセットとして選択することと、
前記現在のデータセットの画像データと前記候補データセットの画像データを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定することと、
少なくとも前記候補データセットのポーズ最適化パラメータ、及び前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得し、少なくとも前記候補データセットのポーズ最適化パラメータを更新することと、を含む
項目１に記載の３次元再構成方法。
（項目３）
前記少なくとも前記候補データセットのポーズ最適化パラメータ、及び前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得し、少なくとも前記候補データセットのポーズ最適化パラメータを更新することは、
前記現在のデータセット及び時系列がその前に配置されている前記候補データセットにそれぞれ関連付けられた各空間変換パラメータに対応する２つのデータセットをデータセットペアとして使用することと、
各前記データセットペアの空間変換パラメータ、及びそれぞれのポーズ最適化パラメータを使用して、前記ポーズ最適化パラメータに関する目標関数を構築することと、
所定の解法によって前記目標関数を解いて、前記現在のデータセット及び時系列がその前に配置されている前記候補データセットのそれぞれに対応するデータセットに含まれるデータセットのポーズ最適化パラメータを取得することと、を含む
項目２に記載の３次元再構成方法。
（項目４）
前記現在のデータセットの画像データと前記候補データセットの画像データを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定することは、
前記候補データセットと前記現在のデータセット内で、所定のマッチング条件を満たす１グループのマッチング待ち画像データを検索することと、
各グループの前記マッチング待ち画像データから抽出された、所定の画像特徴に基づいて、各グループの前記マッチング待ち画像データ間のマッチング画素点対を取得することと、
前記マッチング画素点対のうち、前記現在のデータセットに属する画素点を３次元空間にマッピングし、第１の３次元マッチングポイントを取得し、前記マッチング画素点対のうち、前記候補データセットに属する画素点を前記３次元空間にマッピングして、第２の３次元マッチングポイントを取得することと、
前記第１の３次元マッチングポイントと前記第２の３次元マッチングポイントとを位置合わせして、前記空間変換パラメータを取得することと、を含む
項目２に記載の３次元再構成方法。
（項目５）
前記第１の３次元マッチングポイントと前記第２の３次元マッチングポイントとを位置合わせして、前記空間変換パラメータを取得することは、
前記第１の３次元マッチングポイントと前記第２の３次元マッチングポイントとの第１のポーズ変換パラメータを取得することと、
前記第１のポーズ変換パラメータと所定のポーズ変換パラメータを使用して、前記第１の３次元マッチングポイントに対してポーズ最適化を実行して、第１の最適化マッチングポイントと第２の最適化マッチングポイントとをそれぞれ取得することと、
前記第２の３次元マッチングポイントと、前記第１の最適化マッチングポイントおよび前記第２の最適化マッチングポイントとのそれぞれの一致度を計算し、前記一致度の高い最適化マッチングポイントが使用するポーズ変換パラメータを第２のポーズ変換パラメータとして選択することと、
前記第２のポーズ変換パラメータを初期値とし、所定の位置合わせ方式によって前記第１の３次元マッチングポイントと前記第２の３次元マッチングポイントを位置合わせして、前記現在のデータセットと前記候補データセットとの空間変換パラメータを取得することと、を含む
項目４に記載の３次元再構成方法。
（項目６）
前記現在のデータセットの画像データと前記候補データセットの画像データを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定した後、及び少なくとも前記候補データセットのポーズ最適化パラメータ、及び前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得する前に、前記３次元再構成方法は、
前記現在のデータセットと各前記候補データセットとの空間変換パラメータから、所定のパラメータスクリーニング条件を満たす空間変換パラメータを選択することをさらに含み、
前記所定のパラメータスクリーニング条件は、前記空間変換パラメータに関連する前記候補データセットが前記現在のデータセットと隣接すること、前記空間変換パラメータを使用して、前記第１の３次元マッチングポイントをポーズ最適化することにより得られた最適化マッチングポイントと、前記第２の３次元マッチングポイントとの一致度が所定の一致度閾値より大きいことのいずれか１つを含む
項目４に記載の３次元再構成方法。
（項目７）
時系列が前記現在のデータセットの前に配置されている少なくとも１つのデータセットを候補データセットとして選択することは、
前記現在のデータセット及び時系列がその前に配置されているデータセットの画像データの所定の画像特徴を使用して、Ｂａｇ ｏｆ Ｗｏｒｄｓモデルを構築することと、
前記現在のデータセットにおける所定の時系列に位置する属する処理待ち画像の画像データをマッチング待ち画像データとして選択することと、
前記Ｂａｇ ｏｆ Ｗｏｒｄｓモデルの所定の範囲から、前記マッチング待ち画像データの所定の画像特徴との類似度スコアが所定の類似度閾値より大きい所定の画像特徴をクエリすることと、
クエリされた所定の画像特徴の属する画像データが所在するデータセット、及び前記現在のデータセットと隣接するデータセットを前記候補データセットとして使用することと、を含み、
前記所定の範囲は、属するデータセットが前記現在のデータセットと隣接せず、且つ前記現在のデータセットに含まれない画像データの所定の画像特徴を含む
項目２に記載の３次元再構成方法。
（項目８）
前記Ｂａｇ ｏｆ Ｗｏｒｄｓモデルの所定の範囲から、前記マッチング待ち画像データの所定の画像特徴との類似度スコアが所定の類似度閾値より大きい所定の画像特徴をクエリする前に、前記３次元再構成方法は、
前記現在のデータセットと隣接するデータセットにおける各前記画像データと前記マッチング待ち画像データとの類似度スコアのうちの最大スコア値を取得することと、
前記最大スコア値の所定の倍数と所定のスコア値のいずれか１つを所定の類似度閾値として使用することと、をさらに含む
項目７に記載の３次元再構成方法。
（項目９）
前記所定の分割ポリシーに従って、前記処理待ち画像の各フレームの画像データを対応するデータセットに順次分割することは、
前記処理待ち画像の各フレームを現在の処理待ち画像として順次使用することと、
現在の処理待ち画像の画像データを分割する場合、既存の前記データセットの最後のデータセットが所定のオーバーフロー条件を満たすと、前記最後のデータセットにおける最新の複数のフレームの前記処理待ち画像の画像データを取得し、新しい前記最後のデータセットとして新しく作成された前記データセットに記憶し、前記現在の処理待ち画像の画像データを新しい前記最後のデータセットに分割することと、を含む
項目１に記載の３次元再構成方法。
（項目１０）
前記所定のオーバーフロー条件は、
前記最後のデータセットに含まれる前記画像データに対応する前記処理待ち画像のフレーム数が所定のフレーム数閾値より大きいか等しいこと、前記最後のデータセットのいずれかの前記画像データが属する処理待ち画像のカメラ位置と前記現在の処理待ち画像のカメラ位置との距離が所定の距離閾値より大きいこと、前記最後のデータセットのいずれかの前記画像データが属する処理待ち画像のカメラ向き角度と前記現在の処理待ち画像のカメラ向き角度との差が所定の角度閾値より大きいことのいずれか１つを含み、
前記カメラ位置と前記カメラ向き角度は、前記処理待ち画像のカメラポーズパラメータを使用して計算されるものである
項目９に記載の３次元再構成方法。
（項目１１）
前記処理待ち画像の各フレームは、カラーデータと深度データとを含み、前記処理待ち画像の各フレームと前記撮影デバイスのキャリブレーションパラメータを使用して、前記再構成待ち目標に属する前記処理待ち画像の各フレームの目標画素点を決定することは、
前記カラーデータとの位置合わせ後の深度データに含まれる各画素点の法線ベクトルと、前記処理待ち画像の重力方向との夾角を取得することと、
前記各画素点を３次元空間で前記重力方向に投影して、前記３次元空間における前記各画素点の高さの値を取得することと、
前記夾角が所定の角度条件を満たす画素点の高さの値を分析して、前記再構成待ち目標の平面高さを取得することと、
前記平面高さを使用して、前記カラーデータにおける前記再構成待ち物体に属する目標画素点をスクリーニングすることと、を含む
項目１－１０のいずれか一項に記載の３次元再構成方法。
（項目１２）
前記夾角が所定の角度条件を満たす画素点の高さの値を分析して、前記再構成待ち目標の平面高さを取得することは、
前記夾角が所定の角度条件を満たす前記画素点の高さの値を高さセットとして使用することと、
前記高さセット内の高さの値に対してクラスタ分析を実行して、前記再構成待ち目標の平面高さを取得することと、を含む
項目１１に記載の３次元再構成方法。
（項目１３）
前記各前記データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータを順次使用して、各前記データセットのポーズ最適化パラメータを決定した後、前記３次元再構成方法は、
各前記データセットの画像データを３次元空間に順次マッピングして、各前記データセットに対応する３次元ポイントクラウドを取得することと、
各前記データセットの前記ポーズ最適化パラメータを使用して、それに対応する前記３次元ポイントクラウドを調整することと、をさらに含む
項目１－１２のいずれか一項に記載の３次元再構成方法。
（項目１４）
３次元再構成に基づくインタラクション方法であって、
再構成待ち目標の３次元モデルを取得することであって、前記３次元モデルは、項目１－１３のいずれか一項に記載の３次元再構成方法を使用して取得されるものであることと、
所定の視覚慣性ナビゲーション方式を使用して、撮影デバイスが配置されているシーンの３次元地図を構築し、前記３次元地図における前記撮影デバイスの現在のポーズ情報を取得することと、
前記ポーズ情報に基づいて、前記撮影デバイスによって現在撮影されているシーン画像に前記３次元モデルを表示することと、を含む、前記３次元再構成に基づくインタラクション方法。
（項目１５）
３次元再構成に基づく測定方法であって、
再構成待ち目標の３次元モデルを取得することであって、前記３次元モデルは、項目１－１３のいずれか一項に記載の３次元再構成方法を使用して取得されるものであることと、
ユーザが３次元モデルで設定した複数の測定ポイントを受信することと、
前記複数の測定ポイントの間の距離を取得して、前記再構成待ち目標上の前記複数の測定ポイントに対応する位置の間の距離を取得することと、を含む、前記３次元再構成に基づく測定方法。
（項目１６）
３次元再構成装置であって、
撮影デバイスが再構成待ち目標をスキャンすることにより得られた複数のフレームの処理待ち画像を取得するように構成される画像取得部と、
前記処理待ち画像の各フレームと前記撮影デバイスのキャリブレーションパラメータを使用して、前記再構成待ち目標に属する前記処理待ち画像の各フレームの目標画素点及びそのカメラポーズパラメータを決定するように構成される第１の決定部と、
所定の分割ポリシーに従って、前記処理待ち画像の各フレームの画像データを対応するデータセットに順次分割するように構成されるデータ分割部であって、前記画像データは少なくとも、前記目標画素点を含むデータ分割部と、
各前記データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータを順次使用して、各前記データセットのポーズ最適化パラメータを決定するように構成される第２の決定部と、
各前記データセットのポーズ最適化パラメータを使用して、前記データセットに含まれる画像データが属する処理待ち画像のカメラポーズパラメータを調整するように構成されるパラメータ調整部と、
所定の３次元再構成方式及び前記処理待ち画像の調整後のカメラポーズパラメータを使用して、前記処理待ち画像の画像データに対して再構成処理を実行して、前記再構成待ち目標の３次元モデルを取得するように構成されるモデル再構成部と、を備える、前記３次元再構成装置。
（項目１７）
前記第２の決定部は、
各前記データセットを現在のデータセットとして順次使用し、時系列が前記現在のデータセットの前に配置されている少なくとも１つのデータセットを候補データセットとして選択するように構成されるデータセット選択サブ部と、
前記現在のデータセットの画像データと前記候補データセットの画像データを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定するように構成される空間変換パラメータサブ部と、
少なくとも前記候補データセットのポーズ最適化パラメータ、及び前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得し、少なくとも前記候補データセットのポーズ最適化パラメータを更新するように構成されるポーズ最適化パラメータサブ部と、を備える
項目１６に記載の３次元再構成装置。
（項目１８）
前記ポーズ最適化パラメータサブ部は、
前記現在のデータセット及び時系列がその前に配置されている前記候補データセットにそれぞれ関連付けられた各空間変換パラメータに対応する２つのデータセットをデータセットペアとして使用するように構成されるデータセットペア部と、
各前記データセットペアの空間変換パラメータ、及びそれぞれのポーズ最適化パラメータを使用して、前記ポーズ最適化パラメータに関する目標関数を構築するように構成される目標関数構築部と、
所定の解法によって前記目標関数を解いて、前記現在のデータセット及び時系列がその前に配置されている前記候補データセットのそれぞれに対応するデータセットに含まれるデータセットのポーズ最適化パラメータを取得するように構成される目標関数解決部と、を備える
項目１７に記載の３次元再成装置。
（項目１９）
前記空間変換パラメータサブ部は、
前記候補データセットと前記現在のデータセット内で、所定のマッチング条件を満たす１グループのマッチング待ち画像データを検索するように構成される画像データ検索部と、
各グループの前記マッチング待ち画像データから抽出された、所定の画像特徴に基づいて、各グループの前記マッチング待ち画像データ間のマッチング画素点対を取得するように構成されるマッチング画素点選択部と、
前記マッチング画素点対のうち、前記現在のデータセットに属する画素点を３次元空間にマッピングし、第１の３次元マッチングポイントを取得し、前記マッチング画素点対のうち、前記候補データセットに属する画素点を前記３次元空間にマッピングして、第２の３次元マッチングポイントを取得するように構成される３次元空間マッピング部と、
前記第１の３次元マッチングポイントと前記第２の３次元マッチングポイントとを位置合わせして、前記空間変換パラメータを取得するように構成される３次元マッチングポイント位置合わせ部と、を備える
項目１７に記載の３次元再構成装置。
（項目２０）
３次元マッチングポイント位置合わせ部は、
前記第１の３次元マッチングポイントと前記第２の３次元マッチングポイントとの第１のポーズ変換パラメータを取得するように構成される第１のポーズ変換パラメータサブ部と、
前記第１のポーズ変換パラメータと所定のポーズ変換パラメータを使用して、前記第１の３次元マッチングポイントに対してポーズ最適化を実行して、第１の最適化マッチングポイントと第２の最適化マッチングポイントとをそれぞれ取得するように構成される３次元マッチングポイント最適化サブ部と、
前記第２の３次元マッチングポイントと、前記第１の最適化マッチングポイントおよび前記第２の最適化マッチングポイントとのそれぞれの一致度を計算し、前記一致度の高い最適化マッチングポイントが使用するポーズ変換パラメータを第２のポーズ変換パラメータとして選択するように構成される第２のポーズ変換パラメータサブ部と、
前記第２のポーズ変換パラメータを初期値とし、所定の位置合わせ方式によって前記第１の３次元マッチングポイントと前記第２の３次元マッチングポイントとを位置合わせして、前記現在のデータセットと前記候補データセットとの空間変換パラメータを取得するように構成される空間変換パラメータサブ部と、を備える
項目１９に記載の３次元再構成装置。
（項目２１）
前記空間変換パラメータサブ部は、
前記現在のデータセットの画像データと前記候補データセットの画像データを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定した後、及び少なくとも前記候補データセットのポーズ最適化パラメータ、及び前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得する前に、前記現在のデータセットと各前記候補データセットとの空間変換パラメータから、所定のパラメータスクリーニング条件を満たす空間変換パラメータを選択するように構成される変換パラメータスクリーニングユニットをさらに備え、
前記所定のパラメータスクリーニング条件は、前記空間変換パラメータに関連する前記候補データセットが前記現在のデータセットと隣接すること、前記空間変換パラメータを使用して、前記第１の３次元マッチングポイントをポーズ最適化することにより得られた最適化マッチングポイントと、前記第２の３次元マッチングポイントとの一致度が所定の一致度閾値より大きいことのいずれか１つを含む
項目１９に記載の３次元再構成装置。
（項目２２）
前記データセット選択サブ部は、
前記現在のデータセット及び時系列がその前に配置されているデータセットの画像データの所定の画像特徴を使用して、Ｂａｇ ｏｆ Ｗｏｒｄｓモデルを構築するように構成されるＢａｇ ｏｆ Ｗｏｒｄｓモデル構築部と、
属する処理待ち画像の前記現在のデータセットの所定の時系列に位置する画像データをマッチング待ち画像データとして選択するように構成されるマッチング待ち画像データユニットと、
前記Ｂａｇ ｏｆ Ｗｏｒｄｓモデルの所定の範囲から、前記マッチング待ち画像データの所定の画像特徴との類似度スコアが所定の類似度閾値より大きい所定の画像特徴をクエリするように構成される画像特徴クエリユニットと、
クエリされた所定の画像特徴の属する画像データが所在するデータセット、及び前記現在のデータセットと隣接するデータセットを前記候補データセットとして使用するように構成される候補データセットユニットと、を備え、
前記所定の範囲は、属するデータセットが前記現在のデータセットと隣接せず、且つ前記現在のデータセットに含まれない画像データの所定の画像特徴を含む
項目１６に記載の３次元再構成装置。
（項目２３）
前記データセット選択サブ部は、
前記Ｂａｇ ｏｆ Ｗｏｒｄｓモデルの所定の範囲から、前記マッチング待ち画像データの所定の画像特徴との類似度スコアが所定の類似度閾値より大きい所定の画像特徴をクエリする前に、前記現在のデータセットと隣接するデータセットにおける各前記画像データと前記マッチング待ち画像データとの類似度スコアのうちの最大スコア値を取得するように構成される最大類似度スコア値取得ユニットと、
前記最大スコア値の所定の倍数と所定のスコア値のいずれか１つを所定の類似度閾値として使用するように構成される所定の類似度閾値決定ユニットと、をさらに備える
項目２２に記載の３次元再構成装置。
（項目２４）
前記データ分割部は、
前記処理待ち画像の各フレームを現在の処理待ち画像として順次使用するように構成される現在処理待ち画像決定サブ部と、
現在の処理待ち画像の画像データを分割する場合、既存の前記データセットの最後のデータセットが所定のオーバーフロー条件を満たすと、前記最後のデータセットにおける最新の複数のフレームの前記処理待ち画像の画像データを取得し、新しい前記最後のデータセットとして新しく作成された前記データセットに記憶し、前記現在の処理待ち画像の画像データを新しい前記最後のデータセットに分割するように構成されるデータ処理サブ部と、を備える
項目１６に記載の３次元再構成装置。
（項目２５）
前記所定のオーバーフロー条件は、
前記最後のデータセットに含まれる前記画像データに対応する前記処理待ち画像のフレーム数が所定のフレーム数閾値より大きいか等しいこと、前記最後のデータセットのいずれかの前記画像データが属する処理待ち画像のカメラ位置と前記現在の処理待ち画像のカメラ位置との距離が所定の距離閾値より大きいこと、前記最後のデータセットのいずれかの前記画像データが属する処理待ち画像のカメラ向き角度と前記現在の処理待ち画像のカメラ向き角度との差が所定の角度閾値より大きいことのいずれか１つを含み、
前記カメラ位置と前記カメラ向き角度は、前記処理待ち画像のカメラポーズパラメータを使用して計算されるものである
項目２４に記載の３次元再構成装置。
（項目２６）
前記処理待ち画像の各フレームは、カラーデータと深度データとを含み、第１の決定部は、
前記カラーデータとの位置合わせ後の深度データに含まれる各画素点の法線ベクトルと、前記処理待ち画像の重力方向との夾角を取得するように構成される夾角取得サブ部と、
前記各画素点を３次元空間で前記重力方向に投影し、前記３次元空間における前記各画素点の高さの値を取得するように構成される高さ取得サブ部と、
前記夾角が所定の角度条件を満たす画素点の高さの値を分析して、前記再構成待ち目標の平面高さを取得するように構成される高さ分析サブ部と、
前記平面高さによって前記カラーデータにおける前記再構成待ち物体に属する目標画素点をスクリーニングするように構成される画素スクリーニングサブ部と、を備える
項目１６－２６のいずれか一項に記載の３次元再構成装置。
（項目２７）
前記高さ分析サブ部は、
前記夾角が所定の角度条件を満たす前記画素点の高さの値を高さセットとして使用するように構成される高さセット取得ユニットと、
前記高さセット内の高さの値に対してクラスタ分析を実行して、前記再構成待ち目標の平面高さを取得するように構成される高さクラスタ分析ユニットと、を備える
項目２６に記載の３次元再構成装置。
（項目２８）
前記３次元再構成装置は、
各前記データセットの画像データを３次元空間に順次マッピングして、各前記データセットに対応する３次元ポイントクラウドを取得するように構成される３次元マッピング部と、
各前記データセットの前記ポーズ最適化パラメータを使用して、それに対応する前記３次元ポイントクラウドを調整するように構成されるポイントクラウド調整部と、をさらに備える
項目１６－２７のいずれか一項に記載の３次元再構成装置。
（項目２９）
３次元再構成に基づくインタラクション装置であって、
再構成待ち目標の３次元モデルを取得するように構成され、前記３次元モデルは、項目１６に記載の３次元再構成装置により得られるモデル取得部と、
所定の視覚慣性ナビゲーション方式により、撮影デバイスが配置されているシーンの３次元地図を構築し、３次元地図における前記撮影デバイスの現在のポーズ情報を取得するように構成されるマッピング及び位置決め部と、
前記ポーズ情報に基づいて、前記撮影デバイスによって現在撮影されているシーン画像に前記３次元モデルを表示するように構成される表示インタラクション部と、を備える、３次元再構成に基づくインタラクション装置。
（項目３０）
３次元再構成に基づく測定装置であって、
再構成待ち目標の３次元モデルを取得するように構成され、前記３次元モデルは、項目１６に記載の３次元再構成装置により得られるモデル取得部と、
ユーザが前記３次元モデルで設定した複数の測定ポイントを受信するように構成される表示インタラクション部と、
前記複数の測定ポイントの間の距離を取得して、前記再構成待ち目標上の前記複数の測定ポイントに対応する位置の間の距離を取得するように構成される距離取得部と、を備える、３次元再構成に基づく測定装置。
（項目３１）
電子機器であって、
互いに結合されたメモリ及びプロセッサを備え、前記プロセッサは、項目１－１３のいずれか一項に記載の３次元再構成方法を実現し、又は項目１４に記載の３次元再構成に基づくインタラクション方法を実現し、又は項目１５に記載の３次元再構成に基づく測定方法を実現するために、前記メモリに記憶されたプログラム命令を実行するように構成される、電子機器。
（項目３２）
プログラム命令を記憶するコンピュータ可読記憶媒体であって、前記プログラム命令がプロセッサに実行されると、項目１－１３のいずれか一項に記載の３次元再構成方法を実現し、又は項目１４に記載の３次元再構成に基づくインタラクション方法を実現し、又は項目１５に記載の３次元再構成に基づく測定方法を実現する、コンピュータ可読記憶媒体。
（項目３３）
コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で動作し、前記電子機器のプロセッサに実行される場合、項目１－１３のいずれか一項に記載の３次元再構成方法を実現し、又は項目１４に記載の３次元再構成に基づくインタラクション方法を実現し、又は項目１５に記載の３次元再構成に基づく測定方法を実現する、コンピュータプログラム。
（項目３４）
コンピュータで動作する場合、コンピュータに項目１－１３のいずれか一項に記載の３次元再構成方法を実行させ、又は項目１４に記載の３次元再構成に基づくインタラクション方法を実行させ、又は項目１５に記載の３次元再構成に基づく測定方法を実行させる、コンピュータプログラム製品。

本開示の３次元再構成方法の一実施例のフローチャートである。

本開示の３次元再構成方法の一実施例の状態の概略図である。

図１のステップＳ１２の一実施例のフローチャートである。

図１のステップＳ１３の一実施例のフローチャートである。

図１のステップＳ１４の一実施例のフローチャートである。

図５のステップＳ１４１の一実施例のフローチャートである。

図５のステップＳ１４２の一実施例のフローチャートである。

図５のステップＳ１４３の一実施例のフローチャートである。

本開示の３次元再構成に基づくインタラクション方法の一実施例のフローチャートである。

本開示の３次元再構成に基づく測定方法の一実施例のフローチャートである。

本開示の３次元再構成装置の一実施例のフレームワーク概略図である。

本開示による３次元再構成に基づくインタラクション装置の一実施例のフレームワーク概略図である。

本開示の３次元再構成に基づく測定装置の一実施例のフレームワーク概略図である。

本開示の電子機器の一実施例のフレームワーク概略図である。

本開示のコンピュータ可読記憶媒体の一実施例のフレームワーク概略図である。

以下に本明細書の添付の図面と併せて、本開示の実施例の解決策を詳細に説明する。

以下の説明では、限定ではなく説明のために、特定のシステム構造、インターフェース、技術などの具体的な詳細は、本開示を完全に理解するために提案される。

本明細書で用語「システム」及び「ネットワーク」は、本明細書で常に交換可能に使用される。本明細書では「少なくとも１つ」という用語は、関連付けられたオブジェクトの関連関係を説明するためのものだけであり、３種類の関係が存在できることを示し、例えば、Ａ及びＢの少なくとも１つは、Ａが単独で存在すること、Ａ及びＢが同時に存在すること、Ｂが単独で存在することの３つの状況を示すことができる。また、本明細書では文字「／」は、一般的に前後にある関連オブジェクトが「又は」の関係であることを示す。また、本明細書での「複数」とは、２つ又は２つ以上を意味している。

現在、３次元再構成は、コンピュータビジョン及び拡張現実分野の重要な問題であり、モバイルプラットフォームの拡張現実、ゲーム及び３次元プリントなどのアプリケーションで重要な役割を果たす。モバイルプラットフォームで実物のＡＲ効果、例えば骨格駆動を実現する場合、通常、ユーザは、実物を迅速に３次元で再構成することが要求され、したがって、３次元物体スキャン及び再構成技術は、モバイルプラットフォームの拡張現実分野で広く必要とされている。

しかしながら、モバイルプラットフォームでのリアルタイムな３次元物体再構成には多くの問題がある。（１）撮影デバイスのポーズの累積誤差が無くされる。ここで、撮影デバイスから取得されたディープビデオストリームと画像ビデオストリームに異なる程度のノイズがあり、且つ現在の主流のカメラポーズパラメータソルビング方法では幾つかの誤差が生じることが避けられず、当該誤差がスキャンの進行につれて累積し続けるため、最終的なモデル効果に影響を与える。（２）再構成待ち物体の色、サイズ及び形状などの各方面の差が大きいため、再構成方法のロバスト性及び適用性が高く要求され、また、モバイルプラットフォームでの物体スキャン及び再構成には、再構成方法が漸増的再構成モードを有することが要求され、スキャン視野範囲の拡大に伴い、新しく撮影された画像は継続的に組み込まれ、視野に入るモデルの新しい領域は既存のモデルと継続的にマージされ、再構成プロセス全体の計算負荷は増大し、モバイルプラットフォームのコンピューティングリソースは限られている。

これに鑑み、どのように３次元再構成の効果を高め、３次元再構成のための計算負荷を軽減するかは、解決すべき緊急の問題になる。本開示は、３次元再構成及び関連インタラクション、測定方法及び関連装置、デバイスを提供する。撮影デバイスが再構成待ち目標をスキャンすることにより得られた複数のフレームの処理待ち画像を取得し、各フレームの処理待ち画像と撮影デバイスのキャリブレーションパラメータを使用して、各フレームの処理待ち画像の再構成待ち目標に属する目標画素点及びそのカメラポーズパラメータを決定し、各フレームの処理待ち画像の画像データを対応するデータセットに順次分割し、データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データ及びポーズ最適化パラメータを順次使用して、データセットのポーズ最適化パラメータを決定し、データセットのポーズ最適化パラメータを使用して、データセットに含まれる画像データが属する処理待ち画像のカメラポーズパラメータを調整し、処理待ち画像の画像データに対して再構成処理を実行して、再構成待ち目標の３次元モデルを取得する。

上記解決策では、各データセットのポーズ最適化パラメータがその前にあるデータセットのポーズパラメータに基づいて決定されてもよく、したがって、各データセットのポーズ最適化パラメータを使用して、データセットに含まれる画像データの属する処理待ち画像のカメラポーズパラメータを調整する場合、スキャンプロセスに累積されたカメラポーズパラメータの誤差をなくすことに役立つため、所定の３次元再構成方式と処理待ち画像の調整後のカメラポーズパラメータを使用して、処理待ち画像の画像データに対して再構成処理を実行して、得られた再構成待ち目標の３次元モデルの効果が効果的に高まり、かつデータセットを単位としてカメラポーズパラメータの誤差をなくすことにより、計算量を減らすことができ、それによって計算負荷を軽減することに役立つ。

３次元再構成方法、３次元再構成に基づくインタラクション方法及び３次元再構成に基づく測定方法の実行本体は、電子機器であってもよく、電子機器は、スマートフォン、デスクトップコンピュータ、タブレットコンピュータ、ノートブックコンピュータ、スマートスピーカー、デジタルアシスタント、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）／仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）機器、スマートウェアラブルデバイスなどのタイプのエンティティデバイスであってもよい。それはエンティティデバイスで動作するソフトウェア、例えばアプリケーションプログラム、ブラウザなどであってもよい。ここで、エンティティデバイスで動作するオペレーティングシステムは、Ａｎｄｒｏｉｄシステム、Ａｐｐｌｅシステム（ＩＯＳ：Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、ｌｉｎｕｘ、ｗｉｎｄｏｗｓなどを含むが、これらに限定されない。
図１を参照すると、図１は本開示の３次元再構成方法の一実施例のフローチャートである。前記３次元再構成方法は、以下のステップを含むことができる：

ステップＳ１１において、撮影デバイスが再構成待ち目標をスキャンすることにより得られた複数のフレームの処理待ち画像を取得する。

撮影デバイスは、携帯電話、タブレットコンピュータなどの移動端末を含むことができるが、これらに限定されない。本開示の方法の実施例におけるステップは、移動端末によって実行されてもよいし、スキャン及び撮影機能を備えた撮影デバイスに接続されたマイクロコンピュータなどの処理機器によって実行されてもよく、ここでは限定されない。１つの実施シーンでは、撮影デバイスは、可視光をセンシングすることができるカラーカメラと、構造化光深度カメラなどの、再構成待ち目標の深度をセンシングすることができる深度カメラとを含むことができ、撮影デバイスがカラーカメラと深度カメラを含む場合、各フレームの処理待ち画像には、カラーデータと深度データが含まれる。

再構成待ち目標は、人間、動物、物体（彫像、家具など）を含むことができるが、これらに限定されない。例えば、彫像を再構成待ち目標として使用する場合、彫像をスキャンすることにより、最終的に彫像の３次元モデルを取得することができ、また、これに基づいて、彫像の３次元モデルに対してレンダリング、骨結合などの操作を行うことができ、ここでは限定されず、再構成待ち目標は、実際の適用ニーズに応じて決定されてもよく、ここでは限定されない。

ステップＳ１２において、各フレームの処理待ち画像と撮影デバイスのキャリブレーションパラメータを使用して、各フレームの処理待ち画像の再構成待ち目標に属する目標画素点及びそのカメラポーズパラメータを決定する。

キャリブレーションパラメータは、撮影デバイスの内部パラメータを含むことができ、例えば、撮影デバイスがカラーカメラを含む場合、キャリブレーションパラメータは、カラーカメラの内部パラメータを含むことができ、撮影デバイスが深度カメラを含む場合、又はラーカメラと深度カメラとを含む場合、このように類推することができ、ここでは例を１つずつ挙げない。１つの実施シーンでは、内部パラメータは、カメラの焦点距離、カメラの主点座標を含むことができるが、これらに限定さず、一実施シーンでは、内部パラメータは、マトリックス形式で表されてもよく、例えば、カラーカメラの内部パラメータは次のように表されてもよい：

ここで、式（１）では、

は、カラーカメラの焦点距離を表し、

は、カラーカメラの主点座標を表す。また、深度カメラの内部パラメータ

は、このように類推されてもよく、ここでは例を１つずつ挙げない。

キャリブレーションパラメータは、撮影デバイスの深度カメラとカラーカメラの間の外部パラメータをさらに含むことができ、世界座標系からカメラ座標系への変換を表すために用いられる。本開示の実施例では、外部パラメータは、３＊３の回転マトリックス

と３＊１の並進マトリックス

とを含むことができる。回転マトリックス

を使用して、世界座標系における座標点

を左乗算し、並進マトリックス

と合計することにより、世界座標系における座標点

のカメラ座標系における対応する座標点

を取得することができる。

実際のスキャンプロセスでは、再構成待ち目標に属しない物体（例えば、地面、壁など）がスキャンされることは避けられなく、したがって、後続の３次元再構成の効果を高めるために、各フレームの処理待ち画像の再構成待ち目標に属する目標画素点を決定する必要がある。１つの実施シーンでは、予め訓練された画像分割モデル（例えば、Ｕｎｅｔモデル）を使用して、処理待ち画像に対して画像分割を行うことにより、処理待ち画像の再構成待ち目標に属する目標画素点を取得することができ、別の実施シーンでは、再構成待ち目標をそれとの色収差が大きい環境に置くこともでき、例えば、再構成待ち目標が乳白色の石膏彫像である場合、再構成待ち目標をスキャンのために暗い環境に置くことができ、これにより、処理待ち画像の環境色に属する画素点を無効にマーキングし、再構成待ち目標色に属する画素点を有効にマーキングし、有効にマーキングされた画素点で構成された連通ドメインのサイズを比較し、最大の連通ドメインの画素点を再構成待ち目標に属する画素点として決定する。

再構成待ち目標の完全な３次元モデルを取得するために、撮影デバイスは、異なるポーズで再構成待ち目標をスキャンする必要があり、したがって、異なる処理待ち画像を撮影するために用いられるカメラポーズパラメータが異なる可能性があり、したがって、カメラポーズパラメータの誤差を無くし、後続の３次元再構成の効果を高めるために、まず、各フレームの処理待ち画像のカメラポーズパラメータを決定する必要がある。１つの実施シーンでは、各フレームの処理待ち画像の再構成待ち目標に属する目標画素点

及びその前にあるフレームの処理待ち画像の再構成待ち目標に属する目標画素点

、撮影ダバイスの内部パラメータ

を使用して、相対ポーズパラメータ

の目標関数を構築し、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ：反復最接近点）アルゴリズムを利用して当該目標関数を最小化し、それによって相対ポーズパラメータ

を求めることができ、ここで、相対ポーズパラメータ

は、その前にあるフレームの処理待ちカメラポーズパラメータ

に対する各フレームの処理待ち画像のカメラポーズパラメータ

の相対パラメータである。ここで、相対ポーズパラメータ

の目標関数については、次の式を参照することができる：

上記式のうち、式（２）から式（５）において、

は重みであり、

は、画素点

（画素点

が目標画素点である）のカラーデータ

における２次元画像座標であり、

は、深度データ

をカラーデータ

に投影した後の画素点

の深度値である。したがって、上記式において、

は、現在のフレームの画素点

が相対ポーズパラメータ

、内部パラメータ

を使用して、その前にあるフレームに変換された後の理論上の対応する画素点の３次元空間における位置座標を表すことができ、当該相対ポーズパラメータ

が正確であるほど、当該対応する画素点の前のフレームのカラーデータ

における画素値

と画素点

の現在のフレームのカラーデータ

における画素値

との二乗和誤差

が小さくなり、且つ当該対応する画素点の前のフレームの深度データ

の深度値

と対応する画素点の３次元空間における

座標値

との二乗和誤差

も小さくなり、したがって、上記目標関数

を最適化することにより、相対ポーズパラメータ

を正確に取得することができ、それによってカメラポーズパラメータの精度を向上させることができる。

その前にあるフレームの処理待ち画像のカメラポーズパラメータ

に対する各フレームの処理待ち画像のカメラポーズパラメータ

の相対ポーズパラメータ

が得られた後、相対ポーズパラメータ

の逆（即ち

）をその前にあるフレームの処理待ち画像のカメラポーズパラメータ

と左乗算し、現在のフレームの処理待ち画像のカメラポーズパラメータ

を取得することができる。一実施シーンでは、処理待ち画像が撮影デバイスによってスキャンされて得られた複数のフレームの処理待ち画像のうちの第１のフレームである場合、そのカメラポーズパラメータは、単位マトリックスとして初期化されてもよく、本開示の実施例では、単位マトリックスは、主対角線上の要素が全て１であり、他の要素が０である方形マトリックスである。また、別の実施シーンでは、処理待ち画像へのスキャン、及び目標画素点とカメラポーズパラメータの決定を同時に行うことができ、即ちスキャンによって１フレームの処理待ち画像が得られた後、即ちスキャンして得られた処理待ち画像に対して目標画素点とカメラポーズパラメータの決定を実行して、それと同時に、スキャンによって次のフレームの処理待ち画像を取得して、これにより、再構成待ち目標に対して３次元再構成をリアルタイム且つオンラインで行うことができる。

ステップＳ１３において、所定の分割ポリシーに従って、各フレームの処理待ち画像の画像データを対応するデータセットに順次分割し、ここで、画像データは少なくとも、目標画素点を含む。

１つの実施シーンでは、分割する場合、各データセットが収容可能な画像データが属する処理待ち画像の最大フレーム数（例えば、８フレーム、９フレーム、１０フレームなど）を設定することができるため、現在のデータセットに含まれる画像データが属する処理待ち画像のフレーム数が最大フレーム数に達するときに、新しいデータセットを作成し、分割されていない処理待ち画像の画像データを新しく作成されたデータセットに分割し続け、このように循環し、スキャンが完了するまで続く。別の実施シーンでは、ポーズが類似し（例えば、カメラ向き角度が類似したり、カメラ位置が類似したりする等）、且つ時系列で連続する処理待ち画像の画像データを同一のデータセットに分割することができ、ここでは具体的に限定しない。さらなる別の実施シーンでは、各フレームの処理待ち画像の画像データを分割する場合、画像データが属する処理待ち画像とその前にあるフレームの処理待ち画像とのポーズ差（例えば、カメラ向き角度差、カメラ位置距離）が所定の下限値より小さいか否かを判断することができ、そうである場合、分割される処理待ち画像を無視し、次のフレームの処理待ち画像の画像データの分割操作を処理することもできる。さらなる別の実施シーンでは、隣接するデータセットの間には同じ処理待ち画像に属する画像データが存在してもよく、例えば、隣接するデータセットの間には２フレームの同じ処理待ち画像に属する画像データが存在してもよく、又は、隣接するデータセットの間には３フレームの同じ処理待ち画像に属する画像データが存在してもよく、ここでは限定しない。

１つの実施シーンでは、各フレームの処理待ち画像の画像データは、再構成待ち目標に属する目標画素点（深度データにおける目標画素点、カラーデータにおける目標画素点など）のみを含むことができ、別の実施シーンでは、各フレームの処理待ち画像の画像データは、再構成待ち目標に属しない画素点をさらに含むことができ、例えば、データセットに分割された画像データは、処理待ち画像全体の画像データであってもよく、この場合、画像データは、後続の目標画素点の検索を容易にするために、目標画素点の位置座標をさらに含むことができる。

図２を参照すると、図２は本開示の３次元再構成方法の一実施例の状態の概略図である。図２に示すように、再構成待ち目標は、人物像石膏彫塑であり、各フレームの処理待ち画像２１は、カラーデータ２２と深度データ２３を含むことができ、再構成待ち目標に属する目標画素点を取得して、それによって目標画素点を少なくとも含む画像データ２４を対応するデータセット２５に順次分割する。

ステップＳ１４において、各データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データ及びポーズ最適化パラメータを順次使用して、各データセットのポーズ最適化パラメータを決定する。

１つの実施シーンでは、各データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データを順次用いて両者間の空間変換パラメータ

を決定することができ、これにより、両者間の空間変換パラメータ

、及びそれぞれのポーズ最適化パラメータ

を使用して、ポーズ最適化パラメータ

に関する目標パラメータを構築することができ、さらに目標関数を解いて、そのポーズ最適化パラメータ

及び時系列がその前に配置されているデータセットのポーズ最適化パラメータを取得することができ、これにより、その前にあるデータセットのポーズ最適化パラメータ

を更新することができる。したがって、各データセットのポーズ最適化パラメータ

を順次ソルビングする場合、時系列がその前に配置されているデータセットのポーズ最適化パラメータ

が考慮され、即ちデータセットとその前にあるデータセットのポーズ最適化パラメータは、互いに関連し、且つ新しいデータセットの継続的な生成につれて、前のデータセットのポーズ最適化パラメータも継続的に更新され、このようにして最後のデータセットまで循環し、それによって各データセットの最終的なポーズ最適化パラメータを取得することができ、そのため、累積された誤差を効果的に無くすことができる。１つの実施シーンでは、データセットが１番目のデータセットである場合、１番目のデータセットのポーズ最適化パラメータは、単位マトリックスとして初期化されてもよい。１つの実施シーンでは、新しいデータセットを作成するたびに、その前にあるデータセットのポーズ最適化パラメータを計算し、関連するデータセットのポーズ最適化パラメータの更新を実現することができ、このように循環し、スキャンが終了するまで続き、各データセットの最終的なポーズ最適化パラメータが得られ、それによって計算量の均一化に役立ち、さらに計算負荷の軽減に役立つことができる。撮影デバイスが携帯電話、タブレットコンピュータなどの移動端末である場合、撮影された処理待ち画像を対応するデータセットに分割するとともに、データセットのポーズ最適化パラメータを解いて、更新することができ、それによって再構成待ち目標の３次元再構成をリアルタイムかつオンラインで行うことができる。なお、本開示の実施例及び下記の他の開示された実施例では、別段の指定がない限り、時系列は、データセット内の処理待ち画像の全体的な撮影時系列を表すことができる。例えば、データセット１は、撮影時系列ｔ＝１の処理待ち画像、撮影時系列ｔ＝２の処理待ち画像、及び撮影時系列ｔ＝３の処理待ち画像を含み、データセット２は、撮影時系列ｔ＝４の処理待ち画像、撮影時系列ｔ＝５の処理待ち画像、及び撮影時系列ｔ＝６の処理待ち画像を含み、データセット１内の処理待ち画像の全体的な撮影時系列がデータセット２内の処理待ち画像の全体的な撮影時系列に位置する場合、データセット１の時系列は、データセット２の前にあると見なすことができる。他の場合、このように類推することができ、ここで例を１つずつ挙げない。

１つの実施シーンでは、図２を参照すると、スキャンプロセスに動的調整を実現し、ユーザ体験を向上させ、３次元再構成のための計算負荷を低減するために、データセット２５内の画像データセットの画像データを３次元空間に順次マッピングして、各データセットに対応する３次元ポイントクラウドを取得することができる。

１つの実施シーンでは、画像データが属する処理待ち画像のカメラポーズパラメータと撮影デバイスの内部パラメータ

を使用して、画像データを３次元空間にマッピングし、３次元ポイントクラウドを取得することができ、まず、画像データを３次元同次にし、画素座標を取得することができ、カメラポーズパラメータ

と、内部パラメータ

を使用して、同次になった後の画素座標を左乗算し、３次元空間における３次元ポイントクラウドを取得することができる。別の実施シーンでは、データセットのポーズ最適化パラメータ

を使用して、３次元ポイントクラウドを左乗算し、動的調整を実現することができる。即ち、各データセットのポーズ最適化パラメータが得られた後、データセットのカメラポーズパラメータを使用して、それに対応する３次元ポイントクラウドを調整することができる。さらなる別の実施シーンでは、３次元ポイントクラウドを所定の色（例えば、緑色）で示すことができ、ここでは限定されない。

ステップＳ１５において、各データセットのポーズ最適化パラメータを使用して、データセットに含まれる画像データが属する処理待ち画像のカメラポーズパラメータを調整する。

ここで、各データセットのポーズ最適化パラメータ

を使用して、その中に含まれる画像データの属する処理待ち画像のカメラポーズパラメータ

を左乗算し、それによってカメラポーズパラメータの調整を実現することができる。例えば、データセットＡにおいてデータセットＡに分割された時系列が画像データ０１（処理待ち画像０１に属する）、画像データ０２（処理待ち画像０２に属する）、画像データ０３（処理待ち画像０３に属する）を含むため、データセットＡのポーズ最適化パラメータ

を使用して、処理待ち画像０１のカメラポーズパラメータ

、処理待ち画像０２のカメラポーズパラメータ

、処理待ち画像０３のカメラポーズパラメータ

をそれぞれ左乗算し、それによってデータセットＡに含まれる画像データの属する処理待ち画像のカメラポーズパラメータの調整を実現することができる。１つの実施シーンでは、隣接するデータセットの間に同じ処理待ち画像に属する画像データがある場合、２つのデータセットのいずれかのポーズ最適化パラメータのみを使用して、同じ処理待ち画像のカメラポーズパラメータを調整することができる。例えば、依然として上記データセットＡを例とすると、それに隣接するデータセットＢは、画像データ０３（処理待ち画像０３に属する）、画像データ０４（処理待ち画像０４に属する）を含むため、データセットＡのポーズ最適化パラメータ

を使用して、処理待ち画像０１のカメラポーズパラメータ

、処理待ち画像０２のカメラポーズパラメータ

、処理待ち画像０３のカメラポーズパラメータ

を左乗算する場合、データセットＢに含まれる画像データの属する処理待ち画像のカメラポーズパラメータを調整するときに、データセットＢのポーズ最適化パラメータ

を使用して、処理待ち画像０３のカメラポーズパラメータ

を左乗算せず、処理待ち画像０４のカメラポーズパラメータを左乗算することができる。

１つの実施シーンでは、図２を参照すると、各データセットのポーズ最適化パラメータが得られた後、各データセットのポーズ最適化パラメータを使用して、データセットに含まれる画像データの属する処理待ち画像のカメラポーズパラメータ２６を調整し、調整後のカメラポーズパラメータ２７を取得する。各データセットの調整後のポーズ最適化パラメータ２７が得られた後、データセットの調整後のカメラポーズパラメータ２７を使用して、それに対応する３次元ポイントクラウド２８を調整することができ、これにより、ユーザは、３次元ポイントクラウドの動的調整を感じることができる。

ステップＳ１６において、所定の３次元再構成方式及び処理待ち画像の調整後のカメラポーズパラメータを使用して、処理待ち画像の画像データに対して再構成処理を実行して、再構成待ち目標の３次元モデルを取得する。

所定の３次元再構成方式は、ＴＳＤＦ（Ｔｒｕｎｃａｔｅｄ Ｓｉｇｎｅｄ Ｄｉｓｔａｎｃｅ Ｆｕｎｃｔｉｏｎ：切り捨てられた符号付き距離関数）再構成方式、ポアソン再構成方式を含むことができるがこれらに限定されない。ＴＳＤＦ再構成方式は、３Ｄ再構成で隠し面を計算する方式であり、具体的には、ここで説明を省略する。ポアソン再構成のコア思想は、３次元ポイントクラウドが再構成待ち目標の表面位置を表し、その法線ベクトルが内側と外側の方向を表すことであり、１つの物体から派生したインジケーター関数を暗黙的にフィッティングすることにより、１つの滑らかな物体表面推定を取得することができ、具体的には、説明を省略する。１つの実施シーンでは、撮影デバイスが再構成待ち目標を撮影する場合、上記ステップによって再構成待ち目標の３次元モデルをリアルタイムで再構成し、現在の撮影されている画像フレームと同じ位置と角度で重ね合わせてレンダリングすることができ、それによって再構成待ち目標の主な３次元モデルをユーザに表示することができる。別の実施シーンでは、３次元プリンターを使用して、上記ステップで再構成された３次元モデルをプリントし、再構成待ち目標に対応する実物モデルを取得することができる。

上記解決策では、各データセットのポーズ最適化パラメータがその前にあるデータセットのポーズパラメータに基づいて決定されてもよく、したがって、各データセットのポーズ最適化パラメータを使用して、データセットに含まれる画像データの属する処理待ち画像のカメラポーズパラメータを調整する場合、スキャンプロセスに累積されたカメラポーズパラメータの誤差をなくすことに役立つため、所定の３次元再構成方式と処理待ち画像の調整後のカメラポーズパラメータを使用して、処理待ち画像の画像データに対して再構成処理を実行して、得られた再構成待ち目標の３次元モデルの効果が効果的に高まり、かつデータセットを単位としてカメラポーズパラメータの誤差をなくすことにより、計算量を減らすことができ、それによって計算負荷を軽減することに役立つ。

図３を参照すると、図３は図１のステップＳ１２の一実施例のフローチャートである。ここで、図３は図１の目標画素点の決定プロセスのフローチャートである。当該決定プロセスは、以下のステップを含むことができる。

ステップＳ１２１において、カラーデータとの位置合わせ後の深度データに含まれる各画素点の法線ベクトルと処理待ち画像の重力方向との夾角を取得する。
ここで、各フレームの処理待ち画像は、カラーデータ

と深度データ

とを含み、深度データ

をカラーデータ

に投影させて、位置合わせした後の深度データ

を取得することができる。１つの実施シーンでは、式（６）を使用して、深度データ

における画素点の２次元画像座標

をその深度値

で３次元同次座標

に変換することができる：

式（７）に基づいて、撮影デバイスにおける深度カメラの内部パラメータ

を使用して、３次元同次座標

を３次元空間に逆投影した後、深度カメラ及びカラーカメラの回転マトリックス

と並進マトリックス

を使用して、剛性変換を実行して、カラーカメラの内部パラメータ

を２次元平面に投影し、カラーデータにおける対象の画素点座標

を取得する：

上記式では、カラーデータにおける対象の画素点座標

は、３次元座標であり、それを２次元座標に変換するために、式（８）に基づいて、その深度値、即ち３番目の値

を使用して、その１番目の値と第２の値と除算し、カラーデータにおける対象の画素点座標

の２次元座標

を取得する：

また、上記の除算結果に、所定の浮動小数点数（例えば０．５）をそれぞれ追加することもできるが、ここでは説明を省略する。

３次元空間において、同じ線上に位置しない任意の３つの点で１つの平面を決定することができるため、当該平面に垂直なベクトルを取得することができ、したがって、各画素点の法線ベクトルは、それに隣接する２つの画素点で１つの平面を決定し、さらに平面に垂直な平面をソルビングすることにより得られる。各画素点の法線ベクトルの精度を向上させるために、各画素点の複数の近傍画素点（例えば、８つの近傍画素点）を取得し、複数の近傍画素点の任意の２つと各画素点をそれぞれ用いて３次元空間で１つの平面を決定し、平面に垂直なベクトルを解いて、最後に複数のベクトルの平均値を各画素点の法線ベクトルとして計算することができる。画素点

を例とすると、その深度値

に基づいてその３次元同次座標を取得することができ、内部パラメータ

を３次元同次座標と左乗算し、画素点

が３次元空間に逆投影された３次元点

を取得することができ、画素点

の３＊３ウィンドウにおける８つの近傍画素点を反時計回りに配列し、それぞれ３次元空間に逆投影し、対応する３次元点を取得して、

に記すると、画素点

の３次元法線ベクトル

は、次のように表されてもよい：

上記式では、式（９）において、

は、クロス積を表し、

は余りを取ることを表し、例えば、

は、１を８で割った余り、即ち１を表し、他の場合はこのように類推することができ、ここで例を１つずつ挙げない。

１つの実施シーンでは、法線ベクトルと重力方向との夾角は、コサイン式で計算されてもよく、ここでは説明を省略する。

ステップＳ１２２において、各画素点を３次元空間で重力方向に投影し、各画素点の３次元空間における高さの値を取得する。

依然として画素点

を例とすると、上記ステップを参照して３次元空間における３次元点

を取得して、３次元点

の重力方向における投影３次元点を取得し、それによって投影３次元点の３番目の値（ｚ座標）を画素点

の３次元空間における高さの値

として使用することができる。

上記ステップＳ１２１で各画素点の法線ベクトルと処理待ち画像の重力方向との夾角を求めるステップ、及びステップＳ１２２で各画素点の３次元区間における高さの値を求めるステップは、順番に従って実行されてもよいし、同時に実行されてもよく、ここでは限定しない。

ステップＳ１２３において、夾角が所定の角度条件を満たす画素点の高さの値を分析し、再構成待ち目標の平面高さを取得する。

１つの実施シーンでは、所定の角度条件は、画素点の法線ベクトルと処理待ち画像の重力方向との夾角が所定の角度閾値（例えば、１５度、１０度など）以下であることを含むことができ、したがって、上記ステップＳ１２１で得られた各画素点に対応する夾角に基づいて、所定の角度条件に従ってスクリーニングし、条件を満たす画素点を取得して、次に上記ステップＳ１２２で得られた各画素点の３次元空間の高さの値から、上記の所定の角度条件を満たす画素点の高さの値をクエリすることができ、上記の所定の角度条件を満たす画素点の高さの値を高さセットとして使用し、次に高さセット内の高さの値に対してクラスタ分析を実行して、再構成待ち目標の平面高さを取得することができ、これにより、高さの値を用いるだけで、再構成待ち目標の平面高さを取得することができ、計算負荷を軽減することができる。１つの実施シーンでは、クラスタ分析を行う場合、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ：Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）アルゴリズムを使用して、高さセットをクラスタリングし、１つの高さの値、現在の平面高さを毎回ランダムに選択し、平面高さとの高さ差が所定の落差範囲（例えば２ｃｍ）内にある内点の数量を統計し、内点の数量又は反復の回数が所定のクラスタリング条件を満たす場合、全ての内点の高さの値を１つの候補高さとして平均し、高さセットにおける残りの高さの値に対して次回のクラスタリングを実行して、高さセット内の数量が所定の閾値より小さくなるまで続き、複数の候補高さが存在する場合、値が最も小さく且つ対応する内点の数量が所定の閾値の候補高さを最終的な平面高さとして選択することができる。

ステップＳ１２４において、平面高さによってカラーデータのうちの再構成待ち物体に属する目標画素点をスクリーニングする。

ここで、高さの値が平面高さより大きい画素点をスクリーニングし、カラーデータにおいて、スクリーニングされた画素点に対応する画素点を候補画素点としてクエリし、候補画素点がカラーデータにおいて構成した最大連通ドメインを決定し、最大連通ドメインのうちの候補画素点を再構成待ち目標に属する目標画素点として使用することができる。

上記実施例とは異なり、重力方向と組み合わせて各フレームの処理待ち画像内の再構成待ち目標に属する目標画素点を自動的に識別し、３次元再構成の計算負荷を軽減することができ、且つユーザの介入を回避することができ、したがって、ユーザ体験を向上させることができる。
図４を参照すると、図４は図１のステップＳ１３の一実施例のフローチャートである。ここで、図４は各フレームの処理待ち画像の画像データを対応するデータセットに分割する一実施例のフローチャートである。それは以下のステップを含むことができる：

ステップＳ１３１において、各フレームの処理待ち画像を現在の処理待ち画像として順次使用する。

ここで、あるフレームの処理待ち画像の画像データを分割する場合、それを現在の処理待ち画像として使用することができる。

ステップＳ１３２において、現在の処理待ち画像の画像データを分割する場合、既存のデータセットにおける最後のデータセットが所定のオーバーフロー条件を満たすか否かを判断し、そうである場合、ステップＳ１３３を実行し、そうでない場合、ステップＳ１３４を実行する。

既存のデータセットは１つだけである可能性があり、このデータセットは、最後のデータであり、又は、既存のデータセットは複数である可能性があり、最後のデータセットは、複数のデータセットのうち、最も遅く作成されたものである。例えば、既存のデータセットは、データセットＡ、データセットＢ、データセットＣであり、データ集合Ｃが最も遅く作成される場合、データセットＣを最後のデータセットとして使用することができる。

１つの実施シーンでは、データセットがフレーム数、撮影デバイスの角度及び位置変化に従って、適応的に構築され得るために、データセットの構築をより堅牢にし、所定のオーバーフロー条件は、最後のデータセットに含まれる画像データに対応する処理待ち画像のフレーム数が所定のフレーム数閾値（例えば、８フレーム、９フレーム、１０フレームなど）以上であること、最後のデータセットのいずれかの画像データが属する処理待ち画像のカメラ位置と現在の処理待ち画像のカメラ位置との距離が所定の距離閾値（例えば、２０ｃｍ、２５ｃｍ、３０ｃｍなど）より大きいこと、最後のデータセットのいずれかの画像データが属する処理待ち画像のカメラ向き角度と現在の処理待ち画像のカメラ向き角度との差が所定の角度閾値（例えば、２５度、３０度、３５度など）より大きいことのいずれか１つを含むことができる。ここで、カメラ向き角度とカメラ位置は、処理待ち画像のカメラポーズパラメータを使用して計算され得るものである。ここで、カメラポーズパラメータ

は、マトリックス

で表されてもよく、即ちカメラポーズパラメータは、回転マトリックス

と並進マトリックス

を含み、カメラ位置

は、次のように表されてもよい：

上記式では、式（１０）において、

はマトリックスの転置を表す。また、

の第３行のベクトルをカメラ向き角度として表すことができる。

ステップＳ１３３において、最後のデータセットにおける最新の複数のフレームの処理待ち画像データを取得し、新しい最後のデータセットとして新しく作成されたデータセットに記憶し、現在の処理待ち画像の画像データを新しい最後のデータセットに分割する。

依然として上記の既存のデータセットＡ、データセットＢ、データセットＣを例とし、画像データ１０（処理待ち画像１０に属する）を分割する場合、現在の最後のデータセットＣが所定のオーバーフロー条件を満たすと、最後のデータセットＣにおける最新の複数のフレームの処理待ち画像の画像データを取得し、例えば、最後のデータセットＣには画像データ０５（処理待ち画像０５に属する）、画像データ０６（処理待ち画像０６に属する）、画像データ０７（処理待ち画像０７に属する）、画像データ０８（処理待ち画像０８に属する）、画像データ０９（処理待ち画像０９に属する）が含まれ、その中の処理待ち画像０７～処理待ち画像０９の画像データを取得することができ、又は、その中の処理待ち画像０８～処理待ち画像０９の画像データを取得することもでき、ここでは限定せず、取得された画像データを新しく作成されたデータセットに記憶し、例えば、処理待ち画像０７～処理待ち画像０９の画像データをデータセットＤに記憶し、このとき、データセットＤには画像データ０７（処理待ち画像０７に属する）、画像データ０８（処理待ち画像０８に属する）、画像データ０９（処理待ち画像０９に属する）が時系列で含まれ、データセットＤを新しい最後のデータセットとして使用し、画像データ１０（処理待ち画像１０に属する）をデータセットＤに分割する。

１つの実施シーンでは、現在の処理待ち画像の画像データを分割する場合、最後のデータセットが所定のオーバーフロー条件を満たしない可能性があり、このときに下記のステップＳ１３４を実行することができる。

ステップＳ１３４において、現在の処理待ち画像の画像データを最後のデータセットに分割する。

依然として上記の既存のデータセットＡ、データセットＢ、データセットＣを例とし、画像データ１０（処理待ち画像１０に属する）を分割する場合、現在の最後のデータセットＣが所定のオーバーフロー条件を満たしないと、画像データ１０（処理待ち画像１０に属する）を最後のデータセットＣに分割する。

上記の実施例とは異なり、現在の処理待ち画像の画像データを分割する場合、既存のデータセットの最後のデータセットが所定のオーバーフロー条件を満たすと、最後のデータセットにおける最新の複数のフレームの処理待ち画像の画像データを取得し、新しい最後のデータセットとして新しく作成されたデータセットに記憶し、したがって、隣接するデータセット間に複数のフレームの同じ処理待ち画像の画像データがあり、隣接するデータセット間の位置合わせ効果を高めることに役立ち、さらに３次元再構成の効果を高めることに役立つ。
図５を参照すると、図５は図１のステップＳ１４の一実施例のフローチャートである。ここで、図５はデータセットのポーズ最適化パラメータを決定する一実施例のフローチャートである。それは以下のステップを含むことができる：

ステップＳ１４１において、各データセットを現在のデータセットとして順次使用し、時系列が現在のデータセットの前に配置されている少なくとも１つのデータセットを候補データセットとして選択する。

依然として上記の既存のデータセットＡ、データセットＢ、データセットＣを例とし、データセットＢのポーズ最適化パラメータを決定する場合、データセットＢを現在のデータセットとして使用することができ、データセットＣのポーズ最適化パラメータを決定する場合、データセットＣを現在のデータセットとして使用することができる。また、新しいデータセットを作成する場合、新しく作成されたデータセットの前のデータセットのポーズ最適化パラメータを決定することができ、例えば、上記実施例のように、画像データ１０（処理待ち画像１０に属する）を分割する場合、現在の最後のデータセットＣが所定のオーバーフロー条件を満たすと、新しいデータセットＤを新しく作成し、このとき、データセットＣを現在のデータセットとして使用し、そのポーズ最適化パラメータを決定することができる。
１つの実施シーンでは、ポーズ最適化パラメータの精度を向上させ、それによって３次元再構成効果を高めるために、現在のデータセットの前に配置されているデータセットから、画像データが類似したものを候補データセットとして選択することができ、ここで、図６を参照すると、図６は図５のステップＳ１４１の一実施例のフローチャートであり、以下のステップを含むことができる：

ステップＳ６１において、現在のデータセット及び時系列がその前に配置されているデータセットの画像データの所定の画像特徴を使用して、Ｂａｇ ｏｆ Ｗｏｒｄｓモデルを構築する。

所定の画像特徴は、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）画像特徴を含むことができ、画像データにおけるキーポイントに対して特徴ベクトルを速く作成することができ、且つ特徴ベクトルは、画像データにおける再構成待ち目標を識別するために用いられてもよく、ＦａｓｔとＢｒｉｅｆは、それぞれ特徴検出アルゴリズムとベクトル作成アルゴリズムであり、ここでは詳細な説明を省略する。

Ｂａｇ ｏｆ Ｗｏｒｄｓモデル（Ｂａｇ ｏｆ Ｗｏｒｄｓ）は、自然言語処理と情報検索の下で簡略化された表現モデルであり、Ｂａｇ ｏｆ Ｗｏｒｄｓモデルにおける各々の所定の画像特徴は、独立したものであり、ここでは詳細な説明を省略する。１つの実施シーンでは、１つの新しいデータセットの作成を開始する場合、その前にあるデータセットを現在のデータセットとして使用し、現在のデータセットの画像データの所定の画像特徴を抽出し、Ｂａｇ ｏｆ Ｗｏｒｄｓモデルに追加することができ、このように循環すると、Ｂａｇ ｏｆ Ｗｏｒｄｓモデルは、段階的に拡張されてもよい。１つの実施シーンでは、現在のデータセットとその前にあるデータセットの間には重ね合わせた画像データが存在するため、現在のデータセットにおける画像データの所定の画像特徴を抽出するときに、前のデータセットと重ね合せた画像データについて特徴抽出が行われない。

ステップＳ６２において、属する処理待ち画像の現在のデータセットの所定の時系列にある画像データをマッチング待ち画像データとして選択する。

１つの実施シーンでは、所定の時系列は、先頭、中間及び最後を含むことができ、依然として上記実施例におけるデータセットＣを例とし、データセットＣには画像データ０５（処理待ち画像０５に属する）、画像データ０６（処理待ち画像０６に属する）、画像データ０７（処理待ち画像０７に属する）、画像データ０８（処理待ち画像０８に属する）、画像データ０９（処理待ち画像０９に属する）が含まれ、先頭にある処理待ち画像０５の画像データ０５、中間にある処理待ち画像０７の画像データ０７と最後にある処理待ち画像０９の画像データ０９をマッチング待ち画像データとして選択することができ、他の実施シーンの場合、このように類推することができ、ここで例を１つずつ挙げない。また、所定の時系列は、実際の状況に応じて、先頭、１／４の時系列、１／２の時系列、３／４の時系列、最後に設定されてもよく、ここでは限定されない。

ステップＳ６３において、Ｂａｇ ｏｆ Ｗｏｒｄｓモデルの所定の範囲から、マッチング待ち画像データの所定の画像特徴との類似度スコアが所定の類似度閾値より大きい所定の画像特徴をクエリする。

所定の範囲は、属するデータセットが現在のデータセットと隣接していなく、且つ現在のデータセットに含まれない画像データの所定の画像特徴を含むことができる。依然として上記実施例におけるデータセットＡ、データセットＢとデータセットＣを例とし、現在のデータセットがデータセットＣである場合、所定の範囲は、データセットＡに属する、所定の画像特徴と、データセットＢに属する、所定の画像特徴とを含むことができる。１つの実施シーンでは、所定の類似度閾値は、１つの所定のスコア値、例えば０．０１８、０．０１９、０．０２０などであってもよく、ここでは限定されない。別の実施シーンでは、現在のデータセットと隣接するデータセットにおける各画像データとマッチング待ち画像データとの類似度スコアのうちの最大スコア値

を取得し、最大スコア値

の所定の倍数（例えば、１．５倍、２倍、２．５倍）を所定の類似度閾値として使用することができる。別の実施シーンでは、最大スコア値

の所定の倍数、上記の所定のスコア値のいずれかを所定の類似度閾値として使用することができ、即ち、Ｂａｇ ｏｆ Ｗｏｒｄｓモデルの所定の範囲から、マッチング待ち画像データの所定の画像特徴との類似度スコア

が最大スコア値

の所定の倍数、上記の所定のスコア値のいずれかより大きい所定の画像特徴をクエリすることができ、ここでは限定されない。

ステップＳ６４において、クエリされた所定の画像特徴の属する画像データが所在するデータセット、及び現在のデータセットと隣接するデータセットとを候補データセットとして使用する。

現在のデータセットがデータセットＨであることを例し、先頭にあるマッチング待ち画像データを使用して、データセットＣ、データセットＤをクエリし、中間にあるマッチング待ち画像データを使用して、データセットＤ、データセットＥをクエリし、最後にあるマッチング待ち画像データを使用して、データセットＥ、データセットＦをクエリする場合、データセットＣ～Ｆ及びデータセットＧを現在のデータセットＨの候補データセットとして使用することができる。１つの実施シーンでは、クエリされた所定の画像特徴の属する画像データが所在するデータセットから、類似度スコアが最も大きい所定の数量（例えば、２つ、３つなど）のデータセット、及び現在のデータセットと隣接するデータセットを候補データセットとして選択することができる。依然として現在のデータセットがデータセットＨであることを例すると、データセットＣ～Ｆから類似度スコア

の最も大きい３つのデータセット、及び現在のデータセットと隣接するデータセットＧを候補データセットとして選択することができる。

ステップＳ１４２において、現在のデータセットの画像データと候補データセットの画像データを使用して、現在のデータセットと候補データセットとの空間変換パラメータを決定する。

１つの実施シーンでは、現在のデータセットと候補データセットとの空間変換パラメータの精度を確保し、ポーズ最適化パラメータの精度を向上させ、それによって３次元再構成の効果を高めるために、現在のデータセットと候補データセットの画像データの画像特徴及び３次元空間における位置を組み合わせて、両者間の空間変換パラメータを決定することができ、図７を参照すると、図７は図５のステップＳ１４２の一実施例のフローチャートであり、以下のステップを含むことができる：

ステップＳ７１において、候補データセットと現在のデータセット内で、所定のマッチング条件を満たす１グループのマッチング待ち画像データを検索する。

所定のマッチング条件は、マッチング待ち画像データが属する処理待ち画像のカメラ向き角度間の差が最も小さいことを含むことができ、ここで、各候補データセットに対して、それと現在のデータセットから所定のマッチング条件を満たす１グループのマッチング待ち画像データを検索することができ、説明を容易にするために、現在のデータセットに属するマッチング待ち画像を

に記し、候補データセットに属するマッチング待ち画像データを

に記することができる。

ステップＳ７２において、各グループのマッチング待ち画像データから抽出された、所定の画像特徴に基づいて、各グループのマッチング待ち画像データ間のマッチング画素点対を取得する。

ＲＡＮＳＡＣアルゴリズムを組み合わせて、

の所定の画像特徴（例えば、ＯＲＢ画像特徴）に対してマッチングペアのスクリーニングを実行して、

の間のマッチング画素点を取得することができ、説明を容易にするために、

にそれぞれ記してもよい。ＲＡＮＳＡＣアルゴリズムについては、上記の実施例における関連ステップを参照することができ、ここでは説明を省略する。

ステップＳ７３において、マッチング画素点対のうち、現在のデータセットに属する画素点を３次元空間にマッピングし、第１の３次元マッチングポイントを取得して、マッチング画素点対のうち、候補データセットに属する画素点を３次元空間にマッピングし、第２の３次元マッチングポイントを取得する。

を３次元空間にマッピングし、第１の３次元マッチングポイントを取得して、説明を容易にするために、

に記し、

を３次元空間にマッピングし、第２の３次元マッチングポイントを取得して、説明を容易にするために、

に記する。ここで、

を３次元同次座標にそれぞれ変換し、内部パラメータ

の逆

を使用して、

の３次元同次座標をそれぞれ左乗算し、第１の３次元マッチングポイント

と第２の３次元マッチングポイント

を取得することができる。

ステップＳ７４において、第１の３次元マッチングポイントと第２の３次元マッチングポイントとを位置合わせし、空間変換パラメータを取得する。

ここで、第１の３次元マッチングポイントと第２の３次元マッチングポイントを３次元空間において位置合わせし、両者間の一致度をできる大きくし、それによって両者間の空間変換パラメータを取得することができる。１つの実施シーンでは、第１の３次元マッチングポイントと第２の３次元マッチングポイントとの第１のポーズ変換パラメータを取得することができ、第１の３次元マッチングポイントと第２の３次元マッチングポイントを使用して、第１のポーズ変換パラメータに関する目標関数を構築し、ＳＶＤ（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ：特異値分解）又は非線形最適化などの方式によって目標関数を解いて、第１のポーズ変換パラメータ

を取得することができる。

式（１１）において、

は、３次元空間における第ｉペアの３次元マッチングポイントをそれぞれ表す。

上記目標関数をソルビングすることにより、第１のポーズ変換パラメータ

が得られた後、第１のポーズ変換パラメータ

と所定のポーズ変換パラメータ（例えば、単位マトリックス）を使用して、第１の３次元マッチングポイントに対してポーズ最適化を実行して、第１の最適化マッチングポイントと第２の最適化マッチングポイントとをそれぞれ取得することもでき、ここで、第１のポーズ変換パラメータ

と所定のポーズ変換パラメータを使用して、第１の３次元マッチングポイント

とそれぞれ左乗算し、それによって第１の最適化マッチングポイントと第２の最適化マッチングポイントとをそれぞれ得ることができ、説明を容易にするために、

にそれぞれ記することができる。さらに、第２の３次元マッチングポイント

と、第１の最適化マッチングポイント

および第２の最適化マッチングポイント

とのそれぞれの一致度を計算し、一致度の高い最適化マッチングポイントが使用するポーズ変換パラメータを第２のポーズ変換パラメータとして選択することができ、説明を容易にするために、

に記することができる。ここで、第２の３次元マッチングポイント

と第１の最適化マッチングポイント

との一致度を計算する場合、各第２の３次元マッチングポイント

の所定の範囲内（例えば、５ｃｍの範囲）で第１の最適化マッチングポイント

を検索することができ、検索できる場合、第２の３次元マッチングポイント

を有効してマーキングし、そうでない場合、無効としてマーキングすることができ、全ての第２の３次元マッチングポイント

への検索が完了した後、第２の３次元マッチングポイント

の総数に対する有効としてマーキングされた第２の３次元マッチングポイント

の割合、即ち第２の３次元マッチングポイント

と第１の最適化マッチングポイント

との一致度を計算し、第２の３次元マッチングポイント

と第２の最適化マッチングポイント

との一致度は、このように類推されてもよく、ここでは説明を省略する。

第２のポーズ変換パラメータ

を求めた後、第２のポーズ変換パラメータ

を初期値とし、所定の位置合わせ方式（例えば、ｐｏｉｎｔ－ｔｏ－ｎｏｒｍａｌのＩＣＰ方式）によって第１の３次元マッチングポイント

と第２の３次元マッチングポイント

とを位置合わせし、現在のデータセットと候補データセットとの空間変換パラメータを取得することができ、説明を容易にするために、

に記する。上記ステップを繰り返すことにより、現在のデータセットと各候補データセットの間の空間変換パラメータ

を取得することができる。

ステップＳ１４３において、少なくとも候補データセットのポーズ最適化パラメータ、及び現在のデータセットと候補データセットとの空間変換パラメータを使用して、現在のデータセットのポーズ最適化パラメータを取得し、少なくとも候補データセットのポーズ最適化パラメータを更新する。

１つの実施シーンでは、ポーズ最適化パラメータの精度を向上させるために、現在のデータセットのポーズ最適化パラメータをソルビングする前に、上記空間変換パラメータ

をスクリーニングすることもでき、ここで、現在のデータセットのポーズ最適化パラメータをソルビングするために、現在のデータセットと各候補データセットとの空間変換パラメータ

から、所定のパラメータスクリーニング条件を満たす空間変換パラメータを選択することができる。所定のパラメータスクリーニング条件は、空間変換パラメータ

に関連する候補データセットが現在のデータセットと隣接すること、又は、空間変換パラメータ
を使用して、第１の３次元マッチングポイント

をポーズ最適化することにより得られた最適化マッチングポイントと、第２の３次元マッチングポイント

との一致度が所定の一致度閾値（例えば、６０％、６５％、７０％など）より大きいことを含むことができる。ここで、空間変換パラメータ

を使用して、第１の３次元マッチングポイント

を左乗算し、それによってそれへのポーズ最適化を実現することができる。

ここで、候補データセットのポーズ最適化パラメータ、及び現在のデータセットと候補データセットとの空間変換パラメータを使用して、現在のデータセットのポーズ最適化パラメータに関する目標関数を構築し、目標関数をソルビングすることで、現在のデータセットのポーズ最適化パラメータを取得して、少なくとも候補データセットのポーズ最適化パラメータを更新することができる。また、このように循環し、新しく作成されたデータセットの前にあるデータセットを現在のデータセットとしてそれぞれ用い、再構成待ち目標をスキャンしてデータセットを作成するとともに、ポーズ最適化パラメータを求めることができ、さらに計算量の均一化、計算負荷の軽減に役立ち、再構成待ち目標をリアルタイムかつオンラインで３次元再構成することができる。１つの実施シーンでは、図８を参照すると、図８は図５のステップＳ１４３の一実施例のフローチャートである。それは以下のステップを含むことができる：

ステップＳ８１において、現在のデータセット及び時系列がその前に配置されている候補データセットにそれぞれ関連付けられた各空間変換パラメータに対応する２つのデータセットをデータセットペアとして使用する。

依然として現在のデータセットがデータセットＨであることを例とすると、データセットＣ～ＦとデータセットＧを現在のデータセットＨの候補データセットとして使用し、空間変換パラメータ

に対応する候補データセットＣと現在のデータセットＨを１つのデータセットペアとして使用し、空間変換パラメータ

に対応する候補データセットＤと現在のデータセットＨを１つのデータセットペアとして使用し、空間変換パラメータ

に対応する候補データセットＥと現在のデータセットＨを１つのデータセットペアとして使用し、空間変換パラメータ

に対応する候補データセットＦと現在のデータセットＨを１つのデータセットペアとして使用し、空間変換パラメータ

に対応する候補データセットＧと現在のデータセットＨを１つのデータセットペアとして使用する。また、現在のデータセットＨの前にある各データセット（即ちデータセットＡ～Ｇ）もそれぞれ対応して空間変換パラメータが存在し、例えば、データセットＢについては、データセットＡとの空間変換パラメータが存在してもよく、データセットＢとデータセットＡをデータセットペアとして使用することができ、データセットＣについては、データセットＡとデータＢとの空間変換パラメータが存在してもよく、したがって、データセットＣとデータセットＡをデータセットペアとしてそれぞれ用い、データセットＣとデータセットＢとをデータセットペアとして使用することができ、このように類推し、ここで例を１つずつ挙げなく、空間変換パラメータの解法については、具体的に上記実施例における関連ステップを参照することができる。

ステップＳ８２において、各データセットペアの空間変換パラメータ、及びそれぞれのポーズ最適化パラメータを使用して、ポーズ最適化パラメータに関する目標関数を構築する。
ここで、目標関数は、次のように表されてもよい：

ここで、式（１２）において、

は、各データセットペアに含まれるデータセットの番号（例えば、Ｃ、Ｄ、Ｅなどのアルファベット、又は、１、２、３などのアラビア数字で表す）をそれぞれ表し、

は、各データセットペア間の空間変換パラメータを表し、

は、各データセットペアに含まれるデータセットのそれぞれのポーズ最適化パラメータをそれぞれ表し、

は、最適化式を表し、次のように表されても良い：

式（３）において、

は、

の逆をそれぞれ表す。したがって、データセットの空間変換パラメータが決定されるたびに、目標関数に新しい最適化関係をもたらすことができ、これにより、その前にあるデータセットのポーズ最適化パラメータを再度最適化し、全てのデータセットのポーズ最適化パラメータの決定が完了するまで続き、したがって、スキャンプロセスにおける累積されたポーズ誤差を無くし、ポーズ最適化パラメータの精度を向上させ、３次元再構成の効果を高めることに役立つことができる。１つの実施シーンでは、現在のデータセットが第１のデータセットである場合、そのポーズ最適化パラメータは、単位マトリックスとして初期化されてもよく、上記の実施例における関連ステップを参照することができ、ここでは説明を省略する。

ステップＳ８３において、所定の解法によって目標関数を解いて、現在のデータセット及び時系列がその前に配置されている候補データセットのそれぞれに対応するデータセットに含まれるデータセットのポーズ最適化パラメータを取得する。

上記の式に示すように、上記目標関数を最小化することにより、各データセットペアに含まれるデータセットのポーズ最適化パラメータを取得することができる。依然として、現在のデータセットがデータセットＨであることを例とすると、上記目標関数をソルビングすることにより、現在のデータセットＨのポーズ最適化パラメータを取得して、かつデータセットＣ～Ｇのさらに最適化された後のポーズ最適化パラメータ、及び現在のデータセットＨの前にあるデータセットのさらに最適化された後のポーズ最適化パラメータを取得することができる。新しいデータセットＩを導入し、それに関連する空間変換パラメータを求めた場合、目標関数を構築することにより、データセットＩのポーズ最適化パラメータを取得して、その前にあるデータセットのさらに最適化された後のポーズ最適化パラメータを取得することができ、このように循環すると、ポーズ累積誤差を無くすことにさらに役立つことができる。

上記実施例とは異なり、各データセットを現在のデータセットとして順次使用し、現在のデータセットの前に配置されている少なくとも１つのデータセットを候補データセットとして選択することにより、現在のデータセットの画像データと候補データセットの画像データを使用して、現在のデータセットと候補データセットとの空間変換パラメータを決定し、さらに少なくとも候補データセットのポーズ最適化パラメータ、及び現在のデータセットと候補データセットとの空間変換パラメータを使用して、現在のデータセットのポーズ最適化パラメータを取得し、少なくとも候補データセットのポーズ最適化パラメータを更新することにより、スキャンプロセスに累積されたカメラポーズパラメータの誤差を無くし、ポーズ最適化パラメータの計算のためのデータ量を減少することに役立ち、それによって計算負荷を軽減することに役立つことができる。
図９を参照すると、図９は本開示の３次元再構成に基づくインタラクション方法の一実施例のフローチャートである。前記３次元再構成方法は、以下のステップを含むことができる：

ステップＳ９１において、再構成待ち目標の３次元モデルを取得する。

３次元モデルは、上記のいずれかの３次元再構成方法の実施例におけるステップにより得られてもよく、上記の３次元再構成方法の実施例を参照することができ、ここでは説明を省略する。

ステップＳ９２において、所定の視覚慣性ナビゲーション方式により、撮影デバイスが配置されているシーンの３次元地図を構築し、３次元地図における撮影デバイスの現在のポーズ情報を取得する。

所定の視覚慣性ナビゲーション方式は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ：即時位置決め地図構築）を含むことができ、ＳＬＡＭにより、撮影デバイス（例えば、携帯電話、タブレットコンピュータなど）が配置されている３次元地図を構築し、３次元地図における撮影デバイスの現在のポーズ情報を取得することができる。

１つの実施シーンでは、３次元モデルとの動的インタラクションを実現するために、３次元モデルを骨格結合することもでき、骨格結合とは３次元モデルで骨格システムを架設し、骨格の関節で既定のルールに従って動くことができることを指し、例えば、３次元モデルが牛、羊などの四肢動物である場合、３次元モデルが骨格結合された後、その骨格の関節は、四肢動物の既定のルールに従って動くことができる。

ステップＳ９３において、ポーズ情報に基づいて、撮影デバイスによって現在撮影されているシーン画像に３次元モデルを表示する。

ここで、ポーズ情報は、撮影デバイスの位置及び向きを含むことができる。例えば、撮影デバイスのポーズ情報が、それが地面に向かうことを表す場合、撮影デバイスによって現在撮影されているシーン画像には３次元モデルの上部が表示されてもよく、又は、撮影デバイスのポーズ情報が、その向きが地面に対して鋭角を呈することを表す場合、撮影デバイスによって現在撮影されているシーン画像には３次元モデルの側面が表示されてもよい。１つの実施シーンでは、３次元モデルが骨格結合された後、ユーザによって入力された駆動命令を受信することもでき、これにより、３次元モデルは、ユーザによって入力された駆動命令に従って動くことができ、例えば、３次元モデルが羊である場合、ユーザは、頭を下げたり、歩いたりするようにそれを駆動することができ、ここでは限定されない。３次元モデルが人間又は他の対象である場合、このように類推することができ、ここでは例を１つずつ挙げない。

上記解決策では、シーンの３次元地図における撮影デバイスのポーズ情報に基づいて、再構成待ち目標の３次元モデルを現在の撮影されているシーン画像に表示することにより、仮想物体と実際のシーンとの幾何学的整合性の融合を実現することができ、且つ３次元モデルが上記第１の態様における３次元再構成方法によって得られるため、３次元再構成の効果を高め、さらに仮想と現実との幾何学的整合性の融合効果を高めることができ、これは、ユーザ体験を向上することに役立つ。
図１０を参照すると、図１０は本開示の３次元再構成に基づく測定方法の一実施例のフローチャートである。前記３次元再構成方法は、以下のステップを含むことができる：

ステップＳ１０１０において、再構成待ち目標の３次元モデルを取得する。

３次元モデルは、上記のいずれかの３次元再構成方法の実施例におけるステップにより得られてもよく、上記の３次元再構成方法の実施例を参照することができ、ここでは説明を省略する。

ステップＳ１０２０において、ユーザが３次元モデルで設定した複数の測定ポイントを受信する。

ユーザは、マウスクリック、キーボード入力、ディスプレイタッチなどによって３次元モデルで複数の測定ポイントを設定することができる。測定ポイントの数量は、２つ、３つ、４つなどであってもよく、ここでは限定されい。図２を参照すると、再構成待ち目標が石膏人物像であることを例とすると、ユーザは、３次元モデル２９の両目の中心に測定ポイントをそれぞれ設定することができ、又は、３次元モデル２０９の鼻粱と人中に測定ポイントをそれぞれ設定することもでき、又は、３次元モデル２９の両目の中心、人中に測定ポイントをそれぞれ設定することもでき、ここでは例を１つずつ挙げない。

ステップＳ１０３０において、複数の測定ポイントの間の距離を取得し、再構成待ち目標上の複数の測定ポイントに対応する位置の間の距離を取得する。

図２を参照すると、依然として再構成待ち目標が石膏人物像であることを例とすると、３次元モデル２９の両目の中心間の距離を取得することにより、石膏人物像に対応する両目の中心間の距離を取得することができ、又は、３次元モデル２９の鼻粱と人中との距離を取得することにより、石膏人物像に対応する鼻粱と人中との距離を取得することができ、又は、３次元モデル２９の両目の中心、人中の２つの間の距離を取得することにより、石膏人物像に対応する両目、人中の両者間の距離を取得することができ、それによって実際のシーンにおける物体の測定の利便性を高めることに役立つ。

上記解決策では、ユーザが３次元モデルで設定した複数の測定ポイントを受信することにより、複数の測定ポイントの間の距離を取得し、さらに再構成待ち目標上の複数の測定ポイントに対応する位置の間の距離を取得して、それによって実際のシーンにおける物体の測定ニーズを満たすことができ、且つ３次元モデルが上記第１の態様における３次元再構成方法により得られるため、３次元再構成の効果を高め、さらに測定の精度を向上させることができる。

図１１を参照すると、図１１は本開示の３次元再構成装置１１００の一実施例のフローチャートである。３次元再構成装置１１００は、画像取得部１１１０、第１の決定部１１２０、データ分割部１１３０、第２の決定部１１４０、パラメータ調整部１１５０及びモデル再構成部１１６０を備え、画像取得部１１１０は、撮影デバイスが再構成待ち目標をスキャンすることにより得られた複数のフレームの処理待ち画像を取得するように構成され、第１の決定部１１２０は、各フレームの処理待ち画像と撮影デバイスのキャリブレーションパラメータを使用して、各フレームの処理待ち画像の再構成待ち目標に属する目標画素点及びそのカメラポーズパラメータを決定するように構成され、データ分割部１１３０は、所定の分割ポリ―シに従って、各フレームの処理待ち画像の画像データを対応するデータセットに順次分割するように構成され、画像データが少なくとも目標画素点を含み、第２の決定部１１４０は、各データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データ及びポーズ最適化パラメータを順次使用して、各データセットのポーズ最適化パラメータを決定するように構成され、パラメータ調整部１１５０は、各データセットのポーズ最適化パラメータを使用して、データセットに含まれる画像データの属する処理待ち画像のカメラポーズパラメータを調整するように構成され、モデル再構成部１１６０は、所定の３次元再構成方式及び処理待ち画像の調整後のカメラポーズパラメータを使用して、処理待ち画像の画像データに対して再構成処理を実行して、再構成待ち目標の３次元モデルを取得するように構成される。

幾つかの実施例では、第２の決定部１１４０は、各データセットを現在のデータセットとして順次使用し、現在のデータセットの前に配置されている少なくとも１つのデータセットを候補データセットとして選択するように構成されるデータセット選択サブ部を含み、第２の決定部１１４０は、現在のデータセットの画像データと候補データセットの画像データを使用して、現在のデータセットと候補データセットとの空間変換パラメータを決定するように構成される空間変換パラメータサブ部をさらに含み、第２の決定部１１４０は、少なくとも候補データセットのポーズ最適化パラメータ、及び現在のデータセットと候補データセットとの空間変換パラメータを使用して、現在のデータセットのポーズ最適化パラメータを取得し、少なくとも前記候補データセットのポーズ最適化パラメータを更新するように構成されるポーズ最適化パラメータサブ部をさらに含む。

幾つかの実施例では、ポーズ最適化パラメータサブ部は、現在のデータセット及び時系列がその前に配置されているデータセットにそれぞれ関連付けられた各空間変換パラメータに対応する２つのデータセットをデータセットペアとして使用するように構成されるデータセットペア部を含み、ポーズ最適化パラメータサブ部は、各データセットペアの空間変換パラメータ、及びそれぞれのポーズ最適化パラメータを使用して、ポーズ最適化パラメータに関する目標関数を構築するように構成される目標関数構築部をさらに含み、ポーズ最適化パラメータサブ部は、所定の解法によって目標関数を解いて、現在のデータセット及び時系列がその前に配置されているデータセットのそれぞれに対応するデータセットに含まれるデータセットのポーズ最適化パラメータを取得するように構成される目標関数解決部をさらに含む。

幾つかの実施例では、空間変換パラメータサブ部は、候補データセットと現在のデータセット内で、所定のマッチング条件を満たす１グループのマッチング待ち画像データを検索するように構成される画像データ検索部を含み、空間変換パラメータサブ部は、各グループのマッチング待ち画像データから抽出された、所定の画像特徴に基づいて、各グループのマッチング待ち画像データ間のマッチング画素点対を取得するように構成されるマッチング画素点選択部をさらに含み、空間変換パラメータサブ部は、マッチング画素点対のうち、現在のデータセットに属する画素点を３次元空間にマッピングし、第１の３次元マッチングポイントを取得して、マッチング画素点対のうち、候補データセットに属する画素点を３次元空間にマッピングし、第２の３次元マッチングポイントを取得するように構成される３次元空間マッピング部をさらに含み、空間変換パラメータサブ部は、第１の３次元マッチングポイントと第２の３次元マッチングポイントとを位置合わせし、空間変換パラメータを取得するように構成される３次元マッチングポイント位置合わせ部をさらに含む。

幾つかの実施例では、３次元マッチングポイント位置合わせ部は、第１の３次元マッチングポイントと第２の３次元マッチングポイントとの第１のポーズ変換パラメータを取得するように構成される第１のポーズ変換パラメータサブ部を含み、３次元マッチングポイント位置合わせ部は、第１のポーズ変換パラメータと所定のポーズ変換パラメータを使用して、第１の３次元マッチングポイントに対してポーズ最適化を実行して、第１の最適化マッチングポイントと第２の最適化マッチングポイントとをそれぞれ取得するように構成される３次元マッチングポイント最適化サブ部をさらに含み、３次元マッチングポイント位置合わせ部は、第２の３次元マッチングポイントと、第１の最適化マッチングポイントおよび第２の最適化マッチングポイントとのそれぞれの一致度を計算し、一致度の高い最適化マッチングポイントが使用するポーズ変換パラメータを第２のポーズ変換パラメータとして選択するように構成される第２のポーズ変換パラメータサブ部をさらに含み、３次元マッチングポイント位置合わせ部は、第２のポーズ変換パラメータを初期値とし、所定の位置合わせ方式によって第１の３次元マッチングポイントと第２の３次元マッチングポイントとを位置合わせし、現在のデータセットと候補データセットとの空間変換パラメータを取得するように構成される空間変換パラメータサブ部をさらに含む。

幾つかの実施例では、空間変換パラメータサブ部は、現在のデータセットと各候補データセットとの空間変換パラメータから、所定のパラメータスクリーニング条件を満たす空間変換パラメータを選択するように構成される変換パラメータスクリーニング部をさらに含み、所定のパラメータスクリーニング条件は、空間変換パラメータに関連する候補データセットが現在のデータセットと隣接すること、空間変換パラメータを使用して、第１の３次元マッチングポイントをポーズ最適化することにより得られた最適化マッチングポイントと、第２の３次元マッチングポイントとの一致度が所定の一致度閾値より大きいことのいずれか１つを含む。

幾つかの実施例では、データセット選択サブ部は、現在のデータセット及び時系列がその前に配置されているデータセットの画像データの所定の画像特徴を使用して、Ｂａｇ ｏｆ Ｗｏｒｄｓモデルを構築するように構成されるＢａｇ ｏｆ Ｗｏｒｄｓモデル構築部をさらに含み、データセット選択サブ部は、属する処理待ち画像の現在のデータセットの所定の時系列に位置する画像データをマッチング待ち画像データとして選択するように構成されるマッチング画像データ部をさらに含み、データセット選択サブ部は、Ｂａｇ ｏｆ Ｗｏｒｄｓモデルの所定の範囲から、マッチング待ち画像データの所定の画像特徴との類似度スコアが所定の類似度閾値より大きい所定の画像特徴をクエリするように構成される画像特徴クエリ部をさらに含み、データセット選択サブ部は、クエリされた所定の画像特徴の属する画像データが所在するデータセット、及び現在のデータセットと隣接するデータセットとを候補データセットとして使用するように構成され、ここで、所定の範囲が、属するデータセットが現在のデータセットと隣接していなく、且つ現在のデータセットに含まれない画像データの所定の画像特徴を含む候補データセット部をさらに含む。

幾つかの実施例では、データセット選択サブ部は、現在のデータセットと隣接するデータセットにおける各画像データとマッチング待ち画像データとの類似度スコアのうちの最大スコア値を取得するように構成される最大類似度スコア値取得部をさらに含み、データセット選択サブ部は、最大スコア値の所定の倍数と所定のスコア値のいずれかを所定の類似度閾値として使用するように構成される所定の類似度閾値決定部をさらに含む。

幾つかの実施例では、データ分割部１１３０は、各フレームの処理待ち画像を現在の処理待ち画像として順次使用するように構成される現在処理待ち画像決定サブ部を含み、データ分割部１１３０は、現在の処理待ち画像の画像データを分割する場合、既存のデータセットの最後のデータセットが所定のオーバーフロー条件を満たすと、最後のデータセットにおける最新の複数のフレームの処理待ち画像の画像データを取得し、新しい最後のデータセットとして新しく作成されたデータセットに記憶し、現在の処理待ち画像の画像データを新しい最後のデータセットに分割するように構成されるデータ処理サブ部をさらに含む。

幾つかの実施例では、所定のオーバーフロー条件は、最後のデータセットに含まれる画像データに対応する処理待ち画像のフレーム数が所定のフレーム数閾値より大きいか等しいこと、最後のデータセットのいずれかの画像データが属する処理待ち画像のカメラ位置と現在の処理待ち画像のカメラ位置との距離が所定の距離閾値より大きいこと、最後のデータセットのいずれかの画像データが属する処理待ち画像のカメラ向き角度と現在の処理待ち画像のカメラ向き角度との差が所定の角度閾値より大きいことのいずれか一つを含み、ここで、カメラ位置とカメラ向き角度は、処理待ち画像のカメラポーズパラメータを使用して、計算されたものである。

幾つかの実施例では、各フレームの処理待ち画像は、カラーデータと深度データとを含み、第１の決定部１１２０は、カラーデータとの位置合わせ後の深度データに含まれる各画素点の法線ベクトルと処理待ち画像の重力方向との夾角を取得するように構成される夾角取得サブ部を含み、第１の決定部１１２０は、各画素点を３次元空間で重力方向に投影し、各画素点の３次元空間における高さの値を取得するように構成される高さ取得サブ部をさらに含み、第１の決定部１１２０は、夾角が所定の角度条件を満たす画素点の高さの値を分析し、再構成待ち目標の平面高さを取得するように構成される高さ分析サブ部をさらに含み、第１の決定部１１２０は、平面高さによってカラーデータのうちの再構成待ち物体に属する目標画素点をスクリーニングするように構成される画素スクリーニングサブ部をさらに含む。

幾つかの実施例では、高さ分析サブ部は、夾角が所定の角度条件を満たす画素点の高さの値を高さセットとして使用するように構成される高さセット取得部を含み、高さ分析サブ部は、高さセット内の高さの値に対してクラスタ分析を実行して、再構成待ち目標の平面高さを取得するように構成される高さクラスタ分析部を含む。

幾つかの実施例では、３次元再構成装置１１００は、各データセットの画像データを３次元空間に順次マッピングして、各データセットに対応する３次元ポイントクラウドを取得するように構成される３次元マッピング部をさらに備え、３次元再構成装置１１００は、各データセットのポーズパラメータを使用して、それに対応する３次元ポイントクラウドを調整するように構成されるポイントクラウド調整部をさらに備える。

図１２を参照すると、図１２は本開示による３次元再構成に基づくインタラクション装置の一実施例のフレームワーク概略図である。３次元再構成に基づくインタラクション装置１２００は、モデル取得部１２１０、マッピング及び位置決め部１２２０と表示インタラクションモジュール１２３０を備え、モデル取得部１２１０は、再構成待ち目標の３次元モデルを取得するように構成され、３次元モデルが上記のいずれかの３次元再構成装置の実施例における３次元再構成装置により得られ、マッピング及び位置決め部１２２０は、所定の視覚慣性ナビゲーション方式により、撮影デバイスが配置されているシーンの３次元地図を構築し、３次元地図における撮影デバイスの現在のポーズ情報を取得するように構成され、表示インタラクションモジュール１２３０は、ポーズ情報に基づいて、撮影デバイスによって現在撮影されているシーン画像に３次元モデルを表示するように構成される。

図１３を参照すると、図１３は３次元再構成に基づく測定装置１３００の一実施例のフレームワーク概略図である。３次元再構成に基づく測定装置１３００は、モデル取得部１３１０、表示インタラクション部１３２０及び距離取得部１３３０を含み、モデル取得部１３１０は、再構成待ち目標の３次元モデルを取得するように構成され、３次元モデルが上記のいずれかの３次元再構成装置の実施例における３次元再構成装置により得られ、表示インタラクション部１３２０は、ユーザが３次元モデルで設定した複数の測定ポイントを受信するように構成され、距離取得取得部１３３０は、複数の測定ポイントの間の距離を取得し、再構成待ち目標上の複数の測定ポイントに対応する位置の間の距離を取得するように構成される。

図１４を参照すると、図１４は本開示による電子機器１４００の一実施例のフレームワーク概略図である。電子機器１４００は、互いに結合されたメモリ１４１０とプロセッサ１４２０を備え、プロセッサ１４２０は、上記のいずれかの３次元再構成方法の実施例におけるステップを実現し、又は上記のいずれかの３次元再構成に基づくインタラクション方法の実施例におけるステップを実現し、又は上記のいずれかの３次元再構成に基づく測定方法の実施例におけるステップを実現するために、メモリ１４１０に記憶されたプログラム命令を実行するように構成される。１つの実施シーンでは、電子機器は、携帯電話、タブレットコンピュータなどの移動端末を含むことができ、又は、電子機器は、撮影デバイスに接続されたデータ処理デバイス（マイクロコンピュータなど）であってもよく、ここでは限定しない。

プロセッサ１４２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理ユニット）とも呼ばれてもよい。プロセッサ１４２０は、信号処理機能を備えた集積回路チップであってもよい。プロセッサ１４２０は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、又は当該プロセッサは、いずれかの従来のプロセッサなどであってもよい。また、プロセッサ１４２０は、集積回路チップによって共同で実現されてもよい。

上記解決策では、３次元再構成の効果を高め、３次元再構成のための計算負荷を軽減することができる。

図１５を参照すると、図１５は本開示のコンピュータ可読記憶媒体１５００の一実施例のフレームワーク概略図である。コンピュータ可読記憶媒体１５００は、プロセッサによって実行され得るプログラム命令１５０１を記憶し、ログラム命令１５０１は、上記のいずれかの３次元再構成方法の実施例におけるステップを実現し、又は上記のいずれかの３次元再構成に基づくインタラクション方法の実施例におけるステップを実現し、又は上記のいずれかの３次元再構成に基づく測定方法の実施例におけるステップを実現するように構成される。

上記解決策では、３次元再構成の効果を高め、３次元再構成のための計算負荷を軽減することができる。

本開示で提供される幾つかの実施例では、開示される方法及び装置が他の方式により実現されてもよいことを理解すべきである。例えば、上記の装置の実施形態は、例示的なものだけであり、例えば、モジュール又はユニットの区分は、論理機能的区分だけであり、実際に実現する時に他の区分方式もあり得て、例えばユニット又はコンポーネントは、組み合わせられてもよく又は別のシステムに統合されてもよく、又は幾つかの特徴は無視されてもよく、又は実行されなくてもよい。また、示されるか、又は議論される相互結合又は直接結合又は通信接続は、幾つかのインターフェース、デバイス又はユニットを介した間接的結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。

分離部材として説明されるユニットは、物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示される部材は、物理ユニットであってもよく又は物理ユニットでなくてもよく、即ち１つの箇所に位置してもよく、又はネットワークユニットに分布してもよい。実際のニーズに応じてその中の一部又は全てのユニットを選択して本実施形態の解決策の目的を達成することができる。

また、本開示の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、各々のユニットは、単独で物理的に存在してもよく、２つ又は２つ以上のユニットは、１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形態で実現されてもよく、ソフトウェア機能ユニットの形態で実現されてもよい。

統合されたユニットは、ソフトウェア機能ユニットの形態で実現され且つ独立した製品として販売又は使用されるときに、１つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本開示の技術的解決策は、本質的に又は従来技術に寄与する部分又は当該技術的解決策の全て又は部分がソフトウェア製品の形で体現されてもよく、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバー、又はネットワークデバイス等であってもよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本開示の各実施形態の方法のステップの全て又は一部を実行させるための幾つかの命令を含む。前記記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶できる各種の媒体を含む。

本開示の実施例では、撮影デバイスが再構成待ち目標をスキャンすることにより得られた複数のフレームの処理待ち画像を取得し、各フレームの処理待ち画像と撮影デバイスのキャリブレーションパラメータを使用して、各フレームの処理待ち画像の再構成待ち目標に属する目標画素点及びそのカメラポーズパラメータを決定し、各フレームの処理待ち画像の画像データを対応するデータセットに順次分割し、データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータを使用して、データセットのポーズ最適化パラメータを決定し、データセットのポーズ最適化パラメータを使用して、データセットに含まれる画像データが属する処理待ち画像のカメラポーズパラメータを調整し、処理待ち画像の画像データに対して再構成処理を実行して、再構成待ち目標の３次元モデルを取得する。上記解決策により、３次元再構成の効果を高め、３次元再構成のための計算負荷を軽減することができる。

Claims (14)

1. ３次元再構成方法であって、前記３次元再構成方法は、
   撮影デバイスが再構成待ち目標をスキャンすることにより得られた複数のフレームの処理待ち画像を取得することと、
   前記処理待ち画像の各フレームと前記撮影デバイスのキャリブレーションパラメータとを使用して、前記再構成待ち目標に属する前記処理待ち画像の各フレームの目標画素点およびそのカメラポーズパラメータを決定することと、
   所定の分割ポリシーに従って、前記処理待ち画像の各フレームの画像データを対応するデータセットに順次分割することであって、前記画像データは、少なくとも前記目標画素点を含む、ことと、
   各前記データセットの画像データおよび時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータとを順次使用して、各前記データセットのポーズ最適化パラメータを決定することと、
   各前記データセットのポーズ最適化パラメータを使用して、前記データセットに含まれる画像データの属する前記処理待ち画像のカメラポーズパラメータを調整することと、
   所定の３次元再構成方式および前記処理待ち画像の調整後のカメラポーズパラメータを使用して、前記処理待ち画像の画像データに対して再構成処理を実行して、前記再構成待ち目標の３次元モデルを取得することと
   を含み、
   前記各前記データセットの画像データおよび時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータとを順次使用して、各前記データセットのポーズ最適化パラメータを決定することは、
   各前記データセットを現在のデータセットとして順次使用し、時系列が前記現在のデータセットの前に配置されている少なくとも１つのデータセットを候補データセットとして選択することと、
   前記現在のデータセットの画像データと前記候補データセットの画像データとを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定することと、
   少なくとも前記候補データセットのポーズ最適化パラメータおよび前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得し、少なくとも前記候補データセットのポーズ最適化パラメータを更新することと
   を含む、３次元再構成方法。
2. 前記少なくとも前記候補データセットのポーズ最適化パラメータおよび前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得し、少なくとも前記候補データセットのポーズ最適化パラメータを更新することは、
   前記現在のデータセットおよび時系列がその前に配置されている前記候補データセットにそれぞれ関連付けられた各空間変換パラメータに対応する２つのデータセットをデータセットペアとして使用することと、
   各前記データセットペアの空間変換パラメータおよびそれぞれのポーズ最適化パラメータを使用して、前記ポーズ最適化パラメータに関する目標関数を構築することと、
   所定の解法によって前記目標関数を解いて、前記現在のデータセットおよび時系列がその前に配置されている前記候補データセットのそれぞれに対応するデータセットに含まれるデータセットのポーズ最適化パラメータを取得することと
   を含む、請求項１に記載の３次元再構成方法。
3. 前記現在のデータセットの画像データと前記候補データセットの画像データとを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定することは、
   前記候補データセットと前記現在のデータセット内で、所定のマッチング条件を満たす１グループのマッチング待ち画像データを検索することと、
   各グループの前記マッチング待ち画像データから抽出された、所定の画像特徴に基づいて、各グループの前記マッチング待ち画像データ間のマッチング画素点対を取得することと、
   前記マッチング画素点対のうち、前記現在のデータセットに属する画素点を３次元空間にマッピングし、第１の３次元マッチングポイントを取得し、前記マッチング画素点対のうち、前記候補データセットに属する画素点を前記３次元空間にマッピングして、第２の３次元マッチングポイントを取得することと、
   前記第１の３次元マッチングポイントと前記第２の３次元マッチングポイントとを位置合わせして、前記空間変換パラメータを取得することと
   を含む、請求項１に記載の３次元再構成方法。
4. 前記第１の３次元マッチングポイントと前記第２の３次元マッチングポイントとを位置合わせして、前記空間変換パラメータを取得することは、
   前記第１の３次元マッチングポイントと前記第２の３次元マッチングポイントとの第１のポーズ変換パラメータを取得することと、
   前記第１のポーズ変換パラメータと所定のポーズ変換パラメータとを使用して、前記第１の３次元マッチングポイントに対してポーズ最適化を実行して、第１の最適化マッチングポイントと第２の最適化マッチングポイントとをそれぞれ取得することと、
   前記第２の３次元マッチングポイントと、前記第１の最適化マッチングポイントおよび前記第２の最適化マッチングポイントとのそれぞれの一致度を計算し、前記一致度の高い最適化マッチングポイントが使用するポーズ変換パラメータを第２のポーズ変換パラメータとして選択することと、
   前記第２のポーズ変換パラメータを初期値とし、所定の位置合わせ方式によって前記第１の３次元マッチングポイントと前記第２の３次元マッチングポイントを位置合わせして、前記現在のデータセットと前記候補データセットとの空間変換パラメータを取得することと
   を含む、請求項３に記載の３次元再構成方法。
5. 前記現在のデータセットの画像データと前記候補データセットの画像データとを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定した後、かつ、少なくとも前記候補データセットのポーズ最適化パラメータおよび前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得する前に、前記３次元再構成方法は、
   前記現在のデータセットと各前記候補データセットとの空間変換パラメータから、所定のパラメータスクリーニング条件を満たす空間変換パラメータを選択することをさらに含み、
   前記所定のパラメータスクリーニング条件は、前記空間変換パラメータに関連する前記候補データセットが前記現在のデータセットと隣接すること、前記空間変換パラメータを使用して、前記第１の３次元マッチングポイントをポーズ最適化することにより得られた最適化マッチングポイントと前記第２の３次元マッチングポイントとの一致度が所定の一致度閾値より大きいことのいずれか１つを含む、請求項３に記載の３次元再構成方法。
6. 時系列が前記現在のデータセットの前に配置されている少なくとも１つのデータセットを候補データセットとして選択することは、
   前記現在のデータセットおよび時系列がその前に配置されているデータセットの画像データの所定の画像特徴を使用して、Ｂａｇ ｏｆ Ｗｏｒｄｓモデルを構築することと、
   前記現在のデータセットにおける所定の時系列に位置する属する処理待ち画像の画像データをマッチング待ち画像データとして選択することと、
   前記Ｂａｇ ｏｆ Ｗｏｒｄｓモデルの所定の範囲から、前記マッチング待ち画像データの所定の画像特徴との類似度スコアが所定の類似度閾値より大きい所定の画像特徴をクエリすることと、
   クエリされた所定の画像特徴の属する画像データが所在するデータセットおよび前記現在のデータセットと隣接するデータセットを前記候補データセットとして使用することと
   を含み、
   前記所定の範囲は、属するデータセットが前記現在のデータセットと隣接せず、かつ、前記現在のデータセットに含まれない画像データの所定の画像特徴を含み、
   前記Ｂａｇ ｏｆ Ｗｏｒｄｓモデルの所定の範囲から、前記マッチング待ち画像データの所定の画像特徴との類似度スコアが所定の類似度閾値より大きい所定の画像特徴をクエリする前に、前記３次元再構成方法は、
   前記現在のデータセットと隣接するデータセットにおける各前記画像データと前記マッチング待ち画像データとの類似度スコアのうちの最大スコア値を取得することと、
   前記最大スコア値の所定の倍数と所定のスコア値とのいずれか１つを所定の類似度閾値として使用することと
   をさらに含む、請求項１に記載の３次元再構成方法。
7. 前記所定の分割ポリシーに従って、前記処理待ち画像の各フレームの画像データを対応するデータセットに順次分割することは、
   前記処理待ち画像の各フレームを現在の処理待ち画像として順次使用することと、
   現在の処理待ち画像の画像データを分割する場合、既存の前記データセットの最後のデータセットが所定のオーバーフロー条件を満たすと、前記最後のデータセットにおける最新の複数のフレームの前記処理待ち画像の画像データを取得し、新しい前記最後のデータセットとして新しく作成された前記データセットに記憶し、前記現在の処理待ち画像の画像データを新しい前記最後のデータセットに分割することと
   を含み、
   前記所定のオーバーフロー条件は、
   前記最後のデータセットに含まれる前記画像データに対応する前記処理待ち画像のフレーム数が所定のフレーム数閾値より大きいか等しいこと、前記最後のデータセットのいずれかの前記画像データが属する処理待ち画像のカメラ位置と前記現在の処理待ち画像のカメラ位置との距離が所定の距離閾値より大きいこと、前記最後のデータセットのいずれかの前記画像データが属する処理待ち画像のカメラ向き角度と前記現在の処理待ち画像のカメラ向き角度との差が所定の角度閾値より大きいことのいずれか１つを含み、
   前記カメラ位置と前記カメラ向き角度とは、前記処理待ち画像のカメラポーズパラメータを使用して計算されるものである、請求項１に記載の３次元再構成方法。
8. 前記処理待ち画像の各フレームは、カラーデータと深度データとを含み、前記処理待ち画像の各フレームと前記撮影デバイスのキャリブレーションパラメータを使用して、前記再構成待ち目標に属する前記処理待ち画像の各フレームの目標画素点を決定することは、
   前記カラーデータとの位置合わせ後の深度データに含まれる各画素点の法線ベクトルと、前記処理待ち画像の重力方向との夾角を取得することと、
   前記各画素点を３次元空間で前記重力方向に投影して、前記３次元空間における前記各画素点の高さの値を取得することと、
   前記夾角が所定の角度条件を満たす画素点の高さの値を分析して、前記再構成待ち目標の平面高さを取得することと、
   前記平面高さを使用して、前記カラーデータにおける前記再構成待ち物体に属する目標画素点をスクリーニングすることと
   を含み、
   前記夾角が所定の角度条件を満たす画素点の高さの値を分析して、前記再構成待ち目標の平面高さを取得することは、
   前記夾角が所定の角度条件を満たす前記画素点の高さの値を高さセットとして使用することと、
   前記高さセット内の高さの値に対してクラスタ分析を実行して、前記再構成待ち目標の平面高さを取得することと
   を含む、請求項１～７のいずれか一項に記載の３次元再構成方法。
9. 前記各前記データセットの画像データおよび時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータとを順次使用して、各前記データセットのポーズ最適化パラメータを決定した後、前記３次元再構成方法は、
   各前記データセットの画像データを３次元空間に順次マッピングして、各前記データセットに対応する３次元ポイントクラウドを取得することと、
   各前記データセットの前記ポーズ最適化パラメータを使用して、それに対応する前記３次元ポイントクラウドを調整することと
   をさらに含む、請求項１～８のいずれか一項に記載の３次元再構成方法。
10. ３次元再構成に基づくインタラクション方法であって、
    再構成待ち目標の３次元モデルを取得することであって、前記３次元モデルは、請求項１～９のいずれか一項に記載の３次元再構成方法を使用して取得されるものである、ことと、
    所定の視覚慣性ナビゲーション方式を使用して、撮影デバイスが配置されているシーンの３次元地図を構築し、前記３次元地図における前記撮影デバイスの現在のポーズ情報を取得することと、
    前記ポーズ情報に基づいて、前記撮影デバイスによって現在撮影されているシーン画像に前記３次元モデルを表示することと
    を含む、３次元再構成に基づくインタラクション方法。
11. ３次元再構成に基づく測定方法であって、
    再構成待ち目標の３次元モデルを取得することであって、前記３次元モデルは、請求項１～９のいずれか一項に記載の３次元再構成方法を使用して取得されるものである、ことと、
    ユーザが３次元モデルで設定した複数の測定ポイントを受信することと、
    前記複数の測定ポイントの間の距離を取得して、前記再構成待ち目標上の前記複数の測定ポイントに対応する位置の間の距離を取得することと
    を含む、３次元再構成に基づく測定方法。
12. 電子機器であって、
    前記電子機器は、互いに結合されたメモリおよびプロセッサを備え、前記プロセッサは、請求項１～９のいずれか一項に記載の３次元再構成方法を実現し、または、請求項１０に記載の３次元再構成に基づくインタラクション方法を実現し、または、請求項１１に記載の３次元再構成に基づく測定方法を実現するために、前記メモリに記憶されたプログラム命令を実行するように構成されている、電子機器。
13. プログラム命令を記憶するコンピュータ読み取り可能な記憶媒体であって、前記プログラム命令がプロセッサに実行されると、請求項１～９のいずれか一項に記載の３次元再構成方法を実現し、または、請求項１０に記載の３次元再構成に基づくインタラクション方法を実現し、または、請求項１１に記載の３次元再構成に基づく測定方法を実現する、コンピュータ読み取り可能な記憶媒体。
14. コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器で動作し、前記電子機器のプロセッサに実行される場合、請求項１～９のいずれか一項に記載の３次元再構成方法を実現し、または、請求項１０に記載の３次元再構成に基づくインタラクション方法を実現し、または、請求項１１に記載の３次元再構成に基づく測定方法を実現する、コンピュータプログラム。

Images