JP7202410B2 - 画像処理方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム - Google Patents

Description

本開示の実施例は画像処理分野に関し、より具体的には、画像処理方法、装置及びコンピュータ記憶媒体に関し、自律運転分野に適用できる。

自律運転分野、特に例えば、駐車場や住宅団地の道路における自律駐車又はクルージングのシーンでは、例えば、走行記録画像を収集するための交通手段又は他の機器によって収集される走行記録画像に基づいて上記シーンの三次元モデルを再構築及び融合する必要がある。しかしながら、走行記録画像のデータ量は通常、非常に大きいため、三次元モデルの再構築及び融合には、膨大な計算量を必要とし、且つ大量のシステムリソースを占有する。また、走行記録画像のデータ量のさらなる増加に伴い、三次元モデルの再構築及び融合のための計算量及びシステムリソースの占有量は指数関数的に増加し、その結果、例えば、クラウドで実行可能な三次元モデルの再構築及び融合に膨大な計算負荷をもたらすだけでなく、大量の時間がかかり、さらに三次元モデルの再構築融合の効率を損なうとともに、ユーザー体験を低下してしまう。

本開示の実施例によれば、画像時系列特徴マッチングに基づく大量の走行技術画像の並行三次元再構築融合方法を提供する。

本開示の第１態様では、画像処理方法を提供し、画像シーケンスセットを取得するステップであって、前記画像シーケンスセットは画像シーケンス間の類似度尺度に応じて分けられる複数の画像シーケンスサブセットを含み、各画像シーケンスサブセットは基本画像シーケンス及び他の画像シーケンスを含み、前記基本画像シーケンスに対応する第１類似度尺度は前記他の画像シーケンスに対応する第１類似度尺度以上であるステップと、前記基本画像シーケンスを使用して初期三次元モデルを構築するステップと、前記初期三次元モデルに基づいて、前記他の画像シーケンスを使用して最終三次元モデルを構築するステップと、を含む。

本開示の第２態様では、画像処理装置を提供し、画像シーケンスセットを取得するように構成される画像シーケンスセット取得モジュールであって、前記画像シーケンスセットは画像シーケンス間の類似度尺度に応じて分けられる複数の画像シーケンスサブセットを含み、各画像シーケンスサブセットは基本画像シーケンス及び他の画像シーケンスを含み、前記基本画像シーケンスに対応する第１類似度尺度は前記他の画像シーケンスに対応する第１類似度尺度以上である画像シーケンスセット取得モジュールと、前記基本画像シーケンスを使用して初期三次元モデルを構築するように構成される初期三次元モデル構築モジュールと、前記初期三次元モデルに基づいて、前記他の画像シーケンスを使用して最終三次元モデルを構築するように構成される最終三次元モデル構築モジュールと、を備える。

本開示の第３態様では、電子機器を提供し、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行される際、前記少なくとも１つのプロセッサに本開示の第１態様に係る方法を実行させることができる。

本開示の第４態様では、前記コンピュータに本開示の第１態様に係る方法を実現させるためのコンピュータ命令が記憶される非一時的コンピュータ可読記憶媒体を提供する。
本開示の第５態様では、コンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行される際、本開示の第１態様に係る方法を実現させる、コンピュータプログラム。

本願に係る技術によれば、三次元モデル構築の効率を向上させるとともに、三次元モデル構築のオーバーヘッドを削減させることができる。

理解すべきことは、発明の概要に記載の内容は、本開示の実施例のキー又は重要な特徴を限定したり、本開示の範囲を限定したりするものではない。本開示の他の特徴は以下の記載によって理解しやすくなる。

図面を参照しながら本開示の例示的な実施例をより詳細に説明し、本開示の上記及び他の目的、特徴及び利点がさらに明らかになり、本開示の例示的な実施例では、同一符号は通常、同一コンポーネントを示す。理解すべきことは、図面は本技術案をよりよく理解するためのものであり、本願を限定しない。

本開示のいくつかの例示的な実施例における画像処理方法を実現できる画像処理環境１００の模式図を示す。 本開示の実施例に係る画像処理方法２００のフローチャートを示す。 本開示の実施例に係る画像シーケンスの相互関係３００の模式図を示す。 本開示の実施例に係る基本画像シーケンスの関連関係及びセグメント４００の模式図を示す。 本開示の実施例に係る基本画像シーケンスを利用するインクリメンタルモデリングプロセス５００の模式図を示す。 本開示の実施例に係る初期三次元モデル６００の模式図を示す。 本開示の実施例に係る初期三次元モデルを利用して最終三次元モデルを構築するプロセス７００の模式図を示す。 本開示の実施例に係る画像処理装置８００の模式的なブロック図を示す。 本開示の実施例に係る電子機器９００の模式的なブロック図を示す。

各図面において、同一の又は対応する符号は同一の又は対応する部分を示す。

以下、図面を参照しながら本開示の好ましい実施例をより詳細に説明する。図面には本開示の好ましい実施例が示されているが、理解されるように、ここで説明される実施例に限定されることなく、様々な形態で本開示を実現することができる。一方、これらの実施例は、本開示をより明瞭かつ完全にし、本開示の範囲を完全に当業者に伝えるために提供される。

本明細書で使用される用語「含む」及びその変形はオープンな包含を示し、即ち、「含むが、これに限定されない」である。特別に説明しない限り、用語「又は」は「及び／又は」を示す。用語「基づく」は、「少なくとも部分的に基づく」を示す。用語「１つの例示的な実施例」及び「１つの実施例」は「少なくとも１つの例示的な実施例」を示す。用語「他の実施例」は「少なくとも１つの他の実施例」を示す。用語「第１」、「第２」等は異なる又は同一の対象を示してもよい。以下、他の明示的及び暗黙的な定義を含む可能性もある。

以上の背景技術に記載のように、従来の三次元モデル再構築及び融合方法を使用する場合、膨大な計算量を必要とし、且つ大量のシステムリソースを占有するため、三次元モデリングの有効性及び実現可能性を損ない、さらにユーザー体験を低下させ、ひいてはユーザーの要件を満たすことができない。

上記課題及び他の潜在的な課題のうちの１つ又は複数の課題を少なくとも部分的に解決するために、本開示の実施例は三次元モデリング用の画像処理方法を提供する。本開示に記載の技術案では、二次元画像マッチング及び類似度計算を三次元融合再構築に使用し、三次元再構築前、データを最適化してグループ化し、それによって大量のデータを利用して三次元モデル融合を行う場合にシステムリソースを占有し時間複雑度が高い課題を解決する。また、本開示に記載の技術案では、二次元画像の類似度に基づいて構成されるビデオ関連グラフは、大量のドライビングレコーダーの画像シーケンスをグループ化し、それによって三次元再構築の計算量を元の指数関数的増加から線形増加に変換するとともに、並行モデリングによってモデリングの成功率を向上させることができる。

図１は本開示のいくつかの例示的な実施例における画像処理方法を実現できる画像処理環境１００の模式図を示す。図１に示すように、画像処理環境１００は、計算機器１２０の入力データである画像シーケンスセット１１０と、計算機器１２０と、計算機器１２０の出力データである三次元モデル１３０とを含む。なお、画像処理環境１００は拡張可能であり、入力データであるより多くの画像シーケンスセット１１０、出力データであるより多くの三次元モデル１３０、又は画像シーケンスセット１１０に対するより効率的な並行計算をサポートするためのより多くの計算機器１２０を含んでもよい。図示の簡潔さのために、図１に１つの画像シーケンスセット１１０、１つの計算機器１２０及び１つの三次元モデル１３０のみが示されている。

本開示の実施例の説明では、画像シーケンスセットとは、１つ又は複数の画像シーケンスから構成されるセットであり、画像シーケンス中の各画像は画像収集機器によって収集される１フレームの画像に対応する。本開示の実施例では、画像シーケンスは、走行記録画像を収集するための交通手段又は他の機器に装着される又は備えられる画像収集機器によって収集され、収集される各フレームの画像は画像収集機器が向く周囲環境及び該環境内に存在する例えば人間、自転車、ペット等の他の対象を含む。画像収集過程では、画像収集機器は所定距離又は所定時間ごとに１フレームの画像を収集し、画像収集の全過程で順に収集される画像はこの画像収集過程に対する画像シーケンスを構成し、この画像シーケンスはビデオの形式として具現化されてもよい。

本開示の実施例の説明では、画像シーケンスセットに対する三次元モデル再構築及び融合とは、画像シーケンスセットを利用してモデリングによって三次元モデルを得るプロセスである。本開示の実施例によれば、得られる三次元モデルは画像シーケンスセットに係る例えば駐車場や住宅団地の道路の周囲環境の三次元点群、及び収集される各画像の内容及び関連情報を含んでもよい。

本開示の実施例の説明では、三次元モデル再構築及び融合は順次線形プロセスであってもよく、即ち、新たな画像を絶えず追加してモデリングに関与させてモデリングプロセスを行い、モデリングに関与する画像は数十万枚以上に達する可能性がある。

図２は本開示の実施例に係る画像処理方法２００のフローチャートを示す。具体的には、方法２００は計算機器１２０によって実行されてもよい。理解されるように、方法２００は図示していない付加的な操作を含んでもよく、及び／又は図示される操作を省略してもよく、本開示の範囲はこれに限定されない。

ブロック２０２では、計算機器１２０は画像シーケンスセット１１０を取得する。本開示の実施例では、画像シーケンスセット１１０は画像シーケンス間の類似度尺度に応じて分けられる複数の画像シーケンスサブセットを含み、各画像シーケンスサブセットは基本画像シーケンス及び他の画像シーケンスを含み、基本画像シーケンスに対応する第１類似度尺度は他の画像シーケンスに対応する第１類似度尺度以上である。

以下、図３を参照しながら画像シーケンスセット１１０をさらに説明する。図３は本開示の実施例に係る画像シーケンスの相互関係３００の模式図を示す。図３に計１３個の画像シーケンス、即ち、３０１、３０２、３０３、３０４、３０５、３０６、３０７、３０８、３０９、３１０、３１１、３１２及び３１３が示され、それらは画像シーケンスセット１１０の例を構成する。図３では、破線の楕円３２０、３３０、３４０、３５０及び３６０は複数の画像シーケンスサブセットを示し、画像シーケンスサブセット３２０は画像シーケンス３０３、３０１及び３１３を含み、画像シーケンスサブセット３３０は画像シーケンス３０２、３０３、３０４及び３０５を含み、画像シーケンスサブセット３４０は画像シーケンス３０１、３０６及び３０９を含み、画像シーケンスサブセット３５０は画像シーケンス３１０、３１１、３１２及び３１３を含み、画像シーケンスサブセット３６０は画像シーケンス３０１、３０７及び３０８を含む。

図３に示される画像シーケンスのうち、画像シーケンス３０１、３０３及び３１３は基本画像シーケンスであり、画像シーケンスサブセット３２０を構成する。基本画像シーケンスに含まれる安定要素は最も多く、それらの関連性が最も高く、より高い類似度尺度を示し、従って、まず、基本画像シーケンスを利用して三次元モデリングを行い、その後、他の画像シーケンスを利用してさらなる三次元モデリングを行うことができる。また、画像シーケンスサブセット３２０、３３０、３４０、３５０及び３６０はいずれも基本画像シーケンスを含むことで、基本画像シーケンスを利用して三次元モデリングを行った後、他の画像シーケンスを利用してモデリングすることができ、これらの他の画像シーケンスはいずれも特定の基本画像シーケンスと高い関連性を有する。また、画像シーケンスサブセット３２０、３３０、３４０、３５０及び３６０は類似度尺度に応じてその区分を決定してもよい。本開示の例示的な実施例では、各画像シーケンスサブセット中の画像シーケンスサブセットに対応する第２類似度尺度は他の画像シーケンスサブセット中の画像シーケンスサブセットに対応する第２類似度尺度以上である。本開示の実施例では、第１類似度尺度は第２類似度尺度以上である。

ブロック２０４では、計算機器１２０は基本画像シーケンスを使用して初期三次元モデルを構築する。図３中の例を例として、計算機器１２０は基本画像シーケンスである画像シーケンス３０１、３０３及び３１３を使用して初期三次元モデルを構築する。

本開示の例示的な実施例では、計算機器１２０は基本画像シーケンスである画像シーケンス３０１、３０３及び３１３を使用して初期三次元モデルを構築する場合、まず、画像シーケンス３０１、３０３及び３１３を整列し、且つ付加的にはそれらをセグメント化する必要がある。

図４は本開示の実施例に係る基本画像シーケンスの関連関係及びセグメント４００の模式図を示す。本開示の例示的な実施例では、図３中の例を参照し、画像シーケンス３０１、３０３及び３１３の画像収集開始位置が異なる可能性があるため、画像シーケンス３０１、３０３及び３１３の初期収集画像のシーンも異なる。三次元モデリングでは、同一の収集位置で収集される画像を使用して三次元モデリングを行う必要がある。従って、異なる画像シーケンスから同一収集位置で収集される画像を見つける必要があり、これらの画像は高い類似度尺度を有し、この操作は異なる画像シーケンス間の関連する画像を決定すると呼ばれてもよい。理解すべきことは、画像シーケンス３０１、３０３及び３１３中の画像はいずれも収集時間順にソートされるため、シーケンス中の１番目の画像が整列された後、シーケンス中の後続の画像も整列される確率が高く、このとき、類似度尺度を決定することで後続の画像を整列するプロセスを省略することができる。

本開示の例示的な実施例では、計算機器１２０は、画像の収集位置、及び画像間の第３類似度尺度のうちの少なくとも１つに応じて、基本画像シーケンス間で基本画像シーケンスに関連する画像を決定する。

図４に示すように、３個の画像シーケンス３０３、３０１及び３１３はずれて配列され、即ち、整列されており、それによって、同一位置に対応する画像は同一収集位置に対して収集され、高い類似度尺度を有する。本開示の例示的な実施例では、異なる画像シーケンスは異なる数の画像を有してもよく、従って、３個の画像シーケンス３０３、３０１及び３１３の全長は異なる。

計算機器１２０は基本画像シーケンス間で基本画像シーケンスに関連する画像を決定した後、即ち、基本画像シーケンスを整列した後、基本画像シーケンスに関連する画像を使用して三次元モデルを構築することができる。

本開示の例示的な実施例では、基本画像シーケンスの長さが長い場合、直接整列して三次元モデリングを行うと、膨大な計算量を必要とし、且つ大量のシステムリソースを占有する。従って、計算量及び占有されるシステムリソースをさらに削減するために、基本画像シーケンスをセグメント化してもよい。セグメント化の標準は、利用可能なコンピュータ又は計算スレッドの計算能力であってもよい。利用可能なコンピュータ又は計算スレッドの計算能力が高いほど、セグメント数が少ないようにしてもよい。

図４に示すように、基本画像シーケンス３０３は５個のセグメント、即ち、３０３－１、３０３－２、３０３－３、３０３－４及び３０３－５に分けられ、基本画像シーケンス３０１は４個のセグメント、即ち、３０１－２、３０１－３、３０１－４及び３０１－５に分けられ、基本画像シーケンス３１３は４個のセグメント、即ち、３１３－１、３１３－２、３１３－３及び３１３－４に分けられる。図４に示すように、セグメント３０３－１及び３１３－１は整列され、セグメント３０３－２、３０１－２及び３１３－２は整列され、セグメント３０３－３、３０１－３及び３１３－３は整列され、セグメント３０３－４、３０１－４及び３１３－４は整列され、セグメント３０３－５及び３０１－５は整列される。

本開示の例示的な実施例では、計算機器１２０は基本画像シーケンスをセグメント化した後、１番目のセグメントに対して初期基本セグメント三次元モデルを構築することができる。

図５は本開示の実施例に係る基本画像シーケンスを利用するインクリメンタルモデリングプロセス５００の模式図を示す。図５に示すように、図４中のセグメント３０３－１及び３１３－１を利用してモデリングして、初期基本セグメント三次元モデル５０１を得る。図４に示すように、セグメント３０３－２及び３１３－２がセグメント３０３－１及び３１３－１に次ぐセグメントであるため、初期基本セグメント三次元モデル５０１に基づいてセグメント３０３－２及び３１３－２及び対応するセグメント３０１－２を利用してインクリメンタルモデリングを行うことができ、それによってセグメント３０３－２、３１３－２及び３０１－２に対応するインクリメンタル基本セグメント三次元モデル５０２を得る。その後、インクリメンタル基本セグメント三次元モデル５０２を初期基本セグメント三次元モデルとし、基本セグメント三次元モデル５０２のみに基づいて、それに次ぐセグメント３０３－３、３１３－３及び３０１－３を利用してインクリメンタルモデリングを行い、それによってインクリメンタル基本セグメント三次元モデル５０３を得て、以下同様に、インクリメンタル基本セグメント三次元モデル５０４及び５０５を得る。

その後、計算機器１２０は構築される初期基本セグメント三次元モデル５０１及び後続で構築されるインクリメンタル基本セグメント三次元モデル５０２、５０３、５０４及び５０５を融合して、初期三次元モデルを取得するようにしてもよい。

図６に示すように、本開示の実施例に係る初期三次元モデル６００の模式図を示す。図６に示すように、初期三次元モデル６００は基本セグメント三次元モデル５０１、５０２、５０３、５０４及び５０５を含む。

本開示の例示的な実施例では、図５に示される４を使用して基本セグメント三次元モデルを全体として初期三次元モデルを構築してもよく、即ち、基本セグメント三次元モデル５０１及び５０２、基本セグメント三次元モデル５０２及び５０３、基本セグメント三次元モデル５０３及び５０４、並びに基本セグメント三次元モデル５０４及び５０５を使用する。この場合、各基本セグメント三次元モデルペアはその前又はその後の基本セグメント三次元モデルペアと重なる部分を有するため、初期三次元モデルの構築をより容易に実現できる。

本開示の例示的な実施例では、複数のインクリメンタル基本セグメント三次元モデルを並行して構築してもよい。例えば、図４に示すように、まず、対応するセグメント３０３－３、３０１－３及び３１３－３を使用して初期基本セグメント三次元モデル５０３を構築し、その後、それぞれ２台のコンピュータ又は同一のコンピュータの異なるスレッドによって初期基本セグメント三次元モデル５０３に基づいて、それぞれセグメント３０３－２、３１３－２及び３０１－２、又はセグメント３０３－４、３１３－４及び３０１－４を使用して、インクリメンタルモデリングを並行して行い、インクリメンタル初期基本セグメント三次元モデル５０２及び５０４を並行して得る。

図２に戻り、２０６では、計算機器１２０は初期三次元モデルに基づいて、他の画像シーケンスを使用して最終三次元モデルを構築する。

本開示の実施例では、初期三次元モデルがセグメント化せず、且つすべての画像シーケンスが自然に整列される場合、計算機器１２０は初期三次元モデルに基づいて、それぞれ複数の画像シーケンスサブセット中の他の画像シーケンスを使用して複数の中間三次元モデルを構築してもよく、各中間三次元モデルは１つの画像シーケンスサブセットに対応する。その後、計算機器１２０は複数の中間三次元モデルを融合して最終三次元モデルを取得する。理解すべきことは、初期三次元モデルに基づいて中間三次元モデルを構築するプロセスがインクリメンタルモデリングであるため、得られる複数の中間三次元モデル中の初期三次元モデル部分が同じであり、従って、それらを融合して最終三次元モデルを取得することが容易になる。本開示の実施例では、中間三次元モデルを構築するプロセスが複数の異なるコンピュータ又は異なる計算スレッドによって並行して行われることで、最終三次元モデルの取得速度を向上させることができる。

本開示の実施例では、初期三次元モデルがセグメント化せず、すべての画像シーケンスが自然に整列されていない場合、さらにすべての画像シーケンスを整列する必要がある。例えば、計算機器１２０は、画像の収集位置、及び画像間の第３類似度尺度のうちの少なくとも１つに応じて画像シーケンスセット中の画像シーケンス間で関連する画像を決定してもよく、関連する画像は、基本画像シーケンスに関連する画像及び他の画像シーケンスに関連する画像を含む。この整列プロセスは以上の図４について説明されたプロセスと類似し、ここでは詳細な説明を省略する。

本開示の実施例では、初期三次元モデルが複数の基本セグメント三次元モデルからなり、例えば、図６に示される初期三次元モデル６００が基本セグメント三次元モデル５０１、５０２、５０３、５０４及び５０５からなり、且つすべての画像シーケンスが自然に整列されていない場合、計算機器１２０は、まず、上記のようにすべての画像シーケンスを整列する。その後、計算機器１２０は基本画像シーケンスのセグメント化に従って他の画像シーケンスをセグメント化する。

図７は本開示の実施例に係る初期三次元モデルを利用して最終三次元モデルを構築するプロセス７００の模式図を示す。図７中の４個の破線ブロック７０１、７０２、７０３及び７０４はそれぞれ４個の異なる計算機器を示し、計算機器はサーバであってもよく、これら４個の計算機器はクラウドコンピューティング機器であってもよい。各計算機器において、基本セグメント三次元モデル５０１、５０２、５０３、５０４及び５０５から構成される初期三次元モデルに基づいてインクリメンタルモデリングを行い、異なる計算機器を区別する目的は、これらのインクリメンタルモデリングプロセスをこれらの計算機器で並行して行うことができることを説明することである。

本開示の実施例では、すべての他の画像シーケンスは基本画像シーケンス３０３、３０１及び３１３に整列され、且つ対応してセグメント化され、他の画像シーケンス３０２はセグメント３０２－１、３０２－２、３０２－３、３０２－４及び３０２－５に分けられ、他の画像シーケンス３０４はセグメント３０４－２、３０４－３、３０４－４及び３０４－５に分けられ、他の画像シーケンス３０５はセグメント３０５－１、３０５－２、３０５－３及び３０２－４に分けられ、他の画像シーケンス３０６はセグメント３０６－１、３０６－２、３０６－３、３０６－４及び３０６－５に分けられ、他の画像シーケンス３０９はセグメント３０９－２、３０９－３、３０９－４及び３０９－５に分けられ、他の画像シーケンス３０８はセグメント３０８－２、３０８－３、３０８－４及び３０８－５に分けられ、他の画像シーケンス３０７はセグメント３０７－１、３０７－２、３０７－３及び３０７－４に分けられ、他の画像シーケンス３１０はセグメント３１０－１、３１０－２、３１０－３、３１０－４及び３１０－５に分けられ、他の画像シーケンス３１１はセグメント３１１－２、３１１－３、３１１－４及び３１１－５に分けられ、他の画像シーケンス３１２はセグメント３１２－１、３１２－２、３１２－３及び３１２－４に分けられる。

その後、４個の計算機器７０１、７０２、７０３及び７０４はそれぞれ基本セグメント三次元モデル５０１、５０２、５０３、５０４及び５０５から構成される初期三次元モデルに基づいて、基本画像シーケンス３０２、３０４、３０５、３０６、３０９、３０８、３０７、３１０、３１１及び３１２から分けられたセグメントに対してインクリメンタルモデリングを行う。線分で結ばれる異なるセグメントはセグメントと基本セグメント三次元モデルとの対応関係を指示し、１つの基本セグメント三次元モデル及び対応するすべてのセグメントのインクリメンタルモデリングは他の基本セグメント三次元モデル及び対応するすべてのセグメントのインクリメンタルモデリングと並行して行われてもよく、例えば、計算機器７０１、７０２、７０３及び７０４の異なるスレッドによって行われる。

以上、図１～図７を参照しながら、本開示のいくつかの例示的な実施例における画像処理方法を実現する画像処理環境１００、本開示の実施例に係る画像処理方法２００、本開示の実施例に係る画像シーケンスの相互関係３００、本開示の実施例に係る基本画像シーケンスの関連関係及びセグメント４００、本開示の実施例に係る基本画像シーケンスを利用するインクリメンタルモデリングプロセス５００、本開示の実施例に係る初期三次元モデル６００、及び本開示の実施例に係る初期三次元モデルを利用して最終三次元モデルを構築するプロセス７００の関連内容を説明した。理解すべきことは、上記説明は本開示に記載の内容をよりよく展示するためのものであり、それを限定しない。

理解すべきことは、本開示の上記各図に採用される各種の素子の数及び物理量の大きさは例示的なものであり、本開示の保護範囲を限定しない。上記数及び大きさは必要に応じて任意に設定でき、本開示の実施形態の正常実施に影響を与えない。

以上、図１～図７を参照しながら本開示の実施形態の画像処理方法の詳細を説明した。以下、図８を参照しながら画像処理装置の各モジュールを説明する。

図８は本開示の実施例に係る画像処理装置８００の模式的なブロック図である。図８に示すように、装置８００は、画像シーケンスセットを取得するように構成される画像シーケンスセット取得モジュール８１０であって、前記画像シーケンスセットは画像シーケンス間の類似度尺度に応じて分けられる複数の画像シーケンスサブセットを含み、各画像シーケンスサブセットは基本画像シーケンス及び他の画像シーケンスを含み、前記基本画像シーケンスに対応する第１類似度尺度は前記他の画像シーケンスに対応する第１類似度尺度以上である画像シーケンスセット取得モジュール８１０と、前記基本画像シーケンスを使用して初期三次元モデルを構築するように構成される初期三次元モデル構築モジュール８２０と、前記初期三次元モデルに基づいて、前記他の画像シーケンスを使用して最終三次元モデルを構築するように構成される最終三次元モデル構築モジュール８３０と、を備える。

いくつかの実施例では、各画像シーケンスサブセット中の画像シーケンスサブセットに対応する第２類似度尺度は他の画像シーケンスサブセット中の画像シーケンスサブセットに対応する第２類似度尺度以上である。

いくつかの実施例では、前記初期三次元モデル構築モジュール８２０は、前記画像の収集位置、及び前記画像間の第３類似度尺度のうちの少なくとも１つに応じて、前記基本画像シーケンス間で基本画像シーケンスに関連する画像を決定するように構成される第１関連画像決定モジュール（図示せず）と、前記基本画像シーケンスに関連する画像を使用して、前記初期三次元モデルを構築するように構成される第１初期三次元モデル構築モジュール（図示せず）と、を備える。

いくつかの実施例では、前記初期三次元モデル構築モジュール８２０は、前記基本画像シーケンスに関連する画像を画像収集順に複数の対応する基本セグメントに分けるように構成される基本セグメント区分モジュール（図示せず）と、前記複数の対応する基本セグメントのうちの１つの対応する基本セグメントを使用して、初期基本セグメント三次元モデルを構築するように構成される初期基本セグメント三次元モデル構築モジュール（図示せず）と、構築される前記初期基本セグメント三次元モデルに基づいて、前記１つの対応する基本セグメントと隣接する対応する基本セグメントを使用して、インクリメンタル基本セグメント三次元モデルを構築するように構成されるインクリメンタル基本セグメント三次元モデル構築モジュール（図示せず）と、前記初期基本セグメント三次元モデルと前記インクリメンタル基本セグメント三次元モデルを融合して、前記初期三次元モデルを取得するように構成される第２初期三次元モデル構築モジュール（図示せず）と、を備える。

いくつかの実施例では、前記インクリメンタル基本セグメント三次元モデル構築モジュールは、複数の前記インクリメンタル基本セグメント三次元モデルを並行して構築するように構成される。

いくつかの実施例では、前記最終三次元モデル構築モジュール８３０は、前記初期三次元モデルに基づいて、それぞれ前記複数の画像シーケンスサブセット中の前記他の画像シーケンスを使用して、複数の中間三次元モデルを構築するように構成される第１中間三次元モデル構築モジュール（図示せず）と、前記複数の中間三次元モデルを融合して、前記最終三次元モデルを取得するように構成される第１最終三次元モデル構築モジュール（図示せず）と、を備える。

いくつかの実施例では、前記中間三次元モデル構築モジュールは、複数の前記中間三次元モデルを並行して構築するように構成される。

いくつかの実施例では、前記最終三次元モデル構築モジュール８３０は、前記画像の収集位置、及び前記画像間の第３類似度尺度のうちの少なくとも１つに応じて前記画像シーケンスセット中の画像シーケンス間で関連する画像を決定するように構成される第２関連画像決定モジュール（図示せず）であって、前記関連する画像は前記基本画像シーケンスに関連する画像及び前記他の画像シーケンスに関連する画像を含む第２関連画像決定モジュール（図示せず）と、前記他の画像シーケンスに関連する画像を使用して、前記最終三次元モデルを構築するように構成される第２最終三次元モデル構築モジュール（図示せず）と、を備える。

いくつかの実施例では、前記最終三次元モデル構築モジュール８３０は、前記画像の収集位置、及び前記画像間の第３類似度尺度のうちの少なくとも１つに応じて前記画像シーケンスセット中の画像シーケンス間で関連する画像を決定するように構成される第２関連画像決定モジュール（図示せず）であって、前記関連する画像は前記基本画像シーケンスに関連する画像及び前記他の画像シーケンスに関連する画像を含む第２関連画像決定モジュール（図示せず）と、前記関連する画像を画像収集順に複数の対応するセグメントに分けるように構成されるセグメント区分モジュール（図示せず）であって、前記複数の対応するセグメントは前記複数の対応する基本セグメント及び前記他の画像シーケンスから分けられる複数の対応する他のセグメントを含むセグメント区分モジュール（図示せず）と、前記初期三次元モデルに基づいて、前記初期基本セグメント三次元モデル及び前記インクリメンタル基本セグメント三次元モデルに対応する前記対応する他のセグメントを使用して、複数の中間三次元モデルを構築するように構成される第１中間三次元モデル構築モジュール（図示せず）と、前記複数の中間三次元モデルを融合して、前記最終三次元モデルを取得するように構成される第１最終三次元モデル構築モジュール（図示せず）と、を備える。

いくつかの実施例では、前記第１中間三次元モデル構築モジュールは、複数の前記中間三次元モデルを並行して構築するように構成される。

本開示の実施例では、本開示は電子機器及び可読記憶媒体をさらに提供する。

以上図１～図８を参照して説明したように、本開示の実施形態に係る技術案は従来の技術案に比べて多くの利点を有する。例えば、該技術案によれば、ビデオシーケンス関連グラフを十分に利用し、三次元再構築モデル融合のデータを合理的に分割することができ、クラウドでの大量の三次元融合モデリングの計算複雑度を低減させ、プロセスは分散式並行処理に適し、会社のクラスターの計算能力を十分に発揮し、計算効率を大幅に向上させる。

図９は本開示の実施例に係る電子機器９００の模式的なブロック図を示す。例えば、図１に示される計算機器１２０及び図８に示される画像処理装置８００は電子機器９００によって実施されてもよい。電子機器９００は、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及びその他の適切なコンピュータなどの、様々な形式のデジタルコンピュータを表すことを目的としている。電子機器９００は、例えばパーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス及びその他の同様の計算装置等の、様々な形式のモバイル装置を表すこともできる。本明細書に示されているコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書に説明される及び／又は必要とされる本開示の実現を制限することを意図したものではない。

図９に示すように、該電子機器９００は、１つ又は複数のプロセッサ９０１、メモリ９０２、及び各コンポーネントを接続するためのインターフェースを備え、インターフェースは高速インターフェース及び低速インターフェースを含む。各コンポーネントは、異なるバスにより互いに接続されており、パブリックメインボードに取り付けられてもよく、又は必要に応じて他の方式で取り付けられてもよい。プロセッサは電子機器９００内において実行する命令を処理することができ、命令は、外部入力／出力装置（例えば、インターフェースに結合された表示機器など）にＧＵＩのグラフィック情報を表示するようにメモリ内又はメモリ上に記憶されている命令を含む。他の実施形態では、必要がある場合、複数のプロセッサ及び／又は複数のバスを複数のメモリとともに使用することができる。同様に、複数の電子機器９００が接続されてもよく、各電子機器は一部の必要な操作（例えば、サーバアレイ、一組のブレードサーバ、又はマルチプロセッサシステムとして）を提供する。図９では、１つのプロセッサ９０１を例とする。

メモリ９０２は本開示に係る非一時的コンピュータ可読記憶媒体である。前記メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶されており、このように、前記少なくとも１つのプロセッサは本開示に係る画像処理方法を実行する。本開示の非一時的コンピュータ可読記憶媒体は、コンピュータに本開示に係る画像処理方法を実行させるためのコンピュータ命令を記憶する。

メモリ９０２は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能プログラム及びモジュールを記憶することに用いることができ、例えば、本開示の実施例における画像処理方法に対応するプログラム命令／モジュール（例えば、図８に示される画像シーケンスセット取得モジュール８１０、初期三次元モデル構築モジュール８２０及び最終三次元モデル構築モジュール８３０）を記憶することに用いることができる。プロセッサ９０１は、メモリ９０２に記憶されている非一時的ソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記方法の実施例における画像処理方法を実現する。

メモリ９０２はプログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は電子機器９００の使用により作成されたデータ等を記憶することができる。また、メモリ９０２は高速ランダムアクセスメモリを含んでもよく、更に、例えば少なくとも１つの磁気ディスク記憶装置、フラッシュ記憶装置、又は他の非一時的固体記憶装置などの非一時的なメモリを含んでもよい。いくつかの実施例では、メモリ９０２はプロセッサ９０１に対して遠隔的に設置されたメモリを含んでもよく、これらのリモートメモリはネットワークを介して電子機器９００に接続されることができる。上記ネットワークの例には、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク及びそれらの組み合わせが含まれるが、これらに限定されない。

電子機器９００は入力装置９０３及び出力装置９０４をさらに備えてもよい。プロセッサ９０１、メモリ９０２、入力装置９０３及び出力装置９０４はバス又は他の方式で接続することができ、図９では、バスによる接続を例とする。

入力装置９０３は、入力された数字又は文字情報を受信し、電子機器９００のユーザー設定及び機能制御に関連するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータースティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティック等の入力装置が挙げられる。出力装置９０４は表示機器、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えば、振動モータ）等を含んでもよい。該表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイを含んでもよいが、これらに限定されない。いくつかの実施形態では、表示機器はタッチスクリーンであってもよい。

ここで説明されるシステム及び技術の様々な実施形態はデジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組合せにおいて実現できる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施されることを含んでもよく、該１つ又は複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを備えるプログラマブルシステムにおいて実行及び／又は解釈されてもよく、該プログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができる。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）はプログラマブルプロセッサの機械命令を含み、且つハイレベル手順及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ言語／機械語でこれらのコンピュータプログラムを実施することができる。本明細書で使用される用語「機械可読媒体」及び「コンピュータ可読媒体」とは、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械命令を機械可読信号として受信する機械可読媒体を含む。用語「機械可読信号」とは、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。

ユーザーとの対話を提供するために、ここで説明されるシステム及び技術をコンピュータにおいて実施でき、該コンピュータは、ユーザーに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）、キーボード及びポインティング装置（例えば、マウス又はトラックボール）を有し、ユーザーは該キーボード及び該ポインティング装置によって入力をコンピュータに提供することができる。他のタイプの装置もユーザーとの対話を提供でき、例えば、ユーザーに提供するフィードバックは任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（声入力、音声入力又は触覚入力を含む）を用いてユーザーからの入力を受信できる。

ここで説明されるシステム及び技術を、バックエンドコンポーネントを備える計算システム（例えば、データサーバとする）、又はミドルウェアコンポーネントを備える計算システム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを備える計算システム（例えば、グラフィカルユーザーインターフェース又はネットワークブラウザを有するユーザーコンピュータが挙げられ、ユーザーは該グラフィカルユーザーインターフェース又は該ネットワークブラウザによって、ここで説明されるシステム及び技術の実施形態と対話できる）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組合せを備える計算システムにおいて実施することできる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを互いに接続することができる。通信ネットワークの例はローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。

コンピュータシステムはクライアント及びサーバを備えてもよい。クライアント及びサーバは一般に互いに離間しており、通常、通信ネットワークによって対話する。対応するコンピュータにおいて実行され且つ互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバの関係を生成する。

本開示の実施例に係る技術案によれば、画像シーケンス間の類似度に応じて、画像シーケンスを含む画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分け、その後、各画像シーケンスサブセットにおいて１つの画像シーケンス中の画像と画像シーケンスサブセット中の他の画像シーケンス中の画像との関連性を決定することで、高関連性を有する画像を効果的に決定でき、決定される高関連性の画像のみに対して後続の時間やリソースがかかる特徴マッチング計算を行うことができ、それによって、計算量を減少させ、計算効率を向上させる。また、画像シーケンスセットが１つ又は複数の画像シーケンスサブセットに分けられるため、並行する特徴マッチング計算を実行するように、異なる画像シーケンスサブセットを異なる計算機器に割り当てることができる。このようにして、計算リソースを十分に利用し、計算時間をさらに減少させ、計算効率を向上させることができる。

理解すべきことは、上記様々なプロセスを使用して、ステップを並べ替え、追加又は削除してもよい。例えば、本願に記載の各ステップは並行して実行されてもよく順番実行されてもよく異なる順序で実行されてもよく、本開示の技術案の所望の結果を実現できればよく、本明細書では限定しない。

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要素に応じて、種々の変更、組合せ、サブ組合せや代替を行うことができることは理解すべきである。本開示の精神及び原則を逸脱せずに行われる変更、同等置換や改良等はすべて本開示の保護範囲に属する。

Claims (23)

1. 画像処理方法であって、
   画像シーケンスセットを取得するステップであって、前記画像シーケンスセットは画像シーケンス間の類似度尺度に応じて分けられる複数の画像シーケンスサブセットを含み、各画像シーケンスサブセットは基本画像シーケンス及び他の画像シーケンスを含み、前記基本画像シーケンスに対応する第１類似度尺度は前記他の画像シーケンスに対応する第１類似度尺度よりも高く、前記画像シーケンスセットにおいて、基本画像シーケンスに含まれる画像の間の関連性が最も高く、より高い関連性は、より高い類似度尺度を有することを示すステップと、
   前記基本画像シーケンスを使用して初期三次元モデルを構築するステップと、
   前記初期三次元モデルに基づいて、前記他の画像シーケンスを使用して最終三次元モデルを構築するステップであって、前記他の画像シーケンスに含まれる画像の間の関連性は、前記基本画像シーケンスよりも低いステップと、を含む画像処理方法。
2. 各画像シーケンスサブセット中の画像シーケンスサブセットに対応する第２類似度尺度は他の画像シーケンスサブセット中の画像シーケンスサブセットに対応する第２類似度尺度以上である請求項１に記載の方法。
3. 初期三次元モデルを構築するステップは、
   前記画像の収集位置、及び前記画像間の第３類似度尺度のうちの少なくとも１つに応じて、前記基本画像シーケンス間で基本画像シーケンスに関連する画像を決定するステップと、
   前記基本画像シーケンスに関連する画像を使用して、前記初期三次元モデルを構築するステップと、を含む請求項１に記載の方法。
4. 前記初期三次元モデルを構築するステップは、
   前記基本画像シーケンスに関連する画像を画像収集順に複数の対応する基本セグメントに分けるステップと、
   前記複数の対応する基本セグメントのうちの１つの対応する基本セグメントを使用して、初期基本セグメント三次元モデルを構築するステップと、
   構築される前記初期基本セグメント三次元モデルに基づいて、前記１つの対応する基本セグメントと隣接する対応する基本セグメントを使用して、インクリメンタル基本セグメント三次元モデルを構築するステップと、
   前記初期基本セグメント三次元モデルと前記インクリメンタル基本セグメント三次元モデルを融合して、前記初期三次元モデルを取得するステップと、を含む請求項３に記載の方法。
5. 複数の前記インクリメンタル基本セグメント三次元モデルは並行して構築される請求項４に記載の方法。
6. 最終三次元モデルを構築するステップは、
   前記初期三次元モデルに基づいて、それぞれ前記複数の画像シーケンスサブセット中の前記他の画像シーケンスを使用して、複数の中間三次元モデルを構築するステップと、
   前記複数の中間三次元モデルを融合して、前記最終三次元モデルを取得するステップと、を含む請求項１に記載の方法。
7. 複数の前記中間三次元モデルは並行して構築される請求項６に記載の方法。
8. 最終三次元モデルを構築するステップは、
   前記画像の収集位置、及び前記画像間の第３類似度尺度のうちの少なくとも１つに応じて前記画像シーケンスセット中の画像シーケンス間で関連する画像を決定するステップであって、前記関連する画像は前記基本画像シーケンスに関連する画像及び前記他の画像シーケンスに関連する画像を含むステップと、
   前記他の画像シーケンスに関連する画像を使用して、前記最終三次元モデルを構築するステップと、を含む請求項３に記載の方法。
9. 最終三次元モデルを構築するステップは、
   前記画像の収集位置、及び前記画像間の第３類似度尺度のうちの少なくとも１つに応じて前記画像シーケンスセット中の画像シーケンス間で関連する画像を決定するステップであって、前記関連する画像は前記基本画像シーケンスに関連する画像及び前記他の画像シーケンスに関連する画像を含むステップと、
   前記関連する画像を画像収集順に複数の対応するセグメントに分けるステップであって、前記複数の対応するセグメントは前記複数の対応する基本セグメント及び前記他の画像シーケンスから分けられる複数の対応する他のセグメントを含むステップと、
   前記初期三次元モデルに基づいて、前記初期基本セグメント三次元モデル及び前記インクリメンタル基本セグメント三次元モデルに対応する前記対応する他のセグメントを使用して、複数の中間三次元モデルを構築するステップと、
   前記複数の中間三次元モデルを融合して、前記最終三次元モデルを取得するステップと、を含む請求項４に記載の方法。
10. 複数の前記中間三次元モデルは並行して構築される請求項９に記載の方法。
11. 画像処理装置であって、
    画像シーケンスセットを取得するように構成される画像シーケンスセット取得モジュールであって、前記画像シーケンスセットは画像シーケンス間の類似度尺度に応じて分けられる複数の画像シーケンスサブセットを含み、各画像シーケンスサブセットは基本画像シーケンス及び他の画像シーケンスを含み、前記基本画像シーケンスに対応する第１類似度尺度は前記他の画像シーケンスに対応する第１類似度尺度よりも高くなり、前記画像シーケンスセットにおいて、基本画像シーケンスに含まれる画像の間の関連性が最も高く、より高い関連性は、より高い類似度尺度を有することを示す画像シーケンスセット取得モジュールと、
    前記基本画像シーケンスを使用して初期三次元モデルを構築するように構成される初期三次元モデル構築モジュールと、
    前記初期三次元モデルに基づいて、前記他の画像シーケンスを使用して最終三次元モデルを構築するように構成され、前記他の画像シーケンスに含まれる画像の間の関連性は、前記基本画像シーケンスよりも低い最終三次元モデル構築モジュールと、を備える画像処理装置。
12. 各画像シーケンスサブセット中の画像シーケンスサブセットに対応する第２類似度尺度は他の画像シーケンスサブセット中の画像シーケンスサブセットに対応する第２類似度尺度以上である請求項１１に記載の装置。
13. 前記初期三次元モデル構築モジュールは、
    前記画像の収集位置、及び前記画像間の第３類似度尺度のうちの少なくとも１つに応じて、前記基本画像シーケンス間で基本画像シーケンスに関連する画像を決定するように構成される第１関連画像決定モジュールと、
    前記基本画像シーケンスに関連する画像を使用して、前記初期三次元モデルを構築するように構成される第１初期三次元モデル構築モジュールと、を備える請求項１１に記載の装置。
14. 前記初期三次元モデル構築モジュールは、
    前記基本画像シーケンスに関連する画像を画像収集順に複数の対応する基本セグメントに分けるように構成される基本セグメント区分モジュールと、
    前記複数の対応する基本セグメントのうちの１つの対応する基本セグメントを使用して、初期基本セグメント三次元モデルを構築するように構成される初期基本セグメント三次元モデル構築モジュールと、
    構築される前記初期基本セグメント三次元モデルに基づいて、前記１つの対応する基本セグメントと隣接する対応する基本セグメントを使用して、インクリメンタル基本セグメント三次元モデルを構築するように構成されるインクリメンタル基本セグメント三次元モデル構築モジュールと、
    前記初期基本セグメント三次元モデルと前記インクリメンタル基本セグメント三次元モデルを融合して、前記初期三次元モデルを取得するように構成される第２初期三次元モデル構築モジュールと、を備える請求項１３に記載の装置。
15. 前記インクリメンタル基本セグメント三次元モデル構築モジュールは、複数の前記インクリメンタル基本セグメント三次元モデルを並行して構築するように構成される請求項１４に記載の装置。
16. 前記最終三次元モデル構築モジュールは、
    前記初期三次元モデルに基づいて、それぞれ前記複数の画像シーケンスサブセット中の前記他の画像シーケンスを使用して、複数の中間三次元モデルを構築するように構成される第１中間三次元モデル構築モジュールと、
    前記複数の中間三次元モデルを融合して、前記最終三次元モデルを取得するように構成される第１最終三次元モデル構築モジュールと、を備える請求項１１に記載の装置。
17. 前記中間三次元モデル構築モジュールは、複数の前記中間三次元モデルを並行して構築するように構成される請求項１６に記載の装置。
18. 前記最終三次元モデル構築モジュールは、
    前記画像の収集位置、及び前記画像間の第３類似度尺度のうちの少なくとも１つに応じて前記画像シーケンスセット中の画像シーケンス間で関連する画像を決定するように構成される第２関連画像決定モジュールであって、前記関連する画像は前記基本画像シーケンスに関連する画像及び前記他の画像シーケンスに関連する画像を含む第２関連画像決定モジュールと、
    前記他の画像シーケンスに関連する画像を使用して、前記最終三次元モデルを構築するように構成される第２最終三次元モデル構築モジュールと、を備える請求項１３に記載の装置。
19. 前記最終三次元モデル構築モジュールは、
    前記画像の収集位置、及び前記画像間の第３類似度尺度のうちの少なくとも１つに応じて前記画像シーケンスセット中の画像シーケンス間で関連する画像を決定するように構成される第２関連画像決定モジュールであって、前記関連する画像は前記基本画像シーケンスに関連する画像及び前記他の画像シーケンスに関連する画像を含む第２関連画像決定モジュールと、
    前記関連する画像を画像収集順に複数の対応するセグメントに分けるように構成されるセグメント区分モジュールであって、前記複数の対応するセグメントは前記複数の対応する基本セグメント及び前記他の画像シーケンスから分けられる複数の対応する他のセグメントを含むセグメント区分モジュールと、
    前記初期三次元モデルに基づいて、前記初期基本セグメント三次元モデル及び前記インクリメンタル基本セグメント三次元モデルに対応する前記対応する他のセグメントを使用して、複数の中間三次元モデルを構築するように構成される第１中間三次元モデル構築モジュールと、
    前記複数の中間三次元モデルを融合して、前記最終三次元モデルを取得するように構成される第１最終三次元モデル構築モジュールと、を備える請求項１４に記載の装置。
20. 前記第１中間三次元モデル構築モジュールは、複数の前記中間三次元モデルを並行して構築するように構成される請求項１９に記載の装置。
21. 電子機器であって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を備え、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行される際、前記少なくとも１つのプロセッサに請求項１－１０のいずれか一項に記載の方法を実行させることができることを特徴とする電子機器。
22. コンピュータ命令が記憶される非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令はコンピュータに請求項１－１０のいずれか一項に記載の方法を実行させることに用いられることを特徴とする非一時的コンピュータ可読記憶媒体。
23. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行される際、請求項１－１０のいずれか一項に記載の方法を実現させる、コンピュータプログラム。

Images