JP2023536621A

JP2023536621A - ３次元再構成における画像グループ化方法及びその装置、電子機器、並びにコンピュータ可読記憶媒体

Info

Publication number: JP2023536621A
Application number: JP2023507417A
Authority: JP
Inventors: 周立▲陽▼; ▲孫▼瀚; ▲馮▼友▲計▼; 姜翰青; 章国▲鋒▼
Original assignee: Zhejiang Sensetime Technology Development Co Ltd
Current assignee: Zhejiang Sensetime Technology Development Co Ltd
Priority date: 2020-08-21
Filing date: 2021-06-18
Publication date: 2023-08-28
Also published as: KR20230043958A; CN111986314B; WO2022037232A1; CN111986314A

Abstract

３次元再構成における画像グループ化方法及びその装置、電子機器とコンピュータ可読記憶媒体を提供する。前記３次元再構成における画像グループ化方法は、グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用い、上記グループ化待ち画像集合に対応するモジュラリティを計算すること（Ｓ２０２）と、上記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせると想定したときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得ること（Ｓ２０４）と、上記増分集合における最大増分を決定し、上記最大増分に対応する２つの画像グループをマージし、マージ画像グループを得て、上記グループ化待ち画像集合に対応するモジュラリティ、及び上記増分集合を更新し、上記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行すること（Ｓ２０６）とを含む。【選択図】図２

Description

（関連出願への相互参照）
本願は、出願番号が２０２０１０８５２５６０．５であり、出願日が２０２０年８月２１日である中国特許に基づいて提出され、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照により本願に組み込まれる。

本願実施例は、コンピュータビジョン技術に関し、特に３次元再構成における画像グループ化方法及び装置、電子機器とコンピュータ可読記憶媒体に関する。

コンピュータービジョン技術分野では、ＳｆＭ（ＳｔｒｕｃｔｕｒｅＦｒｏｍＭｏｔｉｏｎ）は、一般的に使用される３次元再構成技術である。当該技術は、シーンに対応する画像シーケンスを分析することにより、各フレームのシーン画像に対応するカメラ姿勢を決定することができる。上記カメラ姿勢が決定された後、当該技術は、連続する幾つかのフレームのシーン画像に対応するカメラ姿勢に基づいて、カメラの動きの軌跡を決定し、上記の動きの軌跡に基づいて、上記シーンに対して３次元再構成を実行することができる。

実際の状況では、上記ＳｆＭアルゴリズムが非常に複雑であるため、大規模なシーンに対して３次元再構成を実行するときに、長い時間がかかり、その結果、３次元再構成効率が低い。一方、大規模なシーンに対して３次元再構成を実行するには、非常に多い計算リソースが必要とされるため、極端な状況において３次元再構成を実現できない可能性がある。

上記問題を解決するために、関連技術では、大規模なシーンに対して３次元再構成を実行する場合、通常、まず上記の大規模なシーンに対応する画像シーケンスを幾つかのグループの画像シーケンスに分割し、次にＳｆＭアルゴリズムにより、各グループの画像シーケンスに対して３次元再構成を実行する。各グループの画像シーケンスに対してそれぞれ３次元再構成を実行して各グループに対応する再構成モデルを得た後、各グループに対応する再構成モデルを融合することにより、上記の大規模なシーンに対応する最終的な再構成モデルを得る。

これにより、上記の大規模なシーンの３次元構成プロセスにおいて、各グループの再構成モデルの効果が最終的な再構成モデルのロバスト性に影響を与える可能性があることがわかる。しかしながら、関連技術では、画像をグループ化するときに、主に、正規化分割（ＮｏｒｍａｌｉｚｅｄＣｕｔ）アルゴリズムにより画像をクラスタリングしてグループ化する。このグループ化方式により、分割の均一性を保証することができるが、分割によって得られた画像グループの内部接続性が弱く、その結果、画像グループ化の精度が低くなり、更に画像グループ化による３次元再構成のロバスト性が低下する。

本願実施例は、画像グループ化の精度及び画像グループ化に基づく３次元再構成のロバスト性を向上させることができる、３次元再構成における画像グループ化方法及びその装置、電子機器、並びにコンピュータ可読記憶媒体を提供する。

本願実施例は、３次元再構成における画像グループ化方法を開示する。上記方法は、
グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用い、上記グループ化待ち画像集合に対応するモジュラリティを計算することと、
上記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせると想定したときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得ることと、
上記増分集合における最大増分を決定し、上記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、上記グループ化待ち画像集合に対応するモジュラリティ、及び上記増分集合を更新し、上記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行することと、
上記グループ化待ち画像集合に一意の画像グループが含まれる場合、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティを決定し、上記最大モジュラリティに対応する画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定することと、を含む。

示される一実施例では、上記最大モジュラリティに対応する画像組み合わせ方式を、上記グループ化待ち画像集合の画像グループ化結果として決定することは、
上記最大モジュラリティが所定閾値に達したか否かを決定することと、
上記最大モジュラリティが上記の所定閾値に達した場合、上記最大モジュラリティに対応する画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定することと、
上記最大モジュラリティが上記の所定閾値に達しない場合、上記グループ化待ち画像集合に含まれる各画像を、独立した画像グループとしてそれぞれ用いることと、を含む。

示される一実施例では、上記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせることは、
上記複数の画像グループのうち、接続関係がある画像グループを２つずつ組み合わせ、接続関係がある画像グループのグループ識別子間の対応関係を記録することを含み、
ここで、接続関係がある２つの画像グループとは、上記の２つの画像グループのうちの第１の画像グループと第２の画像グループの画像の間の類似度が所定の類似度閾値に達することを意味する。

示される一実施例では、上記増分集合は、組み合わせられると想定した２つの画像グループのグループ識別子と、上記の２つの画像グループがマージされると想定して算出された上記増分との間の対応関係を含み、
上記増分集合を更新することは、
記録された、接続関係がある画像グループのグループ識別子の間の対応関係を検索し、上記最大増分に対応する２つの画像グループのいずれかの画像グループと接続関係がある他の画像グループを決定することと、
上記の他の画像グループが上記の２つの画像とそれぞれマージされると想定して得られた上記増分を決定し、決定された上記増分を加算して得られた結果を、マージ画像グループが上記の他の画像グループとマージされると想定して得られた上記モジュラリティの増分として用いることと、
上記マージ画像グループ、上記の他の画像グループのそれぞれのグループ識別子と、両者がマージされると想定して得られた上記モジュールの増分との間の対応関係を上記増分集合に記録することと、を含む。

示される一実施例では、上記方法は、
毎回の反復プロセスにおいて、上記増分集合を更新した後、上記マージ画像グループのグループ識別子と上記の他の画像グループのグループ識別子との間の対応関係を記録することを更に含む。

示される一実施例では、上記方法は、
毎回の反復プロセスにおいて、マージによって得られたマージ画像グループ、及び上記マージ画像グループのグループ識別子とマージされた上記の２つの画像グループのグループ識別子との間の対応関係を記録することを更に含む。

示される一実施例では、上記マージ画像グループは、上記マージ画像グループの生成の反復における更新後のモジュラリティに対応し、上記画像グループのグループ識別子は、上記画像グループに含まれる各画像に対応する画像識別子に対応し、
記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティを決定し、上記最大モジュラリティに対応する画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定することは、
最後の反復で記録されたマージ画像グループから始めて、反復の発生順序の逆順に従って、毎回の反復で記録されたマージ画像グループに対して次のステップを実行することを含み、前記ステップは、
画像組み合わせ方式を確認するための識別子集合に上記マージ画像グループのグループ識別子が含まれるか否かを決定し、上記識別子集合に上記マージ画像グループのグループ識別子が含まれない場合、上記マージ画像グループのグループ識別子を上記識別子集合に書き込むことと、
上記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティであるか否かを決定することと、
上記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティである場合、上記識別子集合に含まれる各グループ識別子に対応する画像識別子によって指示される画像を１つの画像組み合わせとして用い、得られた各画像組み合わせを上記グループ化待ち画像集合の画像グループ化結果として決定することと、を含む。

示される一実施例では、上記方法は、
上記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティではない場合、上記識別子集合に記録されたマージ画像グループのグループ識別子を、上記マージ画像グループに対応するマージ前の２つの画像グループのグループ識別子に置き換えることを更に含む。

示される一実施例では、記録されたマージ画像グループに対応する更新後のモジュラリティが毎回の反復における更新後のモジュラリティのうちの最大モジュラリティであるか否かを決定することは、
今回の反復における更新後のモジュラリティが今回の反復に対応する前回の反復における更新後のモジュラリティに達したか否かを決定することと、
達した場合、今回の反復における更新後の上記モジュラリティを上記最大モジュラリティとして決定することと、を含む。

示される一実施例では、上記の複数の画像グループを２つずつ組み合わせると想定したときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得ることは、
組み合わせられると想定して算出された各上記増分について、次のステップを実行することを含み、前記ステップは、
組み合わせられると想定した２つの画像グループについて、それらに対応する二分木をそれぞれ決定し、上記増分、及び組み合わせられると想定した上記２つの画像のグループ識別子を上記の決定された二分木に書き込むことを含み、
ここで、上記二分木のルートノードには、上記二分木に記録されたすべての増分のうちの最大増分、及び上記最大増分に対応するグループ識別子が記録される。

示される一実施例では、上記増分集合における最大増分を決定することは、
各画像グループに対応する上記二分木のルートノードポインタを最大増分の決定用の最大ヒープにプッシュすることと、
上記最大ヒープのルートノードに記録されたポインタを決定することと、
上記の記録されたポインタによって指示されるノードに記録された増分を上記増分集合に含まれる最大増分として決定することと、を含む。

示される一実施例では、上記方法は、
得られた各画像グループのうち、含まれる画像の数量が第１の所定の数量閾値よりも小さい画像グループを決定し、決定された画像グループを融合待ち画像グループとして決定することであって、上記第１の所定の数量閾値が各グループの最小画像数量を示すことと、
上記の各画像グループのうち、上記融合待ち画像グループ以外の残りのグループを剰余グループとして決定することと、
上記融合待ちグループのうち、２つずつの画像グループ間の接続重み値を計算して、接続重み値集合を構成することであって、上記接続重み値が２つの画像グループ間のマッチングする画像の数量を示すことと、
上記接続重み値集合に基づいて、上記融合待ち画像グループを融合することと、を更に含む。

示される一実施例では、上記接続重み値集合に基づいて、上記融合待ち画像グループを融合することは、
上記接続重み値集合にいずれの接続重み値も含まれなくなるまで次のステップを反復して実行することを含み、前記ステップは、
上記接続重み値集合における最大接続重み値を決定することと、
上記最大接続重み値に対応する２つの画像グループのうち、数量が多い画像グループの画像の数量が第２の所定の数量閾値に達したか否かを決定することであって、上記第２の所定の数量閾値が各画像グループの最大画像数量を示すことと、
上記第２の所定の数量閾値に達した場合、今回の反復を終止することと、
上記第２の所定の数量閾値に達しない場合、上記の２つの画像グループをマージしてマージ画像グループを得て、上記接続重み値集合を更新することと、
上記接続重み値集合にいずれの接続重み値も含まれない場合、上記融合待ちグループに含まれる画像グループ及び上記剰余グループのうちの画像グループを、上記グループ化待ち画像集合の最終的な画像グループとして用いることと、を含む。

示される一実施例では、上記融合待ちグループのうち、２つずつの画像グループ間の接続重み値を計算して、接続重み値集合を構成することは、
上記融合待ちグループの各画像グループについて、上記各画像グループと１対１で対応する二分木を作成することと、
上記融合待ちグループ内の２つずつの画像グループ間の接続重み値を計算し、上記接続重み値、及び上記の２つの画像グループのグループ識別子を上記二分木ノードに記録することであって、上記二分木のルートノードには、各画像グループに対応する各接続重み値のうちの最大接続重み値、及び上記最大接続重み値に対応するグループ識別子が記録されることと、を含む。

示される一実施例では、上記接続重み値集合における最大接続重み値を決定することは、
上記各画像グループに対応する二分木のルートノードポインタを、上記最大接続重み値を導出するための最大ヒープにプッシュすることと、
上記最大ヒープのルートノードに記録されたポインタを読み取り、上記の記録されたポインタによって指示される二分木ノードに記録された接続重み値を上記最大接続重み値として決定することと、を含む。

示される一実施例では、上記接続重み値集合における最大接続重み値を決定した後、上記方法は、
上記最大接続重み値に対応する２つの画像グループのいずれかの画像グループに対応する二分木が空であるか否かを決定することと、
空でない場合、後続のステップを実行し続けることと、
空である場合、現在の反復を終止することと、を更に含む。

示される一実施例では、上記接続重み値集合を更新することは、
マージされた上記の２つの画像グループのそれぞれに対応する二分木を削除することと、
上記マージ画像グループと上記融合待ちグループ内の他のグループとの間の接続重み値を計算することと、
算出された上記接続重み値、及び上記マージ画像グループと上記の他のグループのグループ識別子を上記の他のグループに対応する二分木に書き込むことと、
上記の他のグループに対応する二分木から、上記の他のグループとマージされた上記の２つの画像グループとの間の接続重み値が記録されたノードを削除することと、を含む。

本願実施例は、３次元再構成における画像グループ化方法を更に提供する。上記方法は、
グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用いる場合、上記グループ化待ち画像集合に対応するモジュラリティを計算することと、
上記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせるときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得ることと、
上記増分集合に含まれる最大増分を決定し、更に上記最大増分が０に達したか否かを決定し、上記最大増分が０に達した場合、記録された、上記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、上記増分集合を更新し、上記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行することと、
毎回の反復プロセスにおいて、上記最大増分が０に達しない場合、以上の反復ステップを終止し、今回の反復の前回の反復におけるマージ後の画像組み合わせ方式を、上記グループ化待ち画像集合の最終的な画像グループ化結果として用いることと、
上記グループ化待ち画像集合に一意の画像グループが含まれる場合、上記グループ化待ち画像集合に含まれる各画像を１つの画像グループに分割することと、を含む。

本願実施例は、３次元再構成における画像グループ化装置を提供する。上記装置は、
グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用い、上記グループ化待ち画像集合に対応するモジュラリティを計算するように構成される第１の計算部と、
上記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせると想定したときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得るように構成される第１の生成部と、
上記増分集合における最大増分を決定し、上記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、上記グループ化待ち画像集合に対応するモジュラリティ、及び上記増分集合を更新し、上記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行するように構成される第１のマージ部と、
上記グループ化待ち画像集合に一意の画像グループが含まれる場合、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティを決定し、上記最大モジュラリティに対応する画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定するように構成される第１のグループ決定部と、を備える。

示される一実施例では、上記第１のグループ決定部は、更に、
上記最大モジュラリティが所定閾値に達したか否かを決定し、
上記最大モジュラリティが所定閾値に達した場合、上記最大モジュラリティに対応する画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定し、
上記最大モジュラリティが上記の所定閾値に達しない場合、上記グループ化待ち画像集合に含まれる各画像を、独立した画像グループとしてそれぞれ用いるように構成される。

示される一実施例において、上記第１の生成部は、更に、
上記複数の画像グループのうち、接続関係がある画像グループを２つずつ組み合わせ、接続関係がある画像グループのグループ識別子間の対応関係を記録するように構成され、
ここで、接続関係がある２つの画像グループとは、上記の２つの画像グループのうちの第１の画像グループと第２の画像グループの画像の間の類似度が所定の類似度閾値に達することを意味する。

示される一実施例では、上記増分集合は、組み合わせられると想定した２つの画像グループのグループ識別子と、上記の２つの画像グループがマージされると想定して算出された上記増分との間の対応関係を含み、
上記第１のマージ部は、更に、
記録された、接続関係がある画像グループのグループ識別子間の対応関係を検索し、上記最大増分に対応する２つの画像グループのいずれかの画像グループと接続関係がある他の画像グループを決定し、
上記の他の画像グループが上記の２つの画像とそれぞれマージされると想定して得られた上記増分を決定し、決定された上記増分を加算して得られた結果を、マージ画像グループが上記の他の画像グループとマージされると想定して得られた上記モジュラリティの増分として用い、
上記のマージ画像グループ、上記の他の画像グループのそれぞれのグループ識別子と、両者がマージされると想定して得られた上記モジュールの増分との間の対応関係を上記増分集合に記録するように構成される。

示される一実施例では、上記装置は更に、
毎回の反復プロセスにおいて、上記増分集合を更新した後、上記のマージ画像グループのグループ識別子と上記の他の画像グループのグループ識別子との間の対応関係を記録するように構成される第１の記録部を備える。

示される一実施例では、上記装置は更に、
毎回の反復プロセスにおいて、マージによって得られたマージ画像グループ、及び上記マージ画像グループのグループ識別子とマージされた上記の２つの画像グループのグループ識別子との間の対応関係を記録するように構成される第２の記録部を備える。

示される一実施例では、上記マージ画像グループは、上記マージ画像グループの生成の反復における更新後のモジュラリティに対応し、上記画像グループのグループ識別子は、上記画像グループに含まれる各画像に対応する画像識別子に対応し、
上記第１のグループ決定部は、更に、
最後の反復で記録されたマージ画像グループから始めて、反復の発生順序の逆順に従って、毎回の反復で記録されたマージ画像グループに対して次のステップを実行するように構成され、前記ステップは、
画像組み合わせ方式を確認するための識別子集合に上記マージ画像グループのグループ識別子が含まれるか否かを決定し、上記識別子集合に上記マージ画像グループのグループ識別子が含まれない場合、上記マージ画像グループのグループ識別子を上記識別子集合に書き込むことと、
上記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティであるか否かを決定することと、
上記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティである場合、上記識別子集合に含まれる各グループ識別子に対応する画像識別子によって指示される画像を１つの画像組み合わせとして用い、得られた各画像組み合わせを上記グループ化待ち画像集合の画像グループ化結果として決定することと、を含む。

示される一実施例では、上記装置は更に、
上記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティではない場合、上記識別子集合に記録されたマージ画像グループのグループ識別子を、上記マージ画像グループに対応するマージ前の２つの画像グループのグループ識別子に置き換えるように構成される置換え部を備える。

示される一実施例において、上記置換え部は、更に、
今回の反復における更新後のモジュラリティが今回の反復に対応する前回の反復における更新後のモジュラリティに達したか否かを決定し、
達した場合、今回の反復における更新後の上記モジュラリティを上記最大モジュラリティとして決定するように構成される。

示される一実施例において、上記第１の生成部は、
組み合わせられると想定して算出された各上記増分について、次のステップを実行されるように構成され、前記ステップは、
組み合わせられると想定した２つの画像グループについて、それらに対応する二分木をそれぞれ決定し、上記増分、及び組み合わせられると想定した上記２つの画像のグループ識別子を上記の決定された二分木に書き込むことを含み、
ここで、上記二分木のルートノードには、上記二分木に記録されたすべての増分のうちの最大増分、及び上記最大増分に対応するグループ識別子が記録される。

示される一実施例において、上記第１の生成部は、更に、
各画像グループに対応する上記二分木のルートノードポインタを最大増分の決定用の最大ヒープにプッシュし、
上記最大ヒープのルートノードに記録されたポインタを決定し、
上記の記録されたポインタによって指示されるノードに記録された増分を上記増分集合に含まれる最大増分として決定するように構成される。

示される一実施例では、上記装置は更に、
得られた各画像グループのうち、含まれる画像の数量が第１の所定の数量閾値よりも小さい画像グループを決定し、決定された画像グループを融合待ち画像グループとして決定するように構成される融合待ち画像グループ決定部であって、上記第１の所定の数量閾値が各グループの最小画像数量を示す、融合待ち画像グループ決定部と、
上記の各画像グループのうち、上記融合待ち画像グループ以外の残りのグループを剰余グループとして決定するように構成される剰余グループ決定部と、
上記融合待ちグループのうち、２つずつの画像グループ間の接続重み値を計算して、接続重み値集合を構成するように構成される接続重み値計算部であって、上記接続重み値が２つの画像グループ間のマッチングする画像の数量を示す、接続重み値計算部と、
上記接続重み値集合に基づいて、上記融合待ち画像グループを融合するように構成されるグループ融合部と、を備える。

示される一実施例では、上記グループ融合部は、更に、
上記接続重み値集合にいずれの接続重み値も含まれなくなるまで、次のステップを反復して実行するように構成され、前記ステップは、
上記接続重み値集合における最大接続重み値を決定することと、
上記最大接続重み値に対応する２つの画像グループのうち、数量が多い画像グループの画像の数量が第２の所定の数量閾値に達したか否かを決定することであって、上記第２の所定の数量閾値が各画像グループの最大画像数量を示す、ことと、
上記第２の所定の数量閾値に達した場合、今回の反復を終止することと、
上記第２の所定の数量閾値に達しない場合、上記の２つの画像グループをマージしてマージ画像グループを得て、上記接続重み値集合を更新することと、
上記接続重み値集合にいずれの接続重み値も含まれない場合、上記融合待ちグループに含まれる画像グループ及び上記剰余グループのうちの画像グループを、上記グループ化待ち画像集合の最終的な画像グループとして用いることと、を含む。

示される一実施例において、上記接続重み値計算部は、更に、
上記融合待ちグループ内の各画像グループについて、上記各画像グループと１対１で対応する二分木を作成し、
上記融合待ちグループ内の各画像グループ間の接続重み値を計算し、上記接続重み値、及び上記の２つの画像グループのグループ識別子を上記二分木ノードに記録するように構成され、上記二分木のルートノードには、各画像グループに対応する各接続重み値のうちの最大接続重み値、及び上記最大接続重み値に対応するグループ識別子が記録される。

示される一実施例では、上記グループ融合部は、更に、
上記各画像グループに対応する二分木のルートノードポインタを、上記最大接続重み値を導出するための最大ヒープにプッシュし、
上記最大ヒープのルートノードに記録されたポインタを読み取り、上記の記録されたポインタによって指示される二分木ノードに記録された接続重み値を上記最大接続重み値として決定するように構成される。

示される一実施例では、上記装置は更に、データ決定部を備え、
前記データ決定部は、上記最大接続重み値に対応する２つの画像グループのいずれかの画像グループに対応する二分木が空であるか否かを決定し、
空でない場合、後続のステップを実行し続け、
空である場合、現在の反復を終止するように構成される。

示される一実施例では、上記グループ融合部は、更に、
マージされた上記の２つの画像グループのそれぞれに対応する二分木を削除し、
上記マージ画像グループと上記融合待ちグループ内の他のグループとの間の接続重み値を計算し、
算出された上記接続重み値、及び上記マージ画像グループと上記の他のグループのグループ識別子を上記の他のグループに対応する二分木に書き込み、
上記の他のグループに対応する二分木から、上記の他のグループとマージされた上記の２つの画像グループとの間の接続重み値が記録されたノードを削除するように構成される。

本願実施例は、３次元再構成における画像グループ化装置を提供する。上記装置は、
グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用いる場合、上記グループ化待ち画像集合に対応するモジュラリティを計算するように構成される第２の計算部と、
上記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせるときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得るように構成される第２の生成部と、
上記増分集合における最大増分を決定し、更に上記最大増分が０に達したか否かを決定し、上記最大増分が０に達した場合、記録された、上記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、上記増分集合を更新し、上記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行するように構成される第２のマージ部と、
毎回の反復において、上記最大増分が０に達しない場合、以上の反復ステップを終止し、今回の反復の前回の反復でマージされた画像組み合わせ方式を上記グループ化待ち画像集合の最終的な画像グループ化結果として用い、
上記グループ化待ち画像集合に一意の画像グループが含まれる場合、上記グループ化待ち画像集合に含まれる各画像を１つの画像グループに分割するように構成される第２のグループ決定部と、を備える。

本願実施例は、電子機器を提供する。上記電子機器は、
プロセッサと、
上記プロセッサ実行可能命令を記憶するように構成されるメモリと、備え、
ここで、上記プロセッサは、上記メモリに記憶された実行可能命令を呼び出して実行することにより、上記のいずれかの実施例に示される３次元再構成における画像グループ化方法を実現するように構成される。

本願実施例は、上記のいずれかの実施例に示される３次元再構成における画像グループ化方法を実行させるコンピュータプログラムが記憶された、コンピュータ可読記憶媒体を提供する。

本願実施例は、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で動作する場合、前記電子機器のプロセッサに、上記のいずれかの実施例に示される３次元再構成における画像グループ化方法を実行させる。

上記の技術案によれば、当該方法は、毎回の反復ステップにおける最大モジュラリティの増分に対応する２つの画像グループをマージすることにより、毎回マージした後、画像の組み合わせ方式が今回のマージで達成できる最良の組み合わせ方式であることを保証する。

一方、１つの画像グループのみが残るまでマージする場合、当該方法は、記録された、毎回の反復における更新後のモジュラリティを遡及することにより、上記モジュラリティのうちの最大モジュラリティを決定し、上記の最大モジュラリティに対応する画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定し、それによって画像グループのマージプロセスに出現した最良の画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定できることを保証することができる。グループの分割により、各グループ内の画像の間の接続関係が比較的強く、かつ各グループ内の画像と他のグループの画像との接続関係が比較的弱いことを実現し、これにより、画像グループ化の精度を向上させ、更に画像グループ化による３次元再構成のロバスト性を向上させる。

以上の一般的な説明及び以下の詳細な説明は、説明のための例示的なものに過ぎず、本願を限定するものではないことを理解されたい。

本願実施例によるネットワークコミュニティ分割の概略図である。本願実施例による３次元再構成における画像グループ化方法のフローチャートである。本願実施例による画像グループ化シーンの概略図である。本願実施例による増分集合の概略図である。本願実施例による平衡二分木の概略図である。本願実施例による画像グループのマージの概略図である。本願実施例による増分集合更新方法のフローチャートである。本願実施例による画像グループマージの概略図である。本願実施例による３次元再構成における画像グループ化方法のフローチャートである。本願実施例による、３次元再構成における画像グループ化方法が実際のシーンに適用されるプロセスの概略図である。本願実施例による３次元再構成における画像グループ化装置の構造図である。本願実施例による３次元再構成における画像グループ化装置の構造図である。本願実施例による電子機器のハードウェア構造図である。

本願実施例の１つ又は複数の実施例又は関連技術における技術的解決策をより明確に説明するために、以上では、実施例の説明に必要な図面を簡単に紹介したが、明らかに、上記の図面は、本願の１つ又は複数の態様におけるいくつかの実施例だけであり、当業者であれば、創造的な労力なしに、これらの図面に基づいて他の図面を得ることができる。

当業者に本願の１つ又は複数の態様における技術的解決策をより良く理解させるために、以下では、本願の１つ又は複数の形態における図面を参照しながら、本願の１つ又は複数の態様における技術的解決策を明確且つ完全に説明し、明らかに、説明される実施例は、本願実施例の一部だけであり、全ての実施例ではない。本願の１つ又は複数の実施例に基づき、創造的な労力なしに当業者よって得られる全ての他の実施例は、本願の保護範囲に含まれるものとする。

大規模な３次元再構成技術は、文化遺物の保護、位置決め及びナビゲーション、シーンローミング、拡張現実、産業測定などの分野において幅広い応用可能性があり、如何に大規模なシーンを効果的に再構成するかは、３次元ビジョン分野における重要な研究課題となっている。シーンの規模と再構成アルゴリズムの複雑さの制限により、大規模なシーンの再構成には数日かかることが多く、これは、コンピューティングリソースにも大きな課題をもたらす。

現在の３次元再構成システムは、小規模なシーンしか処理できず、８万平方メートルの屋内シーンなどの大きなシーンでの処理時間が長すぎ、従来の最も良いＳｆＭシステムにおいても、４０時間を超える処理時間が必要であり、その結果、３次元再構成効率が低い。上記問題を解決するために、幾つかのシステムでは、並列最適化技術又は分散コンピューティング方式により、再構成効率を向上させる。このような方式は、計算の精度の低下をもたらし、スケーラビリティが低く、シーンの拡大につれて、所要時間が３乗的に増加する。また、幾つかのシステムでは、シーンをグループ化し、各グループのシーンのデータを独立したサーバに保存してモデル再構成処理を行い、再構成されたモデルを融合する。しかしながら、このような方式では、画像グループ化を行うときに、主に、正規化分割（ＮｏｒｍａｌｉｚｅｄＣｕｔ）アルゴリズムにより画像をクラスタリングしてグループ化する。正規化分割のグループ化方式は、分割の均一性しか保証できるず、分割により得られた画像グループの内部接続性を保証することができず、その結果、画像グループ化の精度が低くなり、更に画像グループ化による３次元再構成のロバスト性が低下する。

本願実施例は、３次元再構成における画像グループ化方法を提案することを目的とし、この方法により決定される各グループの画像間の接続関係が比較的強く、他のグループの画像との接続関係が比較的弱く、それによって画像のグループ化の精度を向上させ、更に画像グループ化による３次元再構成のロバスト性を向上させる。本願で提案される画像グループ化方法は、３次元モデリング、拡張現実、画像処理、撮像、ゲーム、アニメーション、映画及びテレビ、電子商取引、教育、不動産、家の改装などのシーンに適用されてもよく、具体的には実際の状況に応じて選択されてもよく、本願実施例はこれに対して限定しない。

本願実施例で提案される方法は、まず各画像を個別にグループ化し、この時の上記グループ化待ち画像集合に対応するモジュラリティを決定する。次に、毎回マージした後に上記モジュラリティの増分が最大となるというマージ原則に従って、上記画像集合に含まれる画像グループをマージし、毎回マージした後に上記グループ化待ち画像集合に対応するモジュラリティを記録する。

上記グループ化待ち画像集合に１つの画像グループのみが含まれる場合、毎回のマージプロセスで記録されたモジュラリティのうちの最大のモジュラリティを検索し、上記最大モジュラリティに対応する画像の組み合わせ方式を、上記グループ化待ち画像集合の画像グループ化結果として決定する。

上記の技術案からわかるように、当該方法は、毎回の反復ステップにおける最大モジュラリティの増分に対応する２つの画像グループをマージすることにより、毎回マージした後、画像の組み合わせ方式が今回のマージで達成できる最良の組み合わせ方式であることを保証することができる。

一方、１つの画像グループのみが残るまでマージする場合、当該方法は、記録された、毎回の反復における更新後のモジュラリティを遡及することにより、上記モジュラリティのうちの最大モジュラリティを決定し、上記最大モジュラリティに対応する画像組み合わせ方式を、上記グループ化待ち画像集合の画像グループ化結果として決定し、それによって画像グループのマージプロセスに出現した最良の画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定できることを保証することができる。グループの分割により、各グループ内の画像の間の接続関係が比較的強く、かつ各グループ内の画像と他のグループの画像との接続関係が比較的弱いことを実現し、これにより、画像グループ化の精度を向上させ、更に画像グループ化による３次元再構成のロバスト性を向上させる。

本願で記載される実施例を説明する前に、出願人は、まず、上記モジュラリティ、上記モジュラリティの増分、及びモジュラリティ及びモジュラリティの増分の計算式を詳細に紹介する。

上記モジュラリティは、モジュラリティメトリックとも呼ばれ、ネットワークコミュニティ分割標準を測定するための方法である。ここで、モジュラリティが高いほど、上記ネットワークの分割結果が合理的になることを示す。即ち、モジュラリティが高いほど、現在のネットワークにおける各コミュニティ内のノード間の接続関係が比較的強く、他のコミュニティ内のノードとの接続関係が比較的弱いことを示す。

上記モジュラリティの計算式は次のとおりである：

ここで、上記式（１）の導出プロセスについては、ＮｅｗｍａｎのＦｉｎｄｉｎｇａｎｄｅｖａｌｕａｔｉｎｇｃｏｍｍｕｎｉｔｙｓｔｒｕｃｔｕｒｅｉｎｎｅｔｗｏｒｋｓにおける関連記載内容を参照することができる。

以下、図面を参照して上記式（１）に含まれる各要素が表す意味を説明する。

図１を参照すると、図１は本願実施例によるネットワークコミュニティ分割の概略図である。

図１に示すように、ノード１－７は、１つのネットワークを構成する。ここで、ノード１、２、３、４が互いに隣接して接続される（つまり、ノード１、２、３、４の隣接間の接続辺）、ノード５、６、７が互いに隣接して接続される（つまり、ノード５、６、７の隣接間の接続辺）、ノード４は、ノード５に接続される（つまり、ノード４、５の隣接間の接続辺）。

上記式（１）において、上記Ｑは、上記ネットワークの現在のコミュニティ分割状況における対応するモジュラリティを表す。

ここで、上記ｎは、上記ネットワークがｎ個のコミュニティに分割されていることを示す。例えば、図１を参照すると、図１に示すネットワークに含まれるノード１、２、３、４を１つのコミュニティとし、ノード５、６、７を１つのコミュニティとする場合、上記ネットワークは、２つのコミュニティに分割される。この場合、上記ｎは２である。ノード１－７がそれぞれ１つの別個のコミュニティとする場合、上記ネットワークは、７つのコミュニティに分割される。この場合、上記ｎは７である。

上記ｉは、上記のｎつのコミュニティのうちのコミュニティｉを表す。

上記

は、上記コミュニティｉに含まれる各辺に対応する追加の重み係数の合計と、上記ネットワークに含まれるすべての辺に対応する追加の重み係数の合計との比率を表す。

ここで、上記辺は、２つのノード間に接続関係があるか否かを示すことができる。例えば、上記のノードｖとノードｗがそれぞれ２枚の画像を表す場合、上記ノードｖとｗの間に接続関係があるか否かを決定するときに、ｖとｗの類似度を計算することができる。上記のノードｖとｗの類似度が所定の類似度閾値に達した場合、上記のノードｖとｗの間に接続関係があると見なしてもよいし、ｖとｗの間に２つの辺があると見なしてもよい。この場合、上記のｖとｗは、上記の２つの辺の２つの端点である。

上記の追加の重み係数は、上記の２つのノード間の接続関係を定量的に表すことができる。例えば、上記のノードｖとｗの間に辺がある場合、ｖとｗの間の画像特徴点のマッチング数量を、上記のｖとｗの間の辺の追加の重み係数としてマッピングすることができる。上記追加の重み係数が大きいほど、ノードｖとノードｗの間の接続関係が強くなる。

当業者であれば、モジュラリティをより正確に計算するために、実際の適用において、モジュラリティを計算するときに、辺に対応する追加の重み係数を考慮する必要があることを容易に理解できる。ただし、本実施例の説明の便宜上、本願では、上記の追加の重み係数の値を１に設定する。上記の状況下でモジュラリティの計算を行う場合、上記コミュニティｉに含まれる辺の数量と、上記ネットワークに含まれる辺の数量との比率により、上記

を計算することができる。式（２）に示すように、それは次のとおりである：

ここで、上記

は、コミュニティｉに含まれる辺の数量を示し、上記ｍは、上記ネットワークに含まれる辺の数量を示す。

例えば、図１を引き続き参照すると、上記ネットワークがコミュニティ１とコミュニティ２の２つのコミュニティ（コミュニティ１はノード１、２、３、４で構成され、コミュニティ２はノード５、６、７で構成される）に分割されると想定する。この場合、上記コミュニティ１に含まれる辺の数量は６である。上記コミュニティ２に含まれる辺の数量は３である。上記ネットワークに含まれる辺の数量は１０である。ｉが１である場合、上記式（２）により、上記

は０．６であることがわかる。ｉが２である場合、上記

は０．３である。

上記式（１）を引き続き紹介する。

上記式（１）の

は、コミュニティｉに含まれる各ノードの入次数の合計と上記ネットワークに含まれる辺の数量の２倍との比率を示す。

は、次の式（３）によって計算されてもよい：

ここで、上記

は、上記コミュニティｉに含まれる各ノードの入次数の合計を表し、上記ｍは、上記ネットワークに含まれる辺の数量を示す。

上記ノードの入次数は、辺の端点としての上記ノードの数量を示す。例えば、図１を引き続き参照すると、図１のノード４に４つの辺が接続されているため、辺の端点としてのノード４の数量は４であり、このとき、ノード４の入次数が４であると決定できる。ノード５に３つの辺が接続されているため、ノード５の入次数は３である。

図１を引き続き参照すると、上記ネットワークがコミュニティ１とコミュニティ２の２つのコミュニティ（コミュニティ１はノード１、２、３、４で構成され、コミュニティ２はノード５、６、７で構成される）に分割されると想定する。このとき、コミュニティ１に含まれる各ノードの入次数の合計は１３である。コミュニティ２に含まれる各ノードの入次数の合計は７である。上記ネットワークに含まれる辺の数量の２倍は２０である。ｉが１である場合、上記

は０．６５である。ｉが２である場合、上記

は０．３５である。

次に、モジュラリティの増分

を紹介し続ける。

モジュラリティの増分とは、ネットワークに含まれる２つのコミュニティが１つのコミュニティにマージされた後の、上記ネットワークに対応するモジュラリティとマージ前の上記ネットワークに対応するモジュラリティとの差値を指す。

ここで、当業者であれば、上記増分が正の数である場合、上記増分が大きいほど、マージ後の上記ネットワークに対応するモジュラリティの増加の値が大きくなり、即ち今回のマージの価値が高くなることを示すことを理解することができる。上記増分が負の数である場合、上記増分が大きいほど、マージ後の上記ネットワークに対応するモジュラリティの減少の値が小さくなり、即ち今回のマージによる悪影響が少なくなることを示す。したがって、今回のマージ後の上記ネットワークのモジュラリティが増加するか減少するかが決定されないという条件下で、ネットワークに含まれるコミュニティをマージする場合、上記ネットワーク内の２つのコミュニティのすべての可能な組み合わせ方式のうち、上記増分を最大にすることができるマージに対応する組み合わせをマージすることができ、これにより、マージ後の上記ネットワークのモジュラリティが最大に増加するか、最小に減少することが保証される。

例えば、図１を引き続き参照すると、上記ネットワークのノード１から上記ノード７の各々が１つのコミュニティに分割されると想定する。このとき、上記ネットワークに対応するモジュラリティは、

に記されてもよい。

上記状況において、上記ネットワーク内の任意の２つのコミュニティを１つのコミュニティにマージする場合、上記ネットワークに対応するモジュラリティは、

に記されてもよく、上記モジュラリティの増分の表現式は

である。

以下にモジュラリティの増分式

の導出プロセスを紹介する。

上記ネットワークが現在、ｎ個のコミュニティを含み、かつ上記ネットワークがコミュニティｉとコミュニティｊとを含むと想定すると、式（１）により、現在のネットワークに対応するモジュラリティが次のとおりであることがわかる：

上記ネットワークに含まれるコミュニティｉとコミュニティｊとをマージして、コミュニティｐを得ると想定する。

式（２）により、

を得ることができる。ここで、

はそれぞれ、コミュニティｉ、コミュニティｊに含まれる辺の数量を表し、上記

は、コミュニティｉに含まれる各ノードとコミュニティｊに含まれる各ノードの間に接続される辺の数量を表し、上記ｍは、上記ネットワークに含まれる辺の数量を示す。

式（３）によると、

である。ここで、上記

はそれぞれ、上記コミュニティｉ、コミュニティｊに含まれる各ノードの入次数の合計を表し、上記ｍは、上記ネットワークに含まれる辺の数量を示す。

式（１）によると、現在のネットワークに対応するモジュラリティは次のとおりである：

上記モジュラリティ増分の式に従って、コミュニティｉとコミュニティｊとをマージした後、上記ネットワークに対応するモジュラリティの増分は次のとおりである：

が、コミュニティｉに含まれる各ノードとコミュニティｊに含まれる各ノードとの間に接続される辺の数量と、上記グループ化待ち画像に含まれる各画像の間に接続される辺の数量の２倍との比率を示すと想定する。

即ち、

である。この場合、式（４）のとおりである。

これにより、コミュニティｉとコミュニティｊとをマージすると、上記ネットワークに対応するモジュールの増分が

を導出することができ、ここで、

は、コミュニティｉに含まれる各ノードとコミュニティｊに含まれる各ノードの間に接続されている辺の数量と、上記グループ化待ち画像に含まれる各画像の間の接続される辺の数量の２倍との比率を示し、

はそれぞれ、コミュニティｉ、コミュニティｊに含まれる各ノードの入次数の合計と、上記ネットワークに含まれる辺の数量の２倍との比率を示す。

上記状況において、コミュニティｉとコミュニティｊとをマージすることにより得られたコミュニティｐが他のコミュニティｑとマージされると想定したときの上記ネットワークに対応するモジュラリティの増分を計算する必要がある場合、
上記式（４）によって計算される上記モジュラリティの増分は、次のとおりであり得る：

上記式により、以下の式（５）を導出することができる。

これまで、モジュラリティ、モジュラリティの増分、及び関連する計算式について紹介した。以下に本願実施例を紹介し始める。

本願の幾つかの実施例では、図２を参照すると、図２は、本願実施例による３次元再構成における画像グループ化方法のフローチャートである。

図２に示すように、前記３次元再構成における画像グループ化方法は、以下のステップを含むことができる：
ステップＳ２０２において、グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用い、上記グループ化待ち画像集合に対応するモジュラリティを計算する。

ステップＳ２０４において、上記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせ、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得る。

ステップＳ２０６において、上記増分集合における最大増分を決定し、上記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、上記グループ化待ち画像集合に対応するモジュラリティ、及び上記増分集合を更新し、上記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行する。

ステップＳ２０８において、上記グループ化待ち画像集合に一意の画像グループが含まれる場合、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティを決定し、上記最大モジュラリティに対応する画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定する。

なお、上記画像グループ化方法は、上記方法を実行できる任意のソフトウェア及びハードウェア環境に搭載されてもよい。例えば、上記ソフトウェア及びハードウェア環境は、パーソナルＰＣ、ＰＡＤ、サーバ等の電子機器であってもよく、又は、上記ソフトウェア及びハードウェア環境は、仮想システム等であってもよく、本願はこれに対して限定しない。以下では、上記方法の実行本体が電子機器（以下、機器と略称）であることを例として説明する。

幾つかの実施例では、上記グループ化待ち画像集合は、３次元再構成シーンにおいて、グループ化される必要がある画像シーケンスを含み得る。モジュラリティを計算するとき、上記グループ化待ち画像集合は、ネットワークと見なされても良いことが理解できる。

実際の適用では、上記機器が、上記グループ化待ち画像集合とそれに含まれる画像との間の包含関係を維持する場合、通常、上記グループ化待ち画像集合に対応する１つのグループ化待ち画像識別子集合を維持し、次に画像に対応する画像識別子を上記グループ化待ち画像識別子集合に書き込むことにより、上記グループ化待ち画像集合とそれに含まれる画像との間の包含関係を維持することができる。ここで、上記画像識別子は、上記画像に対応するデータノードのノード識別子であってもよい。

上記画像グループは、上記グループ化待ち画像集合における幾つかの画像で構成されてもよい。モジュラリティを計算する場合、上記画像グループは、上記ネットワークに対応するコミュニティと見なされても良いことが理解できる。上記画像は、上記ネットワークのノードとして見なされてもよい。

実際の適用では、上記機器は、上記グループ化待ち画像集合とそれに含まれる画像グループとの間の包含関係を維持する場合、通常、上記グループ化待ち画像集合に対応する１つの画像グループ識別子集合を維持し、次にそれに含まれる画像グループのグループ識別子を上記画像グループ識別子集合に書き込むことにより、上記グループ化待ち画像集合とそれに含まれる画像グループとの間の包含関係を維持することができる。ここで、上記グループ識別子は、上記画像グループに対応するデータノードのノード識別子であってもよい。

この場合、上記グループ化待ち画像集合に含まれる画像グループを決定する必要があると、まず、上記画像グループ識別子集合に含まれる各グループ識別子を読み取り、次に上記各グループ識別子に対応する画像グループを、上記グループ化待ち画像集合に含まれる画像グループとして出力することができる。

一方、上記グループ化待ち画像集合に含まれる任意の２つの画像グループに対してマージ操作を行う場合、上記画像グループ識別子集合から、マージされた２つの画像グループのグループ識別子を削除し、上記マージ操作により生成されたマージ画像グループのグループ識別子を上記画像グループ識別子集合に書き込み、それによって上記マージ操作を完了することができる。

上記機器は、上記画像グループとそれに含まれる画像との間の包含関係を維持する場合、通常、上記画像グループの識別子と画像グループに含まれる画像に対応する画像識別子との間の対応関係を維持することができる。例えば、上記機器は、上記画像グループのために１つのデータノードを作成し、上記画像グループのグループ識別子を上記データノードのノード識別子（ノードインデックス）として用いることができる。次に、上記機器は、当該画像グループに含まれる画像に対応する画像識別子を上記データノードに書き込み、それによって上記画像グループとそれに含まれる画像との間の包含関係を維持することができる。

幾つかの実施例では、上記画像組み合わせ方式は、毎回の反復において１回のマージステップが完了した後の上記グループ化待ち画像集合に含まれる各画像の組み合わせ方式に含まれてもよい。

実際の適用では、通常、各画像グループに対応するグループ識別子、及び画像に対応する画像識別子を定義することができる。次に、各グループの識別子と各画像に対応する画像識別子との間の対応関係を記録することにより、上記画像組み合わせ方式を記録する。

例えば、上記グループ化待ち画像集合が、画像識別子０－９にそれぞれ対応する１０枚の画像を含むと仮定する。１回のマージが完了した後、上記グループ化待ち画像集合に含まれる画像グループの識別子がａ、ｂ、ｃ、ｄであり、且つ上記グループ識別子ａが上記画像識別子０－３に対応し、上記グループ識別子ｂが上記画像識別子４－５に対応し、上記グループ識別子ｃが上記画像識別子６に対応し、上記グループ識別子ｄが上記画像識別子７－９に対応すると仮定する。

上記状況において、現在のグループ化待ち画像集合に含まれる各画像組み合わせ方式を決定する必要がある場合、現在のグループ化待ち画像集合に含まれるグループ識別子を決定することができる。現在含まれているグループ識別子を決定した後、上記グループ識別子と上記画像識別子との間の対応関係をクエリすることにより、現在の上記グループ化待ち画像集合に含まれる画像組み合わせ方式が、画像０－３が１つの画像グループであり、画像４－５が１つの画像グループであり、画像６が１つの画像グループであり、画像７－９が１つの画像グループであると決定してもよい。

グループ化待ち画像集合に対して画像グループ化を行う場合、上記機器は、ステップＳ２０２を実行することができ、まず、グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用い、上記グループ化待ち画像集合に対応するモジュラリティを計算する。

実際の適用では、上記機器は、まず、上記グループ化待ち画像集合内の各画像をトラバースし、各画像と一意の画像識別子とを１対１で対応させることができる。次に、上記機器は、各画像識別子を一意の１つのグループ識別子に対応付けることができる。この場合、上記機器は、上記の各グループ識別子と上記画像識別子との間の対応関係を記録することにより、上記画像グループと上記画像との間の対応関係を記録することができる。

このステップでは、上記グループ化待ち画像集合に含まれる各画像がそれぞれ別個のグループを形成すると想定するため、上記各画像に対応する画像識別子は、上記各画像に対応する画像グループのグループ識別子として用いられてもよいことが理解できる。

例えば、上記グループ化待ち画像集合が１０枚の画像を含むと仮定する。ステップＳ２０２を実施するとき、上記機器は、まず、画像識別子０～９を上記の１０枚の画像と１対１で対応させることができる。次に、上記機器は、上記画像の数量と同じ数量のデータノードを作成し（ここで、上記データノードは、アレイの形で記録することができる）、上記データノードを上記の１０枚の画像と１対１で対応させることができる。次に、上記機器は、上記各画像に対応する画像識別子を、各画像に対応するデータノードのノード識別子（ノードインデックス）とし、上記各画像に対応する画像識別子を上記各画像に対応するデータノードに書き込むことができる。

このとき、上記各データノードは、実際には上記の１０枚の画像に１対１で対応するだけでなく、１０枚の画像グループに１対１で対応することが理解でき、このとき、上記の１０つの画像グループのグループ識別子は、０－９である。

図３を参照すると、図３は、本願実施例による画像グループ化シーンの概略図である。

図３に示すように、図３に示す画像グループ化シーンは、上記グループ化待ち集合に含まれる１０枚の画像をグループ化することである。ここで、図３に示す各データノードのノード識別子（ノードインデックス）は、上記各データノードに対応する画像グループのグループ識別子である。上記各データノードには、上記各データノードに対応する画像グループに含まれる画像に対応する画像識別子が記録される。

留意されたいこととして、図３に示すデータノード構造は、例示的なものに過ぎず、実際の適用では、様々なデータノード構造を含むことができる、本願はこれに対して限定しない。

グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして想定した後、上記機器は、上記式（１）に従って現在の画像組み合わせ方式における上記ネットワークに対応するモジュラリティ

を計算することができる。

実際の適用では、上記モジュラリティ

を計算する前に、上記機器は、まず、現在の画像組み合わせ方式における各画像グループ間の接続関係を決定することができる。

ここで、留意されたいこととして、現在の各画像グループに１枚の画像が含まれるため、各画像グループ間の接続関係を決定することは、上記グルプ化画像集合に含まれる各画像間の接続関係を決定することに相当する。

上記グループ化待ち画像に含まれる各画像間の接続関係を決定するとき、上記グループ化待ち画像に含まれる各画像を目標画像として順次用い、上記目標画像と上記グループ化待ち画像に含まれる他の画像との類似度を計算することができる。

上記目標画像と任意の他の画像との類似度が得られた後、上記目標画像と当該他の画像との類似度が所定の類似度閾値よりも大きいか否かを更に決定することができ（ここで、上記の所定の類似度閾値は、経験に従って設定されてもよい）、所定の類似度閾値よりも大きい場合、上記目標画像と当該他の画像との間に接続関係があると認められ、又は上記目標画像と当該他の画像との間に接続辺があると認められる。この場合、上記目標画像と当該他の画像は、上記辺の２つの端点である。

任意の２枚の画像の間に辺があると決定した場合、上記の２枚の画像のそれぞれに対応する画像グループのグループ識別子の対応関係を上記機器によって維持される隣接リストに記録することができる。例えば、上記図３に対応する画像グループ化シーンでは、データノード０－９は、グループ化待ち画像集合に含まれる各画像グループ０～９と１対１で対応する。この場合、画像０と画像１との間に辺があると決定される場合、グループ識別子０とグループ識別子１との間の対応関係を上記隣接リストに記録することができる。

なお、上記隣接リスト維持方法では、接続関係がある２つの画像グループのグループ識別子間の対応関係が２回記録される可能性があるため、ここで重複排除操作を行い、それによって上記隣接リストにおける接続関係がある２つの画像グループのグループ識別子間の対応関係が１回だけ記録されることを保証することができる。

当業者であれば、上記グループ化待ち集合に含まれる各画像間の接続関係が確認された後、上記隣接リストに、接続関係がある現在のすべての画像グループのグループ識別子間の対応関係が記録されることを理解することができる。

このとき、任意の２つの画像グループ間に接続関係があるか否かを決定する必要がある場合、上記隣接リストに上記の２つの画像グループのグループ識別子間の対応関係が記録されているか否かをクエリすることができる。対応関係が記録されている場合、上記２つの画像グループ間に接続関係があると認められる。

ある画像グループの入次数を計算する必要がある場合、上記隣接リストに記録された対応関係のうち、上記画像グループのグループ識別子を含む対応関係の数量を計数することができる。

例えば、画像グループ０の入次数

を計算するとき、まず１つのカウンタ（初期値は０である）を設定することができる。次に、上記隣接リストに記録されたグループ識別子の対応関係にグループ識別子０が含まれているか否かをトラバースする。上記グループ識別子０を含む対応関係がクエリされるたびに、上記カウンタのカウントに１を加算することができる。上記隣接リストがクエリされた後、上記カウンタのカウントを読み取り、上記カウントを画像グループ０の入次数

として用いることができる。

上記グループ化待ち画像に含まれる各画像間の接続関係が確認された場合、上記機器は、各画像グループに対応する入次数

を計算することができ、ここで、上記

は、画像グループｉの入次数を示す。

各画像グループの入次数が算出された場合、式

に従って、上記グループ化待ち画像集合に含まれる辺の数量を計算することができる。

次に、上記式（３）に従って、各画像グループに対応する

を計算することができ、ｉは、０よりも大きい且つ上記グループ化待ち画像集合に含まれる画像の数量以下の自然数である。

現在の各画像グループに１枚の画像が含まれているため、このとき、

は０である。

が算出された場合、式（１）に従って、上記の現在の画像組み合わせ方式における上記ネットワークに対応するモジュラリティ

を計算することができる。

上記

が算出された場合、上記機器は、上記

を記録することができる。実際の適用では、上記

は、任意の形態で記録されてもよい。例えば、上記

は、図３に示すデータノードに記録されてもよく、又は上記

を記録するための１つの専用のアレイを維持してもよい。

ステップＳ２０２が実行された場合、上記機器は、上記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせると想定したときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得るステップＳ２０４を実行し続けることができる。

実際の適用では、上記機器は、上記グループ化待ち画像集合における各画像グループを２つずつ組み合わせ、得られた各組み合わせについて、上記組み合わせに対応する画像グループがマージされると想定したときの上記モジュラリティの増分を計算し、算出された上記増分に基づいて増分集合を生成することができる。

本願実施例では、上記モジュラリティの増分を計算するとき、上記機器は、まず、上記グループ化待ち画像集合に含まれるいずれかの２つの画像グループを組み合わせて、全ての可能な組み合わせ結果を得ることができる。上記組み合わせ結果が得られた後、各組み合わせ結果について、まず、上記組み合わせ結果に対応する２つの画像グループ間に接続関係があるか否かを決定する（例えば、上記隣接リストに上記の２つの画像グループのグループ識別子の対応関係が記録されているか否かをクエリすることにより、２つの画像グループに接続関係があるか否かを決定する）。

この場合、上記組み合わせ結果に対応する２つの画像グループ間に接続関係があると、接続関係がある上記の２つの画像グループ間の辺の数量

が１であると決定できる。逆に、接続関係がない上記の２つの画像グループ間の辺の数量

は０であると決定できる。

上記の２つの画像グループ間の辺の数量

が決定された後、上記機器は、上記式（４）に従って、上記組み合わせに対応する画像グループがマージされると想定したときの上記モジュラリティの増分を計算することができ、ここで、上記ｉ、ｊは、０よりも大きい且つ９以下の整数である。

上記増分

が算出された後、上記機器は、算出された上記増分に基づいて増分集合を生成し、組み合わせられると想定した２つの画像グループのグループ識別子と上記の２つの画像グループをマージした後に算出された上記増分との間の対応関係を記録することができる。

実際の適用では、上記機器は、増分とグループ識別子との間の対応関係テーブルを維持し、すべての可能な上記組み合わせとすべての可能な上記組み合わせに対応する画像グループがマージされると想定して算出された上記増分

との間の対応関係を、上記増分とグループ識別子との間の対応関係テーブルに記録することができる。

これまで、上記画像グループ化方法の準備作業が完了した。

次に、反復ステップに入り、幾つかの実施例において、上記機器は、ステップＳ２０６を実行でき、上記増分集合に含まれる最大増分を決定し、記録された、上記最大増分に対応する２つの画像グループをマージし、マージ後に上記モジュラリティを更新し、マージ後に上記増分集合を更新し、上記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行する。

本願実施例では、上記増分集合に含まれる最大増分を決定するとき、上記機器は、上記増分集合をクエリすることにより、すべての増分を取得することができる。次に、上記機器は、すべての増分を２つずつ比較して、上記増分集合における最大増分を決定することができる。

最大増分が決定された後、上記機器は、上記増分とグループ識別子との間の対応関係をクエリすることにより、上記最大増分に対応する２つの画像グループを決定することができる。上記の２つの画像グループが決定された後、上記機器は、上記の２つの画像グループをマージすることができる。

実際の適用では、上記の２つの画像グループをマージするとき、上記機器は、２つの画像グループをマージしてマージ画像グループを得ることができる。次に、上記機器は、上記グループ化待ち画像集合に対応する画像グループ識別子集合から、マージされた２つの画像グループのグループ識別子を削除し、上記マージ操作によって生成されたマージ画像グループのグループ識別子を上記画像グループ識別子集合に書き込むことができる。この場合、上記画像グループ識別子集合には、上記マージ画像グループのグループ識別子、及びマージされていない他の画像グループのグループ識別子が含まれることを理解することができる。

例えば、上記グループ化待ち画像集合にグループ識別子０－９の１０個の画像グループが含まれ、且つ上記最大増分に対応する上記の２つの画像グループのグループ識別子が０及び１であると仮定する。上記の２つの画像グループをマージした後に得られたマージ画像グループのグループ識別子はａである。この場合、上記の２つの画像グループをマージした後、現在の上記グループ化待ち画像に含まれる画像グループにはグループａ及びグループ２－９が含まれる。

上記のマージが完了した後、上記グループ化待ち画像集合に含まれる画像グループが変化し、したがって、上記グループ化待ち集合の上記モジュラリティを更新する必要がある。

上記グループ化待ち集合の上記モジュラリティを更新するとき、上記機器は、上記機器によって記録された

に、今回のマージに対応する最大増分を加算することにより、更新後の上記モジュラリティを得ることができる。

現在のモジュラリティの更新が完了した場合、上記機器は、上記各画像グループによって指示される画像組み合わせ形態を上記モジュラリティと関連付けて記録することができる。

上記マージが完了した場合、新しいマージ画像グループが生成されるため、増分集合を更新する必要がある。

実際の適用では、上記増分集合を更新する場合、まず、上記マージ画像グループと上記グループ化待ち画像集合に含まれる他の各画像グループとがマージされると想定したときの上記モジュラリティの増分を計算することができる。

上記増分が算出された後、上記機器は、上記増分を上記増分集合に記録し、マージされた上記の２つの画像グループのいずれかの画像グループのグループ識別子に対応する上記増分を削除することができる。

上記増分が更新された後、上記機器は、上記マージ画像グループ及び上記の他の画像グループのグループ識別子と、上記マージ画像グループと上記の他の画像グループとがマージされると想定して算出された上記増分との間の対応関係を、上記機器によって維持される、増分とグループ識別子の対関係テーブルに記録することができる。

モジュラリティ及び増分集合の更新が完了した場合、上記グループ化待ち画像集合に一意の画像グループが含まれるまでステップＳ２０６を繰り返して反復することができる。

上記グループ化待ち画像集合に一意の画像グループが含まれる場合、上記機器は、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティを決定し、上記最大モジュラリティに対応する画像組み合わせ方式を、上記グループ化待ち画像集合の画像グループ化結果として決定することができる。

このステップでは、上記最大モジュラリティを決定するとき、上記機器は、まず、上記最大モジュラリティに対応する今回の反復を決定することができ、次に、上記機器は、今回の反復でマージ操作が行われた後の、上記画像グループ識別子集合に含まれる各グループ識別子を読み取り、上記各グループに対応する画像グループに対応する画像組み合わせ方式を、上記グループ化待ち画像集合の画像グループ化結果として決定することができる。

上記の技術的解決策からわかるように、当該方法は、毎回の反復ステップにおける最大モジュラリティの増分に対応する２つの画像グループをマージすることにより、毎回マージした後の画像の組み合わせ方式が今回のマージで達成できる最良の組み合わせ方式であるることを保証することができる。

一方、１つの画像グループのみが残るまでマージする場合、当該方法は、記録された、毎回の反復における更新後のモジュラリティを遡及することにより、上記モジュラリティのうちの最大モジュラリティを決定し、上記の最大モジュラリティに対応する画像組み合わせ方式を、上記グループ化待ち画像集合の画像グループ化結果として決定し、それによって画像グループのマージプロセスに出現した最良の画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定できることを保証することができる。グループの分割により、各グループ内の画像の間の接続関係が比較的強く、かつ各グループ内の画像と他のグループの画像との接続関係が比較的弱いことを実現し、これにより、画像グループ化の精度を向上させ、更に画像グループ化による３次元再構成のロバスト性を向上させる。

本願の幾つかの実施例では、画像グループ化の安定性を向上させるために、上記最大モジュラリティに対応する画像組み合わせ方式を、上記グループ化待ち画像集合の画像グループ化結果として決定する上記ステップにおいて、上記最大モジュラリティが所定閾値に達したか否かを決定し、上記最大モジュラリティが上記の所定閾値に達した場合、上記最大モジュラリティに対応する画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定することができる。説明すべきこととして、所定閾値に達することは、所定閾値より大きいか等しいことを意味することができ、実際の状況に応じて設定してもよい。

幾つかの実施例では、上記の所定閾値は、開発者が経験に応じて設定した、グループ化結果の安定性評価基準に関連する閾値であってもよい。当該閾値が高いほど、グループ化結果の安定性に対する要求が高くなることを示す。

したがって、上記最大モジュラリティが所定閾値に達したか否かを決定する場合、上記モジュラリティが上記の所定閾値に達すると、現在の画像組み合わせ方式が所定の安定性基準に達したことを示し、このとき、上記最大モジュラリティに対応する画像組み合わせ方式を、上記グループ化待ち画像集合の画像グループ化結果として決定することができる。

上記最大モジュラリティが上記の所定閾値に達しない場合、今回のグループ化プロセスにおいて、最大モジュラリティに対応する画像組み合わせ方式が所定の安定性基準に達しないことを示し、このとき、上記グループ化待ち画像集合に含まれる各画像を、独立した画像グループとしてそれぞれ用いることができる。

本願の幾つかの実施例では、画像グループ化方法の演算量を縮減し、それによって画像グループ化効率を向上させるために、上記ステップＳ２０４－Ｓ２０８は、以下のプロセスを実行することにより実現されてもよい。

幾つかの実施例では、上記機器は、ステップＳ２０４を実行し、上記グループ化待ち画像集合における複数の画像グループを２つずつ組み合わせる場合、接続関係がある画像グループを２つずつ組み合わせることができる。

次に、得られた各組み合わせについて、上記組み合わせに対応する画像グループをマージした後の上記増分

を計算する（上記

を計算するステップは、上記の状況と同様である）。説明すべきこととして、上記状況では、接続関係がない２つの画像グループをマージした後の上記モジュラリティの増分を０に設定することができる。

上記ステップにより、接続関係がない２つの画像グループをマージした後の上記モジュラリティの増分を計算する必要がなく、そのため、上記増分を計算する演算量が削減され、画像グループ化効率が向上することがわかる。

上記増分が算出された場合、算計された上記増分に基づいて増分集合を生成し、各グループの２つの画像グループのグループ識別子と各グループの上記モジュラリティの増分との間の対応関係を記録することができる。

本実施例では、上記増分集合は、行列の形で記憶されてもよい。実際の適用では、上記機器は、上記増分集合を生成するときに、１つのｎ＊ｎの行列を維持することができる。

ここで、上記のｎ＊ｎの行列における各要素は、上記要素が所属する行及び列にそれぞれ対応する画像グループをマージすることにより算出された上記増分を示すことができる。上記ｎは、上記グループ化待ち画像集合に含まれる画像の数量である。説明すべきこととして、接続関係がある画像ペアの数量が一般的に少なく、したがって、計算を容易にするために、上記行列が疎行列であってもよい。

例えば、図３に示す画像グループ化シーンでは、上記増分集合は、１０＊１０の疎行列Ｔによって記録されてもよい。図４を参照すると、図４は、本願実施例による増分集合の概略図である。図４に示すように、上記疎行列Ｔに含まれる要素

は、上記要素が属する行及び列にそれぞれ対応する画像グループｉと画像グループｊとがマージされると想定して算出された上記増分

を示し、ここで、上記ｉ、ｊは、０よりも大きい且つ９以下の整数である。

本実施例では、ｎ＊ｎ行列を維持することにより上記増分を記録する場合、上記機器は、まず各画像グループに対応する二分木（例えば、平衡二分木）を作成することができる。また、増分集合における各増分を算出した場合、当該増分を計算するときに組み合わせられると想定した２つの画像グループを決定する。次に、上記機器は、まず、組み合わせられると想定した上記の２つの画像グループの第１の画像グループに対して、第１の画像グループに対応する二分木を決定し、上記増分、及び上記２つの画像グループのグループ識別子を第１の画像グループに対応する二分木のノードに記録し、組み合わせられると想定した上記の２つの画像グループの第２の画像グループに対して、第２の画像グループに対応する二分木を決定し、上記増分、及び上記２つの画像グループのグループ識別子を第２の画像グループに対応する二分木のノードに記録する。

上記のすべての増分が記録された場合、各画像グループに対応する二分木のルートノードには、各二分木に記録された上記増分のうちの最大増分、及び上記最大増分に対応するグループ識別子が記録される。

例えば、現在１つの増分

が算出されたと仮定すると、上記機器は、現在組み合わせられると想定したのは、画像グループｉと画像グループｊであると決定することができる。次に、上記機器は、画像グループｉ及び画像グループｊに対応する二分木をそれぞれ決定することができる。上記二分木が決定された後、上記機器は、上記増分

が上記二分木のルートノードに記録された増分よりも大きいか否かを決定することができ、上記二分木のルートノードに記録された増分よりも大きい場合、上記増分

グループ識別子ｉ及びグループ識別子ｊを上記二分木のルートノードに書き込むことができる。

説明すべきこととして、上記二分木のルートノード以外のノードを維持する場合、いかなる方式で維持してもよく、本願はこれに対して限定しない。もちろん、ノードのクエリを容易にするために、上記二分木のルートノード以外のノードを維持する場合、増分に対応する２つのグループ識別子のうち、グループ識別子ｉ以外の別のグループ識別子の大きさ順で維持することができる。

図５を参照すると、図５は、本願実施例による平衡二分木の概略図である。図５に示すように、上記平衡二分木は、上記画像グループｉに対応する。上記平衡二分木のルートノードには、グループ識別子ｉに対応する上記増分のうちの最大増分

及び上記増分

を計算するときに組み合わせられると想定した２つの画像グループのグループ識別子ｉ及びｊが記録される。

説明すべきこととして、図５に示す平衡二分木、及び上記平衡二分木のノードの構造は、例示的なものに過ぎない。実際の適用では、上記平衡二分木、上記ノードの構造は、実際の状況に応じて設定されてもよく、本願はこれに対して限定しない。

各上記組み合わせについて、上記組み合わせに対応する画像グループがマージされると想定して上記増分を算出し、算出された各増分を対応する二分木に書き込んだ後、上記増分集合の生成が完了する。

本実施例では、上記方法で増分集合を生成することは、少なくとも以下の効果をもたらす：
各画像グループに対応する二分木をそれぞれ作成することにより、実際には同一の増分について、上記増分に対応する２つの画像グループのそれぞれの二分木にそれぞれ記録する。この場合、各画像グループ内の２つの画像グループが１つのマージ画像グループにマージされると、上記マージ画像グループに対応する上記増分を記録するときに、上記マージ画像グループのために１つの新しい二分木を維持することを必要とせずに、上記増分を上記マージ画像グループに対応する別の画像グループの二分木に記録することができ、これにより、マージ画像グループに対応する上記増分を記録するときの演算量を減少し、画像グループ化効率を更に向上させることができる。

一方、上記二分木のルートノードに各画像グループに対応する上記増分の最大値が記録されるため、後続の反復ステップで増分集合における最大増分を決定するとき、各画像グループに対応する二分木のルートノードに記録された増分を比較するだけでよく、それによって上記最大増分の決定効率を向上させ、画像グループ化効率を更に向上させる。

次に、反復ステップに入り、幾つかの実施例では、上記機器は、ステップＳ２０６を実行でき、上記増分集合における最大増分を決定し、上記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、上記グループ化待ち画像集合に対応するモジュラリティ、及び上記増分集合を更新し、上記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行する。

本実施例では、上記増分集合に含まれる最大増分を決定するとき、最大ヒープ（最大ヒープ内の各親ノードに対応する値は、その左右の子ノードに対応する値以上である）を用いて上記最大増分を導出することができる。

例えば、上記増分集合に含まれる最大増分を決定するとき、上記機器は、各二分木のルートノードに対応するポインタを、維持されている最大ヒープにプッシュすることができる。次に、上記機器は、上記最大ヒープのルートノードに記録されたポインタを読み取り、上記ポインタを読み取った後、上記ポインタによって指示されるノードに記録された増分が上記最大増分であると決定することができる。

最大ヒープの特性によると、各親ノードに対応する値がその左右の子ノードに対応する値以上であるため、最大のルートノードには、上記最大ヒープで維持されている最大値が記録される。上記最大ヒープのルートノードに記録されたポインタを読み取り、上記ポインタを読み取った後、上記ポインタによって指示されるノードに記録された増分を決定することにより、上記増分集合における最大増分を決定することができる。

上記増分集合に含まれる最大増分が決定された場合、上記機器は、まず、上記最大増分に対応する２つの画像グループを決定することができる。

本実施例では、上記機器は、上記ポインタによって指示されるノードに記録されたグループ識別子をクエリすることにより、上記の２つの画像グループを決定することができる。

例えば、上記ポインタによって指示されるノードは、図５に示す二分木のルートノードであると仮定する。図５を引き続き参照すると、この場合、上記最大増分に対応する２つの画像グループは、グループｉ及びグループｊであると決定できる。

上記最大増分に対応する２つの画像グループが決定された後、上記機器は、上記の２つの画像をマージし、マージした後、マージ後に得られたマージ画像グループ、及び上記マージ画像グループのグループ識別子とマージされた上記の２つの画像グループのグループ識別子との間の対応関係を記録することができる。

実際の適用では、上記グループ化待ち画像集合における上記最大増分に対応する２つの画像グループをマージした後、マージ後に生成されたマージ画像グループに１つのデータノードを割り当てることができ、ここで、上記データノードのノード識別子（ノードインデックス）は、上記マージ画像グループのグループ識別子であってもよい。

この場合、上記マージ画像グループのグループ識別子と上記の２つの画像グループを示すグループ識別子との間の対応関係を記録するとき、上記機器は、上記対応関係を上記マージ画像グループに対応するデータノードに記録することができる。

例えば、図３に示す画像グループ化シーンでは、決定された、最大増分に対応する２つの画像グループは、画像グループ０及び画像グループ１であると仮定する。この場合、上記機器は、上記の画像グループ０と上記画像グループ１とをマージして、マージ画像グループを得る。上記マージ画像グループを得た場合、上記機器は、上記マージ画像グループに対応するデータノードを作成し、上記データノードのノード識別子（ノードインデックス）を、上記マージ画像グループのグループ識別子として用いることができる。次に、上記機器は、グループ識別子０とグループ識別子１とを上記データノードに記録することがきる。

図６を参照すると、図６は、本願実施例による画像グループのマージの概略図である。

図６に示すように、画像グループ０と画像グループ１は、マージ画像グループａとしてマージされる。ここで、データノードａは、マージ画像グループａに対応する。上記データノードａのノード識別子（ノードインデックス）は、上記マージ画像グループのグループ識別子ａであり、上記データノードａにはグループ識別子０、１が記録される。理解できることとして、本実施例で記載される技術案では、データノードによってマージ画像グループのグループ識別子及びマージされた２つの画像グループのグループ識別子を記録し、それによってマージ画像グループとマージされた２つの画像グループとの間の対応関係を記録することができる。

本願では、上記機器は、マージされた２つの画像グループ内の各画像グループについて、それらに対応するデータノードを決定し、決定された各データノードから記録された画像識別情報を読み取ることもできる。各データノードに記録された画像識別情報が取得された後、上記機器は、上記画像識別情報を上記マージ画像グループに対応するデータノードに書き込み、それによって生成されたマージ画像グループとそれに含まれる各画像との間の対応関係を記録することができる。

図６を引き続き参照すると、図６に示す、マージ画像グループａに対応するデータノードａに画像識別子０、１が記録される。この場合、ノードａに記録された画像識別子を読み取ることにより、画像グループａが画像０及び画像１を含むことを決定することができる。

上記マージが完了した場合、上記機器は、上記グループ化待ち画像集合に対応するモジュラリティを更新することができる。

本実施例では、上記機器は、まず、

を取得し、次に今回の反復に対応する最大増分を加算して、上記グループ化待ち画像集合に対応するモジュラリティを得ることができる。上記モジュラリティが得られた後、上記モジュラリティを、今回の反復で生成されたマージ画像グループに対応するデータノードに記録することができる。図６を引き続き参照すると、図６に示す、上記マージ画像グループに対応するデータノードａには、今回の反復における更新後のモジュラリティ

が記録される。

上記マージが完了した場合、上記機器は、上記増分集合を更新する必要がある。

図７を参照すると、図７は、本願実施例による増分集合更新方法のフローチャートである。

図７に示すように、上記増分集合更新方法は、次のステップを含む：ステップＳ７０２において、記録された、接続関係がある画像グループのグループ識別子の間の対応関係を検索し、上記最大増分に対応する２つの画像グループのいずれかの画像グループと接続関係がある他の画像グループを決定する。

ステップＳ７０４において、上記の他の画像グループが上記の２つの画像とそれぞれマージされると想定して得られた上記増分を決定し、決定された上記増分を加算して得られた結果を、マージ画像グループが上記の他の画像グループとマージされると想定して得られた上記モジュラリティの増分として用いる。

ステップＳ７０６において、上記マージ画像グループ、上記の他の画像グループのそれぞれのグループ識別子と、両者がマージされると想定して得られた上記モジュールの増分との間の対応関係を上記増分集合に記録する。

本実施例では、上記機器は、上記ステップＳ７０２を実行するとき、上記機器によって維持された隣接リストにおいて、上記の２つの画像グループ内の任意の画像グループのグループ識別子を含む対応関係をクエリし、クエリされた上記対応関係から上記の他の画像グループを決定することができる。

上記機器は、１つの上記の他の画像グループを決定したたびに、上記ステップＳ７０４を実行することができる。本実施例では、上記ステップＳ７０４を実行する場合、上記機器は、上記（５）に従って、マージ画像グループと上記の他の画像グループとがマージされると想定したときの上記モジュラリティの増分を計算することができ、ここで、上記マージ画像グループは、上記の２つの画像グループをマージして得られたマージ画像グループである。

例えば、画像グループ０と画像グループ１は、マージ画像グループａとしてマージされると仮定する。上記隣接リストへのクエリによると、画像グループｉと上記画像グループ０が接続関係にある。この場合、上記マージ画像グループａと上記画像グループｉとがマージされると想定したときの上記モジュラリティの増分を計算する必要がある。

上記式（５）によれば、

である。

ここで、１つの方式では、

は、上記画像グループ０及び上記画像グループ１に対応する二分木をそれぞれクエリすることにより取得されてもよい。当業者であれば、本実施例では、接続関係がない画像グループをマージすることにより得られた上記増分を０に設定するため、上記の他の画像グループｉと画像グループ１との間に接続関係がない場合、上記

に記録されたのは、実際のモジュラリティの増分ではなく、０であることを理解することができる。この場合、正確な

を得るために、上記式（３）に従って上記

を計算することができる。

別の方式では、

の両方は、上記式（４）に従って計算されてもよい。ここで、具体的な計算プロセスについては上記内容を参照することができる。

マージ画像グループと他の画像グループとがマージされると想定したときの上記モジュールの増分を計算した後、上記機器は、ステップＳ７０６を実行し続けることができる。

本実施例では、上記ステップＳ７０６を実行する場合、まず、上記の他の画像グループに対応する二分木を決定し、決定された上記二分木に上記増分を記録することができる。

画像グループ０と画像グループ１は、マージ画像グループａとしてマージされると仮定する。上記隣接リストへのクエリによると、画像グループｉと上記画像グループ０に接続関係がある。上記マージ画像グループａと上記画像グループｉとがマージされると想定したときの上記モジュラリティが

であると仮定する。

この場合、上記機器は、まず、上記画像グループｉに対応する二分木を決定することができる。二分木が決定された後、上記

を二分木に挿入することができる。上記

が上記二分木に挿入された後、上記二分木は、それ自体によって記録された増分のうちの最大増分を再決定し、上記最大増分が所在するノードを上記二分木のルートノードに移動することができる。

算出された増分が記録された場合、上記機器は、上記の２つの画像グループ内の任意の画像グループのグループ識別子に対応する上記増分を削除することができる。

本実施例では、上記機器は、上記の２つの画像グループのそれぞれに対応する二分木から、ルートノードに記録されたデータを削除することができる。

各画像グループに対応する二分木が更新された後、次の反復のために、上記機器は、現在の各画像グループに対応するルートノードポインタを上記最大ヒープにプッシュすることもできる。

これまで、上記増分集合の更新が完了した。

本実施例では、毎回の反復において、上記隣接リストに、今回の反復で生成されたマージ画像グループと上記の他の画像グループとの接続関係を記録し、上記隣接リストにおいて、マージされた２つの画像グループのいずれかの画像グループを含む接続関係を削除することもできる。

これまで、１回の反復が完了した。上記機器は、上記グループ化待ち画像集合に一意の画像グループが含まれるまで上記反復ステップＳ２０６を繰り返すことができる。

理解できることとして、毎回の反復で、２つの画像グループをマージしたマージ画像グループが得られ、したがって、上記グループ化待ち画像集合が最初にＮ（Ｎは０より大きい自然数）個の画像グループを含むと仮定すると、Ｎ個の画像グループから１つの画像グループにマージされるまでＮ－１回のマージの反復が必要である。

上記状況において、上記反復ステップの開始前に、値が１であるカウンタを設定し、反復を行うたびに、上記カウンタの値に１を加算することができる。この場合、上記機器は、毎回の反復ステップを行う前に、上記カウンタの値がＮ－１に達したか否かを決定することにより、上記反復ステップＳ２０６の実行を終止するか否かを決定することができる。

上記グループ化待ち画像集合に一意の画像グループが含まれる場合、上記機器は、ステップＳ２０８を実行することができる。

本実施例では、上記機器は、最後の反復で記録されたマージ画像グループから始めて、反復の発生順序の逆順に従って、毎回の反復で記録されたマージ画像グループに対して次のステップＳ２０８２を実行することができ、前記ステップＳ２０８２は、
画像組み合わせ方式を確認するための識別子集合に、上記マージ画像グループのグループ識別子が含まれるか否かを決定し、上記識別子集合に上記マージ画像グループのグループ識別子が含まれない場合、今回の反復で記録されたマージ画像グループのグループ識別子を上記識別子集合に書き込むことと、
上記の記録されたマージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティであるか否かを決定することと、
上記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティである場合、上記識別子集合に含まれる各グループ識別子に対応する画像識別子によって指示される画像を１つの画像組み合わせとして用い、得られた各画像組み合わせを上記グループ化待ち画像集合の画像グループ化結果として決定することと、を含む。

上記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティではない場合、上記識別子集合に記録されたマージ画像グループのグループ識別子を、上記マージ画像グループに対応するマージ前の２つの画像グループのグループ識別子に置き換える。

図８を参照すると、図８は、本願実施例による画像グループのマージの概略図である。

図８に示すノードは、画像グループに対応するデータノードであり、ここで、ノード０－９は、グループ化待ち集合に含まれる各画像と１対１で対応する画像グループに対応するデータノードであり、ノードａ－ｉは、毎回の反復で生成されたマージ画像グループに対応するデータノードである。上記図８は、２つの画像グループと上記２つの画像グループをマージすることにより生成されたマージ画像グループとの間の対応関係を示している。

理解できることとして、各データノードは、作成されるときに、通常、現在のタイムスタンプを含み、したがって、各データノードに含まれるタイムスタンプ情報を決定することにより、各データノードの作成順序を決定することができる。上記図８において、各データノードのインデックスが各データノードの作成順序を示すと仮定する。例えば、ノードａの作成時間は、ノードｂの作成時間よりも早く、ノードｇの作成時間は、ノードｉの作成時間よりも早い。

上記機器が最後に記録されたマージ画像グループに対して上記ステップＳ２０８２を実行する場合、画像組み合わせ方式を決定するための識別子集合が最初は空であるため、まずノードｉに記録された、ノードｉに対応する画像グループのグループ識別子を上記識別子集合に書き込むことができる。この場合、上記識別子集合にはグループ識別子ｉが含まれる。

次に、上記機器は、上記ノードｉに記録されたモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティであるか否かを決定することができる。

以下では、如何に上記ノードｉに記録されたモジュラリティが上記最大モジュラリティであるか否かを決定するかについて説明する。

当業者であれば、実際の状況において、モジュラリティが最大である場合、グループ化待ち画像集合に含まれる画像の組み合わせ形態が次のような３種類であることを理解することができる：１、すべての画像が１つのグループに組み合わせられる。２、各画像がそれぞれ１つのグループになる。３、幾つかの画像が１グループに組み合わせられる。

状況１については、実際には、毎回のマージ後、現在の画像の組み合わせ形態が安定する傾向があり、したがって、対応するモジュラリティが徐々に増加し、この場合、モジュラリティの変化傾向は、反復ごとに単調に大きくなる。

状況２については、実際には、毎回のマージ後、現在の画像組み合わせ形態が不安定になる傾向があり、したがって、対応するモジュラリティが徐々に低下し、この場合、モジュラリティの変化傾向は、反復ごとに単調に小さくなる。

状況３については、実際には、最初の画像組み合わせ方式から最大モジュラリティの画像組み合わせ方式が出現するまで、毎回のマージ後の現在の画像組み合わせ形態は安定する傾向がある。最大モジュラリティの画像組み合わせ方式が出現した後、毎回のマージ後の現在の画像組み合わせ形態が不安定になる傾向がある。この場合、モジュラリティの変化傾向は、最初には反復ごとに単調に大きくなり、次いでピークに達すると単調に小さくなる。

当業者であれば、上記の３つの状況について、最後の反復から開始して、反復が発生する順序の逆順に従って、毎回の反復について、今回の反復における更新後のモジュラリティが今回の反復に対応する前回の反復における更新後のモジュラリティに達したか否かを決定することを理解することができる。上記状況において、今回の反復における更新後のモジュラリティが、今回の反復に対応する前回の反復における更新後のモジュラリティに達したことが判明した場合、今回の反復における更新後の上記モジュラリティが最大モジュラリティであることを意味する。この場合、上記の毎回の反復に対して上記決定ステップを実行した後、上記判断条件を満たすモジュラリティが見つからない場合、モジュラリティの最大値が上記の毎回の反復の前の画像組み合わせ方式に対応するモジュラリティであることを意味する。

したがって、上記機器は、上記ノードｉに記録されたモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティであるか否かを決定するとき、上記ノードｉに記録されたモジュラリティ

と上記ノードｈに記録されたモジュラリティ

とを比較することができる。上記

が上記

に達した場合、上記ノードｉが上記最大モジュラリティであると決定する。

上記機器は、上記ノードｉに記録されたモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティであるか否かを決定するとき、上記ノードｉに記録されたモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティである場合、上記機器は、上記識別子集合に含まれる各グループ識別子に対応する画像識別子によって指示される画像を１つの画像集合として用い、得られた各画像組み合わせを上記グループ化待ち画像集合の画像グループ化結果として決定することができる。

上記ノードｉに記録されたモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティではない場合、上記識別子集合に記録されたマージ画像グループのグループ識別子を、上記の記録されたマージ画像グループのグループ識別子に対応する、上記の２つの画像グループを指示するためのグループ識別子に置き換える。

図８を引き続き参照すると、図８のノードｆに記録されたモジュラリティが最大モジュラリティであると仮定する。上記状況において、ノードｉに対して上記ステップＳ２０８２を実行する場合、上記機器は、上記ノードｉに記録されたモジュラリティが上記最大モジュラリティではないと決定することができる。この場合、上記機器は、上記識別子集合におけるグループ識別子ｉを、画像グループｉにマージされた２つの画像グループのグループ識別子ｇ、ｈに置き換えることができる。この場合、上記識別子集合にはグループ識別子ｇ、ｈが含まれる。

ノードｉに対して上記ステップを実行した後、続いてノードｈに対して上記ステップＳ２０８２を実行することができる。ノードｈに記録されたモジュラリティが上記最大モジュラリティではないため、上記機器は、上記識別子集合におけるグループ識別子ｈを、画像グループｈにマージされた２つの画像グループのグループ識別子ｅ、ｆに置き換えることができる。この場合、上記識別子集合にはグループ識別子ｇ、ｅ、ｆが含まれる。

ノードｈに対して上記ステップを実行した後、続いてノードｇに対して上記ステップＳ２０８２を実行することができる。ノードｇに記録されたモジュラリティが上記最大モジュラリティではないため、上記機器は、上記識別子集合におけるグループ識別子ｇを、画像グループｇにマージされた２つの画像グループのグループ識別子ｃ、４に置き換えることができる。この場合、上記識別子集合にはグループ識別子ｃ、４、ｅ、ｆが含まれる。

ノードｇに対して上記ステップを実行した後、続いてノードｆに対して上記ステップＳ２０８２を実行することができる。ノードｆに記録されたモジュラリティが上記最大モジュラリティであるため、上記機器は、上記グループ化待ち画像集合の画像グループ化結果が、画像０－３が１グループであり、画像４が１グループに独立し、画像５－６がグ１ループであり、画像７－９が１グループであると決定することができる。

本実施例で記載される技術案からわかるように、本実施例で記載される技術案は、グループ化待ち画像を合理的にグループ化することに加えて、以下の効果を達成することができる：
各画像グループに対応する二分木をそれぞれ作成することにより、実際には同一の増分について、上記増分に対応する２つの画像グループのそれぞれの二分木にそれぞれ記録する。この場合、各画像グループ内の２つの画像グループが１つのマージ画像グループにマージされた後、上記マージ画像グループに対応する上記増分を記録するときに、上記マージ画像グループのために１つの新しい二分木を維持することを必要とせずに、上記増分を上記マージ画像グループに対応する別の画像グループの二分木に記録することができ、これにより、マージ画像グループに対応する上記増分を記録するときの演算量を減少し、画像グループ化効率を更に向上させることができる。

一方、上記二分木のルートノードに各画像グループに対応する上記増分の最大値が記録されるため、後続の反復ステップで増分集合における最大増分を決定するとき、各画像グループに対応する二分木のルートノードに記録された増分を比較するだけでよく、これにより、上記最大増分の決定効率を向上させ、画像グループ化効率を更に向上させる。

一方、上記二分木のルートノードポインタを最大ヒープにプッシュし、最大ヒープから最大増分を導出することにより、増分集合から最大増分を決定する効率を向上させ、それによって画像のグループ化効率を更に向上させることができる。

本願の幾つかの実施例では、グループ化待ち画像集合における画像がグループ化された後、比較的少ない数量の画像を含む画像グループが生じる可能性がある。この場合、比較的少ない数量の画像を含む画像グループに対して３次元再構成を実行すると、画像グループに含まれる画像の数量が少ないことにより、再構成結果が悪くなるが、又は、３次元再構成ができないという問題が発生する可能性がある。

関連技術では、含まれる画像の数量が最小閾値未満の幾つかの画像グループを選択して融合して、融合後の画像グループを得ることにより、得られた画像グループに含まれる画像の数量を多くさせる。

しかし、関連技術では、画像グループを融合するときに、融合される各画像グループ間の接続関係を考慮しないため、この方法によって得られる画像グループ内の各画像の間の接続関係があまり強くなく、その結果、融合によって得られた画像グループに対して３次元再構成を実行することによって得られる３次元再構成結果のロバスト性が低い。

本実施例で提案される技術的解決策によれば、画像数量が少ない画像グループを融合する場合、まず接続関係が最も強い２つの画像グループを融合し、それによって画像数量が少ない画像グループを融合すると同時に、融合後に得られる画像グループの各画像の間の接続関係が強いことが保証され、これにより、融合によって得られた画像グループに対する３次元再構成の再構成結果のロバスト性を向上させることができる。

本実施例の詳細なステップを紹介する前に、まず、画像グループ間の接続関係の強さを評価するためのインジケータ、即ち接続重み値を紹介する。

幾つかの実施例では、上記接続重み値は、２つの画像グループ間の接続関係を定量化するためのインジケータを含むことができる。

２つの画像グループ間の接続重み値を計算するとき、まず、その中の１つの画像グループ（例えば第１の画像グループ）に含まれる各画像と別の画像グループ（例えば第２の画像グループ）に含まれる各画像との類似度を計算することができる。次に、算出された各類似度が所定の類似度閾値に達したか否かを決定し、所定の類似度閾値に達する類似度に対応する２つの画像を、マッチングする画像として決定し、２つの画像グループ間のマッチングする画像の数量を計数し、上記画像数量を上記の２つの画像グループ間の接続重み値として用いる。

ここからわかるように、上記接続重み値は、２つの画像グループ間の接続関係を定量化することができる。

次に、本実施例の詳細なステップを紹介する。

最初に、上記機器は、まず、得られた各画像グループのうち、含まれる画像の数量が第１の所定の数量閾値よりも小さい画像グループを決定し、決定された画像グループを融合待ち画像グループとして決定することができ、ここで、上記第１の所定の数量閾値は、各グループの最小画像数量を示す。次に、上記の各画像グループのうち、上記融合待ち画像グループ以外のグループを剰余グループとして決定する。

幾つかの実施例では、上記第１の所定の数量閾値は、各グループ内の最小画像数量であってもよい。ここで、上記最小画像数量は、予め設定された１つの画像グループに含めることが許容される最小画像数量であってもよい。

このステップでは、上記機器は、まず、上記融合待ち画像グループに１つの融合待ち画像グループ識別子集合を割り当てることができる。次に、上記機器は、各画像グループに含まれる画像の数量を逐次決定し、含まれる画像の数量が上記第１の所定の数量閾値よりも小さい画像グループのグループ識別子を上記融合画像グループ識別子集合に追加することができ、これにより、融合待ち画像グループを決定するステップが完了する。

ここで、剰余グループを決定するステップについては、融合待ち画像グループを決定するステップを参照することができる。

融合待ち画像グループが決定された場合、上記機器は、上記融合待ちグループのうち、２つずつの画像グループ間の接続重み値を計算して、接続重み値集合を構成することができ、上記接続重み値は、２つの画像グループ間のマッチングする画像の数量を示す。

このステップでは、上記機器は、上記融合待ちグループの各画像グループについて、上記各画像グループと１対１で対応する二分木（例えば、平衡二分木）を作成することができる。次に、上記機器は、上記融合待ちグループ内の２つずつの画像グループ間の接続重み値を計算し、上記接続重み値、及び上記の２つの画像グループのグループ識別子を上記二分木ノードに記録することができ、上記二分木のルートノードには、各画像グループに対応する各接続重み値のうちの最大接続重み値、及び上記最大接続重み値に対応するグループ識別子が記録される。

これまで、上記接続重み値集合の生成が完了した。

次に、上記機器は、上記接続重み値集合に基づいて、上記融合待ち画像グループを融合することができる。

幾つかの実施例では、上記接続重み値集合に基づいて、上記融合待ち画像グループを融合する場合、上記機器は、上記接続重み値集合にいずれの接続重み値も含まれなくなるまで、次のステップを反復して実行することができる：
上記接続重み値集合における最大接続重み値を決定する。

このステップでは、上記最大接続重み値を決定するとき、各画像グループに対応する二分木のルートノードポインタを、上記最大接続重み値を導出するための最大ヒープにプッシュすることができる。次に、上記最大ヒープのルートノードに記録されたポインタを読み取り、上記の記録されたポインタによって指示される二分木ノードに記録された接続重み値を、上記最大接続重み値として決定する。

上記最大接続重み値が決定された後、上記機器は、上記二分木ノードに記録されたグループ識別子により、上記最大接続重み値に対応する２つの画像グループを決定することができる。

上記最大接続重み値に対応する２つの画像グループが決定された後、上記機器は、含まれる画像の数量がより大きい方の１つの画像グループの画像の数量が、第２の所定の数量閾値に達したか否かを決定することができ、ここで、上記第２の所定の数量閾値は、各画像グループの最大画像数量を示し、
上記第２の所定の数量閾値に達した場合、今回の反復を終止し、
上記第２の所定の数量閾値に達しない場合、上記の２つの画像グループをマージしてマージ画像グループを得て、上記接続重み値集合を更新する。

上記第２の所定の数量閾値は、具体的には、各画像グループの最大画像数量を示すために用いられる。ここで、上記最大画像数量は、各画像グループに含めることが許容される最大画像数量である。

このステップでは、上記の２つの画像グループをマージしてマージ画像グループを得る場合、上記機器は、マージ画像グループのために１つのデータノードを作成し、上記のマージされた２つの画像グループのそれぞれに対応するデータノードに記録された画像識別子を当該データノードに書き込むことができる。次に、上記機器は、上記融合待ち画像グループ識別子集合において、上記のマージされた２つの画像グループの画像識別子を削除し、上記マージ画像グループのグループ識別子を追加することができる。

上記マージが完了した場合、上記機器は、上記接続重み値集合を更新することができる。

このステップでは、上記機器は、まず、マージされた上記の２つの画像グループのそれぞれに対応する二分木に記録されたデータを削除することができる。

次に、上記機器は、上記マージ画像グループと上記融合待ちグループのうちの他のグループとの間の接続重み値を計算し、算出された上記接続重み値、及び上記マージ画像グループと上記の他のグループのグループ識別子を上記の他のグループに対応する二分木に書き込むことができる。この場合、上記機器は、上記の他のグループに対応する二分木から、上記の他のグループとマージされた上記の２つの画像グループとの間の接続重み値が記録されたノードを削除することもできる。

理解できることとして、画像融合効率を向上させるために、上記マージ画像グループと上記融合待ちグループのうちの他のグループとの間の接続重み値を計算するとき、上記マージ画像グループと接続関係がある他の画像グループと、上記マージ画像グループとの間の接続重み値のみを計算することができる。

これまで、上記機器は、上記接続重み値集合の更新を完了した。

次に、上記機器は、上記接続重み値集合にいずれの接続重み値も含まれなくなるまで、上記ステップを反復して実行することができる。

本実施例では、上記最大接続重み値に対応する２つの画像グループのうち、含まれる画像の数量がより大きい方の１つの画像グループの画像の数量が第２の所定の数量閾値に達した場合、上記機器は、今回の反復の中止操作を実行することに加えて、上記の含まれる画像の数量がより大きい方の画像グループに対応する二分木を削除し、含まれる画像の数量がより少ない方の画像グループに対応する二分木から、上記の２つの画像グループ間の接続重量み値が記録されたノードを削除することができる。

説明すべきこととして、２つの画像グループを融合する場合、又は、ある画像グループに含まれる画像の数量が上記第２の所定閾値よりも大きい場合、それに対応する二分木を削除し、したがって、最大接続重み値に対応する画像グループの二分木が空である場合、当該画像グループが融合できなくなったことを意味する。

ここからわかるように、画像グループ融合効率を向上させるために、毎回の反復で最大接続重み値を決定した後、上記機器は、まず、上記最大接続重み値に対応する２つの画像グループのいずれかに対応する二分木が空であるか否かを決定することができる。空である場合、今回の反復を終止することができ、空ではない二分木から、上記の２つの画像グループ間の接続重み値が記録されたノードを削除し、それによって無効な反復を減らし、画像グループの融合効率を向上させることができる。

上記接続重み値集合にいずれの接続重み値も含まれない場合、上記機器は、上記融合待ちグループに含まれる画像グループ、及び上記剰余グループのうちの画像グループを、上記グループ化待ち画像集合の最終的な画像グループとして用いることができる。

幾つかの実施例では、上記機器は、上記融合待ちグループ識別子集合に含まれる各グループ識別子を読み取り、上記各グループ識別子について、各グループ識別子に対応する画像識別子によって指示される画像を、１つの画像グループとして分割することができる。次に、上記機器は、分割によって得られた各画像グループと剰余グループのうちの画像グループとを、上記グループ化待ち画像集合の最終的な画像グループとして出力することができる。

本実施例では、毎回の反復における最大接続重み値に対応する２つの画像グループを融合することができ、そのため、画像数量が少ない画像グループを融合する場合、まず、接続関係が最も強い２つの画像グループを融合することができ、それによって画像数量が少ない画像グループを融合すると同時に、融合後に得られた画像グループ内の各画像間の接続関係が比較的強いことが保証され、それによって融合によって得られる画像グループに対する３次元再構成の再構成結果のロバスト性を向上させることができる。

上記実施例の発明構想に基づき、本願実施例は、３次元再構成における画像グループ化方法を更に提供する。図９を参照すると、図９は、本願実施例による３次元再構成における画像グループ化方法のフローチャートである。図９に示すように、上記方法は次のステップを含む：
ステップＳ９０２において、グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用いる場合、上記グループ化待ち画像集合に対応するモジュラリティを計算する。

ステップＳ９０４において、上記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせるときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得る。

ステップＳ９０６において、上記増分集合に含まれる最大増分を決定し、更に上記最大増分が０に達したか否かを決定し、０に達した場合、記録された、上記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、上記増分集合を更新し、上記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行する。

ステップＳ９０８において、毎回の反復において、上記最大増分が０に達しない場合、以上の反復ステップを終止し、今回の反復の前回の反復におけるマージ後の画像組み合わせ方式を、上記グループ化待ち画像集合の最終的な画像グループ化結果として用いる。

ステップＳ９１０において、上記グループ化待ち画像集合に一意の画像グループが含まれる場合、上記グループ化待ち画像集合に含まれる各画像を１つの画像グループに分割する。

上記実施例における毎回の反復プロセスでのマージ操作の後の、現在の画像組み合わせ形態に対応するモジュラリティの変化傾向の分析によれば、モジュラリティが最大値に達した場合、それ以降の反復におけるモジュラリティは単調に低下する。

したがって、毎回のマージ操作の前に、今回のマージによりモジュラリティが低下するか否かを判断することができ、モジュラリティが低下しない場合、マージ操作を実行し、そうでない場合、マージを終止し、前回の反復後の画像組み合わせ方式を、上記グループ化待ち画像集合の最終的な画像グループ化結果として用いることができる。

幾つかの実施例では、現在の反復における最大モジュール増分が０に達したか否かを判断し、０に達した場合、今回のマージ後、上記モジュラリティが少なくとも低下しないことを意味する。しかし、現在の反復における最大モジュール増分が負の値であることを検知した場合、今回のマージ後に上記モジュラリティが低下し、それ以降の毎回のマージ操作後に、モジュラリティが低下し続けることを意味する。

上記の技術的解決策からわかるように、当該方法は、毎回の反復ステップで最大モジュラリティの増分に対応する２つの画像グループをマージすることにより、毎回マージした後、画像の組み合わせ方式が今回のマージで達成できる最良の組み合わせ方式であることを保証することができる。

一方、毎回マージ操作を行う前に、今回のマージによりモジュラリティが低下するか否かを判断し、モジュラリティが低下しない場合、マージ操作を実行し、そうでない場合、マージを終止し、前回の反復後の画像組み合わ方式を上記グループ化待ち画像集合の最終的な画像グループ化結果として用いることができ、これにより、反復プロセスでモジュラリティが最大になる場合の対応する画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定することが保証され、これにより、分割された各グループ内の画像の間の接続関係が比較的強く、各グループ内の画像と他のグループの画像との接続関係が比較的弱く、それによって画像グループ化の精度を向上させ、更に画像グループ化による３次元再構成のロバスト性を向上させる。

幾つかの実施例では、図１０を参照すると、図１０は、本願実施例による３次元再構成における画像グループ化方法が実際のシーンに適用されるプロセスの概略図である。図１０には、本実施例における画像グループ化方法の３つのプロセス、即ちシーン画像構築プロセス、画像グループ生成プロセス及び画像グループ融合プロセスが示されており、それについて以下に詳細に説明する。

シーン画像構築プロセスは、上記機器が、現実シーンから収集された複数の現実シーン画像に対して特徴抽出と特徴マッチングを行うことにより実現することができる。具体的には以下を含む：特徴抽出プロセスにおいて、各実シーン画像から複数の特徴点を抽出し、例示的に、ハリス（ｈａｒｒｉｓ）コーナー点を特徴点として抽出し、各特徴点の周りの所定領域のグレースケールヒストグラムを統計し、当該特徴点を記述するための特徴ベクトル、例えば、１２８次元の特徴ベクトルを生成することができ、これにより、各現実シーン画像の各特徴点の対応する特徴ベクトルを得る。特徴マッチングプロセスにおいて、各現実シーン画像に対応する特徴ベクトル集合に基づいて、２枚の現実シーン画像の間のマッチング関係を計算することができる。具体的には以下を含む：１枚の現実シーン画像の１つの特徴点について、別の現実シーン画像から当該特徴点に類似する特徴点を探し出して、１つのマッチング点ペアとして使用する。ここで、特徴点間の類似度は、それに対応する特徴ベクトルの間のユークリッド距離によって測定でき、２枚の現実シーン画像の間の、マッチングされたマッチング点ペアの数量が所定の数量閾値よりも大きい場合、２枚の現実シーン画像がマッチング画像であると決定する。

幾つかの実施例では、特徴抽出について、スケール不変特徴変換（ＳＩＦＴ：Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔｆｅａｔｕｒｅｔｒａｎｓｆｏｒｍ）特徴抽出方法を採用することもでき、具体的には実際の状況に応じて選択することができ、本願実施例はこれに対して限定しない。

幾つかの実施例では、特徴マッチングを行う場合、非最大抑制と双方向マッチングの整合性により、誤ったマッチングを除去することもできる。又は、テクスチャが弱く又は視角が大きく変化する幾つかのシーンでは、マッチングされたマッチング点ペアの数量が所定の最小マッチング数量閾値より小さい場合、マッチングされたマッチング点ペアに基づいて、対応する２枚の現実シーン画像の間の基本行列（ｅｓｓｅｎｔｉａｌｍａｔｒｉｘ）を取得することができ、基本行列により、画像間のエピポーラ幾何学拘束を提供し、これにより、類似した特徴の検索範囲をエピポーラ線に拘束させ、それによってマッチングが大幅に強化される。

画像グループ生成プロセスについては、上記ステップＳ２０２－Ｓ２０８の方法により、又は、上記ステップＳ９０２－Ｓ９１０の方法により、画像グループ化、モジュラリティ計算及びモジュラリティに基づく反復マージのプロセスを実行し、一意の画像グループが得られると、ステップＳ２０８で得られた最大モジュラリティに対応する画像組み合わせ方式を、画像グループ化の初期結果として決定し、又は、ステップＳ２０９で得られたグループ化待ち集合に含まれる各画像を１つの画像グループとして分割して、画像グループ化の初期結果を得る。

ここで、ステップＳ２０４又はステップＳ９０４の実行プロセスでは、生成されたシーン画像から各領域間の接続関係を取得し、更に画像グループ化を行う際に接続関係のある画像グループのみを組み合わせることにより、モジュラリティ増分の計算量を減らし、画像グループの生成効率を向上させることができる。

画像グループ融合プロセスでは、まず、画像グループ化の初期結果において、各画像グループ内の画像の数量に基づいて、比較的少ない画像を含む融合待ち画像グループを決定し、更に２つずつの画像グループ間の接続重み値を計算して接続重み値集合を取得することができる。各融合待ち画像グループと１対１で対応する二分木を用い、最大接続重み値に対応する２つの融合待ち画像グループのうちの、より多い画像を含む融合待ち画像グループ内の画像の数量が第２の所定の数量閾値に達しない場合、最大接続重み値に対応する２つの融合待ち画像グループを融合し、融合結果に基づいて二分木と接続重み値の更新を行い、上記接続重み値集合にいずれの接続重み値も含まれないようになった場合、融合待ち画像グループを融合した後に得られた画像グループ、及び上記融合待ち画像グループ以外の残りのグループを最終的な画像グループ化結果として用いる。

上記の技術的解決策からわかるように、モジュラリティに基づく画像グループ生成プロセスの場合、同じグループ内の画像の接続性が強く、異なるグループ間の接続性が弱いということを実現することができ、これにより、画像グループ化の精度を向上させ、同じグループ内の画像再構成の成功率と全体的な再構成全体効率を向上させ、それによって３次元再構成のロバスト性を向上させる。また、画像グループ融合プロセスの場合、画像数量が少ない画像グループを融合するときに、まず接続関係が最も強い２つの画像グループを融合し、このように画像数量が少ない画像グループを融合することにより、画像グループの均一性を保証すると同時に、融合後に得られた最終的な画像グループ内の各画像間の接続関係が比較的強いことが保証され、それによって融合によって得られた最終的な画像グループを用いた３次元再構成の再構成結果のロバスト性を更に向上させる。

本願実施例は、３次元再構成における画像グループ化装置を更に提供する。図１１を参照すると、図１１は、本願による３次元再構成における画像グループ化装置の構造図である。図１１に示すように、当該装置１００は、
グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用い、上記グループ化待ち画像集合に対応するモジュラリティを計算するように構成される第１の計算部１０１と、
上記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせ、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得るように構成される第１の生成部１０２と、
上記増分集合における最大増分を決定し、上記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、上記グループ化待ち画像集合に対応するモジュラリティ、及び上記増分集合を更新し、上記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行するように構成される第１のマージ部１０３と、
上記グループ化待ち画像集合に一意の画像グループが含まれる場合、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティを決定し、上記最大モジュラリティに対応する画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定するように構成される第１のグループ決定部１０４と、を備える。

示される一実施例では、上記第１のグループ決定部１０４は、更に、
上記最大モジュラリティが所定閾値に達したか否かを決定し、
上記最大モジュラリティが所定閾値に達した場合、上記最大モジュラリティに対応する画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定し、
上記最大モジュラリティが所定閾値に達しない場合、上記グループ化待ち画像集合に含まれる各画像を、独立した画像グループとしてそれぞれ用いるように構成される。

示される一実施例において、上記第１の生成部１０２は、更に、
上記複数の画像グループのうち、接続関係がある画像グループを２つずつ組み合わせ、接続関係がある画像グループのグループ識別子間の対応関係を記録するように構成され、
ここで、接続関係がある２つの画像グループとは、上記の２つの画像グループのうちの第１の画像グループと第２の画像グループの画像の間の類似度が所定の類似度閾値に達することを意味する。

示される一実施例では、上記増分集合は、組み合わせられると想定した２つの画像グループのグループ識別子と、上記の２つの画像グループがマージされると想定して算出された上記増分との間の対応関係が含まれ、
上記第１の生成部１０３は、更に、
記録された、接続関係がある画像グループのグループ識別子の間の対応関係を検索し、上記最大増分に対応する２つの画像グループのいずれかの画像グループと接続関係がある他の画像グループを決定し、
上記の他の画像グループが上記の２つの画像とそれぞれマージされると想定して得られた上記増分を決定し、決定された上記増分を加算して得られた結果を、マージ画像グループが上記の他の画像グループとマージされると想定して得られた上記モジュラリティの増分として用い、
上記のマージ画像グループ、上記の他の画像グループのそれぞれのグループ識別子と、両者がマージされると想定して得られた上記モジュールの増分との間の対応関係を上記増分集合に記録するように構成される。

示される一実施例では、上記装置１００は更に、
毎回の反復プロセスにおいて、上記増分集合を更新した後、上記マージ画像グループのグループ識別子と上記の他の画像グループのグループ識別子との間の対応関係を記録するように構成される第１の記録部を備える。

示される一実施例では、上記装置１００は更に、
毎回の反復プロセスにおいて、マージによって得られたマージ画像グループ、及び上記マージ画像グループのグループ識別子とマージされた上記の２つの画像グループのグループ識別子との間の対応関係を記録するように構成される第２の記録部を備える。

示される一実施例では、上記マージ画像グループは、上記マージ画像グループの生成の反復中に更新されたモジュラリティに対応し、上記画像グループのグループ識別子は、上記画像グループに含まれる各画像に対応する画像識別子に対応し、
上記第１のグループ決定部１０４は、更に、
最後の反復で記録されたマージ画像グループから始めて、反復の発生順序の逆順に従って、毎回の反復で記録されたマージ画像グループに対して次のステップを実行するように構成され、前記ステップは、
画像組み合わせ方式を確認するための識別子集合に上記マージ画像グループのグループ識別子が含まれるか否かを決定し、上記識別子集合に上記マージ画像グループのグループ識別子が含まれない場合、上記マージ画像グループのグループ識別子を上記識別子集合に書き込むことと、
上記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティであるか否かを決定することと、
上記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティである場合、上記識別子集合に含まれる各グループ識別子に対応する画像識別子によって指示される画像を１つの画像組み合わせとして用い、得られた各画像組み合わせを上記グループ化待ち画像集合の画像グループ化結果として決定することと、を含む。

示される一実施例では、上記装置１００は更に、
上記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティではない場合、上記識別子集合に記録されたマージ画像グループのグループ識別子を、上記マージ画像グループに対応するマージ前の２つの画像グループのグループ識別子に置き換えるように構成される置換え部を備える。

示される一実施例において、上記第１の生成部１０２は、更に、
組み合わせられると想定して算出された各上記増分について、次のステップを実行されるように構成され、前記ステップは、
組み合わせられると想定した２つの画像グループについて、それらに対応する二分木をそれぞれ決定し、上記増分、及び組み合わせられると想定した２つの画像のグループ識別子を上記の決定された二分木に書き込むことを含み、
ここで、上記二分木のルートノードには、上記二分木に記録されたすべての増分のうちの最大増分、及び上記最大増分に対応するグループ識別子が記録される。

示される一実施例において、上記第１の生成部１０２は、更に、
各画像グループに対応する上記二分木のルートノードポインタを最大増分の決定用の最大ヒープにプッシュし、
上記最大ヒープのルートノードに記録されたポインタを決定し、
上記の記録されたポインタによって指示されるノードに記録された増分を上記増分集合に含まれる最大増分として決定するように構成される。

示される一実施例では、上記装置１００は更に、
得られた各画像グループのうち、含まれる画像の数量が第１の所定の数量閾値よりも小さい画像グループを決定し、決定された画像グループを融合待ち画像グループとして決定するように構成される融合待ち画像グループ決定部であって、上記第１の所定の数量閾値が各グループの最小画像数量を示す、融合待ち画像グループ決定部と、
上記の各画像グループのうち、上記融合待ち画像グループ以外の残りのグループを剰余グループとして決定するように構成される剰余グループ決定部と、
上記融合待ちグループのうち、２つずつの画像グループ間の接続重み値を計算して、接続重み値集合を構成するように構成される接続重み値計算部であって、上記接続重み値が２つの画像グループ間のマッチングする画像の数量を示す、接続重み値計算部と、
上記接続重み値集合に基づいて、上記融合待ち画像グループを融合するように構成されるグループ融合部と、を備える。

示される一実施例では、上記グループ融合部は、更に、
上記接続重み値集合にいずれの接続重み値も含まれなくなるまで、次のステップを反復して実行するように構成され、前記ステップは、
上記接続重み値集合における最大接続重み値を決定することと、
上記最大接続重み値に対応する２つの画像グループのうち、数量が多い画像グループの画像の数量が第２の所定の数量閾値に達したか否かを決定することであって、上記第２の所定の数量閾値が各画像グループの最大画像数量を示す、ことと、
上記第２の所定の数量閾値に達した場合、今回の反復を終止することと、
前記第２の所定の数量閾値に達しない場合、上記の２つの画像グループをマージしてマージ画像グループを得て、上記接続重み値集合を更新することと、
上記接続重み値集合にいずれの接続重み値も含まれない場合、上記融合待ちグループに含まれる画像グループ及び上記剰余グループのうちの画像グループを、上記グループ化待ち画像集合の最終的な画像グループとして用いることと、を含む。

示される一実施例において、上記接続重み値計算部は、
上記融合待ちグループの各画像グループについて、上記各画像グループと１対１で対応する二分木を作成し、
上記融合待ちグループの各画像グループ間の接続重み値を計算し、上記接続重み値、及び上記の２つの画像グループのグループ識別子を上記二分木ノードに記録するように構成され、上記二分木のルートノードには、各画像グループに対応する各接続重み値のうちの最大接続重み値、及び上記最大接続重み値に対応するグループ識別子が記録される。

示される一実施例では、上記装置１００は更に、データ決定部を備え、前記データ決定部は、
上記最大接続重み値に対応する２つの画像グループのいずれかの画像グループに対応する二分木が空であるか否かを決定し、
そらではない場合、後続のステップを実行し続け、
空である場合、現在の反復を終止するように構成される。

本願実施例は、３次元再構成における画像グループ化装置を更に提供する。図１２を参照すると、図１２は、本願による３次元再構成における画像グループ化装置の構造図である。図１２に示すように、当該装置１１０は、
グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用いる場合、上記グループ化待ち画像集合に対応するモジュラリティを計算するように構成される第２の計算部１１と、
上記グループ化待ち画像集合に含まれる複数の画像グループが２つずつ組み合わされるときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得るように構成される第２の生成部１１２と、
上記増分集合における最大増分を決定し、更に上記最大増分が０に達したか否かを決定し、上記最大増分が０に達した場合、記録された、上記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、上記増分集合を更新し、上記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行するように構成される第２のマージ部１１３と、
毎回の反復において、上記最大増分が０に達しない場合、以上の反復ステップを終止し、今回の反復の前回の反復におけるマージ後の画像組み合わせ方式を、上記グループ化待ち画像集合の最終的な画像グループ化結果として用い、
上記グループ化待ち画像集合に一意の画像グループが含まれる場合、上記グループ化待ち画像集合に含まれる各画像を１つの画像グループに分割するように構成される第２のグループ決定部１１４と、を備える。

説明すべきこととして、上記の機器の実施例の説明は、上記の方法の実施例の説明と同様であり、方法の実施例と同様の有益な効果を有する。本願の装置の実施例に開示されない技術的詳細については、本願の方法の実施例の説明を参照されたい。

本願に示される装置の実施例は、電子機器に適用されてもよい。装置の実施例は、ソフトウェアによって実現されてもよいし、ハードウェア又はソフトウェアとハードウェアの組み合わせによって実現されてもよい。ソフトウェアによって実現されることを例にとると、論理的な意味での装置として、それが配置された電子機器のプロセッサが、不揮発性メモリ内の対応するコンピュータプログラム命令を内部メモリに読み込んで実行することによって実装される。ハードウェアの観点から見ると、図１３に示すように、図１３は、本願実施例による電子機器のハードウェア構造図であり、図１３に示すプロセッサ、内部メモリ、ネットワークインターフェース及び不揮発性メモリに加えて、装置が配置された電子機器は、通常、当該電子機器の実際の機能に応じて、他のハードウェアを更に含んでもよく、これについての説明を省略する。

図１３に示す電子機器を参照すると、上記電子機器は、プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、
ここで、上記プロセッサは、上記実行可能命令を実行することにより、上記のいずれかの実施例に示される３次元再構成における画像グループ化方法を実現する。

本願実施例は、コンピュータ可読コードを含むコンピュータプログラム製品を更に提供し、コンピュータ可読コードが電子機器で実行されるときに、電子機器のプロセッサに、上記のいずれかの実施例に示される３次元再構成における画像グループ化方法を実行させる。

当業者なら、本願の１つ又は複数の実施例が方法、システム又はコンピュータプログラム製品として提供されてもよいことを理解すべきである。そのため、本願の１つ又は複数の実施例は、完全にハードウェアの実施例、完全にソフトウェアの実施例、又はハードとソフトを組み合わせの実施例の形態を採用することができる。また、本願の１つ又は複数の実施例は、コンピュータ利用可能プログラムコードを含む１つ又は複数のコンピュータ利用可能記憶媒体（磁気ディスメモリ、ＣＤ－ＲＯＭ、光メモリ等を含むがこれらに限定されない）に記憶されたコンピュータプログラム製品の形態を採用することができる。

本願に記載の「及び／又は」は、少なくとも両方のうちの一方を含むことを示し、例えば、「Ａ及び／又はＢ」は、Ａ、Ｂ及び「Ａ及びＢ」の３つの場合を含む。

本願の各実施例は漸進的に説明され、各実施例間の同じ又は類似の部分については互いに参照すればよく、各実施例では、他の実施例との違い点を重点として説明する。特に、データ処理機器の実施例については、それは基本的に方法の実施例と類似するため、比較的簡単に説明され、関連する点については、方法の実施例の部分説明を参照すればよい。

以上、本願の特定の実施例について説明した。他の実施例は、特許請求の範囲に含まれる。場合によっては、特許請求の範囲に記載される動作又はステップは、実施例における順序とは異なる順序で実行されてもよく、それでも所望の結果を達成することができる。また、図面に示されるプロセスは、所望の結果を達成するために、必ずしも示される特定の順序又は連続順序を要求しない。幾つかの実施形態では、マルチタスク処理と並列処理が可能であるか又は有利である可能性がある。

本願で説明される主題及び機能的操作の実施例は、デジタル電子回路、有形に具現化されたコンピュータソフトウェア又はファームウェア、本願で開示される構造及びその構造的同等物を含むコンピュータハードウェア、又はそれらの１つ又は複数の組み合わせで実現されてもよい。本願で説明される主題の実施例は、１つ又は複数のコンピュータプログラム、即ち有形の非一時的プログラムキャリアに符号化されてデータ処理装置に実行され又はデータ処理装置の操作を制御するためのコンピュータプログラム命令のうちの１つ又は複数のモジュールとして実現されてもよい。代替的又は追加的に、プログラム命令は、人工的に生成された伝播信号、例えば機械生成の電気、光学又は電磁信号に符号化してもよく、当該信号は、符号化された情報を適切な受信機装置に伝送してデータ処理装置によって実行させるために生成される。コンピュータ記憶媒体は、機械可読記憶装置、機械可読記憶基板、ランダム又はシリアルアクセス記憶装置、又はそれらの１つ又は複数の組み合わせであってもよい。

本願で説明される処理及び論理プロセスは、入力データに基づいて操作して出力を生成することで対応する機能を実行するために、１つ又は複数のコンピュータプログラムを実行するための１つ又は複数のプログラマブルコンピュータによって実行されてもよい。上記処理及び論理プロセスは、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）によって実行されてもよく、装置も、専用論理回路として実現されてもよい。

コンピュータプログラムの実行に適するコンピュータは、例えば、汎用及び／又は専用マイクロプロセッサ、又はいかなる他のタイプの中央処理装置を含む。通常、中央処理装置は、読み取り専用メモリ及び／又はランダムアクセスメモリから命令とデータを受信する。コンピュータの基本的なコンポーネントは、命令を実施又は実行するための中央処理装置及び命令とデータを記憶するための１つ又は複数の記憶装置を含む。通常、コンピュータは更に、データを記憶するための１つ又は複数の大容量記憶装置、例えば、磁気ディスク、光磁気ディスク又は光ディスクなどを含み、又はコンピュータは、この大容量記憶装置に操作可能に結合され、それからデータを受信するか又はそれにデータを伝送するか、又はそれとデータを送受信することができる。しかしながら、コンピュータは、必ずしもこのような装置を備えるわけではない。また、コンピュータは、別のデバイスに統合されてもよく、例えば、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオ又はビデオプレーヤー、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、又は汎用シリアルバス（ＵＳＢ）フラッシュメモリドライブなどのポータブル記憶装置に統合されてもよく、これらはいくつかの例に過ぎない。

コンピュータプログラム命令及びデータを記憶することに適するコンピュータ可読記憶媒体は、あらゆる形態の揮発性記憶媒体又は不揮発性記憶媒体を含み、不揮発性記憶媒体は、不揮発性メモリ、媒体及び記憶装置を含み、例えば、半導体記憶装置（例えばＥＰＲＯＭ、ＥＥＰＲＯＭとフラッシュメモリデバイス）、磁気ディスク（例えば内部ハードディスク又はリムーバブルディスク）、光磁気ディスク及びＣＤＲＯＭとＤＶＤ－ＲＯＭディスクを含むことができる。プロセスとメモリは、専用論理回路によって補完されてもよく、又は専用論理回路に組み込まれてもよい。

本願は多くの具体的な実施の詳細を含むが、これらは、本願の範囲又は請求される保護範囲を限定するものとして解釈されるべきではなく、主に特定の開示される具体的な実施例の特徴を説明するために用いられる。本願における複数の実施例で説明されるいくつかの特徴は、単一の実施例で組合わせて実施されてもよい。一方、単一の実施例で説明される様々な特徴は、複数の実施例で別々に実施されてもよく、又はいかなる適切なサブ組み合わせで実施されてもよい。また、特徴は、上記のようにいくつかの組み合わせで機能し、元々そのように主張されていても、主張された組み合わせからの１つ又は複数の特徴は、場合によっては、当該組み合わせから削除されてもよく、主張された組み合わせは、サブ組み合わせ又はサブ組み合わせの変形を指し得る。

同様に、図面において、操作は特定の順序で図示されているが、これは、望ましい結果を得るために、図示された特定の順序でこれらの操作を実行する必要があると解釈されるべきではなく、又は図示された全ての操作を実行する必要があると解釈されるべきではない。場合によっては、マルチタスク処理と並列処理が有利である。また、上記実施例における様々なシステムモジュールとコンポーネントの分離は、全ての状況においてこのような分離を必要とするものとして解釈されるべきではなく、説明されるプログラムコンポートとシステムは、通常、単一のソフトウェア製品に統合されてもよく、又は複数のソフトウェア製品にパッケージ化されてもよいことを理解されたい。

これまで、主題の特定の実施例について説明してきた。他の実施例は、特許請求の範囲内に含まれる。場合によっては、特許請求の範囲に記載の動作は、異なる順序で実行されてもよく、それでも望ましい結果を達成することができる。また、図面に示される処理は、望ましい結果を達成するために、必ずしも示されている特定の順序又は順次を必要としない。場合によっては、マルチタスク処理と並列処理が有利である。

上記は、本願の１つ又は複数の実施例の好ましい実施例に過ぎず、本願の１つ又は複数の実施例を限定するためのものではなく、本願の１つ又は複数の実施例の趣旨及び原則から逸脱することなく行われるあらゆる変更、同等置換、改良などは、いずれも本願の保護範囲内に含まれるものとする。

本願実施例では、毎回の反復ステップにおける最大モジュラリティの増分に対応する２つの画像グループをマージすることにより、毎回マージした後、画像の組み合わせ方式が今回のマージで達成できる最良の組み合わせ方式であることを保証する。

一方、１つの画像グループのみが残るまでマージする場合、記録された、毎回の反復における更新後のモジュラリティを遡及することにより、上記モジュラリティのうちの最大モジュラリティを決定することができ、上記の最大モジュラリティに対応する画像組み合わせ方式を、上記グループ化待ち画像集合の画像グループ化結果として決定することにより、画像グループのマージプロセスに出現した最良の画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定できることが保証される。又は、毎回マージ操作を行う前に、今回のマージによってモジュラリティが低下するか否かを判断し、モジュラリティが低下しない場合、マージ操作を実行し、そうでない場合、マージを終止し、前回の反復後の画像組み合わせ方式を上記グループ化待ち画像集合の最終的な画像グループ化結果として用いることにより、反復プロセスでモジュラリティが最大になる場合の対応する画像組み合わせ方式を上記グループ化待ち画像集合の画像グループ化結果として決定することが保証される。上記グループの分割により、各グループ内の画像の間の接続関係が比較的強く、かつ各グループ内の画像と他のグループの画像との接続関係が比較的弱いことを実現し、それによって画像グループ化の精度を向上させ、更に画像グループ化による３次元再構成のロバスト性を向上させる。

上述したように、大規模な３次元再構成システムでは、本願実施例で提案された画像グループ化方法を採用することにより、画像集合の効率的なグループ化を実現し、大規模なシーンの効率的な再構成を実現することができ、また、画像分類適用シーンでは、このアルゴリズムを用いて画像クラスタリングを実現することができ、また、グラフネットワーク分割シーンでは、本出願の実施例で提案される画像グループ化方法を採用することにより、グラフネットワーク構造の効果的な分割を実現することができる。

以上の一般的な説明及び以下の詳細な説明は、説明のための例示的なものに過ぎず、本願を限定するものではないことを理解されたい。
例えば、本願は以下の項目を提供する。
（項目１）
３次元再構成における画像グループ化方法であって、
グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用い、前記グループ化待ち画像集合に対応するモジュラリティを計算することと、
前記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせると想定したときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得ることと、
前記増分集合における最大増分を決定し、前記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、前記グループ化待ち画像集合に対応するモジュラリティ、及び前記増分集合を更新し、前記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行することと、
前記グループ化待ち画像集合に一意の画像グループが含まれる場合、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティを決定し、前記最大モジュラリティに対応する画像組み合わせ方式を、前記グループ化待ち画像集合の画像グループ化結果として決定することと、を含む、３次元再構成における画像グループ化方法。
（項目２）
前記最大モジュラリティに対応する画像組み合わせ方式を、前記ループ化待ち画像集合の画像グループ化結果として決定することは、
前記最大モジュラリティが所定閾値に達したか否かを決定することと、
前記最大モジュラリティが前記所定閾値に達した場合、前記最大モジュラリティに対応する画像組み合わせ方式を、前記グループ化待ち画像集合の画像グループ化結果として決定することと、
前記最大モジュラリティが前記所定閾値に達しない場合、前記グループ化待ち画像集合に含まれる各画像を、独立した画像グループとしてそれぞれ用いることと、を含む
項目１に記載の方法。
（項目３）
前記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせることは、
前記複数の画像グループのうち、接続関係がある画像グループを２つずつ組み合わせ、接続関係がある画像グループのグループ識別子間の対応関係を記録することを含み、
接続関係がある２つの画像グループとは、前記２つの画像グループのうちの第１の画像グループと第２の画像グループの画像の間の類似度が所定の類似度閾値に達することを意味する
項目１に記載の方法。
（項目４）
前記増分集合は、組み合わされたと想定した２つの画像グループのグループ識別子と、前記２つの画像グループがマージされると想定して算出された前記増分との間の対応関係を含み、
前記増分集合を更新することは、
記録された、接続関係がある画像グループのグループ識別子の間の対応関係を検索し、前記最大増分に対応する２つの画像グループのいずれかの画像グループと接続関係がある他の画像グループを決定することと、
前記他の画像グループが前記２つの画像とそれぞれマージされると想定して得られた前記増分を決定し、決定された前記増分を加算して得られた結果を、マージ画像グループと前記他の画像グループとがマージされると想定したときの前記モジュラリティの増分として用いることと、
前記マージ画像グループ、前記他の画像グループのそれぞれのグループ識別子と、両者がマージされると想定して得られた前記モジュールの増分との間の対応関係を前記増分集合に記録することと、を含む
項目３に記載の方法。
（項目５）
前記３次元再構成における画像グループ化方法は、
毎回の反復プロセスにおいて、前記増分集合を更新した後、前記マージ画像グループのグループ識別子と前記他の画像グループのグループ識別子との間の対応関係を記録することを更に含む
項目４に記載の方法。
（項目６）
前記３次元再構成における画像グループ化方法は、
毎回の反復プロセスにおいて、マージによって得られたマージ画像グループ、及び前記マージ画像グループのグループ識別子とマージされた前記２つの画像グループのグループ識別子との間の対応関係を記録することを更に含む
項目１に記載の方法。
（項目７）
前記マージ画像グループは、前記マージ画像グループを生成した反復における更新後のモジュラリティに対応し、前記画像グループのグループ識別子は、前記画像グループに含まれる各画像に対応する画像識別子に対応し、
記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティを決定し、前記最大モジュラリティに対応する画像組み合わせ方式を、前記グループ化待ち画像集合の画像グループ化結果として決定することは、
最後の反復で記録されたマージ画像グループから始めて、反復の発生順序の逆順に従って、毎回の反復で記録されたマージ画像グループに対して次のステップを実行することを含み、前記ステップは、
画像組み合わせ方式を確認するための識別子集合に前記マージ画像グループのグループ識別子が含まれるか否かを決定し、前記識別子集合に前記マージ画像グループのグループ識別子が含まれない場合、前記マージ画像グループのグループ識別子を前記識別子集合に書き込むことと、
前記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティであるか否かを決定することと、
前記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティである場合、前記識別子集合に含まれる各グループ識別子に対応する画像識別子によって指示される画像を１つの画像組み合わせとして用い、得られた各画像組み合わせを前記グループ化待ち画像集合の画像グループ化結果として決定することと、を含む
項目６に記載の方法。
（項目８）
前記３次元再構成における画像グループ化方法は、
前記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティではない場合、前記識別子集合に記録されたマージ画像グループのグループ識別子を、前記マージ画像グループに対応するマージ前の２つの画像グループのグループ識別子に置き換えることを更に含む
項目７に記載の方法。
（項目９）
前記記録されたマージ画像グループに対応する更新後のモジュラリティが毎回の反復における更新後のモジュラリティのうちの最大モジュラリティであるか否かを決定することは、
今回の反復における更新後のモジュラリティが、今回の反復に対応する前回の反復における更新後のモジュラリティに達したか否かを決定することと、
達した場合、今回の反復における更新後の前記モジュラリティを前記最大モジュラリティとして決定することと、を含む
項目８に記載の方法。
（項目１０）
前記複数の画像グループを２つずつ組み合わせると想定したときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得ることは、
組み合わせられると想定して算出された各前記増分について、次のステップを実行することを含み、前記ステップは、
組み合わせられると想定した２つの画像グループについて、それらに対応する二分木をそれぞれ決定し、前記増分、及び組み合わせられると想定した前記２つの画像のグループ識別子を前記決定された二分木に書き込むことを含み、
前記二分木のルートノードには、前記二分木に記録されたすべての増分のうちの最大増分、及び前記最大増分に対応するグループ識別子が記録される
項目３に記載の方法。
（項目１１）
前記増分集合に含まれる最大増分を決定することは、
各画像グループに対応する前記二分木のルートノードポインタを最大増分の決定用の最大ヒープにプッシュすることと、
前記最大ヒープのルートノードに記録されたポインタを決定することと、
前記記録されたポインタによって指示されるノードに記録された増分を前記増分集合に含まれる最大増分として決定することと、を含む
項目１０に記載の方法。
（項目１２）
前記３次元再構成における画像グループ化方法は、
得られた各画像グループのうち、含まれる画像の数量が第１の所定の数量閾値よりも小さい画像グループを決定し、決定された画像グループを融合待ち画像グループとして決定することであって、前記第１の所定の数量閾値が各グループの最小画像数量を示す、ことと、
前記各画像グループのうち、前記融合待ち画像グループ以外の残りのグループを剰余グループとして決定することと、
前記融合待ちグループのうち、２つずつの画像グループ間の接続重み値を計算して、接続重み値集合を構成することであって、前記接続重み値が２つの画像グループ間のマッチングする画像の数量を示す、ことと、
前記接続重み値集合に基づいて、前記融合待ち画像グループを融合することと、を更に含む
項目１－１１のいずれか一項に記載の方法。
（項目１３）
前記接続重み値集合に基づいて、前記融合待ち画像グループを融合することは、
前記接続重み値集合にいずれの接続重み値も含まれなくなるまで、次のステップを反復して実行することを含み、前記ステップは、
前記接続重み値集合における最大接続重み値を決定することと、
前記最大接続重み値に対応する２つの画像グループのうち、数量が多い画像グループの画像の数量が第２の所定の数量閾値に達したか否かを決定することであって、前記第２の所定の数量閾値が各画像グループの最大画像数量を示す、ことと、
前記第２の所定の数量閾値に達した場合、今回の反復を終止することと、
前記第２の所定の数量閾値に達しない場合、前記２つの画像グループをマージしてマージ画像グループを得て、前記接続重み値集合を更新することと、
前記接続重み値集合にいずれの接続重み値も含まれない場合、前記融合待ちグループに含まれる画像グループ及び前記剰余グループのうちの画像グループを、前記グループ化待ち画像集合の最終的な画像グループとして用いることと、を含む
項目１２に記載の方法。
（項目１４）
前記融合待ちグループのうち、２つずつの画像グループ間の接続重み値を計算して、接続重み値集合を構成することは、
前記融合待ちグループの各画像グループについて、前記各画像グループと１対１で対応する二分木を作成することと、
前記融合待ちグループ内の２つずつの画像グループ間の接続重み値を計算し、前記接続重み値、及び前記２つの画像グループのグループ識別子を前記二分木のノードに記録することであって、前記二分木のルートノードには、各画像グループに対応する各接続重み値のうちの最大接続重み値、及び前記最大接続重み値に対応するグループ識別子が記録される、ことと、を含む
項目１２に記載の方法。
（項目１５）
前記接続重み値集合における最大接続重み値を決定することは、
前記各画像グループに対応する二分木のルートノードポインタを、前記最大接続重み値を導出するための最大ヒープにプッシュすることと、
前記最大ヒープのルートノードに記録されたポインタを読み取り、前記記録されたポインタによって指示される二分木ノードに記録された接続重み値を、前記最大接続重み値として決定することと、を含む
項目１４に記載の方法。
（項目１６）
前記接続重み値集合における最大接続重み値を決定した後、前記３次元再構成における画像グループ化方法は、
前記最大接続重み値に対応する２つの画像グループのいずれかの画像グループに対応する二分木が空であるか否かを決定することと、
空でない場合、後続のステップを実行し続けることと、
空である場合、現在の反復を終止することと、を更に含む
項目１４に記載の方法。
（項目１７）
前記接続重み値集合を更新することは、
マージされた前記２つの画像グループのそれぞれに対応する二分木を削除することと、
前記マージ画像グループと、前記融合待ちグループ内の他のグループとの間の接続重み値を計算することと、
算出された前記接続重み値と、前記マージ画像グループ及び前記他のグループのグループ識別子を、前記他のグループに対応する二分木に書き込むことと、
前記他のグループに対応する二分木から、前記他のグループとマージされた前記２つの画像グループとの間の接続重み値が記録されたノードを削除することと、を含む
項目１４に記載の方法。
（項目１８）
３次元再構成における画像グループ化方法であって、
グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用いる場合、前記グループ化待ち画像集合に対応するモジュラリティを計算することと、
前記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせるときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得ることと、
前記増分集合に含まれる最大増分を決定し、更に前記最大増分が０に達したか否かを決定し、前記最大増分が０に達した場合、記録された、前記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、前記増分集合を更新し、前記グループ化待ち画像集合に一意の画像グループが含まれるまで、このステップを反復して実行することと、
毎回の反復において、前記最大増分が０に達しない場合、以上の反復ステップを終止し、今回の反復の前回の反復におけるマージ後の画像組み合わせ方式を、前記グループ化待ち画像集合の最終的な画像グループ化結果として用いることと、
前記グループ化待ち画像集合に一意の画像グループが含まれる場合、前記グループ化待ち画像集合に含まれる各画像を１つの画像グループに分割することと、を含む、３次元再構成における画像グループ化方法。
（項目１９）
３次元再構成における画像グループ化装置であって、
グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用い、前記グループ化待ち画像集合に対応するモジュラリティを計算するように構成される第１の計算部と、
前記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせると想定したときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得るように構成される第１の生成部と、
前記増分集合における最大増分を決定し、前記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、前記グループ化待ち画像集合に対応するモジュラリティ、及び前記増分集合を更新し、前記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行するように構成される第１のマージ部と、
前記グループ化待ち画像集合に一意の画像グループが含まれる場合、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティを決定し、前記最大モジュラリティに対応する画像組み合わせ方式を、前記グループ化待ち画像集合の画像グループ化結果として決定するように構成される第１のグループ決定部と、を備える、３次元再構成における画像グループ化装置。
（項目２０）
前記３次元再構成における画像グループ化装置は更に、
得られた各画像グループのうち、含まれる画像の数量が第１の所定の数量閾値よりも小さい画像グループを決定し、決定された画像グループを融合待ち画像グループとして決定するように構成される融合待ち画像グループ決定部であって、前記第１の所定の数量閾値が各グループの最小画像数量を示す、融合待ち画像グループ決定部と、
前記各画像グループのうち、前記融合待ち画像グループ以外の残りのグループを剰余グループとして決定するように構成される剰余グループ決定部と、
前記融合待ちグループのうち、２つずつの画像グループ間の接続重み値を計算して、接続重み値集合を構成するように構成される接続重み値計算部であって、前記接続重み値が２つの画像グループ間のマッチングする画像の数量を示す、接続重み値計算部と、
前記接続重み値集合に基づいて、前記融合待ち画像グループを融合するように構成されるグループ融合部と、を備える
項目１９に記載の装置。
（項目２１）
３次元再構成における画像グループ化装置であって、
グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用いる場合、前記グループ化待ち画像集合に対応するモジュラリティを計算するように構成される第２の計算部と、
前記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせるときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得るように構成される第２の生成部と、
前記増分集合に含まれる最大増分を決定し、更に前記最大増分が０に達したか否かを決定し、前記最大増分が０に達した場合、記録された、前記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、前記増分集合を更新し、前記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行するように構成される第２のマージ部と、
毎回の反復において、前記最大増分が０に達しない場合、以上の反復ステップを終止し、今回の反復の前回の反復におけるマージ後の画像組み合わせ方式を、前記グループ化待ち画像集合の最終的な画像グループ化結果として用い、
前記グループ化待ち画像集合に一意の画像グループが含まれる場合、前記グループ化待ち画像集合に含まれる各画像を１つの画像グループに分割するように構成される第２のグループ決定部と、を備える、３次元再構成における画像グループ化装置。
（項目２２）
電子機器であって、
プロセッサと、
前記プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、
ここで、前記プロセッサは、前記メモリに記憶された実行可能命令を呼び出して実行することにより、項目１－１７のいずれか一項に記載の３次元再構成における画像グループ化方法、又は項目１８に記載の３次元再構成における画像グループ化方法を実現するように構成される、電子機器。
（項目２３）
項目１－１７のいずれか一項に記載の３次元再構成における画像グループ化方法、又は前記項目１８に記載の３次元再構成における画像グループ化方法を実行させるコンピュータプログラムが記憶された、コンピュータ可読記憶媒体。
（項目２４）
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器で動作するときに、前記電子機器のプロセッサに、項目１－１７のいずれか一項に記載の３次元再構成における画像グループ化方法、又は項目１８に記載の３次元再構成における画像グループ化方法を実行させる、コンピュータプログラム。

Claims

３次元再構成における画像グループ化方法であって、
グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用い、前記グループ化待ち画像集合に対応するモジュラリティを計算することと、
前記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせると想定したときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得ることと、
前記増分集合における最大増分を決定し、前記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、前記グループ化待ち画像集合に対応するモジュラリティ、及び前記増分集合を更新し、前記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行することと、
前記グループ化待ち画像集合に一意の画像グループが含まれる場合、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティを決定し、前記最大モジュラリティに対応する画像組み合わせ方式を、前記グループ化待ち画像集合の画像グループ化結果として決定することと、を含む、３次元再構成における画像グループ化方法。
前記最大モジュラリティに対応する画像組み合わせ方式を、前記ループ化待ち画像集合の画像グループ化結果として決定することは、
前記最大モジュラリティが所定閾値に達したか否かを決定することと、
前記最大モジュラリティが前記所定閾値に達した場合、前記最大モジュラリティに対応する画像組み合わせ方式を、前記グループ化待ち画像集合の画像グループ化結果として決定することと、
前記最大モジュラリティが前記所定閾値に達しない場合、前記グループ化待ち画像集合に含まれる各画像を、独立した画像グループとしてそれぞれ用いることと、を含む
請求項１に記載の方法。
前記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせることは、
前記複数の画像グループのうち、接続関係がある画像グループを２つずつ組み合わせ、接続関係がある画像グループのグループ識別子間の対応関係を記録することを含み、
接続関係がある２つの画像グループとは、前記２つの画像グループのうちの第１の画像グループと第２の画像グループの画像の間の類似度が所定の類似度閾値に達することを意味する
請求項１に記載の方法。
前記増分集合は、組み合わされたと想定した２つの画像グループのグループ識別子と、前記２つの画像グループがマージされると想定して算出された前記増分との間の対応関係を含み、
前記増分集合を更新することは、
記録された、接続関係がある画像グループのグループ識別子の間の対応関係を検索し、前記最大増分に対応する２つの画像グループのいずれかの画像グループと接続関係がある他の画像グループを決定することと、
前記他の画像グループが前記２つの画像とそれぞれマージされると想定して得られた前記増分を決定し、決定された前記増分を加算して得られた結果を、マージ画像グループと前記他の画像グループとがマージされると想定したときの前記モジュラリティの増分として用いることと、
前記マージ画像グループ、前記他の画像グループのそれぞれのグループ識別子と、両者がマージされると想定して得られた前記モジュールの増分との間の対応関係を前記増分集合に記録することと、を含む
請求項３に記載の方法。
前記３次元再構成における画像グループ化方法は、
毎回の反復プロセスにおいて、前記増分集合を更新した後、前記マージ画像グループのグループ識別子と前記他の画像グループのグループ識別子との間の対応関係を記録することを更に含む
請求項４に記載の方法。
前記３次元再構成における画像グループ化方法は、
毎回の反復プロセスにおいて、マージによって得られたマージ画像グループ、及び前記マージ画像グループのグループ識別子とマージされた前記２つの画像グループのグループ識別子との間の対応関係を記録することを更に含む
請求項１に記載の方法。
前記マージ画像グループは、前記マージ画像グループを生成した反復における更新後のモジュラリティに対応し、前記画像グループのグループ識別子は、前記画像グループに含まれる各画像に対応する画像識別子に対応し、
記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティを決定し、前記最大モジュラリティに対応する画像組み合わせ方式を、前記グループ化待ち画像集合の画像グループ化結果として決定することは、
最後の反復で記録されたマージ画像グループから始めて、反復の発生順序の逆順に従って、毎回の反復で記録されたマージ画像グループに対して次のステップを実行することを含み、前記ステップは、
画像組み合わせ方式を確認するための識別子集合に前記マージ画像グループのグループ識別子が含まれるか否かを決定し、前記識別子集合に前記マージ画像グループのグループ識別子が含まれない場合、前記マージ画像グループのグループ識別子を前記識別子集合に書き込むことと、
前記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティであるか否かを決定することと、
前記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティである場合、前記識別子集合に含まれる各グループ識別子に対応する画像識別子によって指示される画像を１つの画像組み合わせとして用い、得られた各画像組み合わせを前記グループ化待ち画像集合の画像グループ化結果として決定することと、を含む
請求項６に記載の方法。
前記３次元再構成における画像グループ化方法は、
前記マージ画像グループに対応する更新後のモジュラリティが、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティではない場合、前記識別子集合に記録されたマージ画像グループのグループ識別子を、前記マージ画像グループに対応するマージ前の２つの画像グループのグループ識別子に置き換えることを更に含む
請求項７に記載の方法。
前記記録されたマージ画像グループに対応する更新後のモジュラリティが毎回の反復における更新後のモジュラリティのうちの最大モジュラリティであるか否かを決定することは、
今回の反復における更新後のモジュラリティが、今回の反復に対応する前回の反復における更新後のモジュラリティに達したか否かを決定することと、
達した場合、今回の反復における更新後の前記モジュラリティを前記最大モジュラリティとして決定することと、を含む
請求項８に記載の方法。
前記複数の画像グループを２つずつ組み合わせると想定したときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得ることは、
組み合わせられると想定して算出された各前記増分について、次のステップを実行することを含み、前記ステップは、
組み合わせられると想定した２つの画像グループについて、それらに対応する二分木をそれぞれ決定し、前記増分、及び組み合わせられると想定した前記２つの画像のグループ識別子を前記決定された二分木に書き込むことを含み、
前記二分木のルートノードには、前記二分木に記録されたすべての増分のうちの最大増分、及び前記最大増分に対応するグループ識別子が記録される
請求項３に記載の方法。
前記増分集合に含まれる最大増分を決定することは、
各画像グループに対応する前記二分木のルートノードポインタを最大増分の決定用の最大ヒープにプッシュすることと、
前記最大ヒープのルートノードに記録されたポインタを決定することと、
前記記録されたポインタによって指示されるノードに記録された増分を前記増分集合に含まれる最大増分として決定することと、を含む
請求項１０に記載の方法。
前記３次元再構成における画像グループ化方法は、
得られた各画像グループのうち、含まれる画像の数量が第１の所定の数量閾値よりも小さい画像グループを決定し、決定された画像グループを融合待ち画像グループとして決定することであって、前記第１の所定の数量閾値が各グループの最小画像数量を示す、ことと、
前記各画像グループのうち、前記融合待ち画像グループ以外の残りのグループを剰余グループとして決定することと、
前記融合待ちグループのうち、２つずつの画像グループ間の接続重み値を計算して、接続重み値集合を構成することであって、前記接続重み値が２つの画像グループ間のマッチングする画像の数量を示す、ことと、
前記接続重み値集合に基づいて、前記融合待ち画像グループを融合することと、を更に含む
請求項１－１１のいずれか一項に記載の方法。
前記接続重み値集合に基づいて、前記融合待ち画像グループを融合することは、
前記接続重み値集合にいずれの接続重み値も含まれなくなるまで、次のステップを反復して実行することを含み、前記ステップは、
前記接続重み値集合における最大接続重み値を決定することと、
前記最大接続重み値に対応する２つの画像グループのうち、数量が多い画像グループの画像の数量が第２の所定の数量閾値に達したか否かを決定することであって、前記第２の所定の数量閾値が各画像グループの最大画像数量を示す、ことと、
前記第２の所定の数量閾値に達した場合、今回の反復を終止することと、
前記第２の所定の数量閾値に達しない場合、前記２つの画像グループをマージしてマージ画像グループを得て、前記接続重み値集合を更新することと、
前記接続重み値集合にいずれの接続重み値も含まれない場合、前記融合待ちグループに含まれる画像グループ及び前記剰余グループのうちの画像グループを、前記グループ化待ち画像集合の最終的な画像グループとして用いることと、を含む
請求項１２に記載の方法。
前記融合待ちグループのうち、２つずつの画像グループ間の接続重み値を計算して、接続重み値集合を構成することは、
前記融合待ちグループの各画像グループについて、前記各画像グループと１対１で対応する二分木を作成することと、
前記融合待ちグループ内の２つずつの画像グループ間の接続重み値を計算し、前記接続重み値、及び前記２つの画像グループのグループ識別子を前記二分木のノードに記録することであって、前記二分木のルートノードには、各画像グループに対応する各接続重み値のうちの最大接続重み値、及び前記最大接続重み値に対応するグループ識別子が記録される、ことと、を含む
請求項１２に記載の方法。
前記接続重み値集合における最大接続重み値を決定することは、
前記各画像グループに対応する二分木のルートノードポインタを、前記最大接続重み値を導出するための最大ヒープにプッシュすることと、
前記最大ヒープのルートノードに記録されたポインタを読み取り、前記記録されたポインタによって指示される二分木ノードに記録された接続重み値を、前記最大接続重み値として決定することと、を含む
請求項１４に記載の方法。
前記接続重み値集合における最大接続重み値を決定した後、前記３次元再構成における画像グループ化方法は、
前記最大接続重み値に対応する２つの画像グループのいずれかの画像グループに対応する二分木が空であるか否かを決定することと、
空でない場合、後続のステップを実行し続けることと、
空である場合、現在の反復を終止することと、を更に含む
請求項１４に記載の方法。
前記接続重み値集合を更新することは、
マージされた前記２つの画像グループのそれぞれに対応する二分木を削除することと、
前記マージ画像グループと、前記融合待ちグループ内の他のグループとの間の接続重み値を計算することと、
算出された前記接続重み値と、前記マージ画像グループ及び前記他のグループのグループ識別子を、前記他のグループに対応する二分木に書き込むことと、
前記他のグループに対応する二分木から、前記他のグループとマージされた前記２つの画像グループとの間の接続重み値が記録されたノードを削除することと、を含む
請求項１４に記載の方法。
３次元再構成における画像グループ化方法であって、
グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用いる場合、前記グループ化待ち画像集合に対応するモジュラリティを計算することと、
前記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせるときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得ることと、
前記増分集合に含まれる最大増分を決定し、更に前記最大増分が０に達したか否かを決定し、前記最大増分が０に達した場合、記録された、前記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、前記増分集合を更新し、前記グループ化待ち画像集合に一意の画像グループが含まれるまで、このステップを反復して実行することと、
毎回の反復において、前記最大増分が０に達しない場合、以上の反復ステップを終止し、今回の反復の前回の反復におけるマージ後の画像組み合わせ方式を、前記グループ化待ち画像集合の最終的な画像グループ化結果として用いることと、
前記グループ化待ち画像集合に一意の画像グループが含まれる場合、前記グループ化待ち画像集合に含まれる各画像を１つの画像グループに分割することと、を含む、３次元再構成における画像グループ化方法。
３次元再構成における画像グループ化装置であって、
グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用い、前記グループ化待ち画像集合に対応するモジュラリティを計算するように構成される第１の計算部と、
前記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせると想定したときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得るように構成される第１の生成部と、
前記増分集合における最大増分を決定し、前記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、前記グループ化待ち画像集合に対応するモジュラリティ、及び前記増分集合を更新し、前記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行するように構成される第１のマージ部と、
前記グループ化待ち画像集合に一意の画像グループが含まれる場合、記録された、毎回の反復における更新後のモジュラリティのうちの最大モジュラリティを決定し、前記最大モジュラリティに対応する画像組み合わせ方式を、前記グループ化待ち画像集合の画像グループ化結果として決定するように構成される第１のグループ決定部と、を備える、３次元再構成における画像グループ化装置。
前記３次元再構成における画像グループ化装置は更に、
得られた各画像グループのうち、含まれる画像の数量が第１の所定の数量閾値よりも小さい画像グループを決定し、決定された画像グループを融合待ち画像グループとして決定するように構成される融合待ち画像グループ決定部であって、前記第１の所定の数量閾値が各グループの最小画像数量を示す、融合待ち画像グループ決定部と、
前記各画像グループのうち、前記融合待ち画像グループ以外の残りのグループを剰余グループとして決定するように構成される剰余グループ決定部と、
前記融合待ちグループのうち、２つずつの画像グループ間の接続重み値を計算して、接続重み値集合を構成するように構成される接続重み値計算部であって、前記接続重み値が２つの画像グループ間のマッチングする画像の数量を示す、接続重み値計算部と、
前記接続重み値集合に基づいて、前記融合待ち画像グループを融合するように構成されるグループ融合部と、を備える
請求項１９に記載の装置。
３次元再構成における画像グループ化装置であって、
グループ化待ち画像集合内の各画像をそれぞれ１つの画像グループとして用いる場合、前記グループ化待ち画像集合に対応するモジュラリティを計算するように構成される第２の計算部と、
前記グループ化待ち画像集合に含まれる複数の画像グループを２つずつ組み合わせるときの、各組み合わせに対応するモジュラリティの増分をそれぞれ計算して、増分集合を得るように構成される第２の生成部と、
前記増分集合に含まれる最大増分を決定し、更に前記最大増分が０に達したか否かを決定し、前記最大増分が０に達した場合、記録された、前記最大増分に対応する２つの画像グループをマージしてマージ画像グループを得て、前記増分集合を更新し、前記グループ化待ち画像集合に一意の画像グループが含まれるまでこのステップを反復して実行するように構成される第２のマージ部と、
毎回の反復において、前記最大増分が０に達しない場合、以上の反復ステップを終止し、今回の反復の前回の反復におけるマージ後の画像組み合わせ方式を、前記グループ化待ち画像集合の最終的な画像グループ化結果として用い、
前記グループ化待ち画像集合に一意の画像グループが含まれる場合、前記グループ化待ち画像集合に含まれる各画像を１つの画像グループに分割するように構成される第２のグループ決定部と、を備える、３次元再構成における画像グループ化装置。
電子機器であって、
プロセッサと、
前記プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、
ここで、前記プロセッサは、前記メモリに記憶された実行可能命令を呼び出して実行することにより、請求項１－１７のいずれか一項に記載の３次元再構成における画像グループ化方法、又は請求項１８に記載の３次元再構成における画像グループ化方法を実現するように構成される、電子機器。
請求項１－１７のいずれか一項に記載の３次元再構成における画像グループ化方法、又は前記請求項１８に記載の３次元再構成における画像グループ化方法を実行させるコンピュータプログラムが記憶された、コンピュータ可読記憶媒体。
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器で動作するときに、前記電子機器のプロセッサに、請求項１－１７のいずれか一項に記載の３次元再構成における画像グループ化方法、又は請求項１８に記載の３次元再構成における画像グループ化方法を実行させる、コンピュータプログラム。