JP6216468B2 - 無特徴抽出の高密度ｓｆｍ三次元再構成法 - Google Patents

Description

本発明は、画像の三次元再構成に関し、より詳しくは、無特徴抽出の高密度ＳＦＭ三次元再構成法に関する。

コンピュータビジョンに基く三次元再構成は、デジタルカメラやビデオカメラで画像を取得し、ピラミッド法を構成することで、撮影されたシーン又は目標の三次元情報を推定することで、三次元の客観的世界を表現するという目的を実現でき、これがロボットナビゲーション、自動車自動または補助駆動、バーチャルリアリティ、デジタルメディアの作成、コンピュータアニメーション、画像ベース・レンダリング（ｉｍａｇｅ−ｂａｓｅｄ ｒｅｎｄｅｒｉｎｇ）、文化遺産の保護などに用いられる。

運動からの構造復元（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ，ＳＦＭ）は、一般的な三次元再構成法であり、二つ、複数の画像又はビデオからシーンや目標の三次元情報を推定する。従来技術では、ＳＦＭ三次元再構成を実現する技術が、特徴点に基づいたもので、スパースで、二段階に分けて実現するという特徴がある。従来のＳＦＭ三次元再構成は、ま画像からスケール不変性（ｓｃａｌｅ ｉｎｖａｒｉａｎｃｅ）やアフィン不変性（ａｆｆｉｎｅ−ｉｎｖａｒｉａｎｔ）などを備える特徴点を検出し整合するステップと、検出された特徴量の三次元情報とカメラの姿勢（位置や角度など）を推定するステップ、という二つのステップを含む。上記特徴点がハリス（Ｈａｒｒｉｓ）による特徴点、Ｋａｎａｄｅ−Ｌｕｋａｓ−Ｔｏｍａｓｉ法による（ＫＬＴ）特徴、ロウ（Ｌｏｗｅ）によるスケール不変性（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ，ＳＩＦＴ）を備える。

従来技術では、ＳＦＭ三次元再構成アルゴリズムが二段階に分けて実現するため、本当に最適な効果を達成できない。画像から検出された特徴点の二次元座標が誤差あるので、これに基づいて最適化アルゴリズムを採用し三次元情報を再構成しても、全体的に最適化結果が得られない。通常は、特徴点のマッチング精度が低いので、結果的には、精度が低い三次元再構成になる。

三次元再構成の効果が疎（ｓｐａｒｓｅ）であり、抽出された特徴点のみに対して三次元情報を推定するので、高密度（ｄｅｎｓｅ）ＳＦＭ三次元再構成ができなく、つまり、すべての画素点の三次元情報が推定できない。３０万画素を持つ６４０ｘ４８０の画像に対して、一定の正確なマッチング率を保証するという前提で、通常には２００−３００個又はこれ以下の特徴点しか検出できない。上記特徴点が３０万画素に対して非常に疎であり、大部分の画素が直接的に三次元情報の推定のために利用されていない。さらに特徴点に基づいて、推定されたエピポーラ拘束（ｅｐｉｐｏｌａｒ ｃｏｎｓｔｒａｉｎｔ）などの技術手段により、他の点の三次元情報を推定し、高密度又は準密（ｑｕａｓｉ ｄｅｎｓｅ）の再構成ができるが、推定された特徴点の三次元情報とカメラの姿勢とがある程度の誤差あり、後続の他の点の三次元推定効果に影響を与える。

従来技術の問題点を克服するために、本発明は、無特徴抽出の高密度ＳＦＭ三次元再構成法を提出する。本発明のＳＦＭ三次元再構成法を採用することで、特徴点の検出やマッチングが必要なく、ワンステップで最適化することにより高密度三次元再構成が実現できる。

上記目的を達成するため、本発明に係る無特徴抽出の高密度ＳＦＭ三次元再構成法は、
あるシーンに関するｎ枚（ｎ≧２）の画像を入力するステップＳ１と、
あるカメラ座標系と一致するワールド座標系を確立し、ワールド座標系と第１カメラの座標系が一致するように設定し、すなわち、ワールド座標系の原点、ｘ軸、及びｙ軸と、第１カメラのカメラ中心、第１カメラの結像面のｘ軸及びｙ軸とが重なり、そのＺ軸が第１カメラの結像面に垂直するように設定するステップＳ２と、
１枚目の画像の画素点に対応する三次元空間の点が備える深度ｑである三次

カメラ射影行列とを、変数とするステップＳ３と、
オプティカルフロー推定に類似する、連続領域における変分目標関数又はその離散形態の目標関数である目標関数を構造するステップＳ４と、
粗から密へのピラミッド法で、連続領域又は離散領域において目標関数を最適化するように反復（ｉｔｅｒａｎｃｅ・イテレーション）アルゴリズムを設計し、シーンの三次元情報を示す深度と、カメラの相対姿勢を示すカメラ射影行列とを出力するステップＳ５と、
シーンの三次元情報を示す深度に基づいて、高密度投影、類似またはユークリッド再構成を実現するステップＳ６とを備えることを、特徴とする。

上記方法により、ワンステップでＳＦＭ三次元再構成ができ、ワンステップで最適化することにより三次元情報の推定を実現し、目標関数値をターゲットにすることで、最適の解決策が得られ、少なくとも部分最適の解決策が得られるため、従来技術に対して大きく改善され、実験で初期的な検証が行われた。

上記カメラが、ある画像に対応するカメラであり、本発明には、シーンに関わる１枚目の画像に対応するカメラが第１カメラであり、第１カメラの座標系とワールド座標系が一致しており、各画像がそれぞれ一つの３×４のカメラ射影行列に対応する。

本発明において、より簡単に計算するために、上記方法でワールド座標系が構成されるが、実際には、任意にワールド座標系を確立することができる。任意に座標系を確立する場合には、推定すべきパラメータがｎ個のカメラ射影行列を含み、各三次元点を描くためには三つの座標パラメータが必要である。本発明には、この技術案の具体的な内容が記載されていないが、任意に座標系が確立されたという技術案の基本技術思想と、上記ワールド座標系が確立されたという技術案の基本技術思想とが同じである。

投影三次元再構成を実現するために、まずはパラメータ化設定が行われ、すなわち、投影三次元再構成の実現中に、以下のようにパラメータ化する。具体的には、
ワールド座標系を確立すると共に、この第１カメラのカメラ射影行列が、［Ｉ_３ ０］∈Ｒ^３，４に設定し、ここで、Ｉ_３が３×３の単位行列であり、０が３×１の零ベクトルであり、

として設定され、
シーンの三次元構造が、１枚目の画像に定義された三次元シーンの深度により決められ、
１枚目画像の画素（ｘ，ｙ）に対応する三次元空間の点における三次元シーンの深度がｑ_ｘ，ｙである場合には、前記三次元点の三次元座標が下式になり、

投影三次元再構成において、カメラ射影行列Ｐ_ｉと三次元シーンの深度ｑ_ｘ，ｙが、推定されるべき未決定のパラメータとして設定され、
誤解が発生しないという前提で、数学公式を簡潔にするため、下付き文字ｘ、ｙを省略する。

連続領域において投影三次元再構成を実現する具体的な実現プロセスには、
構成された連続領域における目標関数が、

であり、ここで、

上記目標関数を説明すると、

あり、
（ｂ）目標関数が、データ項ｆ_ｄａｔａ、オフセット平滑化項ｆ_{ｓｍｏｏｔｈ＿ｕｖ}、および深度平滑化項ｆ_{ｓｍｏｏｔｈ＿ｄｅｐｔｈ}という三つの部分に分けられ、ここで、α、β、τ_１およびτ_２が非負の重みであり、

Ｉの成分値を示し、
（ｄ）深度が激変的に変化することにより発生する影響を克服するために、ロバスト関数ρが導入され、ロバスト関数ρがシャルボニエ（Ｃｈａｒｂｏｎｎｉｅｒ）関数

定数であり、一方、ロバスト関数が導入されない場合には、ρ（ｘ）＝ｘ、
（ｅ）ｕ^ｉとｖ^ｉは、画像領域に定義され、カメラ射影行列Ｐ_ｉと深度ｑをパラメータ

ここで、Ｐ_ｉ，ｊがｉ番目のカメラ射影行列Ｐ_ｉのｊ番目の行ベクトルであり、誤解が発

連続領域に設定された反復最適化アルゴリズムに関して、具体的には、三次元シーンの深度が１枚目の画像に定義された連続函数であるため、極点においてオイラー・ラグランジュ方程式を満たす必要があるとともに、極点においてカメラ射影行列のパラメータに対する偏導関数が０になり、画像の離散格子点においてオイラー・ラグランジュ方程式と、カメラ射影行列のパラメータに対する偏導関数が０であるという二つの方程式に基づいて、増分法で表現することにより、カメラ射影行列と三次元シーンの深度増分を求めるための反復プロセスが、次の線形方程式を解くことになり、

順番的に構成され、そして、各反復が、下式

を解くことになることで、対応する増分δＰ_ｉとδｑを確定し、
求められた増分に基づいて、収束するまで、Ｐ_ｉ←δＰ_ｉ＋Ｐ_ｉ、ｑ←δｑ＋ｑのようにパラメータＰ_ｉとｑを更新し、
つまり、アルゴリズム１の具体的なプロセスでは、
入力：ｎ枚画像、初期化された三次元シーンの深度ｑとカメラ射影行列Ｐ_ｉ

示、
１．反復（ｉｔｅｒａｎｃｅ・イテレーション）
１）オイラー・ラグランジュ方程式と、目標関数のカメラ射影行列のパラメータに対する偏導関数が０であることにより、式（７）のＨとｂを確定し、
２）式（７）に基づいて増分δθを計算し、さらに対応する増分δＰ_ｉとδｑを確定し、

収束するまで繰り返し、
２．収束した三次元シーンの深度ｑにより、式（１）に基づいてシーンの三次元表示を計算する。

上記カラー画像が、一般的にＲＧＢ又はＨＳＶで表示されており、例えば、ＲＧＢ式であれば、画像が三成分、すなわち赤（Ｒ）、緑（Ｇ）、青（Ｂ）成分を有する。色成分が、異なるフォーマットの組み合わせあってもよく、例えば、Ｒ、Ｇ、Ｂ及びＨと四つの成分を使用する。上記ロバスト（ＲＯＢＵＳＴ）関数が多くの選択肢を持つが、上記記載された関数に限定されるものではない。

上記式（１）において目標関数ｆ（Ｐ，ｑ）が構成される根拠は、ある程度でオプティカルフロー推定に類似し、すなわち、グレースケール不変仮定と画素オフセッ

ｙ）｜^２））である平滑化項に対応する。式（１）の第三部分τ_１ρ（｜∇ｑ｜^２／ｑ^２＋τ_２｜Δｑ｜^２／ｑ^２）対が深度の平滑仮定に対応する。

さらに、前記目標関数におけるデータ項、オフセット平滑化項が、その他の類似の変形形態を採用でき、つまり、

ロバスト関数の導入が、その他の変形形態で行われてもよく、式（３）におけるデータ項について、その他の変形形態が、

である。

上記連続領域の状況に類似し、構成された離散形態の目標関数が、下式になり、

ここで、

離散目標関数（１１）とその変形形態の反復最適化アルゴリズムに関して、具体的には、離散形態の目標関数（１１）が本質的に非線形最小二乗問題であり、従来のレーベンバーグ・マーカート法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ）またはガウス−ニュートン法を採用でき、各反復プロセスが線型方程式系（１５）を解くことになり

ここで、Ｈがヘッセ行列（Ｈｅｓｓｉａｎ ｍａｔｒｉｘ）又はガウス・ニュートン・ヘッセ行列であり、ｂが梯度向量であり、μが非負数であり、レーベンバーグ・マーカート法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ）またはガウス−ニュートン法により、対応する増分δＰ_ｉとδｑを確定し、
求められた増分に基づいて、収束するまでパラメータＰ_ｉとｑを、Ｐ_ｉ←δＰ_ｉ＋Ｐ_ｉ、ｑ←δｑ＋ｑのように更新し、
アルゴリズム２の具体的な実現プロセスにおいて、

ｑの初期化、

示、
１．反復（ｉｔｅｒａｎｃｅ・イテレーション）
１）式（１５）におけるガウス・ニュートン・ヘッセ行列Ｈと勾配ベクトルｂを計算し、
２）式（１５）に基づいて増分δθを計算し、さらにそれぞれに対応する増分δＰ_ｉとδｑを確定し、

収束するまで繰り返し、
２．収束した三次元シーンの深度ｑにより、式（１）に基づいてシーンの三次元表示を計算する。

さらに、粗から密へ（Ｆｒｏｍ Ｃｏａｒｓｅ ＴＯ Ｆｉｎｅ）のピラミッド法における具体的なステップについて、
画像のｎ層のピラミッド表示を算出し、

なるように初期化し、すべての点における三次元シーンの深度を１になるように初期化し、
粗から密へ順番的にカメラ射影行列と三次元シーンの深度とを推定するとともに、カメラ射影行列と三次元シーンの深度に対してそれぞれ校正し補間することで、次の細かい画像層に対する反復プロセスの初期値として設定され、
精度が異なる層の間に三次元シーンの深度の補間が、バイリニア補間値、双三次補間法又は他の類似の補間方法で実現され、
精度が異なる層の間にカメラ射影行列の修正に関しては、隣接する二つの精度を持つ画像はｘ及びｙ方向における画素比率がそれぞれｓ_１、ｓ_２（ｓ_１，ｓ_２＜１）であるように設定し、精度が低い画像層において、推定されたあるカメラのカメラ射影行列が、Ｐ^{（ｋ＋１）}であり、ここで、上付き（ｋ＋１）がピラミッド構造のｋ＋１層目を示し、対応するｋ層目の画像のカメラ射影行列が、下式になり、

粗から密へのピラミッド法の具体的な反復アルゴリズム、すなわち、アルゴリズム３の具体的なプロセスにおいて、
入力：複数の画像、

示、
１．画像におけるｍ層のピラミッド表示を計算し、
２．反復：画像層ｋがｍ層目から順番的に１層目まで、
（１）ｋ≠ｍである場合には、
一つ上の層で推定された三次元シーンの深度ｑ^{（ｋ＋１）}を基準にして、補間方法で本層における三次元シーンの深度ｑ^（ｋ）を、三次元シーンの初期化として計算し、

用して、式（１６）により本層におけるカメラ射影行列Ｐ_ｉ ^（ｋ）を、カメラ射影行列の初期化として計算し、
それ以外の場合は、ｍ層目の画像において、

設置し、すべての点における三次元シーンの深度情報をｑ^（ｍ）＝１に設置し、
終わり、
２）ピラミッド法１又はピラミッド法２でこの層のカメラ射影行列Ｐ_ｉ ^（ｋ）

反復の終わり、

４．三次元シーンの深度ｑに基づいて、式（１）によりシーンの三次元シーン表示を計算する。

さらに、類似三次元再構成またはユークリッド三次元再構成を実現する具体的なプロセスでは、
パラメータ化について、具体的には、
カメラ射影行列がカメラ内部パラメータとカメラ外部パラメータで表示され、
Ｐ＝Ｋ［Ｒ ｔ］

に含まれ、カメラ外部パラメータが３×３回転行列Ｒと３×１シフトベクトルｔにより確定され、回転行列Ｒが三つの角度パラメータであるｘ軸、ｙ軸、ｚ軸周りの回転角γ_ｘ、γ_ｙ、γ_ｚにより確定され、

カメラ内部パラメータとカメラ外部パラメータが未知である場合には、内部パラメータα_ｘ、α_ｙ、ｓ、ｐ_ｘ、ｐ_ｙ、フトベクトルｔ、回転角γ_ｘ、γ_ｙ、γ_ｚ、および三次元シーンの深度ｑが推定すべきの未定のパラメータであり、類似の三次元再構成を実現し、
カメラ内部パラメータが既知で、カメラ外部パラメータが未知である場合には、フトベクトルｔ、回転角γ_ｘ、γ_ｙ、γ_ｚ、および三次元シーンの深度ｑが推定すべきの未定のパラメータであり、類似の三次元再構成を実現し、
カメラ内部パラメータが既知で、カメラ外部パラメータも既知である場合には、ユークリッド（Ｅｕｃｌｉｄｅａｎ Ｓｔｒａｔｉｆｉｃａｔｉｏｎ）三次元再構成を実現する中に、この場合には、三次元シーンの深度ｑが推定すべきの未定パラメータである。

さらに、前記無特徴抽出の高密度ＳＦＭ三次元再構成法が大きなベースラインに応用でき、具体的には、射影幾何学において、大きなベースラインというのが、カメラの間に相対運動が大きいため、画像の間に顕著な区別が発生し、大きなベースラインの場合には、ＳＦＭ三次元再構成が、
画像からハリス（Ｈａｒｒｉｓ）特徴、ＳＩＦＴ特徴又はＫＬＴ特徴という特徴を抽出し、マッチングする第１ステップと、
抽出された特徴に基づいて、特徴点の三次元情報とカメラ射影行列を推定する第２ステップと、
上記二つのステップに基づいて、ピラミッド法３で高密度ＳＦＭ三次元再構成を実現する第３ステップと、を含み、
ここで、第２ステップで推定されたカメラ射影行列を、第３ステップにおけるカメラ射影行列の初期値として設定し、第２ステップで推定された三次元シーンの深度に対して補間することで、第３ステップにおける次元シーンの深度の初期値として設定する。

以上のように、本発明によれば、無特徴抽出の高密度ＳＦＭ三次元再構成法が得られ、従来のＳＦＭ三次元再構成法に比べて、ワンステップで高密度ＳＦＭ三次元再構成を実現できる。また、本発明によれば、ワンステップで最適化することにより高密度三次元情報の推定を実現できるとともに、目標関数値をターゲットにすることで、最適の解決策が得られ、少なくとも部分最適の解決策が得られる。従来技術に対して大きく改善され、実験で初期的な検証が行われた。

図１は、本発明に係る三次元再構成の実現を示すフローチャート図である。

以下では、本発明を詳しく説明するが、本発明の実施形態はこれに限定されない。

図１のように、Ｓ１において、あるシーンに関するｎ枚（ｎ≧２）の画像を入力し、
Ｓ２において、あるカメラ座標系と一致するワールド座標系を確立し、ワールド座標系と第１カメラの座標系が一致するように設定し、すなわち、ワールド座標系の原点、ｘ軸、及びｙ軸と、第１カメラのカメラ中心、第１カメラの結像面のｘ軸及びｙ軸とが重なり、そのＺ軸が第１カメラの結像面に垂直するように設定し、
Ｓ３において、１枚目の画像の画素点に対応する三次元空間の点が備える深度

列Ｐｉであるカメラ射影行列とを、変数と設定し、
Ｓ４において、オプティカルフロー推定に類似する、連続領域における変分目標関数又はその離散形態の目標関数である目標関数を構造し、
Ｓ５において、粗から密へのピラミッド法で、連続領域又は離散領域において目標関数を最適化するように反復アルゴリズムを設計し、シーンの三次元情報を示す深度と、カメラの相対姿勢を示すカメラ射影行列とを出力し、
Ｓ６において、シーンの三次元情報を示す深度に基づいて、高密度投影、類似またはユークリッド再構成を実現する。

以下では、各三次元再構成の実現方法を例として挙げられる。

Ａ、連続領域において二つのグレースケール画像に基づく投影三次元再構成
ここで、連続領域において二つのグレースケール画像から投影（ｐｒｏｊｅｃｔｉｖｅ）三次元再構成を実現するという本発明のコアモデルを説明する。第１及び第２の画像がそれぞれＩ^１とＩ^２（上付きが画像の番号を示す）であり、第１の画像の位

が離散格子点（ｌａｔｔｉｃｅ）に定義されたデジタル画像であるが、本発明に提出した技術案によると、画像が連続領域に定義され、数値最適化アルゴリズムで三次元再構成を実現する。

具体的な三次元情報を描画するため、ワールド座標系は、その原点、ｘ軸、及びｙ軸が、第１カメラのカメラ中心（ｃａｍｅｒａ ｃｅｎｔｒｅ）、第１カメラの結像面のｘ軸及びｙ軸と重なるとともに、そのｚ軸が、第１カメラの結像面に対して垂直するように、構成される。

射影幾何原理に基づいて、第１カメラのカメラ射影行列が［Ｉ_３ ０］∈Ｒ^３，４であり、ここで、Ｉ_３が３×３の単位行列（ｉｄｅｎｔｉｔｙ ｍａｔｒｉｘ）であり、０が３×１の零ベクトルであり、第２カメラのカメラ射影行列が３×４の行列Ｐ∈Ｒ^３，４であると仮定する。また、１枚目の画像の画素（ｘ，ｙ）に対応する三次元点における深度がｑ_ｘ，ｙであり、つまりそのｚ座標がｑ_ｘ，ｙであることを仮定し、対応してこの点の三次元座標が、

になる。

このようにすることで、撮影されたシーン又は目標の三次元構成が、１枚目の画像に定義された深度ｑ_ｘ，ｙにより決められており、第２カメラのカメラ射影行列Ｐが二つのカメラの間の相対運動情報を示す。投影三次元再構成の目的が、シーンの深度情報ｑ_ｘ，ｙ（深度情報ｑ_ｘ，ｙに基づいて、式（１）により対応する三次元座標を計算する）とカメラ射影行列Ｐとを推定することである。

射影幾何原理に基づいて、１枚目の画像の画素（ｘ，ｙ）に対応する三次元点の、２枚目の画像における結像位置（ｕ_ｘ，ｙ，ｖ_ｘ，ｙ）が下式である。

ここで、Ｐ_ｊがカメラ射影行列Ｐのｊ番目の行ベクトルである。誤解が発生しないという前提で、数学公式を簡潔にするため、下付き文字ｘ、ｙを省略する。式（２）により、ｕとｖが画像領域に定義され、カメラ射影行列Ｐと深度ｑとをパラメータとして設定された関数ｕ（Ｐ，ｑ）とｖ（Ｐ，ｑ）である。

投影三次元再構成を実現するため、下記の変数目標関数が構成される。

における第一部分が、同じ三次元空間の点が異なる画像で同じグレースケール値を持つというオプティカルフロー計算中のグレースケール不変仮定（ｇｒａｙ ｖａｌｕｅｃｏｎｓｔａｎｃｙ ａｓｓｕｍｐｔｉｏｎ）に基づいたものである。グレースケール不変仮定のみがあれば、最適化問題は不良問題になる。このため、目標関数（３）に第二部分を導入し、二つの画像における結像が平滑のオフセットｕ−ｘとｖ−ｙを含むように設定することで、この平滑仮定が目標関数（３）の第二部分で描画される。目標関数（３）の二つの部分がそれぞれデータ項と、オフセット平滑化項と呼ばれ、オプティカルフロー計算中のデータ項、オフセット平滑化項に対応する。

本発明において、反復アルゴリズムで目標関数（３）の最適化を実現でき、その一番重要な技術思想が、変分法（ｖａｒｉａｔｉｏｎａｌ ｍｅｔｈｏｄ）におけるオイラー・ラグランジュ方程式（Ｅｕｌｅｒ‐Ｌａｇｒａｎｇｅ ｅｑｕａｔｉｏｎ）である。変分法におけるオイラー・ラグランジュ方程式（Ｅｕｌｅｒ‐Ｌａｇｒａｎｇｅ ｅｑｕａｔｉｏｎ）の標準形態を満足するため、目標関数（３）の最適化中の積分量Ｌが下式のように定義される（一時的にカメラ射影行列のパラメータＰを無視し、深度のパラメータｑのみを検討する）。

オイラー・ラグランジュ方程式によると、極点が得られるため、目標関数（３）が、下式

を満足する必要がある。

具体的には、オイラー・ラグランジュ方程式（５）が、

になる。

また、導関数が極点において０になるという性質によると、目標関数（３）が、下式

を満足する。すなわち、

になる。

反復アルゴリズムにおいて、その前の反復ステップで既にＰとｑの現在推定値が得られ、毎回の反復プロセスの目的は、Ｐとｑの増分δＰとδｑを確定し、以下のようにパラメータを更新する。

数であり、ｑ＋δｑの１次差分でｑ_ｘとｑ_ｙを近似し、ｄｉｖ（∇ｑ）の代わりに、ｄｉｖ（∇（ｑ＋δｑ））を用いる。式（６）と式（７）の増分形態を連立すると、画像格子点上に増分δＰ、δｑを変数として、（ｎ＋１２）個の線形方程式を確立でき、上記線形方程式の変数の数も、（ｎ＋１２）個である。ここで、ｎが画像の画素の数で、すなわち、深度ｑがｎ個の変数があり、カメラ射影行列も１２個の変数がある。
公式を簡潔にするために、カメラ射影行列Ｐの１２個の変数と深度ｑのｎ個の変数とにより、（ｎ＋１２）次元のベクトルθが構成される。整理が行われると、式（６）及び（７）の増分形態が以下の線形方程式の形式で表される。

よって、毎回の反復が、

を求めることになる。

上述したように、二つのグレースケール画像と、カメラ射影行列と、深度の初期値に基づいて、以下のアルゴリズムでＳＦＭ投影三次元再構成を実現できる。

つまり、アルゴリズム１の具体的なプロセスでは、
入力：二つのグレースケール画像Ｉ^１とＩ^２、およびカメラ射影行列Ｐ、深度ｑの初期化、
出力：カメラ射影行列Ｐ、深度ｑ、
収束するまで、反復（ｉｔｅｒａｎｃｅ・イテレーション）が行われる。

１．式（６）と式（７）に基づいて式（９）のＨとｂを確定する、
２．式（１０）に基づいて増分δθを計算すると共に、対応する増分δＰ、δｑを確定する、
３．式（８）に基づいてパラメータＰとｑを更新する。

部分的な極値点の困難を克服するために、粗から密へ（ｆｒｏｍ ｃｏａｒｓｅ ｔｏ ｆｉｎｅ）のピラミッド法を採用する。具体的には、まず、低解像度の画像において三次元再構成が実現され、さらに、推定された深度に対して補間が行われたとともに、カメラ射影行列が修正されたものを、次の層における高解像度の三次元再構成の初期値として設定される。上記プロセスを、最高解像度が得られるまで、繰り返す。

深度の補間について、バイリニア補間値（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、双三次補間法（ｂｉｃｕｂｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、又は他の類似の補間方法で実現する。

精度が異なる層の間にカメラ射影行列の補間が行われる。隣接する二つの層の画像はｘ及びｙ方向に画素比率がそれぞれｓ_１とｓ_２であり（ｓ_１，ｓ_２＜１）、精度が低い画像層において、推定された第２カメラのカメラ射影行列がＰ^{（ｉ＋１）}である（ここで、上付きｉ＋１がピラミッド構造のｉ＋１層目を示す）と仮定すると、対応するｉ層目の画像の第２カメラの射影行列が、下式になる。

つまり、アルゴリズム２の具体的なプロセスでは、
入力：二つのグレースケール画像、
出力：カメラ射影行列Ｐ、深度ｑ
１．二つの画像のｍ層ピラミッド表示を計算し、
２．ｆｏｒ ｉ＝ｍ：−１：１
ｉｆｉ≠ｍ
一つ上の層で推定された深度ｑ^{（ｉ＋１）}を基準にして、補間方法で本層における深度ｑ^（ｉ）を、深度の初期化として計算し、
一つ上の層で推定されたカメラ射影行列Ｐ^{（ｉ＋１）}を利用して、式（１１）で本層におけるカメラ射影行列Ｐ^（ｉ）を、第２カメラの射影行列の初期化として計算し、
ｅｌｓｅ
初期化：第２カメラのカメラ射影行列を、Ｐ^（ｍ）＝［Ｉ_３ ０］に設置し、すべての点における深度情報をｑ^（ｍ）＝１に設置し、
ｅｎｄ
アルゴリズム１により本層におけるカメラ射影行列Ｐ^（ｉ）と深度ｑ^（ｉ）を計算し、
ｅｎｄ
Ｂ、二つのグレースケール画像に基づいた投影三次元再構成の離散形態
デジタル画像自体が離散形態で存在するため、以下では、目標関数（３）に対して直接的にその離散形態を示す。

目標関数（１２）が本質的には非線形最小二乗問題であり、ガウス−ニュートン（Ｇａｕｓｓ−Ｎｅｗｔｏｎ）法（又は、他の類似するアルゴリズム、例えばレーベンバーグ・マーカート法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ、ＬＭアルゴリズム）で反復・最適化を実現する。理解しやすいため、まず、ｕとｖを変数として設定することを考える。目標関数（１２）の第一部分であるデータ項に対して、ガウス−ニュートン近似法を採用することで、以下のように関わるガウス−ニュートンヘッセ（Ｈｅｓｓｉａｎ）行列Ｈ_ｄａｔａと勾配ベクトルｂ_ｄａｔａが得られる。

目標関数（１２）の第二部分である平滑化項に対して、偏導関数の代わりに、

用してもよく、こんな微妙な変化が、アルゴリズムの全体的な構成を変更できない。

差分計算は、その隣接する画素に関わるため、平滑化項に対する導出が各画素点を分析することになり、データ項（１３）の方が簡明である。反復アルゴリズム１と同じく、前回の反復により既にｕとｖの推定値が得られ、毎回の反復の目的がその増分δｕとδｖを確定する。従って、目標関数（１２）における平滑化項が、下式で示される。

上記二つの式の合計が、以下のように、ガウス−ニュートンヘッセ行列Ｈ_ｘ，ｙと勾配ベクトルｂ_ｘ，ｙにより示される。

すべての画素に対して式（１４）のようなガウス−ニュートン近似を確立し、連立することで、以下のように平滑化項のガウス−ニュートンヘッセ行列Ｈ_{ｓｍｏｏｔｈ}と勾配ベクトルｂ_{ｓｍｏｏｔｈ}が得られる。

ここで、δ_ｘ，ｙの定義から、各δ_ｘ，ｙが隣接する画素に関わることが理解できたので、式（１５）における加算項の加算が通常の加算とは異り、式（１５）における加算がδ_ｘ，ｙの間のアライメントを考える必要がある。

式（１３）と式（１５）に基づいて、以下のように目標関数（１２）におけるガウス−ニュートンヘッセ行列Ｈと勾配ベクトルｂが求められる。

以下の式を求めることで、増分δｕとδｖが得られる。

本発明で提出した技術案において、最後のパラメータは、カメラの射影行列Ｐおよび深度ｑである。連続領域における導出のように、数学公式を簡潔にするため、カメラの射影行列Ｐおよび深度ｑを備えるパラメータベクトθを設定する。
合成関数の規則によると、増分δθが下式になる。

すなわち、アルゴリズム３の具体的なプロセスでは、
入力：二つのグレースケール画像Ｉ^１とＩ^２、およびカメラ射影行列Ｐ、深度ｑの初期化
出力：カメラ射影行列Ｐ、深度ｑ
収束するまで、反復が行われる。

１．式（１８）のＨ、Ｊおよびｂを計算し、
２．式（１８）に基づいて、増分δθを計算し、対応する増分δＰとδｑをそれぞれ計算し、
３．式（８）に基づいてパラメータＰとｑを更新する。

連続領域における三次元再構成と同様に、粗から密へのピラミッド法で、離散形態の三次元再構成を実現でき、その基本フレームがアルゴリズム２ｓと同じである。異なるのは、離散の三次元再構成において、アルゴリズム２で各層の三次元再構成を実現する点である。冗長性を避けるために、粗から密へのピラミッド法で離散領域に三次元再構成をするアルゴリズムの説明を省略する。

Ｃ、二つのカラー画像に基づいた三次元再構成
二つのカラー画像に基づいた三次元再構成の原理が、グレースケール画像に基づいた三次元再構成と同じである。カラー画像の表示方法が様々であり、例えば、ＲＧＢ（（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ：赤、緑、青）、ＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ：色相彩度値）、ＨＳＬ（（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｌｉｇｈｔｎｅｓｓ：色相彩度明度）およびＨＳＩ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｉｎｔｅｎｓｉｔｙ：色相飽和強度）がある。以下では、ＲＧＢカラー画像の離散形態の三次元再構成を例として、どうやってカラー画像に基づいた三次元再構成を処理するのかを説明する。離散形態の目標関数が下式のように構成される（同じく、連続領域において目標関数を構成できる）。

目標関数（１９）を最適化するアルゴリズムが目標関数（１２）と同じであるため、ここで説明を省略する。また、このように連続領域においてカラー画像に基づいた三次元再構成が実現でき、その実現アルゴリズムが連続領域におけるグレースケール画像に基づいた三次元再構成に類似している。

Ｄ、複数の画像に基づいた三次元再構成
ｎ幅（ｎ＞２）の画像に基づいた三次元再構成の基本的なアルゴリズムが、二つの画像に基づいた三次元再構成と同じであり、式（３）又は式（１２）のような目標関数を構成し、データ項と平滑化項とを備える。二つの画像に基づいた三次元再構成と同じく、ワールド座標系を第１カメラの座標系に設定することで、第１カメラの射影行列が［Ｉ_３ ０］∈Ｒ^３，４になり、他のｎ−１個カメラ射影行列と深度ｑが推定すべきパラメータである。

複数の画像に基づいた三次元再構成において、データ項と平滑化項の構成が様々な選択ある。ここで、データ項と平滑化項に対して、それぞれ二つ異なる構成案が提出されるが、これに限定されない。データ項の第１構成案が、下式で示される。

（ｕ^ｉ，ｖ^ｉ）がｉ幅目の画像において（ｘ，ｙ）に対応する座標である。データ項の第２構成案が、下式で示される。

第１構成案には、式（２０）において、二つの画像に関する（１２）のデータ項と非常に類似しており、すなわち、同じ点がすべての画像で同じグレースケール値を持つというグレースケール不変仮定である。第２構成案の式（２１）には、グレースケール不変仮定が少し変更し、隣接する画像の間のグレースケール不変仮定のみを考える。第２構成案が、ビデオシーケンスに基づいた三次元再構成のために適用する。

平滑化項について、以下のように二つの構成案（２２）と（２３）が提出された。

式（２２）において、オフセット量が１幅目の画像に基づいたものであり、式（２３）において、オフセット量が隣接する画像の間のオフセット量を考える。

複数の画像に基づいた三次元再構成を実現するアルゴリズムが、二つの画像に基づいた三次元再構成に類似しているため、具体的なアルゴリズムを省略する。

Ｅ、三次元再構成に勾配（ｇｒａｄｉｅｎｔ）不変仮定を導入する
異なる照明条件による画像の変化を克服するために、目的関数の最適化中に勾配（ｇｒａｄｉｅｎｔ）不変仮定を導入し、すなわち、同じ三次元点が異なる画像で同じ勾配を持つことである。二つのグレースケール画像に基づく投影三次元再構成を例として、どうやって三次元再構成に勾配不変仮定を導入するのかを説明する。構成された目標関数が次式で示す。

式（２４）の反復最適化アルゴリズムがアルゴリズム３と同じであるので、ここで説明を省略する。

Ｆ、目的関数の最適化中にバスト関数を導入する
目的関数（３）と（１２）が最適化され、他の類似の構成でもデータ項と平滑化項が二乗項という形態で表現されたため、これらのモデルがシーンや目標の深度に不均一な状況で、効果は悪くなる。このため、目的関数の最適化中、あるバスト関数ρが導入（ｉｎｔｒｏｄｕｃｅ）される。式（１２）を例にすると、下式になる。

バスト関数ρが様々であり、例えばシャルボニエ（ｃｈａｒｂｏｎｎｉｅｒ）関数

Ｇ、深度に平滑化拘束を導入する
画像のオフセットに平滑化拘束を導入すること以外には、一つの案としては直接的に平滑化拘束を三次元目標の深度ｑに導入する。離散形態の式（１２）を例にすると、次式で目標関数を構成できる。

もう一つの案としては、画像のオフセットと深度に対して同時に平滑化拘束を導入し、目的関数を最適化することで、次式になる。

Ｈ、二つのグレースケール画像に基づく類似三次元再構成とユークリッド三次元再構成

上記技術案には、再構成された結果が、射影再構成であり、一般的なユークリッド（Ｅｕｃｌｉｄｅａｎ）三次元構成ではない。ここで、類似（ｓｉｍｉｌａｒｉｔｙ）三次元再構成とユークリッド三次元再構成を提出する。

射影幾何原理に基づいて、カメラの射影行列がカメラの内部パラメータおよびカメラの外部カメラパラメータによって、以下のように示される。

まられ、カメラの外部パラメータが、ワールド座標系からカメラ座標系への回転変換を示す回転行列Ｒとシフトベクトルｔにより確定される。

上記説明した投影再構成と類似して、ワールド座標系と第１カメラの座標系と同じであるように仮定すると、カメラの間の運動情報が完全に第２カメラの外部パラメータによって示される。簡単にするため、二つのカメラが同一内部パラメータを持つことを仮定する。第１カメラの射影行列を標準形態（Ｉ_３ ０］にするために、第２カメラを次式のように設定する。

シーン又は目標を示す深度ｑが投影三次元再構成と同じである

類似三次元再構成を実現する技術案が、投影再構成と類似し、すなわち、目的関数（３）又は（１２）を最適化する。異なるところが、第２カメラの射影行列Ｐの形態（２７）である。ここで、類似三次元再構成の離散形態を実現する方法のみ記載された。投影三次元再構成の連続領域の技術案と同じく、連続領域において類似三次元再構成も実現できる。

回転行列Ｒが、以下のように、三つの角度パラメータであるｘ軸、ｙ軸、ｚ軸周りの各回転角γ_ｘ、γ_ｙ、γ_ｚにより確定された。

射影三次元再構成において、（ｎ＋１２）次元のパラメータベクトルθの最初から１２までの値がカメラ射影行列パラメータであり、残りがｎ個の深度パラメータであると仮定する。また、類似三次元再構成において、パラメータベクトルθ′の最初から１１までの値が、三つの回転角度パラメータγ＝［γ_ｘ，γ_ｙ，γ_ｚ］^Ｔ、三つのシフトベクトルｔ、および五つのカメラ内部パラメータα_ｘ、α_ｙ、ｓ、ｐ_ｘ、ｐ_ｙであり、１１次元のベクトルθ″を構成し、その後にｎ個の深度パラメータがあると仮定する。
式（２７）について、下式のようにヤコビアン行列（Ｊａｃｏｂｉａｎ ｍａｔｒｉｘ）を定義する。

ここで、Ｉ_ｎがｎ×ｎの単位行列である。従って、類似三次元再構成において、反復プロセスで以下のパラメータ増分が求められる。

ここで、Ｈ、Ｊ、ｂが式（１８）におけるＨ、Ｊ、ｂである。

カメラの一部パラメータが既知である場合には、例えばカメラがキャリブレーションであって、カメラの内部パラメータが既知であるときに、同じく上記類似三次元再構成を実現できる。カメラの内部パラメータと外部パラメータがすべて既知であるときに、ユークリッド三次元再構成を実現できる。

Ｉ、大きなベースライン（ｌａｒｇｅ ｂａｓｅｌｉｎｅ）におけるＳＦＭ三次元再構成
射影幾何学において、大きなベースライン（ｌａｒｇｅ ｂａｓｅｌｉｎｅ）とは、カメラの間に相対運動が大きいため、画像の間に顕著な差が生成されることである。原因としては、カメラの間の回転角又はシフトが大きすぎ、又はカメラの間の焦点距離差が大きすぎる。大きなベースラインの場合には、従来の三次元再構成方法と本発明に提出した上記方法に基づいて、大きなベースラインの三次元再構成を実現できる。具体的には、ＳＦＭ三次元再構成が、画像からハリス（Ｈａｒｒｉｓ）特徴、ＳＩＦＴ特徴又はＫＬＴ特徴を抽出し、マッチングする第１ステップと、抽出された特徴に基づいて、特徴点の三次元情報とカメラのカメラ射影行列を推定する第２ステップと、上記二つステップに基づいて、上記提出した方法で高密度ＳＦＭ三次元再構成を実現する第３ステップと、を含む。ここで、第２ステップで推定されたカメラ射影行列を、第３ステップにおけるカメラ射影行列の初期値として設定し、第２ステップで推定された三次元シーンの深度に対して補間することで、第３ステップにおける次元シーンの深度の初期値として設定する。

なお、今回開示した上記実施の形態はすべての点で例示であって制限的なものではない。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更を含むものである。
−専門用語の日本語・英語参照−

Claims (7)

1. あるシーンに関するｎ枚（ｎ≧２）の画像を入力するステップＳ１と、
   あるカメラ座標系と一致するワールド座標系を確立し、ワールド座標系と第１カメラの座標系が一致するように設定し、すなわち、ワールド座標系の原点、ｘ軸、及びｙ軸と、第１カメラのカメラ中心、第１カメラの結像面のｘ軸及びｙ軸とが重なり、そのＺ軸が第１カメラの結像面に垂直するように設定するステップＳ２と、
   １枚目の画像の画素点に対応する三次元空間の点が備える深度ｑである三次元シーンの
   

   

   変数とするステップＳ３と、
   オプティカルフロー計算中のデータ項およびオフセット平滑化項を用いた、連続領域における変分目標関数又はその離散形態の目標関数である目標関数を構造するステップＳ４と、
   粗から密へのピラミッド法で、連続領域又は離散領域において目標関数を最適化するように反復アルゴリズムを設計し、シーンの三次元情報を示す深度と、カメラの相対姿勢を示すカメラ射影行列とを出力するステップＳ５と、
   シーンの三次元情報を示す深度に基づいて、すべての画素点の三次元情報が推定できる投影、相似またはユークリッド再構成を実現するステップＳ６とを備える、
   ことを特徴とする無特徴抽出のすべての画素点の三次元情報が推定できる、ＳＦＭ三次元再構成法。
2. 投影三次元再構成を実現する中において、
   パラメータ化について、具体的には、
   ワールド座標系を確立すると共に、その第１カメラのカメラ射影行列を［Ｉ_３ ０］∈Ｒ^３，４に設定し、ここで、Ｉ_３が３×３の単位行列であり、０が３×１の零ベクトルであり、
   

   

   定され、
   シーンの三次元構造が、１枚目の画像に定義された三次元シーンの深度により決められ、
   １枚目画像の画素（ｘ，ｙ）に対応する三次元空間の点における三次元シーンの深度がｑ_ｘ，ｙである場合には、前記三次元点の三次元座標が下式になり、
   

   

   投影三次元再構成において、カメラ射影行列Ｐ_ｉと三次元シーンの深度ｑ_ｘ，ｙが、推定されるべき未決定のパラメータとして設定され、
   誤解が発生しないという前提で、数学公式を簡潔にするため、下添え字ｘ、ｙを省略する、ことを特徴とする請求項１に記載の無特徴抽出のすべての画素点の三次元情報が推定できる、ＳＦＭ三次元再構成法。
3. 連続領域において投影三次元再構成を実現する具体的な実現プロセスには、
   構成された連続領域における目標関数が、下式になり、
   

   

   ここで、
   

   

   上記目標関数を説明すると、
   

   

   （ｂ）目標関数が、データ項ｆ_ｄａｔａ、オフセット平滑化項ｆ_{ｓｍｏｏｔｈ＿ｕｖ}、および深度平滑化項ｆ_{ｓｍｏｏｔｈ＿ｄｅｐｔｈ}という三つの部分に分けられ、ここで、α、β、τ_１およびτ_２が非負の重みであり、
   

   

   し、
   （ｄ）深度が不均一な状況により発生する影響を克服するために、ロバスト関数ρが導入さ
   

   

   十分に小さい正数であり、ε＜１０^−６、又はロバスト関数ρがローレンツ（Ｌｏｒｅｎｔｚｉａｎ）関数
   

   

   合には、ρ（ｘ）＝ｘ、
   （ｅ）ｕ^ｉとｖ^ｉは、画像領域に定義され、カメラ射影行列Ｐ_ｉと深度ｑをパラメータとして設定
   

   

   

   ここで、Ｐ_ｉ，ｊがｉ番目のカメラ射影行列Ｐ_ｉのｊ番目の行ベクトルであり、誤解が発生しないと
   

   

   連続領域に設定された反復最適化アルゴリズムに関して、具体的には、三次元シーンの深度が１枚目の画像に定義された連続函数であるため、極点においてオイラー・ラグランジュ方程式を満たす必要があるとともに、極点においてカメラ射影行列のパラメータに対する偏導関数が０になり、画像の離散格子点において、オイラー・ラグランジュ方程式と、カメラ射影行列のパラメータに対する偏導関数が０であるという二つの方程式に基づいて、増分法で表現することにより、カメラ射影行列と三次元シーンの深度増分を求めるための反復プロセスが、次の線形方程式を解くことになり、
   

   

   

   構成され、そして、各反復が、下式
   

   

   を解くことになることで、対応する増分δＰ_ｉとδｑを確定し、
   求められた増分に基づいて、収束するまで、Ｐ_ｉ←δＰ_ｉ＋Ｐ_ｉ、ｑ←δｑ＋ｑのようにパラメータＰ_ｉとｑを更新し、
   つまり、アルゴリズム１の具体的なプロセスでは、
   

   

   １．反復
   １）オイラー・ラグランジュ方程式と、目標関数のカメラ射影行列のパラメータに対する偏導関数が０であることにより、式（７）のＨとｂを確定し、
   ２）式（７）に基づいて増分δθを計算し、さらに対応する増分δＰ_ｉとδｑを確定し、
   

   

   収束するまで繰り返し、
   ２．収束した三次元シーンの深度ｑにより、式（１）に基づいてシーンの三次元表示を計算する、
   ことを特徴とする請求項２に記載の無特徴抽出のすべての画素点の三次元情報が推定できる、ＳＦＭ三次元再構成法。
4. 目標関数（２）におけるデータ項、オフセット平滑化項が、その他の変形形態を採用でき、すなわち、
   

   

   ロバスト関数の導入が、その他の変形形態で行われてもよく、
   式（３）におけるデータ項について、その他の変形形態が、
   

   

   になる、
   ことを特徴とする請求項３に記載の無特徴抽出のすべての画素点の三次元情報が推定できる、ＳＦＭ三次元再構成法。
5. 構成された離散形態の目標関数が、下式になり、
   

   

   ここで、
   

   

   離散目標関数（１１）とその変形形態に対する反復最適化アルゴリズムに関しては、具体的に、離散形態の目標関数（１１）が本質的に非線形最小二乗問題であり、従来のレーベンバーグ・マーカート法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ）またはガウス−ニュートン法を採用でき、各反復プロセスが線型方程式系（１５）を解くことになり、
   

   

   ここで、Ｈがヘッセ行列又はガウス・ニュートン・ヘッセ行列であり、ｂが梯度向量であり、μが非負数であり、レーベンバーグ・マーカート法またはガウス−ニュートン法により、対応する増分δＰ_ｉとδｑを確定し、
   求められた増分に基づいて、収束するまでパラメータＰ_ｉとｑを、Ｐ_ｉ←δＰ_ｉ＋Ｐ_ｉ、ｑ←δｑ＋ｑのように更新し、
   アルゴリズム２の具体的な実現プロセスにおいて、
   

   

   １．反復
   １）式（１５）におけるガウス・ニュートン・ヘッセ行列Ｈと勾配ベクトルｂを計算し、
   ２）式（１５）に基づいて増分δθを計算し、さらにそれぞれに対応する増分δＰ_ｉとδｑを確定し、
   

   

   収束するまで繰り返し、
   ２．収束した三次元シーンの深度ｑにより、式（１）に基づいてシーンの三次元表示を計算する、
   ことを特徴とする請求項２に記載の無特徴抽出のすべての画素点の三次元情報が推定できる、ＳＦＭ三次元再構成法。
6. 粗から密へのピラミッド法における具体的なステップについて、
   画像のｎ層のピラミッド表示を算出し、
   

   

   うに初期化し、すべての点における三次元シーンの深度を１になるように初期化し、
   粗から密へ順番的にカメラ射影行列と三次元シーンの深度とを推定するとともに、カメラ射影行列と三次元シーンの深度に対してそれぞれ校正し補間することで、次の細かい画像層に対する反復プロセスの初期値として設定され、
   精度が異なる層の間に三次元シーンの深度の補間が、バイリニア補間値又は双三次補間法で実現され、
   精度が異なる層の間にカメラ射影行列の修正に関しては、隣接する二つの精度を持つ画像はｘ及びｙ方向における画素比率がそれぞれｓ_１、ｓ_２（ｓ_１，ｓ_２＜１）であるように設定し、精度が低い画像層において、推定されたあるカメラのカメラ射影行列が、Ｐ^{（ｋ＋１）}であり、ここで、上付き（ｋ＋１）がピラミッド構造のｋ＋１層目を示し、対応するｋ層目の画像のカメラ射影行列が、下式になり、
   

   

   粗から密へのピラミッド法の具体的な反復アルゴリズム、すなわち、アルゴリズム３の具体的なプロセスにおいて、
   入力：ｎ枚画像、
   

   

   １．画像におけるｍ層のピラミッド表示を計算し、
   ２．反復：画像層ｋがｍ層目から順番的に１層目まで、
   （１）ｋ≠ｍである場合には、
   一つ上の層で推定された三次元シーンの深度ｑ^{（ｋ＋１）}を基準にして、補間方法で本層における三次元シーンの深度ｑ^（ｋ）を、三次元シーンの初期化として計算し、
   

   

   式（１６）により本層におけるカメラ射影行列Ｐ_ｉ ^（ｋ）を、カメラ射影行列の初期化として計算し、
   それ以外の場合は、ｍ層目の画像において、
   

   

   べての点における三次元シーンの深度情報をｑ^（ｍ）＝１に設置し、
   終わり、
   

   

   三次元シーンの深度情報ｑ^（ｋ）を計算し、
   反復の終わり、
   

   

   ４．三次元シーンの深度ｑに基づいて、式（１）によりシーンの三次元シーン表示を計算する、
   ことを特徴とする請求項１に記載の無特徴抽出のすべての画素点の三次元情報が推定でき る、ＳＦＭ三次元再構成法。
7. 相似三次元再構成またはユークリッド三次元再構成を実現する具体的なプロセスでは、
   パラメータ化について、具体的には、
   カメラ射影行列がカメラ内部パラメータとカメラ外部パラメータで表示され、
   Ｐ＝Ｋ［Ｒ ｔ］
   

   

   れ、カメラ外部パラメータが３×３回転行列Ｒと３×１シフトベクトルｔにより確定され、回転行列Ｒが三つの角度パラメータであるｘ軸、ｙ軸、ｚ軸周りの回転角γ_ｘ、γ_ｙ、γ_ｚにより確定され、
   

   

   カメラ内部パラメータとカメラ外部パラメータが未知である場合には、内部パラメータα_ｘ、α_ｙ、ｓ、ｐ_ｘ、ｐ_ｙ、シフトベクトルｔ、回転角γ_ｘ、γ_ｙ、γ_ｚ、および三次元シーンの深度ｑが推定すべきの未定のパラメータであり、相似の三次元再構成を実現し、
   カメラ内部パラメータが既知で、カメラ外部パラメータが未知である場合には、シフトベクトルｔ、回転角γ_ｘ、γ_ｙ、γ_ｚ、および三次元シーンの深度ｑが推定すべきの未定のパラメータであり、相似の三次元再構成を実現し、
   カメラ内部パラメータが既知で、カメラ外部パラメータも既知である場合には、ユークリッド三次元再構成を実現する中に、この場合には、三次元シーンの深度ｑが推定すべきの未定パラメータである、
   ことを特徴とする請求項２又は６に記載の無特徴抽出のすべての画素点の三次元情報が推定できる、ＳＦＭ三次元再構成法。

Images