JP6143704B2 - ３ｄラインを再構成する方法 - Google Patents

Description

本発明は、包括的にはコンピュータービジョンに関し、より詳細には、単一の２Ｄ画像内の２Ｄラインから３Ｄワールド座標系内の３Ｄラインを再構成し、シーン再構成に３Ｄラインを用いることができるようにすることに関する。

コンピュータービジョンにおける基本的な問題は、単一ビュー再構成（ＳＶＲ）である。ＳＶＲは、単一の２Ｄ画像から３Ｄ実世界シーンを復元する問題に対処する。

人工構造物、例えば、建物および部屋を含む屋内シーン、または屋外シーンの２Ｄ画像において、顕著な特徴は、３つの直交する方向における３Ｄラインである。画像内でラインが交差するときを求めるのは、比較的容易である。しかしながら、これは、必ずしも、３Ｄ実世界において対応するラインが交差することを意味するものではない。

自明な反例として、画像内の共通の消失点を共有するラインがある。これらのラインは、消失点において交差するように見えるが、いずれも実世界において交差せず、実世界では、これらのラインは、互いに平行である。このため、画像内の見掛けの交差が、実世界の交差に対応するときを特定するのは困難である。ラインの３Ｄ構造を推測するには、いくつかの難題がある。

最大の難題は、誤交差を生じる画像内の遮蔽エッジに関するものである。実画像におけるライン検出方法は、多くの場合に重要なラインを見逃し、スプリアスラインを生成する。検出されるラインは、多くの場合に途切れているかまたは短く、交差の証拠がなくなっている。加えて、実世界シーンは、クラッターに起因して特に難易度が高い。

ＳＶＲは、コンピュータービジョンにおける明確には解決されていない問題である。再構成は、幾何学的または意味的に行うことができる。最も一般的な幾何学的再構成方法は、ラインを凸ライン、凹ライン、または遮蔽ラインとしてラベリングすることに基づく。ラインラベルリング問題は、一般に、ＮＰ困難である。いくつかの難易度が高い線画が研究され、ＳＶＲ問題を解決する新規の制約充足方法が開発された。これらの方法は、主に合成線画またはコンピューター生成線画に対し動作し、一般に、実世界画像には不十分である。実画像に対し良好な結果を与えるほとんどの他の幾何学的単一ビュー再構成方法は、ある種のユーザーインタラクションに頼る。

より全体的な手法が利用可能になるにつれて、ＳＶＲ問題への関心が新たになっている。例えば、画像内のピクセルは、空、建物および地面として分類することができる。その分類により、面の向きの推定と併せて、いくつかの用途に十分な３Ｄモデルを生成することができる。いくつかの用途とは、ウォークスルーの合成、映画用の立体コンテンツの生成、ならびに物体検出および認識用の３Ｄコンテキスト等である。こうした粗いモデリングに用いられる方法は、いくつかの幾何学的特徴および画像特徴を用いる。

いくつかの画像特徴、ならびに共平面性および共線性に対する弱い推定と併せて、１つの方法は、単一画像から奥行きを推定する。別の方法は、直方体を用いて部屋の幾何学的形状を概算し、様々な仮説をサンプリングし、いくつかの画像特徴および幾何学的特徴に基づいて、最も良好な仮説を選択する。屋内シーン内のクラッターは、直方体としてモデリングされ、３Ｄで再構成される。

ＳＶＲは、不良設定問題であるので、いくつかの解法が導かれる。いくつかの解法とは、方位マップの計算、人間の活動からの幾何学的形状推測、境界情報、テンプレート３Ｄ形状、さらには物理学主導の安定性制約および機械的制約の明白な使用等である。

より大きな解空間からレイアウトを正確に推測する最適化戦略を用いることによって、性能を大幅に改善することができる。航空写真から建物をモデリングするのにマンハッタン推定に基づく制約が用いられてきた。

本発明の実施の形態は、単一の２Ｄ画像から抽出された２Ｄラインから３Ｄワールド座標系内の３Ｄラインを再構成する方法を提供する。これらの３Ｄラインをシーン再構成に用いることができる。本方法は、消失点、直交構造、およびライン間の全ての妥当な連結性制約を検討する最適化手順を用いた、２Ｄ画像から抽出されたラインの３Ｄ再構成に基づく。

画像内の結合点において実質的に交差するラインが特定される。しかしながら、比較的少ない数の結合点のみが、３Ｄシーン内の実際の交差に対応する。本方法は、線形計画法（ＬＰ）を用いて、ラインを明確に再構成するのに十分な最小数の最も違反されていない連結性制約を特定する。

厳密に拘束する推定を用いた良好に機能する合成（グラフィック）線画に主に焦点を当てた既知のＬＰによる解決法と対照的に、本方法は、実世界の画像からシーンを再構成することができる。

本発明の実施の形態による、単一の２Ｄ画像内の２Ｄラインから３Ｄワールド座標系内の３Ｄラインを再構成する方法のブロック図である。 切頂四面体の合成線画である。 切頂四面体の合成線画である。 切頂四面体の合成線画である。 本発明の実施の形態による、ラインを含む屋外シーンの２Ｄ画像である。 本発明の実施の形態による、ライン、交差および制約の概略図である。 本発明の実施の形態による制約グラフである。 本発明の実施の形態による、画像平面内の交差するラインの概略図である。 本発明の実施の形態による、結合点の概略図である。

本発明の実施の形態は、単一画像内の２Ｄラインから３Ｄワールド座標系内の３Ｄラインを再構成する方法を提供する。再構成されたラインは、次に、２Ｄ画像から３次元（３Ｄ）シーンを再構成するのに用いることができる。

図１は、ライン抽出方法を示している。カメラを較正し、２Ｄ画像１０１の向きを推定した後、ラインが検出され、消失点が推定され、ラインがクラスター化される（１１０）。ラインクラスター１１５から、共線性制約および直交性制約を用いて制約グラフ１２５を生成する（１２０）。グラフから、制約グラフ内の頂点について、結合点１３５に基づくペナルティ項を求める（１３０）。

線形計画法（ＬＰ）１４０および最小全域木１５０を用いて、３Ｄワールド座標系内の３Ｄラインを再構成する（１６０）。次に、３Ｄラインを用いてシーンを再構成する（１７０）ことができる。

ここで、これらのステップをより詳細に説明する。ステップは、当該技術分野において既知のメモリおよび入／出力インターフェースに接続されたプロセッサにおいて実行することができる。

カメラアラインメント
本発明の方法は、全ての３Ｄラインが３つの直交軸のうちの１つに沿ってアラインされる３Ｄワールド（マンハッタン）座標系を用いる。これを達成するために、ワールドに対するカメラの向きを求め、必要な回転を行う。

３つの消失点ｖｐ_ｘ、ｖｐ_ｙ、およびｖｐ_ｚを求める。これらの消失点のうちの２つを用いて、２Ｄカメラ座標系と３Ｄワールド座標系との間の回転Ｒを求めることができる。この回転を用いて、再構成するラインが、実世界の座標系とアラインされるように、カメラの光線を向ける。

カメラ行列Ｋを用いて較正されるカメラの場合、画像平面内の全てのピクセルｐ（ｘ，ｙ）が、単位ベクトルｄ_ｐ＝ＲＫ^−１（ｘ ｙ １）^Ｔによって与えられるワールド座標系内の３Ｄ投影射線に対応する。ｄ_ｘｐ、ｄ_ｙｐ、およびｄ_ｚｐは、方向ベクトルｄ_ｐのｘ成分、ｙ成分、およびｚ成分を表す。

ライン抽出
線画のためのＳＶＲにおいて、結合点およびラインラベルを用いて、３Ｄ物体の構造を理解することができる。結合点は、２つ以上のラインが交差する点である。２Ｄ画像座標系内のラインの角度および向きに基づいて、結合点をＬ、Ｔ、Ｙ、またはＷとしてそれらに分類することができる。

図２Ａ、図２Ｂ、および図２Ｃは、切頂四面体の線画である。頂点Ａ、Ｂ、およびＣは、Ｗ結合点に対応し、頂点Ｄ、Ｅ、およびＦは、Ｙ結合点に対応する。合成線画において、結合点を検出するのは簡単である。結合点が検出された後、入射ラインが、凸（＋）、凹（−）、および遮蔽ライン（←→）を表すように、ラベリングされる。遮蔽ラベルの方向は、遮蔽面を示す。

カメラ較正を用いた、画像内の全てのピクセルへの投影射線が知られている。３Ｄ空間における線図からの全ての制約は、一次不等式である。例えば、４つ組（Ａ，Ｂ，Ｅ，Ｄ）は、単一面上に位置する。ラインラベリングは、ＤがＡよりもカメラの近くにあることを矯正する。そのような制約は、一次不等式の形で書くことができる。線形計画法が許容解を有する場合、線画は、物理的に実現可能である。これらの連立一次方程式の階数を研究することによって、線画が複数の３Ｄ解釈を有するとき、またはそうでないときを理解することができる。

投影射線に沿って３Ｄ点を抽出するように、連立一次不等式を生成する。本発明の解法は、従来の解法と異なる。なぜなら、実世界画像は、完全に異なる１組の難題を課し、これらは、幾何学的構造および組み合わされた構造のみを用いてモデリングすることが困難であるためである。

図３は、建物およびラインを有する３Ｄシーンの画像を示している。いずれの３Ｄ点がこの実世界画像内の平面に位置し、いずれの点が位置しないかを知ることは、容易でない。欠落したラインおよびスプリアスラインに起因して、非常に高い信頼度で結合点を検出することができない。

本発明では、検出した結合点からの平面性制約も、困難な不等式も有しない。さらに、実際のシーンは、多くの誤った交点を有し、これらによって、常に非許容解が導かれる。これらの実世界の難題に対処するために、本発明では、見掛けの結合点から絶対制約を一切導出しない。代わりに、結合点に関する証拠を用いて、ＬＰにおける一貫した３Ｄ構造を得るためのペナルティ項を通知する。

制約グラフ
図３におけるような実世界画像は、ライン検出にいくつかの難題を課す。結果として、ライン検出器は、一般に、欠落したライン、スプリアスライン、および途切れたラインをもたらす。本発明では、ライン間の最短距離がしきい値未満であるとき、２つのライン間の連結性制約を考察する。本発明は、２つのタイプの連結性を考察する。２つの直交ラインは、交点において交差することができる。２つの共線ラインは、入射点において合わさるように延長することができる。

交差および入射は、２Ｄ画像内の２Ｄラインから３Ｄワールド座標系内の３Ｄラインを再構成するための結合制約を与える。また、入射関係は、ワールド座標系内で２つの異なる物体から到来する２つの共線ラインを連結する。そのような関係を用いて、連結グラフを構成することができる。

しかしながら、実際の画像では、偶然の共線性が生じる可能性がある。しかし、これも、許容可能である。本発明のＬＰ定式化は、結合点に基づくペナルティ項を用いることによって、真でない場合がある制約に対処するように設計される。ＬＰにおいて用いる制約は、点および線にのみ依拠する方向制約である。この制約は、点が交差であるかまたは入射であるかに無関係である。

図４に示すように、制約を表すのに統一された表現を用いる。ｎは、画像内のライン数を表し、ｌ_ｉは、インデックスｉを有するラインを表すものとする。ｍは、交差および入射の総数を表すものとする。制約グラフＧ＝（Ｖ，Ｅ）を用いて、交差および入射の関係を表すことができる。ここで、頂点Ｖ＝｛１，２，・・・，ｎ｝は、ラインを表し、エッジ（ｉ，ｊ）∈Ｅは、ラインｌ_ｉとラインｌ_ｊとの間の交差または入射を表す。４つのラインｌ_１、ｌ_２、ｌ_３、およびｌ_４を示す。これらのラインは、３つの交差Ｉ_１２、Ｉ_１３、およびＩ_１４をもたらす。ラインｌ_１およびｌ_４は、共線であり、これらのラインは、入射点Ｉ_１４をもたらす。グラフの頂点およびエッジは、それぞれＶ＝（１，２，３，４）およびＥ＝｛（１，２），（１，３），（１，４），（２，３）｝によって与えられる。

図５に示すように、画像内の全てのラインは、頂点（ｘ_１，ｘ_２，ｘ_３，ｘ_４）であり、全ての交差および入射は、制約グラフにおけるエッジ（ｅ_１２，ｅ_１３，ｅ_１４，ｅ_２３）である。

線形計画法
図６に示すように、ピクセルに対応する３Ｄ点は、その投影射線上にあり、点は、λｄ_ｐによって表すことができる。ここで、λは、カメラ中心からの３Ｄ点の距離に等しい未知のスケールパラメータである。一般に、２Ｄ画像ラインから３Ｄラインを再構成するには、３Ｄ空間内で双方の端点を再構成する２つのパラメーターを必要とする。しかしながら、マンハッタンワールド推定の下では、一方の点を再構成すれば、他方の点を復元するのに十分である。本発明の定式化では、単一のパラメーターλ_ｉを用いて、ラインの端点のうちの一方のスケールを表す。

図６では、点Ｉ_ｉｊにおいて交差する２つのラインｌ_ｉおよびｌ_ｊを示している。制約グラフＧ＝（Ｖ，Ｅ）に関して、全ての頂点ｉ∈Ｖについて、１つの未知のλ_ｉを有し、全てのエッジ（ｉ，ｊ）∈Ｅについて、１つの未知のλ_ｉｊを有する。全ての交差または入射Ｉ_ｉｊが、画像ラインｌ_ｉおよびｌ_ｊに対応する双方の３Ｄライン上に独立して位置する。このため、ベクトルλ_ｉｄ_ｉ−λ_ｉｊｄ_ｉｊは、ラインｌ_ｉに対応する３Ｄラインの方向に沿ってアラインされる。同様に、ベクトルλ_ｊｄ_ｊ−λ_ｉｊｄ_ｉｊは、ラインｌ_ｊに対応する３Ｄラインの方向に沿ってアラインされる。

この特性は、ラインを再構成する際の制約として用いられる。本発明の目標は、以下の最適化問題において、そのような制約の最大数を満たすような未知のパラメーターを求めることである。

ここで、ａ、Ａ_ｉ∈｛ｘ，ｙ，ｚ｝およびＡ_ｉは、ｌ_ｉの向きに対応する。単一の２Ｄ画像から、再構成は、未知のグローバルスケールまでのみ可能である。制約λ_ｉ，λ_ｉｊ≧１は、ラインがカメラから、またカメラの正面において、少なくとも単位距離にあることを確保する。全てのエッジ（ｉ，ｊ）について、２つのスラック変数ｓ_ｉｊ１およびｓ_ｉｊ２を有する。

元のＬ_０ノルム最大化問題を解く代わりに、ＬＰを用いて、以下の最小化を解く。

目的関数（３）における重みパラメーターｗ_ｉｊは、以下に示すように結合点特徴から得られる。ＬＰは、全てのスラック変数ｓ_ｉｊｋについての解を与える。全てのエッジ（ｉ，ｊ）について、スラック変数ｓ_ｉｊ１およびｓ_ｉｊ２は、シーンの最低コストの大域一貫３Ｄ解釈を得るのに必要なラインｉとラインｊ間の最小奥行き分離を与える。（ｓ_ｉｊ１＋ｓ_ｉｊ２）をエッジコストとして用いて、エッジ集合Ｅ_Ｓによって表される最小全域木を求める。スケール係数λ_ｉおよびλ_ｉｊは、ツリー構造グラフに対応する連立一次方程式から直接求めることができる。

結合点コスト
マンハッタンワールド推定の下で、投票を用いてＬＰにおけるペナルティ項として結合点特徴を求める。式（３）における重みパラメーターｗ_ｉｊは、エッジ（ｉ，ｊ）に対応する制約が違反されたときに課すペナルティに対応する。これらの重みは、結合点特徴の関数としてモデリングされる。関数が特定の結合点について高い値を有する場合、この関数が異なる結合点について高いスコアを有し得る可能性は、極めて低い。

図７は、本発明の結合点の基礎をなす着想および結合点を求める方法を示している。画像内の全てのピクセルについて、消失点ｖｐ_ｘ、ｖｐ_ｙ、およびｖｐ_ｚに関して、６つの可能な向きの領域が存在する。これらの向きは、集合

によって表される。

全ての部分集合Ａ⊆Ｓは、結合点を表し、全ての可能な部分集合Ａおよびピクセルｐについて、関数Ｆ（Ａ，ｐ）を求めることができる。関数の値は、ピクセルｐにおいて結合点Ａの存在を示すスコアを与える。例えば、図７のピクセルｐにおけるＹ結合点は、集合

に対応する。ピクセルｑにおいて、Ｔ結合点が存在する。

以下は、マンハッタンシーンにおける結合点の場合にあてはまる。Ｌ結合点およびＸ結合点は、平面上で生じる。Ｔ結合点は、平面および遮蔽境界の双方で生じる。Ｙ結合点およびＷ結合点は、凸エッジおよび凹エッジ上で共通である。

Ｊ（ｐ）がピクセルｐにおける結合点のタイプを表すものとする。ｐは、制約グラフ内のエッジ（ｉ，ｐ）にマッピングされる交点を表す。ＬＰにおいて、ｗ_ｉｊの重みを、以下のように設定する。

ここで、Ｃ_ｈおよびＣ_ｍは、結合点ごとの視覚的証拠の品質に従ってスケーリングされる定数であり、それによって、ラインを延長することによって得られる結合点は、より弱いペナルティを有する。

Ｔは、場合によって、欠落したラインに起因してＬとして検出される可能性があるので、Ｌ結合点を何ら優先しない。

応用形態
１つの応用形態において、再構成は、シーンの複数の画像に適用され、大きなシーンが再構成される。別の応用形態は、立体コンテンツを生成するのに３Ｄラインを用いる。カメラを家庭用品に搭載して屋内シーンを再構成し、暖房、換気および空調ユニットにおける空気の流れを最適に制御することができる。カメラを車両に搭載して、障害物または車両のロケーションを検出することもできる。

Claims (12)

1. シーンの２次元（２Ｄ)画像内の２Ｄラインから３Ｄワールド座標系内の３次元（３Ｄ）ラインを再構成する方法であって、
   消失点を用いて前記２Ｄラインを検出およびクラスター化するステップと、
   頂点およびエッジのグラフを生成するステップであって、前記グラフの各頂点は、前記２Ｄ画像内のラインを表し、２つの頂点を接続する各エッジは、前記３Ｄワールド座標系内の前記２つの頂点に対応する２つのラインの交差の制約の可能性を表す、ステップと、
   前記３Ｄライン上で満たされる交差に対する前記制約を特定するために、ソフトペナルティとして前記交差の直交性制約、共線性制約、および結合点制約を用いて交差に対する制約をテストするステップと、
   交差に対して特定された前記制約を用いて、前記３Ｄワールド座標系における前記３Ｄラインを再構成するステップと、
   を含み、各ステップは、プロセッサにより実行される、シーンの２次元画像内の２Ｄラインから３Ｄワールド座標系内の３次元ラインを再構成する方法。
2. 前記特定するステップは、線形計画法を用いる、請求項１に記載の方法。
3. 前記３Ｄラインを用いて前記シーンを再構成するステップ
   をさらに含む、請求項１に記載の方法。
4. 前記線形計画法におけるペナルティ項は、Ｌ結合点、Ｘ結合点、Ｔ結合点、Ｗ結合点、およびＹ結合点を用いる、請求項２に記載の方法。
5. 前記線形計画法の解に対し最小全域木アルゴリズムを用いて前記満たされる制約を特定する、請求項２に記載の方法。
6. 前記再構成は、複数の画像に適用される、請求項１に記載の方法。
7. 前記３Ｄラインは、立体コンテンツを生成するのに用いられる、請求項１に記載の方法。
8. 前記３Ｄラインは、物体検出および物体認識の３Ｄコンテキストを提供するのに用いられる、請求項１に記載の方法。
9. カメラを家庭用品上に搭載して屋内シーンを再構成する、請求項３に記載の方法。
10. 前記屋内シーンの再構成を用いて、暖房、換気、および空調ユニットにおける空気の流れの最適制御を行う、請求項９に記載の方法。
11. カメラを自動車に搭載し、大きなシーンの再構成を用いて障害を検出する、請求項６に記載の方法。
12. カメラを自動車に搭載し、大きなシーンの再構成を３Ｄ街モデルとマッチングして自動車のロケーションを計算する、請求項６に記載の方法。

Images