JP6157606B2 - 画像融合方法及び装置 - Google Patents

Description

本出願は、画像を融合するための方法及び装置に関する。より具体的には、本出願は、大きなパノラマ画像における関心対象の表示品位及び詳細レベルを、別個の図において利用可能なこれら対象に関するより豊富な情報を利用することにより、均一に改善するための方法及び装置に関する。

パノラマ画像を探るとき、ある関心対象を含む特定の領域をもっとよく見たくなることがある。このような場合、それら対象がカメラから遠いとき、パノラマ画像の解像度は不十分である場合が多い。この課題の直接的対処法は、パノラマキャプチャ設定の解像度を高め、かつ、露出時間を減らすことである。しかし、この対処法は、膨大な伝送帯域又は記憶容量を必要とし、実用上使えない。さらに、現在のイメージセンサの性能には技術的限界がある。

代わりに、別個のカメラが、より高い詳細レベルで関心対象をキャプチャし、それを記録するとき、この補完する画像をパノラマ画像と融合して、パノラマ画像内の関心対象の拡張版を提供することができる。関連技術は、マルチ−イメージフュージョン（multi-image fusion）、又はスティッチング（stitching）として分類される。例えば、特許文献１には、低解像度と高解像度のビデオストリームを、人間の観察者に対して単一の継ぎ目のない表示に正確に組み合わせる工程が記載されている。パノラマ視覚センサがパノラマを記録し、その一方で、追加のセンサが詳細画像を記録する。両センサは固定のシステムとして配置される。低解像度と高解像度のビデオの境界の目障りな部分を低減するため、その２つは、それら２つの間の環状領域において滑らかに混ぜ合わされる。異なる解像度の画像の融合は、センサから中距離の場合にだけ良く機能する。他の深度では、位置ずれが生じる。

加国特許出願２３８６３４７号明細書 米国特許出願２００３／０２３５３４４号明細書

N. Snavely et al., "Modeling the World from Internet Photo Collections," Int. J. Comput. Vis. Vol. 80 (2008), pp. 189-210

一般的に、任意の遠近図からの情報を融合する試みは、ほとんどの場合、付加された高品位視覚データの不正確な挿入が生じる。この課題について図１、２に示す。この例では、詳細図２は、ホチキスの位置を一致させるために（パノラマ）画像１に挿入されている。このように、挿入された矩形の上部及び下部での遠近不整合は、非常に不自然な結果を引き起こす。

この課題に対処するために、特許文献２には、２以上の画像をスティッチングする方法が開示されている。重なる画像におけるピクセルの相対深度は、プレーンスイープ（plane sweep）アルゴリズムを用いて計算される。この深度は、画像補正に使用される。処理された画像は、その後縫合される。この対処法は、全ての画像、すなわち詳細画像及びパノラマキャプチャ図が、実際に調整可能なように少なくとも適切に整列された、限られた場合にのみ機能する。画像を融合するために、異なる像差（disparity）レベル、すなわち深度レベルで、ピクセルのストライプ（stripes）は、混ぜられるだけであり、画像の歪みを生じさせることがある。さらに、逆ワーピング（inverse warping）ステージが要求され、更なる画像の歪みの原因となることがある。

従って、本発明の目的は、継ぎ目なく画像を融合させる改善された対処法を提案することである。

本発明によれば、補助的画像を主画像に融合する方法であって、
−補助的画像に含まれる対象の３Ｄ構造を読み出すステップと、
−補助的画像に含まれる対象の３Ｄ構造の射影が主画像における遠近図に最も類似するカメラポーズを決定し、前記決定されたカメラポーズに基づき、補助的画像の視差補正されたバージョンを合成することによって、３Ｄ構造を用いて補助的画像の視差補正されたバージョンを生成するステップと、
−補助的画像の視差補正されたバージョンを主画像と融合するステップと、
を有した方法である。

本発明の対象とするシナリオは、多数の解像度変更可能な高解像度カメラに伴う静止パノラマ画像キャプチャ設定である。これら解像度変更可能な高解像度カメラは、ステレオ又は、最も望ましいのは、プレノプティック又はライトフィールドカメラである。このようなカメラは、カメラの物理的実装によって制限される、ある幅内での最小のエラー導入で任意に遠近視差を変更することが可能である。妥当な近距離にそれらのカメラを設置することにより、関心対象の高詳細キャプチャにおけるシーン視差は補償されてパノラマキャプチャのものと類似することができる。３Ｄ構造の明確な利用により、関心対象の詳細図をパノラマ画像と継ぎ目なく融合することを可能にしている。もちろん、パノラマ画像は必ずしも静止画像でない。動く対象も同様に含むことができる。この例としては、競技場であり、そこでは競技者が基本的に静止した背景に対して動いている。

上記シナリオの応用は以下のように機能する。ユーザは、関心の１又は複数の対象を含むパノラマ内の領域を表示させるために対話的に選択する。これら対象は、自動的に又は対話的に背景から区分される。そのとき、関心対象の高詳細キャプチャを含む、第２の画像は、パノラマ遠近図に一致させるために視差補正される。最後に、パノラマにおける関心対象は、変換された（回転、平行移動、拡大縮小された）高詳細バージョンに置き換えられ、境界は、パノラマの背景において継ぎ目なく統合するために具合良く混合される。

主流のステレオ及びライトフィールドカメラの普及の広がりと、３Ｄコンテンツの今後の幅広い利用可能性は、本発明の更なる対象シナリオを可能とする。同様に、画像の関心コンテンツを、対象を含む異なる画像から、それら画像間の視差の差異にかかわらず、より良い視覚品質を持った類似のコンテンツを用いて改善することができる。

さらなる理解のために、本発明について、図を参照しながら以下でより詳細に説明する。本発明はこの例示した実施態様に限定されず、特定の特徴を、本発明の範囲を逸脱すること無く、都合良く組み合わせる、及び／又は、変更することもできる。

パノラマ画像から選択されたオリジナルの不鮮明な領域を示す図である。 詳細図から豊富なデータの挿入後の図１の領域を示す図である。 画像を融合する本発明に従う方法を示す図である。 図３の方法を実施する装置を概略的に示す図である。 図４の装置の視差補正ステージをより詳細に示す図である。 図４の装置を用いて得られた継ぎ目なく融合された画像を示す図である。

図１に、パノラマ画像から選択されたオリジナルの不鮮明な領域１を示す。図２において、より詳細な画像２が領域１に挿入されている。このように、遠近不整合は、非常に不自然な結果を引き起こす。

図３に、上記の不自然な結果を回避する、もしくは少なくとも低減する、画像を融合する本発明の方法を示す。第１のステップで、詳細図に利用可能な情報を用いて詳細図の３Ｄ構造が読み出される（１０）。例えば、３Ｄ構造は、１対のステレオカメラから得られた深度チャネル、プレノプティック又はライトフィールドカメラから得られたライトフィールド描写等を用いて読み出される。その後、大きなパノラマ図において観察者によって対話的に選択された領域が与えられ、かつ、詳細図から３Ｄ構造が抽出され、パノラマの視点から見られる遠近図と一致する、詳細図の視差補正バージョンが生成される（１１）。これにより、視差補正された図からのデータを、詳細図からの豊富なデータをパノラマに継ぎ目なく統合するために用いることができる。

図４に、上記方法を実装した装置２０の概略を示す。３Ｄ構造を読み出すステージ２１において、そのシーンの３Ｄ構造を詳細な補助的図から読み出す。これは、ステレオ設定のために、既存のステレオ再構成技術のいずれかを用いてなされる。ライトフィールドカメラでキャプチャされたデータの場合、非特許文献１に書かれた、設定の詳細な較正の必要なくライトフィールドキャプチャにおける多数の利用可能な図を自動的に処理するために、動きからの構造（Structure from Motion）のような、より洗練された手法を望ましくは用いる。いずれにせよ、このステージの出力は、補助的設定、例えば各ピクセルの深度値によってキャプチャされたシーンの３Ｄ描写を含む。

視差補正ステージ２２は、視差補正された詳細図を生成することにより提供される。視差補正ステージ２２は、図５に示すように、２つのサブステージを備える。第１サブステージ、ポーズ推定器３０では、カメラポーズ、例えば詳細図の３Ｄ構造の射影がパノラマ図における遠近図に最も類似する、カメラの位置及び向きを検出する。図合成器３１は、その後、第１サブステージ３０で得られたカメラポーズでの詳細図のフォトリアリスティックワーピング（photo-realistic warping）を行う。

ポーズ推定器３０は、望ましくは、ＲＡＮＳＡＣ（RANdom Sample Consensus）のようなロバストな技術を実装し、すなわち、曲がった詳細図とパノラマ図との間の目立った点の射影誤差を調べることによりポーズ推定を達成する。最適化するポーズモデルは、１０のパラメータ：焦点距離（１：ｆ）、光学中心のずれ（２：ｃ_x及びｃ_y）、回転（４：下記参照）及び平行移動（３：ｔ_x、ｔ_y及びｔ_z）からなる。パノラマ画像は歪み誤差がないと考えられ、すなわち、スキュー係数はゼロに等しい。さらに、垂直及び水平の焦点距離は等しく、かつ、レンズ歪みは僅かであると考えられる。これは、大きなズーム設定のために焦点距離が長い、関心ある状況では妥当である。

得られたポーズモデルは、下記の較正行列Ｋで記述される。

ここで、Ｒは回転行列であり、Ｔは平行移動ベクトルである。回転行列Ｒは、Ｒｏｄｒｉｇｕｅｓ回転公式を用いて４つのパラメータによりパラメータ化される。Ｒｏｄｒｉｇｕｅｓ回転公式は、所与のユニットベクトル（ｕ_x、ｕ_y、ｕ_z）に関してｕ_x ²＋ｕ_y ²＋ｕ_z ²＝１であり、ベクトル方向の軸に対して角度θで回転する行列Ｒは、

となる。ポーズ変換Ｐを伴う３ＤポイントＸのピクセル位置ｘは、下記２つの操作によって得られる。

図合成器３１は、補助的図がこのタイプ、又はさらに従来のステレオキャプチャ設定における画像ベースレンダリングのとき、望ましくは、ライトフィールドレンダリングを行う。図合成器３１の出力は、視差補正された詳細図であり、直ちにパノラマ図において容易に融合することができる。

この目的のために、画像融合ステージ２３は、パノラマ図における関心対象の輪郭内部のコンテンツを、視差補正ステージ２２により生成された高詳細な曲がった図によって置き換える。その後、例えば法線方向における±２ピクセルなどの輪郭の境界周辺の小領域は、高精細の曲がった図とパノラマ図のぼやけた背景との間の切れ目を滑らかに補間するために用いられる。より有利なシナリオ、すなわち、パノラマ図及び詳細図の両者に類似の視点を有する場合では、この工程を関心対象及びその周囲の背景の両者に行うことができる。このような場合、輪郭は詳細図の画像領域に対応し、滑らかな補間は矩形の輪郭に対して行われる。このような例を図６に示す。これは図４に示す装置を用いて得られたものである。

Claims (12)

1. 対象の補助的画像を、前記対象を有する主画像に融合する方法であって、
   前記補助的画像に利用可能な情報を用いることによって、前記補助的画像に含まれる対象の３Ｄ構造を読み出すことと、
   前記補助的画像に含まれる対象の３Ｄ構造の射影が前記主画像における遠近図に類似するカメラポーズを決定し、前記決定されたカメラポーズに基づき、前記補助的画像の視差補正されたバージョンを合成することによって、前記３Ｄ構造を用いて前記補助的画像の視差補正されたバージョンを生成することと、
   前記補助的画像の視差補正されたバージョンを前記主画像と融合することと、
   を有した、前記方法。
2. 前記補助的画像の３Ｄ構造は、前記補助的画像から得られる深度情報又はライトフィールド描写から読み出される、請求項１に記載の方法。
3. 前記補助的画像の視差補正されたバージョンは、前記補助的画像のフォトリアリスティックワーピングを行うことにより合成される、請求項１又は２に記載の方法。
4. 前記主画像と前記融合された前記補助的画像の視差補正されたバージョンとの境界領域を補間するステップをさらに有する、請求項１乃至３のいずれかに記載の方法。
5. 前記主画像は、パノラマ画像であり、前記補助的画像は、前記パノラマ画像における対象のより詳細な画像である、請求項１乃至４のいずれかに記載の方法。
6. 前記主画像及び前記補助的画像は、画像群の２つの画像である、請求項１乃至４のいずれかに記載の方法。
7. 対象の補助的画像を、前記対象を有する主画像に融合する装置であって、
   前記補助的画像に含まれる対象の３Ｄ構造を読み出す、３Ｄ読み出し部と、
   前記補助的画像に含まれる対象の３Ｄ構造の射影が前記主画像における遠近図に類似するカメラポーズを決定し、前記決定されたカメラポーズに基づき、前記補助的画像の視差補正されたバージョンを合成することによって、前記３Ｄ構造を用いて前記補助的画像の視差補正されたバージョンを生成する、視差補正部と、
   前記補助的画像の視差補正されたバージョンを前記主画像と融合する、画像融合部と、
   を備えた、前記装置。
8. 前記補助的画像の３Ｄ構造は、前記補助的画像から得られる深度情報又はライトフィールド描写から読み出される、請求項７に記載の装置。
9. 前記補助的画像の視差補正されたバージョンは、前記補助的画像のフォトリアリスティックワーピングを行うことにより合成される、請求項７又は８に記載の装置。
10. 前記主画像と前記融合された前記補助的画像の視差補正されたバージョンとの境界領域を補間する部をさらに備える、請求項７乃至９のいずれかに記載の装置。
11. 前記主画像は、パノラマ画像であり、前記補助的画像は、前記パノラマ画像における対象のより詳細な画像である、請求項７乃至１０のいずれかに記載の装置。
12. 前記主画像及び前記補助的画像は、画像群の２つの画像である、請求項７乃至１０のいずれかに記載の装置。