JP6157606B2 - 画像融合方法及び装置 - Google Patents

画像融合方法及び装置 Download PDF

Info

Publication number
JP6157606B2
JP6157606B2 JP2015516547A JP2015516547A JP6157606B2 JP 6157606 B2 JP6157606 B2 JP 6157606B2 JP 2015516547 A JP2015516547 A JP 2015516547A JP 2015516547 A JP2015516547 A JP 2015516547A JP 6157606 B2 JP6157606 B2 JP 6157606B2
Authority
JP
Japan
Prior art keywords
image
auxiliary image
auxiliary
parallax
corrected version
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015516547A
Other languages
English (en)
Other versions
JP2015525407A (ja
Inventor
サルバドール マルコス ジョルディ
サルバドール マルコス ジョルディ
コカール アクセル
コカール アクセル
ボーサム マルテ
ボーサム マルテ
Original Assignee
トムソン ライセンシングThomson Licensing
トムソン ライセンシングThomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP12305681.4 priority Critical
Priority to EP12305681.4A priority patent/EP2675173A1/en
Application filed by トムソン ライセンシングThomson Licensing, トムソン ライセンシングThomson Licensing filed Critical トムソン ライセンシングThomson Licensing
Priority to PCT/EP2013/061152 priority patent/WO2013186056A1/en
Publication of JP2015525407A publication Critical patent/JP2015525407A/ja
Application granted granted Critical
Publication of JP6157606B2 publication Critical patent/JP6157606B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23238Control of image capture or reproduction to achieve a very large field of view, e.g. panorama
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Description

本出願は、画像を融合するための方法及び装置に関する。より具体的には、本出願は、大きなパノラマ画像における関心対象の表示品位及び詳細レベルを、別個の図において利用可能なこれら対象に関するより豊富な情報を利用することにより、均一に改善するための方法及び装置に関する。

パノラマ画像を探るとき、ある関心対象を含む特定の領域をもっとよく見たくなることがある。このような場合、それら対象がカメラから遠いとき、パノラマ画像の解像度は不十分である場合が多い。この課題の直接的対処法は、パノラマキャプチャ設定の解像度を高め、かつ、露出時間を減らすことである。しかし、この対処法は、膨大な伝送帯域又は記憶容量を必要とし、実用上使えない。さらに、現在のイメージセンサの性能には技術的限界がある。

代わりに、別個のカメラが、より高い詳細レベルで関心対象をキャプチャし、それを記録するとき、この補完する画像をパノラマ画像と融合して、パノラマ画像内の関心対象の拡張版を提供することができる。関連技術は、マルチ−イメージフュージョン(multi-image fusion)、又はスティッチング(stitching)として分類される。例えば、特許文献1には、低解像度と高解像度のビデオストリームを、人間の観察者に対して単一の継ぎ目のない表示に正確に組み合わせる工程が記載されている。パノラマ視覚センサがパノラマを記録し、その一方で、追加のセンサが詳細画像を記録する。両センサは固定のシステムとして配置される。低解像度と高解像度のビデオの境界の目障りな部分を低減するため、その2つは、それら2つの間の環状領域において滑らかに混ぜ合わされる。異なる解像度の画像の融合は、センサから中距離の場合にだけ良く機能する。他の深度では、位置ずれが生じる。

加国特許出願2386347号明細書 米国特許出願2003/0235344号明細書

N. Snavely et al., "Modeling the World from Internet Photo Collections," Int. J. Comput. Vis. Vol. 80 (2008), pp. 189-210

一般的に、任意の遠近図からの情報を融合する試みは、ほとんどの場合、付加された高品位視覚データの不正確な挿入が生じる。この課題について図1、2に示す。この例では、詳細図2は、ホチキスの位置を一致させるために(パノラマ)画像1に挿入されている。このように、挿入された矩形の上部及び下部での遠近不整合は、非常に不自然な結果を引き起こす。

この課題に対処するために、特許文献2には、2以上の画像をスティッチングする方法が開示されている。重なる画像におけるピクセルの相対深度は、プレーンスイープ(plane sweep)アルゴリズムを用いて計算される。この深度は、画像補正に使用される。処理された画像は、その後縫合される。この対処法は、全ての画像、すなわち詳細画像及びパノラマキャプチャ図が、実際に調整可能なように少なくとも適切に整列された、限られた場合にのみ機能する。画像を融合するために、異なる像差(disparity)レベル、すなわち深度レベルで、ピクセルのストライプ(stripes)は、混ぜられるだけであり、画像の歪みを生じさせることがある。さらに、逆ワーピング(inverse warping)ステージが要求され、更なる画像の歪みの原因となることがある。

従って、本発明の目的は、継ぎ目なく画像を融合させる改善された対処法を提案することである。

本発明によれば、補助的画像を主画像に融合する方法であって、
−補助的画像に含まれる対象の3D構造を読み出すステップと、
−補助的画像に含まれる対象の3D構造の射影が主画像における遠近図に最も類似するカメラポーズを決定し、前記決定されたカメラポーズに基づき、補助的画像の視差補正されたバージョンを合成することによって、3D構造を用いて補助的画像の視差補正されたバージョンを生成するステップと、
−補助的画像の視差補正されたバージョンを主画像と融合するステップと、
を有した方法である。

本発明の対象とするシナリオは、多数の解像度変更可能な高解像度カメラに伴う静止パノラマ画像キャプチャ設定である。これら解像度変更可能な高解像度カメラは、ステレオ又は、最も望ましいのは、プレノプティック又はライトフィールドカメラである。このようなカメラは、カメラの物理的実装によって制限される、ある幅内での最小のエラー導入で任意に遠近視差を変更することが可能である。妥当な近距離にそれらのカメラを設置することにより、関心対象の高詳細キャプチャにおけるシーン視差は補償されてパノラマキャプチャのものと類似することができる。3D構造の明確な利用により、関心対象の詳細図をパノラマ画像と継ぎ目なく融合することを可能にしている。もちろん、パノラマ画像は必ずしも静止画像でない。動く対象も同様に含むことができる。この例としては、競技場であり、そこでは競技者が基本的に静止した背景に対して動いている。

上記シナリオの応用は以下のように機能する。ユーザは、関心の1又は複数の対象を含むパノラマ内の領域を表示させるために対話的に選択する。これら対象は、自動的に又は対話的に背景から区分される。そのとき、関心対象の高詳細キャプチャを含む、第2の画像は、パノラマ遠近図に一致させるために視差補正される。最後に、パノラマにおける関心対象は、変換された(回転、平行移動、拡大縮小された)高詳細バージョンに置き換えられ、境界は、パノラマの背景において継ぎ目なく統合するために具合良く混合される。

主流のステレオ及びライトフィールドカメラの普及の広がりと、3Dコンテンツの今後の幅広い利用可能性は、本発明の更なる対象シナリオを可能とする。同様に、画像の関心コンテンツを、対象を含む異なる画像から、それら画像間の視差の差異にかかわらず、より良い視覚品質を持った類似のコンテンツを用いて改善することができる。

さらなる理解のために、本発明について、図を参照しながら以下でより詳細に説明する。本発明はこの例示した実施態様に限定されず、特定の特徴を、本発明の範囲を逸脱すること無く、都合良く組み合わせる、及び/又は、変更することもできる。

パノラマ画像から選択されたオリジナルの不鮮明な領域を示す図である。 詳細図から豊富なデータの挿入後の図1の領域を示す図である。 画像を融合する本発明に従う方法を示す図である。 図3の方法を実施する装置を概略的に示す図である。 図4の装置の視差補正ステージをより詳細に示す図である。 図4の装置を用いて得られた継ぎ目なく融合された画像を示す図である。

図1に、パノラマ画像から選択されたオリジナルの不鮮明な領域1を示す。図2において、より詳細な画像2が領域1に挿入されている。このように、遠近不整合は、非常に不自然な結果を引き起こす。

図3に、上記の不自然な結果を回避する、もしくは少なくとも低減する、画像を融合する本発明の方法を示す。第1のステップで、詳細図に利用可能な情報を用いて詳細図の3D構造が読み出される(10)。例えば、3D構造は、1対のステレオカメラから得られた深度チャネル、プレノプティック又はライトフィールドカメラから得られたライトフィールド描写等を用いて読み出される。その後、大きなパノラマ図において観察者によって対話的に選択された領域が与えられ、かつ、詳細図から3D構造が抽出され、パノラマの視点から見られる遠近図と一致する、詳細図の視差補正バージョンが生成される(11)。これにより、視差補正された図からのデータを、詳細図からの豊富なデータをパノラマに継ぎ目なく統合するために用いることができる。

図4に、上記方法を実装した装置20の概略を示す。3D構造を読み出すステージ21において、そのシーンの3D構造を詳細な補助的図から読み出す。これは、ステレオ設定のために、既存のステレオ再構成技術のいずれかを用いてなされる。ライトフィールドカメラでキャプチャされたデータの場合、非特許文献1に書かれた、設定の詳細な較正の必要なくライトフィールドキャプチャにおける多数の利用可能な図を自動的に処理するために、動きからの構造(Structure from Motion)のような、より洗練された手法を望ましくは用いる。いずれにせよ、このステージの出力は、補助的設定、例えば各ピクセルの深度値によってキャプチャされたシーンの3D描写を含む。

視差補正ステージ22は、視差補正された詳細図を生成することにより提供される。視差補正ステージ22は、図5に示すように、2つのサブステージを備える。第1サブステージ、ポーズ推定器30では、カメラポーズ、例えば詳細図の3D構造の射影がパノラマ図における遠近図に最も類似する、カメラの位置及び向きを検出する。図合成器31は、その後、第1サブステージ30で得られたカメラポーズでの詳細図のフォトリアリスティックワーピング(photo-realistic warping)を行う。

ポーズ推定器30は、望ましくは、RANSAC(RANdom Sample Consensus)のようなロバストな技術を実装し、すなわち、曲がった詳細図とパノラマ図との間の目立った点の射影誤差を調べることによりポーズ推定を達成する。最適化するポーズモデルは、10のパラメータ:焦点距離(1:f)、光学中心のずれ(2:cx及びcy)、回転(4:下記参照)及び平行移動(3:tx、ty及びtz)からなる。パノラマ画像は歪み誤差がないと考えられ、すなわち、スキュー係数はゼロに等しい。さらに、垂直及び水平の焦点距離は等しく、かつ、レンズ歪みは僅かであると考えられる。これは、大きなズーム設定のために焦点距離が長い、関心ある状況では妥当である。

得られたポーズモデルは、下記の較正行列Kで記述される。

ここで、Rは回転行列であり、Tは平行移動ベクトルである。回転行列Rは、Rodrigues回転公式を用いて4つのパラメータによりパラメータ化される。Rodrigues回転公式は、所与のユニットベクトル(ux、uy、uz)に関してux 2+uy 2+uz 2=1であり、ベクトル方向の軸に対して角度θで回転する行列Rは、

となる。ポーズ変換Pを伴う3DポイントXのピクセル位置xは、下記2つの操作によって得られる。

図合成器31は、補助的図がこのタイプ、又はさらに従来のステレオキャプチャ設定における画像ベースレンダリングのとき、望ましくは、ライトフィールドレンダリングを行う。図合成器31の出力は、視差補正された詳細図であり、直ちにパノラマ図において容易に融合することができる。

この目的のために、画像融合ステージ23は、パノラマ図における関心対象の輪郭内部のコンテンツを、視差補正ステージ22により生成された高詳細な曲がった図によって置き換える。その後、例えば法線方向における±2ピクセルなどの輪郭の境界周辺の小領域は、高精細の曲がった図とパノラマ図のぼやけた背景との間の切れ目を滑らかに補間するために用いられる。より有利なシナリオ、すなわち、パノラマ図及び詳細図の両者に類似の視点を有する場合では、この工程を関心対象及びその周囲の背景の両者に行うことができる。このような場合、輪郭は詳細図の画像領域に対応し、滑らかな補間は矩形の輪郭に対して行われる。このような例を図6に示す。これは図4に示す装置を用いて得られたものである。

Claims (12)

  1. 対象の補助的画像を、前記対象を有する主画像に融合する方法であって、
    前記補助的画像に利用可能な情報を用いることによって、前記補助的画像に含まれる対象の3D構造を読み出すことと、
    前記補助的画像に含まれる対象の3D構造の射影が前記主画像における遠近図に類似するカメラポーズを決定し、前記決定されたカメラポーズに基づき、前記補助的画像の視差補正されたバージョンを合成することによって、前記3D構造を用いて前記補助的画像の視差補正されたバージョンを生成することと、
    前記補助的画像の視差補正されたバージョンを前記主画像と融合することと、
    を有した、前記方法。
  2. 前記補助的画像の3D構造は、前記補助的画像から得られる深度情報又はライトフィールド描写から読み出される、請求項1に記載の方法。
  3. 前記補助的画像の視差補正されたバージョンは、前記補助的画像のフォトリアリスティックワーピングを行うことにより合成される、請求項1又は2に記載の方法。
  4. 前記主画像と前記融合された前記補助的画像の視差補正されたバージョンとの境界領域を補間するステップをさらに有する、請求項1乃至3のいずれかに記載の方法。
  5. 前記主画像は、パノラマ画像であり、前記補助的画像は、前記パノラマ画像における対象のより詳細な画像である、請求項1乃至4のいずれかに記載の方法。
  6. 前記主画像及び前記補助的画像は、画像群の2つの画像である、請求項1乃至4のいずれかに記載の方法。
  7. 対象の補助的画像を、前記対象を有する主画像に融合する装置であって、
    前記補助的画像に含まれる対象の3D構造を読み出す、3D読み出し部と、
    前記補助的画像に含まれる対象の3D構造の射影が前記主画像における遠近図に類似するカメラポーズを決定し、前記決定されたカメラポーズに基づき、前記補助的画像の視差補正されたバージョンを合成することによって、前記3D構造を用いて前記補助的画像の視差補正されたバージョンを生成する、視差補正部と、
    前記補助的画像の視差補正されたバージョンを前記主画像と融合する、画像融合部と、
    を備えた、前記装置。
  8. 前記補助的画像の3D構造は、前記補助的画像から得られる深度情報又はライトフィールド描写から読み出される、請求項7に記載の装置。
  9. 前記補助的画像の視差補正されたバージョンは、前記補助的画像のフォトリアリスティックワーピングを行うことにより合成される、請求項7又は8に記載の装置。
  10. 前記主画像と前記融合された前記補助的画像の視差補正されたバージョンとの境界領域を補間する部をさらに備える、請求項7乃至9のいずれかに記載の装置。
  11. 前記主画像は、パノラマ画像であり、前記補助的画像は、前記パノラマ画像における対象のより詳細な画像である、請求項7乃至10のいずれかに記載の装置。
  12. 前記主画像及び前記補助的画像は、画像群の2つの画像である、請求項7乃至10のいずれかに記載の装置。
JP2015516547A 2012-06-15 2013-05-30 画像融合方法及び装置 Active JP6157606B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12305681.4 2012-06-15
EP12305681.4A EP2675173A1 (en) 2012-06-15 2012-06-15 Method and apparatus for fusion of images
PCT/EP2013/061152 WO2013186056A1 (en) 2012-06-15 2013-05-30 Method and apparatus for fusion of images

Publications (2)

Publication Number Publication Date
JP2015525407A JP2015525407A (ja) 2015-09-03
JP6157606B2 true JP6157606B2 (ja) 2017-07-05

Family

ID=48539166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015516547A Active JP6157606B2 (ja) 2012-06-15 2013-05-30 画像融合方法及び装置

Country Status (6)

Country Link
US (1) US9576403B2 (ja)
EP (2) EP2675173A1 (ja)
JP (1) JP6157606B2 (ja)
KR (1) KR102013978B1 (ja)
CN (1) CN104365092B (ja)
WO (1) WO2013186056A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9811153B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20160018651A1 (en) * 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
CN108833893A (zh) * 2018-05-31 2018-11-16 北京邮电大学 一种基于光场显示的3d图像校正方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4108171B2 (ja) * 1998-03-03 2008-06-25 三菱電機株式会社 画像合成装置
US6738073B2 (en) * 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
JP3889178B2 (ja) 1999-03-25 2007-03-07 富士通株式会社 解像度変換画像圧縮復号装置
US6639596B1 (en) 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
CA2386347C (en) * 2001-05-14 2013-07-16 James H. Elder Attentive panoramic visual sensor
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US7750936B2 (en) 2004-08-06 2010-07-06 Sony Corporation Immersive surveillance system interface
EP1797523A4 (en) * 2004-08-23 2009-07-22 Sarnoff Corp Method and apparatus for producing a fused image
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
WO2008063170A1 (en) * 2006-11-20 2008-05-29 Thomson Licensing System and method for compositing 3d images
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
CN101577795A (zh) 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置
WO2011033668A1 (ja) * 2009-09-18 2011-03-24 株式会社 東芝 視差画像生成装置
US20120139906A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
KR101049928B1 (ko) 2011-02-21 2011-07-15 (주)올라웍스 파노라마 이미지를 생성하기 위한 방법, 사용자 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9300946B2 (en) * 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array

Also Published As

Publication number Publication date
KR20150023370A (ko) 2015-03-05
JP2015525407A (ja) 2015-09-03
US20150147000A1 (en) 2015-05-28
KR102013978B1 (ko) 2019-08-23
CN104365092A (zh) 2015-02-18
WO2013186056A1 (en) 2013-12-19
CN104365092B (zh) 2017-05-17
EP2675173A1 (en) 2013-12-18
US9576403B2 (en) 2017-02-21
EP2862356A1 (en) 2015-04-22

Similar Documents

Publication Publication Date Title
Zhang et al. 3D-TV content creation: automatic 2D-to-3D video conversion
Ndjiki-Nya et al. Depth image-based rendering with advanced texture synthesis for 3-D video
JP6140709B2 (ja) 明視野画像ファイルを符号化および復号するためのシステムおよび方法
US8385684B2 (en) System and method for minimal iteration workflow for image sequence depth enhancement
US9380292B2 (en) Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US7006709B2 (en) System and method deghosting mosaics using multiperspective plane sweep
Capel Image mosaicing
ES2402229T3 (es) Método y dispositivo de fusión de imágenes
US7839422B2 (en) Gradient-domain compositing
US7583288B2 (en) Panoramic video
CN101379513B (zh) 一种用于自动生成镶嵌图像的方法
Huang et al. Panoramic stereo imaging system with automatic disparity warping and seaming
US9445072B2 (en) Synthesizing views based on image domain warping
US20110025825A1 (en) Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
KR101643607B1 (ko) 영상 데이터 생성 방법 및 장치
CN105308947B (zh) 双孔径变焦数字摄影机
EP2017783B1 (en) Method for constructing a composite image
Smolic et al. Three-dimensional video postproduction and processing
US20040151401A1 (en) Techniques and systems for developing high-resolution imagery
CN103168315B (zh) 手持式设备上的立体(3d)全景图创建
JP4942221B2 (ja) 高解像度仮想焦点面画像生成方法
US7424218B2 (en) Real-time preview for panoramic images
US20130016097A1 (en) Virtual Camera System
US8294748B2 (en) Panorama imaging using a blending map
US9185288B2 (en) Apparatus and method for generating and consuming three-dimensional (3D) data format to generate realistic panoramic image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160530

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161125

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170606

R150 Certificate of patent or registration of utility model

Ref document number: 6157606

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150