JP4828506B2 - 仮想視点画像生成装置、プログラムおよび記録媒体 - Google Patents
仮想視点画像生成装置、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP4828506B2 JP4828506B2 JP2007287583A JP2007287583A JP4828506B2 JP 4828506 B2 JP4828506 B2 JP 4828506B2 JP 2007287583 A JP2007287583 A JP 2007287583A JP 2007287583 A JP2007287583 A JP 2007287583A JP 4828506 B2 JP4828506 B2 JP 4828506B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- existence probability
- camera
- image
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004364 calculation method Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 28
- 230000010354 integration Effects 0.000 claims description 15
- 238000002156 mixing Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 64
- 230000008569 process Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000007796 conventional method Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 10
- 230000001965 increasing effect Effects 0.000 description 10
- 239000003086 colorant Substances 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Description
これらの技術の多くでは、多視点画像を入力として、まず被写体の3次元幾何的モデルを推定し、次にモデルの表面の色(モノクロ画像の場合は輝度)を推定し、最後に3次元モデルに対し透視射影や正射影などの2次元変換を行って2次元の目的画像を出力するという大きく3つのプロセスを経る。
このうち、最後の3次元モデルから2次元画像への変換処理は、多くの方式において共通のアルゴリズムを用いられているため、幾何的なモデルの推定および色の推定のアルゴリズムが、生成される画質に影響すると言える。
特に、撮影された多視点画像において、ある視点位置から撮影された画像において見えている被写体の部分が、ある他の視点位置からは隠れて撮影されていない場合、すなわち元となる多視点画像がオクルージョン(遮蔽)を含む場合、幾何的なモデルの推定と色の推定が共に難しいことが知られている。
Okutomi,M.and Kanade,T.:"A multiple-baseline stereo,"Pattern Analysis and Machine Intelligence,IEEE Transactions on,Vol.15,no.4pp.353-363,Apr 1993. Michael Potmesil,"Generating octree models of 3D objects from their Silhouettes in a sequence of images,"Computer Vision,Graphics,and Image Processing,v.40n.1,p.1-29,Oct.1987. Richard Szeliski:"A Multi-View Approach to Motion and Stereo,"In CVPR’99.Vol.1,PP.157-163,Fort Collins,June 1999. C.L.Zitnick,S.B.Kang,M.Uyttendaele,S.Winder,and R.Szeliski.:"High-quality video view interpolation using a layered representation."In Proceedings of SIGGRAPH 2004,pp.600-608,2004. P.E.Debevec,C.J.Taylor,and J.Malik:"Modeling and Rendering Architecture from Photographs:A Hybrid Geometry-and Image-Based Approach,"SIGGRAPH’96,pp.11-20,1996. Gregory G.Slabaugh,Ronald W.Schafer,and Mat C.Hans:"Image-Based Photo Hulls for Fast and Photo-Realistic New View Synthesis,"Real-Time Imaging,Vol.9,No.5,October 2003.
まず、幾何モデルを推定する方法の代表的なものとして、ステレオ法がある。ステレオ法においては、多視点画像で撮影されている被写体上の同一の点(対応点)を特定し(対応点マッチング)、三角測量の原理でその距離を求める。
多くの対応点マッチングにおいては、想定する奥行きにおける各画像の対応点および周辺領域の色(または輝度)の差により評価関数を設定し、この評価関数を最小となる奥行きを推定値とする。
しかし、ステレオ法を利用した多くの手法においては、すべてのカメラにより対応点が見えていることを仮定している。
よって、対応点がいくつかの画像において隠れている領域(以下、オクルージョン領域)においては、幾何モデルの推定の信頼性(存在確率)は著しく低下する。
カメラの数を多くすることで、オクルージョンが生じているカメラの画像の影響を相対的に小さくするマルチベースライン法(前記非特許文献1参照)も考案されているが、オクルージョン領域付近では効果が十分とは言えず、推定の信頼性が低下する傾向がある。
しかし、この方法は原理的に被写体が凸形状であることを仮定しているため、凹形状の被写体に対しては正しくモデルを取得することができない。また、そもそも背景画像と被写体の輪郭を正確に抽出する最初の過程自体が難しく、未だコンピュータ・ビジョン分野における主要な研究課題となっている。
よって、映画の特撮などでよく使われるブルーバックと呼ばれる単色の背景を用いる必要があるなど、撮影条件は限定されることが多い。
そのため、すべてのカメラからの画像を同等に用いて奥行きを推定するのではなく、位置の近いカメラだけで奥行きを推定した方がオクルージョンの影響を受けにくく、推定の信頼性が向上する場合がある。
このことを利用し、まず位置が近いカメラを用いて部分的な評価関数を設定し、そして部分的な評価関数の合成関数として全体的な評価関数を設定し、その全体的な評価関数を最小とするような奥行きを推定する方法が提案されている(前記非特許文献3参照)。
しかし、合成された評価関数を最小とする最適解を求めるには、繰り返し演算により非常に時間のかかる処理を必要とするため、実時間処理には向かない。
しかし、一旦、各視点にて奥行きマップを求めたあと、それらを統合する処理においては、複数の奥行きマップのブレンディングにおいて、推定の信頼性を考慮に入れていない。よって、推定の信頼性の低い奥行きマップの推定値が統合後の奥行きマップに反映される恐れがある。
次に、色の推定としては、視点依存テクスチャマッピング(前記非持許文献5参照)という方法がよく用いられる。
視点依存テクスチャマッピングでは、被写体の着目する点の色を決定する際、複数のカメラの対応点における色を重み付きブレンディングすることで決定し、その重み係数は、着目点から目的視点までの直線およびカメラの視点までの直線のなす角により決定され、その角度が小さいほど重みが大きく設定される。すると、被写体の着目点から目的視点に飛来する光線と角度が近い光線ほど、大きな比重で色がブレンディングされる。
しかし、オクルージョンが生じている場合、光線の角度が近いからといって、目的視点とカメラ視点において、被写体表面上の同一の点を撮影しているとは限らない。すなわち、色の正確な推定のためには、隠れていない色のみを用いて色のブレンディングを行う必要がある。
しかし、可視性判断のためには幾何モデルが必要である一方で、そもそも幾何モデルの推定には、カメラの対応点間における色の一致度を用いるため、隠れが生じているカメラを除外するための可視性判断が必要となる。すなわち、可視性判断のためには正確な幾何モデルが必要であり、幾何モデルの推定のためには可視性判断が必要となり、両者は相互に依存している。
そのため、幾何モデルの推定を収束するまで繰り返すという処理が行われることが多いが、そうすると計算機負荷が高くなり、結果として処理速度が遅くなるという欠点がある。
また、可視性判断として、見えているか・見えていないかの2者択一であるため、収束に時間がかかり、また、誤りが生じたときに画像に与える影響が大きいと言える。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、複数の視点位置で撮影された被写体の画像を元にして所望の視点から見た画像を生成する仮想視点画像生成装置において、被写体にオクルージョン(遮蔽)がある場合でも、極端な画像の劣化を防止し、かつ、短時間で画像を生成することが可能となる技術を提供することにある。
また、本発明の他の目的は、前述の仮想視点画像生成装置の各手段をコンピュータに実行させるためのプログラムを提供することにある。
また、本発明の他の目的は、前述のプログラムが記録された記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
(1)複数の異なる視点から被写体を撮影した被写体の複数の画像に基づき、任意の仮想位置の基準視点から見た前記被写体の画像を生成する仮想視点画像生成装置であって、任意の仮想位置の基準視点と、仮想的な3次元空間中に前記基準視点から見て奥行き位置の異なる多層構造の投影面を設定する基準視点決定手段と、前記複数の異なる視点から被写体を撮影した前記被写体の複数の画像を取得する画像取得手段と、前記被写体の複数の画像の中から選んだいくつかの画像の組み合わせである複数組のカメラセットを用意し、それぞれのカメラセットに属する各被写体の画像における、前記複数の投影面上の前記基準視点から見て重なり合う複数の投影点と対応する対応点の相関度を求め、前記カメラセットの代表となる1つの視点位置である代表視点を通る直線上の値の合計が一定値となる正規化処理を施した部分存在確率を算出する部分相関・存在確率計算手段と、前記部分相関・存在確率計算手段で算出した前記カメラセット毎の部分存在確率を統合処理して前記各投影点の存在確率を算出する部分存在確率統合手段と、前記部分相関・存在確率計算手段で算出した前記カメラセット毎の部分存在確率に基づき、前記カメラセット毎の寄与率を計算する寄与率計算手段と、前記それぞれのカメラセットに属する各被写体の画像の対応点の色情報または輝度情報から、前記各投影点におけるカメラセットごとの投影点の色情報または輝度情報を決定するとともに、前記各投影点におけるカメラセットごとの色情報または輝度情報を、前記寄与率計算手段で算出したカメラセットごとの寄与率の高さに応じた割合で混合して、前記各投影点の色情報または輝度情報を決定する色情報・輝度情報決定手段と、前記部分存在確率統合手段で決定された前記各投影点の存在確率と、前記色情報・輝度情報決定手段で決定された前記各投影点の色情報または輝度情報とに基づき、前記基準視点から見た前記被写体の画像を生成するレンダリング手段とを有する。
(3)(1)または(2)において、前記部分存在確率統合手段は、各投影点において異なるカメラセットから算出された複数の部分存在確率に、バイアス値を加算し、加算後の部分存在確率に投影面ごとに定めた係数を乗算して統合した存在確率を算出し、前記各投影点において統合した存在確率を正規化処理する。
(4)(3)において、前記バイアス値あるいは投影面ごとの係数は、着目する投影点と前記基準視点とを結ぶ線分上の他の投影点の存在確率に依存し、それらが大きいほど抑制される。
(6)前述の(5)に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明によれば、複数の視点位置で撮影された被写体の画像を元にして所望の視点から見た画像を生成する仮想視点画像生成装置において、被写体にオクルージョン(遮蔽)がある場合でも、極端な画像を防止し、かつ、短時間で画像を生成することが可能となる。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
本発明の画像生成方法は、撮影視点が異なる複数枚の画像から、前記画像に写っている物体の3次元情報を取得し、前記物体の3次元像を提示する画像、あるいは任意の視点から前記物体を見たときの画像を生成する方法である。
このとき、前記物体の3次元情報は、テクスチャマッピングの手法を用い、多層構造の投影面を設定して、前記観察者の視点(基準視点)から見たときの物体の表面上の各点が存在する確率を推定する。
前記物体の表面が存在する確率を推定するときには、例えば、前記観察者の視点(基準視点)から見て重なり合う各投影面上の点(以下、投影点という)に対して、前記投影点と対応する各画像上の点(以下、対応点という)の相関度を求める。
そして、前記観察者の視点(基準視点)から見て重なり合う各投影点の相関度の高さから、前記重なり合う投影点のうち、どの投影点の近傍に前記物体の表面が存在するか推定する。
このとき、本発明の画像生成方法では、複数の視点で撮影した画像の中から選んだいくつかの画像の組み合わせ(カメラセット)ごとに前記投影点の相開度を求め、それをもとに各投影点、もしくはその近傍に物体の表面が存在する確率(部分存在確率)をカメラセット毎に決定する。そして、前記カメラセット毎に決定した部分存在確率の統合処理をして、観察者の視点(基準視点)における前記各投影点の存在確率を決定する。
この際、着目する投影点と観察者の視点(基準視点)を結ぶ線分上にある他の投影点の存在確率に依存した統合処理を施し、観察者の視点(基準視点)から見て着目する投影点の手前で高い存在確率を持つ場合には、着目する投影点における存在確率が高くなることを抑止する。
さらに、前記被写体の3次元情報に基づいて画像を生成するときに、前記投影点の色情報を前記生成する画像上の各点の色情報に割り当てるときに、前記統合された存在確率の高さに応じた寄与率で割り当てる。
ここで、投影点の色情報は、部分存在確率の高さに応じた寄与率でカメラセットに含まれるカメラの対応点を混色することや、さらに前記のカメラセット毎の寄与率に対し、着目する投影点とカメラセットの代表視点とを結ぶ線分上にある他の投影点の存在確率に応じた係数を更に乗じ、新たなカメラセットごとの寄与率とすることで、投影点を撮影していないカメラの対応点の色の寄与を少なくすることができ、色の再現性が向上する。
図1乃至図9は、本発明の画像表示方法の原理を説明するための模式図であり、図1は画像生成の座標設定の一例を示す図、図2は被写体表面の色情報および存在確率情報を求める多層の投影面の一例を示す図、図3は複数のカメラ間の対応点を説明した図、図4はカメラで撮影された画像を投影面上に透視投影した一例を示す図、図5は観察者の視点(基準視点)とカメラのなす角度によりカメラ毎の色の寄与率(重み)を決定する一例を示す図、図6は従来法による画像生成の処理フローの一例を示した図、図7はオクルージョンが発生している状況の一例を示す図、図8は着目する投影点よりも手前の投影点の存在確率の累計を説明した図、図9は本発明の実施例の画像生成の処理フローの一例を示した図である。
また、回転行列Riは3×3の行列であり、その成分を下記(3)式とおくと、ベクトルri(1)、ri(2)、ri(3)は互いに直行する単位ベクトルとなる。
そこで、以下では、ある特定の投影面に着目した際の投影点を観察者の視点(基準視点)の画像座標mにより表すことにする。また一方で、異なる投影面に存在するいくつかの投影点が観察者の視点(基準視点)を通る同一直線上にある場合、観察者の視点(基準視点)の画像座標では同一の座標で表される。
すなわち、図2に示すとおり、前述の(5)式により、mに写像される投影点の集合
{Mj|j∈J}は観察者の視点(基準視点)Vを通る同一直線上にある。
ここで、投影面上Ljの座標mにおける色をTv j(m)、被写体表面の存在確率をqV j(m)とおく。添え字Vは、観察者の視点(基準視点)Vの画像座標系で表していることを示す。
すると、{TV j(m)|j∈J}と{qV j(m)|j∈J}はそれぞれ観察者の視点(基準視点)Vを通る直線上の色の集合および存在確率の集合となる。
そして、本発明において、観察者の視点(基準視点)Vにおける画像を生成する基本となる処理は、下記(6)式に示す演算により表される。
このように、観察者の視点(基準視点)における画像生成法は、前述の(6)式により表されるが、(6)式中のqv j(m)およびTv j(m)をいかにして推定するかが、生成画像の品質を決定する大きな要因となり、本発明の特徴となる。
そこで以下では、対比としてまた出発点として、従来の推定法の一例について述べる。
<従来法による存在確率と色マップの推定>
まず、存在確率qv j(m)は投影面Lj上の観察者の視点(基準視点)座標mの位置に被写体表面が存在する確率を表す関数であり、次の条件を満たす。
この存在確率の推定法は、複数のカメラ{Ci|i∈I}の複数の対応点における色もしくは輝度の相関により求める。
対応点とは、図3に示すように、同一の投影点が、前述の(5)式により写像されたとき、それぞれのカメラの画像上で対応する点とする。このとき、対応点同士が近い色(もしくは輝度)をもつほど、対応点のもととなる投影点上に被写体の表面が存在する確率が高い。
すなわち、図3において、投影点P上に被写体表面が存在する場合、同一の被写体表面上の点が各カメラで対応点にて結像されている。この場合、異なるカメラの対応点同士が近い色(もしくは輝度)をもつ可能性が高い。
一方、投影点Q上に被写体表面が存在しない場合、各カメラの対応点では、異なる被写体表面上の点Qi,Qi+1が結像されている。
この場合は、異なるカメラの対応点同士が近い色(もしくは輝度)をもつ可能性は低い。
ここで、観察者の視点(基準視点)の画像座標においてmにある投影面Lj上の投影点の対応点の集合は、それぞれのカメラの画像座標において、下記(8)で与えられる。
すると、投影面Ljで関連づけられる対応点の色の集合は、下記(10)式で表される。
{Ii(mij)|i∈N} ・・・・・・・・・・ (10)
ここで、図4に示すように、各カメラの視点を中心として各カメラの画像を投影面Lj上に透視投影し、観察者の視点(基準視点)Vの画像座標系で表したものをIV ij(m)とすると、下記(11)式の関係がある。
{IV ij(m)|i∈N} ・・・・・・・・・(12)
ただし、本発明は対応点の参照としてこのような形態に限定されるものではない。
ここで、{IV ij(m)|i∈N}の各色成分(例えば[R,G,B]値)の分散値を合計したものをσ2(m)とおく。
すると、投影面Ljの位置mにおける対応点の相関の度合いは、例えば、下記(13)式と表すことができる。また別の例としては下記(14)式のように表すことができる。
SV j(m)の値が大きいほど画像間の相関が高い。また、ここでは対応点の一画素ごとに相関値をとったが、対応点付近の領域に含まれる画素の相関値の合計値をとることで、平滑化の効果を持たせることもできる。
このようにして計算した相関の度合いを用いると、前述の(7)式の条件を満たす存在確率は、例えば、下記(15)式のように算出することができる。
次に、観察者の視点(基準視点)Vから見た投影点の色Tv j(m)は、下記(16)式に示すように、各カメラの対応点の色を適切な重みをつけて混合することにより設定することができる。
Iv ij(m)は前述の(11)式により求めることができるため、wv ij(m)を推定することで、Tv j(m)も求めることができる。
wv ij(m)の推定は、従来法においては、図5において、近接する光線ほどその色情報が近いという前提により、PVとPCiのなす角度θijにより、重みwv ij(m)を決定していた。
その一例として、下記(17)式、(18)式で決定することができる。
例えば、図5では、角度θij<θ(i+1)jとなり、重みwv ij(m)>wv (i+1)j(m)となる。
以上、従来法において観察者の視点(基準視点)の画像を生成する方法および、そこで必要となる投影点の存在確率および色(もしくは輝度)情報の求め方について述べた。
上記の処理フローを示した一例を図6に示す。図6中、処理を長方形で、データを角丸長方形で表している。
途中、左右にフローが分かれる箇所があるが、左側のフローで色情報を算出し、右側のフローで存在確率の情報を算出し、最終的に両者を用いて目的となる画像を生成している。
即ち、ステップ10において、カメラパラメータ{Ai,Ri,ti|i∈N}、{AV,RV,tV}に基づき、前述の(17)式、あるいは(18)式に示す計算式により、重みマップ{wV ij(m)|i∈N,j∈J}を計算する。
また、ステップ11において、カメラパラメータ{Ai,Ri,ti|i∈N}、{AV,RV,tV}と、カメラ画像{Ii(m)|i∈N}とに基づき、前述の(11)式に示す計算式により、基準視点Vを中心としたカメラ画像の投影画像{IV ij(m)|i∈N}を生成する。
また、ステップ12において、重みマップ{wV ij(m)|i∈N,j∈J}と、投影画像{IV ij(m)|i∈N}とに基づき、前述の(16)式に示す計算式により、色マップ{TV j(m)|j∈J}を生成する。
また、ステップ13において、投影画像{IV ij(m)|i∈N}に基づき、前述の(13)式、(14)式、(15)式に示す計算式により、存在確率{qV j(m)|j∈J}を生成する。
最後に、ステップ14において、色マップ{TV j(m)|j∈J}と、存在確率{qV j(m)|j∈J}とに基づき、前述の(6)式に示す計算式により、基準視点Vから見た画像{IV(m)}を生成する。
さて、シーンが不連続な奥行きを持つ場合、あるカメラからは撮影できて、あるカメラからは撮影できない箇所があり、このような現象は一般にオクルージョンと呼ばれる。
本発明で開示する手法は、このような場合においても、存在確率および色の推定の精度を高めることにその特徴のひとつがある。
例えば、図7において、いちどにすべてのカメラ集合{Cl,C2,C3,C4}を用いて従来法で存在確率の推定を行うと、隠れている部分も含めて対応点の相関度を計算してしまうので、それを元に求められる存在確率の信頼性が低下してしまう。
それに対し、カメラ部分集合ごとに分けて存在確率を求めることで、あるカメラ部分集合においては構成するカメラの多くが着目する被写体表面上の点を撮影し、その箇所において高い部分存在確率を算出することになる。
逆に、あるカメラ部分集合においては構成するカメラの多くが着目する被写体表面上の点を撮影していないこともあり、この場合は算出される部分存在確率は低くなる。
しかし、その後の統合処理において、高い部分存在確率の影響が大きく、低い部分存在確率の影響が低くなる演算を行うことで、前者が後者を補う働きをし、結果として統合された存在確率の信頼性は高くなる効果がある。
既存技術に見られるように、個々のカメラセットにおいて奥行きの情報のみを求め、それらを取捨選択や平均するなどして奥行き情報を統合する方法に比べ、本発明ではカメラセットごとの推定の信頼性の情報も考慮して統合することにより、より確度の高い被写体の3次元情報を算出する効果があると言える。
例えば、図7において、P1はカメラ部分集合{C1,C2}を用いて推定すると存在確率の信頼度が低いが、カメラ部分集合{C3,C4}を用いると存在確率の信頼度が高まる。逆に、P2はカメラ部分集合{C1,C2}を用いて推定すると存在確率の信頼度が高く、カメラ部分集合{C3,C4}を用いると存在確率の信頼度が低い。
そして、仮想視点Vからの存在確率の信頼度に統合し、それぞれのカメラ部分集合の推定のうち、信頼度の高い部分の影響が大きくなるようにする。
以下では、カメラ部分集合ごとの存在確率の推定法について述べる。
カメラ部分集合はそのメンバの中に基準となるカメラ(基準カメラ)を持ち、そこがカメラ部分集合を代表する視点(以下、代表視点)となる。
そして、代表視点の座標系において投影面Ljにおける部分存在確率qk m(m)の推定を行う。
まず、カメラ部分集合をΞk={Ci|i∈Nk}とおく。ここでkはカメラ部分集合を示す添え字である。
また、カメラ部分集合のうち基準カメラを{Ci(k),i(k)∈Nk}とおく。例えば、図7の場合、Ξ1={C1,C2}と、Ξ2={C3,C4}となる2つのカメラ部分集合があり、C1とC3がそれぞれ基準カメラの場合、Ci(1)=C1,Ci(2)=C3となる。
ここでは簡単のため、すべての部分集合における存在確率は共通のレイヤLj上で推定するものとする。
まず、カメラ部分集合Ξkにおける基準カメラと他のカメラとの不一致度は、SSAD(Sum of Square Absolute Differences)により、下記(19)式のように計算される。
また、|x|はxのL1ノルムを表し、Bは対応点付近のブロック領域を表す。
そして、カメラ部分集合Ξkにより推定される基準カメラCi(k)における部分存在確率qk j(m)は、例えば、下記(21)式のように計算される。
次に、カメラ部分集合毎の存在確率qv kj(m)を統合処理し、観察者の視点(基準視点)からの存在確率を求める。
その一例としては、下記(23)式、(24)式のとおり、全ての部分集合の存在確率qv kj(m)を掛け合わせて、さらにすべての投影面について正規化処理を行い、統合的な存在確率qv j(m)を得ることができる。
このことで、観察者の視点(基準視点)から見て複数の被写体の表面が重なっている場合でも、手前の被写体が優位に描画され、奥の被写体が透けて描画されてしまうことを抑止することができる。
また、特定の領域のバイアス値のみ0以上の値、その他を0と設定した場合、特定の領域にある被写体を強調した画像を生成することができる。
また、手前の存在確率に依存して、例えば、下記(25)式のバイアス値とすると、着目する投影点よりも手前の投影点の存在確率の累計が大きいほどバイアス値が小さくなり、結果として着目する投影点においては存在確率が抑制されて推定される。
なお、カメラセットはなるべく近傍同士のカメラで構成するのが効果的であり、そうすることで、撮影画像に映っている被写体のオクルージョン傾向が類似し、相関値の計算の信頼性が高くなる。
また、代表視点の位置は任意でもよいが、代表視点の選び方の例としては、カメラセットを構成するカメラのうち、中心に位置するカメラ位置を代表視点する方法がある。
さらに、後述するカメラセットごとの寄与率は、基準視点を与えたときに計算される。すなわち、カメラセットの寄与率は、基準視点とカメラセットとの相対的な位置に依存する。そして、寄与率はカメラセットごとに与えられ、属するカメラごとには算出されない。
従来技術では、前述の(17)式、(18)式に示したように、光線の角度をもとにして求めているが、オクルージョンのあるシーンの場合、2つの光線CiPとCvPのなす角度が小さくても、2つの光線の間に遮蔽物がない保証はない。
例えば、図7においては、θ1j<θ3jであるが、C1の視点位置からはP1はQに遮られており、P1の画像を撮影できていないため、W1jを大きくしてC1の画像の寄与を高くすると、P1の代わりにQの色の寄与が大きくなってしまい、画質が低下する。
そこで、本発明では以下のように、色の寄与率を部分存在確率に連動させ、着目する投影点において高い部分存在確率を持つカメラ部分集合の基準カメラほど高い寄与率を割り振るようにする。
例えば、簡易な形態としては、下記(29)式に示すものがある。
ただし、前述の(24)式は、カメラ部分集合毎の寄与率であるため、これを個々のカメラ毎の寄与率として表すと、下記(30)式と表され、前述の(6)式の画像生成式に用いることができる。
さらに、(30)式に基準カメラから見て手前の投影面にある存在確率の累計を反映させた項をさらに乗じて、下記(31)式とすることで、基準カメラから見て着目する投影点がどの程度の隠れているかを考慮して、カメラ部分集合カメラ毎の寄与率を決定することができる。
以上で述べた画像生成原理を用いて画像を生成する手順を図9に示す。
図中、処理を長方形で、データを角丸長方形で表している。
投影面の色情報と存在確率情報に、前述の(6)式で表される演算を用い、最終的に基準カメラから見た画像を生成するところは従来法と同様である。
しかし、従来法がすべてのカメラCi(i∈N)をいちどに用いて存在確率情報を求めるとともに、各カメラの色の寄与率(重みマップ)はカメラと観察者の視点(基準視点)の位置関係により決定しているのに対し、本発明の手法においては、カメラを部分集合に分け、部分集合毎に部分存在確率を求め、当該情報をもとにして統合された存在確率および色マップを計算するところが大きな違いとなっている。
即ち、ステップ20において、カメラパラメータ{Ai,Ri,ti|i∈N}、{AV,RV,tV}と、カメラ画像{Ii(m)|i∈N}とに基づき、前述の(11)式に示す計算式により、基準視点Vを中心としたカメラ画像の投影画像{IV ij(m)|i∈N}を生成する。
またステップ21において、カメラパラメータ{Ai,Ri,ti|i∈N}、{AV,RV,tV}と、カメラ画像{Ii(m)|i∈N}、カメラ部分集合{Ξk|k∈K}とに基づき、前述の(20)式に示す計算式により、基準カメラCi(k)を中心としたカメラ画像の投影画像{Ik ij(m)}を生成する。
また、ステップ22において、投影画像{Ik ij(m)}に基づき、前述の(19)式、(21)式に示す計算式により、基準カメラCi(k)を中心とした部分存在確率{qk j(m)}を生成する。
また、ステップ24において、カメラパラメータ{Ai,Ri,ti|i∈N}、{AV,RV,tV}と、基準視点Vを中心とした部分存在確率{qV kj(m)}とに基づき、前述の(29)式、(30)式、(31)に示す計算式により、寄与率(重み)マップ{wV ij(m)|i∈N,j∈J}を生成する。
また、ステップ25において、寄与率(重み)マップ{wV ij(m)|i∈N,j∈J}と、投影画像{IV ij(m)|i∈N}とに基づき、前述の(16)式に示す計算式により、色マップ{TV j(m)|j∈J}を生成する。
また、ステップ26において、基準視点Vを中心とした部分存在確率{qV kj(m)}に基づき、前述の(33)式、(24)式、(25)式、(26)式、(27)式、(28)式に示す計算式により、統合された存在確率{qV j(m)|j∈J}を生成する。
最後に、ステップ27において、色マップ{TV j(m)|j∈J}と、統合された存在確率{qV j(m)|j∈J}とに基づき、前述の(6)式に示す計算式により、基準視点Vから見た画像{IV(m)}を生成する。
なお、本実施例において、それぞれのカメラセットに属する画像の対応点の色情報または輝度情報を選択、あるいは混色し、各投影点におけるカメラセットごとの投影点の色情報または輝度情報を決定した後、各投影点におけるカメラセットごとの部分存在確率の高さに応じてカメラセットごとの寄与率を決定し、各投影点におけるカメラセットごとの色情報または輝度情報を、カメラセットごとの寄与率の高さに応じた割合で混合することで、前記各投影点の色情報または輝度情報を決定することも可能である。
また、本実施例において、各投影点の色情報または輝度情報を、存在確率の高さと投影面の基準視点からの距離に応じた割合で混合して、生成する画像上の色情報または輝度情報を決定し、2枚以上の2次元画像を生成することも可能である。この2次元画像を、DFD方式の3次元表示装置の各表示面に表示することにより、3次元立体像を得ることができる。
図10において、1は仮想視点画像生成装置、101は基準視点決定手段、102はカメラ画像取得手段、103は画像生成手段、103aは投影処理手段A、103bは投影処理手段B、103cは寄与率(重み)マップ計算手段、103dは部分相関・存在確率計算手段、103eは色情報・輝度情報決定手段、103fは部分存在確率統合手段、103gはレンダリング手段、104は生成画像出力手段、2は視点位置入力手段、3は被写体撮影手段、4は画像表示手段である。また、図11において、Userは仮想視点画像生成装置の利用者、Objは被写体である。
本実施例1の仮想視点画像生成装置1は、図10及び図11に示すように、利用者Userが視点位置入力手段2を用いて入力したデータに基づき基準視点を決定する基準視点決定手段101と、複数の視点位置Ciにある被写体撮影手段(カメラ)3で撮影された被写体Objの画像を取得する被写体画像取得手段102と、前記取得した被写体Objの画像をもとに、基準視点から前記被写体Objを見た画像を生成する画像生成手段103と、前記画像生成手段103で生成した仮想視点画像を画像表示手段4に表示させるための生成画像出力手段104とにより構成される。
前記視点位置入力手段2は、例えば、図11に示したように、マウス等の利用者Userが操作して選択するデバイスであってもよいし、キーボード等の利用者Userが直接数値として入力するデバイスでもよいし、前記利用者Userが装着する位置・姿勢検出センサでもよい。また、他のプログラムにより与えられるものでも、ネットワークを介して与えられるものでも可能である。
また、前記被写体画像取得手段102は、刻々と変化する被写体の位置・姿勢を一定の間隔、例えば、30Hzの間隔で逐次的に取得することも、任意の時刻における被写体の静止画像を取得することも可能であるし、あらかじめ撮影した被写体画像を記録装置から読み出すことで取得することも可能である。なお、複数の視点位置からの被写体画像は、すべてのカメラ間の同期をとることにより同一時刻に撮影したものであることが望ましいが、被写体の位置・姿勢の変化が十分に遅く、静止物と見なせる場合にはこの限りではない。
投影処理手段A(103a)は、図9のステップ20の処理を実行する。投影処理手段B(103b)は、図9のステップ21の処理を実行する。
部分相関・存在確率計算手段103dは、図9のステップ22と、ステップ23の処理を実行する。
寄与率(重み)マップ計算手段103cは、図9のステップ24の処理を実行する。色情報・輝度情報決定手段103eは、図9のステップ25の処理を実行する。
部分存在確率統合手段103fは、図9のステップ26の処理を実行する。レンダリング処理手段103gは、図9のステップ27の処理を実行する。
また、前記画像表示手段4は、例えば、ディスプレイ端子等の生成画像出力手段104に接続されたCRT(Cathode Ray Tube),LCD(Liquid Crystal Display),PDP(Plasma Display Panel)等の表示装置である。このとき、前記画像表示手段4は、例えば、2次元平面状の表示装置でもよいし、利用者Userを取り囲むような曲面状の表示装置であってもよい。
また、前記仮想視点画像生成装置1を用いたシステムは、例えば、図11に示したような構成になっており、利用者Userは前記視点位置入力手段2を介して仮想視点画像生成装置1に所望の視点位置・方向・画角を指定すると、前記仮想視点画像生成装置1は被写体Objを前記被写体撮影手段(カメラ)3で撮影し、その画像を取得した後、前記取得した被写体の画像をもとに指示された視点における画像(仮想視点画像)を生成する。前記生成された仮想視点画像は、前記画像表示手段4により利用者Userに提示する。
なお、図11のシスデム構成は本発明における画像生成装置の実装の一例を示すものであり、本発明の請求範囲は必ずしもこのような構成に限定されるものではなく、個々の装置の配置、形態、実装は本発明の趣旨を逸脱しない範囲において任意である。
また、正確な幾何モデルを求めるために、最適化問題等、計算機負荷の高い処理を経る必要がないため、インタラクティブ性が要求される条件においても、短い処理時間で映像生成が可能となる。
すなわち、いちどにすべてのカメラの画像を用いると、隠れている部分も含めて対応点の相関度を計算してしまうので、それを元に求められる存在確率の信頼性が低下してしまうのに対し、カメラセットごとに分けて存在確率を求めることで、あるカメラセットにおいては構成するカメラの多くが着目する被写体表面上の点を撮影し、その箇所において高い部分存在確率を算出することになる。
逆に、あるカメラセットにおいては構成するカメラの多くが着目する被写体表面上の点を撮影していないこともあり、この場合は算出される部分存在確率は低くなる。
しかし、その後の統合処理において、高い部分存在確率の影響が大きく、低い部分存在確率の影響が低くなる演算を行うことで、前者が後者を補う働きをし、結果として統合された存在確率の信頼性は高くなる効果がある。
先行研究に見られるように、個々のカメラセットにおいて奥行きの情報のみを求め、それらを取捨選択や平均するなどして奥行き情報を統合する方法に比べ、本発明では奥行きの情報だけでなくカメラセットごとの推定の信頼性の情報も考慮して統合する。すなわち、カメラセットごとに相反する奥行き情報を統合する際にも、信頼性の高い奥行き情報に重きを置いた統合がなされる。そうすることにより、本発明はより確度の高い被写体の3次元情報を算出する効果があると言える。
一般的に、相関度の算出においては対応点間の色情報(もしくは輝度)の差分が小さいほど相関が高いという前提を利用するため、対応点が暗い部分は差分が小さく相関度が高くなり、逆に明るい部分は差分が大きく相関度が低くなる傾向がある。しかし、前述の正規化処理を経ることで、部分存在確率の算出にあたり対応点における撮影画像の明暗の影響を受けず、それらを統合した存在確率の信頼性が高くなる効果がある。
ここで、被写体表面が存在している任意の投影点に着目すると、その位置においてカメラセットごとに算出される部分存在確率の違いは、投影点における被写体表面が撮影されているカメラの数に依存する。すなわち、ある投影点において部分存在確率が高く算出されたカメラセットでは、そのカメラセットを構成する多くのカメラにより、着目する投影点における被写体表面が撮影されている可能性が高く、逆に部分存在確率が低く算出されたカメラセットにおいては、そのカメラセットを構成する一部もしくはすべてのカメラから、着目する投影点における被写体表面が撮影されていない可能性が高い。
そこで、投影点の色情報(または輝度情報)を決定する際に、カメラセットごとの対応点の色情報(または輝度情報)を、カメラセットごとの部分存在確率の高さに応じた割合で混合することにより、投影点が撮影できているカメラが多いカメラセットの色の寄与を大きく、投影点が撮影できているカメラが少ないカメラセットの色の寄与を小さくし、投影点の色はその位置に存在する被写体表面の色(または輝度)と近い値が推定され、結果として生成画像の画質を向上させる効果がある。
あるカメラセットの代表視点から見て着目する投影点よりも手前の他の投影点の存在確率の合計が高い場合には、代表視点と着目する投影点の間に被写体表面が存在している可能性が高い。すなわち、着目する投影点は代表視点から見てそれよりも手前の被写体により遮蔽されている可能性が高いため、その代表視点における対応点の色は、投影点を撮影した色でない可能性が高い。
このようなとき、そのカメラセットによる色の寄与率を低くし、逆に、代表視点から見て手前の存在確率の合計が低いようなカメラサブセットの色の寄与率を高くすることで、投影点において被写体を撮影しているカメラの色の寄与率を高めることができる。
また、バイアス値を加算することで、あるカメラセットにより算出された部分存在確率が0に近い場合でも、他のカメラセットによる部分存在確率が高い場合には、統合された存在確率が0に近くなることを防止する効果がある。そのため、統合された存在確率の推定がよりロバストになる効果がある。
また、そのバイアス値の大きさを投影面ごとに異なる設定にすることより、統合処理後の存在確率において、投影面ごとに存在確率の分布傾向を調整することができる。例えば、奥の投影面から手前の投影面に向かうにつれて加算するバイアスの値を大きくすることで、手前のものほど存在確率が高くなる傾向になり、奥に存在するものが透けて画像生成することを防止することができる。
また、ある範囲にある投影面のバイアスを高く設定することで、ある特定の奥行きの範囲にある被写体を強調して画像生成する効果がある。
また、投影面上で特定の領域にあるバイアスを、他の領域に比べて高く設定することで、ある特定の範囲にある被写体を強調して画像生成する効果がある。また、ある奥行きの投影面上のある領域にあるバイアスを、他の領域に比べて低く設定することで、ある特定の範囲にある被写体が目立たぬよう画像生成する効果がある。
すなわち、基準視点を通る直線上に、複数の被写体表面が存在する場合、複数の位置にて存在確率が高く推定される可能性があり、この場合は基準視点から見て手前の被写体を透けて、奥の被写体を描画してしまうことになる。そこで、手前の存在確率が高い場合、その程度に応じてそれよりも奥の投影面のバイアス値を低く設定することで、存在確率の統合処理時に奥の投影点の存在確率が高くなることを抑制し、結果として生成画像において奥の被写体表面が透けて見えることを防ぐことが出来る。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
2 視点位置入力手段
3 被写体撮影手段
4 画像表示手段
101 基準視点決定手段
102 被写体画像取得手段
103 画像生成手段
103a 投影処理手段A
103b 投影処理手段B
103c 寄与率(重み)マップ計算手段
103d 部分相関・存在確率計算手段
103e 色情報・輝度情報決定手段
103f 部分存在確率統合手段
103g レンダリング処理手段
104 生成画像出力手段
Claims (6)
- 複数の異なる視点から被写体を撮影した被写体の複数の画像に基づき、任意の仮想位置の基準視点から見た前記被写体の画像を生成する仮想視点画像生成装置であって、
任意の仮想位置の基準視点と、仮想的な3次元空間中に前記基準視点から見て奥行き位置の異なる多層構造の投影面を設定する基準視点決定手段と、
前記複数の異なる視点から被写体を撮影した前記被写体の複数の画像を取得する画像取得手段と、
前記被写体の複数の画像の中から選んだいくつかの画像の組み合わせである複数組のカメラセットを用意し、それぞれのカメラセットに属する各被写体の画像における、前記複数の投影面上の前記基準視点から見て重なり合う複数の投影点と対応する対応点の相関度を求め、前記カメラセットの代表となる1つの視点位置である代表視点を通る直線上の値の合計が一定値となる正規化処理を施した部分存在確率を算出する部分相関・存在確率計算手段と、
前記部分相関・存在確率計算手段で算出した前記カメラセット毎の部分存在確率を統合処理して前記各投影点の存在確率を算出する部分存在確率統合手段と、
前記部分相関・存在確率計算手段で算出した前記カメラセット毎の部分存在確率に基づき、前記カメラセット毎の寄与率を計算する寄与率計算手段と、
前記それぞれのカメラセットに属する各被写体の画像の対応点の色情報または輝度情報から、前記各投影点におけるカメラセットごとの投影点の色情報または輝度情報を決定するとともに、前記各投影点におけるカメラセットごとの色情報または輝度情報を、前記寄与率計算手段で算出したカメラセットごとの寄与率の高さに応じた割合で混合して、前記各投影点の色情報または輝度情報を決定する色情報・輝度情報決定手段と、
前記部分存在確率統合手段で決定された前記各投影点の存在確率と、前記色情報・輝度情報決定手段で決定された前記各投影点の色情報または輝度情報とに基づき、前記基準視点から見た前記被写体の画像を生成するレンダリング手段とを有することを特徴とする仮想視点画像生成装置。 - 前記寄与率計算手段は、前記カメラセットごとの寄与率に対し、前記各投影点と前記カメラセットの代表視点とを結ぶ線分上にある他の投影点の存在確率に応じた係数を更に乗じ、新たなカメラセットごとの寄与率を決定することを特徴とする請求項1に記載の仮想視点画像生成装置。
- 前記部分存在確率統合手段は、各投影点において異なるカメラセットから算出された複数の部分存在確率に、バイアス値を加算し、加算後の部分存在確率に投影面ごとに定めた係数を乗算して統合した存在確率を算出し、前記各投影点において統合した存在確率を正規化処理することを特徴とする請求項1または請求項2に記載の仮想視点画像生成装置。
- 前記バイアス値あるいは投影面ごとの係数は、着目する投影点と前記基準視点とを結ぶ線分上の他の投影点の存在確率に依存し、それらが大きいほど抑制されることを特徴とする請求項3に記載の仮想視点画像生成装置。
- 請求項1ないし請求項4のいずれか1項に記載の仮想視点画像生成装置の各手段をコンピュータに実行させるためのプログラム。
- 請求項5に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007287583A JP4828506B2 (ja) | 2007-11-05 | 2007-11-05 | 仮想視点画像生成装置、プログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007287583A JP4828506B2 (ja) | 2007-11-05 | 2007-11-05 | 仮想視点画像生成装置、プログラムおよび記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009116532A JP2009116532A (ja) | 2009-05-28 |
JP4828506B2 true JP4828506B2 (ja) | 2011-11-30 |
Family
ID=40783630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007287583A Expired - Fee Related JP4828506B2 (ja) | 2007-11-05 | 2007-11-05 | 仮想視点画像生成装置、プログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4828506B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8817071B2 (en) | 2009-11-17 | 2014-08-26 | Seiko Epson Corporation | Context constrained novel view interpolation |
JP5361758B2 (ja) * | 2010-02-12 | 2013-12-04 | 日本電信電話株式会社 | 画像生成方法、画像生成装置、及びプログラム |
KR101669820B1 (ko) | 2010-07-02 | 2016-10-27 | 삼성전자주식회사 | 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법 |
KR101676830B1 (ko) | 2010-08-16 | 2016-11-17 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
JP5478533B2 (ja) * | 2011-02-18 | 2014-04-23 | 日本電信電話株式会社 | 全方位画像生成方法、画像生成装置およびプログラム |
JP5588394B2 (ja) * | 2011-05-11 | 2014-09-10 | 日本電信電話株式会社 | 色補正装置、色補正方法および色補正プログラム |
KR101932595B1 (ko) | 2012-10-24 | 2018-12-26 | 삼성전자주식회사 | 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법 |
US20160295241A1 (en) * | 2013-12-03 | 2016-10-06 | Nippon Telegraph And Telephone Corporation | Video encoding apparatus and method, video decoding apparatus and method, and programs therefor |
WO2015098948A1 (ja) * | 2013-12-27 | 2015-07-02 | 日本電信電話株式会社 | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム |
JP2017041113A (ja) * | 2015-08-20 | 2017-02-23 | 日本電気株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
US9762893B2 (en) * | 2015-12-07 | 2017-09-12 | Google Inc. | Systems and methods for multiscopic noise reduction and high-dynamic range |
US11050991B2 (en) * | 2016-09-29 | 2021-06-29 | Koninklijke Philips N.V. | Image processing using a plurality of images for a three dimension scene, having a different viewing positions and/or directions |
JP6898264B2 (ja) * | 2018-02-28 | 2021-07-07 | Kddi株式会社 | 合成装置、方法及びプログラム |
JP7179515B2 (ja) * | 2018-07-13 | 2022-11-29 | キヤノン株式会社 | 装置、制御方法、及びプログラム |
JP7396202B2 (ja) | 2020-05-28 | 2023-12-12 | 富士通株式会社 | 生成プログラム、生成方法、および情報処理装置 |
CN115512038B (zh) * | 2022-07-22 | 2023-07-18 | 北京微视威信息科技有限公司 | 自由视点合成的实时绘制方法、电子设备及可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04114224A (ja) * | 1990-09-04 | 1992-04-15 | Hitachi Ltd | 入出力一体型ディスプレイ装置 |
JP3876142B2 (ja) * | 2001-02-26 | 2007-01-31 | 株式会社ナブラ | 画像表示システム |
-
2007
- 2007-11-05 JP JP2007287583A patent/JP4828506B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009116532A (ja) | 2009-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4828506B2 (ja) | 仮想視点画像生成装置、プログラムおよび記録媒体 | |
US9288476B2 (en) | System and method for real-time depth modification of stereo images of a virtual reality environment | |
JP4052331B2 (ja) | 仮想視点画像生成方法及び3次元画像表示方法並びに装置 | |
JP5011168B2 (ja) | 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
KR100950046B1 (ko) | 무안경식 3차원 입체 tv를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법 | |
US9117295B2 (en) | Refinement of depth maps by fusion of multiple estimates | |
US20150249815A1 (en) | Method for creating 3d virtual reality from 2d images | |
WO2008050904A1 (fr) | Procédé de génération d'image dans un plan de focalisation virtuel haute résolution | |
KR102049456B1 (ko) | 광 필드 영상을 생성하는 방법 및 장치 | |
JP5227993B2 (ja) | 視差画像生成装置、及びその方法 | |
US12026903B2 (en) | Processing of depth maps for images | |
JP2002524937A (ja) | 高解像度カメラと低解像度カメラとを用いて高解像度像を合成する方法および装置 | |
JP5361758B2 (ja) | 画像生成方法、画像生成装置、及びプログラム | |
Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos | |
Lin et al. | A low-cost portable polycamera for stereoscopic 360 imaging | |
WO2020184174A1 (ja) | 画像処理装置および画像処理方法 | |
US10354399B2 (en) | Multi-view back-projection to a light-field | |
Knorr et al. | Stereoscopic 3D from 2D video with super-resolution capability | |
JP5373931B2 (ja) | 仮想視点画像生成方法,仮想視点画像生成装置および仮想視点画像生成プログラム | |
Seitner et al. | Trifocal system for high-quality inter-camera mapping and virtual view synthesis | |
JP2021047468A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
CN117061720B (zh) | 基于单目图像及深度图像渲染的立体图像对生成方法 | |
WO2018043437A1 (ja) | 画像距離算出装置および画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体 | |
Nobuhara et al. | A real-time view-dependent shape optimization for high quality free-viewpoint rendering of 3D video | |
CN116958449B (zh) | 城市场景三维建模方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110913 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110914 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4828506 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |