JP7405702B2 - 仮想視点レンダリング装置、方法及びプログラム - Google Patents
仮想視点レンダリング装置、方法及びプログラム Download PDFInfo
- Publication number
- JP7405702B2 JP7405702B2 JP2020102989A JP2020102989A JP7405702B2 JP 7405702 B2 JP7405702 B2 JP 7405702B2 JP 2020102989 A JP2020102989 A JP 2020102989A JP 2020102989 A JP2020102989 A JP 2020102989A JP 7405702 B2 JP7405702 B2 JP 7405702B2
- Authority
- JP
- Japan
- Prior art keywords
- rendering
- virtual viewpoint
- camera
- image
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims description 70
- 238000000034 method Methods 0.000 title claims description 50
- 238000013507 mapping Methods 0.000 claims description 33
- 238000002834 transmittance Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 10
- 238000002156 mixing Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011410 subtraction method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
Description
テクスチャマッピングに使用するカメラ画像上の参照画素位置(Uj,Vj)について、テクスチャの画素値がC(Uj,Vj)、背景統計情報の画素値がS(Uj,Vj)であるとき、次式(5)を満たせば透過領域に決定する。
複数台のカメラを使って複数のカメラ画像のテクスチャの色をブレンディングすることでテクスチャマッピングを施すのであれば、次式(7)の計算がマッピングに使用する全てのカメラkに対して行われる。
次式(11)に基づいてアルファブレンドによるマッピングを行う。
ポリゴンgを可視であるカメラのテクスチャのみを用いてレンダリングを行う。すなわち上式(11)において、可視であるカメラのtexture_(c_i )に対応する比率aの値を1とする。あるいは仮想視点p_vからみて次に近い第3のカメラc_3を不可視である一方のカメラの代わりに参照し、ケース1の場合と同様に上式(11)に基づくアルファブレンドによりマッピングを行う。
仮想視点pv近傍(一般には、アングルが近いもの)の他のカメラを選択することを、少なくとも一方の可視判定フラグが可視となるまで繰り返し、各カメラ画像の参照画素位置のテクスチャを、ケース1の場合と同様に上式(11)に基づくアルファブレンドによりポリゴンgにマッピングする。
三角形ポリゴンPoを仮想視点画像上の対応する各画素に描画するのであれば、当該ポリゴンPoを構成する3つの頂点V1,V2,V3に関して前景透過領域決定部103が上式(5),(6),(7),(10)に基づいて透過率(例えば、透過または非透過)を決定する。透過処理部104aは、頂点V1~V3のいずれか一つ,または全てが透過に決定されていると、当該ポリゴンを透過にして2D画像上に描画する。
図10に示したように、三角形ポリゴンPoが描画される仮想視点レンダリング画像上の各画素の座標(s,t)を当該ポリゴンの3つの頂点V1,V2,V3に基づく線形補完等により計算し、各画素に対応する実カメラおよび背景統計情報の各画素値を上式(5),(6),(7),(10)に適用することで透過率を画素ごとに決定する。
Claims (13)
- 被写体の3Dモデルを2D平面へレンダリングして仮想視点画像を生成する仮想視点レンダリング装置において、
被写体のカメラ画像およびその背景のカメラ画像の背景統計情報を取得する手段と、
レンダリング時にテクスチャをマッピングするカメラおよびそのカメラ画像上の参照画素位置を計算する手段と、
各参照画素位置におけるテクスチャおよび背景統計情報の各画素値の差分が所定の閾値以下である領域をレンダリング時の透過領域に決定する手段と、
3Dモデルを2D平面へレンダリングする際に前記透過領域に透過処理を適用するレンダリング手段とを具備したことを特徴とする仮想視点レンダリング装置。 - 前記透過領域を仮想視点画像の前景領域縁部から所定幅の範囲内に限定する手段を更に具備し、
前記レンダリング手段は、前記所定幅の範囲内の透過領域に対してのみ透過処理を適用することを特徴とする請求項1に記載の仮想視点レンダリング装置。 - 前記所定幅が仮想視点と被写体との距離に応じて適応的に変化することを特徴とする請求項2に記載の仮想視点レンダリング装置。
- 前記所定幅が仮想視点と被写体との距離が大きくなるほど狭くなることを特徴とする請求項3に記載の仮想視点レンダリング装置。
- 前記仮想視点画像の前記透過領域以外の領域に対してノイズを除去する処理を行うことを特徴とする請求項1ないし4のいずれかに記載の仮想視点レンダリング装置。
- 前記仮想視点画像の前記透過領域以外の前景領域縁部の近傍において、縁部に近付くほど高い透過率で第2の透過処理を適用することを特徴とする請求項1ないし5のいずれかに記載の仮想視点レンダリング装置。
- 前記背景のカメラ画像の背景統計情報が、各画素値の時間平均および標準偏差の関数であることを特徴とする請求項1ないし6のいずれかに記載の仮想視点レンダリング装置。
- 前記仮想視点レンダリング装置は、視点の異なる複数のカメラ画像のテクスチャをブレンディングして3Dモデルにマッピングし、
前記参照画素位置を計算する手段は、3Dモデルへテクスチャをマッピングする参照画素位置をカメラ画像ごとに計算することを特徴とする請求項1ないし7のいずれかに記載の仮想視点レンダリング装置。 - 前記透過領域を決定する手段は、参照画素位置ごとにブレンディングされたテクスチャおよびブレンディングされた背景統計情報の各画素値の比較結果に基づいてレンダリング時の透過領域を決定することを特徴とする請求項8に記載の仮想視点レンダリング装置。
- コンピュータが被写体の3Dモデルを2D平面へレンダリングして仮想視点画像を生成する仮想視点レンダリング方法において、
被写体のカメラ画像およびその背景のカメラ画像の背景統計情報を取得し、
レンダリング時にテクスチャをマッピングするカメラおよびそのカメラ画像上の参照画素位置を計算し、
各参照画素位置におけるテクスチャおよび背景統計情報の各画素値の差分が所定の閾値以下である領域をレンダリング時の透過領域に決定し、
3Dモデルを2D平面へレンダリングする際に前記透過領域に透過処理を適用することを特徴とする仮想視点レンダリング方法。 - 前記透過領域を仮想視点画像の前景領域縁部から所定幅の範囲内に限定し、当該所定幅の範囲内の透過領域に対してのみ透過処理を適用することを特徴とする請求項10に記載の仮想視点レンダリング方法。
- 被写体の3Dモデルを2D平面へレンダリングして仮想視点画像を生成する仮想視点レンダリングプログラムにおいて、
被写体のカメラ画像およびその背景のカメラ画像の背景統計情報を取得する手順と、
レンダリング時にテクスチャをマッピングするカメラおよびそのカメラ画像上の参照画素位置を計算する手順と、
各参照画素位置におけるテクスチャおよび背景統計情報の各画素値の差分が所定の閾値以下である領域をレンダリング時の透過領域に決定する手順と、
3Dモデルを2D平面へレンダリングする際に前記透過領域に透過処理を適用する手順と、をコンピュータに実行させる仮想視点レンダリングプログラム。 - 前記透過領域を仮想視点画像の前景領域縁部から所定幅の範囲内に限定する手順を更に含み、
前記所定幅の範囲内の透過領域に対してのみ透過処理を適用することを特徴とする請求項12に記載の仮想視点レンダリングプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020102989A JP7405702B2 (ja) | 2020-06-15 | 2020-06-15 | 仮想視点レンダリング装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020102989A JP7405702B2 (ja) | 2020-06-15 | 2020-06-15 | 仮想視点レンダリング装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021196870A JP2021196870A (ja) | 2021-12-27 |
JP7405702B2 true JP7405702B2 (ja) | 2023-12-26 |
Family
ID=79195628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020102989A Active JP7405702B2 (ja) | 2020-06-15 | 2020-06-15 | 仮想視点レンダリング装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7405702B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115202174B (zh) * | 2022-07-14 | 2023-11-10 | 浙江理工大学 | 基于光场图像的全息体视图获取方法、系统和应用 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006503379A (ja) | 2002-10-15 | 2006-01-26 | ユニバーシティ・オブ・サザン・カリフォルニア | 拡張仮想環境 |
JP2009539155A (ja) | 2006-06-02 | 2009-11-12 | イジュノシッヒ テクニッヒ ホッフシューラ チューリッヒ | 動的に変化する3次元のシーンに関する3次元表現を生成するための方法およびシステム |
JP2013223008A (ja) | 2012-04-13 | 2013-10-28 | Canon Inc | 画像処理装置及び方法 |
JP2019046077A (ja) | 2017-08-31 | 2019-03-22 | Kddi株式会社 | オブジェクト情報の複数面への投影によって視点映像を合成する映像合成装置、プログラム及び方法 |
JP2019149112A (ja) | 2018-02-28 | 2019-09-05 | Kddi株式会社 | 合成装置、方法及びプログラム |
-
2020
- 2020-06-15 JP JP2020102989A patent/JP7405702B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006503379A (ja) | 2002-10-15 | 2006-01-26 | ユニバーシティ・オブ・サザン・カリフォルニア | 拡張仮想環境 |
JP2009539155A (ja) | 2006-06-02 | 2009-11-12 | イジュノシッヒ テクニッヒ ホッフシューラ チューリッヒ | 動的に変化する3次元のシーンに関する3次元表現を生成するための方法およびシステム |
JP2013223008A (ja) | 2012-04-13 | 2013-10-28 | Canon Inc | 画像処理装置及び方法 |
JP2019046077A (ja) | 2017-08-31 | 2019-03-22 | Kddi株式会社 | オブジェクト情報の複数面への投影によって視点映像を合成する映像合成装置、プログラム及び方法 |
JP2019149112A (ja) | 2018-02-28 | 2019-09-05 | Kddi株式会社 | 合成装置、方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
複数の全方位動画像を用いた自由視点テレプレゼンス,映像情報メディア学会誌,第60巻 第10号,2006年10月01日 |
Also Published As
Publication number | Publication date |
---|---|
JP2021196870A (ja) | 2021-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6717586B2 (en) | Apparatus, method, program code, and storage medium for image processing | |
US9117310B2 (en) | Virtual camera system | |
EP3735677A1 (en) | Fusing, texturing, and rendering views of dynamic three-dimensional models | |
CN109462747B (zh) | 基于生成对抗网络的dibr系统空洞填充方法 | |
US9418473B2 (en) | Relightable texture for use in rendering an image | |
US20110050864A1 (en) | System and process for transforming two-dimensional images into three-dimensional images | |
JP2001526477A (ja) | 画像変換および符号化技術 | |
JP6914734B2 (ja) | シルエット抽出装置、方法およびプログラム | |
KR20030019559A (ko) | 다수의 뷰 합성을 위한 방법 | |
US20230281912A1 (en) | Method and system for generating a target image from plural multi-plane images | |
WO2015188666A1 (zh) | 三维视频滤波方法和装置 | |
CN115298708A (zh) | 多视角神经人体渲染 | |
Sankoh et al. | Robust billboard-based, free-viewpoint video synthesis algorithm to overcome occlusions under challenging outdoor sport scenes | |
JP7405702B2 (ja) | 仮想視点レンダリング装置、方法及びプログラム | |
CN111447428A (zh) | 平面至立体图像的转换方法、装置、计算机可读存储介质及设备 | |
JP7096175B2 (ja) | オブジェクト抽出方法および装置 | |
JP7236403B2 (ja) | 自由視点映像生成方法、装置およびプログラム | |
GB2458305A (en) | Providing a volumetric representation of an object | |
JP6799468B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
CN117501313A (zh) | 基于深度神经网络的毛发渲染系统 | |
CN114677393B (zh) | 深度图像处理方法、装置、摄像设备、会议系统及介质 | |
JP7328942B2 (ja) | 3dモデル生成装置ならびに仮想視点映像生成装置、方法およびプログラム | |
Inamoto et al. | Fly through view video generation of soccer scene | |
JP7045964B2 (ja) | 画像処理装置、方法及びプログラム | |
JP7393092B2 (ja) | 仮想視点映像生成装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7405702 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |