JP7236403B2 - 自由視点映像生成方法、装置およびプログラム - Google Patents
自由視点映像生成方法、装置およびプログラム Download PDFInfo
- Publication number
- JP7236403B2 JP7236403B2 JP2020054123A JP2020054123A JP7236403B2 JP 7236403 B2 JP7236403 B2 JP 7236403B2 JP 2020054123 A JP2020054123 A JP 2020054123A JP 2020054123 A JP2020054123 A JP 2020054123A JP 7236403 B2 JP7236403 B2 JP 7236403B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- camera
- subject
- free
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
次式(2)によりアルファブレンドによるマッピングが行われる。
可視であるカメラのテクスチャのみを用いてポリゴンgがレンダリングされる。すなわち上式(2)において、可視であるカメラのtextureci(g)に対応するアルファブレンド比率aの値を1とする。その他の形態としては、仮想視点pvからみて次に近いカメラCam3を、カメラCam1,Cam2うち不可視であるカメラの代わりとして参照する。この際、テクスチャのアルファブレンドの方法は上式(2)と同様である。
仮想視点pvからみて次に近いカメラCam3のテクスチャを用いてレンダリングする。カメラCam3も不可視である場合は、さらに次に近いカメラCam4…といったように、距離の近いカメラから順にカメラテクスチャを参照する。この際、順次参照するカメラの台数を2以上として、上式(2)に則ってブレンディング処理を行っても良い。
Claims (13)
- 被写体および遮蔽物を視点の異なる複数のカメラで同期撮影したカメラ画像に基づいて自由視点映像を生成する自由視点映像生成装置において、
カメラごとに遮蔽物デプスマップを取得する手段と、
被写体の3Dモデルを生成する手段と、
前記3Dモデルに基づいてカメラごとに被写体デプスマップを生成する手段と、
前記被写体デプスマップおよび遮蔽物デプスマップに基づいて、前記3Dモデルの各部位が各カメラの視点で可視および不可視のいずれであるかを登録したオクルージョン情報を生成する手段と、
前記オクルージョン情報に基づいて、前記3Dモデルの部位ごとに一部のカメラで不可視の部位へ当該部位が可視のカメラで取得したテクスチャをマッピングする手段とを具備したことを特徴とする自由視点映像生成装置。 - 前記遮蔽物デプスマップを取得する手段は、予め用意した遮蔽物の3Dモデルおよび各カメラパラメータに基づいてカメラごとに遮蔽物デプスマップを生成することを特徴とする請求項1に記載の自由視点映像生成装置。
- カメラ画像に基づいて被写体シルエット画像を生成する手段と、
遮蔽物デプスマップに基づいて遮蔽物シルエット画像を生成する手段とを具備し、
前記3Dモデルを生成する手段は、前記被写体および遮蔽物の各シルエット画像に基づいて3Dモデルを生成することを特徴とする請求項1または2に記載の自由視点映像生成装置。 - 前記3Dモデルを生成する手段は、被写体および遮蔽物の各シルエット画像を用いた視体積交差法により、3D空間に確保した各ボクセルグリッドをモデル化するか否かを判定し、
前記遮蔽物の3Dモデルが存在し得る領域に対応したボクセルグリッドでは前記判定をスキップしてモデル化しないことを特徴とする請求項3に記載の自由視点映像生成装置。 - 前記3Dモデルを生成する手段は、
被写体および遮蔽物の各シルエット画像を用いた視体積交差法によりボクセルグリッドのサイズが第1サイズの低解像ボクセルモデルを計算する手段と、
前記低解像ボクセルモデルの領域を対象に、前記各シルエット画像を用いた視体積交差法によりボクセルグリッドのサイズが前記第1サイズよりも小さい第2サイズの高解像ボクセルモデルを計算する手段とを具備し、
前記低解像ボクセルモデルのうち、遮蔽物の3Dモデルが存在し得る領域では前記判定をスキップしてモデル化しないことを特徴とする請求項4に記載の自由視点映像生成装置。 - 前記3Dモデルがポリゴンモデルであり、
前記オクルージョン情報には、各ポリゴンの頂点部位ごとに各カメラの視点で可視および不可視のいずれであるかが登録されたことを特徴とする請求項1ないし5のいずれかに記載の自由視点映像生成装置。 - 前記カメラパラメータは、遮蔽物に代表される既知の構造物から抽出した各特徴点とカメラ画像から抽出した遮蔽物の各特徴点とのマッチング結果に基づいて推定されることを特徴とする請求項2に記載の自由視点映像生成装置。
- コンピュータが、被写体および遮蔽物を視点の異なる複数のカメラで同期撮影したカメラ画像に基づいて自由視点映像を生成する自由視点映像生成方法において、
カメラごとに遮蔽物デプスマップを取得し、
被写体の3Dモデルを生成し、
前記3Dモデルに基づいてカメラごとに被写体デプスマップを生成し、
前記被写体デプスマップおよび遮蔽物デプスマップに基づいて、前記3Dモデルの各部位が各カメラの視点で可視および不可視のいずれであるかを登録したオクルージョン情報を生成し、
前記オクルージョン情報に基づいて、前記3Dモデルの部位ごとに一部のカメラで不可視の部位へ当該部位が可視のカメラで取得したテクスチャをマッピングすることを特徴とする自由視点映像生成方法。 - カメラ画像に基づいて被写体シルエット画像を生成し、
遮蔽物デプスマップに基づいて遮蔽物シルエット画像を生成し、
前記被写体および遮蔽物の各シルエット画像に基づいて3Dモデルを生成することを特徴とする請求項8に記載の自由視点映像生成方法。 - 前記3Dモデルを生成する際に、被写体および遮蔽物の各シルエット画像を用いた視体積交差法により、3D空間に確保した各ボクセルグリッドをモデル化するか否かを判定し、
前記遮蔽物の3Dモデルが存在し得る領域に対応したボクセルグリッドでは前記判定をスキップしてモデル化しないことを特徴とする請求項9に記載の自由視点映像生成方法。 - 被写体および遮蔽物を視点の異なる複数のカメラで同期撮影したカメラ画像に基づいて自由視点映像を生成する自由視点映像生成プログラムにおいて、
カメラごとに遮蔽物デプスマップを取得する手順と、
被写体の3Dモデルを生成する手順と、
前記3Dモデルに基づいてカメラごとに被写体デプスマップを生成する手順と、
前記被写体デプスマップおよび遮蔽物デプスマップに基づいて、前記3Dモデルの各部位が各カメラの視点で可視および不可視のいずれであるかを登録したオクルージョン情報を生成する手順と、
前記オクルージョン情報に基づいて、前記3Dモデルの部位ごとに一部のカメラで不可視の部位へ当該部位が可視のカメラで取得したテクスチャをマッピングする手順と、
をコンピュータに実行させる自由視点映像生成プログラム。 - カメラ画像に基づいて被写体シルエット画像を生成する手順と、
遮蔽物デプスマップに基づいて遮蔽物シルエット画像を生成する手順とを更に含み、
前記3Dモデルを生成する手順では、前記被写体および遮蔽物の各シルエット画像に基づいて3Dモデルを生成することを特徴とする請求項11に記載の自由視点映像生成プログラム。 - 前記3Dモデルを生成する手順では、被写体および遮蔽物の各シルエット画像を用いた視体積交差法により、3D空間に確保した各ボクセルグリッドをモデル化するか否かを判定し、
前記遮蔽物の3Dモデルが存在し得る領域に対応したボクセルグリッドでは前記判定をスキップしてモデル化しないことを特徴とする請求項12に記載の自由視点映像生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020054123A JP7236403B2 (ja) | 2020-03-25 | 2020-03-25 | 自由視点映像生成方法、装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020054123A JP7236403B2 (ja) | 2020-03-25 | 2020-03-25 | 自由視点映像生成方法、装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021157237A JP2021157237A (ja) | 2021-10-07 |
JP7236403B2 true JP7236403B2 (ja) | 2023-03-09 |
Family
ID=77918339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020054123A Active JP7236403B2 (ja) | 2020-03-25 | 2020-03-25 | 自由視点映像生成方法、装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7236403B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023243430A1 (ja) * | 2022-06-14 | 2023-12-21 | ソニーグループ株式会社 | 情報処理方法、情報処理装置、およびプログラム |
CN117197319B (zh) * | 2023-11-07 | 2024-03-22 | 腾讯科技(深圳)有限公司 | 图像生成方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019106170A (ja) | 2018-09-12 | 2019-06-27 | キヤノン株式会社 | 3次元モデルの生成装置、生成方法及びプログラム |
-
2020
- 2020-03-25 JP JP2020054123A patent/JP7236403B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019106170A (ja) | 2018-09-12 | 2019-06-27 | キヤノン株式会社 | 3次元モデルの生成装置、生成方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021157237A (ja) | 2021-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11463678B2 (en) | System for and method of social interaction using user-selectable novel views | |
US6914599B1 (en) | Image processing apparatus | |
US9117310B2 (en) | Virtual camera system | |
Kilner et al. | Objective quality assessment in free-viewpoint video production | |
US20220005276A1 (en) | Generation device, generation method and storage medium for three-dimensional model | |
JP7236403B2 (ja) | 自由視点映像生成方法、装置およびプログラム | |
EP0903695B1 (en) | Image processing apparatus | |
JP6403862B1 (ja) | 3次元モデルの生成装置、生成方法及びプログラム | |
Sankoh et al. | Robust billboard-based, free-viewpoint video synthesis algorithm to overcome occlusions under challenging outdoor sport scenes | |
Chen et al. | Fast free-viewpoint video synthesis algorithm for sports scenes | |
Inamoto et al. | Intermediate view generation of soccer scene from multiple videos | |
Kilner et al. | A comparative study of free-viewpoint video techniques for sports events | |
Ohta et al. | Live 3D video in soccer stadium | |
US11574432B2 (en) | Image processing apparatus, image processing method, and storage medium | |
Inamoto et al. | Immersive evaluation of virtualized soccer match at real stadium model | |
Saito et al. | View interpolation of multiple cameras based on projective geometry | |
Yaguchi et al. | Arbitrary viewpoint video synthesis from multiple uncalibrated cameras | |
JP6799468B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
GB2458305A (en) | Providing a volumetric representation of an object | |
JP7328942B2 (ja) | 3dモデル生成装置ならびに仮想視点映像生成装置、方法およびプログラム | |
JP7319939B2 (ja) | 自由視点映像生成方法、装置およびプログラム | |
JP7405702B2 (ja) | 仮想視点レンダリング装置、方法及びプログラム | |
JP7393092B2 (ja) | 仮想視点映像生成装置、方法およびプログラム | |
Shin et al. | A comparison between two 3d free-viewpoint generation methods: Player-billboard and 3d reconstruction | |
Narayanan et al. | Virtual worlds using computer vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7236403 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |