JP7360366B2 - 仮想視点映像レンダリング装置、方法およびプログラム - Google Patents
仮想視点映像レンダリング装置、方法およびプログラム Download PDFInfo
- Publication number
- JP7360366B2 JP7360366B2 JP2020122643A JP2020122643A JP7360366B2 JP 7360366 B2 JP7360366 B2 JP 7360366B2 JP 2020122643 A JP2020122643 A JP 2020122643A JP 2020122643 A JP2020122643 A JP 2020122643A JP 7360366 B2 JP7360366 B2 JP 7360366B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- virtual viewpoint
- priority
- model
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims description 68
- 238000000034 method Methods 0.000 title claims description 35
- 238000013507 mapping Methods 0.000 claims description 51
- 238000010586 diagram Methods 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 101150052583 CALM1 gene Proteins 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
次式(1)に基づいてアルファブレンドによるマッピングを行う。
ポリゴンgを可視であるカメラのテクスチャのみを用いてレンダリングを行う。すなわち上式(1)において、可視であるカメラのtexture_(c_i )に対応する比率aの値を1とする。あるいは仮想視点p_vからみて次に近い第3のカメラc_3を不可視である一方のカメラの代わりに参照し、ケース1の場合と同様に上式(1)に基づくアルファブレンドによりマッピングを行う。
仮想視点pv近傍(一般には、アングルが近いもの)の他のカメラを選択することを、少なくとも一方の可視判定フラグが可視となるまで繰り返し、各カメラ画像の参照画素位置のテクスチャを、ケース1の場合と同様に上式(1)に基づくアルファブレンドによりポリゴンgにマッピングする。
Claims (10)
- 視点の異なる複数のカメラ映像に基づいて仮想視点映像をレンダリングする仮想視点映像レンダリング装置において、
カメラ映像を取得する手段と、
カメラ映像に基づいて制作された3Dモデルを取得する手段と、
仮想視点を選択する手段と、
各カメラに前記仮想視点に基づく優先度を設定する手段と、
前記優先度に基づく順序で各カメラ映像のテクスチャを仮想視点および3Dモデルに基づいてカメラ単位で順次にマッピングする手段と、
一部のカメラのテクスチャのみがマッピングされたレンダリング途中の仮想視点映像を視聴させる手段とを具備し、
前記優先度を設定する手段は、仮想視点から最も近いカメラの優先度を最も高くし、当該優先度が最も高いカメラから最も遠いカメラの優先度を次に高くし、以降、優先度を設定済みの各カメラから遠いカメラほど優先度を高くすることを特徴とする仮想視点映像レンダリング装置。 - 前記一部のカメラの台数として、3Dモデルの制作に用いるカメラの台数よりも少ない台数を決定する手段を具備したことを特徴とする請求項1に記載の仮想視点映像レンダリング装置。
- 前記カメラ映像を取得する手段が取得するカメラ映像が符号化圧縮されており、
前記カメラ映像をデコードする手段を具備し、
前記デコードする手段は前記優先度に基づく順序でカメラ映像をデコードすることを特徴とする請求項1または2に記載の仮想視点映像レンダリング装置。 - 前記デコード手段は前記優先度が上位のカメラ映像から順に所定数ずつデコードし、
前記マッピングする手段はデコードされたカメラ映像のテクスチャを、前記優先度が上位のカメラ映像から順に所定数ずつマッピングすることを特徴とする請求項3に記載の仮想視点映像レンダリング装置。 - カメラ映像の提供元へ前記優先度に応じた順序でカメラ映像を転送させる手段をさらに具備したことを特徴とする請求項1ないし4のいずれかに記載の仮想視点映像レンダリング装置。
- 前記3Dモデルがポリゴンモデルであり、
前記カメラ映像を取得する手段は、3Dモデルと共に当該3Dモデルの各ポリゴンが各カメラから可視/不可視のいずれであるかを記録したオクルージョン情報を取得し、
テクスチャマッピングに用いないカメラのオクルージョン情報を不可視に書き替えることを特徴とする請求項1ないし5のいずれかに記載の仮想視点映像レンダリング装置。 - コンピュータが視点の異なる複数のカメラ映像に基づいて仮想視点映像をレンダリングする仮想視点映像レンダリング方法において、
カメラ映像を取得し、
カメラ映像に基づいて制作された3Dモデルを取得し、
仮想視点を選択し、
各カメラに前記仮想視点に基づく優先度を設定し、
前記優先度に基づく順序で各カメラ映像のテクスチャを仮想視点および3Dモデルに基づいてカメラ単位で順次にマッピングし、
一部のカメラのテクスチャのみがマッピングされたレンダリング途中の仮想視点映像を視聴させ、
前記優先度は、仮想視点から最も近いカメラの優先度を最も高くし、当該優先度が最も高いカメラから最も遠いカメラの優先度を次に高くし、以降、優先度を設定済みの各カメラから遠いカメラほど優先度を高くすることを特徴とする仮想視点映像レンダリング方法。 - 前記一部のカメラの台数として、3Dモデルの制作に用いるカメラの台数よりも少ない台数を決定することを特徴とする請求項7に記載の仮想視点映像レンダリング方法。
- 視点の異なる複数のカメラ映像に基づいて仮想視点映像をレンダリングする仮想視点映像レンダリングプログラムにおいて、
カメラ映像を取得する手順と、
カメラ映像に基づいて制作された3Dモデルを取得する手順と、
仮想視点を選択する手順と、
各カメラに前記仮想視点に基づく優先度を設定する手順と、
前記優先度に基づく順序で各カメラ映像のテクスチャを仮想視点および3Dモデルに基づいてカメラ単位で順次にマッピングする手順と、
一部のカメラのテクスチャのみがマッピングされたレンダリング途中の仮想視点映像を視聴させる手順と、
をコンピュータに実行させ、
前記優先度を設定する手順は、仮想視点から最も近いカメラの優先度を最も高くし、当該優先度が最も高いカメラから最も遠いカメラの優先度を次に高くし、以降、優先度を設定済みの各カメラから遠いカメラほど優先度を高くする仮想視点映像レンダリングプログラム。 - 前記一部のカメラの台数として、3Dモデルの制作に用いるカメラの台数よりも少ない台数を決定する手順を含むことを特徴とする請求項9に記載の仮想視点映像レンダリングプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020122643A JP7360366B2 (ja) | 2020-07-17 | 2020-07-17 | 仮想視点映像レンダリング装置、方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020122643A JP7360366B2 (ja) | 2020-07-17 | 2020-07-17 | 仮想視点映像レンダリング装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022019073A JP2022019073A (ja) | 2022-01-27 |
JP7360366B2 true JP7360366B2 (ja) | 2023-10-12 |
Family
ID=80204034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020122643A Active JP7360366B2 (ja) | 2020-07-17 | 2020-07-17 | 仮想視点映像レンダリング装置、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7360366B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072805A (ja) | 2004-09-03 | 2006-03-16 | Nippon Hoso Kyokai <Nhk> | 3次元モデル表示装置及び3次元モデル表示プログラム |
-
2020
- 2020-07-17 JP JP2020122643A patent/JP7360366B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072805A (ja) | 2004-09-03 | 2006-03-16 | Nippon Hoso Kyokai <Nhk> | 3次元モデル表示装置及び3次元モデル表示プログラム |
Non-Patent Citations (1)
Title |
---|
冨山仁博 他,局所的形状特徴に拘束された3次元形状復元手法とそのリアルタイム動画表示,映像情報メディア学会誌,日本,(社)映像情報メディア学会,2007年04月01日,第61巻第4号,p471-481 |
Also Published As
Publication number | Publication date |
---|---|
JP2022019073A (ja) | 2022-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11750786B2 (en) | Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image | |
CN108648257B (zh) | 全景画面的获取方法、装置、存储介质及电子装置 | |
US20020118217A1 (en) | Apparatus, method, program code, and storage medium for image processing | |
US10832468B2 (en) | Arbitrary view generation | |
CN113521735A (zh) | 一种基于多gpu的单帧画面实时渲染方法 | |
US20210217225A1 (en) | Arbitrary view generation | |
TW202029742A (zh) | 影像合成 | |
JP7320146B2 (ja) | ディスオクルージョンアトラスを用いたマルチビュービデオ動作のサポート | |
CN112446939A (zh) | 三维模型动态渲染方法、装置、电子设备及存储介质 | |
JP7344988B2 (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
CN114007059A (zh) | 视频压缩方法、解压方法、装置、电子设备及存储介质 | |
JP2022028091A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
US20230394701A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7360366B2 (ja) | 仮想視点映像レンダリング装置、方法およびプログラム | |
JP6572368B2 (ja) | 生成装置および生成方法、プログラム | |
CN114788287A (zh) | 对体积图像数据上的视图进行编码和解码 | |
WO2020012071A1 (en) | A method, an apparatus and a computer program product for volumetric video coding | |
US20220353530A1 (en) | Method and System for Encoding a 3D Scene | |
JP7204843B2 (ja) | 送信装置および送信方法、プログラム | |
WO2024053371A1 (ja) | 情報処理システム、および情報処理システムの作動方法、並びにプログラム | |
JP6894873B2 (ja) | 画像処理装置、方法及びプログラム | |
Nozick et al. | Online multiple view computation for autostereoscopic display | |
JP2023545139A (ja) | ビュー依存ポイントクラウドレンディションを使用する技法 | |
Furuya et al. | Dependent Quality Control on Microfacet Billboarding Model for Sports Video | |
CN115004701A (zh) | 用于动态图像虚拟化的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230927 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230929 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7360366 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |