JP7197526B2 - 画像処理装置、方法及びプログラム - Google Patents
画像処理装置、方法及びプログラム Download PDFInfo
- Publication number
- JP7197526B2 JP7197526B2 JP2020012384A JP2020012384A JP7197526B2 JP 7197526 B2 JP7197526 B2 JP 7197526B2 JP 2020012384 A JP2020012384 A JP 2020012384A JP 2020012384 A JP2020012384 A JP 2020012384A JP 7197526 B2 JP7197526 B2 JP 7197526B2
- Authority
- JP
- Japan
- Prior art keywords
- occlusion
- image
- projected
- map
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
(1) 当該画素位置は、3次元モデルのオブジェクトが投影される位置であるか否か
(2) 上記(1)が肯定(投影位置である)の場合、オクルージョンを発生させうる位置であるか否か
(3) 上記(2)が否定(オクルージョンを発生させうる画素位置ではない)の場合、投影されている単一のオブジェクトのID
(4) 上記(2)が肯定(オクルージョンを発生させうる画素位置である)の場合、分離マップで与えられるオブジェクトIDに関して、最もカメラ位置に近いものでありオクルージョンを発生させないオブジェクトである旨の情報と、分離マップで与えられるオブジェクトIDとは別IDのオブジェクトで投影されているものに関して、オクルージョンが発生しているオブジェクトである旨の情報
・オブジェクトOB1に関して領域R1の全体が投影結果として対応しており、且つ、オクルージョンを発生させない領域である。
・オブジェクトOB2に関して領域R2の全体が投影結果として対応しており、領域R2は2つの部分領域R21及びR22からなり、部分領域R21(白色部分)はオブジェクトOB2のみが投影されることでオクルージョンが発生しない領域であり、部分領域R22(灰色部分)はオブジェクトOB2よりも手前側(カメラに近い側)にオブジェクトOB1が投影されていることから、オブジェクトOB2に関してオクルージョンが発生する領域である。
・オブジェクトOB3に関して領域R3の全体が投影結果として対応しており、且つ、オクルージョンを発生させない領域である。
・領域R10(図5に示される、領域R1から部分領域R22を除いた領域)ではオブジェクトOB1のみが投影され、オクルージョンが発生しない。
・領域R22ではオブジェクトOB1及びOB2の2個が投影され、オブジェクトOB1に関してオクルージョンは発生しないが、オブジェクトOB2に関してオクルージョンが発生する。
・領域R21ではオブジェクトOB2のみが投影され、オクルージョンが発生しない。
・領域R3ではオブジェクトOB3のみが投影され、オクルージョンが発生しない。
・以上の各領域R10,R22,R21,R3以外の領域には、オブジェクトが投影されていない。
[1] dI=100000
[2] For J = 1:n
[3] Compute dI J,
[4] dI=min{ dI J, dI },
[5] End
[6] dI=分離マップの値
[7] For J = 1:n
[8] Compute dI J,
[9] if (dI J == dI) Output("dI Jはオクルージョン無し"),
[10] else Output("dI Jはオクルージョン有り"),
[11] End
1…モデル生成部、2…画像生成部
Claims (6)
- 多視点画像より生成される複数オブジェクトの3次元モデルに対して、当該3次元モデルの面要素を指定されるカメラ視点の画像平面上へと投影して、各画素位置について、当該投影された面要素のうち距離が最も近いオブジェクトの識別子を与えた分離マップを生成する第1生成部と、
前記3次元モデルの面要素を前記指定されるカメラ視点の画像平面上へと投影して、各画素位置について、前記分離マップで与えられる識別子とは異なるオブジェクトの面要素が投影されている場合にオクルージョン発生の旨を識別することで、オクルージョンマップを生成する第2生成部と、を備えることを特徴とする画像処理装置。 - 前記第2生成部では、前記3次元モデルの面要素を前記指定されるカメラ視点の画像平面上へと投影して、各画素位置について、前記分離マップで与えられる識別子とは異なるオブジェクトの面要素が投影されている場合に、当該異なるオブジェクトに関してオクルージョン発生の旨を識別し、且つ、前記分離マップで与えられる識別子に対応するオブジェクトについてはオクルージョンが発生しない旨を識別することで、オクルージョンマップを生成することを特徴とする請求項1に記載の画像処理装置。
- 前記多視点画像と前記3次元モデルとを用いて、ユーザ指定される仮想視点において前記3次元モデルを描画することで自由視点画像を生成する画像生成部をさらに備え、
前記画像生成部は、描画対象となるオブジェクトを前記多視点画像のいずれかの視点画像のテクスチャを用いて描画する際に、当該視点画像に対応するものとして前記第2生成部で生成されたオクルージョンマップを参照し、当該オブジェクトに関してオクルージョン判定されている領域のテクスチャは描画に用いないことを特徴とする請求項2に記載の画像処理装置。 - 前記3次元モデルの面要素は多角形として与えられ、各辺には有向線分として当該多角形を1周する向きが、前記3次元モデルの内部から外部に向かう当該多角形の法線方向と対応する向きとして定められており、
前記第1生成部及び前記第2生成部では、面要素の各有向線分を前記指定されるカメラ視点の画像平面へと投影し、各画素位置において、当該投影された面要素の全ての有向線分から見て当該画像位置が右手側又は左手側のいずれかで統一されている場合に、当該面要素は当該画素位置に対して投影されているものとして判定することを特徴とする請求項1ないし3のいずれかに記載の画像処理装置。 - 多視点画像より生成される複数オブジェクトの3次元モデルに対して、当該3次元モデルの面要素を指定されるカメラ視点の画像平面上へと投影して、各画素位置について、当該投影された面要素のうち距離が最も近いオブジェクトの識別子を与えた分離マップを生成する第1生成段階と、
前記3次元モデルの面要素を前記指定されるカメラ視点の画像平面上へと投影して、 各画素位置について、前記分離マップで与えられる識別子とは異なるオブジェクトの面要素が投影されている場合にオクルージョン発生の旨を識別することで、オクルージョンマップを生成する第2生成段階と、を備えることを特徴とする画像処理方法。 - 多視点画像より生成される複数オブジェクトの3次元モデルに対して、当該3次元モデルの面要素を指定されるカメラ視点の画像平面上へと投影して、各画素位置について、当該投影された面要素のうち距離が最も近いオブジェクトの識別子を与えた分離マップを生成する第1生成段階と、
前記3次元モデルの面要素を前記指定されるカメラ視点の画像平面上へと投影して、 各画素位置について、前記分離マップで与えられる識別子とは異なるオブジェクトの面要素が投影されている場合にオクルージョン発生の旨を識別することで、オクルージョンマップを生成する第2生成段階と、をコンピュータに実行させることを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020012384A JP7197526B2 (ja) | 2020-01-29 | 2020-01-29 | 画像処理装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020012384A JP7197526B2 (ja) | 2020-01-29 | 2020-01-29 | 画像処理装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021117876A JP2021117876A (ja) | 2021-08-10 |
JP7197526B2 true JP7197526B2 (ja) | 2022-12-27 |
Family
ID=77175691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020012384A Active JP7197526B2 (ja) | 2020-01-29 | 2020-01-29 | 画像処理装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7197526B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000268188A (ja) | 1999-03-17 | 2000-09-29 | Fujitsu Ltd | オクルージョンカリングを行う3次元グラフィックス描画装置および方法 |
JP2018163467A (ja) | 2017-03-24 | 2018-10-18 | Kddi株式会社 | 自由視点画像の生成表示方法、装置およびプログラム |
JP2020013216A (ja) | 2018-07-13 | 2020-01-23 | キヤノン株式会社 | 装置、制御方法、及びプログラム |
-
2020
- 2020-01-29 JP JP2020012384A patent/JP7197526B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000268188A (ja) | 1999-03-17 | 2000-09-29 | Fujitsu Ltd | オクルージョンカリングを行う3次元グラフィックス描画装置および方法 |
JP2018163467A (ja) | 2017-03-24 | 2018-10-18 | Kddi株式会社 | 自由視点画像の生成表示方法、装置およびプログラム |
JP2020013216A (ja) | 2018-07-13 | 2020-01-23 | キヤノン株式会社 | 装置、制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021117876A (ja) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10109055B2 (en) | Multiple hypotheses segmentation-guided 3D object detection and pose estimation | |
Alexiadis et al. | Real-time, full 3-D reconstruction of moving foreground objects from multiple consumer depth cameras | |
Hauswiesner et al. | Virtual try-on through image-based rendering | |
Vedula et al. | Modeling, combining, and rendering dynamic real-world events from image sequences | |
CN104331918A (zh) | 基于深度图实时绘制室外地表遮挡剔除以及加速方法 | |
CN112651881B (zh) | 图像合成方法、装置、设备、存储介质以及程序产品 | |
JP7038683B2 (ja) | 合成装置、方法及びプログラム | |
Kawai et al. | Diminished reality for AR marker hiding based on image inpainting with reflection of luminance changes | |
CN112784621A (zh) | 图像显示方法及设备 | |
Anbarjafari et al. | 3D face reconstruction with region based best fit blending using mobile phone for virtual reality based social media | |
JP2023172882A (ja) | 三次元表現方法及び表現装置 | |
US7280685B2 (en) | Object segmentation from images acquired by handheld cameras | |
Starck et al. | Virtual view synthesis of people from multiple view video sequences | |
Baudron et al. | E3d: event-based 3d shape reconstruction | |
JP6901885B2 (ja) | 前景抽出装置及びプログラム | |
JP7078564B2 (ja) | 画像処理装置及びプログラム | |
Hauswiesner et al. | Coherent image-based rendering of real-world objects | |
JP7197526B2 (ja) | 画像処理装置、方法及びプログラム | |
JP2021033682A (ja) | 画像処理装置、方法及びプログラム | |
Cushen et al. | Markerless real-time garment retexturing from monocular 3d reconstruction | |
Siegmund et al. | Virtual Fitting Pipeline: Body Dimension Recognition, Cloth Modeling, and On-Body Simulation. | |
Villa-Uriol et al. | Automatic creation of three-dimensional avatars | |
Chen et al. | Image synthesis from a sparse set of views | |
Kimura et al. | 3D reconstruction based on epipolar geometry | |
Hwang et al. | Image-based object reconstruction using run-length representation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7197526 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |