JPWO2021048107A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2021048107A5 JPWO2021048107A5 JP2022516051A JP2022516051A JPWO2021048107A5 JP WO2021048107 A5 JPWO2021048107 A5 JP WO2021048107A5 JP 2022516051 A JP2022516051 A JP 2022516051A JP 2022516051 A JP2022516051 A JP 2022516051A JP WO2021048107 A5 JPWO2021048107 A5 JP WO2021048107A5
- Authority
- JP
- Japan
- Prior art keywords
- image
- model
- processing
- quality metric
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims 27
- 238000013442 quality metrics Methods 0.000 claims 25
- 230000015572 biosynthetic process Effects 0.000 claims 19
- 238000003786 synthesis reaction Methods 0.000 claims 19
- 238000005259 measurement Methods 0.000 claims 4
- 238000009877 rendering Methods 0.000 claims 4
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 238000004590 computer program Methods 0.000 claims 1
Claims (20)
カメラ構成の複数のカメラポーズに対する仮想キャプチャ画像を生成し、
前記モデルに基づいて前記カメラポーズに対する画像をレンダリングすることによって、前記仮想キャプチャ画像を生成する、
キャプチャ回路と、
前記モデルから前記仮想キャプチャ画像のモデル深度データを生成する深度生成回路と、
第1の処理を実行する第1の合成回路であって、
前記第1の処理は、前記シーンの領域内の複数の試験ポーズに対する第1のビュー画像を生成するように、前記モデル深度データに基づいて前記仮想キャプチャ画像を処理する、
第1の合成回路と、
前記仮想キャプチャ画像に基づいて前記仮想キャプチャ画像に対する推定深度データを生成する深度推定回路と、
第2の処理を実行する第2の合成回路であって、
前記第2の処理は、前記複数の試験ポーズに対する第2のビュー画像を生成するように、前記推定深度データに基づいて前記仮想キャプチャ画像を処理する、
第2の合成回路と、
前記モデルに基づいて前記複数の試験ポーズに対する画像をレンダリングすることによって、前記複数の試験ポーズに対する参照画像を生成する参照回路と、
前記カメラ構成、前記第1の処理、及び前記第2の処理のうちの少なくとも1つに対する品質メトリックを生成する品質回路であって、
前記第1の処理及び前記第2の処理は、前記第1のビュー画像、前記第2のビュー画像、及び前記参照画像の比較を用いる、
品質回路と
を備える、装置。 a memory circuit that stores a scene model;
Generate virtual capture images for multiple camera poses of the camera configuration,
generating the virtual capture image by rendering an image for the camera pose based on the model;
a capture circuit,
a depth generation circuit that generates model depth data of the virtual captured image from the model;
A first synthesis circuit that executes a first process,
The first processing processes the virtual captured image based on the model depth data to generate a first view image for a plurality of test poses within a region of the scene.
a first synthesis circuit;
a depth estimation circuit that generates estimated depth data for the virtual capture image based on the virtual capture image;
a second synthesis circuit that executes a second process,
The second processing processes the virtual capture image based on the estimated depth data to generate a second view image for the plurality of test poses.
a second synthesis circuit;
a reference circuit that generates reference images for the plurality of test poses by rendering images for the plurality of test poses based on the model;
A quality circuit that generates a quality metric for at least one of the camera configuration, the first process , and the second process , the quality circuit comprising:
The first processing and the second processing use a comparison of the first view image, the second view image, and the reference image,
A device comprising a quality circuit .
前記第1の処理及び前記第2の処理のうちの少なくとも1つは、前記深度マップモデルを使用して、前記複数の試験ポーズのうちの試験ポーズに、前記第1の仮想キャプチャ画像をビューシフトすることを含む、請求項1に記載の装置。 At least one of the first process and the second process view-shifts the first virtual captured image to a test pose of the plurality of test poses using the depth map model. 2. The apparatus of claim 1, comprising:
前記深度モデルは、前記仮想キャプチャ画像から決定され、 the depth model is determined from the virtual captured image;
前記第1の処理及び前記第2の処理のうちの少なくとも1つは、前記仮想キャプチャ画像のうちの少なくとも1つの仮想キャプチャ画像を使用して、各3Dポイントの色を決定することを含み、 At least one of the first process and the second process includes determining a color of each 3D point using at least one of the virtual capture images;
前記第1の処理及び前記第2の処理のうちの少なくとも1つは、前記3Dポイントの投影に基づいて、前記複数の試験ポーズのうちの試験ポーズのための新しい画像を合成することを含む、請求項1に記載の装置。 At least one of the first processing and the second processing includes synthesizing a new image for a test pose of the plurality of test poses based on the projection of the 3D points. A device according to claim 1.
前記品質回路は、前記第1の品質メトリック及び前記第2の品質メトリックの両方に応じて、前記複数のカメラ構成の中から選択する、請求項4に記載の装置。 5. The apparatus of claim 4, wherein the quality circuit selects among the plurality of camera configurations depending on both the first quality metric and the second quality metric.
前記品質回路は、前記第2のビュー画像に対する前記信号対雑音測定値に応じて前記品質メトリックを生成する、請求項1に記載の装置。 the quality circuit generates a signal-to-noise measurement for each second view image;
2. The apparatus of claim 1 , wherein the quality circuit generates the quality metric in response to the signal-to-noise measurements for the second view image.
試験位置は、2次元又は3次元配置を形成する、請求項1に記載の装置。 The camera positions form a one-dimensional arrangement ,
2. The apparatus of claim 1, wherein the test locations form a two-dimensional or three-dimensional arrangement.
シーンのモデルを格納するステップと、
前記モデルに基づいてカメラポーズに対する画像をレンダリングすることによって、カメラ構成の複数の前記カメラポーズに対する仮想キャプチャ画像を生成するステップと、
前記モデルから前記仮想キャプチャ画像に対するモデル深度データを生成するステップと、
前記モデル深度データに基づいて前記仮想キャプチャ画像を処理して、前記シーンの領域内の複数の試験ポーズに対する第1のビュー画像を生成するステップと、
前記仮想キャプチャ画像に基づいて、前記仮想キャプチャ画像に対する推定深度データを生成するステップと、
前記推定深度データに基づいて前記仮想キャプチャ画像を処理して、前記複数の試験ポーズに対する第2のビュー画像を生成するステップと、
前記モデルに基づいて前記複数の試験ポーズに対する画像をレンダリングすることによって、前記複数の試験ポーズに対する参照画像を生成するステップと、
前記カメラ構成、前記第1のビュー画像を生成する処理、及び前記第2のビュー画像を生成する処理のうちの少なくとも1つに対する品質メトリックを生成するステップであって、前記第1のビュー画像を生成する処理及び前記第2のビュー画像を生成する処理は、前記第1のビュー画像、前記第2のビュー画像、及び前記参照画像の比較を使用する、品質メトリックを生成するステップと
を有する、方法。 A method of evaluating the quality of image capture, the method comprising:
storing a model of the scene;
generating virtual captured images for a plurality of camera poses of a camera configuration by rendering images for the camera poses based on the model;
generating model depth data for the virtual captured image from the model;
processing the virtual captured image based on the model depth data to generate a first view image for a plurality of test poses within the region of the scene;
generating estimated depth data for the virtual capture image based on the virtual capture image;
processing the virtual capture image based on the estimated depth data to generate a second view image for the plurality of test poses;
generating reference images for the plurality of test poses by rendering images for the plurality of test poses based on the model;
generating a quality metric for at least one of the camera configuration, the process of generating the first view image, and the process of generating the second view image , the step of: The process of generating and the process of generating the second view image includes the step of generating a quality metric using a comparison of the first view image, the second view image, and the reference image.
A method having .
前記第1の合成回路による処理及び前記第2の合成回路による処理のうちの少なくとも1つは、前記深度マップモデルを使用して、前記複数の試験ポーズのうちの試験ポーズに、前記第1の仮想キャプチャ画像をビューシフトすることを含む、請求項14に記載の方法。 At least one of the processing by the first synthesis circuit and the processing by the second synthesis circuit uses the depth map model to apply the first synthesis circuit to the test pose of the plurality of test poses. 15. The method of claim 14, comprising view shifting the virtual captured image.
前記深度モデルは、前記仮想キャプチャ画像から決定され、 the depth model is determined from the virtual captured image;
前記第1の合成回路による処理及び前記第2の合成回路による処理のうちの少なくとも1つは、前記仮想キャプチャ画像のうちの少なくとも1つの仮想キャプチャ画像を使用して、各3Dポイントの色を決定することを含み、 At least one of the processing by the first synthesis circuit and the processing by the second synthesis circuit determines the color of each 3D point using at least one of the virtual capture images. including doing;
前記第1の合成回路による処理及び前記第2の合成回路による処理のうちの少なくとも1つは、前記3Dポイントの投影に基づいて、前記複数の試験ポーズのうちの試験ポーズのための新しい画像を合成することを含む、請求項14に記載の方法。 At least one of the processing by the first synthesis circuit and the processing by the second synthesis circuit generates a new image for a test pose of the plurality of test poses based on the projection of the 3D points. 15. The method of claim 14, comprising synthesizing.
前記第1の品質メトリック及び前記第2の品質メトリックの両方に応じて、前記複数のカメラ構成の中から選択するステップとをさらに有する、請求項18に記載の方法。 19. The method of claim 18, further comprising selecting among the plurality of camera configurations depending on both the first quality metric and the second quality metric.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19196992.2A EP3792877A1 (en) | 2019-09-12 | 2019-09-12 | Apparatus and method for evaluating a quality of image capture of a scene |
EP19196992.2 | 2019-09-12 | ||
PCT/EP2020/075045 WO2021048107A1 (en) | 2019-09-12 | 2020-09-08 | Apparatus and method for evaluating a quality of image capture of a scene |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022548853A JP2022548853A (en) | 2022-11-22 |
JPWO2021048107A5 true JPWO2021048107A5 (en) | 2024-03-21 |
JP7527351B2 JP7527351B2 (en) | 2024-08-02 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8655052B2 (en) | Methodology for 3D scene reconstruction from 2D image sequences | |
JP6351238B2 (en) | Image processing apparatus, imaging apparatus, and distance correction method | |
KR101655078B1 (en) | Method and apparatus for generating moving photograph | |
JP2019125929A5 (en) | ||
KR101136506B1 (en) | Image generation method, device, its program and recording medium stored with program | |
US9589369B2 (en) | Method and arrangement for improved image matching | |
CN112233212A (en) | Portrait editing and composition | |
KR20110086826A (en) | Method, apparatus and software for determining motion vectors | |
WO2017124298A1 (en) | Video encoding and decoding method, and inter-frame prediction method, apparatus, and system thereof | |
JP2023030007A5 (en) | ||
CN110852965A (en) | Video illumination enhancement method and system based on generation countermeasure network | |
JPWO2018225133A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2018067106A (en) | Image processing system, image processing program, and image processing method | |
CN111813689B (en) | Game testing method, apparatus and medium | |
JP2019079114A (en) | Image processing device, image processing method, and program | |
JP2019016230A (en) | Learning device, image combining device, learning method, image combining method, and program | |
US11475629B2 (en) | Method for 3D reconstruction of an object | |
JP2021197082A5 (en) | Information processing device, information processing method and program | |
CN115334308B (en) | Learning model-oriented coding decision processing method, device and equipment | |
JPWO2021048107A5 (en) | ||
JP2010250560A (en) | Image processing apparatus and method thereof | |
JP5043849B2 (en) | Variable shape motion estimation in video sequences | |
CN113614791A (en) | Dynamic three-dimensional imaging method | |
US11783493B2 (en) | Obtaining high resolution and dense reconstruction of face from sparse facial markers | |
JP5752011B2 (en) | Image processing apparatus, image processing method, program, and storage medium |