JP7322460B2 - 情報処理装置、三次元モデルの生成方法、及びプログラム - Google Patents
情報処理装置、三次元モデルの生成方法、及びプログラム Download PDFInfo
- Publication number
- JP7322460B2 JP7322460B2 JP2019065691A JP2019065691A JP7322460B2 JP 7322460 B2 JP7322460 B2 JP 7322460B2 JP 2019065691 A JP2019065691 A JP 2019065691A JP 2019065691 A JP2019065691 A JP 2019065691A JP 7322460 B2 JP7322460 B2 JP 7322460B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- mask
- dimensional model
- generating
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
図1を参照しながら、本実施形態に係る三次元復元システムについて説明する。図1は、三次元復元システムの構成例を示した模式図である。
以下、上述した仕組みについての処理を実行する情報処理装置101の機能及びその機能を実現可能なハードウェアの例について説明する。
まず、図2を参照しながら、情報処理装置101のハードウェアについて説明する。図2は、情報処理装置の機能を実現可能なハードウェア構成例を示したブロック図である。後述する情報処理装置101の機能は、コンピュータプログラムを用いて図2に示すハードウェアを制御することにより実現されうる。
次に、図3を参照しながら、情報処理装置101の機能について説明する。図3は、情報処理装置が有する機能の一例を示したブロック図である。
記憶部111には、モデル情報111a、深度画像の集合111b、フィルタ情報111c、及びマスク画像の集合111dが格納される。
モデル生成部112は、三次元モデル復元機能112a、及びマスク処理機能112bを有する。三次元モデル復元機能112aは、対象物の三次元形状を復元し、テクスチャを貼り付けて三次元モデルを復元する機能である。マスク処理機能112bは、各視点に対応する撮影画像に対して、その撮影画像に対応するマスク画像を適用する機能である。
マスク生成部113は、深度画像生成機能113a、空間フィルタリング機能113b、及び二値化機能113cを有する。深度画像生成機能113aは、三次元形状から各視点の深度画像を生成する処理を実行する機能である。空間フィルタリング機能113bは、深度画像に空間フィルタリングを適用して、ボケや回折などの光学的な影響を除去するための処理を実行する機能である。二値化機能113cは、空間フィルタリング後の深度画像を二値化する処理を実行する機能である。
本実施形態に係る三次元復元の処理は、同じ対象物の多視点画像について繰り返し実行される。ここでは、図4を参照しながら、この繰り返し処理の流れについて説明する。図4は、三次元モデルの生成方法について説明するための説明図である。なお、以下の繰り返し処理についての説明では、事前に深度画像が得られていない場合(上述したデプスセンサなどによる測定を行っていない場合)を想定する。
ここで、図5を参照しながら、情報処理装置101が実行する処理の流れについて説明する。図5は、三次元モデルの生成に関する処理の流れを示したフロー図である。
20 背景領域
30 撮像装置
101 情報処理装置
102 記憶装置
103 表示装置
111 記憶部
111a モデル情報
111b 深度画像の集合
111c フィルタ情報の集合
111d マスク画像の集合
112 モデル生成部
112a 三次元モデル復元機能
112b マスク処理機能
113 マスク生成部113
113a 深度画像生成機能
113b 空間フィルタ機能
113c 二値化機能
P0、…、P24 撮影画像
dP0、…、dP24 深度画像
mP0、…、mP24 マスク画像
M10a 三次元モデル
Claims (4)
- 複数の異なる視点から対象物を撮影した複数の撮像画像が格納される記憶部と、
前記複数の撮像画像から前記対象物の三次元モデルを生成するモデル生成部と、
各視点から見た前記三次元モデルの深度画像を生成し、前記深度画像の中で、深度に対応する階調値の勾配に基づく評価値が所定の閾値より大きい特定領域を抽出し、前記各視点に対応する撮像画像から前記特定領域を除去するためのマスク画像を生成するマスク生成部と、を備え、
前記モデル生成部は、前記複数の撮像画像のそれぞれから前記マスク画像に基づいて前記特定領域を除去し、除去後の撮像画像に基づいて前記対象物の三次元モデルを新たに生成する、情報処理装置。 - 前記マスク生成部により、新たに生成された前記三次元モデルについて前記マスク画像を生成する第1の工程と、前記第1の工程で生成された前記マスク画像に基づいて前記除去後の撮像画像を生成する第2の工程と、前記除去後の撮像画像に基づいて前記対象物の三次元モデルを新たに生成する第3の工程と、を繰り返し実行する、
請求項1に記載の情報処理装置。 - コンピュータが、
複数の異なる視点から対象物を撮影した複数の撮像画像を取得し、
前記複数の撮像画像から前記対象物の三次元モデルを生成し、
各視点から見た前記三次元モデルの深度画像を生成し、前記深度画像の中で、深度に対応する階調値の勾配に基づく評価値が所定の閾値より大きい特定領域を抽出し、前記各視点に対応する撮像画像から前記特定領域を除去するためのマスク画像を生成し、
前記複数の撮像画像のそれぞれから前記マスク画像に基づいて前記特定領域を除去し、除去後の撮像画像に基づいて前記対象物の三次元モデルを新たに生成する
処理を実行する、三次元モデルの生成方法。 - コンピュータに、
複数の異なる視点から対象物を撮影した複数の撮像画像を取得し、
前記複数の撮像画像から前記対象物の三次元モデルを生成し、
各視点から見た前記三次元モデルの深度画像を生成し、前記深度画像の中で、深度に対応する階調値の勾配に基づく評価値が所定の閾値より大きい特定領域を抽出し、前記各視点に対応する撮像画像から前記特定領域を除去するためのマスク画像を生成し、
前記複数の撮像画像のそれぞれから前記マスク画像に基づいて前記特定領域を除去し、除去後の撮像画像に基づいて前記対象物の三次元モデルを新たに生成する
処理を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019065691A JP7322460B2 (ja) | 2019-03-29 | 2019-03-29 | 情報処理装置、三次元モデルの生成方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019065691A JP7322460B2 (ja) | 2019-03-29 | 2019-03-29 | 情報処理装置、三次元モデルの生成方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020166498A JP2020166498A (ja) | 2020-10-08 |
JP7322460B2 true JP7322460B2 (ja) | 2023-08-08 |
Family
ID=72717495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019065691A Active JP7322460B2 (ja) | 2019-03-29 | 2019-03-29 | 情報処理装置、三次元モデルの生成方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7322460B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113763268B (zh) * | 2021-08-26 | 2023-03-28 | 中国科学院自动化研究所 | 人脸图像盲修复方法及系统 |
WO2024034449A1 (ja) * | 2022-08-06 | 2024-02-15 | モルゲンロット株式会社 | 情報処理装置、及び情報処理方法 |
WO2024080121A1 (ja) * | 2022-10-14 | 2024-04-18 | ソニーグループ株式会社 | 情報処理装置および方法 |
WO2024080120A1 (ja) * | 2022-10-14 | 2024-04-18 | ソニーグループ株式会社 | 情報処理装置および方法、並びに、情報処理システム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015224909A (ja) | 2014-05-27 | 2015-12-14 | シャープ株式会社 | 3次元計測装置及び3次元計測方法 |
WO2019031259A1 (ja) | 2017-08-08 | 2019-02-14 | ソニー株式会社 | 画像処理装置および方法 |
-
2019
- 2019-03-29 JP JP2019065691A patent/JP7322460B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015224909A (ja) | 2014-05-27 | 2015-12-14 | シャープ株式会社 | 3次元計測装置及び3次元計測方法 |
WO2019031259A1 (ja) | 2017-08-08 | 2019-02-14 | ソニー株式会社 | 画像処理装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020166498A (ja) | 2020-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7322460B2 (ja) | 情報処理装置、三次元モデルの生成方法、及びプログラム | |
TWI441095B (zh) | 距離估算方法及其距離估算裝置,及其機器可讀取媒體 | |
Ren et al. | Face video deblurring using 3D facial priors | |
Perra et al. | An analysis of 3D point cloud reconstruction from light field images | |
Li et al. | Detail-preserving and content-aware variational multi-view stereo reconstruction | |
CN113012293B (zh) | 石刻模型构建方法、装置、设备及存储介质 | |
JP2009536499A (ja) | 2次元画像から3次元オブジェクトを再構成するシステム及び方法 | |
CN111080776B (zh) | 人体动作三维数据采集和复现的处理方法及系统 | |
EP2564234A1 (en) | Range measurement using a coded aperture | |
KR102516495B1 (ko) | 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치 | |
Alsadik et al. | Efficient use of video for 3D modelling of cultural heritage objects | |
Paramanand et al. | Shape from sharp and motion-blurred image pair | |
CN116012432A (zh) | 立体全景图像的生成方法、装置和计算机设备 | |
CN112243518A (zh) | 获取深度图的方法、装置及计算机存储介质 | |
Chen et al. | Focus manipulation detection via photometric histogram analysis | |
JP6867645B2 (ja) | 画像処理装置、方法、及びプログラム | |
CN111951373B (zh) | 一种人脸图像的处理方法和设备 | |
Krishnamoorthy et al. | An enhanced method for object removal using exemplar-based image inpainting | |
KR20180034237A (ko) | 화상 처리장치, 화상 처리방법, 기억매체 및 프로그램 | |
Chlubna et al. | Real-time per-pixel focusing method for light field rendering | |
Zheng et al. | Joint residual pyramid for joint image super-resolution | |
JP2022516298A (ja) | 対象物を3d再構築するための方法 | |
CN111105370A (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
Grossauer | Inpainting of movies using optical flow | |
CN115564639A (zh) | 背景虚化方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230710 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7322460 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |