JP6829922B1 - 情報処理装置、3dモデル生成方法、及びプログラム - Google Patents
情報処理装置、3dモデル生成方法、及びプログラム Download PDFInfo
- Publication number
- JP6829922B1 JP6829922B1 JP2020545605A JP2020545605A JP6829922B1 JP 6829922 B1 JP6829922 B1 JP 6829922B1 JP 2020545605 A JP2020545605 A JP 2020545605A JP 2020545605 A JP2020545605 A JP 2020545605A JP 6829922 B1 JP6829922 B1 JP 6829922B1
- Authority
- JP
- Japan
- Prior art keywords
- model
- subject
- whole body
- head
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Stored Programmes (AREA)
Abstract
Description
図1は、一実施形態に係る3Dデータシステム1の概要を示す図である。3Dデータシステム1は、被写体すなわち対象物の3Dモデルを生成する機能を有する。この例において、被写体は人間又は動物等の生き物である。3Dモデルとは、コンピュータ上の仮想空間において対象物を3次元的に表現する情報である。
図5は、3Dデータシステム1の動作を例示するシーケンスチャートである。以下において記憶手段31等の機能構成要素を処理の主体として説明するが、これは、クライアントプログラム等のソフトウェアを実行しているCPU301等のハードウェア要素が、他のハードウェア要素と協働して処理を実行することを意味する。図5のフローが開始される前の時点において、端末装置30にはクライアントアプリケーションがインストールされ、クライアントアプリケーションが起動される。
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例に記載した事項のうち2つ以上のものが組み合わせて用いられてもよい。
Claims (7)
- 所定のポーズを取った被写体の全身を撮影する第1撮影手段と、
前記被写体の顔を撮影する第2撮影手段と、
前記第1撮影手段により撮影された画像を用いて生成された、前記被写体の全身の3Dモデルを取得する第1取得手段と、
前記第2撮影手段により撮影された画像を用いて生成された、前記被写体の頭部の3Dモデルを取得する第2取得手段と、
前記全身の3Dモデルの頭部に、前記頭部の3Dモデルを合成する合成手段と
を有し、
前記第1取得手段は、前記所定のポーズを取った複数の人について、デプス情報が無い全身の2次元画像を入力層に、全身の3Dモデルを出力層に、教師データとして与えて学習させた機械学習モデルを用いて生成された前記被写体の全身の3Dモデルを取得し、
前記教師データは、仮想空間において3Dモデルを仮想カメラで撮影して得られた疑似画像を前記入力層に与えるデータとして含む
情報処理装置。 - 前記第1撮影手段は、前記所定のポーズを取った被写体の全身を一方向に回転しながら複数の画像を撮影し、
前記第1取得手段は、前記第1撮影手段により撮影された複数の画像を用いて生成された、前記被写体の全身の3Dモデルを取得する
請求項1に記載の情報処理装置。 - 前記第1撮影手段は、前記被写体の姿勢を検知し、前記被写体の姿勢が前記所定のポーズから外れたことが検知された場合、当該被写体に警告をする
請求項2に記載の情報処理装置。 - 前記第2取得手段は、前記第2撮影手段により撮影された1枚の画像を用いて生成された、前記被写体の頭部の3Dモデルを取得する
請求項1乃至3のいずれか一項に記載の情報処理装置。 - 前記第2取得手段は、複数の人について、デプス情報が無い顔の2次元画像を入力層に、頭部の3Dモデルを出力層に、教師データとして与えて学習させた機械学習モデルを用いて生成された前記被写体の頭部の3Dモデルを取得する
請求項1乃至4のいずれか一項に記載の情報処理装置。 - 携帯端末が、所定のポーズを取った被写体の全身を撮影するステップと、
前記携帯端末が、前記被写体の顔を撮影するステップと、前記携帯端末が、前記撮影された前記被写体の全身の画像から、前記被写体の全身の3Dモデルを取得するステップと、
前記携帯端末が、前記撮影された前記被写体の顔の画像を用いて生成された、前記被写体の頭部の3Dモデルを取得するステップと、
前記携帯端末が、前記全身の3Dモデルの頭部に、前記頭部の3Dモデルを合成するステップと
を有し、
前記被写体の全身の3Dモデルを取得するステップにおいて、前記所定のポーズを取った複数の人について、デプス情報が無い全身の2次元画像を入力層に、全身の3Dモデルを出力層に、教師データとして与えて学習させた機械学習モデルを用いて生成された前記被写体の全身の3Dモデルが取得され、
前記教師データは、仮想空間において3Dモデルを仮想カメラで撮影して得られた疑似画像を前記入力層に与えるデータとして含む
3Dモデル生成方法。 - コンピュータに、
所定のポーズを取った被写体の全身を撮影するステップと、
前記被写体の顔を撮影するステップと、第1撮影手段により撮影された画像から、前記被写体の全身の3Dモデルを取得するステップと、
第2撮影手段により撮影された画像を用いて生成された、前記被写体の頭部の3Dモデルを取得するステップと、
前記全身の3Dモデルの頭部に、前記頭部の3Dモデルを合成するステップと
を実行させるためのプログラムであって、
前記被写体の全身の3Dモデルを取得するステップにおいて、前記所定のポーズを取った複数の人について、デプス情報が無い全身の2次元画像を入力層に、全身の3Dモデルを出力層に、教師データとして与えて学習させた機械学習モデルを用いて生成された前記被写体の全身の3Dモデルが取得され、
前記教師データは、仮想空間において3Dモデルを仮想カメラで撮影して得られた疑似画像を前記入力層に与えるデータとして含む
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020195413A JP2022023755A (ja) | 2020-07-27 | 2020-11-25 | 情報処理装置、3dモデル生成方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/028759 WO2022024199A1 (ja) | 2020-07-27 | 2020-07-27 | 情報処理装置、3dモデル生成方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020195413A Division JP2022023755A (ja) | 2020-07-27 | 2020-11-25 | 情報処理装置、3dモデル生成方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6829922B1 true JP6829922B1 (ja) | 2021-02-17 |
JPWO2022024199A1 JPWO2022024199A1 (ja) | 2022-02-03 |
Family
ID=74562325
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020545605A Active JP6829922B1 (ja) | 2020-07-27 | 2020-07-27 | 情報処理装置、3dモデル生成方法、及びプログラム |
JP2020195413A Pending JP2022023755A (ja) | 2020-07-27 | 2020-11-25 | 情報処理装置、3dモデル生成方法、及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020195413A Pending JP2022023755A (ja) | 2020-07-27 | 2020-11-25 | 情報処理装置、3dモデル生成方法、及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230290050A1 (ja) |
EP (1) | EP4191542A4 (ja) |
JP (2) | JP6829922B1 (ja) |
CN (1) | CN114503161A (ja) |
TW (2) | TW202333115A (ja) |
WO (1) | WO2022024199A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006163950A (ja) * | 2004-12-08 | 2006-06-22 | Advanced Telecommunication Research Institute International | 固有空間学習装置、固有空間学習方法及び固有空間プログラム |
JP2018044812A (ja) * | 2016-09-13 | 2018-03-22 | 株式会社Vrc | 3dスキャナ |
US20190035149A1 (en) * | 2015-08-14 | 2019-01-31 | Metail Limited | Methods of generating personalized 3d head models or 3d body models |
WO2019049298A1 (ja) * | 2017-09-08 | 2019-03-14 | 株式会社Vrc | 3dデータシステム及び3dデータ処理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010087599A (ja) * | 2008-09-29 | 2010-04-15 | Fujifilm Corp | 撮像装置、方法およびプログラム |
CN110959286A (zh) * | 2017-07-31 | 2020-04-03 | 索尼公司 | 图像处理装置、图像处理方法、程序以及远程通讯系统 |
CN111435550A (zh) * | 2019-01-11 | 2020-07-21 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
-
2020
- 2020-07-27 WO PCT/JP2020/028759 patent/WO2022024199A1/ja active Application Filing
- 2020-07-27 US US18/017,736 patent/US20230290050A1/en active Pending
- 2020-07-27 CN CN202080069570.XA patent/CN114503161A/zh active Pending
- 2020-07-27 JP JP2020545605A patent/JP6829922B1/ja active Active
- 2020-07-27 EP EP20947129.1A patent/EP4191542A4/en active Pending
- 2020-11-25 JP JP2020195413A patent/JP2022023755A/ja active Pending
-
2021
- 2021-07-16 TW TW112113948A patent/TW202333115A/zh unknown
- 2021-07-16 TW TW110126282A patent/TWI801936B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006163950A (ja) * | 2004-12-08 | 2006-06-22 | Advanced Telecommunication Research Institute International | 固有空間学習装置、固有空間学習方法及び固有空間プログラム |
US20190035149A1 (en) * | 2015-08-14 | 2019-01-31 | Metail Limited | Methods of generating personalized 3d head models or 3d body models |
JP2018044812A (ja) * | 2016-09-13 | 2018-03-22 | 株式会社Vrc | 3dスキャナ |
WO2019049298A1 (ja) * | 2017-09-08 | 2019-03-14 | 株式会社Vrc | 3dデータシステム及び3dデータ処理方法 |
Non-Patent Citations (2)
Title |
---|
BARIS GECER ET AL.: "GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction", [ONLINE], JPN7020002878, 6 April 2019 (2019-04-06), ISSN: 0004373549 * |
SAITO, SHUNSUKE ET AL.: "PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization", [ONLINE], JPN7020002877, 3 December 2019 (2019-12-03), ISSN: 0004373548 * |
Also Published As
Publication number | Publication date |
---|---|
JP2022023755A (ja) | 2022-02-08 |
JPWO2022024199A1 (ja) | 2022-02-03 |
TWI801936B (zh) | 2023-05-11 |
WO2022024199A1 (ja) | 2022-02-03 |
EP4191542A4 (en) | 2024-05-22 |
EP4191542A1 (en) | 2023-06-07 |
CN114503161A (zh) | 2022-05-13 |
US20230290050A1 (en) | 2023-09-14 |
TW202209263A (zh) | 2022-03-01 |
TW202333115A (zh) | 2023-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109151340B (zh) | 视频处理方法、装置及电子设备 | |
JP6750504B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR102114377B1 (ko) | 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치 | |
TWI255141B (en) | Method and system for real-time interactive video | |
WO2019205284A1 (zh) | Ar成像方法和装置 | |
JP2017531950A (ja) | 撮影テンプレートデータベースを構築し、且つ撮影推薦情報を提供するための方法及び装置 | |
KR102148151B1 (ko) | 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅 | |
CN105141942B (zh) | 3d图像合成方法及装置 | |
JP6563580B1 (ja) | コミュニケーションシステム及びプログラム | |
JP6275086B2 (ja) | サーバ、データ提供方法及びサーバ用プログラム | |
CN106502401B (zh) | 一种图像控制方法及装置 | |
JP6205941B2 (ja) | 撮像プログラム、撮像方法および情報処理装置 | |
JP2010072813A (ja) | 画像処理装置および画像処理プログラム | |
JP2018112894A (ja) | システムおよび制御方法 | |
JP6829922B1 (ja) | 情報処理装置、3dモデル生成方法、及びプログラム | |
WO2023053783A1 (ja) | 撮像誘導装置、撮像誘導方法及びプログラム | |
JP2019133276A (ja) | 画像処理システム、端末 | |
KR102557592B1 (ko) | 이미지 표시 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 | |
JP2023113444A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6461394B1 (ja) | 画像生成装置及び画像生成プログラム | |
KR102501719B1 (ko) | 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치 | |
CN118266226A (en) | Electronic device for acquiring biological information of pet and working method thereof | |
JP2020048158A (ja) | コミュニケーション支援システム、ロボット、動画処理装置および動画処理プログラム | |
Shaowei et al. | Development of a head gesture interface for a self-portrait camera | |
JP2016024577A (ja) | ユーザ挙動記録装置、ユーザ挙動記録方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200831 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200831 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6829922 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |