JP7464387B2 - 3dモデル化オブジェクト推定のための機械学習 - Google Patents
3dモデル化オブジェクト推定のための機械学習 Download PDFInfo
- Publication number
- JP7464387B2 JP7464387B2 JP2019232006A JP2019232006A JP7464387B2 JP 7464387 B2 JP7464387 B2 JP 7464387B2 JP 2019232006 A JP2019232006 A JP 2019232006A JP 2019232006 A JP2019232006 A JP 2019232006A JP 7464387 B2 JP7464387 B2 JP 7464387B2
- Authority
- JP
- Japan
- Prior art keywords
- modeled object
- dataset
- modeled
- sub
- base template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims description 16
- 238000000034 method Methods 0.000 claims description 318
- 238000013528 artificial neural network Methods 0.000 claims description 175
- 238000012549 training Methods 0.000 claims description 65
- 230000009466 transformation Effects 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 99
- 238000004519 manufacturing process Methods 0.000 description 35
- 238000004422 calculation algorithm Methods 0.000 description 32
- 239000013598 vector Substances 0.000 description 24
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 10
- 230000005226 mechanical processes and functions Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 238000004088 simulation Methods 0.000 description 5
- 238000005266 casting Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000007514 turning Methods 0.000 description 2
- 241000208125 Nicotiana Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/17—Mechanical parametric or variational design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/18—Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Hardware Design (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
Description
[2]:“Reducing the Dimensionality of Data with Neural Networks”,G.E.Hinton,R.R.Salakhutdinov,in Science,2006.
[3]:“Learning Deep Architectures for AI”,Y.Bengio,in Foundations and Trends in Machine Learning,2009.
[4]Maxim Tatarchenko,Alexey Dosovitskiy,and Thomas Brox.Multi-view 3d models from single images with a convolutional network.In European Conference on Computer Vision,2016.
[5]Xinchen Yan,Jimei Yang,Ersin Yumer,Yijie Guo,and Honglak Lee.Perspective transformer nets:Learning single-view 3d object reconstruction without 3d supervision.In Advances in Neural Information Processing Systems,2016.
[6]Zhirong Wu,Shuran Song,Aditya Khosla,Fisher Yu,Linguang Zhang,Xiaoou Tang,and Jianxiong Xiao.3d shapenets:A deep representation for volumetric shapes.In Computer Vision and Pattern Recognition,2015.
[7]Christian Hane,Shubham Tulsiani,and Jitendra Malik.Hierarchical surface prediction for 3d object reconstruction.In 3DV,2017.
[8]Charles R Qi,Hao Su,Kaichun Mo,and Leonidas J Guibas.Pointnet:Deep learning on point sets for 3d classification and segmentation.In Computer Vision and Pattern Regognition,2017.
[9]Charles Ruizhongtai Qi,Li Yi,Hao Su,and Leonidas J.Guibas.Pointnet++:Deep hierarchical feature learning on point sets in a metric space.In NIPS,2017.
[10]Thibault Groueix,Matthew Fisher,Vladimir G.Kim,Bryan Russell,and Mathieu Aubry.AtlasNet:A Papier-Mache Approach to Learning 3D Surface Generation.In Computer Vision and Pattern Recognition,2018.
[11]Yaoqing Yang,Chen Feng,Yiru Shen,and Dong Tian.FoldingNet:Point Cloud Auto-encoder via Deep Grid Deformation.In Computer Vision and Pattern Recognition,2018.
[12]Dimitri P.Bertsekas.The Auction Algorithm:a Distributed Relaxation Method for the Assignment.In Annals of Operations Research-Special Issue:Parallel Optimization on Novel Computer Architectures,Volume 14 Issue 1-4,June 1988.
同じクラスのサンプルを表すデータセット、例えば椅子の画像のデータセット、あるいは車の3Dモデルのデータセットが与えられたとき、オートエンコーダ(上に引用した論文[1,2]で説明)を用いて、このデータセットの元の入力空間と、潜在空間と呼ばれることが多い低次元空間との間での、マッピングを学習することができる。さらに、オートエンコーダは、潜在空間から元の入力空間への逆マッピングを学習することもある。これらを用いて、データ内の有意な特徴を抽出したり、データをコンパクトな表現に圧縮したりすることができる。
から
のニューラルネットワークであり、gはmax関数などの並べ替えに対して不変な関数である。
ここで、
は
との距離の関数であり、
は第2の点群であり、
は各サブデータセットにおける3Dモデル化オブジェクトの数であり、
は第1の点群であり、
前記算出は、
ベース3Dモデル化オブジェクトを提供することと、
ベース3Dモデル化オブジェクトから始めて、
前回の候補ベーステンプレートの損失に対する効果を評価することと、
前回の候補ベーステンプレートを新しい候補ベーステンプレートに変形することと、
を繰り返すことを含む。
最適化された点群の点の法線を推定することと、
推定された法線に基づいて、最適化された点群の表面再構築を実行することとをさらに含み、かつ/あるいは、
ニューラルネットワークは、変形を推定するように構成されたデコーダを含むオートエンコーダである。
第1の3Dモデル化オブジェクトと第2の3Dモデル化オブジェクトを提供することと、
第1の3Dモデル化オブジェクトと第2の3Dモデル化オブジェクトにオートエンコーダを適用することと、
オートエンコーダの適用結果に基づいて、第1の3Dモデル化オブジェクトと第2の3Dモデル化オブジェクトとの形状マッチングを決定することとを含む。
以下、非限定的な例として、実施の形態を、添付の図面を参照しつつ説明する。
・クラスに関連する機械部品はすべて、同じ製造プロセス、または製造プロセスの同じ組み合わせで製造される。
クラスに関連する機械部品はすべて、同じ機械的制約、機能的制約、製造上の制約、構造的制約、および/または、組み立て上の制約に従う(例えば満たす、例えば準拠する、例えば検証する)。
と
でパラメータ化された2つのフィードフォワード深層ニューラルネットワークの構成
および
として定義でき、ここで、
である(上記論文[3]参照)。
はエンコーダであり、
はデコーダである。
は、潜在空間、すなわち、エンコーダ
がその値を出力し、デコーダ
がその値をとるベクトル空間である。
は、潜在空間の次元である。
はエンコーダ
がその値をとり、デコーダ
がその値を出力する空間である。
は、「元の入力空間」とも呼ぶ。
は、元の入力空間の次元である。本開示の文脈において、元の入力空間は、3Dモデル化オブジェクト空間であるか、またはそれに厳密に含まれていてもよい。言い換えれば、エンコーダ
はその値を元の入力空間においてとるが、デコーダ
による潜在空間の画像、例えば3Dモデル化オブジェクト空間は、元の入力スペースの部分集合であってもよい。ベクトル
は、「潜在ベクトル」または「隠れベクトル」とも呼ばれる。オートエンコーダ
は、「再構築」とも呼ばれる。再構築では、入力として元の入力空間の第1の要素(例えば、3Dモデル化オブジェクト空間の第1の3Dモデル化オブジェクト)をとり、それを潜在ベクトル(すなわち潜在空間の要素)にマッピングし、次いで、元の入力空間の第2の要素(例えば、3Dモデル化オブジェクト空間の第2の3Dモデル化オブジェクト)を潜在ベクトルから出力することにより、マッピングを逆にする。第2の要素は、第1の要素の“再構築”とも呼ばれる。例においては、第2の要素が、第1の要素の近似を表すことを意味する。例においては、
が3Dモデル化オブジェクトの場合、3Dモデル化オブジェクト
は、再構築された3Dモデル化オブジェクトとも呼ばれる。
はまた、入力とも呼ばれ、
は、再構築された入力とも呼ばれる。本プロセスの文脈において、エンコーダ
およびデコーダ
は、例えば再構築エラーを最小化することにより、(例えば別々に、または同時に)機械学習されてもよい。オブジェクトのエンコードとは、オブジェクトにエンコーダを適用することを意味する。よって、エンコードの結果は、「エンコードしたオブジェクト」とも呼ばれる。オブジェクトのエンコードは、「(例えばエンコーダの、例えば潜在空間への)オブジェクトの投影」とも呼ばれ、エンコードの結果は「投影されたオブジェクト」とも呼ばれる。潜在ベクトルのデコードとは、潜在ベクトルにデコーダを適用することを意味する。よって、デコードの結果は、「デコードした潜在ベクトル」とも呼ばれる。
を訓練セットとする。ここで
は、訓練セットにおける3Dモデル化オブジェクトの数である。この実施形態において、オートエンコーダ
は、再構築損失
の最適化を含む。ここで
は入力サンプルとオートエンコーダによる再構築サンプルとを比較する距離であり、例えば
はL2ノルムであり得る。学習プロセスは、ランダムなノイズを各サンプル
に適用し、オートエンコーダを訓練して、クリーンなバージョン
を再構築することによって、より堅牢にできる。このような例は「ノイズ除去オートエンコーダ」とも呼ばれる(上記論文[5]で紹介)。本開示の文脈において、学習は、先に引用した論文[6]で説明されているように、貪欲な層ごとの方式(greedy layer-wise fashion)でアーキテクチャを事前訓練することもでき、このバージョンは積層オートエンコーダと呼ばれる。
はEarth Mover距離損失であって、以下の式で与えられる。
例においては、算出(S300)は、ベース3Dモデル化オブジェクトを提供することを含む。これらの例では、算出(S300)は、ベース3Dモデル化オブジェクトから開始して、以下を繰り返すことをさらに含む:前回の候補ベーステンプレートの損失に対する効果を評価し、前回の候補ベーステンプレートを新しい候補ベーステンプレートに変形する。
ここで
は第2の点群であり、
各
について、
は、3Dモデル化オブジェクトのデータセットの
番目のサブデータセットにおける3Dモデル化オブジェクトの数であり、
は、各サブデータセットの3Dモデル化オブジェクトを表す第1の点群であり、
であって、
は、データセットにおける3Dモデル化オブジェクトの数であり、
は、各候補ベーステンプレート
とデータセット
の3Dモデル化オブジェクトとの距離に関与する項である。
はEarth Mover距離損失であって、以下の式で与えられる。
例において、共通損失
の最小化は、同時に各サブデータセットについて行われる、損失
の最小値の算出(S300)となる(例えば示唆する、例えば相当する)。これは上述のとおりである。
としたときの
個のベーステンプレートの決定(S30)の実施についてここで説明する。
個の3Dモデル化オブジェクトからなり、
で表される。各3Dモデル化オブジェクト
は、単位球スケーリングによってセンタリングおよびスケーリングされた点群である。
は、各点群
の共通の点の数である。決定(S30)は共通損失の最小化を含み、共通損失の最小化は、
個の点を有する単位球であるベース3Dモデル化オブジェクトをそれぞれ表す
個の点群
を提供することを含む。この実施形態において、決定(S30)は、各ベース3Dモデル化オブジェクトが互いに非常にわずかに異なるように、各点群
に非常に小さなノイズを追加することを含む。これにより、各ベース3Dモデル化オブジェクトは最初から他のベース3Dモデル化オブジェクトとは異なるため、データセットのいくつかの3Dモデル化オブジェクトに共通の形状を表現するようにすでにわずかに特化しており、データセットの
個の各サブデータセットの
個の重心の決定(S30)が容易になる。
ここで、
は、3Dモデル化オブジェクトを表す第1の点群
と候補ベーステンプレートを表す第2の点群
とのEarth Mover距離損失である。共通損失の最小化は、先に引用した論文[12]に示された緩和アルゴリズムを用いて各球体の点を最適化し、(ミニバッチ確率的勾配緩和アルゴリズムによって)損失を最小化することによって行ってもよい。
(
はミニバッチサイズの小さな一部)を前回の候補ベーステンプレートに強制的に割り当ててもよい。これは、決定(S30)が
と、その結果として得られるその第1の点群のargminを変化させ、この第1の点群に対して、このテンプレートをバックプロパゲーションにより強制的に通過させる。その結果、前回の候補ベーステンプレートが新しい候補ベーステンプレートに変形されてもよい。
ミニバッチ
(
はミニバッチサイズ)。
(
以下)
について、
である。
について
(よって
である)。
再割り当て後のミニバッチ全体についての損失
以下は、第1の再割り当てアルゴリズムの擬似コードである。
以下は、第2の再割り当てアルゴリズムの擬似コードである。
共通の損失
の最小化により、各3Dベーステンプレートの頂点の最適化に対応する
個の最適化した点群が得られるが、トポロジは考慮されない。これにより、正確ではあるがトポロジが間違っている点群を備えたベーステンプレートになり得る。よって、決定(S30)は、ベーステンプレートの再メッシュ化を含んでいてもよい。そのような場合、決定(S30)は、各ベーステンプレートについて、決定(S30)が、ベーステンプレートを入れる粗いグリッドを提供すること(S310)を含んでいてもよい。点を含む各ボクセルの値は1であり、他のボクセルの値はnullである。決定(S30)は、次いで、例えば等値が1に近いマーチングキューブアルゴリズムを適用することによる、粗いグリッドそれぞれからの粗いメッシュの抽出(S320)を含んでいてもよい。決定(S330)は、次いで、最適化された各点群の点の法線を推定すること(S330)を含んでいてもよい。この実施では、法線の推定(S330)は、最適化された各点群の各点の法線を正確に算出するために、マーチングキューブアルゴリズムからの粗いメッシュの利用を含んでいてもよい。これは、各点を粗いメッシュの最も近い三角形に投影し、その法線に対して、三角形の法線の加重平均を割り当てることからなってもよく、当該重みは投影点の重心の重みである。決定(S340)は、これらの適切な法線により、正確なトポロジを持つベーステンプレートを取得するために、最適化された各点群で(例えばポアソン)表面再構成を実行することを含んでもよく、頂点が多すぎる場合は最終的に間引きされる。
ここで、
はニューラルネットワークの集合であり、
はデータセットの3Dモデル化オブジェクトであり、
は各ベーステンプレートであり、
は、3Dモデル化オブジェクト
と、各ニューラルネットワーク
によって推定されたベーステンプレート
の変形との、距離に関与する項である。
は、面取り距離損失である。
例においては、最小化は、次の繰り返しを含む:選択した集合の各3Dモデル化オブジェクトについて、データセットの3Dモデル化オブジェクトの集合を選択し、3Dモデル化オブジェクトと、各ニューラルネットワークによって推定された3Dモデル化オブジェクトとの、不一致が小さいことに報酬を与えることにより、3Dモデル化オブジェクトに各ニューラルネットワークを割り当てる。これらの例においては、各ニューラルネットワークは、選択された集合の1つまたは複数の3Dモデル化オブジェクトに割り当てられる。これらの例においては、各ニューラルネットワークの重みは、割り当ての結果として修正される。
を、決定(S30)された
個の決定(S30)されたベーステンプレートとし、ここで
である。学習(S50)は、各ベーステンプレートについて1つずつ、
個のオートエンコーダ
を学習することからなる。各エンコーダは、先に引用した論文[8,9,10,11]に基づいて、3Dモデル化オブジェクトを表す入力3Dメッシュのサンプリング
を入力としてとる。各デコーダ
は、3D座標
とともに、潜在ベクトル
を入力として、ベーステンプレート
の変形を予測し、変形されたテンプレートは
として得られる。各デコーダは、学習が始まる前に小さな変形を予測するように初期化される。これは、上述のように、各デコーダの重みを、所定の閾値よりも小さい初期値に初期化すること(S410)を含んでいてもよい。それぞれの重みは、以下の面取り距離の損失を(ミニバッチ上のADAMソルバーなどの標準的な深層学習技術を用いて)最小化することにより変更される(S420)。
ここで
は、面取り距離である。
とそのargminを再割り当てして、訓練中に各ミニバッチの少なくとも数個の3Dモデル化オブジェクトによって各オートエンコーダを最適化することができる。この実施形態では、オートエンコーダはベーステンプレートから開始されるため、それらが、関連付けられたベーステンプレートによって表される種類の3Dモデル化オブジェクトに特化するのは簡単である。さらに、このベーステンプレートをわずかに変形するだけで入力に一致するため、オートエンコーダは、確実に、出力のトポロジを、より一貫性のあるものにする。
を、典型的には同じクラスのオブジェクトに属する3Dメッシュの、提供(S10)されたデータセット(例えば椅子のデータセット)とする。本プロセスは、6つの正投影ビューで、各モデルをレイキャストすることにより、データセット内の各形状から点群を抽出することを含む。本プロセスは、各点群を均一にサブサンプリングして、固定数
個の点を取得することをさらに含む。そのために、本プロセスは点群のランダムな点から開始し、点の数が
個に達するまで、点群のうち、既に選択されている点から最も遠い点を繰り返し選択する。ここで、
は、訓練メッシュのサンプリングされた点群を表す本プロセスでは、形状をさらにセンタリングし、単位球スケーリングを適用する。
個のベーステンプレートの決定(S30)
本プロセスは、それぞれ
個の点を有する
個の単位球
から開始する。本プロセスは、各球体が非常にわずかに互いに異なるように、各球体に非常に小さなノイズを追加する。
ここで、
は、テンプレート
と形状
とのEarth Mover距離損失である。
は球体の頂点を最適化するが、トポロジは考慮しない。これにより、正確ではあるがトポロジが間違っている点群を備えたベーステンプレートになり得る。したがって、本プロセスには、ベーステンプレートの再メッシュ化が含まれる。そのために、本プロセスは、各ベーステンプレートを粗い3Dグリッドに配置する。ここで、点を含む各ボクセルの値は1であり、他のボクセルの値はnullである。次いで、本プロセスは、等値が1に近いマーチングキューブアルゴリズムを適用して、各ベーステンプレートについて、粗いメッシュを抽出することを含む。本プロセスは、各ベーステンプレートの各点の法線を正確に算出するために、マーチングキューブアルゴリズムからの粗いメッシュを用いる。本プロセスは、各点を粗いメッシュの最も近い三角形に単純に投影し、その法線に対して、三角形の法線の加重平均を割り当てる。当該重みは投影点の重心の重みである。本プロセスは、これらの適切な法線により、正確なトポロジを持つベーステンプレートを取得するためにポアソン表面再構成を実行する。頂点が多すぎる場合は最終的に間引きされる。ここで、
は
個の学習したベーステンプレートを表す。なお、各ベーステンプレートは、球体に対して同相である。
個のオートエンコーダの学習(S40)
本プロセスは、各ベーステンプレートについて1つずつ、
個のオートエンコーダ
をさらに含む。各エンコーダは、先に引用した論文[8,9,10,11]に基づいて、入力3Dメッシュのサンプリング
を入力としてとる。各デコーダ
は、3D座標
とともに、潜在ベクトル
を入力として、ベーステンプレート
の変形を予測し、変形されたテンプレートは
として得られる。各デコーダは、学習が始まる前に小さな変形を予測するように初期化される。
とそのargminを再割り当てして、訓練中に各ミニバッチの少なくとも数個の3Dモデル化オブジェクトによって各オートエンコーダを最適化するために、前の段階とまったく同じ分割アルゴリズムも用いる。オートエンコーダはベーステンプレートから開始するため、それらが、関連付けられたベーステンプレートによって表される種類の形状に特化するのは簡単である。さらに、このベーステンプレートをわずかに変形するだけで入力に一致するため、オートエンコーダは、確実に、出力のトポロジを、より一貫性のあるものにする。
多様体が学習されると、新しい形状をサンプリングして合成できるように、プロセスは各オートエンコーダの各潜在空間について、ガウス混合モデルに適合させてもよい。各オートエンコーダについて、本プロセスはこのオートエンコーダによって最適に再構築される訓練形状を取得し、これらの形状を用いてk平均クラスタリングを初期化してから、ガウス混合に適合するように期待値最大化を実行する。ガウス混合は、各潜在空間にわたる確率分布関数を提供し、これは簡単にサンプリングできる。
Claims (14)
- コンピュータによって実施される機械学習の方法であって、
それぞれが機械部品を表す3Dモデル化オブジェクトを含むデータセットであって、それぞれが当該データセットの少なくとも一部を形成する1つまたは複数のサブデータセットを有するデータセットを提供すること(S10)と、
各サブデータセットについて、
ベーステンプレートであって、前記サブデータセットの3Dモデル化オブジェクトの重心を表す3Dモデル化オブジェクトであるベーステンプレートを決定すること(S30)と、
前記ベーステンプレートの各3Dモデル化オブジェクトへの変形を推定するように構成されたニューラルネットワークを学習することであって、前記サブデータセットに基づく訓練を含む、学習すること(S40)と、
を含む
ことを特徴とする方法。 - 前記ベーステンプレートの決定(S30)は、前記サブデータセットの各3Dモデル化オブジェクトについて、前記サブデータセットの前記3Dモデル化オブジェクトと候補ベーステンプレートとの不一致にペナルティを課す損失の、候補ベーステンプレートのうちの最小値を算出すること(S300)を含む
ことを特徴とする請求項1に記載の方法。 - 前記サブデータセットの前記3Dモデル化オブジェクトと候補ベーステンプレートとの前記不一致は、前記3Dモデル化オブジェクトと前記候補ベーステンプレートとの距離の関数であることを特徴とする請求項2に記載の方法。
- 前記距離は、前記3Dモデル化オブジェクトを表す第1の点群と前記候補ベーステンプレートを表す第2の点群との距離であることを特徴とする請求項3に記載の方法。
- 前記算出(S300)は、
ベース3Dモデル化オブジェクトを提供することと、
前記ベース3Dモデル化オブジェクトから始めて、
前回の候補ベーステンプレートの前記損失に対する効果を評価することと、
前記前回の候補ベーステンプレートを新しい候補ベーステンプレートに変形することと、
を繰り返すこと
とを含むことを特徴とする請求項2~5のいずれか1つに記載の方法。 - 前記ベース3Dモデル化オブジェクトは球体を表し、かつ/あるいは、前記損失は、前記サブデータセットの各3Dモデル化オブジェクトに対して、前記サブデータセットの前記3Dモデル化オブジェクトを表す第1の点群と、前記新しい候補ベーステンプレートを表す第2の点群との、Earth Mover距離損失にペナルティを課す
ことを特徴とする請求項6に記載の方法。 - 前記ベース3Dモデル化オブジェクトは点群であり、前記繰り返すことにより最適化された点群が得られ、オプションとして、前記ベーステンプレートの決定(S30)は、
前記最適化された点群の点の法線を推定すること(S330)と、
前記推定された法線に基づいて、前記最適化された点群の表面再構築を実行すること
(S340)とをさらに含む
ことを特徴とする請求項6または7に記載の方法。 - 前記ニューラルネットワークは、前記変形を推定するように構成されたデコーダを含むオートエンコーダであることを特徴とする、請求項1~8のいずれか1つに記載の方法。
- 前記学習されたニューラルネットワークの使用方法を実行することをさらに有することを特徴とする、請求項1~9のいずれか1つに記載の方法。
- 請求項10に記載の方法であって、前記ニューラルネットワークは、前記変形を推定するように構成されたデコーダを含むオートエンコーダであり、
第1の3Dモデル化オブジェクトと第2の3Dモデル化オブジェクトを提供することと、
前記第1の3Dモデル化オブジェクトと前記第2の3Dモデル化オブジェクトに前記オートエンコーダを適用することと、
前記オートエンコーダの適用結果に基づいて、前記第1の3Dモデル化オブジェクトと
前記第2の3Dモデル化オブジェクトとの形状マッチングを決定することとを含む
ことを特徴とする方法。 - 請求項1~11のいずれか1つに記載の方法を実行するための命令を含むコンピュータプログラム。
- 請求項12に記載のコンピュータプログラムが記録されたデータ記憶媒体を備える装置。
- 前記データ記憶媒体に接続されたプロセッサをさらに備える請求項13に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18306882.4A EP3674983B1 (en) | 2018-12-29 | 2018-12-29 | Machine-learning for 3d modeled object inference |
EP18306882.4 | 2018-12-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020115336A JP2020115336A (ja) | 2020-07-30 |
JP7464387B2 true JP7464387B2 (ja) | 2024-04-09 |
Family
ID=65200557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019232006A Active JP7464387B2 (ja) | 2018-12-29 | 2019-12-23 | 3dモデル化オブジェクト推定のための機械学習 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11443192B2 (ja) |
EP (1) | EP3674983B1 (ja) |
JP (1) | JP7464387B2 (ja) |
CN (1) | CN111382470A (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201718756D0 (en) * | 2017-11-13 | 2017-12-27 | Cambridge Bio-Augmentation Systems Ltd | Neural interface |
EP3671660A1 (en) * | 2018-12-20 | 2020-06-24 | Dassault Systèmes | Designing a 3d modeled object via user-interaction |
EP3674984B1 (en) * | 2018-12-29 | 2024-05-15 | Dassault Systèmes | Set of neural networks |
DE102019209772A1 (de) * | 2019-07-03 | 2021-01-07 | Siemens Aktiengesellschaft | Anpassung eines Herstellungsprozesses von Bauteilen einer Bauteilgruppe |
US11087525B2 (en) * | 2020-01-08 | 2021-08-10 | International Business Machines Corporation | Unsupervised learning of three dimensional visual alphabet |
US20210224610A1 (en) * | 2020-01-17 | 2021-07-22 | Insurance Services Office, Inc. | Systems and Methods for Disentangling Factors of Variation in Computer Vision Systems Using Cycle-Consistent Variational Auto-Encoders |
US20220050438A1 (en) * | 2020-08-12 | 2022-02-17 | Baker Hughes Oilfield Operations Llc | Identifying candidate objects for additive manufacturing |
CN112200733B (zh) * | 2020-09-09 | 2022-06-21 | 浙江大学 | 一种基于图卷积网络的网格去噪方法 |
US10930066B1 (en) | 2020-09-11 | 2021-02-23 | Mythical, Inc. | Systems and methods for using natural language processing (NLP) to automatically generate three-dimensional objects in a virtual space |
US11077367B1 (en) | 2020-10-09 | 2021-08-03 | Mythical, Inc. | Systems and methods for using natural language processing (NLP) to control automated gameplay |
US11694415B2 (en) * | 2020-10-28 | 2023-07-04 | Autodesk, Inc. | Techniques for training a machine learning model to modify portions of shapes when generating designs for three-dimensional objects |
CN112347540B (zh) * | 2020-11-09 | 2023-09-08 | 重庆智慧之源科技有限公司 | 建筑物智能检测建模系统 |
US20220156415A1 (en) * | 2020-11-13 | 2022-05-19 | Autodesk, Inc. | Techniques for generating subjective style comparison metrics for b-reps of 3d cad objects |
CN112734913B (zh) * | 2021-01-13 | 2022-10-04 | 北京航空航天大学 | 一种基于多阶段变形重构的三维模型球表达计算方法 |
US20220229943A1 (en) * | 2021-01-20 | 2022-07-21 | Adobe Inc. | Joint retrieval and mesh deformation |
JP7145359B1 (ja) * | 2021-02-18 | 2022-09-30 | 株式会社Live2D | 推論モデル構築方法、推論モデル構築装置、プログラム、記録媒体、構成装置及び構成方法 |
CN113111917B (zh) * | 2021-03-16 | 2022-07-01 | 重庆邮电大学 | 一种基于双重自编码器的零样本图像分类方法及装置 |
CN113114314B (zh) * | 2021-04-15 | 2022-03-11 | 东南大学 | 融合混类增强与自编码器的大规模mimo性能提升方法 |
CN113034695B (zh) * | 2021-04-16 | 2022-11-22 | 广东工业大学 | 一种基于Wasserstein距离的物体包络体多视图重建与优化方法 |
CN113240637B (zh) * | 2021-05-11 | 2023-03-24 | 杭州钱塘智慧城投资开发有限公司 | 一种基于机器学习的墙面平整度信息化检测方法和系统 |
US20220383129A1 (en) * | 2021-05-28 | 2022-12-01 | Intuit Inc. | Simulating service performance using machine learning |
US11810250B2 (en) | 2021-06-30 | 2023-11-07 | Tencent America LLC | Systems and methods of hierarchical implicit representation in octree for 3D modeling |
CN113536484B (zh) * | 2021-07-20 | 2022-12-02 | 华电重工股份有限公司 | 一种门架变形量的确定方法、装置、设备及可读存储介质 |
CN113658322B (zh) * | 2021-07-30 | 2024-08-27 | 哈尔滨工业大学 | 一种基于视觉transformer的三维重建体素方法 |
US20230067538A1 (en) * | 2021-09-01 | 2023-03-02 | Tusimple, Inc. | Autonomous vehicle maneuver in response to emergency personnel hand signals |
US20230177738A1 (en) * | 2021-12-03 | 2023-06-08 | Tencent America LLC | Dynamic mesh compression based on point cloud compression |
KR102475218B1 (ko) * | 2022-02-08 | 2022-12-09 | 한밭대학교 산학협력단 | 딥러닝과 구체의 형태 변형을 이용한 단일 이미지에서의 3D Mesh 재구축 방법 |
CN114419231B (zh) * | 2022-03-14 | 2022-07-19 | 幂元科技有限公司 | 基于点云数据和ai技术的交通设施矢量识别提取分析系统 |
DE102022113702A1 (de) | 2022-05-31 | 2023-11-30 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren, System und Computerprogrammprodukt zum autonomen intuitiven Konstruieren eines technischen Bauteils für eine Entität |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170372480A1 (en) | 2016-06-28 | 2017-12-28 | University Of Cincinnati | Systems, Media, and Methods for Pre-Processing and Post-Processing in Additive Manufacturing |
CN108959787A (zh) | 2018-07-12 | 2018-12-07 | 山东大学 | 考虑实际工况的宏宏双驱动系统的热变形预测方法及系统 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0581356A (ja) * | 1991-09-18 | 1993-04-02 | Hitachi Ltd | データ入力方式 |
EP3188033B1 (en) * | 2015-12-31 | 2024-02-14 | Dassault Systèmes | Reconstructing a 3d modeled object |
US11144889B2 (en) * | 2016-04-06 | 2021-10-12 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
US10430922B2 (en) * | 2016-09-08 | 2019-10-01 | Carnegie Mellon University | Methods and software for generating a derived 3D object model from a single 2D image |
US10281902B2 (en) * | 2016-11-01 | 2019-05-07 | Xometry, Inc. | Methods and apparatus for machine learning predictions of manufacture processes |
EP3396603B1 (en) | 2017-04-27 | 2019-12-25 | Dassault Systèmes | Learning an autoencoder |
US10234848B2 (en) * | 2017-05-24 | 2019-03-19 | Relativity Space, Inc. | Real-time adaptive control of additive manufacturing processes using machine learning |
US10751548B2 (en) * | 2017-07-28 | 2020-08-25 | Elekta, Inc. | Automated image segmentation using DCNN such as for radiation therapy |
CN107592449B (zh) * | 2017-08-09 | 2020-05-19 | Oppo广东移动通信有限公司 | 三维模型建立方法、装置和移动终端 |
US11544550B2 (en) * | 2017-11-17 | 2023-01-03 | Meta Platforms, Inc. | Analyzing spatially-sparse data based on submanifold sparse convolutional neural networks |
HK1253750A2 (zh) * | 2018-07-04 | 2019-06-28 | Bun Kwai | 用於將3d掃描對象轉換為化身的方法和裝置 |
-
2018
- 2018-12-29 EP EP18306882.4A patent/EP3674983B1/en active Active
-
2019
- 2019-12-23 JP JP2019232006A patent/JP7464387B2/ja active Active
- 2019-12-26 US US16/727,035 patent/US11443192B2/en active Active
- 2019-12-30 CN CN201911393138.1A patent/CN111382470A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170372480A1 (en) | 2016-06-28 | 2017-12-28 | University Of Cincinnati | Systems, Media, and Methods for Pre-Processing and Post-Processing in Additive Manufacturing |
CN108959787A (zh) | 2018-07-12 | 2018-12-07 | 山东大学 | 考虑实际工况的宏宏双驱动系统的热变形预测方法及系统 |
Non-Patent Citations (1)
Title |
---|
山田亮 ほか,形状に対する感性の獲得/分類実験とその利用について,電気学会研究会資料 ,日本,社団法人電気学会,2000年01月27日,IIS-00-1~12,pages 1-6 |
Also Published As
Publication number | Publication date |
---|---|
CN111382470A (zh) | 2020-07-07 |
EP3674983A1 (en) | 2020-07-01 |
EP3674983B1 (en) | 2024-09-18 |
JP2020115336A (ja) | 2020-07-30 |
US20200250540A1 (en) | 2020-08-06 |
US11443192B2 (en) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7464387B2 (ja) | 3dモデル化オブジェクト推定のための機械学習 | |
JP7491685B2 (ja) | ニューラルネットワークのセット | |
JP7388811B2 (ja) | オートエンコーダの学習 | |
CN107067473B (zh) | 用于对3d建模对象进行重构的方法、装置及系统 | |
JP7473335B2 (ja) | ソリッドcadフィーチャを推測するためのニューラルネットワークの学習 | |
JP7431028B2 (ja) | ユーザインタラクションを介した3dモデルオブジェクトのデサイニング | |
JP7473336B2 (ja) | ソリッドcadフィーチャを推測するためのニューラルネットワークの学習 | |
JP7343963B2 (ja) | 画像を入力とする関数を学習するためのデータセット | |
JP2022036024A (ja) | パラメータ化された3dモデルを出力するニューラルネットワーク | |
US11893687B2 (en) | Segmenting a 3D modeled object representing a mechanical assembly | |
EP4092558A1 (en) | Parameterization of cad model | |
US20230036219A1 (en) | 3d reconstruction with smooth maps | |
JP2022036023A (ja) | 3dモデルを出力する変分オートエンコーダ | |
JP2021131854A (ja) | 変形の基礎学習 | |
JP2017168081A (ja) | 記述子を用いた3dオブジェクトの位置特定 | |
JP2017162447A (ja) | 量子化を用いた3dオブジェクトの位置特定 | |
JP2022140339A (ja) | 3dセグメンテーションのための機械学習 | |
JP2023160791A (ja) | 画像からの3d再構成 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240328 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7464387 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |