JP7135659B2 - 形状補完装置、形状補完学習装置、方法、及びプログラム - Google Patents

形状補完装置、形状補完学習装置、方法、及びプログラム Download PDF

Info

Publication number
JP7135659B2
JP7135659B2 JP2018179084A JP2018179084A JP7135659B2 JP 7135659 B2 JP7135659 B2 JP 7135659B2 JP 2018179084 A JP2018179084 A JP 2018179084A JP 2018179084 A JP2018179084 A JP 2018179084A JP 7135659 B2 JP7135659 B2 JP 7135659B2
Authority
JP
Japan
Prior art keywords
point cloud
shape
input
class
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018179084A
Other languages
English (en)
Other versions
JP2020052543A (ja
Inventor
秀尚 永野
豪 入江
聖矢 伊東
和彦 鷲見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018179084A priority Critical patent/JP7135659B2/ja
Priority to US17/279,044 priority patent/US11727584B2/en
Priority to PCT/JP2019/035910 priority patent/WO2020066662A1/ja
Publication of JP2020052543A publication Critical patent/JP2020052543A/ja
Application granted granted Critical
Publication of JP7135659B2 publication Critical patent/JP7135659B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

特許法第３０条第２項適用 平成３０年１月１１日 一般社団法人情報処理学会 電子図書館 ウェブサイト 研究報告 コンピュータービジョンとイメージメディア（ＣＶＩＭ）２０１８年１月研究会（第２１０回）２０１８－ＣＶＩＭ－２１０（５４）、１－４（２０１８－０１－１１）、２１８８－８７０１ ｈｔｔｐ：／／ｉｐｓｊ．ｉｘｓｑ．ｎｉｉ．ａｃ．ｊｐ／ｅｊ／？ａｃｔｉｏｎ＝ｐａｇｅｓ＿ｖｉｅｗ＿ｍａｉｎ＆ａｃｔｉｖｅ＿ａｃｔｉｏｎ＝ｒｅｐｏｓｉｔｏｒｙ＿ｖｉｅｗ＿ｍａｉｎ＿ｉｔｅｍ＿ｄｅｔａｉｌ＆ｉｔｅｍ＿ｉｄ＝１８５４９３＆ｉｔｅｍ＿ｎｏ＝１＆ｐａｇｅｓ＿ｉｄ＝１３＆ｂｌｏｃｋ＿ｉｄ＝８ にて公開 平成３０年２月６日 学校法人青山学院 青山学院大学 理工学研究科 理工学専攻 知能情報コース ２０１７年度 修士研究論文発表会にて公開
本発明は、形状補完装置、形状補完学習装置、方法、及びプログラムに係り、特に、３次元点の集合を補完するための形状補完装置、形状補完学習装置、方法、及びプログラムに関する。
近年、３次元計測技術の発展により、リアルタイムで手軽に計測できるＲＧＢ－Ｄカメラやレーザセンサが普及している。これらのセンサで計測されたデータは３次元点の集合であるポイントクラウドとして扱われることが多い。実世界の計測結果として取得したポイントクラウドデータをコンピュータグラフィクスなどで扱うためには、完全な形状のモデルを再構成する必要があるが、一度の計測で得られるポイントクラウドは、形状の一部である。そのため、対象物体の完全な形状を取得するために、様々な視点から計測し、ポイントクラウドデータを統合する必要がある。しかし、取得データは物体材質によるノイズやオクルージョンなどの影響を受けやすく、データ統合によって完全な形状のモデルを取得することは困難である。そのため、従来、以下のように、幾何学的なアプローチとテンプレートベースのアプローチで形状を補完すること、また、近年では、深層学習による形状補完手法が提案されてきている。
幾何学的なアプローチでは、局所領域に平面、又は平滑なボリュームを仮定することで、小さな隙間を補完することができる。欠損が大きい場合は、ある特定の形状カテゴリに対して、経験則に基づいて形状を仮定し、形状補完を行う。従来手法では、物体の形状が平面、円柱などのプリミティブな要素の集合であると仮定して、不完全なポイントクラウドからＣＡＤモデルを再構成する手法を提案している。また、従来手法では、局所的にフィッテングされたプリミティブな要素に対し、要素間の向きや配置といった幾何学的関係を考慮し、形状を最適化している。その他に、不完全なポイントクラウドから対称性を検出し、複数の対称性から形状を補完する手法も提案されている。
テンプレートベースのアプローチは、変形可能なテンプレートまたは最近傍によって入力形状の再構成を行う。従来手法では、データベースから最も類似した形状を取り出し、それをテンプレートとして使用して、入力データに合わせて変形している。しかし、これらの手法は、複雑な入力に対してはユーザーへの対話が必要であり、入力に近いテンプレートが存在しないときは、形状補完に失敗することがある。
この問題に対して、従来手法では、構造と部品の関係に着目し、データベースから最良の部分候補を見つけ出し、その組み合わせの最適化問題を解くことによって、部分スキャンデータから形状の再構成を行う手法が提案している。
近年では、深層学習による形状補完手法が提案されてきている。従来手法では、３次元グリッドにおけるボクセル占有率を表すバイナリ変数に対する確率分布をＣｏｎｖｏｌｕｔｉｏｎａｌ Ｄｅｅｐ ＢｅｌｉｅｆＮｅｔｗｏｒｋｓ（ＣＤＢＮ）で学習し、形状を補完している。また、従来手法では、ＣＤＢＮ とマルコフ確率場を組み合わせて、最大事後確率推論問題として形状補完を定式化している。また、ある従来手法では、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ型のネットワークをＥｎｄ－ｔｏ－Ｅｎｄで学習し、形状補完を行なっている。これらの従来手法は、３次元畳み込みの計算コストが高いため、入力を粗いグリッドでボクセル化している。ボクセル化の手法に対し、粗いグリッド上で完全な形状を推定するための３次元Ｅｎｃｏｄｅｒ－Ｐｒｅｄｉｃｔｏｒ Ｎｅｔｗｏｒｋ（ＥＰＮ）を提案し、最近傍探索に基づくボリュームのパッチ合成をすることで、詳細な形状を再構成する従来手法もある。また、例えば、非特許文献１の従来技術では、さらに大域的な形状構造と、パッチレベルのサーフェスを推定する局所的なＥＰＮを学習している。
X. Han, Z. Li, H. Huang, E. Kalogerakis and Y. Yu: High-Resolution Shape Completion Using Deep Neural Networks for Global Structure and Local Geometry Inference,International Conference on Computer Vision (2017).
もっとも、非特許文献１に記載の手法では、３次元畳み込みの計算コストが高いため，入力を粗いグリッドでボクセル化しており、ポイントクラウドの点群そのものを入力できず、点群の各点の情報を有効に利用できないという問題があった。
本発明は、上記事情を鑑みて成されたものであり、ポイントクラウドを入力として、精度よく形状補完をすることができる形状補完装置、方法、及びプログラムを提供することを目的とする。
また、ポイントクラウドを入力として、精度よく形状補完をするための生成器を学習することができる形状補完学習装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、第１の発明に係る形状補完装置は、物体上の３次元の点の集合を計測した計測結果であるポイントクラウドを補完する形状補完装置であって、予め学習された、前記物体のクラスを識別する識別器に対して、入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力するクラス識別部と、予め学習された、ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器に対して、前記入力ポイントクラウド及び前記クラス識別部により出力された前記クラス識別特徴を入力して、前記入力ポイントクラウドを補完する前記形状補完ポイントクラウドを出力する形状補完部と、を含んで構成されている。
また、第２の発明に係る形状補完学習装置は、物体上の３次元点の集合を計測した計測結果であるポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器を学習する形状補完学習装置であって、前記物体の形状の一部を表す疎な３次元の点の集合である入力ポイントクラウドと、前記入力ポイントクラウドを補完する教師ポイントクラウドとを含む学習データに基づいて、予め学習された、前記物体のクラスを識別する識別器に対して、前記入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力し、ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する前記形状補完ポイントクラウドを生成する生成器、及び前記ポイントクラウド、前記形状補完ポイントクラウド、及び前記クラス識別特徴を入力として、前記ポイントクラウド及び前記形状補完ポイントクラウドを合わせた３次元点の集合が、真のポイントクラウドであるか否かを判別する判別器について、前記入力ポイントクラウド及び前記教師ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、前記入力ポイントクラウド及び前記生成器によって生成された前記形状補完ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、及び前記生成器によって生成された前記形状補完ポイントクラウドと前記教師ポイントクラウドとの距離、を用いて表される損失関数を最適化するように、前記生成器のパラメータ及び前記判別器のパラメータを最適化する学習部、を含んで構成されている。
第３の発明に係る形状補完方法は、物体上の３次元の点の集合を計測した計測結果であるポイントクラウドを補完する形状補完装置における形状補完方法であって、クラス識別部が、予め学習された、前記物体のクラスを識別する識別器に対して、入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力するステップと、形状補完部が、予め学習された、ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器に対して、前記入力ポイントクラウド及び前記クラス識別部により出力された前記クラス識別特徴を入力して、前記入力ポイントクラウドを補完する前記形状補完ポイントクラウドを出力するステップと、を含んで実行することを特徴とする。
第４の発明に係る形状補完学習方法は、物体上の３次元点の集合を計測した計測結果であるポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器を学習する形状補完学習装置であって、学習部は、前記物体の形状の一部を表す疎な３次元の点の集合である入力ポイントクラウドと、前記入力ポイントクラウドを補完する教師ポイントクラウドとを含む学習データに基づいて、予め学習された、前記物体のクラスを識別する識別器に対して、前記入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力し、ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する前記形状補完ポイントクラウドを生成する生成器、及び前記ポイントクラウド、前記形状補完ポイントクラウド、及び前記クラス識別特徴を入力として、前記ポイントクラウド及び前記形状補完ポイントクラウドを合わせた３次元点の集合が、真のポイントクラウドであるか否かを判別する判別器について、前記入力ポイントクラウド及び前記教師ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、前記入力ポイントクラウド及び前記生成器によって生成された前記形状補完ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、及び前記生成器によって生成された前記形状補完ポイントクラウドと前記教師ポイントクラウドとの距離、を用いて表される損失関数を最適化するように、前記生成器のパラメータ及び前記判別器のパラメータを最適化するステップを含んで実行することを特徴とする。
第５の発明に係るプログラムは、第１の発明に記載の形状補完装置の各部として機能させるためのプログラムである。
第６の発明に係るプログラムは、第２の発明に記載の形状補完学習装置の各部として機能させるためのプログラムである。
本発明の形状補完装置、方法、及びプログラムによれば、ポイントクラウドを入力として、精度よく形状補完をすることができる、という効果が得られる。
本発明の形状補完学習装置、方法、及びプログラムによれば、ポイントクラウドを入力として、精度よく形状補完をするための生成器を学習することができる、という効果が得られる。
ＰＣＮｅｔのネットワークの構造の一例を示す図である。 生成器のネットワーク構造の詳細の一例を示す図である。 判別器のネットワーク構造の詳細の一例を示す図である。 本発明の実施の形態に係る形状補完学習装置の構成を示すブロック図である。 本発明の実施の形態に係る形状補完装置の構成を示すブロック図である。 本発明の実施の形態に係る形状補完学習装置における形状補完学習処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る形状補完装置における形状補完処理ルーチンを示すフローチャートである。 実験結果における形状補完の比較結果を示す図である。 実験結果におけるＲ－Ｎｅｔの効果の結果を示す図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
まず、本発明の実施の形態における概要を説明する。
実世界で観測される物体のポイントクラウドは、部分的な形状からしか得られない場合が多くあり、物体のクラス識別と形状補完を行うことは、多様なアプリケーションの実現に重要になっている。上述した従来技術の課題のように、昨今主流となっている畳み込みニューラルネットワークは、その性質上、３次元データを扱うために入力をボクセルやデプス画像に変換する必要がある。しかし、これらは元の３次元情報を離散化したり、２次元に写像するため、情報欠落が生じるという問題がある。
そこで、本発明の実施の形態では、ポイントクラウドからクラス識別と、形状補完を同時に行うＰＣＮｅｔというニューラルネットワークを用いる手法を提案する。本手法では、ポイントクラウドから、局所的特徴から大域的特徴を抽出し、大域的特徴からクラス識別を行うと共に、大域的特徴を用いて形状補完を行う。
次に、本実施の形態で用いるＰＣＮｅｔのネットワークの構造を図１に示す。
入力となる物体の形状を表す疎な３次元点の集合である入力ポイントクラウドをｘ、入力の形状を補完する３次元点の集合である形状補完ポイントクラウドをｙ′、形状補完の教師となる教師ポイントクラウドをｙとする。本実施の形態で用いるＰＣＮｅｔは、入力ポイントクラウドｘに対して物体認識を行うクラス識別器、形状補完ポイントクラウドｙ′を生成する生成器、入力ポイントクラウドと補完ポイントクラウドの集合（ｘ，ｙ′）、又は入力ポイントクラウドと教師ポイントクラウドの集合（ｘ，ｙ）のＲｅａｌ（真）又はＦａｋｅ（偽）を識別する判別器で構成される。本実施の形態では、クラス識別器にＰｏｉｎｔＮｅｔを使用する（参考文献１参照）。
［参考文献１］C. R. Qi, H. Su, K. Mo and L. J. Guibas: PointNet: Deep Learning on Point Sets for 3D Classication and Segmentation, Proc. Computer Vision and Pattern Recognition(2017).
また、図２に生成器のネットワーク構造の詳細、図３に判別器のネットワーク構造の詳細を示す。
図２に示すように、生成器では、まず入力ポイントクラウドの各点から局所的特徴を抽出する。図２のＩｎｐｕｔ ＴｒａｎｓｆｏｒｍからＭＬＰ（６４×１２８×１０２４）までが図１のＥｎｃｏｄｅｒに対応する。そして、局所的特徴の全特徴の各次元に対してＭａｘ ｐｏｏｌｉｎｇを行い、局所的特徴に基づく大域的特徴を得る。ＰＣＮｅｔでは、入力ポイントクラウドから抽出した大域的特徴と、クラス識別器でクラスを識別する際に算出されるクラス識別特徴とを結合する。ＰＣＮｅｔでは、クラス識別特徴を結合することで，入力ポイントクラウドに対して、明示的に物体形状に関する特徴を与えることができる。
生成器に対しては、各点から抽出した中間の局所的特徴に対して、大域的特徴を結合し、畳み込み（ＭＬＰ）を行って３次元のベクトルを得る。最終層では、入力ポイントクラウドと生成されたポイントクラウドの回転と平行移動による位置ずれをＲ－Ｎｅｔによって軽減する。Ｒ－Ｎｅｔは、ＰｏｉｎｔＮｅｔ（参考文献１）におけるＴ－Ｎｅｔを拡張し、回転行列だけでなく、平行移動ベクトルを学習させる。
判別器に対しては、入力ポイントクラウド及び教師ポイントクラウドを組み合わせた３次元点の集合（ｘ，ｙ′）、及び入力ポイントクラウド及び生成された形状補完ポイントクラウドの組み合わせた３次元点の集合（ｘ，ｙ′）のそれぞれ入力とする。そして、Ｍａｘ ｐｏｏｌｉｎｇを行って大域的特徴を得て、大域的特徴とクラス識別特徴とを結合する過程まで生成器と同様に行われる。判別器では、結合した大域的特徴に対して畳み込みを行い、最終層の活性化関数にシグモイド関数を用いて、区間[０，１]の値を出力する。
以上が本実施の形態で用いるＰＣＮｅｔのネットワークの構成である。
本実施の形態では、以上のＰＣＮｅｔのネットワークの構成について、損失関数を用いてパラメータを学習する。
以下、パラメータを学習するのに用いる損失関数について説明する。
生成器をＧ（ｘ；θｇ）、判別器をＤ（ｘ，ｙ；θｇ）とする。Ｇ（ｘ；θｇ）は、観測ポイントクラウドｘに対して、形状補完ポイントクラウドを生成する確率分布ｐ（ｘ）が近似するようにパラメータθｇを学習する。一方Ｄ（ｘ，ｙ；θｄ）は、生成される形状補完ポイントクラウドｙ´が教師ポイントクラウドｙに近づいたとしても、判別の真偽を正しく行える確率が高くなるようにパラメータθｄを学習する。ＤはｌｏｇＤ（ｘ，ｙ）が最大となり、Ｇはｌｏｇ（１－Ｄ（ｘ，Ｇ（ｘ））が最小となるように、それぞれ学習する。これらをまとめた損失関数をＶ（Ｄ，Ｇ）とすれば、以下（１）式のように表せる。
Figure 0007135659000001
・・・（１）
本実施の形態では、Ｖ（Ｄ，Ｇ）に加え、生成点群が物体の形状を再現するような損失関数Ｒを設計する。まず、入力ポイントクラウドと形状補完の教師ポイントクラウドに対し、安定マッチングによって、一対一の点対応ペアを作成する。安定マッチングには、Ｇａｌｅ－Ｓｈａｐｌｅｙのアルゴリズムを用いる（参考文献２参照）。
［参考文献２］D. Gale and L. S. Shapley: College Admissions and the Stability of Marriage, The American Mathematical Monthly, Vol. 69, No. 1, pp. 9{15 (1962).
安定マッチングは選好リストに基づいており、得られるペアが、現在の対応よりも選好順位が高くなるペアが存在しないように、最適化する。本実施の形態では、選好リストをユークリッドの距離の昇順で作成し、入力ポイントクラウドと教師ポイントクラウドの各点の距離がより小さくなるようにペアを作成する。生成器は、入力ポイントクラウドの各点から生成される形状補完点が、教師点を近似するように学習される。ここで、損失関数Ｒは、以下（２）式とする。
Figure 0007135659000002
・・・（１）
最終的に最適化する損失関数は、以下（３）式とする。λは重み係数である。
Figure 0007135659000003
・・・（３）
以上、説明したネットワーク構成、及び損失関数を元に、以下、形状補完学習装置、及び形状補完装置の構成、及び作用について説明する。
＜本発明の実施の形態に係る形状補完学習装置の構成＞
次に、本発明の実施の形態に係る形状補完学習装置の構成について説明する。図４に示すように、本発明の実施の形態に係る形状補完学習装置１００は、ＣＰＵと、ＲＡＭと、後述する形状補完学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この形状補完学習装置１００は、機能的には図４に示すように入力部１０と、演算部２０とを備えている。
入力部１０は、物体の一部を表す疎な３次元の点の集合である入力ポイントクラウドと、入力ポイントクラウドを補完する教師ポイントクラウドと、当該物体のクラスを示すラベルとを含む学習データを受け付ける。
演算部２０は、事前学習部３０と、学習部３２と、パラメータ記憶部４０とを含んで構成されている。
本実施の形態では、上述したＰＣＮｅｔのネットワークのパラメータを学習する。
事前学習部３０は、入力ポイントクラウドと、教師ポイントクラウドとを含む学習データに基づいて、物体のクラスを識別するクラス識別器を学習する。
クラス識別器は、上述したクラス識別器であり、ＰｏｉｎｔＮｅｔの既知学習手法を用いて重みを学習するものとする。学習したクラス識別器のパラメータはパラメータ記憶部４０に記憶する。なお、形状補完学習装置１００に事前学習部３０を設けずに、外部の装置によって学習したクラス識別器を用いるようにしてもよい。また、本実施の形態の学習データは、学習部３２で用いる学習データを前提としているが、クラス識別器の学習には、学習部３２で用いる学習データとは異なる学習データを用いてもよい。
学習部３２は、入力ポイントクラウドと、教師ポイントクラウドとを含む学習データに基づいて、上記（３）式の損失関数を最適化するように、生成器のパラメータ及び判別器のパラメータを最適化し、パラメータ記憶部４０に記憶する。
学習部３２は、事前学習部３０で学習されたクラス識別器に対して、入力ポイントクラウドを入力して、クラス識別特徴を、生成器及び判別器にそれぞれ出力する。
生成器は、上述した生成器である。生成器は、ポイントクラウド及びクラス識別特徴を入力として、ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、クラス識別特徴とを統合した統合結果を得て、統合結果を畳み込むことによりポイントクラウドを補完する形状補完ポイントクラウドを生成する。
判別器は、上述した判別器である。判別器は、ポイントクラウド、形状補完ポイントクラウド、及びクラス識別特徴を入力として、ポイントクラウド及び形状補完ポイントクラウドを合わせた３次元点の集合が、真のポイントクラウドであるか否かを判別する。
パラメータの最適化は、上述した（３）式の損失関数に基づいて確率的勾配降下法を用いて行う。損失関数は、判別器の判別結果、及び生成器によって生成された形状補完ポイントクラウドｙ′と教師ポイントクラウドｙとの距離を用いて表される。判別結果は、入力ポイントクラウド及び教師ポイントクラウドを合わせた３次元点の集合（ｘ，ｙ）に対する判別器の［０，１］の値の判別結果、及び入力ポイントクラウド及び生成された形状補完ポイントクラウドを合わせた３次元点の集合（ｘ，ｙ′）に対する判別器の［０，１］の値の判別結果である。判別器については、３次元点の集合（ｘ，ｙ）及び３次元点の集合（ｘ，ｙ′）に対し、判別の真偽を正しく行える確率が高くなるように（つまりｌｏｇＤ（ｘ，ｙ）が最大となるように）学習を行い、生成器については、生成した形状補完ポイントクラウドについて判別器により真と判別されるように（つまりｌｏｇ（１－Ｄ（ｘ，Ｇ（ｘ）））が最小となるように）学習を行う。
形状補完ポイントクラウドｙ′と教師ポイントクラウドｙとの距離は、入力ポイントクラウドｘ及び教師ポイントクラウドｙの間での点の対応付けｉの結果を用いて定められる。上述した（２）式のＲ（Ｇ）に示すように、形状補完ポイントクラウドｙ′と教師ポイントクラウドｙとの距離は、この点の対応付けｉに対応する形状補完ポイントクラウドの点ｙｉ′と、教師ポイントクラウドの点ｙｉとの距離の総和として表される。生成器については、距離の総和ができるだけ小さくなるように学習を行う。
学習部３２は、以上説明した損失関数に基づいて、生成器のパラメータ及び判別器のパラメータを最適化する。
＜本発明の実施の形態に係る形状補完装置の構成＞
次に、本発明の実施の形態に係る形状補完装置の構成について説明する。図５に示すように、本発明の実施の形態に係る形状補完装置２００は、ＣＰＵと、ＲＡＭと、後述する形状補完処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この形状補完装置２００は、機能的には図５に示すように入力部２１０と、演算部２２０と、出力部２５０とを備えている。
入力部２１０は、形状補完の対象とする入力ポイントクラウドを受け付ける。
演算部２２０は、クラス識別部２３０と、形状補完部２３２と、パラメータ記憶部２４０とを含んで構成されている。
パラメータ記憶部２４０には、形状補完学習装置１００で学習された、クラス識別器のパラメータと、生成器のパラメータとが記憶されている。
学習されたクラス識別器は、ポイントクラウドを入力として、パラメータ記憶部２４０の識別器のパラメータを用いて、物体のクラスを識別する。クラス識別器は、クラスの識別の際にクラス識別特徴を算出する。学習された生成器は、ポイントクラウド及びクラス識別特徴を入力として、パラメータ記憶部２４０の生成器のパラメータを用いて、ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、クラス識別特徴とを統合した統合結果を得て、統合結果を畳み込むことによりポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する。
クラス識別部２３０は、学習されたクラス識別器に対して、入力部１０で受け付けた入力ポイントクラウドを入力して、クラス識別特徴を形状補完部２３２に出力する。また、クラス識別部２３０は、クラス識別器による物体のクラスの識別結果を、出力部２５０に出力する。
形状補完部２３２は、学習された生成器に対して、入力部１０で受け付けた入力ポイントクラウド及びクラス識別部２３０により出力されたクラス識別特徴を入力して、入力ポイントクラウドを補完する形状補完ポイントクラウドを出力部２５０に出力する。
＜本発明の実施の形態に係る形状補完学習装置の作用＞
次に、本発明の実施の形態に係る形状補完学習装置１００の作用について説明する。形状補完学習装置１００は、図６に示す形状補完学習処理ルーチンを実行する。
まず、ステップＳ１００では、事前学習部３０は、学習データに含まれる入力ポイントクラウドと、当該物体のクラスを示すラベルとに基づいて、物体のクラスを識別するクラス識別器を学習する。
次に、ステップＳ１０２では、学習データに含まれる入力ポイントクラウドと、教師ポイントクラウドとに基づいて、上記（３）式の損失関数を最適化するように、生成器のパラメータ及び判別器のパラメータを最適化し、パラメータ記憶部４０に記憶する。判別器については、３次元点の集合（ｘ，ｙ）及び３次元点の集合（ｘ，ｙ′）に対し、判別の真偽を正しく行える確率が高くなるように（つまりｌｏｇＤ（ｘ，ｙ）が最大となるように）学習を行う。生成器については、教師ポイントクラウドとの距離の総和ができるだけ小さくなり、かつ、生成した形状補完ポイントクラウドについて判別器により真と判別されるように（つまりｌｏｇ（１－Ｄ（ｘ，Ｇ（ｘ）））が最小となるように）学習を行う。
以上説明したように、本発明の実施の形態に係る形状補完学習装置によれば、ポイントクラウドを入力として、精度よく形状補完をするためのネットワークを学習することができる。
＜本発明の実施の形態に係る形状補完装置の作用＞
次に、本発明の実施の形態に係る形状補完装置２００の作用について説明する。形状補完装置２００は、図７に示す形状補完処理ルーチンを実行する。
まず、ステップＳ２００では、クラス識別部２３０は、学習されたクラス識別器に対して、入力部１０で受け付けた入力ポイントクラウドを入力して、クラス識別特徴を形状補完部２３２に出力すると共に、クラス識別器による物体のクラスの識別結果を、出力部２５０に出力する。
次に、ステップＳ２０２では、形状補完部２３２は、学習された生成器に対して、入力部１０で受け付けた入力ポイントクラウド及びステップＳ２００で出力されたクラス識別特徴を入力して、入力ポイントクラウドを補完する形状補完ポイントクラウドを出力部２５０に出力する。
以上説明したように、本発明の実施の形態に係る形状補完装置によれば、ポイントクラウドを入力として、精度よく形状補完をすることができる。
［実験結果］
次に本発明の実施の形態の手法を用いた実験結果について述べる。提案手法の性能を評価するために、ＭｏｄｅｌＮｅｔ４０を用いて実験を行う。ＭｏｄｅｌＮｅｔ４０は、４０クラスの単一オブジェクトのＣＡＤモデルであり、ＰｏｉｎｔＮｅｔでは頂点数を２０４８点に統一している。本実験では、２０４８点からなるポイントクラウドを、入力ポイントクラウドと形状補完の教師ポイントクラウドに分割し、それぞれ１０２４点となるように整形した。データの分割にはランダムサンプリングを用い、１つのモデルから１０回のサンプリングを行なって、データ拡張を行った。ＰＣＮｅｔは、まずクラス識別器を学習し、パラメータを固定する。次に、クラス識別器を除いた生成器と判別器を交互に最適化し、最後に識別器単体を最適化する。なお、損失関数の最適化に確率的勾配降下法を用い、学習率は１０－１０、損失関数の重み係数はλ＝０．１とした。
形状補完の比較結果を図８に示す。図８はそれぞれ、（ａ）入力ポイントクラウド、（ｂ）ドロネー分割で得られる三角形メッシュの重心に点を補完する手法、（ｃ）本実施の形態の提案手法、（ｄ）形状補完の教師ポイントクラウドであり、（ｂ）－（ｄ）は入力ポイントクラウドを加えている。ドロネー分割を利用した形状補完では、全体の形状を保ったままポイントクラウドを密にできているが、全体的にノイズがかかったような結果となった。一方で、提案手法による形状補完は、生成器のポイントクラウド生成に物体クラス識別特徴を加えたことで、ノイズがかかることなく、入力ポイントクラウドに沿って補完ポイントクラウドを生成している。また、図９はＲ－Ｎｅｔの効果を検証した結果であり、（ａ）が入力、（ｂ）がＲ－Ｎｅｔ有、（ｃ）がＲ－Ｎｅｔなし、（ｄ）が正解である。図９に示すように、Ｒ－Ｎｅｔは形状補完ポイントクラウドが教師ポイントクラウドに近づくような変換行列を学習し、Ｒ－Ｎｅｔなしの場合と比べて、位置ずれを軽減している。
以上が実験結果の説明である。
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
１０，２１０ 入力部
２０，２２０ 演算部
３０ 事前学習部
３２ 学習部
４０ パラメータ記憶部
１００ 形状補完学習装置
２００ 形状補完装置
２３０ クラス識別部
２３２ 形状補完部
２４０ パラメータ記憶部
２５０ 出力部

Claims (7)

  1. 物体上の３次元の点の集合を計測した計測結果であるポイントクラウドを補完する形状補完装置であって、
    予め学習された、前記物体のクラスを識別する識別器に対して、入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力するクラス識別部と、
    予め学習された、ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器に対して、前記入力ポイントクラウド及び前記クラス識別部により出力された前記クラス識別特徴を入力して、前記入力ポイントクラウドを補完する前記形状補完ポイントクラウドを出力する形状補完部と、
    を含む形状補完装置。
  2. 物体上の３次元点の集合を計測した計測結果であるポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器を学習する形状補完学習装置であって、
    前記物体の形状の一部を表す疎な３次元の点の集合である入力ポイントクラウドと、前記入力ポイントクラウドを補完する教師ポイントクラウドとを含む学習データに基づいて、
    予め学習された、前記物体のクラスを識別する識別器に対して、前記入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力し、
    ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する前記形状補完ポイントクラウドを生成する生成器、及び
    前記ポイントクラウド、前記形状補完ポイントクラウド、及び前記クラス識別特徴を入力として、前記ポイントクラウド及び前記形状補完ポイントクラウドを合わせた３次元点の集合が、真のポイントクラウドであるか否かを判別する判別器について、
    前記入力ポイントクラウド及び前記教師ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、前記入力ポイントクラウド及び前記生成器によって生成された前記形状補完ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、及び前記生成器によって生成された前記形状補完ポイントクラウドと前記教師ポイントクラウドとの距離、を用いて表される損失関数を最適化するように、前記生成器のパラメータ及び前記判別器のパラメータを最適化する学習部、
    を含む形状補完学習装置。
  3. 前記形状補完ポイントクラウドと前記教師ポイントクラウドとの距離は、前記入力ポイントクラウド及び前記教師ポイントクラウドの間での点の対応付けの結果を用いて定められる、対応する前記形状補完ポイントクラウドの点と、前記教師ポイントクラウドの点との距離の総和である請求項２に記載の形状補完学習装置。
  4. 物体上の３次元の点の集合を計測した計測結果であるポイントクラウドを補完する形状補完装置における形状補完方法であって、
    クラス識別部が、予め学習された、前記物体のクラスを識別する識別器に対して、入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力するステップと、
    形状補完部が、予め学習された、ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器に対して、前記入力ポイントクラウド及び前記クラス識別部により出力された前記クラス識別特徴を入力して、前記入力ポイントクラウドを補完する前記形状補完ポイントクラウドを出力するステップと、
    を含む形状補完方法。
  5. 物体上の３次元点の集合を計測した計測結果であるポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器を学習する形状補完学習装置が実行する形状補完学習方法であって、
    前記形状補完学習装置が、前記物体の形状の一部を表す疎な３次元の点の集合である入力ポイントクラウドと、前記入力ポイントクラウドを補完する教師ポイントクラウドとを含む学習データに基づいて、
    予め学習された、前記物体のクラスを識別する識別器に対して、前記入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力し、
    ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する前記形状補完ポイントクラウドを生成する生成器、及び
    前記ポイントクラウド、前記形状補完ポイントクラウド、及び前記クラス識別特徴を入力として、前記ポイントクラウド及び前記形状補完ポイントクラウドを合わせた３次元点の集合が、真のポイントクラウドであるか否かを判別する判別器について、
    前記入力ポイントクラウド及び前記教師ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、前記入力ポイントクラウド及び前記生成器によって生成された前記形状補完ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、及び前記生成器によって生成された前記形状補完ポイントクラウドと前記教師ポイントクラウドとの距離、を用いて表される損失関数を最適化するように、前記生成器のパラメータ及び前記判別器のパラメータを最適化するステップ
    を含む形状補完学習方法。
  6. コンピュータを、請求項１に記載の形状補完装置の各部として機能させるためのプログラム。
  7. コンピュータを、請求項２又は請求項３に記載の形状補完学習装置の各部として機能させるためのプログラム。
JP2018179084A 2018-09-25 2018-09-25 形状補完装置、形状補完学習装置、方法、及びプログラム Active JP7135659B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018179084A JP7135659B2 (ja) 2018-09-25 2018-09-25 形状補完装置、形状補完学習装置、方法、及びプログラム
US17/279,044 US11727584B2 (en) 2018-09-25 2019-09-12 Shape supplementation device, shape supplementation learning device, method, and program
PCT/JP2019/035910 WO2020066662A1 (ja) 2018-09-25 2019-09-12 形状補完装置、形状補完学習装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018179084A JP7135659B2 (ja) 2018-09-25 2018-09-25 形状補完装置、形状補完学習装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020052543A JP2020052543A (ja) 2020-04-02
JP7135659B2 true JP7135659B2 (ja) 2022-09-13

Family

ID=69952107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018179084A Active JP7135659B2 (ja) 2018-09-25 2018-09-25 形状補完装置、形状補完学習装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US11727584B2 (ja)
JP (1) JP7135659B2 (ja)
WO (1) WO2020066662A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022102476A1 (ja) * 2020-11-16 2022-05-19 パナソニックＩｐマネジメント株式会社 三次元点群高密度化装置、三次元点群高密度化方法、及び、プログラム
CN112837420B (zh) * 2021-03-09 2024-01-09 西北大学 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统
US11587291B2 (en) * 2021-06-30 2023-02-21 Tencent America LLC Systems and methods of contrastive point completion with fine-to-coarse refinement
CN113408651B (zh) * 2021-07-12 2024-01-23 厦门大学 基于局部判别性增强的无监督三维物体分类方法
WO2023032216A1 (ja) * 2021-09-06 2023-03-09 日本電信電話株式会社 点群補完装置、点群補完方法、及び点群補完プログラム
CN114298946B (zh) * 2022-03-10 2022-06-14 武汉大学 一种框架细节增强的深度学习点云补全方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10824862B2 (en) * 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Angela Dai, et al.，"Shape Completion using 3D-Encoder-Predictor CNNs and Shape Synthesis"，Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，[online]，2017年07月，Pages 5868-5877，[令和4年3月5日検索], インターネット, <URL: https://openaccess.thecvf.com/content_cvpr_2017/html/Dai_Shape_Completion_Using_CVPR_2017_paper.html>.
Charles R. Qi, et al.，"PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation"，arXiv:1612.00593v2，version v2，[online], arXiv (Cornell University)，2017年04月10日，Pages 1-19，[令和元年11月15日検索], インターネット, <URL: https://arxiv.org/pdf/1612.00593v2.pdf> and <URL: https://arxiv.org/abs/1612.00593v2>.
Cherdsak Kingkan, et al.，"Generating Mesh-based Shapes From Learned Latent Spaces of Point Clouds with VAE-GAN"，Proceedings of the 2018 24th International Conference on Pattern Recognition (ICPR)，2018年08月24日，Pages 308-313，ISBN: 978-1-5386-3788-3, <DOI: 10.1109/ICPR.2018.8546232>.
Li Yi, et al.，"Large-Scale 3D Shape Reconstruction and Segmentation from ShapeNet Core55"，arXiv:1710.06104v2，version v2，[online], arXiv (Cornell University)，2017年10月27日，Pages 1-12，[令和元年11月15日検索], インターネット, <URL: https://arxiv.org/pdf/1710.06104v2.pdf> and <URL: https://arxiv.org/abs/1710.06104v2>.
Panos Achlioptas, et al.，"Learning Representations and Generative Models for 3D Point Clouds"，arXiv:1707.02392v3，version v3，[online], arXiv (Cornell University)，2018年06月12日，Pages 1-18，[令和元年11月15日検索], インターネット, <URL: https://arxiv.org/pdf/1707.02392v3.pdf> and <URL: https://arxiv.org/abs/1707.02392v3>.
Wentao Yuan, et al.，"PCN: Point Completion Network"，arXiv:1808.00671v2，version v2，[online], arXiv (Cornell University)，2018年08月05日，Pages 1-17，[令和元年11月15日検索], インターネット, <URL: https://arxiv.org/pdf/1808.00671v2.pdf> and <URL: https://arxiv.org/abs/1808.00671v2>.
Yaoqing Yang, et al.，"FoldingNet: Point Cloud Auto-encoder via Deep Grid Deformation"，arXiv:1712.07262v2，version v2，[online], arXiv (Cornell University)，2018年04月03日，Pages 1-14，[令和元年11月15日検索], インターネット, <URL: https://arxiv.org/pdf/1712.07262v2.pdf> and <URL: https://arxiv.org/abs/1712.07262v2>.
伊東 聖矢（外３名），「ポイントクラウドを入力とした物体認識と形状補完ネットワークの提案」，情報処理学会研究報告，日本，[online], 情報処理学会，2018年01月11日，Vol.2018-CVIM-210, No.54，第１～４頁，ISSN: 2188-8701, [平成30年1月17日検索], インターネット，<URL: http://id.nii.ac.jp/1001/00185405/>.

Also Published As

Publication number Publication date
JP2020052543A (ja) 2020-04-02
US11727584B2 (en) 2023-08-15
US20220005212A1 (en) 2022-01-06
WO2020066662A1 (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
JP7135659B2 (ja) 形状補完装置、形状補完学習装置、方法、及びプログラム
Smith et al. Geometrics: Exploiting geometric structure for graph-encoded objects
CN112927357B (zh) 一种基于动态图网络的3d物体重建方法
Yan et al. Attribute2image: Conditional image generation from visual attributes
Xie et al. Point clouds learning with attention-based graph convolution networks
Zhi et al. LightNet: A Lightweight 3D Convolutional Neural Network for Real-Time 3D Object Recognition.
CN110929736B (zh) 多特征级联rgb-d显著性目标检测方法
Zeng et al. Pc-nbv: A point cloud based deep network for efficient next best view planning
EP3905194A1 (en) Pose estimation method and apparatus
CN111160214A (zh) 一种基于数据融合的3d目标检测方法
Das et al. Cloud2curve: Generation and vectorization of parametric sketches
JP2019008571A (ja) 物体認識装置、物体認識方法、プログラム、及び学習済みモデル
Li et al. Three-dimensional backbone network for 3D object detection in traffic scenes
Tabib et al. Learning-based hole detection in 3D point cloud towards hole filling
Afifi et al. Pixel2Point: 3D object reconstruction from a single image using CNN and initial sphere
Cheng et al. Dense point cloud completion based on generative adversarial network
Yuniarti et al. A 3D template-based point generation network for 3D reconstruction from single images
Liu et al. Concise and effective network for 3D human modeling from orthogonal silhouettes
Daroya et al. REIN: Flexible mesh generation from point clouds
Tesema et al. Point Cloud Completion: A Survey
Lee et al. Fusing RGB and depth with Self-attention for Unseen Object Segmentation
Shi et al. Pairwise attention encoding for point cloud feature learning
Guo et al. CT-block: a novel local and global features extractor for point cloud
Gálvez et al. Applying clonal selection theory to data fitting with rational Bézier curves
EP4325388B1 (en) Machine-learning for topologically-aware cad retrieval

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20180927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R150 Certificate of patent or registration of utility model

Ref document number: 7135659

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150