JP7190147B1

JP7190147B1 - ３次元形状記述子抽出器の製造方法、３次元形状検索方法及び３次元形状検索システム

Info

Publication number: JP7190147B1
Application number: JP2022014874A
Authority: JP
Inventors: フォンチャン; 康司丸山; 清文四條
Original assignee: 株式会社アストライアーソフトウエア
Priority date: 2022-02-02
Filing date: 2022-02-02
Publication date: 2022-12-15
Anticipated expiration: 2042-02-02
Also published as: JP2023112874A; US20230245392A1

Abstract

【課題】簡易かつ高精度に３次元形状を識別するための３次元形状記述子抽出器の製造方法を提供する。
【解決手段】３次元形状から、その表面データを学習データとして採取し、前記学習データを用いて、所定のエンコーダ・デコーダをセットとしてトレーニングしたものを３次元形状記述子抽出器とするもので、前記トレーニングは、前記エンコーダで前記学習データから３次元形状記述子を抽出（エンコード）し、前記デコーダで前記３次元形状記述子を元に戻（デコード）し、前記エンコード前と前記デコード後の差（誤差）を評価し、前記誤差が収束するように前記エンコーダ・デコーダを調整するものであり、前記３次元形状から、その表面データとしてメッシュデータを採取し、所定のスケールにして、前記エンコーダ・デコーダをトレーニングする。
【選択図】図１

Description

特許法第３０条第２項適用２０２１年７月２日に、ウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ａｓｔｒａｅａ－ｓｏｆｔ．ｃｏｍ／）上で公開。

本発明は、３次元形状記述子抽出器の製造方法、３次元形状検索方法及び３次元形状検索システムに関するものである。

近年、人工知能（ＡＩ）に不可欠なディープニューラルネットワーク（ＤＮＮ）による２次元形状認識等、様々な２次元データを利用した人工知能（ＡＩ）が開発され、実用化されている。

一方、３次元形状の認識技術は、２次元形状の認識技術に比べると、実用化が難しい現状がある。

３次元形状は、２次元形状を表現するピクセル配列のように、形状の構成要素同士の関係性が定型的に表現困難だからである。このように、コンピュータが処理可能なレベルにまで、３次元形状の特徴を維持しながらデータを圧縮することが難しいため、３次元形状データを扱うＡＩは、実用化されてこなかった。

そのような中、３次元形状の被写体を認識する装置として、被写体の３次元形状データとテクスチャデータとに基づいて生成される被写体展開画像を用いて画像検索対象である複数のデータベース画像から被写体候補のデータベース画像を選択して出力する被写体認識装置であって、前記被写体展開画像から特徴箇所を抽出し、該被写体展開画像における特徴箇所の第１の局所記述子を算出するクエリ特徴表現手段と、画像検索対象のデータベース画像から特徴箇所を抽出し、該データベース画像における特徴箇所の第２の局所記述子を算出するデータベース特徴表現手段と、前記第１の局所記述子と前記第２の局所記述子とを比較した結果に基づいて生成した最近傍特徴点のペアから射影変換行列を求め、該射影変換行列を用いて前記最近傍特徴点のペアの絞り込みを行った後に類似度のスコアを算出し、該スコアに基づき前記被写体展開画像に類似する前記データベース画像を特定する照合手段とを備えることを特徴とする被写体認識装置が挙げられる（特許文献１）。

また、所定領域の物体を識別する物体識別システムであって、前記所定領域を撮像する撮像部と、前記撮像部から前記所定領域までの距離を測定する測距部と、前記測距部で測定される距離に基づいて、前記所定領域のメッシュモデルを生成するモデル生成部と、前記モデル生成部で生成された前記所定領域のメッシュモデルにおいて、前記所定領域の背景のメッシュモデルから突出した対象物のメッシュモデルを抽出する対象物抽出部と、前記対象物抽出部で抽出された前記対象物のメッシュモデルと、データベースに格納された物体の情報とを照合し、当該対象物を特定する対象物特定部と、を有することを特徴とする、物体識別システムが挙げられる（特許文献２）。

しかしながら、特許文献１の技術は、被写体を２次元画像として展開するものであり、特許文献２の技術は、撮像されなかった部分を補完して推定する必要がある等、３次元形状データに基づき３次元形状を高精度に識別するには不向きである。

特開２０１４－１０２７４６特開２０１９－８３３７

本発明が解決しようとする課題は、簡易かつ高精度に３次元形状を識別することである。

第１の発明は、３次元形状から、その表面データを学習データとして採取し、前記学習データを用いて、所定のエンコーダ・デコーダをセットとしてトレーニングしたものを３次元形状記述子抽出器とする３次元形状記述子抽出器の製造方法であり、前記トレーニングは、前記エンコーダで前記学習データから３次元形状記述子を抽出（エンコード）し、前記デコーダで前記３次元形状記述子を元に戻（デコード）し、前記エンコード前と前記デコード後の差（誤差）を評価し、前記誤差が収束するように前記エンコーダ・デコーダを調整するものであり、前記３次元形状から、その表面データとしてメッシュデータを採取し、所定のスケールにして、前記エンコーダ・デコーダをトレーニングする３次元形状記述子抽出器の製造方法である。また、第２の発明は、３次元形状から、その表面データを学習データとして採取し、前記学習データを用いて、所定のエンコーダ・デコーダをセットとしてトレーニングしたものを３次元形状記述子抽出器とする３次元形状記述子抽出器の製造方法であり、前記トレーニングは、前記エンコーダで前記学習データから３次元形状記述子を抽出（エンコード）し、前記デコーダで前記３次元形状記述子を元に戻（デコード）し、前記エンコード前と前記デコード後の差（誤差）を評価し、前記誤差が収束するように前記エンコーダ・デコーダを調整するものであり、第１の発明の製造方法によって製造された３次元形状記述子抽出器によってエンコード・デコード可能なメッシュについて、隣接するメッシュ面が形成する表面角度に応じて、前記表面角度が鋭くなるほど、その表面データとして点群データを多く採取し、前記エンコーダ・デコーダをトレーニングする３次元形状記述子抽出器の製造方法である。また、第３の発明は、既存の３次元形状データの中から、ドラフトデータの３次元形状に類似する３次元形状を検索する３次元形状検索方法であり、まず、前記既存の３次元形状データの中から前記ドラフトデータが該当する形状類型（クラス）を予測するものであり、前記ドラフトデータが該当するクラスの予測は、第１の発明の製造方法で製造された３次元形状記述子抽出器によって前記ドラフトデータから抽出した３次元形状記述子に基づき、ＡＩモデルが行うものであり、前記ＡＩモデルは、第１の発明の製造方法で製造された３次元形状記述子抽出器によって前記既存の３次元形状データから抽出した３次元形状記述子と、当該３次元形状記述子に係る３次元形状データが属するクラスのクラス名と、を一対の学習データとし、前記３次元形状記述子と前記クラス名の関係性をあらかじめ学習させた学習済みモデルであり、次に、前記予測されたクラスに属する３次元形状データの中から、前記ドラフトデータの３次元形状に類似する３次元形状のものを検索するものであり、前記検索は、第２の発明の製造方法で製造された３次元形状記述子抽出器によって、前記ドラフトデータと前記クラスに属する３次元形状データの３次元形状記述子を抽出し、それぞれの３次元形状記述子を比較し、前記ドラフトデータの３次元形状記述子との距離が最も近い３次元形状記述子に係る３次元形状データを類似するものとする３次元形状検索方法である。また、第４の発明は、ドラフトデータの取得部と、既存の３次元形状データが格納された格納部と、第１の発明の製造方法によって製造された３次元形状記述子抽出器、第２の発明の製造方法によって製造された３次元形状記述子抽出器によって３次元形状記述子を抽出する抽出部と、前記既存の３次元形状データの中から、前記取得部で取得されたドラフトデータが該当する形状類型（クラス）を予測する予測部と、所望の３次元形状データの中から、前記取得部で取得された３次元形状記述子に係るドラフトデータが類似するものを検索し、出力する類推部と、を備える３次元形状検索システムであり、前記ドラフトデータが該当するクラスの予測は、第１の発明の製造方法で製造された３次元形状記述子抽出器によって前記ドラフトデータから抽出した３次元形状記述子に基づき、ＡＩモデルが行うものであり、前記ＡＩモデルは、第１の発明の製造方法で製造された３次元形状記述子抽出器によって前記既存の３次元形状データから抽出した３次元形状記述子と、当該３次元形状記述子に係る３次元形状データが属するクラスのクラス名と、を一対の学習データとして学習、生成し、前記３次元形状記述子と前記クラス名の関係性をあらかじめ学習させた学習済みモデルであり、前記検索は、第２の発明の製造方法で製造された３次元形状記述子抽出器によって、前記ドラフトデータと前記クラスに属する３次元形状データの３次元形状記述子を抽出し、それぞれの３次元形状記述子を比較し、前記ドラフトデータの３次元形状記述子との距離が最も近い３次元形状記述子に係る３次元形状データを類似するものとする３次元形状検索システムである。

本発明は、３次元形状の表面データとしてメッシュデータを用いるため、３次元形状を簡易、かつ、高精度に表現する学習データとして、エンコーダ・デコーダをトレーニングでき、３次元形状記述子抽出器を製造できる効果が期待できる。また、本発明は、当該トレーニングによってエンコード、デコード可能なメッシュについて、隣接するメッシュ面の表面角度に応じて、前記表面角度が大きくなるほど、その表面データとして点群データを多く採取することで、高精度にエンコーダ・デコーダをトレーニングでき、高精度な３次元形状記述子抽出器を製造できる効果が期待できる。また、本発明は、メッシュデータによるトレーニングによってサイズ情報を含まない３次元形状記述子抽出器と点群データによるトレーニングによってサイズ情報を含む３次元形状記述子抽出器により、高精度な３次元形状識別子を抽出し、ＡＩ分野で検索等に利用できる効果が期待できる。

３次元形状記述子抽出器の製造フローである。メッシュデータの前処理フローである。メッシュデータによるエンコーダ、デコーダのトレーニングフローである。３次元形状の表現イメージである。点群データの前処理フローである。三次元形状の表面に設定された隣接メッシュのイメージである。隣接メッシュ面の角度と点群サンプル数のイメージである。メッシュ内のサンプル領域のイメージである。点群データによるエンコーダ、デコーダのトレーニングフローである。３次元形状検索方法のフローである。学習モデルの生成に係る入力情報と出力情報の関係性イメージである。３次元形状データのクラス別イメージである。図１０のステップＳ１０とステップＳ２０の概念図である。図１０のステップＳ３０とステップＳ４０の概念図である。３次元形状検索システムの一例である。

＜用語＞
本発明における用語を以下に説明する。

本発明において、３次元形状記述子とは、３次元座標・表面データを元データとして得られる３次元形状の特徴を表す数値データである。本発明に係る技術分野では、特徴ベクトルや特徴量ベクトルと言われるものである。また、本発明において、３次元形状の、サイズ情報を含まない３次元形状記述子とは、形状の特徴だけを含むものであり、サイズ情報を含む３次元形状記述子とは、形状の特徴に加え寸法情報を含むものである。

本発明において、エンコーダとは、３次元座標・表面データを変換し、３次元形状記述子を抽出（エンコード）するためのプログラムである。３次元形状記述子は、いわゆるディープニューラルネットワーク（ＤＮＮ）により抽出される。また、デコーダとは、エンコーダの逆の操作をし、３次元形状記述子を元に戻（デコード）すためのプログラムである。

本発明において、メッシュデータとは、３次元形状の表面から採取、加工が可能なデータであり、三角メッシュデータ、四角メッシュデータ、その他多角メッシュデータのいずれも含むものである。また、点群データとは、３次元形状の表面から採取、加工が可能なデータであり、任意の複数点からなるものである。

本発明において、３次元形状記述子抽出器とは、所定のエンコーダ、デコーダをセットとして、トレーニング、検証されたものである。トレーニングとは、３次元形状の表面データをトレーニングデータとして、エンコード、デコードし、エンコード前とデコード後の誤差が収束されるまで、エンコーダ、デコーダが設定調整される繰り返し作業のことである。また、検証とは、３次元形状の表面データを検証データとして、トレーニングされた３次元形状記述子抽出器の誤差を確認する作業のことである。

本発明において、隣接するメッシュ面の表面角度とは、２つのメッシュ面がなす角度のことである。表面角度が鋭いとは、平坦な面で隣接する状態から遠ざかった状態にあることを意味する。

本発明において、クラスとは、既存の３次元形状データの特徴によって分類され、所有者や管理者によってタグ付けされた形状類型のことである。管理者は、クラス名を設定し、各々の３次元形状データに当該クラス名をタグ付けする。

本発明において、クラス予測を行うＡＩモデルとは、いわゆる教師あり学習によって生成された学習済みモデルのことである。学習のアルゴリズムは、限定されるものではない。

＜本発明における各種処理＞
本発明に係る処理は、本発明に係る処理に必要な機能を備えた装置やプログラムによって行われる。例えば、装置としては、データの通信、入出力のための端末、ＣＰＵ（制御装置、演算装置）や記憶装置（主記憶装置、補助記憶装置）等が挙げられる。また、プログラムの実行は、補助記憶装置に記憶された所定のプログラムやその他の処理を実行するためのプログラムが主記憶装置に読み出され、ＣＰＵで行われる例が挙げられる。このような処理は、ネットワークを介して行われるものでもよい。

＜実施例１＞
メッシュデータからの３次元形状記述子抽出器の製造及び点群データからの３次元形状記述子の製造を実施例１として以下に説明する。

図１は、サイズ情報を含まない３次元形状記述子抽出器の製造フロー図である。大まかな流れとしては、まず、検証のための学習データが準備される（ステップＳ１）。学習データは、トレーニング用と検証用に分割される。トレーニング用データはエンコーダ、デコーダのトレーニングに使用され、検証用データはトレーニングされたエンコーダ、デコーダの検証に使用される。

次に、エンコーダ、デコーダのトレーニングのために、学習データの前処理が行われる（ステップＳ２）（詳細後述）。

次に、エンコーダ、デコーダのトレーニングが行われる（ステップＳ３）。エンコーダ、デコーダは、所定のライブラリにおいて公開され、利用可能なプログラムである。当該プログラムは、トレーニングを通じて、改良・チューニングを行う（詳細後述）。トレーニングは、指定した数だけ繰り返し行われる。

次に、検証データでのエンコード、デコードの結果が検証される（ステップＳ４）。誤差が所定範囲内に収束すれば、処理は終了となる。誤差が所定範囲内に収束しなければ、エンコーダ、デコーダの設定が変更され（ステップＳ６）、作業がループの先頭に戻され、誤差が所定範囲内になるまで繰り返される。

メッシュデータからの３次元形状記述子抽出器の製造について詳述する。
まず、学習データとして３次元形状データが準備される（ステップＳ１）。３次元形状データは、その表面を表すためのメッシュの頂点の座標とその座標の接続（接線）のためのデータが含まれるものであればよい。例えば、３ＤＣＡＤや３Ｄスキャナー等から３次元形状に係るデータが取得される。ただし、データの取得方法は限定されるものではない。

次に、エンコーダ、デコーダのトレーニングのためのデータの前処理が行われる（ステップＳ２）。図２は、当該前処理の詳細を表すメッシュデータの前処理フローである。まず、取得されたメッシュデータが、前処理のために読み込まれる（ステップＳ２１）。

次に、読み込まれたメッシュデータがソリッドデータであるか否かが判断される（Ｓ２２）。本発明において必要とされるのは、表面データのみであるため、３次元形状の内部情報が含まれる場合、表面データのみが取り出される（ステップＳ２３）。

次に、３次元形状のサイズが所定の基準に調整され（ステップ２４）、当該メッシュによって３次元形状の表面形状が構成されるようになり、簡略化の余地がある場合、所定の節点数まで簡略化される（ステップＳ２５）。ここで、サイズの調整は、処理上、扱いやすくするためのもので、メッシュデータのスケールが所定サイズ内に統一化されるものである。当該処理により、メッシュデータから抽出される３次元形状記述子は、サイズ情報を含まない（３次元形状の特徴だけに基づく）ものとなる。また、簡略化は、エンコーダ、デコーダのトレーニングにかかる時間が許容される範囲まで、特徴量を失わない範囲で、節点数が下げられる（解像度が下げられる）。

次に、前処理後のメッシュデータでエンコーダ、デコーダがトレーニングされる（ステップＳ３）。図３は、メッシュデータによるエンコーダ、デコーダのトレーニングフローである。このトレーニングは、前処理されたメッシュデータを入力データとしてエンコードし、３次元形状記述子を出力データとして抽出するステップ（Ｓ３１）と、抽出された３次元形状記述子をデコードするステップ（Ｓ３２）と、デコード後のメッシュデータがエンコード前のメッシュデータの誤差を算出するステップ（Ｓ３３）と、必要に応じて、メッシュデータの再現度を高めるためのエンコーダ、デコーダの調整ステップ（Ｓ３１～Ｓ３３）とからなる。

ここで、エンコーダ、デコーダは、一般公開されているライブラリの組合わせ、改良・チューニングされたものから用いられたものである。本発明では、エンコーダ、デコーダとしては、メッシュデータをエンコード、デコードできるものであればどのようなものが用いられても良い。ただし、エンコーダ、デコーダとしては、次の要件を満たしていることが必要である。

第１の要件は、粗いメッシュ、形状が不規則なメッシュをエンコード、デコードできることである。メッシュは、エンコード・デコードのパフォーマンス向上のために、前処理によって解像度が下げられ、粗くなるためである。

第２の要件は、３次元形状の表面を構成するメッシュのサイズが小さく、密集する場合にもエンコード、デコードできることである。複雑な３次元形状、細かな３次元形状は、その表面を構成するメッシュのサイズは小さく、密集したものになるからである。

第３の要件は、デコード後のメッシュが交差しないこと、閉じられたメッシュ形状であることである。デコード後のメッシュが交差部分や開放部分があると、３次元形状を表せなくなるからである。

第４の要件は、３次元形状の特徴を失うことなくエンコード、デコードできることである。３次元形状の各表面だけでなく、各表面同士の関係を維持し、全体形状が維持されている必要がある。

第５の要件は、３次元形状のノード、エッジの関係、３次元形状のサイズの影響を受けずにエンコード、デコードできることである。メッシュデータによるトレーニングは、３次元形状のサイズ情報を有しない、形状のみの特徴をとらえる３次元形状記述子抽出器を製造するものである。そのため、サイズの影響を受けるべきではないからである。

第６の要件は、同一の３次元形状について、エンコードされ、得られた３次元形状記述子が変動しないことである。エンコード、デコード結果に堅守性が求められるからである。

第７の要件は、同一の３次元形状記述子がデコードされ、得られた３次元形状記述子が変動しないことである。上記第６の要件と同様の理由からである。

第８の要件は、等方性変換（平行移動、均一スケーリング、回転）された３次元形状について、エンコード、デコードの結果が変動しないことである。上記第６、第７の要件と同様の理由からである。

本実施例では、以上の要件から、エンコーダの選定には、三角形メッシュの接続をラプラシアン・スペクトル分析でエンコードした結果と、表面データをパッチに分割し、それらを集約したＭＰＢ（メッシュプーリングブロック）というデータセットで表せるＬａｐｌａｃｉａｎＮｅｔを採用した（Ｑｉａｏ，Ｙ．Ｌ．，Ｇａｏ，Ｌ．，Ｒｏｓｉｎ，Ｐ．，Ｌａｉ，Ｙ．Ｋ．ａｎｄＣｈｅｎ，Ｘ．，２０２０．Ｌｅａｒｎｉｎｇｏｎ３ＤＭｅｓｈｅｓｗｉｔｈＬａｐｌａｃｉａｎＥｎｃｏｄｉｎｇａｎｄＰｏｏｌｉｎｇ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＶｉｓｕａｌｉｚａｔｉｏｎａｎｄＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）。

ただし、当該ライブラリのプログラムは、入力される形状データに多様性が必要との制約があることから、Ｓｈａｒｐ等によるＬａｐｌａｃｉａｎＮｅｔの改良(Ｓｈａｒｐ，Ｎ．ａｎｄＣｒａｎｅ，Ｋ．，２０２０，Ａｕｇｕｓｔ．ＡＬａｐｌａｃｉａｎｆｏｒｎｏｎｍａｎｉｆｏｌｄｔｒｉａｎｇｌｅｍｅｓｈｅｓ．ＩｎＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓＦｏｒｕｍ（Ｖｏｌ．３９，Ｎｏ．５，ｐｐ．６９－８０）．)に基づき、入力データの準備等の問題が軽減されたものを採用した。なお、本発明に係る技術分野においては、ライブラリ中のプログラムの利用、改良は技術常識の範疇であるため、利用目的や機能に関する記載にとどめ、詳細については省略する。

また、デコーダの選定には、ＡｔｒａｓＮｅｔを採用した（Ｇｒｏｕｅｉｘ，Ｔ．，Ｆｉｓｈｅｒ，Ｍ．，Ｋｉｍ，Ｖ．Ｇ．，Ｒｕｓｓｅｌｌ，Ｂ．Ｃ．ａｎｄＡｕｂｒｙ，Ｍ．，２０１８．Ａｐａｐｉｅｒｍａｃｈｅａｐｐｒｏａｃｈｔｏｌｅａｒｎｉｎｇ３ｄｓｕｒｆａｃｅｇｅｎｅｒａｔｉｏｎ．ＩｎＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥｃｏｎｆｅｒｅｎｃｅｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎａｎｄｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ（ｐｐ．２１６－２２４）．）。ＡｔｒａｓＮｅｔは、３次元形状記述子を３次元形状の表面要素値の集合としてとらえ、点群・ボクセルメッシュを生成する方法とは異なり、３次元形状の表面を推測する方法であり、高精度・コンピュータのメモリ低消費・任意の解像度にデコードできるからである。

また、当該ライブラリのデコーダは、交差しない閉じられたメッシュ形状にデコードすることができないケースがあるため、交差しない閉じられたメッシュ形状にデコードできるＮｅｕｒａｌＭｅｓｈＦｌｏｗも併せて利用した（Ｇｕｐｔａ，Ｋ．，２０２０．ＮｅｕｒａｌＭｅｓｈＦｌｏｗ：３ＤＭａｎｉｆｏｌｄＭｅｓｈＧｅｎｅｒａｔｉｏｎｖｉａＤｉｆｆｅｏｍｏｒｐｈｉｃＦｌｏｗｓ．ＵｎｉｖｅｒｓｉｔｙｏｆＣａｌｉｆｏｒｎｉａ，ＳａｎＤｉｅｇｏ．）。具体的には、ＡｔｒａｓＮｅｔのプログラムによって表面形状の類推、ＮｅｕｒａｌＭｅｓｈＦｌｌｏｗのプログラムによって類推結果から球状メッシュの作成、それを段階的に変形させることで、高精度・メモリ低消費・任意の解像度で、かつ、交差しない閉じられたメッシュ形状へのデコードが行われた。

検証データによる検証は、検証データが用いられてエンコード、デコードされるものである（ステップＳ４）。エンコード前とデコード後の誤差が許容範囲に収束する場合は、トレーニングが終了し、許容範囲に収束しない場合は、エンコーダ、デコーダ、学習データが調整され、許容範囲に収束すると評価されるまでトレーニングが繰り返される（ステップＳ５、ステップＳ６）。

なお、サイズ情報なしの形状記述子抽出器の製造方法を、後述のクラス分類に利用する際には、デコードしてエンコーダの誤差を収束させる代わりに、当該３次元形状記述子に係る３次元形状データが属するクラス名を学習させ、正しくクラス分類するように調整することで、エンコーダの誤差を収束させることもできる。

図４は、メッシュ及び点群（後述）による３次元形状の表現イメージである。図４の左図のように、３次元形状の表面が隣接する三角メッシュの集合によって表現される。この表面を構成するそれぞれの三角メッシュ（より正確には、三角メッシュの頂点座標と接線データ）がエンコーダ、デコーダのトレーニングに供され、３次元形状記述子抽出器が製造される。上述のフローによって製造された３次元形状記述子抽出器は、３次元形状のサイズ情報は含まない、形状特徴に係る３次元形状記述子を抽出するものである。

次に、点群データからの３次元形状記述子抽出器の製造について詳述する。
点群データから製造される３次元形状記述子抽出器は、形状的特徴に加え、３次元形状に係るサイズ情報を含む３次元形状記述子を抽出するものである。基本的な製造フローは、図１に示されたメッシュデータからの３次元形状記述子抽出器の製造と同様である（説明の便宜上、点群データからの３次元形状記述子抽出器の製造についても図１に基づく）。

まず、３次元形状データが取得される（ステップＳ１）。ここで、取得される３次元形状データは、上述のメッシュデータにおけるデータの取得と同様である。

次に、エンコーダ、デコーダのトレーニングのためのデータの前処理が行われる（ステップＳ２）。図５は、当該前処理の詳細を表す点群データの前処理フローである。まず、取得されたデータが、前処理のために読み込まれる（ステップＳ´２１）。

次に、読み込まれたデータがソリッドデータであるか否かが判断される（Ｓ´２２）。本発明において必要とされるのは、表面データのみであるため、３次元形状の内部情報が含まれる場合、表面データのみが取り出される（ステップＳ´２３）。

次に、３次元形状の表面を表現するために、表面データとして取り出されたメッシュの表面から点群がサンプリングされる（ステップＳ´２４）。ここで点群のサンプリングは、隣接するメッシュ面が形成する表面角度に応じて行われる。具体的には、隣接するメッシュ面によって形成される表面角度が鋭くなるほど、点群のサンプルが多く採取される。

ここで、隣接するメッシュ面の表面角度について説明する。図６は、三次元形状の表面に設定された隣接メッシュのイメージである。図６は、五角柱形状の表面を構成するメッシュのうち、所定のメッシュ（メッシュＡ、メッシュＢ、メッシュＣ）に焦点を当てたものである。

メッシュＡは五角柱の上面の一部を構成し、メッシュＢとメッシュＣは当該五角柱の同一側面の一部を構成する。メッシュＡとメッシュＢは、当該五角柱形の上面と側面の際（きわ）の部分で隣接し、２面は直角を形成する。メッシュＡとメッシュＣも当該五角柱形の上面と側面の際（きわ）の１点で隣接し、２面は直角を形成する。メッシュＢとメッシュＣは、当該五角形の側面で隣接し、２面は平坦である。

図７は、２つのメッシュの関係に着目した場合の、隣接メッシュ面の角度と点群サンプル数のイメージである。平坦な面でメッシュが隣接する場合が最も点群サンプル数が少なく、隣接メッシュ面の角度が鋭くなるほど点群サンプル数が多くなる。

図６に示されたメッシュＡとメッシュＢ、メッシュＢとメッシュＣのそれぞれの関係にのみ限定すると、メッシュＡとメッシュＢの表面角度は、メッシュＢとメッシュＣの表面角度よりも鋭いため、メッシュＡとメッシュＢから点群サンプル数が多くなる。表面角度が鋭いほど点群サンプル数が多くなるのは、表面角度が鋭いということは、３次元形状の際（きわ）が鋭角、すなわち、形状的特徴部分であると評価できるからである。

上例は、２つのメッシュ面の関係に限定したものであるが、実際には、一つのメッシュが隣接するメッシュ数は複数になる。そのため、点群サンプル数は、それぞれの隣接メッシュ面との表面角度の関係がトータル的に反映されることになる。例えば、表面角度が鋭いものであったとしても、１点で隣接するメッシュ同士よりも、２点（メッシュの一辺）で隣接するメッシュの方が、三次元形状の際（きわ）となる領域をより包含すると評価される。そのため、２点で隣接するメッシュ面からの点群サンプル数が多くなるほど、3次元形状の把握により適したトレーニングデータとなる。

また、一つのメッシュ面におけるサンプル箇所が調整されることで、より適した点群のサンプルが可能になる。図８は、メッシュ内のサンプル領域のイメージである。三角メッシュの一辺が隣接し、表面角度が鋭い場合、隣接辺部に近い領域がサンプル領域となり、三角メッシュの頂点が隣接し、表面角度が鋭い場合、隣接頂点部に近い領域がサンプル領域となる運用でもよい。

このようにして採取された点群データで、エンコーダ、デコーダがトレーニングされる（ステップＳ３）。図９は、点群データによるエンコーダ、デコーダのトレーニングフローである。

このトレーニングは、点群データを入力データとしてエンコードし、３次元形状記述子を出力データとして抽出するステップ（Ｓ´３１）と、抽出された３次元形状記述子をデコードするステップ（Ｓ´３２）と、デコード後のメッシュデータがエンコード前のメッシュデータの誤差を算出するステップ（Ｓ´３３）と、必要に応じて、メッシュデータの再現度を高めるためのエンコーダ、デコーダの調整ステップ（Ｓ´３１～Ｓ´３３）とからなるもので、基本的な流れは、メッシュデータによるトレーニングと同じである。

メッシュデータによるトレーニングの場合と同じく、エンコーダ、デコーダは、一般公開されているライブラリが利用され、改良・チューニングされたものである。本発明では、エンコーダ、デコーダとしては、点群データをエンコード、デコードできるものであればどのようなものが用いられても良い。

ただし、エンコーダ、デコーダに求められる要件としては、（デコード結果がメッシュ形状であるため）メッシュデータのトレーニングにおけるエンコーダ、デコーダの選定に係る上述の要件１～８と同様であり、エンコーダ、デコーダの要件として、３次元形状から点群データを抽出できることを加え、選定された。

本実施例では、以上の要件から、エンコーダの選定には、ＰｏｉｎｔＮｅｔが利用された（Ｑｉ，Ｃ．Ｒ．，Ｓｕ，ｈ．，Ｍｏ，Ｋ．ａｎｄＧｕｉｂａｓ，Ｌ．Ｊ．，２０１７．Ｐｏｉｎｔｎｅｔ：Ｄｅｅｐｌｅａｒｎｉｎｇｏｎｐｏｉｎｔｓｅｔｓｆｏｒ３ｄｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｓｅｇｍｅｎｔａｔｉｏｎ．ＩｎＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥｃｏｎｆｅｒｅｎｃｅｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎａｎｄｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ（ｐｐ．６５２－６６０）.）。当該ライブラリのプログラムは、点群データを直接エンコードできる方式のものである。デコーダの選定には、ＡｔｒａｓＮｅｔ及びＮｅｕｒａｌＭｅｓｈＦｌｏｗが利用された。

点群データによるエンコーダ、デコーダのトレーニング後の検証データによる検証（ステップＳ４）、検証データでの誤差の評価（ステップＳ５）、誤差が許容範囲に収束しない場合のトレーニング方法、設定の変更（ステップＳ６）に関しては、上述のメッシュデータの場合と同様である。

以上が、メッシュデータによる３次元形状記述子抽出器の製造方法及び点群データによる３次元形状記述子抽出器の製造方法である。メッシュデータからの３次元形状記述子抽出器は、３次元形状データからサイズ情報を含まない３次元形状記述子を抽出する。一方、メッシュデータから点群データがサンプリングされ、点群データからの３次元形状記述子抽出器は、サイズ情報を含む３次元形状記述子を抽出する。

３次元形状を把握するために、寸法情報が不要な場合は、サイズ情報を含まない３次元形状記述子の抽出によって、少ない情報で迅速な３次元形状の把握が可能となる。一方、３次元形状の寸法を含め、３次元形状を把握する場合は、サイズ情報を含む３次元形状記述子の抽出によって、より精緻に３次元形状の把握が可能となる。

実際に、７つの分類からなる１８０種類のボルトを対象とした場合に形状の分類予測と形状の類似性比較が行われた。サイズ情報を含まない３次元形状記述子の抽出を通じて、従前の分類通りに７つに分類できること、サイズ情報を含む３次元形状記述子の抽出を通じて、１８０種類のボルトの類似性が比較され、同一ボルトの類似性が最も高くなることが確認できた。さらに、３０種類のブラケットを対象に、サイズ情報を含む３次元形状記述子の抽出を通じて、３０種類のブラケットの類似性が比較され、同一ブラケットの類似性が最も高くなることが確認された（以上の分類予測と類似性比較に係る詳細は実施例２にて後述）。

＜実施例２＞
実施例１によって製造された３次元形状記述子抽出器による３次元形状の検索方法及び３次元形状検索システムについて実施例２として以下に説明する。

図１０は、３次元形状検索方法のフローである。当該方法により、既存の３次元形状データの中から所望の３次元形状を検索することが可能になる。具体的には、所望の３次元形状をドラフトデータ（例えば、３ＤＣＡＤ図面や３Ｄスキャナーでスキャンされた３Ｄ図面）とし、これに類似する既存の３次元形状データが格納されたライブラリ内からドラフトデータに係る３次元形状に類似する形状が検索される。

３次元形状検索方法の大まかな流れは、ドラフトデータの作成ステップ（図１では省略）と、ドラフトデータの３次元形状データからサイズ情報を含まない３次元形状記述子の抽出ステップ（Ｓ１０）と、抽出された３次元形状記述子に基づきドラフトデータが既存の３次元形状データのライブラリのどのクラスに相当するかを学習済みＡＩが予測するステップ（Ｓ２０）と、学習済みＡＩによって予測されたクラス内に属する３次元形状データからサイズ情報を含む３次元形状記述子を抽出するステップ（Ｓ３０）と、抽出された３次元形状記述子に基づき、学習済みＡＩによって予測されたクラス内に属する３次元形状データの中からドラフトデータの３次元形状との類似度を算出し、類似する３次元形状データを出力するステップ（Ｓ４０）とからなる。

各ステップについて、以下に詳述する。
まず、ドラフトデータが準備される。例えば、試作品がある場合、当該試作品が３Ｄスキャナーにより読取られ、３次元形状に係る表面データがドラフトデータとして作成される。

次に、メッシュデータから製造された３次元形状記述子抽出器により、ドラフトデータの３次元形状記述子が抽出される（ステップＳ１０）。この３次元形状記述子は、サイズ情報を含まないものである。

次に、ドラフトデータの３次元形状が、既存の３次元形状データの中の、どの３次元形状のクラスに属するかＡＩモデルによって予測される（ステップＳ２０）。ＡＩモデルは、上述のメッシュデータによるトレーニングで製造された３次元形状記述子抽出器によって既存データから抽出された３次元形状記述子と、当該３次元形状記述子に係る３次元形状データが属するクラスのクラス名との学習により生成されたものである。

図１１は、学習モデルの生成に係る入力情報と出力情報の関係性イメージである。入力情報は、サイズ情報を含まない３次元形状記述子である。また、出力情報は、クラス名（３次元形状データの保有者等によって形状類型別に付された名称）である。このように、３次元形状のクラスを予測する学習モデルは、サイズ情報を含まない３次元形状記述子とクラス名が一対の学習データとして、あらかじめ学習、生成されたものである。

図１２は、既存の３次元形状データのライブラリのクラス別イメージである。図１２では、ボルト部品がヘッド形状別にクラス分類されている（図中のグループ名がクラスに該当）。それぞれの３次元形状データには、クラス名がタグ付けされる。

図１３は、図１０のステップＳ１０とステップＳ２０の概念図である。まず、メッシュデータから製造された３次元形状記述子抽出器によって、ドラフトデータからサイズ情報を含まない３次元形状記述子が抽出される。次に、学習済みモデルが、抽出されたサイズ情報を含まない３次元形状記述子を入力データとして、ドラフトデータに係る３次元形状が既存データのどのクラスに相当するのか出力（クラスを予測）する。

ここでは、クラスの予測にとどまるが、予測されたクラス内の全データが類似データとして出力されるものでもよいし、サイズ情報を含まない３次元形状記述子に基づき類似度が算出され、類似データが出力されるものでもよい。

次に、点群データから製造された３次元形状記述子抽出器により、ドラフトデータと予測されたクラス内の３次元形状データの３次元形状記述子が抽出される（ステップステップＳ３０）。これらの３次元形状記述子は、サイズ情報を含むものである。

次に、ドラフトデータから抽出された３次元形状記述子と予測されたクラス内の３次元形状データから抽出された３次元形状記述子の類似度が算出され、類似すると判断されたデータが出力される（ステップＳ４０）。類似度の算出は、ドラフトデータとクラス内の３次元形状データから抽出された３次元形状記述子（Ｎ次元データ）間の距離（誤差）に基づいて行われる。このＮ次元データの同一次元間の差が２乗された数値の合算値の平方根（（（X_１－Y_１）^２＋（X_２－Y_２）^２＋・・・・＋（X_ｎ－Y_ｎ）^２）の平方根）が距離になる。この距離が最も近いものが類似するものと判断され、当該３次元形状記述子に係る３次元形状データが出力される。図１４は、図１０のステップＳ３０とステップＳ４０の概念図である。また、３次元形状の類似度判断は、予測されたクラス内だけではなく、任意の範囲内で行うこともできる。

以上の３次元形状の検索方法によって、第三者の要求（３次元形状の検索ニーズ）にも対応することが可能になる。図１５は、３次元形状検索システム１の一例である。ここでは、ネットワークを介する、３次元形状検索を実現するためのサーバ２、サービス提供者（管理者端末２）とサービス利用者（利用者端末３）の関係が表現されている。

サービス提供者は、管理者端末３から、又は、サービス利用者の利用者端末４から、サーバ２が備える３次元検索に係る機能を利用可能なように環境を整え、３次元形状の検索を実現する。ただし、図１５は、あくまでシステムの一形態であり、本発明に係る３次元形状の検索方法に基づく限り、３次元形状システム１に関わるプレーヤーの数、端末やプログラム、データの所有、その他システム構成等が限定されるものではない。また、本発明は、装置等の名称によって解釈されるべきではなく、発明の構成要素から柔軟に解釈されるべきである。

ここで、サーバ２は、制御部、記憶部を備え、制御部は、各種データの取得部、３次元形状データからサイズ情報を含まない３次元形状記述子又はサイズ情報を含む３次元形状記述子を抽出する抽出部、サイズ情報を含まない３次元形状記述子に基づき３次元形状のクラスを予測する予測部、サイズ情報を含む３次元形状記述子により３次元形状の類似度合いを類推する類推部等を備え、記憶部は、３次元形状データ、サイズ情報を含まない３次元形状記述子とクラス名の関係性についての学習済みモデル（上述の学習済みモデルと同様のモデル）等を備えたものが挙げられる（図省略）。また、サイズ情報を含まない３次元形状記述子とそのクラス名を教師データとして、学習を実行し、学習済みＡＩモデルを生成する学習部を備えたものも本発明に係るシステムの範疇である。ドラフトデータから得られたサイズ情報を含まない３次元形状記述子も、学習データとして利用され、学習済みモデルが強化、更新される。

サービス利用者が既存の３次元形状データの中から、所望の３次元形状データを見つけたいケースでは、次の例として説明される。

まず、サービス利用者は、所望のデータを得るために、ドラフトデータを作成する。このドラフトデータの３次元形状に類似するものが所望のデータとなる。サービス利用者は、利用者端末４にドラフトデータを入力する。次に、サーバ２の取得部が、利用者端末４からドラフトデータを取得する。次に、抽出部が、ドラフトデータのサイズ情報を含まない３次元形状記述子を抽出する。次に、予測部が学習済みモデルを参照し、抽出されたサイズ情報を含まない３次元形状記述子に基づき、ドラフトデータの３次元形状のクラス（既存の３次元形状データ内のクラス）を予測する。次に、抽出部が、ドラフトデータと予測クラス内の３次元形状データのサイズ情報を含む３次元形状記述子を抽出する。次に、類推部が、抽出されたサイズ情報を含む３次元形状記述子に基づき、ドラフトデータの３次元形状に類似するものを検索する。検索結果とその他必要な情報は、利用者端末４で取得される。サービル提供者は、必要に応じて、管理者端末３から、これらの操作の監視、サポート、代行検索等を行う。またサービス利用者は、クラスの予測を行わずに、ライブラリ内全ての３次元形状データと類似性判断を行うことも選択することができる。

＜実施例３＞
実施例１及び実施例２を受けて、本発明に係る考察を実施例３として、以下に説明する。

実施例１では、メッシュデータ、点群データを学習データとして、一般公開され、利用可能なエンコーダとデコーダがセットになったもののトレーニング、検証により、３次元形状記述子抽出器が製造された。本発明では、上述の各ライブラリが利用されたが、エンコーダ、デコーダは、限定されるものではない。上述の各要件の観点から、繰り返しのトレーニングを介し、エンコーダ、デコーダが評価、選定、チューニング等されればよい。

また、本発明において、メッシュデータを学習データとする３次元形状記述子抽出器は、サイズ情報を含まない３次元形状記述子を抽出する。これによってデータ量が軽減され、３次元形状の特徴を簡易かつ精度よくとらえた３次元形状記述子の抽出が可能になった。

また、本発明において、点群データを学習データとする３次元形状記述子抽出器は、サイズ情報を含む３次元形状記述子を抽出する。これまでは、メッシュデータを利用する方法、３次元表面からの点群をランダムにサンプリングする方法では、サイズ情報を含む３次元形状記述子の抽出は困難であった。これが、上述のメッシュデータ（３次元形状の表面を構成する隣接メッシュ）からの情報を活用することで、サイズ情報を含む３次元形状記述子を抽出することが可能になった。

また、サイズ情報を含まない３次元形状記述子とサイズ情報を含む３次元形状記述子の両方が抽出可能になったことで、効率的な３次元形状の検索が可能になった。すなわち、大量の３次元形状データが存在する場合に、サイズ情報を含まない３次元形状記述子が形状別のクラス分けに利用され、サイズ情報を含む３次元形状記述子がクラス内の３次元形状検索に利用されることで、少ないデータ処理量での検索が可能となった。

ただし、サイズ情報を含む３次元形状記述子の抽出は、所定のクラス外から行われることが否定されるものではない。例えば、利用者の要求に応じて、所望のクラスから３次元形状記述子が抽出されるものでもよいし、全クラスから抽出されるものでもよい。

本発明は、３次元形状の検索に係る分野への利用が可能である。例えば、メーカーの設計部等で、所望する形状に近しい形状の図面をベースとして新たな図面が作成されるケースにおいて、大量の既存図面の中から簡易、迅速、高精度な図面検索方法、図面検索システムとして利用可能である。また、図面の所有数が少ない企業等において、図面ライブラリの中から有効活用できる図面の提供が、本発明の利用例として挙げられる。

１３次元形状検索システム

Claims

３次元形状から、その表面データを学習データとして採取し、前記学習データを用いて、所定のエンコーダ・デコーダをセットとしてトレーニングしたものを３次元形状記述子抽出器とする３次元形状記述子抽出器の製造方法であり、
前記トレーニングは、前記エンコーダで前記学習データから３次元形状記述子を抽出（エンコード）し、前記デコーダで前記３次元形状記述子を元に戻（デコード）し、前記エンコード前と前記デコード後の差（誤差）を評価し、前記誤差が収束するように前記エンコーダ・デコーダを調整するものであり、
前記３次元形状から、その表面データとしてメッシュデータを採取し、所定のスケールにして、前記エンコーダ・デコーダをトレーニングする３次元形状記述子抽出器の製造方法。
３次元形状から、その表面データを学習データとして採取し、前記学習データを用いて、所定のエンコーダ・デコーダをセットとしてトレーニングしたものを３次元形状記述子抽出器とする３次元形状記述子抽出器の製造方法であり、
前記トレーニングは、前記エンコーダで前記学習データから３次元形状記述子を抽出（エンコード）し、前記デコーダで前記３次元形状記述子を元に戻（デコード）し、前記エンコード前と前記デコード後の差（誤差）を評価し、前記誤差が収束するように前記エンコーダ・デコーダを調整するものであり、
請求項１の製造方法によって製造された３次元形状記述子抽出器によってエンコード・デコード可能なメッシュについて、隣接するメッシュ面が形成する表面角度に応じて、前記表面角度が鋭くなるほど、その表面データとして点群データを多く採取し、前記エンコーダ・デコーダをトレーニングする３次元形状記述子抽出器の製造方法。
既存の３次元形状データの中から、ドラフトデータの３次元形状に類似する３次元形状を検索する３次元形状検索方法であり、
まず、前記既存の３次元形状データの中から前記ドラフトデータが該当する形状類型（クラス）を予測するものであり、
前記ドラフトデータが該当するクラスの予測は、請求項１の製造方法で製造された３次元形状記述子抽出器によって前記ドラフトデータから抽出した３次元形状記述子に基づき、ＡＩモデルが行うものであり、
前記ＡＩモデルは、請求項１の製造方法で製造された３次元形状記述子抽出器によって前記既存の３次元形状データから抽出した３次元形状記述子と、当該３次元形状記述子に係る３次元形状データが属するクラスのクラス名と、を一対の学習データとして学習、生成し、前記３次元形状記述子と前記クラス名の関係性をあらかじめ学習させた学習済みモデルであり、
次に、前記予測されたクラスに属する３次元形状データの中から、前記ドラフトデータの３次元形状に類似する３次元形状のものを検索するものであり、
前記検索は、請求項２の製造方法で製造された３次元形状記述子抽出器によって、前記ドラフトデータと前記クラスに属する３次元形状データの３次元形状記述子を抽出し、それぞれの３次元形状記述子を比較し、前記ドラフトデータの３次元形状記述子との距離が最も近い３次元形状記述子に係る３次元形状データを類似するものとする３次元形状検索方法。
ドラフトデータの取得部と、
既存の３次元形状データが格納された格納部と、
請求項１の製造方法によって製造された３次元形状記述子抽出器、請求項２の製造方法によって製造された３次元形状記述子抽出器によって３次元形状記述子を抽出する抽出部と、
前記既存の３次元形状データの中から、前記取得部で取得されたドラフトデータが該当する形状類型（クラス）を予測する予測部と、
所望の３次元形状データの中から、前記取得部で取得された３次元形状記述子に係るドラフトデータが類似するものを検索し、出力する類推部と、を備える３次元形状検索システムであり、
前記ドラフトデータが該当するクラスの予測は、請求項１の製造方法で製造された３次元形状記述子抽出器によって前記ドラフトデータから抽出した３次元形状記述子に基づき、ＡＩモデルが行うものであり、
前記ＡＩモデルは、請求項１の製造方法で製造された３次元形状記述子抽出器によって前記既存の３次元形状データから抽出した３次元形状記述子と、当該３次元形状記述子に係る３次元形状データが属するクラスのクラス名と、を一対の学習データとして学習、生成し、前記３次元形状記述子と前記クラス名の関係性をあらかじめ学習させた学習済みモデルであり、
前記検索は、請求項２の製造方法で製造された３次元形状記述子抽出器によって、前記ドラフトデータと前記クラスに属する３次元形状データの３次元形状記述子を抽出し、それぞれの３次元形状記述子を比較し、前記ドラフトデータの３次元形状記述子との距離が最も近い３次元形状記述子に係る３次元形状データを類似するものとする３次元形状検索システム。