JP6819758B1 - 点群データ同一性推定装置及び点群データ同一性推定システム - Google Patents

点群データ同一性推定装置及び点群データ同一性推定システム Download PDF

Info

Publication number
JP6819758B1
JP6819758B1 JP2019181004A JP2019181004A JP6819758B1 JP 6819758 B1 JP6819758 B1 JP 6819758B1 JP 2019181004 A JP2019181004 A JP 2019181004A JP 2019181004 A JP2019181004 A JP 2019181004A JP 6819758 B1 JP6819758 B1 JP 6819758B1
Authority
JP
Japan
Prior art keywords
point cloud
cloud data
data
identity
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019181004A
Other languages
English (en)
Other versions
JP2021056904A (ja
Inventor
以大 間下
以大 間下
友樹 浦西
友樹 浦西
ポチャラ ラサミー
ポチャラ ラサミー
健士朗 田又
健士朗 田又
宏美 大久保
宏美 大久保
西村　忠史
忠史 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Priority to JP2019181004A priority Critical patent/JP6819758B1/ja
Priority to PCT/JP2020/035231 priority patent/WO2021065538A1/ja
Priority to US17/754,219 priority patent/US11704841B2/en
Priority to CN202080066282.9A priority patent/CN114424244B/zh
Application granted granted Critical
Publication of JP6819758B1 publication Critical patent/JP6819758B1/ja
Publication of JP2021056904A publication Critical patent/JP2021056904A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

【課題】 点群データに関する情報について、同一性の評価の精度を向上させる点群データ同一性推定装置、点群データ同一性推定システムを提供する。【解決手段】 ２つの３次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置であって、３次元点群データからなる第１点群データ及び第２点群データを取得する点群データ取得部と、第１点群データに関する情報を入力して第１点群データ特徴量を出力する第１ニューラルネットワークと、第２点群データに関する情報を入力して第２点群データ特徴量を出力する第２ニューラルネットワークと、前記第１点群データ特徴量と前記第２点群データ特徴量とに基づいて、前記第１点群データと前記第２点群データの同一性に関する評価を出力する同一性評価部と、を有し、前記第１ニューラルネットワークと前記第２ニューラルネットワークとは互いに重みが共有されている。【選択図】図１

Description

本開示は、点群データ同一性推定装置及び点群データ同一性推定システムに関する。
従来より、実環境を計測することで取得した３次元点群データ、または、該３次元点群データを異なるデータ形式に変換した変換後のデータ、等のいわゆる"点群データに関する情報"を用いて、３次元モデルを作成するモデル作成技術が知られている。
当該モデル作成技術により３次元モデルを作成するにあたっては、実環境を計測する際の計測方向や計測位置、計測距離、計測タイミング、計測装置の種類等の各種計測条件が異なる、それぞれの"点群データに関する情報"について、適切に位置合わせ（同一性の評価）を行うことが重要となる。
特開２０１９−１０１９２７号公報
本開示は、点群データに関する情報について、同一性の評価の精度を向上させる点群データ同一性推定装置、点群データ同一性推定システムを提供する。
本開示の第１の態様は、２つの３次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置であって、
３次元点群データからなる第１点群データ及び第２点群データを取得する点群データ取得部と、
第１点群データに関する情報を入力して第１点群データ特徴量を出力する第１ニューラルネットワークと、
第２点群データに関する情報を入力して第２点群データ特徴量を出力する第２ニューラルネットワークと、
前記第１点群データ特徴量と前記第２点群データ特徴量とに基づいて、前記第１点群データと前記第２点群データの同一性に関する評価を出力する同一性評価部と、を有し、
前記第１ニューラルネットワークと前記第２ニューラルネットワークとは互いに重みが共有されている。
本開示の第１の態様によれば、点群データに関する情報について、同一性の評価の精度を向上させる点群データ同一性推定装置を提供することができる。
また、本開示の第２の態様は、第１の態様に記載の点群データ同一性推定装置であって、
互いに同一の３次元形状を元にして作成された２つの３次元点群データに関する情報を第１教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新し、
互いに異なる３次元形状を元にして作成された２つの３次元点群データに関する情報を第２教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新する。
また、本開示の第３の態様は、第２の態様に記載の点群データ同一性推定装置であって、
前記第１教師データは、互いに同一の３次元形状を元にして作成された２つの３次元点群データに関する情報のうち少なくとも一方を欠損させたもの、または、少なくとも一方にノイズを加えたものである。
また、本開示の第４の態様は、第２の態様に記載の点群データ同一性推定装置であって、
前記第１教師データは、互いに同一の３次元形状を異なる条件で計測したものを元にして作成された２つの３次元点群データに関する情報である。
また、本開示の第５の態様は、第１の態様に記載の点群データ同一性推定装置であって、
前記第１点群データに関する情報及び前記第２点群データに関する情報は、それぞれ、３次元点群データである。
また、本開示の第６の態様は、第５の態様に記載の点群データ同一性推定装置であって、
所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状を傾けない或いは所定の角度未満傾けたものを元にして作成された３次元点群データを、第３教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新し、
所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状を前記所定の角度以上傾けたものを元にして作成された３次元点群データを、第４教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新する。
また、本開示の第７の態様は、第５の態様に記載の点群データ同一性推定装置であって、
所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状と同一サイズのもの或いは前記所定の３次元形状を所定範囲内の拡大率または縮小率で拡大または縮小したものを元にして作成された３次元点群データを、第５教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新し、
所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状を前記所定範囲を超えた拡大率または縮小率で拡大または縮小したものを元にして作成された３次元点群データを、第６教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新する。
また、本開示の第８の態様は、対象物を計測し、３次元点群データを作成する計測装置と、２つの３次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置と、を有する点群データ同一性推定システムであって、
前記点群データ同一性推定装置は、
３次元点群データからなる第１点群データ及び第２点群データを取得する点群データ取得部と、
第１点群データに関する情報を入力して第１点群データ特徴量を出力する第１ニューラルネットワークと、
第２点群データに関する情報を入力して第２点群データ特徴量を出力する第２ニューラルネットワークと、
前記第１点群データ特徴量と前記第２点群データ特徴量とに基づいて、前記第１点群データと前記第２点群データの同一性に関する評価を出力する同一性評価部と、を有し、
前記第１ニューラルネットワークと前記第２ニューラルネットワークとは互いに重みが共有されている。
本開示の第８の態様によれば、点群データに関する情報について、同一性の評価の精度を向上させる点群データ同一性推定システムを提供することができる。
点群データ同一性推定システムのシステム構成の一例を示す図である。 点群データ同一性推定装置のハードウェア構成の一例を示す図である。 学習用データの一例を示す図である。 データ拡張部の機能構成の一例を示す図である。 学習部の機能構成の一例を示す図である。 学習部による学習処理の流れを示すフローチャートである。 推論部の機能構成の一例を示す図である。 推論部による推論処理の流れを示すフローチャートである。 推論結果の具体例を示す図である。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
［第１の実施形態］
＜点群データ同一性推定システムのシステム構成＞
はじめに、第１の実施形態に係る点群データ同一性推定システムのシステム構成について説明する。図１は、点群データ同一性推定システムのシステム構成の一例を示す図である。
図１に示すように、点群データ同一性推定システム１００は、第１の計測装置１１０と、第２の計測装置１１１と、点群データ同一性推定装置１２０と、を有する。第１の計測装置１１０及び第２の計測装置１１１と、点群データ同一性推定装置１２０とは、有線または無線を介して接続される。
第１の計測装置１１０及び第２の計測装置１１１は、それぞれ、実環境１３０内に載置された対象物Ａ、対象物Ｂ等の各種対象物を計測し、３次元点群データを作成する。第１の計測装置１１０及び第２の計測装置１１１は、それぞれ、作成した３次元点群データを点群データ同一性推定装置１２０に送信する。
なお、第１の計測装置１１０と第２の計測装置１１１とは、各種対象物を計測する際の計測方向、計測位置、計測距離、計測タイミング、装置の種類等の各種計測条件のうちの、少なくともいずれかの計測条件が異なっているものとする。
また、第１の実施形態では、点群データ同一性推定システム１００が、第１の計測装置１１０及び第２の計測装置１１１の２台の計測装置を有するものとして説明するが、点群データ同一性推定システム１００が有する計測装置の台数は１台であってもよい。あるいは、点群データ同一性推定システム１００が有する計測装置の台数は３台以上であってもよい。
点群データ同一性推定装置１２０は、２つの３次元点群データの元となる対象物の同一性を評価する装置である。
なお、２つの３次元点群データとは、計測方向や計測位置、計測距離、計測タイミング、計測装置の種類等の各種計測条件が異なる状況下で対象物を計測した場合の３次元点群データを指す。具体的には、第１の計測装置１１０と第２の計測装置１１１とが、それぞれ、実環境１３０に載置された対象物を計測することで作成した３次元点群データを指す。
点群データ同一性推定装置には、各種プログラムがインストールされており、当該プログラムを実行することで、点群データ同一性推定装置１２０は、データ取得部１２１、データ変換部１２２、データ拡張部１２３、学習部１２４、推論部１２５として機能する。
データ取得部１２１は、第１の計測装置１１０及び第２の計測装置１１１より送信された３次元点群データを取得する。データ取得部１２１が取得する３次元点群データには、学習用データとして用いることを目的として取得する３次元点群データと、推論用データとして用いることを目的として取得する３次元点群データとが含まれる。
データ変換部１２２は、データ取得部１２１が取得した３次元点群データのデータ形式を変換し、３次元点群データとは異なるデータ形式のデータを生成する。データ変換部１２２により生成されるデータには、例えば、メッシュデータ（ポリゴンデータ）、サーフェスデータ、ＣＡＤデータ等の各種データ形式のデータが含まれる。第１の実施形態では、３次元点群データを含むこれら各種データ形式のデータを総称して、"点群データに関する情報"と称す。ただし、以下では、説明の簡略化のため、データ変換部１２２のデータ形式変換機能は動作させず、点群データに関する情報＝３次元点群データそのもの、であるとして説明する。
また、データ変換部１２２は、３次元点群データを、対象物の一部の３次元形状を表す、複数の局所３次元点群データに分割する分割機能を有する。
また、データ変換部１２２は、学習用データとして用いることを目的として取得された３次元点群データを分割することで得た、複数の局所３次元点群データを、学習用データとして、学習用データ格納部１２６に格納する格納機能を有する。
具体的には、データ変換部１２２は、同一の対象物を第１及び第２の計測装置１１０、１１１が計測することで取得された２つの３次元点群データのうち、該対象物の同一の一部の３次元形状を表す、２つの局所３次元点群データを、互いに対応付けて格納する。このとき、データ変換部１２２では、互いに同一の３次元形状を元にして作成されたものであることを示す情報もあわせて格納する。
また、データ変換部１２２は、同一の対象物を第１及び第２の計測装置１１０、１１１が計測することで取得された２つの３次元点群データのうち、該対象物の異なる一部の３次元形状を表す、２つの局所３次元点群データを、互いに対応付けて格納する。このとき、データ変換部１２２では、互いに異なる３次元形状を元にして作成されたものであることを示す情報もあわせて格納する。
また、データ変換部１２２は、異なる対象物を第１及び第２の計測装置１１０、１１１が計測することで取得された２つの３次元点群データのうち、各対象物の一部の３次元形状を表す、２つの局所３次元点群データを、互いに対応付けて格納する。このとき、データ変換部１２２では、互いに異なる３次元形状を元にして作成されたものであることを示す情報もあわせて格納する。
更に、データ変換部１２２では、推論用データとして用いることを目的として取得された３次元点群データを分割することで得た、複数の局所３次元点群データを、推論用データ格納部１２７に格納する格納機能を有する。
具体的には、データ変換部１２２は、
・第１の計測装置１１０が計測することで取得された３次元点群データを分割した複数の局所３次元点群データと、
・第２の計測装置１１１が計測することで取得された３次元点群データを分割した複数の局所３次元点群データと、
を互いに対応付けて格納する。
データ拡張部１２３は、学習用データとして学習用データ格納部１２６に格納された、複数の局所３次元点群データに対して、種々の変更処理を行うことで、学習用データを拡張する。
学習部１２４は、深層学習フレームワークを有する。学習部１２４は、学習用データ格納部１２６に格納された複数の局所３次元点群データを読み出し、
・互いに対応付けられた２つの局所３次元点群データの組を入力データとして、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network、例えば、３次元点群データ用のＤＮＮであるＰｏｉｎｔＮｅｔ）を実行し、
・同一の３次元形状を元にして作成されたものであるか否かを示す情報を正解ラベルとして、該ディープニューラルネットワーク（例えば、３次元点群データ用のＤＮＮであるＰｏｉｎｔＮｅｔ）に含まれる重みパラメータを更新する、
学習処理を行う。
なお、学習部１２４は、学習処理を行うことで調整した重みパラメータを、推論部１２５に反映させる。
推論部１２５は、学習部１２４同様、３次元点群データ用の深層学習フレームワークを有する。
推論部１２５は、推論用データ格納部１２７に格納された複数の局所３次元点群データを読み出し、
・互いに対応付けられた２つの局所３次元点群データの組を入力データとして、ディープニューラルネットワーク（例えば、３次元点群データ用のＤＮＮであるＰｏｉｎｔＮｅｔ）を実行し、
・互いに対応付けられた２つの局所３次元点群データの元となる３次元形状が、同一であるか否かを推論する、
推論処理を行う。
＜点群データ同一性推定装置のハードウェア構成＞
次に、点群データ同一性推定装置１２０のハードウェア構成について説明する。図２は、点群データ同一性推定装置のハードウェア構成の一例を示す図である。
図２に示すように、点群データ同一性推定装置１２０は、プロセッサ２０１と、メモリ２０２と、補助記憶装置２０３と、表示装置２０４と、操作装置２０５と、Ｉ／Ｆ（Interface）装置２０６と、ドライブ装置２０７とを有する。なお、点群データ同一性推定装置１２０の各ハードウェアは、バス２０８を介して相互に接続されている。
プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラムをメモリ２０２上に読み出して実行する。
メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは上記機能（図１参照）を実現する。
補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。学習用データ格納部１２６、推論用データ格納部１２７は、補助記憶装置２０３において実現される。
表示装置２０４は、点群データ同一性推定装置１２０の内部状態を表示する表示デバイスである。操作装置２０５は、点群データ同一性推定装置１２０のユーザが点群データ同一性推定装置１２０に対して各種指示を入力する際に用いる入力デバイスである。Ｉ／Ｆ装置２０６は、第１の計測装置１１０及び第２の計測装置１１１と接続し、３次元点群データを受信するための接続デバイスである。
ドライブ装置２０７は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０７にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０７により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、不図示のネットワークを介してダウンロードされることで、インストールされてもよい。
＜学習用データの具体例＞
次に、学習用データ格納部１２６に格納される学習用データの具体例について説明する。図３は、学習用データの一例を示す図である。図３に示すように、学習用データ３００は、情報の項目として、"第１点群データ"、"第２点群データ"、"正解ラベル"を有する。
"第１点群データ"には、対象物を第１の計測装置１１０が計測することで取得した３次元点群データ３１０を分割した複数の局所３次元点群データが格納される。
なお、図３の例は、複数の局所３次元点群データとして、局所３次元点群データ３１１、３１２の具体例を示している。図３に示すように、局所３次元点群データ３１１、３１２は、各点のＸ座標、Ｙ座標、Ｚ座標、Ｒ値、Ｇ値、Ｂ値を含む。また、図３の例の場合、局所３次元点群データ３１１、３１２は、２０４８点の点群を含む。
"第２点群データ"には、対象物を第２の計測装置１１１が計測することで取得した３次元点群データ３２０を分割した複数の局所３次元点群データが格納される。
なお、図３の例は、複数の局所３次元点群データとして、局所３次元点群データ３２１の具体例を示している。図３に示すように、局所３次元点群データ３２１は、各点のＸ座標、Ｙ座標、Ｚ座標、Ｒ値、Ｇ値、Ｂ値を含む。また、図３の例の場合、局所３次元点群データ３２１は、２０４８点の点群を含む。
"正解ラベル"には、
・"第１点群データ"の局所３次元点群データと、
・"第２点群データ"の局所３次元点群データと、
で、互いに対応付けられた２つの局所３次元点群データが、同一の３次元形状を元にして作成されたものであるか否かを示す情報として、"同一"または"非同一"のいずれかが格納される。
例えば、局所３次元点群データ３１１と局所３次元点群データ３２１とは、互いに同一の３次元形状を元にして作成されたものであるため、"正解ラベル"には、"同一"が格納される。なお、これらは第１教師データの一例である。
一方、局所３次元点群データ３１２と局所３次元点群データ３２１は、互いに異なる３次元形状を元にして作成されたものであるため、"正解ラベル"には、"非同一"が格納される。なお、これらは第２教師データの一例である。
＜データ拡張部の機能構成の詳細＞
次に、データ拡張部１２３の機能構成の詳細について説明する。図４は、データ拡張部の機能構成の一例を示す図である。
図４に示すように、データ拡張部１２３は、読み出し部４０１、密度変更部４０２、欠損部４０３、ノイズ付加部４０４、バイアス付加部４０５、角度変更部４０６、拡縮部４０７、シフト部４０８を有する。
読み出し部４０１は、学習用データ格納部１２６に格納された学習用データ３００から、所定の教師データを読み出す。図４の例は、学習用データ格納部１２６から、所定の教師データとして、局所３次元点群データ３１１、３２１を含む教師データ４１０を読み出した様子を示している。なお、読み出し部４０１が読み出す所定の教師データとは、"正解ラベル"に同一であることを示す情報が格納されている教師データである。
密度変更部４０２は、教師データ４１０の"第１点群データ"及び"第２点群データ"に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データの各点を、一定間隔で間引くことで、各点の密度を変更する。密度変更部４０２は、変更した後の局所３次元点群データを含む教師データ４２１を、学習用データ格納部１２６に格納する。
欠損部４０３は、教師データ４１０の"第１点群データ"及び"第２点群データ"に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データの各点をランダムに欠損させる。また、欠損部４０３は、欠損させた後の局所３次元点群データを含む教師データ４２２を、学習用データ格納部１２６に格納する。
ノイズ付加部４０４は、教師データ４１０の"第１点群データ"及び"第２点群データ"に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データの任意の位置に、ノイズ（点）を付加する。また、ノイズ付加部４０４は、ノイズを付加した後の局所３次元点群データを含む教師データ４２３を、学習用データ格納部１２６に格納する。
バイアス付加部４０５は、教師データ４１０の"第１点群データ"及び"第２点群データ"に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データの各点のＲ値、Ｇ値、Ｂ値にバイアス値を付加する（つまり、色を変化させる）。また、バイアス付加部４０５は、バイアス値を付加した後の局所３次元点群データを含む教師データ４２４を、学習用データ格納部１２６に格納する。
角度変更部４０６は、教師データ４１０の"第１点群データ"及び"第２点群データ"に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データを、所定の角度以上傾ける。また、角度変更部４０６は、所定の角度以上傾けた後の局所３次元点群データを含む教師データ４２５を、学習用データ格納部１２６に格納する。教師データ４２５は第４教師データの一例である。
また、角度変更部４０６では、所定の角度以上傾けた後の局所３次元点群データを含む教師データ４２５については、"正解ラベル"を、"同一"から"非同一"に変更する。２つの局所３次元点群データのうちのいずれか一方を所定の角度以上傾けた場合、これら２つの局所３次元点群データは、互いに異なる３次元形状を元にして作成されたものであるとみなせるからである。
なお、角度変更部４０６は、教師データ４１０の"第１点群データ"及び"第２点群データ"に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データを、傾けない或いは所定の角度未満傾けてもよい。また、角度変更部４０６は、傾けない或いは所定の角度未満傾けた後の局所３次元点群データを含む教師データ４２５を、学習用データ格納部１２６に格納してもよい。この場合の教師データ４２５は第３教師データの一例となる。また、この場合の教師データ４２５については、角度変更部４０６は"正解ラベル"を変更しない。
拡縮部４０７は、教師データ４１０の"第１点群データ"及び"第２点群データ"に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データを、所定範囲を超えた拡大率または縮小率で拡大または縮小する。また、拡縮部４０７は、所定範囲を超えた拡大率または縮小率で拡大または縮小した後の局所３次元点群データを含む教師データ４２６を、学習用データ格納部１２６に格納する。教師データ４２６は第６教師データの一例である。
また、拡縮部４０７では、所定範囲を超えた拡大率または縮小率で拡大または縮小した後の局所３次元点群データを含む教師データ４２６については、"正解ラベル"を、"同一"から"非同一"に変更する。２つの局所３次元点群データのうちのいずれか一方を所定範囲を超えた拡大率または縮小率で拡大または縮小した場合、これら２つの局所３次元点群データは、互いに異なる３次元形状を元にして作成されたものであるとみなせるからである。
なお、拡縮部４０７は、教師データ４１０に含まれる２つの局所３次元点群データを、同一サイズのまま、あるいは、いずれか一方の局所３次元点群データを、所定範囲内の拡大率または縮小率で拡大または縮小してもよい。また、拡縮部４０７は、同一サイズの局所３次元点群データまたは所定範囲内の拡大率または縮小率で拡大または縮小した後の局所３次元点群データを含む教師データ４２６を、学習用データ格納部１２６に格納してもよい。この場合の教師データ４２６は第５教師データの一例となる。また、この場合の教師データ４２６については、拡縮部４０７は"正解ラベル"を変更しない。
シフト部４０８は、教師データ４１０の"第１点群データ"及び"第２点群データ"に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データの中心位置をシフトする。また、シフト部４０８は、中心位置をシフトした後の局所３次元点群データを含む教師データ４２７を、学習用データ格納部１２６に格納する。
このように、データ拡張部１２３が学習用データ３００を拡張することで、計測方向や計測位置、計測距離、計測タイミング、計測装置の種類等の各種計測条件が異なる、２つの局所３次元点群データの組を、疑似的に生成することができる。そして、拡張後の学習用データ３００を用いることで、第１の実施形態によれば、各種計測条件が異なる２つの局所３次元点群データについての同一性の評価の精度を向上させることができる。
＜学習部の機能構成の詳細＞
次に、学習部１２４の機能構成の詳細について説明する。図５は、学習部の機能構成の一例を示す図である。図５に示すように、学習部１２４は、２つの局所３次元点群データが互いに同一の３次元形状を元にして作成されたものであるか否かを推論するために（同一性を評価するために）、シャム（Siamese）ネットワーク構造を利用する。
具体的には、図５に示すように、学習部１２４は、第１点群データ入力部５０１、第１ＤＮＮ部５０２、第２点群データ入力部５１１、第２ＤＮＮ部５１２、同一性評価部５２１を有する。更に、学習部１２４は、比較部５３１を有する。
第１点群データ入力部５０１は、学習用データ格納部１２６に格納された学習用データ３００から、"第１点群データ"に格納された局所３次元点群データを読み出し、第１ＤＮＮ部５０２に入力する。また、第２点群データ入力部５１１は、学習用データ格納部１２６に格納された学習用データ３００から、"第２点群データ"に格納された局所３次元点群データを読み出し、第２ＤＮＮ部５１２に入力する。
なお、第１点群データ入力部５０１により入力される局所３次元点群データと、第２点群データ入力部５１１により入力される局所３次元点群データとは、学習用データ３００において互いに対応付けられた局所３次元点群データである。
第１ＤＮＮ部５０２は第１ニューラルネットワークの一例であり、例えば、３次元点群データ用のＤＮＮであるＰｏｉｎｔＮｅｔが用いられる。第１ＤＮＮ部５０２は、第１点群データ入力部５０１により局所３次元点群データが入力されることで動作し、第１点群データ特徴量を出力する（下式（１）参照）。
上式（１）は、２０４８点の点群を含む局所３次元点群データから、１０２４個の特徴量を含む第１点群データ特徴量が出力されることを表している。
第２ＤＮＮ部５１２は第２ニューラルネットワークの一例であり、例えば、３次元点群データ用のＤＮＮであるＰｏｉｎｔＮｅｔが用いられる。第２ＤＮＮ部５１２は、第２点群データ入力部５１１により局所３次元点群データが入力されることで動作し、第２点群データ特徴量を出力する（下式（２）参照）。
上式（２）は、２０４８点の点群を含む局所３次元点群データから、１０２４個の特徴量を含む第２点群データ特徴量が出力されることを表している。
同一性評価部５２１は、第１ＤＮＮ部５０２より出力された第１点群データ特徴量と、第２ＤＮＮ部５１２より出力された第２点群データ特徴量とを処理する。これにより、同一性評価部５２１は、２つの局所３次元点群データが、互いに同一の３次元形状を元にして作成されたものであるか否かを推論するためのデータ（２つの局所３次元点群データの同一性に関する評価）を出力する。
具体的には、同一性評価部５２１では、第１ＤＮＮ部５０２及び第２ＤＮＮ部５１２より出力された第１点群データ特徴量ｐｎαと第２点群データ特徴量ｐｎβとに基づいて、ユークリッド距離Ｄｗを算出し、比較部５３１に出力する（下式（３）参照）。
ただし、上式（３）において、第１点群データ特徴量ｐｎα、第２点群データ特徴量ｐｎβは、下式（４−１）、（４−２）を満たすものとする。
つまり、ユークリッド距離ＤＷは、２つの局所３次元点群データの同一性に関する評価を表しているということができる。なお、ユークリッド距離ＤＷが小さければ、同一性が高いことを示す評価が出力されたということができ、ユークリッド距離ＤＷが大きければ、同一性が低いことを示す評価が出力されたということができる。
比較部５３１は、同一性評価部５２１により出力されたユークリッド距離Ｄｗと、学習用データ格納部１２６より読み出された"正解ラベル"に格納された同一（または非同一）であることを示す情報とに基づいて損失関数Ｌｃを算出する（下式（５）参照）。
ただし、上式（５）において、Ｃには、正解ラベルが"同一"であれば"０"が入力され、"非同一"であれば"１"が入力される。また、上式（５）において、ｍはマージンである。
比較部５３１は、算出した損失関数Ｌｃを逆伝播させることで、第１ＤＮＮ部５０２及び第２ＤＮＮ部５１２の重みパラメータを更新する。
なお、第１ＤＮＮ部５０２の重みパラメータと第２ＤＮＮ部５１２の重みパラメータとは互いに共有されており、損失関数Ｌｃが逆伝播された際、第１ＤＮＮ部５０２と第２ＤＮＮ部５１２とは、同じ値の重みパラメータに更新されることになる。
このように、学習時に、損失関数Ｌｃを逆伝播させ、第１ＤＮＮ部５０２と第２ＤＮＮ部５１２とで重みパラメータを共有させながら更新することで、学習部１２４によれば、例えば、
・２つの局所３次元点群データの同一性に関する評価を出力するのに適した点群データ特徴量が出力されるように、重みパラメータを学習することができる、
・学習用データ３００において、"第１点群データ"及び"第２点群データ"にそれぞれ格納された局所３次元点群データの特性に偏りがあった場合でも、汎化性能の高い重みパラメータを学習することができる、
といった効果を奏することになる。この結果、第１の実施形態によれば、同一性の評価の精度を向上させることができる。
＜学習処理の流れ＞
次に、学習部１２４による学習処理の流れについて説明する。図６は、学習部による学習処理の流れを示すフローチャートである。
ステップＳ６０１において、第１点群データ入力部５０１及び第２点群データ入力部５１１は、学習用データ格納部１２６より、互いに対応付けられた２つの局所３次元点群データの組を複数読み出す。
ステップＳ６０２において、第１ＤＮＮ部５０２及び第２ＤＮＮ部５１２は、読み出された２つの局所３次元点群データの組を入力することで動作し、第１点群データ特徴量ｐｎα及び第２点群データ特徴量ｐｎβを出力する。
ステップＳ６０３において、同一性評価部５２１は、第１点群データ特徴量ｐｎαと第２点群データ特徴量ｐｎβとに基づいてユークリッド距離Ｄｗを算出する。
ステップＳ６０４において、比較部５３１は、算出されたユークリッド距離Ｄｗと、学習用データ格納部１２６より読み出した正解ラベルＣとに基づいて、損失関数Ｌｃを算出する。また、比較部５３１は、算出した損失関数Ｌｃに基づいて、第１ＤＮＮ部５０２及び第２ＤＮＮ部５１２の重みパラメータを共有させながら更新する。
ステップＳ６０５において、比較部５３１は、学習処理を終了するか否かを判定する。ステップＳ６０５において、学習処理を終了しないと判定した場合には（ステップＳ６０５においてＮｏの場合には）、ステップＳ６０２に戻る。これにより、第１点群データ入力部５０１及び第２点群データ入力部５１１は、互いに対応付けられた２つの局所３次元点群データの組であって、まだ学習処理に用いられていない組を第１ＤＮＮ部５０２及び第２ＤＮＮ部５１２に入力する。
一方、ステップＳ６０５において、学習処理を終了すると判定した場合には（ステップＳ６０５においてＹｅｓの場合には）、学習処理を終了し、更新した重みパラメータを、推論部１２５に反映する。
＜推論部の機能構成＞
次に、推論部１２５の機能構成の詳細について説明する。図７は、推論部の機能構成の一例を示す図である。学習部１２４と同様、推論部１２５は、２つの局所３次元点群データが、互いに同一の３次元形状を元にして作成されたものであるか否かを推論するために（同一性を評価するために）、シャム（Siamese）ネットワーク構造を利用する。
具体的には、図７に示すように、推論部１２５は、第１点群データ入力部７０１、第１ＤＮＮ部７０２、第２点群データ入力部７１１、第２ＤＮＮ部７１２、同一性評価部７２１を有する。更に、推論部１２５は、出力部７３１を有する。
第１点群データ入力部７０１は、推論用データ格納部１２７に格納された推論用データから、"第１点群データ"に格納された局所３次元点群データを読み出し、第１ＤＮＮ部７０２に入力する。また、第２点群データ入力部７１１は、推論用データ格納部１２７に格納された推論用データから、"第２点群データ"に格納された局所３次元点群データを読み出し、第２ＤＮＮ部７１２に入力する。
なお、推論用データ格納部１２７に格納された推論用データは、情報の項目として"正解ラベル"がないことを除けば、図３の学習用データ３００と同様の構成を有しているものとする。
なお、第１点群データ入力部７０１により入力される局所３次元点群データと、第２点群データ入力部７１１により入力される局所３次元点群データとは、推論用データにおいて互いに対応付けられた局所３次元点群データである。
第１ＤＮＮ部７０２は第１ニューラルネットワークの一例であり、第１点群データ入力部７０１により局所３次元点群データが入力されることで動作し、第１点群データ特徴量ｐｎαを出力する。
第２ＤＮＮ部７１２は第２ニューラルネットワークの一例であり、第２点群データ入力部７１１により局所３次元点群データが入力されることで動作し、第２点群データ特徴量ｐｎβを出力する。なお、第１ＤＮＮ部７０２と第２ＤＮＮ部７１２とは、互いに重みパラメータが共有されている。
同一性評価部７２１は、第１ＤＮＮ部７０２より出力された第１点群データ特徴量と、第２ＤＮＮ部７１２より出力された第２点群データ特徴量とを処理する。これにより、同一性評価部７２１は、２つの局所３次元点群データが、互いに同一の３次元形状を元にして作成されたものであるか否かを推論するためのデータ（２つの局所３次元点群データの同一性に関する評価）を出力する。
具体的には、同一性評価部７２１では、第１ＤＮＮ部７０２より出力された第１点群データ特徴量ｐｎαと、第２ＤＮＮ部７１２より出力された第２点群データ特徴量ｐｎβとに基づいて、ユークリッド距離Ｄｗを算出し、出力部７３１に出力する。なお、上述したように、ユークリッド距離ＤＷが小さければ、同一性が高いことを示す評価が出力されたということができ、ユークリッド距離ＤＷが大きければ、同一性が低いことを示す評価が出力されたということができる。
出力部７３１では、同一性評価部７２１より出力されたユークリッド距離Ｄｗが所定の閾値以上であるか否かを判定する（下式（６−１）、（６−２）参照）。
ユークリッド距離Ｄｗが所定の閾値ｔｄより大きいと判定した場合（上式（６−１））、出力部７３１では、同一性の評価として"非同一である"を出力する。一方、ユークリッド距離Ｄｗが所定の閾値ｔｄ以下であると判定した場合（上式（６−２））、出力部７３１では、同一性の評価として、"同一である"を出力する。
このように、推論時に、互いに重みパラメータが共有された第１ＤＮＮ部７０２と第２ＤＮＮ部７１２とを用いることで、推論部１２５によれば、例えば、
・２つの局所３次元点群データの同一性に関する評価を出力するのに適した点群データ特徴量を出力することができる、
・２つの局所３次元点群データを第１ＤＮＮ部７０２と第２ＤＮＮ部７１２のいずれに入力するかによらず、同一性に関する評価として、同じデータを出力することができる、
といった効果を奏することになる。この結果、第１の実施形態によれば、同一性の評価の精度を向上させることができる。
＜推論処理の流れ＞
次に、推論部１２５による推論処理の流れについて説明する。図８は、推論部による推論処理の流れを示すフローチャートである。
ステップＳ８０１において、第１点群データ入力部７０１及び第２点群データ入力部７１１は、推論用データ格納部１２７より、互いに対応付けられた２つの局所３次元点群データの組を読み出す。
ステップＳ８０２において、第１ＤＮＮ部７０２及び第２ＤＮＮ部７１２は、読み出された２つの局所３次元点群データの組を入力することで動作し、第１点群データ特徴量ｐｎα及び第２点群データ特徴量ｐｎβを出力する。
ステップＳ８０３において、同一性評価部７２１は、第１点群データ特徴量ｐｎαと第２点群データ特徴量ｐｎβとに基づいてユークリッド距離Ｄｗを算出する。
ステップＳ８０４において、出力部７３１は、同一性評価部７２１より出力されたユークリッド距離Ｄｗに基づいて、同一性の評価（"同一である"または"非同一である"）を出力する。
＜推論結果の具体例＞
次に、推論部１２５による推論結果の具体例について説明する。図９は、推論結果の具体例を示す図である。
このうち、図９（ａ）は、推論処理に用いた推論用データの概要を示している。図９（ａ）において、"対象物の種類"には、第１の計測装置１１０及び第２の計測装置１１１が計測した対象物の種類を示している。
また、図９（ａ）において、"２つの局所３次元点群データが同一の組の数"には、対応する"対象物の種類"に含まれる複数の局所３次元点群データのうち、互いに同一の３次元形状を元にして作成された、２つの局所３次元点群データの組の数が格納される。また、"２つの局所３次元点群データが非同一の組の数"には、対応する"対象物の種類"に含まれる複数の局所３次元点群データのうち、互いに異なる３次元形状を元にして作成された、２つの局所３次元点群データの組の数が格納される。
一方、図９（ｂ）は、図９（ａ）に示す推論用データを入力データとして、推論部１２５が推論した推論結果についての、"対象物の種類"ごとの適合率を示している。図９（ｂ）に示すように、推論部１２５によれば、"対象物の種類"によらず、高い適合率を実現することが可能となる。
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る点群データ同一性推定システムは、点群データ同一性推定装置が、
・３次元点群データからなる第１点群データ及び第２点群データを取得する第１点群データ取得部及び第２点群データ取得部を有する。
・第１点群データを入力して第１点群データ特徴量を出力する第１ＤＮＮ部と、第２点群データを入力して第２点群データ特徴量を出力する第２ＤＮＮ部とを有する。
・第１点群データ特徴量と第２点群データ特徴量とに基づいて、第１点群データと第２点群データの同一性に関する評価を出力する同一性評価部を有する。
・第１ＤＮＮ部と第２ＤＮＮ部とは、互いに重みパラメータが共有されている。
これにより、第１の実施形態によれば、３次元点群データについて、同一性の評価の精度を向上させる点群データ同一性推定装置及び点群データ同一性推定システムを提供することができる。
［第２の実施形態］
上記第１の実施形態では、点群データに関する情報が、３次元点群データそのものであるとして説明した。しかしながら、点群データに関する情報は、３次元点群データそのものに限定されず、メッシュデータ（ポリゴンデータ）やサーフェスデータ、ＣＡＤデータ等であってもよい。
また、上記第１の実施形態では、互いに異なる３次元形状を元に作成した２つの局所３次元点群データを対応付けて学習用データ３００として格納する場合の対応付け方法について言及しなかった。しかしながら、２つの局所３次元点群データを対応付ける際、例えば、それぞれの３次元形状が所定の距離内に位置する３次元点群データに限定して対応付けを行うようにしてもよい。
また、上記第１の実施形態では、データ拡張部１２３に含まれる各部のうち、
・角度変更部４０６が角度を変更する場合、及び、
・拡縮部４０７がサイズを変更する場合、
に変更の度合いに応じて、"正解ラベル"が"同一"の教師データと、"正解ラベル"が"非同一"の教師データとを生成するものとして説明した。
しかしながら、角度変更部４０６、拡縮部４０７以外の各部についても、同様に、変更の度合いに応じて、"正解ラベル"が"同一"の教師データと、"正解ラベル"が"非同一"の教師データとを生成するように構成してもよい。
また、上記第１の実施形態において、データ拡張部１２３は、"正解ラベル"が"同一"の教師データを読み出して、学習用データ３００を拡張する場合について説明した。しかしながら、データ拡張部１２３が学習用データ３００を拡張する際に読み出す教師データは、これに限定されず、"正解ラベル"が"非同一"の教師データを読み出してもよい。
これにより、例えば、同一の３次元形状を有する別箇の個体であって、色のみが異なっている場合や、材質のみが異なっている場合に、同一性の評価として、誤って"同一である"との出力がなされてしまうといった事態を回避することができる。
また、上記第１の実施形態では、データ拡張部１２３に含まれる各部が学習用データ３００を拡張する場合について説明した。しかしながら、学習用データ３００の拡張方法はこれに限定されず、各種計測条件を人為的に変更することで、学習用データ３００を拡張してもよい。
例えば、密度変更部４０２または拡縮部４０７を動作させる代わりに、第１の計測装置１１０から対象物までの計測距離を変更したり、第１の計測装置１１０の種類を変更することで、学習用データ３００を拡張してもよい。
また、例えば、角度変更部４０６を動作させる代わりに、第１の計測装置１１０の角度を傾け、計測方向を変更することで、学習用データ３００を拡張してもよい。また、例えば、シフト部４０８を動作させる代わりに、第１の計測装置１１０の計測位置をシフトすることで、学習用データ３００を拡張してもよい。また、例えば、ノイズ付加部４０４またはバイアス付加部４０５を動作させる代わりに、実環境１３０内の照明の明るさを変更したり、第１の計測装置１１０の計測タイミングを変更することで、学習用データ３００を拡張してもよい。
また、上記第１の実施形態では、同一性評価部５２１が、第１点群データ特徴量と第２点群データ特徴量とに基づいて算出したユークリッド距離Ｄｗを、同一性に関する評価として出力する場合について説明した。しかしながら、同一性評価部５２１による同一性に関する評価の出力方法はこれに限定されず、他の関数を用いて算出したデータを、同一性に関する評価として出力してもよい。あるいは、関数以外の方法で（例えば、ＮＮを用いて）算出したデータを、同一性に関する評価として出力してもよい。
また、上記第１の実施形態では、点群データ同一性推定装置１２０が、学習部１２４と推論部１２５とを有するものとして説明した。しかしながら、学習部１２４と推論部１２５とは、別体の装置により構成してもよい。
以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
１００ ：点群データ同一性推定システム
１１０、１１１ ：第１、第２の計測装置
１２０ ：点群データ同一性推定装置
１２１ ：データ取得部
１２２ ：データ変換部
１２３ ：データ拡張部
１２４ ：学習部
１２５ ：推論部
３００ ：学習用データ
３１０、３２０ ：３次元点群データ
３１１、３１２、３２１ ：局所３次元点群データ
４０１ ：読み出し部
４０２ ：密度変更部
４０３ ：欠損部
４０４ ：ノイズ付加部
４０５ ：バイアス付加部
４０６ ：角度変更部
４０７ ：拡縮部
４０８ ：シフト部
５０１ ：第１点群データ入力部
５０２ ：第１ＤＮＮ部
５１１ ：第２点群データ入力部
５１２ ：第２ＤＮＮ部
５２１ ：同一性評価部
５３１ ：比較部
７０１ ：第１点群データ入力部
７０２ ：第１ＤＮＮ部
７１１ ：第２点群データ入力部
７１２ ：第２ＤＮＮ部
７２１ ：同一性評価部
７３１ ：出力部

Claims (8)

  1. ２つの３次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置であって、
    ３次元点群データからなる第１点群データ及び第２点群データを取得する点群データ取得部と、
    第１点群データに関する情報を入力して第１点群データ特徴量を出力する第１ニューラルネットワークと、
    第２点群データに関する情報を入力して第２点群データ特徴量を出力する第２ニューラルネットワークと、
    前記第１点群データ特徴量と前記第２点群データ特徴量とに基づいて、前記第１点群データと前記第２点群データの同一性に関する評価を出力する同一性評価部と、を有し、
    前記第１ニューラルネットワークと前記第２ニューラルネットワークとは互いに重みが共有されている、点群データ同一性推定装置。
  2. 互いに同一の３次元形状を元にして作成された２つの３次元点群データに関する情報を第１教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新し、
    互いに異なる３次元形状を元にして作成された２つの３次元点群データに関する情報を第２教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新する、請求項１に記載の点群データ同一性推定装置。
  3. 前記第１教師データは、互いに同一の３次元形状を元にして作成された２つの３次元点群データに関する情報のうち少なくとも一方を欠損させたもの、または、少なくとも一方にノイズを加えたものである、請求項２に記載の点群データ同一性推定装置。
  4. 前記第１教師データは、互いに同一の３次元形状を異なる条件で計測したものを元にして作成された２つの３次元点群データに関する情報である、請求項２に記載の点群データ同一性推定装置。
  5. 前記第１点群データに関する情報及び前記第２点群データに関する情報は、それぞれ、３次元点群データである、請求項１に記載の点群データ同一性推定装置。
  6. 所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状を傾けない或いは所定の角度未満傾けたものを元にして作成された３次元点群データを、第３教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新し、
    所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状を前記所定の角度以上傾けたものを元にして作成された３次元点群データを、第４教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新する、請求項５に記載の点群データ同一性推定装置。
  7. 所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状と同一サイズのもの或いは前記所定の３次元形状を所定範囲内の拡大率または縮小率で拡大または縮小したものを元にして作成された３次元点群データを、第５教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新し、
    所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状を前記所定範囲を超えた拡大率または縮小率で拡大または縮小したものを元にして作成された３次元点群データを、第６教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新する、請求項５に記載の点群データ同一性推定装置。
  8. 対象物を計測し、３次元点群データを作成する計測装置と、
    ２つの３次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置と、を有する点群データ同一性推定システムであって、
    前記点群データ同一性推定装置は、
    ３次元点群データからなる第１点群データ及び第２点群データを取得する点群データ取得部と、
    第１点群データに関する情報を入力して第１点群データ特徴量を出力する第１ニューラルネットワークと、
    第２点群データに関する情報を入力して第２点群データ特徴量を出力する第２ニューラルネットワークと、
    前記第１点群データ特徴量と前記第２点群データ特徴量とに基づいて、前記第１点群データと前記第２点群データの同一性に関する評価を出力する同一性評価部と、を有し、
    前記第１ニューラルネットワークと前記第２ニューラルネットワークとは互いに重みが共有されている、点群データ同一性推定システム。
JP2019181004A 2019-09-30 2019-09-30 点群データ同一性推定装置及び点群データ同一性推定システム Active JP6819758B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019181004A JP6819758B1 (ja) 2019-09-30 2019-09-30 点群データ同一性推定装置及び点群データ同一性推定システム
PCT/JP2020/035231 WO2021065538A1 (ja) 2019-09-30 2020-09-17 点群データ同一性推定装置及び点群データ同一性推定システム
US17/754,219 US11704841B2 (en) 2019-09-30 2020-09-17 Apparatus for estimating sameness of point cloud data and system for estimating sameness of point cloud data
CN202080066282.9A CN114424244B (zh) 2019-09-30 2020-09-17 点云数据相同性估计装置及点云数据相同性估计系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019181004A JP6819758B1 (ja) 2019-09-30 2019-09-30 点群データ同一性推定装置及び点群データ同一性推定システム

Publications (2)

Publication Number Publication Date
JP6819758B1 true JP6819758B1 (ja) 2021-01-27
JP2021056904A JP2021056904A (ja) 2021-04-08

Family

ID=74200220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019181004A Active JP6819758B1 (ja) 2019-09-30 2019-09-30 点群データ同一性推定装置及び点群データ同一性推定システム

Country Status (4)

Country Link
US (1) US11704841B2 (ja)
JP (1) JP6819758B1 (ja)
CN (1) CN114424244B (ja)
WO (1) WO2021065538A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023021559A1 (ja) * 2021-08-16 2023-02-23 日本電気株式会社 推定モデル訓練装置、推定モデル訓練方法、認識装置、認識方法、及び非一時的なコンピュータ可読媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880276B (zh) * 2023-01-09 2023-05-12 广东电网有限责任公司肇庆供电局 一种基于多期点云对比的塔杆运行状态评估方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5620200B2 (ja) * 2010-09-06 2014-11-05 株式会社トプコン 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
RU2674326C2 (ru) * 2017-02-20 2018-12-06 Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" Способ формирования архитектуры нейросети для классификации объекта, заданного в виде облака точек, способ ее применения для обучения нейросети и поиска семантически схожих облаков точек
WO2018190805A1 (en) * 2017-04-11 2018-10-18 Siemens Aktiengesellschaft Depth image pose search with a bootstrapped-created database
US10762359B2 (en) * 2017-08-31 2020-09-01 Nec Corporation Computer aided traffic enforcement using dense correspondence estimation with multi-level metric learning and hierarchical matching
JP6873027B2 (ja) * 2017-12-06 2021-05-19 株式会社日立製作所 学習システム及び画像検索システム
CN108228798B (zh) * 2017-12-29 2021-09-17 百度在线网络技术（北京）有限公司 确定点云数据之间的匹配关系的方法和装置
CN108198145B (zh) * 2017-12-29 2020-08-28 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
JP7034746B2 (ja) * 2018-02-02 2022-03-14 株式会社デンソーアイティーラボラトリ 特徴表現装置、それを含む認識システム、及び特徴表現プログラム
WO2019182974A2 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
US10832084B2 (en) * 2018-08-17 2020-11-10 Nec Corporation Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching
CN110147706B (zh) * 2018-10-24 2022-04-12 腾讯科技（深圳）有限公司 障碍物的识别方法和装置、存储介质、电子装置
US11364931B2 (en) * 2019-01-30 2022-06-21 Baidu Usa Llc Lidar localization using RNN and LSTM for temporal smoothness in autonomous driving vehicles
US20200311136A1 (en) * 2019-03-25 2020-10-01 HealthBlock, Inc. Measuring and increasing the quality of user-provided information
CN110246167A (zh) * 2019-06-14 2019-09-17 北京百度网讯科技有限公司 用于处理点云数据的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023021559A1 (ja) * 2021-08-16 2023-02-23 日本電気株式会社 推定モデル訓練装置、推定モデル訓練方法、認識装置、認識方法、及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
WO2021065538A1 (ja) 2021-04-08
CN114424244A (zh) 2022-04-29
CN114424244B (zh) 2022-09-30
US20220343553A1 (en) 2022-10-27
JP2021056904A (ja) 2021-04-08
US11704841B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
US9361728B2 (en) Submarine topography construction method based on multi-source water depth data integration
JP5653541B2 (ja) 描画データ生成装置及び画像描画装置
WO2021065538A1 (ja) 点群データ同一性推定装置及び点群データ同一性推定システム
CN104732585A (zh) 一种人体体型重构的方法及装置
CN108897836A (zh) 一种机器人基于语义进行地图构建的方法和装置
WO2018113502A1 (zh) 一种自动生成网格与着色器多层次细节的方法
JP2019153258A (ja) 機械学習装置、予測システム、及び、プログラム
CN109241964A (zh) 机械臂的抓取点的获取方法及设备
US20230267686A1 (en) Subdividing a three-dimensional mesh utilizing a neural network
Son et al. SAUM: Symmetry-aware upsampling module for consistent point cloud completion
JP5372241B2 (ja) 画像表示装置
JP2020068000A (ja) 訓練装置、訓練方法、予測装置、予測方法及びプログラム
JPWO2009104218A1 (ja) 地図表示装置
US9324187B2 (en) Visualization apparatus and method
WO2022180864A1 (ja) 重量推定方法、重量推定装置、重量推定システム
JPWO2022180864A5 (ja)
JP2023023446A (ja) 点群データ同一性推定装置及び点群データ同一性推定システム
KR20230167746A (ko) 메시 정점 위치에 대한 반복 및 루트 찾기를 사용하여 표면에 근사하는 폴리곤 메시를 생성하기 위한 방법 및 시스템
US11954802B2 (en) Method and system for generating polygon meshes approximating surfaces using iteration for mesh vertex positions
US20230394767A1 (en) Method and system for generating polygon meshes approximating surfaces using root-finding and iteration for mesh vertex positions
KR102056810B1 (ko) 하이 오더 메쉬 구조를 갖는 그래픽 모델의 메쉬 품질 향상을 위한 그래픽 처리 장치 및 방법
Liu et al. Design and implementation of a line simplification algorithm for network measurement system
JP2002366935A (ja) ボリュームデータの生成方法および装置並びにコンピュータプログラム
JP2974648B2 (ja) ３次元データの処理方法及び処理装置、並びに３次元データの処理方法のプログラムを記録した記録媒体
CN114332256A (zh) 量子图像伪彩色编码方法和装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201214

R151 Written notification of patent or utility model registration

Ref document number: 6819758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151