JP6819758B1 - 点群データ同一性推定装置及び点群データ同一性推定システム - Google Patents

点群データ同一性推定装置及び点群データ同一性推定システム Download PDF

Info

Publication number
JP6819758B1
JP6819758B1 JP2019181004A JP2019181004A JP6819758B1 JP 6819758 B1 JP6819758 B1 JP 6819758B1 JP 2019181004 A JP2019181004 A JP 2019181004A JP 2019181004 A JP2019181004 A JP 2019181004A JP 6819758 B1 JP6819758 B1 JP 6819758B1
Authority
JP
Japan
Prior art keywords
point cloud
cloud data
data
identity
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019181004A
Other languages
English (en)
Other versions
JP2021056904A (ja
Inventor
以大 間下
以大 間下
友樹 浦西
友樹 浦西
ポチャラ ラサミー
ポチャラ ラサミー
健士朗 田又
健士朗 田又
宏美 大久保
宏美 大久保
西村 忠史
忠史 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Priority to JP2019181004A priority Critical patent/JP6819758B1/ja
Priority to US17/754,219 priority patent/US11704841B2/en
Priority to PCT/JP2020/035231 priority patent/WO2021065538A1/ja
Priority to CN202080066282.9A priority patent/CN114424244B/zh
Application granted granted Critical
Publication of JP6819758B1 publication Critical patent/JP6819758B1/ja
Publication of JP2021056904A publication Critical patent/JP2021056904A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/002Image coding using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/041Abduction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

【課題】 点群データに関する情報について、同一性の評価の精度を向上させる点群データ同一性推定装置、点群データ同一性推定システムを提供する。【解決手段】 2つの3次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置であって、3次元点群データからなる第1点群データ及び第2点群データを取得する点群データ取得部と、第1点群データに関する情報を入力して第1点群データ特徴量を出力する第1ニューラルネットワークと、第2点群データに関する情報を入力して第2点群データ特徴量を出力する第2ニューラルネットワークと、前記第1点群データ特徴量と前記第2点群データ特徴量とに基づいて、前記第1点群データと前記第2点群データの同一性に関する評価を出力する同一性評価部と、を有し、前記第1ニューラルネットワークと前記第2ニューラルネットワークとは互いに重みが共有されている。【選択図】図1

Description

本開示は、点群データ同一性推定装置及び点群データ同一性推定システムに関する。
従来より、実環境を計測することで取得した3次元点群データ、または、該3次元点群データを異なるデータ形式に変換した変換後のデータ、等のいわゆる"点群データに関する情報"を用いて、3次元モデルを作成するモデル作成技術が知られている。
当該モデル作成技術により3次元モデルを作成するにあたっては、実環境を計測する際の計測方向や計測位置、計測距離、計測タイミング、計測装置の種類等の各種計測条件が異なる、それぞれの"点群データに関する情報"について、適切に位置合わせ(同一性の評価)を行うことが重要となる。
特開2019−101927号公報
本開示は、点群データに関する情報について、同一性の評価の精度を向上させる点群データ同一性推定装置、点群データ同一性推定システムを提供する。
本開示の第1の態様は、2つの3次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置であって、
3次元点群データからなる第1点群データ及び第2点群データを取得する点群データ取得部と、
第1点群データに関する情報を入力して第1点群データ特徴量を出力する第1ニューラルネットワークと、
第2点群データに関する情報を入力して第2点群データ特徴量を出力する第2ニューラルネットワークと、
前記第1点群データ特徴量と前記第2点群データ特徴量とに基づいて、前記第1点群データと前記第2点群データの同一性に関する評価を出力する同一性評価部と、を有し、
前記第1ニューラルネットワークと前記第2ニューラルネットワークとは互いに重みが共有されている。
本開示の第1の態様によれば、点群データに関する情報について、同一性の評価の精度を向上させる点群データ同一性推定装置を提供することができる。
また、本開示の第2の態様は、第1の態様に記載の点群データ同一性推定装置であって、
互いに同一の3次元形状を元にして作成された2つの3次元点群データに関する情報を第1教師データとして前記第1ニューラルネットワーク及び前記第2ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの重みを互いに共有させながら更新し、
互いに異なる3次元形状を元にして作成された2つの3次元点群データに関する情報を第2教師データとして前記第1ニューラルネットワーク及び前記第2ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの重みを互いに共有させながら更新する。
また、本開示の第3の態様は、第2の態様に記載の点群データ同一性推定装置であって、
前記第1教師データは、互いに同一の3次元形状を元にして作成された2つの3次元点群データに関する情報のうち少なくとも一方を欠損させたもの、または、少なくとも一方にノイズを加えたものである。
また、本開示の第4の態様は、第2の態様に記載の点群データ同一性推定装置であって、
前記第1教師データは、互いに同一の3次元形状を異なる条件で計測したものを元にして作成された2つの3次元点群データに関する情報である。
また、本開示の第5の態様は、第1の態様に記載の点群データ同一性推定装置であって、
前記第1点群データに関する情報及び前記第2点群データに関する情報は、それぞれ、3次元点群データである。
また、本開示の第6の態様は、第5の態様に記載の点群データ同一性推定装置であって、
所定の3次元形状を元にして作成された3次元点群データ、及び、前記所定の3次元形状を傾けない或いは所定の角度未満傾けたものを元にして作成された3次元点群データを、第3教師データとして前記第1ニューラルネットワーク及び前記第2ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの重みを互いに共有させながら更新し、
所定の3次元形状を元にして作成された3次元点群データ、及び、前記所定の3次元形状を前記所定の角度以上傾けたものを元にして作成された3次元点群データを、第4教師データとして前記第1ニューラルネットワーク及び前記第2ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの重みを互いに共有させながら更新する。
また、本開示の第7の態様は、第5の態様に記載の点群データ同一性推定装置であって、
所定の3次元形状を元にして作成された3次元点群データ、及び、前記所定の3次元形状と同一サイズのもの或いは前記所定の3次元形状を所定範囲内の拡大率または縮小率で拡大または縮小したものを元にして作成された3次元点群データを、第5教師データとして前記第1ニューラルネットワーク及び前記第2ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの重みを互いに共有させながら更新し、
所定の3次元形状を元にして作成された3次元点群データ、及び、前記所定の3次元形状を前記所定範囲を超えた拡大率または縮小率で拡大または縮小したものを元にして作成された3次元点群データを、第6教師データとして前記第1ニューラルネットワーク及び前記第2ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの重みを互いに共有させながら更新する。
また、本開示の第8の態様は、対象物を計測し、3次元点群データを作成する計測装置と、2つの3次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置と、を有する点群データ同一性推定システムであって、
前記点群データ同一性推定装置は、
3次元点群データからなる第1点群データ及び第2点群データを取得する点群データ取得部と、
第1点群データに関する情報を入力して第1点群データ特徴量を出力する第1ニューラルネットワークと、
第2点群データに関する情報を入力して第2点群データ特徴量を出力する第2ニューラルネットワークと、
前記第1点群データ特徴量と前記第2点群データ特徴量とに基づいて、前記第1点群データと前記第2点群データの同一性に関する評価を出力する同一性評価部と、を有し、
前記第1ニューラルネットワークと前記第2ニューラルネットワークとは互いに重みが共有されている。
本開示の第8の態様によれば、点群データに関する情報について、同一性の評価の精度を向上させる点群データ同一性推定システムを提供することができる。
点群データ同一性推定システムのシステム構成の一例を示す図である。 点群データ同一性推定装置のハードウェア構成の一例を示す図である。 学習用データの一例を示す図である。 データ拡張部の機能構成の一例を示す図である。 学習部の機能構成の一例を示す図である。 学習部による学習処理の流れを示すフローチャートである。 推論部の機能構成の一例を示す図である。 推論部による推論処理の流れを示すフローチャートである。 推論結果の具体例を示す図である。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
<点群データ同一性推定システムのシステム構成>
はじめに、第1の実施形態に係る点群データ同一性推定システムのシステム構成について説明する。図1は、点群データ同一性推定システムのシステム構成の一例を示す図である。
図1に示すように、点群データ同一性推定システム100は、第1の計測装置110と、第2の計測装置111と、点群データ同一性推定装置120と、を有する。第1の計測装置110及び第2の計測装置111と、点群データ同一性推定装置120とは、有線または無線を介して接続される。
第1の計測装置110及び第2の計測装置111は、それぞれ、実環境130内に載置された対象物A、対象物B等の各種対象物を計測し、3次元点群データを作成する。第1の計測装置110及び第2の計測装置111は、それぞれ、作成した3次元点群データを点群データ同一性推定装置120に送信する。
なお、第1の計測装置110と第2の計測装置111とは、各種対象物を計測する際の計測方向、計測位置、計測距離、計測タイミング、装置の種類等の各種計測条件のうちの、少なくともいずれかの計測条件が異なっているものとする。
また、第1の実施形態では、点群データ同一性推定システム100が、第1の計測装置110及び第2の計測装置111の2台の計測装置を有するものとして説明するが、点群データ同一性推定システム100が有する計測装置の台数は1台であってもよい。あるいは、点群データ同一性推定システム100が有する計測装置の台数は3台以上であってもよい。
点群データ同一性推定装置120は、2つの3次元点群データの元となる対象物の同一性を評価する装置である。
なお、2つの3次元点群データとは、計測方向や計測位置、計測距離、計測タイミング、計測装置の種類等の各種計測条件が異なる状況下で対象物を計測した場合の3次元点群データを指す。具体的には、第1の計測装置110と第2の計測装置111とが、それぞれ、実環境130に載置された対象物を計測することで作成した3次元点群データを指す。
点群データ同一性推定装置には、各種プログラムがインストールされており、当該プログラムを実行することで、点群データ同一性推定装置120は、データ取得部121、データ変換部122、データ拡張部123、学習部124、推論部125として機能する。
データ取得部121は、第1の計測装置110及び第2の計測装置111より送信された3次元点群データを取得する。データ取得部121が取得する3次元点群データには、学習用データとして用いることを目的として取得する3次元点群データと、推論用データとして用いることを目的として取得する3次元点群データとが含まれる。
データ変換部122は、データ取得部121が取得した3次元点群データのデータ形式を変換し、3次元点群データとは異なるデータ形式のデータを生成する。データ変換部122により生成されるデータには、例えば、メッシュデータ(ポリゴンデータ)、サーフェスデータ、CADデータ等の各種データ形式のデータが含まれる。第1の実施形態では、3次元点群データを含むこれら各種データ形式のデータを総称して、"点群データに関する情報"と称す。ただし、以下では、説明の簡略化のため、データ変換部122のデータ形式変換機能は動作させず、点群データに関する情報=3次元点群データそのもの、であるとして説明する。
また、データ変換部122は、3次元点群データを、対象物の一部の3次元形状を表す、複数の局所3次元点群データに分割する分割機能を有する。
また、データ変換部122は、学習用データとして用いることを目的として取得された3次元点群データを分割することで得た、複数の局所3次元点群データを、学習用データとして、学習用データ格納部126に格納する格納機能を有する。
具体的には、データ変換部122は、同一の対象物を第1及び第2の計測装置110、111が計測することで取得された2つの3次元点群データのうち、該対象物の同一の一部の3次元形状を表す、2つの局所3次元点群データを、互いに対応付けて格納する。このとき、データ変換部122では、互いに同一の3次元形状を元にして作成されたものであることを示す情報もあわせて格納する。
また、データ変換部122は、同一の対象物を第1及び第2の計測装置110、111が計測することで取得された2つの3次元点群データのうち、該対象物の異なる一部の3次元形状を表す、2つの局所3次元点群データを、互いに対応付けて格納する。このとき、データ変換部122では、互いに異なる3次元形状を元にして作成されたものであることを示す情報もあわせて格納する。
また、データ変換部122は、異なる対象物を第1及び第2の計測装置110、111が計測することで取得された2つの3次元点群データのうち、各対象物の一部の3次元形状を表す、2つの局所3次元点群データを、互いに対応付けて格納する。このとき、データ変換部122では、互いに異なる3次元形状を元にして作成されたものであることを示す情報もあわせて格納する。
更に、データ変換部122では、推論用データとして用いることを目的として取得された3次元点群データを分割することで得た、複数の局所3次元点群データを、推論用データ格納部127に格納する格納機能を有する。
具体的には、データ変換部122は、
・第1の計測装置110が計測することで取得された3次元点群データを分割した複数の局所3次元点群データと、
・第2の計測装置111が計測することで取得された3次元点群データを分割した複数の局所3次元点群データと、
を互いに対応付けて格納する。
データ拡張部123は、学習用データとして学習用データ格納部126に格納された、複数の局所3次元点群データに対して、種々の変更処理を行うことで、学習用データを拡張する。
学習部124は、深層学習フレームワークを有する。学習部124は、学習用データ格納部126に格納された複数の局所3次元点群データを読み出し、
・互いに対応付けられた2つの局所3次元点群データの組を入力データとして、ディープニューラルネットワーク(DNN:Deep Neural Network、例えば、3次元点群データ用のDNNであるPointNet)を実行し、
・同一の3次元形状を元にして作成されたものであるか否かを示す情報を正解ラベルとして、該ディープニューラルネットワーク(例えば、3次元点群データ用のDNNであるPointNet)に含まれる重みパラメータを更新する、
学習処理を行う。
なお、学習部124は、学習処理を行うことで調整した重みパラメータを、推論部125に反映させる。
推論部125は、学習部124同様、3次元点群データ用の深層学習フレームワークを有する。
推論部125は、推論用データ格納部127に格納された複数の局所3次元点群データを読み出し、
・互いに対応付けられた2つの局所3次元点群データの組を入力データとして、ディープニューラルネットワーク(例えば、3次元点群データ用のDNNであるPointNet)を実行し、
・互いに対応付けられた2つの局所3次元点群データの元となる3次元形状が、同一であるか否かを推論する、
推論処理を行う。
<点群データ同一性推定装置のハードウェア構成>
次に、点群データ同一性推定装置120のハードウェア構成について説明する。図2は、点群データ同一性推定装置のハードウェア構成の一例を示す図である。
図2に示すように、点群データ同一性推定装置120は、プロセッサ201と、メモリ202と、補助記憶装置203と、表示装置204と、操作装置205と、I/F(Interface)装置206と、ドライブ装置207とを有する。なお、点群データ同一性推定装置120の各ハードウェアは、バス208を介して相互に接続されている。
プロセッサ201は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等の各種演算デバイスを有する。プロセッサ201は、各種プログラムをメモリ202上に読み出して実行する。
メモリ202は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ201とメモリ202とは、いわゆるコンピュータを形成し、プロセッサ201が、メモリ202上に読み出した各種プログラムを実行することで、当該コンピュータは上記機能(図1参照)を実現する。
補助記憶装置203は、各種プログラムや、各種プログラムがプロセッサ201によって実行される際に用いられる各種データを格納する。学習用データ格納部126、推論用データ格納部127は、補助記憶装置203において実現される。
表示装置204は、点群データ同一性推定装置120の内部状態を表示する表示デバイスである。操作装置205は、点群データ同一性推定装置120のユーザが点群データ同一性推定装置120に対して各種指示を入力する際に用いる入力デバイスである。I/F装置206は、第1の計測装置110及び第2の計測装置111と接続し、3次元点群データを受信するための接続デバイスである。
ドライブ装置207は記録媒体210をセットするためのデバイスである。ここでいう記録媒体210には、CD−ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体210には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置203にインストールされる各種プログラムは、例えば、配布された記録媒体210がドライブ装置207にセットされ、該記録媒体210に記録された各種プログラムがドライブ装置207により読み出されることでインストールされる。あるいは、補助記憶装置203にインストールされる各種プログラムは、不図示のネットワークを介してダウンロードされることで、インストールされてもよい。
<学習用データの具体例>
次に、学習用データ格納部126に格納される学習用データの具体例について説明する。図3は、学習用データの一例を示す図である。図3に示すように、学習用データ300は、情報の項目として、"第1点群データ"、"第2点群データ"、"正解ラベル"を有する。
"第1点群データ"には、対象物を第1の計測装置110が計測することで取得した3次元点群データ310を分割した複数の局所3次元点群データが格納される。
なお、図3の例は、複数の局所3次元点群データとして、局所3次元点群データ311、312の具体例を示している。図3に示すように、局所3次元点群データ311、312は、各点のX座標、Y座標、Z座標、R値、G値、B値を含む。また、図3の例の場合、局所3次元点群データ311、312は、2048点の点群を含む。
"第2点群データ"には、対象物を第2の計測装置111が計測することで取得した3次元点群データ320を分割した複数の局所3次元点群データが格納される。
なお、図3の例は、複数の局所3次元点群データとして、局所3次元点群データ321の具体例を示している。図3に示すように、局所3次元点群データ321は、各点のX座標、Y座標、Z座標、R値、G値、B値を含む。また、図3の例の場合、局所3次元点群データ321は、2048点の点群を含む。
"正解ラベル"には、
・"第1点群データ"の局所3次元点群データと、
・"第2点群データ"の局所3次元点群データと、
で、互いに対応付けられた2つの局所3次元点群データが、同一の3次元形状を元にして作成されたものであるか否かを示す情報として、"同一"または"非同一"のいずれかが格納される。
例えば、局所3次元点群データ311と局所3次元点群データ321とは、互いに同一の3次元形状を元にして作成されたものであるため、"正解ラベル"には、"同一"が格納される。なお、これらは第1教師データの一例である。
一方、局所3次元点群データ312と局所3次元点群データ321は、互いに異なる3次元形状を元にして作成されたものであるため、"正解ラベル"には、"非同一"が格納される。なお、これらは第2教師データの一例である。
<データ拡張部の機能構成の詳細>
次に、データ拡張部123の機能構成の詳細について説明する。図4は、データ拡張部の機能構成の一例を示す図である。
図4に示すように、データ拡張部123は、読み出し部401、密度変更部402、欠損部403、ノイズ付加部404、バイアス付加部405、角度変更部406、拡縮部407、シフト部408を有する。
読み出し部401は、学習用データ格納部126に格納された学習用データ300から、所定の教師データを読み出す。図4の例は、学習用データ格納部126から、所定の教師データとして、局所3次元点群データ311、321を含む教師データ410を読み出した様子を示している。なお、読み出し部401が読み出す所定の教師データとは、"正解ラベル"に同一であることを示す情報が格納されている教師データである。
密度変更部402は、教師データ410の"第1点群データ"及び"第2点群データ"に含まれる2つの局所3次元点群データのうちのいずれか一方の局所3次元点群データの各点を、一定間隔で間引くことで、各点の密度を変更する。密度変更部402は、変更した後の局所3次元点群データを含む教師データ421を、学習用データ格納部126に格納する。
欠損部403は、教師データ410の"第1点群データ"及び"第2点群データ"に含まれる2つの局所3次元点群データのうちのいずれか一方の局所3次元点群データの各点をランダムに欠損させる。また、欠損部403は、欠損させた後の局所3次元点群データを含む教師データ422を、学習用データ格納部126に格納する。
ノイズ付加部404は、教師データ410の"第1点群データ"及び"第2点群データ"に含まれる2つの局所3次元点群データのうちのいずれか一方の局所3次元点群データの任意の位置に、ノイズ(点)を付加する。また、ノイズ付加部404は、ノイズを付加した後の局所3次元点群データを含む教師データ423を、学習用データ格納部126に格納する。
バイアス付加部405は、教師データ410の"第1点群データ"及び"第2点群データ"に含まれる2つの局所3次元点群データのうちのいずれか一方の局所3次元点群データの各点のR値、G値、B値にバイアス値を付加する(つまり、色を変化させる)。また、バイアス付加部405は、バイアス値を付加した後の局所3次元点群データを含む教師データ424を、学習用データ格納部126に格納する。
角度変更部406は、教師データ410の"第1点群データ"及び"第2点群データ"に含まれる2つの局所3次元点群データのうちのいずれか一方の局所3次元点群データを、所定の角度以上傾ける。また、角度変更部406は、所定の角度以上傾けた後の局所3次元点群データを含む教師データ425を、学習用データ格納部126に格納する。教師データ425は第4教師データの一例である。
また、角度変更部406では、所定の角度以上傾けた後の局所3次元点群データを含む教師データ425については、"正解ラベル"を、"同一"から"非同一"に変更する。2つの局所3次元点群データのうちのいずれか一方を所定の角度以上傾けた場合、これら2つの局所3次元点群データは、互いに異なる3次元形状を元にして作成されたものであるとみなせるからである。
なお、角度変更部406は、教師データ410の"第1点群データ"及び"第2点群データ"に含まれる2つの局所3次元点群データのうちのいずれか一方の局所3次元点群データを、傾けない或いは所定の角度未満傾けてもよい。また、角度変更部406は、傾けない或いは所定の角度未満傾けた後の局所3次元点群データを含む教師データ425を、学習用データ格納部126に格納してもよい。この場合の教師データ425は第3教師データの一例となる。また、この場合の教師データ425については、角度変更部406は"正解ラベル"を変更しない。
拡縮部407は、教師データ410の"第1点群データ"及び"第2点群データ"に含まれる2つの局所3次元点群データのうちのいずれか一方の局所3次元点群データを、所定範囲を超えた拡大率または縮小率で拡大または縮小する。また、拡縮部407は、所定範囲を超えた拡大率または縮小率で拡大または縮小した後の局所3次元点群データを含む教師データ426を、学習用データ格納部126に格納する。教師データ426は第6教師データの一例である。
また、拡縮部407では、所定範囲を超えた拡大率または縮小率で拡大または縮小した後の局所3次元点群データを含む教師データ426については、"正解ラベル"を、"同一"から"非同一"に変更する。2つの局所3次元点群データのうちのいずれか一方を所定範囲を超えた拡大率または縮小率で拡大または縮小した場合、これら2つの局所3次元点群データは、互いに異なる3次元形状を元にして作成されたものであるとみなせるからである。
なお、拡縮部407は、教師データ410に含まれる2つの局所3次元点群データを、同一サイズのまま、あるいは、いずれか一方の局所3次元点群データを、所定範囲内の拡大率または縮小率で拡大または縮小してもよい。また、拡縮部407は、同一サイズの局所3次元点群データまたは所定範囲内の拡大率または縮小率で拡大または縮小した後の局所3次元点群データを含む教師データ426を、学習用データ格納部126に格納してもよい。この場合の教師データ426は第5教師データの一例となる。また、この場合の教師データ426については、拡縮部407は"正解ラベル"を変更しない。
シフト部408は、教師データ410の"第1点群データ"及び"第2点群データ"に含まれる2つの局所3次元点群データのうちのいずれか一方の局所3次元点群データの中心位置をシフトする。また、シフト部408は、中心位置をシフトした後の局所3次元点群データを含む教師データ427を、学習用データ格納部126に格納する。
このように、データ拡張部123が学習用データ300を拡張することで、計測方向や計測位置、計測距離、計測タイミング、計測装置の種類等の各種計測条件が異なる、2つの局所3次元点群データの組を、疑似的に生成することができる。そして、拡張後の学習用データ300を用いることで、第1の実施形態によれば、各種計測条件が異なる2つの局所3次元点群データについての同一性の評価の精度を向上させることができる。
<学習部の機能構成の詳細>
次に、学習部124の機能構成の詳細について説明する。図5は、学習部の機能構成の一例を示す図である。図5に示すように、学習部124は、2つの局所3次元点群データが互いに同一の3次元形状を元にして作成されたものであるか否かを推論するために(同一性を評価するために)、シャム(Siamese)ネットワーク構造を利用する。
具体的には、図5に示すように、学習部124は、第1点群データ入力部501、第1DNN部502、第2点群データ入力部511、第2DNN部512、同一性評価部521を有する。更に、学習部124は、比較部531を有する。
第1点群データ入力部501は、学習用データ格納部126に格納された学習用データ300から、"第1点群データ"に格納された局所3次元点群データを読み出し、第1DNN部502に入力する。また、第2点群データ入力部511は、学習用データ格納部126に格納された学習用データ300から、"第2点群データ"に格納された局所3次元点群データを読み出し、第2DNN部512に入力する。
なお、第1点群データ入力部501により入力される局所3次元点群データと、第2点群データ入力部511により入力される局所3次元点群データとは、学習用データ300において互いに対応付けられた局所3次元点群データである。
第1DNN部502は第1ニューラルネットワークの一例であり、例えば、3次元点群データ用のDNNであるPointNetが用いられる。第1DNN部502は、第1点群データ入力部501により局所3次元点群データが入力されることで動作し、第1点群データ特徴量を出力する(下式(1)参照)。
上式(1)は、2048点の点群を含む局所3次元点群データから、1024個の特徴量を含む第1点群データ特徴量が出力されることを表している。
第2DNN部512は第2ニューラルネットワークの一例であり、例えば、3次元点群データ用のDNNであるPointNetが用いられる。第2DNN部512は、第2点群データ入力部511により局所3次元点群データが入力されることで動作し、第2点群データ特徴量を出力する(下式(2)参照)。
上式(2)は、2048点の点群を含む局所3次元点群データから、1024個の特徴量を含む第2点群データ特徴量が出力されることを表している。
同一性評価部521は、第1DNN部502より出力された第1点群データ特徴量と、第2DNN部512より出力された第2点群データ特徴量とを処理する。これにより、同一性評価部521は、2つの局所3次元点群データが、互いに同一の3次元形状を元にして作成されたものであるか否かを推論するためのデータ(2つの局所3次元点群データの同一性に関する評価)を出力する。
具体的には、同一性評価部521では、第1DNN部502及び第2DNN部512より出力された第1点群データ特徴量pnαと第2点群データ特徴量pnβとに基づいて、ユークリッド距離Dを算出し、比較部531に出力する(下式(3)参照)。
ただし、上式(3)において、第1点群データ特徴量pnα、第2点群データ特徴量pnβは、下式(4−1)、(4−2)を満たすものとする。
つまり、ユークリッド距離Dは、2つの局所3次元点群データの同一性に関する評価を表しているということができる。なお、ユークリッド距離Dが小さければ、同一性が高いことを示す評価が出力されたということができ、ユークリッド距離Dが大きければ、同一性が低いことを示す評価が出力されたということができる。
比較部531は、同一性評価部521により出力されたユークリッド距離Dと、学習用データ格納部126より読み出された"正解ラベル"に格納された同一(または非同一)であることを示す情報とに基づいて損失関数Lを算出する(下式(5)参照)。
ただし、上式(5)において、Cには、正解ラベルが"同一"であれば"0"が入力され、"非同一"であれば"1"が入力される。また、上式(5)において、mはマージンである。
比較部531は、算出した損失関数Lを逆伝播させることで、第1DNN部502及び第2DNN部512の重みパラメータを更新する。
なお、第1DNN部502の重みパラメータと第2DNN部512の重みパラメータとは互いに共有されており、損失関数Lが逆伝播された際、第1DNN部502と第2DNN部512とは、同じ値の重みパラメータに更新されることになる。
このように、学習時に、損失関数Lを逆伝播させ、第1DNN部502と第2DNN部512とで重みパラメータを共有させながら更新することで、学習部124によれば、例えば、
・2つの局所3次元点群データの同一性に関する評価を出力するのに適した点群データ特徴量が出力されるように、重みパラメータを学習することができる、
・学習用データ300において、"第1点群データ"及び"第2点群データ"にそれぞれ格納された局所3次元点群データの特性に偏りがあった場合でも、汎化性能の高い重みパラメータを学習することができる、
といった効果を奏することになる。この結果、第1の実施形態によれば、同一性の評価の精度を向上させることができる。
<学習処理の流れ>
次に、学習部124による学習処理の流れについて説明する。図6は、学習部による学習処理の流れを示すフローチャートである。
ステップS601において、第1点群データ入力部501及び第2点群データ入力部511は、学習用データ格納部126より、互いに対応付けられた2つの局所3次元点群データの組を複数読み出す。
ステップS602において、第1DNN部502及び第2DNN部512は、読み出された2つの局所3次元点群データの組を入力することで動作し、第1点群データ特徴量pnα及び第2点群データ特徴量pnβを出力する。
ステップS603において、同一性評価部521は、第1点群データ特徴量pnαと第2点群データ特徴量pnβとに基づいてユークリッド距離Dを算出する。
ステップS604において、比較部531は、算出されたユークリッド距離Dと、学習用データ格納部126より読み出した正解ラベルCとに基づいて、損失関数Lを算出する。また、比較部531は、算出した損失関数Lに基づいて、第1DNN部502及び第2DNN部512の重みパラメータを共有させながら更新する。
ステップS605において、比較部531は、学習処理を終了するか否かを判定する。ステップS605において、学習処理を終了しないと判定した場合には(ステップS605においてNoの場合には)、ステップS602に戻る。これにより、第1点群データ入力部501及び第2点群データ入力部511は、互いに対応付けられた2つの局所3次元点群データの組であって、まだ学習処理に用いられていない組を第1DNN部502及び第2DNN部512に入力する。
一方、ステップS605において、学習処理を終了すると判定した場合には(ステップS605においてYesの場合には)、学習処理を終了し、更新した重みパラメータを、推論部125に反映する。
<推論部の機能構成>
次に、推論部125の機能構成の詳細について説明する。図7は、推論部の機能構成の一例を示す図である。学習部124と同様、推論部125は、2つの局所3次元点群データが、互いに同一の3次元形状を元にして作成されたものであるか否かを推論するために(同一性を評価するために)、シャム(Siamese)ネットワーク構造を利用する。
具体的には、図7に示すように、推論部125は、第1点群データ入力部701、第1DNN部702、第2点群データ入力部711、第2DNN部712、同一性評価部721を有する。更に、推論部125は、出力部731を有する。
第1点群データ入力部701は、推論用データ格納部127に格納された推論用データから、"第1点群データ"に格納された局所3次元点群データを読み出し、第1DNN部702に入力する。また、第2点群データ入力部711は、推論用データ格納部127に格納された推論用データから、"第2点群データ"に格納された局所3次元点群データを読み出し、第2DNN部712に入力する。
なお、推論用データ格納部127に格納された推論用データは、情報の項目として"正解ラベル"がないことを除けば、図3の学習用データ300と同様の構成を有しているものとする。
なお、第1点群データ入力部701により入力される局所3次元点群データと、第2点群データ入力部711により入力される局所3次元点群データとは、推論用データにおいて互いに対応付けられた局所3次元点群データである。
第1DNN部702は第1ニューラルネットワークの一例であり、第1点群データ入力部701により局所3次元点群データが入力されることで動作し、第1点群データ特徴量pnαを出力する。
第2DNN部712は第2ニューラルネットワークの一例であり、第2点群データ入力部711により局所3次元点群データが入力されることで動作し、第2点群データ特徴量pnβを出力する。なお、第1DNN部702と第2DNN部712とは、互いに重みパラメータが共有されている。
同一性評価部721は、第1DNN部702より出力された第1点群データ特徴量と、第2DNN部712より出力された第2点群データ特徴量とを処理する。これにより、同一性評価部721は、2つの局所3次元点群データが、互いに同一の3次元形状を元にして作成されたものであるか否かを推論するためのデータ(2つの局所3次元点群データの同一性に関する評価)を出力する。
具体的には、同一性評価部721では、第1DNN部702より出力された第1点群データ特徴量pnαと、第2DNN部712より出力された第2点群データ特徴量pnβとに基づいて、ユークリッド距離Dを算出し、出力部731に出力する。なお、上述したように、ユークリッド距離Dが小さければ、同一性が高いことを示す評価が出力されたということができ、ユークリッド距離Dが大きければ、同一性が低いことを示す評価が出力されたということができる。
出力部731では、同一性評価部721より出力されたユークリッド距離Dが所定の閾値以上であるか否かを判定する(下式(6−1)、(6−2)参照)。
ユークリッド距離Dが所定の閾値tより大きいと判定した場合(上式(6−1))、出力部731では、同一性の評価として"非同一である"を出力する。一方、ユークリッド距離Dが所定の閾値t以下であると判定した場合(上式(6−2))、出力部731では、同一性の評価として、"同一である"を出力する。
このように、推論時に、互いに重みパラメータが共有された第1DNN部702と第2DNN部712とを用いることで、推論部125によれば、例えば、
・2つの局所3次元点群データの同一性に関する評価を出力するのに適した点群データ特徴量を出力することができる、
・2つの局所3次元点群データを第1DNN部702と第2DNN部712のいずれに入力するかによらず、同一性に関する評価として、同じデータを出力することができる、
といった効果を奏することになる。この結果、第1の実施形態によれば、同一性の評価の精度を向上させることができる。
<推論処理の流れ>
次に、推論部125による推論処理の流れについて説明する。図8は、推論部による推論処理の流れを示すフローチャートである。
ステップS801において、第1点群データ入力部701及び第2点群データ入力部711は、推論用データ格納部127より、互いに対応付けられた2つの局所3次元点群データの組を読み出す。
ステップS802において、第1DNN部702及び第2DNN部712は、読み出された2つの局所3次元点群データの組を入力することで動作し、第1点群データ特徴量pnα及び第2点群データ特徴量pnβを出力する。
ステップS803において、同一性評価部721は、第1点群データ特徴量pnαと第2点群データ特徴量pnβとに基づいてユークリッド距離Dを算出する。
ステップS804において、出力部731は、同一性評価部721より出力されたユークリッド距離Dに基づいて、同一性の評価("同一である"または"非同一である")を出力する。
<推論結果の具体例>
次に、推論部125による推論結果の具体例について説明する。図9は、推論結果の具体例を示す図である。
このうち、図9(a)は、推論処理に用いた推論用データの概要を示している。図9(a)において、"対象物の種類"には、第1の計測装置110及び第2の計測装置111が計測した対象物の種類を示している。
また、図9(a)において、"2つの局所3次元点群データが同一の組の数"には、対応する"対象物の種類"に含まれる複数の局所3次元点群データのうち、互いに同一の3次元形状を元にして作成された、2つの局所3次元点群データの組の数が格納される。また、"2つの局所3次元点群データが非同一の組の数"には、対応する"対象物の種類"に含まれる複数の局所3次元点群データのうち、互いに異なる3次元形状を元にして作成された、2つの局所3次元点群データの組の数が格納される。
一方、図9(b)は、図9(a)に示す推論用データを入力データとして、推論部125が推論した推論結果についての、"対象物の種類"ごとの適合率を示している。図9(b)に示すように、推論部125によれば、"対象物の種類"によらず、高い適合率を実現することが可能となる。
<まとめ>
以上の説明から明らかなように、第1の実施形態に係る点群データ同一性推定システムは、点群データ同一性推定装置が、
・3次元点群データからなる第1点群データ及び第2点群データを取得する第1点群データ取得部及び第2点群データ取得部を有する。
・第1点群データを入力して第1点群データ特徴量を出力する第1DNN部と、第2点群データを入力して第2点群データ特徴量を出力する第2DNN部とを有する。
・第1点群データ特徴量と第2点群データ特徴量とに基づいて、第1点群データと第2点群データの同一性に関する評価を出力する同一性評価部を有する。
・第1DNN部と第2DNN部とは、互いに重みパラメータが共有されている。
これにより、第1の実施形態によれば、3次元点群データについて、同一性の評価の精度を向上させる点群データ同一性推定装置及び点群データ同一性推定システムを提供することができる。
[第2の実施形態]
上記第1の実施形態では、点群データに関する情報が、3次元点群データそのものであるとして説明した。しかしながら、点群データに関する情報は、3次元点群データそのものに限定されず、メッシュデータ(ポリゴンデータ)やサーフェスデータ、CADデータ等であってもよい。
また、上記第1の実施形態では、互いに異なる3次元形状を元に作成した2つの局所3次元点群データを対応付けて学習用データ300として格納する場合の対応付け方法について言及しなかった。しかしながら、2つの局所3次元点群データを対応付ける際、例えば、それぞれの3次元形状が所定の距離内に位置する3次元点群データに限定して対応付けを行うようにしてもよい。
また、上記第1の実施形態では、データ拡張部123に含まれる各部のうち、
・角度変更部406が角度を変更する場合、及び、
・拡縮部407がサイズを変更する場合、
に変更の度合いに応じて、"正解ラベル"が"同一"の教師データと、"正解ラベル"が"非同一"の教師データとを生成するものとして説明した。
しかしながら、角度変更部406、拡縮部407以外の各部についても、同様に、変更の度合いに応じて、"正解ラベル"が"同一"の教師データと、"正解ラベル"が"非同一"の教師データとを生成するように構成してもよい。
また、上記第1の実施形態において、データ拡張部123は、"正解ラベル"が"同一"の教師データを読み出して、学習用データ300を拡張する場合について説明した。しかしながら、データ拡張部123が学習用データ300を拡張する際に読み出す教師データは、これに限定されず、"正解ラベル"が"非同一"の教師データを読み出してもよい。
これにより、例えば、同一の3次元形状を有する別箇の個体であって、色のみが異なっている場合や、材質のみが異なっている場合に、同一性の評価として、誤って"同一である"との出力がなされてしまうといった事態を回避することができる。
また、上記第1の実施形態では、データ拡張部123に含まれる各部が学習用データ300を拡張する場合について説明した。しかしながら、学習用データ300の拡張方法はこれに限定されず、各種計測条件を人為的に変更することで、学習用データ300を拡張してもよい。
例えば、密度変更部402または拡縮部407を動作させる代わりに、第1の計測装置110から対象物までの計測距離を変更したり、第1の計測装置110の種類を変更することで、学習用データ300を拡張してもよい。
また、例えば、角度変更部406を動作させる代わりに、第1の計測装置110の角度を傾け、計測方向を変更することで、学習用データ300を拡張してもよい。また、例えば、シフト部408を動作させる代わりに、第1の計測装置110の計測位置をシフトすることで、学習用データ300を拡張してもよい。また、例えば、ノイズ付加部404またはバイアス付加部405を動作させる代わりに、実環境130内の照明の明るさを変更したり、第1の計測装置110の計測タイミングを変更することで、学習用データ300を拡張してもよい。
また、上記第1の実施形態では、同一性評価部521が、第1点群データ特徴量と第2点群データ特徴量とに基づいて算出したユークリッド距離Dを、同一性に関する評価として出力する場合について説明した。しかしながら、同一性評価部521による同一性に関する評価の出力方法はこれに限定されず、他の関数を用いて算出したデータを、同一性に関する評価として出力してもよい。あるいは、関数以外の方法で(例えば、NNを用いて)算出したデータを、同一性に関する評価として出力してもよい。
また、上記第1の実施形態では、点群データ同一性推定装置120が、学習部124と推論部125とを有するものとして説明した。しかしながら、学習部124と推論部125とは、別体の装置により構成してもよい。
以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
100 :点群データ同一性推定システム
110、111 :第1、第2の計測装置
120 :点群データ同一性推定装置
121 :データ取得部
122 :データ変換部
123 :データ拡張部
124 :学習部
125 :推論部
300 :学習用データ
310、320 :3次元点群データ
311、312、321 :局所3次元点群データ
401 :読み出し部
402 :密度変更部
403 :欠損部
404 :ノイズ付加部
405 :バイアス付加部
406 :角度変更部
407 :拡縮部
408 :シフト部
501 :第1点群データ入力部
502 :第1DNN部
511 :第2点群データ入力部
512 :第2DNN部
521 :同一性評価部
531 :比較部
701 :第1点群データ入力部
702 :第1DNN部
711 :第2点群データ入力部
712 :第2DNN部
721 :同一性評価部
731 :出力部

Claims (8)

  1. 2つの3次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置であって、
    3次元点群データからなる第1点群データ及び第2点群データを取得する点群データ取得部と、
    第1点群データに関する情報を入力して第1点群データ特徴量を出力する第1ニューラルネットワークと、
    第2点群データに関する情報を入力して第2点群データ特徴量を出力する第2ニューラルネットワークと、
    前記第1点群データ特徴量と前記第2点群データ特徴量とに基づいて、前記第1点群データと前記第2点群データの同一性に関する評価を出力する同一性評価部と、を有し、
    前記第1ニューラルネットワークと前記第2ニューラルネットワークとは互いに重みが共有されている、点群データ同一性推定装置。
  2. 互いに同一の3次元形状を元にして作成された2つの3次元点群データに関する情報を第1教師データとして前記第1ニューラルネットワーク及び前記第2ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの重みを互いに共有させながら更新し、
    互いに異なる3次元形状を元にして作成された2つの3次元点群データに関する情報を第2教師データとして前記第1ニューラルネットワーク及び前記第2ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの重みを互いに共有させながら更新する、請求項1に記載の点群データ同一性推定装置。
  3. 前記第1教師データは、互いに同一の3次元形状を元にして作成された2つの3次元点群データに関する情報のうち少なくとも一方を欠損させたもの、または、少なくとも一方にノイズを加えたものである、請求項2に記載の点群データ同一性推定装置。
  4. 前記第1教師データは、互いに同一の3次元形状を異なる条件で計測したものを元にして作成された2つの3次元点群データに関する情報である、請求項2に記載の点群データ同一性推定装置。
  5. 前記第1点群データに関する情報及び前記第2点群データに関する情報は、それぞれ、3次元点群データである、請求項1に記載の点群データ同一性推定装置。
  6. 所定の3次元形状を元にして作成された3次元点群データ、及び、前記所定の3次元形状を傾けない或いは所定の角度未満傾けたものを元にして作成された3次元点群データを、第3教師データとして前記第1ニューラルネットワーク及び前記第2ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの重みを互いに共有させながら更新し、
    所定の3次元形状を元にして作成された3次元点群データ、及び、前記所定の3次元形状を前記所定の角度以上傾けたものを元にして作成された3次元点群データを、第4教師データとして前記第1ニューラルネットワーク及び前記第2ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの重みを互いに共有させながら更新する、請求項5に記載の点群データ同一性推定装置。
  7. 所定の3次元形状を元にして作成された3次元点群データ、及び、前記所定の3次元形状と同一サイズのもの或いは前記所定の3次元形状を所定範囲内の拡大率または縮小率で拡大または縮小したものを元にして作成された3次元点群データを、第5教師データとして前記第1ニューラルネットワーク及び前記第2ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの重みを互いに共有させながら更新し、
    所定の3次元形状を元にして作成された3次元点群データ、及び、前記所定の3次元形状を前記所定範囲を超えた拡大率または縮小率で拡大または縮小したものを元にして作成された3次元点群データを、第6教師データとして前記第1ニューラルネットワーク及び前記第2ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの重みを互いに共有させながら更新する、請求項5に記載の点群データ同一性推定装置。
  8. 対象物を計測し、3次元点群データを作成する計測装置と、
    2つの3次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置と、を有する点群データ同一性推定システムであって、
    前記点群データ同一性推定装置は、
    3次元点群データからなる第1点群データ及び第2点群データを取得する点群データ取得部と、
    第1点群データに関する情報を入力して第1点群データ特徴量を出力する第1ニューラルネットワークと、
    第2点群データに関する情報を入力して第2点群データ特徴量を出力する第2ニューラルネットワークと、
    前記第1点群データ特徴量と前記第2点群データ特徴量とに基づいて、前記第1点群データと前記第2点群データの同一性に関する評価を出力する同一性評価部と、を有し、
    前記第1ニューラルネットワークと前記第2ニューラルネットワークとは互いに重みが共有されている、点群データ同一性推定システム。
JP2019181004A 2019-09-30 2019-09-30 点群データ同一性推定装置及び点群データ同一性推定システム Active JP6819758B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019181004A JP6819758B1 (ja) 2019-09-30 2019-09-30 点群データ同一性推定装置及び点群データ同一性推定システム
US17/754,219 US11704841B2 (en) 2019-09-30 2020-09-17 Apparatus for estimating sameness of point cloud data and system for estimating sameness of point cloud data
PCT/JP2020/035231 WO2021065538A1 (ja) 2019-09-30 2020-09-17 点群データ同一性推定装置及び点群データ同一性推定システム
CN202080066282.9A CN114424244B (zh) 2019-09-30 2020-09-17 点云数据相同性估计装置及点云数据相同性估计系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019181004A JP6819758B1 (ja) 2019-09-30 2019-09-30 点群データ同一性推定装置及び点群データ同一性推定システム

Publications (2)

Publication Number Publication Date
JP6819758B1 true JP6819758B1 (ja) 2021-01-27
JP2021056904A JP2021056904A (ja) 2021-04-08

Family

ID=74200220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019181004A Active JP6819758B1 (ja) 2019-09-30 2019-09-30 点群データ同一性推定装置及び点群データ同一性推定システム

Country Status (4)

Country Link
US (1) US11704841B2 (ja)
JP (1) JP6819758B1 (ja)
CN (1) CN114424244B (ja)
WO (1) WO2021065538A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023021559A1 (ja) * 2021-08-16 2023-02-23 日本電気株式会社 推定モデル訓練装置、推定モデル訓練方法、認識装置、認識方法、及び非一時的なコンピュータ可読媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024095380A1 (ja) * 2022-11-02 2024-05-10 三菱電機株式会社 点群識別装置、学習装置、点群識別方法、および、学習方法
CN115880276B (zh) * 2023-01-09 2023-05-12 广东电网有限责任公司肇庆供电局 一种基于多期点云对比的塔杆运行状态评估方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5620200B2 (ja) * 2010-09-06 2014-11-05 株式会社トプコン 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
RU2674326C2 (ru) * 2017-02-20 2018-12-06 Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" Способ формирования архитектуры нейросети для классификации объекта, заданного в виде облака точек, способ ее применения для обучения нейросети и поиска семантически схожих облаков точек
WO2018190805A1 (en) * 2017-04-11 2018-10-18 Siemens Aktiengesellschaft Depth image pose search with a bootstrapped-created database
US10679075B2 (en) * 2017-08-31 2020-06-09 Nec Corporation Dense correspondence estimation with multi-level metric learning and hierarchical matching
JP6873027B2 (ja) * 2017-12-06 2021-05-19 株式会社日立製作所 学習システム及び画像検索システム
CN108198145B (zh) * 2017-12-29 2020-08-28 百度在线网络技术(北京)有限公司 用于点云数据修复的方法和装置
CN108228798B (zh) * 2017-12-29 2021-09-17 百度在线网络技术(北京)有限公司 确定点云数据之间的匹配关系的方法和装置
JP7034746B2 (ja) * 2018-02-02 2022-03-14 株式会社デンソーアイティーラボラトリ 特徴表現装置、それを含む認識システム、及び特徴表現プログラム
US11080590B2 (en) * 2018-03-21 2021-08-03 Nvidia Corporation Stereo depth estimation using deep neural networks
US10832084B2 (en) * 2018-08-17 2020-11-10 Nec Corporation Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching
CN110147706B (zh) * 2018-10-24 2022-04-12 腾讯科技(深圳)有限公司 障碍物的识别方法和装置、存储介质、电子装置
WO2020154973A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles
US20200311136A1 (en) * 2019-03-25 2020-10-01 HealthBlock, Inc. Measuring and increasing the quality of user-provided information
CN110246167A (zh) * 2019-06-14 2019-09-17 北京百度网讯科技有限公司 用于处理点云数据的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023021559A1 (ja) * 2021-08-16 2023-02-23 日本電気株式会社 推定モデル訓練装置、推定モデル訓練方法、認識装置、認識方法、及び非一時的なコンピュータ可読媒体
JP7574939B2 (ja) 2021-08-16 2024-10-29 日本電気株式会社 推定モデル訓練装置、推定モデル訓練方法、認識装置、認識方法、及びプログラム

Also Published As

Publication number Publication date
US20220343553A1 (en) 2022-10-27
WO2021065538A1 (ja) 2021-04-08
CN114424244B (zh) 2022-09-30
US11704841B2 (en) 2023-07-18
JP2021056904A (ja) 2021-04-08
CN114424244A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
JP6819758B1 (ja) 点群データ同一性推定装置及び点群データ同一性推定システム
US9361728B2 (en) Submarine topography construction method based on multi-source water depth data integration
JP5653541B2 (ja) 描画データ生成装置及び画像描画装置
WO2018113502A1 (zh) 一种自动生成网格与着色器多层次细节的方法
CN104732585A (zh) 一种人体体型重构的方法及装置
US12118669B2 (en) Subdividing a three-dimensional mesh utilizing a neural network
JP2019153259A (ja) 機械学習装置、予測システム、及び、プログラム
CN109241964A (zh) 机械臂的抓取点的获取方法及设备
CN116310219A (zh) 一种基于条件扩散模型的三维脚型生成方法
JPWO2011104746A1 (ja) 画像表示装置
US9324187B2 (en) Visualization apparatus and method
KR20230167746A (ko) 메시 정점 위치에 대한 반복 및 루트 찾기를 사용하여 표면에 근사하는 폴리곤 메시를 생성하기 위한 방법 및 시스템
EP4320595A1 (en) System and method for point cloud generation
CN114332256A (zh) 量子图像伪彩色编码方法和装置
JPWO2022180864A5 (ja)
JP2023023446A (ja) 点群データ同一性推定装置及び点群データ同一性推定システム
US12141921B2 (en) Method and system for generating polygon meshes approximating surfaces using root-finding and iteration for mesh vertex positions
US11954802B2 (en) Method and system for generating polygon meshes approximating surfaces using iteration for mesh vertex positions
US20230394767A1 (en) Method and system for generating polygon meshes approximating surfaces using root-finding and iteration for mesh vertex positions
Liu et al. Design and implementation of a line simplification algorithm for network measurement system
KR102056810B1 (ko) 하이 오더 메쉬 구조를 갖는 그래픽 모델의 메쉬 품질 향상을 위한 그래픽 처리 장치 및 방법
JP2002366935A (ja) ボリュームデータの生成方法および装置並びにコンピュータプログラム
JP2974648B2 (ja) 3次元データの処理方法及び処理装置、並びに3次元データの処理方法のプログラムを記録した記録媒体
JP2023028849A (ja) 画像生成装置、画像生成方法及びプログラム
JP2024049645A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201214

R151 Written notification of patent or utility model registration

Ref document number: 6819758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151