JP7424509B2 - 学習装置、識別装置、学習方法、識別方法、学習プログラム、及び識別プログラム - Google Patents

学習装置、識別装置、学習方法、識別方法、学習プログラム、及び識別プログラム Download PDF

Info

Publication number
JP7424509B2
JP7424509B2 JP2022560582A JP2022560582A JP7424509B2 JP 7424509 B2 JP7424509 B2 JP 7424509B2 JP 2022560582 A JP2022560582 A JP 2022560582A JP 2022560582 A JP2022560582 A JP 2022560582A JP 7424509 B2 JP7424509 B2 JP 7424509B2
Authority
JP
Japan
Prior art keywords
point
points
learning
identified
class label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022560582A
Other languages
English (en)
Other versions
JPWO2022097248A1 (ja
Inventor
夏菜 倉田
泰洋 八尾
直己 伊藤
慎吾 安藤
潤 島村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2022097248A1 publication Critical patent/JPWO2022097248A1/ja
Application granted granted Critical
Publication of JP7424509B2 publication Critical patent/JP7424509B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Description

開示の技術は、学習装置、識別装置、学習方法、識別方法、学習プログラム、及び識別プログラムに関する。
物体の表面は３次元の位置情報（ｘ，ｙ，ｚ）を有する３次元点によって表現される。そのような３次元点の集まりからなるデータは、３次元点群と称される。３次元点群は、Ｎ個（Ｎ≧２）の点の集合であり、各点は１～Ｎの識別子により特定される。また、３次元点群は、物体の表面上の複数の点であり、物体の幾何的な情報を示すデータでもある。
物体を表す３次元点群は、距離センサによる計測又は物体の画像に対する３次元再構成によって取得される。また、３次元点には属性情報が付与されている場合もある。３次元点の属性情報とは、点群の計測の際に得られた位置情報とは異なる情報であり、例えば、点の反射強度を示すIntensity値及び点の色情報を表すＲＧＢ値等が挙げられる。
また、３次元点群にはクラスラベルが付与されることもある。３次元点群のクラスラベルとは、３次元点群が表す物体の種類（又はクラス）を識別するための情報である。このようなクラスラベルとしては、例えば、屋外の３次元点群を対象とした場合、地面、建物、柱、ケーブル、及び樹木等を表すクラスラベルが挙げられる。
街並み及び部屋といった複数のクラスに属する点を含む３次元点群（以下、単に「シーンデータ」と称する。）では、各点を識別することにより、シーン中に含まれる物体の種類及び境界を特定することができる。
この場合の識別とは、３次元点群に含まれる各点に対してクラスラベルを属性値として付与することである。
３次元点群に含まれる各点に対してクラスラベルを付与することは、セマンティックセグメンテーションと称される。単独の物体であっても、その物体のパーツ毎に異なるクラスラベルを付与する行為はセマンティックセグメンテーションに相当する。セマンティックセグメンテーションは、３次元点群から抽出された特徴量に基づき行われる。
近年、Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（以下、単に「ＤＮＮ」と称する。）によって近傍点の相対的な座標に基づく特徴抽出を段階的に行い、それによって得られた複数の距離尺度における物体形状の特徴量を、各点のクラスラベルの識別に利用する手法が知られている（例えば、非特許文献１，２を参照）。
例えば、非特許文献１に記載のＤＮＮは、代表点の選択と、Ｘ－Ｃｏｎｖｏｌｕｔｉｏｎによる代表点に対する近傍点の特徴量の畳み込みを繰り返す。このＤＮＮは、前層よりも少ない数の代表点を選択して処理を行うダウンサンプリング層と、前層よりも多い数の点を選択するアップサンプリング層を設けることにより、複数の距離スケールでの特徴量に基づいて各点のクラスラベルを出力する。
また、非特許文献２に記載のＤＮＮは、Ｐａｒａｍｅｔｒｉｃ Ｃｏｎｔｉｎｕｏｕｓ Ｃｏｎｖｏｌｕｔｉｏｎによる特徴量の畳み込みを繰り返す。このＤＮＮは、２つの空間尺度にて得られた特徴量に基づいて、各点に対してクラスラベルを付与する。具体的には、このＤＮＮは、３次元点群の各点に対して取得された特徴量と、３次元点群の全点に渡ってプーリングを行うことにより得られた広域的な物体形状に基づく特徴量とに基づいて、各点に対してクラスラベルを付与する。
Y. Li, R. Bu, M. Sun, W. Wu, X. Di, B. Chen, "PointCNN: Convolution On X -Transformed Points", pp.828-838, 2018. Shenlong Wang, Simon Suo, Wei-Chiu Ma, Andrei Pokrovsky, and Raquel Urtasun. 2018. Deep Parametric Continuous Convolutional Neural Networks. CVPR (2018).
上記非特許文献１，２における近傍点は、識別対象の点の中から決定される。近傍点及び識別対象の点と近傍点との特徴の畳み込みの概念図を図１１に示す。図１１に示されるように、例えばｉ番目の識別対象の点の特徴量Ｆ＿ｉは、ｉ番目の識別対象の点の近傍に位置するｊ番目の近傍点の特徴量を相対座標Ｙ＿ｉｊに応じた係数を用いて畳み込み積分を行うことにより取得される。もしくは、相対座標Ｙ＿ｉｊに対して、その識別対象の点との間の距離に応じて順位付けをするなどの変換も用いてもよい。なお、ｉは識別対象の点を示すインデックスであり、ｊは識別対象の点の近傍を表すインデックスを表す。ただし、ｊの値は必ずしも距離の近さの順番を表すものではない。
非特許文献１，２に記載の技術には、複数の距離尺度で得られる特徴量に基づいた各点のクラスラベルの識別が可能である、という利点がある。具体的には、非特許文献１，２に記載の技術では、広域の距離尺度で特徴量を算出する際には、対象範囲に含まれる全ての点に基づいて特徴量が算出される。また、非特許文献１，２に記載の技術では、固定点数の３次元点群を受け付けた場合、その３次元点群の各点に対するクラスラベルの識別をＧＰＵによって処理することにより、実用的な処理時間が実現されている。
高密度かつ空間的に広域の３次元点群（～１０７点）に対して複数の距離での特徴量に基づくセマンティックセグメンテーションモデルを実行する場合は、ＲＡＭ容量等の制限がある場合が多い。このため、広域の３次元点群に対してセマンティックセグメンテーションを実施する場合には、３次元点群に対して分割及びサンプリングの前処理が行われる。そして、前処理によって得られた一定点数（～１０４点）を含む識別対象の点群に対してセマンティックセグメンテーションを実施することが一般的である。なお、屋外のような、物体の大きさに幅があるシーンを対象にする際には、３次元点群を細かく分割することにより物体が細切れになってしまうことを防ぐため、分割サイズは比較的大きめ（５０ｍ３～）に保たれる。
また、３次元点群に対するサンプリングのサンプル数を少なくすることにより、処理可能な点数に変換される。なお、３次元点群を分割する際の分割のサイズが一定の場合、サンプル数は点群の密度に比例する。
このようにサンプル数を少なくした場合に、２つの問題が生じる。
１つ目は、形状が複雑な物体上の３次元点の識別が難しくなることである。これは、３次元点群の分割により、高密度な３次元点群では表現されていた詳細な形状が消失することが原因である。
２つ目は、少数のサンプル点のクラスラベルを基に未識別の点にクラスラベルを付与する場合、物体境界付近で誤識別が生じることである。未識別の点にクラスラベルを付与するために、例えば、Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒアルゴリズムを用いることができる。しかし、物体境界のようにサンプル点の中で最も距離が近い点が異なる物体上に存在する場合には、誤識別が起こり得る。
このため、従来技術では、３次元点群からサンプリングされた３次元点に対してクラスラベルを付与する場合に、３次元点のクラスラベルを精度良く識別することができない、という課題があった。
開示の技術は、上記の点に鑑みてなされたものであり、３次元点群からサンプリングされた３次元点に対してクラスラベルを付与する場合であっても、３次元点のクラスラベルを精度良く識別することを目的とする。
本開示の第１態様は、学習装置であって、学習用の３次元の対象点の集合である学習用対象点群からサンプリングされた学習用の識別対象の点の座標と、前記学習用の識別対象の点に対して設定される学習用の近傍点の前記識別対象の点に対する相対座標と、前記学習用の識別対象の点のクラスラベルの教師データと、前記学習用の識別対象の点のクラスラベルの有効性の教師データが対応付けられた学習用データとを取得する学習用データ取得部と、前記学習用データ取得部により取得された前記学習用データに基づいて、識別対象の点に対して設定される近傍点の前記識別対象の点に対する相対座標を入力とし、前記近傍点の相対座標を変換した変換座標及び第１特徴量を出力とする第１モデルと、前記識別対象の点の座標と前記第１特徴量とを入力とし、第２特徴量及び前記識別対象の点のクラスラベルを出力とする第２モデルと、前記第２特徴量及び前記近傍点の相対座標を変換した変換座標を入力とし、前記近傍点に対する前記クラスラベルの有効性を出力とする第３モデルとを含むクラスラベル付与用のモデルを学習させることにより、前記識別対象の点の座標及び前記近傍点の相対座標を入力とし、前記識別対象の点のクラスラベル及び前記近傍点に対する前記クラスラベルの有効性を出力するためのクラスラベル付与用の学習済みモデルを生成する学習部と、を含む。
開示の技術によれば、３次元点群からサンプリングされた３次元点に対してクラスラベルを付与する場合であっても、３次元点のクラスラベルを精度良く識別することができる。
第１実施形態のクラスラベル付与用のモデルの一例を示す図である。 第１実施形態の学習装置１０のハードウェア構成を示すブロック図である。 第１実施形態の学習装置１０の機能構成の例を示すブロック図である。 第１実施形態の識別装置２０のハードウェア構成を示すブロック図である。 第１実施形態の識別装置２０の機能構成の例を示すブロック図である。 第１実施形態の学習装置１０による学習処理の流れを示すフローチャートである。 第１実施形態の識別装置２０による識別処理の流れを示すフローチャートである。 第２実施形態の識別装置２１２の機能構成の例を示すブロック図である。 第２実施形態にて用いるモデルの例を示すブロック図である。 第２実施形態のクラスラベル付与用のモデルの変形例である。 従来技術を説明するための図である。
以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
＜第１実施形態＞
第１実施形態では、３次元点群に含まれる３次元点に対して、その３次元点が何を表しているのかを示すクラスラベルを付与する。その際に、第１実施形態では、クラスラベルを付与する対象の３次元点の近傍に存在する近傍点の位置を考慮して、当該３次元点に対してクラスラベルを付与する。近傍点は、３次元点との間の実空間上のユークリッド距離が予め定められた距離より短い、識別対象の点との間の距離に順位付けした際に定められた順位内に入る、等の方法で抽出された、識別対象の点と空間的な分布位置が近しい３次元点である。この近傍点群は、対象の３次元点との間の距離が短い順に任意の個数の３次元点を設定するといった方法により設定される。又は、対象の３次元点から任意の距離内の３次元点を設定するといった方法によっても設定可能である。
さらに、第１実施形態では、３次元点に対して付与されたクラスラベルを、当該３次元点の近傍点に対しても付与して良いか否かを表すクラスラベルの有効性を計算する。そして、本実施形態では、クラスラベルの有効性に基づいて、近傍点に対しても同様のクラスラベルを付与してもよいか否かを判定する。なお、第１実施形態では、クラスラベルを付与する対象の３次元点に対する近傍点の相対座標を利用してクラスラベル及びクラスラベルの有効性を計算する。クラスラベルを付与する対象の３次元点である識別対象の点に対する近傍点の相対座標は、以下の式（１）に従って計算される。
Ｙ＿ｉｊ＝Ｘ＿ｉ－Ｚ＿ｉｊ （１）
ここで、ｉは識別対象の点を示すインデックス（１≦ｉ≦Ｑ，Ｑは識別対象の点の総数）である。ｉｊは、ｉ番目の識別対象の点に対するｊ番目の近傍点のインデックス（１≦ｊ≦Ｋ＿ｉ，Ｋ＿ｉは識別対象の点に対する近傍点の総数）である。Ｘ＿ｉは識別対象の点の座標であり、Ｙ＿ｉｊは識別対象の点に対する近傍点の相対座標である。Ｚ＿ｉｊは、近傍点の座標である。また、各点の座標はＤ次元の配列である。３次元点群ではＤ＝３であるため、本実施形態ではＤ＝３であるとして以下説明する。３次元点群を２次元に投影するなどしてから処理する場合は、Ｄ＝２となる。
第１実施形態では、機械学習によって得られるクラスラベル付与用のモデルを用いて、クラスラベル及びクラスラベルの有効性を計算する。図１に、第１実施形態のクラスラベル付与用のモデルの一例を示す。図１に示されるように、クラスラベル付与用のモデルＭは、第１モデルの一例であるＤＮＮモジュールＭ１と、第２モデルの一例であるＤＮＮモジュールＭ２と、第３モデルの一例であるＤＮＮモジュールＭ３とを備えている。
第１モデルの一例であるＤＮＮモジュールＭ１は、例えば、Ａｇｇｒｅｇａｔｉｖｅ Ｉｎｐｕｔ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋ（ＡＩＣ）によって実現される。また、ＤＮＮモジュールＭ２は、複数の距離尺度での特徴量に基づいて３次元点群のセマンティックセグメンテーションを行うＤｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＤＮＮ）を含んで実現される。また、ＤＮＮモジュールＭ３は、Ｌａｂｅｌ Ｖａｌｉｄｉｔｙ Ｅｓｔｉｍａｔｉｏｎ Ｎｅｔｗｏｒｋとして機能する。
第１実施形態では、予め観測された高密度の３次元点群の中から、サンプリングによって識別対象の点を特定する。３次元点群に含まれる３次元点の数が１０６点程度であるのに対し、識別対象の点の数は１０４点程度である。
第１実施形態のクラスラベル付与用のモデルは、識別対象の点の各点に対し、クラスラベルと各識別対象の点の近傍点に対するクラスラベルの有効性（例えば、０～１の値をとる。）を出力する。そして、第１実施形態では、各識別対象の点に付与されたクラスラベルと同一のクラスラベルを、クラスラベル有効性の値が高い（例えば、任意に設定した閾値を超える）近傍点に対して付与する。これにより、３次元点群からサンプリングされた３次元点に対してクラスラベルを付与する場合に、近傍点に対して識別対象の点と同一のクラスラベルを付与しても良いかの判定が行われ、３次元点のクラスラベルを精度良く識別することができる。
以下、具体的に説明する。
図２は、学習装置１０のハードウェア構成を示すブロック図である。
図２に示すように、学習装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。第１実施形態では、ＲＯＭ１２又はストレージ１４には、クラスラベルを付与するためのモデルを学習させる学習プログラムが格納されている。
ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。
通信インタフェース１７は、他の機器と通信するためのインタフェースである。当該通信には、たとえば、イーサネット（登録商標）若しくはＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。
次に、学習装置１０の機能構成について説明する。
図３は、学習装置１０の機能構成の例を示すブロック図である。
図３に示すように、学習装置１０は、機能構成として、学習用点群データ記憶部１００、学習用データ取得部１０２、学習部１０４、及び学習済みモデル記憶部１０６を有する。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された学習プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。
学習用点群データ記憶部１００には、３次元点にクラスラベルを付与するためのモデルを学習させる際に用いる学習用データが格納される。学習用データは、学習用の識別対象の点の座標、学習用の近傍点の識別対象の点に対する相対座標、学習用の識別対象の点のクラスラベルの教師データ、及び学習用の識別対象の点のクラスラベルの有効性の教師データが対応付けられたデータである。
なお、学習用の識別対象の点は、学習用の３次元の対象点の集合である学習用対象点群からサンプリングされたデータである。また、学習用の近傍点は、学習用の識別対象の点との間の距離が予め定められた距離より短い、学習用の識別対象の点との間の距離に順位付けした際に定められた順位内に入る、等の方法で抽出された、識別対象の点と空間的な分布位置が近しい３次元点である。
学習用データ取得部１０２は、学習用点群データ記憶部１００に格納されている学習用データを取得する。
学習部１０４は、学習用データ取得部１０２により取得された学習用データに基づいて、クラスラベル付与用のモデルを機械学習させる。図１に示されるように、クラスラベル付与用のモデルＭは、第１モデルの一例であるＤＮＮモジュールＭ１と、第２モデルの一例であるＤＮＮモジュールＭ２と、第３モデルの一例であるＤＮＮモジュールＭ３とを備えている。
なお、図１に示されるＤＮＮモジュールＭ１、ＤＮＮモジュールＭ２、及びＤＮＮモジュールＭ３が有している各層（例えば、「Ｐｏｉｎｔｗｉｓｅ Ｃｏｎｖ」）は、既知の技術によって実現される。なお、ＤＮＮモジュールＭ２のＣｏｎｖの部分は８層の「Ｃｏｎｔｉｎｕｏｕｓ Ｃｏｎｖ」により実現される。
図１に示されるように、ＤＮＮモジュールＭ１は、識別対象の点に対して設定された複数の近傍点の識別対象の点に対する相対座標Ｙ＿ｉｊを入力とする。また、ＤＮＮモジュールＭ１は、複数の近傍点の相対座標Ｙ＿ｉｊを変換した変換座標Ｙ’＿ｉｊ及び識別対象の点の第１特徴量Ｆ＿ｉを出力する。第１特徴量Ｆ＿ｉは、複数の近傍点の分布によって表現される物体の局所的な形状に基づく特徴量である。なお、第１特徴量Ｆ＿ｉは、Ｑ×Ｃ＿１個の要素をもつ配列である。Ｃ＿１は任意の自然数である。また、近傍点の変換座標Ｙ’＿ｉｊは、Ｄ’×ΣＫ＿ｉ個の要素をもつ配列である。なお、１≦ｉ≦Ｑであり、Ｄ’は任意の自然数である。
ＤＮＮモジュールＭ１から出力された変換座標Ｙ’＿ｉｊは、ＤＮＮモジュールＭ３へ出力される。また、ＤＮＮモジュールＭ１から出力された複数の識別対象の点の第１特徴量Ｆ＿ｉは、ＤＮＮモジュールＭ２へ出力される。なお、点群データが輝度データ又はＲＧＢデータ等の属性をもつ場合には、ＤＮＮモジュールＭ１は、複数の識別対象の点の属性値Ａｓ及び複数の近傍点の属性値Ａｎの入力が可能なように構成されていてもよい。この場合には、近傍点の相対座標Ｙ＿ｉｊ及び第１特徴量Ｆ＿ｉの算出にこれらの属性値を用いてもよい。その場合、複数の識別対象の点の属性値Ａｓは、Ｑ×Ｃ＿０個の要素を持つ配列である。また、複数の近傍点の属性値Ａｎは、Ｃ＿０×ΣＫ＿ｉ個の要素を持つ配列である。なお、Ｃ＿０は属性値自体の配列の次元数である。なお、属性値の入力方法は、これに限定することは無い。例えば、第１特徴量Ｆ＿ｉに属性値のチャンネルを結合する、といった方法を取ってもよい。
ＤＮＮモジュールＭ１としてＡｇｇｒｅｇａｔｉｖｅ Ｉｎｐｕｔ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋを採用した場合、ＤＮＮモジュールＭ１は、以下の式（２）に従って、ｉ番目の識別対象の点に対するｊ番目の近傍点の相対座標Ｙ_ｉｊから、近傍点の変換座標Ｙ’_ｉｊを計算する層を有していることになる。また、この場合には、ＤＮＮモジュールＭ１は、以下の式（３）に従って、ｉ番目の識別対象の点に対するｊ番目の近傍点の相対座標Ｙ_ｉｊから、ｉ番目の識別対象の点の第１特徴量Ｆ_ｉを計算する層を有していることにもなる。この場合に算出される第１特徴量Ｆ_ｉ及び変換座標Ｙ’_ｉｊは、識別対象の点に対する複数の近傍点の分布によって表現された局所的な物体形状に基づくものとなる。

（２）

（３）
上記式におけるｇ＿０及びｇ＿１は、マルチレイヤーパーセプトロンであり、そのパラメータは機械学習により設定される。このマルチレイヤーパーセプトロンにおいて、各近傍点の相対座標Ｙ_ｉｊに対する演算は、チャンネル方向（この場合の配列の要素は、Ｄ個の要素又はＤ＋Ｃ＿０個の要素を持つ）の畳み込み計算とＲｅＬｕ等の活性化関数とを用いて各点独立に変換される。ｇ＿０，ｇ＿１には同じパラメータを用いても良い。
上記式におけるＰｏｏｌｉｎｇは、プーリング関数である。プーリング関数は、各識別対象の点において、全近傍点に渡るプーリングを行う。プーリング方法としては、例えば、最大値プーリング又は平均値プーリングが用いられる。各識別対象の点においてＫ＿ｉ×Ｄ’次元の配列が出力されるｇ＿１（Ｙ＿ｉｊ）は、ＰｏｏｌｉｎｇによりＤ’次元の配列へ変換される。
なお、近傍点の属性値Ａｎも併せて入力される場合には、例えば、近傍点の相対座標Ｙ_ｉｊと近傍点の属性値Ａ_ｉｊとを結合して得られる配列ＹＡ_ｉｊを相対座標Ｙ_ｉｊの代わりに用いる、又は、第１特徴量Ｆ_ｉの算出のみ相対座標Ｙ_ｉｊの代わりに配列ＹＡ_ｉｊを用いる、といった構成が可能である。なお、この配列ＹＡ_ｉｊは、Ｋ_ｉ×（Ｄ＋Ｃ＿０）要素を持つ配列となる。
また、ＤＮＮモジュールＭ２は、識別対象の点の座標Ｘ＿ｉとＤＮＮモジュールＭ１から出力された識別対象の点の第１特徴量Ｆ＿ｉとを入力とする。なお、１≦ｉ≦Ｑであり、識別対象の点の座標Ｘ＿ｉの集合をＸ、識別対象の点の第１特徴量Ｆ＿ｉの集合をＦとする。識別対象の点の座標の集合Ｘと識別対象の点の第１特徴量の集合ＦをＭ２に入力し、各識別対象の点の座標Ｘ＿ｉに対する識別対象の点の第２特徴量Ｆ’＿ｉ及び識別対象の点のクラスラベルＬ＿ｉを出力とする。なお、各識別対象の点の座標Ｘ＿ｉに対する識別対象の点のクラスラベルＬ＿ｉの集合をＬとする。
第２特徴量の集合Ｆ’は、Ｑ×Ｃ＿２個の要素を持つ配列であり、Ｃ＿２は特徴量自体の配列の次元数である。また、複数の識別対象の点に対するクラスラベルの集合Ｌは、Ｑ×Ｕ個の要素を持つ配列であり、Ｕは識別対象のクラス数である。また、クラスラベルの集合Ｌは、後述するラベル付与部２０８へ出力される。
第２特徴量の集合Ｆ’は、ＤＮＮモジュールＭ３へ出力される。なお、識別対象の点が輝度データ又はＲＧＢデータ等の属性を持つ場合は、ＤＮＮモジュールＭ２は、複数の識別対象の点の属性値Ａｓの入力を受け付けが可能なように構成されていてもよい。この場合には、複数の識別対象の点の属性値Ａｓは、第２特徴量の集合Ｆ’の算出に用いることができる。なお、例えば、ＤＮＮモジュールＭ２は、非特許文献１及び非特許文献２に開示されている技術によって実現される。図１のＤＮＮモジュールＭ２は、非特許文献２に開示されている技術によって実現したものである。
また、ＤＮＮモジュールＭ３は、ＤＮＮモジュールＭ１から出力された近傍点の変換座標Ｙ’＿ｉｊとＤＮＮモジュールＭ２から出力された識別対象の点の第２特徴量Ｆ’＿ｉとを入力とする。そして、ＤＮＮモジュールＭ３は、複数の識別対象の点の各々に対する複数の近傍点の各々について、クラスラベルＬの有効性Ｖを出力する。ｉ番目の識別対象の点のクラスラベルＬ＿ｉの、ｊ番目の近傍点に対する有効性Ｖ＿ｉは、ΣＫ＿ｉ個の要素を持つ配列である。
ＤＮＮモジュールＭ３は、ＤＮＮモジュールＭ１から出力された近傍点の相対座標Ｙ＿ｉｊと、ＤＮＮモジュールＭ２から出力された第２特徴量Ｆ’＿ｉとに基づいて、ｉ番目の識別対象の点のｊ番目の近傍点に対するクラスラベルの有効性Ｖ＿ｉｊを出力する。例えば、以下の式（４）に従って、ｉ番目の識別対象の点のｊ番目の近傍点に対するクラスラベルの有効性Ｖ＿ｉｊを算出することができる。クラスラベルの有効性Ｖ＿ｉｊは、スカラ値である。

（４）
なお、ｈはマルチレイヤーパーセプトロンを表し、そのパラメータは機械学習により設定される。このマルチレイヤーパーセプトロンにおいて、各識別対象の点の第２特徴量Ｆ’＿ｉはチャンネル方向（この場合の配列の要素は、Ｃ＿２個の要素を持つ）の畳み込み計算とＲｅＬｕ等の活性化関数とを用いて各点独立に、Ｄ’のチャンネルを持つ配列（この配列は、Ｙ’＿ｉｊと同じサイズである。）へ変換される。
また、

はベクトルの要素積の演算を表す。Ｓｉｇｍｏｉｄはシグモイド関数を表す。Ｓｉｇｍｏｉｄは、任意の実数値を入力として０～１の実数値を出力する。
なお、上記式（４）は、識別対象の点と近傍点とに同一のクラスラベルが付与される可能性の高さに応じて値を変える関数の一例である。
学習部１０４は、図１に示されるようなクラスラベル付与用のモデルＭを機械学習させる。これにより、複数の識別対象の点の座標の集合Ｘ及びＸに含まれる識別対象の点の各々に対する複数の近傍点の相対座標の集合Ｙが入力されると、複数の識別対象の点のクラスラベルの集合Ｌ及び複数の近傍点に対するクラスラベルＬの各要素に対する有効性の集合Ｖを出力するクラスラベル付与用の学習済みモデルが生成される。
具体的には、学習部１０４は、勾配法等を用いて、複数の学習用の識別対象の点のうちのｉ番目の学習用の識別対象の点に対応する学習用データに対し、以下の式（５）に示される損失関数Ｌｏｓｓを最小化するように、クラスラベル付与用のモデルを機械学習させる。これにより、クラスラベル付与用の学習済みモデルが生成される。

（５）
損失関数Ｌｏｓｓは、学習中又は学習前のクラスラベル付与用のモデルから出力される学習用の識別対象の点のクラスラベルの集合Ｌと当該クラスラベルの集合Ｌの正解値を表す教師データの集合Ｌｔとの間の乖離、及び学習中又は学習前のクラスラベル付与用のモデルから出力されるクラスラベルの集合Ｌの有効性の集合Ｖと学習用の近傍点のクラスラベルの集合Ｌの有効性の集合Ｖの正解値を表す教師データの集合Ｖｔとの間の乖離を測る関数の一例である。
教師データの集合Ｖｔは、各識別対象の点のクラスラベルと近傍点のクラスラベルとの間の同一性を表すデータである。教師データの集合Ｖｔは、ΣＫ＿ｉ個の要素を持つ配列である。教師データの集合Ｖｔは、学習用データにおける複数の識別対象の点のクラスラベル及びその近傍点のクラスラベルに基づき予め生成される。教師データの集合Ｖｔの要素Ｖｔ＿ｉｊは、近傍点のクラスラベルが識別対象の点と同じである場合に高い値を持つデータである。たとえば、近傍点のクラスラベルが識別対象の点と同じである場合は１、異なる場合は０の値とすることができる。
Ｌ_ｉは、学習中又は学習前のクラスラベル付与用のモデルから出力されるｉ番目の学習用の識別対象の点に対するクラスラベルである。また、Ｌｔ_ｉは、ｉ番目の学習用の識別対象の点に対応するクラスラベルの正解値を表す教師データである。Ｌｔ＿ｉは学習用データにおける複数の識別対象の点のクラスラベルを１－ｈｏｔベクトルで表現したものである。このため、Ｌｔ＿ｉの集合であるＬｔは、Ｑ×Ｕ個の要素を持つ配列である。なお、Ｕは、識別対象のクラスの総数である。
ＣＥは、Ｌ_ｉとＬｔ_ｉとの間の交差エントロピーの平均である。ｒは予め設定される学習係数である。Ｖ_ｉｊは、学習中又は学習前のクラスラベル付与用のモデルから出力される、ｉ番目の学習用の識別対象の点に対するｊ番目の学習用の近傍点のクラスラベルの有効性である。Ｖｔ_ｉｊは、ｉ番目の学習用の識別対象の点に対するｊ番目の学習用の近傍点に対応するクラスラベルの有効性の正解値を表す教師データである。ＳＥは、Ｖ_ｉｊとＶｔ_ｉｊとの間の二乗誤差である。
学習部１０４は、繰り返し計算の終了条件が満たされるまで、勾配法等を用いて損失関数Ｌｏｓｓの最小化を行う。繰り返し計算の終了条件としては、例えば、損失関数Ｌｏｓｓが任意の閾値（例えば、正の実数）を下回ること、損失関数の変分が任意の閾値（正の実数）を下回ること、繰り返し回数が任意の閾値（自然数）を超えること、等を設定することができる。なお、学習部１０４は、クラスラベル付与用の学習済みモデルを更新する際には、Ａｄａｍ等のオプティマイザを用いることができる。
そして、学習部１０４は、クラスラベル付与用の学習済みモデルを学習済みモデル記憶部１０６へ格納する。
学習済みモデル記憶部１０６には、学習部１０４により生成されたクラスラベル付与用の学習済みモデルが格納される。なお、学習済みモデル記憶部１０６には、クラスラベル付与用の学習済みモデルのパラメータとそのネットワーク構造を表すデータとが、クラスラベル付与用の学習済みモデルとして格納される。
図４は、識別装置２０のハードウェア構成を示すブロック図である。
図４に示すように、識別装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３、ストレージ２４、入力部２５、表示部２６及び通信インタフェース（Ｉ／Ｆ）２７を有する。各構成は、バス２９を介して相互に通信可能に接続されている。
ＣＰＵ２１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２１は、ＲＯＭ２２又はストレージ２４からプログラムを読み出し、ＲＡＭ２３を作業領域としてプログラムを実行する。ＣＰＵ２１は、ＲＯＭ２２又はストレージ２４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。第１実施形態では、ＲＯＭ２２又はストレージ２４には、クラスラベルを付与するための識別プログラムが格納されている。
ＲＯＭ２２は、各種プログラム及び各種データを格納する。ＲＡＭ２３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ２４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
入力部２５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
表示部２６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部２６は、タッチパネル方式を採用して、入力部２５として機能しても良い。
通信インタフェース２７は、他の機器と通信するためのインタフェースである。当該通信には、たとえば、イーサネット（登録商標）若しくはＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。
次に、識別装置２０の機能構成について説明する。
図５は、識別装置２０の機能構成の例を示すブロック図である。
図５に示すように、識別装置２０は、機能構成として、点群データ記憶部２００、取得部２０２、計算部２０３、学習済みモデル記憶部２０４、ラベル取得部２０６、及びラベル付与部２０８を有する。各機能構成は、ＣＰＵ２１がＲＯＭ２２又はストレージ２４に記憶された識別プログラムを読み出し、ＲＡＭ２３に展開して実行することにより実現される。
点群データ記憶部２００には、３次元の対象点の集合である対象点群が格納されている。
取得部２０２は、点群データ記憶部２００に格納されている対象点群をサンプリングすることにより複数の識別対象の点（１≦ｉ≦Ｑ，Ｑは識別対象の点の総数）を取得する。また、取得部２０２は、複数の識別対象の点の各々について、点群データ記憶部２００から当該識別対象の点に対して設定される複数の近傍点（１≦ｊ≦Ｋ＿ｉ，Ｋ＿ｉは識別対象の点に対する近傍点の総数）を取得する。
例えば、取得部２０２は、対象点群に対して既知のサンプリングアルゴリズムを実施することにより、対象点群から複数の識別対象の点をサンプリングする。サンプリングの手法としては、ランダムサンプリング及び逆密度サンプリング等が挙げられる。このときの識別対象の点の近傍点は、サンプリングを行う前の高密度なＤ次元点群の中から決定される。
なお、識別対象の点がクラスラベル付与用の学習済みモデルへ入力される際には、Ｑ×Ｄ個の要素を持つ配列となる。また、近傍点が後述するクラスラベル付与用の学習済みモデルへ入力される際には、Ｄ×ΣＫ＿ｉ個の要素を持つ配列となる。
また、対象点群に輝度データ又はＲＧＢデータ等の属性が付与されている場合は、複数の識別対象の点の属性値Ａｓとその近傍点の属性値Ａｎを後述するクラスラベル付与用の学習済みモデルに対して入力することも可能である。
計算部２０３は、取得部２０２により取得された複数の識別対象の点に対する複数の近傍点の各々について、当該識別対象の点に対する相対座標Ｙ＿ｉｊを計算する。
学習済みモデル記憶部２０４には、学習装置１０により学習されたクラスラベル付与用の学習済みモデルが格納されている。
ラベル取得部２０６は、学習済みモデル記憶部２０４に格納されているクラスラベル付与用の学習済みモデルに対して、複数の識別対象の点の座標Ｘ＿ｉの集合Ｘと当該識別対象の点の複数の近傍点の相対座標Ｙ＿ｉｊの集合Ｙとを入力することにより、識別対象の点のクラスラベルの集合Ｌと、複数の近傍点に対する識別対象の点のクラスラベルの集合Ｌの有効性の集合Ｖとを取得する。
ラベル付与部２０８は、ラベル取得部２０６によって取得されたクラスラベルＬ＿ｉをｉ番目の識別対象の点に付与し、クラスラベルＬ＿ｉの有効性Ｖ＿ｉｊが予め定められた閾値で定められた範囲に含まれる場合に、複数の近傍点にクラスラベルＬ＿ｉを付与する。例えば、ラベル付与部２０８は、クラスラベルＬ＿ｉの有効性Ｖ＿ｉｊが、０．８～１．０である場合に、識別対象の点のクラスラベルＬ＿ｉを近傍点に付与する。又は、ラベル付与部２０８は、クラスラベルＬ＿ｉの有効性Ｖ＿ｉｊが０．８以上である場合に、識別対象の点のクラスラベルＬ＿ｉを近傍点に付与するようにしてもよい。
次に、学習装置１０の作用について説明する。
図６は、学習装置１０による学習処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から学習プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、学習処理が行なわれる。
ステップＳ１００において、ＣＰＵ１１は、学習用データ取得部１０２として、学習用点群データ記憶部１００に格納された複数の学習用データを取得する。
ステップＳ１０２において、ＣＰＵ１１は、学習部１０４として、上記ステップＳ１００で取得された複数の学習用データに基づいて、上記式（５）の損失関数Ｌｏｓｓが最小化されるように、クラスラベル付与用のモデルを機械学習させることにより、クラスラベル用学習済みモデルを生成する。
ステップＳ１０４において、ＣＰＵ１１は、学習部１０４として、上記ステップＳ１０２で生成されたクラスラベル付与用の学習済みモデルを、学習済みモデル記憶部１０６へ格納して、学習処理ルーチンを終了する。
次に、識別装置２０の作用について説明する。学習装置１０による学習処理によってクラスラベル付与用の学習済みモデルが生成され学習済みモデル記憶部１０６へ格納された後、そのクラスラベル付与用の学習済みモデルが識別装置２０へ入力される。
識別装置２０は、クラスラベル付与用の学習済みモデルを受け付けると、クラスラベル付与用の学習済みモデルを自身の学習済みモデル記憶部２０４へ格納する。そして、複数の識別対象の点に対するクラスラベルの付与の処理開始の指示信号を受け付けると、識別処理を実行する。
図７は、識別装置２０による識別処理の流れを示すフローチャートである。ＣＰＵ２１がＲＯＭ２２又はストレージ２４から識別プログラムを読み出して、ＲＡＭ２３に展開して実行することにより、識別処理が行なわれる。
ステップＳ２００において、取得部２０２は、点群データ記憶部２００に格納されている対象点群をサンプリングすることにより複数の識別対象の点を取得する。また、取得部２０２は、複数の識別対象の点の各々について、点群データ記憶部２００から当該識別対象の点の近傍点を取得する。
ステップＳ２０２において、ＣＰＵ２１は、計算部２０３として、上記ステップＳ２００で取得された複数の識別対象の点の各々についての複数の近傍点の各々について、当該近傍点の相対座標Ｙ＿ｉｊを計算する。
ステップＳ２０４において、ＣＰＵ２１は、ラベル取得部２０６として、学習済みモデル記憶部２０４に格納されているクラスラベル付与用の学習済みモデルに対して、上記ステップＳ１００で取得された複数の識別対象の点の座標Ｘ＿ｉと、上記ステップＳ２０２で計算された識別対象の点毎の複数の近傍点の相対座標Ｙ＿ｉｊとを入力する。そして、ラベル取得部２０６は、複数の識別対象の点のクラスラベルＬ＿ｉと、複数の近傍点に対するクラスラベルＬ＿ｉの有効性Ｖ＿ｉｊとを取得する。
ステップＳ２０６において、ＣＰＵ２１は、ラベル付与部２０８として、上記ステップＳ２０４で取得されたクラスラベルＬ＿ｉを識別対象の点に付与する。
ステップＳ２０８において、ＣＰＵ２１は、ラベル付与部２０８として、上記ステップＳ２０４で取得されたクラスラベルＬ＿ｉの有効性Ｖ＿ｉｊが予め定められた範囲に含まれる場合に、該当する識別対象の点の近傍点にクラスラベルＬ＿ｉを付与する。
以上説明したように、第１実施形態の学習装置は、学習用の３次元の対象点の集合である学習用対象点群からサンプリングされた学習用の識別対象の点の座標、学習用の識別対象の点に対して設定される学習用の近傍点の識別対象の点に対する相対座標、学習用の識別対象の点のクラスラベルの教師データ、及び学習用の識別対象の点のクラスラベルの有効性の教師データが対応付けられた学習用データを取得する。そして、学習装置は、学習用データに基づいて、識別対象の点に対して設定される近傍点の前記識別対象の点に対する相対座標を入力とし、近傍点の相対座標を変換した変換座標及び第１特徴量を出力とする第１モデルと、識別対象の点の座標と第１特徴量とを入力とし、第２特徴量及び識別対象の点のクラスラベルを出力とする第２モデルと、第２特徴量及び近傍点の相対座標を変換した変換座標を入力とし、近傍点に対するクラスラベルの有効性を出力とする第３モデルとを含むクラスラベル付与用のモデルを学習させる。そして、学習装置は、識別対象の点の座標及び近傍点の相対座標を入力とし、識別対象の点のクラスラベル及び近傍点に対するクラスラベルの有効性を出力するためのクラスラベル付与用の学習済みモデルを生成する。
また、第１実施形態の識別装置は、３次元の対象点の集合である対象点群をサンプリングすることにより複数の識別対象の点を取得する。そして、識別装置は、取得された複数の識別対象の点の各々について、識別対象の点に対して設定される近傍点の識別対象の点に対する相対座標を計算する。識別装置は、学習装置によって生成されたクラスラベル付与用の学習済みモデルに対して、複数の識別対象の点の座標と、複数の識別対象の点の各々に対する近傍点の相対座標とを入力することにより、複数の識別対象の点のクラスラベルと、複数の識別対象の点の各々についての近傍点に対するクラスラベルの有効性とを取得する。そして、識別装置は、クラスラベルを複数の識別対象の点に付与し、クラスラベルの有効性が予め定められた閾値以上である場合に、複数の識別対象の点の各々に対する近傍点にクラスラベルを付与して、識別対象の点及び近傍点のクラスラベルを識別する。これにより、３次元点群からサンプリングされた３次元点に対してクラスラベルを付与する場合であっても、３次元点のクラスラベルを精度良く識別することができる。具体的には、識別対象の点とは異なる近傍点も考慮し、かつ近傍点に対して識別対象の点と同様のクラスラベルを付与しても良いか否かを学習済みのＤＮＮモジュールＭ３によって判定する。これにより、物体境界のようにサンプル点の中で最も距離が近い点が異なる物体上に存在する場合であっても誤識別を低減させることができる。
また、高密度な３次元点の群に関する複数の距離尺度での特徴量に基づいてクラスラベルを付与することにより、物体境界付近の識別対象の点の周囲において、識別対象の点と別クラスに属する近傍点に対して誤ってクラスラベルを付与することを抑制することができる。
＜第２実施形態＞
次に第２実施形態について説明する。第２実施形態では、第１実施形態において計算された複数の識別対象の点の各々についての第２特徴量の集合Ｆ’及びクラスラベルの集合Ｌに基づいて、対象点群に含まれる全ての対象点に対してクラスラベルを付与する点が第１実施形態と異なる。
図８は、第２実施形態の識別装置２１２の機能構成の例を示すブロック図である。
図８に示すように、識別装置２１２は、機能構成として、点群データ記憶部２００、取得部２０２、計算部２０３、学習済みモデル記憶部２０４、ラベル取得部２０６、ラベル付与部２０８、及び情報記憶部２０９を有する。各機能構成は、ＣＰＵ２１がＲＯＭ２２又はストレージ２４に記憶された識別プログラムを読み出し、ＲＡＭ２３に展開して実行することにより実現される。
情報記憶部２０９には、第１実施形態の識別装置２０によって予め算出された、複数の識別対象の点の各々についての、学習済みＤＮＮモジュールＭ２から出力された第２特徴量の集合Ｆ’及びクラスラベルの集合Ｌが格納されている。この第２特徴量の集合Ｆ’及びクラスラベルの集合Ｌに基づいて、対象点群に含まれる全ての対象点用のクラスラベルが生成される。
取得部２０２は、点群データ記憶部２００から対象点を取得する。なお、対象点とは、識別対象の点及びその近傍点とは異なる３次元点である。
計算部２０３は、取得部２０２により取得された複数の対象点の各々について、識別対象の点の各々に対する相対座標Ｔ＿ｉｊを計算する。なお、相対座標の集合Ｔ＿ｊは、Ｄ×Ｑ個の要素を持つ配列である。
学習済みモデル記憶部２０４には、第１実施形態の学習装置１０によって学習されたクラスラベル付与用の学習済みモデルが格納されている。なお、クラスラベル付与用の学習済みモデルは、第１実施形態と同様に、学習済みＤＮＮモジュールＭ１と、学習済みＤＮＮモジュールＭ２と、学習済みＤＮＮモジュールＭ３と、を備えている。
図９に、第２実施形態において用いるモデルの構成を示す。図９に示されるように、第２実施形態では、学習済みＤＮＮモジュールＭ１に対して、対象点の相対座標Ｔ＿ｉｊが入力される。対象点の相対座標Ｔ＿ｉｊが学習済みＤＮＮモジュールＭ１へ入力されると、学習済みＤＮＮモジュールＭ１からは対象点の相対座標Ｔ＿ｉｊを変換した変換座標Ｔ’＿ｉｊが出力される。なお、変換座標Ｔ’＿ｉｊは、Ｄ’個の要素を持つ配列である。図９に示されるように、変換座標Ｔ’＿ｉｊは、学習済みＤＮＮモジュールＭ３に対して入力される。
また、その際に、学習済みＤＮＮモジュールＭ３に対して、情報記憶部２０９に格納されている第２特徴量Ｆ’＿ｉが入力される。第２特徴量Ｆ’＿ｉは、Ｃ＿２個の要素を持つ配列である。なお、Ｃ＿２は特徴量自体のベクトルの次元数である。
この第２特徴量Ｆ’＿ｉは、識別対象の点の特徴を表すものである。第２特徴量Ｆ’＿ｉと対象点の相対座標Ｔ＿ｉｊとに基づいて、クラスラベルの有効性Ｗ＿ｉｊが計算される。なお、学習済みＤＮＮモジュールＭ１及び学習済みＤＮＮモジュールＭ３の層の構成は、適宜変更してもよい。例えば、モデルＭ１からモデルＭ２へ識別対象の点の第１特徴量Ｆ＿ｉを入力しない場合に、学習済みＤＮＮモジュールＭ１のＰｏｏｌｉｎｇの層は削除されていてもよい。または、学習済みＤＮＮモジュールＭ３のＴｉｌｅの層は、並列処理を行う際などに入力データの形状に対応するよう適宜変更されていてもよい。
ラベル取得部２０６は、学習済みモデル記憶部１０６に格納されているクラスラベル付与用の学習済みモデルのうちの学習済みＤＮＮモジュールＭ１に対して、計算部２０３により計算された対象点の相対座標Ｔ＿ｉｊを入力する。なお、第２実施形態においては、各対象点を独立に処理することが可能であるため、対象点１点当たりの処理を以下に示す。なお、コンピュータの性能に応じて、複数の対象点を並列処理することも可能である。
なお、このとき、ラベル取得部２０６は、情報記憶部２０９に格納されている第２特徴量Ｆ’＿ｉを読み出し、クラスラベル付与用の学習済みモデルのうちの学習済みＤＮＮモジュールＭ３に対して、読み出した第２特徴量Ｆ’＿ｉを入力することにより、対象点のクラスラベルの有効性Ｗ＿ｉｊを取得する。ここで、Ｗ＿ｉｊはスカラ値である。対象点のクラスラベルの有効性の集合Ｗ＿ｊは、複数の識別対象の点のクラスラベルの集合Ｌのうち何れのクラスラベルを付与するのが適切であるのかを表すものとなる。クラスラベルの有効性の集合Ｗ＿ｊは、１×Ｑ個の要素を持つ配列である。
ラベル付与部２０８は、情報記憶部２０９に記憶されているクラスラベルの集合Ｌを参照して、クラスラベルの有効性Ｗ＿ｉｊが予め定められた閾値以上である識別対象の点のクラスラベルを、対象点に付与する候補のクラスラベルとする。そして、ラベル付与部２０８は、クラスラベルの有効性Ｗ＿ｉｊが最も高い識別対象の点のクラスラベルを対象点に付与し、識別結果として出力する。なお、閾値が設定された場合、全ての識別対象の点におけるクラスラベルの有効性Ｗ＿ｉｊが閾値に満たない場合、クラスラベルを付与しないことも可能である。また、各識別対象の点に対するクラスラベルＬ＿ｉは、１×Ｕ個の要素を持つ配列である。Ｕは識別対象のクラスの総数である。
以上説明したように、第２実施形態によれば、第１実施形態にて付与された識別対象の点に対するクラスラベル及び特徴量を利用することにより、全ての対象点に対してクラスラベルを付与することができる。
なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した学習処理及び識別処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、学習処理及び識別処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態では、学習及び識別プログラムがストレージに予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
また、上記第２実施形態では、第１実施形態にて予め学習された学習済みのＤＮＮモジュールＭ２から出力された第２特徴量の集合Ｆ’及びクラスラベルの集合Ｌを利用し、識別対象の点についてはクラスラベル付与用の学習済みモデルへは入力しない場合を例に説明したが、これに限定されるものではない。例えば、図１０に示されるようなクラスラベル付与用のモデルＭ５を学習させ、このモデルＭ５に基づいて、全ての対象点についてクラスラベルを付与するようにしてもよい。この場合には、モデルＭ１を用いて識別対象の点の座標Ｘ＿ｉの近傍点の相対座標から識別対象の点の第１特徴量Ｆ＿ｉが抽出され、それらに基づいて識別対象の点へのクラスラベルの付与が行われる。なお、図１０のモデルＭ４は、第１実施形態のモデルＭ１と同様のモデルであり、モデルＭ１と同じＤＮＮパラメータを用いて相対座標Ｔ＿ｉｊから変換座標Ｔ’＿ｉｊへの座標変換を行う。
また、上記実施形態では、ＤＮＮモジュールＭ３は上記式（４）に従ってクラスラベルの有効性Ｖ＿ｉｊを算出する場合を例に説明したが、これに限定されるものではない。クラスラベルの有効性Ｖ＿ｉｊを算出する数式はどのようなものを用いても良い。
また、上記実施形態では、上記式（５）に示される損失関数Ｌｏｓｓを最小化するようにクラスラベル付与用のモデルを学習させる場合を例に説明したが、これに限定されるものではない。例えば、学習用の識別対象の点のクラスラベルの集合Ｌとその教師データの集合Ｌｔとの間の乖離、及び学習用の近傍点のクラスラベルの集合Ｌの有効性の集合Ｖとその教師データの集合Ｖｔとの間の乖離に応じた所定の関数を最大化するように、クラスラベル付与用のモデルを学習させるようにしてもよい。
以上の実施形態に関し、更に以下の付記を開示する。
（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
学習用の３次元の対象点の集合である学習用対象点群からサンプリングされた学習用の識別対象の点の座標と、前記学習用の識別対象の点に対して設定される学習用の近傍点の前記識別対象の点に対する相対座標と、前記学習用の識別対象の点のクラスラベルの教師データと、前記学習用の識別対象の点のクラスラベルの有効性の教師データが対応付けられた学習用データとを取得する学習用データ取得部と、
前記学習用データ取得部により取得された前記学習用データに基づいて、識別対象の点に対して設定される近傍点の前記識別対象の点に対する相対座標を入力とし、前記近傍点の相対座標を変換した変換座標及び第１特徴量を出力とする第１モデルと、前記識別対象の点の座標と前記第１特徴量とを入力とし、第２特徴量及び前記識別対象の点のクラスラベルを出力とする第２モデルと、前記第２特徴量及び前記近傍点の相対座標を変換した変換座標を入力とし、前記近傍点に対する前記クラスラベルの有効性を出力とする第３モデルとを含むクラスラベル付与用のモデルを学習させることにより、前記識別対象の点の座標及び前記近傍点の相対座標を入力とし、前記識別対象の点のクラスラベル及び前記近傍点に対する前記クラスラベルの有効性を出力するためのクラスラベル付与用の学習済みモデルを生成する、
ように構成されている学習装置。
（付記項２）
学習処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記学習処理は、
学習用の３次元の対象点の集合である学習用対象点群からサンプリングされた学習用の識別対象の点の座標と、前記学習用の識別対象の点に対して設定される学習用の近傍点の前記識別対象の点に対する相対座標と、前記学習用の識別対象の点のクラスラベルの教師データと、前記学習用の識別対象の点のクラスラベルの有効性の教師データが対応付けられた学習用データとを取得する学習用データ取得部と、
前記学習用データ取得部により取得された前記学習用データに基づいて、識別対象の点に対して設定される近傍点の前記識別対象の点に対する相対座標を入力とし、前記近傍点の相対座標を変換した変換座標及び第１特徴量を出力とする第１モデルと、前記識別対象の点の座標と前記第１特徴量とを入力とし、第２特徴量及び前記識別対象の点のクラスラベルを出力とする第２モデルと、前記第２特徴量及び前記近傍点の相対座標を変換した変換座標を入力とし、前記近傍点に対する前記クラスラベルの有効性を出力とする第３モデルとを含むクラスラベル付与用のモデルを学習させることにより、前記識別対象の点の座標及び前記近傍点の相対座標を入力とし、前記識別対象の点のクラスラベル及び前記近傍点に対する前記クラスラベルの有効性を出力するためのクラスラベル付与用の学習済みモデルを生成する、
非一時的記憶媒体。
１０ 学習装置
１２，２１２ 識別装置
１００ 学習用点群データ記憶部
１０２ 学習用データ取得部
１０４ 学習部
１０６，２０４ 学習済みモデル記憶部
２００ 点群データ記憶部
２０２ 取得部
２０３ 計算部
２０６ ラベル取得部
２０８ ラベル付与部
２０９ 情報記憶部

Claims (9)

  1. 学習用の３次元の対象点の集合である学習用対象点群からサンプリングされた学習用の識別対象の点の座標と、前記学習用の識別対象の点に対して設定される学習用の近傍点の前記識別対象の点に対する相対座標と、前記学習用の識別対象の点のクラスラベルの教師データと、前記学習用の識別対象の点のクラスラベルの有効性の教師データが対応付けられた学習用データとを取得する学習用データ取得部と、
    前記学習用データ取得部により取得された前記学習用データに基づいて、識別対象の点に対して設定される近傍点の前記識別対象の点に対する相対座標を入力とし、前記近傍点の相対座標を変換した変換座標及び第１特徴量を出力とする第１モデルと、前記識別対象の点の座標と前記第１特徴量とを入力とし、第２特徴量及び前記識別対象の点のクラスラベルを出力とする第２モデルと、前記第２特徴量及び前記近傍点の相対座標を変換した変換座標を入力とし、前記近傍点に対する前記クラスラベルの有効性を出力とする第３モデルとを含むクラスラベル付与用のモデルを学習させることにより、前記識別対象の点の座標及び前記近傍点の相対座標を入力とし、前記識別対象の点のクラスラベル及び前記近傍点に対する前記クラスラベルの有効性を出力するためのクラスラベル付与用の学習済みモデルを生成する学習部と、
    を含む学習装置。
  2. 前記学習部は、複数の前記学習用の識別対象の点の各々に対応する前記学習用データに対し、学習中又は学習前のクラスラベル付与用のモデルから出力される前記学習用の識別対象の点のクラスラベルと前記学習用の識別対象の点のクラスラベルの正解値を表す教師データとの間の乖離、及び学習中又は学習前のクラスラベル付与用のモデルから出力される前記学習用の近傍点のクラスラベルの有効性と前記学習用の近傍点のクラスラベルの有効性の正解値を表す教師データとの間の乖離に応じた関数を用いて、前記関数を最小化又は最大化するように、前記クラスラベル付与用のモデルを学習することにより、前記クラスラベル付与用の学習済みモデルを生成する、
    請求項１に記載の学習装置。
  3. ３次元の対象点の集合である対象点群をサンプリングすることにより複数の識別対象の点を取得する取得部と、
    前記取得部により取得された複数の識別対象の点の各々について、前記識別対象の点に対して設定される対象点である近傍点の前記識別対象の点に対する相対座標を計算する計算部と、
    請求項１又は請求項２に記載の学習装置によって生成された前記クラスラベル付与用の学習済みモデルに対して、前記複数の識別対象の点の座標と、前記複数の識別対象の点の各々に対する前記近傍点の相対座標とを入力することにより、複数の前記識別対象の点のクラスラベルと、前記複数の識別対象の点の各々についての前記近傍点に対する前記クラスラベルの有効性とを取得するラベル取得部と、
    前記ラベル取得部によって取得された前記クラスラベルを前記複数の識別対象の点に付与し、前記クラスラベルの有効性が予め定められた閾値で定められた範囲に含まれる場合に、前記複数の識別対象の点の各々に対する前記近傍点に前記クラスラベルを付与して、前記識別対象の点及び前記近傍点のクラスラベルを識別するラベル付与部と、
    を含む識別装置。
  4. 学習済みの前記第３モデルは、学習済みの前記第１モデルから出力された前記近傍点の相対座標を変換した変換座標と、学習済みの前記第２モデルから出力された第２特徴量とに基づいて、識別対象の点と近傍点とに同一のクラスラベルが付与される可能性の高さに応じて値を変える関数に従い、前記複数の識別対象の点の各々に対する前記近傍点に対する前記クラスラベルの有効性を出力する、
    請求項３に記載の識別装置。
  5. 前記ラベル取得部は、
    請求項１又は請求項２の学習装置によって生成された前記クラスラベル付与用の学習済みモデルのうちの学習済みの前記第１モデルに対して、前記複数の識別対象の点の各々についての、前記対象点の前記識別対象の点に対する相対座標を入力し、
    請求項１又は請求項２の学習装置によって生成された前記クラスラベル付与用の学習済みモデルに対して、前記複数の識別対象の点の各々についての、前記識別対象の点の座標と、前記近傍点の前記識別対象の点に対する相対座標とを入力した際の、学習済みの前記第２モデルから出力される前記第２特徴量及び前記クラスラベルが記憶された情報記憶部から、前記第２特徴量を読み出し、
    前記クラスラベル付与用の学習済みモデルのうちの学習済みの前記第３モデルに対して、読み出した前記第２特徴量及び前記変換座標を入力することにより、前記対象点のクラスラベルの有効性を取得し、
    前記ラベル付与部は、前記情報記憶部に記憶されている前記クラスラベルを参照して、前記クラスラベルの有効性が予め定められた閾値で定められた範囲に含まれる前記識別対象の点の前記クラスラベルを前記対象点に付与することにより、前記対象点のクラスラベルを識別する、
    請求項３又は請求項４に記載の識別装置。
  6. 学習用の３次元の対象点の集合である学習用対象点群からサンプリングされた学習用の識別対象の点の座標、前記学習用の識別対象の点に対して設定される学習用の近傍点の前記識別対象の点に対する相対座標、前記学習用の識別対象の点のクラスラベルの教師データ、及び前記学習用の識別対象の点のクラスラベルの有効性の教師データが対応付けられた学習用データを取得し、
    取得された前記学習用データに基づいて、識別対象の点に対して設定される近傍点の前記識別対象の点に対する相対座標を入力とし、前記近傍点の相対座標を変換した変換座標及び第１特徴量を出力とする第１モデルと、前記識別対象の点の座標と前記第１特徴量とを入力とし、第２特徴量及び前記識別対象の点のクラスラベルを出力とする第２モデルと、前記第２特徴量及び前記近傍点の相対座標を変換した変換座標を入力とし、前記近傍点に対する前記クラスラベルの有効性を出力とする第３モデルとを含むクラスラベル付与用のモデルを学習させることにより、前記識別対象の点の座標及び前記近傍点の相対座標を入力とし、前記識別対象の点のクラスラベル及び前記近傍点に対する前記クラスラベルの有効性を出力するためのクラスラベル付与用の学習済みモデルを生成する、
    処理をコンピュータが実行する学習方法。
  7. ３次元の対象点の集合である対象点群をサンプリングすることにより複数の識別対象の点を取得し、
    取得された複数の識別対象の点の各々について、前記識別対象の点に対して設定される対象点である近傍点の前記識別対象の点に対する相対座標を計算し、
    請求項６に記載の学習方法によって生成された前記クラスラベル付与用の学習済みモデルに対して、前記複数の識別対象の点の座標と、前記複数の識別対象の点の各々に対する前記近傍点の相対座標とを入力することにより、複数の前記識別対象の点のクラスラベルと、前記複数の識別対象の点の各々についての前記近傍点に対する前記クラスラベルの有効性とを取得し、
    取得された前記クラスラベルを前記複数の識別対象の点に付与し、前記クラスラベルの有効性が予め定められた閾値で定められた範囲に含まれる場合に、前記複数の識別対象の点の各々に対する前記近傍点に前記クラスラベルを付与して、前記識別対象の点及び前記近傍点のクラスラベルを識別する、
    処理をコンピュータが実行する識別方法。
  8. コンピュータを、請求項１又は請求項２に記載の学習装置として機能させるためのプログラム。
  9. コンピュータを、請求項３～請求項５の何れか１項に記載の識別装置として機能させるための識別プログラム。
JP2022560582A 2020-11-05 2020-11-05 学習装置、識別装置、学習方法、識別方法、学習プログラム、及び識別プログラム Active JP7424509B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/041433 WO2022097248A1 (ja) 2020-11-05 2020-11-05 学習装置、識別装置、学習方法、識別方法、学習プログラム、及び識別プログラム

Publications (2)

Publication Number Publication Date
JPWO2022097248A1 JPWO2022097248A1 (ja) 2022-05-12
JP7424509B2 true JP7424509B2 (ja) 2024-01-30

Family

ID=81456977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022560582A Active JP7424509B2 (ja) 2020-11-05 2020-11-05 学習装置、識別装置、学習方法、識別方法、学習プログラム、及び識別プログラム

Country Status (3)

Country Link
US (1) US20230409964A1 (ja)
JP (1) JP7424509B2 (ja)
WO (1) WO2022097248A1 (ja)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XU, Katie, et al.，Semantic Segmentation of Sparsely Annotated 3D Point Clouds by Pseudo-Labelling，2019 International Conference on 3D Vision (3DV) [online]，英国，IEEE，2019年，p.463－.471，https://ieeexplore.ieee.org/abstract/document/8885726
ZHAO, Chenxi, et al.，Pooling Scores of Neighboring Points for Improved 3D Point Cloud Segmentation，2019 IEEE International Conference on Image Processing (ICIP)[online]，米国，2019年，p.1475－p.1479，https://ieeexplore.ieee.org/abstract/document/8803048
倉田 夏菜 KANA KURATA，点群識別における，形状の複雑さを考慮したサンプリングに関する検討 Point Cloud Classification by Using Sampling method for Complex Shapes，電子情報通信学会技術研究報告 Ｖｏｌ．１１９ Ｎｏ．３８６ IEICE Technical Report，日本，一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，2020年01月16日，第119巻，p.145－p.150

Also Published As

Publication number Publication date
US20230409964A1 (en) 2023-12-21
JPWO2022097248A1 (ja) 2022-05-12
WO2022097248A1 (ja) 2022-05-12

Similar Documents

Publication Publication Date Title
CN109829399B (zh) 一种基于深度学习的车载道路场景点云自动分类方法
CN109118564B (zh) 一种基于融合体素的三维点云标记方法和装置
Lin et al. Eigen-feature analysis of weighted covariance matrices for LiDAR point cloud classification
CN111028327B (zh) 一种三维点云的处理方法、装置及设备
CN109740588B (zh) 基于弱监督和深度响应重分配的x光图片违禁品定位方法
JP2019082978A (ja) スキップアーキテクチャ・ニューラルネットワーク装置及び改良されたセマンティックセグメンテーションのための方法
Favelier et al. Persistence atlas for critical point variability in ensembles
Tandeo et al. Combining analog method and ensemble data assimilation: application to the Lorenz-63 chaotic system
KR101618996B1 (ko) 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치
CN111862222B (zh) 一种目标检测方法及电子设备
US11270519B2 (en) Method of processing point cloud data based on neural network
El‐Sayed et al. Plane detection in 3D point cloud using octree‐balanced density down‐sampling and iterative adaptive plane extraction
JP2020109660A (ja) 編集可能なフィーチャツリーの推測のためのデータ集合を形成すること
CN110632608A (zh) 一种基于激光点云的目标检测方法和装置
RU2746152C2 (ru) Обнаружение биологического объекта
JP2015203946A (ja) ヒストグラムの重心を計算する方法
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
Pirotti et al. Detection of building roofs and facades from aerial laser scanning data using deep learning
CN115147798A (zh) 可行驶区域预测方法、模型、装置及车辆
Zeybek Inlier point preservation in outlier points removed from the ALS point cloud
US20220392193A1 (en) Three-dimensional point cloud label learning device, three- dimensional point cloud label estimation device, method, and program
JP7424509B2 (ja) 学習装置、識別装置、学習方法、識別方法、学習プログラム、及び識別プログラム
JP6773412B2 (ja) コロプレスマップの設計
JP7310932B2 (ja) ３次元点群識別装置、学習装置、３次元点群識別方法、学習方法、及びプログラム
JP6725310B2 (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R150 Certificate of patent or registration of utility model

Ref document number: 7424509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150