JP7205630B2

JP7205630B2 - ラベル推定装置、ラベル推定方法、及びラベル推定プログラム

Info

Publication number: JP7205630B2
Application number: JP2021534856A
Authority: JP
Inventors: 泰洋八尾; 和彦村崎; 慎吾安藤; 淳嵯峨田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2019-07-19
Filing date: 2019-07-19
Publication date: 2023-01-17
Anticipated expiration: 2039-07-19
Also published as: WO2021014495A1; US20220262097A1; JPWO2021014495A1

Description

開示の技術は、ラベル推定装置、ラベル推定方法、及びラベル推定プログラムに関する。

３次元（ｘ、ｙ、ｚ）の位置情報を持つデータを３次元点と呼ぶ。そのような３次元点の集まりからなるデータを３次元点群と呼ぶ。３次元点群は、物体の幾何的な情報を示すデータであり、距離センサによる計測や、画像から３次元情報を再構成することによって取得することができる。

３次元点群を利用する際には、３次元点群のそれぞれの３次元点がどの物体に属するかを示すラベルを付与する必要がある。ラベル付与の作業は様々な方法があるが、例えば、３次元点群ビューワーで点群を閲覧しながら、点群を部分的に切り出してラベルを付与するという作業を繰り返すなど、人的稼働がかかる作業である。

そのような背景から、少数の３次元点に付与されたラベルに基づいて学習を行って３次元点群の他の３次元点にラベルを付与する技術が提案されている。

ここで、ラベルとは３次元点群を構成する一つ一つの３次元点について付与されるもので、その３次元点がどのクラス（物体種別）に分類されるかの情報を示すものである。例えば、屋外の３次元点群を対象とした場合、地面、建物、柱、ケーブル、樹木などのクラスがあり、各３次元点には、その３次元点がどのクラスに分類されるのかを示すラベルが付与される。

例えば、非特許文献１では、以下の方法により少数のラベルからの３次元点群全体へのラベル付与を実現している。点群の各点について、その隣接する点からｌｉｎｅａｒｉｔｙ、ｐｌａｎａｒｉｔｙ、ｓｃａｔｔｅｒｉｎｇ、及びｖｅｒｔｉｃａｌｉｔｙの特徴量を導出する。ラベルが付与された少数の点について、導出した特徴量からクラス分類をする識別器をＲａｎｄｏｍＦｏｒｅｓｔにより学習する。点群についてｋ－ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒによりエッジを張り、そのエッジを導出した特徴量に基づくグラフカットにより分割することで、点群を小領域に分割する。そして、ある領域に属する点の特徴量のクラス推定値と、隣接する領域のクラスの滑らかさとを考慮したＣｏｎｄｉｔｉｏｎａｌＲａｎｄｏｍＦｉｅｌｄにより、領域のラベルを推定する。

上記非特許文献１に記載の技術では、予め定義されたｌｉｎｅａｒｉｔｙ、ｐｌａｎａｒｉｔｙ、ｓｃａｔｔｅｒｉｎｇ、及びｖｅｒｔｉｃａｌｉｔｙの特徴量により識別器を構築しており、より性能の高い深層学習によって獲得したディープニューラルネットワーク（ＤＮＮ）特徴量を使うことができていない。また、ＲａｎｄｏｍＦｏｒｅｓｔによる分類についても、一般に深層学習による分類が、精度が高いことが知られている。

また、深層学習による特徴量の抽出及び識別を実施することで３次元点群に高精度にラベルを付与する技術も提案されている（非特許文献２及び非特許文献３）。非特許文献２及び非特許文献３に記載の技術では、学習用のデータとして全ての３次元点にラベルが付与された３次元点群を用意する必要がある。前述の通り、３次元点群へのラベル付与の人的稼働は大きいため、学習データの準備が困難である。

Guinard, Stephane, and Loic Landrieu. "Weakly supervised segmentation-aided classification of urban scenes from 3D LiDAR point clouds." ISPRS Workshop 2017. 2017. Qi, Charles Ruizhongtai, et al. "Pointnet++: Deep hierarchical feature learning on point sets in a metric space." Advances in Neural Information Processing Systems. 2017. Landrieu, Loic, and Martin Simonovsky. "Large-scale point cloud semantic segmentation with superpoint graphs." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.

開示の技術は、上記の点に鑑みてなされたものであり、特徴量を抽出する手法を自由に選択することを可能にしつつ、少数のラベルが付与された点を含む点群を入力として、ラベルが付与されていない点のラベルを推定するラベル推定装置、方法、及びプログラムを提供することを目的とする。

本開示の１つの態様は、点群を構成する点のうち、ラベルが付与された点のラベルを利用してラベルが付与されていない点に付与するラベルを推定するラベル推定装置であって、ラベルが付与された点とラベルが付与されていない点とを含む点群のうち、前記ラベルが付与されていない点を対象点として、前記点群を構成する点の集合から、前記対象点のクラス及び前記クラスの推定結果の確信度を示す尤度を推定する確信度導出部と、推定されたクラスが適切であるかを判定するために用いる優先度として、推定されたクラスに対応するラベルと同じラベルが付与された点と、前記対象点との距離を取得する優先度導出部と、少なくとも前記距離に基づく指標を用いて前記推定されたクラスが適切であるかを判定するラベル判定部と、を含む。

開示の技術によれば、特徴量を抽出する手法を自由に選択することを可能にしつつ、少数のラベルが付与された点を含む点群を入力として、ラベルが付与されていない点のラベルを推定することができる。

本実施形態に係るラベル推定装置のハードウェア構成を示すブロック図である。本実施形態に係るラベル推定装置の機能構成の例を示すブロック図である。ラベル推定装置に入力される３次元点群の一例を概略的に示す図である。ＤＮＮに入力する３次元点群を説明するための図である。優先度の導出に用いる距離ｄｉｓｔを説明するための図である。ラベルの伝播を説明するための図である。本実施形態におけるラベル伝播処理の流れを示すフローチャートである。ラベル伝播処理の様子を模式的に示す図である。

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

図１は、ラベル推定装置１０のハードウェア構成を示すブロック図である。

図１に示すように、ラベル推定装置１０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６、及び通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムにしたがって、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、後述するラベル推定処理を実行するためのラベル推定プログラムが格納されている。

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）又はＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを格納する。

入力部１５は、マウス等のポインティングデバイス及びキーボードを含み、各種の入力を行うために使用される。

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。

通信Ｉ／Ｆ１７は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

次に、ラベル推定装置１０の機能構成について説明する。

図２は、ラベル推定装置１０の機能構成の例を示すブロック図である。

図２に示すように、ラベル推定装置１０は、機能構成として、学習部１０１と、第１推定部１０２と、終了判定部１０６と、第２推定部１０７とを有する。また、記憶部２００は、３次元点群記憶部２０１と、入力ラベル記憶部２０２と、伝播ラベル記憶部２０３と、ＤＮＮ記憶部２０４とを有する。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶されたラベル推定プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。

ラベル推定装置１０には、距離センサによる計測や、画像から３次元情報を再構成することによって取得された複数の３次元点であって、ラベルが付与された少数の３次元点、及びラベルが付与されていない３次元点を含む３次元点群が入力される。ラベルは、各３次元点が、物体識別等に基づく複数のクラスのいずれのクラスに分類されるかを示す情報である。以下では、３次元点群がラベル推定装置１０に入力される時点で、少数の３次元点に予め付与されているラベルを「入力ラベル」、ラベルが付与されていない３次元点に対して、後述する第１推定部１０２により伝播されて付与されるラベルを「伝播ラベル」という。

図３に、ラベル推定装置１０に入力される３次元点群の一例を概略的に示す。図３では、丸印が各３次元点を示し、白丸はラベルが付与されていない３次元点、網掛けの丸はラベルが付与された３次元点を示し、特に、太枠の丸は、付与されているラベルが入力ラベルであることを示している。また、図３では、「電柱」、「地面」、及び「ケーブル」の３つのクラスに物体識別する例を示しており、各クラスを示すラベルを、網掛けの種類を異ならせて表している。以下の図においても同様である。

３次元点群記憶部２０１には、ラベル推定装置１０に入力された３次元点群に含まれる各３次元点の３次元座標（ｘ，ｙ，ｚ）が、３次元点の識別情報（以下、「３次元点ＩＤ」という）と対応付けて記憶される。

入力ラベル記憶部２０２には、入力ラベルが付与されている３次元点の３次元ＩＤと、その入力ラベルとが対応付けて記憶される。伝播ラベル記憶部２０３には、伝播ラベルが付与された３次元点の３次元ＩＤと、その伝播ラベルとが対応付けて記憶される。ＤＮＮ記憶部２０４には、後述する学習部１０１により深層学習されたＤＮＮモデルが記憶される。

学習部１０１は、複数の３次元点の座標と、複数の３次元点の各々が属するクラスを示すラベルとを対応付けて、入力された３次元点が複数のクラスの各々に分類される尤度（以下、「クラス尤度」という）を導出するモデルを学習する。なお、クラス尤度は、クラス数の次元を持つベクトルである。ベクトルの各要素の値は、クラス尤度の合計値が１となるように制約を持たせてもよいし、クラス尤度の合計値に制約を持たせなくてもよい。本実施形態では、クラス尤度の合計値が１となる制約を持たせた場合について説明する。また、以下では、クラス尤度が最も大きいクラスを「推定クラス」という。

具体的には、学習部１０１は、３次元点群記憶部２０１に記憶された３次元点の座標、入力ラベル記憶部２０２に記憶された入力ラベル、及び伝播ラベル記憶部２０３に記憶された伝播ラベルを入力として、ＤＮＮの学習を行う。なお、学習部１０１による深層学習の初期状態では伝播ラベルは空であり、学習部１０１は、入力ラベルが付与された３次元点のみによってＤＮＮを学習する。学習部１０１は、学習の結果得たＤＮＮをＤＮＮモデルとしてＤＮＮ記憶部２０４に記憶する。

深層学習のアーキテクチャは、例えば参考文献１のＰｏｉｎｔＮｅｔに基づく構成を使用することができる。この構成では、ＤＮＮは３次元点群の３次元座標を入力とし、Ｔ－Ｎｅｔ層と、ｐｏｉｎｔｗｉｓｅｍｌｐ層と、ｇｌｏｂａｌｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ層と、ｃｌａｓｓｉｆｉｃａｔｉｏｎ層とからなる。Ｔ－Ｎｅｔ層は、入力された３次元点それぞれの３次元座標を３次元幾何変換する層である。ｐｏｉｎｔｗｉｓｅｍｌｐ層は、３次元点毎にマルチレイヤーパーセプトロン（ｍｌｐ）を適用することで、３次元点毎の特徴量を抽出する層である。ｇｌｏｂａｌｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ層は、３次元点毎の特徴量を統合して、特徴抽出処理により、ＤＮＮに入力された３次元点群全体の特徴量を抽出する層である。ｃｌａｓｓｉｆｉｃａｔｉｏｎ層は、ＤＮＮに入力された３次元点群全体の特徴量をｍｌｐ及びｓｏｆｔ－ｍａｘで処理することで、各３次元点のクラス尤度を推定する層である。

参考文献１：Qi, Charles R., et al. “Pointnet: Deep learning on point sets for 3d classification and segmentation.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017.

図４に示すように、学習部１０１は、３次元点群記憶部２０１に記憶された３次元点群をそのままＤＮＮに入力するのではなく、処理対象の３次元点（以下、「対象点」という）から距離ｒの範囲内に含まれる３次元点群、すなわち対象点を中心とする半径ｒの球に含まれる３次元点群を抽出してＤＮＮに入力してもよい。これは、対象点の周囲の性質を加味して対象点のクラスの尤度を得るためである。周囲の性質とは、例えば形状があげられるが、入力される３次元点群に包含される情報によってその他の性質も加味される。例えば、色情報も含む３次元点群である場合、形状だけではなく色も性質として加味してもよい。学習部１０１は、抽出した３次元点群の３次元座標をＤＮＮに入力し、対象点についてのクラス尤度を導出する。

学習部１０１は、入力ラベル又は伝播ラベルが既に付与されている３次元点を対象点として、上述の方法によりクラス尤度を導出し、導出したクラス尤度に対する損失関数を最小化するようにＤＮＮを学習する。例えば、下記（１）式によって定義されるｌｏｓｓを、損失関数として用いることができる。

（１）式で、Ｎ_０は入力ラベルが付与された３次元点の数、Ｎ_ｐは伝播ラベルが付与された３次元点の数である。Ｌ_０は入力ラベル、Ｌ_ｐは伝播ラベルであり、どちらもｏｎｅｈｏｔｅｎｃｏｄｅされたｋ次元（ｋはクラス数）のベクトルである。Ｌ_ｉは、ｉ番目の３次元点についてＤＮＮによって導出されたクラス尤度であり、ｋ次元のベクトルである。ｌｏｇ（Ｌ_ｉ）はＬ_ｉの各次元についてｌｏｇを適用し、ｋ次元のベクトルを出力することを意味する。

（１）式に示すｌｏｓｓの第１項は、入力ラベルが付与されているＮ_０個の３次元点について評価した交差エントロピー、第２項は、伝播ラベルが付与されているＮ_ｐ個の３次元点について評価した交差エントロピーである。第１項はＮ_ｐ／Ｎ_０で重み付けをされているが、これは伝播ラベルが増えるにつれて、Ｎ_ｐがＮ_０よりもはるかに大きくなることで、伝播ラベルによる学習が支配的になることを防ぐために適用されているものである。すなわち、入力ラベルが付与された３次元点と、伝播ラベルが付与された３次元点との損失関数に対する貢献度が平等になるように第１項と第２項とに重み付けをしたことを意味する。

なお、損失関数に用いる誤差の指標としては、３次元点について導出されたクラス尤度と、付与されたラベルが示すクラスとの誤差を示す指標であればよく、（１）式で用いている交差エントロピーに限定されない。

学習部１０１は、学習が収束するまで、損失関数に基づくＤＮＮの学習を実施する。例えば、学習部１０１は、エポック間での訓練データ（入力ラベル及び伝播ラベルが付与された３次元点）について導出されるクラスの正解率の変化が、予め定められた閾値未満になったか否かにより、学習の収束を判定することができる。なお、収束判定の方法についてはこの例に限定されない。学習部１０１は、ＤＮＮの学習が収束したら、その時点でのＤＮＮをＤＮＮモデルとしてＤＮＮ記憶部２０４に記憶する。

第１推定部１０２は、入力ラベル又は伝播ラベルが付与された３次元点と、いずれのラベルも付与されていない３次元点とを含む３次元点群のうち、いずれのラベルも付与されていない対象点についてＤＮＮにより導出された推定クラスの尤度、及び、推定クラスを示すラベルが付与された３次元点のうち、対象点との距離が最も近い３次元点と対象点との距離に基づく指標が予め定めた基準を満たす場合に、対象点に、推定クラスを示すラベルを伝播する。具体的には、第１推定部１０２は、３次元点群、入力ラベル又は伝播ラベル、及び対象点のインデックスを入力とし、対象点に付与するラベルを出力する。

より詳細には、第１推定部１０２は、図２に示すように、確信度導出部１０３と、優先度導出部１０４と、ラベル判定部１０５とを含む。確信度導出部１０３は、学習部１０１により学習された学習済みモデルを用いて、対象点のクラスを推定し、推定結果の確信度を示す尤度と共に出力する。優先度導出部１０４は、推定されたクラスが適切であるかを判定するために用いる優先度を出力する。具体的には、優先度導出部１０４は、対象点の推定クラスを示すラベルと同じラベルが付与された対象点と最も近い点と、対象点との距離が短くなるほど、対象点について導出された推定クラスは適切であると判定し易くする値として優先度を出力する。これは、現実空間では同じラベルが付与された点が近くに存在する確率が高いという性質を利用するためである。ラベル判定部１０５は、尤度及び優先度の少なくとも一方を使って伝播するラベルを決定するが、尤度及び優先度の少なくとも一方に、さらに別の方法で求められたクラスやパラメータを用いてもよい。ラベルの決定は、ラベルに対応するクラスが適切であるかを判定することであると言い換えてもよい。以下、確信度導出部１０３、優先度導出部１０４、及びラベル判定部１０５の各々について、より詳細に説明する。

確信度導出部１０３は、３次元点群記憶部２０１に記憶された３次元点の３次元座標、入力ラベル記憶部２０２に記憶された入力ラベル、伝播ラベル記憶部２０３に記憶された伝播ラベル、及びＤＮＮ記憶部２０４に記憶されたＤＮＮモデルを入力とする。確信度導出部１０３は、３次元点群のうち、入力ラベル及び伝播ラベルのいずれも付与されていない３次元点を対象点として入力し、確信度及び推定クラスを示すラベルを導出して出力する。

具体的には、上記の学習時と同様に、図４に示すように、確信度導出部１０３は、入力ラベル及び伝播ラベルのいずれも付与されていない３次元点である対象点を中心とする半径ｒの球に含まれる３次元点群を抽出して、学習済みモデルであるＤＮＮに入力する。この入力の際に、確信度導出部１０３は、抽出した３次元点の各々の３次元座標を、対象点の３次元座標を原点とする座標に平行移動することで、ＤＮＮに入力する３次元座標を正規化する。確信度導出部１０３は、この入力に対して、ＤＮＮモデルで導出されるクラス尤度が最大のクラスを推定クラスとして出力すると共に、ＤＮＮモデルで導出される推定クラスについてのクラス尤度を、確信度ｃｏｎｆとして出力する。図４の例では、対象点である３次元点についての推定クラスは「電柱」であり、その確信度ｃｏｎｆは「０．９１」である。

優先度導出部１０４では、３次元点群、入力ラベル、伝播ラベル、及び確信度導出部１０３で導出した推定クラスを入力として、各３次元点について優先度を導出する。ここでも、３次元点群のうち、入力ラベル及び伝播ラベルのいずれも付与されていない３次元点を対象点として、優先度を導出する。

具体的には、図５に示すように、優先度導出部１０４は、対象点の推定クラスと同じクラスを示す入力ラベル又は伝播ラベルが付与されている３次元点のうち、対象点に最も近い３次元点と対象点との距離をｄｉｓｔとする。そして、優先度導出部１０４は、下記（２）式により、優先度ｋ_ｄｉｓｔを導出する。

（２）式で、σはｋ_ｄｉｓｔを連続とするための値であり、ｔ_ｄｉｓｔはｋ_ｄｉｓｔの最小値である。なお、ｋ_ｄｉｓｔは、ｄｉｓｔが小さいほど１を最大値として大きい値をとり、ｄｉｓｔが大きくなるにつれて値が小さくなるが、ｄｉｓｔがＲより大きい場合はｔ_ｄｉｓｔという定数値をとるｄｉｓｔの連続関数である。ｄｉｓｔがＲより大きい場合に優先度ｋ_ｄｉｓｔを定数値とするのは、クラスによっては、同じクラスの物体が空間的に離れて存在することを考慮したものである。このような場合、同一物体上の３次元点であっても、距離が離れた位置の３次元点同士ではｄｉｓｔが大きくなるため、確信度が低下してしまう。したがって、このような状況を防止するために、ｄｉｓｔがＲより大きい場合に優先度ｋ_ｄｉｓｔを定数値としているものである。

また、優先度導出部１０４は、下記（３）式に示すように、任意の標準偏差σ’である正規分布により、優先度ｋ_ｄｉｓｔを導出してもよい。

３次元点群には、空間的に近接する３次元点は同じクラスを示すラベルを持ち易いという性質がある。優先度ｋ_ｄｉｓｔはこの性質を使い、既にラベルが付与された３次元点から空間的に近接する３次元点へ優先的にラベルを伝播する効果を生む。

ラベル判定部１０５は、確信度ｃｏｎｆと優先度ｋ_ｄｉｓｔとの積ｃｏｎｆ×ｋ_ｄｉｓｔが閾値ｔ_ｃｏｎｆ以上である３次元点について推定された推定クラスが適切であると判定する。ラベル判定部１０５は、推定クラスが適切であると判定した場合、図６に示すように、その推定クラスを示すラベルを伝播ラベルとして３次元点に付与する。ｃｏｎｆ×ｋ_ｄｉｓｔを指標とすることで、ＤＮＮの特徴量が近く、かつ既にラベルが付与された３次元点から空間的に近い３次元点について、ラベルを伝播させることができる。なお、指標としては、確信度ｃｏｎｆと優先度ｋ_ｄｉｓｔとの積に限らず、確信度ｃｏｎｆと優先度ｋ_ｄｉｓｔとの和や重み付き和等を用いてもよい。

なお、ラベル判定部１０５は、ｃｏｎｆ×ｋ_ｄｉｓｔが閾値ｔ_ｃｏｎｆ以上となる３次元点が少ない場合、ｋ_ｄｉｓｔを考慮せずにｃｏｎｆが閾値ｔ_ｃｏｎｆ’よりも大きい３次元点について、その３次元点の推定クラスを示すラベルを伝播ラベルとして付与してもよい。これは、空間的に近くはないが、ＤＮＮによる推定クラスの確信度が高い３次元点にラベルを伝播することができる効果を持つ。また、ｃｏｎｆ若しくはｋ_ｄｉｓｔの少なくとも一方のみを指標として、付与する伝播ラベルを決定してもよい。

ラベル判定部１０５は、更新した伝播ラベル、すなわち新たに付与した伝播ラベルを伝播ラベル記憶部２０３に記憶する。

第１推定部１０２により更新された伝播ラベルも用いて、学習部１０１によりＤＮＮを再学習し、再学習されたＤＮＮを用いて、第１推定部１０２によるラベルの伝播を行う。このように、学習部１０１及び第１推定部１０２の処理を繰り返すことで、３次元点群記憶部２０１に記憶された３次元点群のうち、ラベルが付与されていない３次元点に、ラベルを伝播させて付与していく。

終了判定部１０６は、３次元点群記憶部２０１に記憶された３次元点群のうち、入力ラベル及び伝播ラベルのいずれも付与されていない３次元点の割合が予め定めた閾値（例えば、５％）未満となった場合に、学習部１０１及び第１推定部１０２の繰り返し処理を終了すると判定する。また、終了判定部１０６は、第１推定部１０２により直近で伝播ラベルが付与された３次元点の数が閾値未満となった場合に、学習部１０１及び第１推定部１０２の繰り返し処理を終了すると判定してもよい。

第２推定部１０７は、終了判定部１０６による終了判定の時点でラベルが付与されていない３次元点が分類されるクラスを推定する。具体的には、第２推定部１０７は、ＤＮＮ記憶部２０４に記憶されているＤＮＮモデルを読み出し、ラベルが付与されていない３次元点を対象点としてＤＮＮに入力し、ＤＮＮで導出される推定クラスを、対象点である３次元点のクラスとして推定する。第２推定部１０７は、対象点である３次元点に、推定したクラスを示すラベルを付与する。

次に、ラベル推定装置１０の作用について説明する。

図７は、ラベル推定装置１０によるラベル推定処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４からラベル推定プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、ラベル推定処理が行なわれる。

ステップＳ１０１において、ＣＰＵ１１が、学習部１０１として、３次元点群記憶部２０１に記憶された３次元点の３次元座標、入力ラベル記憶部２０２に記憶された入力ラベル、及び伝播ラベル記憶部２０３に記憶された伝播ラベルを入力として、ＤＮＮの学習を行う。ＣＰＵ１１は、学習部１０１として、学習の結果得たＤＮＮをＤＮＮモデルとしてＤＮＮ記憶部２０４に記憶する。

次に、ステップＳ１０２で、ＣＰＵ１１が、確信度導出部１０３として、３次元点群のうち、入力ラベル及び伝播ラベルのいずれも付与されていない３次元点の各々を対象点に設定する。そして、ＣＰＵ１１が、確信度導出部１０３として、対象点を中心とした半径ｒの球に含まれる３次元点の３次元座標をＤＮＮに入力し、対象点について、推定クラスの尤度を確信度ｃｏｎｆとして導出して出力する。

次に、ステップＳ１０３で、ＣＰＵ１１が、優先度導出部１０４として、対象点の推定クラスと同じクラスを示す入力ラベル又は伝播ラベルが付与されている３次元点のうち、対象点に最も近い３次元点と対象点との距離をｄｉｓｔとする。そして、ＣＰＵ１１が、優先度導出部１０４として、例えば（２）式により、距離ｄｉｓｔを用いた優先度ｋ_ｄｉｓｔを導出する。

次に、ステップＳ１０４で、ＣＰＵ１１が、ラベル判定部１０５として、確信度ｃｏｎｆと優先度ｋ_ｄｉｓｔとの積ｃｏｎｆ×ｋ_ｄｉｓｔが閾値ｔ_ｃｏｎｆ以上か否かを判定する。ｃｏｎｆ×ｋ_ｄｉｓｔ≧ｔ_ｃｏｎｆの場合には、処理はステップＳ１０５へ移行する。

ステップＳ１０５では、ＣＰＵ１１が、ラベル判定部１０５として、対象点である３次元点に、その３次元点の推定クラスを示すラベルを伝播ラベルとして付与し、更新した伝播ラベルを伝播ラベル記憶部２０３に記憶し、処理はステップＳ１０６へ移行する。一方、ｃｏｎｆ×ｋ_ｄｉｓｔ＜ｔ_ｃｏｎｆの場合には、処理はステップＳ１０５をスキップしてステップＳ１０６へ移行する。ステップＳ１０２～Ｓ１０５の処理は、各対象点について実行される。

ステップＳ１０６では、ＣＰＵ１１が、終了判定部１０６として、学習部１０１及び第１推定部１０２の繰り返し処理を終了するか否かを判定する。学習部１０１及び第１推定部１０２の繰り返し処理を終了する場合には、処理はステップＳ１０７へ移行し、終了しない場合には、処理はステップＳ１０１に戻る。

ステップＳ１０７では、ＣＰＵ１１が、第２推定部１０７として、ラベルが付与されていない３次元点を対象点としてＤＮＮに入力し、ＤＮＮで導出される推定クラスを、その対象点である３次元点のクラスとして推定する。そして、ＣＰＵ１１が、第２推定部１０７として、対象点である３次元点に、推定したクラスを示すラベルを付与して、ラベル推定処理は終了する。

上記のラベル推定処理が実行されることにより、例えば、図８に示すように、モデルの学習とラベルの伝播とを繰り返して、ラベルが付与されていなかった３次元点にラベルを付与する。そして、繰り返し処理の終了が判定されると、ＤＮＮで導出された推定クラスを示すラベルを、残りの３次元点に付与することで、全ての３次元点にラベルを付与する。

以上説明したように、本実施形態に係るラベル推定装置によれば、複数の３次元点の３次元座標と、複数の３次元点の各々が分類されるクラスを示すラベルとを対応付けて、入力された３次元点が複数のクラスの各々に分類される尤度を導出するモデルを学習し、ラベルが付与された３次元点とラベルが付与されていない３次元点とを含む３次元点群のうち、ラベルが付与されていない３次元点を対象点としてモデルにより導出された尤度が最も高い推定クラスの尤度、及び、推定クラスを示すラベルが付与された３次元点のうち、対象点との距離が最も近い３次元点と対象点との距離に基づく指標が予め定めた基準を満たす場合に、その対象点に推定クラスを示すラベルを伝播する。これにより、少数のラベルが付与された３次元点を含む３次元点群を入力として、ラベルが付与されていない３次元点のラベルを推定することができる。

なお、上記実施形態では、学習部及び第１推定部の繰り返し処理によってもラベルが付与されていない３次元点に対して、ＤＮＮで導出された推定クラスを示すラベルを付与して、入力された３次元点群の全てにラベルを付与する場合について説明した。しかし、この場合に限定されず、残りの３次元点に対して、他の手法により推定したクラスを示すラベルを付してもよい。また、第１推定部により、残りの全ての３次元点にラベルが伝播されるようにしてもよいし、ラベルが付与されていない３次元点が少数残ったままの状態で処理を終了してもよい。この場合、上記実施形態における終了判定部及び第２推定部の構成を省略することができる。

また、上記実施形態では、ラベル推定装置に入力される点群が３次元点群である場合について説明したが、これに限定されず、２次元点群であってもよい。

また、上記実施形態では、学習部１０１と、第１推定部１０２とが同一のコンピュータで構成される場合について説明したが、これらは別々のコンピュータで実現されてもよい。この場合、記憶部２００に記憶される各種情報を、学習部１０１を構成するコンピュータと、第１推定部１０２を構成するコンピュータとで共用可能とする。学習部１０１を構成するコンピュータは、第１推定部１０２を構成するコンピュータで付与され、記憶部２００に記憶された伝播ラベルの情報も用いて、ＤＮＮの学習を繰り返すことができる。第１推定部１０２を構成するコンピュータは、学習部１０１を構成するコンピュータにより繰り返し学習される都度、記憶部２００に記憶されるＤＮＮモデルを用いて、ラベルの推定を行うことができる。なお、終了判定部１０６及び第２推定部１０７は、第１推定部１０２と同じコンピュータで構成してもよいし、それぞれ別のコンピュータで構成してもよい。

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行したラベル伝播処理を、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等のＣＰＵ以外の各種のプロセッサと共に実行してもよい。他のプロセッサとしては、他にも、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ）、及びＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、ラベル伝播処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記実施形態では、ラベル伝播プログラムがＲＯＭ１２又はストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｋＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリ、光磁気ディスク、メモリカード等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

以上の実施形態に関し、更に以下の付記を開示する。

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
点群を構成する点のうち、ラベルが付与された点のラベルを利用してラベルが付与されていない点に付与するラベルを推定する処理であって、
ラベルが付与された点とラベルが付与されていない点とを含む点群のうち、前記ラベルが付与されていない点を対象点として、前記点群を構成する点の集合から、前記対象点のクラス及び前記クラスの推定結果の確信度を示す尤度を推定し、
推定されたクラスが適切であるかを判定するために用いる優先度として、推定されたクラスに対応するラベルと同じラベルが付与された点と、前記対象点との距離を取得し、
少なくとも前記距離に基づく指標を用いて前記推定されたクラスが適切であるかを判定する
処理を実行するように構成されているラベル推定装置。

（付記項２）
点群を構成する点のうち、ラベルが付与された点のラベルを利用してラベルが付与されていない点に付与するラベルを推定するラベル推定処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記録媒体であって、
前記ラベル推定処理は、
ラベルが付与された点とラベルが付与されていない点とを含む点群のうち、前記ラベルが付与されていない点を対象点として、前記点群を構成する点の集合から、前記対象点のクラス及び前記クラスの推定結果の確信度を示す尤度を推定し、
推定されたクラスが適切であるかを判定するために用いる優先度として、推定されたクラスに対応するラベルと同じラベルが付与された点と、前記対象点との距離を取得し、
少なくとも前記距離に基づく指標を用いて前記推定されたクラスが適切であるかを判定する
ことを含む非一時的記録媒体。

１０ラベル推定装置
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４ストレージ
１５入力部
１６表示部
１７通信Ｉ／Ｆ
１９バス
１０１学習部
１０２第１推定部
１０３確信度導出部
１０４優先度導出部
１０５ラベル判定部
１０６終了判定部
１０７第２推定部
２００記憶部
２０１３次元点群記憶部
２０２入力ラベル記憶部
２０３伝播ラベル記憶部
２０４ＤＮＮ記憶部

Claims

点群を構成する点のうち、ラベルが付与された点のラベルを利用してラベルが付与されていない点に付与するラベルを推定するラベル推定装置であって、
ラベルが付与された点とラベルが付与されていない点とを含む点群のうち、前記ラベルが付与されていない点を対象点として、前記点群を構成する点の集合から、前記対象点のクラス及び前記クラスの推定結果の確信度を示す尤度を推定する確信度導出部と、
推定されたクラスが適切であるかを判定するために用いる優先度として、推定されたクラスに対応するラベルと同じラベルが付与された点と、前記対象点との距離を取得する優先度導出部と、
少なくとも前記距離に基づく指標を用いて前記推定されたクラスが適切であるかを判定するラベル判定部と、
を含むラベル推定装置。
前記確信度導出部に入力される点の集合は、前記対象点から所定距離内に存在する点のみである請求項１に記載のラベル推定装置。
前記距離に基づく指標は、前記距離が短いほど、前記推定されたクラスが適切であると判定し易いように設計される請求項１又は請求項２に記載のラベル推定装置。
前記ラベル判定部は、前記距離に基づく指標と、前記尤度とに基づき、前記クラスが適切であるかを判定する請求項１～請求項３の何れか１項に記載のラベル推定装置。
複数の点の座標と、前記複数の点の各々が分類されるクラスを示すラベルとを対応付けて、入力された点が複数のクラスの各々に分類される尤度を導出するモデルを学習する学習部を含み、
前記学習部は、予めラベルが付与された点、及び前記ラベル判定部により適切と判定されたクラスを示すラベルが付与された点の座標を用いて、前記モデルの学習を繰り返し、
前記確信度導出部は、繰り返し処理により学習された前記モデルを用いて前記対象点のクラス及び尤度の推定を繰り返す
請求項１～請求項４の何れか１項に記載のラベル推定装置。
前記学習部は、前記予めラベルが付与された点についての誤差に関する第１項と、前記ラベル判定部により適切と判定されたクラスを示すラベルが付与された点についての誤差に関する第２項とを含み、前記予めラベルが付与された点と、前記ラベル判定部により適切と判定されたクラスを示すラベルが付与された点との貢献度が平等になるように前記第１項と前記第２項とに重み付けをした損失関数を最小化するように前記モデルを学習する請求項５に記載のラベル推定装置。
点群を構成する点のうち、ラベルが付与された点のラベルを利用してラベルが付与されていない点に付与するラベルを推定するラベル推定方法であって、
確信度導出部が、ラベルが付与された点とラベルが付与されていない点とを含む点群のうち、前記ラベルが付与されていない点を対象点として、前記点群を構成する点の集合から、前記対象点のクラス及び前記クラスの推定結果の確信度を示す尤度を推定し、
優先度導出部が、推定されたクラスが適切であるかを判定するために用いる優先度として、推定されたクラスに対応するラベルと同じラベルが付与された点と、前記対象点との距離を取得し、
ラベル判定部が、少なくとも前記距離に基づく指標を用いて前記推定されたクラスが適切であるかを判定する
ラベル推定方法。
コンピュータに、点群を構成する点のうち、ラベルが付与された点のラベルを利用してラベルが付与されていない点に付与するラベルを推定させるラベル推定プログラムであって、
前記コンピュータを、
ラベルが付与された点とラベルが付与されていない点とを含む点群のうち、前記ラベルが付与されていない点を対象点として、前記点群を構成する点の集合から、前記対象点のクラス及び前記クラスの推定結果の確信度を示す尤度を推定する確信度導出部、
推定されたクラスが適切であるかを判定するために用いる優先度として、推定されたクラスに対応するラベルと同じラベルが付与された点と、前記対象点との距離を取得する優先度導出部、及び、
少なくとも前記距離に基づく指標を用いて前記推定されたクラスが適切であるかを判定するラベル判定部
として機能させるためのラベル推定プログラム。