JP7379300B2 - 推定装置、推定方法及びプログラム - Google Patents

Description

本発明の実施形態は推定装置、推定方法及びプログラムに関する。

プラント・社会インフラの老朽化の進行に伴い、それらの維持管理、および修繕に対する要求が増加していることから、現状を計測してデジタル的に管理する試みが行われている。こういった試みは重要箇所を画像で管理するなどが主であったが、全体像の把握のしやすさや物理的な解析への適用可能性などから、近年では三次元データによる管理が行われ始めている。なかでも、レーザーレンジファインダの軽量化・低価格化などを背景に、点群データの蓄積が進んでいる。これらを実際に活用する際には、点群データを編集して不要なデータを削除したり、蓄積されたデータを元にＣＡＤで利用可能なデータを作成したりする必要がある。この作業は現在人手で行われており、非常に手間のかかる作業となっている。そこで、点群データの位置やそれに付随する色情報などから各点が何を表現するかを自動推定する技術が提案されている。これらの技術では、事前に点群データとそれに紐づいた点ごとの属性情報（何を表現しているかを表すラベル）からパターンを学習しておき、推定する際にはパターンと入力点との類似性を見て、どの程度各属性に類似しているかを、属性ごとに出力するのが一般的である。

特開２０１９―００８５７１号公報 特開２０１９―２０７２２０号公報

Ｃ．Ｑｉ ｅｔ ａｌ．，ＰｏｉｎｔＮｅｔ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｏｎ Ｐｏｉｎｔ Ｓｅｔｓ ｆｏｒ ３Ｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ、ＣＶＰＲ ２０１７. Ｙ．Ｇａｌ ｅｔ ａｌ．，Ｄｒｏｐｏｕｔ ａｓ ａ Ｂａｙｅｓｉａｎ Ａｐｐｒｏｘｉｍａｔｉｏｎ：Ｒｅｐｒｅｓｅｎｔｉｎｇ Ｍｏｄｅｌ Ｕｎｃｅｒｔａｉｎｔｙ ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ、ＩＣＭＬ，２０１６． Ｃ．Ｒ．Ｑｉ ｅｔ ａｌ．，Ｐｏｉｎｔｎｅｔ＋＋：Ｄｅｅｐ ｈｉｅｒａｒｃｈｉｃａｌ ｆｅａｔｕｒｅ ｌｅａｒｎｉｎｇ ｏｎ ｐｏｉｎｔ ｓｅｔｓ ｉｎ ａ ｍｅｔｒｉｃ ｓｐａｃｅ．ＮＩＰＳ，２０１７． Ｃ． Ｃｏｒｂｉeｒｅ１ ｅｔ ａｌ．，Ａｄｄｒｅｓｓｉｎｇ Ｆａｉｌｕｒｅ Ｐｒｅｄｉｃｔｉｏｎ ｂｙ Ｌｅａｒｎｉｎｇ Ｍｏｄｅｌ Ｃｏｎｆｉｄｅｎｃｅ、ＮｅｕｒＩＰＳ ２０１９．

しかしながら従来の技術では、入力点の存在可能性を考慮して表示制御することができなかった。学習データを、存在可能性を評価したい環境から取得したデータと考え、出力結果である推定値を学習時のデータとの類似性と考えれば、その値を考慮することで、学習データに類似パターンがあったかどうかを推定することが可能と考えられる。しかしながら従来技術では、推定時の出力結果のうち、最大値に対応する属性をその点が表現するものとして採用する。そのため、誤推定が発生した場合、全く異なる属性の類似性を見ていることとなり、上記のような考え方で存在可能性を評価することはできない。非特許文献４では、推定結果がどの程度信頼できるかを示す値を同時に推定する方法について提案しているが、その値そのものの信頼性については考慮されておらず、それを表示制御に用いる手段についても開示されていない。

実施形態の推定装置は、取得部と生成部と属性推定部と信頼度推定部と表示制御部とを備える。取得部は、第１点群データを取得する。生成部は、前記第１点群データから、属性の推定対象として注目される注目点と、少なくとも１つの観測点と、が結合された第２点群データを生成する。属性推定部は、前記第２点群データが入力される入力層と、前記注目点の属性毎の所属確率を出力する出力層とを含む属性推定ニューラルネットワークから出力された前記所属確率のうち、前記所属確率がより高い推定結果ラベルが示す属性によって、前記注目点の属性を推定する。信頼度推定部は、前記属性推定ニューラルネットワークの中間特徴量が入力される入力層と、正解となる属性のＬｏｇｉｔ、または所属確率の推定値を出力する出力層とを含む信頼度推定ニューラルネットワークによって、前記推定結果ラベルの信頼度を推定する。表示制御部は、前記信頼度が第１の閾値より大きい前記推定結果ラベルの属性によって、属性が推定された注目点を含む対象物をレンダリングし、前記信頼度が前記第１の閾値以下の前記推定結果ラベルの属性によって、属性が推定された注目点を含む対象物をレンダリングせずに生成された第１の表示情報を表示装置に表示する。

第１実施形態の推定装置の機能構成の例を示す図。 第１実施形態の第２点群データの例を示す図。 第１実施形態の属性推定部の動作例を説明するための図。 第１実施形態の推定方法の例を示すフローチャート。 第２実施形態の推定装置の機能構成の例を示す図。 第２実施形態の推定方法の例を示すフローチャート。 第３実施形態の推定装置の機能構成の例を示す図。 第１乃至第３実施形態の推定装置のハードウェア構成の例を示す図。

以下に添付図面を参照して、推定装置、推定方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
はじめに、第１実施形態の推定装置１００の機能構成の例について説明する。

［機能構成の例］
図１は第１実施形態の推定装置１００の機能構成の例を示す図である。第１実施形態の推定装置１００は、取得部１、入力データ生成部２、属性推定部３、信頼度推定部４及び表示制御部５を備える。入力データ生成部２は、注目点選択部２１、観測点選択部２２及び結合部２３を備える。

図１に示す各機能は、別々の装置によって実現されていてもよい。この場合、各装置は、通信網を介して、直接的、又は間接的に通信可能な状態となっており、各装置は、点群データ等を相互に送受信することが可能である。通信網の種類は任意であり、例えば各装置は、建物内に設置されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して、相互に通信可能な形態であってもよい。また、例えば各装置は、インターネット等のネットワーク（クラウド）を介して、相互に通信可能な形態であってもよい。

取得部１は、外部記憶装置や３次元計測装置等から識別対象となる第１点群データＸを取得する。第１点群データＸは少なくとも３次元の位置座標（ｘ，ｙ，ｚ）を含む。なお、第１点群データＸには、計測方法によっては色情報（ｒ，ｇ，ｂ）、及びレーザーの反射強度情報ｉ等が含まれていてもよい。また、種々の方法で事前に計算された情報がある場合にはそれが含まれても良い。

また、情報や取得元は前述したものに限る必要はない。例えば、別のニューラルネットワークの出力から情報を取得するなどが考えられる。その場合、得られるのはニューラルネットワークの中間特徴量となるため、位置座標が含まれないこともあってよい。

外部記憶装置としては、ハードディスクやＣＤなどの記憶メディアに限らず、通信網で接続されたサーバ装置が含まれる。３次元計測装置としては、レーザーレンジファインダや、ステレオカメラ等が挙げられる。ステレオカメラの場合には、画像ベースで各ピクセルの奥行を推定することで３次元点を得ることができる。

注目点選択部２１は、取得部１で取得された第１点群データＸから、属性の推定対象として注目される注目点Ｃｐを選択する。属性は、例えば注目点Ｃｐが何を表す点であるのかを特定する情報を示す。注目点選択部２１は、例えば第１点群データＸから、一様分布に基づいて注目点Ｃｐを選択する。

説明の簡単のため、以降では注目点Ｃｐが１点であった場合を例にして説明するが、注目点選択部２１は、複数の注目点Ｃｐを選択することも可能である。複数の注目点Ｃｐが選択される場合には、各注目点Ｃｐに対し、個別に処理を適用すればよい。もちろん、一般的な深層学習プラットフォームで行われているように、行列、またはテンソルの形式で取り扱うことで、一括処理を行ってもよい。

観測点選択部２２は、取得部１で取得された第１点群データＸから、あらかじめ決められた数ｍだけランダムに観測点ｓを選択する。以降では、選択された複数の観測点ｓの集合を観測点群Ｓと呼ぶ。なお、観測点群Ｓの選択方法はランダムに限定されるものではなく、ある一定の確率分布（選択確率）に従って無作為に選択されていればよい。そのため、観測点群Ｓは、均等な選択確率以外の選択確率で選択されてもよい。

結合部２３は、注目点Ｃｐと観測点群Ｓとから、注目点Ｃｐの属性を推定するための入力データとして、第２点群データＸ’を生成する。

図２は第１実施形態の第２点群データＸ’の例を示す図である。結合部２３は、図２に示すように、観測点群Ｓと注目点Ｃｐとを結合して、第２点群データＸ’を１つのデータ単位として構成する。具体的には、結合部２３は、観測点群Ｓの元ｓ_ｉ（０≦ｉ＜ｍ，ｍはＳに含まれる観測点の数）と注目点Ｃｐとを結合する処理をＳの全ての元について行う。図中ではｃｈが結合される次元に対応し、結合後のｃｈは、観測点ｓ_ｉの要素数と注目点Ｃｐの要素数とを合計した値となる。観測点ｓ_ｉはｍ種類あるため、注目点Ｃｐ１つに対し、ｍ種類のベクトルが得られることになる。これをテンソルの形でまとめたものが第２点群データＸ’となる。

なお、図２では、簡単のため、注目点Ｃｐが１点の場合で説明しているが、注目点Ｃｐがｎ個選択されている場合には、第２点群データＸ’は、ｎ×ｍ×ｃｈのテンソルになる。

また、上記図２の例では、観測点群Ｓの元ｓ_ｉと注目点Ｃｐとの組み合わせでｍ種類のベクトルを構成したが、ベクトルの構成方法はこれに限るものではない。上記図２の例に追加で、自身との組み合わせである、注目点ＣｐとＣｐの組み合わせを導入することも考えられる。この場合、ｍ＋１種類のベクトルが得られる。また、観測点群Ｓに含まれる元ｓ_ｉ同士の組み合わせを追加することも考えられる。前者の場合、注目点Ｃｐを明に考慮することが可能となり、後者の場合、観測点ｓ_ｉ同士を直接考慮することが可能となる。

図１に戻り、属性推定部３では、結合部２３で生成された第２点群データＸ’を入力とした深層学習により、注目点Ｃｐの属性を推定する。

図３は第１実施形態の属性推定部３の動作例を説明するための図である。Ｆ（Ｘ）は深層学習ネットワークを表現する関数である。図３に示すように、属性推定部３は、第２点群データＸ’をｎ方向に分割したＸ’１～Ｘ’ｎを、属性推定ニューラルネットワーク２００に入力する。属性推定ニューラルネットワーク２００は、例えばＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。

属性推定部３は、Ｘ’１～Ｘ’ｎのｃｈ方向を、属性推定ニューラルネットワーク２００の全結合層により畳み込む。このとき、ｍ方向には畳み込まないことに注意する。これにより全結合層で畳み込まれた同じ長さの特徴ベクトル群ｆ１～ｆｍが得られる。

属性推定部３は、この特徴ベクトル群ｆ１～ｆｍに対して対称関数を適用し、得られた特徴ベクトル群を考慮した１つの中間特徴ベクトルｆ’（中間特徴量）を得る。具体的には、属性推定部３は、要素ごとに最大値をとる操作ｍａｘｐｏｏｌｉｎｇを行い、１つのベクトルに変換することで、注目点Ｃｐ_１～Ｃｐ_ｎそれぞれの中間特徴ベクトルｆ’１～ｆ’ｎを得る。これが、注目点Ｃｐ_１～Ｃｐ_ｎのＬｏｇｉｔとなる。

属性推定部３が、このＬｏｇｉｔに対し、一般的な深層学習で行われているように、ｓｏｆｔｍａｘ関数で０～１の確率で扱える値に変換することで、属性に属する確率を示す所属確率を得る。すなわち、属性推定部３は、第２点群データＸ’が入力される入力層と、注目点Ｃｐの属性毎の所属確率を出力する出力層とを含む属性推定ニューラルネットワーク２００によって、属性毎に所属確率を算出する。

なお、中間特徴ベクトルｆ’の要素数が属性数ｃと一致しない場合、中間特徴ベクトルｆ’にさらに全結合層を適用し、あらかじめ想定していた属性数ｃと同じ長さのベクトルに調整すればよい。また、必ずしも属性数ｃに一致するように調整する必要はなく、例えば、このｆ’をその他の種々のニューラルネットワークの入力とする場合には、必要に応じた長さに要素数を調整すればよい。

なお、深層学習による畳み込みの係数はあらかじめ学習等により決定されているものとする。例えば、第１実施形態と同様の手順で最終的に出力される所属確率を真値と比較し、そのずれに応じて係数を調整する操作を繰り返せばよい。そのほかにも、深層学習の分野で係数を学習する際に行われる種々の方法を用いて決定してよい。

また、上記では対称関数としてｍａｘｐｏｏｌｉｎｇを用いたが、これに限定する必要はない。計算結果が特徴ベクトル群ｆ１～ｆｍの順序に左右されない対称関数であればよい。ｍａｘｐｏｏｌｉｎｇは、例えば要素ごとの合計、平均などで置き換えることが可能である。さらに、中間特徴ベクトルｆ’を第１点群データＸにおける事前に計算された情報としてもよい。この場合、中間特徴ベクトルｆ’を第１点群データＸの各点に付加した状態で前述した処理を行えばよい。

信頼度推定部４は、属性推定部３による属性推定処理の過程で得られる中間特徴ベクトルｆ’の入力を受け付け、属性推定ニューラルネットワーク２００とは別の深層学習ネットワークＧ（ｆ’）を、信頼度推定ニューラルネットワークとして適用する。信頼度推定部４は、属性推定部３により得られるＬｏｇｉｔ、またはＬｏｇｉｔにｓｏｆｔｍａｘ関数を適用した結果として得られる属性ごとの所属確率のうち、正解となる属性のＬｏｇｉｔ、または所属確率を示す値ｙを、ｙ’＝Ｇ（ｆ’）によって推定する。

なお、正解となる属性の所属確率は、属性推定ニューラルネットワーク２００に入力されたデータが、属性推定ニューラルネットワーク２００の学習に使用された教師データに類似するほど高くなる。一方、属性推定ニューラルネットワーク２００に入力されたデータが、属性推定ニューラルネットワーク２００の学習に使用された教師データと関連がない場合などには、属性推定ニューラルネットワーク２００により出力された最大の値を有する所属確率が、正解となる属性の所属確率に対応するとは限らない（推定結果が誤っている場合）。

深層学習ネットワークＧの学習は、正解となる属性のＬｏｇｉｔ、または所属確率を示す値ｙと推定値ｙ’＝Ｇ（ｆ’）ができるだけ近い値となるようにして行われる。そのため、ネットワークＧの出力からはどの属性が正解かを判断することはできないが、正解となる属性に対して属性推定ニューラルネットワーク２００が出力するであろう確率に近い値を出力することが可能と考えられる。そのため、推定値ｙ’＝Ｇ（ｆ’）が高いほど、属性推定ニューラルネットワーク２００により出力された所属確率の最大値に対応する属性として得られる推定結果の精度は高くなる。すなわち、推定値ｙ’＝Ｇ（ｆ’）は、属性推定ニューラルネットワーク２００により得られた推定結果ラベルの信頼度を示す。

なお、Ｇによる、正解となる属性の所属確率を示す値ｙの推定方法は、これに限るものではなく、種々の変形が考えられる。例えば、事前に０．０～１．０を任意のステップ（範囲）で分割して通し番号を付けておき、値ｙが含まれる通し番号をＧにより推定する方法などを使用してもよい。この場合、連続値である値ｙを直接回帰するよりも問題を単純にすることが可能である。また、Ｇ（Ｘ，ｆ，ｆ’）のように、深層学習ネットワークＦ（属性推定ニューラルネットワーク２００）に入力されるデータ、および内部で計算される種々の中間結果を複数入力して推定するようにしてもよい。

表示制御部５は、属性推定部３及び信頼度推定部４の推定結果をそれぞれ用いて、表示情報を表示制御する。具体的には、表示制御部５は、信頼度推定部４から得られた信頼度ｙ’が閾値以下の点をレンダリング時に対象から外す。すなわち、表示制御部５は、信頼度が閾値より大きい点、すなわち学習データに類似パターンが含まれている可能性がより高い点のみをレンダリングされる表示画像に含める。信頼度ｙ’が確率値であるという観点から最も確実性が高い閾値は０．５と考えられるが、学習による汎化性能を考えると０．５よりも小さい値が閾値として設定されてもよい。

次に第１実施形態の推定方法の例について説明する。

［推定方法の例］
図４は第１実施形態の推定方法の例を示すフローチャートである。はじめに、取得部１が、外部記憶装置や３次元計測装置等から第１点群データを取得する（ステップＳ１）。次に、注目点選択部２１が、ステップＳ１の処理によって取得された第１点群データＸから、属性の推定対象として注目される注目点Ｃｐを選択する（ステップＳ２）。

次に、観測点選択部２２が、ステップＳ１の処理のよって取得された第１点群データＸから、ｍ個の観測点ｓ_ｉ（０≦ｉ＜ｍ）を含む観測点群Ｓを選択する（ステップＳ３）。

次に、結合部２３が、注目点Ｃｐと観測点群Ｓとから、注目点Ｃｐの属性を推定するための入力データとして、第２点群データＸ’を生成する（ステップＳ４）。ｃｏｎｃａｔは、観測点ｓ_ｉの座標成分と、前記注目点Ｃｐの座標成分とを結合したベクトルを生成する。第２点群データＸ’は、当該ベクトルの成分を配列したテンソルによって表される（図２参照）。

次に、属性推定部３が、属性推定ニューラルネットワーク２００に第２点群データＸ’を入力し（Ｆ（Ｘ’））、出力Ｙ＝（ｙ_１，ｙ_２，・・・，ｙ_ｃ）を得る（ステップＳ５）。出力Ｙの各成分ｙ_ｊ（１≦ｊ≦ｃ、ｃは属性数）は、例えばｊ番目の成分が示す属性の所属確率を示す０～１の範囲の値である。各成分ｙ_ｊのうち、より高い値（例えば最大値）を示す成分ｙに対応する推定結果ラベルが示す属性が、属性推定ニューラルネットワーク２００により推定された推定結果を示す。

次に、信頼度推定部４が、ステップＳ５の属性推定処理の過程で得られる中間特徴ベクトルｆ’の入力を受け付け、正解となる属性のＬｏｇｉｔ、または所属確率を示す値ｙの推定値ｙ’＝Ｇ（ｆ’）により、属性推定ニューラルネットワーク２００により得られた推定結果ラベルの信頼度を推定する（ステップＳ６）。

次に、表示制御部５が、表示装置に表示される表示情報をレンダリングする（ステップＳ７）。具体的には、表示制御部５が、信頼度ｙ’が閾値より大きい推定結果ラベルの属性によって、属性が推定された注目点Ｃｐを含む対象物をレンダリングする。一方、表示制御部５は、信頼度ｙ’が閾値以下の推定結果ラベルの属性によって、属性が推定された注目点Ｃｐを含む対象物をレンダリングしない。

以上説明したように、第１実施形態の推定装置１００では、取得部１が、第１点群データＸを取得する。入力データ生成部２が、第１点群データＸから、属性の推定対象として注目される注目点Ｃｐと、少なくとも１つの観測点ｓと、が結合された第２点群データＸ’を生成する。属性推定部３が、第２点群データＸ’が入力される入力層と、注目点Ｃｐの属性毎の所属確率を出力する出力層とを含む属性推定ニューラルネットワーク２００（深層学習ネットワークＦ）から出力された所属確率のうち、当該所属確率がより高い推定結果ラベルが示す属性によって、注目点Ｃｐの属性を推定する。信頼度推定部４が、属性推定ニューラルネットワーク２００の中間特徴量（中間特徴ベクトルｆ’）が入力される入力層と、正解となる属性のＬｏｇｉｔ、または所属確率の推定値ｙ’を出力する出力層とを含む信頼度推定ニューラルネットワーク（深層学習ネットワークＧ）によって、属性推定ニューラルネットワーク２００の推定結果ラベルの信頼度ｙ’を推定する。表示制御部５は、信頼度ｙ’が閾値より大きい推定結果ラベルの属性によって、属性が推定された注目点Ｃｐを含む対象物をレンダリングし、信頼度ｙ’が閾値以下の推定結果ラベルの属性によって、属性が推定された注目点Ｃｐを含む対象物をレンダリングせずに生成された表示情報を表示装置に表示する。

第１実施形態の推定装置１００によれば、入力点（第１点群データＸ）の存在可能性を考慮して表示制御することができる。具体的には、例えば所定の環境に定常的に存在するかどうかといった存在可能性を考慮して可視／不可視（表示／非表示）を制御することができる。例えば、工事中の足場など、一時的にしか存在しない対象物（属性推定ニューラルネットワーク２００の学習データには存在しなかった対象物）などを非表示にできるので、ユーザーは対象形状を表す点のみを確認（編集）する際に作業効率を向上させることができる。

（第１実施形態の変形例１）
次に第１実施形態の変形例１について説明する。変形例１の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

変形例１では、グラフを想定した方法で属性推定部３が属性を推定する場合について説明する。

属性推定部３は、結合部２３で構成したテンソル（第２点群データＸ’）、観測点群Ｓ及び注目点Ｃｐを入力とした深層学習により、注目点Ｃｐの属性を推定する。Ｆ（Ｘ）を、深層学習ネットワークＦを表現する関数とした場合に、まず第２点群データＸ’をｎ方向に分割したＸ’１～Ｘ’ｎを入力とし、ｃｈ方向を全結合層により畳み込むことで、混合比率φ１～φｎを推定する。このとき、ｍ方向には畳み込まないことに注意する。

次に、これと観測点群Ｓを用いてｆ_ｉ＝Σ_ｎφ_ｉｓ_ｉにより特徴ベクトルｆを求める。この場合には、すでに対称関数が適用されているため、特徴ベクトルｆが得られた特徴ベクトル群を考慮した１つの中間特徴ベクトルｆ’（注目点ＣｐのＬｏｇｉｔ）となる。属性推定部３は、このＬｏｇｉｔに対し、一般的な深層学習で行われているように、ｓｏｆｔｍａｘ関数で０～１の確率で扱える値に変換することで、各属性の所属確率を得る。

なお、ｆ’の要素数が属性数ｃと一致しない場合、ｆ’にさらに全結合層を適用し、あらかじめ想定していた属性数ｃと同じ長さのベクトルに調整すればよい。

上記の例では観測点群Ｓのみの重み付き和としてｆ_ｉを決定しているが、これに限るものではない。例えば、前述したように、テンソル（第２点群データＸ’）を構成する際に、Ｃｐ同士の組み合わせを追加している場合、φ_ｊＣ_ｐ（ｊはＣｐ同士の組み合わせに対応する添え字）についても和をとることが考えられる。

また、Σ_ｎφ_ｉ＝１．０となるように制約を追加してもよい。この場合、例えば求めた混合比率φに対してｓｏｆｔｍａｘ関数を適用してもよい。また例えば、φ_ｋ’＝φ_ｋ／Σ_ｎφ_ｉを算出し、φ_ｋ’を混合比率として用いてもよい。

また、Σ_ｎφ_ｉが可能な限り１．０に近づくように、学習時にＬ＝｜｜１．０－Σ_ｎφ_ｉ｜｜を最小化するような条件を追加してもよい。この場合には、必ずしも合計Σ_ｎφ_ｉが１．０にならないが、ネットワークから見れば必要に応じて条件を緩和できるという意味で学習しやすくなると考えられる。

また、Ｃｐと算出後のｆ’ベクトルを要素の方向に結合して、新たなｆ’としてもよい。この場合には、さらに全結合層を通し、両方のベクトルを考慮した新たなｆ’を算出する。これにより、単独のＣｐと、その他の点から見たＣｐをより明確に考慮することが可能になると考えられる。

さらに、上記の例ではφはスカラーとして扱っているが、φはベクトルとしてもよい。この場合、最初の畳み込みで得られるφはｓ_ｉ、およびＣｐと同様の要素数を持ち、要素ごとの積をとることとすればよい。また、制約条件も前述したスカラーに対するものと同様のものを要素ごとに適用すればよい。

なお、深層学習による畳み込みの係数はあらかじめ学習等により決定されているものとする。例えば、本変形例と同様の手順で最終的に出力される確率を真値と比較し、そのずれに応じて係数を調整する操作を繰り返せばよい。そのほかにも、深層学習の分野で係数を学習する際に行われる種々の方法を用いて決定してよい。

（第１実施形態の変形例２）
次に第１実施形態の変形例２について説明する。変形例２の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

変形例２では、より良好な中間特徴ベクトルｆ’を得るため、深層学習ネットワークＦ（属性推定ニューラルネットワーク２００）に、中間特徴ベクトルｆ’に適用するフィルタを生成するアテンション構造が有る場合について説明する。

変形例２の属性推定部３は、注目点Ｃｐに対し、属性推定ニューラルネットワーク２００の全結合層による畳み込みを行うことで、中間特徴ベクトルｆ’に作用させるフィルタｇを得る。フィルタｇは、中間特徴ベクトルｆ’の要素とｇの要素との要素積をとることで、中間特徴ベクトルｆ’に適用される。なおフィルタｇの適用方法は、必ずしも要素積である必要はなく、要素ごとの和をとる方法やｆ’とｇとを結合する方法でもよい。

また、注目点Ｃｐが複数ある場合には、例えば非特許文献３の方法を用いるなどにより、近傍の特徴を考慮することもできる。これにより、注目点Ｃｐ、およびその近傍の情報を明に考慮することができる。

（第１実施形態の変形例３）
次に第１実施形態の変形例３について説明する。変形例３の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

変形例３では、ネットワークにパラメータ決定時とは異なるノイズを注入し、その際の出力の変化を観測することで、注目点Ｃｐに対して、学習データに類似パターンが存在していたか否かを推定する。

変形例３の信頼度推定部４は、ランダムサンプルにより第２点群データＸ’を生成する際にｄ＋η点でサンプリングし、ｓｏｆｔｍａｘを計算する際に温度パラメータＴを用いる。つまり、信頼度推定部４は、推定時に、深層学習ネットワークＧではなく深層学習ネットワークＦを用いる。そして、信頼度推定部４により用いられる深層学習ネットワークＦのｓｏｆｔｍａｘ関数は、下記式（１）に変形される。

信頼度推定部４は、深層学習ネットワークＦの出力（属性推定ニューラルネットワーク２００により出力された推定結果ラベルの所属確率）が閾値より大きい場合、注目点Ｃｐには、学習時に類似パターンが存在していたと推定する。一方、信頼度推定部４は、深層学習ネットワークＦの出力が閾値以下の場合、注目点Ｃｐは、学習時に類似パターンが存在していなかった（非定常）物体を表現する点であると推定する。

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

上述の第１実施形態では、形状をリサンプリングして近似することにより、実用的な処理コストで形状全体を考慮する方法について説明した。第２実施形態は、リサンプリングにより失われる情報を統計的に考慮することで、より正確に形状全体を考慮する部分が第１実施形態と異なる。

［機能構成の例］
図５は第２実施形態の推定装置１００－２の機能構成の例を示す図である。第２実施形態の推定装置１００－２は、取得部１、入力データ生成部２、属性推定部３、信頼度推定部４、表示制御部５、統合部６及び決定部７を備える。入力データ生成部２は、注目点選択部２１、観測点選択部２２及び結合部２３を備える。

第２実施形態では、統合部６及び決定部７が追加されている。以下に、第１実施形態と異なる処理について説明する。

第２実施形態の観測点選択部２２、結合部２３及び属性推定部３は、所定の回数ＬｉｍＮだけ、上述のステップＳ３～ステップＳ６の処理を繰り返す点が第１実施形態と異なる。そのため、第２実施形態における属性推定部３の出力は、ＬｉｍＮ個のｃ次元のベクトルとなる。

これは新規の点ｘが入力された場合の出力ｙの予測分布をベイズ推定していることと等価と考えることができる。また、非特許文献２のドロップアウトをＸに含まれる点を考慮しないことと置き換えると、同様の結論が導ける。

ここで、上述のステップＳ３～ステップＳ５を繰り返す処理が、新規の点ｘが入力された場合の出力ｙの予測分布をベイズ推定していることと等価であることについて説明する。

Ｎ個の入力データＸと出力Ｙが観測されているとき、新たなデータｘ＾（ｘ＾＜ｘハット＞はｘの上に＾のある記号を示す。）が与えられた場合に予測値ｙ＾（ｙ＾＜ｙハット＞はｙの上に＾のある記号を示す。）が従う分布は、下記式（２）で表される。

このときのｐ（ｗ｜Ｘ，Ｙ）をそのまま求めるのは困難なため、パラメータθを持つ関数ｑ_θ（ｗ）を代わりに定義し、下記式（３）のように、その間の距離を最小化することで近似する。

ここで定数項を整理し、ＶＩ（θ）を下記式（４）のように定義すると、下記式（５）が得られる。

Ｘ，Ｙを独立と仮定し、ＶＩを全てのデータのうちのＭ個だけサンプルすると仮定するとともに、ｑ_θ（ｗ）をパラメータθを持たない分布ｐ（γ）で置き換えると、下記式（６）が得られる。

上記式（６）の積分部分をモンテカルロ法で近似すると、下記式（７）が得られる。

ここで、観測点が入力点群（第１点群データＸ）の全ての点とし、一般的なＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）を考えると、下記式（８）となる。なお、σは活性化関数である。

さらに、対象関数部分を考慮に入れると、下記式（９）が得られる。

実際にはある確率に従って観測点を選ぶので、下記式（１０）のようになる。

Ｚは観測点として選択された点に対応するｆ以外が０になるようなテンソルであり、第２実施形態の属性推定部３による上記の観測点選択と等価である。さらに活性化関数σにＲｅＬＵを選べば、下記式（１１）により表されるため、下記式（１２）が得られる。式（１２）中の中括弧内は関数で用いられるパラメータを示す。また、式中のｚは式（１０）の観測点選択部分を個別の点ｘ向けに書き直したものであり、選択された場合には１、それ以外の場合には０となる。

ｇ（θ，γ）を上記式（１２）の｛｝内のパラメータを作る関数と考えると、ｆ’がｙと一致するようにＷ，ｂを学習することは、前述したＶＩハットを最小化するパラメータを学習することと等価といえる。

また、信頼度推定部４は、属性推定部３にて繰り返されるステップＳ３～ステップＳ５の処理に連動して、同様にステップＳ６の信頼度の推定処理を繰り返す。この第２実施形態の信頼度推定部４の処理についても、上述の属性推定部３の処理の説明と同様に、ベイズ推定を行っていることと等価となる。

次に、統合部６及び決定部７の動作について説明する。

統合部６は、第２点群データＸ’毎に算出された所属確率に基づいて、属性毎に統合確率を算出する。例えば統合部６は、属性推定部３から得られたＬｉｍＮ個のｃ次元ベクトルを平均することによって、ｃ次元ベクトルによって表された統合確率を得る。すなわち、統合確率は、例えば所定の回数だけ生成された第２点群データＸ’毎に算出された複数の所属確率Ｙの平均である。

また、統合部６は、信頼度推定部４にて得られたＬｉｍＮ個の信頼度ｙ’に基づいて統合信頼度を算出する。例えば、統合部６は、信頼度推定部４にて得られたＬｉｍＮ個の信頼度ｙ’を平均することによって、統合信頼度を算出する。

決定部７は、統合確率がより大きい属性を、注目点の属性に決定する。例えば決定部７は、統合部６から得られるｃ次元ベクトルの各要素（成分）のうち最大の値を持つ要素に対応する属性を、注目点Ｃｐの属性に決定する。また、決定部７は、統合信頼度に基づいて、注目点Ｃｐを含む対象物をレンダリングするか否かを決定する。例えば、決定部７は、注目点Ｃｐの統合信頼度が閾値より大きい場合、当該注目点Ｃｐを含む対象物をレンダリングすると決定し、当該統合信頼度が閾値以下の場合、当該注目点Ｃｐを含む対象物をレンダリングしないと決定する。

次に第２実施形態の推定方法の例について説明する。

［推定方法の例］
図６は第２実施形態の推定方法の例を示すフローチャートである。ステップＳ１１～ステップＳ１６の処理は、第１実施形態のステップＳ１～ステップＳ６の処理と同じなので、説明を省略する。

統合部６は、所属確率Ｙ及び信頼度ｙ’（または第２点群データＸ’）が所定の回数（ＬｉｍＮ回）、生成されたか否かを判定する（ステップＳ１７）。所定の回数、所属確率Ｙ及び信頼度ｙ’が生成されていない場合（ステップＳ１６，Ｎｏ）、ステップＳ１３の処理に戻る。

所定の回数、所属確率Ｙ及び信頼度ｙ’が生成された場合（ステップＳ１７，Ｙｅｓ）、統合部６は、ＬｉｍＮ個の所属確率Ｙを平均することによって、統合確率を算出する（ステップＳ１８）。次に、統合部６は、ＬｉｍＮ個の信頼度ｙ’を平均することによって、統合信頼度を算出する（ステップＳ１９）。

次に、表示制御部５が、表示装置に表示される表示情報をレンダリングする（ステップＳ２０）。具体的には、表示制御部５によりレンダリングされる注目点Ｃｐの属性は、決定部７により決定される。決定部７は、ステップＳ１９の処理により得られた統合信頼度に基づいて、注目点Ｃｐを含む対象物をレンダリングするか否か（注目点Ｃｐを含む対象物の可視／不可視）を決定する。

以上説明したように、第２実施形態の推論装置１００－２では、注目点Ｃｐの属性を認識する際に、形状を観測点群Ｓとしてランダムサンプリングし、注目点Ｃｐとあわせてフィルタｇを適用することで、深層学習ネットワークＦ（属性推定ニューラルネットワーク２００）から出力される推定結果ラベルが示す属性の所属確率を得る。この深層学習ネットワークＦの中間特徴ベクトルｆ’を抽出して異なる深層学習ネットワークＧ（信頼度推定ニューラルネットワーク）に入力し、上記の所属確率を回帰する。これら２つのネットワークによる推論をつどランダムサンプリングしながら複数回繰り返し（モンテカルロ法に類似した構造）、出力を統合することで形状全体を対象にフィルタｇを適用した場合を近似した認識結果、及び、推定結果ラベルが示す属性の所属確率とその分散とを得る。

第２実施形態の推論装置１００－２によれば、注目点Ｃｐの属性を推定し、属性を示す表示情報を表示する際に、統計的な枠組みを用いてより詳細に第１点群データＸの形状全体を考慮しながら対象物の可視／不可視を制御することが可能となる。

（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、第２実施形態と同様の説明については省略し、第２実施形態と異なる箇所について説明する。

第２実施形態では、統計的な枠組みを用いて、より詳細に形状全体を考慮する方法について説明した。第３実施形態では、さらにユーザー入力を考慮することで直感的な可視／不可視の制御方法を提供する場合について説明する。

［機能構成の例］
図７は第３実施形態の推定装置１００－３の機能構成の例を示す図である。第３実施形態の推定装置１００－３は、取得部１、入力データ生成部２、属性推定部３、信頼度推定部４、表示制御部５、統合部６、決定部７、非表示点選択部８及び判定部９を備える。入力データ生成部２は、注目点選択部２１、観測点選択部２２及び結合部２３を備える。

第３実施形態では、非表示点選択部８及び判定部９が追加されている。以下に、第２実施形態と異なる処理について説明する。

非表示点選択部８は、表示制御部５によって表示装置に表示された表示情報から、取り除く点（非表示にする点）の選択を受け付ける。例えば、非表示点選択部８は、表示情報に含まれている非定常物体を示す点を、取り除く点としてユーザーから受け付ける。非表示点選択部８は、例えば表示情報上の選択対象となる点を、直接的な方法で選択するマウス及びタッチペンなどの入力デバイスによって実現される。

判定部９は、非表示点選択部８で選択された点の信頼度ｙ_ｉｎ’に基づいて取り除く点を判定する。例えば、判定部９は、非表示点選択部８により選択された点の信頼度ｙ_ｉｎ’との差が閾値より小さい信頼度ｙ’を有する点を判定する。そして、表示制御部５が、表示装置に表示される表示情報を、非表示点選択部８により選択された点を含む対象物と、判定部９により判定された点を含む対象物とをレンダリングせずに生成された表示情報に更新する。

なお、非表示点選択部８により選択される点は、属性の推定対象である注目点Ｃｐ以外の点でもよい。注目点Ｃｐ以外の点が選択された場合、選択された点の信頼度ｙ_ｉｎ’は、例えば、選択された点の近傍にある注目点Ｃｐの信頼度ｙ’により補間するか、または最近傍のｙ’をそのまま用いるなどでもよい。

また、第２及び３実施形態では、信頼度ｙ’を推定する際にその推定の不確定性とも考えられる分散を得ることができる。そこで、判定部９は、その分散か、または分散から計算可能な偏差σを用いて信頼度ｙ’の範囲を判定してもよい。例えば、判定部９は、ｙ_ｉｎ’－σ≦ｙ’≦ｙ_ｉｎ’＋σの範囲に含まれる信頼度ｙ’を持つ点を抽出してレンダリング対象の点から取り除く。

なお、信頼度ｙ’の範囲については、必ずしも上記の条件を用いる必要はなく、例えばσを加減算するのではなく、それに定数λを乗じたλσを加減算することで調整してもよいし、一定の値を加減算してもよい。また、ユーザーの入力に応じて調整された値を加減算してもよい。つまり、ｙ_ｉｎ’を中心に一定の範囲を定義する種々の方法を用いることが可能である。

最後に第１乃至第３実施形態の推定装置１００乃至１００－３のハードウェア構成の例について説明する。

［ハードウェア構成の例］
図８は第１乃至第３実施形態の推定装置１００（１００－２、１００－３）のハードウェア構成の例を示す図である。

第１乃至第３実施形態の推定装置１００（１００－２、１００－３）は、制御装置２０１、主記憶装置２０２、補助記憶装置２０３、表示装置２０４、入力装置２０５及び通信装置２０６を備える。制御装置２０１、主記憶装置２０２、補助記憶装置２０３、表示装置２０４、入力装置２０５及び通信装置２０６は、バス２１０を介して接続されている。

制御装置２０１は、補助記憶装置２０３から主記憶装置２０２に読み出されたプログラムを実行する。主記憶装置２０２は、ＲＯＭ及びＲＡＭ等のメモリである。補助記憶装置２０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びメモリカード等である。

表示装置２０４は、表示情報を表示する。表示装置２０４は、例えば液晶ディスプレイ等である。入力装置２０５は、推定装置１００（１００－２、１００－３）を操作するためのインタフェースである。入力装置２０５は、例えばキーボードやマウス等である。推定装置１００（１００－２、１００－３）がスマートフォン及びタブレット型端末等のスマートデバイスの場合、表示装置２０４及び入力装置２０５は、例えばタッチパネルである。

通信装置２０６は、外部記憶装置や３次元計測装置等と通信するためのインタフェースである。

第１乃至第３実施形態の推定装置１００（１００－２、１００－３）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ及びＤＶＤ等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

また第１乃至第３実施形態の推定装置１００（１００－２、１００－３）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１乃至第３実施形態の推定装置１００（１００－２、１００－３）で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また第１乃至第３実施形態の推定装置１００（１００－２、１００－３）のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１乃至第３実施形態の推定装置１００（１００－２、１００－３）で実行されるプログラムは、上述した機能ブロック（図１、５及び７）のうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置２０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置２０２上にロードされる。すなわち上記各機能ブロックは主記憶装置２０２上に生成される。

なお上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２以上を実現してもよい。

また第１乃至第３実施形態の推定装置１００（１００－２、１００－３）の動作形態は任意でよい。第１乃至第３実施形態の推定装置１００（１００－２、１００－３）を、例えばネットワーク上のクラウドシステムとして動作させてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 取得部
２ 入力データ生成部
３ 属性推定部
４ 信頼度推定部
５ 表示制御部
６ 統合部
７ 決定部
８ 非表示点選択部
９ 判定部
２１ 注目点選択部
２２ 観測点選択部
２３ 結合部
１００ 推定装置
２０１ 制御装置
２０２ 主記憶装置
２０３ 補助記憶装置
２０４ 表示装置
２０５ 入力装置
２０６ 通信装置
２１０ バス

Claims (9)

1. 第１点群データを取得する取得部と、
   前記第１点群データから、属性の推定対象として注目される注目点と、少なくとも１つの観測点と、が結合された第２点群データを生成する生成部と、
   前記第２点群データが入力される入力層と、前記注目点の属性毎の所属確率を出力する出力層とを含む属性推定ニューラルネットワークから出力された前記所属確率のうち、前記所属確率がより高い推定結果ラベルが示す属性によって、前記注目点の属性を推定する属性推定部と、
   前記属性推定ニューラルネットワークの中間特徴量が入力される入力層と、正解となる属性のＬｏｇｉｔ、または所属確率の推定値を出力する出力層とを含む信頼度推定ニューラルネットワークによって、前記推定結果ラベルの信頼度を推定する信頼度推定部と、
   前記信頼度が第１の閾値より大きい前記推定結果ラベルの属性によって、属性が推定された注目点を含む対象物をレンダリングし、前記信頼度が前記第１の閾値以下の前記推定結果ラベルの属性によって、属性が推定された注目点を含む対象物をレンダリングせずに生成された第１の表示情報を表示装置に表示する表示制御部と、
   を備える推定装置。
2. 前期生成部は、
   前期第１点群データから前記注目点を選択する注目点選択部と、
   前期第１点群データから、所定の選択確率にしたがって、所定の数の前記観測点を選択する観測点選択部と、
   前記観測点毎に、前記観測点の座標成分と、前記注目点の座標成分とを結合したベクトルを生成する結合部と、を備え、
   前記第２点群データは、前記ベクトルの成分を配列したテンソルによって表される、
   請求項１に記載の推定装置。
3. 前記注目点選択部は、前期第１点群データから、一様分布に基づいて前記注目点を選択する、
   請求項２に記載の推定装置。
4. 前記生成部は、前記第２点群データの生成処理を所定の回数だけ繰り返し、
   前記属性推定部は、所定の回数だけ生成された前記第２点群データ毎に、前記所属確率を算出し、
   前記信頼度推定部は、所定の回数だけ生成された前記第２点群データ毎に、前記信頼度を算出し、
   前記第２点群データ毎に算出された所属確率と信頼度とに基づいて、前記属性毎に統合確率と統合信頼度とを算出する統合部、
   を更に備える請求項１乃至３のいずれか１項に記載の推定装置。
5. 前記統合確率は、前記所定の回数だけ生成された第２点群データ毎に算出された複数の所属確率の平均であり、
   前記統合確率は、前記所定の回数だけ生成された第２点群データ毎に算出された複数の信頼度の平均である、
   請求項４に記載の推定装置。
6. 前記統合確率がより大きい属性を、前記注目点の属性に決定し、前記統合信頼度に基づいて、前記注目点を含む対象物をレンダリングするか否かを決定する決定部、
   を更に備える請求項４又は５に記載の推定装置。
7. 前記第１の表示情報に含まれる点の選択を受け付ける非表示点選択部と、
   前記非表示点選択部により選択された点の信頼度との差が第２の閾値より小さい信頼度を有する点を判定する判定部と、を更に備え、
   前記表示制御部は、前記第１の表示情報を、前記非表示点選択部により選択された点を含む対象物と、前記判定部により判定された点を含む対象物とをレンダリングせずに生成された第２の表示情報に更新する、
   請求項１乃至６のいずれか１項に記載の推定装置。
8. 推定装置が、第１点群データを取得するステップと、
   前記推定装置が、前記第１点群データから、属性の推定対象として注目される注目点と、少なくとも１つの観測点と、が結合された第２点群データを生成するステップと、
   前記推定装置が、前記第２点群データが入力される入力層と、前記注目点の属性毎の所属確率を出力する出力層とを含む属性推定ニューラルネットワークから出力された前記所属確率のうち、前記所属確率がより高い推定結果ラベルが示す属性によって、前記注目点の属性を推定するステップと、
   前記推定装置が、前記属性推定ニューラルネットワークの中間特徴量が入力される入力層と、正解となる属性のＬｏｇｉｔ、または所属確率の推定値を出力する出力層とを含む信頼度推定ニューラルネットワークによって、前記推定結果ラベルの信頼度を推定するステップと、
   前記推定装置が、前記信頼度が第１の閾値より大きい前記推定結果ラベルの属性によって、属性が推定された注目点を含む対象物をレンダリングし、前記信頼度が前記第１の閾値以下の前記推定結果ラベルの属性によって、属性が推定された注目点を含む対象物をレンダリングせずに生成された第１の表示情報を表示装置に表示するステップと、
   を含む推定方法。
9. コンピュータを、
   第１点群データを取得する取得部と、
   前記第１点群データから、属性の推定対象として注目される注目点と、少なくとも１つの観測点と、が結合された第２点群データを生成する生成部と、
   前記第２点群データが入力される入力層と、前記注目点の属性毎の所属確率を出力する出力層とを含む属性推定ニューラルネットワークから出力された前記所属確率のうち、前記所属確率がより高い推定結果ラベルが示す属性によって、前記注目点の属性を推定する属性推定部と、
   前記属性推定ニューラルネットワークの中間特徴量が入力される入力層と、正解となる属性のＬｏｇｉｔ、または所属確率の推定値を出力する出力層とを含む信頼度推定ニューラルネットワークによって、前記推定結果ラベルの信頼度を推定する信頼度推定部と、
   前記信頼度が閾値より大きい前記推定結果ラベルの属性によって、属性が推定された注目点を含む対象物をレンダリングし、前記信頼度が前記閾値以下の前記推定結果ラベルの属性によって、属性が推定された注目点を含む対象物をレンダリングせずに生成された第１の表示情報を表示装置に表示する表示制御部、
   として機能させるためのプログラム。

Images