JP7210085B2 - ポイントクラウドセグメンテーション方法、コンピュータプログラム及びコンピュータ機器 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１９年０２月２５に提出された、出願番号が２０１９１０１３８４１９．６であり、発明名称が「ポイントクラウドセグメンテーション方法及びその装置、コンピュータ可読記憶媒体並びにコンピュータ機器」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願は、コンピュータ技術分野に関し、特にポイントクラウドセグメンテーション方法、コンピュータプログラム及びコンピュータ機器に関する。

コンピュータ技術の成長に伴い、デジタル画像の数は、日増しに増えていて、デジタル画像処理技術に対する需要も日増しに増えてきた。例示的に、デジタル画像をポイントクラウドで表すことができる。ここで、ポイントクラウドは、同一の空間参照システムでターゲット空間分布及びターゲット表面特性を表す大量のポイント集合である。物体表面の各サンプリングポイントの空間座標を取得した後、ポイント集合を得る。該ポイント集合は、ポイントクラウド（Ｐｏｉｎｔ Ｃｌｏｕｄ）と呼ばれる。デジタル画像処理技術において、ポイントクラウドのセグメンテーション処理は、重要な分岐の１つである。

現在、ポイントクラウドに対してセグメンテーション（例えば、インスタンスセグメンテーション）を行う場合、一般的には、特徴に基づく類似度行列に依存するが、このようなセグメンテーション方式にかかる時間が長く、ポイントクラウドセグメンテーションの効率が低くなってしまう。特に、ポイントクラウドのポイント数が大きい場合、このような現象は、極めて顕著である。

本願の実施例は、ポイントクラウドセグメンテーションの効率を高めることができるポイントクラウドセグメンテーション方法、コンピュータプログラム及びコンピュータ機器を提供する。

一態様によれば、コンピュータ機器に適用されるポイントクラウドセグメンテーション方法を提供する。前記方法は、
処理されるべきポイントクラウドに対して符号化を行い、共有特徴を得るステップであって、前記共有特徴は、セマンティックレベル及びインスタンスレベルで共有される特徴である、ステップと、
異なる復号化方式で前記共有特徴を復号化し、セマンティック特徴及びインスタンス特徴をそれぞれ得るステップと、
前記セマンティック特徴をインスタンス特徴空間にアダプテーションさせた後に前記インスタンス特徴と融合し、前記ポイントクラウドのセマンティック融合インスタンス特徴を得るステップであって、前記セマンティック融合インスタンス特徴は、セマンティック特徴を融合したインスタンス特徴を表す、ステップと、
前記ポイントクラウドのセマンティック融合インスタンス特徴に対して分割を行い、前記ポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴を得るステップと、
各前記ポイントのセマンティック融合インスタンス特徴に基づいて、各前記ポイントが属するインスタンスカテゴリを決定するステップと、を含む。

もう１つの態様によれば、ポイントクラウドセグメンテーション装置を提供する。前記装置は、
処理されるべきポイントクラウドに対して符号化を行い、共有特徴を得るように構成される符号化モジュールと、
異なる復号化方式で前記共有特徴を復号化し、セマンティック特徴及びインスタンス特徴をそれぞれ得るように構成される復号化モジュールと、
前記セマンティック特徴をインスタンス特徴空間にアダプテーションさせた後に前記インスタンス特徴と融合し、前記ポイントクラウドのセマンティック融合インスタンス特徴を得、前記ポイントクラウドのセマンティック融合インスタンス特徴に対して分割を行い、前記ポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴を得るように構成されるセマンティック融合インスタンスモジュールであって、前記セマンティック融合インスタンス特徴は、セマンティック特徴を融合したインスタンス特徴を表す、セマンティック融合インスタンスモジュールと、
各前記ポイントのセマンティック融合インスタンス特徴に基づいて、各前記ポイントが属するインスタンスカテゴリを決定するように構成されるセマンティック融合インスタンスセグメンテーションモジュールと、を備える。

可能な実現形態において、前記符号化モジュールは更に、処理されるべきポイントクラウドを取得し、前記ポイントクラウドにおける各ポイントの座標特徴とチャネル特徴を組み合わせ、対応するポイントの初期特徴を得、各前記ポイントの初期特徴を共同で符号化し、前記ポイントクラウドに対応する共有特徴を得るように構成される。

可能な実現形態において、前記復号化モジュールは更に、第１復号化構造により前記共有特徴を復号化し、セマンティック特徴を得、第２復号化構造により前記共有特徴を復号化し、インスタンス特徴を得るように構成され、前記第１復号化構造と前記第２復号化構造とは、構造が同じであるが、復号化パラメータが異なる。

可能な実現形態において、前記セマンティック特徴は、セマンティック特徴行列であり、前記インスタンス特徴は、インスタンス特徴行列であり、前記セマンティック融合インスタンスモジュールは更に、各ポイントの独立した第１全結合層により前記セマンティック特徴行列をインスタンス特徴空間にアダプテーションさせ、インスタンス特徴空間にアダプテーションしたセマンティック特徴行列と前記インスタンス特徴行列をビット毎に加算し、前記ポイントクラウドの第１行列を得るように構成され、前記第１行列は、セマンティック融合したインスタンス特徴行列である。

可能な実現形態において、前記セマンティック融合インスタンスモジュールは更に、前記ポイントクラウドのセマンティック融合インスタンス特徴行列を各ポイントの独立した第２全結合層に入力し、前記第２全結合層に含まれる正規化層及び活性化層により、前記ポイントクラウドの第１行列に対して順に処理を行い、前記ポイントクラウドにおける各ポイントの第１ベクトルを得るように構成され、前記第１ベクトルは、セマンティック融合したインスタンス特徴ベクトルである。

可能な実現形態において、前記セマンティック融合インスタンスセグメンテーションモジュールは更に、前記ポイントクラウドにおける各ポイントに対して、前記ポイントのセマンティック融合インスタンス特徴と前記ポイントクラウドにおける前記ポイント以外の他の各ポイントのセマンティック融合インスタンス特徴との特徴距離をそれぞれ算出し、算出された特徴距離に基づいて、前記ポイントクラウドにおけるポイントをクラスタリングし、複数組のポイントを得るように構成され、前記複数組のポイントにおける各組のポイントは、１つのインスタンスカテゴリに対応する。

可能な実現形態において、前記ポイントクラウドセグメンテーション装置は、インスタンス融合セマンティックモジュールと、インスタンス融合セマンティックセグメンテーションモジュールと、を更に備える。

前記インスタンス融合セマンティックモジュールは、前記ポイントクラウドにおける各前記ポイントをそれぞれ中心ポイントとし、各前記ポイントのセマンティック融合インスタンス特徴に基づいて、各前記中心ポイントに対応する複数の近隣ポイントを決定し、各前記中心ポイントに対応する複数の近隣ポイントのセマンティック特徴を融合し、対応する中心ポイントのインスタンス融合セマンティック特徴を得るように構成され、
前記インスタンス融合セマンティックセグメンテーションモジュールは、各前記中心ポイントのインスタンス融合セマンティック特徴に基づいて、各前記ポイントが属するセマンティックカテゴリを決定するように構成される。

可能な実現形態において、前記インスタンス融合セマンティックモジュールは更に、各前記ポイントのセマンティック融合インスタンス特徴に基づいて、各中心ポイントと前記ポイントクラウドにおける各ポイントとの特徴距離をそれぞれ算出し、前記中心ポイントとの特徴距離が所定の距離未満である複数のポイントを前記中心ポイントに対応する複数の近隣ポイントとして選択するように構成される。

可能な実現形態において、前記復号化モジュールは更に、第１復号化方式で前記共有特徴を復号化し、前記ポイントクラウドのセマンティック特徴行列を得、前記第１復号化方式と異なる第２復号化方式で前記共有特徴を復号化し、前記ポイントクラウドのインスタンス特徴行列を得るように構成され、前記セマンティック特徴行列は、前記ポイントクラウドにおける各ポイントのセマンティック特徴ベクトルを含み、
前記インスタンス融合セマンティックモジュールは更に、各前記中心ポイントに対応する複数の近隣ポイントのセマンティック特徴ベクトルをビット毎に融合し、対応する中心ポイントの第２ベクトルを得るように構成され、前記第２ベクトルは、インスタンス融合したセマンティック特徴ベクトルである。

可能な実現形態において、前記インスタンス融合セマンティックセグメンテーションモジュールは更に、各ポイントの独立した第３全結合層により、各中心ポイントの前記インスタンス融合セマンティック特徴を対応するセマンティック予測ベクトルに変換し、各中心ポイントのセマンティック予測ベクトルにおける最大ベクトル要素に対応するセマンティックカテゴリを各前記ポイントが属するセマンティックカテゴリとするように構成される。

可能な実現形態において、前記セマンティック融合インスタンスセグメンテーションモジュールは更に、前記ポイントクラウドにおける各点に対して、前記ポイントのインスタンス特徴と前記ポイントクラウドにおける前記ポイント以外の他の各ポイントのインスタンス特徴との特徴距離を算出し、算出された特徴距離に基づいて、前記ポイントクラウドにおけるポイントをクラスタリングし、複数組のポイントを得、前記複数組のポイントにおける各組のポイントが属するセマンティックカテゴリに基づいて、各組のポイントが属するインスタンスカテゴリを決定するように構成される。

もう１つの態様によれば、コンピュータプログラムを記憶したコンピュータ可読記憶媒体を提供する。前記コンピュータプログラムがプロセッサにより実行されるときに、前記プロセッサに上記ポイントクラウドセグメンテーション方法のステップを実行させる。

もう１つの態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムはコンピュータに上記ポイントクラウドセグメンテーション方法のステップを実行させる。

もう１つの態様によれば、メモリと、プロセッサと、を備えるコンピュータ機器を提供する。前記メモリにコンピュータプログラムが記憶されており、前記プロセッサは、コンピュータプログラムを実行して、上記ポイントクラウドセグメンテーション方法のステップを実行する。

上記ポイントクラウドセグメンテーション方法及びその装置、コンピュータプログラム並びにコンピュータ機器によれば、まず、処理されるべきポイントクラウドを符号化し、共有特徴を得、次に、異なる復号化分岐により、共有特徴を復号化し、セマンティック特徴及びインスタンス特徴をそれぞれ得、続いて、セマンティック特徴をインスタンス特徴空間にアダプテーションさせた後にインスタンス特徴と融合し、ポイントクラウドのセマンティック認識特性に富んだインスタンス特徴を得、更に、ポイントクラウドにおける各ポイントの、セマンティック認識特性に富んだインスタンス特徴を得、各ポイントが属するインスタンスカテゴリを決定することができる。このように、セグメンテーションを行うために、特徴に基づく類似度行列に依存せず、ポイントクラウドセグメンテーションの効率を向上させる。また、セマンティック認識特性に富んだインスタンス特徴を学習することで、インスタンスセグメンテーションは、セマンティックセグメンテーションから利益を受けるようになり、ポイントクラウドセグメンテーションの正確性を大幅に向上させる。

一実施例によるポイントクラウドセグメンテーション方法の適用環境を示す図である。 一実施例によるポイントクラウドセグメンテーション方法を示すフローチャートである。 一実施例によるポイントクラウドセグメンテーションの原理を示す概略図である。 一実施例による複合セグメンテーションネットワークの構造を示す概略図である。 もう１つの実施例によるポイントクラウドセグメンテーション方法を示すフローチャートである。 一実施例による複合セグメンテーション三次元ポイントクラウドにおけるインスタンス及びセマンティックを示す概略図である。 一実施例によるポイントクラウドセグメンテーション装置の構造を示すブロック図である。 もう１つの実施例によるポイントクラウドセグメンテーション装置の構造を示すブロック図である。 一実施例によるコンピュータ機器の構造を示すブロック図である。

本願の目的、技術的解決手段及びメリットをより明確にするために、以下、図面及び実施例を参照して、本願を更に詳しく説明する。ここで記述される具体的な実施例は、本願を説明するためのものに過ぎず、本願を限定するものではないことは理解されるべきである。

人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）は、デジタルコンピュータ又はデジタルコンピュータにより制御された機器を利用して人間の知能をシミュレーション、延長、拡張し、環境を感知して知識を取得し、知識を利用して最適な結果を得る理論、方法、技術及び適用システムである。換言すれば、人工知能は、コンピュータサイエンスにおける１つの総合技術であり、知能の本質を理解し、人間知能と同様な方式で反応可能な新たな知能機器を生み出すことを意図する。人工知能は、種々の知能機器の設計原理及び実現方法を検討し、機器に、感知、推理及び意思決定機能を持たせるためのものである。

人工知能技術は、総合的な学科であり、広い分野に関し、ハードウェアレベルの技術を含むだけでなく、ソフトウェアレベルの技術も含む。人工知能基礎技術は一般的には、センサ、専用人工知能チップ、クラウドコンピューティング、分散型ストレージ、ビッグデータ処理技術、オペレーティング／インタラクションシステム、メカトロニクスなどの技術を含む。人工知能ソフトウェア技術は、主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術及び機械学習／深層学習などの分野を含む。

コンピュータビジョン（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ：ＣＶ）は、マシンを使用して「見る」を研究する科学であり、さらに、人間の肉眼の代わりに撮影機及びコンピュータを使用して目標を識別、追跡、測定等のマシンビジョンを行って、さらに画像処理をして、コンピュータで、人間の肉眼の観察または機器へ送信して検出することに適した画像になるように処理することである。１つの科学分野として、コンピュータビジョンは、関連した理論及び技術を検討し、画像又は多次元データから情報を取得できる人工知能システムを構築することを意図している。コンピュータビジョン技術は一般的には、画像処理、画像認識、画像セマンティック理解、画像検索、ＯＣＲ、ビデオ処理、ビデオセマンティック理解、ビデオコンテンツ／挙動認識、三次元物体再構築、３Ｄ技術、仮想現実、拡張現実、位置推定とマッピングの同時実行等の技術を含み、一般的な顔認識、指紋認識などの生体特徴認識技術を更に含む。

人工知能技術に対する検討及び成長に伴い、人工知能技術は、例えば、一般的なスマートホーム、スマートウェアラブル機器、仮想アシスタント、スマートスピーカ、スマートマーケティング、無人運転、自動運転、無人機、ロボット、スマート医療、スマートカスタマーサービスなどの分野において検討されて適用されてきた。技術の成長に伴い、人工知能技術がより多くの分野に適用され、ますます重要な役割を果たすことは信じられている。

本願の実施例が提供する技術的解決手段は、人工知能のコンピュータビジョンなどの技術に関し、下記実施例により説明される。

図１は一実施例によるポイントクラウドセグメンテーション方法の適用環境を示す図である。図１に示すように、該ポイントクラウドセグメンテーション方法は、ポイントクラウドセグメンテーションシステムに適用される。該ポイントクラウドセグメンテーションシステムは、端末１１０と、サーバ１２０と、を備える。端末１１０とサーバ１２０はネットワークを介して接続される。一例として、端末１１０は具体的には、デスクトップ型端末又は携帯端末であってもよい。携帯端末は、携帯電話、タブレット、ノートパソコンなどのうちの少なくとも１つであってもよい。サーバ１２０は、独立したサーバ又は複数のサーバからなるサーバクラスタにより実現されてもよく、本願の実施例は、これを具体的に限定しない。

本願の実施例におけるポイントクラウドセグメンテーション方法は、端末１１０又はサーバ１２０によりそれぞれ独立して実行されてもよく、端末１１０及びサーバ１２０により協働で実行されてもよく、本願の実施例は、これを具体的に限定しない。

可能な実現形態において、本願の実施例におけるポイントクラウドは、二次元ポイントクラウド又は三次元ポイントクラウド等を含む。ここで、二次元ポイントクラウドは、例えば、二次元画像における各像素点の集合等であってもよい。三次元ポイントクラウドは、例えば、三次元シーンにおける各三次元ポイントの集合等であってもよい。

本願の実施例におけるポイントクラウドセグメンテーションは、セマンティックセグメンテーションと、インスタンスセグメンテーションと、を含む。

ここで、セマンティックセグメンテーションは、ポイントクラウドを複数の互いに重なり合わない、所定のセマンティックを有するポイントグループにセグメンテーションすると共に、これらのポイントグループに対してセマンティックアノテーションを行うことであってもよい。実際に、セマンティックセグメンテーションにより、ポイントレベルの分類を実現させる。各ポイントを分類することで、ポイントクラウド全体に対するセマンティックアノテーションを実現させる。例えば、二次元画像又は三次元シーンにおいて、どのポイントが猫に属するか、どのポイントがペンに属するか、又はどのポイントが風船に属するかなどを区別する。

インスタンスは、カテゴリの具体的な対象である。１つの具体的な対象は、例えば、１匹の猫、１本のペン又は１つの風船などのような１つのインスタンスと認められてもよい。インスタンスセグメンテーションは、ポイントクラウドを、複数の互いに重なり合わない、１つの具体的な対象に属するポイントグループにセグメンテーションすることであってもよい。１つのポイントグループは、１つのインスタンスに対応する。例えば、二次元画像又は三次元シーンにおいて、どのポイントが１つの具体的な対象に属するか、どのポイントがもう１つの具体的な対象に属するかなどを区別する。

インスタンスセグメンテーションは、セマンティックセグメンテーションと組み合わせられ、セマンティックセグメンテーションの上で、インスタンスのセマンティックカテゴリを区分することができる。例えば、二次元画像又は三次元シーンにおいて複数匹の猫が存在する場合、セマンティックセグメンテーションの結果を参照することで、インスタンスセグメンテーションにより、猫に属するポイントから、どのポイントが１匹目の猫に属するか、どのポイントが２匹目の猫に属するかなどを区分することができる。

図２に示すように、例示的な実施例において、本願の実施例は、ポイントクラウドセグメンテーション方法を提供する。該実施例は、主に、該方法をコンピュータ機器に適用することを例として説明する。該コンピュータ機器は、上記図１における端末１１０又はサーバ１２０であってもよい。図２に示すように、該ポイントクラウドセグメンテーション方法は、下記ステップを含む。

Ｓ２０２において、処理されるべきポイントクラウドを符号化し、共有特徴を得る。

ここで、共有特徴は、セマンティックレベル及びインスタンスレベルで共有される特徴である。つまり、共有特徴で処理することによって、セマンティック特徴及びインスタンス特徴をそれぞれ得ることができる。セマンティック特徴は、セマンティックレベルでポイントクラウド特性を表すデータであり、インスタンス特徴は、インスタンスレベルでポイントクラウド特性を表すデータである。

コンピュータ機器は、処理されるべきポイントクラウドを取得した後、処理されるべきポイントクラウドに対して特徴データ抽出を行い、抽出された特徴データを符号化（Ｅｎｃｏｄｅ）処理し、共有特徴を得る。共有特徴は、ポイントクラウドの特性に対する高次元表現であってもよく、該ポイントクラウド全体の情報を包含し、共有特徴は、ポイントクラウドの特性に対する低次元表現であってもよく、該ポイントクラウド全体の情報を包含すると理解されてもよい。共有特徴のデータフォーマットは、複数種であってもよく、例示的に、共有特徴は、共有特徴行列という行列形態であってもよい。

例示的な実施例において、コンピュータ機器は、深層学習ネットワークを特徴エンコーダとして選択し、特徴エンコーダを用いて処理されるべきポイントクラウドに対して特徴データ抽出及び符号化を行い、共有特徴を得ることができる。一例として、該特徴エンコーダとして用いられる深層学習ネットワークは、ＰｏｉｎｔＮｅｔネットワークの前半であってもよく、又は、ＰｏｉｎｔＮｅｔ＋＋ネットワークの前半、又は他のネットワーク構造であってもよい。ここで、ＰｏｉｎｔＮｅｔネットワークは、多層パーセプトロン及び最大プーリングからなるポイントクラウド処理ネットワークであり、ＰｏｉｎｔＮｅｔ＋＋ネットワークは、ＰｏｉｎｔＮｅｔネットワークを改良したものである。

例を挙げて説明すると、コンピュータ機器はＰｏｉｎｔＮｅｔネットワークを特徴エンコーダとして用いるとすれば、共有特徴行列は、ＰｏｉｎｔＮｅｔネットワークにおけるローカル特徴とグローバル特徴を組み合わせたネットワーク層の出力である。この場合、特徴エンコーダは、ＰｏｉｎｔＮｅｔネットワークの第１ネットワーク層からローカル特徴とグローバル特徴を組み合わせたネットワーク層までのネットワーク構造である。コンピュータ機器はＰｏｉｎｔＮｅｔ＋＋ネットワークを特徴エンコーダとして用いるとすれば、共有特徴行列は、ＰｏｉｎｔＮｅｔ＋＋ネットワークにおける最後の集合抽象化（ｓｅｔ ａｂｓｔｒａｃｔｉｏｎ）モジュールの出力である。この場合、特徴エンコーダは、ＰｏｉｎｔＮｅｔ＋＋ネットワークの第１ネットワーク層から最後の集合抽象化モジュールまでのネットワーク構造である。

例示的な実施例において、Ｓ２０２は、処理されるべきポイントクラウドを取得するステップと、処理されるべきポイントクラウドにおける各ポイントの座標特徴とチャネル特徴を組み合わせ、対応する点の初期特徴を得るステップと、各ポイントの初期特徴を共同で符号化、処理されるべきポイントクラウドに対応する共有特徴を得るステップと、を含む。

ここで、ポイントの座標特徴は、ポイントの座標位置であってもよい。ポイントのチャネル特徴は、ポイントのチャネル値であってもよく、例えば、色チャネル値である。座標特徴とチャネル特徴を組み合わせるステップは、各座標位置と各チャネル値をスプライシングすることであってもよい。ポイントの初期特徴は、特徴抽出及び符号化を行うための特徴である。

例を挙げて説明すると、三次元ポイントクラウドにおける三次元ポイントの座標特徴は、Ｘ座標次元の座標位置ｘ、Ｙ座標次元の座標位置ｙ及びＺ座標次元の座標位置ｚであり、三次元ポイントクラウドにおける三次元ポイントのチャネル特徴は、Ｒ色チャネルのチャネル値ｒ、Ｇ色チャネルのチャネル値ｇ及びＢ色チャネルのチャネル値ｂである。三次元ポイントクラウドにおける三次元ポイントの座標特徴とチャネル特徴との組み合わせは、（ｘ，ｙ，ｚ，ｒ，ｇ，ｂ）である。

コンピュータ機器は、処理されるべきポイントクラウドを取得した後、該ポイントクラウドにおける各ポイントに対して、該ポイントの座標特徴とチャネル特徴を組み合わせ、該ポイントの初期特徴を得ることができる。コンピュータ機器は、続いて、該ポイントクラウドにおける全てのポイントの初期特徴組み合わせを符号化し、共有特徴を得る。

例示的な実施例において、コンピュータ機器は、該ポイントクラウドにおける全てのポイントの初期特徴を共同で特徴エンコーダに入力し、該特徴エンコーダにより、全てのポイントの初期特徴を処理した後に、共有特徴行列を出力することができる。例を挙げて説明すると、処理されるべきポイントクラウドは、大きさがＮ_Ｐであるポイントクラウドである。つまり、該ポイントクラウドは、Ｎ_Ｐ個のポイントを含む。コンピュータ機器は、処理されるべきポイントクラウドを符号化する。つまり、該Ｎ_Ｐ個のポイントの初期特徴であるＮ_Ｐ個の（ｘ，ｙ，ｚ，ｒ，ｇ，ｂ）を共同で特徴エンコーダに入力して処理する。つまり、各三次元ポイントの初期特徴は、１×６の初期特徴ベクトルであってもよい。三次元ポイントクラウドにおける全ての三次元ポイントの初期特徴を組み合わせたＮ_Ｐ×６の初期特徴行列を特徴エンコーダに入力して処理する。

勿論、もう１つの例示的な実施例において、処理されるべきポイントクラウドは、二次元ポイントクラウドであってもよい。この場合の座標特徴は、２つの次元のみを含む。なお、チャネル特徴は、ＹＵＶ三色チャネル又はグレースケールチャネル等であってもよく、本願の実施例は、これを具体的に限定しない。

上記実施例において、座標レベル及びチャネルレベルという２つの異なる特徴レベルで、ポイントクラウドにおけるポイントの初期特徴を反映し、続いて、２つの特徴レベルを含む該初期特徴を符号化することで、より豊かな、ポイントクラウド特性を反映する特徴データを抽出することができ、後続のポイントクラウドのセグメンテーション処理に寄与する。

例を挙げて説明すると、図３は、一例示的な実施例によるポイントクラウドセグメンテーションの原理を示す概略図である。図３を参照すると、本願の実施例における処理されるべきポイントクラウドは大きさがＮ_Ｐである三次元イントクラウドであるとすれば、コンピュータ機器は、特徴エンコーダ（例えばＰｏｉｎｔＮｅｔネットワークの前半）により、Ｎ_Ｐ個の三次元ポイントの初期特徴（ｘ，ｙ，ｚ，ｒ，ｇ，ｂ）を符号化し、共有特徴行列Ｆ_{ｓｈａｒｅ}を得る。

Ｓ２０４において、異なる復号化方式で共有特徴を復号化し、セマンティック特徴及びインスタンス特徴をそれぞれ得る。

セマンティック特徴及びインスタンス特徴は、２つの異なる特徴レベルの特徴であることが理解されるべきである。同一のデータから、異なる特徴レベルの特徴を復号化しようとする場合、一般的には、異なる復号化方式でそれぞれ復号化を行う必要がある。このようにしてのみ、異なる結果を復号化できる。

ここで、復号化の相違は、復号化原理の相違であってもよい。例えば、深層学習ネットワークにより復号化するか又はロジスティック回帰により復号化する。復号化方式の相違は、ネットワーク構造の相違であってもよい。例えば、構造の異なる深層学習ネットワークにより復号化する。復号化方式の相違は、ネットワーク構造パラメータの相違であってもよい。例えば、モデル構造が同じであるがネットワーク構造パラメータが異なる深層学習ネットワークにより復号化する。

コンピュータ機器は、２つの異なる復号化方式で並行して共有特徴を復号化し、共有特徴から異なる情報を抽出し、抽出された２つの異なる情報に基づいて、セマンティック特徴及びインスタンス特徴をそれぞれ得ることができる。セマンティック特徴は、ポイントクラウドのセマンティック特性に対する高次元表現であってもよく、該ポイントクラウド全体のセマンティックレベルの情報を包含し、セマンティック特徴は、ポイントクラウドのセマンティック特性に対する低次元表現であってもよく、該ポイントクラウド全体のセマンティックレベルの情報を包含することが理解されるべきである。インスタンス特徴は、ポイントクラウドのインスタンス特性に対する高次元表現であってもよく、該ポイントクラウド全体のインスタンスレベルの情報を包含し、インスタンス特徴は、ポイントクラウドのインスタンス特性に対する低次元表現であってもよく、該ポイントクラウド全体のインスタンスレベルの情報を包含する。セマンティック特徴及びインスタンス特徴のデータフォーマットは複数であってもよい。例示的に、セマンティック特徴及びインスタンス特徴は、行列形態であってもよく、つまり、セマンティック特徴行列及びインスタンス特徴行列であってもよく、本願の実施例は、これを具体的に限定しない。

一例示的な実施例において、Ｓ２０４は、第１復号化構造により共有特徴を復号化し、セマンティック特徴を得るステップと、第２復号化構造により前記共有特徴を復号化し、インスタンス特徴を得るステップと、を含み、第１復号化構造と第２復号化構造とは、構造が同じであるが、復号化パラメータが異なる。

ここで、第１復号化構造と第２復号化構造は、構造が同じであるが構造パラメータが異なる２つの復号化構造である。例えば、コンピュータ機器は、ＰｏｉｎｔＮｅｔネットワークの前半をデコーダとして選択し、共有特徴を復号化することができる。従って、復号化によりセマンティック特徴を得るＰｏｉｎｔＮｅｔネットワークと復号化によりインスタンス特徴を得るＰｏｉｎｔＮｅｔネットワークのネットワークパラメータが異なる。該ネットワークパラメータは、サンプルデータにより訓練を行うことで得られる。

コンピュータ機器は、並行して第１復号化構造により共有特徴を復号化してセマンティック特徴を得、第２復号化構造により共有特徴を復号化してインスタンス特徴を得ることができる。

例示的な実施例において、コンピュータ機器は、深層学習ネットワークを特徴エンコーダ及び２つの並行した特徴デコーダとして選択し、特徴エンコーダによりポイントクラウドを符号化し、共有特徴を得、更に２つの並行した特徴デコーダにより、共有特徴を復号化し、セマンティック特徴及びインスタンス特徴を得る。ここで、特徴エンコーダは、ＰｏｉｎｔＮｅｔネットワーク又はＰｏｉｎｔＮｅｔ＋＋ネットワークの前半であり、２つの並行した特徴デコーダはいずれもＰｏｉｎｔＮｅｔネットワーク又はＰｏｉｎｔＮｅｔ＋＋ネットワークの後半であってもよい。勿論、特徴エンコーダ及び２つの並行した特徴デコーダは、他のネットワーク構造であってもよく、本願の実施例は、これを具体的に限定しない。

本願の実施例において、構造が同じであるがパラメータが異なる復号化構造により、共有特徴に対してそれぞれ復号化を行うことができる。これにより得られたセマンティック特徴とインスタンス特徴は、特徴表現及び特徴次元でマッチングした。後続の２つの特徴レベルの特徴融合に寄与し、ポイントクラウドセグメンテーションの正確性を向上させることができる。また、構造が同じである２つの復号化構造は、訓練を行う場合、構造が異なるか又は原理が異なる復号化構造の訓練よりも便利である。

引き続き図３を参照すると、コンピュータ機器は、共有特徴行列Ｆ_{ｓｈａｒｅ}を得た後、２つの異なる分岐により、並行して共有特徴行列Ｆ_{ｓｈａｒｅ}を復号化処理することができる。つまり、セマンティックセグメンテーション分岐の復号化構造により、共有特徴行列Ｆ_{ｓｈａｒｅ}を、大きさがＮ_Ｐ×Ｎ_Ｆであるセマンティック特徴行列Ｆ_ＳＥＭとなるように復号化し、インスタンスセグメンテーション分岐の復号化構造により、共有特徴行列Ｆ_{ｓｈａｒｅ}を、大きさがＮ_Ｐ×Ｎ_Ｆであるインスタンス特徴行列Ｆ_ＩＮＳとなるように復号化する。ここで、Ｎ_Ｆは、特徴の次元であり、その値は、１２８又は２５６等であってもよい。例を挙げて説明すると、三次元ポイントの初期特徴は、（ｘ，ｙ，ｚ，ｒ，ｇ，ｂ）であり、６個の数値を含み、特徴の次元は、６である。

Ｓ２０６において、セマンティック特徴をインスタンス特徴空間にアダプテーションさせた後にインスタンス特徴と融合し、ポイントクラウドのセマンティック融合インスタンス特徴を得、ポイントクラウドのセマンティック融合インスタンス特徴は、セマンティック特徴を融合したインスタンス特徴を表す。

入力データに対して特徴抽出を行うプロセスは、１つの空間における入力データをもう１つのより高い次元又はより低い次元の空間にマッピングするプロセスと認められてもよいことが理解されるべきである。入力データが位置する空間は、入力空間であり、抽出された特徴が位置する空間は、特徴空間である。特徴空間における特徴は、入力データに対するより高い次元又はより低い次元の抽象化表現である。特徴は異なるが、特徴空間も異なる。全てのインスタンス特徴が位置する空間は、インスタンス特徴空間であり、全てのセマンティック特徴が位置する空間は、セマンティック特徴空間である。異なる特徴空間の特徴同士は、マッピング関係を有するため、相互変換されてもよい。

コンピュータ機器は、セマンティック特徴空間とインスタンス特徴空間とのマッピング関係により、得られたセマンティック特徴をインスタンス特徴空間にマッピングし、セマンティックの、インスタンス特徴空間にアダプテーションした変換特徴を得、続いて、該変換特徴とインスタンス特徴に対して融合処理を行い、セマンティック認識特性に富んだインスタンス特徴を得る。つまり、セマンティック特徴を融合したインスタンス特徴を得る。

例示的な実施例において、セマンティック特徴は、セマンティック特徴行列であり、インスタンス特徴は、インスタンス特徴行列である。セマンティック特徴をインスタンス特徴空間にアダプテーションさせた後にインスタンス特徴と融合し、セマンティック融合インスタンス特徴を得るステップは、各ポイントの独立した第１全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒｓ：ＦＣ）によりセマンティック特徴行列をインスタンス特徴空間にアダプテーションさせるステップと、インスタンス特徴空間にアダプテーションしたセマンティック特徴行列とインスタンス特徴行列をビット毎に加算し、第１行列を得るステップであって、第１行列は、セマンティック融合したインスタンス特徴行列である、ステップと、を含む。

本願の実施例において、セマンティック特徴及びインスタンス特徴はいずれも行列形態である。セマンティック特徴空間とインスタンス特徴空間とのマッピング関係は、各ポイントの独立した全結合層により実現される。ここで、各ポイントの独立した全結合層は、各ポイントをそれぞれ処理する全結合層である。コンピュータ機器は、セマンティック特徴行列を各ポイントの独立した第１全結合層に入力し、第１全結合層によりセマンティック特徴行列を処理することで、インスタンス特徴空間にアダプテーションしたセマンティック特徴行列を出力することができる。

例示的な実施例において、セマンティック融合インスタンス特徴行列の演算式は、下記式に示すとおりである。

ここで、Ｆ_ＳＩＮＳは、セマンティック融合インスタンス特徴行列であり、Ｆ_ＩＮＳは、インスタンス特徴行列であり、Ｆ_ＳＥＭは、セマンティック特徴行列であり、ＦＣ（Ｆ_ＳＥＭ）は、インスタンス特徴空間にアダプテーションしたセマンティック特徴行列である。

例示的な実施例において、各ポイントの独立した第１全結合層のネットワーク構造は、正規化層及び活性化層を含み、該２つのネットワーク層は、入力されたデータに対して順に処理を行う。ここで、活性化層の活性化関数は、ＲｅＬＵ活性化関数等であってもよく、本願の実施例は、これを具体的に限定しない。

更に、コンピュータ機器は更に、インスタンス特徴空間にアダプテーションした該セマンティック特徴行列とインスタンス特徴行列をビット毎に加算し（Ｅｌｅｍｅｎｔ－ｗｉｓｅ ａｄｄｉｔｉｏｎ）、セマンティック融合インスタンス特徴行列を得ることができる。ここで、ビット毎に加算するステップは、同一の行列要素位置での行列要素を加算することである。
例えば、行列

行列

について、行列Ｆ１と行列Ｆ２をビット毎に加算すると、行列

を得る。

本願の実施例において、セマンティック特徴とインスタンス特徴は、意味が異なる特徴であるため、特徴融合の場合、一定の障害が存在する。ここで、全結合層により、セマンティック特徴をインスタンス特徴空間にアダプテーションさせることで、特徴融合の障害を克服し、セマンティック認識特性に富んだインスタンス特徴を得ることができ、後続のセグメンテーション処理に寄与する。

例示的な実施例において、コンピュータ機器は、複合セグメンテーションネットワーク構造により特徴融合処理を実現させることができる。図４は、一例示的な実施例による複合セグメンテーションネットワーク構造（Ａｓｓｏｃｉａｔｉｖｅｌｙ Ｓｅｇｍｅｎｔｉｎｇ Ｉｎｓｔａｎｃｅｓ ａｎｄ Ｓｅｍａｎｔｉｃｓ：ＡＳＩＳ）を示す概略図である。図４に示すように、複合セグメンテーションネットワーク構造は、セマンティック特徴行列Ｆ_ＳＥＭ及びインスタンス特徴行列Ｆ_ＩＮＳを同時に受信して共同で入力とし、セマンティック特徴行列Ｆ_ＳＥＭをインスタンス特徴空間にアダプテーション（Ａｄａｐｔａｔｉｏｎ）させた後に、インスタンス特徴行列Ｆ_ＩＮＳとビット毎に加算し、セマンティック融合インスタンス特徴行列Ｆ_ＳＩＮＳを得る。ここで、セマンティック特徴行列Ｆ_ＳＥＭをインスタンス特徴空間にアダプテーションさせるプロセスは、各ポイントの独立した全結合層により実現されてもよい。

Ｓ２０８において、ポイントクラウドのセマンティック融合インスタンス特徴に対して分割を行い、ポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴を得る。

Ｓ２０６で得られたセマンティック融合インスタンス特徴は、処理されるべきポイントクラウド全体に対応することが理解されるべきである。ここで、ポイントクラウド全体のセマンティック融合インスタンス特徴を処理し、分割することで、処理されるべきポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴を得る。

例示的な実施例において、Ｓ２０８は、第１行列を各ポイントの独立した第２全結合層に入力するステップと、第２全結合層に含まれる正規化層及び活性化層により、第１行列に対して順に処理を行い、処理されるべきポイントクラウドにおける各ポイントの第１ベクトルを得るステップであって、第１ベクトルは、セマンティック融合したインスタンス特徴ベクトルである、ステップと、を含む。

本願の実施例において、各ポイントの独立した全結合層により、ポイントクラウド全体のセマンティック融合インスタンス特徴を処理し、分割により、処理されるべきポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴を得る。コンピュータ機器は、ポイントクラウド全体のセマンティック融合インスタンス特徴行列を各ポイントの独立した第２全結合層に入力し、第２全結合層により、ポイントクラウド全体のセマンティック融合インスタンス特徴行列に対して処理を行うことで、処理されるべきポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴を出力することができる。

例示的な実施例において、各ポイントの独立した第２全結合層のネットワーク構造は、正規化層及び活性化層を含む。該２つのネットワーク層は、入力されたデータに対して順に処理を行う。ここで、活性化層の活性化関数は具体的には、ＲｅＬＵ活性化関数等であってもよく、本願の実施例は、これを具体的に限定しない。

本願の実施例において、ポイントクラウド全体のセマンティック融合インスタンス特徴を得た後、全結合層により、各ポイントの第１ベクトルを得、後続のインスタンスセグメンテーションを順調に実行することを確保する。

引き続き図４を参照すると、コンピュータ機器は、複合セグメンテーションネットワーク構造により、セマンティック融合インスタンス特徴行列Ｆ_ＳＩＮＳを得た後、各ポイントの独立した全結合層により、ポイントクラウドのインスタンス埋め込みベクトルＥ_ＩＮＳを出力する。ここで、Ｅ_ＩＮＳの大きさは、Ｎ_Ｐ×Ｎ_Ｅであり、Ｎ_Ｅは、嵌め込みベクトルの次元である。ポイントクラウドのインスタンス嵌め込みベクトルは、各ポイント（Ｎ_Ｐ個のポイント）の第１ベクトル（１×Ｎ_Ｅ）の集合と理解されてもよい。引き続き図３を参照すると、セマンティック特徴行列Ｆ_ＳＥＭ及びインスタンス特徴行列Ｆ_ＩＮＳを複合セグメンテーションネットワーク構造に入力した後に得られた出力の１つは、ポイントクラウドのインスタンス嵌め込みベクトルＥ_ＩＮＳであり、つまり、ポイントクラウドにおける各ポイントの第１ベクトルである。

Ｓ２１０において、各ポイントのセマンティック融合インスタンス特徴に基づいて、各ポイントが属するインスタンスカテゴリを決定する。

ここで、各ポイントが属するインスタンスカテゴリは、抽象レベルのインスタンスカテゴリであってもよい。例えば、第１インスタンスカテゴリ又は第２インスタンスカテゴリ等である。例示的に、ここの抽象は、これが１つのインスタンスであることを知っているが、具体的にどのインスタンスであるかを知っていないことである。例えば、自然人であることを知っているが、その名前を知っていない。各ポイントが属するインスタンスカテゴリは、具体的なレベルのインスタンスカテゴリであってもよい。例えば、１匹目の猫又は２匹目の猫などである。

ポイントクラウドのインスタンス嵌め込みベクトルは、ポイントクラウド内に含まれるポイントのインスタンス関係を表すことができることが理解されるべきである。同一のインスタンスに属するポイントは、インスタンス嵌め込みベクトル空間において互いに近接し、異なるインスタンスに属するポイントは、互いに離間する。従って、各ポイントが属する抽象レベルのインスタンスカテゴリにおいて、各ポイントのセマンティック融合インスタンス特徴に基づいてポイントをクラスタリングし、複数組のポイントを得ることができる。つまり、ポイントをインスタンスに応じて分割し、各組のポイントは、１つのインスタンスカテゴリに対応する。各ポイントが属する具体的なレベルのインスタンスカテゴリは、セマンティックセグメンテーション結果により決定する必要がある。

例示的な実施例において、Ｓ２１０は、ポイントクラウドにおける各ポイントに対して、該ポイントのセマンティック融合インスタンス特徴とポイントクラウドにおける該ポイント以外の他の各ポイントのセマンティック融合インスタンス特徴との特徴距離を算出するステップと、算出された特徴距離に基づいて、ポイントクラウドにおける全てのポイントをクラスタリング（Ｃｌｕｓｔｅｒｉｎｇ）し、複数組のポイントを得るステップであって、複数組のポイントにおける各組のポイントは、１つのインスタンスカテゴリに対応する、ステップと、を含む。

コンピュータ機器は、ポイントクラウドにおける各ポイントに対して、該ポイントのセマンティック融合インスタンス特徴とポイントクラウドにおける該ポイント以外の他のポイントのセマンティック融合インスタンス特徴との特徴距離を算出することができる。特徴距離は、該ポイントのセマンティック融合インスタンス特徴ベクトルとポイントクラウドにおける該ポイント以外の他の各ポイントのセマンティック融合インスタンス特徴ベクトルとのベクトル距離である。例示的に、ここのベクトル距離は、ユークリッド距離又は他の距離などであってもよく、本願の実施例は、これを具体的に限定しない。上記演算プロセスにより、ポイントクラウドにおけるいずれか２つのポイントの間の特徴距離を算出することができる。

更に、コンピュータ機器は、ポイントクラウドにおけるいずれか２つのポイントの間の特徴距離を算出した後、ポイントクラウドにおける全てのポイントに対してクラスタリングを行い、複数組のポイントを得る。該複数組のポイントにおける各組のポイントは、それぞれ１つのインスタンスカテゴリに対応する。ポイントクラウドにおけるポイントのインスタンスセグメンテーションを行い、抽象レベルのインスタンス分割を実現させる。つまり、クラスタリング結果は、どの点が同一のインスタンスに属するかを示す。ここで、ポイントをクラスタリングするためのアルゴリズムは、ｍｅａｎ－ｓｈｉｆｔクラスタリングアルゴリズム又はｋ近傍クラスタリングアルゴリズム等であってもよく、本願の実施例は、これを具体的に限定しない。

例を挙げて説明すると、１つのポイントクラウドに１０個のポイントが存在する。これらのポイントは、クラスタリングにより得られた。ここで、３つのポイントは、第１インスタンスに属し、また３つのポイントは、第２インスタンスに属し、残った４つのポイントは、第３インスタンスに属する。これは、抽象レベルのインスタンスセグメンテーションである。

引き続き図３を参照すると、コンピュータ機器は、ポイントクラウドにおける各ポイントの第１ベクトルを得、つまり、ポイントクラウドのインスタンス嵌め込みベクトルＥ_ＩＮＳを得た後、各ポイントのセマンティック融合インスタンス特徴に対してクラスタリングを行い、抽象レベルのインスタンスセグメンテーション結果を得、どの点が同一のインスタンスカテゴリに属するかを決定することができる。

コンピュータ機器は、ポイントクラウドにおける全てのポイントをクラスタリングし、どのポイントが同一のインスタンスカテゴリに属するかを知った後、該インスタンス内の各ポイントのセマンティックセグメンテーション結果を参照しながら、該インスタンスの具体的なインスタンスカテゴリを決定することができる。例を挙げて説明すると、１つのポイントクラウドに１０個のポイントが存在する。これらのポイントは、クラスタリングにより得られた。ここで、３つのポイントは、第１インスタンスに属し、また３つのポイントは、第２インスタンスに属し、残った４つのポイントは、第３インスタンスに属する。この場合、第１インスタンスにおける３つのポイントのセマンティックセグメンテーション結果は、猫である。従って、第１インスタンスは、１匹目の猫である。該インスタンス内のポイントのインスタンスカテゴリは、１匹目の猫である。第２インスタンスにおける３つのポイントのセマンティックセグメンテーション結果は、猫である。従って、第２インスタンスは、２匹目の猫である。該インスタンス内のポイントのインスタンスカテゴリは、２匹目の猫である。第３インスタンスにおける４つのポイントのセマンティックセグメンテーション結果は、猫である。従って、第３インスタンスは、３匹目の猫である。該インスタンス内のポイントのインスタンスカテゴリは、３匹目の猫である。これは、具体的なレベルのインスタンスセグメンテーション結果である。ポイントクラウドにおけるポイントのセマンティックセグメンテーションは、後続の実施例を参照することができる。

上記ポイントクラウドセグメンテーション方法は、まず、処理されるべきポイントクラウドを符号化し、共有特徴を得、次に、異なる復号化分岐により、共有特徴を復号化し、セマンティック特徴及びインスタンス特徴をそれぞれ得、続いて、セマンティック特徴をインスタンス特徴空間にアダプテーションさせた後にインスタンス特徴と融合し、ポイントクラウドの、セマンティック認識特性に富んだインスタンス特徴を得、更に、ポイントクラウドにおける各ポイントの、セマンティック認識特性に富んだインスタンス特徴を得、各ポイントが属するインスタンスカテゴリを決定することができる。このように、セグメンテーションを行うために、特徴に基づく類似度行列に依存せず、ポイントクラウドセグメンテーションの効率を向上させる。また、セマンティック認識特性に富んだインスタンス特徴を学習することで、インスタンスセグメンテーションは、セマンティックセグメンテーションから利益を受けるようになり、ポイントクラウドセグメンテーションの正確性を大幅に向上させる。

図５に示すように、例示的な実施例において、本願の実施例が提供するポイントクラウドセグメンテーション方法は、セマンティックセグメンテーションステップを更に含み、該セマンティックセグメンテーションステップは、下記ステップを含む。

Ｓ５０２において、ポイントクラウドにおけるポイントをそれぞれ中心ポイントとする。

前記実施例は、ポイントクラウドに対してインスタンスセグメンテーションを実行しようとする場合、セマンティック特徴をインスタンス特徴に融合させてインスタンスセグメンテーションを行うプロセスであることに留意されたい。本実施例及び後続の実施例は、ポイントクラウドに対してセマンティックセグメンテーションを実行しようとする場合、インスタンス特徴をセマンティック特徴に融合させてセマンティックセグメンテーションを行うプロセスである。

ポイントクラウドにおけるいずれか２つのポイントの、インスタンス嵌め込みベクトル空間に対応するセマンティック融合インスタンス特徴の間の距離が距離要件を満たす場合、１つのポイントがもう１つのポイントの近隣店であると決定することが理解されるべきである。インスタンス嵌め込みベクトル空間は、セマンティック特徴を埋め込んだインスタンス特徴が位置する空間であり、つまり、セマンティック融合インスタンス特徴が位置する空間である。同一のインスタンスに属するこれらのポイントを融合してセマンティックセグメンテーションを行うべきである。同一のインスタンスに属するポイントがインスタンス嵌め込みベクトル空間において互いに近接し、異なるインスタンスに属するポイントが互いに離間するため、各ポイントのセマンティック融合インスタンス特徴間の特徴距離に基づいて、ポイントクラウドにおけるポイントに対して、インスタンスを単位としてクラスタリングを行い、後続のセマンティックセグメンテーションを行うことができる。

コンピュータ機器は、処理により、ポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴を得た後、ポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴間の特徴距離に基づいて、それぞれポイントクラウドにおける各ポイントを中心ポイントとしてクラスタリングを行い、各ポイントに近接する複数の近隣ポイント（中心ポイント自体を含む）を見出すことができる。各ポイントの複数の近隣ポイントは、１組のポイントであり、１組のポイントは、局所的ポイントクラウドと認められてもよい。

Ｓ５０４において、各ポイントのセマンティック融合インスタンス特徴に基づいて、各中心ポイントに対応する複数の近隣ポイントを決定する。

例示的な実施例において、各ポイントのセマンティック融合インスタンス特徴に基づいて、各中心ポイントに対応する複数の近隣ポイントを決定するステップは、各ポイントのセマンティック融合インスタンス特徴に基づいて、各中心ポイントとポイントクラウドにおける各ポイントとの特徴距離をそれぞれ算出するステップと、該中心ポイントとの特徴距離が所定の距離未満である複数のポイントを該中心ポイントに対応する複数の近隣ポイントとして選択するステップと、を含む。

コンピュータ機器は、ポイントクラウドにおけるポイントをそれぞれ中心ポイントとし、各中心ポイントに対して、該中心ポイントのセマンティック融合インスタンス特徴とポイントクラウドにおける該中心ポイント以外の他の各ポイントのセマンティック融合インスタンス特徴との特徴距離を算出することができる。特徴距離は、該中心ポイントのセマンティック融合インスタンス特徴ベクトルとポイントクラウドにおける該中心ポイント以外の他の各ポイントのセマンティック融合インスタンス特徴ベクトルとのベクトル距離である。

更に、コンピュータ機器は、各中心ポイントに対して、他のポイントと該中心ポイントとの特徴距離を算出した後、距離が小さい所定の数（Ｋ）のポイントを該中心ポイントの複数の近隣ポイント（中心ポイント自体を含む）として選別する。ここで、選別されたＫ個のポイントが同一のインスタンスに属することを確保するために、閾値δ_ｖにより周辺ポイントをフィルタリングすることができる。例示的に、δ_ｖの値は、０．５であってもよく、本願の実施例は、これを具体的に限定しない。

本願の実施例において、ポイントをクラスタリングすることで、ポイントクラウドにおける各ポイントをインスタンスに応じて分類する。このように、インスタンス特徴をセマンティック特徴に融合させる時、同一のインスタンスに属するポイントを融合してセマンティックセグメンテーションを行うことができる。セマンティックセグメンテーションは、インスタンスセグメンテーションから利益を受けるようになり、セマンティックセグメンテーションの正確性を大幅に向上させる。

例示的な実施例において、ポイントクラウドにおける各ポイントの複数の近隣ポイントの数は同じ出会っても異なってもよい。本願の実施例は、これを具体的に限定しない。
引き続き図４を参照すると、コンピュータ機器は、ポイントクラウドのインスタンス嵌め込みベクトルＥ_ＩＮＳを得、つまり、ポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴ベクトルを得た後、ポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴ベクトルに基づいて、ｋＮＮ（ｋ－ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒ：ｋ近傍アルゴリズム）を用いて、各ポイントに対して、インスタンス嵌め込みベクトル空間において、所定の数（Ｋ）の近隣ポイント（自己を含む）を見出すことができる。

Ｓ５０６において、各中心ポイントに対応する複数の近隣ポイントのセマンティック特徴を融合し、対応する中心ポイントのインスタンス融合セマンティック特徴を得る。

各中心ポイントとそれに隣接する複数の近隣ポイントは、同一のインスタンスに属する。同一のインスタンスに属する点を融合してセマンティックセグメンテーションを行うことができることが理解されるべきである。従って、各中心ポイントに対して、該中心ポイントの複数の近隣ポイントを融合することで、対応する中心ポイントのインスタンス融合セマンティック特徴を得ることができる。つまり、インスタンス特徴を融合したセマンティック特徴である。

例示的な実施例において、異なる復号化方式で共有特徴を復号化し、セマンティック特徴及びインスタンス特徴をそれぞれ得るステップは、第１復号化方式で共有特徴を復号化し、ポイントクラウドのセマンティック特徴行列を得、第１復号化方式と異なる第２復号化方式で共有特徴を復号化し、ポイントクラウドのインスタンス特徴行列を得るステップであって、セマンティック特徴行列は、ポイントクラウドにおける各ポイントのセマンティック特徴ベクトルを含む、ステップを含む。

コンピュータ機器は、第１復号化方式で共有特徴を復号化することで、ポイントクラウドのセマンティック特徴行列を得る。該ポイントクラウドのセマンティック特徴行列は、ポイントクラウドにおける各ポイントのセマンティック特徴ベクトルの集合と認められてもよい。例を挙げて説明すると、コンピュータ機器は、共有特徴行列を復号化し、セマンティック特徴行列（大きさがＮ_Ｐ×Ｎ_ＦであるＦ_ＳＥＭ）を得る。つまり、各ポイント（Ｎ_Ｐ個のポイント）のセマンティック特徴ベクトル（大きさが１×Ｎ_Ｆである）を得る。

例示的な実施例において、各複数の近隣ポイントのセマンティック特徴を融合し、対応する中心ポイントのインスタンス融合セマンティック特徴を得るステップは、各中心ポイントに対応する複数の近隣ポイントのセマンティック特徴ベクトルをビット毎に融合し、対応する中心ポイントの第２ベクトルを得るステップであって、第２ベクトルは、インスタンス融合したセマンティック特徴ベクトルである、ステップを含む。

更に、コンピュータ機器は、ポイントクラウドにおける各ポイントの複数の近隣ポイントを得た後、該複数の近隣ポイントのセマンティック特徴ベクトルをビット毎に融合し、該ポイントの第２ベクトルを得る。第２ベクトルは、インスタンス融合したセマンティック特徴ベクトルである。ここで、複数の近隣ポイントのセマンティック特徴ベクトルをビット毎に融合するステップは、ビット毎に最大集合演算を行うことであり、つまり、ビット毎に最大値を取る。例を挙げて説明すると、ベクトルＸ１＝（１，２，３）、ベクトルＸ２＝（３，４，５）、ベクトルＸ１＝（２，６，１）である。従って、該３つのベクトルに対してビット毎に最大値を取ると、Ｘ＝（３，６，５）を得る。

本願の実施例において、ポイントをクラスタリングし、ポイントクラウドにおけるポイントをインスタンスに応じて分類する。従って、インスタンス特徴をセマンティック特徴に融合する時、同一のインスタンスに属するこれらのポイントを融合してセマンティックセグメンテーションを行うことができる。セマンティックセグメンテーションは、インスタンスセグメンテーションから利益を受けるようになり、セマンティックセグメンテーションの正確性を向上させる。

ポイントクラウドにおけるポイントをクラスタリングした後、各ポイントは、１つのインデックス行列に対応することが理解されるべきである。インデックス行列は、特徴融合のための根拠である。インデックス行列は、１つのポイントクラウドにおけるポイントの間の隣接関係を表す。つまり、１つのポイントのインデックス行列は、該ポイントに近接する複数の近隣ポイントに指向する。ポイントクラウド内のポイントのセマンティック特徴ベクトルが組み合わせられて大きさがＮ_Ｐ×Ｋ×Ｎ_Ｆである特徴テンソルとなる。該特徴テンソルは、各ポイントの局所ポイントクラウドを明示的に記述する。つまり、Ｎ_Ｐ組のセマンティック特徴ベクトルが存在する。各組にＫ個のセマンティック特徴ベクトルが存在する。ここで、Ｋは、１つのポイントの近隣ポイントの数である。

引き続き図４を参照すると、コンピュータ機器は、各ポイントに対して、インスタンス嵌め込みベクトル空間において、所定の数（Ｋ）の近隣ポイント（自己を含む）を見出した後、該Ｋ個の近隣ポイントのセマンティック特徴ベクトルをビット毎に融合（Ａｇｇｒｅｇａｔｉｏｎ）して、該Ｋ個の近隣ポイントの中心ポイントのインスタンス融合セマンティック特徴ベクトルとする。更に、ポイントクラウドのセマンティック嵌め込みベクトルＦ_ＩＳＥＭを得る。つまり、ポイントクラウドにおける全てのポイントのインスタンス融合セマンティック特徴ベクトルの集合を得る。

Ｓ５０８において、ポイントクラウドにおける各中心ポイントのインスタンス融合セマンティック特徴に基づいて、各ポイントが属するセマンティックカテゴリを決定する。

ポイントクラウドにおける各ポイントは、いずれも中心ポイントとされてもよい。従って、ポイントクラウドにおける各ポイントはいずれも複数の近隣ポイントに対応する。つまり、ポイントクラウドにおける各ポイントに対して、いずれも、１つのインスタンス融合セマンティック特徴を算出することができる。ポイントクラウドにおける各ポイントは、いずれも、インスタンス融合セマンティック特徴に基づいて、これが属するセマンティックカテゴリを決定することができる。

例示的な実施例において、ポイントクラウドにおける各ポイントのインスタンス融合セマンティック特徴に基づいて、対応するポイントが属するセマンティックカテゴリを決定するステップは、各ポイントの独立した第３全結合層により、各中心ポイントのインスタンス融合セマンティック特徴を対応するセマンティック予測ベクトルに変換するステップと、各中心ポイントのセマンティック予測ベクトルにおける最大ベクトル要素に対応するセマンティックカテゴリを各ポイントが属するセマンティックカテゴリとするステップと、を含む。

本願の実施例において、各ポイントの独立した全結合層により、インスタンス融合セマンティック特徴に基づいてポイントクラウドにおけるポイントに対してセマンティックセグメンテーション処理を行うことを実現させる。コンピュータ機器は、ポイントクラウド全体のセマンティック嵌め込みベクトルである、各ポイントのインスタンス融合セマンティック特徴ベクトルを、各ポイントの独立した第３全結合層に入力し、第３全結合層によりポイントクラウド全体のセマンティック嵌め込みベクトルに対して処理を行うことで、ポイントクラウドのセマンティック予測行列を出力することができる。該ポイントクラウドのセマンティック予測行列は、各ポイントのセマンティック予測ベクトルを含む。ここで、各ポイントのセマンティック予測ベクトルの次元は、所定のセマンティックカテゴリの数である。これにより、各ポイントのセマンティック予測ベクトルにおける最大ベクトル要素に対応するセマンティックカテゴリを各ポイントが属するセマンティックカテゴリとすることができる。

セマンティック予測ベクトルにおける各ベクトル要素は、それぞれ１つのセマンティックカテゴリの確率に対応してもよい。例を挙げて説明すると、１つのポイントのセマンティック予測ベクトルがＸ_ＳＥＭ＝（０．１,０．１,０．６,０．１,０．１）であり、第３ビットのベクトル要素が最も大きいとすれば、該ベクトル要素に対応するセマンティックカテゴリは、該ポイントが属するセマンティックカテゴリである。

例示的な実施例において、各ポイントの独立した第３全結合層のネットワーク構造は、正規化層及び活性化層を含み、該２つのネットワーク層は、入力されたデータに対して順に処理を行う。

引き続き図４を参照すると、コンピュータ機器は、ポイントクラウドのセマンティック嵌め込みベクトルＦ_ＩＳＥＭを得、つまり、ポイントクラウドにおける各ポイントのインスタンス融合セマンティック特徴ベクトルを得た後、各ポイントの独立した全結合層により、ポイントクラウドのセマンティック予測行列Ｐ_ＳＥＭである、各ポイントのセマンティック予測ベクトルの集合を出力する。

引き続き図３を参照すると、セマンティック特徴行列Ｆ_ＳＥＭ及びインスタンス特徴行列Ｆ_ＩＮＳを複合セグメンテーションネットワーク構造に入力した後、セマンティック予測行列Ｐ_ＳＥＭというもう１つの出力を得る。ここで、コンピュータ機器における所定のセマンティックカテゴリの数はＮ_Ｃであり、セマンティック予測行列Ｐ_ＳＥＭの大きさは、Ｎ_Ｐ×Ｎ_Ｃである。コンピュータ機器は、Ｐ_ＳＥＭに対してＡｒｇｍａｘ（最大値引数ポイント集合）演算を行い、各ポイントが属するセマンティックカテゴリを決定することができる。

本願の実施例において、ポイントクラウド全体のインスタンス融合セマンティック特徴を得た後、全結合層により、各ポイントに対してセマンティックセグメンテーションを行い、セグメンテーション結果をより正確にすることができる。

例示的な実施例において、ステップＳ５１０を更に含む。

Ｓ５１０において、各ポイントのセマンティック融合インスタンス特徴及び属するセマンティックカテゴリに基づいて、各ポイントが属するインスタンスカテゴリを決定する。

例示的な実施例において、各ポイントのセマンティック融合インスタンス特徴及び属するセマンティックカテゴリに基づいて、各ポイントが属するインスタンスカテゴリを決定するステップは、ポイントクラウドにおける各点に対して、該ポイントのインスタンス特徴とポイントクラウドにおける該ポイント以外の他の各ポイントのインスタンス特徴との特徴距離を算出するステップと、算出された特徴距離に基づいて、ポイントクラウドにおける全てのポイントをクラスタリングし、複数組のポイントを得るステップと、複数組のポイントにおける各組のポイントが属するセマンティックカテゴリに基づいて、各組のポイントが属するインスタンスカテゴリを決定するステップと、を含み、つまり、各組のポイントに含まれるポイントが属するセマンティックカテゴリに基づいて、各組のポイントに含まれるポイントが属するインスタンスカテゴリを決定する。ここで、Ｓ５１０は、Ｓ２１０に含まれる。

セマンティックセグメンテーション結果を取得していない場合、ポイントクラウドに対するインスタンスセグメンテーションは、抽象レベルのインスタンスセグメンテーションであることが理解されるべきである。その結果により、どのポイントが１つのインスタンスに属するかのみを決定できる。セマンティックセグメンテーション結果を得た後、セマンティックセグメンテーション結果を参照しながら、具体的レベルのインスタンスセグメンテーション結果を得ることができる。

引き続き図３を参照すると、コンピュータ機器は、ポイントクラウドにおける各ポイントのセマンティックセグメンテーション結果を得た後、抽象レベルのインスタンスセグメンテーション結果をそれと組み合わせて、具体的レベルのインスタンスセグメンテーション結果を得、どのポイントがどのインスタンスに属するかを決定することができる。

例を挙げて説明すると、コンピュータ機器は、どのポイントが同一のインスタンスに属するかを決定した後、該インスタンス内の各ポイントのセマンティックセグメンテーション結果を参照しながら、該インスタンスの具体的な具体インスタンスカテゴリを決定することができる。例を挙げて説明すると、１つのポイントクラウドに１０個のポイントが存在する。これらは、クラスタリングにより得られた。ここで、３つのポイントは、第１インスタンスに属し、また３つのポイントは、第２インスタンスに属し、残った４つのポイントは、第３インスタンスに属する。この場合、第１インスタンスにおける３つのポイントのセマンティックセグメンテーション結果は、猫である。従って、第１インスタンスは、１匹目の猫であり、該インスタンス内のポイントのインスタンスカテゴリは、１匹目の猫である。第２インスタンスにおける３つのポイントのセマンティックセグメンテーション結果は、猫である。従って、第２インスタンスは、２匹目の猫であり、該インスタンス内のポイントのインスタンスカテゴリは、２匹目の猫である。第３インスタンスにおける４つのポイントのセマンティックセグメンテーション結果は、猫である。従って、第３インスタンスは、３匹目の猫であり、該インスタンス内のポイントのインスタンスカテゴリは、３匹目の猫である。これは、具体的レベルのインスタンスセグメンテーション結果である。

本願の実施例において、抽象レベルのインスタンスセグメンテーション結果を得た後、セマンティックセグメンテーション結果を参照しながら、具体的レベルのインスタンスセグメンテーション結果を決定することができる。ここで、セマンティックセグメンテーションは、インスタンスセグメンテーションから利益を受け、インスタンスセグメンテーションもセマンティックセグメンテーションから利益を受ける。これにより、ポイントクラウドセグメンテーションの正確性を大幅に向上させる。

図６は、一実施例による複合セグメンテーション三次元ポイントクラウドにおけるインスタンス及びセマンティックを示す概略図である。図６を参照すると、処理されるべき三次元ポイントクラウドを符号化（Ｅｎｃｏｄｅｒ）した後に共有特徴を得る。並行して共有特徴をセマンティックセグメンテーション分岐により復号化（Ｓｅｍ．Ｄｅｃｏｄｅｒ）してセマンティック特徴を得てインスタンスセグメンテーション分岐により復号化（Ｉｎｓ．Ｄｅｃｏｄｅｒ）してインスタンス特徴を得た後、セマンティック特徴とインスタンス特徴を更に複合セグメンテーション（ＡＳＩＳ）により、セマンティック融合インスタンスセグメンテーションした三次元ポイントクラウド及びインスタンス融合セマンティックセグメンテーションした三次元ポイントクラウドを得る。

上記実施例において、まず、処理されるべきポイントクラウドを符号化し、共有特徴を得、次に、異なる復号化分岐により、共有特徴を復号化し、セマンティック特徴及びインスタンス特徴をそれぞれ得る。セマンティック特徴をインスタンス特徴空間にアダプテーションさせた後にインスタンス特徴と融合し、ポイントクラウドの、セマンティック認識特性に富んだインスタンス特徴を得、更に、ポイントクラウドにおける各ポイントの、セマンティック認識特性に富んだインスタンス特徴を得る。一方で、各ポイントの、セマンティック認識特性に富んだインスタンス特徴に基づいて、ポイントクラウドにおける各ポイントをインスタンスに応じて分類し、１つのインスタンスに属するポイントのセマンティック特徴を融合する。これにより、セマンティックセグメンテーションは、インスタンスセグメンテーションから利益を受けるようになる。このように、セマンティック認識特性に富んだインスタンス特徴を学習することで、インスタンスセグメンテーションがセマンティックセグメンテーションから利益を受けるようになる。それと同時に、同一のインスタンスに属するポイントのセマンティック特徴は融合されて、より正確なセマンティックカテゴリ予測結果を生成する。２種のセグメンテーションは、互いに相手から利益を受け、双方が満足した特性向上を実現させ、セグメンテーションの効率を向上させるだけでなく、セグメンテーションの正確性も向上させる。

例示的な実施例において、ポイントクラウドセグメンテーション方法は、ステップＳ２０２－Ｓ２０８又はＳ５０２－Ｓ５０８のみを含んでもよい。つまり、ポイントクラウドに対してセマンティック融合インスタンスセグメンテーション又はインスタンス融合セマンティックセグメンテーションを行うステップのみを含んでもよい。

例示的な実施例において、本願の実施例で提供されるポイントクラウドセグメンテーション方法は、処理されるべきポイントクラウドを符号化し、共有特徴を得るステップと、異なる復号化方式で共有特徴を復号化し、ポイントクラウドのセマンティック特徴及びポイントクラウドのインスタンス特徴をそれぞれ得るステップと、ポイントクラウドのセマンティック特徴をインスタンス特徴空間にアダプテーションさせた後にポイントクラウドのインスタンス特徴と融合し、ポイントクラウドのセマンティック融合インスタンス特徴を得るステップと、ポイントクラウドのセマンティック融合インスタンス特徴に対して分割を行い、ポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴を得るステップと、各ポイントのセマンティック融合インスタンス特徴に基づいて、各ポイントに対応する複数の近隣ポイントを決定するステップと、各ポイントに対応する複数の近隣ポイントのセマンティック特徴を融合し、対応するポイントのインスタンス融合セマンティック特徴を得るステップと、各ポイントのインスタンス融合セマンティック特徴に基づいて、対応するポイントが属するセマンティックカテゴリを決定するステップと、各ポイントのセマンティック融合インスタンス特徴及び属するセマンティックカテゴリに基づいて、各ポイントが属するインスタンスカテゴリを決定するステップと、を含んでもよい。つまり、ポイントクラウドに対してインスタンス融合セマンティックセグメンテーションとセマンティック融合インスタンスセグメンテーションとの複合処理を行うステップを含んでもよい。

例示的な実施例において、処理されるべきポイントクラウドを取得した後、ポイントクラウドに対して処理を行い、インスタンスセグメンテーション結果及びセマンティックセグメンテーション結果を得るまで継続するプロセスにおいて、用いられる深層学習ネットワーク構造は、統合訓練により得られる。該訓練プロセスは、教師あり訓練プロセスである。訓練データは、ポイントクラウドサンプルである。コンピュータ機器は、各ポイントクラウドサンプルにおける各ポイントサンプルに対して、インスタンスカテゴリタグ及びセマンティックカテゴリタグを決定して、教師あり訓練を行うことができる。

要するに、本願の実施例が提供する技術的解決手段は、幅広い応用見通しを有し、自動運転、室内ナビゲーション及び拡張現実などの分野において大きな潜在性を有する。また、三次元センサの成長及び普及に伴い、三次元空間に対するセンシングは特に重要になる。例えば、室内ロボットの制御において、走査により得られた三次元ポイントクラウドをセグメンテーションし、例えば、セマンティック及びインスタンスに応じてセグメンテーションを行うことができれば、ロボットが各種の物体（セマンティックセグメンテーション）、延いては各物体（インスタンスセグメンテーション）を感知できるようになり、ロボットのナビゲーション及び制御能力を更に向上させることができる。

ここで、セマンティックセグメンテーションは、室内ロボットの制御を指導するために用いられる。例えば、室内シーンにおいて、ロボットは、センサにより、手前のポイントクラウドを得る。本願が提供する技術的解決手段によれば、ロボットに、手前がドアであることを知らせ、どの部分がドアのハンドルであるかを知らせることができる。これにより、後続のドア開け等の動作を行うことができる。

インスタンスセグメンテーションについて、初段の適用は、数統計であり、例えば、部屋内の椅子の数を統計する。ロボットに対する制御を指導することもできる。例えば、各椅子の位置を知ることができる。又は、拡張現実シーンにおいて、各椅子をモンスターに変換することができる。

上記各実施例のフローチャートにおける各ステップは矢印に示される順番で表示されるが、これらのステップは、必ずしも矢印に示される順番で順次実行されるとは限らないと理解されるべきである。本明細書に特に明記しない限り、これらのステップの実行は厳格な順番に限定されるものではない。これらのステップは、他の順番で実行されてもよい。また、各実施例における少なくとも一部のステップは、複数のサブステップ又は複数の段階を含んでもよい。これらのサブステップ又は段階は、必ずしも同一の時刻で実行されるとは限らず、異なる時刻で実行されてもよい。これらのサブステップ又は段階は必ずしも実行順番で実行されるとは限らず、他のステップ又は他のステップのサブステップや段階の少なくとも一部と共に順次実行されてもよいし、交替で実行されてもよい。

図７に示すように、例示的な実施例において、ポイントクラウドセグメンテーション装置７００を提供する。図７を参照すると、該ポイントクラウドセグメンテーション装置７００は、符号化モジュール７０１と、復号化モジュール７０２と、セマンティック融合インスタンスモジュール７０３と、セマンティック融合インスタンスセグメンテーションモジュール７０４と、を備える。

符号化モジュール７０１は、処理されるべきポイントクラウドに対して符号化を行い、共有特徴を得るように構成される。

復号化モジュール７０２は、異なる復号化方式で共有特徴を復号化し、セマンティック特徴及びインスタンス特徴をそれぞれ得るように構成される。

セマンティック融合インスタンスモジュール７０３は、セマンティック特徴をインスタンス特徴空間にアダプテーションさせた後にインスタンス特徴と融合し、ポイントクラウドのセマンティック融合インスタンス特徴を得るように構成され、セマンティック融合インスタンス特徴は、セマンティック特徴を融合したインスタンス特徴を表す。セマンティック融合インスタンスモジュール７０３は、ポイントクラウドのセマンティック融合インスタンス特徴に対して分割を行い、ポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴を得るように構成される。

セマンティック融合インスタンスセグメンテーションモジュール７０４は、各ポイントのセマンティック融合インスタンス特徴に基づいて、各ポイントが属するインスタンスカテゴリを決定するように構成される。

上記ポイントクラウドセグメンテーション装置７００は、まず、処理されるべきポイントクラウドを符号化し、共有特徴を得、次に、異なる復号化分岐により、共有特徴を復号化し、セマンティック特徴及びインスタンス特徴をそれぞれ得、続いて、セマンティック特徴をインスタンス特徴空間にアダプテーションさせた後にインスタンス特徴と融合し、ポイントクラウドの、セマンティック認識特性に富んだインスタンス特徴を得、更に、ポイントクラウドにおける各ポイントの、セマンティック認識特性に富んだインスタンス特徴を得、各ポイントが属するインスタンスカテゴリを決定することができる。このように、セグメンテーションを行うために、特徴に基づく類似度行列に依存せず、ポイントクラウドセグメンテーションの効率を向上させる。また、セマンティック認識特性に富んだインスタンス特徴を学習することで、インスタンスセグメンテーションは、セマンティックセグメンテーションから利益を受けるようになり、ポイントクラウドセグメンテーションの正確性を大幅に向上させる。

例示的な実施例において、符号化モジュール７０１は更に、処理されるべきポイントクラウドを取得し、ポイントクラウドにおける各ポイントの座標特徴とチャネル特徴を組み合わせ、対応するポイントの初期特徴を得、各前記ポイントの初期特徴を共同で符号化し、前記ポイントクラウドに対応する共有特徴を得るように構成される。

例示的な実施例において、復号化モジュール７０２は更に、第１復号化構造により共有特徴を復号化し、セマンティック特徴を得、第２復号化構造により共有特徴を復号化し、インスタンス特徴を得るように構成され、第１復号化構造と第２復号化構造とは、構造が同じであるが、復号化パラメータが異なる。

例示的な実施例において、セマンティック特徴は、セマンティック特徴行列であり、インスタンス特徴は、インスタンス特徴行列である。セマンティック融合インスタンスモジュール７０３は更に、各ポイントの独立した第１全結合層によりセマンティック特徴行列をインスタンス特徴空間にアダプテーションさせ、インスタンス特徴空間にアダプテーションしたセマンティック特徴行列とインスタンス特徴行列をビット毎に加算し、ポイントクラウドの第１行列を得るように構成され、前記第１行列は、セマンティック融合したインスタンス特徴行列である。

例示的な実施例において、セマンティック融合インスタンスモジュール７０３は更に、ポイントクラウドのセマンティック融合インスタンス特徴行列を各ポイントの独立した第２全結合層に入力し、第２全結合層に含まれる正規化層及び活性化層により、ポイントクラウドの第１行列に対して順に処理を行い、ポイントクラウドにおける各ポイントの第１ベクトルを得るように構成され、第１ベクトルは、セマンティック融合したインスタンス特徴ベクトルである。

例示的な実施例において、セマンティック融合インスタンスセグメンテーションモジュール７０４は更に、ポイントクラウドにおける各ポイントに対して、ポイントのセマンティック融合インスタンス特徴とポイントクラウドにおける前記ポイント以外の他の各ポイントのセマンティック融合インスタンス特徴との特徴距離をそれぞれ算出し、算出された特徴距離に基づいて、ポイントクラウドにおけるポイントをクラスタリングし、複数組のポイントを得るように構成され、複数組のポイントにおける各組のポイントは、１つのインスタンスカテゴリに対応する。

図８に示すように、例示的な実施例において、ポイントクラウドセグメンテーション装置７００は、インスタンス融合セマンティックモジュール７０５と、インスタンス融合セマンティックセグメンテーションモジュール７０６と、を更に備える。

インスタンス融合セマンティックモジュール７０５は、ポイントクラウドにおける各ポイントをそれぞれ中心ポイントとし、各ポイントのセマンティック融合インスタンス特徴に基づいて、各中心ポイントに対応する複数の近隣ポイントを決定し、各中心ポイントに対応する複数の近隣ポイントのセマンティック特徴を融合し、対応する中心ポイントのインスタンス融合セマンティック特徴を得るように構成される。

インスタンス融合セマンティックセグメンテーションモジュール７０６は、各中心ポイントのインスタンス融合セマンティック特徴に基づいて、各ポイントが属するセマンティックカテゴリを決定するように構成される。

上記ポイントクラウドセグメンテーション装置７００は、まず、処理されるべきポイントクラウドを符号化し、共有特徴を得、次に、異なる復号化分岐により、共有特徴を復号化し、セマンティック特徴及びインスタンス特徴をそれぞれ得る。セマンティック特徴をインスタンス特徴空間にアダプテーションさせた後にインスタンス特徴と融合し、ポイントクラウドの、セマンティック認識特性に富んだインスタンス特徴を得、更に、ポイントクラウドにおける各ポイントの、セマンティック認識特性に富んだインスタンス特徴を得る。一方で、各ポイントの、セマンティック認識特性に富んだインスタンス特徴に基づいて、ポイントクラウドにおける各ポイントをインスタンスに応じて分類し、１つのインスタンスに属するポイントのセマンティック特徴を融合する。これにより、セマンティックセグメンテーションは、インスタンスセグメンテーションから利益を受けるようになる。このように、セマンティック認識特性に富んだインスタンス特徴を学習することで、インスタンスセグメンテーションがセマンティックセグメンテーションから利益を受けるようになる。それと同時に、同一のインスタンスに属するポイントのセマンティック特徴は融合されて、より正確なセマンティックカテゴリ予測結果を生成する。２種のセグメンテーションは、互いに相手から利益を受け、双方が満足した特性向上を実現させ、セグメンテーションの効率を向上させるだけでなく、セグメンテーションの正確性も向上させる。

例示的な実施例において、インスタンス融合セマンティックモジュール７０５は更に、各ポイントのセマンティック融合インスタンス特徴に基づいて、各中心ポイントとポイントクラウドにおける各ポイントとの特徴距離をそれぞれ算出し、中心ポイントとの特徴距離が所定の距離未満である複数のポイントを中心ポイントに対応する複数の近隣ポイントとして選択するように構成される。

例示的な実施例において、復号化モジュール７０２は更に、第１復号化方式で共有特徴を復号化し、ポイントクラウドのセマンティック特徴行列を得、第１復号化方式と異なる第２復号化方式で共有特徴を復号化し、ポイントクラウドのインスタンス特徴行列を得るように構成され、セマンティック特徴行列は、ポイントクラウドにおける各ポイントのセマンティック特徴ベクトルを含む。インスタンス融合セマンティックモジュール７０５は更に、各中心ポイントに対応する複数の近隣ポイントのセマンティック特徴ベクトルをビット毎に融合し、対応する中心ポイントの第２ベクトルを得るように構成され、第２ベクトルは、インスタンス融合したセマンティック特徴ベクトルである。

例示的な実施例において、インスタンス融合セマンティックセグメンテーションモジュール７０６は更に、各ポイントの独立した第３全結合層により、各中心ポイントのインスタンス融合セマンティック特徴を対応するセマンティック予測ベクトルに変換し、各中心ポイントのセマンティック予測ベクトルにおける最大ベクトル要素に対応するセマンティックカテゴリを各ポイントが属するセマンティックカテゴリとするように構成される。

例示的な実施例において、セマンティック融合インスタンスセグメンテーションモジュール７０４は更に、ポイントクラウドにおける各点に対して、前記ポイントのインスタンス特徴とポイントクラウドにおける前記ポイント以外の他の各ポイントのインスタンス特徴との特徴距離を算出し、算出された特徴距離に基づいて、ポイントクラウドにおけるポイントをクラスタリングし、複数組のポイントを得、複数組のポイントにおける各組のポイントが属するセマンティックカテゴリに基づいて、各組のポイントが属するインスタンスカテゴリを決定するように構成される。

図９は、一例示的な実施例によるコンピュータ機器の内部構造を示す図である。該コンピュータ機器は、図１に示した端末１１０又はサーバ１２０であってもよい。図９に示すように、該コンピュータ機器は、システムバスを介して接続されるプロセッサ、メモリ及びネットワークインタフェースを備える。ここで、メモリは、不揮発性記憶媒体及び内部メモリを含む。該コンピュータ機器の不揮発性記憶媒体には、オペレーティングシステムが記憶されており、コンピュータプログラムが記憶されてもよい。該コンピュータプログラムがプロセッサにより実行されるときに、プロセッサに、ポイントクラウドセグメンテーション方法を実行させる。該内部メモリには、コンピュータプログラムが記憶されてもよい。該コンピュータプログラムがプロセッサにより実行されるときに、プロセッサに、ポイントクラウドセグメンテーション方法を実行させる。当業者には明らかなように、図９示した構造は、本願の技術的解決手段に関連する一部の構造のブロック図に過ぎず、本願の技術的解決手段に適用されるコンピュータ機器を限定するものではなく、具体的なコンピュータ機器は、図示したものより多く又はより少ない部材を備えてもよいし、幾つかの部材を組み合わせたものであってもよいし、異なる部材配置を備えてもよい。

例示的な実施例において、本願が提供するポイントクラウドセグメンテーション装置は、コンピュータプログラムの形態として実現してもよい。コンピュータプログラムは、図９に示したコンピュータ機器上で実行可能である。コンピュータ機器のメモリに、該ポイントクラウドセグメンテーション装置を構成する各プログラムモジュールが記憶されてもよい。例えば、図７に示した符号化モジュール７０１、復号化モジュール７０２、セマンティック融合インスタンスモジュール７０３及びセマンティック融合インスタンスセグメンテーションモジュール７０４が記憶されてもよい。各プログラムモジュールで構成されるコンピュータプログラムは、プロセッサに本明細書に記載の本願の各実施例のポイントクラウドセグメンテーション方法におけるステップを実行させる。

例えば、図９に示したコンピュータ機器は、図７に示したポイントクラウドセグメンテーション装置７００における符号化モジュール７０１により、処理されるべきポイントクラウドを符号化し、共有特徴を得ることができる。復号化モジュール７０２により、異なる復号化方式で共有特徴を復号化し、セマンティック特徴及びインスタンス特徴をそれぞれ得る。セマンティック融合インスタンスモジュール７０３により、セマンティック特徴をインスタンス特徴空間にアダプテーションさせた後にインスタンス特徴と融合し、ポイントクラウドのセマンティック融合インスタンス特徴を得る。ポイントクラウドのセマンティック融合インスタンス特徴は、セマンティック特徴を融合したインスタンス特徴を表す。ポイントクラウドのセマンティック融合インスタンス特徴を分割し、ポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴を得る。セマンティック融合インスタンスセグメンテーションモジュール７０４により、各ポイントのセマンティック融合インスタンス特徴に基づいて、各ポイントが属するインスタンスカテゴリを決定する。

例示的な実施例において、メモリと、プロセッサと、を備えるコンピュータ機器を提供する。メモリにコンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサにより実行されるときに、プロセッサに上記ポイントクラウドセグメンテーション方法のステップを実行させる。ここのポイントクラウドセグメンテーション方法のステップは、上記各実施例のポイントクラウドセグメンテーション方法におけるステップであってもよい。

例示的な実施例において、コンピュータプログラムを記憶したコンピュータ可読記憶媒体を提供する。コンピュータプログラムがプロセッサにより実行されるときに、プロセッサに上記ポイントクラウドセグメンテーション方法のステップを実行させる。ここのポイントクラウドセグメンテーション方法のステップは、上記各実施例のポイントクラウドセグメンテーション方法におけるステップであってもよい。

例示的な実施例において、コンピュータプログラム提供する。コンピュータプログラムはコンピュータに上記ポイントクラウドセグメンテーション方法のステップを実行させる。ここのポイントクラウドセグメンテーション方法のステップは、上記各実施例のポイントクラウドセグメンテーション方法におけるステップであってもよい。

当業者であれば、上述した実施例の方法におけるすべて又は一部のフローの実現について、コンピュータプログラムによって関連したハードウェアに指示を出すことで完成することができ、前記プログラムが不揮発性コンピュータ可読記憶媒体に記憶されてもよく、該プログラムが実行される場合、上記各方法の実施例のフローを含んでもよいことが理解すべきである。ここで、本願が提供する各実施例に用いられるメモリ、記憶、データベース又は他の媒体へのあらゆる言及は不揮発性及び／又は揮発性メモリを含む。不揮発性メモリは、リードオンリーメモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部キャッシュメモリを含んでもよい。非限定的な例証として、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）及び、メモリラムバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリラムバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）及びメモリラムバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの多数の形態で使用可能である。

以上の実施例の各技術的特徴は任意に組み合わせることができ、説明を簡潔にするために、上記実施例における各技術的特徴のすべての可能な組合せについて説明していないが、これらの技術的特徴の組合せは矛盾しない限り、本明細書に記載されている範囲に属すると考えられる。

以上の実施例は本願の幾つかの実施形態を示したものに過ぎず、具体的かつ詳細に記載はしたが、これにより本願の特許請求の範囲が限定されると解釈すべきではない。当業者にとって、本願の構想を離脱しない前提で、さらに複数の変形及び改良を行うことができるが、これらは全て本願の保護範囲に属されるべきであることに留意されたい。従って、本願の特許の保護範囲は添付の請求項に準ずるべきである。

700 ポイントクラウドセグメンテーション装置
701 符号化モジュール
702 復号化モジュール
703 セマンティック融合インスタンスモジュール
704 セマンティック融合インスタンスセグメンテーションモジュール
705 インスタンス融合セマンティックモジュール
706 インスタンス融合セマンティックセグメンテーションモジュール

Claims (13)

1. コンピュータ機器が実行するポイントクラウドセグメンテーション方法であって、
   処理されるべきポイントクラウドに対して符号化を行い、共有特徴を得るステップであって、前記共有特徴は、セマンティックレベル及びインスタンスレベルで共有される特徴である、ステップと、
   異なる復号化方式で前記共有特徴を復号化し、セマンティック特徴及びインスタンス特徴をそれぞれ得るステップと、
   各ポイントをそれぞれ処理する各ポイントの独立した全結合層により前記セマンティック特徴をインスタンス特徴空間にアダプテーションさせた後に、前記インスタンス特徴と融合し、前記ポイントクラウドのセマンティック融合インスタンス特徴を得るステップであって、前記セマンティック融合インスタンス特徴は、セマンティック特徴を融合したインスタンス特徴を表す、ステップと、
   前記ポイントクラウドのセマンティック融合インスタンス特徴に対して分割を行い、前記ポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴を得るステップと、
   各前記ポイントのセマンティック融合インスタンス特徴に基づいて、各前記ポイントが属するインスタンスカテゴリを決定するステップと、を含む、ポイントクラウドセグメンテーション方法。
2. 前記処理されるべきポイントクラウドに対して符号化を行い、共有特徴を得るステップは、
   処理されるべきポイントクラウドを取得するステップと、
   前記ポイントクラウドにおける各ポイントの座標特徴とチャネル特徴を組み合わせ、対応するポイントの初期特徴を得るステップと、
   各前記ポイントの初期特徴を共同で符号化し、前記ポイントクラウドに対応する共有特徴を得るステップと、を含むことを特徴とする
   請求項１に記載のポイントクラウドセグメンテーション方法。
3. 前記異なる復号化方式で前記共有特徴を復号化し、セマンティック特徴及びインスタンス特徴をそれぞれ得るステップは、
   第１復号化構造により前記共有特徴を復号化し、セマンティック特徴を得るステップと、
   第２復号化構造により前記共有特徴を復号化し、インスタンス特徴を得るステップと、を含み、
   前記第１復号化構造と前記第２復号化構造とは、構造が同じであるが、復号化パラメータが異なることを特徴とする
   請求項１に記載のポイントクラウドセグメンテーション方法。
4. 前記セマンティック特徴は、セマンティック特徴行列であり、前記インスタンス特徴は、インスタンス特徴行列であり、各ポイントをそれぞれ処理する各ポイントの独立した全結合層により前記セマンティック特徴をインスタンス特徴空間にアダプテーションさせた後に、前記インスタンス特徴と融合し、前記ポイントクラウドのセマンティック融合インスタンス特徴を得るステップは、
   各ポイントの独立した第１全結合層により前記セマンティック特徴行列をインスタンス特徴空間にアダプテーションさせるステップと、
   前記インスタンス特徴空間にアダプテーションしたセマンティック特徴行列と前記インスタンス特徴行列をビット毎に加算し、前記ポイントクラウドの第１行列を得るステップであって、前記第１行列は、セマンティック融合したインスタンス特徴行列である、ステップと、を含むことを特徴とする
   請求項１に記載のポイントクラウドセグメンテーション方法。
5. 前記ポイントクラウドのセマンティック融合インスタンス特徴に対して分割を行い、前記ポイントクラウドにおける各ポイントのセマンティック融合インスタンス特徴を得るステップは、
   前記ポイントクラウドのセマンティック融合インスタンス特徴行列を各ポイントの独立した第２全結合層に入力するステップと、
   前記第２全結合層に含まれる正規化層及び活性化層により、前記ポイントクラウドの第１行列に対して順に処理を行い、前記ポイントクラウドにおける各ポイントの第１ベクトルを得るステップであって、前記第１ベクトルは、セマンティック融合したインスタンス特徴ベクトルである、ステップと、を含むことを特徴とする
   請求項４に記載のポイントクラウドセグメンテーション方法。
6. 前記各前記ポイントのセマンティック融合インスタンス特徴に基づいて、各前記ポイントが属するインスタンスカテゴリを決定するステップは、
   前記ポイントクラウドにおける各ポイントに対して、前記ポイントのセマンティック融合インスタンス特徴と前記ポイントクラウドにおける前記ポイント以外の他の各ポイントのセマンティック融合インスタンス特徴との特徴距離をそれぞれ算出するステップと、
   算出された前記特徴距離に基づいて、前記ポイントクラウドにおけるポイントをクラスタリングし、複数組のポイントを得るステップであって、前記複数組のポイントにおける各組のポイントは、１つのインスタンスカテゴリに対応する、ステップと、を含むことを特徴とする請求項１に記載のポイントクラウドセグメンテーション方法。
7. 前記ポイントクラウドにおける各前記ポイントをそれぞれ中心ポイントとするステップと、
   各前記ポイントのセマンティック融合インスタンス特徴に基づいて、各前記中心ポイントに対応する複数の近隣ポイントを決定するステップと、
   各前記中心ポイントに対応する複数の近隣ポイントのセマンティック特徴を融合し、対応する中心ポイントのインスタンス融合セマンティック特徴を得るステップと、
   各前記中心ポイントのインスタンス融合セマンティック特徴に基づいて、各前記ポイントが属するセマンティックカテゴリを決定するステップと、を更に含むことを特徴とする
   請求項１～５のうちいずれか一項に記載のポイントクラウドセグメンテーション方法。
8. 各前記ポイントのセマンティック融合インスタンス特徴に基づいて、各前記中心ポイントに対応する複数の近隣ポイントを決定するステップは、
   各前記ポイントのセマンティック融合インスタンス特徴に基づいて、各中心ポイントと前記ポイントクラウドにおける各ポイントとの特徴距離をそれぞれ算出するステップと、
   前記中心ポイントとの特徴距離が所定の距離未満である複数のポイントを前記中心ポイントに対応する複数の近隣ポイントとして選択するステップと、を含むことを特徴とする
   請求項７に記載のポイントクラウドセグメンテーション方法。
9. 異なる復号化方式で前記共有特徴を復号化し、セマンティック特徴及びインスタンス特徴をそれぞれ得るステップは、
   第１復号化方式で前記共有特徴を復号化し、前記ポイントクラウドのセマンティック特徴行列を得るステップと、
   前記第１復号化方式と異なる第２復号化方式で前記共有特徴を復号化し、前記ポイントクラウドのインスタンス特徴行列を得るステップであって、前記セマンティック特徴行列は、前記ポイントクラウドにおける各ポイントのセマンティック特徴ベクトルを含む、ステップと、を含み、
   各前記中心ポイントに対応する複数の近隣ポイントのセマンティック特徴を融合し、対応する中心ポイントのインスタンス融合セマンティック特徴を得るステップは、
   各前記中心ポイントに対応する複数の近隣ポイントのセマンティック特徴ベクトルをビット毎に融合し、対応する中心ポイントの第２ベクトルを得るステップであって、前記第２ベクトルは、インスタンス融合したセマンティック特徴ベクトルである、ステップを含むことを特徴とする
   請求項８に記載のポイントクラウドセグメンテーション方法。
10. 各前記中心ポイントのインスタンス融合セマンティック特徴に基づいて、各前記ポイントが属するセマンティックカテゴリを決定するステップは、
    各ポイントの独立した第３全結合層により、各中心ポイントの前記インスタンス融合セマンティック特徴を対応するセマンティック予測ベクトルに変換するステップと、
    各中心ポイントのセマンティック予測ベクトルにおける最大ベクトル要素に対応するセマンティックカテゴリを各前記ポイントが属するセマンティックカテゴリとするステップと、を含むことを特徴とする
    請求項７に記載のポイントクラウドセグメンテーション方法。
11. 各前記ポイントのセマンティック融合インスタンス特徴に基づいて、各前記ポイントが属するインスタンスカテゴリを決定するステップは、
    前記ポイントクラウドにおける各点に対して、前記ポイントのインスタンス特徴と前記ポイントクラウドにおける前記ポイント以外の他の各ポイントのインスタンス特徴との特徴距離を算出するステップと、
    算出された特徴距離に基づいて、前記ポイントクラウドにおけるポイントをクラスタリングし、複数組のポイントを得るステップと、
    前記複数組のポイントにおける各組のポイントが属するセマンティックカテゴリに基づいて、各組のポイントが属するインスタンスカテゴリを決定するステップと、を含むことを特徴とする
    請求項１０に記載のポイントクラウドセグメンテーション方法。
12. コンピュータに請求項１から１１のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。
13. コンピュータ機器であって、メモリと、プロセッサと、を備え、前記メモリにコンピュータプログラムが記憶されており、前記プロセッサはコンピュータプログラムを実行して、請求項１から１１のうちいずれか一項に記載の方法を実行する、コンピュータ機器。

Images