JP7344289B2 - 点群データ処理装置、点群データ処理方法及びプログラム - Google Patents

Description

本発明は、点群データ処理装置、点群データ処理方法及びプログラムに関し、特に点群データを分類して属性情報を付与する技術に関する。

レーザースキャナー等により、物体の表面での反射を利用し、物体の表面の三次元情報を表す多数の点で構成される点群データを取得する技術が知られている。取得された点群データを様々な形で応用される。

例えば、取得された点群データを構成する各点を、物体毎にグルーピングすることにより、点群データから物体の三次元モデルを生成することが可能となる。

特許文献１では、物体の点群データを取得し、予め作成されていた物体の二次元図形を利用して、グルーピングを行うことが記載されている。

特開２０１３－９７４８９号公報

特許文献１では、対象の物体の二次元図形を利用することにより、点群のグルーピングを行っているが、対象である物体の二次元図形は必ずしもユーザが利用可能であるとは限らない。例えば、物体の二次元図形が存在しない場合や、物体の二次元図形が存在するものの、物体の点群データを取得する際には物体の形状が変更されており二次元図形と物体とに差異がある場合がある。

本発明はこのような事情に鑑みてなされたもので、その目的は、対象である物体の二次元図形を用いることなく、容易且つ効率的に点群データをグルーピングすることができる点群データ処理装置、点群データ処理方法及びプログラムを提供することである。

上記目的を達成するための本発明の一の態様である点群データ処理装置は、物体の画像データを取得する画像データ取得部と、画像データと対応する位置関係を有し、物体の外表面上の多数の点の三次元情報を表す点群データを取得する点群データ取得部と、画像データに基づいて物体を認識し、物体の領域と物体を特定する属性情報とを取得する認識部と、点群データのうち物体の領域に属する点群データを選択し、選択した点群データに対して特定した属性情報を付与する属性付与部と、を備える。

本態様によれば、画像データに基づいて物体の領域と物体を特定する属性情報とが取得され、その特定された物体の領域に属する点群データを選択して属性情報を付与する。これにより、本態様は、予め物体の二次元図形が用意されていない場合であっても、物体の画像データを取得して点群データを容易に且つ効率的に選択して属性情報を付与することができる。

好ましくは、認識部は、画像データに複数の物体の画像データが含まれる場合に、各物体の領域と各物体を特定する属性情報とを物体毎に取得し、属性付与部は、点群データのうち各物体の領域に属する点群データを各物体毎に選択し、物体毎に選択された点群データに対して各物体の属性情報を付与する。

好ましくは、認識部は、画像データに複数の部分領域を有する物体の画像データが含まれる場合に、各部分領域の領域を認識し、各部分領域の領域と各部分領域を特定する属性情報とを取得し、属性付与部は、点群データのうち各部分領域の領域に属する点群データを各部分領域毎に選択し、各部分領域毎に選択された点群データに対して各部分領域の属性情報を付与する。

好ましくは、点群データ処理装置は、少なくとも認識部により認識された物体の領域に基づいて、物体の領域に属する点群データの欠損部分を検出し、検出された欠損部分の点群データを補間する点群データ補完部を備え、属性付与部は、補完された点群データに対して属性情報を付与する。

好ましくは、画像データ取得部は、物体を撮影して得られた撮影画像を画像データとして取得する。

好ましくは、点群データ処理装置は、点群データに基づいて、画像データを生成する画像データ生成部を備え、画像データ取得部は、画像データ生成部により生成された画像データを取得する。

好ましくは、認識部は、機械学習又は深層学習が行われた認識器で構成される。

好ましくは、点群データ処理装置は、属性情報が付与された点群データに基づいて、物体の三次元モデルを生成する三次元モデル生成部を備える。

好ましくは、画像データ及び点群データの各々は、同一の光軸を有する装置により取得される。

好ましくは、画像データ及び点群データの各々は、相互の位置関係が既知の装置により取得される。

上記目的を達成するための本発明の他の態様である点群データ処理方法は、物体の画像データを取得するステップと、画像データと対応する位置関係を有し、物体の外表面上の多数の点の三次元情報を表す点群データを取得するステップと、画像データに基づいて物体を認識し、物体の領域と物体を特定する属性情報とを取得するステップと、点群データのうち物体の領域に属する点群データを選択し、選択した点群データに対して特定した属性情報を付与するステップと、を含む。

上記目的を達成するための本発明の他の態様であるプログラムは、物体の画像データを取得するステップと、画像データと対応する位置関係を有し、物体の外表面上の多数の点の三次元情報を表す点群データを取得するステップと、画像データに基づいて物体を認識し、物体の領域と物体を特定する属性情報とを取得するステップと、点群データのうち物体の領域に属する点群データを選択し、選択した点群データに対して特定した属性情報を付与するステップと、を含む点群データ処理工程をコンピュータに実行させる。

本発明によれば、画像データに基づいて物体の領域と物体を特定する属性情報とが取得され、その特定された物体の領域に属する点群データを選択して属性情報を付与するので、予め物体の二次元図形が用意されていない場合であっても、物体の画像データを取得して点群データを容易に且つ効率的に分類して属性情報を付与することができる。

図１は、画像データ及び点群データが取得される一態様を示す概念図である。 図２は、三次元測定器に搭載されるレーザースキャナー及び撮影装置を説明する概念図である。 図３は、撮影画像と点群データとが対応する位置関係を有することを説明する概念図である。 図４は、点群データ処理装置の機能構成例を示すブロック図である。 図５は、認識部で行われるセグメンテーションによる物体Ａの認識に関して説明する図である。 図６は、属性情報が付与された点Ｑに関して説明する図である。 図７は、点群データ処理装置を使用した点群データ処理方法を説明するフローチャートである。 図８は、点群データ処理装置の機能構成例を示すブロック図である。 図９は、点群データの補完について説明する図である。 図１０は、点群データ処理装置の機能構成例を示すブロック図である。 図１１は、三角柱である物体を被写体とした撮影画像を示す図である。

以下、添付図面にしたがって本発明にかかる点群データ処理装置、点群データ処理方法及びプログラムの好ましい実施形態について説明する。

図１は、点群データ処理装置１１（図４を参照）に入力される画像データ（撮影画像５）及び点群データ７（図４を参照）が三次元計測器１により取得される一態様を示す概念図である。また、図２は、三次元計測器１に搭載されるレーザースキャナー１０１及び撮影装置（カメラ）１０２を説明する概念図である。

三次元計測器１は、図１に示すように計測対象である物体Ａの点群データ及び物体Ａを被写体とした撮影画像５を取得する。

三次元計測器１は、搭載されるレーザースキャナー１０１（図２を参照）からレーザーパルスを出射し、レーザーパルスが計測対象である物体Ａの表面で反射して戻ってくるまでの時間により距離を計測するタイムオブフライト方式のものである。また、レーザースキャナー１０１は、レーザースキャナー１０１の回転中心を基準にしたレーザーパルスの出射方向の角度情報（図１では水平方向α、垂直方向βを記載している）を取得する。そして、計測した距離とレーザーパルスの出射方向の角度情報によりレーザーパルスの反射点の三次元情報を取得する。レーザースキャナー１０１は、レーザーパルスの出射方向の水平方向α及び垂直方向βを所定のピッチで変更することにより、多数の点の三次元情報を取得する。ここで点群データは、計測対象である物体の外表面上の多数の点の三次元情報を表すデータであり、そして点群データを構成する各点はそれぞれに三次元情報（三次元座標）を有する。レーザースキャナー１０１は、タイムオブフライト方式によるものに限らず、位相差方式、三角法方式により点群データを取得するものでもよい。

三次元計測器１は、搭載される光軸Ｌを有する撮影装置１０２（図２を参照）により、撮影画像５を取得する。撮影装置１０２は、ＣＣＤ（Charge Coupled Device）等（図示せず）の撮像素子を含む。撮像素子は、ｘ方向（水平方向）及びｙ方向（垂直方向）に二次元的に配列された光電交換素子で構成された複数の画素を有し、複数の画素の上面には、例えば、Ｒ（赤）、Ｇ（緑）及びＢ（青）のフィルタが二次元的にベイヤー配列されたカラーフィルタ（図示せず）が備えられている。そして撮影装置１０２によりカラー画像の撮影画像５が取得される。なお、撮影装置１０２により取得される撮影画像は、カラー画像に限定されるものではなく、モノクロ画像でもよい。

三次元計測器１は、レーザースキャナー１０１の上に撮影装置１０２を設置しており、レーザースキャナー１０１と撮影装置１０２との位置関係は既知である。なお、レーザースキャナー１０１と撮影装置１０２との位置関係は、既知であれば良く、特に限定されるものではない。例えば、レーザースキャナー１０１と撮影装置１０２とは、同一の光軸を有するように設置されてもよい。また、三次元計測器１は、点群データ及び撮影画像５を同時に又は逐次的に取得することができる。

なお、三次元計測器１では、点群データをレーザースキャナー１０１によって取得しているが、点群データを取得する手段はレーザースキャナー１０１に限定されるものではない。例えば点群データは、ＴｏＦ（Time-of-Flight）カメラ又はステレオカメラを使用して取得してもよい。

図３は、撮影画像５と点群データ７（図４を参照）とが対応する位置関係を有することを説明する概念図である。撮影画像５は、二次元に画素Ｐが配列した画像データである。画素ＰはＲ、Ｇ、Ｂのそれぞれについて値を持つ。図３では、撮影画像５における座標（Ｐｘ、Ｐｙ）の画素Ｐが示されており、画素Ｐに対応する位置関係を有する点Ｑが示されている。点Ｑは、点群データ７を構成し、位置情報である三次元座標（ｘ、ｙ、ｚ）、対応する画素ＰのＲ、Ｇ、Ｂの値及び反射強度（Ｉ）の情報を有する。なお、画素Ｐと点Ｑとの対応関係は、撮影画像５と点群データ７とが対応する位置関係を有することから、取得することができる。

次に、上述のように取得された撮影画像５及び点群データ７が入力される点群データ処理装置１１に関して説明する。

＜第１の実施形態＞
図４は、第１の実施形態の点群データ処理装置１１の機能構成例を示すブロック図である。点群データ処理装置１１は、例えばコンピュータにより構成される。点群データ処理装置１１は、三次元計測器１に搭載されてもよいし、三次元計測器１とは別体のコンピュータにより構成されてもよい。

点群データ処理装置１１は、画像データ取得部１３、点群データ取得部１５、制御部１７、表示制御部１９及び記憶部２１を備える。

画像データ取得部１３は、物体Ａを撮影して得られた撮影画像５を画像データとして取得する。画像データ取得部１３は、有線又は無線により、撮影画像５を取得する。

点群データ取得部１５は点群データ７を取得する。点群データ取得部１５は、有線又は無線により、点群データ７を取得する。

画像データ取得部１３及び点群データ取得部１５により得られる撮影画像（画像データ）５と点群データ７とは対応する位置関係を有する。

制御部１７は、コンピュータに搭載されるＣＰＵ（Central Processing Unit）（図示せず）で構成される。制御部１７は、認識部２３及び属性付与部２５を備える。

認識部２３は、撮影画像５に基づいて物体を認識し、物体の領域と物体を特定する属性情報とを取得する。認識部２３は、様々な手法により撮影画像における物体の領域と物体を特定する属性情報とを取得することができる。例えば、認識部２３は、機械学習又は深層学習が施された認識器で構成され、撮影画像についてセグメンテーションを行うことにより、物体の領域と物体を特定する属性情報とを取得する。なお、セグメンテーションには、ＦＣＮ（Full Convolutional Network）、ＳｅｇＮｅｔ、Ｐｉｘ２Ｐｉｘ等の既存のモデルを用いてもよいし、認識部２３により行われる物体Ａの認識態様に合わせたモデルを個別に作成してもよい。また、認識部２３の学習は、深層学習を用いてもよいし、広義の意味で機械学習を用いてもよい。

図５は、認識部２３で行われるセグメンテーションによる物体Ａの認識に関して説明する図である。ここで物体Ａは、物体Ｂと物体Ｃとによって構成されており、認識部２３は、撮影画像５が入力され、物体Ｂの領域及び物体Ｂの属性情報、及び、物体Ｃの領域及び物体Ｃの属性情報を取得する。

認識部２３は、機械学習が施された認識器であり、図５（Ａ）の撮影画像５をセグメンテーションすることにより、図５（Ｂ）に示されているように物体Ｂの領域（図５（Ｂ）では点線で示す）を特定し、その領域の属性情報（Ｐｏｌｅ）を取得し、物体Ｃの領域（図５（Ｂ）では点線で示す）を特定し、その領域の属性情報（Ｂａｓｅ）を取得する。なお、図５では、撮影画像５から物体Ｂ及び物体Ｃについての認識について説明したが、これに限定されるものではない。例えば、認識部２３は撮影画像５から物体Ａの領域及び物体Ａの属性情報を取得してもよい。

図４に戻って、属性付与部２５は、点群データ７のうち物体Ｂの領域に属する点群データを選択し、選択した点群データに対して属性情報（Ｐｏｌｅ）又は属性情報（Ｂａｓｅ）を付与する。具体的には、先ず属性付与部２５は、撮影画像５の物体Ｂの領域の画素Ｐに対応する点Ｑで構成される点群データを選択する。撮影画像５の画素Ｐは点群データを構成する各点Ｑに対応するので、撮影画像５において物体Ｂの領域を特定することにより、点群データにおける物体Ｂに対応する点群データを選択することができる。その後、属性付与部２５は、選択された点群データに対して属性情報（Ｐｏｌｅ）又は属性情報（Ｂａｓｅ）を付与する。また、物体Ｂ及び物体Ｃの属性情報は、物体Ｂ及び物体Ｃの形状に関連した属性に限らず、例えば属性情報として「ｂ」や「ｃ」のように、物体Ｂ及び物体Ｃを単に区別するために名前付けしたもの（ラベリングしたもの）でもよい。

図６は、属性情報（Ｐｏｌｅ）が付与された点Ｑに関して説明する図である。物体Ｂの点群データが拡大図ＢＫで示され、点群データを構成する点Ｑには、三次元座標（ｘ、ｙ、ｚ）と、対応する画素ＰのＲ、Ｇ、Ｂの値及び反射強度Ｉと、撮影画像５から認識された属性情報「Ｌａｂｅｌ：”Ｐｏｌｅ”」が付与されている。このように点Ｑに属性情報が付与されることにより、点群データを属性毎にグルーピングすることができる。なお、説明は省略するが属性情報（Ｂａｓｅ）に関しても同様に、物体Ｂに対応する点に付与される。

図４に戻って、記憶部２１は、画像データ及び点群データ７を記憶する。また、点群データ処理装置１１の各種機能を達成するために、ＣＰＵで実行される各種プログラムを記憶する。

表示制御部１９はＣＰＵで構成され、モニタ９への表示を制御する。例えば、モニタ９には点群データまたは／及び画像データが表示される。

なお、点群データ処理装置１１には、ユーザからの指令を受け付けるキーボードまたはマウスで構成される指令受付部（図示せず）を有していてもよい。

図７は、点群データ処理装置１１を使用した点群データ処理方法を説明するフローチャートである。

先ず、点群データ処理装置１１の画像データ取得部１３により、画像データとして撮影画像５が取得される（ステップＳ１０）。その後、点群データ取得部１５により、点群データ７が取得される（ステップＳ１１）。次に、点群データ処理装置１１の認識部２３により、画像データに基づいて物体を認識し、物体の領域と物体を特定する属性情報とを取得する（ステップＳ１２）。その後、点群データ処理装置１１の属性付与部２５により、撮影画像５の物体の領域に属する点群データが選択され、選択された点群データに属性が付与される（ステップＳ１３）。

以上で説明したように、本実施形態によれば、撮影画像（画像データ）に基づいて物体の領域と物体を特定する属性情報とが取得され、その特定された物体の領域及び物体の属性情報に基づいて、点群データを選択して属性情報を付与する。これにより、本態様は、予め物体の二次元図形が用意されていない場合であっても、物体の撮影画像を取得して点群データを容易に且つ効率的に選択して属性情報を付与することができる。

上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

＜第２の実施形態＞
次に、第２の実施形態に関して説明する。本実施形態においては、点群データに欠損部分がある場合には、その欠損部分が補間される。そして、補完された点群データに基づいて三次元モデルが生成される。

図８は、本実施形態の点群データ処理装置１１の機能構成例を示すブロック図である。なお、図４で既に説明を行った箇所は、同じ符号を付し説明は省略する。

点群データ処理装置１１は、画像データ取得部１３、点群データ取得部１５、制御部１７、表示制御部１９及び記憶部２１を備える。

制御部１７は、認識部２３、属性付与部２５、点群データ補完部２７及び三次元モデル生成部２９を備える。

点群データ補完部２７は、点群データ取得部１５により取得された撮影画像（画像データ）４１と対応する位置関係を有する点群データ４３を補完する。すなわち、点群データ取得部１５により取得された点群データ４３に欠損部分がある場合には、点群データ補完部２７は、その欠損部分について補間を行う。具体的には、少なくとも認識部２３により認識された物体の領域に基づいて、物体の領域に属する点群データ４３の欠損部分を検出し、検出された欠損部分の点群データ４３を補間する。なお、点群データ補完部２７は、認識部２３で特定された物体Ｄの属性情報を用いて、点群データ４３の補完を行ってもよい。点群データ補完部２７は、公知の技術により、点群データ４３における欠損部分の点群データを補間する。

三次元モデル生成部２９は、属性情報が付与された点群データ４３に基づいて、物体の三次元モデルを生成する。三次元モデル生成部２９は、点群データ取得部１５により取得された点群データ４３、又は点群データ補完部２７により補完された点群データ４３に基づいて、三次元モデルを生成することができる。なお、点群データ４３に基づいて三次元モデルを生成する場合、点群データ４３の各点がどの物体の表面上の点であるかの情報（属性情報）は正しいポリゴンメッシュを作成したり、正しいテクスチャマッピングを行う上で有力な情報である。また、三次元モデル生成部２９が行う三次元モデル生成は、公知の技術が使用される。

図９は、点群データ補完部２７が行う点群データ４３の補完について説明する図である。図９（Ａ）は画像データ取得部１３により取得された撮影画像４１を示し、図９（Ｂ）は点群データ取得部１５により取得された点群データ４３を示す。なお、撮影画像４１には、パイプである物体Ｄが被写体として写っている。

図９（Ａ）に示すように、物体Ｄの一部では光が正反射し、高輝度の光沢部分４５Ａを有する。また、物体Ｄの光沢部分４５Ａに対応する箇所では、点群データの取得のために出射されたレーザーパルスは正反射してしまい、このレーザーパルスの戻り光を受光することができない。そして、レーザースキャナー１０１は、光沢部分４５Ａに対応する箇所では、点群データを取得することができない。したがって、図９（Ｂ）に示すように、物体Ｄの点群データ４３には欠損部分４５Ｂが発生する。

認識部２３は、光沢部分４５Ａを有する物体Ｄの撮影画像４１であっても、光沢部分４５Ａが物体Ｄの一部であることを認識することができる。そして、点群データ補完部２７は、認識部２３の物体Ｄの領域、又は物体Ｄの領域と物体Ｄの属性情報により物体Ｄの点群データ４３の欠損部分４５Ｂを認識し、この欠損部分４５Ｂの点群データを、近傍の点群データを用いて線形補間し、あるいはスプライン補間をすることにより算出する。また、パイプのように外表面が円柱状の物体の場合には、近傍の点群データの曲率、円柱の基底ベクトルに基づいて欠損部分４５Ｂ内の点群データを補間することができる。これにより、点群データ補完部２７は、より正確に欠損部分４５Ｂの補間を行うことができる。

以上説明したように、点群データ補完部２７は、物体の領域、又は、物体の領域及び物体の属性情報に基づいて、点群データの欠損部分の補間を行うのでより正確な補完を行うことができる。また、三次元モデル生成部２９は、補完された点群データを使用して三次元モデルを生成した場合にはより正確な三次元モデルを生成することができる。

＜第３の実施形態＞
次に、第３の実施形態に関して説明する。上述した第１の実施形態及び第２の実施形態では、撮影画像５（又は撮影画像４１）を画像データとして用いる態様に関して説明したが、本実施形態では撮影画像以外の画像データを取得する。

図１０は、本実施形態の点群データ処理装置１１の機能構成例を示すブロック図である。なお、図４で既に説明を行った箇所は、同じ符号を付し説明は省略する。

点群データ処理装置１１は、画像データ取得部１３、点群データ取得部１５、制御部１７、表示制御部１９及び記憶部２１を備える。なお、図４で既に説明を行った箇所は、同じ符号を付し説明は省略する。

制御部１７は、認識部２３、属性付与部２５及び画像データ生成部３５を備える。

画像データ生成部３５は、点群データ７に基づいて画像データを生成する。点群データ７を構成する各点はそれぞれ三次元座標を有するので、各点の三次元座標を所定の平面に投影することにより、画像データ生成部３５は画像データを生成することができる。この場合各点群データの反射強度又は距離に応じて画素値（濃度）を付与した画像データを合成することができる。そして、画像データ取得部１３は、画像データ生成部３５により生成された画像データを取得する。

このように、点群データ７から画像データを生成することにより、撮影画像を取得しない場合であっても点群データ７に対応する位置関係を有する画像データを得ることができ、点群データを容易に且つ効率的に分類して属性情報を付与することができる。

＜第４の実施形態＞
次に、第４の実施形態に関して説明する。本実施形態では、物体の部分領域ごとに点群データをグルーピングする。

本実施形態の認識部２３は、画像データに複数の部分領域を有する物体の画像データが含まれる場合に、各部分領域の領域を認識し、各部分領域の領域と各部分領域を特定する各部分領域の属性情報とを取得する。

属性付与部２５は、点群データのうち各部分領域の領域に属する点群データを各部分領域毎に分類し、各部分領域毎に分類された点群データに対して各部分領域の属性情報を付与する。

図１１は、三角柱である物体Ｄを被写体とした撮影画像５１を示す図である。認識部２３は、撮影画像５１から物体Ｄの面Ｅの領域（部分領域）、面Ｆの領域（部分領域）及び面Ｇの領域（部分領域）を特定する。また、認識部２３は、撮影画像５１から物体Ｄの面Ｅ、面Ｆ及び面Ｇを特定する各部分領域の属性情報を取得する。なお、例えば認識部２３は、物体の面（平面、曲面を含む）を抽出する機械学習又は深層学習が施された認識器で構成することにより、物体Ｄの面Ｅ、面Ｆ及び面Ｇの領域を特定し各部分領域の属性情報（面Ｅ、面Ｆ、面Ｇ）を取得してもよい。また、例えば認識部２３は、物体の輪郭を抽出する画像処理により、物体Ｄの面Ｅ、面Ｆ及び面Ｇの領域を特定し各部分領域の属性情報を取得してもよい。

以上で説明したように、物体の部分領域ごとに点群データをグルーピングすることにより、より正確に物体に対応するグルーピングを行うことができる。

以上で本発明の例に関して説明してきたが、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

上記記載から、以下の付記項１に記載の撮像装置を把握することができる。
［付記項１］
プロセッサを備えた点群データ処理装置であって、
前記プロセッサは、
物体の画像データを取得し、
前記画像データと対応する位置関係を有し、前記物体の外表面上の多数の点の三次元情報を表す点群データを取得し、
前記画像データに基づいて前記物体を認識し、前記物体の領域と前記物体を特定する属性情報とを取得し、
前記点群データのうち前記物体の領域に属する前記点群データを選択し、選択した前記点群データに対して特定した前記属性情報を付与する
点群データ処理装置。

１ ：三次元計測器
５ ：撮影画像
７ ：点群データ
９ ：モニタ
１１ ：点群データ処理装置
１３ ：画像データ取得部
１５ ：点群データ取得部
１７ ：制御部
１９ ：表示制御部
２１ ：記憶部
２３ ：認識部
２５ ：属性付与部
２７ ：点群データ補完部
２９ ：三次元モデル生成部
３５ ：画像データ生成部

Claims (11)

1. 物体の画像データを取得する画像データ取得部と、
   前記画像データと対応する位置関係を有し、前記物体の外表面上の多数の点の三次元情報を表す点群データを取得する点群データ取得部と、
   前記画像データに基づいて前記物体を認識し、前記物体の領域と前記物体を特定する属性情報とを取得する認識部と、
   前記点群データのうち前記物体の領域に属する前記点群データを選択し、選択した前記点群データに対して特定した前記属性情報を付与する属性付与部と、
   少なくとも前記認識部により認識された前記物体の領域及び前記属性情報に基づいて、前記物体の領域に属する前記点群データの欠損部分を検出し、検出された前記欠損部分の前記点群データを補間する点群データ補完部と、
   を備え、
   前記属性付与部は、補完された前記点群データに対しても前記属性情報を付与する、点群データ処理装置。
2. 前記認識部は、前記画像データに複数の前記物体の前記画像データが含まれる場合に、前記各物体の領域と前記各物体を特定する前記属性情報とを前記物体毎に取得し、
   前記属性付与部は、前記点群データのうち前記各物体の領域に属する前記点群データを前記各物体毎に選択し、前記物体毎に選択された前記点群データに対して前記各物体の前記属性情報を付与する請求項１に記載の点群データ処理装置。
3. 前記認識部は、前記画像データに複数の部分領域を有する前記物体の前記画像データが含まれる場合に、前記各部分領域の領域を認識し、前記各部分領域の領域と前記各部分領域を特定する前記属性情報とを取得し、
   前記属性付与部は、前記点群データのうち前記各部分領域の前記領域に属する前記点群データを前記各部分領域毎に選択し、前記各部分領域毎に選択された前記点群データに対して前記各部分領域の前記属性情報を付与する請求項１又は２に記載の点群データ処理装置。
4. 前記画像データ取得部は、前記物体を撮影して得られた撮影画像を前記画像データとして取得する請求項１から３のいずれか１項に記載の点群データ処理装置。
5. 前記点群データに基づいて、前記画像データを生成する画像データ生成部を備え、
   前記画像データ取得部は、前記画像データ生成部により生成された前記画像データを取得する請求項１から３のいずれか１項に記載の点群データ処理装置。
6. 前記認識部は、機械学習又は深層学習が行われた認識器で構成される請求項１から５のいずれか１項に記載の点群データ処理装置。
7. 前記属性情報が付与された前記点群データに基づいて、前記物体の三次元モデルを生成する三次元モデル生成部を備える請求項１から６のいずれか１項に記載の点群データ処理装置。
8. 前記画像データ及び前記点群データの各々は、同一の光軸を有する装置により取得された請求項１から７のいずれか１項に記載の点群データ処理装置。
9. 前記画像データ及び前記点群データの各々は、相互の位置関係が既知の装置により取得された請求項１から８のいずれか１項に記載の点群データ処理装置。
10. 物体の画像データを取得するステップと、
    前記画像データと対応する位置関係を有し、前記物体の外表面上の多数の点の三次元情報を表す点群データを取得するステップと、
    前記画像データに基づいて前記物体を認識し、前記物体の領域と前記物体を特定する属性情報とを取得するステップと、
    前記点群データのうち前記物体の領域に属する前記点群データを選択し、選択した前記点群データに対して特定した前記属性情報を付与するステップと、
    少なくとも前記認識された前記物体の領域及び前記属性情報に基づいて、前記物体の領域に属する前記点群データの欠損部分を検出し、検出された前記欠損部分の前記点群データを補間するステップと、
    を含み、
    前記属性情報を付与するステップは、補完された前記点群データに対しても前記属性情報を付与する、点群データ処理方法。
11. 物体の画像データを取得するステップと、
    前記画像データと対応する位置関係を有し、前記物体の外表面上の多数の点の三次元情報を表す点群データを取得するステップと、
    前記画像データに基づいて前記物体を認識し、前記物体の領域と前記物体を特定する属性情報とを取得するステップと、
    前記点群データのうち前記物体の領域に属する前記点群データを選択し、選択した前記点群データに対して特定した前記属性情報を付与するステップと、
    少なくとも前記認識された前記物体の領域及び前記属性情報に基づいて、前記物体の領域に属する前記点群データの欠損部分を検出し、検出された前記欠損部分の前記点群データを補間するステップと、
    を含み、
    前記属性情報を付与するステップは、補完された前記点群データに対しても前記属性情報を付与する、点群データ処理工程をコンピュータに実行させるプログラム。

Images