JP6863596B2 - データ処理装置及びデータ処理方法 - Google Patents

Description

本開示は、データを処理するデータ処理装置及びデータ処理方法に関する。

従来、現実世界（実空間）におけるレーザスキャニング装置により３次元点群データを得ることが知られている（特許文献１参照）。特許文献１では、得られた３次元点群データに対して二次元の矩形領域が設定され、所定の場合に、矩形領域の中心点と対応する計測点がノイズとして取り扱われることが記載されている。

特開２００５−０２４３７０号公報

現実世界の対象物や環境をコンピュータ内の３Ｄモデル（３次元モデル）で構築し、設計や変更、維持管理に役立てる動きが活発化している。そこでは、現実世界の対象物や環境を３Ｄモデルに変換する技術が注目されている。この技術では、レーザスキャナやデプスセンサーなどの距離計測装置や、ステレオカメラによる立体視などを用いて対象物までの距離データを取得し、取得された距離データや距離データを基に算出された３Ｄ座標データが利用される。この３Ｄ座標データは、３Ｄ点群データとも呼ばれる。

距離データや３Ｄ点群データを得るために、特許文献１のように実空間において距離計測装置を設置して取得するには、ある程度の時間がかかる。そのため、多数の対象物のデータを取得するためには、さらに長い時間がかかり、労力がかかる。

また、取得された距離データや３Ｄ点群データをＣＡＤ（computer aided design）モデルなどの３Ｄモデルやポリゴン平面に自動変換することが望まれているが、まだ満足のいく性能のシステムがない。高性能システムとして人工知能を用いる方法も研究開発されているが、人工知能の機械学習には膨大な入力データと教師データが必要となるケースが多い。そのため、膨大な距離データや点群データが必要となり、膨大な時間と労力が必要となる。

本開示は、上記事情に鑑みてなされたものであり、対象物の３Ｄモデルやポリゴン平面を得るための対象物に関するデータを容易に多数取得できるデータ処理装置及びデータ処理方法を提供する。

本開示の一態様は、データを処理する処理部を備えるデータ処理装置であって、前記処理部は、仮想空間において距離計測装置モデルの測定基準点から対象物モデルの測定点までの距離データをシミュレーションにより算出し、前記距離データ、又は、前記距離データに基づく前記対象物モデルの点群データの３次元座標データ、を第１の入力データとし、前記対象物モデルの属性を第１の教師データとして、第１のニューラルネットワークを機械学習させ、前記第１の入力データは、前記距離データ又は前記３次元座標データにノイズを重畳したデータであり、前記対象物モデルの属性は、ノイズを重畳していない前記距離データ又は前記点群データの前記３次元座標データである、データ処理装置である。

本開示の一態様は、データを処理するデータ処理装置におけるデータ処理方法であって、仮想空間において距離計測装置モデルの測定基準点から対象物モデルの測定点までの距離データをシミュレーションにより算出し、前記距離データ、又は、前記距離データを基づく前記対象物モデルの点群データの３次元座標データ、を入力データとし、前記対象物モデルの属性を教師データとして、ニューラルネットワークを機械学習させ、前記入力データは、前記距離データ又は前記３次元座標データにノイズを重畳したデータであり、前記対象物モデルの属性は、ノイズを重畳していない前記距離データ又は前記点群データの前記３次元座標データである、データ処理方法である。

本開示によれば、対象物の３Ｄモデルやポリゴン平面を得るための対象物に関するデータを容易に多数取得できる。

実施形態におけるデータ処理装置の構成例を示すブロック図 レーザスキャナモデルと対象物モデルの一例を示す模式図 レーザスキャナモデルと、対象物モデルと、レーザスキャナモデルと対象物モデルとの距離に関する距離データと、の関係の一例を示す図 対象物モデルの測定対象点の位置を示す図 射影面上の測定点の位置及び撮像面上の画素位置の一例を示す模式図 ニューラルネットワークのアーキテクチャの一例を示す模式図 対象物モデルの計測データの一部分をニューラルネットワークＮＮにおける入力データとして取り込むパッチ方式を説明するための図 入力データを平面領域と非平面領域とに分類する一例を示す模式図 入力データの領域を分割する一例を示す模式図 画像領域を分割するためのニューラルネットワークのアーキテクチャの一例を示す模式図 対象物モデルを領域分割するためのニューラルネットワークの教師データ及び出力データの一例を示す図 対象物モデルの名称を導出するためのニューラルネットワークの教師データ及び出力データの一例を示す図

以下、適宜図面を参照しながら、実施形態を詳細に説明する。

（第１の実施形態）
第１の実施形態では、例えば、対象物の幾何学的形状の識別について説明する。また、例えば、ニューラルネットワークを用いた距離データの幾何学的形状への変換について説明する。また、例えば、ニューラルネットワークの機械学習について説明する。

図１は、第１の実施形態におけるデータ処理装置１０に構成例を示すブロック図である。データ処理装置１０は、処理部１１、通信部１２、記憶部１３、操作部１４、及び表示部１５を備える。なお、データ処理装置１０における構成部の一部が省略されてもよいし、他の構成部が追加されてもよい。

処理部１１は、例えば、プロセッサが記憶部に保持されたプログラムを実行することで、各種機能を実現する。プロセッサは、ＭＰＵ（Micro processing Unit）、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphical Processing Unit）、等を含んでよい。処理部は、データ処理装置１０内の各部を制御する。処理部１１は、各種処理を行う。

処理部１１は、例えば、後述する入力データや教師データを用いて、ニューラルネットワークＮＮを機械学習させる。ニューラルネットワークＮＮは、実空間の対象物や仮想空間の対象物モデル３０の属性を取得するためのニューラルネットワークでよい。ニューラルネットワークＮＮは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）でよい。本実施形態では、ニューラルネットワークＮＮの機械学習するための入力データ及び教師データが工夫される。なお、ＣＮＮ以外のニューラルネットワークが想定されてもよい。

通信部１２は、無線又は有線を介して通信する。通信部１２による通信方式は、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、近距離無線通信（例えばBluetooth（登録商標）通信）、携帯電話用の通信、電力線通信、等の通信方式を含んでよい。通信部１２は、各種データ、情報を通信する。通信部１２は、例えば、外部のサーバやデータベースとの間で通信し、必要な情報を取得してよい。

記憶部１３は、一次記憶装置（例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory））を含む。記憶部は、二次記憶装置（例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive））や三次記憶装置（例えば光ディスク、ＳＤカード）を含んでよい。記憶部１３は、その他の記憶装置を含んでよい。

記憶部１３は、各種データ、情報、プログラムを記憶する。記憶部１３は、例えば、機械学習するための入力データ、教師データ、ニューラルネットワークＮＮの種別（例えばＣＮＮ）や各層（例えば畳込み層、プーリング層）のパラメータの情報、を記憶してよい。また、距離計測装置モデルの情報や、３Ｄモデル空間（仮想空間の一例）に配置される、対象物モデルの情報を記憶してよい。距離計測装置モデルは、レーザスキャナモデルを含んでよい。

操作部１４は、入力デバイスを介して各種操作を受け付ける。入力デバイスは、例えば、マウス、キーボード、ボタン、タッチパネル、マイクロホン、その他の入力デバイスを広く含む。操作部は、各種データ、情報の入力を受け付ける。

表示部１５は、表示デバイスを介して各種データ、情報を表示する。表示デバイスは、例えば、液晶ディスプレイ、有機ＥＬディスプレイを含んでよい。

図２は、レーザスキャナモデル２０と対象物モデル３０の一例を示す模式図である。図３は、レーザスキャナモデル２０と、対象物モデル３０と、レーザスキャナモデル２０と対象物モデル３０との距離に関する距離データｒと、の関係の一例を示す図である。

処理部１１は、コンピュータの３Ｄモデル空間内において、対象物モデル３０を取得する。例えば、処理部１１は、操作部１４により各種操作を受け付けて、対象物モデル３０を生成してよい。処理部１１は、記憶部１３に記憶された対象物モデル３０を読み出してよい。処理部１１は、通信部１２を介して外部装置から対象物モデル３０を受信してもよい。処理部１１は、取得された対象物モデル３０を、３Ｄモデル空間内における所定の位置に配置する。

処理部１１は、コンピュータの３Ｄモデル空間内（つまり仮想空間内）において、レーザスキャナモデル２０を取得する。例えば、処理部１１は、記憶部１３に記憶されたレーザスキャナモデル２０を読み出してよい。処理部１１は、通信部１２を介して外部装置からレーザスキャナモデル２０を受信してもよい。処理部１１は、取得されたレーザスキャナモデル２０を、３Ｄモデル空間内における所定の位置に配置する。

対象物モデル３０の形状は幾何学的形状を有している。そのため、対象物モデル３０は、様々な幾何学的形状のモデルを有することができる。図２では、立方体モデル３１と球体モデル３２と直方体モデル３３を含む。直方体モデル３３は、立方体モデル３１と球体モデル３２とを内包してもよい。

レーザスキャナモデル２０は、仮想空間におけるシミュレーションにおいて測定基準点ｒｆを通過し射影面２３を通過し測定対象点ＭＰに到達するように、レーザビームをスキャニングしながら出射して、距離データｒを取得（計測）する。

図３に示す３Ｄモデル空間の直交座標系ｘｙｚの原点Ｏは、レーザスキャナモデル２０の測定基準点ｒｆとなる。ｚ座標軸は、レーザスキャナモデル２０から対象物モデル３０に向かう方向に設定されている。ｘ座標軸は、レーザスキャナモデル２０の測定基準点ｒｆを通り、図３に示された平面においてｚ座標軸と直交する方向に設定される。ｙ座標軸（図３では不図示）は、レーザスキャナモデル２０の測定基準点ｒｆを通り、ｚ座標軸及びｘ座標軸と直交する方向に設定される。

図３では、αは、測定基準点ｒｆから対象物モデル３０の測定対象点ＭＰに向かうベクトルｒとｙｚ平面とのなす角度である。β（図３では不図示）は、測定基準点ｒｆから対象物モデル３０の測定対象点ＭＰに向かうベクトルｒとｘｚ平面とのなす角度である。ベクトルｒの長さが、距離データｒが示す距離に相当する。処理部１１は、レーザビームのスキャニングを、α、βの角度を順次変化させることで行う。射影点ｏｐは、測定対象点ＭＰの位置を射影面２３に射影した点である。射影点ｏｐを、射影面２３上の測定対象点ＭＰとも称する。

また、測定基準点ｒｆ、測定対象点ＭＰ、及び射影点ｏｐは、それぞれ３Ｄモデル空間の直交座標系ｘｙｚに配置される。したがって、測定基準点ｒｆ、測定対象点ＭＰ、及び射影点ｏｐは、それぞれ３次元座標（ｘ，ｙ，ｚ）で示される。

図４は、測定対象点ＭＰの位置を射影面２３に射影した一例を示す図である。スキャニングする際のα、βの角度の変化率が一定であれば、測定対象点ＭＰは、図４のような正方格子状に配列される。処理部１１は、レーザスキャナモデル２０を用いて、例えば、α、βの角度をともに−８度〜＋８度の間で０．３度ずつ変化させながら、６５回距離を計測し、距離データｒを取得する。この場合、計測の結果得られる全体のデータ数は、６５＊６５＝４２２５（個）となる。なお、「＊」は乗算符号を示す。

処理部１１は、このようにして取得された距離データｒの各々に、ガウシアン分布のノイズをランダムに重畳してよい。これは、現実世界（実空間）で距離計測装置（例えばレーザスキャナ）により対象物までの距離が計測された距離データには、様々なノイズが重畳されているからである。また、ノイズを重畳した距離データｒを用いて機械学習させた方が、ノイズを重畳していない距離データｒで機械学習させたニューラルネットワークよりも、入力データを入力したニューラルネットワークＮＮから得られる出力データが、実空間における計測結果に近くなり、実態に即しているためである。なお、機械学習の具体的な方法については後述する。

処理部１１は、例えば、距離データｒを、ニューラルネットワークＮＮの機械学習用の入力データとする。なお、レーザービームをスキャンニングしながら距離データｒが取得されるので、入力データは複数の距離データｒを含み得る。処理部１１は、例えば、対象物モデル３０の属性を、ニューラルネットワークＮＮの機械学習用の教師データとする。

対象物モデル３０の属性は、例えば、対象物モデル３０の幾何学形状、対象物モデル３０が有する面、対象物モデル３０が有する領域、ノイズの無い対象物モデル３０に関する距離データや３次元座標データ、対象物モデル３０に対応するＣＡＤモデルなど、対象物モデル３０に関する情報を広く含む。ここで記載した対象物モデル３０の属性の一部については、他の実施形態で説明するものもある。

なお、教師データとされる対象物モデル３０の属性は、仮想空間に配置される対象物モデル３０の情報に付加される付加情報として、機械学習が実施される前に取得可能である。この付加情報は、対象物モデル３０が生成される際に付加されてもよいし、外部装置から対象物モデル３０の情報とともに取得されてもよい。

処理部１１は、距離データｒをニューラルネットワークＮＮの入力データとする場合、距離データｒの最大値が１となるように、入力データ全体を規格化（例えば正規化）してよい。

処理部１１は、距離データｒの他のデータを、ニューラルネットワークＮＮの入力データとして取得してよい。処理部１１は、カメラモデル２０Ａを用いて対象物モデル３０を撮像し、画像データを取得してよい。処理部１１は、距離データｒを、機械学習用の入力データとしてもよいし、画像データを機械学習用の入力データとしてもよいし、距離データｒと画像データとの双方を機械学習用の入力データとしてもよい。

処理部１１は、画像データを取得する場合、コンピュータの３Ｄモデル空間内（つまり仮想空間内）において、カメラモデル２０Ａを取得する。例えば、処理部１１は、記憶部１３に記憶されたカメラモデル２０Ａを読み出してよい。処理部１１は、通信部１２を介して外部装置からカメラモデル２０Ａを受信してもよい。処理部１１は、取得されたカメラモデル２０Ａを、３Ｄモデル空間内における所定の位置に配置する。

処理部１１は、図２において、測定基準点ｒｆを焦点ｒｆａとし、射影面２３を撮像面２３ａとするカメラモデル２０Ａを、仮想空間内に配置してよい。処理部１１は、カメラモデル２０Ａを用いて対象物モデル３０のカラー画像をシミュレーションにより撮像し、画像データを取得する。カメラモデル２０Ａによる撮像画像の画素位置は、レーザスキャナモデル２０のスキャン位置と同じとしてよい。

図５は、カメラモデル２０Ａにより得られる画像データ（カラー画像）の一例を示す図である。カラー画像は、例えばＲＧＢカラー画像である。射影面２３上の測定対象点ＭＰの位置（測定点位置）と撮像面２３ａ上の画素ＰＰの位置（画素位置）とは、同じ位置になるようにされてよい。

このようにして、処理部１１は、距離データｒと画像データとを有する計測データを作成してよい。したがって、各計測データは、距離データｒの１チャネルとＲＧＢカラー画像データの３チャンネルの合計４チャネルを有してよい。処理部１１は、この計測データを、ニューラルネットワークＮＮの機械学習用の入力データとしてよい。

次に、処理部１１は、レーザスキャナモデル２０により距離データｒを取得後、レーザスキャナモデル２０をカメラモデル２０Ａと入れ替え、カメラモデル２０Ａにより画像データを取得してよい。また、逆に、処理部１１は、シミュレーションにより、画像データを取得した後に、距離データｒを取得してもよい。

また、カメラモデル２０Ａは、ステレオカメラモデルであってもよい。この場合、ステレオカメラモデルにより得られた画像データを基に、距離データｒが算出されて得られてもよい。つまり、レーザスキャナモデルによる距離データｒの取得の代わりに、ステレオカメラモデルにより得られた画像データを基に、距離データｒが得られてもよい。

次に、仮想空間の対象物モデル３０や実空間の対象物の幾何学的形状の識別について説明する。

処理部１１は、ニューラルネットワークＮＮの機械学習用の教師データを、例えば、対象物モデル３０の属性である幾何学的形状としてよい。処理部１１は、例えば、平面の形状、円柱の形状、球体の形状、楕円球体の形状、上記以外の面形状、を幾何学的形状としてよい。

処理部１１は、幾何学的形状を得るためのニューラルネットワークＮＮのアーキテクチャを設計する。図６は、設計されたニューラルネットワークＮＮのアーキテクチャの一例を示す図である。

図６では、ニューラルネットワークＮＮとしてのＣＮＮが、１４個の層を含んで形成される。１４個の層は、入力層ＩＬ、畳み込み層又はプーリング層としての層Ｌ１〜Ｌ１１、全結合層Ｌ１２、及び出力層ＯＬを含む。入力層ＩＬは、入力データが入力される。層Ｌ１，Ｌ２、Ｌ４，Ｌ５、Ｌ７，Ｌ８，Ｌ１０、Ｌ１１は、畳み込み層（Convolutional層）である。層Ｌ３、Ｌ６、Ｌ９は、プーリング層である。全結合層Ｌ１２は、各データが結合される。出力層ＯＬは、出力データが出力される。

図６では、処理部１１は、ニューラルネットワークＮＮを機械学習するための入力データとして、６５画素＊６５画素＊４チャネルのＲＧＢＤデータ（カラー画像＋距離データ）を用いる。入力データは、入力層ＩＬに入力される。

処理部１１は、３画素＊３画素＊４チャネルの畳み込み（Convolution）を行い、６５画素＊６５画素＊３２特徴マップの層Ｌ１を作成する。

処理部１１は、３画素＊３画素＊３２チャネルの畳み込みを行い、６５画素＊６５画素＊３２特徴マップの層Ｌ２を作成する。
処理部１１は、２画素＊２画素のMax Poolingを行い、３３画素＊３３画素＊３２特徴マップの層Ｌ３を作成する。なお、Max Poolingは、各領域内の最大値をとって情報を圧縮する処理である。
処理部１１は、３画素＊３画素＊３２チャネルの畳み込みを行い、３３画素＊３３画素＊６４特徴マップの層Ｌ４を作成する。
処理部１１は、３画素＊３画素＊６４チャネルの畳み込みを行い、３３画素＊３３画素＊６４特徴マップの層Ｌ５を作成する。
処理部１１は、２画素＊２画素のMax Poolingを行い、１７画素＊１７画素*６４特徴マップの層Ｌ６を作成する。
処理部１１は、３画素＊３画素＊６４チャネルの畳み込みを行い、１７画素＊１７画素＊１２８特徴マップの層Ｌ７を作成する。
処理部１１は、３画素＊３画素＊１２８チャネルの畳み込みを行い、１７画素＊１７画素＊１２８特徴マップの層Ｌ８を作成する。
処理部１１は、２画素＊２画素のMax Poolingを行い、９画素＊９画素*１２８特徴マップの層Ｌ９を作成する。
処理部１１は、３画素＊３画素＊１２８チャネルの畳み込みを行い、９画素＊９画素＊２５６特徴マップの層Ｌ１０を作成する。
処理部１１は、３画素＊３画素＊２５６チャネルの畳み込みを行い、９画素＊９画素＊２５６特徴マップの層Ｌ１１を作成する。

処理部１１は、層Ｌ１１のすべてのユニットを、２００ユニットの全結合層Ｌ１２に全結合する。ユニットは、ニューラルネットワークＮＮを構成する各ニューロンの単位である。

処理部１１は、２００ユニットの全結合層Ｌ１２を、４ユニットの出力層ＯＬに全結合する。つまり、処理部１１は、出力層ＯＬから、出力データを出力する。４ユニットの出力層ＯＬには、Softmax関数が用いられてよい。

処理部１１は、４ユニットの出力層ＯＬから出力される出力データが下記になるように、ニューラルネットワークＮＮを機械学習させる。

平面形状の場合：１番目のユニットの出力＝１、他のユニットの出力＝０
円柱の場合：２番目のユニットの出力＝１、他のユニットの出力＝０
球体、楕円球体の場合：３番目のユニットの出力＝１、他のユニットの出力＝０
その他の形状の場合：４番目のユニットの出力＝１、他のユニットの出力＝０

つまり、上記の幾何学的形状の一例である平面形状、円柱形状、球体、その他の形状、を示すユニットの出力値が、機械学習用の教師データとされる。そして、処理部１１は、入力層ＩＬの入力データとしての距離データｒ及び画像データを含むＲＧＢデータから、機械学習用の教師データが出力層ＯＬの出力データとして得られるように、ニューラルネットワークＮＮを機械学習する。

図７は、対象物モデル３０の計測データの一部分をニューラルネットワークＮＮにおける入力データとして取り込むパッチ方式を説明するための図である。図６のニューラルネットワークＮＮには、図７に示すパッチ方式の入力データが入力されてよい。パッチ方式は、ニューラルネットワークＮＮの機械学習用の入力データの入力方式として採用されてもよいし、機械学習されたニューラルネットワークＮＮの入力データの入力方式として採用されてもよい。

処理部１１は、パッチ方式では、パッチ領域ＰＴ内の計測データ（ＲＧＢＤデータ）を入力データとする。処理部１１は、パッチ方式では、パッチ領域ＰＴの中央部ＰＣ、即ちニューラルネットワークＮＮのパッチ領域ＰＴに対応する領域の中央部ＰＣに位置する対象物モデル３０の幾何学的形状を分類し、出力データを出力する。そのため、処理部１１は、パッチ領域ＰＴに対応する領域の中央部ＰＣに位置する対象物モデル３０の幾何学的形状を教師データとして、ニューラルネットワークＮＮを機械学習させる。処理部１１は、パッチ領域ＰＴを対象物モデル３０の全データ（全領域）をカバーするように順次移動させながら、例えば図７の矢印ｄ１のように移動させながら、各データ点（各測定対象点ＭＰ、画素ＰＰに相当）で、幾何学的形状を出力データとして出力する。処理部１１は、このようにパッチ領域ＰＴを用いて対象物モデル３０の全データを処理し、対象物モデル３０の全体形状を出力する。

機械学習では、幾何学的形状を示す出力データが、教師データの幾何学的形状と一致するように、機械学習される。つまり、図７では、出力データとして、パッチ領域ＰＴの中央部ＰＣが位置する直方体モデル３３の形状（例えば直方体、平面）が出力される。

また、処理部１１は、ニューラルネットワークＮＮの機械学習用の入力データと教師データとの組を多数作成するために、対象物モデル３０として、直方体、球、円柱、楕円体をランダムに選択し、選択された対象物モデル３０のサイズ、角度、位置、等をランダムに変化させて、３Ｄモデルを生成してよい。

これにより、データ処理装置１０は、レーザスキャナモデル２０によって３Ｄモデルに対してレーザビームを照射し、又はカメラモデル２０Ａによって画像データを取得することで、値がランダムに異なる多数の距離データｒや画像データが得られる。よって、データ処理装置１００は、機械学習に用いる入力データを、容易に多数用意することができる。

以上のような方法で、データ処理装置１０は、多数の入力データと教師データの組を利用して、ニューラルネットワークＮＮを機械学習させることができる。したがって、データ処理装置１０は、機械学習させた後のニューラルネットワークＮＮに、実空間に配置されたＲＧＢＤカメラにより取得された計測データを入力すると、高精度に対象物の表面形状を識別できる。

また、データ処理装置１０は、パッチ方式を用いることで、対象物モデル３０のサイズの大小に依存せずに、ニューラルネットワークＮＮのアーキテクチャをそのまま変更せずに利用できる。また、パッチ方式を用いることで、パッチ領域ＰＴに含まれるデータ数が対象物モデル３０全体と比較すると少ないことから、入力データ数が比較的少なく済み、ニューラルネットワークＮＮの規模も小さく済み、そのパラメータ数も少なくて済む。よって、データ処理装置１０は、ニューラルネットワークＮＮの機械学習を比較的短い時間で完了できる。また、データ処理装置１０は、パッチ領域ＰＴを順次移動させながら、各データ点で機械学習をさせるので、図４に示すような１つの対象物モデル３０から多数の入力データと教師データとの組み合わせを得ることができ、機械学習を行い易くなる。

また、処理部１１は、距離データｒにノイズを重畳して現実に計測された距離データに近いデータとしてニューラルネットワークの機会学習をさせたが、必ずしもノイズを重畳しなくてもよい。

また、ニューラルネットワークＮＮの機械学習用の入力データとして、距離データｒとＲＧＢ画像データで構成された４チャネルの計測データを示したが、これ以外の計測データでもよい。例えば、ＲＧＢ画像データは白黒画像でもよい。この場合、入力データや計測データは２チャネルのデータとなるので、２チャネルのデータに対応したニューラルネットワークＮＮのアーキテクチャに変更される。また、入力データや計測データには、画像データが必ずしも含まれなくてもなく、距離データｒだけが含まれてもよい。この場合、入力データは、１チャネルの計測データであり、入力の情報が少なくなるので、画像データがある場合と比較すると、ニューラルネットワークＮＮのパラメータ数が少なくなる。したがって、機械学習を実施し易いシンプルなニューラルネットワークＮＮとなる。

また、処理部１１は、距離データｒを入力データとして用いることを主に例示したが、距離データｒを基に対象物モデル３０の点群データの３Ｄ座標データ（ｘ,ｙ,ｚ）に変換して、これを入力データとして用いてもよい。この場合、図２に示すように、距離データｒと３Ｄ座標データ（ｘ,ｙ,ｚ）との関係は、例えば（式１）により表される。

ｘ＝ｒ＊ｓｉｎα
ｚ＝ｒ＊ｃｏｓα＊ｃｏｓβ ・・・（式１）
ｙ＝ｒ＊ｃｏｓα＊ｓｉｎβ

処理部１１は、ｘ,ｙ，ｚの３Ｄ座標の値の各々の最大値が１、最小値が０となるように規格化（例えば正規化）してよい。処理部１１は、その規格化された３Ｄ座標を３チャネルの入力データとする。したがって、ＲＧＢ画像データも入力データとして利用する場合は、合計６チャネルの入力データとなる。この場合、処理部１１は、合計６チャネルの入力データに対応したニューラルネットワークＮＮのアーキテクチャに修正する。これにより、データ処理装置１０は、６チャネルの入力データの場合でもニューラルネットワークＮＮを機械学習させることができ、機械学習されたニューラルネットワークＮＮを用いて、任意の入力データを基に、対象物モデル３０の幾何学的形状を出力できる。

また、ニューラルネットワークＮＮにパッチ方式の入力データが用いられることを例示したが、第２の実施形態等と同様に、ニューラルネットワークＮＮにパッチ方式の入力データが用いられなくてもよい。

このように、処理部１１は、３次元モデル空間（仮想空間の一例）においてレーザスキャナモデル２０（距離計測装置モデルの一例）の測定基準点ｒｆから対象物モデル３０の測定対象点ＭＰ（測定点の一例）までの距離データｒを、シミュレーションにより算出してよい。処理部１１は、距離データｒ、又は、距離データｒに基づく対象物モデル３０の点群データの３次元座標データ（３Ｄ座標データ）、を入力データ（第１の入力データの一例）とし、対象物モデル３０の属性（例えば幾何学的形状）を教師データ（第１の教師データの一例）として、ニューラルネットワークＮＮ（第１のニューラルネットワークの一例）を機械学習させてよい。

これにより、データ処理装置１０は、距離データｒや点群データの３次元座標データ等の機械学習用の入力データを仮想空間上で用意するので、実測して距離データｒや点群データの３次元座標データを得るよりも、容易に多数の入力データを取得できる。また、教師データは、対象物モデル３０を取得して仮想空間内に配置する際に、その対象物モデル３０の付加情報として容易に取得可能である。したがって、データ処理装置１０は、対象物の３Ｄモデルやポリゴン平面を得るための対象物に関するデータ（例えば機械学習用の入力データや教師データ）を容易に多数取得できる。

また、データ処理装置１０は、３Ｄモデル空間に現実世界（実空間）の対象物に対応する対象物モデル３０を構築し、実際の距離計測と似た原理に基づくシミュレーションを行うことで、対象物モデル３０までの距離データｒや点群データを取得し、同時に対象物モデル３０の属性を利用して、ニューラルネットワークＮＮの機械学習の教師データを作成できる。

また、入力データは、距離データｒ又は３次元座標データにノイズ（例えばランダムノイズ）を重畳したデータでよい。

これにより、データ処理装置１０は、距離データｒや３次元座標データとともに画像データを用いて機械学習することで、機械学習に用いるパラメータが増えるので、機械学習の学習精度を向上できる。したがって、データ処理装置１０は、実空間におけるノイズを有する物体（例えば家具、インテリア、建築物）のデータを基に、機械学習されたニューラルネットワークＮＮを用いて、３次元モデルの表面形状を判断できる。よって、データ処理装置１０は、実空間上における様々な物体（対象物）を取り込んで、その表面形状を認識して、仮想空間において、認識された表面を有する３Ｄモデルを用いて様々なサービスを提供することを可能とする。

また、入力データは、仮想空間において、レーザスキャナモデル２０（距離計測装置モデルの一例）の測定基準点ｒｆから対象物モデル３０の測定点（画素ＰＰ）への画像撮影シミュレーションを行って得られる画像データを含んでよい。

これにより、データ処理装置１０は、距離データや３次元座標データとともに画像データを用いて機械学習することで、機械学習に用いるパラメータが増えるので、機械学習の学習精度を向上できる。つまり、データ処理装置１０は、対象物モデル３０の距離データｒや３次元座標データに基づく形状データとともに画像データに基づく色データを利用して、機械学習でき、学習精度を向上できる。

また、対象物モデル３０の属性は、幾何学的形状でよい。

これにより、データ処理装置１０は、入力データとしての距離データｒや３次元座標データから、教師データとしての対象物モデル３０の幾何学的形状が得られるように、ニューラルネットワークＮＮを機械学習できる。よって、データ処理装置１０は、仮想空間上の様々な対象物モデルや実空間上の様々な対象物を基に、対象物モデルや対象物の形状を判断する判断精度を向上できる。そのため、データ処理装置１０は、対象物モデル３０や対象物の形状に基づく面の判断や面に基づく３次元モデルの生成の精度を向上できる。

（第２の実施形態）
第１の実施形態では、教師データとして対象物モデル３０の幾何学的形状を利用した。第２の実施形態では、処理部１１は、幾何学的形状として、平面（平面領域）であるか、非平面（非平面領域）であるかを識別することを説明する。

幾何学的形状として、平面（平面領域）であるか、非平面（非平面領域）であるかを識別する場合、出力層ＯＬのユニット数が「２」となるニューラルネットワークＮＮのアーキテクチャに変更される。ニューラルネットワークＮＮのアーキテクチャの変更は、処理部１１により行われてもよいし、他の装置で行われてもよい。

第２の実施形態のデータ処理装置１０は、第１の実施形態のデータ処理装置１０の構成と同様であるので、その説明を省略する。

図８Ａは、平面領域と非平面領域とに分類する分類例を示す図である。つまり、図８Ａは、入力データを平面領域と非平面領域とに分類する一例を示す模式図である。図８Ａでは、符号ＦＦは、平面を示し、符号ＮＦは、非平面を示す。

処理部１１は、平面領域と非平面領域とに分類するためのニューラルネットワークＮＮを用いて、対象物モデル３０上の各測定対象点ＭＰの距離データｒを識別してよい。処理部１１は、距離データｒの識別により、各測定対象点ＭＰが対象物モデル３０における平面領域に属するか、非平面領域（例えば曲面領域）に属するか、を識別してよい。図８Ａでは、対象物モデル３０において３つの平面と一つの球面が存在する。具体的には、対象物モデル３０全体が平面を有し、立方体モデル３１が平面を有し、直方体モデル３３が平面を有する。また、球体モデル３２が球面を有する。処理部１１は、３つの平面上の測定対象点ＭＰを、全て平面上のデータとして区分する。そのため、各測定対象点ＭＰがどの平面に属しているかは不明である。処理部１１は、球面上の測定対象点ＭＰを非平面上のデータとして区分する。

なお、ここでは、距離データｒを用いて測定対象点ＭＰ毎に平面領域に属するか非平面領域に属するかを識別することを示しているが、計測データとして画像データを用いる場合には、処理部１１は、カメラモデル２０Ａにより撮像される画素毎に平面領域に属するか非平面領域に属するかを識別してもよい。

処理部１１は、平面と非平面とを分類するニューラルネットワークＮＮを機械学習させる。このニューラルネットワークＮＮでは、機械学習用の入力データとして計測データ（例えばＲＧＢＤデータ、距離データ、３次元座標データ、画像データ）が用いられる。また、機械学習用の出力データとして、対象物モデル３０の対象点における面の識別結果（例えば平面、非平面）が用いられる。データ処理装置１０は、平面と非平面とを分類するニューラルネットワークＮＮを機械学習させることで、様々な入力対象の対象物又は対象物モデル３０について、高精度に各対象点が平面領域であるか非平面領域であるかを識別できる。なお、対象点は、測定点や画素を含む。

次に、画像データを入力して機械学習するニューラルネットワークＮＮとの組み合わせについて説明する。

図８Ｂは、画像領域の分割例を示す図である。つまり、図８Ｂは、入力データの領域を分割する一例を示す模式図である。処理部１１は、平面と非平面とを分類するニューラルネットワークＮＮとは別に、対象物モデル３０の画像領域を分割するニューラルネットワークＮＮを作成してよい。図８Ｂでは、処理部１１は、対象物モデル３０の領域を画素（測定対象点ＭＰ）単位で分割する。つまり、処理部１１は、画素単位で各画素が平面に属するか非平面に属するかを判定する。

なお、ここでは、画素単位での分割を示しているが、計測データとして画像データを用いない場合には、処理部１１は、距離データｒを測定するための測定点毎に測定領域を分割してよい。

処理部１１は、対象物モデル３０の領域（画像領域、測定領域）を分割するニューラルネットワークＮＮを機械学習させる。このニューラルネットワークＮＮでは、機械学習用の入力データとして計測データ（例えばＲＧＢＤデータ、距離データ、３次元座標データ、画像データ）が用いられる。また、機械学習用の出力データとして、対象物モデル３０の領域の分割結果（例えば平面、非平面）が用いられる。データ処理装置１０は、対象物モデル３０の領域を分割するニューラルネットワークＮＮを機械学習させることで、様々な入力対象の対象物又は対象物モデル３０について、高精度に各対象点が平面領域であるか非平面領域であるかを識別できる。

図９は、画像領域分割のためのニューラルネットワークＮＮのアーキテクチャの一例を示す図である。

図９のニューラルネットワークＮＮでは、パッチ方式ではなく、対象物モデル３０から取得された全画像データを一度に入力する方式に従って、入力データから出力データが得られる。処理部１１は、出力データを教師データとすることで、機械学習してよい。処理部１１は、図５で示した撮像面２３ａに対象物モデル３０を投影した画像データを、機械学習用の入力データとして用いてよい。また、処理部１１は、対象物モデル３０に付加された付加情報が示す、対象物モデル３０の各点の面の属性（例えば平面、曲面）が、教師データとして用いられてよい。

図９では、ニューラルネットワークＮＮにおいて、画像の処理プロセスであるPooling、Convolution、Upsampling、Softmaxの処理プロセスが示されている。つまり、処理部１１は、プーリング処理（例えばMax Pooling）、畳み込み処理（Convolution）、アップサンプリング処理（Upsampling）、Softmax処理、を行う。図９では、畳み込み処理が行われる畳み込み層ＣＬ、プーリング処理が行われるプーリング層ＰＬ、アップサンプリング処理が行われるアップサンプリング層ＵＬ、等が記されている。Softmax関数を用いたSoftmax処理は、出力層ＯＬで行われる。

処理部１１は、ニューラルネットワークＮＮの機械学習用の入力データに対して、畳み込み処理２回とプーリング処理１回とを一まとまりの処理として、これを５回行う。次に、処理部１１は、上記一まとまりの処理により得られたデータに対して、アップサンプリング処理１回と畳み込み処理２回とを一まとまりの処理として、これを５回行う。

アップサンプリング処理は、プーリング処理の逆の処理である。つまり、プーリング処理は、一定の画素領域の中から最大値を抽出し、その領域を最大値の１画素に置き換える処理である。これに対し、アップサンプリング処理は、１画素の値を、プーリング処理した画素領域の最大値を出した元の画素位置に戻す処理である。つまり、プーリング処理とアップサンプリング処理は対応関係にある。１画素は、１つの測定対象点ＭＰに対応している。

最後に、処理部１１は、Softmax処理により、各画素がどの領域に属しているかを出力する。図８Ｂが、各画素がどの領域に属しているか示す情報を示す。図８Ｂに示すように、処理部１１は、対象物モデル３０の各点を、領域ａ，ｂ，ｃ，ｄのうちいずれかの領域に分割する。

処理部１１は、図８Ｂに示した領域分割の結果と図８Ａに示した平面領域・非平面領域の分類結果とを組み合わせることで、平面領域に属するデータを、個別の平面に属するデータに分類できる。つまり、処理部１１は、対象物モデル３０の各対象点がどの種類の平面に属するかを識別可能となる。同様に、処理部１１は、非平面領域に属するデータを、個別の非平面に属するデータに分類できる。そして、非平面が複数存在する場合でも、処理部１１は、対象物モデル３０の各対象点がどの種類の非平面に属するかを識別可能となる。

例えば、処理部１１は、領域ａ，ｂ，ｃを、それぞれ別の平面として数式モデルで表すことができる。係数ｌ，ｍ，ｎが同時にゼロではない係数とすると、平面の方程式は、例えば以下の（式２）により表される。
ｌｘ＋ｍｙ＋ｎｚ＝１ ・・・（式２）

処理部１１は、（式２）に従って、領域ａに分類された複数（例えば全て）の３Ｄ座標データを用いることで、係数ｌ，ｍ，ｎを特定してよい。この場合、処理部１１は、最小二乗法を用いて係数ｌ，ｍ，ｎを特定してよい。同様に、処理部１１は、領域ｂ，ｃに分類された画素の３Ｄ座標データを用いて、係数ｌ，ｍ，ｎ等を有する平面の方程式を導出可能である。

このようにして、データ処理装置１０は、領域ａ，ｂ，ｃに分類された各領域が平面領域であることを認識できる。また、データ処理装置１０は、機械学習されたニューラルネットワークを用いて各領域を分割（分類）することで、対象物モデル３０の領域を高精度に分割できる。

また、処理部１１は、各平面領域の角位置にあるデータ（点群データのうちの１つのデータ）を抽出することで、最も大きなサイズのポリゴン面を作成してよい。図８Ｂの場合、処理部１１は、例えば、領域ａ,ｂ，ｃに属するデータに含まれるその四隅のデータを、２つの三角ポリゴンで置き換えてよい。なお、三角ポリゴンは１例であり、ｎ角形（ｎ≧４）のポリゴンであってもよい。

これにより、データ処理装置１０は、点群データを扱う場合と比較して、ポリゴンを扱うことで、処理データ量を大幅に削減できる。また、データ処理装置１０は、機械学習されたニューラルネットワークＮＮを用いた領域分割の結果を用いて、各平面領域をポリゴン面に変更することで、各平面領域をポリゴン面に変更する変更精度を向上できる。

また、処理部１１は、非平面上に分類されたデータ（例えば領域ｄに属するデータ）に対して、非平面上に分類された３点のデータを用いて、平面を形成してよい。処理部１１は、形成された平面からの乖離率が閾値ｔｈ以下である場合、同一面内に属すると判定し、データをポリゴン面に置き換え、乖離率が閾値ｔｈより大きい場合、同一面内に属しないと判定し、データを異なるポリゴン面に置き換えてよい。この場合に、データ処理装置１０は、機械学習されたニューラルネットワークＮＮを用いた領域分割の結果を用いて、非平面領域を１つ以上のポリゴン面に変更することで、各非平面領域をポリゴン面に変更する変更精度を向上できる。

以上のようにして、データ処理装置１０は、３Ｄモデルの３Ｄ座標データ（点群データ）をポリゴン面に置換でき、データ量を削減できる。また、データ処理装置１０は、点群データを平面のデータに置換でき、点と点の間のすき間を埋めた３Ｄモデルを形成できる。この場合に、データ処理装置１０は、機械学習されたニューラルネットワークＮＮを用いることで、出力データとして得られる面の判定や領域の判定の判定精度を向上できるので、３Ｄモデルの生成精度を向上できる。

なお、ニューラルネットワークＮＮは、複数存在してよい。例えば、ＲＧＢＤデータや距離データや３Ｄ座標データを入力データとし、対象物モデル３０の属性を教師データとして、機械学習されるニューラルネットワークＮＮ１と、距離データや３Ｄ座標データを含まずＲＧＢ画像データを入力データとし、対象物モデル３０の属性を教師データとして、機械学習されるニューラルネットワークＮＮ２と、が存在してよい。この場合、ニューラルネットワークＮＮ１，ＮＮ２では、別々に機械学習が進行する。したがって、処理部１１は、距離データ及び３Ｄ座標データのいずれかに基づく機会学習の結果と、距離データ及び３Ｄ座標データのいずれにも基づかない機械学習の結果とを、双方得ることができる。よって、距離データの精度が多少低い場合でも、処理部１１は、それぞれの機械学習の結果を組合わせて加味することで、高精度の出力データを取得できる可能性が高くなる。

このように、幾何学的形状は、平面と非平面とを含んでよい。処理部１１は、非平面に存在する点群データを、前記点群データとの乖離が一定値を越えない範囲で１つ以上の平面領域に置換し、平面及び平面領域を、平面及び平面領域の角位置にｎ角形（ｎは３以上の整数）における１つの頂点を持つｎ角ポリゴン面に変換してよい。

これにより、機械学習の教師データを、平面又は非平面とすることができる。したがって、データ処理装置１０は、機械学習されたニューラルネットワークを用いることで、入力データとしての計測データ（例えばＲＧＢＤデータ）から、対象物モデルの各対象点が属する面や領域を、高精度に識別できる。また、対象物モデル３０を表現する点群データをポリゴン面に変換することでデータ量を削減できる。また、データ処理装置１０は、機械学習されたニューラルネットワークＮＮを用いた面や領域の識別結果を用いて、非平面を１つ以上のポリゴン面に変更することで、各非平面をポリゴン面に変更する変更精度を向上できる。

また、処理部１１は、カメラモデル２０Ａの測定基準点ｒｆ（焦点ｒｆａ）から対象物モデル３０の測定点（画素ＰＰ）への画像撮影シミュレーションを行って得られる画像データを入力データ（第２の入力データの一例）とし、対象物モデル３０の属性を教師データ（第２の教師データの一例）として、ニューラルネットワークＮＮを機械学習させてよい。この入力データは、距離データ及び３Ｄ座標データを含まなくてよい。

これにより、データ処理装置１０は、距離データ及び３Ｄ座標データを加味したニューラルネットワークＮＮ１とともに、距離データ及び３Ｄ座標データを含まず画像データを用いて機械学習したニューラルネットワークＮＮ２を追加して利用する。そのため、データ処理装置１００は、画像認識の機能を追加でき、距離データ及び３Ｄ座標データを加味しない機械学習も行われるので、ニューラルネットワークＮＮ１，ＮＮ２を組合わせると、機械学習の学習精度を一層向上できる。

また、対象物モデル３０の属性は、対象物モデル３０の領域を含んでよい。この場合、データ処理装置１０は、教師データを対象物モデル３０の領域として、ニューラルネットワークＮＮを機械学習させることができる。教師データは、対象物モデル３０の付加情報として容易に取得可能である。

（第３の実施形態）
第３の実施形態では、点群データのノイズ除去に機械学習を用いることを説明する。

第３の実施形態のデータ処理装置１０は、第１，第２の実施形態のデータ処理装置１０の構成と同様であるので、その説明を省略する。

前述したように、レーザスキャナモデル２０から対象物モデル３０の測定対象点ＭＰまでの距離データｒとその３Ｄ座標データ（ｘ,ｙ,ｚ）との関係は、（式１）で表される。

現実世界（実空間）で距離計測装置により対象物までの距離計測を行う場合、一般に距離方向に比較的大きなノイズが重畳される。この距離方向のノイズをｄｒとすると、ノイズが重畳された距離データｒ’は、例えば下記の（式３）のように表される。
ｒ’＝ｒ＋ｄｒ ・・・（式３）

この場合、距離データｒ’と３Ｄ座標データ（ｘ’,ｙ’,ｚ’)との関係は、（式４）となる。
ｘ’＝ｒ’＊ｓｉｎα
ｚ’＝ｒ’＊ｃｏｓα＊ｃｏｓβ ・・・（式４）
ｙ’＝ｒ’＊ｃｏｓα＊ｓｉｎβ

ここで、ノイズｄｒは、角度α，β（図３参照）が変化するごとにランダムに重畳されるガウシアン分布のノイズでよく、現実の距離計測で発生するノイズに近づけてよい。

（式３）の距離データｒは、ノイズが重畳されていない理想的な値である。処理部１１は、この距離データｒを、ニューラルネットワークＮＮの機械学習の教師データとする。また、処理部１１は、（式４）のノイズが重畳された距離データｒ’を、ニューラルネットワークＮＮの機械学習の入力データとする。処理部１１は、ニューラルネットワークＮＮを機械学習させることで、ノイズを除去するデータ処理システム（データ処理手法）を獲得できる。

次に、ノイズを除去するためのニューラルネットワークＮＮのアーキテクチャの一例について説明する。ニューラルネットワークＮＮのアーキテクチャの構造は、図６と同様であり、第１の実施形態と同様であるが、入力層ＩＬのチャネル数及び出力層ＯＬのユニット数や、最初の畳み込み層である層Ｌ１で畳み込み処理されるチャネル数が異なる。

ニューラルネットワークＮＮの入力層ＩＬに入力される入力データは、距離データｒの１チャネルであり、出力層ＯＬに出力される出力データも距離データｒ’の１チャネルである。処理部１１は、距離データｒと距離データｒ’の中での最大値が１となり最小値が０となるように、距離データｒと距離データｒ’とを規格化（例えば正規化）してよい。また、層Ｌ１で畳み込み処理されるチャネル数は、１チャネルである。入力データのチャネル数が１であることで、入力データ数が少ないので、データ処理装置１０は、ニューラルネットワークＮＮの機械学習を高速化できる。

また、処理部１１は、ノイズを除去するためのニューラルネットワークＮＮの機械学習において、パッチ方式の入力データを用いてよい。処理部１１は、パッチ領域ＰＴを順次移動させることで、点群データ全体のノイズを除去するための機械学習を実施できる。よって、データ処理装置１０は、実空間における点群データを入力した場合、機械学習後のニューラルネットワークＮＮを用いて、ノイズを除去した点群データを取得することができる。

また、処理部１１は、ニューラルネットワークＮＮの機械学習用の入力データにＲＧＢ画像データを追加して、距離データｒのチャネルと合わせてチャネル数を４としてもよい。この場合、出力データのユニット数も４となり、層Ｌ１で畳み込み処理されるチャネル数も４となる。この場合、データ処理装置１０は、機械学習の学習精度を向上でき、ノイズ除去の性能を向上できる。

以上のような方法で、データ処理装置１０は、機械学習後のニューラルネットワークＮＮを用いたノイズ除去では、ノイズをしっかりと除去しながら、対象物の表面形状の凹凸を忠実に再現する平滑化を行うことができる。また、データ処理装置１０は、実空間で測定された点群データに対して、ニューラルネットワークＮＮのパッチ領域ＰＴをスキャンさせることでノイズを除去できるので、高速かつ簡易にノイズ除去できる。

このように、対象物モデル３０の属性は、ノイズを重畳していない距離データｒ又は点群データの３次元座標データであってよい。

これにより、データ処理装置１０は、距離データや３次元座標データを基に機械学習することで、ノイズの無い対象物を得ようと最適化されていくので、例えばフィルタを用いてノイズ除去する場合と比較すると、ノイズ除去の精度を向上できる。具体的には、データ処理装置１０は、平滑化処理において、ノイズが多めに除去され、対象物の形状表面の凹凸が平坦化されたり角部が丸くなったりすることを抑制できる。また、データ処理装置１０は、平坦化処理においてノイズが少なめに除去されることで、対象物にノイズが残存することを抑制できる。

また、データ処理装置１０は、機械学習のための入力データを生成するために、距離データや３次元座標データにノイズを重畳することを自動的に実施できる。そのため、データ処理装置１０は、例えばユーザが１つ１つのノイズを重畳するための操作を行うことと比較すると、様々なノイズを高精度に重畳でき、ノイズの重畳精度を向上できる。したがって、データ処理装置１０は、入力データのバリエーションを増大し、機械学習精度を向上できる。

また、データ処理装置１０は、実空間における物体（例えば家具、インテリア、建築物）までのノイズを含む距離計測データからノイズの無い距離計測データを生成できるので、実空間上における様々な物体を取り込んで、仮想空間内においてそのノイズの無い物体を使用した様々なサービスを提供することを可能とする。また、ノイズとしてランダムノイズを利用する場合、データ処理装置１０は、例えば乱数を用いることでランダムノイズを容易に生成でき、機械学習用の多数の入力データを簡単に生成できる。

また、入力データは、仮想空間において、カメラモデル２０Ａの測定基準点ｒｆ（焦点ｒｆａ）から対象物モデル３０の測定点（画素ＰＰ）への画像撮影シミュレーションを行って得られる画像データを含んでよい。

これにより、データ処理装置１０は、距離データや３次元座標データとともに画像データを用いて機械学習することで、画像認識の機能を追加できるので、機械学習の学習精度を向上できる。つまり、データ処理装置１０は、対象物モデル３０の距離データｒや３次元座標データに基づく形状データとともに画像データに基づく画像認識データを利用して、機械学習でき、学習精度を向上できる。

（第４の実施形態）
第４の実施形態では、対象物モデル３０の属性が、対象物モデル３０の少なくとも一部のＣＡＤモデルであることを説明する。

第４の実施形態のデータ処理装置１０は、第１〜３の実施形態のデータ処理装置１０の構成と同様であるので、その説明を省略する。

処理部１１は、画像データで対象物モデル３０の領域を分割し、分割された領域（分割領域）の名称を同定し、分割領域に位置する３Ｄ座標データを基に分割領域のサイズを決定し、分割領域の点群データをＣＡＤモデル（オブジェクト）に変換する。なお、対象物モデル３０の領域分割は、第２の実施形態と同様でよく、例えば図８Ｂに示したものと同様でよい。

前述したように、処理部１１は、３Ｄモデル空間に、レーザスキャナモデル２０と対象物モデル３０を配置する。処理部１１は、レーザスキャナモデル２０の測定基準点ｒｆから対象物モデル３０までの距離データｒをシミュレーションで取得する。処理部１１は、この距離データｒにランダムノイズを重畳し、現実に計測した（実空間で得られる）距離データｒに近似させてよい。

次に、処理部１１は、レーザスキャナモデル２０の測定基準点ｒｆをカメラの焦点ｒｆａとして、対象物モデル３０のカラー画像データ（ＲＧＢ画像データ）をシミュレーションで撮像する。

処理部１１は、これら距離データｒとカラー画像データの４チャネルデータ（４チャネルの計測データ）を、ニューラルネットワークＮＮの入力データとする。このニューラルネットワークは、対象物モデル３０の領域分割するためのニューラルネットワークでよい。また、処理部１１は、対象物モデル３０の領域（分割領域）を機械学習の教師データとする。処理部１１は、この教師データを、生成されたり外部装置から取得されたりした対象物モデル３０に付加された付加情報として、取得可能である。

処理部１１は、入力データから教師データが得られるように、ニューラルネットワークＮＮを機械学習させる。このニューラルネットワークＮＮは、図９に示したアーキテクチャと同様の構造を持つ。つまり、パッチ方式が採用されず、パッチ領域ＰＴが設定されなくてよい。なお、パッチ方式が採用されてもよい。

図１０Ａは、対象物モデル３０を領域分割するためのニューラルネットワークＮＮの教師データ及び出力データの一例を示す図である。ここでは、対象物モデル３０の各対象点が、領域ａ，ｂ，ｃ，ｄのいずれかにとなるように分割されている。

また、処理部１１は、４チャネルデータを入力データとし、対象物モデル３０の名称を教師データとして、ニューラルネットワークＮＮを機械学習させる。このニューラルネットワークＮＮは、対象物モデル３０の名称を導出するためのニューラルネットワークＮＮでよい。このニューラルネットワークＮＮは、図６に示したアーキテクチャと同様の構造を持つ。つまり、パッチ方式が採用され、パッチ領域ＰＴが設定される。よって、このニューラルネットワークＮＮでは、適当なサイズを有するパッチ領域ＰＴを対象物モデル３０上で移動させるパッチ方式が採用される。例えば、パッチ領域ＰＴ内で最大面積を持つ対象物６０の名称が、ニューラルネットワークＮＮの出力データとして出力される。なお、ここでのニューラルネットワークでは、パッチ方式が採用されなくてもよい。

図１０Ｂは、対象物モデル３０の名称を導出するためのニューラルネットワークＮＮの教師データ及び出力データの一例を示す図である。ここでは、対象物モデル３０の各対象点が、壁、窓、テレビ、ボールのいずれかであると識別され、対象物モデル３０の名称として出力されている。

そして、処理部１１は、ニューラルネットワークＮＮが出力する領域と名称を組み合わせて、対象物モデル３０の領域と名称を同定する。

次に、処理部１１は、対象物名称（対象物モデル３０の名称）で識別される３Ｄ−ＣＡＤモデルを、様々な３Ｄ−ＣＡＤモデルを蓄積するデータベースから取得する。このデータベースは、記憶部１３に保持されてよい。また、このデータベースは、外部サーバに保持されていてもよい。この場合、処理部１１は、通信部１２を介してデータベースを参照し、該当する３Ｄ−ＣＡＤモデルを受信する。

そして、処理部１１は、取得された３Ｄ−ＣＡＤモデルを必要に応じて加工する。例えば、処理部１１は、出力領域（ニューラルネットワークＮＮから出力された対象物モデル３０の領域）に合致するように、３Ｄ−ＣＡＤモデルの拡大縮小、回転、移動、等の加工を行う。加工された３Ｄ−ＣＡＤモデルを、出力領域に配置する。処理部１１は、ニューラルネットワークＮＮの出力データとして得られた名称と領域の全てに対して同様の処理を行うことで、入力データを３Ｄ−ＣＡＤモデルに変換する。

以上のような方法で、データ処理装置１０は、多数の入力データ（例えば４チャネルデータ）と教師データ（例えば名称、領域）の組を利用して、ニューラルネットワークＮＮを機械学習させることができる。したがって、データ処理装置１０は、例えば点群データを、人手によって（操作部１４を介して）３Ｄ−ＣＡＤモデルなどに変換することが不要となり、３Ｄ−ＣＡＤモデル等に変換するための作業に要する時間とコストを低減できる。つまり、データ処理装置１０は、人手を介さず、自動で３Ｄ−ＣＡＤモデルへの変換ができるため、３Ｄ−ＣＡＤモデルの作成に際し、大幅な時間短縮とコスト削減を実現できる。

このように、前記対象物モデルの属性は、前記対象物モデルの領域又は前記対象物モデルの名称を含んでよい。

これにより、データ処理装置１０は、教師データを対象物モデル３０の領域又は対象物モデル３０の名称として、ニューラルネットワークＮＮを機械学習させることができる。これらの教師データは、対象物モデル３０の付加情報として容易に取得可能である。データ処理装置１０は、機械学習されたニューラルネットワークＮＮを用いることで、入力データとしての計測データ（例えばＲＧＢＤデータ）から、対象物モデル３０の各対象点が属する領域やその名称を、高精度に識別できる。

また、処理部１１は、対象物モデル３０の領域に、対象物モデル３０の名称で識別される対象物モデル３０に対応するＣＡＤモデル（３Ｄ−ＣＡＤモデルの一例）を配置してよい。

これにより、データ処理装置１０は、対象物モデル３０を表現する点群データをＣＡＤモデルに変換することで、データ量を削減できる。また、データ処理装置１０は、機械学習されたニューラルネットワークＮＮを用いた対象物モデル３０の領域や名称の識別結果を用いて、該当する領域をＣＡＤモデルに変更することで、ＣＡＤモデルに変更する変更精度を向上できる。

以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

（人工知能によるデータ量削減の効果の補足）
大きな構造物や自然環境などの３Ｄ点群データは、一般にデータ量が大きい。そのため、このような３Ｄ点群データがそのままパソコン内に取り込まれ、移動や回転などの操作が行われると、演算処理に要する時間が長くなり、スムーズに操作することが困難である。そこで、３Ｄ点群データのデータ量を削減する方法がとられることがある。しかし、３Ｄ点群データのデータ量が一様に削減されると、点群データの密度が疎となるために、対象物の細かい表面形状が保持されなくなり、正確な形状を表現することが困難である。そこで、対象物の表面形状の変化率が高い領域では点群データの削減率を下げ、形状の変化率が低い領域では点群データの削減率を上げることが考えられる。しかし、形状の変化率の高低の判別は困難である。

これに対し、上記実施形態のデータ処理装置１０によれば、このような事情が、人工知能を用いたデータ量削減により解消される。例えば、データ処理装置１０は、機械学習によって３次元点群データのデータ量を削減するために、３次元点群データにおいて一様にデータ量減らす場合と比較すると、３次元モデルの細かな表面形状を保持し易くなり、正確な形状を表現し易くなる。また、データ処理装置１０は、対象物モデル３０の表面形状を高精度に判定できるので、表面形状の組み合わせにより形成される３次元モデルの復元精度も向上できる。

また、データ処理装置１０は、３Ｄ点群データにノイズが重畳されている場合でも、機械学習用の入力データとしてノイズが付加されたデータが用いられることで、ノイズが計測データに付加されている場合の対象物モデル３０の属性の判断を機械学習できる。よって、データ処理装置１０は、機械学習されたニューラルネットワークＮＮを用いることで、ノイズが付加された入力データを基に、対象物モデル３０の表面形状の変化かノイズかを高精度に判断できる。

（点群データの３Ｄ−ＣＡＤ変換、ポリゴン変換の効果の補足）
さらに、点群データは、文字通り点の情報しか持たないデータであるため、点と点の間には情報がない。そこで、点と点を結んで平面を形成し面の情報を持たせることも多く、点群データを３Ｄ−ＣＡＤモデルに置き換える方法が用いられることがある。例えば、壁や床を構成する点群が平面モデルに変換され、パイプや電柱を構成する点群が円柱モデルなどに変換される。このような３Ｄ−ＣＡＤモデルへの変換は、データ量の削減にも貢献する。シンプルな形状への変換では変換が容易であるが、複雑な形状（例えば、椅子や机など）を自動で３Ｄ−ＣＡＤに変換する技術は困難であり、まだ正解率が低い。そのため、人が手作業で点群データを３Ｄ−ＣＡＤモデルに置き換えるケースも多いが、この作業は時間がかかり、非効率である。これに対し、上記実施形態のデータ処理装置１０によれば、このような事情が解消される。

（人工知能の効果の補足）
人工知能の教師データは、人手により作成されることが多い。そのため、多数個の教師データを作成するには多大な時間がかかる。これに対し、上記実施形態のデータ処理装置１０によれば、多数個の教師データを３Ｄモデル空間で行うことで、全てコンピュータ内（仮想空間内）で簡単に処理することができるので、飛躍的な効率アップと時間短縮を実現できる。

なお、上記の各実施形態を組合わせてもよい。

本開示は、対象物の３Ｄモデルやポリゴン平面を得るための対象物に関するデータを容易に多数取得できるデータ処理装置及びデータ処理方法等に有用である。

１０ データ処理装置
１１ 処理部
１２ 通信部
１３ 記憶部
１４ 操作部
１５ 表示部
２０ レーザスキャナモデル
２０Ａ カメラモデル
２３ 射影面
２３ａ 撮像面
３０ 対象物モデル
３１ 立方体モデル
３２ 球体モデル
３３ 直方体モデル
ＣＬ 畳み込み層
ＦＦ 平面
ＩＬ 入力層
Ｌ１〜Ｌ１１ 層
Ｌ１２ 全結合層
ＮＦ 非平面
ＮＮ ニューラルネットワーク
ＯＬ 出力層
ｒｆ 測定基準点
ｒｆａ 焦点
ＭＰ 測定対象点
ｏｐ 射影点
ＰＬ プーリング層
ＰＴ パッチ領域
ＵＬ アップサンプリング層

Claims (4)

1. データを処理する処理部を備えるデータ処理装置であって、
   前記処理部は、
   仮想空間において距離計測装置モデルの測定基準点から対象物モデルの測定点までの距離データをシミュレーションにより算出し、
   前記距離データ、又は、前記距離データに基づく前記対象物モデルの点群データの３次元座標データ、を第１の入力データとし、前記対象物モデルの属性を第１の教師データとして、第１のニューラルネットワークを機械学習させ、
   前記第１の入力データは、前記距離データ又は前記３次元座標データにノイズを重畳したデータであり、
   前記対象物モデルの属性は、ノイズを重畳していない前記距離データ又は前記点群データの前記３次元座標データである、
   データ処理装置。
2. 前記第１の入力データは、仮想空間において、前記距離計測装置モデルの前記測定基準点から前記対象物モデルの画像撮影シミュレーションを行って得られる画像データを含む、
   請求項１に記載のデータ処理装置。
3. 前記処理部は、前記距離計測装置モデルの前記測定基準点から前記対象物モデルの画像撮影シミュレーションを行って得られる画像データを第２の入力データとし、前記対象物モデルの属性を第２の教師データとして、第２のニューラルネットワークを機械学習させる、
   請求項１又は２に記載のデータ処理装置。
4. データを処理するデータ処理装置におけるデータ処理方法であって、
   仮想空間において距離計測装置モデルの測定基準点から対象物モデルの測定点までの距離データをシミュレーションにより算出し、
   前記距離データ、又は、前記距離データを基づく前記対象物モデルの点群データの３次元座標データ、を入力データとし、前記対象物モデルの属性を教師データとして、ニューラルネットワークを機械学習させ、
   前記入力データは、前記距離データ又は前記３次元座標データにノイズを重畳したデータであり、
   前記対象物モデルの属性は、ノイズを重畳していない前記距離データ又は前記点群データの前記３次元座標データである、
   データ処理方法。

Images