JP7204087B2 - 対象物認識装置 - Google Patents

対象物認識装置 Download PDF

Info

Publication number
JP7204087B2
JP7204087B2 JP2018083641A JP2018083641A JP7204087B2 JP 7204087 B2 JP7204087 B2 JP 7204087B2 JP 2018083641 A JP2018083641 A JP 2018083641A JP 2018083641 A JP2018083641 A JP 2018083641A JP 7204087 B2 JP7204087 B2 JP 7204087B2
Authority
JP
Japan
Prior art keywords
dimensional
data
projection data
learning
dimensional projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018083641A
Other languages
English (en)
Other versions
JP2019191908A (ja
Inventor
成典 田中
健二 中村
義典 塚田
順俊 平野
庄治 大月
恭介 田中
洋明 山岸
義和 川村
博 楠本
喜政 梅▲原▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Style Co Ltd
Original Assignee
Intelligent Style Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Style Co Ltd filed Critical Intelligent Style Co Ltd
Priority to JP2018083641A priority Critical patent/JP7204087B2/ja
Publication of JP2019191908A publication Critical patent/JP2019191908A/ja
Application granted granted Critical
Publication of JP7204087B2 publication Critical patent/JP7204087B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、対象物を認識するための装置に関するものである。
レーザスキャナなどによって道路、標識、建物などを計測した三次元点群データに基づいて、標識、建物などの地物を抽出することが行われている。作業者が画面を見ながら、各地物を判定して抽出し属性を付与することは、確実性は高いものの、煩雑であり抽出時間を要するという問題がある。
非特許文献１には、三次元点群データに対応するＣＡＤデータに基づいて、三次元点群データから地物を抽出して属性を付与する処理が開示されている。
特許文献１には、三次元点群データに対応するカラー画像に基づいて、三次元点群データから地物を抽出して属性を付与する処理が開示されている。
これらによれば、迅速にかつ正確に地物を抽出できる。
また、機械学習によって三次元点群データから地物を抽出することも提案されている。このようなシステムを実現するためには、大量の学習データが必要である。非特許文献２には、ＣＡＤデータに基づいて学習データとしての三次元点群データを生成する手法が開示されている。
特開２００９－１９９２８４
中村健二他「完成平面図に基づいた点群データの地物抽出技術に関する研究」土木学会論文集（土木情報学）７３巻２号、I_424-I_432、２０１７年 深野健太他「移動計測データに基づく地類分類のための学習データ生成方法」2014年精密工学会秋季学術講演会講演論文集
しかしながら、非特許文献１や特許文献１の手法では、三次元点群データに対応するＣＡＤデータやカラー画像データに基づいて、地物に対応する三次元点群データを抽出するようにしている。このため、三次元点群データに対応するＣＡＤデータやカラー画像データが存在しない場合には、地物を抽出できないという問題があった。
また、ＣＡＤデータの作成時には存在しなかった地物や、ＣＡＤデータ作成後に除去された地物については、これらを正しく抽出できないという問題もあった。
さらに、深層学習や機械学習を行って三次元点群データから地物を抽出するとしても、その学習データを大量に用意しなければならなかった。非特許文献２は、これを解決するための一手法ではあるが、ＣＡＤデータに基づいて学習用データを生成するものであって、ＣＡＤデータが存在しない場合には、用いることができなかった。
この発明は、上記のような問題点を解決して、ＣＡＤデータがなくとも地物を適切に抽出することのできる装置を提供することを目的とする。
この発明のいくつかの独立して適用可能な特徴を以下に示す。
(1)(2)この発明に係る認識装置は、対象物を区別して認識するための認識装置であって、対象物を測定した三次元点群データを、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１～第ｎ二次元投影データを生成する二次元投影データ生成手段と、前記第１～第ｎ二次元投影データのそれぞれに基づいて、対象物を推定し、第１～第ｎ対象物推定結果を出力する推定手段と、第１～第ｎ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段とを備えている。
したがって、角度を変えて投影した複数の二次元投影データに基づく推定結果に基づいて、正確な推定を行うことができる。
(3)この発明に係る推定装置は、推定手段が、学習対象物の三次元点群データを、当該対象物の周囲に回転させたｎ個の各位置における二次元平面に投影した第１～第ｎ二次元投影データを学習データとして学習させた結果に基づいて推論を行うことを特徴としている。
したがって、一つのデータに対して複数の学習データを生成して学習させることができる。
(4)この発明に係る推定装置は、推定手段が、第１～第ｎ二次元投影データを学習データとして学習を行う一つの学習モデルを備えることを特徴としている。
したがって、複数の角度からの投影データに基づいて学習を行うことができる。
(5)この発明に係る推定装置は、推定手段が、第１～第ｎ二次元投影データのそれぞれを学習データとして学習を行う複数の学習モデルを備えることを特徴としている。
したがって、複数の角度からの投影データに基づいて学習を行う複数の学習モデルにて推定を行うことができる。
(6)この発明に係る推定装置は、統合推定手段が、前記第１～第ｎ二次元投影データのうち、対象物の三次元点群データを測定した測定位置に対応する二次元投影データを、他の二次元投影データよりもウエイトを高くして統合対象物推定を行うことを特徴としている。
したがって、より精度の高い推定を行うことができる。
(7)この発明に係る認識装置の生産方法は、対象物を測定した三次元点群データを、二次元平面に投影した二次元投影データに基づいて、対象物を区別して認識するための認識装置を生産する方法であって、学習によって上記認識処理を実現する装置に、学習対象物の三次元点群データを、当該対象物の周囲に回転させたｎ個の各位置における二次元平面に投影した第１～第ｎ二次元投影データを学習データとして与えて学習させることを特徴としている。
したがって、一つのデータに対して複数の学習データを生成して学習させた認識装置を生成することができる。
(8)(9)この発明に係る認識装置は、対象物を区別して認識するための認識装置であって、対象物を測定した三次元点群データを、視点と対象物までの距離を段階的に変えて二次元平面に投影した第１～第ｍ二次元投影データを生成する二次元投影データ生成手段と、前記第１～第ｍ二次元投影データのそれぞれに基づいて、対象物を推定し、第１～第ｍ対象物推定結果を出力する推定手段と、第１～第ｍ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段とを備えている。
したがって、距離を変えて投影した複数の二次元投影データに基づく推定結果に基づいて、正確な推定を行うことができる。
(10)この発明に係る認識装置は、推定手段が、学習対象物の三次元点群データを、視点と対象物までの距離を段階的に変えて二次元平面に投影した第１～第ｍ二次元投影データを学習データとして学習させた結果に基づいて推論を行うことを特徴としている。
したがって、一つのデータに対して複数の学習データを生成して学習させることができる。
(11)この発明に係る認識装置は、推定手段が、第１～第ｍ二次元投影データを学習データとして学習を行う一つの学習モデルを備えることを特徴としている。
したがって、複数の距離からの投影データに基づいて学習を行うことができる。
(12)この発明に係る認識装置は、推定手段が、第１～第ｍ二次元投影データのそれぞれを学習データとして学習を行う複数の学習モデルを備えることを特徴としている。
したがって、複数の距離からの投影データに基づいて学習を行う複数の学習モデルにて推定を行うことができる。
(13)この発明に係る認識装置は、統合推定手段が、前記第１～第ｍ二次元投影データのうち、前記視点が対象物の三次元点群データを測定した測定位置に最も近接している二次元投影データを、他の二次元投影データよりもウエイトを高くして統合対象物推定を行うことを特徴としている。
したがって、より精度の高い推定を行うことができる。
(14)この発明に係る認識装置の生産方法は、対象物を測定した三次元点群データを、二次元平面に投影した二次元投影データに基づいて、対象物を区別して認識するための認識装置を生産する方法であって、学習によって上記認識処理を実現する装置に、学習対象物の三次元点群データを、視点と対象物までの距離を段階的に変えて二次元平面に投影した第１～第ｍ二次元投影データを学習データとして与えて学習させることを特徴としている。
したがって、一つのデータに対して複数の学習データを生成して学習させた認識装置を生成することができる。
(15)(16)この発明に係る認識装置は、対象物を区別して認識するための認識装置であって、対象物を測定した三次元点群データを、対象物までの距離を段階的に変えたｍ個の視点にて、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１１～第ｎｍ二次元投影データを生成する二次元投影データ生成手段と、前記第１１～第ｎｍ二次元投影データのそれぞれに基づいて、対象物を推定し、第１１～第ｎｍ対象物推定結果を出力する推定手段と、第１１～第ｎｍ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段とを備えている。
したがって、角度および距離を変えて投影した複数の二次元投影データに基づく推定結果に基づいて、正確な推定を行うことができる。
(17)この発明に係る認識装置は、推定手段が、学習対象物の三次元点群データを、対象物までの距離を段階的に変えたｍ個の視点にて、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１１～第ｎｍ二次元投影データを学習データとして学習させた結果に基づいて推論を行うことを特徴としている。
したがって、一つのデータに対して複数の学習データを生成して学習させることができる。
(18)この発明に係る認識装置は、推定手段が、第１１～第ｎｍ二次元投影データを学習データとして学習を行う一つの学習モデルを備えることを特徴としている。
したがって、複数の角度・距離からの投影データに基づいて学習を行うことができる。
(19)この発明に係る認識装置は、推定手段が、第１１～第ｎｍ二次元投影データのそれぞれを学習データとして学習を行う複数の学習モデルを備えることを特徴としている。
したがって、複数の角度・距離からの投影データに基づいて学習を行う複数の学習モデルにて推定を行うことができる。
(20)この発明に係る認識装置は、統合推定手段が、前記第１１～第ｎｍ二次元投影データのうち、対象物の三次元点群データを測定した測定位置に対応する視点および回転位置における二次元投影データを、他の二次元投影データよりもウエイトを高くして統合対象物推定を行うことを特徴としている。
したがって、より精度の高い推定を行うことができる。
(21)この発明に係る認識装置の生産方法は、対象物を測定した三次元点群データを、二次元平面に投影した二次元投影データに基づいて、対象物を区別して認識するための認識装置を生産する方法であって、学習によって上記認識処理を実現する装置に、学習対象物の三次元点群データを、対象物までの距離を段階的に変えたｍ個の視点にて、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１１～第ｎｍ二次元投影データを学習データとして与えて学習させることを特徴としている。
したがって、一つのデータに対して複数の学習データを生成して学習させた認識装置を生成することができる。
(22)この発明に係る認識装置は、二次元投影データの各点には、前記二次元平面までの垂直距離が属性として付与され、各推定手段は、当該垂直距離も考慮して対象物の推定を行うことを特徴としている。
したがって、二次元投影データを用いながら、三次元空間における奥行き情報を用いて対象物の推定を行うことができる。
(23)この発明に係る認識装置は、二次元投影データの各点には、前記三次元点群データにおける点の密度が属性として付与され、各推定手段は、当該密度も考慮して対象物の推定を行うことを特徴としている。
したがって、二次元投影データを用いながら、三次元空間における密度情報を用いて対象物の推定を行うことができる。
(24)この発明に係る認識装置は、二次元投影データの各点には、反射強度または色データまたはその双方が属性として付与され、各推定手段は、当該反射強度または色データまたはその双方も考慮して対象物の推定を行うことを特徴としている。
したがって、対象物の反射強度も考慮した推定を行うことができる。
(25)(26)この発明に係る認識装置は、対象物を区別して認識するための認識装置であって、対象物について第１～第ｎ観点による第１～第ｎ対象物データを得るデータ取得手段と、学習対象物のそれぞれについて第１～第ｎ観点による第１～第ｎ学習対象物データを得て、これら学習対象物データに基づいて学習させた推定手段と、第１対象物データを推定手段に与えて得られた第１推定結果と、第２対象物データを推定手段に与えて得られた第２推定結果と、・・・第ｎ対象物データを推定手段に与えて得られた第ｎ推定結果とに基づいて、これら推定結果を統合して対象物を推定する統合推定手段とを備えている。
したがって、観点変えて生成したデータに基づく推定結果に基づいて、精度の高い推定を行うことができる。
(27)この発明に係る認識装置は、推定手段が、第１～第ｎ学習対象物データによって学習を行う一つの学習モデルを備えることを特徴としている。
したがって、複数の観点からの学習対象物データに基づいて学習を行うことができる。
(28)この発明に係る認識装置は、推定手段が、第１～第ｎ学習対象物データのそれぞれによって学習を行う第１～第ｎ学習モデルを備え、第１学習モデルは第１対象物データによって第１推定結果を得て、第２学習モデルは第２対象物データによって第２推定結果を得て、・・・第ｎ学習モデルは第ｎ対象物データによって第ｎ推定結果を得ることを特徴としている。
したがって、複数の観点からの学習対象物データに基づいて学習を行う複数の学習モデルにて推定を行うことができる。
(29)(30)この発明に係る認識装置は、対象物を区別して認識するための認識装置であって、対象物を測定した三次元点群データを得るデータ取得手段と、前記三次元点群データを二次元平面に投影し、各点に二次元平面までの垂直距離を属性として付与した二次元投影データを生成する二次元投影データ生成手段と、学習対象物のそれぞれについて、三次元点群データを二次元平面に投影し、三次元空間において前記三次元点群データの各点の特徴であって、二次元平面においては表現されない特徴を、各点に属性として付与した学習二次元投影データを得て、これら学習二次元投影データに基づいて学習させた推定手段であって、前記二次元投影データに基づいて、対象物を推定する推定手段とを備ている。
したがって、二次元投影データを用いつつ三次元空間における特徴データも用いて推定を行うことができる。
(31)この発明に係る推定装置は、学習二次元投影データおよび二次元投影データの各点には、三次元点群データを二次元平面に投影する際の、三次元点群データの各点から二次元平面の対応する各点までの垂直距離が属性として付与されていることを特徴としている。
したがって、二次元投影データを用いつつ三次元空間における奥行き情報も用いて推定を行うことができる。
(32)この発明に係る推定装置は、学習二次元投影データおよび二次元投影データの各点には、三次元点群データにおける対応する点の三次元空間における密度が属性として付与されていることを特徴としている。
したがって、二次元投影データを用いつつ三次元空間における密度情報も用いて推定を行うことができる。
「二次元投影データ生成手段」は、実施形態においては、ステップＳ１５３がこれに対応する。
「推定手段」は、実施形態においては、ステップＳ１５５、Ｓ２５３がこれに対応する。
「統合推定手段」は、実施形態においては、ステップＳ１５７、Ｓ２５４がこれに対応する。
「データ取得手段」は、実施形態においては、ステップＳ１５３、Ｓ２５２がこれに対応する。
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
この発明の一実施形態による認識装置の生産方法の概要を示す図である。 認識装置のハードウエア構成である。 認識プログラム４８の学習処理のフローチャートである。 三次元点群データの例である。 オブジェクトに対するバウンダリーボックス８０を示す図である。 二次元平面Ｐ１～Ｐ６を示す図である。 二次元平面に対する投影を示す図である。 投影されたオブジェクトデータを示す図である。 オブジェクトを構成する点の密度の算出を示す図である。 この発明の一実施形態による認識装置の機能ブロック図である。 認識プログラム４８のフローチャートである。 三次元点群データの例である。 地盤点抽出のフローチャートである。 地盤点抽出を説明するための図である。 バウンダリーボックスを設定した状態を示す図である。 推定処理のフローチャートである。 第３の実施形態による認識装置の機能構成である。 認識プログラム４８のフローチャートである。 推定処理のフローチャートである。 推定手段の他の構成例を示す図である。
１．第１の実施形態
1.1全体構成
図１に、この発明の一実施形態による認識装置の学習方法を示す。これにより、深層学習プログラムが学習を行って、三次元点群データによって表されるオブジェクトの種類を認識する認識装置を生成することができる。
学習対象物の三次元点群データ６の周囲に回転させた第１二次元平面Ｐ１、Ｐ２、Ｐ３・・・Ｐｎに、当該三次元点群データ６を投影した第１～第ｎ二次元投影データを生成する。これに、学習対象物の種類を属性として付与する。これを多数の学習対象物について行って、多くの第１～第ｎ二次元投影データを生成する。
このようにして生成した第１～第ｎ二次元投影データを、深層学習プログラムに与えて学習を行う。これにより、対象物の二次元投影データに基づいて、対象物の種類を認識する認識装置を生成することができる。
1.2ハードウエア構成
図２に、認識装置のハードウエア構成を示す。ＣＰＵ３０には、メモリ３２、ディスプレイ３４、通信回路３６、ハードディスク３８、ＤＶＤ－ＲＯＭドライブ４０、キーボード／マウス４２、記録媒体ドライブ４４が接続されている。通信回路３６は、インターネットに接続するためのものである。記録媒体ドライブ４４は、可搬性記録媒体５２に記録された三次元点群データを取り込むためのものである。
ハードディスク３８には、オペレーティングシステム４６、認識プログラム４８が記録されている。認識プログラム４８は、深層学習によって学習を行なうことで、与えられた三次元点群データ（に基づく二次元投影データ）によって示されるオブジェクトの種類を認識するものである。認識プログラム４８は、オペレーティングシステム４６と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ－ＲＯＭ５０に記録されていたものを、ＤＶＤ－ＲＯＭドライブ４０を介して、ハードディスク３８にインストールしたものである。
1.3学習処理
この実施形態では、対象物の種類を推定するためにディープラーニング（深層学習）を用いている。たとえば、認識プログラム４８の認識処理部分としてWei Liuらによって開発されたＳＳＤ(Single Shot MultiBox Detection)を用いることができる。
図３に、認識プログラム４８の学習処理のフローチャートを示す。ＣＰＵ３０は、ハードディスク３８に記録された学習用元データを取得し、メモリ３２に展開する（ステップＳ１）。この学習用元データは、可搬性記録媒体５２に記録されていたものを、記録媒体ドライブ４４を介してハードディスク３８に記録したものである。
学習用元データは、モービル・マッピング・システム（ＭＭＳ）によって計測した三次元点群データに基づいて生成したものである。ＭＭＳでは、自動車などにレーザスキャナ・ＧＰＳ受信機を搭載し、走行しながら路面や地物などの三次元形状を三次元点群データとして得ることができる。また、この実施形態では、レーザの反射強度を、三次元点群データの各点の属性として記録している。さらに、自動車などの走行軌跡も併せてデータとして記録している。
以下、計測された三次元点群データから学習用元データを生成する処理を説明する。図４に、三次元点群データを三次元空間にプロットした例を示す。この三次元点群データから地盤（地面、道路面など）を取り除き、樹木、ガードレール、標識などの地物について、それぞれの地物を囲う直方体のバウンダリーボックスを生成する。バウンダリーボックスは、ラベリング処理によって自動的に生成してもよいし、操作者の操作によって生成してもよい。
図５に、オブジェクトに対して設定されたバウンダリーボックスを示す。図中、白線で示す直方体８０がバウンダリーボックスである。バウンダリーボックス８０は、オブジェクトを内包するように設定される。図５は、標識のオブジェクトであるから、バウンダリーボックス８０内の全ての三次元点群データに対して、「標識」という地物の種類名が付与される。地物の種類名の付与は、操作者がマウスなどを操作して行う。なお、この実施形態では、交通島、分離帯、植栽及び防雪林、歩道橋、標識柱・表示板、証明柱、道路反射鏡、信号機、ガードレール、電柱、ポールコーン、視線誘導線、踏切、施設・建物、フェンス、その他の構造物を種類名として付与し学習を行うようにしている。
なお、２つ以上のオブジェクトが接触している場合には、それぞれのオブジェクトごとにバウンダリーボックスを生成する。このため、バウンダリーボックスが一部重複する場合もある。ただし、三次元点群を構成する各点は、それぞれいずれのオブジェクトであるか区別できるので、各点ごとに地物の種類名を付与する。
なお、この実施形態では、レーザの反射強度も測定しているので、各点について反射強度が付与されている。
以上のようにして生成された各地物についての多数の学習用元データを、ステップＳ１にて取り込む。
次に、ＣＰＵ３０は、この三次元点群による学習用元データに基づいて、学習のための二次元投影データを生成する（ステップＳ３～Ｓ７）。図６に示すように、オブジェクト６の周囲に所定角度（例えば６０度ごと）にて、第１～第６二次元平面を生成する。このそれぞれの二次元平面にオブジェクト６を投影し、学習データである第１～第６二次元投影データを得る。
図７に、三次元点群データであるオブジェクト６を第１二次元平面Ｐ１に投影して、第１二次元点群データである第１二次元投影データを得る処理を模式的に示す。この実施形態では、オブジェクト６と視点８２との間に二次元平面を置くようにしている。このような投影処理を、第１～第６二次元平面Ｐ１～Ｐ６のそれぞれについて行う（ステップＳ４、Ｓ５、Ｓ６、Ｓ７）。したがって、いろいろな角度から投影された二次元投影データを得ることができる。
この際、図８Ａに示すように、二次元投影データを囲うバウンダリーボックス８６の領域を示す情報（右上、左下の座標）と、地物の種類を示す情報（「信号機」など）を、この二次元投影データに付与する（ステップＳ６）。なお、地物の種類を示す情報は、三次元点群データに予め与えられているので、これをそのまま用いることができる。
さらに、二次元投影データの各点には、対応する三次元点群データの各点から二次元平面までの距離、対応する三次元点群データの各点の反射率、対応する三次元点群データの各点における点密度が属性として付与される（ステップＳ６）。
三次元点群データの点から二次元平面までの距離を属性として持つことで、二次元点群データでありながら、三次元情報も保持することができる。また、さらに、三次元点群データにおける点密度も属性として持っており、この点においても三次元情報を保持することができる。
また、反射率を付与することで、看板などの反射率の高い部分を含む地物の推定が容易となる。
なお、この実施形態においては、次のようにして三次元点群データにおける点密度を、二次元投影データに与えている。図９Ａに示すようなオブジェクトがあるとする。このバウンダリボックスを図９Ｂに示すように、複数に分割する。さらに分割を繰り返し、バウンダリーボックスの一辺が所定の値（たとえば０．１ｍ以下）になるまで、バウンダリーボックスを小さくする（最小バウンダリーボックス）。この時に、最小バウンダリーボックス内に存在する点の数を密度として、当該最小バウンダリーボックス内の全ての点に属性として付与する。
なお、計測するレーザや計測手法などによって三次元点群の点密度は異なったものとなる。したがって、各オブジェクトにおいて最も密度の高い最小バウダリーボックス等を基準として、密度の正規化を行うことが好ましい。
上記のように、三次元点群データの各点には点密度が属性として付与されているので、上記二次元投影データにおいてもこれを付与する。
なお、二次元投影時に、同一の位置に二以上の三次元点群データの点が対応することがある。この場合には、計測点に最も近い点のデータを用いるようにする。
また、信号機とガードレールが接触するなど、複数の地物が一つのオブジェクトとして認識される場合には、三次元点群データにおいてそれぞれの地物について個々にバウンダリーボックスを設定する。これにより、図８Ｂに示すように、それぞれの地物に対してバウンダリーボックス８６ａ、８６ｂが設定された二次元投影データを得ることができる。
したがって、図８Ｂに示すような二次元投影データを生成し、これに、信号機のバウンダリーボックス８６ａの領域を示す情報と地物の種類「信号機」、ガードレールのバウンダリボックス８６ｂの領域を示す情報と地物の種類「ガードレール」を付与したデータが付与される。
以上のようにして、第１～第６二次元元平面Ｐ１～Ｐ６における二次元投影データを得ると、ＣＰＵ３０は、視点８２（図７参照）の距離を変えて、上記の処理を繰り返し、二次元投影データを生成する（ステップＳ３、Ｓ５、Ｓ６、Ｓ７）。
以上のようにして１つのオブジェクトについて多数の二次元投影データを得ることができる。ＣＰＵ３０は、学習用元データとして用意された全てのオブジェクトについて上記の処理を繰り返し、二次元投影データを得る（ステップＳ２、Ｓ７）。
以上のようにして、学習のためのデータを生成することができる。次に、生成した二次元投影データを学習データ（教師データ）として、ディープラーニングのプログラム（ここでは、ＳＳＤを用いた）に与えて学習を行う（ステップＳ８）。
なお、ＳＳＤは二次元カラー画像に基づくオブジェクト認識のために開発されたものである。したがって、ＳＳＤが扱うデータは、１つの画素についてＲＧＢの３つである。そこで、この実施形態では、二次元投影データの各点を画素とし、Ｒに反射強度、Ｇに投影距離、Ｂに点密度を与えるようにした。点の存在する位置にはこれらデータを与え、点の存在しない位置にはデータはＮＵＬＬとした。
1.4その他
(1)上記実施形態では、二次元投影データの各点に、対応する三次元点群データの各点から二次元平面までの距離、対応する三次元点群データの各点における点密度を付与するようにしている。すなわち、三次元空間において現れるが、二次元平面においては現れない特徴をデータ（三次元特徴データ）として付与するようにしている。しかし、三次元点群データのオブジェクト中の所定場所（たとえば中心線）からの距離などの、その他の三次元特徴データを付与するようにしてもよい。
(2)上記実施形態では、角度や距離を変えて二次元平面を設定し、二次元投影データを得るようにしている。しかし、角度のみを変えて二次元平面を設定して二次元投影データを得てもよい。また、距離のみを変えて二次元平面を設定して二次元投影データを得てもよい。また、上記実施形態では、オブジェクトの上下方向に垂直な面上に二次元平面を設定したが、いずれの方向に二次元平面を設定するようにしてもよい。たとえば、オブジェクトの上下方向に水平な面上に二次元平面を設定してもよい。
(3)上記実施形態では、図７に示すように、オブジェクト６と視点８２の間に二次元平面Ｐを設定している。しかし、視点８２に対してオブジェクト６の外側に二次元平面Ｐを設定してもよい。また、視点８２を設定せず、無限遠点から二次元平面Ｐに対して投影を行うようにしてもよい。
(4)上記実施形態では、計測して得た三次元点群データに基づいて二次元投影データを生成して学習用データとしている。しかし、計測して得た三次元点群データの点密度を変えるなどの加工を施したものに基づいて二次元投影データを生成して学習用データとしてもよい。また、三次元ＣＡＤデータなどから生成した三次元点群データに基づいて二次元投影データを生成して学習用データとしてもよい。
(5)上記では、角度や距離を変えて二次元平面を設定し、二次元投影データを学習データとして深層学習を行うようにしている。しかし、これらに次元投影データを機械学習の学習データとして用いてもよい。
(6)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。
２．第２の実施形態
2.1全体構成
図１０に、この発明の一実施形態による認識装置の全体構成を示す。二次元投影データ生成手段２は、認識対象物の三次元点群データ７の周囲に回転させた第１二次元平面Ｐ１、Ｐ２、Ｐ３・・・Ｐｎに、当該三次元点群データ６を投影した第１～第ｎ二次元投影データを生成する。
推定手段３は、これらの第１～第ｎ二次元投影データのそれぞれに基づいて、対象物の種類を推定する。したがって、推定手段３は、第１～第ｎ推定結果を出力する。
なお、推定手段３は、たとえば、第１の実施形態にて説明した深層学習によるプログラム（たとえばＳＳＤ）を用いることができる。また、その他の機械学習によるプログラムや、論理的に形成された推論を行うプログラムを用いることができる。
統合推定手段４は、第１～第ｎ推定結果に基づいて、統合した対象物推定結果を出力する。
2.2ハードウエア構成
この実施形態による認識装置のハードウエア構成は、第１の実施形態と同様である。
2.3認識処理
この実施形態では、認識プログラム４８は、第１の実施形態に示すようにして学習を行ったディープラーニングプログラムを含んで構成される。以下、認識プログラム４８による認識処理を説明する。すなわち、測定した三次元点群データに表れたオブジェクトがいずれの地物に該当するかを認識する処理を説明する。
図１１に、認識プログラム４８のフローチャートを示す。ＣＰＵ３０は、ハードディスク３８に記録されている三次元点群データをメモリ３２に展開する（ステップＳ１１）。
この三次元点群データ３２は、可搬性記録媒体５２に記録されていたものを、記録媒体ドライブ４４を介して、ハードディスク３８に取り込んだものである。また、この実施形態では、三次元点群データ３２としてモービル・マッピング・システム（ＭＭＳ）によって取得したデータを用いている。ＭＭＳでは、自動車などにレーザスキャナ・ＧＰＳ受信機を搭載し、走行しながら路面や地物などの三次元形状を三次元点群データとして得ることができる。また、この実施形態では、レーザの反射強度を、三次元点群データの各点の属性として記録している。さらに、自動車などの走行軌跡も併せてデータとして記録している。
図１２に、三次元点群データの例を示す。道路、地物の表面の形状が三次元点群によって表されたデータとなっている。
次に、ＣＰＵ３０は、この三次元点群データから地盤点を抽出する（ステップＳ２）。図１３に、地盤点抽出処理のフローチャートを示す。ＣＰＵ３０は、クロスシミュレーション手法によって地盤点を抽出する（ステップＳ１２１）。クロスシミュレーション手法は、以下のとおりである。三次元点群データの標高値を反転する。たとえば、図１４Ａに示すような断面の三次元点群デーがあれば、図１４Ｂに示すような反転三次元点群データが得られる。
次に、ＣＰＵ３０は、反転三次元点群データに対して上方向から布をかけたようにシミュレーションを行う。図１４Ｃに、シミュレーションされた布を破線にて示す。続いて、ＣＰＵ３０は、図１４Ｄに示すように、当該シミュレーションされた布が接する三次元点群データを地盤点として抽出する。次に、ＣＰＵ３０は標高値を再反転して、図１４Ｄに示すような地盤点を得る。
このようにして抽出された地盤点は、概ね正確であるが、図１４Ｅに示すように、地物の存在する近傍６０において一部地物を含んでしまうことがある。そこで、抽出された各地盤点によって形成される線の法線方向を算出し、当該法線方向が上下方向に対して所定角度以上（たとえば３０度以上）の部分を地盤点から除く（ステップＳ１２２）。
なお、この実施形態では、地盤点抽出にクロスシミュレーションを用いたが、最下点抽出方法など他の方法によって地盤点を抽出してもよい。
以上のようにして地盤点を抽出すると、ＣＰＵ３０は、三次元点群データから地盤点を取り除く（ステップＳ１３）。これにより、地盤の上に存在するオブジェクトのみの三次元点群データが得られる。
次に、ＣＰＵ３０は、この三次元点群データを塊ごとにオブジェクトにまとめる（ステップＳ１３）。三次元空間をグリッドで分割し、上下左右斜めに隣接するグリッドに点が存在する場合、これらを一つにまとめていく処理を行い、オブジェクトを見いだしていく。この処理としては、たとえば、コネクテッド・コンポーネントを用いた空間ラベリングの手法を用いることができる。そして、各オブジェクトを内包するバウンダリーボックスを生成する。図１５に、見いだされたオブジェクトとバウンダリーボックスの例を示す。
さらに、ＣＰＵ３０は、それぞれのオブジェクトについて地物種類の推定処理を行う（ステップＳ１５）。
図１６に、１つのオブジェクトについての地物種類推定の詳細フローチャートを示す。ＣＰＵ３０は、オブジェクトに対して、図６に示すように二次元平面Ｐ１～Ｐ６を設定し、二次元投影画像を生成する（ステップＳ１５２、Ｓ１５３）。さらに、生成した二次元投影画像に対して、対応する三次元点群データの各点から二次元平面までの距離、対応する三次元点群データの各点の反射率、対応する三次元点群データの各点における点密度を属性として付与する（ステップＳ１５４）。また、この処理を図７の視点８２の位置を変えながら行う（ステップＳ１５１）。以上の処理は、図３において説明した処理と同様である。
ＣＰＵ３０は、上記のようにして視点位置、二次元平面角度を変えて生成した二次元投影画像（二次元点群データ）のそれぞれについて、学習済みモデルにて地物種類の推定を行う（ステップＳ１５５）。したがって、たとえば、視点位置が４カ所で、それぞれの視点について二次元平面を６つ設定すれば、１つのオブジェクトについて２４個の地物の推定結果を得ることができる。
ＣＰＵ３０は、これらの推定結果に含まれる最も多い地物を、最終的な推定地物として決定する（ステップＳ１５７）。
この処理を、図１１のステップＳ１３において抽出した全てのオブジェクトについて行う（ステップＳ１４、Ｓ１５、Ｓ１６）。
2.4その他
(1)上記実施形態では、二次元投影データの各点に、対応する三次元点群データの各点から二次元平面までの距離、対応する三次元点群データの各点における点密度を付与するようにしている。すなわち、三次元空間において現れるが、二次元平面においては現れない特徴をデータ（三次元特徴データ）として付与するようにしている。しかし、三次元点群データのオブジェクト中の所定場所（たとえば中心線）からの距離などの、その他の三次元特徴データを付与するようにしてもよい。
(2)上記実施形態では、角度や距離を変えて二次元平面を設定し、二次元投影データを得るようにしている。しかし、角度のみを変えて二次元平面を設定して二次元投影データを得てもよい。また、距離のみを変えて二次元平面を設定して二次元投影データを得てもよい。また、上記実施形態では、オブジェクトの上下方向に垂直な面上に二次元平面を設定したが、いずれの方向に二次元平面を設定するようにしてもよい。たとえば、オブジェクトの上下方向に水平な面上に二次元平面を設定してもよい。
(3)上記実施形態では、学習時、推定時において、a)二次元投影データの各点に三次元特徴データを付与するとともに、b)角度・距離を変えて二次元平面を設定して多数の二次元投影データを得るようにしている。これにより、推定精度を上げるようにしている。しかし、a)またはb)のいずれか一方のみを行った場合であっても、a)b)の双方を行わない場合に比べて、推定精度を上げることができる。
a)のみを行う場合には、１つのオブジェクトに対して１つの二次元投影データを用いることになる。b)のみを行う場合には、三次元特徴データの付与されていない複数の二次元投影データを用いることになる。
(4)上記実施形態では、反射強度を属性として付与するようにしている。しかし、これを付与しないようにしてもよい。また、カメラなどによって撮像したＲＧＢの色情報などを属性として与えて学習を行っておき、これらの属性も考慮して推定を行うようにしてもよい。さらに、その属性を用いて学習を行い、推定を行うようにしてもよい。
(5)上記実施形態では、ステップＳ１５７において推定結果を多数決によって統合するようにしている。しかし、ウエイトづけを行って最終結果を導くようにしてもよい。たとえば、判断対象物の三次元点群データを計測した位置に最も近い二次元平面による二次元投影データを用いた推定結果のウエイトを高くして最終結果を導くようにしてもよい。
(6)上記実施形態では、ＭＭＳによって計測した三次元点群データを用いている。しかし、その他固定型レーザスキャナなどによって計測した三次元点群データを用いてもよい。
(7)上記実施形態では、二次元投影データを用いて学習・推定を行っているが、三次元点群データを用いて学習・推定を行うようにしてもよい。
(8)上記実施形態では、深層学習によって推定手段を構築するようにしている。しかし、機械学習や論理的推論を用いて推定手段を構築するようにしてもよい。
(9)上記実施形態では、一つのコンピュータによって認識装置を構成している。しかし、端末装置から三次元点群データを受け取って推定を行うサーバ装置として構築してもよい。
(10)上記実施形態では、図２０Ａに示すように、角度、距離を変えて二次元平面に投影した学習用二次元投影データに基づいて一つの学習モデルを生成し、角度、距離を変えて二次元平面に投影した対象物二次元投影データのそれぞれについてこのモデルにて複数の推定結果を得て、これら推定結果を統合するようにしている。
しかし、図２０Ｂに示すように、角度、距離を変えて二次元平面に投影した学習用二次元投影データのそれぞれについて学習モデルを生成し、角度、距離を変えて二次元平面に投影した対象物二次元投影データを対応する学習モデルに与えて推定結果を得て、これら推定結果を統合するようにしてもよい。
さらに、図２０Ｃに示すように、角度、距離を変えて二次元平面に投影した学習用二次元投影データのそれぞれについて学習モデルを生成し、各モデルに角度、距離を変えて二次元平面に投影した対象物二次元投影データを与えて複数の推定結果を得て、これら推定結果を統合するようにしてもよい。
なお、上記各場合において、角度だけを変えて二次元平面に投影した対象物二次元投影データや、距離だけを変えて二次元平面に投影した対象物二次元投影データを用いるようにしてもよい。
(11)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。
３．第３の実施形態
3.1全体構成
図１７に、この発明の一実施形態による認識装置の全体構成を示す。データ取得手段１００は、対象物の二次元データまたは三次元データに基づいて、異なる観点からの第１～第ｎ対象物データを得る。
推定手段１０２は、これら第１～第ｎ対象物データのそれぞれについて対象物の種類を推定し、第１～第ｎ推定結果を出力する。統合推定手段１０４は、これら第１～第ｎ推定結果を統合して、対象物の種類を推定した結果を出力する。
なお、推定手段１０２は、深層学習によって学習したものであってもよいし、その他の機械学習によって学習したものであってもよい。また、論理的に推論を行うものであってもよい。
3.2ハードウエア構成
この実施形態による認識装置のハードウエア構成は、第１の実施形態と同様である。
3.3学習処理
この実施形態では、対象物の種類を推定するためにディープラーニング（深層学習）を用いている。たとえば、認識プログラム４８の認識処理部分としてWei Liuらによって開発されたＳＳＤ(Single Shot MultiBox Detection)を用いることができる。
図１８に、認識プログラム４８の学習処理のフローチャートを示す。ＣＰＵ３０は、ハードディスク３８に記録された学習用元データを取得し、メモリ３２に展開する（ステップＳ２０１）。この学習用元データは、可搬性記録媒体５２に記録されていたものを、記録媒体ドライブ４４を介してハードディスク３８に記録したものである。
この実施形態では、学習対象物を撮像した二次元カラー画像を学習用元データとして用いている。なお、三次元画像データを用いてもよい。次に、ＣＰＵ３０は、学習用元データである二次元カラー画像に対し、色彩フィルタリングを施して、複数のフィルタリングデータを生成する（ステップＳ２０３）。この実施形態では、特定の色彩を取り出す色彩フィルタリングＦＬ1～ＦＬn（特性の異なるフィルタリング処理）を行って、ｎ個のフィルタリングデータを得ている。したがって、学習用元データに基づいて、色彩成分の異なる多数の学習データを得ることができる。
ＣＰＵ３０は、このようにして生成した学習データに対して、対象物についてのデータを付与する。なお、対象物の種類を識別する場合（対象物の識別）であれば種類（対象物名）を付与する。対象物が１種類に決まっており、画像中から対象物を抽出する場合には、画像中における対象物の領域を付与する。
深層学習においては、多数の学習データがある方が好ましいので、このように一つの学習用元データから多数の学習データを生成できることはメリットが大きい。
ＣＰＵ３０は、上記の学習データ生成処理を、多数の学習対象物の二次元カラー画像について行う（ステップＳ２０２、Ｓ２０４）。
全ての学習対象物（オブジェクト）について学習データを生成すると、次に、ＣＰＵ３０は、これら学習データに基づいてＳＳＤを学習させる（ステップＳ２０６）。
3.4認識処理
図１９に、認識プログラム４８のフローチャートを示す。ＣＰＵ３０は、ハードディスク３８に記録されている判定対象物の二次元カラー画像をメモリ３２に展開する（ステップＳ２５１）。
この二次元カラー画像は、可搬性記録媒体５２に記録されていたものを、記録媒体ドライブ４４を介して、ハードディスク３８に取り込んだものである。なお、二次元カラー画像は、カメラ等から直接取り込むようにしてもよい。
ＣＰＵ３０は、この二次元カラー画像に対して、色彩フィルタリング処理を行う。すなわち、色彩フィルタリングＦＬ1～ＦＬn（特性の異なるフィルタリング処理）を行って、ｎ個のフィルタリングデータを得る（ステップＳ２５２）。
ＣＰＵ３０は、得られたｎ個のフィルタリングデータのそれぞれについて、学習済みモデルにてオブジェクトの種類の推定を行う（ステップＳ２５３）。フィルタリングデータがｎ個あるので、ｎ個の推定結果を得ることができる。
ＣＰＵ３０は、これらｎ個のオブジェクト種類の推定結果のうち、最も多いオブジェクト種類を、最終的な判定結果として出力する（ステップＳ２５４）。
3.5その他
(1)上記実施形態では、色彩フィルタリングを行うことで元の二次元カラー画像データから複数の観点の学習データ、複数の観点の推定対象データを生成している。しかし、元のデータの画素数を変える、回転させる、濃度だけのデータとする、彩度に着目したデータとする、特定周波数成分の大きさを表す画像データとするなどの観点から、学習データや推定対象データを生成するようにしてもよい。
(2)上記実施形態では、二次元カラー画像データを元データとして、複数の観点の学習データや推定対象データを生成するようにしている。しかし、二次元モノクロ画像データを元データとしてもよい。また、三次元カラー（モノクロ)画像データやマルチスペクトル画像データなどを元データとしてもよい。たとえば、第１、第２の実施形態のように、二次元平面に投影することで異なる観点の学習データ、推定対象データを得るようにしてもよい。なお、その他の観点を用いてもよい。
(3)上記実施形態では、深層学習によって推定手段を構築するようにしている。しかし、機械学習や論理的推論を用いて推定手段を構築するようにしてもよい。
(4)上記実施形態では、一つのコンピュータによって認識装置を構成している。しかし、端末装置から二次元カラー画像を受け取って推定を行うサーバ装置として構築してもよい。
(5)上記実施形態では、観点の異なる学習用データに基づいて一つの学習モデルを生成し、観点の異なる対象物データのそれぞれについてこのモデルにて複数の推定結果を得て、これら推定結果を統合するようにしている。
しかし、第２の実施形態にて説明したように、観点の異なる学習用データのそれぞれについて学習モデルを生成し、観点の異なる対象物データを対応する学習モデルに与えて推定結果を得て、これら推定結果を統合するようにしてもよい（図２０Ｂ参照）。
さらに、観点の異なる学習用データのそれぞれについて学習モデルを生成し、各モデルに観点の異なる対象物データを与えて複数の推定結果を得て、これら推定結果を統合するようにしてもよい（図２０Ｃ参照）。
(6)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。

Claims (24)

  1. 対象物を区別して認識するための認識装置であって、
    対象物を測定した三次元点群データを、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１～第ｎ二次元投影データを生成する二次元投影データ生成手段と、
    前記第１～第ｎ二次元投影データのそれぞれに基づいて、対象物を推定し、第１～第ｎ対象物推定結果を出力する推定手段と、
    第１～第ｎ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段と、
    を備えた認識装置において、
    前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与され、
    前記各推定手段は、当該点密度および当該距離も考慮して対象物の推定を行うことを特徴とする認識装置。
  2. コンピュータによって対象物を区別して認識するための認識装置を実現するための認識プログラムであって、コンピュータを、
    対象物を測定した三次元点群データを、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１～第ｎ二次元投影データを生成する二次元投影データ生成手段と、
    前記第１～第ｎ二次元投影データのそれぞれに基づいて、対象物を推定し、第１～第ｎ対象物推定結果を出力する推定手段と、
    第１～第ｎ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段として機能させるための認識プログラムにおいて、
    前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与され、
    前記各推定手段は、当該点密度および当該距離も考慮して対象物の推定を行うことを特徴とする認識プログラム。
  3. 請求項１の装置または請求項２のプログラムにおいて、
    前記推定手段は、学習対象物の三次元点群データを、当該対象物の周囲に回転させたｎ個の各位置における二次元平面に投影した第１～第ｎ二次元投影データを学習データとして学習させた結果に基づいて推論を行うことを特徴とする装置またはプログラム。
  4. 請求項３の装置またはプログラムにおいて、
    前記推定手段は、第１～第ｎ二次元投影データを学習データとして学習を行う一つの学習モデルを備えることを特徴とする装置またはプログラム。
  5. 請求項３の装置またはプログラムにおいて、
    前記推定手段は、第１～第ｎ二次元投影データのそれぞれを学習データとして学習を行う複数の学習モデルを備えることを特徴とする装置またはプログラム。
  6. 請求項１～５のいずれかの装置またはプログラムにおいて、
    前記統合推定手段は、前記第１～第ｎ二次元投影データのうち、対象物の三次元点群データを測定した測定位置に対応する二次元投影データを、他の二次元投影データよりもウエイトを高くして統合対象物推定を行うことを特徴とする装置またはプログラム。
  7. 対象物を測定した三次元点群データを、二次元平面に投影した二次元投影データに基づいて、対象物を区別して認識するための認識装置をコンピュータによって生産する方法であって、
    前記コンピュータが、学習によって上記認識処理を実現する装置に、学習対象物の三次元点群データを、当該対象物の周囲に回転させたｎ個の各位置における二次元平面に投影した第１～第ｎ二次元投影データを学習データとして与えて学習させることにより認識装置を生産する方法において、
    前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与されていることを特徴とする認識装置を生産する方法。
  8. 対象物を区別して認識するための認識装置であって、
    対象物を測定した三次元点群データを、視点と対象物までの距離を段階的に変えて二次元平面に投影した第１～第ｍ二次元投影データを生成する二次元投影データ生成手段と、
    前記第１～第ｍ二次元投影データのそれぞれに基づいて、対象物を推定し、第１～第ｍ対象物推定結果を出力する推定手段と、
    第１～第ｍ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段と、
    を備えた認識装置において、
    前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与され、
    前記各推定手段は、当該点密度および当該距離も考慮して対象物の推定を行うことを特徴とする認識装置。
  9. コンピュータによって対象物を区別して認識するための認識装置を実現するための認識プログラムであって、コンピュータを、
    対象物を測定した三次元点群データを、視点と対象物までの距離を段階的に変えて二次元平面に投影した第１～第ｍ二次元投影データを生成する二次元投影データ生成手段と、
    前記第１～第ｍ二次元投影データのそれぞれに基づいて、対象物を推定し、第１～第ｍ対象物推定結果を出力する推定手段と、
    第１～第ｍ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段として機能させるための認識プログラムにおいて、
    前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与され、
    前記各推定手段は、当該点密度および当該距離も考慮して対象物の推定を行うことを特徴とする認識プログラム。
  10. 請求項８の装置または請求項９のプログラムにおいて、
    前記推定手段は、学習対象物の三次元点群データを、視点と対象物までの距離を段階的に変えて二次元平面に投影した第１～第ｍ二次元投影データを学習データとして学習させた結果に基づいて推論を行うことを特徴とする装置またはプログラム。
  11. 請求項１０の装置またはプログラムにおいて、
    前記推定手段は、第１～第ｍ二次元投影データを学習データとして学習を行う一つの学習モデルを備えることを特徴とする装置またはプログラム。
  12. 請求項１０の装置またはプログラムにおいて、
    前記推定手段は、第１～第ｍ二次元投影データのそれぞれを学習データとして学習を行う複数の学習モデルを備えることを特徴とする装置またはプログラム。
  13. 請求項１０～１２のいずれかの装置またはプログラムにおいて、
    前記統合推定手段は、前記第１～第ｍ二次元投影データのうち、前記視点が対象物の三次元点群データを測定した測定位置に最も近接している二次元投影データを、他の二次元投影データよりもウエイトを高くして統合対象物推定を行うことを特徴とする装置またはプログラム。
  14. 対象物を測定した三次元点群データを、二次元平面に投影した二次元投影データに基づいて、対象物を区別して認識するための認識装置をコンピュータによって生産する方法であって、
    前記コンピュータが、学習によって上記認識処理を実現する装置に、学習対象物の三次元点群データを、視点と対象物までの距離を段階的に変えて二次元平面に投影した第１～第ｍ二次元投影データを学習データとして与えて学習させることにより認識装置を生産する方法において、
    前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与されていることを特徴とする認識装置を生産する方法。
  15. 対象物を区別して認識するための認識装置であって、
    対象物を測定した三次元点群データを、対象物までの距離を段階的に変えたｍ個の視点にて、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１１～第ｎｍ二次元投影データを生成する二次元投影データ生成手段と、
    前記第１１～第ｎｍ二次元投影データのそれぞれに基づいて、対象物を推定し、第１１～第ｎｍ対象物推定結果を出力する推定手段と、
    第１１～第ｎｍ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段と、
    を備えた認識装置において、
    前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与され、
    前記各推定手段は、当該点密度および当該距離も考慮して対象物の推定を行うことを特徴とする認識装置。
  16. コンピュータによって対象物を区別して認識するための認識装置を実現するための認識プログラムであって、コンピュータを、
    対象物を測定した三次元点群データを、対象物までの距離を段階的に変えたｍ個の視点にて、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１１～第ｎｍ二次元投影データを生成する二次元投影データ生成手段と、
    前記第１１～第ｎｍ二次元投影データのそれぞれに基づいて、対象物を推定し、第１１～第ｎｍ対象物推定結果を出力する推定手段と、
    第１１～第ｎｍ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段として機能させるための認識プログラムにおいて、
    前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与され、
    前記各推定手段は、当該点密度および当該距離も考慮して対象物の推定を行うことを特徴とする認識プログラム。
  17. 請求項１５の装置または請求項１６のプログラムにおいて、
    前記推定手段は、学習対象物の三次元点群データを、対象物までの距離を段階的に変えたｍ個の視点にて、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１１～第ｎｍ二次元投影データを学習データとして学習させた結果に基づいて推論を行うことを特徴とする装置またはプログラム。
  18. 請求項１７の装置またはプログラムにおいて、
    前記推定手段は、第１１～第ｎｍ二次元投影データを学習データとして学習を行う一つの学習モデルを備えることを特徴とする装置またはプログラム。
  19. 請求項１７の装置またはプログラムにおいて、
    前記推定手段は、第１１～第ｎｍ二次元投影データのそれぞれを学習データとして学習を行う複数の学習モデルを備えることを特徴とする装置またはプログラム。
  20. 請求項１７～１９のいずれかの装置またはプログラムにおいて、
    前記統合推定手段は、前記第１１～第ｎｍ二次元投影データのうち、対象物の三次元点群データを測定した測定位置に対応する視点および回転位置における二次元投影データを、他の二次元投影データよりもウエイトを高くして統合対象物推定を行うことを特徴とする装置またはプログラム。
  21. 対象物を測定した三次元点群データを、二次元平面に投影した二次元投影データに基づいて、対象物を区別して認識するための認識装置をコンピュータによって生産する方法であって、
    前記コンピュータが、学習によって上記認識処理を実現する装置に、学習対象物の三次元点群データを、対象物までの距離を段階的に変えたｍ個の視点にて、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１１～第ｎｍ二次元投影データを学習データとして与えて学習させることにより認識装置を生産する方法において、
    前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与されていることを特徴とする認識装置を生産する方法。
  22. 請求項１～６、８～１３、１５～２０のいずれかの装置またはプログラムにおいて、
    前記二次元投影データの各点には、前記三次元点群データにおける点の密度が属性として付与され、
    前記各推定手段は、当該密度も考慮して対象物の推定を行うことを特徴とする装置またはプログラム。
  23. 請求項１～６、８～１３、１５～２０、２２のいずれかの装置またはプログラムにおいて、
    前記二次元投影データの各点には、反射強度または色データまたはその双方が属性として付与され、
    前記各推定手段は、当該反射強度または色データまたはその双方も考慮して対象物の推定を行うことを特徴とする装置またはプログラム。
  24. 請求項１～６、８～１３、１５～２０、２２、２３のいずれかの装置またはプログラムにおいて、
    前記三次元点群データは、道路上を走行しながら異なる方向から計測した地物の点群データを合成して得た三次元点群データであることを特徴とする装置またはプログラム。

JP2018083641A 2018-04-25 2018-04-25 対象物認識装置 Active JP7204087B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018083641A JP7204087B2 (ja) 2018-04-25 2018-04-25 対象物認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018083641A JP7204087B2 (ja) 2018-04-25 2018-04-25 対象物認識装置

Publications (2)

Publication Number Publication Date
JP2019191908A JP2019191908A (ja) 2019-10-31
JP7204087B2 true JP7204087B2 (ja) 2023-01-16

Family

ID=68387892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018083641A Active JP7204087B2 (ja) 2018-04-25 2018-04-25 対象物認識装置

Country Status (1)

Country Link
JP (1) JP7204087B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259958B (zh) * 2020-01-15 2024-04-16 北京市商汤科技开发有限公司 物体识别方法及装置、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011215843A (ja) 2010-03-31 2011-10-27 Secom Co Ltd 顔画像処理装置
JP2015032256A (ja) 2013-08-06 2015-02-16 Kddi株式会社 画像処理装置およびそのデータベース構築装置
JP2015176175A (ja) 2014-03-13 2015-10-05 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017138219A (ja) 2016-02-04 2017-08-10 株式会社デンソー 物体認識装置
JP2017223511A (ja) 2016-06-14 2017-12-21 日本電信電話株式会社 道路構造化装置、道路構造化方法、及び道路構造化プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3475700B2 (ja) * 1997-02-19 2003-12-08 オムロン株式会社 物体認識方法、物体認識装置、および車輌認識装置
JP5041458B2 (ja) * 2006-02-09 2012-10-03 本田技研工業株式会社 三次元物体を検出する装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011215843A (ja) 2010-03-31 2011-10-27 Secom Co Ltd 顔画像処理装置
JP2015032256A (ja) 2013-08-06 2015-02-16 Kddi株式会社 画像処理装置およびそのデータベース構築装置
JP2015176175A (ja) 2014-03-13 2015-10-05 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017138219A (ja) 2016-02-04 2017-08-10 株式会社デンソー 物体認識装置
JP2017223511A (ja) 2016-06-14 2017-12-21 日本電信電話株式会社 道路構造化装置、道路構造化方法、及び道路構造化プログラム

Also Published As

Publication number Publication date
JP2019191908A (ja) 2019-10-31

Similar Documents

Publication Publication Date Title
US11861790B2 (en) Procedural world generation using tertiary data
CN109598794B (zh) 三维gis动态模型的构建方法
CN111542860A (zh) 用于自主车辆的高清地图的标志和车道创建
CN110796714B (zh) 一种地图构建方法、装置、终端以及计算机可读存储介质
CN110226186A (zh) 一种用于表示地图元素的方法和装置以及基于此定位车辆/机器人的方法和装置
JP7290240B2 (ja) 対象物認識装置
CN110428490B (zh) 构建模型的方法和装置
US20210150799A1 (en) Generating Environmental Data
CN104157011A (zh) 一种三维地形建模方法
RU2612571C1 (ru) Способ и система распознавания городских объектов
CN109115232A (zh) 导航的方法和装置
JP7204087B2 (ja) 対象物認識装置
RU2638638C1 (ru) Способ и система автоматического построения трехмерных моделей городов
CN113989680B (zh) 建筑三维场景自动构建方法及系统
JP7070531B2 (ja) 都市構造設計装置及び都市構造設計プログラム
Wolf et al. Applicability of neural networks for image classification on object detection in mobile mapping 3d point clouds
WO2021250734A1 (ja) 座標変換装置、座標変換方法、及び座標変換プログラム
Marc et al. Generator of Road Marking Textures and associated Ground Truth
CN116310189B (zh) 地图模型构建方法及终端
Thieling et al. Automated generation of virtual road scenarios for efficient tests of driver assistance systems
CN116843737A (zh) 一种基于目标表面点高度和不确定性的单目深度估计方法
CN115035251B (zh) 一种基于领域增强合成数据集的桥面车辆实时追踪方法
WO2023007660A1 (ja) ３次元点群識別装置、３次元点群識別方法、及び３次元点群識別プログラム
Jerkenhag Comparing machine learning methods for classification and generation of footprints of buildings from aerial imagery
D'Auria et al. Surveys and new visions of the ancient centre of Naples

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180511

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200310

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200605

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220601

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221017

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221026

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221220

R150 Certificate of patent or registration of utility model

Ref document number: 7204087

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350