JP6495560B2 - 点群処理システム - Google Patents

Description

本発明は、点群処理システム、方法及びプログラムに関する。

ドローン等の無人飛行体で上空を撮影し、地面までの距離をレーダで測定する技術が知られている。この技術を利用して、建設現場等のフィールドの３次元点群データを取得する試みがされている（例えば、特許文献１参照）。点群データは、三次元座標データと色彩データとを含んで構成される。そして、これら三次元座標データと色彩データを用いて、無人飛行体による空撮画像から、設計した造成地にする為の土量計算が行われる。

特開２０１６−１９４５１５号公報

ところで、点群データを取得した後に、所望の領域のみを抽出したい、削除したい等のニーズがある。例えば、ある空き地を撮影した場合に、撮影した空き地の画像から、森林部分のみを抽出したい、削除したい等のニーズがある。その際、所望する森林部分のみを画像解析で選択させるが、例えば、点の色彩や高度等で区別して、人工知能に選択させても、適切に森林等の所定の領域を選択するのが困難な場合が多い。

本発明は、このような要望に鑑みてなされたものであり、その目的は、点群データから所望の領域を正確に抽出あるいは削除することを可能にするシステムを提供することである。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、３次元点群データを処理する点群処理システムであって、
処理の対象となる点の色及び３次元座標を含む３次元点群データを取得する取得手段と、
処理の対象となる点の解析手法に関するパラメータについて、複数の候補が予め記憶されるパラメータ記憶手段と、
前記３次元点群データについて、前記パラメータ記憶手段に記憶される複数の候補のそれぞれにしたがってパラメータの変更を行い、前記変更を反映させた点群を、複数の候補のそれぞれについて所定の次元で画像表示する候補画像表示手段と、
前記候補画像表示手段に表示される複数種類の候補画像のうち、所望の画像の選択を受け付ける受付手段と、
前記受付手段により受け付けられた画像を表示する選択結果表示手段と、を備える点群処理システムを提供する。

第１の特徴に係る発明によると、３次元点群データについて、処理の対象となる点の解析手法に関するパラメータの変更を施して複数の候補を画像表示し、これら複数の候補から所望の画像を選択結果として表示することができる。そのため、点群の画像から、ユーザが所望する領域を正確に抽出あるいは削除することが可能なシステムを提供できる。

第２の特徴に係る発明は、第１の特徴に係る発明であって、
前記３次元点群データと前記受付手段により受け付けられた画像のパラメータとの相関関係を学習する学習手段と、
前記学習手段によって学習された結果に基づいて、前記パラメータ記憶手段に記憶される候補を更新する更新手段と、をさらに備える、点群処理システムを提供する。

第２の特徴に係る発明によると、３次元点群データとパラメータとの相関関係が学習され、その学習の結果に基づいて、パラメータ記憶手段に記憶される候補が更新される。そのため、点群の画像から、ユーザが所望する領域を正確に抽出あるいは削除することの精度をよりいっそう高めることができる。

本発明によれば、点群の画像から、ユーザが所望する領域を正確に抽出あるいは削除することが可能なシステムを提供できる。

図１は、本実施形態における点群処理システム１のハードウェア構成とソフトウェア機能を示すブロック図である。 図２は、本実施形態における点群処理方法を示すフローチャートである。 図３は、パラメータ記憶領域３３３の一例である。 図４は、画像表示部３４に３次元点群データの候補画像を表示したときの一例である。 図５は、図４で示した複数の候補画像から一の画像が選択されたときの一例である。

以下、本発明を実施するための形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

＜点群処理システム１の構成＞
図１は、本実施形態における点群処理システム１のハードウェア構成とソフトウェア機能を説明するためのブロック図である。点群処理システム１は、３次元点群データを処理するためのシステムである。

点群処理システム１は、撮影対象を撮影する空撮装置１０と、この空撮装置１０と無線通信できるように接続され、空撮装置１０を操縦するコントローラ２０と、空撮装置１０が撮影した画像（３次元点群データ）を処理する点群処理装置３０とを含んで構成される。

〔空撮装置１０〕
空撮装置１０は、撮影対象を空から撮影可能な装置であれば、特に限定されない。例えば、空撮装置１０は、ラジコン飛行機であってもよいし、ドローンと呼ばれる無人飛行体であってもよい。以下では、空撮装置１０がドローンであるものとして説明する。

空撮装置１０は、空撮装置１０の電源として機能する電池１１と、電池１１から供給される電力で動作するモーター１２と、モーター１２の動作によって回転し、空撮装置１０を浮上及び飛行させるローター１３とを備える。

また、空撮装置１０は、空撮装置１０の動作を制御する制御部１４と、制御部１４に空撮装置１０の位置情報を伝える位置検出部１５と、制御部１４からの制御信号にしたがってモーター１２を駆動するドライバー回路１６と、制御部１４からの制御信号にしたがって撮影対象を空撮するカメラ１７と、制御部１４のマイクロコンピューターで実行される制御プログラム等があらかじめ格納されるとともに、カメラ１７が撮影した画像を記憶する記憶部１８とを備える。

そして、空撮装置１０は、コントローラ２０との間で無線通信する無線通信部１９を備える。

これらの構成要素は、所定形状の本体構造体（フレーム等）に搭載されている。所定形状の本体構造体（フレーム等）については、既知のドローンと同様なものを採用すればよい。

［電池１１］
電池１１は、１次電池又は２次電池であり、空撮装置１０内の各構成要素に電力を供給する。電池１１は、空撮装置１００に固定されていてもよいし、着脱可能としてもよい

［モーター１２、ローター１３］
モーター１２は、電池１１から供給される電力でローター１３を回転させるための駆動源として機能する。ローター１３が回転することで、空撮装置１０を浮上及び飛行させることができる。

［制御部１４］
制御部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。

また、制御部１４は、所定のプログラムを読み込むことで、撮影モジュール１４１を実現する。

制御部１４は、モーター１２を制御して空撮装置１０の飛行制御（上昇、下降、水平移動などの制御）を行う。また、制御部１４は、空撮装置１０に搭載されているジャイロ（図示省略）を使用して、モーター１２を制御して空撮装置１０の姿勢制御を行う。

［位置検出部１５］
位置検出部１５は、ＬＩＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）技術と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）技術とを含んで構成される。これらＬＩＤＡＲ技術とＧＰＳ技術とを併用して、カメラ１７が撮影した画像の３次元点群データを構成する各々の点の緯度、経度、高さ（例えば、木の高さ）を検出する。

［ドライバー回路１６］
ドライバー回路１６は、制御部１４からの制御信号より指定された電圧をモーター１２に印加する機能を有する。これにより、ドライバー回路１６は、制御部１４からの制御信号にしたがってモーター１２を駆動させることができる。

［カメラ１７］
カメラ１７は、レンズにより取り込んだ光学像をＣＣＤやＣＭＯＳ等の撮像素子によって画像信号に変換（撮像）する機能を有する。カメラ１７の種類は、撮影対象の画像解析手法によって適宜選択すればよい。

［記憶部１８］
記憶部１８は、データやファイルを記憶する装置であって、ハードディスクや半導体メモリ、記録媒体、メモリカード等による、データのストレージ部を備える。記憶部１８には、制御部１４のマイクロコンピューターで実行される制御プログラム等をあらかじめ格納するための制御プログラム格納領域（図示せず）や、カメラ１７によって撮影された画像データを、位置検出部１５で検出した３次元座標データ（カメラ１７が撮影した画像の３次元点群データを構成する各々の点の緯度、経度、高さ（例えば、木の高さ）のデータ）とともに記憶する３次元点群データ格納領域（図示せず）等が設けられている。

なお、３次元点群データ格納領域に格納されるデータは、ＵＳＢメモリ、ＳＤカード等、携帯型の記録媒体を通じ、点群処理装置３０に移すことができる。

［無線通信部１９］
無線通信部１９は、コントローラ２０と無線通信可能に構成され、コントローラ２０から遠隔制御信号を受信する。

〔コントローラ２０〕
コントローラ２０は、空撮装置１０を操縦する機能を有する。コントローラ２０は、ユーザが空撮装置１０を操縦するため等に使用する操作部２１と、コントローラ２０の動作を制御する制御部２２と、制御部２２のマイクロコンピューターで実行される制御プログラム等があらかじめ格納される記憶部２３と、空撮装置１０との間で無線通信する無線通信部２４と、ユーザに所定の画像を表示する画像表示部２５とを備える。

無線通信部２４は、空撮装置１０と無線通信可能に構成され、空撮装置１０に向けて遠隔制御信号を受信する。

画像表示部２５は、空撮装置１０を操縦する操縦装置と一体であってもよいし、操縦装置とは別体であってもよい。操縦装置と一体であれば、ユーザが使用する装置の数を少なくすることができ、利便性が高まる。操縦装置と別体である場合、画像表示部２５として、空撮装置１０の無線通信部１９と無線接続可能な、スマートフォン、タブレット端末等の携帯端末装置が挙げられる。操縦装置と別体である場合、画像表示部２５を有しない既存の操縦装置であっても応用可能というメリットを有する。

〔点群処理装置３０〕
点群処理装置３０は、空撮装置１０のカメラを用いて撮影された撮影画像の３次元点群データを処理する機能を有する。点群処理装置３０は、ユーザが指令情報等を入力するための入力部３１と、点群処理装置３０の動作を制御する制御部３２と、制御部３２のマイクロコンピューターで実行される制御プログラム等があらかじめ格納される記憶部３３と、ユーザに所定の画像を表示する画像表示部３４とを備える。

制御部３２は、所定のプログラムを読み込むことで、取得モジュール３２１と、候補画像表示モジュール３２２と、受付モジュール３２３と、選択結果表示モジュール３２４と、学習モジュール３２５と、更新モジュール３２６とを実現する。

記憶部３３には、ＵＳＢメモリ、ＳＤカード等、携帯型の記録媒体を通じて移された、空撮装置１０の記憶部１８に記憶されていた３次元点群データを格納する３次元点群データベース３３１と、処理の対象となる点の解析手法に関するパラメータについて、複数の候補が予め記憶されるパラメータ記憶領域３３２と、複数の候補のそれぞれにしたがい、３次元点群データのパラメータ変更を行うことで得られる候補画像を一時的に記憶する候補画像記憶領域３３３と、候補画像の中から選択された画像を記憶する選択画像記憶領域３３４と等が設けられている。

＜点群処理システム１を用いた点群処理方法を示すフローチャート＞
図２は、点群処理システム１を用いた点群処理方法を示すフローチャートである。上述した各ハードウェアと、ソフトウェアモジュールが実行する処理について説明する。

〔ステップＳ１０：撮影された３次元点群データの取得〕
まず、点群処理システム１の空撮装置１０の制御部１４は、撮影モジュール１４１を実行し、カメラ１７に対して撮影対象を撮影する制御を行う。そして、制御部１４は、カメラ１７によって撮影された画像データを、位置検出部１５で検出した３次元座標データ（カメラ１７が撮影した画像の３次元点群データを構成する各々の点の緯度、経度、高さ（例えば、木の高さ））とともに、記憶部１８の３次元点群データ格納領域（図示せず）に記憶する。

３次元点群データ格納領域に記憶された情報は、空撮装置１０の着陸後、記録媒体を介して点群処理装置３０の３次元点群データベース３３１に記憶される。このようにして、点群処理装置３０の制御部３２は、取得モジュール３２１を実行し、処理の対象となる点の色及び３次元座標を含む３次元点群データを取得する。

〔ステップＳ１１：３次元点群データのパラメータ変更〕
続いて、点群処理装置３０の制御部３２は、候補画像表示モジュール３２２を実行し、処理の対象となる点の解析手法に関するパラメータについて、記憶部３３のパラメータ記憶領域３３２に予め記憶される複数の候補のそれぞれにしたがって、３次元点群データについてのパラメータ変更を行う。変更によって得られる候補画像のデータは、候補画像記憶領域３３３に一時的にセットされる。

図３は、パラメータ記憶領域３３２の一例である。パラメータ記憶領域には、４種類のパラメータ（森林検出強度、森林除去強度、高さ分解能、色分解能）について、３つの候補がセットされている。本実施形態では、パラメータは、０〜１００までの範囲で設定可能である。

森林検出強度は、３次元点群データを構成する各々の点について、制御部３２が、点の高さ（例えば、木の高さ）及び色彩に基づいて、森林であることを検出する強度を意味する。強度が低いと、制御部３２は、点の高さ（例えば、木や作物の高さ）が高く、色彩が濃い緑色である場合に限り、その点が森林を示す領域１０１（図４参照）であると認識する。他の場合は、平地の領域１０２（図４参照）であると認識する。強度が高いと、制御部３２は、点の高さ（例えば、木の高さや作物の高さ）が低い場合や、色彩が黄緑色である場合であっても、その点が森林を示す領域１０１（図４参照）であると認識し、色彩が土色である場合に、平地を示す領域１０２（図４参照）であると認識する。

森林除去強度は、３次元点群データから、森林を示す領域１０１（図４参照）を除く程度を意味する。強度が高いと、制御部３２は、点の高さ（例えば、木の高さ）が高く、色彩が濃い緑色である領域だけでなく、点の高さ（例えば、木の高さ）が低い場合や、色彩が黄緑色である領域についても、森林を示す領域１０１（図４参照）であるとして、表示状態から非表示状態に変更する。強度が低いと、制御部３２は、点の高さ（例えば、木の高さ）が高く、色彩が濃い緑色である領域についてだけ、森林を示す領域１０１（図４参照）であるとして、表示状態から非表示状態に変更する。

例えば、田畑や草が生えた空き地等は、色彩が緑色であっても、必ずしも森林を示す領域１０１（図４参照）であるとはいえない。実際には平地を示す領域１０２（図４参照）であるにもかかわらず、誤って森林を示す領域１０１（図４参照）であると認識されるのを防ぐため、森林除去強度の設定は、特に重要である。

なお、本実施形態では、３次元点群データから、ユーザが所望する領域（ここでは森林を示す領域１０１（図４参照））を削除するものとして説明しているが、３次元点群データから、ユーザが所望する領域を抽出する設定としてもよい。

高さ分解能は、点の高さ（例えば、木の高さ）の精度を調整する機能を意味する。精度が高いと、点の高さ（例えば、木の高さ）をセンチメートル単位で判断する。精度が低いと、点の高さ（例えば、木の高さ）をメートル単位で判断する。

色分解能は、色彩について、どこまでの色の違いで判断するかを定める機能を意味する。色分解能が高い場合、例えば、ＲＧＢ値で、１単位で判断する。色分解能が低い場合、例えば、ＲＧＢ値で、１０単位で判断する。

〔ステップＳ１２：３次元点群データの候補画像表示〕
図２に戻る。３次元点群データについてのパラメータ変更が行われると、続いて、点群処理装置３０の制御部３２は、候補画像表示モジュール３２２を実行し、パラメータ変更を反映させた点群を、複数の候補のそれぞれについて所定の次元で画像表示部３４に表示する。

画像表示する画像の次元は、特に限定されるものではない。例えば、画像表示部３４は、２次元画像として平面的に画像を表示してもよいし、３次元画像として立体的に表示してもよい。

図４は、パラメータ変更を反映させた点群を、３つの候補のそれぞれについて２次元で画像表示部３４に表示したときの一例である。３次元点群データには、色の情報を含まれている。図４の例では、２次元画像は、森林を示す領域１０１と、平地を示す領域１０２とを含む。

画像表示部３４の左には、元画像（パラメータ変更を行う前の画像）が表示されている。その右には、パラメータ変更後の３つの候補画像、すなわち、パラメータ記憶領域３３２に記憶されている条件で各種パラメータの変更を行い、森林を示す緑色の領域１０１を表示状態から非表示状態に変更したときの画像を示す。

候補１は、４種類のパラメータ（森林検出強度、森林除去強度、高さ分解能、色分解能）が比較的低く設定されている。そのため、表示状態から非表示状態に変更する領域の割合が少ない。ここでは、実際には森林を示す領域１０１であっても、表示状態として残されているものとして説明する。

候補２は、４種類のパラメータが平均的に設定されている。そのため、表示状態から非表示状態に変更する領域の割合が候補１よりも大きい。ここでは、実際には森林を示す領域１０１が適度に非表示状態になっているものとして説明する。

候補３は、４種類のパラメータが比較的高く設定されている。そのため、表示状態から非表示状態に変更する領域の割合が多い。ここでは、森林を示す領域１０１だけでなく、実際には平地を示す領域１０２についても一部非表示状態になっているものとして説明する。

〔ステップＳ１３：所望の画像の選択を受付〕

図２に戻る。続いて、制御部３２は、受付モジュール３２３を実行し、画像表示部３４に表示される複数種類の候補画像のうち、所望の画像の選択を受け付ける。

図４を参照しながら説明すると、画像表示部３４には、カーソル１０３も表示されている。ユーザが、候補１から候補３のいずれかにカーソル１０３を合わせてクリックすることで、所望の画像の選択が可能となる。ここでは、ユーザが候補２にカーソル１０３を合わせてクリックするものとして説明する。

〔ステップＳ１４：選択された画像を表示〕

図２に戻る。続いて、制御部３２は、選択結果表示モジュール３２４を実行し、ステップＳ１３の処理で選択された画像を画像表示部３４に表示する。

制御部３２は、候補画像記憶領域３３３にセットされていた複数の候補画像のうち、ステップＳ１３の処理で選択された画像のデータを選択結果記憶領域３３４に移し、選択されなかった画像のデータを削除する。そして、制御部３２は、選択結果記憶領域３３４にセットされた画像を画像表示部３４に表示する。

図５は、そのときの表示例を示す。ユーザは、候補２にカーソル１０３を合わせてクリックしたため、画像表示部３４には、候補２の画像が大きく表示される。図４の表示例では表示されていた森林を示す領域１０１が非表示となり、平地を示す領域１０２だけが表示となっている。その際、地表がむき出しになっている領域だけでなく、田畑や草が生えた空き地等、色彩が緑色であっても、実際には森林でなく平地である領域も、平地を示す領域１０２として正しく表示されている。

本実施形態によると、３次元点群データについて、処理の対象となる点の解析手法に関するパラメータの変更を施して複数の候補を画像表示し、これら複数の候補から所望の画像を選択結果として表示することができる。そのため、点群の画像から、ユーザが所望する領域を正確に抽出あるいは削除することが可能な点群処理システム１を提供できる。

〔ステップＳ１５：３次元点群データとパラメータとの相関関係を学習〕
必須ではないが、候補画像の精度を高めるため、点群処理装置３０の制御部３２は、学習モジュール３２５を実行し、３次元点群データと、ステップＳ１３の処理で選択された候補画像のパラメータとの相関関係を学習することが好ましい。

〔ステップＳ１６：パラメータの更新〕
そして、制御部３２は、更新モジュール３２６を実行し、ステップＳ１５の処理で学習した結果に基づいて、パラメータ記憶領域３３２に記憶されている候補を更新する。そして、再びステップＳ１１の処理を実行する際、点群処理装置３０の制御部３２は、更新後のパラメータ記憶領域３３２に記憶されたパラメータに基づいて、３次元点群データの変更処理を実行する。

本実施形態によると、３次元点群データとパラメータとの相関関係が学習され、その学習の結果に基づいて、パラメータ記憶領域３３２に記憶される候補が更新される。そのため、点群の画像から、ユーザが所望する領域を正確に抽出あるいは削除することの精度をよりいっそう高めることができる。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ 点群処理システム
１０ 空撮装置
１１ 電池
１２ モーター
１３ ローター
１４ 制御部
１４１ 撮影モジュール
１５ 位置検出部
１６ ドライバー回路
１７ カメラ
１８ 記憶部
１９ 無線通信部
２０ コントローラ
３０ 点群処理装置
３１ 入力部
３２ 制御部
３２１ 取得モジュール
３２２ 候補画像表示モジュール
３２３ 受付モジュール
３２４ 選択結果表示モジュール
３２５ 学習モジュール
３２６ 更新モジュール
３３ 記憶部
３３１ ３次元点群データベース
３３２ パラメータ設定領域
３３３ 候補画像記憶領域
３３３ 選択結果記憶領域
３４ 画像表示部

Claims (3)

1. ３次元点群データを処理する点群処理システムであって、
   処理の対象となる点の色及び３次元座標を含む３次元点群データを取得する取得手段と、
   処理の対象となる点の解析手法に関するパラメータについて、複数の候補が予め記憶されるパラメータ記憶手段と、
   前記３次元点群データについて、前記パラメータ記憶手段に記憶される複数の候補のそれぞれにしたがってパラメータの変更を行い、前記変更を反映させた点群を、複数の候補のそれぞれについて所定の次元で画像表示する候補画像表示手段と、
   前記候補画像表示手段に表示される複数種類の候補画像のうち、所望の画像の選択を受け付ける受付手段と、
   前記受付手段により受け付けられた画像を表示する選択結果表示手段と、
   前記３次元点群データと前記受付手段により受け付けられた画像のパラメータとの相関関係を学習する学習手段と、
   前記学習手段によって学習された結果に基づいて、前記パラメータ記憶手段に記憶される候補を更新する更新手段と、
   を備える点群処理システム。
2. ３次元点群データを処理する点群処理システムが実行する点群処理方法であって、
   処理の対象となる点の色及び３次元座標を含む３次元点群データを取得するステップと、
   処理の対象となる点の解析手法に関するパラメータについて、予め記憶される複数の候補のそれぞれにしたがって、前記３次元点群データについてのパラメータの変更を行い、前記変更を反映させた点群を、複数の候補のそれぞれについて所定の次元で画像表示するステップと、
   画像表示された複数種類の候補画像のうち、所望の画像の選択を受け付けるステップと、
   前記選択を受け付けた画像を表示するステップと、
   前記３次元点群データと前記受け付けるステップにより受け付けられた画像のパラメータとの相関関係を学習するステップと、
   前記学習するステップによって学習された結果に基づいて、記憶された複数の候補を更新するステップと、
   を備える点群処理方法。
3. 点群処理システムに、
   処理の対象となる点の色及び３次元座標を含む３次元点群データを取得するステップ、
   処理の対象となる点の解析手法に関するパラメータについて、予め記憶される複数の候補のそれぞれにしたがって、前記３次元点群データについてのパラメータの変更を行い、前記変更を反映させた点群を、複数の候補のそれぞれについて所定の次元で画像表示するステップ、
   画像表示された複数種類の候補画像のうち、所望の画像の選択を受け付けるステップ、
   前記選択を受け付けた画像を表示するステップと、
   前記３次元点群データと前記受け付けるステップにより受け付けられた画像のパラメータとの相関関係を学習するステップ、
   前記学習するステップによって学習された結果に基づいて、記憶された複数の候補を更新するステップ、
   を実行させるためのコンピュータ読み取り可能なプログラム。

Images