JP6863634B1 - モデル生成装置、学習器生成装置、モデル生成方法、及び、学習器生成方法 - Google Patents

Abstract

【課題】撮像画像データを３Ｄ点群データに自動的に張り付ける。【解決手段】モデル生成装置は、レーザースキャナが地物を３Ｄスキャンして生成した３Ｄ点群データを取得し、撮像装置が地物を撮像して生成した撮像画像データを取得し、３Ｄ点群データから地物を構成するセグメントを検出し、当該セグメントの点群データに関する情報を含む点群セグメント情報を生成し、撮像画像データから地物を構成するセグメントを検出し、当該セグメントの画像データに関する情報を含む画像セグメント情報を生成し、共通のセグメントから生成された点群セグメント情報及び画像セグメント情報を対応付け、点群セグメント情報が示すセグメントの点群データに、当該点群セグメント情報と対応付けられている画像セグメント情報が示すセグメントの画像データを張り付け、地物の３Ｄモデルデータを生成する。【選択図】図２

Description

本開示は、モデル生成装置、学習器生成装置、モデル生成方法、及び、学習器生成方法に関する。

ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）に代表されるレーザースキャナは、レーザー光を照射し、そのレーザー光が地物によって反射された光（以下「反射光」という）を検出することによって、地物の３Ｄ（three-dimension）形状を示す点群データ（以下「３Ｄ点群データ」という）を生成する。レーザースキャナは、地物の色、模様及び質感等を測定できない。そのため、レーザースキャナの近くに撮像装置を設置し、その撮像装置は、地物を撮像して、当該地物の色、模様及び質感等を示す画像データ（以下「撮像画像データ」という）を生成する。そして、３Ｄ点群データから得られる地物の３Ｄ形状の表面に撮像画像データを張り付けて（つまりテクスチャマッピングを行い）、地物の３Ｄ形状、色、模様及び質感等を示す３Ｄモデルデータを生成できる（特許文献１，２，３）。

特開２０１９−１５９９０４号公報 特開２０１３−６９２３５号公報 特開２０１０−１５２５２９号公報

しかし、レーザースキャナが設置された位置とまったく同じ位置に撮像装置を設置することは物理的にできないため、撮像画像データをそのまま３Ｄ点群データにテクスチャマッピングすることはできない。そのため、従来、このテクスチャマッピングの作業は、ユーザによって手動で行われる場合が多く、多大な時間を要するという課題がある。

本開示の目的は、撮像画像データを自動的に３Ｄ点群データに張り付けることができる技術を提供することにある。

本開示の一態様に係るモデル生成装置は、地物の３Ｄ（three-dimension）モデルデータを生成するモデル生成装置であって、レーザースキャナが前記地物を３Ｄスキャンして生成した３Ｄ点群データを取得する点群取得部と、撮像装置が前記地物を撮像して生成した撮像画像データを取得する画像取得部と、前記３Ｄ点群データから前記地物を構成するセグメントを検出し、当該セグメントの点群データに関する情報を含む点群セグメント情報を生成する点群セグメンテーション部と、前記撮像画像データから前記地物を構成するセグメントを検出し、当該セグメントの画像データに関する情報を含む画像セグメント情報を生成する画像セグメンテーション部と、共通のセグメントから生成された前記点群セグメント情報及び前記画像セグメント情報を対応付ける共通セグメント特定部と、前記点群セグメント情報が示すセグメントの点群データに、当該点群セグメント情報と対応付けられている前記画像セグメント情報が示すセグメントの画像データを張り付け、前記地物の３Ｄモデルデータを生成するモデル生成部と、を備える。

本開示の一態様に係るモデル生成装置は、地物の３Ｄモデルデータを生成するモデル生成装置であって、レーザースキャナが前記地物を３Ｄスキャンして生成した３Ｄ点群データを取得する点群取得部と、撮像装置が前記地物を撮像して生成した撮像画像データを取得する画像取得部と、前記３Ｄ点群データから前記地物の３Ｄ形状に関する特徴的な部分を示す３Ｄ特徴点を検出し、当該３Ｄ特徴点の特徴を示す値である３Ｄ特徴量を算出する点群特徴検出部と、前記撮像画像データから前記地物の２Ｄ（two-dimension）形状に関する特徴的な部分を示す２Ｄ特徴点を検出し、当該２Ｄ特徴点の特徴を示す値である２Ｄ特徴量を算出する画像特徴検出部と、前記３Ｄ特徴量を、２Ｄ形状の特徴を示す値である変換後２Ｄ特徴量に変換する特徴量変換部と、前記変換後２Ｄ特徴量との類似度が所定の閾値以上である前記２Ｄ特徴量を特定し、当該変換後２Ｄ特徴量を有する３Ｄ特徴点と、当該特定した前記２Ｄ特徴量を有する２Ｄ特徴点とを対応付ける共通特徴点特定部と、前記３Ｄ特徴点と前記２Ｄ特徴点との対応関係に基づいて、前記３Ｄ点群データに前記撮像画像データを張り付け、前記地物の３Ｄモデルデータを生成するモデル生成部と、を備える。

本開示の一態様に係る学習器生成装置は、上記の学習器を生成する学習器生成装置であって、仮想空間に予め配置された地物に関する３Ｄモデルデータである仮想地物モデルデータを前記仮想空間にて３Ｄスキャンし、仮想３Ｄ点群データを生成する仮想点群生成部と、前記仮想空間において、前記３Ｄスキャンが行われた位置と同じ位置から、前記仮想地物モデルデータを撮像し、仮想撮像画像データを生成する仮想画像生成部と、前記仮想３Ｄ点群データから前記仮想地物モデルデータの３Ｄ形状に関する特徴的な部分を示す３Ｄ特徴点を検出し、当該３Ｄ特徴点の特徴を示す値である３Ｄ特徴量を算出する点群特徴検出部と、前記仮想撮像画像データから前記仮想地物モデルデータの２Ｄ形状の特徴的な部分を示す２Ｄ特徴点を検出し、当該２Ｄ特徴点の特徴を示す値である２Ｄ特徴量を算出する画像特徴検出部と、前記３Ｄ特徴点が有する前記３Ｄ特徴量を入力データとし、当該３Ｄ特徴点と対応関係にある前記２Ｄ特徴点が有する前記２Ｄ特徴量を正解データとして、前記学習器を生成する学習器生成部と、を備える。

本開示の一態様に係るモデル生成方法は、モデル生成装置によって地物の３Ｄ（three-dimension）モデルデータを生成するモデル生成方法であって、レーザースキャナが前記地物を３Ｄスキャンして生成した３Ｄ点群データを取得し、撮像装置が前記地物を撮像して生成した撮像画像データを取得し、前記３Ｄ点群データから前記地物を構成するセグメントを検出し、当該セグメントの３Ｄ点群データに関する情報を含む点群セグメント情報を生成し、前記撮像画像データから前記地物を構成するセグメントを検出し、当該セグメントの画像データに関する情報を含む画像セグメント情報を生成し、共通のセグメントから生成された前記点群セグメント情報及び前記画像セグメント情報を対応付け、前記点群セグメント情報が示すセグメントの点群データに、当該点群セグメント情報と対応付けられている前記画像セグメント情報が示すセグメントの画像データを張り付け、前記地物の３Ｄモデルデータを生成する。

本開示の一態様に係るモデル生成方法は、モデル生成装置によって地物の３Ｄモデルデータを生成するモデル生成方法であって、レーザースキャナが前記地物を３Ｄスキャンして生成した３Ｄ点群データを取得し、撮像装置が前記地物を撮像して生成した撮像画像データを取得し、前記３Ｄ点群データから前記地物の３Ｄ形状に関する特徴的な部分を示す３Ｄ特徴点を検出し、当該３Ｄ特徴点の特徴を示す値である３Ｄ特徴量を算出し、前記撮像画像データから前記地物の２Ｄ形状に関する特徴的な部分を示す２Ｄ特徴点を検出し、当該２Ｄ特徴点の特徴を示す値である２Ｄ特徴量を算出し、前記３Ｄ特徴量を、２Ｄ形状の特徴を示す値である変換後２Ｄ特徴量に変換し、前記変換後２Ｄ特徴量との類似度が所定の閾値以上である前記２Ｄ特徴量を特定し、当該変換後２Ｄ特徴量を有する３Ｄ特徴点と、当該特定した前記２Ｄ特徴量を有する２Ｄ特徴点とを対応付け、前記３Ｄ特徴点と前記２Ｄ特徴点との対応関係に基づいて、前記３Ｄ点群データに前記撮像画像データを張り付け、前記地物の３Ｄモデルデータを生成する。

本開示の一態様に係る学習器生成方法は、上記の学習器を学習器生成装置によって生成する学習器生成方法であって、仮想空間に予め配置された地物に関する３Ｄモデルデータである仮想地物モデルデータを前記仮想空間にて３Ｄスキャンし、仮想３Ｄ点群データを生成し、前記仮想空間において、前記３Ｄスキャンが行われた位置と同じ位置から、前記仮想地物モデルデータを撮像し、仮想撮像画像データを生成し、前記仮想３Ｄ点群データから前記仮想地物モデルデータの３Ｄ形状に関する特徴的な部分を示す３Ｄ特徴点を検出し、当該３Ｄ特徴点の特徴を示す値である３Ｄ特徴量を算出し、前記仮想撮像画像データから前記仮想地物モデルデータの２Ｄ形状の特徴的な部分を示す２Ｄ特徴点を検出し、当該２Ｄ特徴点の特徴を示す値である２Ｄ特徴量を算出し、前記３Ｄ特徴点が有する前記３Ｄ特徴量を入力データとし、当該３Ｄ特徴点と対応関係にある前記２Ｄ特徴点が有する前記２Ｄ特徴量を正解データとして、前記学習器を生成する。

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、撮像画像データを自動的に３Ｄ点群データに張り付けることができる。

実施の形態１に係るモデル生成システムの構成の一例を示す図である。 実施の形態１に係るモデル生成装置の構成の一例を示すブロック図である。 実施の形態１に係るモデル表示装置の構成の一例を示すブロック図である。 実施の形態１に係るモデル生成装置による３Ｄモデルデータの生成処理の一例を示すフローチャートである。 実施の形態２に係るモデル生成装置の構成の一例を示すブロック図である。 実施の形態２に係るモデル生成装置による３Ｄモデルデータの生成処理の一例を示すフローチャートである。 実施の形態３に係る学習器生成装置の構成の一例を示すブロック図である。 実施の形態３に係る学習器の生成処理を説明するための模式図である。 本開示に係る各装置の機能をプログラムにより実現するコンピュータのハードウェア構成の一例を示す図である。

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

（実施の形態１）
＜モデル生成システムの構成＞
図１は、実施の形態１に係るモデル生成システム１０の構成の一例を示す図である。

モデル生成システム１０は、地物２の３Ｄ形状、色、模様及び質感等をモデル化したデータである３Ｄモデルデータ１３０（図２参照）を生成するシステムである。地物２は、地形、建物、道路、車両、標識、人物といった様々な物体を含む総称である。

モデル生成システム１０は、レーザースキャナ１１、撮像装置１２、モデル生成装置１００Ａ、及び、モデル表示装置２００を備える。レーザースキャナ１１は、１台であってもよいし、２台以上であってもよい。撮像装置１２は、１台であってもよいし、２台以上であってもよい。レーザースキャナ１１及び撮像装置１２は、通信ネットワーク１３を通じて、モデル生成装置１００Ａとデータ及び情報を送受信可能である。モデル表示装置２００は、通信ネットワーク１４を通じて、モデル生成装置１００Ａとデータ及び情報を送受信可能である。通信ネットワーク１３，１４の例として、有線ＬＡＮ（Local Area Network）無線ＬＡＮ、インターネット網、移動体通信網、あるいは、それらの組み合わせが挙げられる。

レーザースキャナ１１は、レーザー光を照射し、そのレーザー光が地物２によって反射された光（以下「反射光」という）を検出する。そして、レーザースキャナ１１は、レーザー光を照射したタイミングと反射光を検出したタイミングとの時間差に基づいて、レーザー光が反射された３Ｄ点を特定する。あるいは、レーザースキャナ１１は、照射したレーザー光の位相と検出した反射光の位相との位相差に基づいて、レーザー光が反射された３Ｄ点を特定する。３Ｄ点は、３Ｄ座標（ｘ，ｙ，ｚ）にて表現されてよい。レーザースキャナ１１は、レーザー光を照射する水平角度及び垂直角度を変化させて複数の反射光を検出することにより、複数の３Ｄ点を特定する。以下、このように特定された複数の３Ｄ点を含むデータを３Ｄ点群データ１２１という。また、地物２の３Ｄ点群データ１２１を得るためのレーザースキャナ１１の動作を３Ｄスキャンという。すなわち、レーザースキャナ１１は、地物２を３Ｄスキャンして、当該地物２の３Ｄ形状を示す点群データである３Ｄ点群データ１２１を生成する。レーザースキャナ１１の例としては、ＴｏＦ（Time of Flight）センサ又はＬｉＤＡＲが挙げられる。なお、レーザースキャナ１１は、地物２を３Ｄスキャン可能な装置である３Ｄスキャン装置の一例である。

カメラに代表される撮像装置１２は、地物２を撮像し、当該地物２の色、模様及び質感等が撮像された画像データである撮像画像データ１２２を生成する。撮像画像データ１２２は、静止画であってもよいし、動画であってもよい。

モデル生成装置１００Ａは、通信ネットワーク１３を通じて、レーザースキャナ１１から３Ｄ点群データ１２１を取得する。モデル生成装置１００Ａは、通信ネットワーク１３を通じて、撮像装置１２から撮像画像データ１２２を取得する。モデル生成装置１００Ａは、３Ｄ点群データ１２１から得られる地物２の３Ｄ形状の表面に、撮像画像データ１２２を張り付けて（つまりテクスチャマッピングを行い）、地物２の３Ｄ形状、並びに、地物２の表面の色、模様及び質感等を示すデータである３Ｄモデルデータ１３０を生成する。

しかし、図１に示すように、レーザースキャナ１１が設置された位置とまったく同じ位置に撮像装置１２を設置することは物理的にできないため、レーザースキャナ１１の３Ｄスキャン方向と撮像装置１２の撮像方向との間にずれが存在する。したがって、レーザースキャナ１１が生成する３Ｄ点群データ１２１と撮像装置１２が生成する撮像画像データ１２２との間にもずれが存在する。そのため、３Ｄ点群データ１２１に撮像画像データ１２２をそのまま張り付けることはできない。

そこで、モデル生成装置１００Ａは、３Ｄ点群データ１２１及び撮像画像データ１２２からそれぞれセグメント３を検出し、それら検出したセグメント３の関係性に基づいて、撮像画像データ１２２を３Ｄ点群データ１２１に張り付ける際の対応関係を特定する。ここで、セグメント３は、地物２に含まれる一塊の物体又は領域を示す。例えば、３Ｄスキャン及び撮像した地物２に、車道、歩道、ガードレール及び車両が含まれる場合、車道のセグメント３Ａ、歩道のセグメント３Ｂ、ガードレールのセグメント３Ｃ、及び、車両のセグメント３Ｄが検出される。なお、モデル生成装置１００Ａの詳細については後述する（図２参照）。

モデル表示装置２００は、通信ネットワーク１４を通じて、モデル生成装置１００Ａから３Ｄモデルデータ１３０を取得する。モデル表示装置は、３Ｄモデルデータ１３０を表示すると共に、当該３Ｄモデルデータ１３０が示す３Ｄモデルの表示に関するユーザの操作を受け付ける。なお、モデル表示装置２００の詳細については後述する（図３参照）。

＜モデル生成装置の構成＞
図２は、実施の形態１に係るモデル生成装置１００Ａの構成の一例を示すブロック図である。

モデル生成装置１００Ａは、情報格納部１０１、点群取得部１０２、画像取得部１０３、点群セグメンテーション部１０４、画像セグメンテーション部１０５、共通セグメント特定部１０６、及び、モデル生成部１０７の構成要素を備える。なお、これらの構成要素は、モデル生成装置１００Ａが備えるハードウェア（図９参照）が協調動作することにより実現されてよい。

情報格納部１０１は、モデル生成装置１００Ａにおいて生成及び使用されるデータ及び情報を格納する。

点群取得部１０２は、レーザースキャナ１１から、通信ネットワーク１３を介して、当該レーザースキャナ１１が生成した３Ｄ点群データ１２１を取得し、情報格納部１０１に格納する。

画像取得部１０３は、撮像装置１２から、通信ネットワーク１３を介して、当該撮像装置１２が生成した撮像画像データ１２２を取得し、情報格納部１０１に格納する。

点群セグメンテーション部１０４は、３Ｄ点群データ１２１から地物２を構成するセグメント３を検出し、当該セグメント３の点群データに関する情報を含む点群セグメント情報１２３を生成する。そして、点群セグメンテーション部１０４は、生成した点群セグメント情報１２３を、情報格納部１０１に格納する。

例えば、３Ｄスキャン範囲内に車道、歩道、ガードレール及び車両が存在する場合、点群セグメンテーション部１０４は、３Ｄ点群データ１２１から、車道のセグメント３Ａ、歩道のセグメント３Ｂ、ガードレールのセグメント３Ｃ、及び、車両のセグメント３Ｄを検出する（図１参照）。そして、点群セグメンテーション部１０４は、それぞれ検出したセグメント３Ａ、３Ｂ、３Ｃ、３Ｄに対応する点群セグメント情報１２３を生成する。このとき、点群セグメンテーション部１０４は、検出したセグメント３を構成する部分の３Ｄ点群データを、セグメント点群データ１２４として、点群セグメント情報１２３に含める。

加えて、点群セグメンテーション部１０４は、検出したセグメント３を識別し、当該セグメント３を識別する情報であるセグメント識別情報１２８を生成する。点群セグメンテーション部１０４は、生成したセグメント識別情報１２８を、点群セグメント情報１２３に含める。例えば、点群セグメンテーション部１０４は、車両のセグメント３Ｄに対応する点群セグメント情報１２３に、車両のセグメント識別情報１２８を含める。なお、セグメント識別情報１２８は、セグメント名又はセグメント分類名といった他の用語に読み替えられてもよい。

３Ｄ点群データ１２１からセグメント３を検出する処理、及び、検出したセグメント３を識別する処理には、公知の技術（例えば人工知能技術）が適用されてよい。当該技術の一例として、3D Point Cloud Segmentationなどが挙げられる。識別処理を行うモデルの一例として、PointNet又はPointNet++などが挙げられる。

画像セグメンテーション部１０５は、撮像画像データ１２２から地物２を構成するセグメント３を検出し、当該セグメント３の画像データに関する情報を含む画像セグメント情報１２６を生成する。そして、画像セグメンテーション部１０５は、生成した画像セグメント情報１２６を、情報格納部１０１に格納する。

例えば、撮像範囲内に車道、歩道、ガードレール及び車両が存在する場合、画像セグメンテーション部１０５は、撮像画像データ１２２から、車道のセグメント３Ａ、歩道のセグメント３Ｂ、ガードレールのセグメント３Ｃ、及び、車両のセグメント３Ｄを検出する。そして、画像セグメンテーション部１０５は、それぞれ検出したセグメント３Ａ、３Ｂ、３Ｃ、３Ｄに対応する画像セグメント情報１２６を生成する。このとき、画像セグメンテーション部１０５は、検出したセグメント３を構成する部分の撮像画像データを、セグメント画像データ１２７として、画像セグメント情報１２６に含める。

加えて、画像セグメンテーション部１０５は、検出したセグメント３を識別し、セグメント識別情報１２８を生成する。画像セグメンテーション部１０５は、生成したセグメント識別情報１２８を、画像セグメント情報１２６に含める。例えば、画像セグメンテーション部１０５は、車両のセグメント３Ｄに対応する画像セグメント情報１２６に、車両のセグメント識別情報１２８を含める。

撮像画像データ１２２からセグメントを検出する処理、及び、検出したセグメント３を識別する処理には、公知の技術（例えば人工知能技術）が適用されてよい。当該技術の一例として、SegNet又はU-Netなどが挙げられる。

共通セグメント特定部１０６は、地物２を構成する共通のセグメント３から生成された点群セグメント情報１２３及び画像セグメント情報１２６を特定する。例えば、共通セグメント特定部１０６は、セグメント識別情報１２８が共通であり、かつ、互いのセグメント３が所定の範囲内に配置されている点群セグメント情報１２３及び画像セグメント情報１２６を特定する。そして、共通セグメント特定部１０６は、その特定した点群セグメント情報１２３及び画像セグメント情報１２６を対応付ける共通セグメント情報１２９を生成し、情報格納部１０１に格納する。

モデル生成部１０７は、点群セグメント情報１２３に含まれるセグメント点群データ１２４に、共通セグメント情報１２９において当該点群セグメント情報１２３と対応付けられている画像セグメント情報１２６が示すセグメント画像データ１２７を張り付け、地物２の３Ｄモデルデータ１３０を生成する。これにより、レーザースキャナ１１のスキャン方向と撮像装置１２の撮像方向との間にずれが存在する場合であっても、撮像画像データ１２２を自動的に３Ｄ点群データ１２１に張り付ける（つまりテクスチャマッピングを行う）ことができる。モデル生成部１０７は、生成した３Ｄモデルデータ１３０を、情報格納部１０１に格納する。

＜モデル表示装置の構成＞
図３は、実施の形態１に係るモデル表示装置２００の構成の一例を示すブロック図である。

モデル表示装置２００は、情報格納部２０１、モデル取得部２０２、モデル表示部２０３、及び、モデル操作部２０４の構成要素を備える。なお、これらの構成要素は、モデル表示装置２００が備えるハードウェア（図９参照）が協調動作することにより実現されてよい。

情報格納部２０１は、モデル表示装置２００が取り扱うデータ及び情報を格納する。

モデル取得部２０２は、モデル生成装置１００Ａから、通信ネットワーク１４を介して、３Ｄモデルデータ１３０を取得し、情報格納部２０１に格納する。

モデル表示部２０３は、３Ｄモデルデータ１３０が示す３Ｄモデルの画像を生成し、ディスプレイ装置に代表される出力装置１００２（図９参照）に表示する。

モデル操作部２０４は、キーボード及びマウスに代表される入力装置１００１（図９参照）から、出力装置１００２に表示された３Ｄモデルの画像に対する操作を受け付ける。例えば、モデル操作部２０４は、出力装置１００２に表示された３Ｄモデルの画像を、拡大、縮小、視点移動、回転等させる操作を受け付ける。これにより、ユーザは、３Ｄモデルの画像を様々な視点から見ることができる。

＜３Ｄモデルデータの生成処理＞
図４は、実施の形態１に係るモデル生成装置１００Ａによる３Ｄモデルデータ１３０の生成処理の一例を示すフローチャートである。

点群取得部１０２は、レーザースキャナ１１から３Ｄ点群データ１２１を取得する（Ｓ１０１）。

画像取得部１０３は、撮像装置１２から撮像画像データ１２２を取得する（Ｓ１０２）。

点群セグメンテーション部１０４は、３Ｄ点群データ１２１からセグメント３を検出し、検出したセグメント３を識別する。そして、点群セグメンテーション部１０４は、検出したセグメント３のセグメント点群データ１２４及びセグメント識別情報１２８を含む点群セグメント情報１２３を生成する（Ｓ１０３）。

画像セグメンテーション部１０５は、撮像画像データ１２２からセグメント３を検出し、検出したセグメント３を識別する。そして、画像セグメンテーション部１０５は、検出したセグメント３のセグメント画像データ１２７及びセグメント識別情報１２８を含む画像セグメント情報１２６を生成する（Ｓ１０４）。

共通セグメント特定部１０６は、セグメント識別情報１２８が共通であり、かつ、互いのセグメント３が所定の範囲内に配置されている点群セグメント情報１２３及び画像セグメント情報１２６を特定する。そして、共通セグメント特定部１０６は、特定した点群セグメント情報１２３及び画像セグメント情報１２６を対応付けた共通セグメント情報１２９を生成する（Ｓ１０５）。

モデル生成部１０７は、点群セグメント情報１２３が示すセグメント点群データ１２４に、共通セグメント情報１２９において当該点群セグメント情報１２３と対応付けられている画像セグメント情報１２６が示すセグメント画像データ１２７を張り付け、地物の３Ｄモデルデータ１３０を生成する（Ｓ１０６）。

＜実施の形態１のまとめ＞
実施の形態１によれば、レーザースキャナ１１の位置と撮像装置１２の位置との間にずれが存在する場合であっても、共通するセグメント３を基準として、３Ｄ点群データ１２１に撮像画像データ１２２を張り付けることできる。よって、自動的に３Ｄモデルデータ１３０を生成できる。

（実施の形態２）
次に、実施の形態２に係るモデル生成装置１００Ｂについて説明する。なお、実施の形態１又は２と共通する構成要素については、共通の参照符号を付し、説明を省略する場合がある。

＜モデル生成装置の構成＞
図５は、実施の形態２に係るモデル生成装置１００Ｂの構成の一例を示すブロック図である。

モデル生成装置１００Ｂは、情報格納部１０１、点群取得部１０２、画像取得部１０３、点群特徴検出部１５１、画像特徴検出部１５２、特徴量変換部１５３、共通特徴点特定部１５５、及び、モデル生成部１０７の構成要素を備える。なお、これらの構成要素は、モデル生成装置１００Ｂが備えるハードウェア（図９参照）が協調動作することにより実現されてよい。

点群特徴検出部１５１は、３Ｄ点群データ１２１から、地物２の３Ｄ形状に関する特徴的な部分を示す３Ｄ特徴点１６２を検出する。加えて、点群特徴検出部１５１は、３Ｄ特徴点１６２の特徴を示す値である３Ｄ特徴量１６３を算出する。３Ｄ特徴点１６２は、当該３Ｄ特徴点１６２の位置を示す３Ｄ座標と、当該３Ｄ座標を中心とする球の半径とを含む情報であってよい。３Ｄ特徴量１６３は、３Ｄ特徴点１６２が示す球の中に含まれる３Ｄ点群データの特徴を示す値であり、例えば多元ベクトルで表現される。なお、３Ｄ特徴点１６２の形状は球に限られず、例えば、直方体又は多面体であってもよい。

画像特徴検出部１５２は、撮像画像データ１２２から、地物の２Ｄ（two-dimension）形状に関する特徴的な部分を示す２Ｄ特徴点１６５を検出する。加えて、画像特徴検出部１５２は、２Ｄ特徴点１６５の特徴を示す値である２Ｄ特徴量１６６を算出する。２Ｄ特徴点１６５は、当該２Ｄ特徴点１６５の位置を示す２Ｄ座標と、当該２Ｄ座標を中心とする円の半径とを含む情報であってよい。２Ｄ特徴量１６６は、２Ｄ特徴点１６５が示す円の中に含まれる画像データの特徴を示す値であり、例えば多元ベクトルで表現される。なお、２Ｄ特徴点の形状は円に限られず、例えば、四角形又は多角形であってもよい。

上述の通り、３Ｄ特徴量１６３は３Ｄ形状の特徴を示す値であり、２Ｄ特徴量１６６は２Ｄ形状の特徴を示す値であるため、３Ｄ特徴量１６３と２Ｄ特徴量１６６とを直接比較することはできない。そこで、特徴量変換部１５３は、３Ｄ特徴量１６３を、２Ｄ特徴量１６６と比較可能な値に変換する。以下、３Ｄ特徴量１６３の変換後の値を、変換後２Ｄ特徴量１６７という。

特徴量変換部１５３は、例えば、学習器１５４を用いて、３Ｄ特徴量１６３を変換後２Ｄ特徴量１６７に変換する。学習器１５４は、３Ｄ特徴量１６３を入力した場合に、変換後２Ｄ特徴量１６７を出力するものであり、教師あり学習によって予め生成されたものであってよい。なお、学習器１５４の生成方法については、実施の形態３にて説明する。

共通特徴点特定部１５５は、変換後２Ｄ特徴量１６７との類似度が所定の閾値以上である２Ｄ特徴量１６６を特定し、当該変換後２Ｄ特徴量１６７を有する３Ｄ特徴点１６２と、当該特定した２Ｄ特徴量１６６を有する２Ｄ特徴点１６５とを対応付けて、特徴点対応情報１６８を生成する。変換後２Ｄ特徴量１６７と２Ｄ特徴量１６６との類似度が所定の閾値以上である場合、その変換後２Ｄ特徴量１６７を有する３Ｄ特徴点１６２と、その２Ｄ特徴量１６６を有する２Ｄ特徴点１６５とは、地物２の共通部分を示している可能性が高いからである。類似度は、例えば、変換後２Ｄ特徴量１６７を示す多元ベクトルと２Ｄ特徴量１６６を示す多元ベクトルとの内積で表現されてよい。この場合、共通特徴点特定部１５５は、当該内積が所定の閾値以下となる変換後２Ｄ特徴量１６７及び２Ｄ特徴量１６６を特定してよい。あるいは、類似度は、変換後２Ｄ特徴量１６７を示す多元ベクトルと２Ｄ特徴量１６６を示す多元ベクトルとの各要素の差分（差の絶対値）の合計で表現されてよい。この場合、共通特徴点特定部１５５は、当該合計が所定の閾値以下となる変換後２Ｄ特徴量１６７及び２Ｄ特徴量１６６を特定してよい。

モデル生成部１０７は、特徴点対応情報１６８に基づいて、３Ｄ点群データ１２１における３Ｄ特徴点１６２と撮像画像データ１２２における２Ｄ特徴点１６５との対応関係を特定する。そして、モデル生成部１０７は、その特定した対応関係に基づいて、３Ｄ点群データ１２１に撮像画像データ１２２の少なくとも一部を張り付け（つまりテクスチャマッピングを行い）、地物２の３Ｄモデルデータ１３０を生成する。

＜３Ｄモデルデータの生成処理＞
図６は、実施の形態２に係るモデル生成装置１００Ｂによる３Ｄモデルデータ１３０の生成処理の一例を示すフローチャートである。

点群取得部１０２は、レーザースキャナ１１から３Ｄ点群データ１２１を取得する（Ｓ２０１）。

画像取得部１０３は、撮像装置１２から撮像画像データ１２２を取得する（Ｓ２０２）。

点群特徴検出部１５１は、３Ｄ点群データ１２１から３Ｄ特徴点１６２を検出し、検出した３Ｄ特徴点１６２における３Ｄ特徴量１６３を算出する（Ｓ２０３）。

画像特徴検出部１５２は、撮像画像データ１２２から２Ｄ特徴点１６５を検出し、検出した２Ｄ特徴点１６５における２Ｄ特徴量１６６を算出する（Ｓ２０４）。

特徴量変換部１５３は、学習器１５４に３Ｄ特徴量１６３を入力し、２Ｄ特徴量１６６と比較可能な変換後２Ｄ特徴量１６７を得る（Ｓ２０５）。

共通特徴点特定部１５５は、変換後２Ｄ特徴量１６７との類似度が所定の閾値以上である２Ｄ特徴量１６６を特定し、当該変換後２Ｄ特徴量１６７を有する３Ｄ特徴点１６２と、特定した２Ｄ特徴量１６６を有する２Ｄ特徴点１６５とを対応付けて、特徴点対応情報１６８を生成する（Ｓ２０６）。

モデル生成部１０７は、特徴点対応情報１６８に基づいて、３Ｄ点群データ１２１の３Ｄ特徴点１６２と撮像画像データ１２２の２Ｄ特徴点１６５との対応関係を特定する。そして、モデル生成部１０７は、その特定した対応関係に基づいて、３Ｄ点群データ１２１に撮像画像データ１２２の少なくとも一部を張り付け（つまりテクスチャマッピングを行い）、地物２の３Ｄモデルデータ１３０を生成する（Ｓ２０７）。

＜実施の形態２のまとめ＞
実施の形態２によれば、レーザースキャナ１１の位置と撮像装置１２の位置との間にずれが存在する場合であっても、３Ｄ特徴点１６２と２Ｄ特徴点１６５との対応関係を特定できる。よって、その特定した対応関係に基づいて３Ｄ点群データ１２１に撮像画像データ１２２を張り付け、３Ｄモデルデータ１３０を自動的に生成できる。

（実施の形態３）
次に、実施の形態３に係る学習器生成装置３００について説明する。学習器生成装置３００は、実施の形態２の学習器１５４を生成するための装置である。なお、実施の形態１又は２と共通する構成要素については、共通の参照符号を付し、説明を省略する場合がある。

図７は、実施の形態３に係る学習器生成装置３００の構成の一例を示す図である。

学習器生成装置３００は、情報格納部３０１、仮想地物モデル配置部３０２、仮想点群生成部３０３、仮想画像生成部３０４、点群特徴検出部１５１、画像特徴検出部１５２、及び、学習器生成部３０５の構成要素を備える。なお、これらの構成要素は、学習器生成装置３００が備えるハードウェア（図９参照）が協調動作することにより実現されてよい。

情報格納部３０１は、学習器生成装置３００において生成及び使用されるデータ及び情報を格納する。

仮想地物モデル配置部３０２は、地物２に関する３Ｄモデルデータである仮想地物モデルデータ３２１を仮想空間内に配置する。仮想地物モデルデータ３２１は、ユーザ又は他の装置によって予め作成されたものであってよい。

仮想点群生成部３０３は、仮想空間内に仮想的なレーザースキャナ（以下「仮想レーザースキャナ」という）を設置して、仮想地物モデルデータ３２１を３Ｄスキャンし、当該仮想地物モデルデータ３２１の３Ｄ点群データ（以下「仮想３Ｄ点群データ」という）３２２を生成する。仮想点群生成部３０３は、生成した仮想３Ｄ点群データ３２２を、情報格納部３０１に格納する。

仮想画像生成部３０４は、仮想空間内に仮想的な撮像装置（以下「仮想撮像装置」という）を設置して、仮想地物モデルデータ３２１を撮像し、当該仮想地物モデルデータ３２１の撮像画像データ（以下「仮想撮像画像データ」という）３２３を生成する。仮想画像生成部３０４は、生成した仮想撮像画像データ３２３を、情報格納部３０１に格納する。

ここで、仮想画像生成部３０４は、仮想空間内において、仮想レーザースキャナが設置された位置と同じ位置に仮想撮像装置を設置する。仮想空間内であるため、同じ位置に仮想レーザースキャナと仮想撮像装置を設置できる。これにより、共通の位置から共通の方向を３Ｄスキャン及び撮像した仮想３Ｄ点群データ３２２及び仮想撮像画像データ３２３を得ることができる。

点群特徴検出部１５１は、仮想３Ｄ点群データ３２２から、３Ｄ特徴点１６２を検出し、当該３Ｄ特徴点１６２における３Ｄ特徴量１６３を算出する。３Ｄ特徴点１６２及び３Ｄ特徴量１６３は、実施の形態２にて説明した方法によって検出及び算出されてよい。点群特徴検出部１５１は、検出及び算出した３Ｄ特徴点１６２及び３Ｄ特徴量１６３を含む点群特徴情報１６１を、情報格納部３０１に格納する。

画像特徴検出部１５２は、仮想撮像画像データ３２３から、２Ｄ特徴点１６５を検出し、当該２Ｄ特徴点１６５における２Ｄ特徴量１６６を算出する。２Ｄ特徴点１６５及び２Ｄ特徴量１６６は、実施の形態２にて説明した方法によって、検出及び算出されてよい。画像特徴検出部１５２は、検出及び算出した２Ｄ特徴点１６５及び２Ｄ特徴量１６６を含む画像特徴情報１６４を、情報格納部３０１に格納する。

学習器生成部３０５は、３Ｄ特徴量１６３を入力データとし、２Ｄ特徴量１６６を正解データとする教師データセットを用いて、３Ｄ特徴量１６３を変換後２Ｄ特徴量１６６に変換する学習器１５４を生成する。学習器生成部３０５は、生成した学習器１５４を、情報格納部３０１に格納する。なお、学習器生成部３０５の詳細については後述する。

図８は、学習器１５４の生成を説明するための模式図である。

上述したように、仮想レーザースキャナと仮想撮像装置は、同じ位置に設置されるので、仮想地物モデルデータ３２１における共通部分の３Ｄ特徴点１６２と２Ｄ特徴点１６５との間にずれが存在しない。加えて、３Ｄ特徴量１６３を入力データとし、２Ｄ特徴量１６６を正解データとする教師データセットを、仮想空間において大量に得ることができる。

学習器生成部３０５は、３Ｄ特徴点１６２における３Ｄ特徴量１６３を入力データとし、当該３Ｄ特徴点１６２に対応する２Ｄ特徴点１６５における２Ｄ特徴量１６６を正解データとする大量の教師データセットを用いて、３Ｄ特徴量１６３を変換後２Ｄ特徴量１６７に変換する学習器１５４の学習（例えばディープラーニング）を行う。学習器１５４は、ニューラルネットワークとして構成されてよい。これにより、学習器生成部３０５は、高精度の学習器１５４を生成できる。

＜実施の形態３のまとめ＞
実施の形態３によれば、仮想空間内において、３Ｄ特徴量１６３を変換後２Ｄ特徴量１６７に変換する学習器１５４の学習を行うための教師データセットを、大量に得ることができる。すなわち、実物を３Ｄスキャンして３Ｄ点群データ１２１を取得したり、実物を撮影して撮像画像データ１２２を取得したりすることなく、コンピュータ内の処理によって、大量の教師データセットを得ることができる。よって、学習器生成部３０５は、当該大量の教師データセットを用いて、高精度の学習器１５４を生成できる。

（ハードウェア構成）
以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述したモデル生成装置１００Ａ、１００Ｂ、モデル表示装置２００、及び、学習器生成装置３００の機能は、コンピュータプログラムにより実現され得る。

図９は、本開示に係る各装置１００Ａ、１００Ｂ、２００、３００の機能をプログラムにより実現するコンピュータのハードウェア構成の一例を示す図である。

このコンピュータ１０００は、キーボード又はマウス、タッチパッドなどの入力装置１００１、ディスプレイ又はスピーカーなどの出力装置１００２、ＣＰＵ（Central Processing Unit）１００３、ＧＰＵ（Graphics Processing Unit）１００４、ＲＯＭ（Read Only Memory）１００５、ＲＡＭ（Random Access Memory）１００６、ハードディスク装置又はＳＳＤ（Solid State Drive）などの記憶装置１００７、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１００８、通信ネットワークを介して通信を行う送受信装置１００９を備え、各部はバス１０１０により接続される。

読取装置１００８は、上記各装置１００Ａ、１００Ｂ、２００、３００の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１００７に記憶させる。あるいは、送受信装置１００９が、通信ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置１００Ａ、１００Ｂ、２００、３００の機能を実現するためのプログラムを記憶装置１００７に記憶させる。

ＣＰＵ１００３が、記憶装置１００７に記憶されたプログラムをＲＡＭ１００６にコピーし、そのプログラムに含まれる命令をＲＡＭ１００６から順次読み出して実行することにより、上記各装置１００Ａ、１００Ｂ、２００、３００の機能が実現される。なお、ＣＰＵ１００３は、処理部、制御部、コントローラといった別の用語に読み替えられてもよい。ＲＯＭ１００５、ＲＡＭ１００５、記憶装置１００７は、メモリ、記憶部といった別の用語に読み替えられてもよい。

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

（本開示のまとめ）
本開示に係る、地物（２）の３Ｄ（three-dimension）モデルデータ（１３０）を生成するモデル生成装置（１００Ａ）は、レーザースキャナ（１１）が地物を３Ｄスキャンして生成した３Ｄ点群データ（１２１）を取得する点群取得部（１０２）と、撮像装置（１２）が地物を撮像して生成した撮像画像データ（１２２）を取得する画像取得部（１０３）と、３Ｄ点群データから地物を構成するセグメント（３）を検出し、当該セグメントの点群データに関する情報を含む点群セグメント情報（１２３）を生成する点群セグメンテーション部（１０４）と、撮像画像データから地物を構成するセグメントを検出し、当該セグメントの画像データに関する情報を含む画像セグメント情報（１２６）を生成する画像セグメンテーション部（１０５）と、共通のセグメントから生成された点群セグメント情報及び画像セグメント情報を対応付ける共通セグメント特定部（１０６）と、点群セグメント情報が示すセグメントの点群データに、当該点群セグメント情報と対応付けられている画像セグメント情報が示すセグメントの画像データを張り付け、地物の３Ｄモデルデータを生成するモデル生成部（１０７）とを備える。

また、点群セグメント情報及び画像セグメント情報は、それぞれ、セグメントを識別するセグメント識別情報（１２８）を含み、共通セグメント特定部は、共通のセグメント識別情報を含む点群セグメント情報及び画像セグメント情報を対応付けてよい。

上記構成によれば、共通するセグメントを基準に撮像画像データを３Ｄ点群データに張り付ける（つまりテクスチャマッピングを行う）ことができる。よって、レーザースキャナと撮像装置の設置位置がずれている場合であっても自動的にテクスチャマッピングを行うことができる。

本開示に係る、地物（２）の３Ｄモデルデータ（１３０）を生成するモデル生成装置（１００Ｂ）は、レーザースキャナ（１１）が地物を３Ｄスキャンして生成した３Ｄ点群データ（１２１）を取得する点群取得部（１０２）と、撮像装置（１２）が地物を撮像して生成した撮像画像データ（１２２）を取得する画像取得部（１０３）と、３Ｄ点群データから地物の３Ｄ形状に関する特徴的な部分を示す３Ｄ特徴点（１６２）を検出し、当該３Ｄ特徴点の特徴を示す値である３Ｄ特徴量（１６３）を算出する点群特徴検出部（１５１）と、撮像画像データから地物の２Ｄ形状に関する特徴的な部分を示す２Ｄ特徴点（１６５）を検出し、当該２Ｄ特徴点の特徴を示す値である２Ｄ特徴量（１６６）を算出する画像特徴検出部（１５２）と、３Ｄ特徴量を、２Ｄ形状の特徴を示す値である変換後２Ｄ特徴量（１６７）に変換する特徴量変換部（１５３）と、変換後２Ｄ特徴量との類似度が所定の閾値以上である２Ｄ特徴量を特定し、当該変換後２Ｄ特徴量を有する３Ｄ特徴点と、当該特定した前記２Ｄ特徴量を有する２Ｄ特徴点とを対応付ける共通特徴点特定部（１５５）と、３Ｄ特徴点と２Ｄ特徴点との対応関係に基づいて、３Ｄ点群データに撮像画像データを張り付け、地物の３Ｄモデルデータを生成するモデル生成部（１０７）とを備える。

また、特徴量変換部は、３Ｄ特徴量を変換後２Ｄ特徴量に変換する、予め生成された学習器（１５４）を用いて、３Ｄ特徴量を変換後２Ｄ特徴量に変換してよい。

上記構成によれば、３Ｄ特徴量を変換後２Ｄ特徴量に変換し、変換後２Ｄ特徴量と類似度の高い２Ｄ特徴量を特定することにより、地物の共通部分を示すと推定される３Ｄ特徴点と２Ｄ特徴点を特定できる。これにより、この特定された３Ｄ特徴点及び２Ｄ特徴点を基準に、撮像画像データを３Ｄ点群データに張り付ける（つまりテクスチャマッピングを行う）ことができる。よって、レーザースキャナと撮像装置との設置位置がずれている場合であっても、自動的にテクスチャマッピングを行うことができる。

本開示に係る、上記の学習器（１５４）を生成する学習器生成装置（３００）は、仮想空間に予め配置された地物に関する３Ｄモデルデータである仮想地物モデルデータ（３２１）を仮想空間にて３Ｄスキャンし、仮想３Ｄ点群データ（３２２）を生成する仮想点群生成部（３０３）と、仮想空間において、３Ｄスキャンが行われた位置と同じ位置から、仮想地物モデルデータを撮像し、仮想撮像画像データ（３２３）を生成する仮想画像生成部（３０４）と、仮想３Ｄ点群データから仮想地物モデルデータの３Ｄ形状に関する特徴的な部分を示す３Ｄ特徴点（１６２）を検出し、当該３Ｄ特徴点の特徴を示す値である３Ｄ特徴量（１６３）を算出する点群特徴検出部（１５１）と、仮想撮像画像データから仮想地物モデルデータの２Ｄ形状の特徴的な部分を示す２Ｄ特徴点（１６５）を検出し、当該２Ｄ特徴点の特徴を示す値である２Ｄ特徴量（１６６）を算出する画像特徴検出部（１５２）と、３Ｄ特徴点が有する３Ｄ特徴量を入力データとし、当該３Ｄ特徴点と対応関係にある２Ｄ特徴点が有する２Ｄ特徴量を正解データとして、学習器を生成する学習器生成部（３０５）とを備える。

仮想空間では、３Ｄスキャンが行われた位置と同じ位置から仮想地物モデルデータを撮像できるため、上記構成によれば、仮想地物モデルデータにおける共通部分を示す３Ｄ特徴点と２Ｄ特徴点を特定できる。そのため、３Ｄ特徴点が有する３Ｄ特徴量を入力データとし、当該３Ｄ特徴点と共通部分を示す２Ｄ特徴点が有する２Ｄ特徴量を正解データとする大量の教師データセットを得ることができる。よって、大量の教師データセットを用いて、高精度の学習器を生成できる。

本開示の技術は、地物の３Ｄモデルデータの生成に有用である。よって、例えば、都市開発、土木建築又は災害予測といった様々な産業に利用可能である。

２ 地物
３、３Ａ、３Ｂ、３Ｃ、３Ｄ セグメント
１０ モデル生成システム
１１ レーザースキャナ
１２ 撮像装置
１３、１４ 通信ネットワーク
１００Ａ、１００Ｂ モデル生成装置
１０１ 情報格納部
１０２ 点群取得部
１０３ 画像取得部
１０４ 点群セグメンテーション部
１０５ 画像セグメンテーション部
１０６ 共通セグメント特定部
１０７ モデル生成部
１２１ ３Ｄ点群データ
１２２ 撮像画像データ
１２３ 点群セグメント情報
１２４ セグメント点群データ
１２６ 画像セグメント情報
１２７ セグメント画像データ
１２８ セグメント識別情報
１２９ 共通セグメント情報
１３０ ３Ｄモデルデータ
１５１ 点群特徴検出部
１５２ 画像特徴検出部
１５３ 特徴量変換部
１５４ 学習器
１５５ 共通特徴点特定部
１６１ 点群特徴情報
１６２ ３Ｄ特徴点
１６３ ３Ｄ特徴量
１６４ 画像特徴情報
１６５ ２Ｄ特徴点
１６６ ２Ｄ特徴量
１６７ 変換後２Ｄ特徴量
１６８ 特徴点対応情報
２００ モデル表示装置
２０１ 情報格納部
２０２ モデル取得部
２０３ モデル表示部
２０４ モデル操作部
３００ 学習器生成装置
３０１ 情報格納部
３０２ 仮想地物モデル配置部
３０３ 仮想点群生成部
３０４ 仮想画像生成部
３０５ 学習器生成部
３２１ 仮想地物モデルデータ
３２２ 仮想３Ｄ点群データ
３２３ 仮想撮像画像データ
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００７ 記憶装置
１００８ 読取装置
１００９ 送受信装置
１０１０ バス

Claims (8)

1. 地物の３Ｄ（three-dimension）モデルデータを生成するモデル生成装置であって、
   レーザースキャナが前記地物を３Ｄスキャンして生成した３Ｄ点群データを取得する点群取得部と、
   撮像装置が前記地物を撮像して生成した撮像画像データを取得する画像取得部と、
   前記３Ｄ点群データから前記地物を構成するセグメントを検出し、当該セグメントの点群データに関する情報及び当該セグメントを識別するセグメント識別情報を含む点群セグメント情報を生成する点群セグメンテーション部と、
   前記撮像画像データから前記地物を構成するセグメントを検出し、当該セグメントの画像データに関する情報及び当該セグメントを識別するセグメント識別情報を含む画像セグメント情報を生成する画像セグメンテーション部と、
   共通の前記セグメント識別情報を含む前記点群セグメント情報及び前記画像セグメント情報を対応付ける共通セグメント特定部と、
   前記点群セグメント情報が示すセグメントの点群データに、当該点群セグメント情報と対応付けられている前記画像セグメント情報が示すセグメントの画像データを張り付け、前記地物の３Ｄモデルデータを生成するモデル生成部と、を備える、
   モデル生成装置。
2. 地物の３Ｄモデルデータを生成するモデル生成装置であって、
   レーザースキャナが前記地物を３Ｄスキャンして生成した３Ｄ点群データを取得する点群取得部と、
   撮像装置が前記地物を撮像して生成した撮像画像データを取得する画像取得部と、
   前記３Ｄ点群データから前記地物の３Ｄ形状に関する特徴的な部分を示す３Ｄ特徴点を検出し、当該３Ｄ特徴点の特徴を示す値である３Ｄ特徴量を算出する点群特徴検出部と、
   前記撮像画像データから前記地物の２Ｄ（two-dimension）形状に関する特徴的な部分を示す２Ｄ特徴点を検出し、当該２Ｄ特徴点の特徴を示す値である２Ｄ特徴量を算出する画像特徴検出部と、
   前記３Ｄ特徴量を、２Ｄ形状の特徴を示す値である変換後２Ｄ特徴量に変換する特徴量変換部と、
   前記変換後２Ｄ特徴量との類似度が所定の閾値以上である前記２Ｄ特徴量を特定し、当該変換後２Ｄ特徴量を有する３Ｄ特徴点と、当該特定した前記２Ｄ特徴量を有する２Ｄ特徴点とを対応付ける共通特徴点特定部と、
   前記３Ｄ特徴点と前記２Ｄ特徴点との対応関係に基づいて、前記３Ｄ点群データに前記撮像画像データを張り付け、前記地物の３Ｄモデルデータを生成するモデル生成部と、を備える、
   モデル生成装置。
3. 前記特徴量変換部は、前記３Ｄ特徴量を前記変換後２Ｄ特徴量に変換する予め生成された学習器を用いて、前記３Ｄ特徴量を前記変換後２Ｄ特徴量に変換する、
   請求項２に記載のモデル生成装置。
4. 請求項３に記載の学習器を生成する学習器生成装置であって、
   仮想空間に予め配置された地物に関する３Ｄモデルデータである仮想地物モデルデータを前記仮想空間にて３Ｄスキャンし、仮想３Ｄ点群データを生成する仮想点群生成部と、
   前記仮想空間において、前記３Ｄスキャンが行われた位置と同じ位置から、前記仮想地物モデルデータを撮像し、仮想撮像画像データを生成する仮想画像生成部と、
   前記仮想３Ｄ点群データから前記仮想地物モデルデータの３Ｄ形状に関する特徴的な部分を示す３Ｄ特徴点を検出し、当該３Ｄ特徴点の特徴を示す値である３Ｄ特徴量を算出する点群特徴検出部と、
   前記仮想撮像画像データから前記仮想地物モデルデータの２Ｄ形状の特徴的な部分を示す２Ｄ特徴点を検出し、当該２Ｄ特徴点の特徴を示す値である２Ｄ特徴量を算出する画像特徴検出部と、
   前記３Ｄ特徴点が有する前記３Ｄ特徴量を入力データとし、当該３Ｄ特徴点と対応関係にある前記２Ｄ特徴点が有する前記２Ｄ特徴量を正解データとして、前記学習器を生成する学習器生成部と、を備える、
   学習器生成装置。
5. モデル生成装置によって地物の３Ｄ（three-dimension）モデルデータを生成するモデル生成方法であって、
   レーザースキャナが前記地物を３Ｄスキャンして生成した３Ｄ点群データを取得し、
   撮像装置が前記地物を撮像して生成した撮像画像データを取得し、
   前記３Ｄ点群データから前記地物を構成するセグメントを検出し、当該セグメントの３Ｄ点群データに関する情報及び当該セグメントを識別するセグメント識別情報を含む点群セグメント情報を生成し、
   前記撮像画像データから前記地物を構成するセグメントを検出し、当該セグメントの画像データに関する情報及び当該セグメントを識別するセグメント識別情報を含む画像セグメント情報を生成し、
   共通の前記セグメント識別情報を含む前記点群セグメント情報及び前記画像セグメント情報を対応付け、
   前記点群セグメント情報が示すセグメントの点群データに、当該点群セグメント情報と対応付けられている前記画像セグメント情報が示すセグメントの画像データを張り付け、前記地物の３Ｄモデルデータを生成する、
   モデル生成方法。
6. モデル生成装置によって地物の３Ｄモデルデータを生成するモデル生成方法であって、
   レーザースキャナが前記地物を３Ｄスキャンして生成した３Ｄ点群データを取得し、
   撮像装置が前記地物を撮像して生成した撮像画像データを取得し、
   前記３Ｄ点群データから前記地物の３Ｄ形状に関する特徴的な部分を示す３Ｄ特徴点を検出し、当該３Ｄ特徴点の特徴を示す値である３Ｄ特徴量を算出し、
   前記撮像画像データから前記地物の２Ｄ（two-dimension）形状に関する特徴的な部分を示す２Ｄ特徴点を検出し、当該２Ｄ特徴点の特徴を示す値である２Ｄ特徴量を算出し、
   前記３Ｄ特徴量を、２Ｄ形状の特徴を示す値である変換後２Ｄ特徴量に変換し、
   前記変換後２Ｄ特徴量との類似度が所定の閾値以上である前記２Ｄ特徴量を特定し、当該変換後２Ｄ特徴量を有する３Ｄ特徴点と、当該特定した前記２Ｄ特徴量を有する２Ｄ特徴点とを対応付け、
   前記３Ｄ特徴点と前記２Ｄ特徴点との対応関係に基づいて、前記３Ｄ点群データに前記撮像画像データを張り付け、前記地物の３Ｄモデルデータを生成する、
   モデル生成方法。
7. 前記３Ｄ特徴量は、前記３Ｄ特徴量を前記変換後２Ｄ特徴量に変換する予め生成された学習器を用いて、前記変換後２Ｄ特徴量に変換される、
   請求項６に記載のモデル生成方法。
8. 請求項７に記載の学習器を学習器生成装置によって生成する学習器生成方法であって、
   仮想空間に予め配置された地物に関する３Ｄモデルデータである仮想地物モデルデータを前記仮想空間にて３Ｄスキャンし、仮想３Ｄ点群データを生成し、
   前記仮想空間において、前記３Ｄスキャンが行われた位置と同じ位置から、前記仮想地物モデルデータを撮像し、仮想撮像画像データを生成し、
   前記仮想３Ｄ点群データから前記仮想地物モデルデータの３Ｄ形状に関する特徴的な部分を示す３Ｄ特徴点を検出し、当該３Ｄ特徴点の特徴を示す値である３Ｄ特徴量を算出し、
   前記仮想撮像画像データから前記仮想地物モデルデータの２Ｄ形状の特徴的な部分を示す２Ｄ特徴点を検出し、当該２Ｄ特徴点の特徴を示す値である２Ｄ特徴量を算出し、
   前記３Ｄ特徴点が有する前記３Ｄ特徴量を入力データとし、当該３Ｄ特徴点と対応関係にある前記２Ｄ特徴点が有する前記２Ｄ特徴量を正解データとして、前記学習器を生成する、
   学習器生成方法。

Images