JP6857924B1 - モデル生成装置、及び、モデル生成方法 - Google Patents

Abstract

【課題】解像度のより高い３Ｄモデルデータを生成する。【解決手段】物体の３Ｄモデルデータを生成するモデル生成装置は、物体を互いに異なる方向から撮像した複数の撮像画像を取得する画像取得部と、撮像画像を高解像化し、撮像画像よりも解像度の高い高解像撮像画像を生成する画像高解像化部と、高解像撮像画像から物体の形状の特徴的な部分を示す複数の画像特徴点を検出する特徴点検出部と、複数の高解像撮像画像のそれぞれから検出された複数の画像特徴点に基づいて、前記物体の３Ｄ形状を示す３Ｄ点群データを生成する点群生成部と、３Ｄ点群データに高解像撮像画像の少なくとも一部をマッピングし、物体の３Ｄモデルデータを生成するモデル生成部とを備える。【選択図】図２

Description

本開示は、モデル生成装置、及び、モデル生成方法に関する。

物体を互いに異なる方向から撮影した複数の画像から当該物体の特徴点の３Ｄ（three-dimension）位置を特定し、特定した特徴点の３Ｄ位置に基づいて、当該物体の３Ｄ形状データを生成するフォトグラメトリー技術が知られている（例えば特許文献１）。

また、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）に代表される３Ｄ距離センサを用いて、物体にレーザ光を照射し、当該物体からの反射光を受光することにより、当該物体表面の３Ｄ位置を示す点群を特定し、特定した点群に基づいて、当該物体の３Ｄ形状データを生成する技術が知られている（例えば特許文献２）。

特開２０１８−１５９５７８号公報 特開２０１９−１６８４１７号公報

Yang Yifan, et al., "Patch-based Progressive 3D Point Set Upsampling", [online], [2020年4月13日検索], インターネット＜URL：https://arxiv.org/abs/1811.11286＞ Chao Dong, et al., "Image Super-Resolution Using Deep Convolutional Networks", [online], [2020年5月14日], インターネット＜URL：https://arxiv.org/abs/1501.00092＞

３Ｄ形状データが示す物体の表面に当該物体を撮像した画像を張り付けることにより（つまりテクスチャマッピングを行うことにより）、物体の３Ｄ形状に加えて、物体表面の色、模様及び質感も表現した３Ｄモデルデータを生成できる。

３Ｄモデルデータが示す３Ｄモデルの表面の解像度は、物体を撮像した画像の解像度に依存する。したがって、撮像画像の解像度が比較的低い場合、その撮像画像を張り付けた３Ｄモデルの表面の解像度も比較的低くなってしまう。

本開示の目的は、解像度のより高い３Ｄモデルデータを生成する技術を提供することにある。

本開示の一態様に係る、物体の３Ｄモデルデータを生成するモデル生成装置は、物体を互いに異なる方向から撮像した複数の撮像画像を取得する画像取得部と、前記撮像画像を高解像化し、前記撮像画像よりも解像度の高い高解像撮像画像を生成する画像高解像化部と、前記高解像撮像画像から前記物体の形状の特徴的な部分を示す複数の画像特徴点を検出する特徴点検出部と、複数の前記高解像撮像画像のそれぞれから検出された前記複数の画像特徴点に基づいて、前記物体の３Ｄ（three-dimension）形状を示す３Ｄ点群データを生成する点群生成部と、前記３Ｄ点群データに前記高解像撮像画像の少なくとも一部をマッピングし、前記物体の３Ｄモデルデータを生成するモデル生成部とを備える。

本開示の一態様に係る、装置によって物体の３Ｄモデルデータを生成する方法は、前記物体を互いに異なる方向から撮像した複数の撮像画像を取得し、前記撮像画像を高解像化し、前記撮像画像よりも解像度の高い高解像撮像画像を生成し、前記高解像撮像画像から前記物体の形状の特徴的な部分を示す複数の画像特徴点を検出し、複数の前記高解像撮像画像のそれぞれから検出された前記複数の画像特徴点に基づいて、前記物体の３Ｄ（three-dimension）形状を示す３Ｄ点群データを生成し、前記３Ｄ点群データに前記高解像撮像画像の少なくとも一部をマッピングし、前記物体の３Ｄモデルデータを生成する。

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、解像度のより高い３Ｄモデルデータを生成できる。

実施の形態１に係るモデル生成システムの構成の一例を示す模式図である。 実施の形態１に係るモデル生成装置の構成の一例を示すブロック図である。 実施の形態１に係るモデル表示装置の構成の一例を示すブロック図である。 実施の形態１に係るモデル生成装置による３Ｄモデルデータの生成処理の一例を示すフローチャートである。 実施の形態２に係るモデル生成装置の構成の一例を示すブロック図である。 実施の形態２に係る特徴点未対応３Ｄ点を特徴点対応３Ｄ点に変換する方法を説明するための図である。 実施の形態２に係るモデル生成装置による３Ｄモデルデータの生成処理の一例を示すフローチャートである。 実施の形態２に係る特徴点未対応３Ｄを特徴点対応３Ｄに変換する処理の一例を示すフローチャートである。 実施の形態３に係る撮像方法の一例を説明するための第１の模式図である。 実施の形態３に係る撮像方法の一例を説明するための第２の模式図である。 実施の形態３に係るモデル生成装置の構成の一例を示すブロック図である。 本開示に係るモデル生成装置及びモデル表示装置の機能をプログラムにより実現するコンピュータのハードウェア構成の一例を示す図である。

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

（実施の形態１）
＜モデル生成システムの構成＞
図１は、実施の形態１に係るモデル生成システム１０の構成の一例を示す模式図である。

モデル生成システム１０は、物体２の３Ｄ形状と、物体２の表面の色、模様及び質感等とをモデル化したデータである３Ｄモデルデータ１６０（図２参照）を生成するシステムである。

モデル生成システム１０は、撮像装置２０（２０Ａ、２０Ｂ）、モデル生成装置１００、及び、モデル表示装置２００を備える。モデル生成装置１００及び撮像装置２０は、通信ネットワーク１１Ａを介して、互いにデータを送受信可能である。モデル生成装置１００及びモデル表示装置２００は、通信ネットワーク１１Ｂを介して、互いにデータを送受信可能である。通信ネットワーク１１Ａ，１１Ｂの例としては、有線ＬＡＮ、無線ＬＡＮ、インターネット網、又は、移動体通信網が挙げられる。なお、通信ネットワーク１１Ａと通信ネットワーク１１Ｂは、共通の通信ネットワークであってもよいし、互いに異なる通信ネットワークであってもよい。

カメラに代表される撮像装置２０Ａ、２０Ｂは、物体２を互いに異なる方向から撮像し、複数の撮像画像１５１Ａ、１５１Ｂを生成する。すなわち、複数の撮像画像１５１Ａ、１５１Ｂの各々には、物体２を互いに異なる方向から撮影した画像が含まれる。

複数の撮像画像１５１Ａ、１５１Ｂは、１つの撮像装置２０が移動しながら物体２を互いに異なる方向から撮像することにより、生成されてもよい。あるいは、複数の撮像画像１５１Ａ、１５１Ｂは、互いに異なる位置に存在する複数の撮像装置２０Ａ、２０Ｂの各々が物体２を互いに異なる方向から撮像することにより、生成されてもよい。なお、撮像装置２０の数は、１台又は２台に限られず、３台以上であってもよい。

複数の撮像装置２０Ａ、２０Ｂを用いる場合、モデル生成装置１００は、複数の撮像画像１５１Ａ、１５１Ｂを、焦点距離、画素数、レンズ歪といった撮像装置２０Ａ、２０Ｂの内部パラメータを利用して、基準とする１つの撮像装置２０で撮像した画像となるように補正してよい。

モデル生成装置１００は、撮像装置２０から、通信ネットワーク１１Ａを介して、複数の撮像画像１５１を取得する。モデル生成装置１００は、複数の撮像画像１５１を用いて、当該複数の撮像画像１５１に含まれる物体の３Ｄモデルデータ１６０を生成する。なお、モデル生成装置１００の詳細については後述する（図２参照）。

モデル表示装置２００は、モデル生成装置１００から、通信ネットワーク１１Ｂを通じて、３Ｄモデルデータ１６０を取得する。モデル表示装置２００は、３Ｄモデルデータ１６０が示す３Ｄモデルの画像を表示すると共に、当該３Ｄモデルの表示画像に対するユーザからの操作を受け付ける。なお、モデル表示装置２００の詳細については後述する（図３参照）。

＜モデル生成装置の構成＞
図２は、実施の形態１に係るモデル生成装置１００の構成の一例を示すブロック図である。

モデル生成装置１００は、情報格納部１０１、画像取得部１０２、画像高解像化部１０３、特徴点検出部１０４、点群生成部１０５、及び、モデル生成部１０６の機能を備える。なお、これらの機能は、モデル生成装置１００が備えるハードウェア（図１１参照）が協調動作することにより実現されてよい。

情報格納部１０１は、モデル生成装置１００が取り扱うデータ及び情報を格納する。

画像取得部１０２は、撮像装置２０から、通信ネットワーク１１Ａを介して、物体２が撮像された複数の撮像画像１５１を取得し、情報格納部１０１に格納する。

画像高解像化部１０３は、撮像画像１５１を高解像化した高解像撮像画像１５２を生成し、情報格納部１０１に格納する。例えば、画像高解像化部１０３は、撮像画像１５１の縦方向及び横方向の画素数をそれぞれ２倍、つまり撮像画像１５１の画素数を４倍に高めた高解像撮像画像１５２を生成する。画像高解像化部１０３は、ディープラーニングを使用した単一画像超解像処理によって、撮像画像１５１から高解像撮像画像１５２を生成してよい。例えば、画像高解像化部１０３は、非特許文献２に開示のＳＲＣＮＮ（Super-resolution Convolutional Neural Network）に撮像画像１５１を入力して、高解像撮像画像１５２を得る。

特徴点検出部１０４は、例えばＡＫＡＺＥ法により、高解像撮像画像１５２から画像特徴点１４０（図１、図５参照）を検出し、その検出した画像特徴点１４０における画像特徴量を算出する。そして、特徴点検出部１０４は、検出した画像特徴点１４０の高解像撮像画像１５２における２Ｄ位置（座標）及びサイズと、当該画像特徴点１４０について算出した画像特徴量とを対応付けた画像特徴点情報１５３を生成し、情報格納部１０１に格納する。画像特徴点１４０のサイズは、２Ｄ位置を中心とする半径として表現されてよい。すなわち、画像特徴点１４０は、２Ｄ位置を中心とし、当該半径を有する円であってよい。画像特徴量は、画像特徴点１４０が示す円に含まれる画素群に基づいて算出される値であり、例えば多元ベクトルで表現される。

点群生成部１０５は、例えば、高解像撮像画像１５２Ａから生成された画像特徴点情報１５３Ａ、及び、高解像撮像画像１５２Ｂから生成された画像特徴点情報１５３Ｂから、それぞれ、画像特徴量が類似する２つの画像特徴点１４０Ａ、１４０Ｂ（図１参照）を特定する。画像特徴量が類似するとは、２つの多元ベクトルの内積が所定の閾値以下であるという意味であってよい。あるいは、画像特徴量が類似するとは、２つの多元ベクトルの各要素の差の絶対値を合計した値が所定の閾値以下であるという意味であってよい。

画像特徴量が類似する２つの画像特徴点１４０Ａ、１４０Ｂは、物体２の同一部分から検出されたものと推定される。よって、点群生成部１０５は、この画像特徴点１４０Ａ、１４０Ｂの２Ｄ位置の関係から、高解像撮像画像１５２Ａの元の撮像画像１５１Ａを撮像した撮像装置２０Ａの３Ｄ位置、及び、高解像撮像画像１５２Ｂの元の撮像画像１５１Ｂを撮影した撮像装置２０Ｂの３Ｄ位置を特定できる。そして、点群生成部１０５は、例えばステレオ法により、撮像装置２０Ａの３Ｄ位置、及び、撮像装置２０Ｂの３Ｄ位置から、画像特徴点１４０Ａ（又は画像特徴点１４０Ｂ）に対応する３Ｄ位置の点（以下「３Ｄ点」という）を算出する。以下、画像特徴点１４０に対応する３Ｄ点を特徴点対応３Ｄ点１５５（図１、図６参照）という。点群生成部１０５は、他の画像特徴点１４０についても同様の処理により、特徴点対応３Ｄ点１５５を算出する。そして、点群生成部１０５は、それら算出した複数の特徴点対応３Ｄ点１５５を含む３Ｄ点群データ１５４を生成し、情報格納部１０１に格納する。すなわち、３Ｄ点群データ１５４は、３Ｄ点群によって物体２の３Ｄ形状を示すデータであるといえる。

モデル生成部１０６は、３Ｄ点群データ１５４から、互いの距離が最も近い３つの特徴点対応３Ｄ点１５５を選択し、その３つの特徴点対応３Ｄ点１５５を頂点とする三角メッシュ１５８（図１、図６参照）を形成する。モデル生成部１０６は、高解像撮像画像１５２から、選択した３つの特徴点対応３Ｄ点１５５に対応する３つの画像特徴点１４０に囲まれた領域の画像（以下「テクスチャ画像」という）１５９を抽出し、その抽出したテクスチャ画像１５９を、３Ｄ点群データ１５４の三角メッシュ１５８に張り付ける。すなわち、モデル生成部１０６は、高解像撮像画像１５２を用いて、３Ｄ点群データ１５４にテクスチャマッピングを行う。モデル生成部１０６は、他の三角メッシュ１５８についても同様にテクスチャマッピングを行って３Ｄモデルデータ１６０を生成し、情報格納部１０１に格納する。

＜モデル表示装置の構成＞
図３は、実施の形態１に係るモデル表示装置２００の構成の一例を示すブロック図である。

モデル表示装置２００は、情報格納部２０１、モデル取得部２０２、モデル表示部２０３、及び、モデル操作部２０４の機能を備える。なお、これらの機能は、モデル表示装置２００が備えるハードウェア（図１１参照）が協調動作することにより実現されてよい。

情報格納部２０１は、モデル表示装置２００が取り扱うデータ及び情報を格納する。

モデル取得部２０２は、モデル生成装置１００から、通信ネットワーク１１Ｂを介して、３Ｄモデルデータ１６０を取得し、情報格納部２０１に格納する。

モデル表示部２０３は、３Ｄモデルデータ１６０が示す３Ｄモデルの画像を生成し、ディスプレイ装置に代表される出力装置１００２（図１１参照）に表示する。

モデル操作部２０４は、キーボード及びマウスに代表される入力装置１００１（図１１参照）から、出力装置１００２に表示された３Ｄモデルの画像に対する操作を受け付ける。例えば、モデル操作部２０４は、出力装置１００２に表示された３Ｄモデルの画像を、拡大、縮小、視点移動、回転等させる操作を受け付ける。これにより、ユーザは、３Ｄモデルの画像を様々な視点から見ることができる。

＜３Ｄモデルデータの生成処理＞
図４は、実施の形態１に係るモデル生成装置１００による３Ｄモデルデータ１６０の生成処理の一例を示すフローチャートである。

画像取得部１０２は、撮像装置２０から、物体２が撮像された複数の撮像画像１５１を取得する（Ｓ１０１）。

画像高解像化部１０３は、複数の撮像画像１５１をそれぞれ高解像化し、複数の高解像撮像画像１５２を生成する（Ｓ１０２）。

特徴点検出部１０４は、複数の高解像撮像画像１５２から、それぞれ、画像特徴点１４０及び画像特徴量を検出及び算出し、複数の画像特徴点情報１５３を生成する（Ｓ１０３）。

点群生成部１０５は、各画像特徴点情報１５３に含まれる画像特徴点１４０及び画像特徴量に基づいて、上述した方法により、物体２の３Ｄ点群データ１５４を生成する（Ｓ１０４）。

モデル生成部１０６は、３Ｄ点群データ１５４から、互いの距離が最も近い３つの特徴点対応３Ｄ点１５５を選択し、その３つの特徴点対応３Ｄ点１５５を頂点とする三角メッシュ１５８を形成する（Ｓ１０５）。なお、モデル生成部１０６は、３Ｄ点群データ１５４における他の特徴点対応３Ｄ点１５５についても同様に、三角メッシュ１５８を形成する。

モデル生成部１０６は、上述した方法により、高解像撮像画像１５２における３つの画像特徴点１４０に囲まれた領域のテクスチャ画像１５９を、３Ｄ点群データ１５４の三角メッシュ１５８に張り付ける（つまりテクスチャマッピングを行う）（Ｓ１０６）。なお、モデル生成部１０６は、他の三角メッシュ１５８に対しても、同様にテクスチャ画像１５９を張り付け、３Ｄモデルデータ１６０を生成する。

＜実施の形態１のまとめ＞
実施の形態１によれば、モデル生成装置１００は、３Ｄ点群データ１５４に高解像撮像画像１５２を張り付けるので、物体２の表面の色、模様及び質感等の表現が高精細かつ高画質な３Ｄモデルデータ１６０を生成できる。

また、画像高解像化部１０３における高解像化処理により、撮像画像１５１に含まれるノイズが除去される。よって、元の撮像画像１５１から画像特徴点１４０を検出する場合と比較して、高解像撮像画像１５２から検出される画像特徴点１４０の精度は高い。すなわち、特徴点検出部１０４によって検出された画像特徴点１４０は、物体２の形状の特徴をより高い精度で表現する。

加えて、高解像撮像画像１５２から検出される画像特徴点１４０の２Ｄ位置の精度は、元の撮像画像１５１から検出される画像特徴点１４０の２Ｄ位置の精度よりも高い。よって、その位置精度の高い画像特徴点１４０から生成される３Ｄモデルデータ１６０は、物体２の３Ｄ形状を高い精度で表現する。

（実施の形態２）
次に、実施の形態２に係るモデル生成装置１００について説明する。なお、実施の形態１と共通する構成要素については、共通の参照符号を付し、説明を省略する場合がある。

＜モデル生成装置の構成＞
図５は、実施の形態２に係るモデル生成装置１００の構成の一例を示すブロック図である。

モデル生成装置１００は、情報格納部１０１、画像取得部１０２、画像高解像化部１０３、特徴点検出部１０４、点群生成部１０５、及び、モデル生成部１０６を備える。情報格納部１０１、画像取得部１０２、画像高解像化部１０３、特徴点検出部１０４、及び、モデル生成部１０６については、実施の形態１にて説明済みであるので、ここでは説明を省略する。

点群生成部１０５は、実施の形態１と同様の処理により、画像特徴点情報１５３から３Ｄ点群データ１５４を生成し、情報格納部１０１に格納する。加えて、実施の形態２に係る点群生成部１０５は、３Ｄ点群データ１５４を高解像化する点群高解像化部１０７を含む。

点群高解像化部１０７は、３Ｄ点群データ１５４からノイズを除去する。そして、点群高解像化部１０７は、例えば非特許文献１に開示の手法に基づいて、３Ｄ点群データ１５４に新たな３Ｄ点を加え、３Ｄ点群データ１５４よりも３Ｄ点群の解像度の高い高解像３Ｄ点群データ１５６を生成する。あるいは、点群高解像化部１０７は、予め設計された人工知能（例えばディープラーニング）を使用して、３Ｄ点群データ１５４から、高解像３Ｄ点群データ１５６を生成してもよい。

点群高解像化部１０７によって新たに加えられた３Ｄ点は、画像特徴点１４０と対応付けられていない。以下、画像特徴点１４０と対応付けられていない３Ｄ点を、特徴点未対応３Ｄ点１５７という。次に、特徴点未対応３Ｄ点１５７に対応する高解像撮像画像１５２における画像特徴点１４０を決定し、特徴点未対応３Ｄ点１５７を特徴点対応３Ｄ点１５５に変換する方法について説明する。

図６は、特徴点未対応３Ｄ点１５７を特徴点対応３Ｄ点１５５に変換する方法を説明するための図である。

点群高解像化部１０７は、高解像３Ｄ点群データ１５６から、互いの距離が最も近い３つの特徴点対応３Ｄ点１５５を選択し、それら３つの特徴点対応３Ｄ点１５５を頂点とする三角メッシュ１５８を形成する。

次に、点群高解像化部１０７は、高解像撮像画像１５２において、３つの特徴点対応３Ｄ点１５５に対応する３つの画像特徴点１４０を特定し、それら３つの画像特徴点１４０に囲まれた領域からテクスチャ画像１５９を抽出する。

次に、点群高解像化部１０７は、テクスチャ画像１５９を、高解像３Ｄ点群データ１５６の三角メッシュ１５８の法線Ｎに直交させて、当該三角メッシュ１５８の表面に向けて近づけたときに、特徴点未対応３Ｄ点１５７に接する、テクスチャ画像１５９の２Ｄ位置を、その特徴点未対応３Ｄ点１５７に対応する画像特徴点１４０に決定する。

これにより、特徴点未対応３Ｄ点１５７に画像特徴点１４０が対応付けられる。すなわち、特徴点未対応３Ｄ点１５７を、特徴点対応３Ｄ点１５５に変換できる。

なお、モデル生成部１０６は、上記の処理によって特徴点未対応３Ｄ点１５７がすべて特徴点対応３Ｄ点１５５に変換された高解像３Ｄ点群データ１５６に対して、実施の形態１で説明したように、高解像撮像画像１５２を用いてテクスチャマッピングを行い、３Ｄモデルデータ１６０を生成してよい。

＜３Ｄモデルデータの生成処理＞
図７は、実施の形態２に係るモデル生成装置１００による３Ｄモデルデータ１６０の生成処理の一例を示すフローチャートである。

モデル生成装置１００は、図４のＳ１０１〜Ｓ１０４と同様の処理を行い、３Ｄ点群データ１５４を生成する（Ｓ２０１〜Ｓ２０４）。

点群高解像化部１０７は、例えば上述した高解像化の方法により、３Ｄ点群データ１５４を高解像化し、高解像３Ｄ点群データ１５６を生成する（Ｓ２０５）。

点群高解像化部１０７は、特徴点未対応３Ｄ点１５７を特徴点対応３Ｄ点１５５に変換する処理を実行する（Ｓ２０６）。なお、本処理の詳細については後述する（図８参照）。

モデル生成部１０６は、高解像３Ｄ点群データ１５６に対して、図４のＳ１０５〜Ｓ１０６と同様の処理を行い、３Ｄモデルデータ１６０を生成する（Ｓ２０７〜Ｓ２０８）。

図８は、実施の形態２に係る特徴点未対応３Ｄ点１５７を特徴点対応３Ｄ点１５５に変換する処理の一例を示すフローチャートである。なお、本処理は、図７のＳ２０６の処理の詳細に相当する。

点群高解像化部１０７は、高解像３Ｄ点群データ１５６において、互いの距離が最も近い３つの特徴点対応３Ｄ点１５５を頂点とする三角メッシュ１５８を形成する（Ｓ３０１）。

点群高解像化部１０７は、高解像撮像画像１５２において、３つの特徴点対応３Ｄ点１５５に対応する３つの画像特徴点１４０を特定し、それら３つの画像特徴点１４０に囲まれた領域からテクスチャ画像１５９を抽出する（Ｓ３０２）。

点群高解像化部１０７は、テクスチャ画像１５９を、高解像３Ｄ点群データ１５６の三角メッシュ１５８の法線Ｎに直交させて、当該三角メッシュ１５８の表面に向けて近づけたときに、特徴点未対応３Ｄ点１５７に接する、テクスチャ画像１５９の２Ｄ位置を、その特徴点未対応３Ｄ点１５７に対応する画像特徴点１４０に決定する（Ｓ３０３）。これにより、特徴点未対応３Ｄ点１５７が、特徴点対応３Ｄ点１５５に変換される。

点群高解像化部１０７は、特徴点対応３Ｄ点１５５に変換されていない特徴点未対応３Ｄ点１５７が残っているか否かを判定する（Ｓ３０４）。特徴点未対応３Ｄ点１５７が残っている場合（Ｓ３０４：ＹＥＳ）、点群高解像化部１０７は、残りの特徴点未対応３Ｄ点１５７のうちの１つを選択し、Ｓ３０１の処理に戻る。特徴点未対応３Ｄ点１５７が残っていない場合（Ｓ３０４：ＹＥＳ）、点群高解像化部１０７は、本処理を終了する（ＲＥＴＵＲＮ）。

＜実施の形態２のまとめ＞
実施の形態２によれば、実施の形態１で生成した３Ｄ点群データ１５４よりも解像度の高い高解像３Ｄ点群データ１５６を生成できる。また、高解像３Ｄ点群データ１５６において新たに加えられた特徴点未対応３Ｄ点１５７に対応する画像特徴点１４０を高解像撮像画像１５２において決定することにより、高解像撮像画像１５２を高解像３Ｄ点群データ１５６に張り付ける（つまりテクスチャマッピングを行う）ことができる。よって、実施の形態１で生成した３Ｄモデルデータ１６０よりも、物体２の３Ｄ形状、物体２の表面の色、模様及び質感等の精度が高い３Ｄモデルデータ１６０を生成できる。

（実施の形態３）
次に、実施の形態３に係るモデル生成装置１００について説明する。なお、実施の形態１又は２と共通する構成要素については、共通の参照符号を付し、説明を省略する場合がある。

図９Ａ、図９Ｂは、実施の形態３に係る撮像方法の一例を説明するための模式図である。

例えば、飛行体３０１に備えられた撮像装置２０が、上空を移動しながら、地上の対象領域３００に存在する地物３０３を連続的に撮像する。飛行体３０１の例としては、ドローン、航空機、又は、人工衛星等が挙げられる。また、地物３０３は、少なくとも１つの物体２によって構成されてよい。地物３０３の例としては、道路、河川、建造物、車両、人物等が挙げられる。

対象領域３００が矩形である場合、飛行体３０１に備えられた撮像装置２０は、例えば図９Ａに示すように、対象領域３００の一端３０４から対象領域３００の他端３０５に向かって対象領域３００全体を走査するように、所定の経路３０６を順方向に移動し、上空から地上の地物３０３の画像を撮像する。以下、順方向の経路３０６を往路３０６Ａといい、往路３０６Ａを移動中に撮像された画像を往路撮像画像３５１Ａという。

なお、経路３０６は、図９Ａに示すように、ある往路撮像画像３５１Ａの少なくとも一部が、別の往路撮像画像３５１Ａと重複するように定められてよい。これにより、地物３０３を互いに異なる方向から撮影した複数の往路撮像画像３５１Ａが生成される。

飛行体３０１は、対象領域３００の他端３０５に到着した後、例えば図９Ｂに示すように、所定の経路３０６を逆方向に移動し、上空から地上の地物３０３の画像を撮像する。以下、逆方向の経路３０６を復路３０６Ｂといい、復路３０６Ｂを移動中に撮像された画像を復路撮像画像３５１Ｂという。

なお、上記同様、復路３０６Ｂも、図９Ｂに示すように、ある復路撮像画像３５１Ｂの少なくとも一部が、別の復路撮像画像３５１Ｂと重複するように定められてよい。これにより、地物３０３を互いに異なる方向から撮影した複数の復路撮像画像３５１Ｂが生成される。

図１０は、実施の形態３に係るモデル生成装置１００の構成の一例を示すブロック図である。

モデル生成装置１００は、情報格納部１０１、画像取得部１０２、画像高解像化部１０３、特徴点検出部１０４、点群生成部１０５、及び、モデル生成部１０６の機能を備える。また、点群生成部１０５は、点群高密度化部１０８を含む。なお、これらの機能は、モデル生成装置１００が備えるハードウェア（図１１参照）が協調動作することにより実現されてよい。

画像取得部１０２は、撮像装置２０から、図９Ａで説明した複数の往路撮像画像３５１Ａ、及び、図９Ｂで説明した複数の復路撮像画像３５１Ｂを取得し、情報格納部１０１に格納する。

画像高解像化部１０３は、往路撮像画像３５１Ａを高解像化し、往路高解像撮像画像３５２Ａを生成する。同様に、画像高解像化部１０３は、復路撮像画像３５１Ｂを高解像化し、復路高解像撮像画像３５２Ｂを生成する。高解像化の方法については、実施の形態１にて説明済みであるため、ここでは説明を省略する。

特徴点検出部１０４は、往路高解像撮像画像３５２Ａから画像特徴点１４０及び画像特徴量を検出及び算出し、往路の画像特徴点情報３５３Ａを生成する。同様に、特徴点検出部１０４は、復路高解像撮像画像３５２Ｂから画像特徴点１４０及び画像特徴量を検出及び算出し、復路の画像特徴点情報３５３Ｂを生成する。

点群生成部１０５は、複数の往路の画像特徴点情報３５３Ａに基づいて、往路の３Ｄ点群データ３５４Ａを生成する。同様に、点群生成部１０５は、複数の復路の画像特徴点情報３５３Ｂに基づいて、復路の３Ｄ点群データ３５４Ｂを生成する。往路及び復路の３Ｄ点群データ３５４Ａ、３５４Ｂは、実施の形態１又は２で説明した方法によって生成されてよい。

点群生成部１０５は、点群高解像化部１０７、及び、点群高密度化部１０８とを含む。

点群高解像化部１０７は、往路の３Ｄ点群データ３５４Ａを高解像化し、往路の高解像３Ｄ点群データ３５５Ａを生成する。また、点群高解像化部１０７は、復路の３Ｄ点群データ３５４Ｂを高解像化し、復路の高解像３Ｄ点群データ３５５Ｂを生成する。なお、点群高解像化の方法については、実施の形態２にて説明済みであるため、ここでは説明を省略する。また、点群高解像化部１０７は、実施の形態２で説明したように、特徴点未対応３Ｄ点１５７を特徴点対応３Ｄ点１５５に変換する処理を実行してよい。

点群高密度化部１０８は、往路の高解像３Ｄ点群データ３５５Ａと、復路の高解像３Ｄ点群データ３５５Ｂとを合成して、１つの高密度３Ｄ点群データ３５６を生成する。これにより、高密度３Ｄ点群データ３５６の３Ｄ点の数は、往路の高解像３Ｄ点群データ３５５Ａに含まれる３Ｄ点の数と、復路の高解像３Ｄ点群データ３５５Ｂに含まれる３Ｄ点の数とを合計した数となる。

モデル生成部１０６は、往路高解像撮像画像３５２Ａ及び／又は復路高解像撮像画像３５２Ｂを用いて、高密度３Ｄ点群データ３５６にテクスチャマッピングを行い、地物３０３の３Ｄモデルデータ１６０を生成する。

＜実施の形態３のまとめ＞
本実施の形態によれば、実施の形態２で生成した高解像３Ｄ点群データ１５６の点群密度をさらに高めた高密度３Ｄ点群データ３５６を得ることができる。よって、実施の形態２で生成した３Ｄモデルデータ１６０よりも、地物３０３の３Ｄ形状、地物３０３の表面の色、模様及び質感の精度が高い３Ｄモデルデータ１６０を生成できる。

＜変形例＞
点群生成部１０５は、点群高解像化部１０７を含まなくてもよい。この場合、点群高密度化部１０８は、往路の３Ｄ点群データ３５４Ａと、復路の３Ｄ点群データ３５４Ｂとを合成して、１つの高密度３Ｄ点群データ３５６を生成してよい。

（ハードウェア構成）
以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述したモデル生成装置１００及びモデル表示装置２００の機能は、コンピュータプログラムにより実現され得る。

図１１は、モデル生成装置１００及びモデル表示装置の機能をプログラムにより実現するコンピュータのハードウェア構成の一例を示す図である。

このコンピュータ１０００は、キーボード又はマウス、タッチパッドなどの入力装置１００１、ディスプレイ又はスピーカーなどの出力装置１００２、ＣＰＵ（Central Processing Unit）１００３、ＧＰＵ（Graphics Processing Unit）１００４、ＲＯＭ（Read Only Memory）１００５、ＲＡＭ（Random Access Memory）１００６、ハードディスク装置又はＳＳＤ（Solid State Drive）などの記憶装置１００７、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１００８、通信ネットワークを介して通信を行う送受信装置１００９を備え、各部はバス１０１０により接続される。

読取装置１００８は、上記各装置１００、２００の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１００７に記憶させる。あるいは、送受信装置１００９が、通信ネットワーク１１Ａ，１１Ｂに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置１００，２００の機能を実現するためのプログラムを記憶装置１００７に記憶させる。

ＣＰＵ１００３が、記憶装置１００７に記憶されたプログラムをＲＡＭ１００６にコピーし、そのプログラムに含まれる命令をＲＡＭ１００６から順次読み出して実行することにより、上記各装置１００，２００の機能が実現される。なお、ＣＰＵ１００３は、処理部、制御部、コントローラといった別の用語に読み替えられてもよい。ＲＯＭ１００５、ＲＡＭ１００５、記憶装置１００７は、メモリ、記憶部といった別の用語に読み替えられてもよい。

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

（本開示のまとめ）
本開示に係るモデル生成装置（１００）は、物体（２）を互いに異なる方向から撮像した複数の撮像画像（１５１）を取得する画像取得部（１０２）と、撮像画像を高解像化し、撮像画像よりも解像度の高い高解像撮像画像（１５２）を生成する画像高解像化部（１０３）と、高解像撮像画像から物体の形状の特徴的な部分を示す複数の画像特徴点（１４０）を検出する特徴点検出部（１０４）と、複数の高解像撮像画像のそれぞれから検出された複数の画像特徴点に基づいて、物体の３Ｄ（three-dimension）形状を示す３Ｄ点群データ（１５４）を生成する点群生成部（１０５）と、３Ｄ点群データに高解像撮像画像の少なくとも一部をマッピングし、物体の３Ｄモデルデータ（１６０）を生成するモデル生成部（１０６）とを備える。

高解像撮像画像から検出される画像特徴点の２Ｄ位置の精度は、元の撮像画像から検出される画像特徴点の２Ｄ位置の精度よりも高い。よって、上記の構成によれば、物体の３Ｄ形状を高い精度で表す３Ｄモデルデータを生成できる。加えて、上記の構成によれば、３Ｄ点群データに高解像撮像画像をマッピングするので、物体の表面が高精細かつ高画質な３Ｄモデルデータを生成できる。

また、点群生成部は、生成した３Ｄ点群データの点群を高解像化し、モデル生成部は、高解像化された３Ｄ点群データを用いて、３Ｄモデルデータを生成してよい。

上記の構成によれば、高解像化により３Ｄ点群データの点群数が増加するので、物体の３Ｄ形状をより高い精度で表す３Ｄモデルデータを生成できる。

また、点群生成部は、３Ｄ点群データを構成する複数の３Ｄ点のうち、画像特徴点と対応付けられている３Ｄ点である特徴点対応３Ｄ点を３つ特定し、その特定した３つの特徴点対応３Ｄ点を頂点とする三角メッシュを形成し、高解像撮像画像の少なくとも一部を三角メッシュの法線に直交させて三角メッシュの表面に近づけた場合に、画像特徴点と対応付けられてない３Ｄ点である特徴点未対応３Ｄ点と接する、高解像撮像画像の２Ｄ位置を、特徴点未対応３Ｄ点に対応する前記画像特徴点としてよい。

上記の構成によれば、３Ｄ点群データの高解像化によって新たに追加された特徴点未対応３Ｄ点に画像特徴点が対応付けられるので、高解像撮像画像の少なくとも一部を三角メッシュに適切にマッピングできる。

また、複数の撮像画像は、撮像装置が上空を移動しながら地上の物体を撮像したものであり、複数の撮像画像は、撮像装置が所定の経路を順方向に移動しながら撮像した往路の撮像画像と、撮像装置が経路を逆方向に移動しながら撮像した復路の撮像画像とを含み、画像高解像化部は、往路及び復路の撮像画像を高解像化し、往路及び復路の高解像撮像画像を生成し、点群生成部は、複数の往路の高解像撮像画像に基づいて、往路の３Ｄ点群データを生成し、複数の復路の高解像撮像画像に基づいて、復路の３Ｄ点群データを生成し、往路及び復路の３Ｄ点群データを合成して、往路又は復路の３Ｄ点群データよりも点群密度の高い前記３Ｄ点群データを生成し、モデル生成部は、点群密度の高い３Ｄ点群データを用いて、前記３Ｄモデルデータを生成してよい。

上記の構成によれば、往路と復路の３Ｄ点群データの合成により、３Ｄ点群データの点群密度が高まるので、物体の３Ｄ形状をより高い精度で表す３Ｄモデルデータを生成できる。

本開示の技術は、現実世界の物体に対応する３Ｄモデルデータを生成できる。よって、例えば、都市開発、土木建築又は災害予測といった様々な産業に利用可能である。

２ 物体
１０ モデル生成システム
１１Ａ、１１Ｂ 通信ネットワーク
２０、２０Ａ、２０Ｂ 撮像装置
１００ モデル生成装置
１０１ 情報格納部
１０２ 画像取得部
１０３ 画像高解像化部
１０４ 特徴点検出部
１０５ 点群生成部
１０６ モデル生成部
１０７ 点群高解像化部
１０８ 点群高密度化部
１４０、１４０Ａ、１４０Ｂ 画像特徴点
１５１、１５１Ａ、１５１Ｂ 撮像画像
１５２、１５２Ａ、１５２Ｂ 高解像撮像画像
１５３、１５３Ａ、１５３Ｂ 画像特徴点情報
１５４ ３Ｄ点群データ
１５５ 特徴点対応３Ｄ点
１５６ 高解像３Ｄ点群データ
１５７ 特徴点未対応３Ｄ点
１５８ 三角メッシュ
１５９ テクスチャ画像
１６０ ３Ｄモデルデータ
２００ モデル表示装置
２０１ 情報格納部
２０２ モデル取得部
２０３ モデル表示部
２０４ モデル操作部
３００ 対象領域
３０１ 飛行体
３０３ 地物
３０６ 経路
３０６Ａ 往路
３０６Ｂ 復路
３５１Ａ 往路撮像画像
３５１Ｂ 復路撮像画像
３５２Ａ 往路高解像撮像画像
３５２Ｂ 復路高解像撮像画像
３５３Ａ 往路の画像特徴点情報
３５３Ｂ 復路の画像特徴点情報
３５４Ａ 往路の３Ｄ点群データ
３５４Ｂ 復路の３Ｄ点群データ
３５５Ａ 往路の高解像３Ｄ点群データ
３５５Ｂ 復路の高解像３Ｄ点群データ
３５６ 高密度３Ｄ点群データ
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００７ 記憶装置
１００８ 読取装置
１００９ 送受信装置
１０１０ バス

Claims (4)

1. 物体の３Ｄ（three-dimension）モデルデータを生成するモデル生成装置であって、
   前記物体を互いに異なる方向から撮像した複数の撮像画像を取得する画像取得部と、
   前記撮像画像を高解像化し、前記撮像画像よりも解像度の高い高解像撮像画像を生成する画像高解像化部と、
   前記高解像撮像画像から前記物体の形状の特徴的な部分を示す複数の画像特徴点を検出する特徴点検出部と、
   複数の前記高解像撮像画像のそれぞれから検出された前記複数の画像特徴点に基づいて、前記物体の３Ｄ形状を示す３Ｄ点群データを生成する点群生成部と、
   生成された前記３Ｄ点群データに前記画像特徴点と対応付けられていない新たな３Ｄ点を加えて、前記３Ｄ点群データよりも解像度の高い高解像３Ｄ点群データを生成し、前記高解像３Ｄ点群データを構成する複数の３Ｄ点のうち、前記画像特徴点と対応付けられている３Ｄ点である特徴点対応３Ｄ点を３つ特定し、その特定した３つの前記特徴点対応３Ｄ点を頂点とする三角メッシュを形成し、前記高解像撮像画像の少なくとも一部を前記三角メッシュの法線に直交させて前記三角メッシュの表面に近づけた場合に、前記画像特徴点と対応付けられてない前記新たな３Ｄ点である特徴点未対応３Ｄ点と接する、前記高解像撮像画像における２Ｄ位置を、前記特徴点未対応３Ｄ点に対応する前記画像特徴点とする点群高解像化部と、
   前記高解像３Ｄ点群データの前記特徴点対応３Ｄ点及び前記特徴点未対応３Ｄ点と前記高解像撮像画像における前記画像特徴点との対応関係に基づき、前記高解像３Ｄ点群データに前記高解像撮像画像の少なくとも一部をマッピングし、前記物体の３Ｄモデルデータを生成するモデル生成部と、を備える、
   モデル生成装置。
2. 物体の３Ｄ（three-dimension）モデルデータを生成するモデル生成装置であって、
   撮像装置が上空から前記物体を、所定の経路を順方向に移動しながら撮像した往路の撮像画像と、前記経路を逆方向に移動しながら撮像した復路の撮像画像とを取得する画像取得部と、
   前記往路及び復路の撮像画像を高解像化し、前記撮像画像よりも解像度の高い往路及び復路の高解像撮像画像を生成する画像高解像化部と、
   前記高解像撮像画像から前記物体の形状の特徴的な部分を示す複数の画像特徴点を検出する特徴点検出部と、
   複数の前記往路の高解像撮像画像のそれぞれから検出された前記複数の画像特徴点に基づいて、前記物体の３Ｄ形状を示す往路の３Ｄ点群データを生成し、複数の前記復路の高解像撮像画像のそれぞれから検出された前記複数の画像特徴点に基づいて、前記物体の３Ｄ形状を示す復路の３Ｄ点群データを生成し、前記往路及び復路の３Ｄ点群データを合成して、前記往路又は復路の３Ｄ点群データよりも点群密度の高い高密度３Ｄ点群データを生成する点群生成部と、
   前記高密度３Ｄ点群データに前記高解像撮像画像の少なくとも一部をマッピングし、前記物体の３Ｄモデルデータを生成するモデル生成部と、を備える、
   モデル生成装置。
3. 装置によって物体の３Ｄ（three-dimension）モデルデータを生成する方法であって、
   前記物体を互いに異なる方向から撮像した複数の撮像画像を取得し、
   前記撮像画像を高解像化し、前記撮像画像よりも解像度の高い高解像撮像画像を生成し、
   前記高解像撮像画像から前記物体の形状の特徴的な部分を示す複数の画像特徴点を検出し、
   複数の前記高解像撮像画像のそれぞれから検出された前記複数の画像特徴点に基づいて、前記物体の３Ｄ形状を示す３Ｄ点群データを生成し、
   生成された前記３Ｄ点群データに前記画像特徴点と対応付けられていない新たな３Ｄ点を加えて、前記３Ｄ点群データよりも解像度の高い高解像３Ｄ点群データを生成し、
   前記高解像３Ｄ点群データを構成する複数の３Ｄ点のうち、前記画像特徴点と対応付けられている３Ｄ点である特徴点対応３Ｄ点を３つ特定し、その特定した３つの前記特徴点対応３Ｄ点を頂点とする三角メッシュを形成し、
   前記高解像撮像画像の少なくとも一部を前記三角メッシュの法線に直交させて前記三角メッシュの表面に近づけた場合に、前記画像特徴点と対応付けられてない前記新たな３Ｄ点である特徴点未対応３Ｄ点と接する、前記高解像撮像画像における２Ｄ位置を、前記特徴点未対応３Ｄ点に対応する前記画像特徴点とし、
   前記高解像３Ｄ点群データの前記特徴点対応３Ｄ点及び前記特徴点未対応３Ｄ点と前記高解像撮像画像における前記画像特徴点との対応関係に基づき、前記高解像３Ｄ点群データに前記高解像撮像画像の少なくとも一部をマッピングし、前記物体の３Ｄモデルデータを生成する、
   モデル生成方法。
4. 装置によって物体の３Ｄ（three-dimension）モデルデータを生成する方法であって、
   撮像装置が上空から前記物体を、所定の経路を順方向に移動しながら撮像した往路の撮像画像と、前記経路を逆方向に移動しながら撮像した復路の撮像画像とを取得し、
   前記往路及び復路の撮像画像を高解像化し、前記撮像画像よりも解像度の高い往路及び復路の高解像撮像画像を生成し、
   前記高解像撮像画像から前記物体の形状の特徴的な部分を示す複数の画像特徴点を検出し、
   複数の前記往路の高解像撮像画像のそれぞれから検出された前記複数の画像特徴点に基づいて、前記物体の３Ｄ形状を示す往路の３Ｄ点群データを生成し、
   複数の前記復路の高解像撮像画像のそれぞれから検出された前記複数の画像特徴点に基づいて、前記物体の３Ｄ形状を示す復路の３Ｄ点群データを生成し、
   前記往路及び復路の３Ｄ点群データを合成して、前記往路又は復路の３Ｄ点群データよりも点群密度の高い高密度３Ｄ点群データを生成し、
   前記高密度３Ｄ点群データに前記高解像撮像画像の少なくとも一部をマッピングし、前記物体の３Ｄモデルデータを生成する、
   モデル生成方法。

Images