JP6700519B1 - 合成画像生成装置、合成画像生成プログラム及び合成画像生成方法 - Google Patents

Abstract

【課題】従来のオルソ画像よりも立体的で視認性が高く、背景画像として利用し易い合成画像を生成することが可能な合成画像生成装置及びそれに関連する技術の提供。【解決手段】合成画像生成装置１の制御部７は、ＤＳＭ生成部７１と傾斜量図生成部７２と曲率図生成部７３と合成画像生成部７４とを有する。ＤＳＭ生成部７１は、三次元点群データ３２をメッシュ化し、建物や植生の高さを含むＤＳＭを生成する。傾斜量図生成部７２は、ＤＳＭに基づいて傾斜量を算出し、当該傾斜量の大小を２色の濃淡で表現した傾斜量図を生成する。曲率図生成部７３は、平滑化済みのＤＳＭに基づいて曲率を算出し、当該曲率に基づく凹凸を２色の濃淡で表現された曲率図を生成する。合成画像生成部７４は、第１透過度で透過された傾斜量図、第２透過度で透過された曲率図及びオルソ画像３１をこの順に重ねて合成画像を生成する。【選択図】図６

Description

本発明は、合成画像生成装置及びそれに関連する技術に関する。

従来、地形を立体的に表現した立体地図に関する技術が提案されている（例えば、特許文献１。）

詳細には、特許文献１では、ＤＥＭ（Digital Elevation Model）データを用いて画像データの傾斜を算出して傾斜度表示画像を生成し、グレースケールの輝度調整がなされた傾斜表示画像とカラー標高画像とが透過合成されたカラー標高傾斜図を生成する技術が開示されている。当該カラー標高傾斜図では、傾斜度合いがグレースケール、標高差がカラー彩色で表示される。

また、特許文献２では、ＤＥＭデータに基づいて傾斜、地上開度、地下開度の３つのパラメータを算出し、地上開度と地下開度との差分画像をグレー、傾斜を赤のチャンネルにいれて擬似カラー画像を作成する技術が開示されている。当該擬似カラー画像では、尾根や山頂部分が白っぽく、谷や窪地が黒っぽく、傾斜の急な部分ほど赤く表現される。

また、近年、ＵＡＶ（Unmanned Aerial Vehicle）、いわゆるドローン技術の急速な普及によって、ＵＡＶ測量で得られた空中写真に基づく誤差数センチメートルの高精度・地上解像度１cm前後の高解像度を実現したオルソ画像（正射投影画像）を作成することが可能になった。その結果、従来よりも大縮尺の地図・図面においてもオルソ画像を用いることが可能となった。これに伴い、ＵＡＶ測量を行った領域では、従来の地上測量による作図（地物を測量して平面図化したもの）に替えて図１に示すように、オルソ画像をトレースした部分の地形や地物を黒やグレーで表現し、現況測量した境界やその他の情報をその他の色で表現した現況測量平面図（境界線入り）が用いられている。

特開２００７−４８１８５号公報 特開２０１１−４８４９５号公報

ただ、上述した高精度・高解像度のオルソ画像を単に地形や地物のトレースに用いるだけでは、当該オルソ画像を必ずしも十分に活用できているとは言えない。

これに対し、本願の発明者らは、図２に示すように、高精度なオルソ画像に現況測量平面図を重畳して表示すること、すなわち、オルソ画像を現況測量平面図の背景画像として利用することを想起した。

しかしながら、図３に示すように、ＵＡＶ測量による空中写真（詳細には正射変換されたオルソ画像３１（３１１））には、撮影時間や天候等の条件によって影（黒潰れ部分）ＳＨが発生する。また、図４に示すように、オルソ画像３１（３１２）内に凹地ＤＰが存在する場合には当該凹地の地物はほとんど視認することができない。もちろん、影が発生し難い曇りの日に測量すれば、オルソ画像３１（３１１，３１２）内の黒潰れ部分を抑制することはできるが、測量自体が長期化するといった新たな問題が生じる。

また、現況測量平面図においては、境界線や境界名等が赤色で表現され、辺長等が黒色で表現されることが多い。そのため、現況測量平面図（点、線、区間、文字等）をオルソ画像にそのまま重ねると、重畳箇所のテキスチャや色によっては非常に見え難く、判読し難いことがある。

これに対して、線や文字等を比較的視認性の高い黄色で表現し、オルソ画像に重ねることも考えられるが、地物を黄色で表現した場合、オルソ画像以外の範囲（背景が白色になる部分）において視認性が著しく低下する。図５では、実際には参照符号ＹＬで示す部分に黄色の線が存在するが、全く視認できなくなっている。特に、用紙に出力した場合には、画面で表示する場合よりも更に視認性が悪化する。また、色の使用方法に関しては、境界線は赤色で表現する等、既に慣例化している部分が多く、現況測量平面図の色を変更することは現実的ではない。

そこで、本発明は、従来のオルソ画像よりも立体的で視認性が高く、背景画像として利用し易い合成画像を生成することが可能な合成画像生成装置及びそれに関連する技術を提供することを目的とする。

上記目的を達成するために、本発明は、三次元点群データをメッシュ化し、建物や植生の高さを含むＤＳＭ（Digital Surface Model）を生成するＤＳＭ生成手段と、前記ＤＳＭに基づいて傾斜量を算出し、前記傾斜量の大小を２色の濃淡で表現した傾斜量図を生成する傾斜量図生成手段と、前記ＤＳＭを平滑化し、平滑化済みのＤＳＭに基づいて曲率を算出し、前記曲率に基づく凹凸を２色の濃淡で表現した曲率図を生成する曲率図生成手段と、第１透過度で透過された前記傾斜量図と第２透過度で透過された前記曲率図とオルソ画像とを重畳した合成画像を生成する合成画像生成手段と、を備えることを特徴とする合成画像生成装置を提供している。

また、前記合成画像と現況測量平面図とを重畳した重畳画像を表示部に表示する表示制御手段を更に備えるのが好ましい。

更に、前記三次元点群データ及び前記オルソ画像は、ＳｆＭ（Structure/Shape from Motion）処理において複数の空中写真からカメラの撮像位置及び撮影方向を推定し、ＭＶＳ（Multi-View Stereo）処理において前記撮像位置及び前記撮影方向に基づいて三次元形状を復元することによって生成されるのが好ましい。

また、本発明は、ａ）三次元点群データをメッシュ化し、建物や植生の高さを含むＤＳＭ（Digital Surface Model）を生成するステップと、ｂ）前記ＤＳＭに基づいて傾斜量を算出し、前記傾斜量の大小を２色の濃淡で表現した傾斜量図を生成するステップと、ｃ）前記ＤＳＭを平滑化し、平滑化済みのＤＳＭに基づいて曲率を算出し、前記曲率に基づく凹凸を２色の濃淡で表現した曲率図を生成するステップと、ｄ）第１透過度で透過された前記傾斜量図と第２透過度で透過された前記曲率図とオルソ画像とを重畳した合成画像を生成するステップと、をコンピュータに実行させる合成画像生成プログラムを更に提供している。

また、本発明は、三次元点群データをメッシュ化し、建物や植生の高さを含むＤＳＭ（Digital Surface Model）を生成し、記ＤＳＭに基づいて傾斜量を算出し、前記傾斜量の大小を２色の濃淡で表現した傾斜量図を生成し、前記ＤＳＭを平滑化し、平滑化済みのＤＳＭに基づいて曲率を算出し、前記曲率に基づく凹凸を２色の濃淡で表現した曲率図を生成し、第１透過度で透過された前記傾斜量図と第２透過度で透過された前記曲率図とオルソ画像とを重畳した合成画像を生成することを特徴とする合成画像生成方法を更に提供している。

本発明によれば、オルソ画像では見え難かった領域の地物が合成画像として立体的に復元される。また、現況測量平面図との親和性が高く、現況測量平面図を合成画像に重畳したとしても現況測量平面図（特に境界点・境界線、境界辺長、地番名、所有者など）の視認性が低下しない。よって、従来のオルソ画像よりも立体的で視認性が高く、背景画像として利用し易い合成画像を生成することが可能である。

なお、本発明の合成画像生成装置、合成画像生成プログラム及び合成画像生成方法のように、傾斜量図とオルソ画像とを重畳した合成画像を生成する点は、上述した特許文献１及び２には全く記載されていない。

従来の現況測量平面図（境界点・境界線・辺長等入）。 現況測量平面図をオルソ画像に重ねた重畳図。 オルソ画像内に発生する影（黒潰し部分）を示す図。 オルソ画像内の凹地を示す図。 地物を黄色で表現した現況測量平面図をオルソ画像に重ねた重畳図。 本発明の実施の形態に係る合成画像生成装置の概略構成図。 合成画像生成プログラムによる処理の流れを示したフローチャート。 傾斜量の大小を２色の濃淡で表現した傾斜量図。 曲率に基づく凹凸を２色の濃淡で表現した曲率図。 傾斜量図、曲率図及びオルソ画像を重ねた合成画像を示す図。 合成画像に現況測量平面図を重畳した重畳画像を示す図。 合成画像内の凹地を示す図。

＜１．実施形態＞
本発明の実施形態による合成画像生成装置、合成画像生成プログラム及び合成画像生成方法について図面を参照しながら説明する。

合成画像生成装置１は、オルソ画像に立体感を補完した合成画像を生成するための装置である。合成画像生成装置１は、公知のサーバ装置やコンピュータ（例えば、デスクトップ、ラップトップ、タブレットなど）で実現される。

具体的には、図６に示すように、合成画像生成装置１は、記憶部３と、表示部５と、制御部７とを備えて構成される。

記憶部３は、コンピュータのハードディスク（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）等の記憶媒体に対応し、基本ソフト（ＯＳ）や制御部７で実行される合成画像生成プログラム（後述）を記憶している。また、記憶部３は、オルソ画像３１と、三次元点群データ３２と、現況測量平面図３３とを記憶している。

オルソ画像３１は、ＵＡＶによって撮影された複数枚の空中写真から生成される画像データである。具体的には、オルソ画像３１は、公知のＳｆＭ／ＭＶＳ(Structure from Motion / Multi-View Stereo)ソフトウェアによって生成される。ＳｆＭ処理において複数の空中写真からカメラの撮像位置及び撮影方向が推定され、ＭＶＳ処理においてカメラの撮影位置及び撮影方向から三次元形状が復元される。

三次元点群データ３２は、オルソ画像３１と同様に公知のＳｆＭ／ＭＶＳソフトウェアによって生成され、Ｘ軸、Ｙ軸にＺ軸（高さ）を加えた座標値を有するデータである。

現況測量平面図３３は、ブロック塀、建物、既存境界標といった現地に存在する地物を測量し、対象土地のおおよその寸法、面積、高さを反映させた画像データである。

表示部５は、コンピュータの液晶表示パネルや有機ＥＬパネル等のディスプレイに対応している。

制御部７は、コンピュータのＣＰＵ（Central Processing Unit）やメインメモリ（主記憶装置）に対応し、ＤＳＭ生成部７１と、傾斜量図生成部７２と、曲率図生成部７３と、合成画像生成部７４と、表示制御部７５とを備えて構成される。

ＤＳＭ生成部７１は、三次元点群データ３２をメッシュ化（ラスター変換）し、ラスター形式のＤＳＭ（Digital Surface Model）をメッシュ化データとして生成する処理部である。なお、ＤＳＭは、地盤の高さだけでなく、建物や植生を含む地球表面の高さのモデルであり、数値表層モデルなどとも称される。

傾斜量図生成部７２は、ラスター形式のＤＳＭを用いて地表面の傾斜量を算出し、当該傾斜量の大きさを白黒の濃淡で表現した傾斜量図（傾斜レイヤとも称する）を生成する処理部である。

曲率図生成部７３は、ＤＳＭ（メッシュ化データ）を平滑化し、平滑されたＤＳＭを用いて算出された曲率に基づく凹凸を２色の濃淡で表現した曲率図（曲率レイヤとも称する）を生成する処理部である。

合成画像生成部７４は、オルソ画像３１に立体感を補完した合成画像を生成する処理部である。具体的には、合成画像生成部７４は、傾斜量図、曲率図及びオルソ画像３１をこの順に重ねて合成画像を生成する処理部である。

表示制御部７５は、上述した表示部５（ディスプレイ）の表示内容を制御する処理部である。

次に、図７のフローチャートに沿って、合成画像生成プログラムを実行した場合の処理の流れを説明する。

まず、ステップＳ１では、ＤＳＭ生成部７１は、記憶部３から三次元点群データ３２を取得する。

ステップＳ２では、ＤＳＭ生成部７１は、三次元点群データ３２をラスター形式に変換し、ラスター形式のＤＳＭをメッシュ化データ（詳細には０．０２ｍメッシュ（オルソ画像の地上解像度を１cmとしてその倍程度のメッシュ）のメッシュデータ）として生成する。ラスター変換前の三次元点群データ３２は、高密度でデータ容量が大きいため、そのまま処理しようとすると莫大な時間を要する。そのため、本実施形態では、三次元点群データ３２をメッシュ化することで容量を低減している。

メッシュ化では、まず、三次元点群データ３２に任意のメッシュを生成する。対象メッシュ内に複数の点が存在する場合には、複数の点の高さ座標の平均値を当該対象メッシュの高さとする。一方、対象メッシュ内に点が１つも存在しない場合には、ＴＩＮ（Triiangulated Irregular Network）（不規則三角形網）やＩＤＷ（Inverse Distance Weighted）（逆距離加重法）等の内挿補完によって当該対象メッシュの高さを求める。

ステップＳ３では、傾斜量図生成部７２は、ステップＳ２で生成したラスター形式のＤＳＭを用いて図８に示す傾斜量図ＬＹ１を生成する。

具体的には、傾斜量図生成部７２は、公知のＧＩＳソフトウェア「ＳＡＧＡ（自動地球科学分析のためのシステム）」の標準モジュールである「Terrain Analysis-Morphometry（地形分析―地形計測）」を用いて各メッシュの傾斜量を算出する。

そして、傾斜量図生成部７２は、傾斜量が小さいほど（傾斜が緩やかなほど）白色、傾斜量が大きいほど（傾斜が急なほど）黒色となるように、白黒の濃淡で表現した傾斜量図を生成する。最後に、傾斜量図生成部７２は、傾斜量図を５０％の透過度で透過する。

他方、ステップＳ４，Ｓ５においては、曲率図ＬＹ２が生成される。まず、ステップＳ４では、制御部７は、公知のＧＩＳソフトウェア「ＳＡＧＡ（自動地球科学分析のためのシステム）」の標準モジュール「Gaussian filter(ガウシアン)」を用いてラスター形式のＤＳＭを平滑化する。ラスター形式のＤＳＭを無処理のまま曲率計算すると、凹凸が細かくなり過ぎ、逆に地形を把握しにくくなるためである。

ステップＳ５では、曲率図生成部７３は、ステップＳ２で生成したラスター形式のＤＳＭを用いて図９に示す曲率図ＬＹ２を生成する。

具体的には、曲率図生成部７３は、「ＳＡＧＡ（自動地球科学分析のためのシステム）」の標準モジュールである「Terrain Analysis Morphometry(地形分析―地形計測)」を用いて、平滑化されたＤＳＭから各メッシュの曲率を算出する。算出される曲率は、面が凸ならプラスの値となり、凹ならマイナスの値となり、平衡斜面なら０となる。

そして、曲率図生成部７３は、面が凸なほど（プラスの曲率の絶対値が大きいほど）白色となり、面が凹なほど（マイナスの曲率の絶対値が大きいほど）黒色となるように、白黒の濃淡で表現した曲率図を生成する。最後に、曲率図生成部７３は、曲率図を５０％の透過度で透過する。

ステップＳ６では、合成画像生成部７４は、オルソ画像３１（図３参照）を記憶部３から取得する。

そして、ステップＳ７では、合成画像生成部７４は、傾斜量図ＬＹ１（図８参照）、曲率図ＬＹ２（図９参照）及びオルソ画像３１（図３参照）をこの順に重ねて合成画像３５（図１０参照）を生成する。

以上のような処理を実行することにより、オルソ画像３１に立体感を補完した合成画像３５が生成される。

なお、合成画像３５の表示指示がユーザーから受け付けられると、表示制御部７５は、合成画像生成プログラムにより生成された合成画像３５を表示部５に表示する。

また、現況測量平面図の表示指示がユーザーから受け付けられると、図１１に示すように、表示制御部７５は、合成画像３５に現況測量平面図３３を重畳した重畳画像３７を表示部５に表示する。

上述した実施形態によれば、地形図（傾斜量図と曲率図）にオルソ画像を重ねることでオルソ画像に立体感が補完され、当該オルソ画像内の影（黒潰れ部分）の地物が立体的に浮き上がる。詳細には、図３に示すオルソ画像３１（３１１）では見え難かった領域（影（黒潰れ部分）ＳＨ）の地物が図１０に示す合成画像３５（３５１）では立体的に復元される。同様に、図４に示すオルソ画像３１（３１２）では見え難かった領域（凹地ＤＰ）の地物が図１２に示す合成画像３５（３５２）では立体的に復元される。よって、合成画像３５（３５１，３５２）は、従来のオルソ画像３１（３１１，３１２）に比べて高い視認性を有する。

特に、本実施形態による合成画像３５は現況測量平面図との親和性が高く、図１１に示すように、現況測量平面図３３を合成画像３５に重畳した重畳画像３７において現況測量平面図３３（特に境界点・境界線、境界辺長、地番名、所有者など）の視認性が全く低下しない。よって、従来のオルソ画像３１よりも立体的で視認性が高く、背景画像として利用し易い合成画像３５を生成することが可能である。また、測量現場の条件によっては、現況地物のトレースなども全部又は一部を除く大部分を省くことも可能となり、作業効率が格段に向上する。

また、上述した実施形態によれば、傾斜量図及び曲率図を共に５０％の透過で透過したものにオルソ画像３１が重ねられている。特に、本実施形態では、重畳方法として「通常」を採用し、下のレイヤ（透過度５０％で透過された傾斜量図及び曲率図）の基本色に対して、上のレイヤ（オルソ画像）の合成色をそのまま重ねている。そのため、オルソ画像３１の色が全体的に抑制され、白みがかった（すなわち、トレーシングペーパーを重ねたような）合成画像３５が生成され、更に視認性が向上している。

また、上記特許文献１，２に記載の立体図法とは異なり、上述した実施形態では、オルソ画像３１自体に立体感を補完しているため、従来の空中写真を見慣れたユーザーも違和感なく閲覧することが可能である。

また、上述した実施形態では、ＵＡＶ測量による大縮尺の空中写真を利用して合成画像３５を生成するため、従来のオンライン地図よりも更に大縮尺の合成画像３５を提供することが可能である。

＜２．変形例＞
本発明による合成画像生成装置、合成画像生成プログラム及び合成画像生成方法は上述した実施形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。

例えば、上述した実施形態では、オルソ画像３１や三次元点群データ３２が写真測量の成果を利用して生成される場合を例示したが、これに限定されず、航空レーザー測量の成果を利用して生成されるようにしてもよい。

また、上述した実施形態では、傾斜量図ＬＹ１、曲率図ＬＹ２及びオルソ画像３１をこの順に重ねて合成画像３５を生成する場合を例示したが、これに限定されない。例えば、曲率図ＬＹ２を用いることなく、傾斜量図ＬＹ１にオルソ画像３１を重ねて合成画像３５を生成するようにしてもよい。曲率図ＬＹ２を用いる場合と比較して多少視認性は劣るものの、上述した実施形態と同様に、オルソ画像３１に立体感を補完した合成画像を生成することが可能である。

また、上述した実施形態では、傾斜量図ＬＹ１及び曲率図ＬＹ２の双方を白色及び黒色の２色で表現する場合を例示したが、これに限定されない。例えば、傾斜量図を白色及び赤色の２色で表現し、曲率図を白色及び黒色の２色で表現するようにしてもよい。

また、上述した実施形態では、公知のＧＩＳソフトウェア「ＳＡＧＡ（自動地球科学分析のためのシステム）」を用いて傾斜量図及び曲率図を作成する場合を例示したが、これに限定されない。ラスター形式のＤＳＭを用いて傾斜レイヤや曲率レイヤを生成する手法は各種提案されており、これらの手法を用いて傾斜量図及び曲率図を作成するようにしてもよい。例えば、傾斜量図については特許文献１に記載の手法を参考に生成し、曲率図については特許文献２に記載の手法を参考に生成するようにしてもよい。

また、上述した実施形態では、傾斜量図及び曲率図をそれぞれ５０％の透過度で透過する場合を例示したが、これに限定されず、３０％〜７０％の範囲内において５０％とは異なる透過度を用いて傾斜量図及び曲率図を透過するようにしてもよい。また、傾斜量図及び曲率図の透過度は必ずしも同じ値に設定する必要はなく、互いに異なる値を設定するようにしてもよい。

また、上述した実施形態では、オルソ画像３１、三次元点群データ３２及び現況測量平面図３３が合成画像生成装置１の記憶部３に記憶されている場合を例示したが、これに限定されない。例えば、合成画像生成装置１がアクセス可能な外部サーバや外部データベースにオルソ画像３１、三次元点群データ３２及び現況測量平面図３３が格納されるようにしてもよい。

以上のように本発明にかかる合成画像生成装置は、オルソ画像の視認性を改善するのに適している。

１ 合成画像生成装置
３ 記憶部
５ 表示部
７ 制御部
３１ オルソ画像
３２ 三次元点群データ
３３ 現況測量平面図
３５ 合成画像
３７ 重畳画像
７１ ＤＳＭ生成部
７２ 傾斜量図生成部
７３ 曲率図生成部
７４ 合成画像生成部
７５ 表示制御部
ＤＰ 凹地
ＬＹ１ 傾斜量図
ＬＹ２ 曲率図

Claims (5)

1. 三次元点群データをメッシュ化し、建物や植生の高さを含むＤＳＭ（Digital Surface Model）を生成するＤＳＭ生成手段と、
   前記ＤＳＭに基づいて傾斜量を算出し、前記傾斜量の大小を２色の濃淡で表現した傾斜量図を生成する傾斜量図生成手段と、
   前記ＤＳＭを平滑化し、平滑化済みのＤＳＭに基づいて曲率を算出し、前記曲率に基づく凹凸を２色の濃淡で表現した曲率図を生成する曲率図生成手段と、
   第１透過度で透過された前記傾斜量図と第２透過度で透過された前記曲率図とオルソ画像とを重畳した合成画像を生成する合成画像生成手段と、
   を備えることを特徴とする合成画像生成装置。
2. 前記合成画像と現況測量平面図とを重畳した重畳画像を表示部に表示する表示制御手段を更に備えることを特徴とする請求項１に記載の合成画像生成装置。
3. 前記三次元点群データ及び前記オルソ画像は、ＳｆＭ（Structure/Shape from Motion）処理において複数の空中写真からカメラの撮像位置及び撮影方向を推定し、ＭＶＳ（Multi-View Stereo）処理において前記撮像位置及び前記撮影方向に基づいて三次元形状を復元することによって生成されることを特徴とする請求項１又は２に記載の合成画像生成装置。
4. ａ）三次元点群データをメッシュ化し、建物や植生の高さを含むＤＳＭ（Digital Surface Model）を生成するステップと、
   ｂ）前記ＤＳＭに基づいて傾斜量を算出し、前記傾斜量の大小を２色の濃淡で表現した傾斜量図を生成するステップと、
   ｃ）前記ＤＳＭを平滑化し、平滑化済みのＤＳＭに基づいて曲率を算出し、前記曲率に基づく凹凸を２色の濃淡で表現した曲率図を生成するステップと、
   ｄ）第１透過度で透過された前記傾斜量図と第２透過度で透過された前記曲率図とオルソ画像とを重畳した合成画像を生成するステップと、
   をコンピュータに実行させる合成画像生成プログラム。
5. 三次元点群データをメッシュ化し、建物や植生の高さを含むＤＳＭ（Digital Surface Model）を生成し、
   前記ＤＳＭに基づいて傾斜量を算出し、前記傾斜量の大小を２色の濃淡で表現した傾斜量図を生成し、
   前記ＤＳＭを平滑化し、平滑化済みのＤＳＭに基づいて曲率を算出し、前記曲率に基づく凹凸を２色の濃淡で表現した曲率図を生成し、
   第１透過度で透過された前記傾斜量図と第２透過度で透過された前記曲率図とオルソ画像とを重畳した合成画像を生成することを特徴とする合成画像生成方法。