JP6543520B2 - 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム - Google Patents

測量データ処理装置、測量データ処理方法および測量データ処理用プログラム Download PDF

Info

Publication number
JP6543520B2
JP6543520B2 JP2015133736A JP2015133736A JP6543520B2 JP 6543520 B2 JP6543520 B2 JP 6543520B2 JP 2015133736 A JP2015133736 A JP 2015133736A JP 2015133736 A JP2015133736 A JP 2015133736A JP 6543520 B2 JP6543520 B2 JP 6543520B2
Authority
JP
Japan
Prior art keywords
image
reference point
model
shape model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015133736A
Other languages
English (en)
Other versions
JP2017015598A5 (ja
JP2017015598A (ja
Inventor
佐々木　剛
剛 佐々木
哲治 穴井
哲治 穴井
大谷　仁志
仁志 大谷
高地　伸夫
伸夫 高地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2015133736A priority Critical patent/JP6543520B2/ja
Priority to US15/196,425 priority patent/US10198632B2/en
Publication of JP2017015598A publication Critical patent/JP2017015598A/ja
Publication of JP2017015598A5 publication Critical patent/JP2017015598A5/ja
Application granted granted Critical
Publication of JP6543520B2 publication Critical patent/JP6543520B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、測量技術に関する。
例えば土木工事現場等を上空から写真撮影し、その際に得られた画像データに基づき対象となる地形の三次元モデル（電子データとしてモデル化された三次元地形データ）を得る技術が知られている（例えば、特許文献１参照）。この技術では、得られた三次元モデルに実寸法を与える作業が必要である。この作業では、数十〜数百以上となる静止画像において、各静止画像中に写っている基準点で見つけ、それを各静止画像間で対応付けする作業が必要となる。
特開２０１３−９６７４５号公報
上記の基準点をソフトウェア処理によって自動検出する技術も研究されている。この技術では、基準点に読み取り可能な位置情報を記録したターゲットを置き、ソフトウェア処理による基準点の検出が容易に行われるように工夫されている。しかしながら、上空から撮影した画像の撮影範囲は広域であり、その中からターゲットを自動検出し、更に位置情報を読み取る処理は、処理に時間がかかり、また未検出や誤検出が生じ易い。このため、実際には作業者が手作業で各静止画像を１枚１枚拡大縮小させながら目視で確認し、画像中におけるターゲットの位置を特定する作業が行われているのが実情である。この作業は、数十〜数百以上となる静止画像において行わなくてはならず、煩雑で非効率であった。
このような背景において、本発明は、撮影した画像中に写った基準点を特定する作業の効率を高めることができる技術の提供を目的とする。
請求項１に記載の発明は、地上に設置された複数の基準点のそれぞれを撮影することで得た第１の画像のデータおよび前記複数の基準点の三次元位置のデータを含む第１のデータと、移動体から前記複数の基準点を含む領域を撮影することで得た第２の画像のデータを含む第２のデータとを受け付けるデータ受付部と、前記第１のデータに含まれる前記複数の基準点の三次元位置それぞれを頂点とする第１の形状モデルを作成する第１の形状モデル作成部と、前記第２の画像から前記基準点の画像を検出する基準点検出部と、前記第２の画像から検出された前記基準点のそれぞれを頂点とする第２の形状モデルを作成する第２の形状モデル作成部と、前記第１の形状モデルと前記第２の形状モデルとの対応関係を求める第１の対応関係特定部と、前記第１の形状モデルと前記第２の形状モデルとの対応関係から前記第２の画像における前記基準点の三次元位置を取得する基準点位置取得部とを備えることを特徴とする測量データ処理装置である。
請求項１に記載の発明によれば、２の形状モデルの対応関係を求めることで、第１の形状モデルで既知の基準点の位置を第２の形状モデルの側で特定し、更に第２の形状モデルの基となる第２の画像中で基準点の位置を特定する。
請求項２に記載の発明は、請求項１に記載の発明において、前記第２の形状モデルは、異なる視点から得られた複数の第２の画像に基づく交会法により作成された三次元モデルであることを特徴とする。
請求項３に記載の発明は、請求項１または２に記載の発明において、前記基準点位置取得部が取得した前記基準点の三次元位置に基づいて、前記第１の画像と前記第２の画像との対応関係を求める第２の対応関係特定部と、前記第１の画像と前記第２の画像との前記対応関係に基づき、前記第２の画像における前記基準点の三次元位置を特定する三次元位置特定部とを備えることを特徴とする。請求項３に記載の発明によれば、最終的に画像同士のマッチングを行い第２の画像における基準点の特定が行われる。画像同士のマッチングを利用することで、第２の画像中からの基準点の検出作業が高い精度で行われる。
請求項４に記載の発明は、請求項３に記載の発明において、前記第２の画像は、航空機から撮影された広域画像であり、前記第１の画像は、前記基準点を至近距離から撮影した画像であり、前記第２の対応関係特定部は、前記第１の画像と前記基準点の特定位置に基づき前記第２の画像の一部を拡大した拡大画像との対応関係の特定を行うことを特徴とする。請求項４に記載の発明によれば、第１の画像は、第２の画像に比較して相対的に至近距離から撮影した拡大画像であるので、基準点が明瞭に写っている。この明瞭な第１の画像と基準点の特定位置を拡大した第２の画像とを比較することで、両者の対応関係を精度よくまた確実にとることができる。
請求項５に記載の発明は、請求項４に記載の発明において、前記第１の画像と前記拡大画像との対応関係を求めた上で、前記第１の画像に写った前記基準点の前記三次元位置を前記第２の画像上で特定することを特徴とする。第１の画像に写った基準点の位置はＧＮＳＳ等を利用した方法で計測されている。よって、第１の画像中の基準点の位置は、高い精度で取得されている。他方で、第２の画像からは必ずしも基準点は検出できず、また検出が不完全である場合がある（これが従来技術の基本的な問題である）。請求項５に記載の発明では、画像の対応関係を求めた上で第２の画像上で第１の画像に写った基準点の位置の情報が取得されるので、第２の画像からは必ずしも基準点は検出されていなくてもよく、また基準点の検出が不完全であってもよい。
請求項６に記載の発明は、請求項４または５に記載の発明において、前記第１の画像と前記拡大画像の対応関係の特定に前記基準点の画像以外の画像情報が利用されることを特徴とする。第１の画像と基準点の特定位置を拡大した第２の画像との対応関係の特定は、画像の特徴の対応をとる処理であるので、基準点以外の画像情報も利用される。このため、対応関係を特定する要素が多様となり、高いマッチング精度が得られる。
請求項７に記載の発明は、請求項３〜６のいずれか一項に記載の発明において、前記第１のデータには、前記第２の画像上からは検出されなかった前記基準点の三次元位置のデータが含まれ、前記第２の画像上からは検出されなかった前記基準点の三次元位置が前記三次元位置特定部によって特定されることを特徴とする。請求項３〜６の発明では、第１の画像と第２の画像のマッチングに基準点以外の画像情報も利用される。したがって、第２の画像で基準点が検出できなかった場合でも、第２の画像中で基準点を特定できる。この技術によれば、第２の画像中からの基準点の検出に要する負担を抑えることができる。
一般に、広域画像である第２の画像中からの基準点の検出の漏れを抑えるには、画像解析の対象となるグリッド（細分化された画像の一区画）を細分化する等の工夫を行う。しかしながら、その場合、検出精度が高くなるメリットよりも、ＣＰＵの負担増加に伴う演算不良の増加（演算が終了せず、エラーとなる）および処理の長時間化といったデメリットの方が目立つようになる。このため、移動体画像における基準点の特定は、作業者の目視による確認作業に頼っているのが現状である。
請求項７に記載の発明によれば、何らかの理由により第２の画像からの基準点の画像検出が困難であっても（例えば、基準点に配置されたターゲットに泥が被っていた等）、基準点以外の画像のマッチングにより第１の画像と第２の画像のマッチングが行われ、第２の画像における基準点の特定が可能となる。そしてこの際、マッチングの探索を行う範囲が特定され狭められているので、ＣＰＵへの負担の増加が抑えられる。
請求項８に記載の発明は、請求項１〜７のいずれか一項に記載の発明において、前記第１の形状モデルは、前記第１のデータに含まれる前記複数の基準点の前記三次元位置を頂点とする第１の三次元ＴＩＮモデルであり、前記第２の形状モデルは、視点の異なる複数の前記第２の画像に基づき交会法を用いて作成された３次元モデルに前記第２の画像中における前記基準点の位置を対応させることで作成された第２の三次元ＴＩＮモデルであることを特徴とする。
請求項９に記載の発明は、請求項８に記載の発明において、前記第１の対応関係特定部は、前記第１の三次元ＴＩＮモデルを構成する三角形と前記第２の三次元ＴＩＮモデルを構成する三角形との類似性に基づいて、前記第１の形状モデルと前記第２の形状モデルとの対応関係を求めることを特徴とする。
請求項１０に記載の発明は、地上に設置された複数の基準点のそれぞれを撮影することで得た第１の画像のデータおよび前記複数の基準点の三次元位置のデータを含む第１のデータと、移動する移動体から前記複数の基準点を含む領域を撮影することで得た第２の画像のデータを含む第２のデータとを受け付けるデータ受付ステップと、前記第１のデータに含まれる前記複数の基準点の三次元位置それぞれを頂点とする第１の形状モデルを作成する第１の形状モデル作成ステップと、前記第２の画像から前記基準点の画像を検出する基準点検出ステップと、前記第２の画像から検出された前記基準点のそれぞれを頂点とする第２の形状モデルを作成する第２の形状モデル作成ステップと、前記第１の形状モデルと前記第２の形状モデルとの対応関係を求める第１の対応関係特定ステップと、前記第１の形状モデルと前記第２の形状モデルとの対応関係から前記第２の画像における前記基準点の三次元位置を取得する基準点位置取得ステップとを備えることを特徴とする測量データ処理方法である。
請求項１１に記載の発明は、コンピュータに読みとらせて実行させるプログラムであって、コンピュータに地上に設置された複数の基準点のそれぞれを撮影することで得た第１の画像のデータおよび前記複数の基準点の三次元位置のデータを含む第１のデータと、移動する移動体から前記複数の基準点を含む領域を撮影することで得た第２の画像のデータを含む第２のデータとを受け付けるデータ受付ステップと、前記第１のデータに含まれる前記複数の基準点の三次元位置それぞれを頂点とする第１の形状モデルを作成する第１の形状モデル作成ステップと、前記第２の画像から前記基準点の画像を検出する基準点検出ステップと、前記第２の画像から検出された前記基準点のそれぞれを頂点とする第２の形状モデルを作成する第２の形状モデル作成ステップと、前記第１の形状モデルと前記第２の形状モデルとの対応関係を求める第１の対応関係特定ステップと、前記第１の形状モデルと前記第２の形状モデルとの対応関係から前記第２の画像における前記基準点の三次元位置を取得する基準点位置取得ステップとを実行させることを特徴とする測量データ処理用プログラムである。
本発明によれば、撮影した画像中に写った基準点を特定する作業の効率を高めることができる技術が得られる。
測量の状況を示す概念図である。 処理の手順の一例を示すフローチャートである。 円形ターゲットの一例である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 テンプレートマッチングの説明図である。 前方交会法の原理図である。 ３Ｄモデルのマッチング処理を説明する説明図である。 ＴＩＮを構成する三角形の形状を定量的に評価する方法を説明する説明図である。 実施形態の測量データ処理装置のブロック図である。 ３Ｄモデルのマッチング処理を説明する説明図である。
１．第１の実施形態
（概要）
本実施形態では、例えば土木工事現場等を上空から写真撮影し、その際に得られた画像データに基づき対象となる地形の三次元モデル（電子データとしてモデル化された三次元地形データ）を作成する。
図１を利用して本実施形態の概要を説明する。図１には、上空からＵＡＶ（Unmanned Air Vehicle：無人航空機）により複数のターゲットが配置された地上の撮影を行う様子が示されている。ここでは、自律飛行するＵＡＶを用いる例を示すが、飛行する移動体であれば、飛行原理は限定されない。また、ＵＡＶは、遠隔操縦される形態であってもよい。また、ＵＡＶの代わりに有人航空機を利用することもできる。
測量対象となる地上には、基準点となる複数の位置それぞれに専用のターゲットが配置されている。複数あるターゲットのそれぞれは、作業者によって地上画像として写真撮影され、またその位置の計測が予め行われている。ターゲットの位置の計測は、ＴＳ（トータルステーション）、高精度ＧＮＳＳ(Global Navigation Satellite System)機能を有した測量機器、スマートフォン内蔵のＧＮＳＳ機能、その他各種の電子機器に搭載されたＧＮＳＳ機能を用いて行われる。
ＵＡＶは、飛行しながら特定の時間間隔で地上の撮影を行い、移動体画像（ＵＡＶから撮影された静止画像）を得る。移動体画像の撮影の間隔は、例えば２秒間隔が採用されるが、０．５秒間隔、１秒間隔、３秒間隔等の他の時間間隔を採用することも可能である。また、動画を撮影し、動画を構成するフレーム画像（例えば、動画は３０枚／秒のフレーム画像で構成されている）を特定の間隔で抜き出し、それを移動体画像として採用することもできる。
本実施形態では、地上画像と移動体画像との対応関係を三次元ＴＩＮモデルの比較から求め、計測され既知である地上画像に写ったターゲット位置を移動体画像中で特定（推定）し、この特定値から移動体画像中で探査範囲を設定する。そして、地上画像と探索範囲の画像と対応関係を求めることで、移動体画像中でターゲットの位置を求める。移動体画像中でのターゲットの位置が判ることで、複数ある移動体画像間の対応関係を知ることができ、更に移動体画像中に実寸法が与えられる。そして、移動体画像から得られる測量対象の三次元モデルに実寸法が与えられる。
（ハードウェアの構成）
図１１には、実施形態の測量データ処理装置１００のブロック図が示されている。測量データ処理装置１００は、ＣＰＵ、電子メモリやハードディスク装置により構成される記憶装置、各種のインタ−フェース回路、その他必要とする演算回路を備えたコンピュータである。測量データ処理装置１００は、以下に述べる機能部を有している。これら機能部の一または複数は、ソフトウェア的に構成されていてもよいし、専用のハードウェアで構成されていてもよい。例えば、図示する各機能部は、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）などの電子回路により構成される。また、演算速度や記憶容量の問題をクリアできるのであれば、市販のコンピュータを用いて測量データ処理装置１００の一部または全部を構成することもできる。
以下、測量データ処理装置１００について説明する。測量データ処理装置１００は、データ受付部１０１、規準点３Ｄモデル作成部１０２、ターゲット画像検出部１０３、特徴点抽出部１０４、対応関係特定部１０５、特徴点の位置算出部１０６、相対３Ｄモデル作成部１０７、３Ｄモデルの対応関係特定部１０８、対応点の位置情報取得部１１１、探索領域設定部１１２、画像の向き調整部１１３、画像マッチング部１１４、基準点位置情報取得部１１５、三次元モデル作成部１１６を備えている。ここで、３Ｄモデルの対応関係特定部１０８は、類似判定指標算出部１０９と形状の類似判定部１１０を備えている。
データ受付部１０１は、ＵＡＶの飛行ログのデータと、地上で撮影することで得た各ターゲットの画像（地上画像）のデータおよびこの画像のデータに関連付けされた各ターゲットの三次元位置のデータを受け付ける。ここで、飛行ログには、複数の移動体画像のデータ、各移動体画像の撮影時刻のデータ、各撮影時刻におけるＵＡＶ（カメラ）の三次元位置と姿勢のデータが含まれている。
規準点３Ｄモデル作成部１０２は、地上画像に写ったターゲットの位置のデータに基づいて３次元ＴＩＮモデルにより構成される基準点３Ｄモデルを作成する。基準点３Ｄモデル作成部１０２は、図２のステップＳ１０４の処理を行う。ターゲット画像検出部１０３は、移動体画像の中からターゲットの画像を検出する。ターゲット画像検出部１０３は、図４のステップＳ２０３の処理を行う。
特徴点抽出部１０４は、移動体画像中から特徴点を抽出する。特徴点は、周囲から区別できる点であり、例えば、エッジ部分や周囲と色彩が異なっている部分が特徴点として抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。特徴点抽出部１０４は、図４のステップＳ２０４の処理を行う。また、特徴点抽出部１０４は、図６のステップＳ４０３における画像マッチング処理において、対象となる画像からの特徴点の抽出を行う。
対応点特定部１０５は、２枚の移動体画像中でそれぞれ個別に抽出された特徴点の対応関係を特定する。すなわち、一方の移動体画像中で抽出された特徴点と同じ特徴点を他方の移動体画像中で特定する処理を行う。この特徴点の対応関係を特定する処理は、例えば、図７に示すテンプレートマッチングを用いて行われる。対応関係の特定は、公知の他の方法を用いることも可能である。対応点特定部１０５は、図４のステップＳ２０５の処理を行う。特徴点の位置算出部１０６は、異なる静止画像間での対応関係が特定された特徴点の三次元座標を、前方交会法を用いて算出する。なお、基準点が特定されていない段階で得られる移動体画像中の特徴点の三次元位置は、相対位置となる。
相対３Ｄモデル作成部１０７は、移動体画像から画像検出されたターゲットの画面座標値、および移動体画像から得られた特徴点の三次元位置に基づき、相対３Ｄモデルを作成する。相対３Ｄモデル作成部１０７は、図４のステップＳ２０８の処理を行う。
相対３Ｄモデルは、以下のようにして作成される。まず、ターゲット画像検出部１０３が移動体画像の中から検出したターゲットの画面位置と一致（あるいは最も近接）する特徴点（対応点特定部１０５が特定した特徴点）を探索する。次に、探索された特徴点の三次元位置を特徴点の位置算出部１０６が算出した結果から取得し、この三次位置を当該ターゲットの位置とする。この処理をターゲット画像検出部１０３が検出した全てのターゲットに関して行う。なお、この処理において、当該ターゲットが特徴点として抽出されていれば、当該ターゲットの三次元位置は、特徴点の位置算出部１０６によって算出されているので、その値が用いられる。こうして、ターゲット画像検出部１０３が検出した複数のターゲットの三次元位置（相対三次元位置）が求まり、各ターゲットの三次元位置を頂点とした三次元ＴＩＮモデルが相対３Ｄモデルとして得られる。
３Ｄモデルの対応関係特定部１０８は、基準点３Ｄモデルと相対３Ｄモデルの対応関係の特定を行う。３Ｄモデルの対応関係特定部１０８は、図５に示すフローチャートに係る処理を行う。類似判定指標算出部１０９は、基準点３Ｄモデルと相対３Ｄモデルの対応関係の特定を行う際に用いる図形の形状の類似性を定量的に評価するパラメータである類似判定指標を算出する。形状の類似判定部１１０は、類似判定指標に基づいて、基準点３Ｄモデルを構成するＴＩＮの三角形と相対３Ｄモデルを構成するＴＩＮの三角形との類似性を判定する。なお、３Ｄモデルの対応関係特定部１０８が行う基準点３Ｄモデルと相対３Ｄモデルの対応関係を求める処理は、上記のＴＩＮモデルを利用する方法以外に、他の実施形態で説明する方法を用いることもできる。
対応点の位置情報取得部１１１は、対応関係が特定された基準点３Ｄモデルと相対３Ｄモデルの対応する点の情報に基づき、相対３Ｄモデルを構成する点の三次元位置の情報を取得する。すなわち、基準点３Ｄモデルを構成する点の位置（ＴＳ等で計測した地図座標系等の特定の座標系における位置：絶対位置）は既知であるので、基準点３Ｄモデルと相対３Ｄモデルとの対応関係が特定されることで、相対３Ｄモデルを構成する点の三次元位置（絶対位置）の情報を取得できる。対応点の位置情報取得部１１１は、図５のステップＳ３１２の処理を行う。
探索領域設定部１１２は、基準点３Ｄモデルを構成する点の位置情報に基づき、移動体画像中に基準点（ターゲット）を探索するための探索領域を設定する。画像の向き調整部１１３は、地上画像と移動体画像中で設定された探索領域の画像との向きを合わせる処理を行う。画像の向きを揃えることで、後述の画像マッチング部１１４で行われる処理の精度を高めることができる。画像の向き調整部１１３は、図６のステップＳ４０２の処理を行う。
画像マッチング部１１４は、地上画像と移動体画像中で設定された探索領域の画像（拡大画像）との対応関係を求める処理を行う。処理の方法は、対応関係特定部１０５で行われる処理と同じである。画像マッチング部１１４は、図６のステップＳ４０３の処理を行う。基準点位置情報取得部１１５は、地上画像と移動体画像中で設定された探索領域の画像との対応関係に基づき、移動体画像中でのターゲットの位置（基準点の位置）を特定する。この処理により、移動体画像中でのターゲットの位置が特定される。基準点位置情報取得部１１５は、図６のステップＳ４０４の処理を行う。
３Ｄモデル作成部１１６は、特徴点抽出部１０４で抽出され、対応点の位置算出部１０６でその三次元位置が算出された特徴点に基づいて三次元モデルを作成する。例えば、ＵＡＶから撮影された航空写真に基づく土木工事現場の三次元モデルの作成が行なわれる。三次元モデルを作成する技術については、例えば、特開２０１４−３５７０２号公報や特開２０１２−２３０５９４号公報に記載された技術が利用される。特開２０１４−３５７０２号公報には、異なる視点から得られた２枚のステレオ画像から抽出される三次元点群位置データに基づく三次元モデルの作成について記載され、特開２０１２−２３０５９４号公報には、レーザスキャナから得られた三次元点群位置データが対象であるが、三次元点群位置データから三次元モデルを作成する技術について記載されている。移動体画像中でのターゲットの三次元位置が特定されることで、３Ｄモデル作成部１１６が作成する３Ｄモデルにスケール（実寸法）が与えられる。
（地上側で行われる処理）
図２には、地上側で行われる処理の手順の一例が示されている。ここでは、土木工事現場の三次元モデルを作成する場合を説明する。なお、図２におけるステップＳ１０４で行われる処理を実行するためのプログラムは、適当な記憶媒体や記憶領域に記憶されており、図１に示すハードウェアによって実行される。
処理が開始されると、測量対象となる範囲におけるターゲットの設置が行なわれる（ステップＳ１０１）。図３には、使用されるターゲットの一例として円形ターゲット３１が示されている。円形ターゲット３１は、画像として認識し易ように、白地の正方形の中に黒丸が表示された構造を有している。黒丸の中心の位置が基準点の位置として画像認識される。また、位置の測量は、黒丸の中心を基準として行われる。
符号３２は、円形ターゲット３１を他の円形ターゲットから識別する数字が表示された識別プレートである。識別プレート３２は、円形ターゲット３１の近くに配置される。図３には、識別プレート３２に識別番号として数字０７７が表示されているが、この識別番号は、複数ある円形ターゲット３１毎に異なる数値のものが使用される。なお、円形ターゲット３１と識別プレート３２を一体化してもよい。ターゲットに関しては、例えば、日本国特許第４８２８１２５号公報に記載されているものを利用できる。
ターゲットの設置（ステップＳ１０１）を行ったら、地上において各ターゲットを撮影し、地上で撮影したターゲットの画像（地上画像）を得る（ステップＳ１０２）。この際、地上画像の撮影範囲が概略１０ｍ四方の領域が写るように画角（撮影範囲）を設定し、更に極力撮影視野の中心に円形ターゲット３１が写るように撮影を行う。ターゲットの撮影は、ターゲットの近くから、図２に例示する円形ターゲット３１と識別プレート３２が明瞭に写るように行う。撮影を行う機材は特に限定されないが、ＴＳ（トータルステーション）付属のカメラ、スマートフォンに内蔵されたカメラ、デジタルカメラ等が挙げられるが、簡便性でいえば、スマートフォンに内蔵されたカメラやデジタルカメラが好適である。
また、撮影したターゲットの三次元位置の計測を行なう（ステップＳ１０２）。ターゲットの位置の測定は、ＴＳを用いた測定、高精度ＧＮＳＳ装置を用いた測定、スマートフォン等のＧＮＳＳ機能を利用した位置測定技術を利用した測定が挙げられる。
ターゲットの位置の計測には、以下の態様がある。
（１）全てのターゲットの位置の計測をＴＳおよび／または高精度ＧＮＳＳ装置を用いて行う。
（２）一部のターゲットの位置の計測をＴＳおよび／または高精度ＧＮＳＳ装置を用いて行い、他のターゲットの位置の計測は、スマートフォン等のＧＮＳＳ機能を用いて行う。
精度を確保する観点からは、（１）の態様が好ましいが、コストおよび手間の観点からは、（２）の態様を採用してもよい。なお、最終的に得られる三次元モデルの精度を確保するためには、ステレオ画像を構成する２枚の移動体画像中で最低４カ所以上の精度の確保された基準点（ターゲット）が必要であるので、そのようになるにように、ＴＳおよび／または高精度ＧＮＳＳ装置を用いたターゲット位置の計測を行なう。もちろん、ＴＳおよび／または高精度ＧＮＳＳ装置を用いた方法でなくても、計測位置の精度の確保できる位置計測方法であれば、それを採用することができる。複数配置したターゲットの位置と画像を得たら、そのデータを適当な記憶媒体に記憶する。ここで、ターゲットおよび識別プレートの画像データ、ターゲットの識別番号、およびターゲット（基準点）の位置の情報は関連付けして記憶しておく。
ターゲットの位置データと画像データを得たら、それらのデータをデータ受付部１０１で受け付け、測量データ処理装置１００に入力する（ステップＳ１０３）。データを受け付けたら、測量データ処理装置１００を用いてターゲットの位置を頂点とした三次元ＴＩＮモデルを作成する（ステップＳ１０４）。ＴＩＮは、不整三角形網（ triangulated irregular network）と呼ばれるもので、不整三角形により対象をモデル化したものである。この処理では、ステップＳ１０２で得たターゲットの三次元位置情報を三次元空間上にプロットしてゆき、その位置を頂点とした不整三角形網を形成することで三次元ＴＩＮモデルを得る。以下において、ステップＳ１０４で得た三次元ＴＩＮモデルを基準点３Ｄモデルと称する。基準点３Ｄモデルを得たら、図２の処理を終了する。
（ＵＡＶ側の処理）
以下、図２の処理で得た基準点３Ｄモデルと比較される相対３Ｄモデルを得るための処理の一例を説明する。図４には、相対３Ｄモデルを得るための処理の一例が示されている。なお、図４におけるステップＳ２０３〜Ｓ２０８で行われる処理を実行するためのプログラムは、適当な記憶媒体や記憶領域に記憶されており、図１に示すハードウェアによって実行される。
測位量対象地域へのターゲットの設置が完了したら、ＵＡＶによる測量対象地域の上空からの撮影を行う（ステップＳ２０１）。ＵＡＶは、ＧＮＳＳを用いた自身の位置計測装置、ＩＭＵ（慣性航法装置）、カメラを搭載し、予め定めた飛行経路を自律飛行しながら特定の時間間隔（例えば、１〜３秒毎）で地上を撮影する。このＵＡＶから地上を撮影した画像を移動体画像と呼ぶ。得られた移動体画像の画像データは、撮影時間、撮影時のＵＡＶの位置と姿勢（つまり、カメラの位置と姿勢）のデータと関連付けされ、飛行ログに格納される。飛行ログは、ＵＡＶ内の記憶媒体（ＨＤＤや固体電子デバイスの記憶媒体）に記憶される。飛行ログは、飛行終了後に回収され、データ受付部１０１から測量データ処理装置１００に入力される（ステップＳ２０２）。ステップＳ２０２の後、測量データ処理装置１００は、ステップＳ２０３以下の処理を実行する。
飛行ログから移動体画像のデータを得たら、複数ある移動体画像のそれぞれにおいてターゲットの画像の検出を行う（ステップＳ２０３）。この処理は、ソフトウェアによる画像解析処理によって行われる。この段階では、全てのターゲットを検出する必要はなく、検出し易い状態で写っているターゲットの画像を検出すればよい。したがって、この処理ではターゲットの未検出や検出不良（一部検出等の完全でない検出）が許容される。また、程度問題であるが、ターゲットの誤検出があってもよい。
次に、各移動体画像から特徴点の抽出を行う（ステップＳ２０４）。各移動体画像から特徴点を抽出したら、時間軸上で隣接する２枚の移動体画像の間、すなわちステレオ画像を構成する２枚の移動体画像の間で対応する特徴点の対応関係を求める処理が行なわれる（ステップＳ２０５）。ここで、ステレオ画像を構成する２枚の移動体画像は、異なる視点から重複する対象を撮影したものが選択される。
特徴点の対応関係の特定は、テンプレートマッチングを用いて行う。テンプレートマッチングとしては、残差逐次検定法（ＳＳＤＡ：Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、相互相関係数法などが挙げられる。以下、テンプレートマッチングの一例を説明する。テンプレートマッチングは、２つの座標系における画像の座標データを相互に比較し、両者の相関関係により、２つの画像の対応関係を求める方法である。テンプレートマッチングでは、２つの視点それぞれから見た画像の特徴点の対応関係が求められる。図７は、テンプレートマッチングの原理を説明する説明図である。この方法では、図示するように、Ｎ１×Ｎ１画素のテンプレート画像を、それよりも大きいＭ１×Ｍ１画素の入力画像内の探索範囲（Ｍ１−Ｎ１＋１）２上で動かし、下記数１で示される相互相関関数Ｃ（ａ，ｂ）が最大となるような（つまり相関の程度が最大となるような）テンプレート画像の左上位置を求める。
Figure 0006543520
上記の処理は、一方の画像の倍率を変えながら、また回転させながら行われる。そして、相関関係が最大となった条件で、両画像の一致する領域が求まり、更にこの領域における特徴点を抽出することで、対応点の検出が行われる。
テンプレートマッチングを用いることで、比較する２つの画像の一致する部分が特定でき、２つの画像の対応関係を知ることができる。この方法では、２つ画像の相関関係が最大となるように両者の相対的な位置関係が定められる。２つの画像の相関関係は、両画像の特徴点によって決まる。２つの画像間の対応関係を求める技術については、例えば特開２０１３−１７８６５６号公報や特開２０１４−３５７０２号公報に記載されている技術を利用することができる。なお、特開２０１３−１７８６５６号公報や特開２０１４−３５７０２号公報には、特徴点の抽出に係る技術、特徴点の三次元位置を求める技術についても記載されており、これらの技術は、本願明細書中で説明する技術に利用できる。
ステレオ画像を構成する２枚の移動体画像間での特徴点の対応関係の特定を行ったら、特徴点の三次元位置の算出を行う（ステップＳ２０６）。特徴点の三次元位置の算出は、図８に示す前方方交会法を用いて行う。以下、前方交会法を用いて特徴点の位置の算出を行う原理を説明する。
いま、第１の移動体画像と第２の移動体画像があり、この２つの移動体画像間で対応する特徴点Ｐが特定されているとする。ここで、第１の移動体画像の撮影時におけるカメラの位置Ｏ１と姿勢、第２の移動体画像の撮影時におけるカメラの位置Ｏ２と姿勢は飛行ログのデータから既知である。また、第１の移動体画像に写った特徴点Ｐの画面座標値ｐ１(x1,y1)と第２の移動体画像に写った特徴点Ｐの画面座標値ｐ２(x2,y2)とは、各移動体画像から取得できる。
ここで、Ｏ１とｐ１(x1,y1)を結ぶ方向線と、Ｏ２とｐ２(x2,y2)を結ぶ方向線を設定し、この２つの方向線の交点Ｐの座標を算出することで、交点Ｐに位置する特徴点の三次元位置が求められる。この原理により、移動体画像から抽出した特徴点の三次元位置が算出される。この算出は、各移動体画像から抽出された全ての特徴点に対して行われる。
特徴点の位置を得たら、ステップＳ２０３で既に各移動体画像中から検出されているターゲットに対応する特徴点の位置（三次元位置）を取得する（ステップＳ２０７）。例えば、図８のモデルにおいて、ｐ１の画面座標値の位置でターゲットが検出されたとする。この場合、点Ｐまたはその近傍の特徴点の三次元座標値を取得することで、左側の静止画像（移動体画像）から検出された画面座標値ｐ１のターゲットの三次元位置が得られる。なお、この段階では、実寸法が与えられていないので、得られる三次元位置の座標値は相対値となる。上述した三次元位置の算出は、検出された全てのターゲットに対して行われる。
そして、取得したターゲット（ステップＳ２０３で移動体画像中から検出したターゲット）の位置を頂点とした三次元ＴＩＮモデルを作成し、相対３Ｄモデルを得る（ステップＳ２０８）。この相対３Ｄモデルは、実寸法が与えられていない相対モデルとなる。以下、相対３Ｄモデルを作成する際の処理の具体的な一例を説明する。まず、ステップＳ２０３で検出されたターゲットの画面位置と一致（あるいは最も近接）する特徴点（ステップＳ２０４で抽出され、ステップＳ２０５で特定された特徴点）を探索する。次に、探索された特徴点の三次元位置をステップＳ２０６の結果から取得する。なお、この段階における特徴点の三次元位置は、相対位置である。この処理をステップＳ２０３で検出した全てのターゲットに関して行う。
なお、この処理において、当該ターゲットが特徴点として抽出されていれば、当該ターゲットの三次元位置は、ステップＳ２０６において算出されているので、その値が用いられる。こうして、ステップＳ２０３で検出された複数のターゲットの三次元位置（相対三次元位置）が求まる。そして、移動体画像中から検出された複数のターゲットの三次元位置を頂点とした三次元ＴＩＮモデルが相対３Ｄモデルとして得られる。一例ではあるが、以上の処理がステップＳ２０８において行われる。
（基準点３Ｄモデルと相対３Ｄモデルのマッチング）
ここでは、図２の処理で得た基準点３Ｄモデルと図４の処理で得た相対３Ｄモデルとの対応関係を求め、相対３Ｄモデルにおける基準点（ターゲットの設置位置）の位置を取得する処理について説明する。この処理では、基準点３Ｄモデルと相対３Ｄモデルの点の配置に関する類似性を定量的に評価する。そしてこの定量評価の結果を利用して基準点３ＤモデルのＴＩＮを構成する点と相対３ＤモデルのＴＩＮを構成する点との対応関係を求める。
図５には、上記の処理を実行する手順の一例が示されている。なお、図５における処理を実行するためのプログラムは、適当な記憶媒体や記憶領域に記憶されており、図１に示すハードウェアによって実行される。
まず、図２の処理で得た基準点３Ｄモデルと、図４の処理で得た相対３Ｄモデルを取得し（ステップＳ３０１）、ついで取得した２つのモデルの向きを合わせる（ステップＳ３０２）。ここでは、飛行ログにおけるＩＭＵのデータから対象となる移動体画像の撮影時におけるカメラの向きの情報を取得し、それに基づいて相対３Ｄモデルの向きを基準点３Ｄモデルの向きに合わせる。
図９（Ａ）には、特定の視点から見た相対３Ｄモデル（左側）と基準点３Ｄモデル（右側）とが示されている。図９において、黒丸●が相対３Ｄモデルと基準点３Ｄモデルとで共通に抽出されている基準点（ターゲット位置）であり、白丸○が相対３Ｄモデルの作成時に未検出で、基準点３Ｄモデルの側で認識されている基準点（ターゲット位置）である。
まず、相対３Ｄモデルの側で点（ＴＩＮを構成する頂点の一つ）を選択する（ステップＳ３０３）。そして、選択点と他の点を頂点とする三角形を形成し、その類似判定指標を算出する（ステップＳ３０４）。図９（Ｂ）の左側には、相対３Ｄモデルにおいて点が選択され、その点を頂点する三角形が選択された状態が示されている。
以下、類似判定指標について説明する。類似判定指標は、着目した三角形と他の三角形との類似性を評価するための指標である。すなわち、ある三角形と類似な形状の三角形を探し出すために利用される指標である。図１０には、三角形の頂点ＥＳ，Ｅ１，Ｅ２が示されている。ここで、ＥＳがステップＳ３０３で選択された着目点に対応する。この場合、類似判定指標は、（Ｌ１，Ｌ２，θ）となる。
ステップＳ３０４の後、基準点３Ｄモデルの側の全ての点に関して、ある点を頂点とした全ての三角形の選択、更に当該三角形の類似判定指標の算出を行う（ステップＳ３０５）。そして、ステップＳ３０４で求めた類似判定指標とステップＳ３０５で求めた類似判定指標を用いて両モデルで類似する三角形を選択する（ステップＳ３０６）。図９（Ｂ）には、左側の相対３Ｄモデル側の三角形に類似する三角形が右側の基準点３Ｄモデルの側から選択された場合が示されている。
ステップＳ３０６で行われる類似の判定は、以下のようにして行われる。まず、相対３Ｄモデル側の類似判定指標を（Ｌ１，Ｌ２，θ）、基準点３Ｄモデルの側の類似判定指標を（Ｔ１，Ｔ２，φ）とする。ここで、Ｔ１はＬ１に対応する長さで、Ｔ２はＬ２に対応する長さで、φはθに対応する角度である。そして、基準の長さＬＳ、Ｔ Ｓ として、三角形の辺の長さの差Δｍｉを数２から求める。
Figure 0006543520
また、着目している２辺のなす角度の差Δａｉを数３から計算する。
Figure 0006543520
ここで、類似度Ｓは、各モデル間のセットの残差ｊ(Δmi,Δai)として、数４で計算される。
Figure 0006543520
ここで、ｎ＝２であり、ｒはGibbs分布の係数であり、ＬＳ＝Ｌ １、ＴＳ＝Ｔ１として計算する。数４において、類似度が高い程、Ｓ＝１に近くなる。ステップＳ３０６では、数４を用いて相対３Ｄモデル側で設定された三角形に類似する三角形を基準点３Ｄモデルの側から探索する。
ここで、基準点３Ｄモデルの側から類似する三角形が複数選択されてもよい。数４には、当然誤差があるので、基準点３Ｄモデル側で有意な差が認められない複数の三角形が見つかる場合もあり得るからである。
ステップＳ３０６の後、ステップＳ３０７に進む。ステップＳ３０７では、相対３Ｄモデル側と基準点３Ｄモデル側とで類似として選択された三角形が予め規定された数の組（例えば６組）以上であるか否かが判定される。なお、ステップＳ３０７の判定の基準となる規定の組数（閾値）の値を大きくすると、基準点３Ｄモデルと相対３Ｄモデルの対応関係を求める精度が高くなる（あるいは対応関係を誤って求めてしまう可能性が低くなる）が、演算の負担は増大する。よって、ステップＳ３０７で利用する閾値は、対象とする基準点の数、マッチング精度、演算を行うハードウェアの性能、許容される演算時間等に鑑みて決定される。勿論、この閾値を可変とし、状況に応じて設定を変える態様も可能である。
ＴＩＮモデルでは多数の三角形が形成されるので、２つのモデルで位置が異なるが偶然一致する三角形がある可能性は高い。そもそも誤差が含まれている場合、この可能性はさらに高くなる。したがって、ＴＩＮを構成する三角形の一致に基づく、２つのＴＩＮモデルの対応関係の特定の精度を高めるために、ステップＳ３０７の処理を行う。
ステップＳ３０７の判定において、類似する三角形の組が規定の数以上ある場合、ステップＳ３１１に進み、そうでない場合はステップＳ３０８に進む。ステップＳ３０８では、ステップＳ３０３で選択した点を頂点とする別の三角形を更に選択する。この状態の一例が図９（Ｃ）に示されている。
ステップＳ３０８の後、ステップＳ３０９に進み、ステップＳ３０８で選択した三角形を対象にステップＳ３０６と同様の処理を行う。そして、ステップＳ３０９の処理の結果、基準点３Ｄモデルから選択された新たな三角形が、ステップＳ３０６において基準点３Ｄモデルから選択された三角形と頂点を共有するか否か、の判定が行なわれる（ステップＳ３１０）。
例えば、ステップＳ３０９で選択された三角形がステップＳ３０６において選択された三角形と頂点を共有していない場合、それは互いに離れた位置にある三角形であり、相対３Ｄモデルの側の三角形と本来対応する三角形ではない。この場合、ステップＳ３１０の判定がＮＯとなり、ステップＳ３０８に戻り、再度の三角形の選択が行なわれる。
図９（Ｃ）には、相対３Ｄモデルの側の頂点を共有する２つの三角形に対応する２つの三角形が基準点３Ｄモデルの側で選択された場合が示されている。このような場合、ステップ３１０の判定はＹＥＳとなる。
ステップＳ３１０の判定がＹＥＳの場合、ステップＳ３０７以下の処理を再度実行する。図９（Ｄ）に示すようにある程度の三角形網の一致性が得られた段階でステップＳ３０７の判定がＹＥＳとなり、ステップＳ３１１に進む。ステップＳ３１１では、相対３Ｄモデル側の各頂点と基準点３Ｄモデル側の各頂点との位置が整合するように、相対３Ｄモデルの縮尺を調整する。この際、向きの微調整を同時に行ってもよい。
ステップＳ３１１の後、ステップＳ３１２に進み、基準点３Ｄモデル側の各頂点の位置情報（この情報は、図２のステップＳ１０２で取得している）を対応する相対３Ｄモデル側の各頂点の位置情報として取得する。こうして、相対３Ｄモデルを構成する各頂点の位置の情報が得られる。また、図９の白丸○で示される相対３Ｄモデルの側では未知の基準点の相対３Ｄモデルにおける位置の情報も得られる。相対３Ｄモデルは、移動体画像に基づいて作成されているので、相対３Ｄモデルにおける基準点の三次元位置が特定されることで、移動体画像中における基準点の三次元位置（地図座標系における三次元位置）が特定される。なお、地図座標系というのは、ＧＮＳＳや地形図を記述する際に利用される座標系のことである。ＴＳ等で行う測量の結果は、この地図座標系上で記述される。
以下、移動体画像中における基準点の三次元位置を特定する処理の一例について図８を用いて説明する。この場合、点Ｐが相対３Ｄモデルにおける位置が特定された点（ターゲット位置：規準点）である。そして左側の画像と右側の画像が点Ｐをステレオ視したステレオ画像を構成する２枚の移動体画像である。ここで、各２枚の移動体画像における点Ｐの画面座標値ｐ１とｐ２は、画像データから判る。したがって、左側の移動体画像のｐ１の画面位置にある点Ｐの三次元位置、および右側の移動体画像のｐ２の画面位置にある点Ｐの三次元位置が判る。以上の原理により、移動体画像中における基準点の三次元位置の特定が行なわれる。
図５の処理では、ＴＩＮを構成する三角形の類似性を利用して、基準点の位置が既知の基準点３Ｄモデルと基準点の位置が未知の相対３Ｄモデルとの対応関係を求める。そして、この対応関係を利用して、相対３Ｄモデルにおける各頂点の位置情報（基準点の位置情報））を基準点３Ｄモデルの各頂点の位置情報から取得する。
本実施形態によれば、基準点３Ｄモデルと相対３Ｄモデルとの対応関係を求めることで、相対３Ｄモデルにおけるターゲットの位置を取得できる。すなわち、基準点３Ｄモデルは、地上で計測したターゲットの位置に基づくモデルであり、各頂点のターゲットの位置（基準点の位置）は、既知である。それに対して、相対３Ｄモデルの各頂点を構成するターゲットの位置は、その相対位置関係は求められているが、絶対位置は相対３Ｄモデルを求めた段階では未知である。よって、基準点３Ｄモデルと相対３Ｄモデルとの対応関係が判ることで、基準点３Ｄモデルにおける頂点の位置から、相対３Ｄモデルにおける基準点の位置を特定できる。
（移動体画像中におけるターゲット位置の特定）
図５の処理を行うことで、相対３Ｄモデルにおけるターゲットの位置（地図座標系上における位置）が特定され、更に移動体画像中での基準点の位置（ターゲットの位置）の特定が行なわれる。ここでは、更に以下の処理を行うことで、移動体画像中で検出が確実に行われなかった基準点（ターゲット）の位置を精度よく特定できる処理の一例を説明する。図５の処理によって、相対３Ｄモデルにおけるターゲットの位置が特定可能となる。ここでは、図５の処理の結果を利用して画像マッチングを行い、移動体画像中からのターゲット位置の検出を行う。
まず、図４のステップＳ２０３において、移動体画像中からのターゲットの検出を行っているが、そこで行われる検出は画像が鮮明に映っている等の検出が容易なターゲットを優先的に検出した粗検出処理であり、未検出ターゲットの存在は許容されている。ここでは、以下に述べる処理を行うことで、図４のステップＳ２０３で検出できなかったターゲットの検出（正確には、ターゲットの位置の検出）が可能となる。
図６には、移動体画像中におけるターゲットの位置を特定する処理の一例が示されている。図６の処理では、地上画像と移動体画像のマッチングを調べることで、移動体画像中におけるターゲットの位置を特定する。なお、図６の処理を実行するためのプログラムは、適当な記憶媒体や記憶領域に記憶されており、図１に示すハードウェアによって実行される。
この処理では、まず特定のターゲット推定位置を対象として、移動体画像中で探索範囲の設定を行う（ステップＳ４０１）。具体的には、地上画像の一つを選択し、この地上画像に対応する移動体画像の中の領域（この対応関係は、図５の処理で特定されている）を探索領域として設定する。すなわち、基準点３Ｄモデルの頂点の位置情報から得た、相対３Ｄモデルの頂点の位置を推定位置として、そこを中心に特定の範囲を探索領域として設定する。
上記の処理について図８を用いて更に詳細に説明する。例えば、図８の点Ｐが相対３Ｄモデル中で推定された基準点（ターゲット位置）であるとする。この場合、左側の画像が当該相対３Ｄモデルの作成に用いたステレオ画像を構成する第１の移動体画像であり、右側の画像が当該相対３Ｄモデルの作成に用いたステレオ画像を構成する第２の移動体画像となる。そして、ｐ１が左側の移動体画像中での点Ｐの画面座標値であり、ｐ２が右側の移動体画像中での点Ｐの画面座標値となる。
ここで、点Ｐで示されるターゲット推定位置が得られることで、その位置に対応する左側の移動体画像中でのターゲット推定位置ｐ１、および右側の移動体画像中でのターゲット推定位置ｐ２が得られる。そして、ターゲット推定位置ｐ１を中心とした探索領域の設定を行うことで、左側の移動体画像中におけるターゲットの探索範囲の設定が行われる。同様に、ターゲット推定位置ｐ２を中心とした探索領域の設定を行うことで、右側の移動体画像中におけるターゲットの探索範囲の設定が行われる。
また、上記の処理では、図９の黒丸●で示される位置に加えて白丸○で示される位置も対象として移動体画像中での探索領域の設定が行なわれる。ここで、白丸○部分は、移動体画像から画像検出されなかったターゲットの位置である（拡大画像を利用したより詳細な検出処理で検出される可能性はある）。したがって、図４のステップＳ２０３の処理の精度が多少低く、検出漏れがあっても、ステップＳ４０１の処理において、漏れなく探索領域の設定が行なわれる。またこのために、ステップＳ２０３の処理に過大な負担を要しない処理が可能となり、全体の処理の効率化が図れる。
探索領域としては、例えばターゲットの推定位置を中心とした１０ｍ四方の範囲が選択される。なお、ここでの探索範囲の設定は、ＴＳや高精度ＧＮＳＳを用いた精度の高い位置計測を行なったターゲットを対象にして行う。
探索領域の画像は、移動体画像の一部の狭い範囲を拡大した拡大画像となるので、後述する地上画像とのマッチングを高い精度で行うことができる。また、マッチングを行う領域が予め限定できるので、マッチングに要するハードウェアの負担を抑えることができ、演算の効率化、高精度化、低消費電力化といったメリットが得られる。
推定領域を設定したら射影変換を用いて地上画像の向きと移動体画像の向きとを揃える（ステップＳ４０２）。画像の向きを揃える方法としては、（１）地上画像の向きを移動体画像の向きに合わせる方法、（２）移動体画像の向きを地上画像に合わせる方法、（３）両画像の向きを特定の方向に揃える方法が挙げられる。
以下、画像の向きを揃える方法の例を説明する。なお、以下の説明では、ＵＡＶにカメラが鉛直真下の方向に向けて固定されてあるものとする。まず、（１）の方法の一例を説明する。この場合、地上画像に写った図３のターゲットの形状が正方形となるように地上画像に対して射影変換を施す。こうすることで、地上画像と移動体画像の両方を鉛直上方から見た状態での比較が可能となる。なお、ＵＡＶは飛行中に傾く場合があり、また撮影視野の周辺に行く程、真上から撮影した条件からのずれが生じるが、ここではその影響は無視する。
次に、（２）の方法の一例を説明する。この場合、地上画像に写った図３のターゲットの形状が正方形となるように地上画像を傾けていった場合を計算し、地上画像の向きと鉛直方向とがなす角度を算出する。このなす角度に基づいて移動体画像に射影変換を施し、地上画像と移動体画像の向きを揃える。
次に、（３）の方法の一例を説明する。例えば、着目している移動体画像の撮影時のカメラの姿勢が鉛直方向からずれているとする（この情報は、飛行ログから取得できる）。この場合、鉛直方向から見た状態となるように移動体画像を射影変換する。他方で地上画像の方も鉛直方向から見た状態となるように、すなわち地上画像に写った図３のターゲットの形状が正方形となるよう地上画像に射影変換を施す。こうして、地上画像と移動体画像の向きを揃える。
画像の向きを揃えたら、地上画像（画像１）と移動体画像の探索範囲の部分の画像（画像２）との対応関係を調べる処理を行う（ステップＳ４０３）。この処理としては、画像間のマッチングをとる技術、すなわち２つの画像間の対応関係を求める技術が利用される。例えば、比較対象の画像１と画像２からの特徴点の抽出を行い、次にテンププレートマッチングを用いて画像１の特徴点と画像２の特徴点の対応関係の特定を行うことで画像１と画像２のマッチングをとることができる。２つの画像間のマッチングをとる技術としては、例えば特開２０１３−１７８６５６号公報や特開２０１４−３５７０２号公報に記載されている技術を利用することができる。なお、画像１と画像２のマッチングが取れない場合は、処理エラーとなり、当該探索領域を対象としたマッチングの処理を終了する。
ステップＳ４０３の処理では、画像１と画像２のマッチング（対応関係の特定）が行なわれる。この際、ターゲット画像は必ずしも必要としない（勿論、あってもよい）。例えば、ターゲット周辺の地形の形状や石ころ等の画像も画像１と画像２のマッチングに利用されるので、ターゲットの画像は必ずしも必要とされない。そのため、移動体画像側でターゲットの画像が認識できない、あるいは画像認識が不十分であっても移動体画像中でのターゲット位置（基準点の位置）の特定を行える。また、画像１と画像２に共通に写っているターゲット以外の画像もマッチングに利用されるので、ターゲットのみの画像検出を行う場合に比較して、移動体画像中におけるターゲット位置の特定精度を高くできる。
画像１と画像２の対応関係を特定したら、画像１におけるターゲットの位置情報から画像２のターゲットの位置情報を取得する（ステップＳ４０４）。こうして画像のマッチングに基づく移動体画像における基準点の位置の特定が行なわれる。なお、図５の処理によって、移動体画像中での基準点の位置は一応特定されるが、更に図６に示す処理を行うことで、より精密な移動体画像中での基準点位置の特定が可能となる。また、画像２（移動体画像の一部を拡大した画像）でターゲットが必ずしも鮮明に写っていなくても、全体の画像のマッチングがとれていれば、画像２におけるターゲットの位置を高い精度で特定できる。すなわち、図４のステップＳ２０３において移動体画像中で正確に検出できなかったターゲットおよび未検出のターゲットの位置を、図６の処理を行うことで、移動体画像中で特定できる。
ステップＳ４０３により画像１と画像２のマッチングが取れた段階で、画像１を、画像２の一部を拡大した拡大画像として利用することができる。すなわち、画像１は、画像２の一部を別視点から撮影した画像であり、しかもターゲットの間近から撮影している。よって、画像１と画像２のマッチングが取れた段階で、画像１を画像２の一部の拡大画像として取り扱うことができる。このことを利用して、画像２で明確でなかった画像を画像１で確認するといったことが行える。
ステップＳ４０３の後、他に探索領域とする候補があるか否か、が判定され（ステップＳ４０５）、他の探索領域の候補があれば、ステップＳ４０１以下の処理を繰り返し、他の探索領域の候補が無ければ、処理を終了する。
以上の処理によれば、ＴＩＮモデルの対応関係を利用して地上画像と移動体画像のマッチングを取ることで、移動体画像中でのターゲット位置（基準点）の特定が行なえる。移動体画像中で複数の基準点を特定することで、移動体画像から得られる三次元モデルに実寸法が与えられる。なお、移動体画像に基づく三次元モデルの作成は、図１１の３Ｄモデル作成部１１６で行われるが、その処理の詳細は公知の技術であるので、説明は省略する。この処理の詳細については、例えば、特開２０１４−３５７０２号公報や特開２０１２−２３０５９４号公報に記載されている。
（まとめ）
以上述べたように、本実施形態では、地上に設置された複数の基準点のそれぞれを撮影することで得た第１の画像（上記の例では地上画像）のデータおよび前記複数の基準点の三次元位置のデータを含む第１のデータと、移動する移動体の一例であるＵＡＶから前記複数の基準点を含む領域を撮影することで得た第２の画像（上記の例では移動体画像）のデータを含む第２のデータとを受け付けるデータ受付ステップ（ステップＳ１０３，Ｓ２０２）と、前記第１のデータに含まれる前記複数の基準点の三次元位置それぞれを頂点とする第１の形状モデル（上記の例では基準点３Ｄモデル）を作成する第１の形状モデル作成ステップ（ステップＳ１０４）と、前記第２の画像から前記基準点の画像を検出する基準点検出ステップ（ステップＳ２０３）と、前記第２の画像から検出された前記基準点のそれぞれを頂点とする第２の形状モデル（上記の例では相対３Ｄモデル）を作成する第２の形状モデル作成ステップ（ステップＳ２０８）と、前記第１の形状モデルと前記第２の形状モデルとの対応関係を求める第１の対応関係特定ステップ（図５の処理）と、前記第１の形状モデルと前記第２の形状モデルとの対応関係から前記第２の画像における前記基準点の推定位置を取得する基準点推定位置取得ステップ（ステップＳ３１２）と、前記基準点の前記推定位置に基づいて、前記第１の画像と前記第２の画像との対応関係を求める第２の対応関係特定ステップ（ステップＳ４０３）と、前記第１の画像と前記第２の画像との前記対応関係に基づき、前記第２の画像における前記基準点の三次元位置を特定する三次元位置特定ステップ（ステップＳ４０４）を行う。
すなわち、本実施形態では、設置されたターゲットを間近から撮影し、またその位置を計測する。この計測したターゲット位置を頂点として基準点３Ｄモデルを作成する。他方で、ＵＡＶが上空から撮影した画像（移動体画像）から検出されたターゲットの位置をステレオ三次元計測の原理で作成した三次元モデルから求め、ＴＩＮで構成される相対３Ｄモデルを得る。そして、基準点３Ｄモデルと相対３Ｄモデルとの対応関係を求める。基準点３Ｄモデルでは、頂点を構成する各基準点の三次元位置は求められているので、この段階で相対３Ｄモデルにおける基準点の三次元位置が得らえる。
ここで、相対３Ｄモデルは、移動体画像に基づいて作成されている。したがって、相対３Ｄモデル上で基準点（ターゲット位置）の位置が特定されることで、その情報を移動体画像に対応させることで、移動体画像中での基準点の位置が特定される。具体的には、相対３Ｄモデルの特定の位置が当該３Ｄモデルのベースとなった移動体画像のどの部分に対応するのかが図８の原理から分かるので、相対３Ｄモデル上でターゲットの位置が取得されることで、移動体画像中でのターゲットの位置が取得される（ステップＳ３１２）。
ところで、相対３Ｄモデルに誤差が含まれる場合があり、また未検出および誤検出したターゲット位置（基準点位置）が含まれる可能性がある。他方で、基準点３Ｄモデルは、個々にターゲット位置を計測した結果を利用しているので、各頂点の基準点の位置の信頼性および精度は高い。そこで、基準点３Ｄモデルと相対３Ｄモデルとの対応関係から求めた相対３Ｄモデル上での基準点の位置情報を利用して、地上画像と移動体画像とのマッチングを行い、移動体画像中での基準点の位置の特定を行う。この処理により、移動体画像における更に精度の高い基準点の位置情報が得られる（ステップＳ４０４）。
図６の処理では、３Ｄモデル同士のマッチングから得られた移動体画像中における基準点の位置の情報に基づき移動体画像中で探索領域を設定する。そして、この探索領域と地上画像とのマッチングを行うことで、探索領域での基準位置の特定（ターゲット位置の特定）を行う。図５の処理でも移動体画像中で基準点の位置を特定できるが、図５の処理に加えて更に図６の処理を行うことで、更に精度よく移動体画像中における基準点の特定が行なえる。また、図６の処理を行うことで、移動体画像中で明瞭にターゲットが写っていなかった等の理由により、図５の処理では特定できなかった基準点の位置を移動体画像中で特定できる。
図６の処理では、移動体画像中で明確に現れておらず、従来の自動検出では未検出となる可能性のあるターゲットの位置を確実に移動体画像中で特定できる。また、自動検出では誤検出の問題が生じるが、地上画像は、近くから撮影した画像でターゲットが明瞭に写っているので、ターゲットの誤検出の発生確率は極めて低い。よって、地上画像と移動体画像とのマッチング結果を利用することで、移動体画像中におけるターゲット位置の特定に誤りが生じる確率を低くできる。
以上の理由により、本実施形態では、ソフトウェア処理を用いた自動検出により、ＵＡＶから撮影した移動体画像中での基準点の位置情報の取得を高精度に行うことができる。このため、従来の技術における作業者による基準点の正誤の確認作業やマニュアルで基準点を指定する作業の負担を大きく軽減できる。
２．第２の実施形態
ステップＳ３０４における類似判定指標の算出では、ＴＩＮを構成する三角形を対象としたが、着目した特定の点から他の点への４以上の線分に関して数２〜数４の算出を行ってもよい。この場合、着目した点と周囲の点との相対位置関係が定量的に評価され、当該着目点が特徴づけられる。すなわち、類似判定指標として着目点と４点以上の他の点との関係を定量的に評価するパラメータが得られる。着目点と他の点との関係の多様性が多くなる程、当該着目点を特徴づけるパラメータの顕著性、すなわち当該着目点を他の点から定量的に差別化できるようになるので、基準点３Ｄモデルと相対３Ｄモデルとのマッチング精度を更に高めることができる。
３．第３の実施形態
基準点３Ｄモデルと相対３Ｄモデルとの対応を求める方法の他の例を説明する。以下の処理は、図５の処理の代わりに、あるいは図５の処理に併用して利用できる。
まず、基準点３Ｄモデルおよび相対３Ｄモデルを特定の方向（例えば鉛直上方）から見たものを考える。図１２（Ａ）には、５点の基準点●により構成される基準点３Ｄモデルを特定の角度から見た状態が示されている。ここで、４つの基準点を選択し、四角形を作成する。この一例が図１２（Ｂ）の左側に示されている。四角形を選択したら、この四角形の重心の位置○を求める。次に、求めた重心の位置から全ての基準点までの距離と角度θの値を計算し、それを図１２の右側に示すヒストグラムにまとめる。
上記の作業を他の組み合わせの４点で構成される四角形についても同様に行う。図１２（Ｂ）の場合と異なる四角形を選択した場合の一例が図１２（Ｃ）に示されている。四角形を構成する基準点の組み合わせを変えると、ヒストグラムも異なる形状となる。以上の処理を設定できる範囲の数の四角形に関して行う。
基準点３Ｄモデルについて図１２に係る処理を行ったら、同様の処理を相対３Ｄモデルに関しても行う。そして、一方の群のヒストグラムの中の一つに着目し、この着目したヒストグラムに類似したヒストグラムを他方の群の中から探索する。例えば、基準点３Ｄモデルの側のヒストグラムの一つに着目し、このヒストグラムに類似するヒストグラムを相対３Ｄモデルの側のヒストグラムの中から探索する。
ここで、ヒストグラムを横軸方向でひとつずつずらしながら比較することで、回転の影響を吸収できる。この際、残差が最小となるように一方のヒストグラムに係数（スケール）をかける。通常、着目しているヒストグラムに類似するヒストグラムは複数見つかる。そこで、投票を行って、類似している上位の複数（例えば１０個）を選択する。例えば、基準点３Ｄモデルの側の四角形に着目している場合、この四角形に係るヒストグラムに類似する相対３Ｄモデル側の上位複数のヒストグラムを選択する。
次に、選択されたヒストグラムに対応する四角形の情報を取得する。すなわち、着目している基準点３Ｄモデル側の四角形を構成する４点の基準点の情報と、相対３Ｄモデル側から選択された複数の四角形の情報を取得する。そして、対応すると推定される２つの四角形の間の変換係数を求める。変換係数は、一方を他方に合わせるのに必要な回転と移動の変換係数、あるいは射影変換係数である。変換係数を求めたら、この変換係数を用いて基準点３Ｄモデル側の四角形（着目している四角形）と相対３Ｄモデル側から選択された類似が推定される四角形に関して、一方を他方（または他方を一方）に変換し、両者の頂点の位置の比較を行う。
例えば、相対３Ｄモデル側に変換した基準点３Ｄモデル側の四角形（着目している四角形）と相対３Ｄモデル側の第１の候補の四角形との比較、相対３Ｄモデル側に変換した基準点３Ｄモデル側の四角形（着目している四角形）と相対３Ｄモデル側の第２の候補の四角形との比較、相対３Ｄモデル側に変換した基準点３Ｄモデル側の四角形（着目している四角形）と相対３Ｄモデル側の第３の候補の四角形との比較、・・・を行う。
ここで、比較した四角形の頂点を構成する点同士の位置の残差を求め、残差の最も少ない組の点を対応する点として決定する。こうして、基準点３Ｄモデルを構成する基準点の中の４点に対応する相対３Ｄモデルを構成する４点が求められる。
上記の処理を選択した四角形の数の分行なうことで、基準点３Ｄモデル側で特定されている全ての点に関して、対応する相対３Ｄモデル側の点を求める。
上記の説明（図１２の例）では、四角形を利用する場合を説明したが、三角形や５角形等の多角形を選択し、その重心を求めてヒストグラムを作成してもよい。
４．第４の実施形態
この例では、ある角度から見た基準点３Ｄモデルを構成する全点の平均値を重心とし、図１２の場合と同様なヒストグラムを作成する。他方で、ある角度から見た相対３Ｄモデルを構成する全点の平均値を重心とし、図１２の場合と同様なヒストグラムを作成する。そして、得られた２つのヒストグラムを角度軸方向でずらしながら、両者の対応関係を探索する。この際の処理の詳細は、第３の実施形態の場合と同じである。対応関係がとれた段階で相対３Ｄモデルを構成する点に対応する基準点３Ｄモデルの点の位置情報を取得し、相対３Ｄモデルを構成する点の三次元位置情報を取得する。
５．第５の実施形態
規準点３Ｄモデルを構成する各点（基準点）と相対３Ｄモデルを構成する各点との対応関係を求める手法として、ＲＡＮＳＡＣ(Random sample consensus)やＬＭＥＤＳ(Least Median Squares)を用いることもできる。例えば、以下の手法を用いて、２つのモデルの対応関係を求める。
（１）変換係数が求められる分以上の点数をランダムに選択する。
例えば、未知変量＋１として、アフィン変換であれば７点以上、射影変換であれば９点以上、ヘルマート変換（平行移動と回転）であれば５点以上の点をランダムに選択する。
（２）点同士の組み合わせをランダムに選択し、その際の変換係数を求める。
（３）最も多かった（近かった）変換係数を順位別に並べる。
（４）順位の高いものから変換を施す。
（５）変換した後、各点での残差を求める。
（６）最も残差が少なかったものを候補とする。
（７）基準点の隣接関係から妥当性があるかをチェックする。
（８）もしだめなら、次に順位の高いものを変換して残差を求める。
（９）これを繰り返して、（７）に一番あったものを選び対応点とする。
（１０）マッチングにより詳細マッチングを行う。
基準点３Ｄモデルと相対３Ｄモデルとの対応関係を求める方法として、２つの画像の対応関係を求める技術を利用することもできる。この技術に関しては、図４のステップＳ２０５の処理に関連して説明した技術を利用することができる。勿論、基準点３Ｄモデルと相対３Ｄモデルとの対応関係を求める方法としては、その他の公知の方法を用いることもできる。
６．その他
移動体は、航空機に限定されず、車両や船舶であってよい。例えば、車両にカメラを搭載し、移動する車両から撮影を行って移動体画像を得ることもできる。上記の説明では、ターゲットに近接して配置された識別プレート３２の識別番号を利用する処理について記載していないが、移動体画像中のターゲットの位置が特定された後で、その付近の拡大画像を得、そこから識別プレート３２の識別番号を画像認識によって読み取り、対応するターゲット３１の座標情報を取得してもよい。この場合、画像探索の範囲が極めて狭い範囲に絞られるので、識別プレート３２の識別番号の画像検出は容易に行える。
本明細書で説明した技術では、地上画像と移動体画像とのマッチングが取れた段階で移動体画像中のターゲット付近の拡大画像として、地上画像が利用できる状態となる。地上画像は、移動体画像に比較して高精細であり、より明瞭にターゲットが写っている。したがって、地上画像と移動体画像とのマッチングが取れた段階で移動体画像を地上画像の拡大画像として取得し、そこからターゲットの画像を取得してもよい。
図６のステップＳ４０４の処理において、ターゲットの位置情報でなく、ターゲットの識別情報（例えば、図３の識別プレートの記載された識別番号等）を取得してもよい。当該識別情報は、当該ターゲットの設置位置（計測位置）と関連付けされた上でデータ化されているので、ターゲットの識別情報を取得することは、ターゲットの位置情報を取得することと等価である。
基準点として専用のターゲットを用いる例を示したが、画像として識別可能なものであれば、基準点を示す対象物として利用することができる。例えば、電柱、道路標識、マンホール等を基準点として用いることもできる。
基準点３Ｄモデルと相対３Ｄモデルとの対応関係を求める方法として、２つの画像の対応関係を求める技術を利用することもできる。この技術に関しては、図４のステップＳ２０５の処理に関連して説明した技術を利用することができる。勿論、基準点３Ｄモデルと相対３Ｄモデルとの対応関係を求める方法としては、その他の公知の方法を用いることもできる。

Claims (11)

  1. 地上に設置された複数の基準点のそれぞれを撮影することで得た第１の画像のデータおよび前記複数の基準点の三次元位置のデータを含む第１のデータと、移動体から前記複数の基準点を含む領域を撮影することで得た第２の画像のデータを含む第２のデータとを受け付けるデータ受付部と、
    前記第１のデータに含まれる前記複数の基準点の三次元位置それぞれを頂点とする第１の形状モデルを作成する第１の形状モデル作成部と、
    前記第２の画像から前記基準点の画像を検出する基準点検出部と、
    前記第２の画像から検出された前記基準点のそれぞれを頂点とする第２の形状モデルを作成する第２の形状モデル作成部と、
    前記第１の形状モデルと前記第２の形状モデルとの対応関係を求める第１の対応関係特定部と、
    前記第１の形状モデルと前記第２の形状モデルとの対応関係から前記第２の画像における前記基準点の三次元位置を取得する基準点位置取得部と
    を備えることを特徴とする測量データ処理装置。
  2. 前記第２の形状モデルは、異なる視点から得られた複数の第２の画像に基づく交会法により作成された三次元モデルであることを特徴とする請求項１に記載の測量データ処理装置。
  3. 前記基準点位置取得部が取得した前記基準点の三次元位置に基づいて、前記第１の画像と前記第２の画像との対応関係を求める第２の対応関係特定部と、
    前記第１の画像と前記第２の画像との前記対応関係に基づき、前記第２の画像における前記基準点の三次元位置を特定する三次元位置特定部と
    を備えることを特徴とする請求項１または２に記載の測量データ処理装置。
  4. 前記第２の画像は、航空機から撮影された広域画像であり、
    前記第１の画像は、前記基準点を至近距離から撮影した画像であり、
    前記第２の対応関係特定部は、前記第１の画像と前記基準点の特定位置に基づき前記第２の画像の一部を拡大した拡大画像との対応関係の特定を行うことを特徴とする請求項３に記載の測量データ処理装置。
  5. 前記第１の画像と前記拡大画像との対応関係を求めた上で、前記第１の画像に写った前記基準点の前記三次元位置を前記第２の画像上で特定することを特徴とする請求項４に記載の測量データ処理装置。
  6. 前記第１の画像と前記拡大画像の対応関係の特定に前記基準点の画像以外の画像情報が利用されることを特徴とする請求項４または５に記載の測量データ処理装置。
  7. 前記第１のデータには、前記第２の画像上からは検出されなかった前記基準点の三次元位置のデータが含まれ、
    前記第２の画像上からは検出されなかった前記基準点の三次元位置が前記三次元位置特定部によって特定されることを特徴とする請求項３〜６のいずれか一項に記載の測量データ処理装置。
  8. 前記第１の形状モデルは、前記第１のデータに含まれる前記複数の基準点の前記三次元位置を頂点とする第１の三次元ＴＩＮモデルであり、
    前記第２の形状モデルは、視点の異なる複数の前記第２の画像に基づき交会法を用いて作成された３次元モデルに前記第２の画像中における前記基準点の位置を対応させることで作成された第２の三次元ＴＩＮモデルであることを特徴とする請求項１〜７のいずれか一項に記載の測量データ処理装置。
  9. 前記第１の対応関係特定部は、前記第１の三次元ＴＩＮモデルを構成する三角形と前記第２の三次元ＴＩＮモデルを構成する三角形との類似性に基づいて、前記第１の形状モデルと前記第２の形状モデルとの対応関係を求めることを特徴とする請求項８に記載の測量データ処理装置。
  10. 地上に設置された複数の基準点のそれぞれを撮影することで得た第１の画像のデータおよび前記複数の基準点の三次元位置のデータを含む第１のデータと、移動する移動体から前記複数の基準点を含む領域を撮影することで得た第２の画像のデータを含む第２のデータとを受け付けるデータ受付ステップと、
    前記第１のデータに含まれる前記複数の基準点の三次元位置それぞれを頂点とする第１の形状モデルを作成する第１の形状モデル作成ステップと、
    前記第２の画像から前記基準点の画像を検出する基準点検出ステップと、
    前記第２の画像から検出された前記基準点のそれぞれを頂点とする第２の形状モデルを作成する第２の形状モデル作成ステップと、
    前記第１の形状モデルと前記第２の形状モデルとの対応関係を求める第１の対応関係特定ステップと、
    前記第１の形状モデルと前記第２の形状モデルとの対応関係から前記第２の画像における前記基準点の三次元位置を取得する基準点位置取得ステップと
    を備えることを特徴とする測量データ処理方法。
  11. コンピュータに読みとらせて実行させるプログラムであって、
    コンピュータに
    地上に設置された複数の基準点のそれぞれを撮影することで得た第１の画像のデータおよび前記複数の基準点の三次元位置のデータを含む第１のデータと、移動する移動体から前記複数の基準点を含む領域を撮影することで得た第２の画像のデータを含む第２のデータとを受け付けるデータ受付ステップと、
    前記第１のデータに含まれる前記複数の基準点の三次元位置それぞれを頂点とする第１の形状モデルを作成する第１の形状モデル作成ステップと、
    前記第２の画像から前記基準点の画像を検出する基準点検出ステップと、
    前記第２の画像から検出された前記基準点のそれぞれを頂点とする第２の形状モデルを作成する第２の形状モデル作成ステップと、
    前記第１の形状モデルと前記第２の形状モデルとの対応関係を求める第１の対応関係特定ステップと、
    前記第１の形状モデルと前記第２の形状モデルとの対応関係から前記第２の画像における前記基準点の三次元位置を取得する基準点位置取得ステップと
    を実行させることを特徴とする測量データ処理用プログラム。
JP2015133736A 2015-07-02 2015-07-02 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム Active JP6543520B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015133736A JP6543520B2 (ja) 2015-07-02 2015-07-02 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
US15/196,425 US10198632B2 (en) 2015-07-02 2016-06-29 Survey data processing device, survey data processing method, and survey data processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015133736A JP6543520B2 (ja) 2015-07-02 2015-07-02 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム

Publications (3)

Publication Number Publication Date
JP2017015598A JP2017015598A (ja) 2017-01-19
JP2017015598A5 JP2017015598A5 (ja) 2018-08-09
JP6543520B2 true JP6543520B2 (ja) 2019-07-10

Family

ID=57683111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015133736A Active JP6543520B2 (ja) 2015-07-02 2015-07-02 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム

Country Status (2)

Country Link
US (1) US10198632B2 (ja)
JP (1) JP6543520B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102242366B1 (ko) * 2020-10-29 2021-04-21 한국건설기술연구원 토공현장의 디지털맵 생성을 위한 드론 기반 지상기준점 배치 자동화 장치

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9903719B2 (en) * 2013-09-03 2018-02-27 Litel Instruments System and method for advanced navigation
JP6767279B2 (ja) * 2017-02-09 2020-10-14 株式会社トプコン 測量システム
CN106774422A (zh) * 2017-02-28 2017-05-31 成都紫瑞青云航空宇航技术有限公司 一种无人机识别方法及系统
US10431103B2 (en) 2017-04-11 2019-10-01 T-Mobile Usa, Inc. Three-dimensional network coverage modeling for UAVs
CN107607091A (zh) * 2017-08-31 2018-01-19 中国电力科学研究院 一种测量无人机飞行航迹的方法
US10733470B2 (en) * 2018-01-25 2020-08-04 Geomni, Inc. Systems and methods for rapid alignment of digital imagery datasets to models of structures
JP7048347B2 (ja) * 2018-02-23 2022-04-05 成典 田中 位置関係決定装置
US11248930B2 (en) * 2018-03-02 2022-02-15 International Business Machines Corporation Microclimate wind forecasting
KR102144268B1 (ko) * 2018-07-02 2020-08-28 주식회사 유니디자인경영연구소 무인 관측 수단에 의해 촬영된 영상을 이용한 브이알(VR, Virtual Reality)용 쓰리디 맵 제작 장치 및 방법
GB201812170D0 (en) * 2018-07-26 2018-09-12 Scape Tech Ltd Method of model alignment through localisation usage
JP7301514B2 (ja) * 2018-09-21 2023-07-03 日立建機株式会社 座標変換システム及び作業機械
CN109255341B (zh) * 2018-10-30 2021-08-10 百度在线网络技术（北京）有限公司 障碍物感知错误数据的提取方法、装置、设备及介质
CN111436208B (zh) * 2018-11-21 2023-10-03 广州极飞科技股份有限公司 一种测绘采样点的规划方法、装置、控制终端及存储介质
US12085389B2 (en) * 2019-06-18 2024-09-10 Nippon Telegraph And Telephone Corporation Absolute coordinate acquisition method
CN114286923A (zh) * 2019-06-26 2022-04-05 谷歌有限责任公司 由数据集对应关系定义的全球坐标系
CN111699453A (zh) * 2019-07-01 2020-09-22 深圳市大疆创新科技有限公司 可移动平台的控制方法、装置、设备及存储介质
JP7300915B2 (ja) 2019-07-16 2023-06-30 株式会社トプコン 測量装置
JP7300930B2 (ja) 2019-08-26 2023-06-30 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
US11531833B2 (en) * 2020-01-16 2022-12-20 Honeywell International Inc. Creating a ground control point file using an existing landmark shown in images
WO2021221758A2 (en) 2020-02-13 2021-11-04 Skydio, Inc. Performing 3d reconstruction via an unmanned aerial vehicle
CN111343082A (zh) * 2020-03-06 2020-06-26 梁冠岚 微型机器人集群立体显示方法
CN113075714B (zh) * 2020-11-13 2021-12-21 中移(上海)信息通信科技有限公司 一种基于参考点位置的辅助定位方法、装置及设备
CN117940739A (zh) * 2021-10-28 2024-04-26 深圳市大疆创新科技有限公司 可移动平台的定位方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3441139B2 (ja) * 1993-12-27 2003-08-25 三井住友建設株式会社 写真測量方法及び該方法に用いる標定点指示装置
JP4077385B2 (ja) * 2003-09-19 2008-04-16 コマツエンジニアリング株式会社 画像処理を用いたグローバル座標取得装置
FI117490B (fi) * 2004-03-15 2006-10-31 Geodeettinen Laitos Menetelmä puustotunnusten määrittämiseksi laserkeilaimen, kuvainformaation ja yksittäisten puiden tulkinnan avulla
JP5356269B2 (ja) * 2010-01-29 2013-12-04 株式会社パスコ レーザデータのフィルタリング方法及び装置
JP2013096745A (ja) 2011-10-28 2013-05-20 Hokuriku Kosoku Co Ltd 三次元モデルの作成方法
JP5963353B2 (ja) * 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102242366B1 (ko) * 2020-10-29 2021-04-21 한국건설기술연구원 토공현장의 디지털맵 생성을 위한 드론 기반 지상기준점 배치 자동화 장치

Also Published As

Publication number Publication date
US10198632B2 (en) 2019-02-05
US20170004345A1 (en) 2017-01-05
JP2017015598A (ja) 2017-01-19

Similar Documents

Publication Publication Date Title
JP6543520B2 (ja) 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
JP6510247B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
KR101933216B1 (ko) 드론과 공간정보를 이용한 하천지형정보 생성 방법
US8571265B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
EP3023913A1 (en) Crack data collection method and crack data collection program
EP2660777A2 (en) Image registration of multimodal data using 3D geoarcs
US20090154793A1 (en) Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors
US11551411B2 (en) Data processor, data processing method, and data processing program for determining correspondence relationships between laser scanning point clouds
EP3023912A1 (en) Crack data collection apparatus and server apparatus to collect crack data
CN104574406A (zh) 一种360度全景激光与多个视觉系统间的联合标定方法
JP6506032B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
TW201830336A (zh) 位置姿勢推定裝置以及位置姿勢推定方法
Tang et al. Surveying, geomatics, and 3D reconstruction
US20220148216A1 (en) Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system
Maurice et al. A photogrammetric approach for map updating using UAV in Rwanda
JP6506031B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
Al-Rawabdeh et al. A robust registration algorithm for point clouds from UAV images for change detection
Choi et al. Precise geometric registration of aerial imagery and LIDAR data
US20230196601A1 (en) Apparatuses and methods for determining the volume of a stockpile
RU2699940C1 (ru) Способ мониторинга состояния трассы магистрального трубопровода
Chuanxiang et al. Automatic detection of aerial survey ground control points based on Yolov5-OBB
EP3894788A1 (en) Method and system for generating an environment model for positioning
KR100586815B1 (ko) 3차원 위치 추적 시스템 및 방법
JP2009121945A (ja) 地物位置測定方法
Akca et al. Fast quality control of 3D city models

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180626

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190617

R150 Certificate of patent or registration of utility model

Ref document number: 6543520

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250