JP7043283B2 - 無人航空機の設置台、測量方法、測量装置、測量システムおよびプログラム - Google Patents

無人航空機の設置台、測量方法、測量装置、測量システムおよびプログラム Download PDF

Info

Publication number
JP7043283B2
JP7043283B2 JP2018024136A JP2018024136A JP7043283B2 JP 7043283 B2 JP7043283 B2 JP 7043283B2 JP 2018024136 A JP2018024136 A JP 2018024136A JP 2018024136 A JP2018024136 A JP 2018024136A JP 7043283 B2 JP7043283 B2 JP 7043283B2
Authority
JP
Japan
Prior art keywords
unmanned aerial
aerial vehicle
installation table
camera
surveying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018024136A
Other languages
English (en)
Other versions
JP2019138842A (ja
Inventor
剛 佐々木
暢之 深谷
陽 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2018024136A priority Critical patent/JP7043283B2/ja
Priority to KR1020207022945A priority patent/KR20200140239A/ko
Priority to PCT/JP2019/005298 priority patent/WO2019160022A1/ja
Priority to EP19754553.6A priority patent/EP3754298A4/en
Priority to US16/963,217 priority patent/US11221216B2/en
Priority to CN201980013492.9A priority patent/CN112005077B/zh
Publication of JP2019138842A publication Critical patent/JP2019138842A/ja
Application granted granted Critical
Publication of JP7043283B2 publication Critical patent/JP7043283B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/02Means for marking measuring points
    • G01C15/06Surveyors' staffs; Movable markers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/007Helicopter portable landing pads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/18Visual or acoustic landing aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/22Ground or aircraft-carrier-deck installations for handling aircraft
    • B64F1/222Ground or aircraft-carrier-deck installations for handling aircraft for storing aircraft, e.g. in hangars
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/36Other airport installations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00Launching, take-off or landing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/02Tracing profiles of land surfaces
    • G01C7/04Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、航空写真測量の技術に関する。
無人航空機(UAV(Unmanned Aerial Vehicle))を航空写真測量に用いる技術が知られている。この技術では、UAVから地表等の測量対象を撮影した写真画像を利用して測量対象の三次元モデル作成する。この技術では、まず撮影対象が重複した複数の写真画像を用いて標定を行い、UAV搭載のカメラの外部標定要素(位置と姿勢)を求め、この外部標定要素を用いて三次元モデルの作成に係る処理が行なわれる。航空写真測量におけるカメラの外部標定要素を求める技術については、例えば特許文献1に記載されている。
特開2014―6148号公報
従来の技術では、地表に位置を予め測定した標定用ターゲットを複数配置し、航空写真の画像に写った標定用ターゲットを用いて後方交会法により各画像に対応したカメラの外部標定要素の算出が行われる。この技術では、標定用ターゲットの設置および測位に係るコストが問題となる。また、地形によっては標定用ターゲットの設置が困難であるという問題もある。
例えば、TS(トータルステーション)でUAVを追跡および測位することで、標定用ターゲットを利用しなくても三次元モデルに実スケールを与えることができる(例えば、特願2017-171289参照)。しかしながら、最終的に得られる三次元モデルの精度を求める場合、地上に少なくとも一点の標定用ターゲットを配置し、その位置データを拘束点として調整計算を行うことが望ましい。
このような背景において、本発明は、航空写真測量に係り、標定用ターゲットの設置に係るコストを削減しつつ、高い測量精度が得られる技術の提供を目的とする。
請求項1に記載の発明は、無人航空機が設置される無人航空機の設置台であって、航空写真測量に用いる標定点を構成するターゲット表示機能と、飛行前の段階における無人航空機の前記ターゲット表示機能に対する位置が特定された状態で当該設置台に対する前記無人航空機の位置を決める構造および/または表示とを備える無人航空機の設置台である。
請求項2に記載の発明は、請求項1に記載の発明において、前記無人航空機はレーザー測位のための反射ターゲットを備え、前記無人航空機が当該設置台に搭載された状態において、前記ターゲット表示機能と前記反射ターゲットの位置関係が特定されていることを特徴とする。請求項3に記載の発明は、請求項2に記載の発明において、前記反射ターゲットの位置が測位されることで、当該設置台の位置が特定されることを特徴とする。
請求項4に記載の発明は、請求項1~3のいずれか一項に記載の無人航空機の設置台を用いた測量方法であって、前記設置台に設置された状態における前記無人航空機の位置を測定する第1のステップと、前記第1のステップの結果に基づき、前記設置台の位置を特定する第2のステップと、飛行している前記無人航空機から前記設置台および航空写真測量の対象を撮影する第3のステップと、前記第2のステップで得た前記設置台の位置および前記第3のステップで得た撮影画像に基づき測量対象の三次元データを計算する第4のステップとを有する測量方法である。
請求項5に記載の発明は、請求項4に記載の発明において、前記設置台上に前記無人航空機を設置した状態における前記無人航空機の位置と前記設置台の位置との関係は予め特定されており、前記設置台上に設置された状態で測位された前記無人航空機の位置と前記特定された内容に基づき、前記設置台の位置の特定が行なわれることを特徴とする。
請求項6に記載の発明は、請求項4または5に記載の発明の第4のステップにおいて、前記設置台を標定点として用いることを特徴とする。請求項7に記載の発明は、請求項4~6のいずれか一項の第4のステップにおいて、前記第4のステップにおいて、前記設置台の位置を拘束点として、前記航空写真測量の対象を撮影したカメラの外部標定要素および内部標定要素を最適化する調整計算が行なわれることを特徴とする。
請求項8に記載の発明は、請求項1~3のいずれか一項に記載の無人航空機の設置台に設置された状態における前記無人航空機の位置データを受け付ける位置データ受付部と、前記無人航空機の位置データに基づき、前記設置台の位置を特定する位置特定部と、飛行している前記無人航空機から前記設置台および航空写真測量の対象を撮影した画像の画像データを受け付ける画像データ受付部と、前記設置台の前記位置および前記画像データに基づき前記航空写真測量の対象の三次元データの計算を行う計算部とを備えた測量装置である。
請求項9に記載の発明は、請求項1~3のいずれか一項に記載の無人航空機の設置台を用いた測量システムであって、前記設置台に設置された状態における前記無人航空機の位置を測定する手段と、前記無人航空機の位置に基づき、前記設置台の位置を特定する手段と、飛行している前記無人航空機から前記設置台および航空写真測量の対象を撮影する手段と、前記設置台の前記位置および前記撮影で得た撮影画像に基づき前記航空写真測量の対象の三次元データを計算する手段とを有する測量システムである。
請求項10に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに請求項1~3のいずれか一項に記載の無人航空機の設置台に設置された状態における前記無人航空機の位置データを受け付けさせ、前記無人航空機の位置データに基づき、前記設置台の位置を特定させ、飛行している前記無人航空機から前記設置台および航空写真測量の対象を撮影した画像の画像データを受け付けさせ、前記設置台の前記位置および前記撮影で得た撮影画像に基づき前記航空写真測量の対象の三次元データの計算を行わせるプログラムである。
本発明によれば、航空写真測量に係り、標定用ターゲットの設置に係るコストを削減しつつ、高い測量精度が得られる技術が得られる。
実施形態の全体概念図である。 標定の原理を示すイメージ図である。 標定の原理を示すイメージ図である。 実施形態のブロック図である。 処理の手順の一例を示すフローチャートである。
1.第1の実施形態
(概要)
図1に実施形態の概要の全体図を示す。図1には、TS(トータルステーション)100、UAV200、UAV200の発射台220、PC(パーソナルコンピュータ)を利用して構成した測量データ処理装置400が示されている。UAV200は飛行しながらカメラ201による地上の撮影を行う。UAV200は、TS(トータルステーション)100により追跡され、且つ、その三次元位置が逐次測定される。TS100によるUAV200の追跡は、UAV200に搭載した反射プリズム202を追尾光により追尾することで行われる。TS100によるUAV200の測位は、反射プリズム202を対象としたレーザー測距により、TS100から見たUAV200の方向と距離を求めることで行われる。反射プリズム202は、コーナーキューブを利用した光学ターゲットであり、入射光を180°向きを反転させて状態で反射する。
TS100は、絶対座標系上における既知の三次元位置に設置されており、TS100から見たUAV200の方向と距離が計測されることで、絶対座標系におけるUAV200の三次元位置が特定される。具体的にいうと、TS100から測距用のレーザー光がUAV200の反射プリズム202に照射される。反射プリズム202で反射された当該レーザー光は、TS100で受光される。この反射光の受光タイミングとTS100内に設けられた基準光路を伝わった基準光の受光タイミングの位相差から、TS100から反射プリズム202までの距離が算出される。またこの際のTS100の光軸の方向からTS100から見た反射プリズム202の方向が判る。そして反射プリズム202までの距離と方向からTS100に対する反射プリズム202の位置が算出される。絶対座標系上におけるTS100の位置は既知なので、TS100に対する反射プリズム202位置が判明することで、絶対座標系における反射プリズム202の位置が特定される。これが反射プリズム202を対象としたレーザー測距の原理である。
絶対座標系というのは、地図情報を扱う地上に固定された座標系であり、地図座標系とも言える。例えば、GNSSで用いられる座標系が絶対座標系(地図座標系)である。絶対座標系における座標系の表記としては、緯度、経度、標高(平均海面からの高さ)が挙げられる。絶対座標系の座標軸の向きとしては、X軸が東の方向、Y軸が北の方向、Z軸が鉛直上方の方向とする例が挙げられる。ここでローカル座標系を用いることもできる。
TS(トータルステーション)100は、市場で入手可能なものを用いている。TS100に関しては、例えば特開2009-229192号公報、特開2012-202821号公報に記載されている。TS100によりUAV200を追跡し、測位する技術については、例えば特願2016-247917号や特願2017-002419号等に記載されている。また、TSによるターゲット(反射プリズム202)の検出および追跡に関する技術は、例えば日本国特許第5124319号公報に記載されている。
UAV200は、市販されているものにカメラ201と反射プリズム202を取り付けたものである。UAV200は、飛行制御装置、IUM(慣性計測装置)、飛行計画や飛行ログ等を記憶する記憶装置、無線通信装置、GNSS位置特定装置を備えている。ここで、UAV200におけるカメラ201、反射プリズム202、IMU、GNSS位置特定装置の位置および姿勢の関係は予め調べられており、そのデータは測量データ処理装置400に予め記憶されている。
UAV200は、飛行計画と飛行ログを記憶する記憶装置を備える。飛行計画は、通過点の座標とその点における速度を予め定めたデータである。飛行ログには、GNSS装置が計測した飛行経路のデータ、撮影データ、IMUが計測した撮影時のUAV200の姿勢のデータが記憶される。
UAV200は、脚部203,204,205,206を備えている。脚部206は、模様が付けられており、脚部203,2040,205と区別できるように工夫されている。脚部206を認識することで、UAV200の向きが特定される。
UAV200は、予め定めた飛行計画に従って飛行し、その際にカメラ201により航空写真測量の対象(例えば地表)を撮影する。撮影は、1秒毎や2秒毎といった時間間隔で行われ、撮影対象が重複し、少しずつずれた画像が飛行経路に沿って多数撮影される。カメラ201が撮影した画像データは、撮影時刻、撮影時刻にIMUによって計測されたUAV200の姿勢(カメラ201の姿勢)、撮影時刻にGNSS位置特定装置によって計測されたUAV200の位置(カメラ201の位置)のデータと共に飛行ログに格納される。飛行ログのデータは、飛行終了後に回収され、測量データ処理装置400で処理される。
発射台220は、UAV200の発射台兼標定用ターゲットとして機能する。発射台220は、航空写真測量に用いる標定点用ターゲットとしても機能させるためのターゲット表示機能を有している。この例では、カメラ201が撮影した航空写真中での特定を容易とするターゲット表示224が発射台に設けられている。ターゲット表示224は、航空写真測量における標定点として機能する。ターゲット表示の形状や色は、画像として識別し易いものが選択される。ターゲット表示としてカラーコードターゲットやバーコード表示を用いることもできる。
発射台220は、位置決め部221と222を備えている。位置決め部221は、脚部206を収容する凹部を有し、位置決め部222は、脚部203を収容する凹部を有している。2つの凹部は形状が異なるように設定されており、位置決め部221には、脚部206は収容できるが、脚部203は形が合わず収容できない。逆に、位置決め部222には、脚部203は収容できるが、脚部206は形が合わず収容できない。こうすることで、発射台220にUAV200を設置した際に、発射台220に対するUAV200の位置および姿勢が一義的に決まるようにしている。特にこの構造では、発射台220にUAV200を設置した際に、発射台220に対する反射プリズム202の位置が一義的に決まる。
発射台220にUAV200を設置した状態で、発射台220の位置(ターゲット表示224の中心位置)、UAV200の位置(例えば搭載するIMUの位置)、カメラ201の位置、反射プリズム202の位置の関係は一義的に決まる。この関係は予め既知のデータとして取得され、測量データ処理装置400内の記憶部311(図4参照)に記憶されている。
航空写真測量の精度を高めるには、各画像の撮影時におけるカメラ201の外部標定要素(位置と姿勢)の精度が重要となる。本実施形態では、以下の手順によりカメラ201の外部標定要素の精度を高める。
(処理フローの概略)
(1)飛行開始
まず、UAV200を発射台220上に設置する。この際、位置決め部221および222を利用して、発射台220上におけるUAV200の姿勢および位置を予め定めたものとなるようにする。上記のセッティングが済んだ状態(飛行開始前の状態)で、TS100によりUAV200の反射プリズム202を捕捉し、追尾と測位を開始する。この飛行開始前の段階における反射プリズム202の測位データから反射台220の標定点としての位置(この場合は、ターゲット表示224の中心の位置)が割り出され、その値が後に行われる調整計算時の拘束点として取得される。
その後、飛行を開始する。飛行は、予め定めた飛行計画に従って行われ、飛行中にカメラ201による地表の撮影が行われる。この際、撮影する航空写真画像の中に発射台220が写った画像が必ず含まれるように、撮影のタイミングや飛行コースの設定が行なわれる。
(1)相互標定
航空写真画像に基づく任意スケールの相対三次元モデルの作成を行い、複数の画像間で特定された特徴点と各画像の撮影時におけるカメラ201の位置および姿勢の相対関係を特定する。
(2)絶対標定
TS100が測位したカメラ201の位置(反射プリズムの位置を利用)を用いて上記(1)の相互標定で作成された相対三次元モデルにスケール(実際の値)を与え、カメラ201の絶対座標系における外部標定要素の絶対値を求める。
(3)調整計算
バンドル調整計算および反射プリズム位置とカメラ位置の関係を考慮した調整計算を同時に行い、特徴点の位置、外部標定用要素および内部標定要素の最適化を行う。この調整計算の際、飛行を開始する前の段階で取得した発射台220の位置を拘束点として用いる。
上記の調整計算の際、他の補正要素を考慮してもよい。例えば、TS100からの測距光および追尾光の入射角に依存する反射プリズム202における反射点位置の偏差を考慮した計算を行ってもよい(例えば、特願2017-171289参照)。
(各処理の詳細)
(1)相互標定
以下、説明を簡素にするために重複した対象を異なる位置から撮影した2枚の画像(以下ステレオ画像)を用いた相互標定について説明する。UAV200は、飛行しながらカメラ201により地表を連続して撮影し、多数の航空写真画像を得る。ここで、時間軸上で近接し、撮影範囲が重複した2枚の航空写真画像をステレオ画像として選択する。UAV200は飛行しながら撮影を刻々と行うので、上記のステレオ画像は、視点の位置が異なり、且つ、重複した対象が写った2枚の画像となる。
図2は、時刻t1におけるカメラ200を示すカメラ201a、時刻t2(t1<t2)におけるカメラ200を示すカメラ201bが地表の重複した領域を撮影した場合のイメージ図である。
この処理では、まずカメラ201aから撮影した第1の画像とカメラ201bから撮影した第2の画像のそれぞれから特徴点の抽出を行い、更に第1の画像と第2の画像における特徴点の対応関係の特定を行う。この技術については、例えば特開2013-186816号公報や特開2013-178656号公報に記載されている。なお、特開2013-186816号公報には、特徴点の抽出、2つの画像間における特徴点のマッチング、交会法、各種の標定、特徴点の三次元位置の算出、バンドル調整等について詳細に記載されている。
図2には、上記第1および第2の画像から抽出された共通の特徴点Pが示されている。なお、2つの画像に共通な特徴点は多数抽出されるが、ここでは説明を簡素にするために1点の特徴点Pのみが図2に図示されている。
相互標定では、カメラ201aから撮影した第1の画像とカメラ201bから撮影した第2の画像の間における特徴点のずれが解消されるようにカメラ201aと201bの向きと位置を探索(調整)し、カメラ201aおよび201bの相対的な外部標定要素(位置と姿勢)を求める。この際、UAV200のIMUが計測したUAV200の姿勢のデータから求めた各画像の撮影時におけるカメラ201a,201bの姿勢のデータを初期値として、カメラ201aおよび201bの相対的な外部標定要素の探索を行う。この段階では、実スケール(絶対座標系における座標値や姿勢の値)が与えられておらず、この段階における外部標定要素は、カメラ201aと201bの相対位置関係と相対的な姿勢(向き)の関係となる。
図2の場合でいうと、相互標定により、カメラ201a,201b,特徴点Pの相対的な位置関係、すなわち、カメラ201a,201b,特徴点Pを頂点とする三角形の形状(2つの角の角度)が求まる。ただし、実スケールが与えられていないので、上記の三角形の大きさは定まらず、相対的な図形となる。
相互標定は、カメラ201が撮影した利用可能な全ての画像を対象に行われ、各画像に対応した各視点位置におけるカメラ201の相対的な外部標定要素を得る。上記の説明では、2枚の画像をステレオ画像として用いた相互標定の例を説明したが、実際には重複した対象が写った3枚以上の画像を用いて相互標定が行われる。
多数の画像に対応したカメラ位置に関して、上記の相対的な位置と姿勢の関係を求めることで、多数の特徴点とカメラの位置および姿勢との相対的な関係が特定された相対三次元モデルが得られる。図3には、複数の画像に係る各カメラの位置と向きの相対関係と、複数の画像で共通する特徴点の位置の相対関係を特定した相対三次元モデルを作成する原理が概念的に示されている。この相対三次元モデルは実スケールが与えられておらず、絶対座標系との関係は、相互標定の段階では判っておらず未知である。
図3には、発射台220も撮影画面209から抽出され、標定点として利用される状態が示されている。ここで、撮影画面209中の黒点210は、撮影画面中における特徴点や発射台220の画面上の点である。測定対象物の特徴点および発射台220、上記の画像上の点210、投影中心(カメラ201の光学原点)の3点を結ぶ光束(バンドル)が同一直線上になければならないという条件が、後述する共線条件である。
上記の相互標定は、特徴点の他に発射台220(ターゲット表示224)を用いて行ってもよい。この場合、発射台220(ターゲット表示224)を標定点とした相互標定が行われる。この処理では、まず、カメラ201が写した写真画像像中から発射台220(ターゲット表示224)の画像を抽出する。この処理は、公知の画像認識技術を用いて行われる。またこの処理は、発射台220が写った複数の写真画像を対象に行われる。そして、発射台220(ターゲット表示224)の位置を図2のPとして上述した相互標定を行う。
(2)絶対標定
仮に、図3における複数の特徴点の絶対座標系における位置が判れば、図3の相対モデルに実スケールが与えられ、またカメラ201の絶対座標系における向きも特定される。これは、従来から行われている標定用ターゲットを用いた絶対標定の原理である。
本実施形態では、従来利用されている標定用ターゲットを用いずに相互標定によって得られた相対三次元モデルに実スケールを与え、図3に示す相対三次元モデルを絶対座標系上で記述できるようにする。以下、本実施形態における絶対標定ついて説明する。
この処理では、図3に例示する相対三次元モデルにおけるカメラ201の移動軌跡に着目する。図1に示すように、本実施形態では、UAV200のカメラ201(反射プリズム202)の移動軌跡は、TS100により追跡および測位され、その軌跡は絶対座標系上で判明している。
そこで、反射プリズム202の位置をカメラ201の位置と見なして、相対三次元モデル上のカメラ201の移動軌跡がTS100で測位した絶対座標系上におけるカメラ201の移動軌跡にフィッティングするように、相対三次元モデルの縮尺調整、平行移動、回転移動を行う。
相対三次元モデルにおけるカメラ201の移動軌跡(各時刻における位置を追った軌跡)をTS100の測位データにフィッティングさせることで、相対三次元モデルにおけるカメラ201の移動軌跡が絶対座標系上で記述可能となる。こうして、相対三次元モデルにおけるカメラ位置に実スケール(実際の値)が与えられる。相対三次元モデルにおける各カメラ位置が与えられることで、相対三次元モデルにおける各カメラの姿勢も絶対座標系における値が得られる。また、当該相対三次元モデルにおける各特徴点の実位置も与えられる。こうして相互標定で得られた相対三次元モデルにおける各パラメータの絶対座標系上における実際の値(絶対値)が与えられる。
本明細書では、絶対座標系上における実際の値が絶対値として扱われる。例えば、緯度,経度,標高が位置の絶対値となる。また、北方向をX軸、東方向をY軸、鉛直上方向をZ軸とするXYZ座標系におけるベクトルの向きが姿勢の絶対値となる。なお、絶対座標系の代わりにTS100を原点する座標系(TS座標系)等のローカル座標系を採用することもできる。この場合、特徴点やカメラ201の外部標定要素の絶対値は、TS座標系等のローカル座標系におけるものとなる。
なお、図3の原理で得られる相対三次元モデルは、誤差を含んでおり、また上記の絶対標定において、カメラ201の位置を反射プリズム202の位置と見なすことに起因する誤差もある。このため、上記絶対標定におけるカメラ位置の軌跡のフィッティングは完全ではなく誤差を含んでいる。よって、絶対標定で得られる特徴点とカメラ201の外部標定要素の値も誤差を含んでいる。
以上述べたように、本実施形態における絶対標定では、カメラ201の移動軌跡を足掛かりとして、相互標定において用いた相対三次元モデルにおけるカメラ201の移動軌跡に絶対座標系における値を付与し、当該相対三次元モデルに実スケールを与える。すなわち、相互標定で用いた相対三次元モデルをTS100で実測したカメラ位置に座標変換し、当該相対三次元モデルのスケールと向きを絶対座標系上で特定する。
上記の絶対標定により、各画像における特徴点の三次元位置、各画像に対応するカメラ201の外部標定要素(位置と姿勢)が求まる。
また、上記の絶対標定における相対三次元モデルに実スケールを与える処理の際、反射台220の位置を拘束点として用いてもよい。この場合、相対三次元モデルに実スケールを与える処理における拘束条件が増えるので、当該処理における計算効率と計算精度を高めることができる。
(3)調整計算
上記(2)の絶対標定により得られた特徴点の位置、および外部標定要素は誤差を含んでいる。この誤差を低減するために以下に説明する調整計算を行う。なお、調整計算の際に内部標定要素(画面距離、主点位置およびディストーションパラメータ)も未知パラメータとして最適化を行う。この調整計算では、数1,数2,数3の観測方程式を立て、最小二乗法による各パラメータ(特徴点(Xj,Yj,Zj)と外部標定要素(Xoi,Yoi,Zoi,a11i~a33i(回転行列))および内部標定要素(c,xp,yp,k1~k3,p1~p2))の最適化が行われる。なお、数1で示したΔxij,ΔyijはBrownのディストーションモデルの補正式であるが、使用するディストーションモデルは別のモデルであってもよい。
Figure 0007043283000001
c:画面距離(焦点距離)
(Xj,Yj,Zj):着目した特徴点の三次元座標
(xij,yij):画像i上における点jの画像上の座標
(Xoi,Yoi,Zoi):写真iの撮影時におけるカメラ201の位置
(a11i~a33i):写真iの撮影時におけるカメラ201の姿勢を示す回転行列
(Δxij,Δyij):内部標定要素に関わる補正量
(xp,yp):主点位置座標
(k1~k3):放射方向のディストーションパラメータ
(p1~p2):接線方向のディストーションパラメータ
Figure 0007043283000002
(Xpi,Ypi,Zpi):画像iを撮影した時刻における反射プリズム202の位置
(L,L,L) :カメラ位置(投影中心)と反射プリズム反射点との離間距離
Figure 0007043283000003
(XGj,YGj,ZGj):発射台220の位置
上記の数1において、(Xj,Yj,Zj)の初期値は、上述した絶対標定で得られた三次元モデル(絶対座標系上における三次元モデル)における特徴点の三次元座標を用いる。(Xoi,Yoi,Zoi)の初期値は、絶対標定で得られた三次元モデルにおけるカメラ201の位置を用いる。(a11i~a33i)の初期値は、絶対標定で得られた三次元モデルにおけるカメラ201の姿勢を示す回転行列の値を用いる。(Xpi,Ypi,Zpi)は、飛行開始前のUAV200が発射台220上に設置された状態において測位された反射プリズム202の位置データを用いる。
ここで、(Xj,Yj,Zj)として、撮影画像中から抽出した特徴点だけでなく発射台220(ターゲット表示224)の三次元座標も更に用いてもよい。この場合、(xij,yij)は画像i上における発射台220(ターゲット表示224)の画像上の座標となる。発射台220(ターゲット表示224)は、UAV200の飛行開始前にTS100により精密に測位されている。観測点の中に一つとはいえ、位置精度の高い点が含まれることで、計算誤差を抑える効果が得られる。
数1は、バンドル調整計算を行うための観測方程式である。バンドル調整計算では、測定対象物の特徴点、画像上の点、投影中心の3点を結ぶ光束(バンドル)が同一直線上になければならないという共線条件に基づき、各画像の光束1本毎に数1の観測方程式を立て、最小二乗法により特徴点の座標(Xj,Yj,Zj)とカメラ201の外部標定要素のパラメータ(Xoi,Yoi,Zoi,a11i~a33i)および内部標定要素のパラメータ(c,xp,yp,k1~k3,p1~p2)の同時調整が行われる。
数2は、カメラ201と反射プリズム202の位置のズレを考慮にいれた調整計算を行うための観測方程式である。(L,L,L)は、UAV200に固定された座標系におけるカメラ201と反射プリズム202の位置関係(オフセット関係)を決める既知のパラメータである。
数3は、発射台220の位置(XGj,YGj,ZGj)を基準点(標定点)として、特徴点の座標(Xj,Yj,Zj)を拘束する式である。特徴点の座標(Xj,Yj,Zj)は、相互標定および絶対標定を用いて計算により求めた値であり、誤差を含んでいる。他方で、発射台220の位置(XGj,YGj,ZGj)は、TS100により精密に測位されている。そこで、各特徴点に関して数3の計算を行いその残差が十分に小さい、あるいは前回の計算からの残差の変動が十分に小さい(計算結果の変動が収束した状態)となる(Xj,Yj,Zj)を求める。これにより、特徴点の位置の誤差が低減され、それが同時に計算される数1および数2に反映され、カメラ201の外部標定要素(Xoi,Yoi,Zoi,a11i~a33i)および内部標定要素(c,xp,yp,k1~k3,p1~p2)の精度が高められる。
数1~数3を用いた調整計算では、特徴点(Xj,Yj,Zj)とカメラ201の外部標定要素(Xoi,Yoi,Zoi,a11i~a33i(姿勢を示す回転行列))および内部標定要素(c,xp,yp,k1~k3,p1~p2)をパラメータとして、数1~数3の残差を算出する。この際、最小二乗法により上記の残差が収束するような(Xj,Yj,Zj),(Xoi,Yoi,Zoi,a11i~a33i),(c,xp,yp,k1~k3,p1~p2)の組み合わせを探索する。具体的には、数1~数3で示される残差が小さくなるように、各パラメータ(Xj,Yj,Zj),(Xoi,Yoi,Zoi,a11i~a33i),(c,xp,yp,k1~k3,p1~p2)に補正量を加えて数1~数3の計算を同時に行うことを繰り返す。そして、数1~数3が収束条件を満たす未知パラメータ(Xj,Yj,Zj),(Xoi,Yoi,Zoi,a11i~a33i),(c,xp,yp,k1~k3,p1~p2)の組み合わせを求める。収束条件としては、残差が十分に小さい、前回の計算からの残差の変動が十分に小さい(計算結果の変動が収束した状態)を用いる。
(優位性/その他)
上述した方法では、発射台220を航空写真測量の対象(例えば地表)に設置された標定点として用いることで、従来用いられていた標定用ターゲットを利用せずに高い精度の航空写真測量が可能となる。本技術では、発射台220の位置の特定は、UAV200の飛行開始前の段階で行ったTS100による反射プリズム202の測位により行われる。この際の測位は、UAV200の追跡および測位に係る処理の一環であり、発射台220を直接の対象とした測位作業ではない。そのため、発射台220の位置の特定のための手間は増えない。また、発射台220を設置する位置は任意であり、発射台220の位置決めのための余計な作業は必要ない。
本技術は、従来から行われている標定用ターゲットの利用を排除するものではない。よって、本技術において、標定用ターゲットを地表に配置し、画像から抽出した特徴点に対する拘束条件を更に加えることも可能である。この場合、数3における(XGj,YGj,ZGj)として発射台220の位置(XG1,YG1,ZG1)に加えて標定用ターゲット(XGj,YGj,ZGj)(j=2,3,4・・)の位置を用いて調整計算を行う。
(ハードウェアの構成)
図4には、上述した(1)相互標定,(2)絶対標定,(3)調整計算を行う測量データ処理装置400のブロック図が示されている。測量データ処理装置400は、コンピュータとして機能する。測量データ処理装置400は、PC(パーソナルコンピュータ)やWS(ワークステーション)を用いて構成されている。
測量データ処理装置400を専用の電子回路で構成することもできる。例えば、FPGA等の電子回路を用いて測量データ処理装置400の一部または全部を構成することもできる。PCやWSを用いて測量データ処理装置400を構成した場合、ユーザは、当該PCやWSのユーザーインターフェース(GUI(グラフィカルユーザインターフェース)等)を用いて、測量データ処理装置400の操作を行う。測量データ処理装置400は、測位データ受付部300、画像データ受付部301、相互標定部302、絶対標定部303、調整計算実行部304、拘束点取得部305、処理制御部308、三次元モデル作成部309、通信部310、記憶部311、標定点抽出部312を備えている。
測位データ受付部300は、TS100が測位したUAV200の位置データ(反射プリズム202の位置データ)を受け付ける。この位置データは、飛行開始前の発射台220上における反射プリズム202の位置、および画像iを撮影した時刻における反射プリズム202の絶対座標系における位置(Xpi,Ypi,Zpi)である。
画像データ受付部301は、カメラ201が撮影した画像の画像データを受け付ける。この画像データは、撮影時刻、撮影時刻におけるUAV200に搭載のIMUのデータ(UAV200の姿勢のデータ)と関連付けされた状態で、画像データ受付部301で受け付けられる。UAV200におけるカメラ201の外部標定要素(UAV200に対するカメラ201の姿勢と位置)は既知であるので、UAV200の姿勢が分かれば、その際におけるカメラ201の姿勢も分かる。
相互標定部302は、画像データ受付部301が受け付けた画像データの中から、重複した対象が撮影された複数の画像を抽出し、それを対象に前述した相互標定を行う。この処理では、連続して多数枚が撮影された各画像から抽出した多数の特徴点と各画像を撮影したカメラ201の外部標定要素の相対関係が特定された相対三次元モデルが作成され、各画像に対応したカメラの相対的な外部標定要素が算出される。なお、上記の相互標定の際、発射台220の位置を拘束点として用いることも可能である。
絶対標定部303は、相互標定部302で行った相互標定の結果を用いて、上述した絶対標定を行う。この処理では、相互標定で得た相対三次元モデルにおけるカメラ201の移動経路Sと、TS100が追尾したUAV200(反射プリズム202)の移動経路S’とが比較され、移動経路Sと移動経路S’の差が最小となるように、相対三次元モデルの縮尺調整、平行移動、回転移動を行う。上記の差が最小となった段階で、相対三次元モデルに実スケールが与えられ、また絶対座標系(移動経路Sを記述する絶対座標系)における向きが決まる。なお、上記の絶対標定の際、発射台220の位置を拘束点として用いることも可能である。
調整計算実行部304は、数1~数3を用いた調整計算の処理を行う。この処理では、数1のバンドル調整計算と、数2のカメラ201の位置と反射プリズム202の位置の違いに起因する誤差を最小化する調整計算、および数3の拘束条件に係る計算が同時に行なわれ、画像中から抽出した特徴点の三次元座標、各画像に対応したカメラ201の外部標定要素および内部標定要素が最適化される。
拘束点取得部305は、反射台220(ターゲット表示224)の撮影画像中における位置および絶対座標系上における位置を取得する。反射台220(ターゲット表示224)の位置は、以下のようにして取得される。まず、飛行開始前の状態で発射台220上に設置されたUAV200の反射プリズム202の絶対座標系における位置がTS100によって計測される。UAV200が発射台220上に設置された状態における反射プリズム202と反射台220(ターゲット表示224)の位置関係は既知であるので、発射台220上に設置されたUAV200の反射プリズム202の位置が判ることで、反射台220(ターゲット表示224)の位置が割り出される。この処理およびその結果の取得が拘束点取得部305で行われる。
処理制御部308は、測量データ処理装置400で行われる処理の手順やタイミングを制御する。処理制御部308の機能は、測量データ処理装置400を構成するハードウェア(例えば、PCやWS)が備えるCPUによって担われる。三次元モデル作成部309は、調整計算が行われた結果得られた特徴点の三次元座標を用いてカメラ201が撮影した画像に基づく三次元モデルの作成を行う。画像に基づく三次元モデルの作成については、例えば特開WO2011/070927号公報、特開2012-230594号公報、特開2014-35702号公報等に記載されている。
通信部310は、外部の機器との間で通信を行う。PCやWSを用いて測量データ処理装置400を構成した場合、通信部310は、利用したPCやWSのインターフェース機能や通信機能を利用して構成される。記憶部311は、測量データ処理装置400の動作に必要なプログラムやデータ、測量データ処理装置400の動作の結果得られたデータ等を記憶する。PCやWSを用いて測量データ処理装置400を構成した場合、記憶部311として、利用したPCやWSの半導体メモリやハードディスク装置が利用される。
標定点抽出部312は、画像中から標定点として利用される特徴点の抽出および発射台220(ターゲット表示224)の抽出を行う。特徴点の抽出は、ソーベルフィルタやガウシアンフィルタ等を用いた画像中からの特徴点抽出技術を用い行う。発射台220の抽出は、公知の画像認識技術を用いて行う。
(処理の手順の一例)
図7は、測量データ処理装置400で行われる処理の一例を示すフローチャートである。図7の処理を実行するプログラムは、測量データ処理装置400の記憶部311に記憶され、処理制御部308によって実行される。当該プログラムは、適当な記憶媒体に記憶され、そこから提供される形態も可能である。
まず、UAV200を発射台220上に設置する(ステップS101)。この際、位置決め部221,222を利用して、発射台220に対するUAV200の姿勢と位置を予め定められた関係となるようにする。なお、ここでは、位置と姿勢は絶対座標系上におけるものを扱うものとする。
次に、飛行を開始する前の段階で、UAV200の測位をTS100により行う(ステップS102)。なお、TS100は、既知の位置に設置され、姿勢の基準が特定された状態ものを用いる。例えば、TS100の位置の経度、緯度、平均海面からの高度は、予め特定され、またTS100の光軸の向きは、水平面からの仰角または俯角、鉛直上の方向から見た北を基準とした時計回り方向の角度で計測されることが予め定められている。ステップS102の作業では、TS100により反射プリズム202の測位が行なわれる。UAV200の位置(例えば、IMUの位置や重心の位置)、反射プリズム202の反射中心の位置、カメラ201の投影中心(光学原点)の位置の関係は予め既知の情報であるので、ステップS102の作業により、UAV200およびカメラ201の位置が判明する。
UAV200の位置を求めたら、発射台220の位置(この例ではターゲット表示224の中心の位置)を取得する(ステップS103)。この処理は、拘束点取得部305で行われる。
発射台220の位置は、以下のようにして求められる。この段階では、発射台220上におけるUAV200の位置がTS100により計測されている。ここで、UAV200の位置と発射台220の姿勢と位置の関係は、ステップS101で確定されており、既知の情報である。よって、ステップS102で得たUAV200の位置データに基づき、発射台220の位置が求められる。
また、以下のように考えることもできる。まず、ステップS101において、反射プリズム202の位置が特定されている。ここで、反射プリズム202の位置と発射台220の位置(ターゲット表示224の中心の位置)との関係は特定され、既知の情報である。よって、発射台220上に置かれたUAV200の反射プリズム202の位置情報を得ることで、発射台220の位置を求めることができる。
次に、UAV200の飛行を開始し、カメラ201を用いた航空写真測量の対象(地表や建築構造物等)の空撮を行う(ステップS104)。この際、TS100により、飛行しているUAV200の追尾と測位が継続して行われる。また、撮影した写真画像の中に発射台220が写ったものが複数枚含まれるようにする。
空撮が終了したら、カメラ201が撮影した画像データおよびTS100のUAV200に係る測位データを取得する(ステップS105)。なお、UAV200の飛行開始前の段階の測位データ(発射台220上におけるUAV200の測位データ)をこの段階で受け付けてもよい。画像データと測位データを取得したら、カメラ201が撮影した写真画像、その撮影時刻、当該撮影時刻においてTS100が測位したUAV200の位置のデータを関連付けし、それを記憶部311に記憶する。
次に、空撮画像中から特徴点の抽出および発射台220(ターゲット表示224)の抽出を行う(ステップS106)。この処理は、標定点抽出部312で行われる。
次に、UAV200から撮影した画像に基づきスケールなしの三次元モデル(相対三次元モデル)の作成が行われる(ステップS107)。この処理は、相互標定部302で行われる。この処理では、図2の原理により、標定点Pjを利用した撮影対象の相対三次元モデルの作成が行なわれる。ここでは、標定点Pjとして、画像中から抽出された特徴点が用いられるが、それに加えて発射台220を利用することもできる。この処理において相互標定が行われ、各画像に対応したカメラ201の相対的な外部標定要素を求める。
次に、ステップ107で作成した相対三次元モデルにおけるカメラ201の移動経路Sが、TS100が測位した反射プリズム202の移動経路S’にフィッティングするように相対三次元モデルの縮尺調整、平行移動、回転移動を行う。この処理により、相対三次元モデルに対して、反射プリズム202の位置への座標変換が施され、相対三次元モデルに実スケールが与えられる。(ステップS108)。この処理は、絶対標定部303で行われる。
ステップS108の処理により、ステップ107で作成した相対三次元モデルが絶対座標系上で記述される三次元モデルとなり、絶対座標系における各画像の特徴点の三次元座標(Xj,Yj,Zj)、および画像iに対応する絶対座標系におけるカメラの外部標定要素(Xoi,Yoi,Zoi,a11i~a33i)が得られる。なお、この処理において、発射台220の位置を拘束条件として用いてもよい。
次に調整計算が行われる(ステップS109)。この処理は、調整計算実行部304で行われる。この処理では、数1~数3の最小二乗解を計算することで、(Xj,Yj,Zj)、(Xoi,Yoi,Zoi,a11i~a33i)、(c,xp,yp,k1~k3,p1~p2)の最適化を行う。ここで、ステップS110の判定を行い、収束条件を満たした場合に処理を終了し、特徴点の三次元座標(Xj,Yj,Zj)、外部標定要素(Xoi,Yoi,Zoi,a11i~a33i)および内部標定要素(c,xp,yp,k1~k3,p1~p2)の値を確定する。収束条件を満たさない場合、未知パラメータ((Xj,Yj,Zj)、(Xoi,Yoi,Zoi,a11i~a33i)、(c,xp,yp,k1~k3,p1~p2))を更新し(ステップS111)、再度調整計算を行う。実際には、未知パラメータの更新が多数回繰り返し行われ、収束条件が満たされた段階で(Xj,Yj,Zj)、(Xoi,Yoi,Zoi,a11i~a33i)、(c,xp,yp,k1~k3,p1~p2)の値が確定される。
(むすび)
相互標定により、カメラ201の移動経路Sを記述する相対三次元モデルが作成される。他方でUAV200搭載の反射プリズム202はTS100で測位され、その絶対座標系上における移動経路S’が実測値として特定される。
相互標定の後、絶対標定を行う。絶対標定では、絶対座標系上における実測値である移動経路S’に相対三次元モデル上の移動経路Sがフィッティングするように、相対三次元モデルの縮尺調整、平行移動、回転を行う。絶対座標系上において、移動経路S’に移動経路Sがフィッティングすることで、相互標定で得た相対三次元モデルの絶対座標系上における向きと実スケールが与えられる。
絶対標定の後、数1~数3の調整計算を同時に行ない、撮影対象の特徴点の三次元座標(Xj,Yj,Zj)、カメラ201の外部標定要素(Xoi,Yoi,Zoi,a11i~a33i)および内部標定要素(c,xp,yp,k1~k3,p1~p2)の最適化を行う。この際、数1のバンドル調整計算と同時に、数2の調整計算を同時に行うことで、カメラ201と反射プリズム202の位置のズレに起因する各パラメータへの誤差の影響が低減される。加えて、発射台220の位置データを用いた数3の拘束条件に係る調整計算を同時に行うことで、数1~数3を速く収束させることができ、また高い計算精度を得ることができる。
また、本技術は、予め位置を特定した多数の標定点(標定用ターゲット)を用いないで測量対象の三次元モデルの作成ができる優位性がある。他方で、予め位置を特定した多数の標定点を用いないので、測量現場固有のパラメータの偏差や誤差要因が存在する場合がある。固定の内部標定要素を用いた場合、上記の偏差や誤差要因が調整計算(バンドル調整)に悪影響を与える。これに対して、本技術では、内部標定要素を固定せず、内部標定要素も含めて調整計算を行うので、上記の悪影響を抑えることができる。
(その他)
図1には、UAV200を発射台220に対する姿勢および位置を物理的に決める手段(位置決め部221,222)が示されているが、それに代わって、あるいはそれに加えて発射台220に対するUAV200の姿勢と位置を決める表示を発射台220に付与してもよい。この場合、この表示を目安にUAV200の発射台220への設置が行われる。
UAV200の形状が中心軸に対して対称であり、この中心軸上に反射プリズムが配置され、発射台220にUAV200を設置した状態において、UAV200の中心軸と発射台220の中心(ターゲット表示224の中心)が一致する場合、設置状態における発射台220に対するUAV200の姿勢は問われない。
発射台220は、空撮画像中から識別できるターゲット表示機能を有していればよい。よって、識別し易い形状や色として、ターゲット表示224を設けない構造とすることも可能である。
100…TS(トータルステーション)、200…UAV、201…カメラ、202…反射プリズム、220…発射台、221…位置決め部、222…位置決め部、224…ターゲット表示。

Claims (10)

  1. 無人航空機が設置される無人航空機の設置台であって、
    航空写真測量に用いる標定点を構成するターゲット表示機能と、
    飛行前の段階における無人航空機の前記ターゲット表示機能に対する位置が特定された状態で当該設置台に対する前記無人航空機の位置を決める構造および/または表示と
    を備える無人航空機の設置台。
  2. 前記無人航空機はレーザー測位のための反射ターゲットを備え、
    前記無人航空機が当該設置台に搭載された状態において、前記ターゲット表示機能と前記反射ターゲットの位置関係が特定されている請求項1に記載の無人航空機の設置台。
  3. 前記反射ターゲットの位置が測位されることで、当該設置台の位置が特定される請求項2に記載の無人航空機の設置台。
  4. 請求項1~3のいずれか一項に記載の無人航空機の設置台を用いた測量方法であって、
    前記設置台に設置された状態における前記無人航空機の位置を測定する第1のステップと、
    前記第1のステップの結果に基づき、前記設置台の位置を特定する第2のステップと、
    飛行している前記無人航空機から前記設置台および航空写真測量の対象を撮影する第3のステップと、
    前記第2のステップで得た前記設置台の位置および前記第3のステップで得た撮影画像に基づき測量対象の三次元データを計算する第4のステップと
    を有する測量方法。
  5. 前記設置台上に前記無人航空機を設置した状態における前記無人航空機の位置と前記設置台の位置との関係は予め特定されており、
    前記設置台上に設置された状態で測位された前記無人航空機の位置と前記特定された内容に基づき、前記設置台の位置の特定が行なわれる請求項4に記載の測量方法。
  6. 前記第4のステップにおいて、前記設置台を標定点として用いる請求項4または5に記載の測量方法。
  7. 前記第4のステップにおいて、前記設置台の位置を拘束点として、前記航空写真測量の対象を撮影したカメラの外部標定要素および内部標定要素を最適化する調整計算が行なわれる請求項4~6のいずれか一項に記載の測量方法。
  8. 請求項1~3のいずれか一項に記載の無人航空機の設置台に設置された状態における前記無人航空機の位置データを受け付ける位置データ受付部と、
    前記無人航空機の位置データに基づき、前記設置台の位置を特定する位置特定部と、
    飛行している前記無人航空機から前記設置台および航空写真測量の対象を撮影した画像の画像データを受け付ける画像データ受付部と、
    前記設置台の前記位置および前記画像データに基づき前記航空写真測量の対象の三次元データの計算を行う計算部と
    を備えた測量装置。
  9. 請求項1~3のいずれか一項に記載の無人航空機の設置台を用いた測量システムであって、
    前記設置台に設置された状態における前記無人航空機の位置を測定する手段と、
    前記無人航空機の位置に基づき、前記設置台の位置を特定する手段と、
    飛行している前記無人航空機から前記設置台および航空写真測量の対象を撮影する手段と、
    前記設置台の前記位置および前記撮影で得た撮影画像に基づき前記航空写真測量の対象の三次元データを計算する手段と
    を有する測量システム。
  10. コンピュータに読み取らせて実行させるプログラムであって、
    コンピュータに
    請求項1~3のいずれか一項に記載の無人航空機の設置台に設置された状態における前記無人航空機の位置データを受け付けさせ、
    前記無人航空機の位置データに基づき、前記設置台の位置を特定させ、
    飛行している前記無人航空機から前記設置台および航空写真測量の対象を撮影した画像の画像データを受け付けさせ、
    前記設置台の前記位置および前記撮影で得た撮影画像に基づき前記航空写真測量の対象の三次元データの計算を行わせるプログラム。
JP2018024136A 2018-02-14 2018-02-14 無人航空機の設置台、測量方法、測量装置、測量システムおよびプログラム Active JP7043283B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018024136A JP7043283B2 (ja) 2018-02-14 2018-02-14 無人航空機の設置台、測量方法、測量装置、測量システムおよびプログラム
KR1020207022945A KR20200140239A (ko) 2018-02-14 2019-02-14 무인 항공기의 설치대, 측량 방법, 측량 장치, 측량 시스템 및 프로그램
PCT/JP2019/005298 WO2019160022A1 (ja) 2018-02-14 2019-02-14 無人航空機の設置台、測量方法、測量装置、測量システムおよびプログラム
EP19754553.6A EP3754298A4 (en) 2018-02-14 2019-02-14 STORAGE TABLE FOR UNMANNED AIRCRAFT, SURVEYING METHOD, SURVEYING DEVICE, SURVEYING SYSTEM AND PROGRAM
US16/963,217 US11221216B2 (en) 2018-02-14 2019-02-14 Placement table for unmanned aerial vehicle, surveying method, surveying device, surveying system and program
CN201980013492.9A CN112005077B (zh) 2018-02-14 2019-02-14 无人航空器的设置台、测量方法、测量装置、测量系统和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018024136A JP7043283B2 (ja) 2018-02-14 2018-02-14 無人航空機の設置台、測量方法、測量装置、測量システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2019138842A JP2019138842A (ja) 2019-08-22
JP7043283B2 true JP7043283B2 (ja) 2022-03-29

Family

ID=67619422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018024136A Active JP7043283B2 (ja) 2018-02-14 2018-02-14 無人航空機の設置台、測量方法、測量装置、測量システムおよびプログラム

Country Status (6)

Country Link
US (1) US11221216B2 (ja)
EP (1) EP3754298A4 (ja)
JP (1) JP7043283B2 (ja)
KR (1) KR20200140239A (ja)
CN (1) CN112005077B (ja)
WO (1) WO2019160022A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7043283B2 (ja) * 2018-02-14 2022-03-29 株式会社トプコン 無人航空機の設置台、測量方法、測量装置、測量システムおよびプログラム
JP7161298B2 (ja) * 2018-03-26 2022-10-26 株式会社トプコン ターゲット装置、測量システム
CN109976370B (zh) * 2019-04-19 2022-09-30 深圳市道通智能航空技术股份有限公司 立面环绕飞行的控制方法、装置、终端及存储介质
JP7303658B2 (ja) 2019-04-24 2023-07-05 株式会社トプコン 赤外線写真画像の処理方法、赤外線写真画像の処理装置、および赤外線写真画像の処理用プログラム
US11511885B2 (en) * 2020-03-13 2022-11-29 Wing Aviation Llc Adhoc geo-fiducial mats for landing UAVs
JP2022023592A (ja) 2020-07-27 2022-02-08 株式会社トプコン 測量システム、測量方法および測量用プログラム
CN114740511B (zh) * 2022-06-13 2022-09-20 广州地铁设计研究院股份有限公司 基于测量机器人的无人机定位方法及无人机定位系统
CN115278074B (zh) * 2022-07-26 2023-05-12 城乡院(广州)有限公司 基于宗地红线的无人机拍摄方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012071645A (ja) 2010-09-28 2012-04-12 Topcon Corp 自動離着陸システム
JP2016017931A (ja) 2014-07-11 2016-02-01 株式会社パスコ 測量用標識および測量方法
US20180204469A1 (en) 2017-01-13 2018-07-19 Unmanned Innovation, Inc. Unmanned aerial vehicle visual point cloud navigation
WO2019026169A1 (ja) 2017-08-01 2019-02-07 J Think株式会社 作業機械の運転システム
WO2019160022A1 (ja) 2018-02-14 2019-08-22 株式会社トプコン 無人航空機の設置台、測量方法、測量装置、測量システムおよびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5124319B2 (ja) 1972-11-11 1976-07-23
JP5124319B2 (ja) 2008-03-21 2013-01-23 株式会社トプコン 測量機、測量システム、測定対象の検出方法、および測定対象の検出プログラム
JP5480914B2 (ja) 2009-12-11 2014-04-23 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
JP5725922B2 (ja) 2011-03-25 2015-05-27 株式会社トプコン 測量システム及びこの測量システムに用いる測量用ポール及びこの測量システムに用いる携帯型無線送受信装置
JP5711039B2 (ja) 2011-04-27 2015-04-30 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム
JP5955028B2 (ja) 2012-02-28 2016-07-20 株式会社トプコン 画像処理装置、画像処理方法および画像処理用のプログラム
JP5832341B2 (ja) 2012-03-09 2015-12-16 株式会社トプコン 動画処理装置、動画処理方法および動画処理用のプログラム
NO334183B1 (no) * 2012-03-22 2014-01-13 Prox Dynamics As Metode og anordning for å kontrollere og overvåke det omliggende område til et ubemannet luftfartøy
JP5947634B2 (ja) 2012-06-25 2016-07-06 株式会社トプコン 航空写真撮像方法及び航空写真撮像システム
JP5963353B2 (ja) 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
JP6346873B2 (ja) 2015-06-08 2018-06-20 株式会社クラレ 人工皮革
FR3039519B1 (fr) * 2015-07-30 2019-01-25 Airbus Station d’accueil de drone et ensemble de gestion d’une telle station d’accueil.
DE102016105601A1 (de) 2016-03-24 2017-09-28 Recaro Child Safety Gmbh & Co. Kg Kindersitzvorrichtung
JP6817806B2 (ja) 2016-12-21 2021-01-20 株式会社トプコン 演算装置、演算方法、演算システムおよびプログラム
JP6826888B2 (ja) 2017-01-11 2021-02-10 株式会社トプコン 測量装置、無人航空機の探索方法、測量システムおよびプログラム
US11064184B2 (en) * 2017-08-25 2021-07-13 Aurora Flight Sciences Corporation Aerial vehicle imaging and targeting system
JP7037302B2 (ja) 2017-09-06 2022-03-16 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012071645A (ja) 2010-09-28 2012-04-12 Topcon Corp 自動離着陸システム
JP2016017931A (ja) 2014-07-11 2016-02-01 株式会社パスコ 測量用標識および測量方法
US20180204469A1 (en) 2017-01-13 2018-07-19 Unmanned Innovation, Inc. Unmanned aerial vehicle visual point cloud navigation
WO2019026169A1 (ja) 2017-08-01 2019-02-07 J Think株式会社 作業機械の運転システム
WO2019160022A1 (ja) 2018-02-14 2019-08-22 株式会社トプコン 無人航空機の設置台、測量方法、測量装置、測量システムおよびプログラム

Also Published As

Publication number Publication date
KR20200140239A (ko) 2020-12-15
WO2019160022A1 (ja) 2019-08-22
JP2019138842A (ja) 2019-08-22
WO2019160022A8 (ja) 2020-06-04
US11221216B2 (en) 2022-01-11
CN112005077B (zh) 2023-05-26
CN112005077A (zh) 2020-11-27
EP3754298A1 (en) 2020-12-23
US20210131804A1 (en) 2021-05-06
EP3754298A4 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
JP7043283B2 (ja) 無人航空機の設置台、測量方法、測量装置、測量システムおよびプログラム
JP7037302B2 (ja) 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
Ravi et al. Simultaneous system calibration of a multi-lidar multicamera mobile mapping platform
US10182212B2 (en) Wide area intermittent video using non-orthorectified feature matching in long period aerial image capture with pixel-based georeferencing
US10060739B2 (en) Method for determining a position and orientation offset of a geodetic surveying device and such a surveying device
Turner et al. Direct georeferencing of ultrahigh-resolution UAV imagery
KR101346323B1 (ko) 지상기준점과 부가매개변수를 이용한 비측량용 디지털 카메라 촬영 시스템의 자체검정 방법
US10740608B2 (en) Wide area intermittent video using non-orthorectified feature matching in long period aerial image capture with pixel-based georeferencing
KR101252680B1 (ko) 디지털 항공이미지를 이용한 영상도화시스템
Tjahjadi et al. Single frame resection of compact digital cameras for UAV imagery
US8218824B2 (en) Spatial information database generating device and spatial information database generating program
Maurice et al. A photogrammetric approach for map updating using UAV in Rwanda
Skaloud et al. Mapping with MAV: experimental study on the contribution of absolute and relative aerial position control
Wu Photogrammetry: 3-D from imagery
Masiero et al. Aiding indoor photogrammetry with UWB sensors
Lari et al. Multi-camera system calibration with built-in relative orientation constraints (Part 1) theoretical principle
JP7241517B2 (ja) 航法装置、航法パラメータ計算方法およびプログラム
JP2021148789A (ja) 電波伝搬路保守システム
Ioli et al. Low-cost DGPS Assisted Aerial Triangulation for sub-decimetric accuracy with non-RTK UAVs
Tommaselli et al. Using relative orientation constraints to produce virtual images from oblique frames
Madawalagama et al. Assessment of uav based low cost photogrammetric system for aerial mapping
WO2024204029A1 (ja) 測量方法、測量システムおよびプログラム
Rao et al. A novel approach of correlating optical axes of spacecraft to the RF axis of test facility using close range photogrammetry
JP7169757B2 (ja) 測量装置、測量方法
Berveglieri et al. Locating Control Points In Aerial Images With A Multi‐Scale Approach Based On Terrestrial Image Patches

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220316

R150 Certificate of patent or registration of utility model

Ref document number: 7043283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150