JP7092538B2 - 構造物の形状測定用の画像撮影システム、機上制御装置 - Google Patents

Description

本発明は飛行体に撮影装置を搭載し、構造物の形状測定のために使用する構造物の画像を撮影するシステムに関する。

近年、主に遠隔操作で操縦されるドローン、マルチコプタ、ＵＡＶ（Unmanned Air Vehicle、無人航空機）等の飛行体に撮影装置を搭載し、地形等を測量するシステムが多く提案されている。一方、写真測量システムでは、使用する飛行体に対しては有人での制御またはＧＰＳ（Global Positioning System）を基にした誘導制御が行なわれる。そして飛行体を撮影ポイントに誘導し、複数の撮影ポイントで撮影し、撮影した全ての画像を合成することで地形、航空写真測量を行なっている。ＧＰＳを基にした誘導制御以外に、ＧＰＳを使用しない飛行制御方法もいくつか提案されている（例えば特許第５８８２９５１号公報：特許文献１、特開２００６－５１８６４号公報：特許文献２）。

特許第５８８２９５１号公報 特開２００６－５１８６４号公報

上記のような飛行体を用いて大型構造物の形状を測定することも検討されている。大型構造物については、フォトグラメトリを用いて形状精度の測定が実施されている。フォトグラメトリとは、３次元の物体を複数の観測点から撮影して得た２次元画像から、視差情報を解析して寸法・形状を求める写真測量のことであり、近年デジタルカメラを用いた３次元形状測定装置に用いられている。

従来、上記のような飛行体の飛行にはＧＰＳを用いた位置制御が主として行なわれている。しかし、ＧＰＳ信号を受信できない閉鎖空間等の非ＧＰＳ環境下での自律飛行は困難であった。大型構造物、例えば高精度パラボラアンテナなどでは、作製時に一度屋内で組み立てて精度を検証する必要もあり撮影時にＧＰＳが利用できない場合がある。また、最終設置状態でも撮影する必要があるが、ＧＰＳ環境下に無いような場所に設置される可能性もある。このため、ＧＰＳ環境下でなくても飛行および撮影が可能であることが望ましい。また、ＧＰＳ環境下での飛行においてもＧＰＳ信号の揺らぎの問題があり位置精度が悪いという問題があった。

特許第５８８２９５１号公報には、追尾可能な測量機を用いた飛行制御方法が記載されている。しかし、飛行計画（飛行シナリオ）の作成方法が明確に示されておらず、測定による飛行制御の方法も明示されていない。また測量機により取得した情報をＧＰＳ座標に変換する必要があり、リアルタイム性に劣る。また、トータルステーション等の位置測定器からの光波を単純に反射する方法では、飛行角度、飛行位置により位置の測定が難しいことが想定される。

また特開２００６－５１８６４号公報には、地上にカメラを置き飛行体に付されたマーカを撮影して位置と姿勢を算出する方法が示されている。この場合、飛行範囲に複数のカメラを設置する必要がある。また、飛行経路上に障害物がある場合、カメラでうまくマーカを撮影できない可能性がある。

この発明の目的は、ＧＰＳを使用できない環境でも構造物の形状測定用の画像を効率良く撮影可能な構造物の形状測定用の画像撮影システムおよび機上制御装置を提供することである。

本開示は、構造物の形状測定用の画像を撮影する画像撮影システムに関する。画像撮影システムは、飛行および空中静止が可能に構成され、レーザー受光部と、レーザー受光部を回転させる機構とを搭載する飛行体と、レーザー受光部にレーザー光を照射し、レーザー受光部から反射されたレーザー光を受けて、飛行体の位置を測定する地上測定機器と、飛行体に搭載され、構造物を撮影する撮影装置と、飛行体に搭載された機上制御装置と、遠隔制御装置とを備える。遠隔制御装置は、撮影を行なう際の撮影ポイントおよび撮影条件を含む飛行シナリオを作成するシナリオ作成部と、シナリオ作成部で作成された飛行シナリオを機上制御装置に転送するシナリオ転送部とを含む。機上制御装置は、飛行シナリオを記憶する飛行シナリオ記憶部と、撮影装置を制御する撮影制御部と、地上測定機器が測定した飛行体の位置に基づき、飛行シナリオが示す位置からの飛行体の位置のずれ量を演算し、位置のずれ量を補正する指示を生成する飛行位置補正部と、飛行シナリオに基づき飛行体を制御し、飛行位置補正部が生成した位置のずれ量を補正する指示に基づいて飛行体の位置を補正する飛行制御部とを含む。

本開示の他の局面に係る機上制御装置は、構造物を撮影する撮影装置、レーザー受光部、およびレーザー受光部を回転させる機構を搭載し、飛行および空中静止が可能に構成された飛行体に搭載された機上制御装置である。機上制御装置は、撮影を行なう際の撮影ポイントおよび撮影条件を含む飛行シナリオを記憶する飛行シナリオ記憶部と、撮影装置を制御する撮影制御部と、レーザー受光部にレーザー光を照射し、レーザー受光部から反射されたレーザー光を受けて、飛行体の位置を測定する地上測定機器が測定した飛行体の位置に基づき、飛行シナリオが示す位置からの飛行体の位置のずれ量を演算し、位置のずれ量を補正する指示を生成する飛行位置補正部と、飛行シナリオに基づき飛行体を制御し、飛行位置補正部が生成した位置のずれ量を補正する指示に基づいて飛行体の位置を補正する飛行制御部とを備える。

本発明によれば予め定められた飛行シナリオに従って効率よく短時間で構造物の形状測定が可能となる。また、ＧＰＳを使用できない環境でも飛行体の飛行および構造物の測定が可能となる。

本発明の実施の形態１に係る構造物の形状測定用の画像撮影システムの構成を示すブロック図である。 機上制御装置１０のハードウェア構成の一例を示すブロック図である。 遠隔制御装置４０のハードウェア構成の一例を示すブロック図である。 実施の形態１に係る形状測定用の画像撮影システムの使用場面を表す概念図である。 飛行体２の外観を示す図である。 アクティブターゲットの構成を示す図である。 アクティブターゲットの動作を説明するためのフローチャートである。 実施の形態１における測定の準備の手順を示したフローチャートである。 実施の形態１における構造物の形状の自動測定の処理を説明するためのフローチャートである。 ２次元で飛行体を移動させる場合の画像撮影システムの使用場面を表す概念図である。 実施の形態２に係る形状測定用の画像撮影システムの使用場面を表す概念図である。 実施の形態３に係る形状測定用の画像撮影システムの使用場面を表す概念図である。 実施の形態３における測定の準備の手順を示したフローチャートである。 実施の形態３における構造物の形状の自動測定の処理を説明するためのフローチャートである。 図１４における切替動作の処理を説明するためのフローチャートである。 構造物の形状測定用の画像撮影システムの変形例の構成を示すブロック図である。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。以下では、複数の実施の形態について説明するが、各実施の形態で説明された構成を適宜組合わせることは出願当初から予定されている。なお、図中同一又は相当部分には同一符号を付してその説明は繰返さない。

実施の形態１．
図１は、本発明の実施の形態１に係る構造物の形状測定用の画像撮影システムの構成を示すブロック図である。構造物の形状測定用の画像撮影システム１は、構造物を撮影する撮影装置２０と、飛行体２と、飛行体２に搭載された機上制御装置１０と、機上制御装置１０にデータを転送する遠隔制御装置４０と、飛行体の位置を測定する地上測定機器であるレーザートラッカー６とを備える。飛行体２は、撮影装置２０を搭載し、飛行および空中静止が可能に構成された無人航空機であり、ドローン、マルチコプタ、ＵＡＶ等を飛行体２として使用することができる。形状測定用の画像撮影システム１は、通信部２２、障害物検知部２４、飛行推進部２６、電池２８およびアクティブターゲット３０をさらに備え、これらは飛行体２に搭載される。

機上制御装置１０は、飛行シナリオ記憶部１４と、飛行位置補正部１５と、撮影制御部１６と、飛行制御部１８とを含む。飛行シナリオ記憶部１４は、飛行シナリオを記憶する。撮影制御部１６は、飛行シナリオに従い撮影装置２０を制御する。飛行制御部１８は、飛行シナリオに従い飛行体２を制御する。飛行位置補正部１５は、レーザートラッカー６の測定結果に基づいて、飛行シナリオが示す位置からの飛行体２の位置のずれ量を演算し、飛行制御部１８に飛行体２の位置の補正量を指示する。好ましくは、飛行位置補正部１５は、飛行制御部１８が飛行体２を撮影ポイントに移動させた後に、撮影ポイントの座標と飛行体２の位置の座標とのずれ量を演算し、飛行制御部１８に補正を指示する。なお、図１６に示す画像撮影システム１Ａのように、飛行位置補正部１５による飛行体２の位置ずれ量の算出、指示は、遠隔制御装置４０上で行なってもよい。飛行位置補正部１５は、遠隔制御装置４０に設けられた通信部６４を介して、レーザートラッカー６の測定結果を受け、飛行体２の位置ずれ量を算出し、位置ずれ量の補正を行なう指示を飛行体２に送信し、飛行制御部１８がこの指示に基づいて飛行体２の位置補正を行なっても良い。

再び図１に戻って、遠隔制御装置４０は、飛行体２を遠隔操作する遠隔制御装置である。遠隔制御装置４０は、主演算部５０と、表示部６０と、入力部６２とを含む。主演算部５０は、シナリオ作成部５６と、シミュレータ部５８と、シナリオ転送部５４と、撮影データ受信部５２とを含む。

シナリオ作成部５６は、オペレータの入力に基づいて飛行シナリオを作成する。シナリオ作成部５６は、測定対象である構造物の３次元ＣＡＤ（Computer-Aided design）情報に基づいた形状情報をオペレータに提示し、オペレータからの入力に基づいて複数の撮影ポイントを決定し、飛行開始ポイントから複数の撮影ポイントを経由して飛行帰着ポイントに戻る飛行ルートを決定する。なお、撮影ポイントは、構造物を撮影するときに飛行体が位置するポイントである。

フォトグラメトリを用いた形状測定では、撮影時の対象物との距離が測定精度に影響する。このため、撮影時には、飛行体と測定対象となる構造物との間の距離は、形状測定に要求される精度をもとに決められた一定の距離（以後、撮影距離という）に保たれる必要が有る。シナリオ作成部５６は、オペレータからの入力に基づいて、構造物から撮影距離だけ離れた複数の撮影ポイントを決定する。シナリオ作成部５６は、決定された撮影ポイントに基づいて飛行シナリオを作成する。また、各撮影ポイントでの撮影条件をオペレータが入力する。

撮影条件は、その撮影ポイントでの撮影枚数、撮影ごとの撮影方向、撮影範囲、撮影画素数、絞り、シャッタースピードなどである。飛行シナリオは、撮影ポイントおよび撮影条件と撮影ポイントを通る飛行ルートとを含む。飛行開始ポイントと飛行帰着ポイントは、同じ地点でもよいし、別の地点でもよい。

遠隔制御装置４０は、構造物の形状情報に基づいて、撮影ポイントを含む飛行シナリオを作成する。シナリオ作成部５６は、飛行体２と構造物とが接触しない飛行ルートを作成する。シナリオ作成部５６は、互いに異なる撮影ポイントである第１の撮影ポイントと第２の撮影ポイントとを直線で結ぶ経路が構造物と接触するかどうかを確認し、接触しない場合は、第１の撮影ポイントと第２の撮影ポイントとを直線で結ぶ経路を含む飛行ルートを作成する。一方、第１の撮影ポイントと第２の撮影ポイントとを直線で結ぶ経路が構造物と接触する場合は、シナリオ作成部５６は、第１の撮影ポイントと第２の撮影ポイントとの間を、構造物を回避して飛行する経路を含む飛行ルートを作成する。

シミュレータ部５８は、シナリオ作成部５６で作成された飛行シナリオを飛行体で実行する前に模擬実行をして確認する。シミュレータ部５８は、飛行ルート上の障害物の有無と、飛行時間予測値と、飛行体が飛行ルートを飛行した後の電池残量予測値とをオペレータに提示する。なお、飛行ルート上の障害物の有無と、飛行時間予測値と、飛行体が飛行ルートを飛行した後の電池残量予測値の中のいずれか少なくとも１つをオペレータに提示してもよい。

シナリオ転送部５４は、シナリオ作成部５６で作成された飛行シナリオを機上制御装置１０に転送し、飛行シナリオ記憶部１４に記憶させる。

飛行制御部１８は、撮影ポイントにおいて飛行体２と構造物との間が決められた撮影距離となるよう飛行体２を制御する。飛行制御部１８は、構造物の形状情報に基づいて作成された、構造物との間が決められた撮影距離だけ離れた撮影ポイントを含む飛行シナリオに従い飛行体２を制御する。なお、飛行体２は、飛行体２に搭載され、飛行体２と構造物との距離を測定する距離測定部をさらに備えても良い。この場合、飛行制御部１８は、距離測定部の測定結果に基づき、撮影ポイントにおける飛行体２と構造物との間が決められた撮影距離となるよう飛行体２を制御する。障害物検知部２４は、飛行体２に搭載され、飛行体２の周囲の障害物を検知する。飛行制御部１８は、飛行中に障害物検知部２４によって飛行シナリオに含まれる飛行ルート上に障害物が検出された場合には、障害物を回避して撮影ポイントに到達するように飛行ルートを変更する。

図２は、機上制御装置１０のハードウェア構成の一例を示すブロック図である。機上制御装置１０は、制御部３５１と、主記憶部３５２と、外部記憶部３５３と、入力部３５４と、表示部３５５と、送受信部３５６とを備える。主記憶部３５２、外部記憶部３５３、入力部３５４、表示部３５５および送受信部３５６はいずれも内部バス３５０を介して制御部３５１に接続されている。

制御部３５１はＣＰＵ等から構成され、外部記憶部３５３に記憶されている制御プログラム３５９に従って、飛行処理、撮影処理等を実行する。

主記憶部３５２はＲＡＭ等から構成され、外部記憶部３５３に記憶されている制御プログラム３５９をロードし、制御部３５１の作業領域として用いられる。

外部記憶部３５３は、フラッシュメモリ、ハードディスク等の不揮発性メモリから構成され、機上制御装置１０の処理を制御部３５１に行なわせるためのプログラムをあらかじめ記憶し、また、制御部３５１の指示に従って、このプログラムが記憶するデータを制御部３５１に供給し、制御部３５１から供給されたデータを記憶する。機上制御装置１０の撮影データ記憶部１２、および飛行シナリオ記憶部１４は、外部記憶部３５３に構成される。

入力部３５４は操作ボタン等を内部バス３５０に接続するインタフェース装置から構成されている。ユーザが強制停止や再起動などの指令を機上制御装置に入力する場合は、入力部３５４を介して、入力された情報が制御部３５１に供給される。

表示部３５５は、ＬＥＤ、ＬＣＤなどから構成されている。ユーザが機上制御装置１０に強制停止や再起動などの指令を入力する場合には、機上制御装置１０の状態を表示する。

制御部３５１および送受信部３５６は、外部記憶部３５３に記憶されたプログラムを制御部３５１が実行することによって、飛行位置補正部１５、撮影制御部１６、飛行制御部１８として機能する。

図３は、遠隔制御装置４０のハードウェア構成の一例を示すブロック図である。遠隔制御装置４０は、主演算部５０と、表示部６０と、入力部６２とを備える。主演算部５０は、制御部３３１と、主記憶部３３２と、外部記憶部３３３と、送受信部３３６とを備える。主記憶部３３２、外部記憶部３３３、入力部６２、表示部６０および送受信部３３６はいずれも内部バス３３０を介して制御部３３１に接続されている。

制御部３３１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部３３３に記憶されている制御プログラム３３９に従って、飛行シナリオの作成処理、転送処理等を実行する。

主記憶部３３２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部３３３に記憶されている制御プログラム３３９をロードし、制御部３３１の作業領域として用いられる。

外部記憶部３３３は、フラッシュメモリ、ハードディスク、ＤＶＤ－ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ－ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、主演算部５０の処理を制御部３３１に行なわせるためのプログラムをあらかじめ記憶し、また、制御部３３１の指示に従って、このプログラムが記憶するデータを制御部３３１に供給し、制御部３３１から供給されたデータを記憶する。

入力部６２はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス３３０に接続するインタフェース装置から構成されている。ユーザが飛行ルートの設定をする場合は、遠隔制御装置４０においては入力部６２を介して入力された情報が制御部３３１に供給される。

表示部６０は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Dis play）などから構成されている。ユーザが主演算部５０に飛行ルートの設定をする場合には、入力用の画面等を表示する。

制御部３３１および送受信部３３６は、外部記憶部３３３に記憶されたプログラムを制御部３３１が実行することによって、図１の撮影データ受信部５２、シナリオ転送部５４、シナリオ作成部５６、シミュレータ部５８として機能する。

図２、図３に示したハードウェア構成は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、上記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、機上制御装置１０および遠隔制御装置４０を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで機上制御装置１０および遠隔制御装置４０を構成してもよい。

また、機上制御装置１０または遠隔制御装置４０の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
このような構成を有する画像撮影システム１の飛行制御について以下に説明する。

図４は、実施の形態１に係る形状測定用の画像撮影システムの使用場面を表す概念図である。図４において、構造物１００は測定する対象である。構造物１００の中心にはレーザートラッカー６を設けている。レーザートラッカー６には基準座標系７０が設定され、飛行体２には飛行体座標系８０が設定されている。飛行体２の機上制御装置１０は、レーザートラッカー６を用いて飛行体２の位置をリアルタイムで計測する。

画像撮影システム１は、飛行体２に搭載されたアクティブターゲット３０をさらに備える。レーザートラッカー６は、アクティブターゲット３０にレーザー光を照射し、アクティブターゲット３０から反射されたレーザー光を受けて飛行体２の位置を演算し、飛行体の位置を飛行位置補正部１５に送信する。レーザートラッカー６は、反射光から仰角、回転角と距離を測定し、レーザートラッカー６上（またはソフトウェア）で飛行体２の位置を示す直交座標に変換する。レーザートラッカー６上で直交座標系に変換できるため、計測された飛行体２の位置は、飛行体２の位置制御にそのまま用いることが可能となる。また同じ座標系を保持したまま、レーザートラッカー６を移動させ再度測定することも可能である。

レーザートラッカー６によってレーザー光を用いることで、レーザートラッカー６と飛行体２の距離が長くても安定して制御が可能となる。また、レーザー光を短い時間間隔で繰り返し照射しながら位置情報を取得することで、ほぼリアルタイムで飛行体２の位置の把握が可能となる。

飛行体２の機上制御装置１０は、基準座標系７０，８０を元に飛行シナリオ６５の経由位置９０からのずれ量を算出し、方向、移動量、速度等を撮影の都度、修正することで位置精度の向上を図る。このように、レーザートラッカー６を使用して位置検出を行なうことにより、リアルタイムの測定・制御が可能であり、ＧＰＳ等の位置情報が取得できない閉鎖空間でも飛行体を用いた形状測定が可能となる。

図５は、飛行体２の外観を示す図である。飛行体２は、図１の飛行推進部２６であるプロペラ２６Ａ～２６Ｆと、障害物検知部２４と、撮影装置２０と、アクティブターゲット３０とを含む。撮影装置２０としては、例えば、フォトグラメトリ用カメラを使用することができる。

障害物検知部２４は、赤外線カメラ、近接センサ、超音波またはレーザセンサ、地磁気センサのいずれか一つまたは複数を含む。

図４において形状測定装置を搭載した飛行体２は、構造物１００の周囲の空中を移動する。飛行体２は、予め決められた飛行シナリオ６５に従い、飛行シナリオ６５に示された１つ以上の経由位置９０を経由して移動する。図５に示すように、飛行体２にはレーザートラッカー６から発射されたレーザー光をレーザートラッカー６に向けて反射するアクティブターゲット３０を取付ける。

図６は、アクティブターゲットの構成を示す図である。図６に示すアクティブターゲット３０は、第１回転シャフト３１と第２回転シャフト３２と、レーザー受光部３３とを含む。アクティブターゲット３０は、第１回転軸（ヨー軸回転方向Ａ１）および第２回転軸（ピッチ軸回転方向Ａ２）にレーザー受光部３３を回転させる２つのモータを内蔵している。アクティブターゲット３０は、レーザートラッカー６のレーザー光を捕捉すると、２つのモータによってレーザー受光部３３の向きを変更することによって、レーザー光を自動追尾する機能を有する。

図７は、アクティブターゲットの動作を説明するためのフローチャートである。図７を参照して、アクティブターゲット３０は、ステップＳ１においてレーザートラッカー６から照射されたレーザー光を受光する。続いてステップＳ２において、アクティブターゲット３０は、レーザー光の受光方向および受光強度を認識する。そしてステップＳ３において受光方向と飛行体の動作からレーザー光の位置を算出する。そして、ステップＳ４において、算出された値を基に２つのモータを制御し、受光強度が最も強くなる位置に第１回転シャフト３１と第２回転シャフト３２を回転させる。

プリズムおよび再帰反射体等はアクティブターゲット３０と異なり、位置測定装置（トータルステーション）からの光を単純に反射するものである。このため、飛行角度、飛行位置により、位置の測定が難しいことが想定される。これに対して、レーザー光を受けるアクティブターゲット３０は、初期にレーザー光を受けた状態を設定することでレーザー光の照射方向、受光強度を自動で認識し、アクティブターゲット３０を取付けた飛行体２が動いてもレーザー光の照射方向にレーザー受光部３３を動かす。プリズム等と異なり、アクティブターゲット３０であれば自動でレーザートラッカー６が発射するレーザー光を補足するように動作するので測定が容易になる。

再び図４に戻って、形状測定用の画像撮影システム１は、それぞれの経由位置９０において構造物１００の形状を測定した結果をもとに構造物１００全体の形状を測定する。飛行体２は、遠隔制御装置４０からの制御により無人で動作する。遠隔制御装置４０は機上制御装置１０に対して、飛行体２の飛行の制御や、撮影装置２０による測定の制御に必要なコマンドやデータ等を無線通信等により送る。

経由位置９０から次の経由位置９０への移動や、飛行シナリオからのずれ量の補正のための移動は直線的な移動である。

現在の飛行体の位置を（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）とし、次の経由位置を（Ｘ_ｉ＋１，Ｙ_ｉ＋１，Ｚ_ｉ＋１）とすると、移動量Ｌ、方向Ａは、以下の式等により指示される。
Ｌ＝（（Ｘ_ｉ＋１－Ｘ_ｉ）^２＋（Ｙ_ｉ＋１－Ｙ_ｉ）^２＋（Ｚ_ｉ＋１－Ｚ_ｉ）^２）^１／２
Ａ＝（（Ｘ_ｉ＋１－Ｘ_ｉ），（Ｙ_ｉ＋１－Ｙ_ｉ），（Ｚ_ｉ＋１－Ｚ_ｉ））

図８は、実施の形態１における測定の準備の手順を示したフローチャートである。ステップＳ１１において、オペレータは、飛行シナリオには、３次元ＣＡＤデータ等の３Ｄモデルを用いて基準座標系７０の設定を行なう。続いてオペレータは、ステップＳ１２において、飛行シナリオに飛行開始地点、着陸点（飛行終了地点）、経由位置（測定点）９０等を設定することによって飛行ルートを設定する。設定された飛行シナリオはレーザートラッカー６上に設定した基準座標系７０に基づいた座標データとなる。

続いて、オペレータは、ステップＳ１３において、飛行ルートを飛行体２（ドローン）または遠隔制御装置４０（制御用ＰＣ）にインプットし、ステップＳ１４において、３Ｄモデル上で設定した位置にレーザートラッカー６を設置し、飛行開始地点に飛行体２をセットする。最後に、ステップＳ１５において、オペレータは、レーザー光の受信を行い、アクティブターゲット３０にレーザー光を認識・捕捉させるために、レーザートラッカー６で飛行体２の位置を確認する。確認は停止状態で行なっても良いし、飛行し、空中で静止した状態で行なっても良い。以上で自動計測の準備が終了となる。

このように、予め３Ｄモデルを元に飛行シナリオを作成することによって、飛行上のリスクの抽出が可能となる。

図９は、実施の形態１における構造物の形状の自動測定の処理を説明するためのフローチャートである。オペレータから飛行開始の指示を受けると、ステップＳ２１において、機上制御装置１０は、飛行シナリオに沿って最初の経由位置９０を指示し、飛行体２は飛行を開始する。ステップＳ２２において、機上制御装置１０は、経由位置と現在位置から、移動量、方向、速度を算出し飛行推進部２６に対して指示を行なう。

ステップＳ２３では、レーザートラッカー６が飛行体２の位置を追尾し通信部２２を経由して位置データを機上制御装置１０が受信する。ステップＳ２４において、機上制御装置１０の飛行位置補正部１５は、飛行体２の位置が飛行シナリオの飛行ルートから外れているか否かを判断する。

飛行ルートから外れていた場合には（Ｓ２４でＹＥＳ）、機上制御装置１０は、ステップＳ２５において飛行シナリオからのずれ量を計算し、ステップＳ２６において、移動量、方向、速度等で飛行位置の補正を飛行推進部２６に指示する。

機上制御装置１０は、移動量、方向、速度のうち、飛行シナリオからのずれを０に近づけるように方向、速度を算出し、実現可能な速度範囲で指示を与える。移動量、方向は現在位置の座標（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）と経由位置（Ｘ_ｉ＋１，Ｙ_ｉ＋１，Ｚ_ｉ＋１）の情報を用いて、ベクトル量として計算することで移動量、方向を指示する。

このように、飛行シナリオに基づきリアルタイムで位置を測定しつつ、設定した飛行シナリオとのずれ量を演算しながら飛行制御することにより、座標変換等が不要となり、座標変換のための演算量を削減することが可能となる。

一方、ずれがない場合は（Ｓ２４でＮＯ）、ステップＳ２７においてそのまま飛行を継続する。

続いて、機上制御装置１０は、ステップＳ２８において、測定点である経由位置９０に到達したかの確認を行ない、未到達の場合は（Ｓ２８でＮＯ）、再びステップＳ２３以降の処理を繰り返すことによってそのまま飛行を継続する。一方、経由位置９０に到達した場合（Ｓ２８でＹＥＳ）、ステップＳ２９においてその場で測定を行なう。測定は空中で静止した状態で行なっても良いし、次の経由位置に移動しながら行なっても良い。

経由位置９０で測定後は、ステップＳ３０において、機上制御装置１０は、飛行シナリオに次の経由位置があるか確認する。次の経由位置がある場合は（Ｓ３０でＹＥＳ）、次の経由位置に移動するため、移動量、方向、速度の情報を与える（Ｓ３１、Ｓ２２）。次の経由位置がない場合（Ｓ３０でＮＯ）、測定を完了し（Ｓ３２）、着陸地点への飛行ルートを指示する（Ｓ３３）。具体的には経由位置の移動と同様に移動量、方向、速度の情報を与える。着陸が完了すると測定は終了する。

飛行シナリオに示された経由位置９０に移動して測定する際に、移動量、方向を算出することに加え、実現可能な速度を考慮することにより、測定にかかる時間を事前に計算でき、電池容量を考慮した飛行が可能となる。

なお、速度については、定速飛行を基本としつつも、飛行中にステップＳ２６において細かく補正しても良い。速度は全体の飛行時間、測定時間を考慮し、設定することが可能である。

飛行体２の飛行時間は電池２８の容量による制約を受ける。飛行体２が測定を完了させるのに必要な時間は電池残量が十分に残った状態（安全に着陸できる程度の電池残量）とする必要がある。電池容量を考慮し、以下の条件を満たすように飛行を完了させる必要がある。
電池容量（最大飛行時間）＞飛行時電池残量、かつ、安全に着陸できる飛行時間≧飛行時の飛行測定時間

そのため飛行シナリオにおいて全体の飛行時間から各飛行ポイント間の速度を決める必要がある。基本的には等速とするが、飛行シナリオ（飛行ルート）からずれが生じた場合、飛行速度のずれ量（遅れ量）を０にするため、初期に与えた速度より早い速度を指示し、遅れを取り戻す必要がある。

例えば、全体の飛行時間が４５分で総飛行距離が３６ｍで飛行ポイントが９ポイントあり、各ポイントで１分ホバリングするとした場合を考える。ポイント間の移動速度は１ｍ／分の移動速度となる。すなわち、総飛行時間が４５分であり、これからホバリング時間９分を引くと移動に使用する時間は３６分である。飛行距離３６ｍこれを３６分で割ると１ｍ／分である。

Ａ点からＢ点の移動する際に風により大きく飛行ルートを外れた場合、例えば移動距離が元は６ｍだが位置ずれにより９ｍに増えた場合、遅れを取り戻し、ずれ量を０にするためには１．５ｍ／分（元の指示速度は１ｍ／分、距離が１．５倍になったので、移動速度も１．５倍で再指示）の速度を指示する必要がある。

また、高度が変化しない等座標系のうち２つの座標で完結する場合、移動量は２次元情報から求めることができる。２次元での移動量の指示を採用すれば、演算や制御が簡単になる。

図１０は、２次元で飛行体を移動させる場合の画像撮影システムの使用場面を表す概念図である。図１０において、構造物１００、レーザートラッカー６については、図４と同じである。図１０の概念図は、飛行体２の飛行高さが経由位置９０の高さと同じに制御されるという前提である点で図４と異なる。

現在の飛行体の位置を（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）とし、次の経由位置を（Ｘ_ｉ＋１，Ｙ_ｉ＋１，Ｚ_ｉ＋１）とすると、高さが同じである場合、Ｚ_ｉ＋１－Ｚ_ｉ＝０であるので、移動量Ｌは以下の式により指示される。また方向Ａは、２次元ベクトルとなる。
Ｌ＝（（Ｘ_ｉ＋１－Ｘ_ｉ）^２＋（Ｙ_ｉ＋１－Ｙ_ｉ）^２）^１／２
Ａ＝（（Ｘ_ｉ＋１－Ｘ_ｉ），（Ｙ_ｉ＋１－Ｙ_ｉ））

図１０において、最初から高さ（仮にＺ軸とする）が同一の平面で飛行体２が飛行する場合、例えば高さ方向の位置制御のみレーザー距離計を飛行体２に取り付けて、高さが一定になるように飛行体２を制御すればよい。この場合、機上制御装置１０は、平面（Ｘ、Ｙ）の移動量だけを逐次演算し指示すればよい。レーザートラッカー６から得られる座標から移動量を算出する演算量を減らせることができ、機上制御装置１０の演算負荷を低減させることができる。

実施の形態２．
実施の形態１では、レーザートラッカー６と飛行体２を１台ずつ使用した。実施の形態２では、レーザートラッカー６、飛行体２をそれぞれ複数台使用し、それぞれを別々の飛行シナリオに沿って運用する。これにより構造物全体の測定が容易に行なえる。

図１１は、実施の形態２に係る形状測定用の画像撮影システムの使用場面を表す概念図である。図１１に示すように複数台のレーザートラッカー６Ａ，６Ｂを用意し、複数台の飛行体２Ａ，２Ｂを用意する。なお、飛行体２Ａ，２Ｂは、図１～図６に示した飛行体２と同様な構成で良い。飛行体２Ａ、２Ｂの各々に３Ｄモデルに基づいて別々の飛行シナリオを作成する。一部（例えば１０～５０％）は測定箇所がオーバーラップするように、２つの飛行シナリオを作成する。作成に使用する３Ｄモデルは同一のものでも良いし、異なるモデル（測定箇所の部品のみのモデル）を使用しても良い。それぞれ別々の飛行シナリオを作成することで形状測定を効率よく行なうことが可能となる。異なる３Ｄモデルを使用し、飛行シナリオを作成する場合は飛行シナリオ作成過程でも効率化を図ることが可能である。

飛行シナリオを作成後、実施の形態１と同様に初期の飛行位置に飛行体２Ａ、２Ｂを設置し、飛行を開始する。飛行開始時にはそれぞれレーザートラッカー６Ａ，６Ｂが飛行体２Ａ、２Ｂに搭載しているアクティブターゲット３０Ａ、３０Ｂがレーザー光を捕捉できるように初期の確認を行なう。その後、飛行シナリオに基づき、飛行・測定を行なう。測定完了後にオーバーラップさせた部分のデータを重ねるように合成することで別々の測定であってもひとつの構造体として測定を行なうことが可能となる。

実施の形態２の画像撮影システムは、実施の形態１の画像撮影システムと同様な効果を得られるとともに、さらに、構造物の大きさが大きい場合に短時間で計測を完了することができる。

実施の形態３．
実施の形態２では、レーザートラッカー、飛行体をそれぞれ複数台使用した。実施の形態３では、レーザートラッカーを複数台、飛行体を１台用意し運用することで１台のレーザートラッカーからのレーザー光では追尾が難しい形状でも短時間での測定が可能となる。

図１２は、実施の形態３に係る形状測定用の画像撮影システムの使用場面を表す概念図である。飛行体２Ｃは、飛行開始地点から飛行シナリオ６５Ｃに基づいて飛行しつつ、レーザートラッカー６Ｃによる追尾を行なって飛行位置を補正する。その後、レーザートラッカーを切替える切替位置１５０で静止し、レーザートラッカー６Ｃによる追尾をレーザートラッカー６Ｄによる追尾に切り替える。同時に座標系も座標系７０Ｃから座標系７０Ｄに切り替えて、飛行シナリオ６５Ｄに基づいて飛行を継続しつつ、レーザートラッカー６Ｄによる追尾を行なって飛行位置を補正する。

飛行シナリオは予め切替位置１５０において座標系が切り替わるように作成する。切替位置１５０は、レーザートラッカー６Ｃからも、レーザートラッカー６Ｄからも、構造物１００Ｂに遮られずにレーザー光を受光できる位置に設定する。

具体的には予め飛行シナリオを作成する段階でレーザートラッカー６Ｃとレーザートラッカー６Ｄの位置関係を把握し、初期の飛行シナリオ６５Ｃをレーザートラッカー６Ｃを元に作成し、その後、切替位置１５０からレーザートラッカー６Ｄに基づく座標系に座標変換を行なう。また飛行シナリオ６５Ｃ，６５Ｄには、切替位置１５０において静止し、飛行体２Ｃのアクティブターゲット３０が捕捉するレーザー光の切替を行なう動作を入れておく。なお、飛行体２Ｃは、図１～図６に示した飛行体２と同様な構成で良い。

図１３は、実施の形態３における測定の準備の手順を示したフローチャートである。ステップＳ１１１において、オペレータは、飛行シナリオ６５Ｃには、基準座標系７０Ｃの設定を行なう。さらに、ステップＳ１１１において、オペレータは、飛行シナリオ６５Ｄには、基準座標系７０Ｄの設定を行なう。

続いてオペレータは、ステップＳ１１２において、飛行シナリオ６５Ｃに飛行開始地点、飛行終了地点（切替位置１５０）、経由位置（測定点）等を設定することによって飛行ルートを設定する。設定された飛行シナリオ６５Ｃはレーザートラッカー６Ｃ上に設定した基準座標系７０Ｃに基づいた座標データとなる。

さらにオペレータは、飛行シナリオ６５Ｄに飛行開始地点（切替位置１５０）、着陸点（飛行終了地点）、経由位置（測定点）等を設定することによって飛行ルートを設定する。設定された飛行シナリオ６５Ｄはレーザートラッカー６Ｄ上に設定した基準座標系７０Ｄに基づいた座標データとなる。

続いて、オペレータは、ステップＳ１１３において、飛行ルートを飛行体２Ｃ（ドローン）または遠隔制御装置４０（制御用ＰＣ）にインプットし、ステップＳ１１４において、３Ｄモデル上で設定した位置にレーザートラッカー６を設置し、飛行開始地点に飛行体２Ｃをセットする。最後に、ステップＳ１１５において、オペレータは、レーザー光の受信を行ない、アクティブターゲット３０にレーザートラッカー６Ｃからのレーザー光を認識・捕捉させるために、レーザートラッカー６Ｃで飛行体２Ｃの位置を確認する。確認は停止状態で行なっても良いし、飛行し、空中で静止した状態で行なっても良い。以上で自動計測の準備が終了となる。

図１４は、実施の形態３における構造物の形状の自動測定の処理を説明するためのフローチャートである。オペレータから飛行開始の指示を受けると、ステップＳ１２１において、機上制御装置１０は、飛行シナリオ６５Ｃに沿って飛行体２Ｃは飛行を開始する。ステップＳ１２２において、機上制御装置１０は、経由位置と現在位置から、移動量、方向、速度を算出し飛行推進部２６に対して指示を行なう。

ステップＳ１２３では、レーザートラッカー６Ｃが飛行体２Ｃの位置を追尾し通信部２２を経由して位置データを機上制御装置１０が受信する。ステップＳ１２４において、機上制御装置１０の飛行位置補正部１５は、飛行体２Ｃの位置が飛行シナリオ６５Ｃの飛行ルートから外れているか否かを判断する。

飛行ルートから外れていた場合には（Ｓ１２４でＹＥＳ）、機上制御装置１０は、ステップＳ１２５において飛行シナリオからのずれ量を計算し、ステップＳ１２６において、移動量、方向、速度等で飛行位置の補正を飛行推進部２６に指示する。

機上制御装置１０は、移動量、方向、速度のうち、飛行シナリオからのずれを０に近づけるように方向、速度を算出し、実現可能な速度範囲で指示を与える。

一方、ずれがない場合は（Ｓ１２４でＮＯ）、ステップＳ１２７においてそのまま飛行を継続する。

続いて、機上制御装置１０は、ステップＳ１２８において、測定点である経由位置に到達したかの確認を行ない、未到達の場合は（Ｓ１２８でＮＯ）、再びステップＳ１２３以降の処理を繰り返すことによってそのまま飛行を継続する。一方、経由位置に到達した場合（Ｓ１２８でＹＥＳ）、ステップＳ１２９においてその場で測定を行なう。測定は空中で静止した状態で行なっても良いし、次の経由位置に移動しながら行なっても良い。

経由位置で測定後は、ステップＳ１３０において、機上制御装置１０は、飛行シナリオに次の経由位置があるか確認する。次の経由位置がある場合は（Ｓ１３０でＹＥＳ）、機上制御装置１０は、次の経由位置が切替位置であるか否かを判定し切替位置１５０に到達したか否かを判定する。次の経由位置が切替位置でない場合（Ｓ１４０でＮＯ）、次の経由位置に移動するため、移動量、方向、速度の情報を与える（Ｓ１３１、Ｓ１２２）。次の経由位置がない場合（Ｓ１３０でＮＯ）、測定を完了し（Ｓ１３２）、着陸地点への飛行ルートを指示する（Ｓ１３３）。具体的には経由位置の移動と同様に移動量、方向、速度の情報を与える。着陸が完了すると測定は終了する。

ステップＳ１４０において、次の経由位置が切替位置であり、切替位置に到達した場合には（Ｓ１４０でＹＥＳ）、ステップＳ１４１において切替動作が実行される。

図１５は、図１４における切替動作の処理を説明するためのフローチャートである。追尾の切替指示は図１２の切替位置１５０に飛行体２Ｃが到達したことをオペレータが確認し、レーザートラッカー６Ｃからレーザートラッカー６Ｄに追尾させるレーザートラッカーを切り替える。具体的には、ステップＳ１５１において、切替位置１５０にて飛行体２Ｃは空中静止（ホバリング）するように飛行シナリオを作成されている。そして、レーザートラッカー６Ｃからのレーザー光の照射を中止し（Ｓ１５２）、その後、飛行体２Ｃは空中静止状態で機首を回してレーザートラッカー６Ｄからレーザー光を受けるように向きを変更する（Ｓ１５３）。

レーザートラッカー６Ｄからレーザー光がアクティブターゲットに向けて照射され（Ｓ１５４）。最後に、ステップＳ１５５において、オペレータは、レーザー光の受信を行ない、アクティブターゲット３０にレーザートラッカー６Ｄからのレーザー光を認識・捕捉させるために、レーザートラッカー６Ｄで飛行体２Ｃの位置を確認する。確認は、飛行し空中で静止した状態で行なうが、一旦着陸させても良い。

その後は、再び図１４のステップＳ１２２に処理が戻り、切替位置１５０を切替後の原点としてステップＳ１２２以降の処理が再度繰り返される。

なお、レーザートラッカー６Ｃとレーザートラッカー６Ｄの位置関係が明確な場合は、座標の切替を行なうことなく、座標系７０Ｃを基準座標として座標系７０Ｄに変換する（座標系７０Ｄの原点をレーザートラッカーの移動量だけずらす）ことで座標の切替を行なわずに飛行制御を行なうことも可能である。

なお、形状測定データの合成は、形状測定用のソフトウェア上でデータの特徴点を抽出し、特徴点を一致させるように合成を行なう。形状測定データの合成は、遠隔制御装置４０または別途、用意する形状測定データ合成装置（一般的なパソコン）で実行される。

以上説明した本実施の形態の画像撮影システムによれば、以下の（１）～（４）の効果が得られる。

（１）レーザートラッカーを原点として測定値からＸ，Ｙ，Ｚ座標を算出するため、飛行体２を制御するための座標変換が不要となる。トータルステーション等の測量機に一般的に用いられる極座標系ではなく、３次元直交座標で定義できる。
（２）アクティブターゲットを用いるので連続的な位置データの取得が可能となる。
（３）レーザー光を用いることでリアルタイム性を確保でき、遠距離でも安定して制御が可能となる。
（４）飛行体の位置検出および座標算出をレーザートラッカーに委ねているので、飛行体の機上制御装置の処理が軽減される。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。本発明はその発明の精神の範囲内において各実施の形態の自由な組み合わせ、あるいは各実施の形態の変形や省略が可能である。

１，１Ａ 画像撮影システム、２，２Ａ～２Ｃ 飛行体、６，６Ａ～６Ｄ レーザートラッカー、１０ 機上制御装置、１２ 撮影データ記憶部、１４ 飛行シナリオ記憶部、１５ 飛行位置補正部、１６ 撮影制御部、１８ 飛行制御部、２０ 撮影装置、２２ 通信部、２４ 障害物検知部、２６ 飛行推進部、２６Ａ，２６Ｆ プロペラ、２８ 電池、３０，３０Ａ，３０Ｂ アクティブターゲット、３１ 第１回転シャフト、３２ 第２回転シャフト、３３ レーザー受光部、４０ 遠隔制御装置、５０ 主演算部、５２ 撮影データ受信部、５４ シナリオ転送部、５６ シナリオ作成部、５８ シミュレータ部、６０，３３５，３５５ 表示部、６２，１６２，３３４，３５４ 入力部、６５，６５Ｃ，６５Ｄ 飛行シナリオ、７０，７０Ｃ，７０Ｄ，８０ 基準座標系、９０ 経由位置、１００，１００Ｂ 構造物、１５０ 切替位置、３３０，３５０ 内部バス、３３１，３５１ 制御部、３３２，３５２ 主記憶部、３３３，３５３ 外部記憶部、３３６，３５６ 送受信部、３３９，３５９ 制御プログラム。

Claims (4)

1. 構造物の形状測定用の画像を撮影する画像撮影システムであって、
   飛行および空中静止が可能に構成され、レーザー受光部と、前記レーザー受光部を回転させる機構とを搭載する飛行体と、
   前記レーザー受光部にレーザー光を照射し、前記レーザー受光部から反射されたレーザー光を受けて、前記飛行体の位置を測定する地上測定機器と、
   前記飛行体に搭載され、前記構造物を撮影する撮影装置と、
   前記飛行体に搭載された機上制御装置と、
   遠隔制御装置とを備え、
   前記遠隔制御装置は、
   撮影を行なう際の撮影ポイントおよび撮影条件を含む飛行シナリオを作成するシナリオ作成部と、
   前記シナリオ作成部で作成された前記飛行シナリオを前記機上制御装置に転送するシナリオ転送部とを含み、
   前記機上制御装置は、
   前記飛行シナリオを記憶する飛行シナリオ記憶部と、
   前記撮影装置を制御する撮影制御部と、
   前記地上測定機器が測定した前記飛行体の位置に基づき、前記飛行シナリオが示す位置からの前記飛行体の位置のずれ量を演算し、前記位置のずれ量を補正する指示を生成する飛行位置補正部と、
   前記飛行シナリオに基づき前記飛行体を制御し、前記飛行位置補正部が生成した前記位置のずれ量を補正する指示に基づいて前記飛行体の位置を補正する飛行制御部とを含む、構造物の形状測定用の画像撮影システム。
2. 前記飛行位置補正部は、前記飛行制御部が前記飛行体を前記撮影ポイントに移動させた後に、前記撮影ポイントの座標と前記地上測定機器が測定した前記飛行体の位置の座標との差である前記位置のずれ量を演算し、前記飛行制御部に前記位置のずれ量を補正させる指示を生成する、請求項１に記載の構造物の形状測定用の画像撮影システム。
3. 前記シナリオ作成部は、前記構造物の三次元モデルに基づき前記飛行シナリオを作成する、請求項１に記載の構造物の形状測定用の画像撮影システム。
4. 前記遠隔制御装置は、
   前記構造物の形状情報に基づいて、前記撮影ポイントを含む前記飛行シナリオを作成する、請求項１に記載の構造物の形状測定用の画像撮影システム。

Images