JP7031997B2 - 飛行体システム、飛行体、位置測定方法、プログラム - Google Patents

Description

本発明は、飛行体システム、飛行体、位置測定方法、及び、プログラムに関する

鉄塔などの構造物の点検、高所や断崖など人が進入しにくい場所の地形調査や災害調査などのため、ドローンなどの飛行体が活用されている。ユーザは飛行体に構造物などの位置情報を設定して自動で構造物まで飛行させ、飛行体に搭載された撮像装置に構造物等を撮像させることで、構造物等の点検や調査を安価かつ安全に行える。飛行体には位置情報が設定された構造物の方向に撮像装置の光軸を向けながら撮像する自動追尾機能があり、自動航行時にユーザが撮像装置の向きを操作しなくても構造物を撮像することが可能である。

このような飛行体を使用して特定の物体を検出する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、撮像範囲をエリアに区切り、エリアに存在する物体の情報を読み出すことで画像に写った物体の候補を絞る情報特定システムが開示されている。

特開２０１７－５８８３１号公報

しかしながら、従来の技術では、構造物の正確な位置を測定することが困難であるという問題があった。まず、飛行体はＧＮＳＳ（Global Navigation Satellite System）で自分の位置を把握しながら飛行するが、構造物の正確な位置情報を容易に入手することは困難であるため、構造物を決まった位置から撮像することが困難であった。図１を用いて説明する。

図１は、構造物の一例である鉄塔１１の撮像時における地図データの位置情報と鉄塔１１の実際の位置のずれを説明する図である。図１（ａ）に示すように、地図データには位置情報として鉄塔１１の緯度と経度が登録されている。しかし、地図データの位置情報と実際の位置とは若干のずれがあることが一般的である。地図データに記載された構造物の緯度と経度に基づいて飛行体が飛行した場合、図１（ｂ）に示すように、飛行体１０は鉄塔１１の真上に到達することができない。例えば、鉄塔１１の真上という決まった位置から鉄塔１１を点検するユースケースや、鉄塔１１の真上から別の鉄塔１１まで架空地線や電線等の点検を行うユースケースでは、決まった位置に到達できないと点検を開始できない。したがって、構造物の正確な位置が必要である。

この場合、ユーザは飛行体１０や撮像される画像データを目視しながら送信器（プロポともいう）を操作して飛行体１０の位置を遠隔地から操縦する必要がある（又は、補正された位置情報の入力が必要になる）。ユーザの操縦により、図１（ｃ）に示すように、飛行体１０は鉄塔１１の真上から鉄塔１１を撮像することができるが、作業効率が低下してしまう。

なお、図１（ｄ）に示すように、鉄塔１１の正確な位置はトータルステーション１２を用いた現地での測量により測定できる。しかし、作業負担が大きくコスト増となるため採用しにくい。

本発明は、上記課題に鑑み、構造物の正確な位置を測定することができる飛行体等を提供することを目的とする。

上記課題に鑑み、本発明は、撮像装置を有する飛行体によって上空から構造物を撮像する飛行体システムであって、飛行している現在の位置を取得する現在地取得部と、前記撮像装置が撮像した画像データから前記構造物を検出する構造物検出部と、前記構造物検出部が検出した前記構造物の前記画像データにおける面積情報を検出する面積情報検出部と、前記面積情報検出部が検出した前記構造物の前記画像データにおける面積情報が最小と見なせる場合の前記飛行体の位置を決定する位置決定部と、前記位置決定部が決定した前記飛行体の位置を、前記構造物の位置として記憶する位置記録部と、を有することを特徴とする。

構造物の正確な位置を測定することができる飛行体等を提供することができる。

構造物の一例である鉄塔の撮像時における地図データの位置情報と鉄塔の実際の位置のずれを説明する図である。 飛行体の外観図の一例である。 飛行体システムのシステム構成図の一例である。 飛行体の飛行条件の設定画面の一例を示す図である。 本実施形態で設定される飛行計画を模式的に示す図である。 情報処理装置、送信機、及び、飛行体の機能をブロック状に示す機能ブロック図の一例である。 飛行体とウェイポイントの相対位置に基づく方位の決定方法を説明する図である。 飛行体の挙動と４つのローターの回転方向の関係を説明する図である。 フライトコントローラの機能をブロック状に示す機能ブロック図の一例である。 飛行体と鉄塔の相対位置に対する鉄塔の撮像例を示す図である。 位置決定部が、構造体の面積が最小となる位置を決定する方法の一例を示す図である。 構造物が点対称か否かの判断方法を説明する図の一例である。 飛行体が構造物の正確な位置を測定する手順を示すフローチャート図の一例である。

以下、本発明を実施するための形態の一例として、飛行体システムと飛行体システムが行う位置測定方法について説明する。

＜用語について＞
構造物とは、主に建造物をいうが、自然物を含んでもよい。点検や調査の対象となるものは構造物である。例えば、鉄塔の他、ビル、電柱などが挙げられるがこれには限られない。本実施形態の構造物は、側方から見た大きさよりも真上から見た大きさの方が小さければよい。

本実施形態では主に動画を映像と称し、映像のフレームを画像データと称するが、画像データは映像の一部であるため厳密には区別しないものとする。

画像データにおける構造物の面積情報は面積そのものだけでなく、画像データにおける構造物の大小が分かる情報であればよく、例えば画像データにおける構造物の割合なども含む。

＜飛行体の基本的な機能について＞
本実施形態では飛行体１０の一例として主にドローンを想定して説明する。ドローンとは、飛行機、回転翼航空機、滑空機、飛行船であって構造上人が乗ることができないもののうち、遠隔操作又は自動操縦により飛行させることができるものをいう。マルチコプター、ラジコン機と呼ばれる場合がある。本実施形態ではホバリングが可能な回転翼航空機であることが好ましい。

図２は、飛行体１０の外観図の一例である。図２の飛行体１０は回転翼航空機というタイプのドローンで４つのローターを有している。ローターの数は機種や用途で様々であり、３、６、８個のローターを備えたものもある。本実施形態においてローターの数はいくつでもよい。

また、飛行体１０の底面には撮像装置１３が３軸ジンバルを介して固定されている。ジンバルとは本体側の姿勢が変化しても撮像装置１３の向きを一定に保つ機構をいう。これにより、飛行体１０の姿勢が傾いても画像が傾くことを抑制できる。また、ジンバルは撮像装置１３の向きを変えることができるので、飛行中でも常に構造物に光軸を向けて撮像できる。

図３は、飛行体システム１００のシステム構成図の一例を示す。飛行体システム１００は送信機２０，飛行体１０、及び、情報処理装置４０を有している。まず、送信機２０と飛行体１０は無線で通信することができ、ユーザが遠隔地から飛行体１０を操縦することができる。送信機２０と飛行体１０は一体に流通する場合が多いが、汎用的な送信機２０で操縦できる飛行体１０の場合は、単体で流通する飛行体１０に対し市販の送信機２０を利用できる。本実施形態では送信機２０は必ずしも必須ではない。また、送信機２０としてスマートフォン又はタブレット端末等が使用される飛行体１０もある。この場合、ユーザはスマートフォン又はタブレット端末等に専用のアプリケーションソフトをインストールして、アプリケーションソフトを操作することで飛行体１０を操縦する。

送信機２０のレバーはエレベータ（前進・後退）、エルロン（左・右）、ラダー（回転）、スロットル（上下）、及び、撮像装置１３の向きに割り当てられており、ユーザは飛行体１０の位置、高さ、向き、速度、及び、撮像方向の光軸を任意に操縦できる。

また、飛行体１０は情報処理装置４０と無線で通信することができる。飛行体１０に搭載された撮像装置１３が撮像した映像はリアルタイムに情報処理装置４０が受信できる。情報処理装置４０は、例えばノートＰＣ，タブレット端末、スマートフォン、ＰＤＡ（Personal Digital Assistant）、ゲーム機、カーナビゲーション装置などであり、通信機能とディスプレイを有していればよい。

情報処理装置４０には飛行体１０に専用のアプリケーションソフトがインストールされている。飛行体１０にも情報処理装置４０のアプリケーションソフトに対応したアプリケーションソフトがインストールされている。自動航行の場合、ユーザは情報処理装置４０のアプリケーションソフトを使用して自動航行に必要な設定（飛行計画という）などを行う。設定された飛行計画は情報処理装置４０が無線で飛行体１０に送信する。また、飛行体１０は撮像装置１３が撮像した映像の他、現在の位置情報、バッテリー状態、気温、及び、湿度、などを定期的に情報処理装置４０に送信する。これら飛行体１０に関する情報を飛行体情報という。

なお、飛行体１０は自動航行中、送信機２０及び情報処理装置４０との通信を維持しているが、どちらか一方、又は、両方との通信が途絶した場合、出発地に帰還するフェールセーフ機能を有している。

図４は、飛行体１０の飛行条件の設定画面５０１の一例である。ユーザは情報処理装置４０で動作しているアプリケーションソフトが表示する設定画面５０１から飛行計画を入力する。図４の設定画面５０１は地図領域５０２と詳細設定領域５０３を有する。ユーザは地図領域５０２に飛行場所の地図を表示させ、正確な位置を測定したい場所をユーザが地図領域５０２でタップする。あるいは、詳細設定領域５０３に経度、緯度、高度等を設定する。なお、飛行体１０が通過するように設定された場所をウェイポイントという。図４の詳細設定領域５０３はウェイポイント１つ分の項目を有している。

本実施形態では、詳細設定領域５０３を切り替えてユーザが２つのウェイポイントを設定するか、又は、地図領域５０２で２つの鉄塔１１をタップする。本実施形態の課題にて説明したように、この鉄塔１１の位置情報は正確とは限らない。

ユーザは詳細設定領域５０３の各項目に各ウェイポイントに関して詳細な飛行計画を設定できる。まず、緯度と経度はウェイポイントの座標であり、高度はウェイポイントを飛行する際の飛行体１０の高度である。スピードは出発地から最初のウェイポイントまで、ウェイポイント間、又は、最後のウェイポイントから出発地までの飛行速度である。

ヘディングは機種方向（正面方向）を意味し、北を０度として右回転で指定された角度に機首を向けさせるための設定である。ＰＯＩ(Point Of Interest)には地図上で別途指定したＰＯＩの番号が指定される。座標で指定してもよい。ＰＯＩが指定された場合、撮像装置１３の光軸がこのＰＯＩに自動的に向けられる。本実施形態ではＰＯＩはウェイポイント（例えば鉄塔１１）と同じでよい。

ジンバルピッチには撮像装置１３の光軸の設定方法が指定される。「無効」「ＰＯＩフォーカス」「書き込む」のいずれかを選択可能である。「無効」が選択されると、操縦者が自分で飛行中に操作する。「ＰＯＩフォーカス」を選択すると、ＰＯＩの項目で設定されたＰＯＩに撮像装置１３の光軸を自動的に合わせる。「書き込む」を選択すると、各ウェイポイントの設定時に任意の光軸を設定できる。

本実施形態ではこのＰＯＩに鉄塔１１などの構造物を設定することで、構造物まで距離がある場合は側面から、構造物に接近した場合は構造物の斜め上方から、構造物に到達した場合は構造物のほぼ上方から、自動的に撮像することが可能になる。したがって、図４の詳細設定領域５０３で高さの項目には対象物の高さよりも大きい値を入力しておくことが好ましい。

複数のウェイポイントの飛行計画が設定された場合、飛行体１０はウェイポイントの間を飛行する。一般には、ウェイポイントとウェイポイントを結ぶ直線を経路として経路追従走行を行うが、本実施形態では架空地線が撮像装置１３の画角に入った状態で、架空地線までの距離を一定に維持しながら飛行体１０がウェイポイントの間を飛行する。しかしながら、ウェイポイント間の飛行方法に関しては経路に沿ったものでもよく、本実施形態では特に制限されない。

図５は、本実施形態で設定される飛行計画を模式的に示す。図４で説明したように、ユーザは情報処理装置４０に２つの鉄塔１１の位置情報等を含む飛行計画を入力する。飛行計画は飛行体１０に送信される。
（１）ユーザが自動航行を開始する操作を情報処理装置４０から入力すると、この操作が飛行体１０に送信され、着陸状態の飛行体１０が空中に上昇する。飛行体１０は出発地の位置情報を記録してから、最初の鉄塔１１までの飛行を開始する。
（２）飛行体１０はＰＯＩに設定された鉄塔１１に撮像装置１３の光軸を合わせた状態で鉄塔１１に接近し、ある程度接近した状態で、本実施形態で説明する鉄塔１１の正確の位置の測定を開始する。
（３）１つめの鉄塔１１の正確な位置を測定できた場合、飛行体１０は飛行計画に基づいて次の鉄塔１１への飛行を開始する。飛行体１０は架空地線との距離を一定に保ち架空地線を撮像しながら次の鉄塔１１まで飛行する。２つの鉄塔１１間を結ぶ直線を経路にして飛行してもよい。
（４）飛行体１０は設定画面５０１で設定された２つめの鉄塔１１の位置情報に接近すると、１つめの鉄塔１１と同様に本実施形態で説明する鉄塔１１の正確な位置を測定する。
（５）２つめの鉄塔１１の正確な位置を測定できた場合、飛行計画には次の鉄塔１１が設定されていないので、飛行体１０は出発地の位置情報まで飛行を開始する。この時の撮像装置１３の光軸はどこを向いていてもよい。

＜構成例＞
続いて、図６を用いて、飛行体１０の構成例を説明する。図６は、情報処理装置４０、送信機２０、及び、飛行体１０の機能をブロック状に示す機能ブロック図の一例である。なお、情報処理装置４０、送信機２０、及び、飛行体１０はいずれも、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、Ｉ／Ｏ、通信装置、及び、バッテリー等を有する一般的なコンピュータとしての機能を有している。図示する機能は、フラッシュメモリからＲＡＭに展開されたアプリケーションソフト（特許請求の範囲のプログラムの一例）をＣＰＵが実行し、各種のハードウェアを制御することで実現される機能又は手段である。

＜＜情報処理装置＞＞
情報処理装置４０は表示制御部４１、操作受付部４２、情報管理部４３、飛行計画情報送信部４４、及び、第１無線通信部４５を有している。操作受付部４２は、情報処理装置４０（アプリケーションソフト）に対する各種の操作を受け付ける。例えば、飛行計画の設定を受け付ける。

表示制御部４１は、例えば設定画面５０１をディスプレイに表示し、設定画面５０１の地図領域５０２にユーザが設定したウェイポイントやウェイポイントを結んだ飛行経路等を表示する。また、飛行体１０から受信した飛行体情報を、情報処理装置４０のディスプレイに表示する。

飛行計画情報送信部４４は、操作受付部４２が受け付けた飛行計画情報を、第１無線通信部４５を介して飛行体１０に送信する。情報管理部４３は第１無線通信部４５が飛行体１０から受信した飛行体情報を管理する。例えば、同じ時刻の位置情報と映像を対応付けて管理する。同じ時刻の位置情報と映像の対応付けは飛行体１０が行ってもよい。ユーザは、記録された映像などを再生しその時の位置情報などを確認することができる。ただし、飛行体情報はリアルタイムに送信されなくてもよい。この場合、飛行体１０が飛行体情報を保持しておき、出発地への帰還後にユーザが情報処理装置４０に飛行体情報を移動又はコピーする。

第１無線通信部４５は主に無線で飛行体１０と通信するが、飛行中でなければ有線で通信してもよい。無線の場合、例えば２．４ＧＨｚの周波数帯の電波が使用されるが、周波数や通信プロトコルは適宜、法令にしたがったものが使用されればよい。無線ＬＡＮや携帯電話網など汎用的な電波を使用してよい。第１無線通信部４５は飛行計画情報を送信機２０に送信し、送信機２０から飛行体情報を受信する。

＜＜送信機＞＞
送信機２０は、操縦受付部２１、制御部２２、制御信号送信部２３、及び、第３無線通信部２４を有している。操縦受付部２１は、送信機２０に設けられたレバーの操作により飛行体１０に対する操縦を受け付ける。例えば、レバーを押し倒している間、レバーに対応付けられている動作（エレベータ、エルロン、ラダー、スロットル）に関する操作を受け付ける。また、撮像装置１３に対応したレバーが操作された場合、撮像装置１３の向きを変更する操作を受け付ける。なお、各レバーに対応する操縦のインタフェースをチャンネルともいう。

制御部２２は、操縦受付部２１が受け付けた操作内容をチャンネルに対応付けられた制御信号に変換する。制御信号はデジタルが一般的であるが、アナログ信号に変換してもよい。制御信号送信部２３は第３無線通信部２４を介して制御信号を飛行体１０に送信する。

第３無線通信部２４は例えば２．４Ghz帯の搬送波に情報を乗せてアンテナから送信する。周波数や通信プロトコルは適宜、法令にしたがったものが使用されればよい。

なお、送信機２０と情報処理装置４０が無線又は有線で通信してもよい。この場合、送信機２０又は情報処理装置４０の一方が無線で飛行体１０と通信すればよいので、情報処理装置４０と送信機２０のどちらかは無線通信に関する機能を不要にできる。あるいは、情報処理装置４０と送信機２０が一体でもよい。

＜＜飛行体＞＞
飛行体１０は、主に第２無線通信部３１、第４無線通信部３２、フライトコントローラ３６、ＧＮＳＳ受信機３３、加速度センサ６３、ジャイロセンサ６４、高度センサ６５、距離センサ６６、及び、ローターの数だけのＥＳＣ３４（Electric Speed Controller）とモータ３５を有している。

第２無線通信部３１は飛行計画情報を情報処理装置４０から受信し、フライトコントローラ３６に送出する。第４無線通信部３２は操縦に関する制御信号を送信機２０から受信し、フライトコントローラ３６のモータ制御部５９に送出する。第２無線通信部３１と第４無線通信部３２は常に情報処理装置４０と通信しており、電波強度を監視すると共に、通信の切断があればこれを検出する。

フライトコントローラ３６は、飛行体１０の飛行に関する全体的な制御を行う。まず、送信機２０からの操縦による制御信号に応じた制御について説明する。モータ制御部５９は、制御信号に応じて自転するように又は制御信号に反して飛行体１０が自転しないように、各ローターの回転速度を制御する。また、制御信号に応じた速度で飛行するように各ローターの回転速度を制御する。また、制御信号に応じて上昇若しくは下降するように各ローターの回転速度を制御する。なお、飛行中、モータ制御部５９は加速度センサ６３で姿勢を推定し、姿勢が水平を維持するように各ローターの回転速度を制御する。また、飛行中は、ＧＮＳＳ受信機３３が測定する位置の時間的な変化に基づく速度、加速度センサ６３が検出する加速度、ジャイロセンサ６４が検出する回転速度（ヨーレート）とそれを積分して測定される向き、高度センサ６５が検出する高度、及び、距離センサ６６が検出する下方の構造物との距離が測定される。

また、フライトコントローラ３６は撮像装置１３を制御信号に応じた向きに制御する。図６では説明の便宜上、フライトコントローラ３６が撮像装置１３を制御しているが、撮像装置１３の制御はフライトコントローラ３６とは別のＩＣチップなどが行ってもよい。

次に、飛行計画情報に基づいて飛行するための飛行体１０の機能について説明する。フライトコントローラ３６は、経路決定部５１、処理受付部５２、撮像装置制御部５３、方向決定部５４、飛行計画記憶部５５、姿勢推定部５６、現在地取得部５７、速度変換部５８、モータ制御部５９、回転速度検出部６０、高度検出部６１、及び、距離検出部６２を有している。

処理受付部５２は飛行計画情報を受け付けて、飛行計画記憶部５５に記憶させる。現在地取得部５７はＧＮＳＳ受信機３３が検出する位置情報（緯度、経度、標高）を取得する。速度変換部５８は、現在地取得部５７が取得した時系列の位置情報と位置情報が取得される時間間隔から位置情報を地表面に対する速度に変換する。あるいは、加速度センサ６３が検出する加速度を積分して速度を算出してもよい。

経路決定部５１は飛行計画記憶部５５から飛行計画情報を取得し、飛行体１０が飛行すべき経路を決定する。例えば、自動航行の開始が入力された時の位置情報（すなわち、出発地）の位置情報を保持しておく。そして、出発地から最初のウェイポイントを結ぶ直線を設定し、隣接したウェイポイント同士間では架空地線までの距離を一定に維持しながら飛行するモードに切り替え、最後のウェイポイントから出発地を結ぶ直線を設定し、それぞれを経路として決定する。

方向決定部５４は、直線などの経路に沿って飛行体１０が飛行する場合に、現在地と速度を用いて、飛行体１０の進行方向を決定する。詳細は図７を用いて説明する。なお、ウェイポイント間を飛行する際は、架空地線が画像データの中央に撮像されるように、架空地線との距離を一定に維持したまま、飛行する方向を決定する。

高度検出部６１は高度センサ６５が検出する信号に基づいて飛行体１０の高度を検出する。高度センサ６５が気圧計の場合は、気圧を高度に変換する。高度センサ６５が光や音波を送信してから地上で反射して戻ってくるまでの時間から距離を算出する場合、この距離を高度とする。

回転速度検出部６０は、ジャイロセンサ６４が検出する信号に基づいて旋回速度（自転速度）を検出する。また、ロール運動の速さやピッチング運動の速さなども検出できる。

距離検出部６２は距離センサ６６が検出する信号に基づいて構造物までの距離を検出する。例えば、レーザーレーダ（ＬｉＤＡＲLight Detection and Ranging、Laser Imaging Detection and Ranging）により距離を検出できる。なお、撮像装置１３がステレオカメラの場合は、ステレオカメラが検出する距離情報を使用してもよい。

姿勢推定部５６は加速度センサ６３の検出する信号に基づいて、飛行体１０の姿勢を推定する。加速度センサ６３は３軸の加速度を検出するため、姿勢推定部５６は飛行体１０のヨー角、ピッチ角、ロール角を推定できる。ヨー角は例えば北向きを基点に時計回りに正面が何度の方向を向いているかを示し、ピッチ角は水平方向に対し正面が何度、上又は下を向いているか示し、ロール角は正面方向に対し何度、右又は左に傾いているかを示す。

撮像装置制御部５３は、姿勢推定部５６が推定した姿勢に基づいて、３軸ジンバルのうちヨー角、ピッチ角、ロール角に対応するジンバルを、ヨー角、ピッチ角、ロール角を打ち消すように制御する。例えば、ピッチ角が下向きに１０度傾けば、ジンバルを上向きに１０度、回転させる。こうすることで、飛行体１０の姿勢が変わっても撮像装置１３は常に正面又はＰＯＩなどの決まった方向を向くことができる。

撮像装置制御部５３は飛行計画のジンバルピッチで「ＰＯＩフォーカス」が設定されている場合、ウェイポイントに一番近いＰＯＩ（本実施形態では鉄塔）と飛行体１０の位置情報を結ぶ直線方向に撮像装置１３の光軸を合わせる。ＰＯＩと飛行体１０の三次元座標が分かっているので、Ｘ座標、Ｙ座標、Ｚ座標の差分が求められ、この差分を要素とするベクトルの方向を向くようにジンバルを制御する。

また、撮像装置制御部５３は撮像装置１３が撮像する映像を周期的に取得して第２無線通信部３１に送出する。第２無線通信部３１は映像を含む他の飛行体情報を情報処理装置４０に送信する。

モータ制御部５９は飛行計画に設定された各ウェイポイントの高度と速度が得られるように各モータ３５を制御しながら、方向決定部５４が決定した方向を向いて飛行するように各モータ３５を制御する。目標の高度、速度、及び旋回速度に対し、例えばＰＩＤ制御により各モータ３５の回転数をフィードバック制御する。

ＥＳＣ３４はユーザの操作又はモータ制御部５９の制御をＰＷＭ(Pulse Width Modulation)信号に変換してモータ３５の回転速度を制御する。送信機２０のレバー位置又は速度、高度、旋回に関するモータ制御部５９から制御に応じて電圧ＯＮの時間を変化させることで、モータ３５の回転数をコントロールする。

＜方向の決定方法＞
図７を用いて方向の決定方法を説明する。図７は、飛行体１０とウェイポイントの相対位置に基づく方位の決定方法を説明する図である。なお、図７では、高さを考慮せずに水平面を表している。

図７（ａ）は２つの隣接したウェイポイントＡ，Ｂに対し、飛行体１０が現在向いている方向を示している。まず、ウェイポイントＡとＢを結ぶ直線を経路５１１とする。飛行体１０は経路上をウェイポイントＢに向かって飛行することが望ましいが、図７（ａ）では飛行体１０は経路５１１から離れた位置を、経路とは異なる方向を向いて飛行している。

経路５１１と平行な方向５１２と現在の飛行体１０の方向の差をθ、現在の飛行体１０の方向と、飛行体１０と経路上のターゲットポイントＴを結ぶ直線とのなす角をαとする。ターゲットポイントＴは飛行体１０よりも前方の経路５１１を一定速度で移動する（ウェイポイントＡを飛行体よりも先に出発する）。飛行体１０の方向をα変更すると飛行体１０がターゲットポイントＴに向かって飛行する。このため、まずαを求める。ターゲットポイントＴの座標を（ｘ０,ｙ０）、飛行体１０の座標を（ｘ、ｙ）とすると、図示する関係からαは以下のように求められる。
α＝arctan｛（ｙ０－ｙ）/（ｘ０－ｘ）｝－θ
αを急激にゼロにしようとすると姿勢が不安定になるおそれがあるため、ターゲットポイントＴに到達する時にαをゼロにすることを考える。この場合、飛行体１０は円を描くように飛行するとよい。図７（ｂ）は円の求め方を説明する図の一例である。飛行体１０とターゲットポイントＴを結ぶ直線を円の弦５１３として、弦５１３の長さをＬ、円の中心をＯ、半径をＲとする。飛行体１０の現在の方向は円の接線５１４となる。中心Ｏから弦に垂線５１５を下ろすと三角形ＨＯＰの頂角はαである。以上から半径Ｒは以下のように求められる。
Ｒ＝Ｌ/(2sinα)
速度ｖと旋回速度（角速度ω）と半径Ｒには
ω＝Ｒｖ
という関係があるため、飛行体１０の角速度ωを速度から求めることができる。この旋回速度を繰り返し算出し、速度ｖと角速度ωで飛行することで経路上を飛行するように飛行体１０の方向を制御することができる。

なお、経路追従の制御方法が各種考案されており、図７で説明した方法は一例に過ぎない。

＜飛行体の速度、高度、旋回の制御について＞
図８は、飛行体１０の挙動と４つのローターの回転方向の関係を説明する図である。図８（ａ）はエレベータ又はエルロンという動作を行う場合のローターの回転速度を示す。例えば、前方にエレベータする場合、前方に比べ後方のローターの回転が速くなることで、飛行体１０の前方と後方に揚力の差が生まれ、後方の方が高く持ち上がる。すなわち、飛行体１０が前傾姿勢になり前に進む。

エルロンで右に進む場合は、右に比べ左のローターの回転が速くなることで、飛行体１０の右と左に揚力の差が生まれ、飛行体１０が右に傾き、右へ移動する。

図８（ｂ）は旋回（ラダー）という動作を行う場合のローターの回転速度を示す。飛行体１０は元々、ローターの回転により生じるトルクで機体が回転しないように、隣接したローターは互いに逆方向に回転している。このため、例えば左に旋回する場合は、右回りのローターの回転数が左回りのローターの回転数を上回ると、機体全体が左へ旋回する。対角線にあるローターの回転数を変化させることで旋回する方向を変えることができる。

一方、前後、左右、又は対角線のローターに回転速度の差が生じなければ、換言すると、４つのローターがほぼ同じ回転速度で回転することで、飛行体１０は空中で静止したり、スロットル（上下）したりすることができる。空中で静止することをホバリングという。

＜鉄塔の正確な位置を測定するための構成＞
続いて、図９を用いて飛行体１０が鉄塔１１の正確な位置を測定するための構成について説明する。図９は、フライトコントローラ３６の機能をブロック状に示す機能ブロック図の一例である。なお、図９に示す機能はフライトコントローラ３６以外の部品が有していてもよい。

フライトコントローラ３６は、位置記録部７１、高さ決定部７２、対称性判断部７３、位置決定部７４、面積情報検出部７５、構造物検出部７６、画像データ取得部７７及び、モータ制御部５９を有している。モータ制御部５９は図６にて説明したものと同じである。

画像データ取得部７７は撮像装置１３が撮像する映像を構成する画像データを繰り返し取得する。上記のように出発地から最初の鉄塔１１までの間、撮像装置１３は常に最初の鉄塔１１に光軸を向けている。

構造物検出部７６は、映像から構造物を検出する。例えば、予め用意した鉄塔１１の画像を雛形にして映像と比較するパターンマッチングで検出してもよいし、機械学習で生成した識別器で検出してもよい。

面積情報検出部７５は、画像データに対し構造物が占める面積を検出する。例えば、構造物の外接矩形を検出し、外接矩形が占める画素数を面積とする。面積を検出するのでなく、画像データに対し構造物が占める割合を検出してもよい。

位置決定部７４は、構造物の面積が最小になる飛行体１０の位置を決定する。これは、構造物の面積が最小になった場合、構造物のほぼ真上を飛行していると推定できるためである。なお、面積情報検出部７５とモータ制御部５９が連携して、フィードバック制御又はフィードフォワード制御を繰り返し、面積が最小となるようにモータ制御部５９が飛行体１０の位置を決定してもよい。

対称性判断部７３は、構造物の面積が最小になった場合に、構造物の形状が点対称となるか否かを判断する。構造物の面積が最小となっただけでは構造物の真上を飛行しているとは限らないためである。ただし、構造物の面積が最小であれば、構造物の真上を飛行している場合も多く、対称性の判断は必須でなくてよい。

高さ決定部７２は、対称性判断部７３により構造物の真上にいると判断された場合、構造物の高さを決定する。位置記録部７１は、構造物の位置と高さをメモリに記録する。また、位置記録部７１は、構造物の真上にいると判断された場合、真上であるという旨と共に、構造物の位置に対応付けて画像データを記録する。位置記録部７１が記録した情報は飛行体情報として情報処理装置４０に送信される。

＜正確な鉄塔の位置を決定する方法の一例＞
図１０を用いて、飛行体１０が正確な鉄塔１１の位置を決定する方法について説明する。図１０は飛行体１０と鉄塔１１の相対位置に対する鉄塔１１の撮像例を示す図である。

図１０（ａ）は鉄塔１１に対し真横を飛行する飛行体１０を示し、図１０（ｂ）は真横を飛行する飛行体１０の撮像装置１３が撮像した画像データを示す。図１０（ｂ）に示すように、側面から撮像された鉄塔１１の画像データにおける面積は大きくなる。

図１０（ｃ）は鉄塔１１に対し斜め上空を飛行する飛行体１０を示し、図１０（ｄ）は斜め上空を飛行する飛行体１０の撮像装置１３が撮像した画像データを示す。図１０（ｄ）に示すように、斜め上級から撮像された鉄塔１１の画像データにおける面積は、側面から撮像するよりも小さくなる。

図１０（ｅ）は鉄塔１１の真上を飛行する飛行体１０を示し、図１０（ｆ）は真上を飛行する飛行体１０の撮像装置１３が撮像した画像データを示す。図１０（ｆ）に示すように、真上から撮像された鉄塔１１の画像データにおける面積は、斜め上空から撮像するよりも小さくなる。また、鉄塔１１の形状は縦長なので、真上から撮像した場合に面積が最も小さくなる。

本実施形態ではこの知見を利用して、撮像した構造物の面積が最小になるように、飛行体１０を制御することで、直上となる位置を探索する。更に、飛行体は撮像した構造物の形状が、点対称となった位置を直上と推定する（又は判断する）。点対称か否かを判断することで、真上であることを確認できる。また、面積が最小と見なせる位置がいくつかあり誤差の違い程度の差異しかない場合に、真上の位置を判断できる。

＜構造物の面積が最小となる位置の決定＞
図１１は、位置決定部７４が、構造体の面積が最小となる位置を決定する方法の一例を示す。図１１に示すように、設定画面５０１で設定された鉄塔１１の位置に到達した時、飛行体１０は鉄塔１１の真上に存在する可能性が低い。そこで、位置決定部７４は飛行体１０の現在地を中心に地面に水平な所定の面積の円５２１を設定し、この円５２１をメッシュで区切る。円５２１の半径は鉄塔１１の真上が含まれる長さとする。これは地図データが保持する鉄塔１１の位置と実際の鉄塔１１の位置にどの位のずれがあるかによって定めればよい。メッシュのサイズは一辺を例えば数十〔ｃｍ〕から１〔ｍ〕程度とすればよい。これは真上に対し許容できるずれを考慮して決定される。なお、円５２１は正方形又は長方形でもよいし、楕円でもよい。

位置決定部７４は、円の中心からメッシュの交点５２２を辿るようにモータ制御部５９にモータ３５を制御させる。これにより、メッシュの交点５２２を通過しながら移動して各交点５２２における構造物の面積を蓄積できる。位置決定部７４は、面積が最小となる又は最小と見なせる１つ以上のメッシュの交点５２２の座標を決定する。

なお、構造物の面積が最小となる位置を決定する方法には、状態フィードバック制御を適用してもよい。状態フィードバック制御は、制御対象の状態量をフィードバックすることにより制御を行う手法をいう。ユーザは、面積が最小となる方向に飛行体１０を移動させ式（１）の状態方程式と式（２）の出力方程式を立てる。状態方程式を解いて得られるｘを例えば位置とすると、構造物の面積が最小となる位置に移動できる。

＜点対称の判断＞
図１２は構造物が点対称か否かの判断方法を説明する図の一例である。図１２（ａ）では映像のほぼ中央に鉄塔１１が写っている。対称性判断部７３は、図１２（ｂ）に示すように、構造物の外接矩形の領域を切り出す。

次に、図１２（ｃ）に示すように、切り出した領域をコピーして複製物を生成する。また、図１２（ｄ）に示すように、切り出した領域を１８０度回転させる。対称性判断部７３は図１２（ｃ）（ｄ）の画像を画素ごとに比較して、点対称か否かを判断する。比較方法としは、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross Correlation）、ＺＮＣＣ（Zero means Normalized Cross Correlation）などの２つの画像の差異を算出する方法がある。ＳＡＤとＳＳＤは類似するほど値が小さくなるが、ＮＣＣとＺＮＣＣは類似するほど値が大きくなる。以下では、類似の程度が高いことを単に対称性のスコアがよいという。

なお、図１２では点対称か否かを判断したが、線対称か否かを判断してもよい。真上から見た構造物が点対称であるべきか、線対称であるべきかは構造部の形状によるものである。

構造物の面積が最小となる飛行体１０の位置の数に応じて、対称性判断部７３は以下のように処理する。
(i) 構造物の面積が最小となる位置が１つであり、構造物が点対称であることが確認できた場合、構造物の面積が最小となる位置を構造物の真上の位置に決定する。
(ii) 構造物の面積が最小となる位置が１つであり、構造物が点対称であることが確認できない場合、飛行体１０はその旨を記録しておき飛行体情報として情報処理装置４０に送信する。この場合、リアルタイムに構造物の真上か否かを映像でユーザが確認し、真上でない場合は送信機２０から飛行体１０の位置を構造物の面積が最小となるように操縦するとよい。ユーザによるリアルタイムの介在が困難な場合、便宜的に、飛行体１０は構造物の面積が最小となる位置を構造物の真上の位置に決定しておき、次の鉄塔１１への飛行を継続する。この場合、位置記録部７１が記録しておいた画像データと飛行体１０の位置情報からユーザが構造物の真上か否かを判断し、真上でない場合は記録しておいた位置情報を破棄する。
(iii) 構造物の面積が最小となる位置が複数であり（面積が最小と見なせる位置がいくつかあり誤差の違い程度の差異しかない場合）、いずれかの位置において構造物が点対称であることを確認できた場合、点対称であることを確認できた位置を構造物の真上の位置に決定する。
(iv) 構造物の面積が最小となる位置が複数であり（面積が最小と見なせる位置がいくつかあり誤差の違い程度の差異しかない場合）、いずれの位置においても構造物が点対称であることを確認できない場合、対称性のスコアが最もよい位置を構造物の真上であると判断する。あるいは、(ii)と同様にユーザが介在するとよい。

＜鉄塔の高さについて＞
以上により、鉄塔１１の正確な位置を決定できたので、鉄塔１１の高さについても決定する。飛行体１０の高度は高度センサ６５により検出されており、鉄塔１１までの距離は距離センサ６６により検出されている。したがって、高さ決定部７２は以下により鉄塔１１の高さを算出できる。
鉄塔１１の高さ＝飛行体１０の高度－鉄塔１１までの距離
＜情報処理装置による処理＞
図９に示した機能は情報処理装置４０が有していてもよい。飛行体１０の現在地が設定画面５０１で設定された鉄塔１１の位置に到達した場合、情報処理装置４０は図９に示した位置記録部７１、高さ決定部７２、対称性判断部７３、位置決定部７４、面積情報検出部７５、及び、構造物検出部７６が行う処理を行う。

設定画面５０１で設定された鉄塔１１の位置に到達した時、位置決定部７４は現在地を中心として地面に水平なメッシュを設定し、メッシュの交点の位置を飛行体１０に送信する。メッシュの交点における映像を飛行体１０から受信して、構造物検出部７６が画像データから構造物を検出し、面積情報検出部７５が構造体の面積情報を検出する。位置決定部７４は面積が最小になるメッシュの交点の位置を決定し、対称性判断部７３が、対称性があると判断したメッシュの交点の位置を飛行体１０に送信する。飛行体１０はこの位置から架空地線の撮像を開始する。

＜動作手順＞
図１３は、飛行体１０が構造物の正確な位置を測定する手順を示すフローチャート図の一例である。図１３の処理は、飛行体１０がすでに最初の鉄塔１１を目的地に飛行しているものとする。

撮像装置１３は常に鉄塔１１に光軸を向けて撮像している。画像データ取得部７７は撮像装置１３から鉄塔１１が映っている画像データを取得して、構造物検出部７６は画像データから構造物を検出している。

位置決定部７４は飛行体１０の現在地が、設定画面５０１で設定された位置とほぼ等しいか否かに基づいて、鉄塔１１に到達したか否かを判断する（Ｓ１）。この状態では、撮像装置１３は斜め上方から鉄塔１１を撮像すると考えられる。あるいは、斜め上方から鉄塔１１を撮像しているか否かを判断することで、鉄塔１１に到達したか否かを判断してもよい。設定画面５０１で設定された位置に完全に到達することまでは必要なく、飛行体１０が鉄塔１１に接近することで、ある程度移動すれば（例えば数十メートルの範囲）鉄塔１１の最小の面積を撮像できる位置まで到達すれば、鉄塔１１に到達したと判断してよい。

鉄塔１１に到達した場合、位置決定部７４は鉄塔１１の面積を検出するメッシュの交点５２２を決定する（Ｓ２）。そして、モータ制御部５９に各交点５２２の位置を送出して移動させ、面積情報検出部７５は各メッシュの交点５２２で鉄塔１１の面積を検出する（Ｓ３）。

面積情報検出部７５が全ての交点５２２で面積を算出すると、位置決定部７４は面積が最小となる１つ以上の位置（メッシュの交点）を決定する（Ｓ４）。図１３の処理では複数の位置が決定されたものとする。

対称性判断部７３は、鉄塔１１の面積が最小になった位置で撮像された鉄塔１１の対称性を判断する（Ｓ５）。

鉄塔１１の面積が最小となる位置が複数の場合、対称性のスコアが最もよい位置を鉄塔１１の真上に決定する（Ｓ６）。

鉄塔１１の真上の位置を決定できたので、高さ決定部７２は飛行体１０の高度と鉄塔１１までの距離から鉄塔１１の高さを算出する（Ｓ７）。

位置記録部７１は、鉄塔１１の真上である旨と共に、鉄塔１１の真上の位置（緯度、経度）と高さを画像データに対応付けて記録する（Ｓ８）。

これにより、飛行体１０は１つめの鉄塔１１の正確な位置を測定できたので、飛行計画にしたがって、２つめの鉄塔１１へ移動を開始する。鉄塔１１と鉄塔１１の間は、架空地線が撮像装置１３の画角に入った状態で、架空地線までの距離を一定に維持しながら飛行体１０が飛行するので、架空地線をほぼ一定の大きさで撮像でき、ユーザは映像から架空地線を点検できる。

＜まとめ＞
以上説明したように、本実施形態の飛行体１０は構造物の面積が最小になるように、位置を決定することで、構造体の正確な位置を測定することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、構造体の真上を決定した後、構造体を上部から見た四辺の位置を決定してもよい。真上から前後左右に移動して距離センサで距離が急激に長くなる位置（構造体でなく地面までの距離を測定し始めた位置）を、構造体を上部から見た辺（端部）の位置に決定することができる。

また、ウェイポイントは２つに限られず、バッテリーが継続する範囲でより多くのウェイポイントを設定できる。

また、ウェイポイント間では架空地線だけでなく、電線その他のケーブルを点検してもよい。また、鉄塔１１とは異なる種類の構造物がウェイポイントに設定されてよい。

また、図９などの構成例は、飛行体１０の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、飛行体１０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、飛行体１０の機能は、ソフトウェアにより実現される場合と、各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）等のハードウェアモジュールで実現される場合を含むものとする。

１０ 飛行体
１１ 鉄塔
１３ 撮像装置
２０ 送信機
３６ フライトコントローラ
４０ 情報処理装置
１００ 飛行体システム

Claims (8)

1. 撮像装置を有する飛行体によって上空から構造物を撮像する飛行体システムであって、
   飛行している現在の位置を取得する現在地取得部と、
   前記撮像装置が撮像した画像データから前記構造物を検出する構造物検出部と、
   前記構造物検出部が検出した前記構造物の前記画像データにおける面積情報を検出する面積情報検出部と、
   前記面積情報検出部が検出した前記構造物の前記画像データにおける面積情報が最小と見なせる場合の前記飛行体の位置を決定する位置決定部と、
   前記位置決定部が決定した前記飛行体の位置を、前記構造物の位置として記憶する位置記録部と、
   を有することを特徴とする飛行体システム。
2. 前記位置決定部が決定した前記飛行体の位置において撮像された前記画像データに写っている前記構造物の形状の対称性を判断する対称性判断部を有し、
   前記対称性判断部が、前記画像データに写っている前記構造物の形状が点対称又は線対称であると判断した場合、
   前記位置記録部は、前記位置決定部が決定した前記飛行体の位置を前記構造物の位置として記憶することを特徴とする請求項１に記載の飛行体システム。
3. 前記位置決定部は、前記面積情報検出部が検出した前記構造物の前記画像データにおける面積情報が最小と見なせる場合の前記飛行体の位置が、前記構造物の直上であると推定することを特徴とする請求項１又は２に記載の飛行体システム。
4. 前記位置記録部は、前記面積情報検出部が検出した前記構造物の前記画像データにおける面積情報が最小と見なせる場合の前記飛行体の位置を、
   前記飛行体の位置において前記撮像装置が撮像した前記画像データと対応付けて記録することを特徴とする請求項１～３のいずれか１項に記載の飛行体システム。
5. 前記位置決定部は、前記構造物から所定の範囲に接近した状態で、地面に水平なメッシュを設定し、メッシュの各交点を前記飛行体に飛行させ、
   メッシュの各交点において前記撮像装置が撮像した前記画像データから前記構造物検出部が前記構造物を検出し、
   前記面積情報検出部は、メッシュの各交点において撮像された前記構造物の前記画像データにおける面積情報を検出し、
   前記位置決定部は、前記構造物の前記画像データにおける面積情報が最小と見なせるメッシュの交点を前記飛行体の位置に決定することを特徴とする請求項１～４のいずれか１項に記載の飛行体システム。
6. 撮像装置よって上空から構造物を撮像する飛行体であって、
   飛行している現在の位置を取得する現在地取得部と、
   前記撮像装置が撮像した画像データから前記構造物を検出する構造物検出部と、
   前記構造物検出部が検出した前記構造物の前記画像データにおける面積情報を検出する面積情報検出部と、
   前記面積情報検出部が検出した前記構造物の前記画像データにおける面積情報が最小と見なせる場合の前記飛行体の位置を決定する位置決定部と、
   前記位置決定部が決定した前記飛行体の位置を、前記構造物の位置として記憶する位置記録部と、
   を有することを特徴とする飛行体。
7. 撮像装置を有する飛行体によって上空から構造物を撮像する飛行体システムが行う位置測定方法であって、
   現在地取得部が、飛行している現在の位置を取得するステップと、
   構造物検出部が、前記撮像装置が撮像した画像データから前記構造物を検出するステップと、
   面積情報検出部が、前記構造物検出部が検出した前記構造物の前記画像データにおける面積情報を検出するステップと、
   位置決定部が、前記面積情報検出部が検出した前記構造物の前記画像データにおける面積情報が最小と見なせる場合の前記飛行体の位置を決定するステップと、
   位置記録部が、前記位置決定部が決定した前記飛行体の位置を、前記構造物の位置として記憶するステップと、
   を有することを特徴とする位置測定方法。
8. 撮像装置よって上空から構造物を撮像する飛行体を、
   飛行している現在の位置を取得する現在地取得部と、
   前記撮像装置が撮像した画像データから前記構造物を検出する構造物検出部と、
   前記構造物検出部が検出した前記構造物の前記画像データにおける面積情報を検出する面積情報検出部と、
   前記面積情報検出部が検出した前記構造物の前記画像データにおける面積情報が最小と見なせる場合の前記飛行体の位置を決定する位置決定部と、
   前記位置決定部が決定した前記飛行体の位置を、前記構造物の位置として記憶する位置記録部、
   として機能させるためのプログラム。

Images