JP6790206B1 - 制御装置、制御方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】無人航空機の外部からの衝撃に対してカメラを十分に保護可能であり、撮像画像に基づく画像の画質の低下を抑制できることが望ましい。【解決手段】制御装置は、飛行体が備える撮像部を包囲するフレーム体を回転させるフレーム制御部と、撮像部により複数の時点で同一の撮像範囲を含んで撮像された複数の撮像画像を取得する取得部と、複数の撮像画像に基づいて、補完画像を生成する処理部と、を備える。フレーム体の少なくとも一部は、複数の時点の少なくとも１つの時点において、撮像部の撮像範囲内に位置する。【選択図】図５

Description

本開示は、制御装置、制御方法、プログラム、及び記録媒体に関する。

従来、無人航空機がその周囲の障害物との衝突による影響を低減することが検討されている。例えば、内部フレームと、内部フレームに取り付けられた内部飛行推進システムと、外部フレームと、ジンバルシステムと、制御システムと、電源と、外部フレーム駆動システムと、カメラと、を備える無人航空機が知られている（特許文献１参照）。ジンバルシステムは、内部飛行推進システムと外部フレームとを結合する２つの回転結合部を有する。外部フレーム駆動システムは、外部フレームを内部フレームに対して動的に向きを調整する。

欧州特許出願公開第３４５０３１０明細書

特許文献１の無人航空機では、カメラは、外部フレームの外側に配置されるか、外部フレームの内側でカメラの撮像範囲に外部フレームが重ならないように配置されている。この場合、カメラの撮像範囲に外部フレームが存在しない状態となり、カメラへの障害物の衝突に対する耐性が不十分となる。よって、無人航空機の外部からの衝撃に対してカメラを十分に保護可能であり、撮像画像に基づく画像の画質の低下を抑制できることが望ましい。

一態様において、制御装置は、画像の処理及びフレーム体の制御を行う制御装置であって、処理部を備える。処理部は、飛行体が備える撮像部により複数の時点で同一の撮像範囲を含んで撮像された複数の撮像画像を取得し、撮像部を包囲するフレーム体を回転させ、複数の撮像画像に基づいて、補完画像を生成する。フレーム体の少なくとも一部は、複数の時点の少なくとも１つの時点において、撮像部の撮像範囲内に位置する。

処理部は、複数の時点で撮像部に対するフレーム体の向きが異なるように、フレーム体を回転させてよい。

飛行体は、撮像部の姿勢を安定化させるジンバルを備えてよい。フレーム体は、ジンバルにジンバルの外側から連結されてよい。

処理部は、飛行体の運動状態を取得し、運動状態が、飛行体が運動していないことを示す場合、補完画像を生成してよい。

制御装置は、バッファ、を更に備えてよい。処理部は、運動状態が、飛行体が運動していないことを示す場合、飛行体が運動していない時点で撮像された撮像画像をバッファに格納させ、運動状態が、飛行体が運動していることを示す場合、バッファに格納された撮像画像を削除し、バッファに格納された複数の撮像画像に基づいて、補完画像を生成してよい。

複数の撮像画像は、同一の撮像範囲の撮像画像でよい。処理部は、複数の撮像画像における同一の画素の画素値の統計値を、補完画像における同一の画素の画素値としてよい。

統計値は、中間値又は平均値でよい。

処理部は、フレーム体のフレームの太さに基づいて、所定時間当たりのフレーム体の回転角度を決定してよい。

処理部は、フレーム体の形状の情報を取得し、フレーム体の形状に基づいて、フレーム体の回転を制御してよい。

ジンバルは、複数の軸を回転中心として３次元空間における複数の方向に回転可能でよい。フレーム体は、複数の軸を回転中心として３次元空間における複数の方向に回転可能でよい。処理部は、各軸の軸周りの回転の方向を一方向に制限してよい。

フレーム体は、飛行体が備える回転翼を包囲してよい。

制御装置は、飛行体でよい。

飛行体は、フレーム体を備えてよい。

一態様において、制御方法は、画像の処理及びフレーム体の制御を行う制御方法であって、飛行体が備える撮像部を包囲するフレーム体を回転させるステップと、撮像部により複数の時点で同一の撮像範囲を含んで撮像された複数の撮像画像を取得するステップと、複数の撮像画像に基づいて、補完画像を生成するステップと、を有してよい。フレーム体の少なくとも一部は、複数の時点の少なくとも１つの時点において、撮像部の撮像範囲内に位置してよい。

フレーム体を回転させるステップは、複数の時点で撮像部に対するフレーム体の向きが異なるように、フレーム体を回転させるステップを含んでよい。

飛行体は、撮像部の姿勢を安定化させるジンバルを備えてよい。
フレーム体は、ジンバルにジンバルの外側から連結されてよい。

制御方法は、飛行体の運動状態を取得するステップ、を更に含んでよい。補完画像を生成するステップは、運動状態が、飛行体が運動していないことを示す場合、補完画像を生成するステップを含んでよい。

補完画像を生成するステップは、運動状態が、飛行体が運動していないことを示す場合、飛行体が運動していない時点で撮像された撮像画像をバッファに格納させるステップと、運動状態が、飛行体が運動していることを示す場合、バッファに格納された撮像画像を削除するステップと、バッファに格納された複数の撮像画像に基づいて、補完画像を生成するステップと、を含んでよい。

複数の撮像画像は、同一の撮像範囲の撮像画像でよい。補完画像を生成するステップは、複数の撮像画像における同一の画素の画素値の統計値を、補完画像における同一の画素の画素値とするステップを含んでよい。

統計値は、中間値又は平均値でよい。

フレーム体を回転させるステップは、フレーム体のフレームの太さに基づいて、所定時間当たりのフレーム体の回転の回転量を決定するステップを含んでよい。

フレーム体を回転させるステップは、フレーム体の形状の情報を取得するステップと、フレーム体の形状に基づいて、フレーム体の回転を制御するステップと、を含んでよい。

ジンバルは、複数の軸を回転中心として３次元空間における複数の方向に回転可能でよい。フレーム体は、複数の軸を回転中心として３次元空間における複数の方向に回転可能でよい。フレーム体を回転させるステップは、各軸の軸周りの回転の方向を一方向に制限するステップを含んでよい。

フレーム体は、飛行体が備える回転翼を包囲してよい。

制御方法は、制御装置により実行されてよい。制御装置は、飛行体でよい。

飛行体は、フレーム体を備えてよい。

一態様において、プログラムは、制御装置に、飛行体が備える撮像部を包囲するフレーム体を回転させるステップと、撮像部により複数の時点で同一の撮像範囲を含んで撮像された複数の撮像画像を取得するステップと、複数の撮像画像に基づいて、補完画像を生成するステップと、を実行させるためのプログラムであり、フレーム体の少なくとも一部は、複数の時点の少なくとも１つの時点において、撮像部の撮像範囲内に位置する、プログラムである。

一態様において、記録媒体は、制御装置に、飛行体が備える撮像部を包囲するフレーム体を回転させるステップと、撮像部により複数の時点で同一の撮像範囲を含んで撮像された複数の撮像画像を取得するステップと、複数の撮像画像に基づいて、補完画像を生成するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であり、フレーム体の少なくとも一部は、複数の時点の少なくとも１つの時点において、撮像部の撮像範囲内に位置する、記録媒体である。

なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

実施形態における飛行体システムの構成例を示す模式図 無人航空機の具体的な外観の一例を示す図 無人航空機のハードウェア構成の一例を示すブロック図 端末のハードウェア構成の一例を示すブロック図 無人航空機による動作例を示すフローチャート 中間値の算出のイメージを示す図 平均値の算出のイメージを示す図 撮像画像に映り込んだ保護フレームの位置の変化例を示す図 補完画像の一例を示す図 撮像画像に映り込んだ太い保護フレームの一例を示す図

以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。

以下の実施形態では、飛行体として、無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）を例示する。制御装置は、例えば無人航空機であるが、他の装置（例えば端末、送信機）でもよい。制御方法は、飛行体の動作が規定されたものである。また、記録媒体は、プログラム（例えば飛行体に各種の処理を実行させるプログラム）が記録されたものである。

以下の実施形態でいう「部」又は「装置」とは、単にハードウェアによって実現される物理的構成に限定されず、その構成が有する機能をプログラム等のソフトウェアにより実現されるものも含む。また、１つの構成が有する機能が２つ以上の物理的構成により実現されても、又は２つ以上の構成の機能が例えば１つの物理的構成によって実現されていても構わない。また、実施形態でいう「取得」は、単に情報や信号などを直接に取得する動作を示すものに限定されず、例えば処理部が、通信部を介して取得、すなわち受信することのほか、記憶部（例えばメモリなど）から取得することのいずれも含む。これらの用語の理解や解釈は、特許請求の範囲の記載についても同様である。

図１は、実施形態における飛行体システム１０の構成例を示す模式図である。飛行体システム１０は、無人航空機１００及び端末８０を備える。無人航空機１００及び端末８０は、相互に有線通信又は無線通信（例えば無線ＬＡＮ（Local Area Network））により通信可能である。図１では、端末８０が携帯端末（例えばスマートフォン、タブレット端末）であることを例示しているが、その他の端末（例えば、ＰＣ（Personal Computer）、制御棒により無人航空機１００の操縦が可能な送信機（プロポ））でもよい。

図２は、無人航空機１００の具体的な外観の一例を示す図である。図２には、無人航空機１００が移動方向ＳＴＶ０に飛行する場合の斜視図が示される。

図２に示すように、地面と平行であって移動方向ＳＴＶ０に沿う方向にロール軸（ｘ軸参照）が設定される。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸（ｙ軸参照）が設定され、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸（ｚ軸参照）が設定される。

無人航空機１００は、ＵＡＶ本体１０２と、ジンバル２００と、撮像部２２０と、保護フレーム体３００と、を含む構成である。なお、保護フレーム体３００は、無人航空機１００に含まれず、無人航空機１００とは別体として扱われてよい。なお、ジンバル２００で支持された保護フレーム体３００を、ジンバルボールとも称する。ジンバル２００は、少なくとも、撮像部２２０の姿勢を安定化させる。

ＵＡＶ本体１０２は、複数の回転翼２１１（プロペラ）を備える。ＵＡＶ本体１０２は、複数の回転翼２１１の回転を制御することにより無人航空機１００を飛行させる。ＵＡＶ本体１０２は、例えば４つの回転翼２１１を用いて無人航空機１００を飛行させる。回転翼の数は、４つに限定されない。また、無人航空機１００は、回転翼を有さない固定翼機でもよい。ＵＡＶ本体１０２には、プロセッサ、メモリ、アクチュエータ、バッテリ、等が収容されてよい。

ジンバル２００は、ピッチ回転フレーム２０１、ロール回転フレーム２０２、及びヨー回転フレーム２０３を含む。ピッチ回転フレーム２０１は、連結体２０６に挿通される。連結体２０６には、ＵＡＶ本体１０２及び撮像部２２０が連結される。ピッチ回転フレーム２０１は、連結部２０７を介してロール回転フレーム２０２に連結されてよい。ロール回転フレーム２０２は、ここでは円形の形状を有するが、これに限られない。ロール回転フレーム２０２は、連結部２０８を介してヨー回転フレーム２０３に連結されてよい。ヨー回転フレーム２０３は、ここでは円形の形状を有するが、これに限られない。ヨー回転フレーム２０３は、連結部２０９を介して保護フレーム体３００に連結される。ピッチ回転フレーム２０１、ロール回転フレーム２０２、及びヨー回転フレーム２０３は、例えばアクチュエータの駆動力によって回転してよい。

ピッチ回転フレーム２０１は、連結部２０７を基準としてロール回転フレーム２０２に対して回転可能であり、つまりピッチ軸を中心に回転可能である。ロール回転フレーム２０２は、連結部２０８を基準としてヨー回転フレーム２０３に対して回転可能であり、つまりロール軸を中心に回転可能である。ヨー回転フレーム２０３は、連結部２０９を基準として保護フレーム体３００に対して回転可能であり、つまりヨー軸を中心に回転可能である。なお、ピッチ回転フレーム２０１は、連結体２０６に対して回転可能でも連結体２０６と一体的に回転可能でもよい。

また、ロール回転フレーム２０２は、連結部２０７を基準としてピッチ回転フレーム２０１に対して回転可能でよく、つまりピッチ軸を中心に回転可能でよい。ヨー回転フレーム２０３は、連結部２０８を基準としてロール回転フレーム２０２に対して回転可能でよく、つまりロール軸を中心に回転可能でよい。保護フレーム体３００は、連結部２０９を基準としてヨー回転フレーム２０３に対して回転可能でよく、つまりヨー軸を中心に回転可能でよい。なお、保護フレーム体３００は、ヨー回転フレーム２０３に対して回転可能でもヨー回転フレーム２０３と一体的に回転可能でもよい。

したがって、撮像部２２０は、ジンバル２００に回転可能に支持される。撮像部２２０は、ピッチ軸、ロール軸、及びヨー軸の少なくとも１つを回転中心として、回転自在である。同様に、保護フレーム体３００は、ジンバル２００に回転可能に支持される。保護フレーム体３００は、ピッチくじく、ロール軸、及びヨー軸の少なくとも１つを回転中心として、回転自在である。

撮像部２２０は、図２では直方体の形状に形成されているが、これに限られない。撮像部２２０は、撮像部２２０のレンズが撮像部２２０の筐体の側面（例えば前面）から露出して設けられており、前面の方向（前方）を撮像可能である。前方は、無人航空機１００の機首の方向でよく、例えば図２の移動方向ＳＴＶ０と一致してもよいし、一致しなくてもよい。撮像部２２０は、ジンバル２００によって３軸方向のいずれにも回転可能であるので、ジンバル２００の回転制御により、３次元空間における全方向を撮像可能でよい。

保護フレーム体３００は、ＵＡＶ本体１０２、ジンバル２００、及び撮像部２２０を包囲し、保護フレーム体３００の内部に収容する。これにより、保護フレーム体３００に内包されたＵＡＶ本体１０２、ジンバル２００、及び撮像部２２０は、保護フレーム体３００の外部からの衝撃に対して耐性を有する。よって、例えば無人航空機１００の周囲に障害物が存在しても、無人航空機１００の各部（例えば撮像部２２０）の姿勢を高精度に維持できる。

保護フレーム体３００は、多数の保護フレーム３１０の組み合わせにより形成される。保護フレーム体３００は、例えば略多面体の形状に形成される。図２では、３つの保護フレーム３１０により略正三角形が形成され、略三角形が多数組み合わされて保護フレーム体３００が形成されている。なお、保護フレーム体３００の形状はこれに限られない。また、保護フレーム３１０の太さは、図２に示した太さに限られず、任意に定められてよい。

このように、保護フレーム体３００は、ジンバル２００にジンバル２００の外側から連結されてよい。これにより、撮像部２２０の姿勢が安定し、３次元空間における撮像範囲を安定して得やすくなる。よって、無人航空機１００は、保護フレーム３１０の影響が抑制された補完画像の画質を向上できる。

また、保護フレーム体３００は、回転翼３１１を包囲してよい。この場合、無人航空機１００は、回転翼２１１についても外部からの衝撃に対する耐性を向上できる。また、無人航空機１００は、例えば障害物の近傍を飛行する必要がある場合でも、無人航空機１００が障害物に衝突して落下することを抑制できる。

撮像部２２０は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラを含んでよい。無人航空機１００は、任意の場所を飛行可能であり、無人航空機１００の周囲に飛行を阻害し得る障害物が存在する場所（例えば比較的狭い空間、屋内）を飛行してよい。撮像部２２０に撮像される被写体は、任意の被写体を含み得るが、屋内に設置された物体、工事現場や点検現場に存在する物体、等を含んでよい。撮像部２２０により撮像された撮像画像は、静止画像及び動画像の少なくとも一方を含んでよい。動画像は、ライブビュー画像を含んでよい。

なお、図２では、ジンバル２００は、ピッチ軸、ロール軸、及びヨー軸の３軸方向に対して姿勢を安定させる３軸ジンバルであるが、これに限られない。例えば、ピッチ軸及びロール軸の２軸方向に対して姿勢を安定させる２軸ジンバルでもよい。

なお、図２では、撮像部２２０が筐体の前面に設置されているが、これに限られない。撮像部２２０は、３次元空間における上下前後左右のいずれの方向に向いて設置されてもよい。また、図２では図示していないが、撮像部２２０は、連結体２０６に対してロール軸、ピッチ軸、及びヨー軸の少なくとも１つの方向に回転可能であってよい。

なお、図２では、撮像部２２０が１つであること、撮像部２２０が連結体２０６に連結して設けられること、を例示したが、これに限られない。撮像部２２０は、複数存在してよい。例えば、撮像部２２０は、無人航空機１００の飛行を制御するために無人航空機１００の周囲を撮像するセンシング用のカメラを含んでもよい。また、撮像部２２０が、ＵＡＶ本体１０２の側面（例えば前面）や底面に設けられてよい。複数の撮像部２２０は、ペアとなり、いわゆるステレオカメラとして機能してよい。撮像部２２０は、単焦点レンズ又は魚眼レンズを有してよい。

なお、連結体２０６は、ＵＡＶ本体１０２又は撮像部２２０の一部でもよい。また、撮像部２２０は、ＵＡＶ本体１０２に組み込まれてもよい。

図３は、無人航空機１００のハードウェア構成の一例を示すブロック図である。無人航空機１００は、ＵＡＶ制御部１１０と、通信部１５０と、記憶部１６０と、ジンバル２００と、回転翼機構２１０と、撮像部２２０と、ＧＰＳ受信機２４０と、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）２５０と、磁気コンパス２６０と、気圧高度計２７０と、超音波センサ２８０と、レーザー測定器２９０と、保護フレーム体３００と、を含む構成である。

ＵＡＶ制御部１１０は、プロセッサ（例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor））を用いて構成される。ＵＡＶ制御部１１０は、無人航空機１００の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。

ＵＡＶ制御部１１０は、記憶部１６０に格納されたプログラムに従って無人航空機１００の飛行を制御してよい。ＵＡＶ制御部１１０は、端末８０による飛行の制御の指示に従って、無人航空機１００の飛行を制御してよい。

ＵＡＶ制御部１１０は、無人航空機１００の位置を示す位置情報を取得する。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から、無人航空機１００が存在する緯度、経度及び高度を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から無人航空機１００が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計２７０から無人航空機１００が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。ＵＡＶ制御部１１０は、超音波センサ２８０による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。

ＵＡＶ制御部１１０は、磁気コンパス２６０から無人航空機１００の向きを示す向き情報を取得してよい。向き情報は、例えば無人航空機１００の機首の向きに対応する方位で示されてよい。

ＵＡＶ制御部１１０は、撮像部２２０が撮像すべき撮像範囲を撮像する時に無人航空機１００が存在すべき位置を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、無人航空機１００が存在すべき位置を示す位置情報を記憶部１６０から取得してよい。ＵＡＶ制御部１１０は、無人航空機１００が存在すべき位置を示す位置情報を、通信部１５０を介して端末８０から取得してよい。ＵＡＶ制御部１１０は、３次元地図データベースを参照して、無人航空機１００が存在可能な位置を特定して、その位置を無人航空機１００が存在すべき位置を示す位置情報として取得してよい。

ＵＡＶ制御部１１０は、撮像部２２０の撮像範囲を取得してよい。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像部２２０の画角を示す画角情報を撮像部２２０から取得してよい。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像部２２０の撮像方向を示す情報を取得してよい。ＵＡＶ制御部１１０は、例えば撮像部２２０の撮像方向を示す情報として、ジンバル２００から撮像部２２０の姿勢の状態を示す姿勢情報を取得してよい。撮像部２２０の姿勢情報は、ジンバル２００のピッチ軸及びヨー軸の基準回転角度からの回転角度を示してよい。

ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、無人航空機１００が存在する位置を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、撮像部２２０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて、撮像部２２０が撮像する地理的な範囲を示す撮像範囲を画定してよい。

ＵＡＶ制御部１１０は、記憶部１６０から撮像範囲の情報を取得してよい。ＵＡＶ制御部１１０は、通信部１５０を介して撮像範囲の情報を取得してよい。

ＵＡＶ制御部１１０は、ジンバル２００、回転翼機構２１０、及び撮像部２２０を制御する。ＵＡＶ制御部１１０は、撮像部２２０の撮像方向又は画角を変更することによって、撮像部２２０の撮像範囲を制御してよい。ＵＡＶ制御部１１０は、ジンバル２００の回転機構を制御することで、ジンバル２００に支持されている撮像部２２０の撮像範囲を制御してよい。

撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される３次元空間データにおける範囲でよい。撮像範囲は、緯度及び経度で定義される２次元空間データにおける範囲でもよい。撮像範囲は、撮像部２２０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて特定されてよい。撮像部２２０の撮像方向は、撮像部２２０の撮像レンズが設けられた正面が向く方位と俯角とから定義されてよい。撮像部２２０の撮像方向は、無人航空機１００の機首の方位と、ジンバル２００に対する撮像部２２０の姿勢の状態とから特定される方向でよい。

ＵＡＶ制御部１１０は、複数の撮像部２２０により撮像された複数の画像を解析することで、無人航空機１００の周囲の環境を特定してよい。ＵＡＶ制御部１１０は、無人航空機１００の周囲の環境に基づいて、例えば障害物を回避して飛行を制御してよい。なお、無人航空機１００は、障害物を回避できない可能性もある。なお、ＵＡＶ制御部１１０は、障害物の回避機能を有していなくてもよい。この場合でも、無人航空機１００は、保護フレーム体３００の存在により衝突等が生じても保護され得る。

ＵＡＶ制御部１１０は、無人航空機１００の周囲の環境の情報として、無人航空機１００の周囲に存在するオブジェクトの立体形状（３次元形状）を示す立体情報（３次元情報）を取得してよい。この立体情報は、無人航空機１００の周囲の環境の情報として用いられてよい。オブジェクトは、屋内に配置された物体、建物、等の少なくとも一部でよい。立体情報は、例えば、３次元空間データである。ＵＡＶ制御部１１０は、複数の撮像部２２０から得られたそれぞれの撮像画像から、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。ＵＡＶ制御部１１０は、３次元地図や３次元設計図を参照することにより、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。３次元地図や３次元設計図は、記憶部１６０に格納されていてもよいし、ネットワーク上に存在するサーバに保持されていてもよい。３次元設計図は、工事現場や点検現場で用いられるものであってよい。

ＵＡＶ制御部１１０は、回転翼機構２１０を制御することで、無人航空機１００の飛行を制御する。つまり、ＵＡＶ制御部１１０は、回転翼機構２１０を制御することにより、無人航空機１００の緯度、経度、及び高度を含む位置を制御する。ＵＡＶ制御部１１０は、無人航空機１００の飛行を制御することにより、撮像部２２０の撮像範囲を制御してよい。ＵＡＶ制御部１１０は、撮像部２２０が備えるズームレンズを制御することで、撮像部２２０の画角を制御してよい。ＵＡＶ制御部１１０は、撮像部２２０のデジタルズーム機能を利用して、デジタルズームにより、撮像部２２０の画角を制御してよい。

撮像部２２０が無人航空機１００に固定され、撮像部２２０を動かせない場合、ＵＡＶ制御部１１０は、特定の日時に特定の位置に無人航空機１００を移動させることにより、所望の環境下で所望の撮像範囲を撮像部２２０に撮像させてよい。あるいは撮像部２２０がズーム機能を有さず、撮像部２２０の画角を変更できない場合でも、ＵＡＶ制御部１１０は、特定された日時に、特定の位置に無人航空機１００を移動させることで、所望の環境下で所望の撮像範囲を撮像部２２０に撮像させてよい。

ＵＡＶ制御部１１０は、ジンバル２００の回転機構を制御することで、ジンバル２００に支持されている保護フレーム体３００の向きを制御してよい。この場合、ＵＡＶ制御部１１０は、ピッチ軸、ロール軸、及びヨー軸の少なくとも１つを回転中心として、保護フレーム体３００を回転させてよい。また、ＵＡＶ制御部１１０は、保護フレーム体３００の回転方向、所定時間当たりの回転量（回転速度）、等を制御してよい。

通信部１５０は、他の通信装置（例えば端末８０）と通信する。通信部１５０は、任意の無線通信方式により無線通信してよい。通信部１５０は、任意の有線通信方式により有線通信してよい。通信部１５０は、撮像部２２０により撮像された撮像画像や撮像画像に基づく画像（例えば補完画像）を、端末８０に送信してよい。通信部１５０は、撮像画像に関する付加情報（メタデータ）を、端末８０に送信してよい。通信部１５０は、端末８０から飛行の制御の指示の情報を取得してよい。飛行の制御の指示の情報は、無人航空機１００が飛行するための飛行経路や飛行位置、撮像部２２０により撮像するための撮像位置の情報を含んでよい。

記憶部１６０は、各種情報、各種データ、各種プログラム、各種画像を保持してよい。各種画像は、撮像画像や撮像画像に基づく画像を含んでよい。プログラムは、ＵＡＶ制御部１１０がジンバル２００、回転翼機構２１０、撮像部２２０、ＧＰＳ受信機２４０、慣性計測装置２５０、磁気コンパス２６０、気圧高度計２７０、超音波センサ２８０、及びレーザー測定器２９０、及び保護フレーム体３００を制御するのに必要なプログラムを含んでよい。記憶部１６０は、コンピュータ読み取り可能な記録媒体でよい。記憶部１６０は、メモリを含み、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、等を含んでよい。記憶部１６０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＤカード、ＵＳＢ（Universal Serial bus）メモリ、その他のストレージの少なくとも１つを含んでよい。記憶部１６０の少なくとも一部が、無人航空機１００から取り外し可能であってよい。また、記憶部１６０は、複数の撮像画像を格納するためのバッファを有してよい。

ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部２２０を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像部２２０を回転させることで、撮像部２２０の撮像方向を変更してよい。

ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に保護フレーム体３００を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に保護フレーム体３００を回転させることで、保護フレーム体３００の向きを変更してよい。

回転翼機構２１０は、複数の回転翼２１１と、複数の回転翼２１１を回転させる複数の駆動モータと、を有する。回転翼機構２１０は、ＵＡＶ制御部１１０により回転を制御されることにより、無人航空機１００を飛行させる。

撮像部２２０は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像画像や撮像画像に基づく画像は、撮像部２２０が有するメモリ又は記憶部１６０に格納されてよい。

ＧＰＳ受信機２４０は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいて、ＧＰＳ受信機２４０の位置（つまり、無人航空機１００の位置）を算出する。ＧＰＳ受信機２４０は、無人航空機１００の位置情報をＵＡＶ制御部１１０に出力する。なお、ＧＰＳ受信機２４０の位置情報の算出は、ＧＰＳ受信機２４０の代わりにＵＡＶ制御部１１０により行われてよい。この場合、ＵＡＶ制御部１１０には、ＧＰＳ受信機２４０が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。

慣性計測装置２５０は、無人航空機１００の姿勢を検出し、検出結果をＵＡＶ制御部１１０に出力する。慣性計測装置２５０は、無人航空機１００の姿勢として、無人航空機１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の３軸方向の角速度とを検出してよい。

磁気コンパス２６０は、無人航空機１００の機首の方位を検出し、検出結果をＵＡＶ制御部１１０に出力する。

気圧高度計２７０は、無人航空機１００が飛行する高度を検出し、検出結果をＵＡＶ制御部１１０に出力する。

超音波センサ２８０は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をＵＡＶ制御部１１０に出力する。検出結果は、無人航空機１００から地面までの距離つまり高度を示してよい。検出結果は、無人航空機１００から物体（被写体）までの距離を示してよい。

レーザー測定器２９０は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機１００と物体（被写体）との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。

図４は、端末８０のハードウェア構成の一例を示すブロック図である。端末８０は、端末制御部８１、操作部８３、通信部８５、記憶部８７、及び表示部８８を備える。端末８０は、無人航空機１００の飛行制御の指示を希望するユーザに所持され得る。

端末制御部８１は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成される。端末制御部８１は、端末８０の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。

端末制御部８１は、通信部８５を介して、無人航空機１００からのデータや情報を取得してよい。端末制御部８１は、操作部８３を介して入力されたデータや情報を取得してもよい。端末制御部８１は、記憶部８７に保持されたデータや情報を取得してもよい。端末制御部８１は、通信部８５を介して、無人航空機１００へ、データや情報を送信してもよい。端末制御部８１は、データや情報を表示部８８に送り、このデータや情報に基づく表示情報を表示部８８に表示させてもよい。表示部８８に表示される情報や通信部８５により無人航空機１００へ送信される情報は、無人航空機１００が飛行するための飛行経路や飛行位置、撮像部２２０により撮像するための撮像位置の情報を含んでよい。

操作部８３は、端末８０のユーザにより入力されるデータや情報を受け付けて取得する。操作部８３は、ボタン、キー、タッチパネル、マイクロホン、等の入力装置を含んでもよい。タッチパネルは、操作部８３と表示部８８とで構成されてよい。この場合、操作部８３は、タッチ操作、タップ操作、ドラック操作等を受付可能である。

通信部８５は、各種の無線通信方式により、無人航空機１００との間で無線通信する。この無線通信の無線通信方式は、例えば、無線ＬＡＮや公衆無線回線を介した通信を含んでよい。通信部８５は、任意の有線通信方式により有線通信してよい。

記憶部８７は、各種情報、各種データ、各種プログラム、各種画像を保持してよい。各種プログラムは、端末８０で実行されるアプリケーションプログラムを含んでよい。記憶部８７は、コンピュータ読み取り可能な記録媒体でよい。記憶部８７は、ＲＯＭ、ＲＡＭ、等を含んでよい。記憶部８７は、ＨＤＤ、ＳＳＤ、ＳＤカード、ＵＳＢメモリ、その他のストレージの少なくとも１つを含んでよい。記憶部８７の少なくとも一部が、端末８０から取り外し可能であってよい。

記憶部８７は、無人航空機１００から取得された撮像画像や撮像画像に基づく画像を保持してよい。記憶部８７は、撮像画像の付加情報を保持してよい。

表示部８８は、例えばＬＣＤ（Liquid Crystal Display）を用いて構成され、端末制御部８１から出力された各種の情報やデータを表示する。表示部８８は、例えば、撮像画像や撮像画像に基づく画像を表示してよい。表示部８８は、アプリケーションプログラムの実行に係る各種データや情報を表示してもよい。

次に、無人航空機１００の動作例について説明する。
図５は、無人航空機１００の動作例を示すフローチャートである。

まず、ＵＡＶ制御部１１０は、所定の撮像開始トリガに応じて、撮像部２２０による撮像を開始する（Ｓ１１）。撮像部２２０による撮像は、複数の画像の撮像であり、連続する画像の撮像でよく、例えば動画の撮像でよい。撮像開始トリガは、通信部１５０を介して端末８０から撮像開始指示を受けたこと、撮像を開始するための所定の時刻となったことを検知したこと、等を含んでよい。動画の撮像では、例えば１秒当たり３０枚（３０ｆｐｓに相当）又は６０枚（６０ｆｐｓに相当）の撮像画像が得られてよい。

ＵＡＶ制御部１１０は、無人航空機１００の運動状態を取得する（Ｓ１２）。ＵＡＶ制御部１１０は、無人航空機１００の運動状態として、例えば慣性計測装置２５０の計測結果を取得してよい。

ＵＡＶ制御部１１０は、無人航空機１００の運動状態が運動中であることを示すか否かを判定する（Ｓ１３）。ＵＡＶ制御部１１０は、慣性計測装置２５０を介して取得された無人航空機１００の３軸の加速度又は角速度が閾値ｔｈ１以上である場合に、無人航空機１００が運動中と判定してよい。閾値ｔｈ１は、値０に近い値でよい。ＵＡＶ制御部１１０は、閾値ｔｈ１未満である場合に、無人航空機１００が運動中でないと判定してよい。例えば、無人航空機１００が空中で同じ位置且つ同じ向きに飛行している場合には、運動中でないと判定されてよい。また、無人航空機１００が空中で同じ位置でいずれかの方向に回転して飛行している場合には、運動中であると判定されてよい。

ＵＡＶ制御部１１０は、無人航空機１００が運動中でないと判定された場合、保護フレーム体３００を回転させる（Ｓ１４）。

ＵＡＶ制御部１１０は、撮像画像をバッファに格納する（Ｓ１５）。なお、バッファに格納される撮像画像には、ＵＡＶ制御部１１０により前処理を施されていてもよい。前処理は、ＩＳＰ（Image Signal Processing）の処理、ベイヤパターンに基づく処理（例えばベイヤパターンの画像からＲＧＢ画像への変換）、ＧＭＣ（Global Motion Correction）、等を含んでよい。ＧＭＣにより、例えば無人航空機１００の振れによる撮像画像の画質低下を改善できる。

ＵＡＶ制御部１１０は、バッファに保持された少なくとも１つ（例えば全て）の撮像画像における、同じ座標の画素の統計値を算出する（Ｓ１６）。ここでは、撮像される複数の撮像画像の画像範囲は、同じでよい。つまり、撮像部２２０の撮像範囲を変えずに、動画が撮像されてよい。この場合、複数の撮像画像において同じ座標の画素は、同じ地理的な位置を示す画素となる。統計値の算出は、撮像画像における各画素で行われる。統計値は、例えば中間値又は平均値を含んでよい。

ＵＡＶ制御部１１０は、複数の撮像画像における各画素について算出された統計値を各画素の値として、補完画像を生成する（Ｓ１６）。よって、補完画像の画像範囲は、複数の撮像画像の画像範囲と同じになる。なお、複数の撮像画像の画像範囲及び補完画像の画像範囲は、同じ画像範囲を含み、全体では異なる画像範囲であってもよい。つまり、撮像部２２０による撮像範囲は、同じ撮像範囲を含み、異なる撮像範囲であってもよい。この場合でも、同じ画像範囲、撮像範囲における画素の値については、統計値の導出が可能である。

ＵＡＶ制御部１１０は、生成された補完画像を出力する（Ｓ１７）。この場合、ＵＡＶ制御部１１０は、補完画像を記憶部１６０に保持させてよい。また、ＵＡＶ制御部１１０は、通信部１５０を介して補完画像を端末８０へ送信してよい。端末８０の端末制御部８１は、通信部８５を介して補完画像を端末８０から受信し、表示部８８を介して補完画像を表示してよい。

したがって、例えば無人航空機１００が目標位置（例えば点検現場）に到着しており、運動状態が運動中でない場合には、無人航空機１００は、補完画像を高画質に生成できる。無人航空機１００が運動中でない場合には、撮像画像にブレが発生し難く、撮像部２２０の撮像範囲が安定するので、補完画像の画質が低下し易いためである。

ＵＡＶ制御部１１０は、撮像部２２０による撮像を終了するか否かを判定する（Ｓ１８）。ＵＡＶ制御部１１０は、所定の撮像終了トリガが発生した場合、撮像部２２０による撮像を終了すると判定してよい。撮像終了トリガは、通信部１５０を介して端末８０から撮像終了指示を受けたこと、撮像を終了するための所定の時刻となったことを検知したこと、等を含んでよい。

撮像部２２０による撮像を終了する場合、図５の処理を終了する。撮像部２２０による撮像を終了しない場合、Ｓ１２の処理に進む。

一方、Ｓ１３において無人航空機１００が運動中であると判定された場合、ＵＡＶ制御部１１０は、バッファをリセットする（Ｓ１９）。この場合、ＵＡＶ制御部１１０は、バッファに格納された撮像画像が１つ以上存在する場合、この撮像画像をバッファから削除する。なお、バッファのリセット時には、撮像部２２０により撮像された撮像画像は、バッファに格納されない。

ＵＡＶ制御部１１０は、撮像画像を出力する（Ｓ２０）。この場合、ＵＡＶ制御部１１０は、撮像画像を記憶部１６０に保持させてよい。また、ＵＡＶ制御部１１０は、通信部１５０を介して撮像画像を端末８０へ送信してよい。端末８０の端末制御部８１は、通信部８５を介して撮像画像を端末８０から受信し、表示部８８を介して撮像画像を表示してよい。

したがって、例えば無人航空機１００が目標位置に移動中には運動状態が運動中となるので、無人航空機１００は、補完画像を生成せず、補完画像の画質が低下することを抑制できる。

このように、ＵＡＶ制御部１１０は、無人航空機１００が備えるセンサ（例えば慣性計測装置２５０）を用いて、無人航空機１００の運動状態を取得してよい。ＵＡＶ制御部１１０は、運動状態に基づき、画像補完を実行するか否かを決定してよい。ＵＡＶ制御部１１０は、無人航空機１００が運動している場合、画像補完を実行せず、撮像画像をそのまま端末８０等に表示させてよい。ＵＡＶ制御部１１０は、無人航空機１００が運動していない場合、意図的に保護フレーム体３００を回転させ、画像補完を実行し、補完画像を端末８０等に表示させてよい。

これにより、無人航空機１００は、点検作業等を行う場合でも、簡単に無人航空機１００を制御でき、保護フレーム体３００により保護フレーム体３００の内部の損傷を抑制できる。また、保護フレーム３１０がある時点において撮像部２２０の撮像範囲に位置し、被写体の一部が撮像されなくても、補完画像が生成されることで、無人航空機１００は、保護フレーム３１０の影響を小さくでき、点検作業に支障が出ることを抑制できる。

このように、無人航空機１００（制御装置の一例）は、画像の処理及び保護フレーム体３００（フレーム体の一例）の制御を行い、ＵＡＶ制御部１１０（処理部の一例）を備える。ＵＡＶ制御部１１０は、無人航空機１００（飛行体の一例）が備える撮像部２２０により複数の時点で同一の撮像範囲を含んで撮像された複数の撮像画像を取得する。ＵＡＶ制御部１１０は、撮像部２２０を包囲する保護フレーム体３００を回転させる。ＵＡＶ制御部１１０は、複数の撮像画像に基づいて、補完画像を生成する。保護フレーム体３００の少なくとも一部は、複数の時点の少なくとも１つの時点において、撮像部２２０の撮像範囲内に位置し得る。

無人航空機１００は、撮像部２２０を保護フレーム体３００が包囲することで、撮像部２２０への外部からの衝撃に対する耐性を向上できる。撮像範囲に保護フレーム体３００の保護フレーム３１０の一部が入る時点が存在しても、保護フレーム体３００を回転させることで、撮像範囲から保護フレーム３１０の一部が外れる時点も存在し易くなる。無人航空機１００は、保護フレーム３１０が映り込んだ又は映り込んでいない複数の撮像画像を用いて画像補完することで、保護フレーム３１０を有する保護フレーム体３００の影響が抑制された補完画像を得ることができる。つまり、撮像画像に保護フレーム３１０の少なくとも一部が映り込んでも、無人航空機１００は、補完画像において保護フレーム３１０が映り込んだ画素の影響を小さくでき、保護フレーム３１０が不在である場合の被写体の再現性を向上できる。このように、無人航空機１００の外部からの衝撃に対して撮像部２２０を十分に保護可能であり、撮像画像に基づく画像の画質の低下を抑制できる。

また、ＵＡＶ制御部１１０は、複数の時点で撮像部２２０に対する保護フレーム体３００の向きが異なるように、保護フレーム体３００を回転させてよい。各時点で保護フレーム体３００の向きが異なることで、各時点で撮像される撮像画像に映り込む保護フレーム３１０の位置が確実に移動する。そのため、無人航空機１００は、補完画像において保護フレーム３１０が映り込んだ画素の影響を小さくでき、補完画像において保護フレーム３１０が不在の場合の被写体の再現性を向上できる。

また、ＵＡＶ制御部１１０は、無人航空機１００の運動状態を取得してよい。画像制御部は、運動状態が、無人航空機１００が運動していないことを示す場合、補完画像を生成してよい。無人航空機１００が運動（例えば移動、回転、その他の撮像範囲が変化するような運動）することにより撮像範囲に含まれる被写体が変化する。この場合、運動前後における複数の撮像画像では、内容が変化する。この場合、ブレにより撮像画像自体の画質が低下したり、同じ撮像範囲を含む複数の撮像画像が得られなかったりする。そのため、複数の撮像画像から、同じ地理的位置を示す同一画素における統計値を得られない可能性がある。これに対し、無人航空機１００は、運動していない期間に補完画像を生成することで、高画質の複数の撮像画像を基に、複数の撮像画像における同一画素毎に統計値を得ることができ、好適な補完画像を生成できる。

また、ＵＡＶ制御部１１０は、運動状態が、無人航空機１００が運動していないことを示す場合、無人航空機１００が運動していない時点で撮像された撮像画像をバッファに格納させてよい。ＵＡＶ制御部１１０は、運動状態が、飛行体が運動していることを示す場合、バッファに格納された撮像画像を削除してよい。ＵＡＶ制御部１１０は、バッファに格納された複数の撮像画像に基づいて、補完画像を生成してよい。これにより、無人航空機１００は、バッファを用いる簡単な構成により、運動していない時点で撮像された撮像画像を保持しておき、補完画像を生成できる。

また、図５の処理を無人航空機１００が主に行ってよい。この場合、撮像部２２０による撮像制御、保護フレーム体３００の回転制御、及び補完画像の生成、を１つの装置で行うことができ、効率的な処理を実施でき、処理時間を短縮できる。また、これらの処理を行うための装置を、無人航空機１００とは別体として用意することが不要となる。なお、図５の処理を、他の装置（例えば端末８０、送信機）が主に行ってもよい。

図６は、中間値の算出のイメージを示す図である。図７は、平均値の算出のイメージを示す図である。

バッファは、所定枚数（例えば２０枚）の撮像画像Ｇ１を格納可能である。ＵＡＶ制御部１１０は、バッファの格納枚数が所定枚数に達するまで順に新たな撮像画像Ｇ１の格納を継続する。ＵＡＶ制御部１１０は、バッファの格納枚数が所定枚数に達すると、格納時刻が最も早い撮像画像Ｇ１を削除し、新たな撮像画像Ｇ１を格納してよい。このように、ＵＡＶ制御部１１０は、格納時刻が最も早い撮像画像Ｇ１の削除と新たに取得された撮像画像Ｇ１の格納とを繰り返す。

図６に示すように、ＵＡＶ制御部１１０は、バッファに格納された複数の（例えば全ての）撮像画像Ｇ１の各画素値を取得する。ＵＡＶ制御部１１０は、同じ地理的位置を示す同じ画素毎に、複数の画素値のうち、中間値となる画素値を、補完画像Ｇ２における当該画素の画素値として導出する。この場合、ＵＡＶ制御部１１０は、バッファに格納された撮像画像Ｇ１の枚数（例えば２０枚）のうちの半分の値の順位の（例えば１０番目に大きい）画素値を、補完画像Ｇ２における同じ画素の画素値として算出してよい（ＭＥＤ ＦＩＬＴＥＲ）。また、ＵＡＶ制御部１１０は、画素毎に、バッファに格納された複数の画素値のうちの最大画素値と最小画素値との中間の値を、補完画像Ｇ２における同じ画素の画素値として算出してよい。ＵＡＶ制御部１１０は、このような画素値の中間値の導出を、撮像画像Ｇ１における全ての画素について実施してよい。よって、例えば補完画像Ｇ２の第１画素の画素値は、バッファへの格納順が２枚目の撮像画像Ｇ１の第１画素の画素値であり、補完画像Ｇ２の第２画素の画素値は、バッファへの格納順が３枚目の撮像画像Ｇ１の第２の画素値であり得る。このように、異なる撮像画像Ｇ１の異なる画素を含んで、補完画像Ｇ２の画素が構成され得る。これにより、補完画像Ｇ２では、保護フレーム３１０の影響が大幅に低減される。

図７に示すように、ＵＡＶ制御部１１０は、バッファに格納された複数の（例えば全ての）撮像画像Ｇ１の各画素値を取得する。ＵＡＶ制御部１１０は、同じ地理的位置を示す同じ画素毎に、複数の撮像画像Ｇ１で示される複数の画素値の平均値を算出する。ＵＡＶ制御部１１０は、算出された画素毎の複数の画素値の平均値を、補完画像Ｇ２における同じ画素の画素値として算出してよい。この場合、ＵＡＶ制御部１１０は、画素毎に、複数の撮像画像Ｇ１の画素値を合計し（ＳＵＭ）、画素値の合計値を、合計された撮像画像Ｇ１の枚数で除算することで、画素値の平均値（ＡＶＥ）を算出してよい。ＵＡＶ制御部１１０は、このような画素値の平均値の導出を、撮像画像Ｇ１及び補完画像Ｇ２における全ての画素について実施してよい。

このように、複数の撮像画像Ｇ１は、同一の撮像範囲の撮像画像Ｇ１でよい。画像制御部（例えばＵＡＶ制御部１１０）は、複数の撮像画像Ｇ１における同一の画素の画素値の統計値を、補完画像Ｇ２における同一の画素の画素値としてよい。なお、複数の撮像画像Ｇ１の撮像範囲は、同一の撮像範囲を含んで全体では異なっていてもよい。

保護フレーム体３００の回転により各時点で撮像画像Ｇ１に映り込む保護フレーム３１０の位置が変化する。そのため、複数の撮像画像Ｇ１のそれぞれにおける複数の画素のそれぞれの画素値も変化する。無人航空機１００は、画像補完において、撮像画像Ｇ１における同じ位置を示す画素の画素値の統計をとることで、保護フレーム体３００の保護フレーム３１０の影響を小さくして、補完画像Ｇ２の同じ位置を示す画素の画素値に反映できる。

また、上記の統計値は、中間値又は平均値でよい。このように、統計値として中間値又は平均値を導出することで、保護フレーム３１０が表現する画素の画素値の影響を相対的に小さくでき、ある時点では保護フレーム３１０に隠れていた被写体に起因する画素値の割合を高くし、この被写体の再現精度を向上できる。

図８は、撮像画像Ｇ１に映り込んだ保護フレーム３１０の位置の変化例を示す図である。図８では、複数の時点で撮像部２２０に撮像された複数の撮像画像Ｇ１（Ｇ１１，Ｇ１２）が示されている。撮像画像Ｇ１１，Ｇ１２では、一例として点検現場４００が示されている。撮像画像Ｇ１１の撮像後、保護フレーム体３００がピッチ軸、ロール軸、及びヨー軸の少なくとも１つを回転中心として回転され、撮像画像Ｇ１２が撮像されている。保護フレーム体３００の回転により、保護フレーム３１０の位置が移動している。これにより、撮像画像Ｇ１１では保護フレーム３１０の後側に存在していた被写体が、撮像画像Ｇ１２では保護フレーム３１０が存在していないために、同じ被写体が鮮明に表現されている。

図９は、補完画像Ｇ２の一例を示す図である。補完画像Ｇ２では、一例として点検現場４００が示されている。図９では、補完画像Ｇ２の画像範囲内において、撮像画像Ｇ１では保護フレーム３１０が存在し得る位置が点線で示されている。実際には、補完画像Ｇ２では保護フレーム３１０の成分がほとんど存在しない。これは、ある時点では保護フレーム３１０が存在していた画素であっても、他の時点で当該画素に保護フレーム３１０が存在していなかったため、統計値の算出等により当該画素における保護フレーム３１０の色成分（例えば黒色成分、画素値０に相当）が小さくなったためである。よって、補完画像Ｇ２は、保護フレーム３１０の影響を除外して被写体の表現精度が向上した画像となる。

次に、保護フレーム体３００の回転例について説明する。

ＵＡＶ制御部１１０は、撮像部２２０が取得する垂直同期信号（ＶＳＹＮＣ信号）に同期して、保護フレーム体３００を回転させてよい。撮像部２２０は、垂直同期信号に応じて、撮像画像のフレームを書き換える。つまり、垂直同期信号は、連続する撮像画像のフレーム更新のトリガとなる。よって、無人航空機１００は、撮像画像のフレームの切り替えタイミングを考慮して、撮像画像における保護フレーム３１０の影響をなるべく小さくするよう対応できる。なお、垂直同期信号に同期して保護フレーム体３００が同じ回転量で回転することで、連続する撮像画像における保護フレーム３１０の位置が、同じ距離だけ移動する。この場合、保護フレーム体３００は、一定速度で回転する。

ＵＡＶ制御部１１０は、保護フレーム体３００の保護フレーム３１０の太さに基づいて、例えば保護フレーム３１０の太さに比例して、所定時間当たりの保護フレーム体３００の回転角度を決定してよい。回転角度は、保護フレーム体３００の回転中心を中心に、どの程度回転したかを示す。保護フレーム体３００の回転中心は、例えばピッチ回転フレーム２０１の中間点付近であってよい。ここでの所定時間は、例えば連続する垂直同期信号を取得する間の期間であってよい。この期間は、例えば１／６０秒や１／３０秒でよい。保護フレーム体３００を略多面体とすると、回転中心と略多面体の各頂点との距離（半径に相当）と回転角度とに基づいて、保護フレーム体３００の各保護フレーム３１０の移動量が定まってよい。保護フレーム３１０の移動量は、連続する撮像画像における保護フレーム３１０の移動量となって表れる。図１０は、撮像画像Ｇ１に映り込んだ太い保護フレーム３１０（３１０Ａ）の一例を示す図である。

ＵＡＶ制御部１１０は、保護フレーム３１０が太い程、保護フレーム体３００の回転角度を大きくし、保護フレーム３１０が細い程、保護フレーム体３００の回転角度を小さくしてよい。保護フレーム体３００の回転角度を大きくすることで、保護フレーム３１０の回転量が大きくなり、撮像画像から保護フレーム３１０が外れるまでの時間、つまり撮像画像の撮像範囲の外側へ保護フレーム３１０が移動するまでの時間が短くなる。よって、無人航空機１００は、保護フレーム３１０の影響が抑制された撮像画像を取得するまでの時間を短縮でき、早期に好適な補完画像を生成できる。

ＵＡＶ制御部１１０は、一定の速度で保護フレーム体３００を回転させてよい。この場合、撮像画像にモーションブラーが発生し難くなり、撮像画像の画質が向上し得る。また、ＵＡＶ制御部１１０は、垂直同期信号に基づく撮像画像の書き換えタイミングにおいて保護フレーム体３００を回転させず、撮像画像の書き換えタイミングに重ならないタイミングにおいて、保護フレーム体３００を回転させてもよい。

ＵＡＶ制御部１１０は、保護フレーム体３００の形状の情報を取得してよい。保護フレーム体３００の形状は、略多面体、略球体、略楕円体、対称性を有する３次元形状、対称性を有しない３次元形状、等でよい。対称性を有したり規則性を有したりする形状とすると、回転方向に依存せずに、保護フレーム３１０の影響を低減した補完画像を生成し易い。また、保護フレーム体３００の形状は、保護フレーム体３００の一部が突出していたり凹んでいたりする形状であってもよい。また、保護フレーム体３００の形状は、保護フレーム体３００に含まれる多数の保護フレーム３１０の配置関係で表現されてもよい。例えば、保護フレーム体３００の形状の情報は、隣り合う保護フレーム間の距離が長い、隣り合う保護フレーム間の距離が短い、等の保護フレーム間の距離に関する情報を含んでもよい。また、保護フレーム体３００の形状は、各保護フレーム３１０の形状で表現されてもよい。

ＵＡＶ制御部１１０は、保護フレーム体３００の形状に基づいて、保護フレーム体３００の回転を制御してよい。一例として、保護フレーム３１０がピッチ軸及びロール軸を含む平面（第１平面）に沿って撮像部２２０の周囲を一周して配置されており、ヨー軸に平行な保護フレーム３１０が不在又はほとんど存在しないことを想定する。この場合、ピッチ軸及びロール軸を回転中心とした回転方向では隣り合う保護フレーム３１０間の距離が長く、ヨー軸を回転中心とした回転方向では隣り合う保護フレーム３１０間の距離が短い（例えば距離が０）ことになる。よって、保護フレーム体３００を上記の第１平面に沿って回転させても、つまりヨー軸を回転中心として回転させても撮像画像への保護フレーム３１０の映り込みの状態があまり変化しない。この場合、無人航空機１００は、ピッチ軸及びロール軸の少なくとも一方を回転中心として回転させることで、保護フレーム３１０の映り込みが抑制された撮像画像を効率よく取得できる。

ＵＡＶ制御部１１０は、保護フレーム体３００を回転する場合、ピッチ軸、ロール軸、及びヨー軸の３軸を回転中心とした回転を、各軸共通に制御してもよい。この場合、保護フレーム体３００の回転が各軸周りの回転で同様となる。また、ＵＡＶ制御部１１０は、保護フレーム体３００を回転する場合、ピッチ軸、ロール軸、及びヨー軸の３軸を回転中心とした回転を、軸毎に独立に制御してよい。つまり、ＵＡＶ制御部１１０は、この３軸を回転中心とした回転について、各軸周りの回転の態様が異なるようにしてよい。例えば、１つの軸を回転中心とした回転を許可したり高速にしたり回転量を多くしたりしてよく、他の１つの軸を回転中心とした回転を禁止したり低速にしたり回転量を少なくしたりしてよい。

ＵＡＶ制御部１１０は、保護フレーム体３００を回転する場合、ピッチ軸、ロール軸、及びヨー軸の各軸を中心とした回転の方向を制御してよい。例えば、ＵＡＶ制御部１１０は、少なくとも１つの軸を回転中心として、時計周りの回転と反時計周りの回転との双方の回転（両方向回転）を許可してよい。また、ＵＡＶ制御部１１０は、少なくとも１つの軸を回転中心として、時計周りの回転と反時計周りの回転とのいずれか一方の回転（片方向回転）を許可し、いずれか他方の回転を禁止してよい。ＵＡＶ制御部１１０は、少なくとも１つの軸を回転中心として、時計周りの回転と反時計周りの回転とのいずれかも禁止してよい。つまり、いずれかの軸周りには回転しないようにしてもよい。

このように、無人航空機１００は、ジンバル２００の回転に用いる複数の軸を、保護フレーム体３００の回転に用いることができる。また、軸周りの回転を両方向回転とする場合、同じ保護フレーム３１０の部分が撮像部２２０の撮像範囲から抜けたり戻ってきたりすることが予想される。ＵＡＶ制御部１１０が軸周りの回転の方向を片方向（一方向）に制限することで、無人航空機１００は、同じ保護フレーム３１０の部分が撮像画像へ映り込むことが反復されることを抑制できる。よって、無人航空機１００は、補完画像において保護フレーム３１０の影響を小さくして、被写体の再現精度を向上できる。また、無人航空機１００は、回転方向を片方向に制限することで、回転に係る演算を単純化でき、保護フレーム３１０を高速に回転できる。一方、両方向に回転可能とする場合、無人航空機１００は、所望の姿勢に迅速に対応し易い。

以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

上記実施形態では、ＵＡＶ制御部１１０は、飛行制御、撮像制御、画像処理、保護フレーム体３００の制御、等の機能を有するが、一部の機能を他装置や他部で分散して実施してもよい。例えば、撮像部２２０が、独自に、制御部（プロセッサ）、記憶部（メモリ）、等を有してよい。撮像部２２０の制御部が、画像処理を行ってもよいし、画像処理及び撮像制御を行ってもよい。

１０ 飛行体システム
８０ 端末
８１ 端末制御部
８３ 操作部
８５ 通信部
８７ 記憶部
８８ 表示部
１００ 無人航空機
１１０ ＵＡＶ制御部
１５０ 通信部
１６０ 記憶部
２００ ジンバル
２１０ 回転翼機構
２２０ 撮像部
２４０ ＧＰＳ受信機
２５０ 慣性計測装置
２６０ 磁気コンパス
２７０ 気圧高度計
２８０ 超音波センサ
２９０ レーザー測定器
３００ 保護フレーム体
３１０，３１０Ａ 保護フレーム
Ｇ１，Ｇ１１，Ｇ１２ 撮像画像
Ｇ２ 補完画像

Claims (28)

1. 画像の処理及びフレーム体の制御を行う制御装置であって、
   処理部を備え、
   前記処理部は、
   飛行体が備える撮像部により複数の時点で同一の撮像範囲を含んで撮像された複数の撮像画像を取得し、
   前記撮像部を包囲する前記フレーム体を回転させ、
   前記複数の撮像画像に基づいて、補完画像を生成し、
   前記フレーム体の少なくとも一部は、前記複数の時点の少なくとも１つの時点において、前記撮像部の撮像範囲内に位置する、
   制御装置。
2. 前記処理部は、前記複数の時点で前記撮像部に対する前記フレーム体の向きが異なるように、前記フレーム体を回転させる、
   請求項１に記載の制御装置。
3. 前記飛行体は、前記撮像部の姿勢を安定化させるジンバルを備え、
   前記フレーム体は、前記ジンバルに前記ジンバルの外側から連結される、
   請求項１又は２に記載の制御装置。
4. 前記処理部は、
   前記飛行体の運動状態を取得し、
   前記運動状態が、前記飛行体が運動していないことを示す場合、前記補完画像を生成する、
   請求項１〜３のいずれか１項に記載の制御装置。
5. バッファ、を更に備え、
   前記処理部は、
   前記運動状態が、前記飛行体が運動していないことを示す場合、前記飛行体が運動していない時点で撮像された撮像画像を前記バッファに格納させ、
   前記運動状態が、前記飛行体が運動していることを示す場合、前記バッファに格納された撮像画像を削除し、
   前記バッファに格納された複数の撮像画像に基づいて、前記補完画像を生成する、
   請求項４に記載の制御装置。
6. 前記複数の撮像画像は、同一の撮像範囲の撮像画像であり、
   前記処理部は、前記複数の撮像画像における同一の画素の画素値の統計値を、前記補完画像における前記同一の画素の画素値とする、
   請求項１〜５のいずれか１項に記載の制御装置。
7. 前記統計値は、中間値又は平均値である、
   請求項６に記載の制御装置。
8. 前記処理部は、前記フレーム体のフレームの太さに基づいて、所定時間当たりの前記フレーム体の回転角度を決定する、
   請求項１〜７のいずれか１項に記載の制御装置。
9. 前記処理部は、
   前記フレーム体の形状の情報を取得し、
   前記フレーム体の形状に基づいて、前記フレーム体の回転を制御する、
   請求項１〜８のいずれか１項に記載の制御装置。
10. 前記ジンバルは、複数の軸を回転中心として３次元空間における複数の方向に回転可能であり、
    前記フレーム体は、前記複数の軸を回転中心として３次元空間における前記複数の方向に回転可能であり、
    前記処理部は、各軸の軸周りの回転の方向を一方向に制限する、
    請求項３に記載の制御装置。
11. 前記フレーム体は、前記飛行体が備える回転翼を包囲する、
    請求項１〜１０のいずれか１項に記載の制御装置。
12. 前記制御装置は、前記飛行体である、
    請求項１〜１１のいずれか１項に記載の制御装置。
13. 前記飛行体は、前記フレーム体を備える、
    請求項１〜１２のいずれか１項に記載の制御装置。
14. 画像の処理及びフレーム体の制御を行う制御方法であって、
    飛行体が備える撮像部を包囲するフレーム体を回転させるステップと、
    前記撮像部により複数の時点で同一の撮像範囲を含んで撮像された複数の撮像画像を取得するステップと、
    前記複数の撮像画像に基づいて、補完画像を生成するステップと、
    を有し、
    前記フレーム体の少なくとも一部は、前記複数の時点の少なくとも１つの時点において、前記撮像部の撮像範囲内に位置する、
    制御方法。
15. 前記フレーム体を回転させるステップは、前記複数の時点で前記撮像部に対する前記フレーム体の向きが異なるように、フレーム体を回転させるステップを含む、
    請求項１４に記載の制御方法。
16. 前記飛行体は、前記撮像部の姿勢を安定化させるジンバルを備え、
    前記フレーム体は、前記ジンバルに前記ジンバルの外側から連結される、
    請求項１４又は１５のいずれか１項に記載の制御方法。
17. 前記飛行体の運動状態を取得するステップ、を更に含み、
    前記補完画像を生成するステップは、前記運動状態が、前記飛行体が運動していないことを示す場合、前記補完画像を生成するステップを含む、
    請求項１４〜１６のいずれか１項に記載の制御方法。
18. 前記補完画像を生成するステップは、
    前記運動状態が、前記飛行体が運動していないことを示す場合、前記飛行体が運動していない時点で撮像された撮像画像をバッファに格納させるステップと、
    前記運動状態が、前記飛行体が運動していることを示す場合、前記バッファに格納された撮像画像を削除するステップと、
    前記バッファに格納された複数の撮像画像に基づいて、前記補完画像を生成するステップと、を含む、
    請求項１７に記載の制御方法。
19. 前記複数の撮像画像は、同一の撮像範囲の撮像画像であり、
    前記補完画像を生成するステップは、前記複数の撮像画像における同一の画素の画素値の統計値を、前記補完画像における前記同一の画素の画素値とするステップを含む、
    請求項１４〜１８のいずれか１項に記載の制御方法。
20. 前記統計値は、中間値又は平均値である、
    請求項１９に記載の制御方法。
21. 前記フレーム体を回転させるステップは、前記フレーム体のフレームの太さに基づいて、所定時間当たりの前記フレーム体の回転の回転量を決定するステップを含む、
    請求項１４〜２０のいずれか１項に記載の制御方法。
22. 前記フレーム体を回転させるステップは、
    前記フレーム体の形状の情報を取得するステップと、
    前記フレーム体の形状に基づいて、前記フレーム体の回転を制御するステップと、を含む、
    請求項１４〜２１のいずれか１項に記載の制御方法。
23. 前記ジンバルは、複数の軸を回転中心として３次元空間における複数の方向に回転可能であり、
    前記フレーム体は、前記複数の軸を回転中心として３次元空間における前記複数の方向に回転可能であり、
    前記フレーム体を回転させるステップは、各軸の軸周りの回転の方向を一方向に制限するステップを含む、
    請求項１６に記載の制御方法。
24. 前記フレーム体は、前記飛行体が備える回転翼を包囲する、
    請求項１４〜２３のいずれか１項に記載の制御方法。
25. 前記制御方法は、制御装置により実行され、
    前記制御装置は、前記飛行体である、
    請求項１４〜２４のいずれか１項に記載の制御方法。
26. 前記飛行体は、前記フレーム体を備える、
    請求項１４〜２５のいずれか１項に記載の制御方法。
27. 制御装置に、
    飛行体が備える撮像部を包囲するフレーム体を回転させるステップと、
    前記撮像部により複数の時点で同一の撮像範囲を含んで撮像された複数の撮像画像を取得するステップと、
    前記複数の撮像画像に基づいて、補完画像を生成するステップと、
    を実行させるためのプログラムであり、
    前記フレーム体の少なくとも一部は、前記複数の時点の少なくとも１つの時点において、前記撮像部の撮像範囲内に位置する、プログラム。
28. 制御装置に、
    飛行体が備える撮像部を包囲するフレーム体を回転させるステップと、
    前記撮像部により複数の時点で同一の撮像範囲を含んで撮像された複数の撮像画像を取得するステップと、
    前記複数の撮像画像に基づいて、補完画像を生成するステップと、
    を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であり、
    前記フレーム体の少なくとも一部は、前記複数の時点の少なくとも１つの時点において、前記撮像部の撮像範囲内に位置する、記録媒体。

Images