JP6997164B2 - 画像処理装置、画像処理方法、プログラム、及び記録媒体 - Google Patents

Description

本開示は、画像処理装置、画像処理方法、プログラム、及び記録媒体に関する。

従来、複数の画像を合成する画像合成技術（Image Stacking）が知られている。複数の画像を合成することで、画像の画質を改善できる。特許文献１では、画像合成を行う画像処理装置が開示されている。この画像処理装置は、異なるタイミングで撮像された複数の画像を合成する合成部と、動きに関する画像への影響を低減する補正を行う動き補正部とを備える。

欧州特許出願公開第３４５０３１０明細書

特許文献１の画像処理装置は、撮像装置の位置を固定して複数枚の静止画像を撮像し、複数の静止画像を合成する（Image Stacking）。一方、飛行体が撮像装置を搭載する場合のように、撮像装置が移動しながら複数の動画像を合成する（Video Stacking）ことは考慮されていない。飛行しながら撮像可能な飛行体に撮像された複数の動画像を合成することで、動画像の画質を改善することが望ましい。

一態様において、画像処理装置は、飛行体が備える撮像部により撮像された動画像を処理する画像処理装置であって、処理部を備え、処理部は、飛行体が飛行するための飛行ルートを指定し、飛行ルートに沿って、複数の周回回数、飛行体を飛行させ、飛行体が備える撮像部に、複数の周回の飛行により同じ撮像範囲を有する複数の動画像を撮像させ、複数の周回の飛行により撮像された複数の動画像を合成して、合成動画像を生成する。

動画像は、時系列順の複数の画像フレームを有してよい。処理部は、複数の動画像における同一の相対時刻の画像フレーム毎に同一の撮像範囲となるように、飛行体を制御してよい。

処理部は、１周目の飛行ルートの飛行において、撮像部の垂直同期信号に同期して、飛行体の状態を取得し、２周目以降の飛行ルートの飛行において、撮像部の垂直同期信号に同期して、１周目における飛行体の状態と同じ状態で撮像するよう、飛行体の飛行及び撮像部を制御してよい。

飛行体の状態は、飛行体の位置、飛行体の向き、撮像部を支持するジンバルの角度、のうち少なくとも１つの情報を含んでよい。

処理部は、１周目に得られた第１の動画像と２周目以降に得られた第２の動画像とに基づいて、合成動画像を生成してよい。

処理部は、同一の相対時刻の画像フレーム毎に、第１の動画像と第２の動画像とを比較し、比較の結果に基づいて、第１の動画像に対して第２の動画像の動き補償を行ってよい。

動き補償は、グローバル動き補償を含んでよい。

処理部は、第１の動画像及び第２の動画像における同一の相対時刻の画像フレームの同一画素の統計値に基づいて、合成動画像を生成してよい。

処理部は、同一の相対時刻の画像フレーム毎に、第１の動画像と第２の動画像とを比較し、第２の動画像に対して特徴領域を抽出し、第１の動画像における特徴領域に対応する領域を、第２の動画像における特徴領域で置換する。

処理部は、飛行体による飛行ルートの飛行の周回回数を取得し、取得された周回回数が閾値未満である場合、最新の周回において撮像された動画像を出力し、取得された周回回数が閾値以上である場合、合成動画像を出力してよい。

処理部は、出力された合成動画像を評価し、合成動画像の評価結果が所定基準を満たす場合、飛行体の飛行及び撮像を終了し、合成動画像の評価結果が所定基準を満たさない場合、次周回の飛行ルートに沿った飛行及び撮像を行ってよい。

処理部は、合成動画像の評価結果を示す操作情報を取得してよい。
請求項１１に記載の画像処理装置。

処理部は、合成動画像に対して画像認識し、画像認識の結果に基づいて、合成動画像を評価してよい。

画像処理装置は、飛行体でよい。

一態様において、画像処理方法は、飛行体が備える撮像部により撮像された動画像を処理する画像処理方法であって、飛行体が飛行するための飛行ルートを指定するステップと、飛行ルートに沿って、複数の周回回数、飛行体を飛行させるステップと、飛行体が備える撮像部に、複数の周回の飛行により同じ撮像範囲を有する複数の動画像を撮像させるステップと、複数の周回の飛行により撮像された複数の動画像を合成して、合成動画像を生成するステップと、を有する。

動画像は、時系列順の複数の画像フレームを有してよい。複数の動画像を撮像させるステップは、複数の動画像における同一の相対時刻の画像フレーム毎に同一の撮像範囲となるように、飛行体を制御するステップを含んでよい。

複数の動画像を撮像させるステップは、１周目の飛行ルートの飛行において、撮像部の垂直同期信号に同期して、飛行体の状態を取得するステップと、２周目以降の飛行ルートの飛行において、撮像部の垂直同期信号に同期して、１周目における飛行体の状態と同じ状態で撮像するよう、飛行体の飛行及び撮像部を制御するステップと、を含んでよい。

飛行体の状態は、飛行体の位置、飛行体の向き、撮像部を支持するジンバルの角度、のうち少なくとも１つの情報を含んでよい。

合成動画像を生成するステップは、１周目に得られた第１の動画像と２周目以降に得られた第２の動画像とに基づいて、合成動画像を生成するステップを含んでよい。

合成動画像を生成するステップは、同一の相対時刻の画像フレーム毎に、第１の動画像と第２の動画像とを比較するステップと、比較の結果に基づいて、第１の動画像に対して第２の動画像の動き補償を行うステップと、を含んでよい。

動き補償は、グローバル動き補償を含んでよい。

合成動画像を生成するステップは、第１の動画像及び第２の動画像における同一の相対時刻の画像フレームの同一画素の統計値に基づいて、合成動画像を生成するステップを含んでよい。

合成動画像を生成するステップは、同一の相対時刻の画像フレーム毎に、第１の動画像と第２の動画像とを比較するステップと、第２の動画像に対して特徴領域を抽出するステップと、第１の動画像における特徴領域に対応する領域を、第２の動画像における特徴領域で置換するステップと、を含んでよい。

飛行体による飛行ルートの飛行の周回回数を取得するステップと、取得された周回回数が閾値未満である場合、最新の周回において撮像された動画像を出力するステップと、取得された周回回数が閾値以上である場合、合成動画像を出力するステップと、を更に含んでよい。

複数の動画像を撮像させるステップは、出力された合成動画像を評価するステップと、合成動画像の評価結果が所定基準を満たす場合、飛行体の飛行及び撮像を終了するステップと、合成動画像の評価結果が所定基準を満たさない場合、次周回の飛行ルートに沿った飛行及び撮像を行うステップと、を含んでよい。

合成動画像を評価するステップは、合成動画像の評価結果を示す操作情報を取得するステップを含んでよい。

合成動画像を評価するステップは、合成動画像に対して画像認識するステップと、画像認識の結果に基づいて、合成動画像を評価するステップと、を含んでよい。

画像処理方法は、画像処理装置により実行されてよい。画像処理装置は、飛行体でよい。

一態様において、プログラムは、飛行体が備える撮像部により撮像された動画像を処理する画像処理装置に、飛行体が飛行するための飛行ルートを指定するステップと、飛行ルートに沿って、複数の周回回数、飛行体を飛行させるステップと、飛行体が備える撮像部に、複数の周回の飛行により同じ撮像範囲を有する複数の動画像を撮像させるステップと、複数の周回の飛行により撮像された複数の動画像を合成して、合成動画像を生成するステップと、を実行させるためのプログラムである。

一態様において、記録媒体は、飛行体が備える撮像部により撮像された動画像を処理する画像処理装置に、飛行体が飛行するための飛行ルートを指定するステップと、飛行ルートに沿って、複数の周回回数、飛行体を飛行させるステップと、飛行体が備える撮像部に、複数の周回の飛行により同じ撮像範囲を有する複数の動画像を撮像させるステップと、複数の周回の飛行により撮像された複数の動画像を合成して、合成動画像を生成するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。

なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

実施形態における飛行体システムの構成例を示す模式図 無人航空機の具体的な外観の一例を示す図 無人航空機のハードウェア構成の一例を示すブロック図 端末のハードウェア構成の一例を示すブロック図 無人航空機による動作の概要の一例を示す図 無人航空機による動作例を示すフローチャート 動画像の合成の第１例を示すフローチャート 動画像の合成の第２例を示すフローチャート 動画像の出力例を示すフローチャート

以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。

以下の実施形態では、飛行体として、無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）を例示する。画像処理装置は、例えば無人航空機であるが、他の装置（例えば端末、送信機、サーバ、その他の画像処理装置）でもよい。画像処理方法は、画像処理方法の動作が規定されたものである。また、記録媒体は、プログラム（例えば画像処理装置に各種の処理を実行させるプログラム）が記録されたものである。

以下の実施形態でいう「部」又は「装置」とは、単にハードウェアによって実現される物理的構成に限定されず、その構成が有する機能をプログラム等のソフトウェアにより実現されるものも含む。また、１つの構成が有する機能が２つ以上の物理的構成により実現されても、又は２つ以上の構成の機能が例えば１つの物理的構成によって実現されていても構わない。また、実施形態でいう「取得」は、単に情報や信号などを直接に取得する動作を示すものに限定されず、例えば処理部が、通信部を介して取得、すなわち受信することのほか、記憶部（例えばメモリなど）から取得することのいずれも含む。これらの用語の理解や解釈は、特許請求の範囲の記載についても同様である。

図１は、実施形態における飛行体システム１０の構成例を示す模式図である。飛行体システム１０は、無人航空機１００及び端末８０を備える。無人航空機１００及び端末８０は、相互に有線通信又は無線通信（例えば無線ＬＡＮ（Local Area Network））により通信可能である。図１では、端末８０が携帯端末（例えばスマートフォン、タブレット端末）であることを例示しているが、その他の端末（例えば、ＰＣ（Personal Computer）、制御棒により無人航空機１００の操縦が可能な送信機（プロポ））でもよい。

図２は、無人航空機１００の具体的な外観の一例を示す図である。図２には、無人航空機１００が移動方向ＳＴＶ０に飛行する場合の斜視図が示される。無人航空機１００は移動体の一例である。

図２に示すように、地面と平行であって移動方向ＳＴＶ０に沿う方向にロール軸（ｘ軸参照）が設定される。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸（ｙ軸参照）が設定され、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸（ｚ軸参照）が設定される。

無人航空機１００は、ＵＡＶ本体１０２と、ジンバル２００と、撮像部２２０と、複数の撮像部２３０とを含む構成である。

ＵＡＶ本体１０２は、複数の回転翼（プロペラ）を備える。ＵＡＶ本体１０２は、複数の回転翼の回転を制御することにより無人航空機１００を飛行させる。ＵＡＶ本体１０２は、例えば４つの回転翼を用いて無人航空機１００を飛行させる。回転翼の数は、４つに限定されない。また、無人航空機１００は、回転翼を有さない固定翼機でよい。

撮像部２２０は、所望の撮像範囲に含まれる被写体（例えば、撮像対象となる上空の様子、山や川等の景色、地上の建物）を撮像する撮像用のカメラである。

複数の撮像部２３０は、無人航空機１００の飛行を制御するために無人航空機１００の周囲を撮像するセンシング用のカメラである。２つの撮像部２３０が、無人航空機１００の機首である正面に設けられてよい。さらに、他の２つの撮像部２３０が、無人航空機１００の底面に設けられてよい。正面側の２つの撮像部２３０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像部２３０もペアとなり、ステレオカメラとして機能してよい。複数の撮像部２３０により撮像された画像に基づいて、無人航空機１００の周囲の３次元空間データが生成されてよい。なお、無人航空機１００が備える撮像部２３０の数は４つに限定されない。無人航空機１００は、少なくとも１つの撮像部２３０を備えていればよい。無人航空機１００は、無人航空機１００の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像部２３０を備えてよい。撮像部２３０で設定できる画角は、撮像部２２０で設定できる画角より広くてよい。撮像部２３０は、単焦点レンズ又は魚眼レンズを有してよい。

図３は、無人航空機１００のハードウェア構成の一例を示すブロック図である。無人航空機１００は、ＵＡＶ制御部１１０と、通信部１５０と、記憶部１６０と、ジンバル２００と、回転翼機構２１０と、撮像部２２０と、撮像部２３０と、ＧＰＳ受信機２４０と、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）２５０と、磁気コンパス２６０と、気圧高度計２７０と、超音波センサ２８０と、レーザー測定器２９０と、を含む構成である。

ＵＡＶ制御部１１０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。ＵＡＶ制御部１１０は、無人航空機１００の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。

ＵＡＶ制御部１１０は、記憶部１６０に格納されたプログラムに従って無人航空機１００の飛行を制御してよい。ＵＡＶ制御部１１０は、端末８０からの操縦等による飛行の制御の指示に応じて、飛行を制御してよい。ＵＡＶ制御部１１０は、画像（例えば動画像、静止画像）を撮像（例えば空撮）してよい。

ＵＡＶ制御部１１０は、無人航空機１００の位置を示す位置情報を取得する。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から、無人航空機１００が存在する緯度、経度及び高度を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から無人航空機１００が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計２７０から無人航空機１００が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。ＵＡＶ制御部１１０は、超音波センサ２８０による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。

ＵＡＶ制御部１１０は、磁気コンパス２６０から無人航空機１００の向きを示す向き情報を取得してよい。向き情報は、例えば無人航空機１００の機首の向きに対応する方位で示されてよい。

ＵＡＶ制御部１１０は、撮像部２２０が撮像すべき撮像範囲を撮像する時に無人航空機１００が存在すべき位置を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、無人航空機１００が存在すべき位置を示す位置情報を記憶部１６０から取得してよい。ＵＡＶ制御部１１０は、無人航空機１００が存在すべき位置を示す位置情報を、通信部１５０を介して他の装置から取得してよい。ＵＡＶ制御部１１０は、３次元地図データベースを参照して、無人航空機１００が存在可能な位置を特定して、その位置を無人航空機１００が存在すべき位置を示す位置情報として取得してよい。

ＵＡＶ制御部１１０は、撮像部２２０及び撮像部２３０のそれぞれの撮像範囲を取得してよい。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像部２２０及び撮像部２３０の画角を示す画角情報を撮像部２２０及び撮像部２３０から取得してよい。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像部２２０及び撮像部２３０の撮像方向を示す情報を取得してよい。ＵＡＶ制御部１１０は、例えば撮像部２２０の撮像方向を示す情報として、ジンバル２００から撮像部２２０の姿勢の状態を示す姿勢情報を取得してよい。撮像部２２０の姿勢情報は、ジンバル２００のピッチ軸及びヨー軸の基準回転角度からの回転角度を示してよい。

ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、無人航空機１００が存在する位置を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、撮像部２２０及び撮像部２３０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて、撮像部２２０が撮像する地理的な範囲を示す撮像範囲を画定してよい。

ＵＡＶ制御部１１０は、記憶部１６０から撮像範囲の情報を取得してよい。ＵＡＶ制御部１１０は、通信部１５０を介して撮像範囲の情報を取得してよい。

ＵＡＶ制御部１１０は、ジンバル２００、回転翼機構２１０、撮像部２２０及び撮像部２３０を制御する。ＵＡＶ制御部１１０は、撮像部２２０の撮像方向又は画角を変更することによって、撮像部２２０の撮像範囲を制御してよい。ＵＡＶ制御部１１０は、ジンバル２００の回転機構を制御することで、ジンバル２００に支持されている撮像部２２０の撮像範囲を制御してよい。

撮像範囲とは、撮像部２２０又は撮像部２３０により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される３次元空間データにおける範囲でよい。撮像範囲は、緯度及び経度で定義される２次元空間データにおける範囲でよい。撮像範囲は、撮像部２２０又は撮像部２３０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて特定されてよい。撮像部２２０及び撮像部２３０の撮像方向は、撮像部２２０及び撮像部２３０の撮像レンズが設けられた正面が向く方位と俯角とから定義されてよい。撮像部２２０の撮像方向は、無人航空機１００の機首の方位と、ジンバル２００に対する撮像部２２０の姿勢の状態とから特定される方向でよい。撮像部２３０の撮像方向は、無人航空機１００の機首の方位と、撮像部２３０が設けられた位置とから特定される方向でよい。

ＵＡＶ制御部１１０は、複数の撮像部２３０により撮像された複数の画像を解析することで、無人航空機１００の周囲の環境を特定してよい。ＵＡＶ制御部１１０は、無人航空機１００の周囲の環境に基づいて、例えば障害物を回避して飛行を制御してよい。

ＵＡＶ制御部１１０は、無人航空機１００の周囲に存在するオブジェクトの立体形状（３次元形状）を示す立体情報（３次元情報）を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部でよい。立体情報は、例えば、３次元空間データである。ＵＡＶ制御部１１０は、複数の撮像部２３０から得られたそれぞれの画像から、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。ＵＡＶ制御部１１０は、記憶部１６０に格納された３次元地図データベースを参照することにより、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。ＵＡＶ制御部１１０は、ネットワーク上に存在するサーバが管理する３次元地図データベースを参照することで、無人航空機１００の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。

ＵＡＶ制御部１１０は、回転翼機構２１０を制御することで、無人航空機１００の飛行を制御する。つまり、ＵＡＶ制御部１１０は、回転翼機構２１０を制御することにより、無人航空機１００の緯度、経度、及び高度を含む位置を制御する。ＵＡＶ制御部１１０は、無人航空機１００の飛行を制御することにより、撮像部２２０の撮像範囲を制御してよい。ＵＡＶ制御部１１０は、撮像部２２０が備えるズームレンズを制御することで、撮像部２２０の画角を制御してよい。ＵＡＶ制御部１１０は、撮像部２２０のデジタルズーム機能を利用して、デジタルズームにより、撮像部２２０の画角を制御してよい。

撮像部２２０が無人航空機１００に固定され、撮像部２２０を動かせない場合、ＵＡＶ制御部１１０は、特定の日時に特定の位置に無人航空機１００を移動させることにより、所望の環境下で所望の撮像範囲を撮像部２２０に撮像させてよい。あるいは撮像部２２０がズーム機能を有さず、撮像部２２０の画角を変更できない場合でも、ＵＡＶ制御部１１０は、特定された日時に、特定の位置に無人航空機１００を移動させることで、所望の環境下で所望の撮像範囲を撮像部２２０に撮像させてよい。

通信部１５０は、端末８０と通信する。通信部１５０は、任意の無線通信方式により無線通信してよい。通信部１５０は、任意の有線通信方式により有線通信してよい。通信部１５０は、撮像画像や撮像画像に関する付加情報（メタデータ）を、端末８０に送信してよい。

記憶部１６０は、各種情報、各種データ、各種プログラム、各種画像を保持してよい。各種画像は、撮像画像や撮像画像に基づく画像を含んでよい。プログラムは、ＵＡＶ制御部１１０がジンバル２００、回転翼機構２１０、撮像部２２０、ＧＰＳ受信機２４０、慣性計測装置２５０、磁気コンパス２６０、気圧高度計２７０、超音波センサ２８０、及びレーザー測定器２９０を制御するのに必要なプログラムを含んでよい。記憶部１６０は、コンピュータ読み取り可能な記録媒体でよい。記憶部１６０は、メモリを含み、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、等を含んでよい。記憶部１６０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＤカード、ＵＳＢ（Universal Serial bus）メモリ、その他のストレージの少なくとも１つを含んでよい。記憶部１６０の少なくとも一部が、無人航空機１００から取り外し可能であってよい。

ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部２２０を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像部２２０を回転させることで、撮像部２２０の撮像方向を変更してよい。

回転翼機構２１０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータと、を有する。回転翼機構２１０は、ＵＡＶ制御部１１０により回転を制御されることにより、無人航空機１００を飛行させる。

撮像部２２０は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像部２２０の撮像により得られた撮像画像のデータは、撮像部２２０が有するメモリ、又は記憶部１６０に格納されてよい。

撮像部２３０は、無人航空機１００の周囲を撮像して撮像画像のデータを生成する。撮像部２３０の画像データは、記憶部１６０に格納されてよい。

ＧＰＳ受信機２４０は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいて、ＧＰＳ受信機２４０の位置（つまり、無人航空機１００の位置）を算出する。ＧＰＳ受信機２４０は、無人航空機１００の位置情報をＵＡＶ制御部１１０に出力する。なお、ＧＰＳ受信機２４０の位置情報の算出は、ＧＰＳ受信機２４０の代わりにＵＡＶ制御部１１０により行われてよい。この場合、ＵＡＶ制御部１１０には、ＧＰＳ受信機２４０が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。

慣性計測装置２５０は、無人航空機１００の姿勢を検出し、検出結果をＵＡＶ制御部１１０に出力する。慣性計測装置２５０は、無人航空機１００の姿勢として、無人航空機１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の３軸方向の角速度とを検出してよい。

磁気コンパス２６０は、無人航空機１００の機首の方位を検出し、検出結果をＵＡＶ制御部１１０に出力する。

気圧高度計２７０は、無人航空機１００が飛行する高度を検出し、検出結果をＵＡＶ制御部１１０に出力する。

超音波センサ２８０は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をＵＡＶ制御部１１０に出力する。検出結果は、無人航空機１００から地面までの距離つまり高度を示してよい。検出結果は、無人航空機１００から物体（被写体）までの距離を示してよい。

レーザー測定器２９０は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機１００と物体（被写体）との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。

図４は、端末８０のハードウェア構成の一例を示すブロック図である。端末８０は、端末制御部８１、操作部８３、通信部８５、記憶部８７、及び表示部８８を備える。端末８０は、無人航空機１００の飛行制御の指示を希望するユーザに所持され得る。端末８０は、無人航空機１００の飛行制御を指示してよい。

端末制御部８１は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成される。端末制御部８１は、端末８０の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。

端末制御部８１は、通信部８５を介して、無人航空機１００からのデータや情報を取得してよい。端末制御部８１は、操作部８３を介して入力されたデータや情報を取得してもよい。端末制御部８１は、記憶部８７に保持されたデータや情報を取得してもよい。端末制御部８１は、通信部８５を介して、無人航空機１００へ、データや情報を送信してもよい。端末制御部８１は、データや情報を表示部８８に送り、このデータや情報に基づく表示情報を表示部８８に表示させてもよい。表示部８８に表示される情報や通信部８５により無人航空機１００へ送信される情報は、無人航空機１００が飛行するための飛行ルート、撮像位置、撮像画像、撮像画像に基づく画像（例えば合成画像）の情報を含んでよい。

操作部８３は、端末８０のユーザにより入力されるデータや情報を受け付けて取得する。操作部８３は、ボタン、キー、タッチパネル、マイクロホン、等の入力装置を含んでもよい。タッチパネルは、操作部８３と表示部８８とで構成されてよい。この場合、操作部８３は、タッチ操作、タップ操作、ドラック操作等を受付可能である。

通信部８５は、各種の無線通信方式により、無人航空機１００との間で無線通信する。この無線通信の無線通信方式は、例えば、無線ＬＡＮや公衆無線回線を介した通信を含んでよい。通信部８５は、任意の有線通信方式により有線通信してよい。

記憶部８７は、各種情報、各種データ、各種プログラム、各種画像を保持してよい。各種プログラムは、端末８０で実行されるアプリケーションプログラムを含んでよい。記憶部８７は、コンピュータ読み取り可能な記録媒体でよい。記憶部８７は、ＲＯＭ、ＲＡＭ、等を含んでよい。記憶部８７は、ＨＤＤ、ＳＳＤ、ＳＤカード、ＵＳＢメモリ、その他のストレージの少なくとも１つを含んでよい。記憶部８７の少なくとも一部が、端末８０から取り外し可能であってよい。

記憶部８７は、無人航空機１００から取得された撮像画像や撮像画像に基づく画像を保持してよい。記憶部８７は、撮像画像や撮像画像に基づく画像の付加情報を保持してよい。

表示部８８は、例えばＬＣＤ（Liquid Crystal Display）を用いて構成され、端末制御部８１から出力された各種の情報やデータを表示する。表示部８８は、例えば、撮像画像や撮像画像に基づく画像を表示してよい。表示部８８は、アプリケーションプログラムの実行に係る各種データや情報を表示してもよい。

次に、無人航空機１００の動作について説明する。
図５は、無人航空機１００による動作の概要の一例を示す図である。

ＵＡＶ制御部１１０は、飛行ルートＲＴを指定する。ＵＡＶ制御部１１０は、飛行ルートＲＴに沿った飛行中に動画像を撮像するための撮像範囲を取得する。

この撮像範囲は、無人航空機１００の状態により定まる。この無人航空機１００の状態は、撮像に係る無人航空機１００の位置、無人航空機１００の向き（例えば機首の方向）、撮像部２２０を支持するジンバル２００の角度（回転角度）、のうち少なくとも１つの情報を含んでよい。また、この無人航空機１００の状態は、その他の無人航空機１００の状態の情報（例えば飛行に関する情報や撮像に関する情報）を含んでもよい。ＵＡＶ制御部１１０は、撮像部２２０の位置を、例えばＧＰＳ技術により取得してもよいし、ＲＴＫ（Real Time Kinematic GPS）技術により、高い精度で無人航空機１００の位置情報を取得してもよい。この撮像範囲は、飛行ルートＲＴに沿った飛行位置と撮像対象の被写体との位置関係に基づいて、ＵＡＶ制御部１１０により生成されて取得されてよい。この撮像範囲は、記憶部１６０に保持されており、記憶部１６０から取得されてよい。この撮像範囲は、通信部１５０を介して外部サーバから取得されてよい。

ＵＡＶ制御部１１０は、取得された飛行ルートＲＴに沿って、無人航空機１００を飛行させる。撮像部２２０は、飛行ルートに沿った無人航空機１００の飛行中に、取得された撮像範囲を撮像することで、動画像を撮像する。

無人航空機１００は、同じ飛行ルートＲＴを複数回飛行し、動画像（ビデオ）を撮像する。動画像は、複数の画像フレームを有する画像シーケンスにより構成される。動画像は、例えば１秒当たり３０枚（３０ｆｐｓに相当）又は６０枚（６０ｆｐｓに相当）の画像フレームを有してよい。ＵＡＶ制御部１１０は、同じ飛行ルートＲＴに沿って複数回無人航空機１００を飛行させ、同じ撮像範囲の動画像の撮像を撮像部２２０に複数回行わせる。

図５に示すように、ＵＡＶ制御部１１０は、飛行ルートＲＴの１周目には、時系列の順に、第１画像フレームｇｆ１１、第２画像フレームｇｆ１２、第３画像フレームｇｆ１３、第４画像フレームｇｆ１４、…を撮像部２２０から取得する。ＵＡＶ制御部１１０は、飛行ルートＲＴの２周目には、第１画像フレームｇｆ２１、第２画像フレームｇｆ２２、第３画像フレームｇｆ２３、第４画像フレームｇｆ２４、…を撮像部２２０から取得する。ＵＡＶ制御部１１０は、飛行ルートＲＴの３周目には、第１画像フレームｇｆ３１、第２画像フレームｇｆ３２、第３画像フレームｇｆ３３、第４画像フレームｇｆ３４、…を撮像部２２０から取得する。図５では、Ｘ枚目の画像フレームを単に第Ｘフレームとも記載する。

各周回における同じ相対時刻（時系列位置）の画像フレームでは、同じ撮像範囲が撮像される。例えば、各周回において同じ相対時刻ｔ１に撮像された第１画像フレームｇｆ１１，ｇｆ２１，ｇｆ３１の画像範囲に対応する撮像範囲は、同じである。各周回において同じ相対時刻ｔ２に撮像された第２画像フレームｇｆ１２，ｇｆ２２，ｇｆ３２の画像範囲に対応する撮像範囲は、同じである。各周回において同じ相対時刻ｔ３に撮像された第３画像フレームｇｆ１３，ｇｆ２３，ｇｆ３３の画像範囲に対応する撮像範囲は、同じである。各周回において同じ相対時刻ｔ４に撮像された第４画像フレームｇｆ１４，ｇｆ２４，ｇｆ３４の画像範囲に対応する撮像範囲は、同じである。同じ撮像範囲の場合には、無人航空機１００の状態は同じである。これにより、無人航空機１００は、同じ場所が撮像された画像フレームを複数枚取得できる。よって、無人航空機１００は、飛行ルートＲＴを反復して飛行して撮像することで、あたかもフレーム毎に連続撮像を実現できる。

ＵＡＶ制御部１１０は、各周回における同じ相対時刻の複数の画像フレームを合成し、同じ相対時刻の画像フレーム毎に合成画像フレームを得る。例えば、３つの第１画像フレームｇｆ１１，ｇｆ２１，ｇｆ３１を合成し、第１合成画像フレームを生成する。第２画像フレーム以降の画像フレームも同様に、第２合成画像フレーム、…を生成する。ＵＡＶ制御部１１０は、各合成画像フレームを時系列順に含んで、合成動画像を生成する。

また、ＵＡＶ制御部１１０は、画像フレームを撮像する度に、無人航空機１００の状態の情報を保存してよい。画像フレームを撮像するタイミング、つまり無人航空機１００の状態の情報を取得するタイミングは、撮像部２２０の垂直同期信号（ＶＳＹＮＣ信号）に同期してよい。無人航空機１００の状態の保存は、少なくとも１周目の撮像時に行われてよい。これにより、無人航空機１００は、２周目以降の飛行においても１周目の飛行時の無人飛行機の状態に追従でき、２周目以降も同じ撮像範囲の画像フレームを有する動画像を撮像できる。

図６は、無人航空機１００による動作例を示すフローチャートである。

まず、ＵＡＶ制御部１１０は、飛行ルートＲＴを指定する（Ｓ１１）。飛行ルートＲＴは、例えば端末８０の操作部８３を介して事前にユーザに指定され、通信部８５及び通信部１５０を介して取得されて指定されてよい。飛行ルートＲＴは、１つ以上の所望の被写体を撮像可能となるように、ＵＡＶ制御部１１０により生成されて指定されてよい。飛行ルートＲＴは、予め記憶部１６０に保持されており、記憶部１６０から取得されて指定されてよい。飛行ルートＲＴは、通信部１５０を介して外部サーバから取得されて指定されてよい。飛行ルートＲＴは、例えば、所望の被写体を撮像可能な飛行ルートである。また、ＵＡＶ制御部１１０は、１周目の飛行中に、端末８０の操作部８３を介した手動操作（操縦）に応じて、飛行ルートＲＴを指定してよい。

ＵＡＶ制御部１１０は、所定の撮像開始トリガに応じて、飛行ルートＲＴに沿った撮像部２２０による撮像を開始する。撮像開始トリガは、通信部１５０を介して端末８０から撮像開始指示を受けたこと、撮像を開始するための所定の時刻となったことを検知したこと、等を含んでよい。撮像開始の指示は、例えば端末８０の操作部８３を介して撮像モードとしてビデオスタッキングモードが選択されたことを含んでよい。

ＵＡＶ制御部１１０は、飛行ルートＲＴに沿った動画像の撮像開始時の無人航空機１００の状態を記憶部１６０に保存させる（Ｓ１２）。ＵＡＶ制御部１１０は、撮像開始時の無人航空機１００の状態を、通信部１５０を介して端末８０により指示された無人航空機１００の状態を取得してもよい。ＵＡＶ制御部１１０は、撮像開始時の無人航空機１００の状態を、所望の被写体に応じて決定してもよい。無人航空機１００の状態に応じて、撮像部２２０により撮像される撮像範囲が定まる。

ＵＡＶ制御部１１０は、飛行ルートＲＴに沿って動画像を撮像する（Ｓ１３）。ＵＡＶ制御部１１０は、各周回において飛行ルートＲＴに沿って飛行するよう無人航空機１００の飛行を制御し、各周回の動画像の各画像フレームを取得する。ＵＡＶ制御部１１０は、各周回において撮像された動画像を合成し、合成動画像を生成する（Ｓ１４）。動画像の合成の詳細については後述する。ＵＡＶ制御部１１０は、合成動画像等の動画像を出力する。動画像の出力の詳細については後述する（Ｓ１５）。なお、ＵＡＶ制御部１１０は、各周回の飛行及び撮像の際（例えば各周回の撮像開始時）には、その周回が何周目であるかの情報を記憶部１６０に保持しておいてよい。なお、Ｓ１２と同様に、Ｓ１３においても、ＵＡＶ制御部１１０は、少なくとも１周目の各画像フレームの取得時に、無人航空機１００の状態を保持してよい。これにより、無人航空機１００は、飛行ルートＲＴの２周目以降においても、１周目の無人航空機１００の状態と同じ無人航空機１００の状態で、飛行及び撮像を実施できる。

ＵＡＶ制御部１１０は、出力された動画像（出力動画像）を評価する（Ｓ１６）。ＵＡＶ制御部１１０は、各周回における動画像の撮像が終了した際に、出力動画像を評価してよい。例えば、ＵＡＶ制御部１１０は、予定されていた飛行ルートＲＴの飛行及び撮像が終了すると、動画像の撮像が終了したと判断してよい。例えば、ＵＡＶ制御部１１０は、１周目において端末８０により無人航空機１００が操縦されていた場合、端末８０による無人航空機１００の操縦が終了した場合、操作部８３を介して無人航空機１００の操縦の終了を示す操作がされて通信部８５を介して無人航空機１００に通知された場合、等に動画像の撮像が終了したと判断してよい。

ＵＡＶ制御部１１０は、出力動画像の評価結果が所定基準を満たすか否かを判定する（Ｓ１７）。所定基準は、ユーザによる主観的な基準でもよいし、客観的な基準でもよい。

所定基準がユーザに主観的な基準の場合、ＵＡＶ制御部１１０が、通信部１５０を介して出力動画像を端末８０へ送信し、端末８０の端末制御部８１が、通信部８５を介して出力動画像を受信し、表示部８８を介して出力動画像を表示してよい。そして、ユーザが表示された出力動画像を確認し、ユーザの主観により出力動画像が所定基準を満たすか否かを判定してもよい。この場合、所定基準を満たす場合、端末制御部８１は、操作部８３を介して所定基準を満たす旨の操作情報を取得し、通信部８５を介して無人航空機１００へ送信してよい。一方、所定基準を満たさない場合、端末制御部８１は、操作部８３を介して所定基準を満たさない旨の操作情報を取得し、通信部８５を介して無人航空機１００へ送信してよい。つまり、ユーザの手動で評価結果が入力されてよい。

所定基準が客観的な基準である場合、ＵＡＶ制御部１１０は、出力動画像に対して画像認識（例えばパターン認識）し、画像認識の結果に基づいて、出力動画像を評価してよい。この場合、所定基準は、例えば、出力動画像の各画像フレームの各画素の画素値に基づく基準でよい。

出力動画像が所定基準を満たす場合（Ｓ１７のＹｅｓ）、ＵＡＶ制御部１１０は、図５の処理を終了し、飛行ルートＲＴに沿った飛行及び撮像を終了する。

一方、出力動画像が所定基準を満たさない場合（Ｓ１７のＮｏ）、ＵＡＶ制御部１１０は、次周回の飛行及び撮像に移行する（Ｓ１８）。この場合、ＵＡＶ制御部１１０は、記憶部１６０から撮像開始時の無人航空機１００の状態の情報を取得し、飛行ルートＲＴの開始地点における無人航空機１００の状態に設定する（Ｓ１８）。これにより、ＵＡＶ制御部１１０は、次周回の飛行ルートＲＴの撮像開始の位置に移動し、撮像開始時の撮像部２２０を所望の撮像範囲を撮像可能な状態にする。

なお、評価される対象となる動画像は、出力動画像のうち合成動画像に限ってもよい。例えば、１周目の基準となる動画像が評価されなくても、合成動画像の品質に影響がなく、図６の処理時間が短縮可能である。

無人航空機１００は、飛行ルートＲＴに沿った飛行及び撮像を少なくともＮ回繰り返す。「Ｎ」は、２以上の任意の数であり、例えば生成された合成動画像の品質が所定品質以上に保たれると想定される周回数である。出力動画像の評価結果が所定基準を満たさない場合、Ｎ回以降においても飛行ルートＲＴに沿った飛行及び撮像を継続し得る。Ｎの値は、例えば端末８０の操作部８３を介してユーザに指定されてもよいし、任意の値に適宜定められていてもよい。また、ＵＡＶ制御部１１０が、撮像されるシーンや撮像範囲に基づいて、Ｎの値を決定してもよい。

このように、無人航空機１００（画像処理装置の一例）は、無人航空機１００（飛行体の一例）が備える撮像部２２０により撮像された動画像を処理する。ＵＡＶ制御部（処理部の一例）は、無人航空機１００が飛行するための飛行ルートＲＴを指定してよい。ＵＡＶ制御部１１０は、飛行ルートＲＴに沿って、複数の周回回数、無人航空機１００を飛行させてよい。ＵＡＶ制御部１１０は、撮像部２２０に、複数の周回の飛行により同じ撮像範囲を有する複数の動画像を撮像させてよい。ＵＡＶ制御部１１０は、複数の周回の飛行により撮像された複数の動画像を合成して、合成動画像を生成してよい。

無人航空機１００は、飛行中に一か所に留まりながら動画像を撮像することが困難である。したがって、動画像の撮像時に、同一の撮像範囲で連続撮像することが困難であり、同じ撮像範囲における画像合成を行うことが困難である。これに対し、無人航空機１００は、動画像の撮像時に一か所に留まらずに、指定された飛行ルートＲＴを複数回にわたって周回して飛行することで、経時的に同様の撮像範囲を撮像可能である。よって、無人航空機１００は、同様の撮像範囲において、つまり広範囲となる撮像範囲を固定して、各撮像範囲に対応する複数の画像フレームを有する複数の動画像を得ることができる。したがって、無人航空機１００は、この複数の動画像を合成して合成動画像を生成することで、様々な有益な撮像効果（例えばTemporal Denoise、ＨＤＲ（High Dynamic Range））を得ることができる。つまり、無人航空機１００は、長時間露光のような撮像効果を得て、ＳＮＲ（Signal to Noise Ratio）を向上させてノイズを低減でき、またダイナミックレンジを広くできる。

また、動画像は、複数の画像フレームを有してよい。ＵＡＶ制御部１１０は、複数の動画像における同一の相対時刻の画像フレーム毎に同一の撮像範囲となるように、無人航空機１００を制御してよい。

これにより、無人航空機１００は、各動画像における同一の相対時刻の画像フレーム毎に同じ撮像範囲の画像を得ることで、動画像全体として広範囲に同じ撮像範囲の複数の画像フレームを得ることができる。

また、ＵＡＶ制御部１１０は、１周目の飛行ルートＲＴの飛行において、撮像部２２０の垂直同期信号（ＶＳＹＮＣ信号）に同期して、無人航空機１００の状態を取得してよい。ＵＡＶ制御部１１０は、２周目以降の飛行ルートＲＴの飛行において、撮像部２２０の垂直同期信号に同期して、１周目における無人航空機１００の状態と同じ状態で撮像するよう、無人航空機１００の飛行及び撮像部２２０を制御してよい。

これにより、無人航空機１００は、撮像部２２０の垂直同期信号に同期することで、１つの画像フレームを取得する毎に、無人航空機１００の状態を取得できる。無人航空機１００は、１周目の無人航空機１００の飛行の仕方や撮像の仕方を保持しておくことで、以降の周回における飛行の仕方や撮像の仕方を一周目と同様にすることで、容易に広範囲で無人航空機１００の状態に対応する撮像範囲を固定して、複数の動画像を得ることができる。

また、無人航空機１００の状態は、無人航空機１００の位置、無人航空機１００の向き、撮像部２２０を支持するジンバル２００の角度、のうち少なくとも１つの情報を含んでよい。

これにより、無人航空機１００は、例えば無人航空機１００の状態を記憶部１６０に保持しておき、後のタイミングで無人航空機１００の状態を記憶部１６０から取得して設定することで、過去の撮像部２２０により撮像された撮像範囲の画像フレームを取得できる。

また、ＵＡＶ制御部１１０は、合成動画像の評価が所定基準を満たす場合、無人航空機１００の飛行及び撮像の制御を終了してよい。ＵＡＶ制御部１１０は、合成動画像の評価が所定基準を満たさない場合、次周回の飛行ルートＲＴに沿った飛行及び撮像の制御を行ってよい。

これにより、無人航空機１００は、合成動画像の評価が所定基準以上となるまで、飛行ルートＲＴでの撮像を継続できる。よって、無人航空機１００は、合成動画像の品質の向上を期待できる。

また、ＵＡＶ制御部１１０は、合成動画像の評価結果を示す操作情報を取得してよい。この操作情報は、端末８０から取得されてよい。これにより、合成動画像の主観により、合成動画像を評価でき、合成動画像の元となる更なる画像を取得するか否かを決定できる。

また、ＵＡＶ制御部１１０は、合成動画像に対して画像認識してよい。ＵＡＶ制御部１１０は、画像認識の結果に基づいて、合成動画像を評価してよい。これにより、無人航空機１００は、画像認識によって客観的に合成動画像を評価でき、飛行ルートＲＴを再度飛行して合成動画像の元となる画像フレームの取得を継続するか否かを決定できる。

また、上記の飛行制御や撮像制御や合成動画像に関する処理を、無人航空機１００が主に行ってよい。この場合、各制御や各処理を１つの装置で行うことができ、効率的な処理を実施でき、処理時間を短縮できる。また、これらの処理を行うための装置を、無人航空機１００とは別体として用意することが不要となる。なお、上記の撮像制御や合成動画像に関する処理を、他の装置（例えば端末８０、送信機）が主に行ってもよい。

図７は、動画像の合成の第１例を示すフローチャートである。動画像の合成の処理は、図６のＳ１４に相当する。図７では、図６のＳ１３においていずれかの周回の動画像が取得されたことを想定している。

ＵＡＶ制御部１１０は、得られた動画像が飛行ルートＲＴの１周目に得られた動画像であるか否かを判定する（Ｓ２１）。ＵＡＶ制御部１１０は、例えば、記憶部１６０を参照することで、現在の飛行ルートＲＴの飛行が何周目であるかを判別可能である。ＵＡＶ制御部１１０は、記憶部１６０から現在の飛行ルートＲＴの飛行が何周目であるかを示す情報を取得してよい。

得られた動画像が１周目の飛行ルートＲＴの動画像である場合、ＵＡＶ制御部１１０は、得られた動画像の各画像フレームを、基準動画像の各画像フレームとして記憶部１６０に保存する（Ｓ２２）。また、１周目では、画像フレームの取得時に、つまり撮像部２２０の垂直同期信号に同期して、飛行体の状態の情報を記憶部１６０に保持させておく。これにより画像を撮像した瞬間の無人航空機１００の状態を把握できる。また、ＵＡＶ制御部１１０は、得られた動画像の各画像フレームを、計算用動画像の各画像フレームとしても保存する（Ｓ２３）。

一方、得られた動画像が２周目以降の飛行ルートＲＴの動画像である場合、ＵＡＶ制御部１１０は、得られた動画像の各画像フレームを基準動画像の対応する各画像フレームと比較し、グローバルモーションベクトルを算出する（Ｓ２４）。対応する画像フレームとは、同一の相対時刻の画像フレームである。グローバルモーションとは、複数のタイミングでの無人航空機１００の飛行による移動や無人航空機１００の状態（姿勢）変化による動きを示す情報である。グローバルモーションは、動きベクトル（グローバルモーションベクトル）で示される。

ＵＡＶ制御部１１０は、算出されたグローバルモーションベクトルに基づいて、グローバルモーションを修正、つまりグローバル動き補償を行う（Ｓ２５）。グローバル動き補償では、例えば画像フレーム全体の動きをアフィン変換等で表現し、画像フレーム単位で動き補償できるので、符号化効率や補償効率が高い。なお、ＵＡＶ制御部１１０は、各周回の同じ相対時刻の画像フレーム間では、グローバル動き補償以外のフレーム間予測や動き補償を実施してもよい。なお、Ｓ２４、２５の動き補償に関する処理を省略してもよい。

ＵＡＶ制御部１１０は、得られた動画像の各画像フレームを計算用動画像において対応する各画像フレームに加算する（Ｓ２６）。この場合、グローバル動き補償が施された動画像の各フレームの各画素の値を、計算用動画像において対応する各画像フレームの各画素の値に加算してよい。

例えば、Ｓ２１において２周目の動画像が得られた場合、ＵＡＶ制御部１１０は、計算用動画像としての１周目の動画像の第１画像フレームｇｆ１１の各画素の画素値と、２周目の動画像の第１画像フレームｇｆ２１の各画素の画素値と、を加算し、新たな計算用動画像における第１画像フレームを算出する。例えば、Ｓ２１において３周目の動画像が得られた場合、ＵＡＶ制御部１１０は、１周目の動画像と２周目の動画像とが加算された計算用動画像の第１画像フレームの各画素の画素値と、３周目の動画像の第１画像フレームｇｆ３１の各画素の画素値と、を加算し、新たな計算用動画像における第１フレームを生成する。なお、３周目以降の動画像でも同様に加算する。なお、第２画像フレーム以降の画像フレームも同様である。

ＵＡＶ制御部１１０は、算出された計算用動画像の各画像フレームの平均を算出する（Ｓ２７）。この場合、ＵＡＶ制御部１１０は、計算用動画像の各画像フレームの各画素の画素値の平均値を算出してよい。ＵＡＶ制御部１１０は、平均が算出された各画像フレームを有する合成動画像を生成する（Ｓ２７）。これにより、飛行ルートＲＴの飛行が２周目以降の飛行の場合には、無人航空機１００は、動画像を撮像しながら合成動画像を出力（例えば送信、表示）することが可能である。

このように、ＵＡＶ制御部１１０は、１周目に得られた第１の動画像（例えば基準動画像）と２周目以降に得られた第２の動画像とに基づいて、合成動画像を生成してよい。これにより、無人航空機１００は、１周目の動画像を基準として、複数の周回の動画像を合成した合成動画像を生成できる。

また、ＵＡＶ制御部１１０は、同一の相対時刻の画像フレーム毎に、第１の動画像と第２の動画像とを比較し、比較の結果に基づいて、第１の動画像に対して第２の動画像の動き補償を行ってよい。

これにより、無人航空機１００は、１周目と２周目以降との同一の相対時刻の画像フレームにおいて、動き補償を行うことができる。よって、複数の動画像において同一の相対時刻の画像フレーム毎の画像範囲の一致度を向上できる。この画像範囲は、撮像範囲に対応する。よって、例えば無人航空機１００の飛行環境が良好でなくても、各動画像における複数の画像フレーム間での位置ずれを低減でき、合成動画像の画質を向上できる。

また、動き補償は、グローバル動き補償を含んでよい。これにより、無人航空機１００は、動画像の圧縮符号化の符号化効率や動き補償の効率を高めることができる。

また、ＵＡＶ制御部１１０は、第１の動画像及び第２の動画像における同一の相対時刻の画像フレームの同一画素の統計値に基づいて、合成動画像を生成してよい。無人航空機１００が飛行しながら動画像を撮像する場合には、同一の撮像範囲の画像フレームを取得することが困難であった。これに対し、無人航空機１００は、同一の飛行ルートＲＴを周回して同一の相対時刻の複数の画像フレームを得ることができる。また、無人航空機１００は、複数の画像フレームの統計値（例えば平均値）を得ることで、画質が低い画像フレームが多少含まれていても、画像フレームの画質を改善して動画像を得ることができる。

図８は、動画像の合成の第２例を示すフローチャートである。図８において、図７と同様の処理については、同一のステップ番号を付し、その説明を省略又は簡略化する。

まず、無人航空機１００は、図７のＳ２１，Ｓ２２，Ｓ２４，Ｓ２５と同様の処理を行う。

続いて、ＵＡＶ制御部１１０は、得られた動画像の画像フレームにおける特徴領域を抽出する（Ｓ２６Ａ）。特徴領域は、客観的又はユーザの主観的に抽出される。特徴領域は、例えばその周回において価値のある特徴を有する領域であってよい。例えば、ＵＡＶ制御部１１０は、得られた動画像と基準動画像とにおける同一の相対時刻の画像フレーム間における差分の領域を、特徴領域として抽出してよい。例えば、ＵＡＶ制御部１１０は、得られた動画像の画像フレームにおける所定の被写体が存在する領域を、特徴領域として抽出してよい。例えば、ＵＡＶ制御部１１０は、得られた動画像の画像フレームに対して端末８０の操作部８３を介してユーザに指定された領域を、特徴領域として抽出してよい。特徴領域の抽出は、得られた動画像における各画像フレームについて実施される。

ＵＡＶ制御部１１０は、得られた動画像の各画像フレームにおいて抽出された特徴領域に対応する基準動画像の各画像フレームの領域（特徴対応領域）を、抽出された特徴領域で置換する（Ｓ２７Ａ）。この場合、ＵＡＶ制御部１１０は、特徴対応領域における各画素の画素値を、抽出された特徴領域における各画素の画素値に置換してよい。ＵＡＶ制御部１１０は、基準動画像における特徴対応領域が、得られた動画像における特徴領域で置換された各画像フレームを有する合成動画像を生成する（Ｓ２７Ａ）。

このように、ＵＡＶ制御部１１０は、同一の相対時刻の画像フレーム毎に、第１の動画像と第２の動画像とを比較し、第２の動画像に対して特徴領域を抽出し、第１の動画像における特徴領域に対応する領域（特徴対応領域）を、第２の動画像における特徴領域で置換してよい。

これにより、無人航空機１００は、第１の動画像において画質が低い部分やユーザ所望の状態ではない部分を、他の動画像における同一の相対時刻の画像フレームの一部と置換することで、第１の動画像の画質を改善して合成動画像を得ることができる。例えば、被写体として任意の塔や建造物を撮像する場合に、第１の動画像の画像フレームにおいて塔や建造物の周囲に観光客が多数存在することがある。この場合でも、第２の動画像における同一の相対時刻の画像フレームにおいて観光客が存在しない場合、無人航空機１００は、この部分を特徴領域として抽出し、第１の動画像における画像フレームの特徴対応領域と置換できる。これにより、無人航空機１００は、観光客が除外された塔や建造物を含む合成動画像を得ることができる。

図９は、動画像の出力例を示すフローチャートである。動画像の出力の処理は、図６のＳ１５に相当する。図９では、図６のＳ１３においていずれかの周回の動画像が取得されたことを想定している。

ＵＡＶ制御部１１０は、得られた動画像がＮ周目以降の動画像であるか否かを判定する（Ｓ３１）。得られた動画像がＮ周目よりも前の周回の動画像である場合、ＵＡＶ制御部１１０は、最新の周回の動画像を出力する（Ｓ３２）。この場合、ＵＡＶ制御部１１０は、合成動画像ではなく、撮像部２２０によりリアルタイムに撮像されている動画像を出力してよい。得られた動画像がＮ周目以降の周回の動画像である場合、ＵＡＶ制御部１１０は、生成された合成動画像を出力する（Ｓ３３）。

ＵＡＶ制御部１１０は、動画像の出力として、通信部１５０を介して他の装置（例えば端末８０）に動画像を送信してよい。ＵＡＶ制御部１１０は、動画像の出力として、他の装置（例えば端末８０）に動画像を表示させてもよい。この場合、端末８０の端末制御部８１は、通信部８５を介して動画像を受信し、表示部８８を介して動画像を表示させてよい。また、ＵＡＶ制御部１１０は、動画像の出力として、記憶部１６０やその他の記録媒体（例えば外部記録媒体）に動画像を保存させてよい。

このように、ＵＡＶ制御部１１０は、無人航空機１００による飛行ルートＲＴの飛行の周回回数を取得してよい。ＵＡＶ制御部１１０は、取得された周回回数が閾値（例えばＮ回）未満である場合、最新の周回において撮像された動画像を出力してよい。ＵＡＶ制御部１１０は、取得された周回回数が閾値以上である場合、合成動画像を出力してよい。

これにより、無人航空機１００は、合成動画像の画質が不十分となることが想定される周回回数では、合成動画像において不要なアーチファクトが出現し得る。そのため、この場合、無人航空機１００は、合成されていない最新の周回の動画像を提供することで、合成動画像の出力を抑制し、最新の動画像を提供できる。また、無人航空機１００が閾値以上の回数にわたって飛行して動画像を撮像するには、長時間を要する場合がある。この場合でも、何らかの動画像を出力でき、ユーザが確認可能な状態となる。一方、無人航空機１００は、合成動画像の画質が十分となることが想定される周回回数では、合成動画像の画質が安定する。この場合、無人航空機１００は、合成動画像を提供することで、各周回の動画像よりも画質が改善された動画像を提供可能となることが期待できる。

なお、図９に示した動画像の出力例は一例であり、他の出力方法であってもよい。例えば、ＵＡＶ制御部１１０は、周回回数に依存せずに、得られた動画像が何周目の動画像であるかに関係なく、合成動画像を出力してもよい。

以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

上記実施形態では、飛行体が飛行する際の複数の動画像の撮像及び合成について説明したが、飛行体に限られず、その他の移動体（例えば車両、船舶）にも上記実施形態を適用可能である。この場合、例えば、飛行の記載を移動に置き換えることで、上記実施形態を移動体が移動する際の複数の動画像の撮像及び合成についても適用可能である。

１０ 飛行体システム
８０ 端末
８１ 端末制御部
８３ 操作部
８５ 通信部
８７ 記憶部
８８ 表示部
１００ 無人航空機
１１０ ＵＡＶ制御部
１５０ 通信部
１６０ 記憶部
２００ ジンバル
２１０ 回転翼機構
２２０ 撮像部
２４０ ＧＰＳ受信機
２５０ 慣性計測装置
２６０ 磁気コンパス
２７０ 気圧高度計
２８０ 超音波センサ
２９０ レーザー測定器

Claims (26)

1. 飛行体が備える撮像部により撮像された動画像を処理する画像処理装置であって、
   処理部を備え、
   前記処理部は、
   前記飛行体が飛行するための飛行ルートを指定し、
   前記飛行ルートに沿って、複数の周回回数、前記飛行体を飛行させ、
   前記飛行体が備える撮像部に、複数の周回の飛行により同じ撮像範囲を有する複数の動画像を撮像させ、
   複数の周回の飛行により撮像された複数の動画像を合成して、合成動画像を生成し、
   前記動画像は、時系列順の複数の画像フレームを有し、
   前記処理部は、複数の動画像における同一の相対時刻の画像フレーム毎に同一の撮像範囲となるように、前記飛行体を制御し、
   前記処理部は、１周目に得られた第１の動画像と２周目以降に得られた第２の動画像とに基づいて、前記合成動画像を生成する、
   画像処理装置。
2. 前記処理部は、
   １周目の飛行ルートの飛行において、前記撮像部の垂直同期信号に同期して、前記飛行体の状態を取得し、
   ２周目以降の飛行ルートの飛行において、前記撮像部の垂直同期信号に同期して、前記１周目における前記飛行体の状態と同じ状態で撮像するよう、前記飛行体の飛行及び前記撮像部を制御する、
   請求項１に記載の画像処理装置。
3. 前記飛行体の状態は、前記飛行体の位置、前記飛行体の向き、前記撮像部を支持するジンバルの角度、のうち少なくとも１つの情報を含む、
   請求項２に記載の画像処理装置。
4. 前記処理部は、
   同一の相対時刻の前記画像フレーム毎に、
   前記第１の動画像と前記第２の動画像とを比較し、
   前記比較の結果に基づいて、第１の動画像に対して前記第２の動画像の動き補償を行う、
   請求項１～３のいずれか１項に記載の画像処理装置。
5. 前記動き補償は、グローバル動き補償を含む、
   請求項４に記載の画像処理装置。
6. 前記処理部は、前記第１の動画像及び前記第２の動画像における同一の相対時刻の画像フレームの同一画素の統計値に基づいて、前記合成動画像を生成する、
   請求項１～５のいずれか１項に記載の画像処理装置。
7. 前記処理部は、
   同一の相対時刻の前記画像フレーム毎に、
   前記第１の動画像と前記第２の動画像とを比較し、
   前記第２の動画像に対して特徴領域を抽出し、
   前記第１の動画像における前記特徴領域に対応する領域を、前記第２の動画像における前記特徴領域で置換する、
   請求項１～５のいずれか１項に記載の画像処理装置。
8. 前記処理部は、
   前記飛行体による前記飛行ルートの飛行の周回回数を取得し、
   取得された前記周回回数が閾値未満である場合、最新の周回において撮像された動画像を出力し、
   取得された前記周回回数が前記閾値以上である場合、前記合成動画像を出力する、
   請求項１～７のいずれか１項に記載の画像処理装置。
9. 前記処理部は、
   出力された前記合成動画像を評価し、
   前記合成動画像の評価結果が所定基準を満たす場合、前記飛行体の飛行及び撮像を終了し、
   前記合成動画像の評価結果が前記所定基準を満たさない場合、次周回の前記飛行ルートに沿った飛行及び撮像を行う、
   請求項１～８のいずれか１項に記載の画像処理装置。
10. 前記処理部は、前記合成動画像の評価結果を示す操作情報を取得する、
    請求項９に記載の画像処理装置。
11. 前記処理部は、
    前記合成動画像に対して画像認識し、
    前記画像認識の結果に基づいて、前記合成動画像を評価する、
    請求項９に記載の画像処理装置。
12. 前記画像処理装置は、前記飛行体である、
    請求項１～１１のいずれか１項に記載の画像処理装置。
13. 飛行体が備える撮像部により撮像された動画像を処理する画像処理方法であって、
    前記飛行体が飛行するための飛行ルートを指定するステップと、
    前記飛行ルートに沿って、複数の周回回数、前記飛行体を飛行させるステップと、
    前記飛行体が備える撮像部に、複数の周回の飛行により同じ撮像範囲を有する複数の動画像を撮像させるステップと、
    複数の周回の飛行により撮像された複数の動画像を合成して、合成動画像を生成するステップと、
    を有し、
    前記動画像は、時系列順の複数の画像フレームを有し、
    前記複数の動画像を撮像させるステップは、複数の動画像における同一の相対時刻の画像フレーム毎に同一の撮像範囲となるように、前記飛行体を制御するステップを含み、
    前記合成動画像を生成するステップは、１周目に得られた第１の動画像と２周目以降に得られた第２の動画像とに基づいて、前記合成動画像を生成するステップを含む、
    画像処理方法。
14. 前記複数の動画像を撮像させるステップは、
    １周目の飛行ルートの飛行において、前記撮像部の垂直同期信号に同期して、前記飛行体の状態を取得するステップと、
    ２周目以降の飛行ルートの飛行において、前記撮像部の垂直同期信号に同期して、前記１周目における前記飛行体の状態と同じ状態で撮像するよう、前記飛行体の飛行及び前記撮像部を制御するステップと、を含む、
    請求項１３に記載の画像処理方法。
15. 前記飛行体の状態は、前記飛行体の位置、前記飛行体の向き、前記撮像部を支持するジンバルの角度、のうち少なくとも１つの情報を含む、
    請求項１４に記載の画像処理方法。
16. 前記合成動画像を生成するステップは、
    同一の相対時刻の前記画像フレーム毎に、
    前記第１の動画像と前記第２の動画像とを比較するステップと、
    前記比較の結果に基づいて、第１の動画像に対して前記第２の動画像の動き補償を行うステップと、を含む、
    請求項１３～１５のいずれか１項に記載の画像処理方法。
17. 前記動き補償は、グローバル動き補償を含む、
    請求項１６に記載の画像処理方法。
18. 前記合成動画像を生成するステップは、前記第１の動画像及び前記第２の動画像における同一の相対時刻の画像フレームの同一画素の統計値に基づいて、前記合成動画像を生成するステップを含む、
    請求項１３～１７のいずれか１項に記載の画像処理方法。
19. 前記合成動画像を生成するステップは、
    同一の相対時刻の前記画像フレーム毎に、
    前記第１の動画像と前記第２の動画像とを比較するステップと、
    前記第２の動画像に対して特徴領域を抽出するステップと、
    前記第１の動画像における前記特徴領域に対応する領域を、前記第２の動画像における前記特徴領域で置換するステップと、を含む、
    請求項１３～１７のいずれか１項に記載の画像処理方法。
20. 前記飛行体による前記飛行ルートの飛行の周回回数を取得するステップと、
    取得された前記周回回数が閾値未満である場合、最新の周回において撮像された動画像を出力するステップと、
    取得された前記周回回数が前記閾値以上である場合、前記合成動画像を出力するステップと、を更に含む、
    請求項１３～１９のいずれか１項に記載の画像処理方法。
21. 前記複数の動画像を撮像させるステップは、
    出力された前記合成動画像を評価するステップと、
    前記合成動画像の評価結果が所定基準を満たす場合、前記飛行体の飛行及び撮像を終了するステップと、
    前記合成動画像の評価結果が前記所定基準を満たさない場合、次周回の前記飛行ルートに沿った飛行及び撮像を行うステップと、を含む、
    請求項１３～２０のいずれか１項に記載の画像処理方法。
22. 前記合成動画像を評価するステップは、前記合成動画像の評価結果を示す操作情報を取得するステップを含む、
    請求項２１に記載の画像処理方法。
23. 前記合成動画像を評価するステップは、
    前記合成動画像に対して画像認識するステップと、
    前記画像認識の結果に基づいて、前記合成動画像を評価するステップと、を含む、
    請求項２１に記載の画像処理方法。
24. 前記画像処理方法は、画像処理装置により実行され、
    前記画像処理装置は、前記飛行体である、
    請求項１３～２３のいずれか１項に記載の画像処理方法。
25. 飛行体が備える撮像部により撮像された動画像を処理する画像処理装置に、
    前記飛行体が飛行するための飛行ルートを指定するステップと、
    前記飛行ルートに沿って、複数の周回回数、前記飛行体を飛行させるステップと、
    前記飛行体が備える撮像部に、複数の周回の飛行により同じ撮像範囲を有する複数の動画像を撮像させるステップと、
    複数の周回の飛行により撮像された複数の動画像を合成して、合成動画像を生成するステップと、
    を実行させるためのプログラムであって、
    前記動画像は、時系列順の複数の画像フレームを有し、
    前記複数の動画像を撮像させるステップは、複数の動画像における同一の相対時刻の画像フレーム毎に同一の撮像範囲となるように、前記飛行体を制御するステップを含み、
    前記合成動画像を生成するステップは、１周目に得られた第１の動画像と２周目以降に得られた第２の動画像とに基づいて、前記合成動画像を生成するステップを含む、
    プログラム。
26. 飛行体が備える撮像部により撮像された動画像を処理する画像処理装置に、
    前記飛行体が飛行するための飛行ルートを指定するステップと、
    前記飛行ルートに沿って、複数の周回回数、前記飛行体を飛行させるステップと、
    前記飛行体が備える撮像部に、複数の周回の飛行により同じ撮像範囲を有する複数の動画像を撮像させるステップと、
    複数の周回の飛行により撮像された複数の動画像を合成して、合成動画像を生成するステップと、
    を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であって、
    前記動画像は、時系列順の複数の画像フレームを有し、
    前記複数の動画像を撮像させるステップは、複数の動画像における同一の相対時刻の画像フレーム毎に同一の撮像範囲となるように、前記飛行体を制御するステップを含み、
    前記合成動画像を生成するステップは、１周目に得られた第１の動画像と２周目以降に得られた第２の動画像とに基づいて、前記合成動画像を生成するステップを含む、
    記録媒体。

Images