JP6478177B2 - 制御装置、撮像システム、移動体、制御方法、およびプログラム - Google Patents

Description

本発明は、制御装置、撮像システム、移動体、制御方法、およびプログラムに関する。

特許文献１には、カメラを備えた無人航空機が目標の画像を捕捉する方法について記載されている。
特許文献１ 米国特許出願公開２０１３／０１６２８２２号明細書

解決しようとする課題

対象物を追尾する移動体に搭載された撮像システムにより対象物を撮像する場合に、移動体による対象物の追尾が不十分で、撮像システムによる対象物の撮像が十分に行えない場合がある。

一般的開示

本発明の一態様に係る制御装置は、対象物からの距離を予め定められた距離に維持するように対象物を追尾する移動体が、対象物の移動に伴って第１時点に到達すべき第１位置を推定する推定部を備えてよい。制御装置は、移動体が第１時点に第１位置に到達するために必要な移動体の第１速度を導出する導出部を備えてよい。制御部は、移動体が対象物を追尾しながら移動できる第２速度より第１速度が大きい場合、移動体が第１位置に向けて移動して第１時点に到達できる第２位置を特定する第１特定部を備えてよい。制御装置は、対象物と第２位置にいる移動体との第１時点での位置関係に基づいて、移動体に搭載された撮像システムが第１時点で対象物を撮像するための撮像システムの撮像条件および撮像方向の少なくとも１つを決定する決定部を備えてよい。

決定部は、対象物と第２位置にいる移動体との第１時点での距離に基づいて、撮像条件として撮像システムのフォーカス条件およびズーム条件の少なくとも一方を決定してよい。

決定部は、対象物と第２位置にいる移動体との第１時点での距離に基づいて、撮像システムのフォーカス条件を決定し、対象物と第２位置にいる移動体との第１時点での距離と予め定められた距離との差分に基づいて、撮像システムのズーム条件を決定してよい。

制御装置は、移動体が第１位置に向けて移動する場合の第２速度を特定する第２特定部を備えてよい。

制御装置は、移動体が第１位置に向けて移動する間の移動体の移動方向を予測する第１予測部を備えてよい。第２特定部は、移動体の移動方向に基づいて第２速度を特定してよい。

制御装置は、移動体が第１位置に向けて移動する間の移動体の周囲の環境の状態を予測する第２予測部を備えてよい。第２特定部は、移動体の周囲の環境の状態に基づいて第２速度を特定してよい。

本発明の一態様に係る撮像システムは、上記制御装置を有し、撮像条件に基づいて対象物を撮像する撮像装置を備えてよい。撮像システムは、撮像装置の撮像方向を調整可能に撮像装置を支持する支持機構を備えてよい。

本発明の一態様に係る移動体は、上記撮像システムを備えて移動する。

本発明の一態様に係る制御方法は、対象物からの距離を予め定められた距離に維持するように対象物を追尾する移動体が、対象物の移動に伴って第１時点に到達すべき第１位置を推定する段階を備えてよい。制御方法は、移動体が第１時点に第１位置に到達するために必要な移動体の第１速度を導出する段階を備えてよい。制御方法は、移動体が対象物を追尾しながら移動できる第２速度より第１速度が大きい場合、移動体が第１位置に向けて移動して第１時点に到達できる第２位置を特定する段階を備えてよい。制御方法は、対象物と第２位置にいる移動体との第１時点での位置関係に基づいて、移動体に搭載された撮像システムが第１時点で対象物を撮像するための撮像システムの撮像条件および撮像方向の少なくとも１つを決定する段階とを備えてよい。

本発明の一態様に係るプログラムは、対象物からの距離を予め定められた距離に維持するように対象物を追尾する移動体が、対象物の移動に伴って第１時点に到達すべき第１位置を推定する段階をコンピュータに実行させてよい。プログラムは、移動体が第１時点に第１位置に到達するために必要な移動体の第１速度を導出する段階をコンピュータに実行させてよい。プログラムは、移動体が対象物を追尾しながら移動できる第２速度より第１速度が大きい場合、移動体が第１位置に向けて移動して第１時点に到達できる第２位置を特定する段階をコンピュータに実行させてよい。プログラムは、対象物と第２位置にいる移動体との第１時点での位置関係に基づいて、移動体に搭載された撮像システムが第１時点で対象物を撮像するための撮像システムの撮像条件および撮像方向の少なくとも１つを決定する段階をコンピュータに実行させてよい。

対象物を追尾する移動体に搭載された撮像システムにより対象物を撮像する場合に、移動体による対象物の追尾が不十分で、撮像システムによる対象物の撮像が十分に行えなくなることを防止できる。

上記の発明の概要は、本発明の特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となりうる。

無人航空機（ＵＡＶ）の外観の一例を示す図である。 対象物およびＵＡＶの速度の時間的変化の一例を示す図である。 操作者から対象物およびＵＡＶまでの距離の時間的変化の一例を示す図である。 ＵＡＶの機能ブロックの一例を示す図である。 ＵＡＶの追尾手順の一例を示すフローチャートである。 ＵＡＶの追尾の様子の一例を示す図である。 ＵＡＶの追尾の様子の一例を示す図である。 ハードウェア構成の一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

請求の範囲、明細書、図面、および要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を保留する。

本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階および「部」が、プログラマブル回路、および／またはプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよい。集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含んでよい。

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

図１は、無人航空機（ＵＡＶ）１００の外観の一例を示す。ＵＡＶ１００は、ＵＡＶ本体１０２、ジンバル２００、撮像装置３００、および複数の撮像装置２３０を備える。ＵＡＶ１００は、移動体の一例である。移動体とは、ＵＡＶの他、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶等を含む概念である。ジンバル２００および撮像装置３００は、撮像システムの一例である。

ＵＡＶ本体１０２は、複数の回転翼を備える。ＵＡＶ本体１０２は、複数の回転翼の回転を制御することでＵＡＶ１００を飛行させる。ＵＡＶ本体１０２は、例えば、４つの回転翼を用いてＵＡＶ１００を飛行させる。回転翼の数は、４つには限定されない。また、ＵＡＶ１００は、回転翼を有さない固定翼機でもよい。

撮像装置３００は、追尾対象の対象物を撮像する撮像用のカメラである。複数の撮像装置２３０は、ＵＡＶ１００の飛行を制御するためにＵＡＶ１００の周囲を撮像するセンシング用のカメラである。２つの撮像装置２３０が、ＵＡＶ１００の機首である正面に設けられてよい。さらに他の２つの撮像装置２３０が、ＵＡＶ１００の底面に設けられてよい。正面側の２つの撮像装置２３０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置２３０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置２３０により撮像された画像に基づいて、ＵＡＶ１００から対象物までの距離が計測されてよい。複数の撮像装置２３０により撮像された画像に基づいて、ＵＡＶ１００の周囲の３次元空間データが生成されてよい。ＵＡＶ１００が備える撮像装置２３０の数は４つには限定されない。ＵＡＶ１００は、少なくとも１つの撮像装置２３０を備えていればよい。ＵＡＶ１００は、ＵＡＶ１００の機首、機尾、側面、底面、および天井面のそれぞれに少なくとも１つの撮像装置２３０を備えてもよい。撮像装置２３０で設定できる画角は、撮像装置３００で設定できる画角より広くてよい。撮像装置２３０は、単焦点レンズまたは魚眼レンズを有してもよい。

以上のように構成されたＵＡＶ１００は、特定の対象物を追尾しながら、撮像装置２３０および撮像装置３００により対象物を撮像する。ＵＡＶ１００は、対象物との距離を予め定められた距離に維持するように追尾する。対象物が予測可能な動きをする場合には、ＵＡＶ１００は、対象物との距離を予め定められた距離に維持しながら、撮像装置３００により対象物を撮像することが容易である。しかし、例えば、ＵＡＶ１００が移動しながら追尾できる限界速度より大きい速度で対象物が移動する場合、ＵＡＶ１００が対象物との距離を予め定められた距離に維持できない。この場合、撮像装置３００により対象物を適切に撮像できない可能性がある。

図２Ａは、対象物およびＵＡＶ１００の速度の時間的変化の一例を示す。図２Ｂは、ＵＡＶ１００を操作する操作者から対象物までの距離、および操作者からＵＡＶ１００までの距離の時間的変化の一例を示す。図２Ａおよび図２Ｂに示すようにＵＡＶ１００の限界速度より対象物の速度が大きい場合、ＵＡＶ１００が対象物との距離を予め定められた距離に維持できず、追尾できない期間が発生する場合がある。

追尾できない期間において、撮像装置３００の撮像条件および撮像方向を追尾できる期間と同じ条件にすると対象物を適切に撮像できない可能性がある。例えば、撮像装置３００がフォーカス条件を一定に保ち、対象物を撮像している場合、対象物に焦点を合わせることができず、対象物を適切に撮像できない可能性がある。撮像装置３００に搭載される撮像素子またはレンズが大型化した場合、被写界深度が狭くなるので、対象物に焦点を合わせることが困難になる。

このように、ＵＡＶ１００の速度を調整するだけで、対象物を良好に撮像しつづけるには限界がある。そこで、本実施形態に係るＵＡＶ１００は、ＵＡＶ１００が対象物との距離を予め定められた距離に維持できなくなる事態を事前に予測して、その事態を考慮して撮像条件および撮像方向の少なくとも一方を事前に決定する。これにより、ＵＡＶ１００が対象物との距離を予め定められた距離に維持できない期間に、撮像装置３００が適切に対象物を撮像できなくなることを防止する。

図３は、ＵＡＶ１００の機能ブロックの一例を示す。ＵＡＶ１００は、ＵＡＶ制御部１１０、通信インタフェース１５０、メモリ１６０、ジンバル２００、回転翼機構２１０、撮像装置３００、撮像装置２３０、ＧＰＳ受信機２４０、慣性計測装置（ＩＭＵ）２５０、磁気コンパス２６０、および気圧高度計２７０を備える。

通信インタフェース１５０は、外部の送信機と通信する。通信インタフェース１５０は、遠隔の送信機からＵＡＶ制御部１１０に対する各種の命令を受信する。メモリ１６０は、ＵＡＶ制御部１１０がジンバル２００、回転翼機構２１０、撮像装置３００、撮像装置２３０、ＧＰＳ受信機２４０、ＩＭＵ２５０、磁気コンパス２６０、および気圧高度計２７０を制御するのに必要なプログラム等を格納する。メモリ１６０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１６０は、ＵＡＶ本体１０２の内部に設けられてよい。ＵＡＶ本体１０２から取り外し可能に設けられてよい。

ジンバル２００は、撮像装置３００の撮像方向を調整可能に支持する。ジンバル２００は、少なくとも１つの軸を中心に撮像装置３００を回転可能に支持する。ジンバル２００は、支持機構の一例である。ジンバル２００は、ヨー軸、ピッチ軸、およびロール軸を中心に撮像装置３００を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、およびロール軸の少なくとも１つを中心に撮像装置３００を回転させることで、撮像装置３００の撮像方向を変更してよい。回転翼機構２１０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。

撮像装置２３０は、ＵＡＶ１００の周囲を撮像して画像データを生成する。撮像装置２３０の画像データは、メモリ１６０に格納される。ＧＰＳ受信機２４０は、複数のＧＰＳ衛星から発信された時刻を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいてＧＰＳ受信機２４０の位置、つまりＵＡＶ１００の位置を算出する。慣性計測装置（ＩＭＵ）２５０は、ＵＡＶ１００の姿勢を検出する。ＩＭＵ２５０は、ＵＡＶ１００の姿勢として、ＵＡＶ１００の前後、左右、および上下の３軸方向の加速度と、ピッチ、ロール、およびヨーの３軸方向の角速度とを検出する。磁気コンパス２６０は、ＵＡＶ１００の機首の方位を検出する。気圧高度計２７０は、ＵＡＶ１００が飛行する高度を検出する。

ＵＡＶ制御部１１０は、メモリ１６０に格納されたプログラムに従ってＵＡＶ１００の飛行を制御する。ＵＡＶ制御部１１０は、ＣＰＵまたはＭＰＵ等のマイクロプロセッサ、ＭＣＵ等のマイクロコントローラ等により構成されてよい。ＵＡＶ制御部１１０は、通信インタフェース１５０を介して遠隔の送信機から受信した命令に従って、ＵＡＶ１００の飛行を制御する。

ＵＡＶ制御部１１０は、複数の撮像装置２３０により撮像された複数の画像を解析することで、ＵＡＶ１００の周囲の環境を特定してよい。ＵＡＶ制御部１１０は、ＵＡＶ１００の周囲の環境に基づいて、例えば、障害物を回避して飛行を制御する。ＵＡＶ制御部１１０は、複数の撮像装置２３０により撮像された複数の画像に基づいてＵＡＶ１００の周囲の３次元空間データを生成し、３次元空間データに基づいて飛行を制御してよい。

ＵＡＶ制御部１１０は、測距部１１２を有する。測距部１１２は、複数の撮像装置２３０により撮像された複数の画像に基づいて三角測距方式でＵＡＶ１００と対象物との距離を測定してよい。測距部１１２は、超音波式センサまたはレーダ式センサなどを用いてＵＡＶ１００と対象物との距離を測定してよい。測距部１１２は、撮像制御部３１０に設けられてよい。

撮像装置３００は、撮像制御部３１０、レンズ制御部３２０、レンズ移動機構３２２、レンズ位置検出部３２４、複数のレンズ３２６、撮像素子３３０、およびメモリ３４０を有する。撮像制御部３１０は、ＣＰＵまたはＭＰＵなどのマイクロプロセッサ、ＭＣＵなどのマイクロコントローラなどにより構成されてよい。撮像制御部３１０は、ＵＡＶ制御部１１０からの撮像装置３００の動作命令に応じて、撮像装置３００を制御してよい。撮像制御部３１０は、制御装置の一例である。メモリ３４０は、コンピュータ可読可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびＵＳＢメモリなどのフラッシュメモリの少なくとも１つを含んでよい。メモリ３４０は、撮像装置３００の筐体の内部に設けられてよい。メモリ３４０は、撮像装置３００の筐体から取り外し可能に設けられてよい。

撮像素子３３０は、ＣＣＤまたはＣＭＯＳにより構成されてよい。撮像素子３３０は、撮像装置３００の筐体の内部に保持され、複数のレンズ３２６を介して結像された光学像の画像データを生成して、撮像制御部３１０に出力する。撮像制御部３１０は、撮像素子３３０から出力された画像データに対して、ノイズ低減、デモザイキング、ガンマ補正、エッジ協調などの一連の画像処理を施して、画像処理後の画像データをメモリ３４０に格納する。撮像制御部３１０は、画像データをＵＡＶ制御部１１０を介してメモリ１６０に出力して格納してもよい。撮像素子３３０は、像面位相差検出ＡＦ方式の撮像素子でよく、位相差ＡＦセンサを有してよい。この場合、測距部１１２は、撮像素子３３０の位相差ＡＦセンサからの情報に基づいて、ＵＡＶ１００と対象物との距離を測定してよい。

レンズ制御部３２０は、レンズ移動機構３２２を介して複数のレンズ３２６の移動を制御する。複数のレンズ３２６の一部または全部は、レンズ移動機構３２２により光軸に沿って移動する。レンズ制御部３２０は、撮像制御部３１０からのレンズ動作命令に従って、複数のレンズ３２６の少なくとも一つを光軸に沿って移動させる。レンズ制御部３２０は、複数のレンズ３２６の少なくとも一つを光軸に沿って移動させることで、ズーム動作およびフォーカス動作の少なくとも一方を実行する。レンズ位置検出部３２４は、複数のレンズ３２６の現在の位置を検出する。レンズ位置検出部３２４は、現在のズーム位置およびフォーカス位置を検出する。

撮像制御部３１０は、対象物抽出部３１１、推定部３１２、導出部３１３、位置特定部３１４、決定部３１５、速度特定部３１６、予測部３１７、およびレンズ位置管理部３１８を有する。撮像装置３００以外の装置、例えば、ジンバル２００、ＵＡＶ制御部１１０などが、対象物抽出部３１１、推定部３１２、導出部３１３、位置特定部３１４、決定部３１５、速度特定部３１６、予測部３１７、およびレンズ位置管理部３１８の一部または全部を有してよい。

対象物抽出部３１１は、撮像素子３３０からの画像から特定の対象物を抽出する。画像の中からユーザにより特定の対象物を含む領域を選択させることで、対象物抽出部３１１は、特定の対象物を決定してよい。対象物抽出部３１１は、ユーザにより選択された特定の対象物を含む領域の色、輝度、またはコントラストを導出してよい。対象物抽出部３１１は、画像を複数の領域に分割してよい。対象物抽出部３１１は、分割されたそれぞれの領域の色、輝度、またはコントラストに基づいて、ユーザにより指定された特定の対象物を抽出してよい。対象物抽出部３１１は、画像領域の中央にある被写体を対象物として抽出してもよい。対象物抽出部３１１は、画面領域に存在する被写体のうち最もＵＡＶ１００との距離が近い被写体を対象物として抽出してよい。

対象物抽出部３１１は、ユーザにより新たな対象物が選択されるまで、または対象物を見失うまで、現在の特定の対象物を画像から抽出し続けてよい。対象物抽出部３１１は、特定の対象物を見失った後、予め定められた時間内に、特定の対象物に対応する色、輝度、またはコントラストを含む領域をその後の画像から抽出できれば、その領域を特定の対象物を含む領域として抽出してよい。

推定部３１２は、ＵＡＶ１００が、対象物の移動に伴って将来の第１時点に到達すべき目標位置を推定する。目標位置は、第１位置の一例である。推定部３１２は、フレーム毎に画像から対象物を抽出する。推定部３１２は、フレーム毎に、ＵＡＶ制御部１１０から対象物までの距離を示す距離情報、およびＵＡＶ１００の位置を示す位置情報を取得する。位置情報は、緯度、経度、および高度の情報を含んでよい。推定部３１２は、今回のフレームまでに得らえる距離情報、および位置情報に基づいて、対象物の速度および移動方向を予測する。推定部３１２は、前回のフレームおよび今回のフレームにおける距離情報および位置情報に基づいて、対象物の速度および移動方向を予測してよい。推定部３１２は、予測された対象物の速度および移動方向、今回のフレームでの対象物の位置に基づいて、次回のフレームにおける対象物の位置を予測する。次いで、推定部３１２は、次回のフレームにおける対象物の位置、今回のフレームでのＵＡＶ１００の位置、および追尾条件として予め定められた距離に基づいて、将来の第１時点として次回のフレームにおいてＵＡＶ１００が到達すべき目標位置を推定してよい。

導出部３１３は、ＵＡＶ１００が将来の第１時点に目標位置に到達するために必要なＵＡＶ１００の必要速度を導出する。必要速度は、第１速度の一例である。導出部３１３は、今回のフレームにおけるＵＡＶ１００の位置、および推定部３１２により推定された目標位置に基づいて、次回のフレームにおいてＵＡＶ１００が目標位置に到達するために必要なＵＡＶ１００の必要速度を導出してよい。

位置特定部３１４は、ＵＡＶ１００が対象物を追尾しながら移動できる限界速度より必要速度が大きい場合、ＵＡＶ１００が目標位置に向けて移動して第１時点に到達できる到達位置を特定する。到達位置は、第２位置の一例である。位置特定部３１４は、第１特定部の一例である。位置特定部３１４は、ＵＡＶ１００が目標位置に向けて限界速度で移動して次回のフレームの時点に到達できる到達位置を特定してよい。位置特定部３１４は、ＵＡＶ１００が目標位置に向けて限界速度より小さい予め定められた速度で移動して次回のフレームの時点に到達できる到達位置を特定してよい。限界速度は、第２速度の一例である。

速度特定部３１６は、ＵＡＶ１００が目標位置に向けて移動する場合の限界速度を特定する。限界速度は、ＵＡＶ１００の飛行性能に応じて予め設定された速度でよい。限界速度は、ＵＡＶ１００が飛行する方向に応じて設定されてもよい。ＵＡＶ１００が水平方向に移動する場合、ＵＡＶ１００が上昇する方向または下降する方向（鉛直方向）に移動する場合、およびＵＡＶ１００が上昇または下降しながら水平方向に移動する場合のそれぞれに対して異なる限界速度が設定されてよい。限界速度は、ＵＡＶ１００の移動経路の周囲の環境の状態に応じて、設定されてよい。限界速度は、ＵＡＶ１００の移動経路における風速および風向きに応じて、設定されてよい。

予測部３１７は、ＵＡＶ１００が目標位置に向けて移動する間のＵＡＶ１００の移動方向を予測してよい。予測部３１７は、今回のフレームにおけるＵＡＶ１００の位置および目標位置に基づいて、ＵＡＶ１００の移動方向を予測してよい。予測部３１７は、ＵＡＶ１００が目標位置に向けて移動する間のＵＡＶ１００の周囲の環境の状態を予測してよい。予測部３１７は、ＵＡＶ１００の周囲の環状の状態として、ＵＡＶ１００が目標位置に向けて移動する間の気象情報から、ＵＡＶ１００の周囲の環境の状態を予測してよい。予測部３１７は、ＵＡＶ１００の周囲の環状の状態として、気象情報から、ＵＡＶ１００の移動経路における風速および風向きを予測してよい。予測部３１７は、第１予測部および第２予測部の一例である。

速度特定部３１６は、ＵＡＶ１００の移動方向に基づいて限界速度を特定してよい。速度特定部３１６は、ＵＡＶ１００の周囲の環境の状態に基づいて限界速度を特定してよい。速度特定部３１６は、ＵＡＶ１００の移動経路における風速および風向きに基づいて限界速度を特定してよい。速度特定部３１６は、ＵＡＶ１００の移動方向、並びにＵＡＶ１００の移動経路における風速および風向きに基づいて限界速度を特定してよい。

決定部３１５は、対象物と到達位置にいるＵＡＶ１００との第１時点での位置関係に基づいて、撮像装置３００が第１時点で対象物を撮像するための撮像条件および撮像方向の少なくとも１つを決定する。決定部３１５は、対象物と到達位置にいるＵＡＶ１００との第１時点での位置関係に基づいて、ヨー軸（パン軸）およびピッチ軸（チルト軸）の少なくとも一方を中心とした撮像装置３００の回転量を決定してよい。決定部３１５は、対象物と到達位置にいるＵＡＶ１００との次回のフレームの時点での位置関係に基づいて、撮像装置３００が次回のフレームの時点で対象物を撮像するための撮像条件および撮像方向の少なくとも１つを決定してよい。決定部３１５は、対象物と到達位置にいるＵＡＶ１００との第１時点での距離に基づいて、撮像条件としてフォーカス条件およびズーム条件の少なくとも一方を決定してよい。決定部３１５は、撮像条件として、現在のズーム位置からのズームレンズの移動量および現在のフォーカス位置からのフォーカスレンズの移動量の少なくとも一方を決定してよい。決定部３１５は、対象物と到達位置にいるＵＡＶ１００との第１時点での距離に基づいて、撮像装置３００のフォーカス条件を決定してよい。決定部３１５は、対象物と到達位置にいるＵＡＶ１００との次回のフレームの時点での距離に基づいて、次回のフレームにおける撮像装置３００のフォーカス条件を決定してよい。決定部３１５は、対象物と到達位置にいるＵＡＶ１００との次回のフレームの時点での距離と予め定められた距離との差分に基づいて、次回のフレームにおいて撮像装置３００のズーム条件を決定してよい。決定部３１５は、フォーカスレンズの設計値によって予め設定されるレンズ感度［ｍ／ｐｕｌｓｅ］を用いてフォーカス条件を決定してよい。決定部３１５は、対象物と到達位置にいるＵＡＶ１００との次回のフレームの時点での距離と予め定められた距離との差分［ｍ］を導出する。決定部３１５は、差分［ｍ］／レンズ感度［ｍ／ｐｕｌｓｅ］により、フォーカスレンズの移動量［ｐｕｌｓｅ］をフォーカス条件として決定してよい。

レンズ位置管理部３１８は、レンズ位置検出部３２４から提供される複数のレンズ３２６の位置情報を管理する。レンズ位置管理部３１８は、レンズ位置検出部３２４から提供される現在のズーム位置、および現在のフォーカス位置をメモリ３４０に登録してよい。決定部３１５は、レンズ位置管理部３１８により管理されている現在のズーム位置、および現在のフォーカス位置に基づいて、次回のフレームまでにズームレンズおよびフォーカスレンズの移動量を決定してよい。

図４は、ＵＡＶ１００の追尾手順の一例を示すフローチャートである。対象物抽出部３１１は、前回のフレームの画像および今回のフレームの画像から対象物を抽出する。推定部３１２は、画像内の対象物の位置、ＵＡＶ制御部１１０から提供される対象物までの距離、およびＵＡＶ制御部１１０から提供されるＵＡＶ１００の位置情報（緯度、経度、および高度）に基づいて、前回のフレームおよび今回のフレームにおける対象物の位置（緯度、経度、および高度）を特定する（Ｓ１００）。推定部３１２は、前回のフレームおよび今回のフレームの対象物の位置に基づいて、次回のフレームにおける対象物の位置を予測する。推定部３１２は、予測された対象物の位置、今回のフレームにおけるＵＡＶ１００の位置、追尾のために予め定められた対象物までの距離に基づいて、ＵＡＶ１００が次回のフレームで到達すべき目標位置を推定する（Ｓ１０２）。

導出部３１３は、今回のフレームにおけるＵＡＶ１００の位置、および目標位置に基づいて、次回のフレームでＵＡＶ１００が目標位置に到達するために必要なＵＡＶ１００の必要速度を導出する（Ｓ１０４）。速度特定部３１６は、ＵＡＶ１００が追尾しながら移動できる限界速度を特定する（Ｓ１０６）。速度特定部３１６は、ＵＡＶ１００の移動方向、並びにＵＡＶ１００の移動経路における風速および風向きに基づいて限界速度を特定してよい。

決定部３１５は、必要速度が限界速度以下か否かを判定する（Ｓ１０８）。決定部３１５は、必要速度が限界速度以下であれば、撮像装置３００の撮像条件および撮像方向を変更する必要はないと判断し、ＵＡＶ１００は、撮像装置３００の撮像条件および撮像方向を変更せずに、次回のフレームに合わせて目標位置まで移動する（Ｓ１１０）。

一方、必要速度が限界速度より大きい場合、位置特定部３１４は、ＵＡＶ１００が目標位置に向けて限界速度で移動して次回のフレームの時点に到達できる到達位置を特定する（Ｓ１１２）。決定部３１５は、到達位置で対象物を撮像した場合における撮像装置３００の撮像条件および撮像方向を決定する（Ｓ１１４）。決定部３１５は、対象物と到達位置にいるＵＡＶ１００との位置関係に基づいて、撮像装置３００の撮像方向を決定してよい。決定部３１５は、対象物と到達位置にいるＵＡＶ１００との次回のフレームの時点での距離に基づいて、次回のフレームにおける撮像装置３００のフォーカス条件を決定してよい。決定部３１５は、対象物と到達位置にいるＵＡＶ１００との次回のフレームの時点での距離と予め定められた距離との差分に基づいて、次回のフレームにおける撮像装置３００のズーム条件を決定してよい。

撮像制御部３１０は、次回のフレームに合わせて撮像方向および撮像条件を変更するようにレンズ制御部３２０およびＵＡＶ制御部１１０に指示する（Ｓ１１６）。撮像制御部３１０は、レンズ制御部３２０に指示して、撮像条件に合わせて複数のレンズ３２６の一部または全部を光軸に沿って移動させる。撮像制御部３１０は、ＵＡＶ制御部１１０に指示して、撮像方向に合わせてジンバル２００により撮像装置３００の姿勢を調整する。次いで、ＵＡＶ１００は、撮像装置３００の撮像条件および撮像方向を変更しながら、次回のフレームに合わせて目標位置まで移動する（Ｓ１１０）。

撮像制御部３１０は、追尾を終了するタイミングか否かを判定する（Ｓ１１８）。例えば、撮像制御部３１０は、ユーザから追尾を終了する旨の指示を受信したか否かにより、追尾を終了するタイミングを判定してよい。撮像制御部３１０は、予め定められた終了のタイミングか否かにより、追尾を終了するタイミングを判定してよい。追尾を終了するタイミングでなければ、ＵＡＶ１００は、ステップＳ１００から処理を繰り返す。

以上の通り、本実施形態によれば、ＵＡＶ１００が移動しながら追尾できる限界速度より大きい速度で対象物が移動する場合、将来のＵＡＶ１００と対象物との位置関係を予測して、その将来の位置関係に基づいて撮像装置３００の将来の撮像条件および撮像方向を決定する。ＵＡＶ１００は、到達位置に到達するまでにその撮像条件および撮像方向に基づいて撮像装置３００およびジンバル２００を制御して、ズーム位置、フォーカス位置、および撮像方向の少なくとも１つを調整する。これにより、ＵＡＶ１００が対象物との距離を予め定められた距離に維持できない期間に、撮像装置３００が適切に対象物を撮像できなくなることを防止できる。

図５は、撮像装置３００の撮像方向に沿ってＵＡＶ１００が移動する場合におけるＵＡＶ１００の追尾の様子の一例を示す。ＵＡＶ１００が、対象物４００を追尾しているとする。次回のフレームの時点で、対象物４００が対象物４００'まで移動する。対象物４００'との距離を予め定められた距離に維持しようとした場合、ＵＡＶ１００は、目標位置５００まで移動する必要がある。しかし、ＵＡＶ１００は、次回のフレームまでに実際には到達位置５０２までしか移動できない。したがって、ＵＡＶ１００は、目標位置５００に対して距離５０４だけ移動距離が不足している。ＵＡＶ１００は、この不足分の距離５０４を考慮して、撮像装置３００のズーム位置およびフォーカス位置の少なくとも一方を調整する。これにより、移動距離が不足することで、撮像装置３００が次回のフレームにおいて対象物４００'を適切に撮像できなくなることを防止できる。

図６は、撮像装置３００の撮像方向と異なる方向にＵＡＶ１００が移動する場合におけるＵＡＶ１００の追尾の様子の一例を示す。図６に示す例では、ＵＡＶ１００が対象物４００の移動方向に平行に移動している。対象物４００が次回のフレームまでに対象物４００'まで移動する。この場合、対象物４００'との距離を予め定められた距離に維持するためには、ＵＡＶ１００は、ＵＡＶ１００''の位置まで移動する必要がある。しかし、実際には、ＵＡＶ１００は、ＵＡＶ１００'の位置までしか移動できない。この場合、ＵＡＶ１００は、次回のフレームまでに到達できる到達位置における撮像装置３００の撮像方向を撮像方向５１０から撮像方向５１２に変更する。さらに、次回のフレームにおいて対象物４００'までの不足分の距離を考慮して、撮像装置３００のズーム位置およびフォーカス位置の少なくとも一方を調整する。これにより、撮像装置３００の撮像方向と異なる方向にＵＡＶ１００が移動する場合にも、移動距離が不足することで、撮像装置３００が次回のフレームにおいて対象物４００'を適切に撮像できなくなることを防止できる。

図７は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の一例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ１２００に当該操作または当該１または複数の「部」を実行させることができる。当該プログラムは、コンピュータ１２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ１２１２によって実行されてよい。

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、およびＲＡＭ１２１４を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、入力／出力ユニットを含み、それらは入力／出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータ１２００はまた、ＲＯＭ１２３０を含む。ＣＰＵ１２１２は、ＲＯＭ１２３０およびＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラムおよびデータを格納してよい。ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、および／またはコンピュータ１２００のハードウェアに依存するプログラムを格納する。プログラムが、ＣＲ−ＲＯＭ、ＵＳＢメモリまたはＩＣカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるＲＡＭ１２１４、またはＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ１２００の使用に従い情報の操作または処理を実現することによって構成されてよい。

例えば、通信がコンピュータ１２００および外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御下、ＲＡＭ１２１４、またはＵＳＢメモリのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

また、ＣＰＵ１２１２は、ＵＳＢメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックする。

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ１２００上またはコンピュータ１２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ ＵＡＶ
１０２ ＵＡＶ本体
１１０ ＵＡＶ制御部
１１２ 測距部
１５０ 通信インタフェース
１６０ メモリ
２００ ジンバル
２１０ 回転翼機構
２３０ 撮像装置
２４０ ＧＰＳ受信機
２６０ 磁気コンパス
２７０ 気圧高度計
３００ 撮像装置
３１０ 撮像制御部
３１１ 対象物抽出部
３１２ 推定部
３１３ 導出部
３１４ 位置特定部
３１５ 決定部
３１６ 速度特定部
３１７ 予測部
３１８ レンズ位置管理部
３２０ レンズ制御部
３２２ レンズ移動機構
３２４ レンズ位置検出部
３２６ レンズ
３３０ 撮像素子
３４０ メモリ
１２００ コンピュータ
１２１０ ホストコントローラ
１２１２ ＣＰＵ
１２１４ ＲＡＭ
１２２０ 入力／出力コントローラ
１２２２ 通信インタフェース
１２３０ ＲＯＭ

Claims (11)

1. 対象物からの距離を予め定められた距離に維持するように前記対象物を追尾する移動体が、前記対象物の移動に伴って第１時点に到達すべき第１位置を推定する推定部と、
   前記移動体が前記第１時点に前記第１位置に到達するために必要な前記移動体の第１速度を導出する導出部と、
   前記移動体が前記対象物を追尾しながら移動できる第２速度より前記第１速度が大きい場合、前記移動体が前記第１位置に向けて移動して前記第１時点に到達できる第２位置を特定する第１特定部と、
   前記対象物と前記第２位置にいる前記移動体との前記第１時点での位置関係に基づいて、前記移動体に搭載された撮像システムが前記第１時点で前記対象物を撮像するための前記撮像システムの撮像条件および撮像方向の少なくとも１つを決定する決定部と
   を備える制御装置。
2. 前記決定部は、前記対象物と前記第２位置にいる前記移動体との前記第１時点での距離に基づいて、前記撮像条件として前記撮像システムのフォーカス条件およびズーム条件の少なくとも一方を決定する、請求項１に記載の制御装置。
3. 前記決定部は、前記対象物と前記第２位置にいる前記移動体との前記第１時点での距離に基づいて、前記撮像システムのフォーカス条件を決定し、前記対象物と前記第２位置にいる前記移動体との前記第１時点での距離と前記予め定められた距離との差分に基づいて、前記撮像システムのズーム条件を決定する、請求項２に記載の制御装置。
4. 前記移動体が前記第１位置に向けて移動する場合の前記第２速度を特定する第２特定部をさらに備える、請求項１に記載の制御装置。
5. 前記移動体が前記第１位置に向けて移動する間の前記移動体の移動方向を予測する第１予測部をさらに備え、
   前記第２特定部は、前記移動体の移動方向に基づいて前記第２速度を特定する、請求項４に記載の制御装置。
6. 前記移動体が前記第１位置に向けて移動する間の前記移動体の周囲の環境の状態を予測する第２予測部をさらに備え、
   前記第２特定部は、前記移動体の周囲の環境の状態に基づいて前記第２速度を特定する、請求項４に記載の制御装置。
7. 請求項１から６の何れか１つに記載の制御装置を有し、前記撮像条件に基づいて前記対象物を撮像する撮像装置
   を備える撮像システム。
8. 前記撮像装置の撮像方向を調整可能に前記撮像装置を支持する支持機構
   をさらに備える請求項７に記載の撮像システム。
9. 請求項７に記載の撮像システムを備えて移動する移動体。
10. 対象物からの距離を予め定められた距離に維持するように前記対象物を追尾する移動体が、前記対象物の移動に伴って第１時点に到達すべき第１位置を推定する段階と、
    前記移動体が前記第１時点に前記第１位置に到達するために必要な前記移動体の第１速度を導出する段階と、
    前記移動体が前記対象物を追尾しながら移動できる第２速度より前記第１速度が大きい場合、前記移動体が前記第１位置に向けて移動して前記第１時点に到達できる第２位置を特定する段階と、
    前記対象物と前記第２位置にいる前記移動体との前記第１時点での位置関係に基づいて、前記移動体に搭載された撮像システムが前記第１時点で前記対象物を撮像するための前記撮像システムの撮像条件および撮像方向の少なくとも１つを決定する段階と
    を備える制御方法。
11. 対象物からの距離を予め定められた距離に維持するように前記対象物を追尾する移動体が、前記対象物の移動に伴って第１時点に到達すべき第１位置を推定する段階と、
    前記移動体が前記第１時点に前記第１位置に到達するために必要な前記移動体の第１速度を導出する段階と、
    前記移動体が前記対象物を追尾しながら移動できる第２速度より前記第１速度が大きい場合、前記移動体が前記第１位置に向けて移動して前記第１時点に到達できる第２位置を特定する段階と、
    前記対象物と前記第２位置にいる前記移動体との前記第１時点での位置関係に基づいて、前記移動体に搭載された撮像システムが前記第１時点で前記対象物を撮像するための前記撮像システムの撮像条件および撮像方向の少なくとも１つを決定する段階と
    をコンピュータに実行させるためのプログラム。

Images