JPWO2018123013A1 - 制御装置、移動体、制御方法、及びプログラム - Google Patents

Abstract

制御装置は、撮像装置の焦点距離、絞り値、許容錯乱円径、及び被写体距離の少なくとも１つに基づいて、撮像装置が撮像する対象物が存在すべき撮像装置からの距離範囲を決定する第１決定部を備えてよい。制御装置は、撮像装置から対象物までの距離を特定する第１特定部を備えてよい。制御装置は、距離範囲及び距離に基づいて、距離範囲内に対象物が含まれるように撮像装置の位置を制御する制御部を備えてよい。

Description

本発明は、制御装置、移動体、制御方法、及びプログラムに関する。

特許文献１には、被写体が被写界深度に入るように撮影レンズの位置と絞りの絞り量を調整するカメラが開示されている。
特許文献１ 国際公開第２０１６／０５６０８９号公報

解決しようとする課題

撮影レンズの位置または絞りの絞り量を変更せずに撮影することが望まれている場合には、上記のような手法を採用できない。

一般的開示

本発明の一態様に係る制御装置は、撮像装置の焦点距離、絞り値、許容錯乱円径、及び被写体距離の少なくとも１つに基づいて、撮像装置が撮像する対象物が存在すべき撮像装置からの距離範囲を決定する第１決定部を備えてよい。制御装置は、撮像装置から対象物までの距離を特定する第１特定部を備えてよい。制御装置は、距離範囲及び距離に基づいて、距離範囲内に対象物が含まれるように撮像装置の位置を制御する制御部を備えてよい。

距離範囲の幅は、撮像装置の焦点距離、絞り値、許容錯乱円径、及び被写体距離の少なくとも１つに基づいて定められる撮像装置の被写界深度の幅より狭くてよい。被写体距離は、撮像装置のレンズの位置に基づいてよい。

制御装置は、対象物の将来の第１時点における地理的位置を推定する推定部を備えてよい。制御装置は、推定された地理的位置及び距離範囲に基づいて、撮像装置が第１時点に存在すべき地理的領域を決定する第２決定部を備えてよい。制御部は、撮像装置が第１時点に地理的領域内に存在するように、撮像装置の位置を制御してよい。

制御装置は、撮像装置により撮像された画像の中から予め地理的位置が定められた第１の地点、及び対象物を選択する選択部を備えてよい。制御装置は、撮像装置により撮像された画像内における第１の地点と対象物との位置関係、及び第１の地点の地理的位置に基づいて、対象物の地理的位置を特定する第２特定部を備えてよい。推定部は、現在までの複数の時点で第２特定部により特定された対象物の複数の地理的位置に基づいて、第１時点における対象物の地理的位置を推定してよい。

制御部は、対象物が距離範囲内に存在する場合に、撮像装置に対象物を撮像させてよい。

本発明の一態様に係る移動体は、上記制御装置及び撮像装置を搭載して移動してよい。

制御部は、距離範囲内に対象物が含まれるように移動体の位置を制御してよい。

制御部は、距離範囲内に対象物が含まれるように移動体に対象物を追尾させてよい。

移動体は、無人航空機でよい。制御部は、距離範囲内に対象物が含まれるように無人航空機にホバリングさせてよい。

本発明の一態様に係る制御方法は、撮像装置の焦点距離、絞り値、許容錯乱円径、及び被写体距離の少なくとも１つに基づいて、撮像装置が撮像する対象物が存在すべき撮像装置からの距離範囲を決定する段階を備えてよい。制御方法は、撮像装置から対象物までの距離を特定する段階を備えてよい。制御方法は、距離範囲及び距離に基づいて、距離範囲内に対象物が含まれるように撮像装置の位置を制御する段階を備えてよい。

本発明の一態様に係るプログラムは、撮像装置の焦点距離、絞り値、許容錯乱円径、及び被写体距離の少なくとも１つに基づいて、撮像装置が撮像する対象物が存在すべき撮像装置からの距離範囲を決定する段階をコンピュータに実行させてよい。プログラムは、撮像装置から対象物までの距離を特定する段階をコンピュータに実行させてよい。プログラムは、距離範囲及び距離に基づいて、距離範囲内に対象物が含まれるように撮像装置の位置を制御する段階をコンピュータに実行させてよい。

撮像装置の撮影条件を変更せずに撮影することが望まれている場合でも、対象物が撮像装置の被写界深度から外れることを防止できる。

上記の発明の概要は、本発明の特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となりうる。

無人航空機の外観の一例を示す図である。 被写界深度について説明するための模式図である。 無人航空機の機能ブロックの一例を示す図である。 距離範囲の位置の調整の一例について説明するための図である。 対象物及びＵＡＶの移動距離の時間的変化の一例を示す図である。 対象物及びＵＡＶの移動距離の時間的変化の一例を示す図である。 基準点及び対象物を含む画像の一例を示す図である。 撮像装置の位置を制御する手順の一例を示すフローチャートである。 対象物の将来の位置を推定して撮像装置の位置を制御する手順の一例を示すフローチャートである。 ハードウェア構成の一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を保留する。

本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよい。フローチャート及びブロック図におけるブロックは、（１）オペレーションが実行されるプロセスの段階又は（２）オペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／またはアナログハードウェア回路を含んでよい。集積回路（ＩＣ）及び／またはディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャートまたはブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語または同様のプログラミング言語でよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定されたオペレーションを実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

図１は、無人航空機（ＵＡＶ）１００の外観の一例を示す。ＵＡＶ１００は、ＵＡＶ本体１０２、ジンバル２００、撮像装置３００、及び複数の撮像装置２３０を備える。ＵＡＶ１００は、移動体の一例である。移動体とは、ＵＡＶの他、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶等を含む概念である。ジンバル２００及び撮像装置３００は、撮像システムの一例である。

ＵＡＶ本体１０２は、複数の回転翼を備える。ＵＡＶ本体１０２は、複数の回転翼の回転を制御することでＵＡＶ１００を飛行させる。ＵＡＶ本体１０２は、例えば、４つの回転翼を用いてＵＡＶ１００を飛行させる。回転翼の数は、４つには限定されない。また、ＵＡＶ１００は、回転翼を有さない固定翼機でもよい。

撮像装置３００は、動画または静止画を撮像するためのカメラである。複数の撮像装置２３０は、ＵＡＶ１００の飛行を制御するためにＵＡＶ１００の周囲を撮像するセンシング用のカメラである。２つの撮像装置２３０が、ＵＡＶ１００の機首である正面に設けられてよい。さらに他の２つの撮像装置２３０が、ＵＡＶ１００の底面に設けられてよい。正面側の２つの撮像装置２３０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置２３０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置２３０により撮像された画像に基づいて、ＵＡＶ１００から対象物までの距離が計測されてよい。複数の撮像装置２３０により撮像された画像に基づいて、ＵＡＶ１００の周囲の３次元空間データが生成されてよい。ＵＡＶ１００が備える撮像装置２３０の数は４つには限定されない。ＵＡＶ１００は、少なくとも１つの撮像装置２３０を備えていればよい。ＵＡＶ１００は、ＵＡＶ１００の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像装置２３０を備えてもよい。撮像装置２３０で設定できる画角は、撮像装置３００で設定できる画角より広くてよい。撮像装置２３０は、単焦点レンズまたは魚眼レンズを有してもよい。

以上のように構成されたＵＡＶ１００に搭載された撮像装置３００において、撮像装置３００により撮像される対象物が、撮像装置３００の被写界深度から外れないように、ＵＡＶ１００の位置を制御する。

図２は、被写界深度について説明するための模式図である。レンズ５１０の焦点距離をｆ、絞り５１４の絞り値をＦ、レンズ５１０からレンズ５１０の合焦位置５０２までの距離を示す被写体距離をａ、レンズ５１０から撮像素子５１２の像面までの距離を示す像距離ｂ、許容錯乱円径をεと定義する。被写体距離ａは、レンズ５１０の位置によって変化する。許容錯乱円径εは、撮像素子５１２の種類によって変わる場合がある。許容錯乱円径εは、撮像素子５１２のサイズによって変わる場合がある。撮像素子５１２の像面から主要被写体である対象物５００までの距離（撮影距離）をＬと定義する。被写界深度は、撮像装置の焦点距離ｆ、絞り値Ｆ、許容錯乱円径ε、及び被写体距離ａの少なくとも１つに基づいて定められてよい。

被写界深度５２０は、前方被写界深度５２２と後方被写界深度５２４との合計である。前方被写界深度５２２は、合焦位置５０２から前方側に位置する。後方被写界深度５２４は、合焦位置５０２より後方側に位置する。前方被写界深度５２２及び後方被写界深度５２４は、次式で導出される。

ＵＡＶ１００は、対象物５００が被写界深度５２０から外れないように、対象物５００が存在すべき撮像装置３００からの距離範囲５２６内に対象物５００が含まれるように撮像装置３００の位置、すなわちＵＡＶ１００の位置を制御してよい。距離範囲５２６の幅は、被写界深度５２０の幅より狭くてよい。距離範囲５２６は、撮像素子５１２の像面からの距離Ｌｆから、撮像素子５１２の像面からの距離Ｌｂ（＞距離Ｌｆ）までの範囲でよい。距離範囲５２６は、前方被写界深度５２２の予め定められた割合、及び後方被写界深度５２４の予め定められた割合を含んでよい。距離範囲５２６は、例えば、前方被写界深度５２２の合焦位置５０２側の９５％、９０％、８５％、または８０％の範囲、及び後方被写界深度５２４の合焦位置５０２側の９５％、９０％、８５％、または８０％の範囲を含んでよい。

このようにＵＡＶ１００が飛行することで、撮像装置３００の絞り値Ｆ、焦点距離ｆなどの撮影条件を変更せずに撮影することが望まれている場合でも、対象物５００が撮像装置３００の被写界深度５２０から外れることを防止できる。

図３は、ＵＡＶ１００の機能ブロックの一例を示す。ＵＡＶ１００は、ＵＡＶ制御部１１０、通信インタフェース１５０、メモリ１６０、ジンバル２００、回転翼機構２１０、撮像装置３００、撮像装置２３０、ＧＰＳ受信機２４０、慣性計測装置（ＩＭＵ）２５０、磁気コンパス２６０、及び気圧高度計２７０を備える。

通信インタフェース１５０は、外部の送信機と通信する。通信インタフェース１５０は、遠隔の送信機からＵＡＶ制御部１１０に対する各種の命令を受信する。メモリ１６０は、ＵＡＶ制御部１１０がジンバル２００、回転翼機構２１０、撮像装置３００、撮像装置２３０、ＧＰＳ受信機２４０、ＩＭＵ２５０、磁気コンパス２６０、及び気圧高度計２７０を制御するのに必要なプログラム等を格納する。メモリ１６０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１６０は、ＵＡＶ本体１０２の内部に設けられてよい。メモリ１６０は、ＵＡＶ本体１０２から取り外し可能に設けられてよい。

ジンバル２００は、撮像装置３００の撮像方向を調整可能に支持する。ジンバル２００は、少なくとも１つの軸を中心に撮像装置３００を回転可能に支持する。ジンバル２００は、支持機構の一例である。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置３００を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置３００を回転させることで、撮像装置３００の撮像方向を変更してよい。回転翼機構２１０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。

撮像装置２３０は、ＵＡＶ１００の周囲を撮像して画像データを生成する。撮像装置２３０の画像データは、メモリ１６０に格納される。ＧＰＳ受信機２４０は、複数のＧＰＳ衛星から発信された時刻を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいてＧＰＳ受信機２４０の位置、つまりＵＡＶ１００の位置を算出する。慣性計測装置（ＩＭＵ）２５０は、ＵＡＶ１００の姿勢を検出する。ＩＭＵ２５０は、ＵＡＶ１００の姿勢として、ＵＡＶ１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ、ロール、及びヨーの３軸方向の角速度とを検出する。磁気コンパス２６０は、ＵＡＶ１００の機首の方位を検出する。気圧高度計２７０は、ＵＡＶ１００が飛行する高度を検出する。

ＵＡＶ制御部１１０は、メモリ１６０に格納されたプログラムに従ってＵＡＶ１００の飛行を制御する。ＵＡＶ制御部１１０は、ＣＰＵまたはＭＰＵ等のマイクロプロセッサ、ＭＣＵ等のマイクロコントローラ等により構成されてよい。ＵＡＶ制御部１１０は、通信インタフェース１５０を介して遠隔の送信機から受信した命令に従って、ＵＡＶ１００の飛行を制御する。

ＵＡＶ制御部１１０は、複数の撮像装置２３０により撮像された複数の画像を解析することで、ＵＡＶ１００の周囲の環境を特定してよい。ＵＡＶ制御部１１０は、ＵＡＶ１００の周囲の環境に基づいて、例えば、障害物を回避して飛行を制御する。ＵＡＶ制御部１１０は、複数の撮像装置２３０により撮像された複数の画像に基づいてＵＡＶ１００の周囲の３次元空間データを生成し、３次元空間データに基づいて飛行を制御してよい。

撮像装置３００は、撮像部３０１、及びレンズ部４０１を備える。レンズ部４０１は、撮像部３０１から取り外しが可能なレンズユニットでもよい。撮像部３０１は、撮像制御部３１０、撮像素子３３０、及びメモリ３４０を有する。撮像制御部３１０は、ＣＰＵまたはＭＰＵなどのマイクロプロセッサ、ＭＣＵなどのマイクロコントローラなどにより構成されてよい。撮像制御部３１０は、ＵＡＶ制御部１１０からの撮像装置３００の動作命令に応じて、撮像装置３００を制御してよい。

メモリ３４０は、コンピュータ可読可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリなどのフラッシュメモリの少なくとも１つを含んでよい。メモリ３４０は、撮像部３０１の筐体の内部に設けられてよい。メモリ３４０は、撮像部３０１の筐体から取り外し可能に設けられてよい。

撮像素子３３０は、ＣＣＤまたはＣＭＯＳにより構成されてよい。撮像素子３３０は、撮像装置３００の筐体の内部に保持され、複数のレンズ４３２及びレンズ４４２を介して結像された光学像の画像データを撮像制御部３１０に出力する。撮像制御部３１０は、画像データに対してノイズ低減、デモザイキング、ガンマ補正、及びエッジ協調などの一連の画像処理を施す。撮像制御部３１０は、一連の画像処理後の画像データをメモリ３４０に格納する。撮像制御部３１０は、画像データをＵＡＶ制御部１１０を介してメモリ１６０に出力して格納してもよい。

レンズ部４０１は、レンズ制御部４１０、メモリ４２０、レンズ駆動部４３０、レンズ４３２、位置センサ４３４、レンズ駆動部４４０、レンズ４４２、位置センサ４４４、絞り駆動部４５０、及び絞り４５２を備える。レンズ４３２は、少なくとも１枚のレンズを含む。レンズ４３２は、ズームレンズでよい。レンズ４４２は、少なくとも１枚のレンズを含む。レンズ４４２は、フォーカスレンズでよい。

レンズ制御部４１０は、撮像部３０１からのレンズ動作命令に応じてレンズ駆動部４３０を介して、レンズ４３２の光軸方向への移動を制御する。レンズ制御部４１０は、撮像部３０１からのレンズ動作命令に応じてレンズ駆動部４４０を介して、レンズ４４２の光軸方向への移動を制御する。レンズ４３２及びレンズ４４２の一部または全部は、光軸に沿って移動する。レンズ制御部４１０は、レンズ４３２及びレンズ４４２の少なくとも１つを光軸に沿って移動させることで、ズーム動作及びフォーカス動作の少なくとも一方を実行する。位置センサ４３４は、レンズ４３２の位置を検出する。位置センサ４３４は、現在のズーム位置を検出してよい。位置センサ４４４は、レンズ４４２の位置を検出する。位置センサ４４４は、現在のフォーカス位置を検出してよい。

レンズ駆動部４３０及びレンズ駆動部４４０は、アクチュエータを含んでよい。レンズ４３２及びレンズ４４２は、それぞれのアクチュエータからの動力を受けてレンズ駆動機構を介して光軸方向に沿って移動してよい。

絞り４５２は、撮像素子３３０に入射される光の量を調整する。絞り駆動部４５０は、アクチュエータを含んでよい。絞り駆動部４５０は、レンズ制御部４１０からの指令を受けて、アクチュエータを駆動して、絞り開口の大きさ、つまり絞り値を調整してよい。

メモリ４２０は、レンズ駆動部４３０を介して移動する複数のレンズ４３２及びレンズ４４２の制御値を記憶する。メモリ４２０は、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリなどのフラッシュメモリの少なくとも１つを含んでよい。

このように構成されたＵＡＶ１００において、対象物５００が撮像装置３００の被写界深度から外れないように、ＵＡＶ制御部１１０がＵＡＶ１００の位置を制御する。

ＵＡＶ制御部１１０は、距離範囲決定部１１１、距離特定部１１２、位置制御部１１３、選択部１１４、地理的位置特定部１１５、推定部１１６、及び地理的領域決定部１１７を有する。ＵＡＶ制御部１１０以外の他の制御部が、ＵＡＶ制御部１１０が備える各部の全部または一部を有してもよい。例えば、撮像制御部３１０が、ＵＡＶ制御部１１０が備える各部の全部または一部を有してよい。ＵＡＶ１００を遠隔制御する送信機が、ＵＡＶ制御部１１０が備える各部の全部または一部を有してよい。

距離範囲決定部１１１は、撮像装置３００の焦点距離ｆ、絞り値Ｆ、許容錯乱円径ε、及び被写体距離ａの少なくとも１つに基づいて、撮像装置３００が撮像する対象物５００が存在すべき撮像装置３００からの距離範囲５２６を決定する。距離範囲決定部１１１は、第１決定部の一例である。距離範囲決定部１１１は、撮像装置３００の焦点距離ｆ、絞り値Ｆ、許容錯乱円径ε、及び被写体距離ａに基づいて上述の式（１）及び式（２）より前方被写界深度５２２及び後方被写界深度５２４を導出してよい。距離範囲決定部１１１は、導出された前方被写界深度５２２及び後方被写界深度５２４に基づいて、距離範囲５２６を決定してよい。距離範囲決定部１１１は、前方被写界深度５２２の合焦位置５０２側の予め定められた割合（例えば、９０％）、及び後方被写界深度５２４の合焦位置５０２側の予め定められた割合（例えば、９０％）を含むように、距離範囲５２６を決定してよい。

距離特定部１１２は、撮像装置３００から対象物５００までの距離Ｌを特定する。距離Ｌは、撮像素子３３０の像面から対象物５００までの距離でよい。距離特定部１１２は、第１特定部の一例である。距離特定部１１２は、複数の撮像装置２３０により撮像された複数の画像に基づいて三角測距方式でＵＡＶ１００から対象物５００までの距離を距離Ｌとして特定してよい。距離特定部１１２は、超音波式センサ、赤外線センサ、またはレーダ式センサなどを用いてＵＡＶ１００から対象物５００までの距離を距離Ｌとして特定してよい。

位置制御部１１３は、距離範囲５２６及び距離Ｌに基づいて、距離範囲５２６内に対象物５００が含まれるように撮像装置３００の位置、すなわちＵＡＶ１００の位置を制御する。位置制御部１１３は、制御部の一例である。ＵＡＶ制御部１１０は、対象物が距離範囲内に存在する場合に、撮像装置３００に対象物を撮像させてよい。ＵＡＶ制御部１１０は、対象物が距離範囲内に存在しない場合には、撮像装置３００による対象物の撮像を停止してよい。ＵＡＶ１００が対象物を追尾している間、ＵＡＶ制御部１１０は、距離範囲決定部１１１により決定された距離範囲内に対象物が存在するように、ＵＡＶ１００の位置を制御してよい。ＵＡＶ１００が対象物の周囲でホバリング中に、ＵＡＶ制御部１１０は、距離範囲決定部１１１により決定された距離範囲内に対象物が存在するように、ＵＡＶ１００の位置を制御してよい。

図４は、距離範囲の位置の調整の一例について説明するための図である。対象物５００が対象物５００'の位置まで移動して、被写界深度６１０の距離範囲６００を外れたとする。この場合、位置制御部１１３は、例えば、対象物５００'が距離範囲の中央に存在するように、ＵＡＶ１００の位置を制御する。ＵＡＶ１００が移動することで、距離範囲が距離範囲６００から距離範囲６００'に移動する。

位置制御部１１３は、対象物５００と撮像装置３００との相対的な移動方向に応じて、対象物５００が存在すべき距離範囲５２６内の位置を調整してよい。例えば、対象物５００が撮像装置３００に近付いてきているとする。この場合、対象物５００は、前方被写界深度５２２の合焦位置５０２側の端部と反対側の端部から外れる。すなわち、対象物５００は、前方被写界深度５２２の前方側の端部から外れる。この場合、位置制御部１１３は、対象物５００が後方被写界深度５２４内に位置するように、ＵＡＶ１００の位置を制御してよい。一方、対象物５００が撮像装置３００から遠ざかっているとする。この場合、対象物５００は、後方被写界深度５２４の合焦位置５０２側の端部と反対側の端部から外れる。すなわち、対象物５００は、後方被写界深度５２４の後方側の端部から外れる。この場合、位置制御部１１３は、対象物５００が前方被写界深度５２２内に位置するように、ＵＡＶ１００の位置を制御してよい。対象物５００と撮像装置３００との相対的な移動方向が一定の場合には、対象物５００の位置が上記のような位置になるようにＵＡＶ１００の位置を制御することで、対象物５００が撮像装置３００の被写界深度５２０から外れるのをさらに抑制できる。または、位置制御部１１３が距離範囲５２６に基づいてＵＡＶ１００の位置を調整する頻度を低減できる。

被写界深度５２０は、上記の通り、式（１）及び式（２）により導出される。焦点距離ｆが一定でも、被写界深度５２０は、例えば、絞り値Ｆの大きさによって変化する。例えば、絞り値Ｆが大きいほど、被写界深度５２０は浅くなる。許容錯乱円径εは、撮像素子３３０のサイズによって変化するので、焦点距離ｆが一定でも、被写界深度５２０は、撮像素子３３０のサイズによって変化する。許容錯乱円径εの大きさが同じでも、被写界深度５２０は、撮像素子３３０のサイズによって変化する。撮像素子３３０のサイズが大きいほど、被写界深度５２０は浅くなる。

被写界深度の大きさ（幅）が変われば、対象物が存在すべき距離範囲の幅も変わる。距離範囲が狭いほど、ＵＡＶ１００は対象物との距離をより精度よく一定に保つ必要がある。図５Ａ及び図５Ｂは、対象物５００及びＵＡＶ１００の移動距離の時間的変化の一例を示す。図５Ａに示す距離範囲７００の幅より、図５Ｂに示す距離範囲７００の幅は狭い。図５Ａ及び図５Ｂに示すように、距離範囲７００が狭いほど、対象物５００が距離範囲７００の中心からずれ始めてから距離範囲７００の端に達するまでの時間７０２が短い。したがって、被写界深度が浅いほど、ＵＡＶ１００は機敏に動作する必要がある。そこで、ＵＡＶ１００は、被写界深度が浅いほど、加速度が大きくなるように動作してもよい。ＵＡＶ１００が、予め設定された最大加速度以内で動作する場合には、被写界深度が浅いほど、最大加速度が大きくなるように設定されてもよい。被写界深度が浅いほど、ＵＡＶ１００と対象物との間の距離の修正を早くできる。ＵＡＶ１００と対象物との距離を一定に維持することが望まれる場合、例えば、対象物との距離を一定保ってＵＡＶ１００が追尾またはホバリングする場合に、被写界深度が浅いほど最大加速度を大きくするのが有効な場合がある。

ＵＡＶ制御部１１０は、対象物の動きを予測して、予測された対象物の将来の位置及び距離範囲に基づいてＵＡＶ１００が到達すべき目標位置を決定し、目標位置までＵＡＶ１００を移動させてよい。このような制御を実現するために、ＵＡＶ制御部１１０は、さらに、選択部１１４、地理的位置特定部１１５、推定部１１６、及び地理的領域決定部１１７を有してよい。

選択部１１４は、撮像装置３００により撮像された画像の中から予め地理的位置が定められた基準点、及び対象物を選択する。基準点は、第１の地点の一例である。予め地理的位置が定められた基準点は、不動の物体でよい。基準点は、ＵＡＶ制御部１１０が参照可能な地図データベース上で予め地理的位置（緯度、経度、高度など）が登録されたランドマークでよい。選択部１１４は、撮像装置３００により撮像された画像の中からユーザからの指定を受けて、基準点及び対象物を選択してよい。

図６は、撮像装置３００により撮像された基準点８０２及び対象物８０４を含む画像８００の一例を示す。ユーザは、画像８００の中から、ランドマークとなりうる山を基準点８０２として指定する。画像８００は、例えば、ＵＡＶ１００を遠隔で制御する送信機が備えるディスプレイに表示されてよい。さらに、ユーザは、画像８００の中から主要被写体として対象物８０４を指定する。選択部１１４は、予め地図データベースに登録されているランドマークに対応する画像と、画像８００とを比較して、ランドマークとなり得る領域を画像８００の中から検索してもよい。ＵＡＶ１００の現在位置、基準点８０２の位置、対象物８０４の現在位置を含む地図情報を撮像装置３００により撮像された画像８００に重ねてディスプレイに表示してもよい。

地理的位置特定部１１５は、撮像装置３００により撮像された画像内における基準点と対象物との位置関係、及び基準点の地理的位置に基づいて、対象物の地理的位置を特定する。地理的位置特定部１１５は、第２特定部の一例である。地理的位置特定部１１５は、撮像装置３００により単位時間毎に撮像された２枚の画像を利用して、画像内の単位領域毎に撮像装置３００までの距離を示す距離画像を生成してよい。地理的位置特定部１１５は、距離画像を利用して基準点と対象物との位置関係を特定する。地理的位置特定部１１５は、例えば、メモリ１６０に格納されている地図データベースを参照して、基準点の地理的位置を特定する。地理的位置特定部１１５は、特定された位置関係及び基準点の地理的位置に基づいて、対象物の地理的位置を特定する。

推定部１１６は、対象物の将来の第１時点における地理的位置を推定する。推定部１１６は、現在までの複数の時点で地理的位置特定部１１５により特定された対象物の複数の地理的位置に基づいて、第１時点における対象物の地理的位置を推定する。推定部１１６は、フレームレートに基づいて定められる単位時間毎に対象物の地理的位置を推定してよい。

地理的領域決定部１１７は、推定部１１６により推定された対象物の地理的位置及び距離範囲に基づいて、撮像装置３００が第１時点に存在すべき地理的領域を決定する。すなわち、地理的領域決定部１１７は、推定部１１６により推定された対象物の地理的位置及び距離範囲に基づいて、ＵＡＶ１００が第１時点に存在すべき地理的領域を決定する。第１時点でＵＡＶ１００が地理的領域内に存在すれば、第１時点で少なくとも対象物は撮像装置３００の被写界深度内に位置できる。位置制御部１１３は、撮像装置３００が第１時点に地理的領域内に存在するように、撮像装置３００の位置を制御する。位置制御部１１３は、地理的領域及び地図データベースを参照して、地理的領域内で最適な目標位置を決定してよい。位置制御部１１３は、地理的領域内で、最短距離で到達できる位置を目標位置に決定してよい。位置制御部１１３は、地図データベースを参照して地理的領域に到達するまでに飛行の妨げとなる障害物を特定し、地理的領域内で、障害物を迂回しかつ最短距離で到達できる位置を目標位置に決定してよい。

図７は、撮像装置３００の位置を制御する手順の一例を示すフローチャートである。選択部１１４は、撮像装置３００により撮像された画像の中からユーザにより指定された対象物を選択する（Ｓ０１０）。対象物を撮像するのに最適な撮像装置３００の撮像条件を決定し、処理が終了するまで、その撮像条件を維持する。つまり、撮像装置３００は、撮像条件として決定された焦点距離ｆ、絞り値Ｆ、被写体距離ａを維持する。そして、距離範囲決定部１１１は、撮像装置３００から焦点距離ｆ、絞り値Ｆ、許容錯乱円径ε、被写体距離ａ、像距離ｂの情報を取得する。距離特定部１１２は、焦点距離ｆ、絞り値Ｆ、許容錯乱円径ε、及び被写体距離ａに基づいて撮像装置３００の被写界深度を特定する。距離範囲決定部１１１は、被写界深度、被写体距離ａ、及び像距離ｂに基づいて、対象物が存在すべき撮像装置３００からの距離範囲を決定する（Ｓ１０２）。

距離特定部１１２は、撮像装置３００から対象物までの距離Ｌを特定する（Ｓ１０４）。距離特定部１１２は、例えば、複数の撮像装置２３０により撮像された複数の画像から導出された対象物までの距離を距離Ｌとして特定してよい。位置制御部１１３は、特定された距離Ｌが距離範囲内か否かを判定する（Ｓ１０６）。対象物が距離範囲内に存在しなければ、位置制御部１１３は、対象物が距離範囲内に含まれるように、撮像装置３００の位置を調整すべく、ＵＡＶ１００の飛行を制御する（Ｓ１０８）。対象物が距離範囲内に存在する場合には、ＵＡＶ制御部１１０は、現状のＵＡＶ１００の飛行制御を継続する。

対象物が距離範囲内に存在するように撮像装置３００の位置を制御する処理を終了するまで（Ｓ１１０）、ＵＡＶ制御部１１０は、ステップＳ１０４からステップＳ１０８までの処理を継続する。

以上の手順により、ＵＡＶ１００は、対象物が撮像装置３００の被写界深度から外れることなく撮像装置３００に対象物を撮像させることができる。

図８は、対象物の将来の位置を推定して撮像装置３００の位置を制御する手順の一例を示すフローチャートである。選択部１１４は、撮像装置３００により撮像された画像の中からユーザにより指定された対象物、及びランドマークとなる基準点を選択する（Ｓ２００）。距離範囲決定部１１１は、撮像装置３００から焦点距離ｆ、絞り値Ｆ、許容錯乱円径ε、被写体距離ａ、像距離ｂの情報を取得する。距離特定部１１２は、焦点距離ｆ、絞り値Ｆ、許容錯乱円径ε、及び被写体距離ａに基づいて撮像装置３００の被写界深度を特定する。距離範囲決定部１１１は、被写界深度、被写体距離ａ、及び像距離ｂに基づいて、対象物が存在すべき撮像装置３００からの距離範囲を決定する（Ｓ２０２）。

地理的位置特定部１１５は、地図テータベースを参照して、基準点の地理的位置を特定する（Ｓ２０４）。地理的位置特定部１１５は、撮像装置３００により単位時間毎に撮像された複数の画像に基づいて、画像内の単位領域毎に撮像装置３００までの距離を示す距離画像を作成する（Ｓ２０６）。地理的位置特定部１１５は、基準点の地理的位置及び距離画像に基づいて対象物の地理的位置を特定する（Ｓ２０８）。

推定部１１６は、現在までに地理的位置特定部１１５により特定された対象物の複数の地理的位置に基づいて、将来の第１時点における対象物の地理的位置を推定する（Ｓ２１０）。地理的領域決定部１１７は、第１時点における対象物の地理的位置、及び距離範囲に基づいて、第１時点にＵＡＶ１００が存在すべき地理的領域を決定する（Ｓ２１２）。位置制御部１１３は、地理的領域及びＵＡＶ１００の現在の地理的位置に基づいて、ＵＡＶ１００の飛行を制御する（Ｓ２１４）。位置制御部１１３は、ＵＡＶ１００が第１時点で地理的領域内に位置するように、ＵＡＶ１００の飛行を制御する。

以上の通り、ＵＡＶ１００は、将来の対象物の位置を推定して、その推定結果及び、対象物が存在すべき距離範囲に基づいて、ＵＡＶ１００が将来存在すべき地理的領域を特定する。ＵＡＶ１００は、特定された地理的領域及び地図データベースを参照して、障害物等を考慮して、最適な飛行経路を決定できる。これにより、ＵＡＶ１００は、最適な飛行経路で、対象物が撮像装置３００の被写界深度から外れないように飛行できる。

図９は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の一例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の１または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ１２００に当該オペレーションまたは当該１または複数の「部」を実行させることができる。当該プログラムは、コンピュータ１２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、及びＲＡＭ１２１４を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、入力／出力ユニットを含み、それらは入力／出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータ１２００はまた、ＲＯＭ１２３０を含む。ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納してよい。ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／またはコンピュータ１２００のハードウェアに依存するプログラムを格納する。プログラムが、ＣＲ−ＲＯＭ、ＵＳＢメモリまたはＩＣカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるＲＡＭ１２１４、またはＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ１２００の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、またはＵＳＢメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

また、ＣＰＵ１２１２は、ＵＳＢメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ１２００上またはコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ ＵＡＶ
１０２ ＵＡＶ本体
１１０ ＵＡＶ制御部
１１１ 距離範囲決定部
１１２ 距離特定部
１１３ 位置制御部
１１４ 選択部
１１５ 地理的位置特定部
１１６ 推定部
１１７ 地理的領域決定部
１５０ 通信インタフェース
１６０ メモリ
２００ ジンバル
２１０ 回転翼機構
２３０ 撮像装置
２４０ ＧＰＳ受信機
２６０ 磁気コンパス
２７０ 気圧高度計
３００ 撮像装置
３０１ 撮像部
３１０ 撮像制御部
３３０ 撮像素子
３４０ メモリ
４０１ レンズ部
４１０ レンズ制御部
４２０ メモリ
４３０ レンズ駆動部
４３２ レンズ
４３４ 位置センサ
４４０ レンズ駆動部
４４２ レンズ
４４４ 位置センサ
４５０ 絞り駆動部
４５２ 絞り
５００ 対象物
５０２ 合焦位置
５１０ レンズ
５１２ 撮像素子
５１４ 絞り
１２００ コンピュータ
１２１０ ホストコントローラ
１２１２ ＣＰＵ
１２１４ ＲＡＭ
１２２０ 入力／出力コントローラ
１２２２ 通信インタフェース
１２３０ ＲＯＭ

Claims (12)

1. 撮像装置の焦点距離、絞り値、許容錯乱円径、及び被写体距離の少なくとも１つに基づいて、前記撮像装置が撮像する対象物が存在すべき前記撮像装置からの距離範囲を決定する第１決定部と、
   前記撮像装置から前記対象物までの距離を特定する第１特定部と、
   前記距離範囲及び前記距離に基づいて、前記距離範囲内に前記対象物が含まれるように前記撮像装置の位置を制御する制御部と
   を備える制御装置。
2. 前記距離範囲の幅は、前記撮像装置の焦点距離、絞り値、許容錯乱円径、及び被写体距離の少なくとも１つに基づいて定められる前記撮像装置の被写界深度の幅より狭い、請求項１に記載の制御装置。
3. 前記被写体距離は、前記撮像装置のレンズの位置に基づく、請求項１に記載の制御装置。
4. 前記対象物の将来の第１時点における地理的位置を推定する推定部と、
   推定された地理的位置及び前記距離範囲に基づいて、前記撮像装置が前記第１時点に存在すべき地理的領域を決定する第２決定部と
   をさらに備え、
   前記制御部は、前記撮像装置が前記第１時点に前記地理的領域内に存在するように、前記撮像装置の位置を制御する、請求項１に記載の制御装置。
5. 前記撮像装置により撮像された画像の中から予め地理的位置が定められた第１の地点、及び前記対象物を選択する選択部と、
   前記撮像装置により撮像された画像内における前記第１の地点と前記対象物との位置関係、及び前記第１の地点の地理的位置に基づいて、前記対象物の地理的位置を特定する第２特定部と
   をさらに備え、
   前記推定部は、現在までの複数の時点で前記第２特定部により特定された前記対象物の複数の地理的位置に基づいて、前記第１時点における前記対象物の地理的位置を推定する、請求項４に記載の制御装置。
6. 前記制御部は、前記対象物が前記距離範囲内に存在する場合に、前記撮像装置に前記対象物を撮像させる、請求項１に記載の制御装置。
7. 請求項１から６の何れか１つに記載の制御装置、及び前記撮像装置を搭載して移動する移動体。
8. 前記制御部は、前記距離範囲内に前記対象物が含まれるように前記移動体の位置を制御する、請求項７に記載の移動体。
9. 前記制御部は、前記距離範囲内に前記対象物が含まれるように前記移動体に前記対象物を追尾させる、請求項８に移動体。
10. 前記移動体は、無人航空機であり、
    前記制御部は、前記距離範囲内に前記対象物が含まれるように前記無人航空機にホバリングさせる、請求項８に移動体。
11. 撮像装置の焦点距離、絞り値、許容錯乱円径、及び被写体距離の少なくとも１つに基づいて、前記撮像装置が撮像する対象物が存在すべき前記撮像装置からの距離範囲を決定する段階と、
    前記撮像装置から前記対象物までの距離を特定する段階と、
    前記距離範囲及び前記距離に基づいて、前記距離範囲内に前記対象物が含まれるように前記撮像装置の位置を制御する段階と
    を備える制御方法。
12. 撮像装置の焦点距離、絞り値、許容錯乱円径、及び被写体距離の少なくとも１つに基づいて、前記撮像装置が撮像する対象物が存在すべき前記撮像装置からの距離範囲を決定する段階と、
    前記撮像装置から前記対象物までの距離を特定する段階と、
    前記距離範囲及び前記距離に基づいて、前記距離範囲内に前記対象物が含まれるように前記撮像装置の位置を制御する段階と
    をコンピュータに実行させるためのプログラム。

Images