JP7310811B2

JP7310811B2 - 制御装置および方法、並びにプログラム

Info

Publication number: JP7310811B2
Application number: JP2020527376A
Authority: JP
Inventors: 圭祐千田; 拓郎川合
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2018-06-26
Filing date: 2019-06-12
Publication date: 2023-07-19
Anticipated expiration: 2039-06-12
Also published as: WO2020004029A1; CN112335226A; US20210266464A1; JPWO2020004029A1

Description

本技術は、制御装置および方法、並びにプログラムに関し、特に、最適な撮影条件で撮影することができるようにした制御装置および方法、並びにプログラムに関する。

地図の作成用の航空写真などを、ドローンを用いて撮影する場合、撮影計画を事前に決める必要がある。従来、所望の撮影解像度と撮影エリアを指定することで、最短の経路と撮影箇所が算出される提案があった。

特許文献１には、ドローン搭載用のカメラユニットとして、土地の状況をマッピングするカメラユニットが提案されている。

特開２０１７－１５７０４号公報

風や障害物、逆光などの外乱により計画通りに撮影できない場合の対応が困難であった。このような場合、撮影し直したり、撮影時に有人のモニタリングをしたりすることが必要であった。

本技術はこのような状況に鑑みてなされたものであり、最適な撮影条件で撮影することができるようにするものである。

本技術の一側面の制御装置は、移動体に備えられた撮影装置により撮影された画像の解析結果に基づいて、予め設定された撮影条件を修正する制御部と、修正された前記撮影条件に基づいて前記移動体の駆動を制御する駆動制御部とを備え、前記制御部は、前記画像の周波数成分またはぶれ量の解析結果に基づいて前記撮影条件を修正し、前記駆動制御部は、前記画像の周波数成分の解析結果に基づいて前記撮影条件が修正された場合、修正された前記撮影条件に基づいて前記移動体の撮影高度または前記移動体の撮影間隔を変更し、前記画像のぶれ量の解析結果に基づいて前記撮影条件が修正された場合、修正された前記撮影条件に基づいて前記移動体の速度を変更する。

本技術の一側面においては、移動体に備えられた撮影装置により撮影された画像の解析結果に基づいて撮影条件が修正され、修正された前記撮影条件に基づいて前記移動体の駆動が制御される。そして、前記画像の周波数成分またはぶれ量の解析結果に基づいて前記撮影条件が修正され、前記画像の周波数成分の解析結果に基づいて前記撮影条件が修正された場合、修正された前記撮影条件に基づいて前記移動体の撮影高度または前記移動体の撮影間隔が変更され、前記画像のぶれ量の解析結果に基づいて前記撮影条件が修正された場合、修正された前記撮影条件に基づいて前記移動体の速度が変更される。

本技術によれば、最適な撮影条件で撮影することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した移動体制御システムを示す図である。撮影処理の流れを説明する図である。撮影条件の詳細な例を示す図である。撮影範囲と撮影経路の例を示す図である。撮影箇所、撮影間隔、撮影高度、移動速度の例を示す図である。オーバラップ量の例を示す図である。移動体の構成例を示すブロック図である。撮影画像の帯域を解析することで、撮影高度を修正する例を示す図である。図８の制御処理について説明するフローチャートである。撮影画像の帯域と撮影高度の関係の例を示す図である。撮影画像の帯域を解析することで、オーバラップ量を修正する例を示す図である。シャッタ１回でのレンズに取り込まれる範囲を模式的に示す図である。シャッタの連続する複数回でのレンズに取り込まれる範囲を模式的に示す図である。図１１の制御処理について説明するフローチャートである。撮影画像の帯域とオーバラップ量の関係の例を示す図である。撮影画像のぶれ量を解析することで、移動速度を修正する例を示す図である。図１６の制御処理について説明するフローチャートである。画像のぶれ量と移動速度の関係の例を示す図である。撮影画像の撮影成否を判定することで、撮影経路を修正する例を示す図である。図１９の制御処理について説明するフローチャートである。移動体の残電力を解析することで、撮影高度または移動速度を修正する例を示す図である。図２１の制御処理について説明するフローチャートである。撮影画像の帯域と撮影高度の関係を示す図である。撮影完了時の残電力予測量と補正量の関係を示す図である。本技術を適用した移動体制御システムの他の例を示すブロック図である。２つの移動体の電力を解析することで、撮影範囲を修正する例を示す図である。図２６の制御処理について説明するフローチャートである。２つの移動体の撮影完了時の残電力予測量の関係を示す図である。コンピュータの構成例を示す図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（移動体）
２．第２の実施の形態（移動体＋制御装置）
３．コンピュータ

＜１．第１の実施の形態＞
＜移動体制御システムの例＞
図１は、本技術を適用した移動体制御システムを示す図である。

図１に示されるように、移動体制御システム１には、カメラなどの撮影部２１を有する移動体１１が含まれる。図１に示す移動体１１は、無人飛行が可能な航空機であるいわゆるドローンである。ロボット、車、台車などの、自律的に移動が可能な移動体が移動体１１として用いられるようにしてもよい。

移動体１１を用いてある地域を撮影する場合、撮影計画を事前に決める必要がある。移動体１１においては、ユーザが、所望の撮影解像度と撮影エリアを指定することで、経路や撮影箇所などの撮影条件が設定される。

移動体１１は、設定された撮影条件に基づいて移動しながら、撮影部２１を制御して被写体を撮影する。

また、移動体１１は、撮影部２１により撮影された画像の解析結果に基づいて、事前に設定された撮影条件を修正する。移動体１１においては、修正された撮影条件に基づいて、移動や撮影タイミングが制御される。

＜撮影処理の流れ＞
図２を参照して、撮影処理の流れを説明する。

図２のＡには、従来の移動体の撮影処理の流れが簡易的に示されている。

図２のＡの例においては、撮影前に撮影条件が作成され、その後、矢印＃１の先に示すように、作成された撮影条件に基づいて撮影が行われる。撮影終了後、矢印＃２の先に示すように、撮影画像が例えばPCなどに取り込まれることによって取得され、矢印＃３の先に示すように画像合成が行われることによって高解像度画像が生成される。また、矢印＃４の先に示すように画像認識が行われることによって、移動体の制御が行われる。

このように、従来においては、移動体は、予め設定された撮影条件通りに撮影することしかできない。したがって、例えば、風や障害物、逆光などの外乱により、条件通りに撮影できない場合、撮影し直したり、有人のモニタリングをしたりする必要があった。

図２のＢには、図１の移動体制御システム１における撮影処理の流れが簡易的に示されている。

図２のＢの例においては、撮影前に撮影条件が作成され、その後、矢印＃１１の先に示すように、作成された撮影条件に基づいて撮影が行われる。

撮影終了後、矢印＃１２の先に示すように、撮影画像が例えばPCなどに取り込まれることによって取得され、矢印＃１３の先に示すように画像合成が行われることによって高解像度画像が生成される。また、矢印＃１４の先に示すように画像認識が行われることによって、移動体の制御が行われる。

ここまでは、図２のＡに示す撮影処理の流れと同様であるが、移動体制御システム１においては、矢印＃１５の先に示すように、撮影終了前に、撮影された画像の解析が行われる。また、解析結果に基づいて、矢印＃１６の先に示すように撮影条件が修正される。撮影条件の修正後、修正された撮影条件に基づいて撮影が行われる。

撮影条件に応じた撮影、撮影された画像の解析、画像の解析結果に基づく撮影条件の修正が、撮影終了までの間、ユーザの操作によらずに自動的に繰り返される。

これにより、移動体制御システム１においては、撮影し直すことなく、撮影するときの状況に応じた撮影条件での撮影を行うことができる。

＜撮影条件の詳細＞
図３は、撮影条件の例を示す図である。

図３に示されるように、撮影条件には、移動体に関する６つの撮影条件と、カメラに関する２つの撮影条件がある。

移動体に関する撮影条件には、例えば、撮影高度、撮影範囲、撮影経路、撮影箇所、撮影時移動速度、およびオーバラップ量（サイドオーバラップ量）がある。

撮影高度は、地面（標準面）からの撮影（飛行）高さである。

撮影範囲は、撮影対象範囲（面積）である。

撮影経路は、飛行順序である。撮影経路は、通常、撮影範囲を一筆書きで網羅するように設定される。

撮影箇所は、撮影時のシャッタを開閉している間に移動体が存在している位置である。

撮影時移動速度は、撮影時の移動体の移動速度または飛行速度である。撮影時移動速度が速いと撮影結果がぶれてしまう可能性がある。なお、撮影時移動速度を、以下、移動速度と称する。

オーバラップ量は、移動体が直進するときの合成する画像の重なり範囲の量である。サイドオーバラップ量は、移動体が曲がるときの合成する画像の重なり範囲の量である。オーバラップ量およびサイドオーバラップ量は、シャッタ１回の撮影範囲に対してどのくらい重なるかという割合で表される。

カメラに関する撮影条件には、例えば、撮影画像保存解像度と撮影露光時間がある。

撮影画像保存解像度は、撮影画像を保存する際の単位面積当たりのピクセル数である。撮影画像保存解像度が大きいほど、精細な物体が描写できる。

撮影露光時間は、１回の撮影のシャッタ開閉時間である。撮影露光時間が長ければ明るく撮影できるが、ぶれやすい。

図４は、撮影条件としての撮影範囲と撮影経路の例を示す図である。

図４には、ある範囲の地図または航空写真が示されている。図３の撮影条件としての撮影範囲は、破線で囲む範囲で表される。図３の撮影条件としての撮影経路は、撮影範囲とその縁近傍を一筆書きで繋ぐ実線で表される。

図５は、撮影条件としての撮影箇所、撮影間隔、撮影高度、移動速度の例を示す図である。

図５には、移動体１１が地面を撮影している様子が示されている。図５において、シャッタ１回の撮影範囲は、三角形の底辺で表される。図４を参照して説明した撮影範囲の撮影を行う場合、複数回の撮影が行われる。

また、図３の撮影条件における撮影箇所は、三角形の頂点にある黒丸で表される。撮影間隔は、黒丸と黒丸の間で表される。図３の撮影条件における撮影高度は、移動体１１から地面までの矢印で表される。図３の撮影条件における移動速度は、移動体１１から右を差す矢印で表される。

図６は、オーバラップ量の例を示す図である。

図６のＡの破線矢印で示すように上方向に移動しながら、一点鎖線で示される画像Ｉ１と破線で示される画像Ｉ２の撮影が行われた場合、画像Ｉ１と画像Ｉ２の重複する量がオーバラップ量となる。

図６のＢの破線矢印で示すように上方向、左方向、左方向に移動しながら一点鎖線で示される画像Ｉ１１と破線で示される画像Ｉ１２の撮影が行われた場合、画像Ｉ１１と画像Ｉ１２の重複する量がサイドオーバラップ量となる。

＜移動体の構成例＞
図７は、移動体の構成例を示すブロック図である。

移動体１１は、電力供給部５１および動作部５２により構成される。

電力供給部５１は、電池と電力を供給する回路などにより構成される。電力供給部５１は、動作部５２に対して電力を供給する。また、電力供給部５１は、残電力情報などの情報を動作部５２に出力する。残電力情報により、計測が行われたタイミングにおける電池の残電力量が表される。

動作部５２は、上述した撮影部２１の他に、制御部６１、センシング部６２、駆動制御部６３、および解析部６４により構成される。動作部５２の各部は、電力供給部５１から供給された電力によって動作する。

撮影部２１は、制御部６１から供給された撮影指示に基づいて撮影を行う。撮影部２１は、撮影によって得られた撮影画像を解析部６４に出力する。

制御部６１は、CPU、ROM、RAMなどにより構成され、所定のプログラムを実行することにより移動体１１の全体の動作を制御する。制御部６１は、ユーザからの入力に基づいて、移動体１１の撮影条件を作成し、内部のメモリに記憶する。

また、制御部６１は、撮影部２１により撮影された画像の解析結果に基づいて、予め設定された撮影条件を修正する。

具体的には、制御部６１は、解析部６４から供給された解析結果に基づいて、撮影条件を修正するための撮影条件の修正値を算出する。制御部６１は、算出した修正値に基づいて撮影条件を修正し、修正した撮影条件を駆動制御部６３に出力する。このような方法により、例えば、撮影条件のうち、撮影高度、撮影速度、オーバラップ量、撮影経路、および撮影範囲が修正される。

また、制御部６１は、電力供給部５１から供給された残電力情報に基づいて、全撮影終了時の残電力予測量を算出する。制御部６１は、算出した残電力予測量にも基づいて、撮影条件を修正する。

センシング部６２は、高度、姿勢、速度などを検出する各種のセンサからなる。センシング部６２は、高度、姿勢、速度などの検出結果を表すセンシング情報を駆動制御部６３に出力する。

駆動制御部６３は、修正された撮影条件に基づいて移動体１１の駆動を制御する。例えば、駆動制御部６３は、撮影条件に基づいてモータなどを駆動させ、移動体１１を所望の位置に移動させる。また、駆動制御部６３は、移動体１１が撮影条件どおりの動作をしていない場合、センシング部６２から供給されたセンシング情報を用いて、モータなどの駆動を補正する。

解析部６４は、撮影部２１から供給された撮影画像を解析し、特徴量などの解析結果を制御部６１に出力する。解析は、リアルタイムに行われる。

＜帯域の解析による撮影高度の修正＞
図８は、撮影画像の帯域を解析することで、撮影高度を修正する例を示す図である。

撮影画像の帯域の解析は、撮影画像の空間周波数として、例えば、どの周波数成分が多いかを解析するようにして行われる。撮影画像が低帯域であることは、低い周波数成分が多い、なだらかな画像であることを意味し、撮影画像が高帯域であることは、高い周波数成分が多い、細かい画像であることを意味する。

移動体１１による撮影が、撮影高度Ｈ、１回の撮影範囲Ｗ、撮影間隔Ｐで行われているものとする。

図８のＡに示されるように、撮影画像の帯域の解析結果が低帯域である場合、移動体１１においては、撮影高度を、撮影高度Ｈ１（＞Ｈ）に上げるように修正される。

撮影高度が撮影高度Ｈ１に上がった場合、撮影画像は、撮影高度Ｈの場合の画像よりも、細かさが表現できない、低い解像性を有する画像となる。その反面、１回に撮影できる撮影範囲Ｗ１（＞Ｗ）が広くなるため、撮影箇所の間隔Ｐ１も広くなる。また、撮影シャッタ回数が少なくなり、撮影に要する時間が短くなる。

一方、図８のＢに示されるように、撮影画像の帯域の解析結果が高帯域である場合、移動体１１においては、撮影高度を、撮影高度Ｈ２（＜Ｈ）に下げるように修正される。

撮影高度が撮影高度Ｈ２に下がった場合、撮影画像は、撮影高度Ｈの場合の画像よりも、より細かく表現可能な、高い解像性を有する画像となる。その反面、１回に撮影できる撮影範囲Ｗ２（＜Ｗ）が狭くなる。また、撮影シャッタ回数が多くなり、撮影に要する時間が長くなる。

以上のように、撮影画像の帯域、すなわち、被写体の細かさに応じて撮影高度を修正し、修正後の撮影高度で制御することにより、適切な品質での撮影が可能となる。

なお、帯域の解析に用いる撮影画像の具体的な範囲と帯域の解析方法については、以下が考えられる。
(a)シャッタ１回の撮影画像の全体を解析に用いる。
(b)シャッタ１回の撮影画像の非オーバラップ部分のみを解析に用いる。
(c-1)画像認識技術を用いて、予め設定した特定の被写体を認識し、特定の被写体の写っている範囲のみを解析に用いる。
(c-2)設定した特定の被写体が映っていれば、範囲と帯域によらず、撮影高度を下げるという動作でもよい。

(a)の場合、画素値の急激な変化が平滑化されるので、安定した制御を行うことができる。

撮影画像のオーバラップ部分は重なってしまうことから、実際に撮影画像として用いられない可能性があるが、(b)の場合の非オーバラップ部分は、実際に撮影画像として用いる画像箇所を限定するので、精度が高い。

なお、(c-2)の逆で、特定の被写体が認識不能だった場合、細かく撮影を行うために高度を下げるという制御が行われるようにしてもよい。

次に、図９のフローチャートを参照して、移動体制御システム１による図８の制御処理について説明する。

ステップＳ１１において、制御部６１は、撮影高度を設定する。

ステップＳ１２において、駆動制御部６３は、飛行・撮影を開始する。

ステップＳ１３において、撮影部２１は、シャッタ１回の撮影を行う。撮影部２１は、撮影により得られた撮影画像を解析部６４に出力する。

ステップＳ１４において、制御部６１は、全撮影範囲での撮影が完了したか否かを判定する。ステップＳ１４において、全撮影範囲での撮影が完了していないと判定された場合、処理はステップＳ１５に進む。

ステップＳ１５において、解析部６４は、撮影画像の帯域を解析する。解析部６４は、撮影画像の帯域の解析結果を制御部６１に出力する。

ステップＳ１６において、制御部６１は、解析結果に基づいて、撮影高度を修正するための修正値を算出する。撮影高度の修正値は、図１０に示されるようなグラフを用いて算出される。

図１０には、撮影画像の帯域と撮影高度の関係が示されている。図１０に示すように、撮影画像の帯域が高帯域になるにつれて、撮影高度が低くなる。例えば、ユーザにより予め設定された図１０に示すような関係を表す情報が、制御部６１のメモリに記憶されている。

制御部６１は、撮影画像の帯域の解析結果に応じた修正値に基づいて撮影高度を修正し、修正した撮影高度を駆動制御部６３に出力する。

ステップＳ１７において、駆動制御部６３は、制御部６１から供給された修正後の撮影高度に基づいて撮影高度を変更する。

一方、ステップＳ１４において、全撮影範囲での撮影が完了したと判定された場合、制御処理は終了される。

＜帯域の解析によるオーバラップ量の修正＞
図１１は、撮影画像の帯域を解析することで、オーバラップ量を修正する例を示す図である。

移動体１１による撮影が、１回の撮影範囲Ｗ、オーバラップ量Ｒ、撮影間隔Ｐで行われている。

図１１のＡに示されるように、撮影画像の帯域の解析結果が低帯域である場合、移動体１１においては、オーバラップ量Ｒを、オーバラップ量Ｒ３（＜Ｒ）に減らすように修正される。なお、図１１のＡの場合、オーバラップ量Ｒ３はほぼ０である。

オーバラップ量を減らすことは、撮影間隔を広げることと同じである。図１１のＡでは、撮影間隔を撮影間隔Ｐ３（＞Ｐ）に広げるように修正される。

オーバラップ量がオーバラップ量Ｒ３に減った場合、撮影画像は、細かさが表現できない、低い解像性を有する画像となる。その反面、撮影箇所の間隔Ｐ３も広くなる。また、撮影シャッタ回数が少なくなり、撮影に要する時間が短くなる。

一方、図１１のＢに示されるように、撮影画像の帯域の解析結果が高帯域であった場合、移動体１１においては、オーバラップ量を、オーバラップ量Ｒ４（＞Ｒ）に増やすように修正される。

オーバラップ量を増やすことは、撮影間隔を狭くすることと同じであるので、図１１のＢでは、撮影間隔を撮影間隔Ｐ４（＞Ｐ）に狭くするように制御される。

オーバラップ量が、オーバラップ量Ｒ４に増した場合、撮影画像は、より細かく表現可能な高い解像性を有する画像となる。その反面、撮影箇所の間隔Ｐ４も広くなり、撮影シャッタ回数が多くなり、撮影に要する時間が長くなる。

以上のように、撮影画像の帯域、すなわち、被写体の細かさに応じてオーバラップ量を修正し、修正後のオーバラップ量に基づいて位置制御することにより、適切な品質での撮影が可能となる。

図１２は、シャッタ１回でのレンズに取り込まれる範囲を模式的に示す図である。

図１２の実線の円は、シャッタ１回でのレンズに取り込まれる範囲を示しており、破線の円は、撮影画像の中心点Ｃに近い領域を示している。

一般的に、撮影解像度は、中心点に近い領域においては高くなる。破線の円に示されるように、撮影画像の中心点Ｃに近い領域においては、撮影解像度が高く、端に向かうにつれて低下する。なお、撮影解像度の低下の程度はレンズ特性によって異なる。

図１３は、シャッタの連続する複数回でのレンズに取り込まれる範囲を模式的に示す図である。

図１３には、シャッタの連続する複数回でのレンズに取り込まれる範囲のオーバラップ領域が示されている。

図１３のＡに示されるように、オーバラップ領域のオーバラップ量Ｒ５が小さい場合、実際に出力する撮影画像として、撮影解像度の低い領域も使用しなければならない。

これに対して、図１３のＢに示されるように、オーバラップ領域のオーバラップ量Ｒ６が大きい場合、実際に出力する撮影画像として、撮影解像度の高い領域を使用することになる。

このように、オーバラップ量が大きいほど、品質のよい撮影画像を得ることができる。

次に、図１４のフローチャートを参照して、移動体制御システム１による図１１の制御処理について説明する。

ステップＳ２１において、制御部６１は、オーバラップ量を設定する。

ステップＳ２２において、駆動制御部６３は、飛行・撮影を開始する。

ステップＳ２３において、撮影部２１は、シャッタ１回の撮影を行う。撮影部２１は、撮影により得られた撮影画像を、解析部６４に出力する。

ステップＳ２４において、制御部６１は、全撮影範囲での撮影が完了したか否かを判定する。ステップＳ２４において、全撮影範囲での撮影が完了していないと判定された場合、処理は、ステップＳ２５に進む。

ステップＳ２５において、解析部６４は、撮影画像の帯域を解析する。解析部６４は、撮影画像の帯域の解析結果を制御部６１に出力する。

ステップＳ２６において、制御部６１は、解析結果に基づいて、オーバラップ量を修正するための修正値を算出する。オーバラップ量の修正値は、図１５に示されるようなグラフを用いて算出される。

図１５には、撮影画像の帯域とオーバラップ量の関係が示されている。図１５に示すように、撮影画像の帯域が高帯域になるにつれて、オーバラップ量が大きくなる。例えば、ユーザにより予め設定された図１５に示すような関係を表す情報が、制御部６１のメモリに記憶されている。

制御部６１は、撮影画像の帯域の解析結果に応じた修正値に基づいて、オーバラップ量を修正し、修正したオーバラップ量を駆動制御部６３に出力する。

ステップＳ２７において、駆動制御部６３は、制御部６１から供給された修正後のオーバラップ量に基づいてオーバラップ量を変更する。

一方、ステップＳ２４において、全撮影範囲での撮影が完了したと判定された場合、制御処理は終了される。

＜撮影画像のぶれ量の解析による移動速度の修正＞
図１６は、撮影画像のぶれ量を解析することで、移動速度を修正する例を示す図である。

撮影画像にぶれが発生しやすい条件としては、明るさが暗いとき、飛行時の風の強いとき、撮影部を構成するカメラの絞りを小さくしているとき（被写体深度を深くする）などがあげられる。

移動体１１が移動速度Ｖで移動しているものとする。

図１６のＡに示されるように、撮影画像のぶれ量が所定の閾値より大きく、解析結果がぶれありとされる場合、移動体１１においては、移動速度を、移動速度Ｖ１（＜Ｖ）に下げるように修正される。

移動速度が移動速度Ｖ１に下がった場合、ぶれが少ない撮影が可能になる。その反面、移動速度が遅くなるため、撮影に要する時間が長くなる。

一方、図１６のＢに示されるように、移動速度Ｖで撮影している移動体１１による撮影画像のぶれ量が所定の閾値より小さく、解析結果がぶれなしとされる場合、移動体１１においては、移動速度を、移動速度Ｖ２（＞Ｖ）に上げるように修正される。

移動速度が移動速度Ｖ２に上がった場合、ぶれが少ない状態で、移動速度が速くなるため、撮影に要する時間を短くすることができる。その反面、ぶれが生じやすくなってしまう。

以上のように、撮影画像のぶれの量に応じて移動速度を修正し、修正後の移動速度に基づいて移動体１１を制御することにより、適切な品質での撮影が可能となる。

次に、図１７のフローチャートを参照して、移動体制御システム１による図１６の制御処理について説明する。

ステップＳ４１において、制御部６１は、撮影速度を設定する。

ステップＳ４２において、駆動制御部６３は、飛行・撮影を開始する。

ステップＳ４３において、撮影部２１は、シャッタ１回の撮影を行う。撮影部２１は、撮影により得られた撮影画像を、解析部６４に出力する。

ステップＳ４４において、制御部６１は、全撮影範囲での撮影が完了したか否かを判定する。ステップＳ４４において、全撮影範囲での撮影が完了していないと判定された場合、処理は、ステップＳ４５に進む。

ステップＳ４５において、解析部６４は、撮影画像のぶれ量を、所定の閾値と比較することで解析する。解析部６４は、撮影画像のぶれ量の解析結果を、制御部６１に出力する。

ステップＳ４６において、制御部６１は、解析結果に基づいて、撮影速度を修正するための修正値を算出する。撮影速度の修正値は、図１８に示されるようなグラフを用いて算出される。

図１８には、画像のぶれ量と移動速度の関係が示されている。図１８に示すように、撮影画像のぶれ量が大きくなるにつれて、移動速度が遅くなる。例えば、ユーザにより予め設定された図１８に示すような関係を表す情報が、制御部６１のメモリに記憶されている。

制御部６１は、撮影画像のぶれ量の解析結果に応じた修正値に基づいて移動速度を修正し、修正した移動速度を駆動制御部６３に出力する。

ステップＳ４７において、駆動制御部６３は、制御部６１から供給された修正後の移動速度に基づいて移動速度を変更する。

一方、ステップＳ４４において、全撮影範囲での撮影が完了したと判定された場合、制御処理は終了される。

＜撮影画像の撮影成否判定による撮影経路の修正＞
図１９は、撮影画像の撮影成否を判定することで、撮影経路を修正する例を示す図である。

撮影画像の撮影成否判定では、例えば、撮影画像のぶれ量が所定の閾値を超えた場合などに判定結果が撮影失敗とされる。撮影画像のぶれ量が所定の閾値を超えていない場合、判定結果が撮影成功となる。

図１９のＡに示されるように、撮影画像の撮影成否判定の結果が撮影失敗であった場合、移動体１１は、１つ前の撮影箇所に戻って再撮影するように撮影経路が修正される。このとき、撮影高度は変化しない。なお、１つ前の撮影箇所に限らず、２つ前の撮影箇所に戻るようにしてもよい。

一方、図１９のＢに示されるように、撮影画像の撮影成否判定の結果が撮影成功であった場合、撮影条件に沿った撮影経路での撮影が継続される。

以上のように、撮影画像の撮影成否判定の結果が、撮影失敗の場合、撮影経路を修正し、移動体１１を、１つ前の撮影箇所まで戻り撮影し直すように制御する。これにより、全撮影終了後に撮影を失敗した箇所を再撮影していた従来と比して、撮影にかかる時間を短縮することができる。

次に、図２０のフローチャートを参照して、移動体制御システム１による図１９の制御処理について説明する。

ステップＳ６１において、制御部６１は、撮影経路を設定する。

ステップＳ６２において、駆動制御部６３は、飛行・撮影を開始する。

ステップＳ６３において、撮影部２１は、シャッタ１回の撮影を行う。撮影部２１は、撮影により得られた撮影画像を、解析部６４に出力する。

ステップＳ６４において、制御部６１は、全撮影範囲での撮影が完了したか否かを判定する。ステップＳ６４において、全撮影範囲での撮影が完了していないと判定された場合、処理は、ステップＳ６５に進む。

ステップＳ６５において、解析部６４は、撮影画像を解析する。解析部６４は、撮影画像の解析結果を、制御部６１に出力する。

ステップＳ６６において、制御部６１は、解析結果に基づいて、撮影が成功したか否かを判定する、撮影画像の撮影成否判定を行う。ステップＳ６６において、撮影が成功したと判定された場合、ステップＳ６３に戻り、それ以降の処理が繰り返される。

ステップＳ６６において、撮影が失敗したと判定された場合、ステップＳ６７に進む。

制御部６１は、１つ前の撮影箇所への経路を含むように修正されている撮影経路の修正値で、撮影条件の撮影経路を修正し、修正した撮影経路を駆動制御部６３に出力する。

ステップＳ６７において、駆動制御部６３は、制御部６１から供給された修正後の撮影経路に基づいて１つ前の撮影箇所に行き先（撮影経路）を変更して移動し、撮影を行う。

＜残電力の解析による撮影高度の修正＞
図２１は、移動体の残電力を解析することで、撮影高度または移動速度を修正する例を示す図である。

例えば、撮影画像の帯域の解析結果が低帯域であった場合、移動体１１においては、撮影高度を、撮影高度Ｈでの移動を続けるように同じ値の撮影高度が算出される。撮影高度を変更する場合には、撮影高度の修正値が算出される。

その際、残電力の予測が行われる。撮影終了までの電力が足りると予測されたとき、算出した撮影高度に基づく制御が行われる。一方、撮影終了までの電力が足りないと予測されたとき、算出された撮影高度よりも電力を用いない撮影高度、例えば、撮影高度Ｈ３（＝１／２Ｈ）に補正される。

移動速度の場合も同様に修正、補正される。

以上のように、残電力に基づいて、撮影高度または撮影高度の修正値を補正するようにした。これにより、残電力を効率よく使用して、最後まで撮影を行うことができる。

次に、図２２のフローチャートを参照して、移動体制御システム１による図２１の制御処理について説明する。

なお、図２２のステップＳ８１乃至Ｓ８５の処理は、図９のステップＳ１１乃至Ｓ１５の処理と同様の処理である。重複する説明については適宜省略する。

ステップＳ８６において、制御部６１は、撮影画像の帯域の解析結果に基づいて、撮影高度の修正値を算出する。撮影高度の修正値は、図２３に示されるようなグラフを用いて算出される。

図２３には、撮影画像の帯域と撮影高度の関係が示されている。図２３の例においては、撮影画像の帯域が、低帯域、中帯域、高帯域の３つの範囲に区切られている。低帯域の範囲においては、低帯域になるにつれて撮影高度が高くなる。中帯域の範囲においては、撮影高度は一定である。高帯域の範囲においては、高帯域になるにつれて撮影高度が低くなる。ユーザにより予め設定された図２３に示すような関係を表す情報が、制御部６１のメモリに記憶されている。

ステップＳ８７において、制御部６１は、残電力を予測する。

ステップＳ８８において、制御部６１は、残電力予測量に基づいて、撮影高度の修正値を補正する。撮影高度の修正値の補正は、例えば、修正値に補正量を乗算することで行われる。補正量は、図２４に示されるようなグラフを用いて算出される。

図２４には、撮影完了時の残電力予測量と補正量の関係が示されている。

図２４のグラフに示されるように、撮影完了時の残電力予測量が所定の電力量を表す値α以上ある場合、補正量は1.0とされる。また、撮影完了時の残電力予測量が値αより少ない場合、残電力予測量に応じて補正量も0に近づくものとされる。図２４に示すような関係を表す情報が、制御部６１のメモリに記憶されている。

制御部６１は、撮影画像の帯域の解析結果に応じた撮影高度の修正値に補正量を乗算して、撮影条件の撮影高度を修正し、修正した撮影高度を駆動制御部６３に出力する。

ステップＳ８９において、駆動制御部６３は、制御部６１から供給された修正後の撮影高度に基づいて撮影高度を変更する。

一方、ステップＳ８４において、全撮影範囲での撮影が完了したと判定された場合、制御処理は終了される。

＜２．第２の実施の形態＞
以上においては、移動体制御システムが移動体単体から構成される場合について説明したが、移動体制御システムが、移動体と、解析部および制御部を備えた制御装置とから構成されるようにしてもよい。

＜移動体と制御装置からなる移動体制御システムの例＞
図２５は、本技術を適用した移動体制御システムの他の例を示すブロック図である。

図２５に示されるように、移動体制御システム１０１は、移動体１１１および制御装置１１２から構成される。なお、図７と対応する部分には同じ符号が付けられる。

図２５の移動体制御システム１０１の構成は、制御部６１および解析部６４が制御装置１１２に設けられる点で、図７の構成と異なる。すなわち、移動体の制御が移動体により自律的に行われるのではなく、外部の装置である制御装置１１２により行われる。

また、図２５の移動体制御システム１０１においては、移動体１１１および制御装置１１２に、それぞれ、受信部および送信部が設けられる。移動体１１１と制御装置１１２の間では、無線通信などにより、撮影条件の伝送が随時行われる。なお、ある程度の伝送インターバルはあってもよいが、その場合、遅延が起こり、制御の精度が低下する恐れがある。

具体的には、移動体１１１は、図１の移動体１１と同様に、撮影部２１を有するドローンやロボット、車、台車などからなる。

移動体１１１は、電力供給部５１および動作部１２１より構成される。

動作部１２１は、上述した撮影部２１、センシング部６２、駆動制御部６３の他に、送信部１３１および受信部１３２より構成される。動作部１２１の各部は、電力供給部５１から供給された電力によって動作する。

送信部１３１は、撮影部２１から供給された撮影画像と、電力供給部５１から供給された残電力情報などの情報を、制御装置１１２に送信する。

受信部１３２は、制御装置１１２から送信されてくる撮影条件を受信し、駆動制御部６３に出力する。受信部１３２は、制御装置１１２から送信されてくる撮影指示を受信し、撮影部２１に出力する。

制御装置１１２は、パーソナルコンピュータ、タブレット端末、スマートフォンなどで構成される。制御装置１１２は、図９の制御部６１および解析部６４、受信部１４１、並びに送信部１４２により構成される。

受信部１４１は、移動体１１１から送信されてくる撮影画像および残電力情報を受信し、解析部６４に出力する。

送信部１４２は、制御部６１から供給された撮影指示と、制御部６１から供給された撮影条件などの情報を移動体１１１に送信する。

このような構成を有する移動体制御システムにおいて、上述したような撮影条件の修正が制御装置１１２により行われる。

＜２つの移動体の残電力による撮影範囲の修正＞
図２６は、２つの移動体の残電力を解析することで、撮影範囲を修正する例を示す図である。

２つの移動体１１１Ａおよび移動体１１１Ｂで全撮影範囲を撮影する。移動体１１１Ａおよび移動体１１１Ｂは、図２５の移動体１１１の構成と同様の構成である。撮影前の撮影条件では、移動体１１１Ａの撮影範囲の大きさと移動体１１１Ｂの撮影範囲の大きさは略同じである。

制御装置１１２は、移動体１１１Ａと移動体１１１Ｂからの撮影画像を解析して、撮影画像の解析結果に基づいて、撮影高度や撮影速度の修正値を算出する。また、制御装置１１２は、移動体１１１Ａと移動体１１１Ｂからの残電力情報に基づいて、撮影完了時の残電力を予測する。

移動体１１１Ａの残電力が不足する場合、図２６の白抜き矢印に示されるように、制御装置１１２は、移動体１１１Ａの撮影範囲の一部を減らした撮影範囲の修正値を算出する。制御装置１１２は、算出した撮影範囲の修正値で、撮影条件の撮影範囲を修正し、修正した撮影範囲を移動体１１１Ａに送信する。

また、制御装置１１２は、移動体１１１Ｂの撮影範囲の一部を増やした撮影範囲の修正値を算出する。制御装置１１２は、算出した撮影範囲の修正値で、撮影条件の撮影範囲を修正し、修正した撮影範囲を移動体１１１Ｂに送信する。

移動体１１１Ａの撮影範囲の一部を移動体１１１Ｂに受け渡すように撮影範囲の修正を行うことで、残電力を効率よく使用して、最後まで撮影を行うことができる。

次に、図２７のフローチャートを参照して、移動体制御システム１０１による図２６の制御処理について説明する。

ステップＳ１１１において、制御部６１は、移動体１１１Ａおよび移動体１１１Ｂの撮影範囲を設定する。

ステップＳ１１２において、駆動制御部６３は、飛行・撮影を開始する。

ステップＳ１１３において、撮影部２１は、シャッタ１回の撮影を行う。撮影部２１は、撮影により得られた撮影画像を、解析部６４に出力する。

ステップＳ１１４において、制御部６１は、移動体１１１Ａおよび移動体１１１Ｂのそれぞれが担当の撮影範囲での撮影が完了したか否かを判定する。ステップＳ１１４において、担当の撮影範囲での撮影が完了していないと判定された場合、処理は、ステップＳ１１５に進む。

ステップＳ１１５において、解析部６４は、撮影画像を解析する。解析部６４は、撮影画像の解析結果を、制御部６１に出力する。

ステップＳ１１６において、制御部６１は、解析結果に基づいて、移動体１１１Ａおよび移動体１１１Ｂの制御を行う。例えば、撮影条件のうち、撮影高度、移動速度、オーバラップ量などが、上述したように制御される。

ステップＳ１１７において、制御部６１は、制御装置１１２は、移動体１１１Ａと移動体１１１Ｂからの残電力情報に基づいて、残電力を予測する。

ステップＳ１１８において、制御部６１は、移動体１１１Ａおよび移動体１１１Ｂの予測した残電力を示す情報である残電力予測量に基づいて、撮影範囲の修正値を算出する。撮影範囲の修正値は、各移動体１１１Ａおよび移動体１１１Ｂへの撮影範囲の割り当ての増減に基づいて算出される。

割り当ての増減は、図２８に示されるようなグラフを用いて求められる。

図２８には、移動体１１１Ａの撮影完了時の残電力予測量と移動体１１１Ｂの撮影完了時の残電力予測量の関係が示されている。

図２８に示すように、移動体１１１Ａの残電力予測量がプラスで、移動体１１１Ｂの残電力予測量がマイナスの場合、移動体１１１Ａへの割り当てが増やされる。また、移動体１１１Ａの残電力予測量がマイナスで、移動体１１１Ｂの残電力予測量がプラスの場合、移動体１１１Ａへの割り当てが減らされる。ユーザにより予め設定された図２８に示すような関係を表す情報が、制御部６１のメモリに記憶されている。

制御部６１は、残電力予測量に基づいて算出された撮影範囲の修正値で、移動体１１１Ａと移動体１１１Ｂの撮影条件の撮影範囲をそれぞれ修正する。

ステップＳ１１９において、制御部６１は、修正された撮影範囲を、移動体１１１Ａおよび移動体１１１Ｂにそれぞれ送信することで、移動体１１１Ａおよび移動体１１１Ｂの駆動制御部６３に撮影範囲を変更させる。

その後、ステップＳ１１３に戻り、それ以降の処理が繰り返される。

なお、図２７においては、図２６の制御方法を、図２５の移動体制御システム１０１が行う例を説明したが、図１の移動体制御システム１が行うことも可能である。

また、上記説明において、図１の移動体制御システム１が行う例を説明した図８、図１１、図１６、図１９、図２１の各制御方法は、図２５の移動体制御システム１０１により行われるようにしてもよい。

また、上記説明においては、移動体の撮影により２次元平面画像を取得することを前提としているが、本技術は、３次元モデル画像撮影を行う場合にも適用できる。

以上のように、本技術においては、移動体に備えられた撮影装置により撮影された画像の解析結果から予め設定された撮影条件が修正され、修正された撮影条件に基づいて移動体の駆動が制御される。

これにより、撮影し直すことなしに最適な撮影条件で撮影することができる。さらに、より高画質な撮影画像を低消費電力、短時間で撮影できる。

＜３．コンピュータ＞
＜コンピュータのハードウエア構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing UNIT）３０１、ROM（Read Only Memory）３０２、RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。

入力部３０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア３１１を駆動する。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５およびバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。従って、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
移動体に備えられた撮影装置により撮影された画像の解析結果に基づいて予め設定された撮影条件を修正する制御部と、
修正された前記撮影条件に基づいて前記移動体の駆動を制御する駆動制御部と
を備える制御装置。
（２）
前記画像をリアルタイムに解析する解析部
をさらに備える前記（１）に記載の制御装置。
（３）
前記制御部は、前記画像の周波数成分の解析結果に基づいて前記撮影条件を修正し、
前記駆動制御部は、修正された前記撮影条件に基づいて前記移動体の撮影高度を変更する
前記（１）または（２）に記載の制御装置。
（４）
前記制御部は、前記画像の周波数成分の解析結果に基づいて前記撮影条件を修正し、
前記駆動制御部は、修正された前記撮影条件に基づいて前記移動体の撮影間隔を変更する
前記（１）乃至（３）のいずれかに記載の制御装置。
（５）
前記制御部は、前記画像のぶれ量の解析結果に基づいて前記撮影条件を修正し、
前記駆動制御部は、修正された前記撮影条件に基づいて前記移動体の速度を変更する
前記（１）または（２）に記載の制御装置。
（６）
前記制御部は、前記画像の撮影が成功したかまたは失敗したかを解析する解析結果に基づいて前記撮影条件を修正し、
前記駆動制御部は、修正された前記撮影条件に基づいて前記移動体の撮影箇所を変更する
前記（１）または（２）に記載の制御装置。
（７）
前記制御部は、前記移動体の残電力の解析結果に基づいて、修正された前記撮影条件を補正し、
前記駆動制御部は、補正された前記撮影条件に基づいて前記移動体の撮影高度または速度を変更する
前記（１）乃至（６）のいずれかに記載の制御装置。
（８）
前記制御部は、複数の前記移動体の残電力の解析結果に基づいて前記撮影条件を修正し、
前記駆動制御部は、修正された前記撮影条件に基づいて、複数の前記移動体の撮影範囲を変更する
前記（１）または（２）に記載の制御装置。
（９）
制御装置が、
移動体に備えられた撮影装置により撮影された画像の解析結果に基づいて撮影条件を修正し、
修正された前記撮影条件に基づいて前記移動体の駆動を制御する
制御方法。
（１０）
移動体に備えられた撮影装置により撮影された画像の解析結果に基づいて撮影条件を修正する制御部と、
修正された前記撮影条件に基づいて前記移動体の駆動を制御する駆動制御部
として、コンピュータを機能させるプログラム。

１移動体制御システム，１１移動体，５１電力供給部，５２動作部，６１制御部，６２センシング部，６３駆動制御部，６４解析部，１０１移動体制御システム，１１１，１１１Ａ，１１１Ｂ移動体，１１２制御装置，１２１動作部，１３１送信部，１３２受信部，１４１受信部，１４２送信部

Claims

移動体に備えられた撮影装置により撮影された画像の解析結果に基づいて、予め設定された撮影条件を修正する制御部と、
修正された前記撮影条件に基づいて前記移動体の駆動を制御する駆動制御部と
を備え、
前記制御部は、前記画像の周波数成分またはぶれ量の解析結果に基づいて前記撮影条件を修正し、
前記駆動制御部は、前記画像の周波数成分の解析結果に基づいて前記撮影条件が修正された場合、修正された前記撮影条件に基づいて前記移動体の撮影高度または前記移動体の撮影間隔を変更し、
前記画像のぶれ量の解析結果に基づいて前記撮影条件が修正された場合、修正された前記撮影条件に基づいて前記移動体の速度を変更する
制御装置。
前記画像をリアルタイムに解析する解析部
をさらに備える請求項１に記載の制御装置。
前記制御部は、前記移動体の残電力の解析結果に基づいて、修正された前記撮影条件を補正し、
前記駆動制御部は、補正された前記撮影条件に基づいて前記移動体の撮影高度または速度を変更する
請求項１に記載の制御装置。
前記制御部は、複数の前記移動体の残電力の解析結果に基づいて前記撮影条件を修正し、
前記駆動制御部は、修正された前記撮影条件に基づいて、複数の前記移動体の撮影範囲を変更する
請求項１に記載の制御装置。
制御装置が、
移動体に備えられた撮影装置により撮影された画像の解析結果に基づいて撮影条件を修正し、
修正された前記撮影条件に基づいて前記移動体の駆動を制御し、
前記画像の周波数成分またはぶれ量の解析結果に基づいて前記撮影条件を修正し、
前記画像の周波数成分の解析結果に基づいて前記撮影条件が修正された場合、修正された前記撮影条件に基づいて前記移動体の撮影高度または前記移動体の撮影間隔を変更し、
前記画像のぶれ量の解析結果に基づいて前記撮影条件が修正された場合、修正された前記撮影条件に基づいて前記移動体の速度を変更する
制御方法。
移動体に備えられた撮影装置により撮影された画像の解析結果に基づいて撮影条件を修正する制御部と、
修正された前記撮影条件に基づいて前記移動体の駆動を制御する駆動制御部
として、コンピュータを機能させ、
前記制御部は、前記画像の周波数成分またはぶれ量の解析結果に基づいて前記撮影条件を修正し、
前記駆動制御部は、前記画像の周波数成分の解析結果に基づいて前記撮影条件が修正された場合、修正された前記撮影条件に基づいて前記移動体の撮影高度または前記移動体の撮影間隔を変更し、
前記画像のぶれ量の解析結果に基づいて前記撮影条件が修正された場合、修正された前記撮影条件に基づいて前記移動体の速度を変更する
プログラム。