JPWO2018163571A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Abstract

移動体に搭載された撮像装置において動作し、撮像装置による撮影が失敗した場合に失敗した旨を移動体に通知する情報処理装置である。【選択図】図６

Description

本技術は、情報処理装置、情報処理方法および情報処理プログラムに関する。

近年、移動体、いわゆるドローンと称される電動小型飛行体（無人航空機）などにカメラを搭載して行う空撮が増えている（特許文献１）。このような撮影は、映画、ドラマの撮影、測量など様々な用途で採用されている。このような撮影では、ユーザ（撮影者、ドローン使用者）が直接カメラを操作するのでは無く、ホスト機器としての何らかのコンピューターシステムからカメラを制御して自動撮影で撮影画像を得る。

特開２０１６−１３８７８８号公報

このようなドローンを用いた空撮を行うシステムでは、ホスト機器からカメラに対して撮影開始のコマンドを発行し、カメラはこの要求を受けて撮影を試みる。しかし、そのときの状況によっては撮影が行われないことがある。たとえば、オートフォーカスが成功せずシャッタを切ることができない場合、撮影した画像を保存するメモリカードに書き込みできない場合などである。

このような自動撮影では確実に撮影できなければ再度撮影しなければならない。現在の手法では、撮影が成功したことはシステム間の通知により把握できても、失敗したことは把握することができない。そのため、すべての撮影が完了後に撮影が成功したかどうかを判断しなければならなくなっている。

本技術はこのような問題点に鑑みなされたものであり、移動体に搭載された撮像装置において撮影が失敗したかを移動体に通知することができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。

上述した課題を解決するために、第１の技術は、移動体に搭載された撮像装置において動作し、撮像装置による撮影が失敗した場合に失敗した旨を移動体に通知する情報処理装置である。

また、第２の技術は、移動体に搭載された撮像装置による撮影が失敗した場合に失敗した旨を移動体に通知する情報処理方法である。

また、第３の技術は、移動体に搭載された撮像装置による撮影が失敗した場合に失敗した旨を移動体に通知する情報処理方法をコンピュータに実行させる情報処理プログラムである。

さらに、第４の技術は、撮像装置を搭載した移動体において動作し、撮像装置による撮影が失敗したか否かを判断する情報処理装置である。

図１Ａは移動体の外観構成を示す平面図であり、図１Ｂは移動体の外観構成を示す側面図である。 移動体の構成を示すブロック図である。 撮像装置の構成を示すブロック図である。 従来の移動体と撮像装置間の通信の概略図である。 本技術における移動体と撮像装置間の通信の概略図である。 撮影結果通知処理の流れを示すフローチャートである。 撮影画像の解析の一例を説明する図である。

以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１−１．移動体の構成］
［１−２．撮像装置の構成］
［１−３．撮影結果通知処理］
＜２．変形例＞

＜１．実施の形態＞
［１−１．移動体の構成］
図１および図２を参照して移動体１００の構成について説明する。本実施の形態において、移動体１００はドローンと称される電動小型飛行体（無人航空機）である。図１Ａは移動体１００の平面図であり、図１Ｂは移動体１００の正面図である。中心部としての例えば円筒状または角筒状の胴体部１と、胴体部１の上部に固定された支持軸２ａ〜２ｆとから機体が構成される。一例として、胴体部１が６角筒状とされ、胴体部１の中心から６本の支持軸２ａ〜２ｆが等角間隔で放射状に延びるようになされている。胴体部１および支持軸２ａ〜２ｆは、軽量で強度の高い材料から構成されている。

さらに、胴体部１および支持軸２ａ〜２ｆからなる機体は、その重心が支持軸２ａ〜２ｆの中心を通る鉛直線上にくるように、各構成部品の形状、配置等が設計される。さらに、この鉛直線上に重心がくるように、胴体部１内に回路ユニット５およびバッテリ６が設けられている。

図１の例では、回転翼およびモータの数が６個とされている。しかしながら、４個の回転翼およびモータを有する構成、或いは８個以上の回転翼およびモータを有する構成でもよい。

支持軸２ａ〜２ｆの先端部には、回転翼の駆動源としてのモータ３ａ〜３ｆがそれぞれ取り付けられている。モータ３ａ〜３ｆの回転軸に回転翼４ａ〜４ｆが取り付けられている。各モータを制御するための制御部を含む回路ユニット５が支持軸２ａ〜２ｆが交わる中心部に取り付けられている。

モータ３ａおよび回転翼４ａと、モータ３ｄおよび回転翼４ｄとが対を構成する。同様に、（モータ３ｂ，回転翼４ｂ）と（モータ３ｅ，回転翼４ｅ）とが対を構成し、（モータ３ｃ，回転翼４ｃ）と（モータ３ｆ，回転翼４ｆ）とが対を構成する。

胴体部１内に底面に動力源としてのバッテリ６が配置されている。バッテリ６は、例えばリチウムイオン二次電池と充放電を制御するバッテリ制御回路とを有する。バッテリ６は、胴体部１の内部に着脱自在に取り付けられている。バッテリ６の重心と機体の重心とを一致させることによって、重心の安定性が増加する。

一般的にドローンと称される電動小型飛行体は、モータの出力を制御して所望の航行を可能としている。例えば、空中に静止しているホバーリングの状態では、機体に搭載されたジャイロセンサを用いて傾きを検知し、機体が下がった側のモータ出力を増加させ、上がった側のモータ出力を低下させることによって、機体を水平に保つようにしている。さらに、前進の際には、進行方向のモータ出力を低下、逆方向のモータ出力を増加させることによって、前傾姿勢を取らせ、進行方向への推進力を発生させるようにしている。このような電動小型飛行体の姿勢制御および推進制御において、上述したようなバッテリ６の設置位置は、機体の安定性と制御の容易性とのバランスをとることができる。

図２は、移動体１００の構成を示すブロック図である。移動体１００は、制御部１１０、ＧＰＳ（Global Positioning System）モジュール１３０、動きセンサ１４０、通信部１５０、外部入出力１６０、バッテリ６、モータ３ａ〜３ｆを備えて構成されている。なお、上述の移動体１００の外観構成で説明した支持軸、回転翼などは省略する。制御部１１０、ＧＰＳモジュール１３０、ジャイロセンサ、通信部１５０、外部入出力１６０は図１の移動体１００の外観図に示される回路ユニット５に含まれているものとする。

制御部１１０はＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって、飛行コースの設定および変更などの移動体１００全体の制御および撮像装置２００による撮影のタイミングの設定、撮像装置２００に対する撮影指示などを行う。

また、制御部１１０は、モータ３ａ〜３ｆの出力を制御することにより移動体１００の飛行を制御するものである。

ＧＰＳモジュール１３０は、移動体１００の現在位置、高度、現在時刻を取得して制御部１１０に供給するものである。撮像装置２００により撮影された画像の撮影位置を示す撮影位置情報、撮影時刻を示す撮影時刻情報はＧＰＳモジュール１３０により取得される。なお、撮影時刻情報は撮像装置２００が備える計時機能により取得してもよい。

動きセンサ１４０は、例えば２軸または３軸方向に対する加速度センサ、角度速度センサ、ジャイロセンサなどにより移動体１００の動きを検出して、移動体１００の移動速度、移動方向、旋回時の角速度やＹ軸方向周りの角速度を検出し、制御部１１０に供給する。

通信部１５０は、地上から移動体１００を制御するため機器（ベースステーションと称する）として機能する外部機器（パーソナルコンピュータ、タブレット端末、スマートフォンなど）との通信を行うための通信モジュールである。移動体１００は通信部１５０による通信を介して飛行中の移動体１００の状態をベースステーションに送信する。また、ベースステーションからの指示などを受信する。さらに、撮像装置２００が撮影した画像をベースステーションに送信することも可能である。通信部１５０における通信方法としては、無線通信であるBluetooth（登録商標）、無線ＬＡＮ（Local Area Network）、Wi-Fi、ZigBeeなどがある。移動体１００は空中を飛行する飛行体であるため、ベースステーションとの通信は無線通信により行われる。

外部入出力１６０は、移動体１００と外部機器とを有線接続または無線接続により接続するための各種通信用端子、モジュールなどである。本実施の形態においては、移動体１００にはＵＳＢ（Universal Serial Bus）による有線通信で撮像装置２００が接続されている。なお、ＵＳＢ通信ではデータの送受信に加え電力の送受信を行うことができるため、移動体１００と撮像装置２００のどちらか一方にのみバッテリを設けて、他方にはバッテリを設けないという構成が可能となる。

［１−２．撮像装置の構成］
図１および図３を参照して撮像装置２００の構成について説明する。図３は、撮像装置２００の構成を示すブロック図である。

撮像装置２００は、図１Ｂに示すように、移動体１００の胴体部１の底面にカメラマウント５０を介して撮像装置２００が吊り下げられるように取り付けられている。撮像装置２００はカメラマウント５０の駆動により３６０度水平方向から垂直方向への全方向のいずれの方向にもレンズを向けて撮影することが可能となっている。なお、カメラマウント５０の動作制御は制御部１１０により行われる。

撮像装置２００は、制御部２１０、光学撮像系２２０、レンズ駆動ドライバ２３０、撮像素子２４０、画像信号処理部２５０、画像メモリ２６０、記憶部２７０、外部入出力２８０を備えて構成されている。

制御部２１０は、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置２００全体の制御を行う。

また、制御部２１０は情報処理部３００としても機能する。情報処理部３００は撮像装置２００による撮影が成功したか失敗したかを判断し、その結果を移動体１００に通知する。この点については後述する。なお、撮影結果を移動体１００へ通知するとともにベースステーションに通知してもよい。

なお、情報処理部３００はプログラムで構成され、そのプログラムは、予め撮像装置２００内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。そのプログラムを制御部２１０が実行することにより制御部２１０が情報処理部３００として機能するようにしてもよい。また、情報処理部３００は制御部２１０から独立した構成であってもよい。さらに、情報処理部３００は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。

光学撮像系２２０は、被写体からの光を撮像素子２４０に集光するための撮影レンズ、撮影レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは撮像装置２００の制御部２１０、レンズ駆動ドライバ２３０からの制御信号に基づいて駆動される。光学撮像系２２０を介して得られた被写体の光画像は、撮像装置２００が備える撮像素子２４０上に結像される。

レンズ駆動ドライバ２３０は、例えばマイコンなどにより構成され、制御部２１０の制御に従い撮影レンズを光軸方向に沿って所定量移動させることにより、目標とする被写体に合焦するようにオートフォーカスを行う。また、制御部２１０からの制御に従い、光学撮像系２２０の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。

撮像素子２４０は、被写体からの入射光を光電変換して電荷量に変換して、画素信号を出力する。そして、撮像素子２４０は画素信号を画像信号処理部２５０に出力する。撮像素子２４０としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。

画像信号処理部２５０は撮像素子２４０から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つためのサンプルホールド、ＡＧＣ（Auto Gain Control）処理、Ａ／Ｄ（Analog/Digital）変換などを行ない、画像信号を作成する。

また、画像信号処理部２５０は、デモザイク処理、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理、解像度変換処理などの所定の信号処理を画像信号に対して施してもよい。

画像メモリ２６０は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリである。画像メモリ２６０は画像信号処理部２５０によって所定の処理が施された画像データを一時的に蓄えておくものである。

記憶部２７０は、例えば、ハードディスク、ＳＤメモリカードなどの大容量記憶媒体である。撮影画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮影位置を示す撮影位置情報、撮影日時を示す撮影時刻情報などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。動画は、例えば、ＭＰＥＧ２（Moving Picture Experts Group2）、ＭＰＥＧ４などの形式で保存される。

外部入出力２８０は、撮像装置２００と外部機器とを有線接続または無線接続により接続するための各種通信用端子、モジュールなどである。本実施の形態においては、撮像装置２００はＵＳＢ通信により移動体１００と接続されている。撮像装置２００はＵＳＢ通信により、移動体１００の制御部１１０から撮影に関する各種設定、撮影指示などを受信する。さらに、撮像装置２００はＵＳＢ通信により、移動体１００のバッテリ６から電力供給をうける。

移動体１００と撮像装置２００とはＵＳＢにより接続されており、画像転送用プロトコルであるＰＴＰ（Picture Transfer Protocol）を用いて通信を行う。ＰＴＰを用いることにより、デバイスドライバを追加することなくデジタルカメラなどの撮像装置２００から画像および付随するデータを移動体１００に転送することができる。ＰＴＰはISO 15740として標準化されている。

ＰＴＰは、基本的にはホスト機器からデバイスへコマンドを発行することでコントロールするプロトコルであるが、ＥＶＥＮＴというデバイスからホスト機器へ通知する仕組みも定義されている。ＰＴＰには標準として規定されているものとして、撮影成功のイベントは定義されているが、撮影失敗の定義は無い。よって、そのままでは撮像装置２００と移動体１００間の通信は図４に示すように、一方的に移動体１００から撮像装置２００に撮影指示が送信され、撮影が失敗してもそれが移動体１００に通知されることはなく、撮影が失敗したまま次の撮影が行われることとなる。

しかし、ベンダーが拡張可能なように規定されていることから、撮影失敗をベンダー拡張として定義することにより、撮像装置２００が撮影失敗を認識したところで撮影失敗を移動体１００へ通知することができるようになる。このときの撮像装置２００と移動体１００の制御部１１０間の通信は例えば図５に示すように行われる。制御部１１０は撮像装置２００に対して撮影開始の要求をおこなう。その後、撮像装置２００から撮影成功または撮影失敗の通知を受け、撮像装置２００から撮影失敗の通知を受けた場合、例えば図５に示すように再撮影指示などを行う。撮影失敗の通知を受けた後、撮像装置２００になされる指示の詳細については後述する。

移動体１００および撮像装置２００は以上のようにして構成されている。ドローンと称される電動小型飛行体は操縦者によるマニュアル操作のみではなくＧＰＳ等を利用した自動飛行および自動撮影を行うことができる。自動飛行および自動撮影を行う場合、飛行ルートの経路情報、撮影位置、撮影方向、撮影時間などの撮影情報を予め設定し、移動体１００の制御部１１０がその設定内容に従い移動体１００の飛行制御および撮像装置２００への撮影指示を行う。また、経路情報、撮影情報は、ベースステーションから無線通信により取得してもよい。

従来は、自動飛行および自動撮影の結果は、撮影が終了し、移動体１００がベースステーションやユーザの元に戻った後、記憶部２７０に保存されている撮影画像をユーザが直接確認する必要があった。撮影画像の枚数が多い場合など、撮影結果の確認作業は時間を要し、煩雑な作業となる。そして、撮影画像のピントが合っていない、撮影画像が保存されていないなどの撮影の失敗があると再び移動体１００を飛行させて再撮影を行う必要があった。再度、移動体１００を飛行させて再撮影行うと撮影コスト、撮影時間が余計にかかってしまうこととなる。そこで、本技術は、撮影結果を移動体１００の飛行中に撮像装置２００において確認し、撮影が失敗したかを通知するようにしたものである。

本技術において撮影失敗とは、撮影が実行されなかった（実行できない）場合と、撮影は実行されたが撮影画像が所定の条件を満たしていない場合とがある。

撮影が実行されなかった（実行できない）場合には、撮影画像を保存する記憶部２７０の残り容量が所定量以下である場合、バッテリ６の残量が所定量以下である場合がある。記憶部２７０の残り容量が所定量以下である場合、撮影自体は実行できても撮影画像を保存することができないからである。バッテリ６の残量が所定量以下である場合、移動体１００および／または撮像装置２００が動作しないおそれ、動作が途中で停止してしまうおそれがあるからである。

さらに、撮影が実行されなかった（実行できない）場合には、撮影画像の記憶部２７０への保存の際に書き込みエラーが発生して保存されなかった場合、その他移動体１００および／または撮像装置２００の故障、誤動作、機械的エラー、制御エラーなどにより撮影が実行されなかった場合もある。

撮影は実行されたが撮影画像が所定の条件を満たしていない場合には、撮影画像のピントが合っていない場合、撮影画像の露出が所定の範囲ではない場合などがある。ピントが合っているか否かの判断は、撮影時に記録する合焦距離パラメータ（メタデータ）を取得して、この合焦距離パラメータが事前に定める閾値の範囲内であるかを確認することにより行うことができる。合焦距離パラメータが閾値の範囲内であればピントが合っている、範囲外であればピントが合っていないと判断する。露出が一定の範囲内であるか否かの判断は、撮影時における露出の明るさを示す値であるＥＶ（Exposure Value）値を撮影画像と対応付けて保存し、そのＥＶ値を参照することにより行うことができる。

また、撮影は実行されたが撮影画像が所定の条件を満たしていない場合には、撮影予定位置が予め設定されている場合で実際に撮影された位置がその撮影予定位置からずれている場合がある。さらに、所定の距離間隔または時間間隔を開けて複数回撮影を行う撮影タイミングが設定されている場合で、実際に撮影された位置または時刻がその距離間隔または時間間隔からずれている場合などである。

［１−２．撮影結果通知処理］
次に図６を参照して撮影結果通知処理について説明する。図６は情報処理部３００により行われる撮影結果通知処理および撮像装置２００により行われる撮影処理の流れを示すフローチャートである。

まずステップＳ１１で、撮像装置２００は移動体１００からの撮影開始の指示を受信する。この撮影開始の指示は移動体１００の制御部１１０から撮像装置２００になされてもよいし、移動体１００および撮像装置２００以外の外部機器（ベースステーションなど）から撮像装置２００に対してなされてもよい。

次にステップＳ１２で、情報処理部３００はバッテリ６の残量が所定量以上であるか否かを判断する。所定量とは例えば、判断時以降に予定されている飛行経路を移動体１００が飛行するのに要する残量と予定している撮影を行うのに要する残量との合計などである。これは、情報処理部３００がＵＳＢ通信により移動体１００の制御部１１０からバッテリ６の残量情報の供給を受けることにより行うことができる。バッテリ６の残量が所定量以上である場合処理はステップＳ１３に進む（ステップＳ１２のＹｅｓ）。

次にステップＳ１３で、情報処理部３００は記憶部２７０の残り容量が所定量以上であるか否かを判断する。所定量とは例えば、判断時以降に予定されている撮影で取得する画像の枚数分に相当する容量である。また、撮影予定の画像枚数が未定である場合には画像１００枚分に相当する容量、具体的なギガバイト数など予め定めた容量としてもよいし、ユーザが予め設定していてもよい。

記憶部２７０の残り容量が所定量以上である場合処理はステップＳ１４に進む（ステップＳ１３のＹｅｓ）。次にステップＳ１４で移動体１００が撮影予定位置に到達したら撮像装置２００によりオートフォーカスが開始される。次にステップＳ１５で撮像装置２００のオートフォーカスにより一定時間内に被写体に合焦したか否かを判断する。

一定時間内に被写体に合焦した場合（ステップＳ１５のＹｅｓ）、ステップＳ１６で撮像装置２００は撮影を行い、撮影画像を記憶部２７０に保存する処理を行う。次にステップＳ１７で、情報処理部３００は記憶部２７０に撮影画像が保存されたか否かを判断する。これは例えば、記憶部２７０に保存された最新の画像の撮影時間情報を参照することで行うことができる。記憶部２７０に撮影画像が保存されている場合、処理はステップＳ１８に進む（ステップＳ１７のＹｅｓ）。

次にステップＳ１８で、情報処理部３００は撮影画像の画像解析処理を行う。この画像解析処理では、撮影画像のピントが合っているか、露出が適正露出を含む一定の範囲内であるかなどが判断される。ピントが合っていない場合、露出が適正露出を含む一定の範囲無いでない場合、いずれも解析結果はエラーとなる。

また、撮影が予め定められた撮影予定位置で行われるものである場合、撮影画像にＥＸＩＦデータとして対応付けられて保存された撮影位置情報、撮影時刻情報を参照し、撮影が予め定められた撮影予定位置、撮影予定時刻で行われたかも判断される。撮影が予め定められた撮影予定位置、撮影予定時刻で行われたものでない場合解析結果はエラーとなる。

撮影が一定の距離をあけて連続して行われるものである場合（例えば、１０ｍおきに撮影するなど）、撮影画像に対応付けられて保存された撮影位置情報を参照して撮影位置がその一定の距離からずれているか否かを判断する。さらに、撮影が一定の時間をあけて連続で行われるものである場合（例えば、１０秒おきに撮影するなど）、撮影画像に対応付けられて保存された撮影時刻を示す撮影時刻情報を参照し、撮影時刻がその一定の時間間隔からずれているか否かを判断する。また、所定の撮影予定位置または撮影予定時刻に撮影および保存処理が行われたか否かは、撮像装置２００のログ（処理記録）を確認することによっても判断することもできる。これにより、撮影が適切に行われたか否かを判断することができる。

図７の例においては、図７Ａ乃至図７Ｃの地図上の点Ａ乃至Ｇは一定間隔で行われる撮影予定位置であり、図７Ｂ、図７Ｃの星印は画像が撮影された撮影位置を示すものとする。

図７Ｂでは、撮影位置Ｄが撮影予定位置Ｄからずれているため撮影位置Ｄで撮影された画像の解析結果はエラーとなる。また、図７Ｃでは、撮影予定位置Ｄにおける撮影が抜けており、撮影予定位置Ｄで撮影が行われていないため解析結果はエラーとなる。

フローチャートの説明に戻る。ステップＳ１８の解析処理の結果、エラーがない場合処理はステップＳ１９からステップＳ２０に進む（ステップＳ１９のＮｏ）。そしてステップＳ２０で情報処理部３００は撮影が成功である旨の通知を移動体１００に対して行う。

上述したステップＳ１３で記憶部２７０の残り容量が所定量以下の場合、ステップＳ１５で被写体に一定時間内に合焦しない場合、ステップＳ１７で記憶部２７０に撮影画像が保存されていない場合、ステップＳ１９で解析結果がエラーである場合、いずれの場合も処理はステップＳ２１に進む。

そしてステップＳ２１で、情報処理部３００は撮影が失敗である旨の通知を移動体１００に対して行う。

以上の処理を画像１枚の撮影毎に行う。

移動体１００の制御部１１０は、撮像装置２００から撮影失敗の通知を受けた場合、撮影失敗の種類に応じて所定の処理を行う。バッテリ６の残量が所定量以下である場合、または、記憶部２７０の残り容量が所定量以下である場合、または、移動体１００および／または撮像装置２００が故障している場合、制御部１１０は移動体１００が所定の位置（ベースステーション、ユーザがいる位置など）に戻るように制御を行う。これは、いずれの場合も撮影を行うことができないからである。この場合、ユーザはバッテリ６の交換または充電、記憶部２７０の追加、記憶部２７０の残り容量確保のためのデータ削除、移動体１００および／または撮像装置２００の修理などを行う必要がある。この制御は、例えば、制御部１１０において飛行経路の再設定を行い、それに沿うように移動体１００の飛行を制御するというように実行される。または、撮影の失敗または成功の通知を移動体１００から受け取ったベースステーションにより再設定された飛行経路を取得し、その飛行経路に基づいて移動体１００の飛行を制御するというように実行してもよい。さらに、撮影結果が出そろった後に再撮影が必要か否かをベースステーションに通知してベースステーションから飛行経路を取得し、その飛行経路に基づいて移動体１００の飛行を制御するというように実行してもよい。

また、移動体１００の制御部１１０は、画像は撮影されたが撮影失敗となった場合、撮影失敗位置の少し前の位置に戻って撮影失敗位置で撮影を再度行う、または、そのまま移動体１００は移動を続けて最後の撮影予定位置での撮影を終えた後に再度撮影失敗位置で撮影を行う、または、撮影経路の最初の位置に戻り、はじめから撮影をやり直す、のいずれかの制御を実行する。この制御は、例えば、制御部１１０において飛行経路の再設定を行い、それに沿うように移動体１００の飛行を制御することにより実現される。または、撮影の失敗または成功の通知を移動体１００から受け取ったベースステーションにより再設定された飛行経路を取得し、その飛行経路に基づいて移動体１００の飛行を制御することによっても実現可能である。さらに、撮影結果が出そろった後に再撮影が必要か否かをベースステーションに通知してベースステーションから飛行経路を取得し、その飛行経路に基づいて移動体１００の飛行を制御することによっても実現可能である。なお、例えば、予め撮影位置または撮影枚数が設定されている場合、その撮影位置または撮影枚数のうちの所定の割合（例えば５０％など）が失敗している場合に、撮影経路の最初の位置に戻り、はじめから撮影をやり直す処理を選択する、というようにしてもよい。

このような制御を実行するのは、撮影自体は行うことができるため、移動体１００はベースステーションやユーザの元に戻ることなく再撮影を行うことができるからである。このように、移動体１００が飛行し撮像装置２００が撮影している最中に撮影が失敗したことを移動体１００に通知すればベースステーションやユーザの元に戻ることなく撮影のやり直しを行うことができる。これにより、迅速に再撮影を行うことができ、再撮影にかかる時間、コストを削減することができる。なお、上記のいずれを行うかは予め移動体１００に設定されていてもよいし、ユーザが撮影開始前に選択して設定しておいてもよい。

以上のようにして本技術における処理が行われる。本技術によれば、撮像装置２００による撮影が失敗したか否かをユーザや他の装置を介さずに撮像装置２００から直接移動体１００に通知することができる。これにより、飛行中に再撮影を実行することができ、その後の再撮影にかかる時間、コストを削減することができる。

＜２．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。

実施の形態では情報処理部３００は撮像装置２００で動作し、撮影の失敗または成功を移動体１００に通知するとして説明を行った。しかし、情報処理部３００は移動体１００において動作してもよい。この場合、情報処理部３００は撮像装置２００から記憶部２７０の残り容量情報、被写体に合焦したか否かの情報、撮像装置２００により撮影された画像を受信して撮影が失敗であるか否かを判断する。そして判断結果は制御部１１０に供給され、移動体１００の動作に反映される。また、移動体１００の情報処理部から撮像装置２００に対して再撮影の指示がなされる。

実施の形態では、移動体１００は撮像装置２００から撮影失敗の通知を受けた場合、撮影失敗の種類に応じて再撮影などの所定の処理を行うと説明した。しかし、撮像装置２００が撮影失敗の場合の処理（再撮影制御など）を行うようにしてもよい。

本技術は、ドローン（電動小型飛行体）に限られず、撮像装置２００を搭載可能であり、人の操縦を受けずに自動で移動する自動車、船舶、ロボットなどにも適用可能である。

また、デジタルカメラに限られず、スマートフォン、携帯電話機、携帯ゲーム機、ノートパソコン、タブレット端末など撮像機能を備え、移動体１００に搭載させることができる機器であればどのようなものにも適用可能である。

実施の形態では撮影失敗の通知と撮影成功の通知を行ったが、撮影成功の場合は通知を行わず、撮影失敗の場合のみ通知を行うようにしてもよい。

実施形態では撮影失敗の具体例として、撮影画像のピントが合っていない場合、露出が所定の範囲ではないでない場合を挙げたが、撮影失敗はそれらに限られるものではなく、撮影画像に関するパラメータに関するものであればどのようなものでもよい。

撮像装置２００は入力部、表示部などを備えていてもよい。また、撮像装置２００は移動体１００と接続せずに単体で撮像装置２００として使用できるものであってもよい。

バッテリ６は撮像装置２００が備え、撮像装置２００のバッテリ６から移動体１００に電力供給を行うようにしてもよい。または、移動体１００と撮像装置２００の両方がバッテリを備えていてもよい。

移動体１００と撮像装置２００間の通信を無線通信で行ってもよい。

実施の形態では移動体１００と撮像装置２００間の通信をＵＳＢの通信規格ＰＴＰを用いて行うと説明したが、移動体１００と撮像装置２００間で各種データの送受信、撮影失敗の通知を行えるものであればどのような通信方法を用いてもよい。

本技術は、動画撮影に適用することも可能である。動画撮影の場合にも図６を参照して説明した撮影結果通知処理で撮影結果を移動体１００に通知することができる。ただし、ピントが合っているか否かなどの画像解析は動画を構成するフレーム画像に対して行うことになるため、撮影失敗のみを通知するようにしてもよい。通常、撮影は失敗よりも成功の方が多いと考えられるため、撮影成功を通知しようとするとフレーム画像ごとに成功通知を行い成功通知を行う処理が膨大な量になってしまうからである。

本技術は以下のような構成も取ることができる。
（１）
移動体に搭載された撮像装置において動作し、
前記撮像装置による撮影が失敗した場合に失敗した旨を前記移動体に通知する情報処理装置。
（２）
前記撮像装置により撮影された画像および／または画像に関する情報に基づいて撮影が失敗したか否かを判断する（１）に記載の情報処理装置。
（３）
前記撮像装置により撮影された画像のピントが合っていない場合、撮影が失敗した旨の通知を行う（１）または（２）に記載の情報処理装置。
（４）
前記撮像装置により撮影された画像の露出が所定の範囲ではない場合、撮影が失敗した旨の通知を行う（１）から（３）のいずれかに記載の情報処理装置。
（５）
前記撮像装置により撮影された画像の撮影位置を示す位置情報を取得し、前記撮影位置が予め定められた所定の位置ではない場合、撮影が失敗した旨の通知を行う（１）から（４）のいずれかに記載の情報処理装置。
（６）
前記撮像装置により撮影された画像の撮影時刻を示す時刻情報を取得し、前記撮影時刻が予め定められた所定の時刻ではない場合、撮影が失敗した旨の通知を行う（１）から（５）のいずれかに記載の情報処理装置。
（７）
前記撮像装置により撮影された画像の撮影位置を示す位置情報を取得し、前記撮影位置が予め定められた連続する一定の距離間隔からずれている場合、撮影が失敗した旨の通知を行う（１）から（６）のいずれかに記載の情報処理装置。
（８）
前記撮像装置により撮影された画像の撮影時刻を示す時刻情報を取得し、前記撮影時刻が予め定められた連続する一定の時間間隔からずれている場合、撮影が失敗した旨の通知を行う（１）から（７）のいずれかに記載の情報処理装置。
（９）
予め定められた所定の位置および／または予め定められた所定の時刻に撮影が行われなかった場合、撮影が失敗した旨の通知を行う（１）または（２）に記載の情報処理装置。
（１０）
前記撮像装置の撮影により画像が取得されなかった場合に撮影が失敗した旨の通知を行う（１）に記載の情報処理装置。
（１１）
前記移動体または前記撮像装置が備える、撮影された画像を保存する記憶部の残り容量が所定量以下である場合、撮影が失敗した旨の通知を行う（１０）に記載の情報処理装置。
（１２）
前記移動体または前記撮像装置が備える記憶部への前記撮像装置により撮影された画像の書き込みエラーが発生した場合、撮影が失敗した旨の通知を行う（１０）または（１１）に記載の情報処理装置。
（１３）
前記移動体または前記撮像装置が備えるバッテリの残量が所定量以下の場合、撮影が失敗した旨の通知を行う（１０）から（１２）のいずれかに記載の情報処理装置。
（１４）
前記撮像装置による撮影が成功した場合、成功した旨を前記移動体に通知する（１）から（１３）のいずれかに記載の情報処理装置。
（１５）
移動体に搭載された撮像装置による撮影が失敗した場合に失敗した旨を前記移動体に通知する情報処理方法。
（１６）
移動体に搭載された撮像装置による撮影が失敗した場合に失敗した旨を前記移動体に通知する情報処理方法をコンピュータに実行させる情報処理プログラム。
（１７）
撮像装置を搭載した移動体において動作し、
前記撮像装置による撮影が失敗したか否かを判断する情報処理装置。
（１８）
前記撮像装置による撮影が失敗した場合に、前記撮像装置に再撮影の指示を行う（１７）に記載の情報処理装置。
（１９）
前記撮像装置による撮影が失敗した場合に、前記移動体の移動経路を設定する
（１７）または（１８）に記載の情報処理装置。
（２０）
前記撮像装置による撮影が失敗した場合に、失敗した旨を外部機器に通知する（１７）から（１９）のいずれかに記載の情報処理装置。

１００・・・移動体
２００・・・撮像装置
３００・・・情報処理部

Claims (20)

1. 移動体に搭載された撮像装置において動作し、
   前記撮像装置による撮影が失敗した場合に失敗した旨を前記移動体に通知する情報処理装置。
2. 前記撮像装置により撮影された画像および／または画像に関する情報に基づいて撮影が失敗したか否かを判断する
   請求項１に記載の情報処理装置。
3. 前記撮像装置により撮影された画像のピントが合っていない場合、撮影が失敗した旨の通知を行う
   請求項２に記載の情報処理装置。
4. 前記撮像装置により撮影された画像の露出が所定の範囲ではない場合、撮影が失敗した旨の通知を行う
   請求項２に記載の情報処理装置。
5. 前記撮像装置により撮影された画像の撮影位置を示す位置情報を取得し、前記撮影位置が予め定められた所定の位置ではない場合、撮影が失敗した旨の通知を行う
   請求項２に記載の情報処理装置。
6. 前記撮像装置により撮影された画像の撮影時刻を示す時刻情報を取得し、前記撮影時刻が予め定められた所定の時刻ではない場合、撮影が失敗した旨の通知を行う
   請求項２に記載の情報処理装置。
7. 前記撮像装置により撮影された画像の撮影位置を示す位置情報を取得し、前記撮影位置が予め定められた連続する一定の距離間隔からずれている場合、撮影が失敗した旨の通知を行う
   請求項２に記載の情報処理装置。
8. 前記撮像装置により撮影された画像の撮影時刻を示す時刻情報を取得し、前記撮影時刻が予め定められた連続する一定の時間間隔からずれている場合、撮影が失敗した旨の通知を行う
   請求項２に記載の情報処理装置。
9. 予め定められた所定の位置および／または予め定められた所定の時刻に撮影が行われなかった場合、撮影が失敗した旨の通知を行う
   請求項２に記載の情報処理装置。
10. 前記撮像装置の撮影により画像が取得されなかった場合に撮影が失敗した旨の通知を行う
    請求項１に記載の情報処理装置。
11. 前記移動体または前記撮像装置が備える、撮影された画像を保存する記憶部の残り容量が所定量以下である場合、撮影が失敗した旨の通知を行う
    請求項１０に記載の情報処理装置。
12. 前記移動体または前記撮像装置が備える記憶部への前記撮像装置により撮影された画像の書き込みエラーが発生した場合、撮影が失敗した旨の通知を行う
    請求項１０に記載の情報処理装置。
13. 前記移動体または前記撮像装置が備えるバッテリの残量が所定量以下の場合、撮影が失敗した旨の通知を行う
    請求項１０に記載の情報処理装置。
14. 前記撮像装置による撮影が成功した場合、成功した旨を前記移動体に通知する
    請求項１に記載の情報処理装置。
15. 移動体に搭載された撮像装置による撮影が失敗した場合に失敗した旨を前記移動体に通知する情報処理方法。
16. 移動体に搭載された撮像装置による撮影が失敗した場合に失敗した旨を前記移動体に通知する情報処理方法をコンピュータに実行させる情報処理プログラム。
17. 撮像装置を搭載した移動体において動作し、
    前記撮像装置による撮影が失敗したか否かを判断する情報処理装置。
18. 前記撮像装置による撮影が失敗した場合に、前記撮像装置に再撮影の指示を行う
    請求項１７に記載の情報処理装置。
19. 前記撮像装置による撮影が失敗した場合に、前記移動体の移動経路を設定する
    請求項１７に記載の情報処理装置。
20. 前記撮像装置による撮影が失敗した場合に、失敗した旨を外部機器に通知する
    請求項１７に記載の情報処理装置。

Images