WO2023223933A1

WO2023223933A1 - 情報処理方法、情報処理装置、通信システム及びコンピュータプログラム

Info

Publication number: WO2023223933A1
Application number: PCT/JP2023/017719
Authority: WO
Inventors: 琢人元山; 隆志紺野
Original assignee: ソニーグループ株式会社
Priority date: 2022-05-18
Filing date: 2023-05-11
Publication date: 2023-11-23

Abstract

［課題］撮影カメラによりフォーカスされている領域を容易に確認できるようにする。［解決手段］本開示に係る情報処理方法は、撮影カメラを搭載した移動体により移動可能な対象環境をモデル化した仮想環境空間に前記撮影カメラに関連づけられる仮想カメラを配置し、前記仮想カメラの視野範囲に対応する画像に基づき、前記対象環境において前記撮影カメラがフォーカスされている領域に対応する仮想フォーカス領域を前記仮想環境空間において決定し、前記仮想フォーカス領域を特定する領域特定情報を表示画面に表示する。

Description

情報処理方法、情報処理装置、通信システム及びコンピュータプログラム

　本開示は、情報処理方法、情報処理装置、通信システム及びコンピュータプログラムに関する。

　地理環境の計測、報道現場の撮影、スポーツの撮影など様々な目的で、ドローンを飛行させ、ドローンに搭載したカメラで対象環境を撮影することが広く行われている。ドローンのカメラがフォーカスされている箇所（ピントが合っている箇所）を、撮影中にリアルタイムに把握することは困難である。撮影後、カメラの映像を確認することで、撮影対象にカメラが正しくフォーカスされていたか否かが分かる。撮影対象に正しくフォーカスされていないと、撮影対象がぼけた映像となるため、再撮影を行う必要がある。報道現場及びスポーツなどリアルタイム性が要求される撮影の場合、再撮影を行うことは困難なことも多い。

　ドローンのカメラで撮影された映像データをドローンのオペレータ（ユーザ）の操作装置に常時送信すれば、オペレータはフォーカスされている領域をリアルタイムに確認することができる。しかしながら、映像データを常時送信することは、無線帯域の制約から困難である。また、カメラのオートフォーカス機能を用いて撮影対象にフォーカスさせる場合も、ドローンが高速に移動又は回転すると、撮影対象に追従させることが困難になることもある。

特開２０１８－２０１２４０号公報

　本開示は、上述したような問題点に鑑みてなされたものであり、撮影カメラによりフォーカスされている領域を容易に把握できるようにする。

　本開示に係る情報処理方法は、撮影カメラを搭載した移動体により移動可能な対象環境をモデル化した仮想環境空間に前記撮影カメラに関連づけられる仮想カメラを配置し、前記仮想カメラの視野範囲に対応する画像に基づき、前記対象環境において前記撮影カメラがフォーカスされている領域に対応する仮想フォーカス領域を前記仮想環境空間において決定し、前記仮想フォーカス領域を特定する領域特定情報を表示画面に表示する。

本開示の第１の実施形態に係る通信システムを示す図。ドローン及び操作装置のブロック図。３次元環境マップを作成する手順を模式的に示す図。３次元環境マップを作成の手順の一例のフローチャート。ドローンが対象環境を飛行し、撮影カメラで撮影を行う様子を示す図。３次元ビュー生成部で行う処理の具体例を説明する図である。３次元ビュー生成部で行う処理の具体例を説明する図である。図７に示した３次元ビューの画面に領域特定情報を表示した例を示す図。第１の実施形態に係る通信システムの動作例のフローチャート。第２の実施形態に係る通信システムを示す図。３次元環境マップにおいて仮想カメラ及び仮想対象オブジェクトを、予測した位置に移動させる例を模式的に示す図。未来時刻における仮想カメラの視野範囲の画像の表示例を示す図。仮想フォーカス領域を決定する手法の例を示す図である。撮影カメラのフォーカス位置の制御の一例を説明する図。第２の実施形態に係る通信システムの動作例のフローチャート。第３の実施形態に係る通信システムを示す図。シミュレーション部により行われる準備処理の一例を示すフローチャート。シミュレーション部により行われる処理の例を説明する図。シミュレーション部により行われるシミュレーションの一例を示すフローチャート。再生した画像と対応情報とを時刻で同期させて表示する例を示す図。ドローンが自律飛行用の経路に沿って飛行し、撮影を行う様子を示す図。第３の実施形態に係る通信システムの動作例のフローチャート。第４の実施形態に係る通信システムを示す図。フォーカス領域可視化画像作成部の処理の具体例を示す図。第４の実施形態に係る通信システムの動作例のフローチャート。フォーカス調整後の撮影カメラにより撮像された画像の例を示す図。距離とコントラスト強度との関係を示すデータの例を示す図。

　以下、図面を参照して、本開示の実施形態について説明する。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなす。

　（第１の実施形態）
　図１は、本開示の実施形態に係る通信システム１を示す。通信システム１は、移動体であるドローン１０と、ドローン１０を操作する操作装置２０とを備えている。ドローン１０は、対象環境（対象空間）を撮影する撮影カメラ１０１を備える。ドローン１０は、操作装置２０から操作情報（制御信号）を受けて、ロータ１１１をモータ等の駆動系により駆動することで、オペレータであるユーザ３０に指示された経路又は予め指定された経路を飛行する。本開示に係る移動体はドローンに限定されず、無人搬送車（ＡＧＶ：Automated Guided Vehicle）又は台車等の車両、あるいはロボットなどであってもよい。操作装置２０は、ユーザ３０によりドローン１０を操作するための装置である。

　ドローン１０の操作は、ドローン本体の飛行の操作のみならず、撮影カメラ１０１の操作も含む。撮影カメラ１０１の操作は、撮影カメラ１０１の向き（すなわち、撮影カメラ１０１の姿勢）の操作、撮影カメラ１０１のズーム機構の操作などを含んでよい。撮影カメラ１０１が移動体本体に移動可能に設置されている場合は、撮影カメラ１０１を移動させる操作が撮影カメラ１０１の操作に含まれてよい。ズーム機構の操作の例として、レンズの位置を動かすことで焦点距離を変化させる光学ズームがある。焦点距離を変化させることで、撮影カメラ１０１がフォーカスされる領域又は位置、換言すれば、フォーカスされる領域又は位置までの距離が変更される。また撮影カメラ１０１がオートフォーカス機能を備えていてもよい。

　ドローン１０が飛行及び撮影する対象環境は、例えば、工場、報道現場、競技場、山林、町内など任意の環境でよい。ドローン１０の撮影対象は、撮影環境における特定の箇所（例えば特定の住所など）又は特定の物（例えば特定の建物、植物など）でもよいし、対象環境を移動する物体（以下、オブジェクト）でもよい。オブジェクトの例として、人間、動物、昆虫、自動車などがある。撮影対象は、対象環境に存在する限り、特定のものに限定されない。

　図２は、ドローン１０及び操作装置２０のブロック図である。
　ドローン１０は、撮影カメラ１０１、通信部１０２、飛行制御部１０３、測距センサ１０４、位置特定部１０５、オブジェクト認識部１０６、統合部１０７、オブジェクト追跡部１０８、フォーカス制御部１０９及び画像データ記憶部１１０を備えている。ブロック１０２、１０３、１０５～１０９の機能は、ＣＰＵ（Central Processing Unit）等のプロセッサを含むコンピュータにプログラムを実行させることにより実現されてもよいし、ＡＳＩＣ、ＦＰＧＡ等の回路により実現されてもよいし、これらの組み合わせにより実現されてもよい。

　操作装置２０は、操作制御部２０１、通信部２０２、３次元環境マップ記憶部２０３、３次元ビュー生成部２０４、フォーカス調整算出部２０６、表示部２０７、及びユーザ入力部２０８を備えている。３次元ビュー生成部２０４及びフォーカス調整算出部２０６は処理部２０９を構成する。ブロック２０１、２０２、２０４、２０６、２０８の機能は、ＣＰＵ等のプロセッサを含むコンピュータにプログラムを実行させることにより実現されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等の回路により実現されてもよし、これらの組み合わせにより実現されてもよい。

　操作装置２０における通信部２０２は、ドローン１０における通信部１０２と無線で通信する。通信部２０２は、通信プロトコルを処理する回路、ＡＤ（Analog to Digital）／ＤＡ（Digital to Analog）変換器、周波数コンバータ、帯域フィルタ、増幅器、１つ以上のアンテナなどを備える。通信プロトコル及び無線の周波数帯は特定のものに限定されない。

　ドローン１０における通信部１０２は、操作装置２０における通信部２０２と無線で通信する。通信部１０２は、通信プロトコルを処理する回路、ＡＤ／ＤＡ変換器、周波数コンバータ、帯域フィルタ、増幅器、アンテナなどを備える。通信プロトコル及び無線の周波数帯は特定のものに限定されない。なお、本開示に係る移動体又はドローン１０が、操作装置２０と有線で通信される形態も排除されない。

　操作装置２０における３次元環境マップ記憶部２０３は、ドローン１０が飛行及び撮影する対象環境をモデル化した仮想環境空間である３次元環境マップを記憶している。３次元環境マップ（仮想環境空間）は、一例として、対象環境を複数の視点で撮影した複数の画像に基づき作成できる。具体的には、３次元環境マップを作成する手法として、フォトグラメトリ（Photogrammetry）等を用いることができる。

　図３は、３次元環境マップを作成する手順を模式的に示す図である。
　３次元環境マップを作成するため、事前に対象環境を撮影カメラで様々な視点で撮影する。撮影は、ドローン等の移動体５０を対象環境６０で飛行させることで行ってもよいし、あるいは、作業員等のユーザ５１が手持ちのカメラ５２で対象環境６０を移動することで行ってもよい。移動体５０はドローン１０でもよいし、ドローン１０と異なるドローン等の移動体でもよい。このように事前に撮影した複数の画像５３を元に、ユーザがフォトグラメトリツールのプログラムをコンピュータに実行させることで、３次元環境マップ７０を生成する。生成した３次元環境マップ７０のデータは３次元環境マップ記憶部２０３に記憶される。３次元環境マップ７０の距離スケールを、実空間と厳密に合わせるために、撮影した時のＧＰＳ（Global Positioning Satellite）情報や、ＬｉＤＡＲ（Light Detection and Ranging，Laser Imaging Detection and Ranging）等の測距センサーの情報、撮影環境に置かれた標定点（予め正確な位置が分かっている点）の座標情報等を活用しても良い。

　図４は、３次元環境マップを作成の手順の一例のフローチャートである。この例では移動体５０が撮影を行う場合を示す。移動体５０が対象環境６０を飛行し、移動体５０のカメラで撮影を行う（Ｓ１１）。撮影した画像のデータは移動体５０内の記憶部に格納する。移動体５０におけるＣＰＵ等の処理部が、対象環境６０の全体に対して、十分な個数の撮影画像を取得したかの条件である撮影終了条件を満たしたかを判断する（Ｓ１２）。十分な個数とは、隣接する時刻間で撮影画像間の領域が一定サイズ以上重複することである。撮影終了条件を満たしていない場合は、移動体５０は、一時刻前に撮影した画像と撮影領域が一定割合以上、オーバラップする範囲内で移動し（Ｓ１３）、カメラで撮影を行う（Ｓ１１）。撮影終了条件が満たされたら撮影を終了する。この後、移動体５０の記憶部に記憶された画像をコンピュータに読み出し、コンピュータでフォトグラメトリにより３次元環境マップを生成する。コンピュータは図２の操作装置２０又は移動体５０でもよい。

　ユーザ入力部２０８は、各種の操作情報又は操作指示をユーザが入力する入力部である。ユーザ入力部２０８は、例えば、タッチパネル、スティック、ボタン、十字キー又はこれらの組み合わせなどである。ユーザ入力部２０８から入力する操作情報の例として、ドローン１０の飛行の操作情報（例えば速度・方向を操作する情報など）、及び撮影カメラ１０１の操作情報（例えば撮影カメラ１０１の姿勢を操作する情報など）がある。操作情報の他の例として、ドローン１０を自律飛行及びマニュアル飛行のいずれを行わせるかを指定してもよい。自律飛行を指定する場合、自律飛行させる経路の指定をさらに行ってもよい。また操作情報として、表示部２０７に表示する画面の切り替え指示なども入力してもよい。

　操作制御部２０１は、ユーザ入力部２０８を介して、ドローン１０又は撮影カメラ１０１の操作情報を受信し、受信した操作情報をドローン１０又は撮影カメラ１０１で解釈可能な制御指示の形式に変換して、ドローン１０に送信する。より詳細には、操作制御部２０１は制御指示を通信部２０２に送り、通信部２０２が制御指示をドローン１０に送信する。

　ドローン１０の通信部１０２は、操作装置２０から制御指示を受信する。通信部１０２は、受信した制御指示を分類し、飛行の操作及び撮影カメラ１０１の操作を示す制御指示を飛行制御部１０３に送り、撮影カメラ１０１の操作を示す制御指示を撮影カメラ１０１に送る。

　飛行制御部１０３は、飛行の操作を示す制御指示に基づき、飛行の制御情報を生成し、図示しない駆動系に制御情報を送る。駆動系は複数のＥＳＣ(Electric Speed Controller)、複数のモータ及び複数のロータ（図１のロータ１１１参照）等を含む。ＥＳＣが制御情報に基づき対応するモータを駆動し、モータの軸に接続されたロータを回転させる。これにより、ドローン１０を所望の方向及び所望の速度で飛行させ、また所望の位置で停止（ホバリング）させることができる。

　また飛行制御部１０３は、一定時間間隔で、ドローン１０の位置情報及び速度情報の少なくとも一方と、撮影カメラ１０１の向き情報（姿勢情報）とを取得し、取得した情報を、統合部１０７に送る。また飛行制御部１０３は、当該取得した情報を、オブジェクト追跡部１０８に送る。ドローン１０の位置情報及び速度情報の少なくとも一方の時系列のシーケンスは、ドローン１０の動き情報に対応する。撮影カメラ１０１の向き情報の時系列のシーケンスは、撮影カメラ１０１の動き情報に対応する。従って、ドローン１０の動き情報及び撮影カメラ１０１の動き情報は、ユーザが操作装置２０に入力した操作情報に基づいている。

　飛行制御部１０３がドローン１０の位置情報を取得する方法は、飛行の操作を示す制御指示の履歴に基づき行ってもよい。あるいは、ＧＰＳ（Global Positioning Satellite）センサ及びＩＭＵ（Inertial Measurement Unit）等の少なくとも１つのセンサを用いて行ってもよい。制御指示の履歴、ＧＰＳ、ＩＭＵ等を組み合わせてもよい。あるいは、ドローン１０の位置を管理するサーバが存在する場合には、飛行制御部１０３は、サーバに問い合わせデータを送ることによってドローン１０の位置情報を取得してもよい。操作装置２０がドローン１０の位置を管理するサーバの機能を備えていてもよい。

　飛行制御部１０３が撮影カメラ１０１の向き情報を取得する方法は、撮影カメラ１０１の操作を示す制御指示の履歴に基づき行ってもよい。あるいは撮影カメラ１０１が自装置の向きを検出又は管理する機能を備えている場合は、飛行制御部１０３は撮影カメラ１０１に問い合わせデータを送ることにより、撮影カメラ１０１の向き情報を取得してもよい。

　撮影カメラ１０１は、ドローン１０が飛行する対象環境を撮影する撮像装置である。撮影は一定時間間隔で行う。撮影カメラ１０１は、ＲＧＢカメラ、モノクロカメラ、赤外線カメラ、ステレオカメラ、デプスカメラなど、周囲の環境を撮影できる限り、任意のカメラでよい。撮影カメラ１０１が取得する画像データは、動画である場合を想定するが、静止画でもよい。

　図５は、ドローン１０が対象環境６０を飛行し、撮影カメラ１０１で対象環境６０を撮影する様子を示す。撮影カメラ１０１は画角１０１Ａ（視野範囲）を有する。対象環境６０には撮影対象の物体である対象オブジェクト６１が含まれる。本例では対象オブジェクト６１は、森林の中を歩行又は走行する人間である。また対象環境６０には、その他の物体として、オブジェクト５，７，９が配置されている。オブジェクト５，７，９は木のオブジェクトである。

　撮影カメラ１０１で撮影された画像データは画像データ記憶部１１０に記憶される。また、撮影カメラ１０１で撮影された画像データは一定の周期で選択される。例えば一定の周期の期間にＸ個の画像が撮影される場合、Ｘ個の画像のうちの最新の画像データが選択される。選択された画像データが位置特定部１０５及びオブジェクト認識部１０６へ送られる。このように位置特定部１０５及びオブジェクト認識部１０６が行う処理を撮影カメラ１０１で撮影したすべての画像データではなく、一定の周期で選択された画像データのみを対象とする。これにより、撮影カメラ１０１の後段のブロックの処理負荷を軽減できる。

　画像データ記憶部１１０は、撮影カメラ１０１によって撮影された画像データを記憶する。画像データ記憶部１１０は、例えば、ハードディスク、ＲＡＭ（Random Access Memory）ディスク、不揮発性のメモリなどにより構成される。画像データ記憶部１１０に記憶された画像データは、ドローン１０の飛行完了後に、無線通信、有線通信又は記録媒体（メモリカード等）を介して読み出され、オペレータによって画像データの内容が確認されることができる。撮影カメラ１０１によって撮影された画像データを操作装置２０に送信し、表示部２０７に画像データをリアルタイムに表示することも排除されない。この場合、画像データの送信は間欠的でもよいし、画像データを圧縮してもよい。表示部２０７は、液晶表示パネル又は有機ＥＬパネル等のデータ又は情報を表示可能なディスプレイである。

　撮影カメラ１０１は、撮影の方向、すなわちカメラ本体の向き（姿勢）を変更することができる。一例として、撮影カメラ１０１は、３軸ジンバルを介してドローン１０に設けられていてもよい。この場合、操作者からの操作情報（制御指示）に基づき３軸ジンバルを制御することで、撮影カメラ１０１の向きを変更することができる。なお撮影カメラ１０１がドローン１０内でレール等に沿って移動可能とし、ドローン１０に対する撮影カメラ１０１の相対位置を変更可能であってもよい。この場合、操作者からの操作により、撮影カメラ１０１の相対位置を変更可能にしてもよい。本実施形態ではドローン１０における撮影カメラ１０１の位置は固定である場合を想定する。この場合、ドローン１０の位置と撮影カメラ１０１の位置とが、対象環境の座標系において１対１に対応づく。つまりドローン１０の位置が決まれば、撮影カメラ１０１の位置も定まる。

　ドローン１０の位置特定部１０５は、操作装置２０に３次元環境マップの取得要求を送信し、操作装置２０から３次元環境マップのデータを取得する。より詳細には、操作装置２０においては、ドローン１０から３次元環境マップの取得要求を通信部２０２で受信すると、通信部２０２が取得要求に基づき、３次元環境マップ記憶部２０３から３次元環境マップを読み出す。通信部２０２は、３次元環境マップのデータをドローン１０に送信する。通信部１０２は操作装置２０から受信した３次元環境マップのデータを位置特定部１０５に送る。なお、位置特定部１０５が取得要求を送信しない構成も可能である。例えば、操作装置２０から自律的に又はユーザの送信指示に従って３次元環境マップのデータを送信し、位置特定部１０５は操作装置２０から送信された３次元環境マップのデータを取得する。

　位置特定部１０５は、撮影カメラ１０１から一定の周期で受け取る画像データに基づき、撮影カメラ１０１の位置に対応する３次元環境マップにおける位置（マップ内対応位置）、及び撮影カメラ１０１の向きに対応する３次元環境マップにおける向き（マップ内対応向き）を決定する。例えば、画像データを３次元環境マップに照合し、画像データが最も合致する位置及び向きを探索する。照合の方法として、例えば画像データにおいて１つ以上の特徴点（例えばコーナー、輝度変化が大きい箇所など）とその特徴量を算出し、各特徴点の特徴量を含む特徴量ベクトルを得る。同様に３次元環境マップにおける任意の位置及び方向から見た画像データ（モデル画像データ）を取得して、モデル画像データに対して同様にしてモデル特徴量ベクトルを得る。画像データの特徴量ベクトルに一致又は近似するモデル特徴量ベクトルが得られた位置及び向きを、撮影カメラ１０１のマップ内対応位置及びマップ内対応向きとして決定する。近似するとは、例えば特徴量ベクトル間の差分の絶対値が閾値以下であることである。照合の方法は一例であり、他の方法でもよい。例えば画像データとモデル画像データとでピクセル間の差分の総和が最も小さい位置及び向きを、撮影カメラ１０１のマップ内対応位置及びマップ内対応向きとして決定してもよい。

　統合部１０７は、飛行制御部１０３で取得されたドローン１０の動き情報及び撮影カメラ１０１の動き情報と、位置特定部１０５で推定した撮影カメラ１０１のマップ内対応位置及びマップ内対応向きとを１つのセットデータとして統合する。統合された１つのセットデータを統合データと称する。ドローン１０の動き情報は、例えば、上述した一定の周期分の位置情報及び速度情報の少なくとも一方を含む。撮影カメラ１０１の動き情報は、例えば、上述した一定の周期分の向き情報を含み、さらに一定の周期分の位置情報を含んでもよい。統合部１０７は、通信部１０２を介して、統合データを操作装置２０に送信する。なお、撮影カメラ１０１の位置情報とドローン１０の位置情報とが１対１に対応づいている場合は、いずれか一方の位置情報のみを統合データに含めてもよい。また、ドローン１０の動き情報及び撮影カメラ１０１の動き情報を、３次元環境マップ内の動き情報にそれぞれ変換した情報を統合データに含めてもよい。

　ドローン１０の測距センサ１０４は、一定時間間隔で検出範囲内の領域を測距し、検出範囲内の各位置までの距離値を含む距離データを生成する。距離データは画素ごとの距離値を含む。測距センサ１０４は距離データをオブジェクト認識部１０６へ送る。測距センサ１０４の検出範囲は、一例として撮影カメラ１０１の撮影範囲（視野範囲）と同じ又は少なくとも部分的に共通している。測距センサ１０４は、一例として、ＬｉＤＡＲ（Light Detection and Ranging，Laser Imaging Detection and Ranging）、ステレオカメラ、レーダー、又は単眼カメラなどである。

　オブジェクト認識部１０６は、撮影カメラ１０１からの画像データに基づき撮影対象となる物体（対象オブジェクト）の検出を行う。オブジェクト認識部１０６は、検出した対象オブジェクトの位置を、距離データに基づき算出する。オブジェクト認識部１０６は、対象オブジェクトの位置情報をオブジェクト追跡部１０８に送る。撮影カメラ１０１の撮影範囲（視野範囲）と測距センサ１０４の検出範囲との対応は予め取得されているものとする。したがって、画像データに含まれる任意のオブジェクトの位置を、距離データから算出することが可能である。対象オブジェクトの種類は予め決められていてもよい。対象オブジェクトは動くオブジェクト（動的オブジェクト）でも、静止したオブジェクト（静止オブジェクト）でもよい。例えば、動的オブジェクトは、対象環境が森林であれば森林を移動する人間でもよいし、サッカーゲームであればゲームに参加している選手でもよい。動的オブジェクトは人間である必要はなく、自動車等の車両でもよいし、昆虫又は動物でもよい。また、静止オブジェクトは、例えば建築物又は風景など何でもよい。対象オブジェクトの位置に加えて、画像データの解析等により対象オブジェクトの向きの検出を行ってもよい。

　オブジェクト追跡部１０８は、飛行制御部１０３からのドローン１０（又は撮影カメラ１０１）の動き情報と、オブジェクト認識部１０６で検出された対象オブジェクトの位置情報とに基づき、対象オブジェクトの追跡（トラッキング）を行う。これにより、対象オブジェクトの動きを推定する。例えば、オブジェクト追跡部１０８は、対象オブジェクトの動きを、上述した一定の周期の長さ分、推定し、対象オブジェクトの動き情報を得る。これにより、現在の対象オブジェクトの動きを推定した動き情報が得られる。オブジェクト追跡部１０８は、対象オブジェクトの位置又は動きの履歴を記憶するメモリを備えてもよい。この場合、位置又は動きの履歴に基づき、対象オブジェクトの動きを推定してもよい。過去の位置のシーケンスから移動ベクトルの履歴を算出し、移動ベクトルの履歴から対象オブジェクトの動きを推定してもよい。オブジェクト追跡部１０８は、対象オブジェクトの位置情報と動き情報とを、通信部１０２を介して操作装置２０に送信する。対象オブジェクトの位置に加えて、向きも検出されている場合は、対象オブジェクトの向き情報も送信してもよい。

　操作装置２０における３次元ビュー生成部２０４は、３次元環境マップ記憶部２０３から３次元環境マップのデータを読み出し、また、ドローン１０から統合データと、対象オブジェクトの位置情報及び動き情報とを取得する。３次元ビュー生成部２０４は、３次元環境マップに、撮影カメラ１０１と対象オブジェクトとを統合することにより、オペレータに提示する画像データを３次元ビューとして生成する。

　より詳細には、３次元ビュー生成部２０４は、３次元環境マップ内における、撮影カメラ１０１のマップ内対応位置に、撮影カメラ１０１に関連付けられた仮想カメラ（仮想視点）をマップ内対応向きで配置する。撮影カメラ１０１のマップ内対応位置は、撮影カメラ１０１の位置を３次元環境マップ内の位置に変換した第１位置に対応し、マップ内対応向きは、撮影カメラ１０１の向きを３次元環境マップ内の向きに変換した第１向きに対応する。

　また仮想カメラの視野範囲を、例えば撮影カメラ１０１の画角（視野範囲）等のカメラパラメータに応じて設定する。３次元環境マップと対象環境とのサイズ等の対応関係に合わせて、仮想カメラの視野範囲の設定を行う。あるいは仮想カメラの視野範囲は予め決められた範囲であってもよい。

　また対象オブジェクトの位置情報に基づき、３次元環境マップに当該対象オブジェクトに対応するオブジェクト（仮想対象オブジェクト）を配置する。すなわち対象オブジェクトの位置情報を３次元環境マップ内の位置に変換し、変換後の位置（対象オブジェクトの位置に対応する３次元環境マップ内の位置）に、仮想対象オブジェクトを配置する。３次元環境マップ内の任意のオブジェクトを仮想オブジェクトと呼び、対象オブジェクトに対応する仮想オブジェクトを特に仮想対象オブジェクトと呼ぶ場合がある。仮想対象オブジェクトの形状は、対象オブジェクトの種類に応じて予め定めた形状でもよいし、直方体、球又は特定のキャラクタなど特定の形状でもよいし、ユーザが指定した形状でもよい。

　撮影対象となる対象オブジェクトは動的オブジェクトであり、３次元環境マップの生成時には対象環境に存在せず、３次元環境マップ記憶部２０３に記憶された３次元環境マップには当該対象オブジェクトが含まれていない。但し、ドローン１０の撮影対象となる対象オブジェクトが静止オブジェクトである場合には、３次元環境マップの作成時に対象環境に対象オブジェクトが含まれていてよい。

　３次元ビュー生成部２０４は、仮想カメラの視野範囲内の画像データを３次元環境マップから生成する。すなわち、撮影カメラ１０１が対象環境でとらえている状況を３次元環境マップでエミュレートする。３次元ビュー生成部２０４は、エミュレートにより生成した画像データを表示部２０７に表示させる。また３次元ビュー生成部２０４は、撮影カメラ１０１の動き情報（又はドローン１０の動き情報）と対象オブジェクトの動き情報とに基づき、仮想カメラ及び仮想対象オブジェクトを一定のフレームレートで移動させる。フレームレートごとの仮想カメラの位置及び向きと、仮想対象オブジェクトの位置及び向きとを含む画像データを生成して、表示部２０７に表示させる。仮想対象オブジェクトの位置及び向きは、仮想対象オブジェクトを配置する第３位置及び第３向きに対応する。このようにして、撮影カメラ１０１が対象環境でとらえている状況を３次元環境マップで一定のフレームレートでエミュレートする。この処理は、例えば、上述した一定の周期に対応する期間行う。これにより表示部２０７には、ドローン１０が撮影している領域に対応する、３次元環境マップにおける領域の画像が動画として表示される。この際、撮影対象となる対象オブジェクトは、対象オブジェクトを模式的に表す仮想対象オブジェクトとして表示される。

　図６及び図７は、３次元ビュー生成部２０４で行う処理の具体例を説明する図である。
　図６に、３次元環境マップ７０に仮想カメラ７１（仮想視点）と、仮想対象オブジェクト７２とが配置される例が示される。仮想カメラ７１がマップ内対応位置にマップ内対応向きで配置されている。仮想カメラ７１は、撮影カメラ１０１の画角等と、対象環境及び３次元環境マップ間の対応関係とに応じて決定される視野範囲７１Ａを有する。図では、仮想カメラ７１を備えた仮想ドローンが示されるが、仮想カメラ７１のみを配置してもよい。仮想対象オブジェクト７２は図５に示した人間の対象オブジェクト６１を模式的に表す立方体のオブジェクトである。

　図７には、３次元ビュー生成部２０４で生成された３次元ビューの例が示される。仮想カメラ７１の視野範囲７１Ａ内の画像８０が、表示部２０７の画面（表示画面）に表示されている。

　フォーカス調整算出部２０６は、仮想カメラの視野範囲に対応する画像（視野範囲内の画像）に基づき、対象環境において撮影カメラ１０１がフォーカスされている領域に対応する領域を仮想フォーカス領域として、３次元環境マップにおいて決定又は推定する。フォーカスされている領域（フォーカスが合っている領域）とは、撮影カメラ１０１の被写界深度に当該領域の全部又は少なくとも一部が含まれていることを意味する。被写界深度は、フォーカスが合っているように見える被写体側の距離の範囲である。

　フォーカス調整算出部２０６は、仮想カメラの視野範囲内の画像に含まれる少なくとも１つのオブジェクト（仮想オブジェクト）から第１選択条件に従ってオブジェクトを選択し、選択したオブジェクトを含む領域を仮想フォーカス領域とする。撮影カメラ１０１でも、この第１選択条件と同じ条件に従ってフォーカスするオブジェクトが選択されていてもよい。

　第１選択条件は、一例として、以下の条件のうち少なくとも１つを含んでよい。
・少なくとも１つのオブジェクトのうち移動するオブジェクトを選択する条件
・少なくとも１つのオブジェクトのうち画像における第１領域範囲に含まれる面積に基づきオブジェクトを選択する条件（例えば第１領域範囲に含まれる面積が最も大きいオブジェクトを選択する）
・少なくとも１つのオブジェクトのうち仮想カメラから第１距離範囲に含まれるオブジェクトを選択する条件

　本実施形態の例では、撮影カメラ１０１がフォーカスされる領域は撮影対象である対象オブジェクトである場合を想定する。つまり、上述の第１選択条件として、移動するオブジェクトを選択する条件を用いる場合を想定する。

　フォーカス調整算出部２０６は、算出した仮想フォーカス領域を特定する情報である領域特定情報を、３次元ビュー生成部２０４を介して、表示部２０７に表示させる。領域特定情報は、例えば、仮想フォーカス領域を囲む線（矩形又は円の枠など）、仮想フォーカス領域をマスクする半透明の画像など任意の情報で構成できる。これにより、撮影カメラ１０１でフォーカスされていることが期待される領域に対応する、３次元環境マップ内の領域が、ユーザに可視化されることができる。すなわち、ユーザは、領域特定情報が示す３次元環境マップ内の領域に対応する対象環境における領域に、撮影カメラ１０１がフォーカスされていると期待できる。例えば、領域特定情報が仮想対象オブジェクトを含む領域を示していれば、仮想対象オブジェクトに対応する対象オブジェクトを含む領域に撮影カメラ１０１がフォーカスされていることをユーザは期待できる。

　図８は、図７に示した３次元ビュー画面に領域特定情報８１を表示した例を示す。領域特定情報８１は、仮想対象オブジェクト７２とその周辺の領域に重ねて配置されており、斜線によって示されている。

　ユーザは、領域特定情報８１が示す仮想フォーカス領域を変更する指示をユーザ入力部２０８から入力することができる。仮想フォーカス領域の変更指示は、例えば画面で別のオブジェクトをタップすることで、タップされたオブジェクトを含む領域を、ユーザが指示した仮想フォーカス領域として検出してもよい。あるいは、表示部２０７に表示されている領域特定情報をユーザが移動させることで、仮想フォーカス領域の変更をユーザは指示してもよい。あるいは、フォーカスしたい領域として、画面上で指又はペンなどで範囲を指定してもよい。

　フォーカス調整算出部２０６は、ユーザ入力部２０８から仮想フォーカス領域の変更指示が入力された場合は、変更後の仮想フォーカス領域までの距離を算出する。フォーカス調整算出部２０６は、算出した距離を、対象環境の距離に換算する。フォーカス調整算出部２０６は、換算後の距離にフォーカスを合わせる（合焦させる）ことを指示するフォーカス調整指示情報を生成して、通信部２０２を介してドローン１０に送信する。このフォーカス調整指示情報は、変更後の仮想フォーカス領域に対応する、対象環境における領域にフォーカスを合わせることを指示する情報に対応する。ドローン１０のフォーカス制御部１０９は、フォーカス調整指示情報に従って、撮影カメラ１０１のフォーカスを調整する。例えば対象環境における距離とカメラパラメータ値とを対応づけた情報に基づき、撮影カメラ１０１に設定するカメラパラメータ値を決定し、決定した値にカメラパラメータを設定する。カメラパラメータは、例えば、レンズ位置又は焦点距離等を含む。例えば焦点距離を、例えば換算後の距離に位置する物体にフォーカスされるように調整する。

　フォーカス調整算出部２０６は、ユーザによる変更指示の入力がない場合は、現在の仮想フォーカス領域までの距離を、対象環境の距離に換算する。フォーカス調整算出部２０６は、換算後の距離にフォーカスを合わせることを指示するフォーカス調整指示情報を生成して、通信部２０２を介してドローン１０に送信する。ドローン１０のフォーカス制御部１０９は、フォーカス調整指示情報に従って、撮影カメラ１０１のフォーカスを調整する。

　図９は、第１の実施形態に係る通信システムの動作例のフローチャートである。
　ステップＳ１０１において、ユーザが操作装置２０のユーザ入力部２０８を操作してドローン１０を対象環境において飛行（マニュアル飛行）させ、撮影カメラ１０１で対象環境を撮影させる。撮影カメラ１０１の撮影は、例えば一定のフレームレートで行われる。ドローン１０の飛行制御部１０３では、ユーザの操作情報に基づき、ドローン１０の動き情報及び撮影カメラ１０１の動き情報が推定される。

　ステップＳ１０２において、ドローン１０の位置特定部１０５は、撮影カメラ１０１から一定の周期で受け取る画像データに基づき、撮影カメラ１０１の位置及び向きに対応する、３次元環境マップにおける位置（マップ内対応位置）及び向き（マップ内対応向き）を推定する。

　ステップＳ１０３において、統合部１０７は、飛行制御部１０３で推定されるドローン１０の動き情報及び撮影カメラ１０１の動き情報と、撮影カメラ１０１のマップ内対応位置及びマップ内対応向きとを１つのセットデータとして統合し、統合データを得る。ドローン１０の動き情報は、例えば上述した周期長の期間分、位置情報及び速度情報の少なくとも一方を含む。撮影カメラ１０１の動き情報は、例えば上述した周期長の期間分、位置情報及び向き情報の少なくとも一方を含む。

　ステップＳ１０４において、測距センサ１０４は、対象環境における検出範囲内の測距を行い、検出範囲内の各位置までの距離値を含む距離データを生成する。測距センサ１０４は距離データをオブジェクト認識部１０６へ送る。

　ステップＳ１０５において、オブジェクト認識部１０６は、撮影カメラ１０１からの画像データに基づき撮影対象となる物体（対象オブジェクト）の検出を行う。オブジェクト認識部１０６は、対象環境における当該検出した対象オブジェクトの位置を、距離データに基づき算出する。

　ステップＳ１０６において、オブジェクト追跡部１０８は、飛行制御部１０３からのドローン１０又は撮影カメラ１０１の少なくとも一方の動き情報と、オブジェクト認識部１０６で検出された対象オブジェクトの位置情報とに基づき、対象オブジェクトの追跡を行う。これにより対象オブジェクトの動きを推定する。オブジェクト追跡部１０８は、対象オブジェクトの動きを、例えば上述した周期長の期間推定し、対象オブジェクトの動き情報を得る。

　ステップＳ１０７において、通信部１０２は、統合部１０７により得られた統合データと、オブジェクト追跡部１０８で得られた対象オブジェクトの動き情報と位置情報とを操作装置２０に送信する。

　ステップＳ１０８において、操作装置２０の３次元ビュー生成部２０４は、３次元環境マップに、対象オブジェクト及び撮影カメラを統合する。すなわち、３次元ビュー生成部２０４は、３次元環境マップ内における撮影カメラ１０１のマップ内対応位置に仮想カメラ（仮想視点）をマップ内対応向きで配置する。また仮想カメラの視野範囲を、撮影カメラ１０１のカメラパラメータ等に基づき設定する。また対象オブジェクトの位置情報に基づき、３次元環境マップに当該対象オブジェクトに対応する仮想対象オブジェクトを配置する。なお、対象環境において対象オブジェクトの位置情報に加えて向き情報を検出する場合は、仮想対象オブジェクトの向きも当該向き情報に合わせて設定してもよい。

　ステップＳ１０９において、３次元ビュー生成部２０４は、仮想カメラの視野範囲内の画像データを３次元環境マップから上述した周期長の期間に対応して一定のフレームレートで生成し、生成した画像データを表示部２０７に表示させる。すなわち、撮影カメラ１０１が対象環境でとらえているシーンの画像を３次元環境マップでエミュレートする。具体的には、３次元ビュー生成部２０４は、撮影カメラ１０１（又はドローン１０）の動き情報と対象オブジェクトの動き情報とに基づき、仮想カメラ及び仮想対象オブジェクトを一定のフレームレートで移動させる。そして、フレームレートごとの画像データを表示部２０７に表示させる。

　ステップＳ１１０において、フォーカス調整算出部２０６は、仮想カメラの視野範囲の画像に基づき、撮影カメラ１０１がフォーカスされている領域（撮影カメラ１０１のフォーカスが合っていることが期待される領域）に対応する仮想フォーカス領域を３次元環境マップにおいて決定する。仮想フォーカス領域を特定する領域特定情報を表示部２０７に表示させる。

　ステップＳ１１１において、フォーカス調整算出部２０６は、仮想フォーカス領域を変更する指示がユーザ入力部２０８から入力されたかを判断する。フォーカス領域の変更指示が入力された場合（Ｓ１１１のＹＥＳ）、フォーカス調整算出部２０６は、ユーザに指示された変更後の仮想フォーカス領域までの距離を算出し、算出した距離を、対象環境の距離に換算する。仮想フォーカス領域までの距離は、仮想フォーカス領域までの平均距離でもよいし、仮想フォーカス領域に含まれる仮想対象オブジェクトまでの平均距離でもよいし、仮想対象オブジェクトの位置（例えば重心）までの距離でもよい。あるいは、仮想フォーカス領域における重心又は任意の定めた位置までの距離でもよいし、その他の手法で定めた距離でもよい。

　ステップＳ１１４において、フォーカス調整算出部２０６は、換算後の距離にフォーカスを調整することを指示するフォーカス調整指示情報を生成し、通信部２０２を介してドローン１０に送信する。

　ステップＳ１１５において、ドローン１０のフォーカス制御部１０９は、フォーカス調整指示情報に従って、撮影カメラ１０１の焦点距離等のカメラパラメータを調整することにより、フォーカスを調整する。

　ユーザによるフォーカス領域の変更指示の入力がない場合（Ｓ１１１のＮＯ）、フォーカス調整算出部２０６は、ステップＳ１１２において、現在の仮想フォーカス領域までの距離を対象環境における距離に換算する。

　ステップＳ１１３において、フォーカス調整算出部２０６は、換算後の距離が、前回の換算後の距離と同じ場合は、撮影カメラ１０１のフォーカスが合うことが期待される領域にフォーカスが既に合っていると判断し（Ｓ１１３のＹＥＳ）、ステップＳ１０１に戻る。

　フォーカス調整算出部２０６は、換算後の距離が、前回の換算後の距離と異なる場合は、撮影カメラ１０１のフォーカスが合うことが期待される領域にフォーカスが合っていないと判断する（Ｓ１１３のＮＯ）。本フローチャートの１回目の処理においては前回の換算後の距離が不明なため、ステップＳ１１３では無条件にフォーカスが合っていないと判断してもよい。フォーカス調整算出部２０６は、換算後の距離にフォーカスを調整することを指示するフォーカス調整指示情報を生成し、通信部２０２を介してドローン１０に送信する。

　以上、本実施形態によれば、撮影カメラがフォーカスされている領域（フォーカスが合っていると期待される領域）を、ユーザは３次元環境マップにおける仮想フォーカス領域として把握することができる。仮想フォーカス領域が、ユーザが期待する領域と異なる場合は、ユーザは入力に基づき仮想フォーカス領域を変更することで、対象環境において撮影カメラ１０１をフォーカスさせる領域を所望の領域に変更することができる。つまりユーザは、撮影カメラの画角内の状態（現在のシーン又は構図）を３次元環境マップで把握しながら、撮影カメラのフォーカス領域を調整できる。すなわち、３次元環境マップを用いることで、ドローンの撮影カメラで撮影されているリアルタイムの撮影映像（生の撮影映像）を確認できない状況下であっても、ドローンの位置に基づき撮影カメラの画角内のシーンを再構成して、カメラにフォーカスさせる領域の調整ができる。このようにユーザは、所望の領域にフォーカスが合った、高品質な映像をドローンに撮影させることができる。

（第２の実施形態）
　本実施形態は、未来の撮影カメラ１０１の動き及び対象オブジェクトの動きを予測することで、未来時刻における撮影カメラ１０１の位置及び向きと、当該未来時刻における対象オブジェクトの位置及び向きを算出する。撮影カメラ１０１の予測した位置及び予測した向きに応じて、仮想カメラの位置と向きを変更する、また対象オブジェクトの予測した位置及び予測した向きに応じて、仮想対象オブジェクトの位置と向きを変更する。変更後の位置における仮想カメラの視野範囲の画像を表示部２０７に表示させる。仮想カメラの視野範囲内の画像において仮想フォーカス領域（未来時刻の仮想フォーカス領域）を特定し、領域特定情報を当該フォーカス領域に関連付けて（例えば重ねて）表示する。これにより未来における撮影カメラ１０１のフォーカスが合っていると期待される領域をユーザに事前に視認させることができる。また、ユーザは第１の実施形態と同様にして、未来時刻における仮想フォーカス領域を所望の位置に変更することができる。つまり、撮影カメラ１０１のフォーカスを合わせる領域を未来の時刻が到来する前にユーザは事前に指定しておくことができる。これにより、所望の領域にフォーカスが合った高品質な撮影画像を得ることができる。以下、本実施形態について詳細に説明する。

　図１０は、本開示の第２の実施形態に係る通信システム２を示す。操作装置２０における処理部２０９に未来予測ビュー生成部２０５が追加されている。図２と同一名称の要素には同一の符号を付し、変更又は拡張された処理を除き、詳細な説明は適宜省略する。

　未来予測ビュー生成部２０５は、撮影カメラ１０１の動き情報に基づき、一定時間後の未来時刻における撮影カメラ１０１の位置及び向きを予測する。例えば、操作制御部２０１から出力される操作情報（ドローン１０への指示情報）を受信し、一定時間後の未来時刻における撮影カメラ１０１の位置及び向きを予測する。あるいは、未来予測ビュー生成部２０５は、ドローン１０又は撮影カメラ１０１の移動履歴に基づき、一定時間後の撮影カメラ１０１の位置及び向きを予測してもよい。３次元ビュー生成部２０４は、ドローン１０又は撮影カメラ１０１の移動履歴を保持する保持部を備えていてもよい。移動例歴は、操作情報に基づき作成してもよいし、ドローン１０から受信するドローン１０又は撮影カメラ１０１の動き情報に基づき作成してもよい。ここでは撮影カメラ１０１の位置と向きを予測しているが、撮影カメラ１０１の位置のみを予測してもよい。この場合、撮影カメラ１０１の向きは予め固定されていてもよい。

　未来予測ビュー生成部２０５は、予測された撮影カメラ１０１の位置及び向きに基づき、仮想カメラの位置及び向きを決定する。例えば予測前の位置と向きと、予測された位置及び向きとの差分に応じて、仮想カメラの位置及び向きを、３次元環境マップにおいて変更する。

　未来予測ビュー生成部２０５は、対象環境において撮影カメラ１０１により撮像される対象オブジェクトの動き情報（例えば、対象オブジェクトの位置の履歴）に基づき対象オブジェクトの動きを予測する。未来予測ビュー生成部２０５は、一定時間後の未来時刻における対象オブジェクトの位置及び向きの少なくとも一方を予測する。未来予測ビュー生成部２０５は、予測された対象オブジェクトの位置及び向きに応じて、３次元環境マップにおける仮想対象オブジェクトを移動させる。すなわち、仮想対象オブジェクトの位置及び向きを変更する。ここでは対象オブジェクトの位置と向きを予測しているが、対象オブジェクトの位置のみを予測してもよい。

　図１１は、３次元環境マップ７０において仮想カメラ７１及び仮想対象オブジェクト７２を、予測した位置に移動させる例を模式的に示す。未来時刻の撮影カメラ１０１の位置を予測し、予測した位置に対応する、３次元環境マップ７０における位置（第２位置）に仮想カメラ７１を移動させる（処理Ｐ１）。未来時刻の撮影カメラ１０１の向きを予測し、予測した向きに応じた向きに仮想カメラ７１を向ける（処理Ｐ２）。撮影カメラ１０１の予測した位置及び予測した向きに対応する、３次元環境マップ７０における仮想カメラ７１の位置及び向きは、仮想カメラ７１を配置する第２位置及び第２向きに対応する。対象環境における対象オブジェクトの動き予測を行い、予測された位置及び向きに応じて、３次元環境マップ７０における仮想対象オブジェクト７２を移動させ、また向きを変更する（処理Ｐ３）。

　未来予測ビュー生成部２０５は、未来時刻の位置及び向きにおける仮想カメラ７１の視野範囲の画像を表示部２０７に表示させる。

　図１２は、現在時刻における仮想カメラの視野範囲の画像が上述の図７に示した画像８０である場合に、一定時間後の未来時刻における仮想カメラの視野範囲の画像８３の表示例を示す。表示部２０７には未来時刻の仮想カメラの視野範囲の画像である画像８３が表示される。現在時刻の画像８３と未来時刻の画像８０とが両方を同時に又は切り替え可能に、表示部２０７に表示してもよい。

　未来予測ビュー生成部２０５は、未来時刻における仮想カメラの視野範囲の画像において、仮想フォーカス領域を決定する。未来予測ビュー生成部２０５は、未来時刻における仮想カメラの視野範囲内の画像において第２選択条件に従ってオブジェクト（仮想オブジェクト）を選択し、選択したオブジェクトを含む領域を仮想フォーカス領域とする。

　第２選択条件は、以下の条件のうちの少なくとも１つを含んでよい。
・少なくとも１つのオブジェクトのうち移動するオブジェクトを選択する条件
・少なくとも１つのオブジェクトのうち前記画像における第２領域範囲に含まれる面積が最も大きいオブジェクトを選択する条件
・少なくとも１つのオブジェクトのうち前記仮想カメラから第２距離範囲に含まれるオブジェクトを選択する条件
・少なくとも１つのオブジェクトのうちユーザにより指定されたオブジェクトを選択する条件

　未来予測ビュー生成部２０５は、決定した仮想フォーカス領域に関連付けて領域特定情報を配置する。例えば仮想フォーカス領域に領域特定情報を重ねる。

　以下、図１３を用いて、第２選択条件に従って、仮想フォーカス領域を決定する手法の具体例を示す。

　図１３は、仮想フォーカス領域を決定する手法の例を示す図である。
　図１３（Ａ）は、未来時刻の仮想カメラの視野範囲の画像において追跡対象として移動するオブジェクト（仮想対象オブジェクト７２）を含む領域を、仮想フォーカス領域に決定する例を示す。決定した仮想フォーカス領域に、斜線で示す領域特定情報８２が重ねて表示されている。

　図１３（Ｂ）は、未来時刻の仮想カメラの画像における所定形状の領域に含まれる１つ以上のオブジェクトからオブジェクトを選択し、選択したオブジェクトの領域を仮想フォーカス領域に決定する例を示す。より詳細には、画像の中央を含む矩形の領域８４に少なくとも一部が含まれるオブジェクトのうち、領域８４に含まれる部分の面積が最も大きいオブジェクトを選択する。本例では仮想対象オブジェクト７２と異なる仮想オブジェクト８５が選択されている。選択した仮想オブジェクト８５に仮想フォーカス領域を設定する。決定した仮想フォーカス領域に、斜線で示す領域特定情報８６が重ねて表示されている。

　図１３（Ｃ）は、ユーザ入力部２０８から指定された仮想オブジェクトの領域を仮想フォーカス領域に設定する例を示す。ユーザは、ユーザ入力部２０８を用いて、表示部２０７に表示されている画像においてフォーカスを合わせたい仮想オブジェクトを指定する。本例では仮想オブジェクト８７が指定され、仮想オブジェクト８７に仮想フォーカス領域が設定されている。決定した仮想フォーカス領域に、斜線で示す領域特定情報８８が重ねて表示されている。

　第２選択条件としていずれの手法を用いるかはユーザがユーザ入力部２０８から選択してもよい。複数の手法の１つが予めデフォルトのオプションとして決まっており、ユーザから選択が行われない限り、デフォルトの手法が適用されてもよい。

　図１３に示した手法は一例であり、他の手法で仮想フォーカス領域を設定してもよい。例えば、ユーザが、事前に３次元環境マップにおいて仮想フォーカス領域を所定の箇所に指定しておいてもよい。この場合、仮想カメラの視野範囲の画像を表示部２０７に表示する際、表示された画像のうち事前に指定した箇所が仮想フォーカス領域として決定される。あるいは、事前にシミュレーションにより仮想フォーカス領域が対象環境におけるドローン１０（撮影カメラ１０１）に応じて、変更されるようプログラミングしておいてもよい（後述する第３の実施形態を参照）。

　フォーカス調整算出部２０６は、未来予測ビュー生成部２０５により決定された未来時刻の仮想フォーカス領域までの距離を算出する。この距離の算出方法は第１の実施形態と同様でよい。フォーカス調整算出部２０６は、算出した距離を、対象環境の距離に換算する。フォーカス調整算出部２０６は、一定時間後（第１の時間後後）の未来時刻で当該換算後の距離にフォーカスを調整することを指示するフォーカス調整指示情報を生成して、通信部２０２を介してドローン１０に送信する。ドローン１０のフォーカス制御部１０９は、フォーカス調整指示情報に従って、一定時間後の未来時刻が到来するタイミングで撮影カメラ１０１のフォーカスを調整する。例えばフォーカス調整指示情報で指定された距離にフォーカスを合わせるように、撮影カメラ１０１の焦点距離等のカメラパラメータを調整する。このように、未来時刻で撮影カメラ１０１のフォーカスが合うことが期待される領域にフォーカスが合うように、撮影カメラ１０１のフォーカス位置を制御することができる。

　図１４は、撮影カメラ１０１のフォーカス位置の制御の一例を説明する図である。現在時刻ｔ１において撮影カメラ１０１がフォーカスされる距離（対象環境における距離）が距離Ａにされている。また距離Ａの位置を基準に、レンズの焦点距離と被写界深度Ｄ１等が設定されている。

　被写界深度は、レンズの焦点距離の前後の範囲を含み、フォーカスが合っていると見なせる範囲である。被写界深度は、レンズの絞り値（Ｆ値）、レンズの焦点距離、及び、撮影距離（撮影対象と撮影カメラとの間の距離）の組み合わせで決まる。例えば、ある撮影環境下で、レンズの絞り値によって、被写界深度を調整できる。絞り値を小さくすると、被写界深度は浅く（狭く）なり、絞り値を大きくするほど被写界深度は深く（大きく）なる。

　未来時刻ｔ２においてフォーカスを合わせたい距離として距離Ｂに合わせることをフォーカス調整算出部２０６からフォーカス制御部１０９に指示された場合、時刻ｔ２で距離Ｂにフォーカスが合わせるようにカメラパラメータを調整する。例えば、被写界深度Ｄ２の中心に距離Ｂが合わせられるように、あるいは、少なくとも被写界深度Ｄ２の範囲に距離Ｂが含まれるように、焦点距離及び絞り値の少なくとも一方等のカメラパラメータを調整する。

　具体例として、現在時刻ｔ１の表示部２０７の画像が図８の画像８０であり、未来時刻ｔ２に対して図１２の画像８３のうち仮想オブジェクト８７に仮想フォーカス領域を設定する場合を考える。未来時刻ｔ２が到来すると、撮影カメラ１０１のレンズの焦点距離等が距離Ｂに合わせて調整される。例えば被写界深度の中心に距離Ｂが対応するように調整される。これにより、３次元環境マップにおける仮想オブジェクト８７に対応する対象環境におけるオブジェクトに、撮影カメラ１０１のフォーカスが合わせられることが期待される。

　図１５は、第２の実施形態に係る通信システムの動作例のフローチャートである。ステップＳ１０１～Ｓ１０８、Ｓ１１４、Ｓ１１５は、図９のフローチャートと同じであるため、説明を省略する。

　ステップＳ２０１において、未来予測ビュー生成部２０５が、撮影カメラ１０１（又はドローン１０）の動き情報と、対象オブジェクトの動き情報とに基づき、未来の３次元環境を予測する。例えば、未来予測ビュー生成部２０５は、操作制御部２０１から出力される操作情報又は撮影カメラ１０１の移動履歴等に基づき、一定時間後（第１時間後）の未来時刻における撮影カメラ１０１の位置及び向きを予測する。未来予測ビュー生成部２０５は、対象環境において撮影カメラ１０１により撮像される対象オブジェクトの動き情報に基づき、対象オブジェクトの動きを予測し、一定時間後の未来時刻における対象オブジェクトの位置及び向きを予測する。

　ステップＳ２０２において、未来予測ビュー生成部２０５が、一定時間後の未来の時刻に撮影カメラ１０１がとらえているシーンの画像をエミュレートする。より詳細には、未来予測ビュー生成部２０５は、ステップＳ２０１で予測された撮影カメラ１０１の位置及び向きに応じて、３次元環境マップにおける仮想カメラの位置及び向きを変更する。ステップＳ２０１で予測された対象オブジェクトの位置及び向きに応じて、３次元環境マップにおける仮想対象オブジェクトの位置及び向きを変更する。未来予測ビュー生成部２０５は、３次元環境マップにおける変更後の仮想カメラ７１の視野範囲の画像を表示部２０７に表示させる。

　ステップＳ２０３において、未来予測ビュー生成部２０５は、一定時間後の未来時刻における仮想フォーカス領域を決定し、仮想フォーカス領域を可視化する。すなわち、仮想フォーカス領域に領域特定情報を重ねて配置する。仮想フォーカス領域は、例えば、上述の第２選択条件に従って選択した仮想オブジェクトを含む領域に設定する（図１３（Ａ）～図１３（Ｃ）参照）。

　ステップＳ１１１において、フォーカス調整算出部２０６は、未来時刻に対する仮想フォーカス領域を変更する指示がユーザ入力部２０８から入力されたかを判断する。フォーカス領域の変更指示が入力された場合（Ｓ１１１のＹＥＳ）、ステップＳ１１４に進み、算出した距離にフォーカスを調整することを指定したフォーカス調整指示情報を、ドローン１０に送信する。ステップＳ１１５において、ドローン１０のフォーカス制御部１０９は、フォーカス調整指示情報に従って、撮影カメラ１０１のフォーカスの位置又は領域を調整する。

　ユーザによるフォーカス領域の変更指示の入力がない場合（Ｓ１１１のＮＯ）、フォーカス調整算出部２０６は、ステップＳ２０４において、対象環境において未来時刻でフォーカスが合うことが期待される領域までの距離を算出する。すなわち、３次元環境マップ内の予測された仮想フォーカス領域までの距離を、対象環境の距離に換算する。

　ステップＳ２０５において、フォーカス調整算出部２０６は、フォーカスが合うことが期待される領域にフォーカスがすでに合っているかを判断する。フォーカスが合うことが期待される領域にフォーカスがすでに合っている場合は（Ｓ２０５のＹＥＳ）、ステップＳ１０１に戻る。

　フォーカス調整算出部２０６は、フォーカスが合うことが期待される領域にフォーカスが合っていない場合は（Ｓ２０５のＮＯ）、ステップＳ１１４に進む。ステップＳ１１４において、ステップＳ２０４で算出した距離にフォーカスを調整することを指定したフォーカス調整指示情報を、ドローン１０に送信する。ステップＳ１１５において、ドローン１０のフォーカス制御部１０９は、フォーカス調整指示情報に従って、撮影カメラ１０１のフォーカスの位置又は領域を調整する。

　以上、本実施形態によれば、一定時間後の未来時刻において撮影カメラがフォーカスされることが期待される領域を、ユーザは事前に３次元環境マップにおける仮想フォーカス領域として予測することができる。仮想フォーカス領域が、ユーザが期待する領域と異なる場合は、ユーザは、事前に未来時刻における仮想フォーカス領域を変更することで、未来時刻が到来したときに、期待した領域に撮影カメラのフォーカスが合うようにすることができる。つまり、ドローン又は撮影カメラの素早い動きに対しても、撮影カメラがフォーカスされる領域を撮影対象に追従させることができる。これにより再撮影及び撮影の失敗の頻度を減らすことができる。

（第３の実施形態）
　図１６は、本開示の第３の実施形態に係る通信システム３を示す。操作装置２０における処理部２０９にシミュレーション部２１１が追加されている。また、本実施形態におけるドローン１０は、事前に指定された経路に従って、自律飛行を行う。図２と同一名称の要素には同一の符号を付し、変更又は拡張された処理を除き、詳細な説明は適宜省略する。

　シミュレーション部２１１は、シミュレーションの準備処理と、シミュレーション処理とを行う。

　シミュレーションの準備処理では、３次元環境マップにおいて仮想カメラを備えた仮想ドローンを移動させる経路（仮想飛行経路）を決定する。また、仮想飛行経路に沿った各位置（ウェイポイント）における仮想カメラの向き、及び、フォーカスを合わせたいオブジェクト（対象オブジェクト）の領域等を決定する。対象オブジェクトは、例えば点検対象となるオブジェクトである。

　図１７は、シミュレーション部２１１により行われる準備処理の一例を示すフローチャートである。事前に生成した３次元環境マップを表示部２０７に表示させる（Ｓ３０１）。シミュレーション部２１１は、ユーザ入力部２０８からのユーザ入力に基づき、フォーカスを合わせたい対象オブジェクトの領域を決定する（Ｓ３０２）。ユーザは、対象オブジェクトの優先度を設定する（同ステップＳ３０２）。優先度を設定することで、複数の対象オブジェクトが画面内に存在する場合、優先的にフォーカスさせるべき対象オブジェクトを選択することができる。シミュレーション部２１１は、ユーザの入力に基づき、３次元環境マップにおいて複数のウェイポイントを設定することで、仮想ドローンを飛行させる仮想飛行経路を生成し、また、各ウェイポイントにおける仮想カメラの向きを決定する（Ｓ３０３）。シミュレーション部２１１は、ステップＳ３０２、Ｓ３０３で決定された情報を記憶する。仮想ドローンを移動させる経路の代わりに、仮想カメラを移動させる経路を用いてもよい。

　図１８（Ａ）は、シミュレーション部２１１の事前処理の一例を説明する図である。３次元環境マップ７０において仮想カメラ７１を備えた仮想ドローン７３が示される。ユーザ入力に基づき、仮想ドローン７３を移動させる経路である仮想飛行経路Ｒ１１が設定される。またフォーカスを合わせた対象オブジェクトとして仮想オブジェクト８５が指定されている。

　シミュレーション部２１１は、仮想飛行経路に従って３次元環境マップで仮想ドローンを移動させるシミュレーションを行う。

　図１８（Ｂ）は、仮想飛行経路Ｒ１１に沿って仮想ドローン７３を移動させるシミュレーションの例を示す。

　図１９は、シミュレーション部２１１により行われるシミュレーションの一例を示すフローチャートである。３次元環境マップにおいて、準備処理で設定されたウェイポイントと仮想カメラの向きとに基づき、仮想カメラ７１を備えた仮想ドローン７３を移動させる（Ｓ３１１）。

　シミュレーション部２１１は、仮想飛行経路に沿って移動する仮想ドローンの位置（ウェイポイント）毎に、仮想フォーカス領域を決定する。より詳細には、まず３次元環境マップにおいて現在の仮想カメラの位置を算出し、仮想カメラの視野範囲の画像を生成する（Ｓ３１２）。生成した画像において仮想対象オブジェクトを検出する（Ｓ３１３）。本例の仮想対象オブジェクトは３次元環境マップ内に予め存在する特定のオブジェクト（静的オブジェクト）の場合を想定する。

　シミュレーション部２１１は、仮想対象オブジェクトを検出した場合は（ＹＥＳ）、仮想対象オブジェクトの領域を仮想フォーカス領域とする。シミュレーション部２１１は、仮想フォーカス領域までの距離を計算する（Ｓ３１５）。この距離は、３次元環境マップにおいて仮想フォーカス領域に仮想カメラをフォーカスさせる距離に対応する。シミュレーション部２１１は、計算した距離を、対象環境における距離（対象オブジェクトまでの距離）に換算する。シミュレーション部２１１は、仮想フォーカス領域までの距離又は換算後の距離の少なくとも一方を、仮想ドローンの位置に対応付けて、対応情報として記憶する（同ステップＳ３１５）。この対応情報は、仮想フォーカス領域の情報を仮想ドローンの位置に対応付けた情報の一例である。対応情報において、仮想フォーカス領域の情報として、上記距離の代わりに、仮想フォーカス領域の位置又は範囲を特定する情報を対応づけてもよい。複数の仮想対象オブジェクトが存在する場合、一例として、最も優先度が高い仮想対象オブジェクトを選択し、選択した仮想対象オブジェクトの領域を仮想フォーカス領域とする（同ステップＳ３１５）。または、優先度に応じて仮想対象オブジェクトに重み付けを行い、各仮想対象オブジェクトまでの距離を優先度に応じて重み付けし、重み付けした距離を平均したものを仮想フォーカス領域までの距離とする（同ステップＳ３１５）。

　一方、シミュレーション部２１１は、仮想対象オブジェクトが検出されない場合は（ＮＯ）、事前に決められた方式により、フォーカス調整のための距離を算出する（Ｓ３１４）。例えば、画面内の中央を含む領域に含まれる部分の面積が最も大きい仮想オブジェクト、仮想カメラから一番近い仮想オブジェクトなど任意の方法で仮想オブジェクトを選択する。前述した第１選択条件又は第２選択条件と同様の方法で仮想オブジェクトの選択を行ってもよい。シミュレーション部２１１は、選択した仮想オブジェクトを含む領域を仮想フォーカス領域とし、仮想フォーカス領域までの距離を算出する。シミュレーション部２１１は、仮想フォーカス領域までの距離、及び当該距離を対象環境上の距離に換算した距離の少なくとも一方を、仮想ドローンの位置に対応付けて、対応情報として記憶する（同ステップＳ３１４）。

　シミュレーション部２１１は、現在の仮想カメラの位置及び向きにおいて、ステップＳ３１４又はステップＳ３１５で計算した距離に応じて、レンズエミュレーションにより、ぼけを再現した画像を生成する（Ｓ３１６）。すなわち、ステップＳ３１２で生成した画像において、ステップＳ３１４又はステップＳ３１５で算出した距離から逸脱した領域ほど、ボケを大きくした画像を調整する。シミュレーション部２１１は、生成した画像をユーザによる確認用に、シミュレーション部２１１からアクセス可能な記憶部に保存する。記憶部は、操作装置２０の内部に設けられても、操作装置２０の外部に設けられていてもよい。

　シミュレーション部２１１は、仮想ドローンが仮想飛行経路のゴール地点に到着したかを判断し（Ｓ３１７）、到達していない場合は（ＮＯ）、ステップＳ３１１に戻る。

　仮想ドローンが仮想飛行経路のゴール地点に到着した場合（ＹＥＳ）、ステップＳ３１６で保存した画像を再生し、再生した画像を表示部２０７にユーザに確認可能に表示させる（Ｓ３１８）。また、表示部２０７に、上述の対応情報を、時間に応じて遷移させたグラフの形式などで表示する。再生した画像と対応情報とを時刻同期して表示させてもよい。

　図２０は、再生した画像と対応情報とを時刻同期して表示させる例を示す。横軸を時間、縦軸を距離として座標系に、距離のグラフＧ１が表示されている。カーソルをグラフＧ１における位置に合わせると、該当する画像（ボケを生じさせた画像）が表示される。この際、同時に仮想カメラの位置が同時に表示されてもよい。ユーザは、ボケを再現した各時刻の画像と同じ時刻における距離（本例では仮想フォーカス領域までの距離とするが、換算した距離でもよい）を確認できる。図には時刻ｔ１、ｔ２、ｔ３のボケを再現した画像と、距離が示され、さらに本例では、各時刻における被写界深度Ｄ１１、Ｄ１２、Ｄ１３が示される。ユーザは、ボケを再現した画像を見ながら、仮想フォーカス領域を調整したい画像を見つけた場合は、当該画像に対して仮想フォーカス領域の変更指示（仮想フォーカス領域までの距離の調整指示）を入力してもよい。仮想フォーカス領域の変更指示は、フォーカスを合わせたい仮想オブジェクトを指定する指示でもよいし、仮想フォーカス領域までの距離を直接指定してもよい。シミュレーション部２１１は、ユーザから入力された指示に基づき、対応情報における該当する仮想フォーカス領域の情報を更新、より詳細には仮想フォーカス領域までの距離を更新する。

　ドローン１０は、上述の仮想飛行経路に対応する対象環境における飛行経路の情報と、仮想飛行経路における各位置（ウェイポイント）に対応する対象環境における位置での撮影カメラ１０１の向きの情報とを取得する。ドローン１０は、取得した情報に基づき自律飛行と撮影とを行う。

　対象環境における飛行経路（自律飛行用の経路）は、仮想飛行経路における各ウェイポイントに対応する位置のセットで表される。自律飛行用の飛行経路はシミュレーション部２１１で仮想飛行経路から算出され、操作装置２０の操作制御部２０１からドローン１０の飛行制御部１０３に送られる。また、各ウェイポイントでの仮想カメラの向きに対応する撮影カメラ１０１の向きの情報が、操作装置２０の操作制御部２０１からドローン１０の飛行制御部１０３に送られる。飛行制御部１０３は、自律飛行用の経路と撮影カメラ１０１の向きとの情報に基づき、自律飛行経路に沿って飛行し、撮影カメラ１０１で撮影を行う。

　図２１は、対象環境においてドローン１０を自律飛行用の経路２１に沿って飛行し、撮影カメラ１０１で撮影を行う様子を示している。ドローン１０の実際の飛行経路が、風などの影響により、自律飛行用の経路から大きく離れる場合もあり得る。経路が大きく離れたか否かは、例えば、ニューラルネットワークを用いて２つの経路が大きく離れているかを判別する方法を用いて判断してもよい。自律飛行用の経路から大きく離れた場合は、前述した第１選択条件又は第２選択条件に従ったオブジェクト選択を用いて、フォーカス制御を行ってもよい。

　操作装置２０は、ドローン１０の統合部１０７から、ドローン１０及び撮影カメラ１０１の少なくとも一方のマップ内対応位置等の情報を取得する。フォーカス調整算出部２０６は、シミュレーション部２１１で事前に取得された対応情報に基づき、取得したマップ内対応位置に一致する又は近い位置を特定し、特定した位置に対応する距離（仮想フォーカス領域までの距離）を取得する。マップ内対応位置に近い位置は、例えば、当該マップ内対応位置に最も近い位置、又は、距離が閾値以下の位置である。フォーカス調整算出部２０６は、取得した仮想フォーカス領域までの距離を、対象環境上の距離に換算し、換算した距離に基づきフォーカス調整指示情報を生成し、ドローン１０に送信する。ドローン１０のフォーカス制御部１０９は、フォーカス調整指示情報が示す距離に撮影カメラ１０１のフォーカスを合わせる調整を撮影カメラ１０１のカメラパラメータの調整等により行う。

　図２２は、第３の実施形態に係る通信システムの動作例のフローチャートである。ステップＳ１０１～Ｓ１０９、Ｓ１１３～Ｓ１１５は、図９のフローチャートと同じであるため、説明を省略する。ステップＳ４０１～Ｓ４０５が新たに追加されたステップである。

　ステップＳ４０１において、ドローン１０の飛行制御部１０３は、操作装置２０から自律飛行用の経路と撮影カメラ１０１の向きとの情報を取得し、取得した情報に基づき、ドローン１０の飛行を制御し、また撮影カメラ１０１の向きを制御する。

　ステップＳ４０２において、操作装置２０のシミュレーション部２１１は、シミュレーションの仮想飛行経路において、ドローン１０の現在のマップ内対応位置に最も近い位置（ウェイポイント）と、当該位置（ウェイポイント）に設定されている向きとを選択する。シミュレーション部２１１は、選択した位置・向きと、ドローン１０の現在のマップ内対応位置・マップ内対応向きとの差が大きく乖離しているかを判断する。例えばいずれか一方の差が閾値以上であれば、大きく乖離していると判断し、閾値未満であれば、大きく乖離していないと判断する。シミュレーション部２１１は、大きく乖離していないと判断した場合は（Ｓ４０３のＮＯ）、対応情報において上記最も近い位置に対応づいた焦点距離を選択し、焦点距離を示すフォーカス調整指示情報をドローン１０に送信する（Ｓ１１４）。ドローン１０は、フォーカス調整指示情報に基づき撮影カメラ１０１のフォーカスを制御する（Ｓ１１５）。

　一方、上記のいずれか一方の差が大きく乖離していると判断した場合は（Ｓ４０３のＹＥＳ）、フォーカス調整算出部２０６は、現在のマップ内対応向きにおける仮想カメラの視野範囲内の画像に基づき仮想フォーカス領域を決定する（Ｓ４０５）。仮想フォーカス領域を決定する方法は、シミュレーション準備処理と同様でよい。複数の仮想オブジェクトが含まれる場合は、各仮想オブジェクトの優先度に基づき、仮想フォーカス領域を決定してもよい。フォーカス調整算出部２０６は、決定した仮想フォーカス領域までの距離を計算し、計算した距離を対象環境上の距離に換算した距離が、撮影カメラ１０１の現在のフォーカス領域までの距離に一致しているかを判断する。一致している場合は（Ｓ１１３のＹＥＳ）、ステップＳ４０１に戻り、一致していない場合は、ステップＳ１１４、Ｓ１１５に進む。ステップＳ１１４、Ｓ１１５以降の処理は、第１の実施形態と同様である。

　本実施形態では対応情報を用いたフォーカス制御のため処理を操作装置２０で行ったが、対応情報をドローン１０に予め提供しておき、フォーカス制御部１０９が対応情報に基づき、自律的にフォーカス制御を行ってもよい。この場合、ドローン１０及び操作装置２０間の通信量を削減できる。

　以上、本実施形態によれば、ドローン１０が自律飛行を行う場合にも、ユーザが所望するオブジェクトにフォーカスを合わせた画像を撮影することができる。

（第４の実施形態）
　上述した第１の実施形態等では、仮想フォーカス領域を特定する情報（領域特定情報）を仮想カメラの画像に重畳することにより可視化した。別の形態として、撮影カメラ１０１の画像（スルー画像又は撮影カメラ画像と呼ぶ場合がある）に領域特定情報を重畳して可視化してもよい。具体的には、表示部２０７の画面内に、第１の実施形態と同様にして決定した仮想フォーカス領域と同じ位置にフォーカス識別情報を表示し、さらに、表示部２０７の背景画像としては、スルー画像を表示する。仮想カメラの画像内の仮想対象オブジェクトとスルー画像における対象オブジェクトは同じ位置又は概ね同じ位置に存在することが期待される。よって、この方法により、フォーカス識別情報がスルー画像における対象オブジェクトに少なくとも部分的に重ねて表示されることが期待される。よってユーザは撮影カメラ１０１によりフォーカスされることが期待される領域をより容易又は直感的に把握できる。

　図２３は、本開示の第４の実施形態に係る通信システム４を示す。ドローン１０に圧縮部５０２が追加されている。また操作装置２０の処理部２０９にフォーカス領域可視化画像作成部５０１が追加されている。図２と同一名称の要素には同一の符号を付し、変更又は拡張された処理を除き、詳細な説明は適宜省略する。

　ドローン１０の圧縮部５０２は、撮影カメラ１０１で撮影された画像（スルー画像）を受け取り、画像を圧縮する。圧縮は、サイズの縮小又は解像度の低下など、画像のデータ量を削減できる任意の方法を用いてよい。圧縮部５０２は圧縮した画像のデータを、通信部１０２を介して操作装置２０に送信する。撮影カメラ１０１は、撮影した画像から、位置特定部１０５に画像を提供する周期と同じ周期で画像を選択して圧縮部５０２に提供してもよいし、当該周期よりも短い又は長い周期で選択して圧縮部５０２に提供してもよい。

　３次元ビュー生成部２０４は、第１の実施形態と同様に３次元環境マップに、対象オブジェクトに対応する仮想対象オブジェクトを配置し、仮想カメラの視野範囲の画像を生成する。３次元ビュー生成部２０４は、生成した画像に含まれる仮想対象オブジェクトの領域を仮想フォーカス領域とする。なお、仮想フォーカス領域の決定方法は他の方法でもよい。３次元ビュー生成部２０４は、画像内における仮想フォーカス領域の範囲を示す情報をフォーカス領域可視化画像作成部５０１に提供する。仮想フォーカス領域の範囲は、当該領域に属する全ての画素の位置を示す情報でもよいし、領域の形状が矩形等の特定の形状であれば、所定の形式（例えば矩形における左上の座標と、横サイズと、縦サイズ）で表されてもよい。

　フォーカス領域可視化画像作成部５０１は、通信部２０２を介してドローン１０から圧縮されたスルー画像のデータを取得する。取得したスルー画像において、３次元ビュー生成部２０４から取得した情報に示される仮想フォーカス領域と同じ位置の領域に、フォーカス領域を特定する領域特定情報を重ねる。重ねた画像を表示部２０７に表示させる。なお、圧縮したスルー画像と仮想カメラの画像のサイズ及び解像度は同じであるとするが、サイズ及び解像度が異なってもよい。サイズ及び解像度が異なる場合は、適宜、画像間の位置関係の対応をとることで、仮想フォーカス領域と同じ位置の領域を、圧縮されたスルー画像において特定できる。

　図２４は、フォーカス領域可視化画像作成部５０１の処理の具体例を示す。図２４の左上図は、図５と同様の環境でドローン１０が飛行及び撮影した場合に、ドローン１０から送信される圧縮されたスルー画像５１１の例を示す。図２４の右上図は、当該スルー画像が取得された際に、３次元ビュー生成部２０４において仮想カメラの視野範囲の画像において特定された仮想フォーカス領域５１２を示す。図２４の下図は、図２４の左上の圧縮されたスルー画像において、図２４の右上の仮想フォーカス領域と同じ位置に領域特定情報５１３を重ねた画像を示す。領域特定情報５１３は半透明であり、背景画像（対象オブジェクト）が透けて見える。これによりユーザはスルー画像のどの領域に撮影カメラ１０１がフォーカスされることが期待されているかを、容易に現実感をもって把握することができる。なお、領域特定情報を非透明とし、仮想フォーカス領域の背景画像が透けない（見えない）ようにしてもよい。

　図２５は、第４の実施形態に係る通信システム４の動作例のフローチャートである。ステップＳ１０１～Ｓ１０６、Ｓ１０８、Ｓ１０９、Ｓ１１１～Ｓ１１５は、図９のフローチャートと同じであるため、説明を省略する。

　ステップＳ５０１において、ドローン１０の圧縮部５０２は、撮影カメラ１０１の画像を受け取り、画像を圧縮する。

　ステップＳ５０２において、通信部１０２が、図９のステップＳ１０７で行う送信に加え、圧縮した画像のデータを操作装置２０に送信する。

　ステップＳ５０３において、フォーカス領域可視化画像作成部５０１は、受信したスルー画像において、３次元ビュー生成部２０４で生成される仮想フォーカス領域と同じ位置に、仮想フォーカス領域を特定する領域特定情報を重ねる。フォーカス領域可視化画像作成部５０１は、領域特定情報を重ねたスルー画像を表示部２０７に表示させる。

　以上、本実施形態によれば、撮影カメラ１０１の撮影画像（スルー画像）に仮想フォーカス領域を特定する情報を重ねて表示することにより、撮影カメラ１０１がフォーカスしていると期待される領域をユーザに、より現実感を高めて視認させることができる。

（第５の実施形態）
　上述した各実施形態では仮想カメラから仮想対象オブジェクトまでの距離（仮想フォーカス領域までの距離）を対象環境における距離に換算して、撮影カメラ１０１のフォーカス調整を行った。撮影カメラ１０１又は測距センサ１０４等の個体差により、換算した距離が、実際の対象環境の撮影カメラ１０１から対象オブジェクトまでの距離に合致せず、フォーカスが合わない場合もあり得る。本実施形態では、仮想対象オブジェクトまでの距離のキャリブレーションを行うことで、フォーカスをより正確に合わせることを実現する。

　本実施形態に係る通信システムのブロック図は、前述した各実施形態のブロック図と同じであるが、フォーカス調整算出部２０６の処理が一部拡張されている。

　フォーカス調整算出部２０６は、第１の実施形態と同様に、仮想カメラから仮想対象オブジェクトまでの距離を対象環境における距離に換算した距離に基づき、フォーカス調整指示情報を生成し、フォーカス調整指示情報をドローン１０に送信する。

　フォーカス調整算出部２０６は、フォーカス制御部１０９によりフォーカス調整（例えば焦点距離等のカメラパラメータの調整）がなされた後（例えば直後）の撮影カメラ１０１により撮像された画像と、測距センサ１０４の測距画像とをドローン１０から取得する。フォーカス調整算出部２０６は、取得したこれらの画像に基づき、撮影カメラ１０１からの距離（測距画像の測距値）とコントラスト強度との関係を表すデータを取得する。距離ごとのコントラスト強度は、例えば撮影画像において距離ごとに画素の高周波成分を積分することにより算出できる。積分値が大きいほどコントラストが高く、フォーカスがより合っているといえる。フォーカス調整算出部２０６は、取得したデータにおいて最大のコントラスト強度（ピーク）に対応する距離を特定する。フォーカス調整算出部２０６は、特定した距離と、上記の仮想フォーカス領域までの距離を対象環境上の距離に換算した距離との差分を算出する。

　図２６は、フォーカス制御部１０９によりフォーカス調整がなされた後の撮影カメラ１０１により撮像された画像の例を示す。

　図２７は、距離（対象環境における距離）とコントラスト強度との関係を示すデータの例を示す。最大のコントラスト強度（ピーク）に対応する距離Ｈ１と、３次元環境マップ上の仮想フォーカス領域までの距離を対象環境上の距離に換算した距離Ｈ２と、距離Ｈ１、Ｈ２の差分ΔＨとが示される。

　フォーカス調整算出部２０６は、算出した差分に応じて、仮想対象オブジェクトまでの距離（又は換算した距離）をキャリブレーションする。キャリブレーションとして、例えば仮想フォーカス領域までの距離（又は当該距離を対象環境上の距離に換算した距離）に、差分を加算又は減算する。あるいは、差分に調整係数を乗じた値を加算又は減算する。フォーカス調整算出部２０６は、キャリブレーション後の距離に基づいて、フォーカス調整指示情報を生成する。このようにフォーカス調整算出部２０６は、仮想カメラから仮想フォーカス領域までの距離と、撮影カメラ１０１がフォーカスされている距離との差分を算出し、差分に応じて、フォーカス調整指示情報を生成する。フォーカス調整算出部２０６は、生成したフォーカス調整指示情報をドローン１０に送信する。差分ΔＨの計算は、ドローン１０の飛行の開始時に１回行い、その後は、当該差分を用いて毎回キャリブレーションを行ってもよい。あるいは、一定の時間間隔で差分ΔＨの計算を行うことで、一定時間間隔で差分を更新してもよい。

　上述した例では差分を計算するために測距画像を用いたが、他の手法によるキャリブレーションも可能である。例えば、ドローンが空中に停止した状態で撮影カメラ１０１による撮影を行い、第１の実施形態と同様の処理を行い、仮想対象オブジェクトまでの距離を算出する。またドローンをその位置の状態にしたまま、撮影カメラ１０１のレンズの焦点距離を一定の範囲で変動させ、各焦点距離の位置で撮影カメラ１０１により撮像を行う。各撮像した画像において、対象オブジェクトを含む領域のコントラスト強度を算出する。コントラスト強度が最も高い焦点距離を特定する。事前にレンズの焦点距離と、フォーカスが合う対象環境上の距離との対応づけたフォーカス・距離対応データに基づき、決定したレンズの焦点距離に対応する対象環境上の距離を取得する。取得した距離を、上記の仮想フォーカス領域までの距離を対象環境上の距離に換算した距離と比較し、両者の差分を算出する。算出した差分を、前述したキャリブレーションの例と同様にして用いて、距離のキャリブレーションを行う。以上の処理をフォーカス調整算出部２０６が行う。

　キャリブレーションのさらに他の手法として、２つの結像画像の位相差を利用する方式も可能である。撮影カメラ１０１の内部において、被写体（対象オブジェクト）からのレンズ（撮影レンズ）を通過した光の一部を、ハーフミラーを介して撮像素子に入射させるとともに、当該光の残りの一部を他の方向にハーフミラーで反射させる。反射した光を２つの検出用レンズにそれぞれ入射させ、当該２つの検出用レンズから位相差検出用の２つの撮像センサにそれぞれ入力させる。２つの撮像センサの画像の位相差から被写体までの距離を算出する。算出した距離を示す情報を、ドローン１０から操作装置２０に送信する。操作装置２０のフォーカス調整算出部２０６は、受信した距離を、上記の３次元環境マップ上の仮想対象オブジェクトまでの距離を対象環境上の距離に換算した距離と比較し、両者の差分を算出する。フォーカス調整算出部２０６は、差分に応じて、算出した仮想対象オブジェクトまでの距離（又は換算した距離）をキャリブレーションする。キャリブレーションとして、例えば仮想対象オブジェクトまでの距離（又は当該距離を対象環境上の距離に換算した距離）に、差分又は差分に調整係数を乗じた値を、加算又は減算する。フォーカス調整算出部２０６は、キャリブレーション後の距離に基づいてフォーカス調整指示情報を生成し、ドローン１０に送信する。キャリブレーションを行うための差分の算出は、ドローン１０の飛行の開始時又は途中で１回行い、その後は、当該差分を用いて毎回キャリブレーションを行ってもよい。あるいは、一定の時間間隔で差分の計算を行うことにより、差分の値を更新してもよい。距離の算出を撮影カメラ１０１で行ったが、位相差の情報を操作装置２０に送信し、フォーカス調整算出部２０６で位相差から距離を計算する処理を行ってもよい。

（変形例）
　上述した実施形態では、撮影カメラをドローンに設けたが、撮影カメラを設ける対象はドローンに限定されない。例えば、台車、ＡＧＶ、移動ロボット、電車、自動者、潜水艦などの移動体に撮影カメラを設ける場合も、同様の実施形態が可能である。

　上述した実施形態ではフォトグラメトリを用いて３次元環境マップを作成したが、ドロー等の移動体が備える測距センサ等のセンサを用いてリアルタイムに環境マップ（例えばOccupancy Grid Map）を作成してもよい。また上述の実施形態はGPS（Global Positioning Satellite、全地球測位システム）信号を受信できない環境でも実施可能である。

　また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。

　なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

　なお、本開示は以下のような構成を取ることもできる。
［項目１］
　撮影カメラを搭載した移動体により移動可能な対象環境をモデル化した仮想環境空間に前記撮影カメラに関連づけられる仮想カメラを配置し、
　前記仮想カメラの視野範囲に対応する画像に基づき、前記対象環境において前記撮影カメラがフォーカスされている領域に対応する仮想フォーカス領域を前記仮想環境空間において決定し、
　前記仮想フォーカス領域を特定する領域特定情報を表示画面に表示する
　情報処理方法。
［項目２］
　前記仮想カメラの前記視野範囲に対応する前記画像に少なくとも１つのオブジェクトが含まれており、
　前記画像に含まれる前記少なくとも１つのオブジェクトから第１選択条件に従ってオブジェクトを選択し、選択した前記オブジェクトを含む領域を前記仮想フォーカス領域とする
　項目1に記載の情報処理方法。
［項目３］
　前記第１選択条件は、
　前記少なくとも１つのオブジェクトのうち移動するオブジェクトを選択する条件、
　前記少なくとも１つのオブジェクトのうち前記画像における第１領域範囲に含まれる面積に基づいてオブジェクトを選択する条件、
　前記少なくとも１つのオブジェクトのうち前記仮想カメラから第１距離範囲に含まれるオブジェクトを選択する条件、
　のうちの少なくとも１つを含む
　項目２に記載の情報処理方法。
［項目４］
　前記対象環境における前記撮影カメラの位置を表す位置情報を取得し、
　前記位置情報が示す位置に対応する前記仮想環境空間における第１位置に前記仮想カメラを配置する
　項目１～３のいずれか一項に記載の情報処理方法。
［項目５］
　前記対象環境における前記撮影カメラの姿勢を表す姿勢情報を取得し、
　前記仮想カメラを前記姿勢情報が示す姿勢に応じた姿勢で配置する
　項目４に記載の情報処理方法。
［項目６］
　前記仮想カメラの前記視野範囲に対応する前記画像を前記表示画面に表示し、前記画像における前記仮想フォーカス領域に、前記領域特定情報を配置する
　項目１～５のいずれか一項に記載の情報処理方法。
［項目７］
　前記撮影カメラの撮像画像を取得し、前記撮像画像を前記表示画面に表示し、
　前記仮想カメラの前記視野範囲に対応する前記画像における前記仮想フォーカス領域の位置に対応する、前記撮像画像における位置に前記領域特定情報を配置する
　項目１～６のいずれか一項に記載の情報処理方法。
［項目８］
　前記仮想カメラから前記仮想フォーカス領域までの距離を算出し、
　算出した距離に基づき、前記仮想フォーカス領域に対応する前記対象環境における領域に、前記撮影カメラのフォーカスを合わせることを指示するフォーカス調整指示情報を前記移動体に送信する
　項目１～７のいずれか一項に記載の情報処理方法。
［項目９］
　前記フォーカス調整指示情報に基づき、前記撮影カメラのカメラパラメータを調整することにより、前記撮影カメラのフォーカスを合わせる距離を調整する
　項目８に記載の情報処理方法。
［項目１０］
　前記仮想フォーカス領域を変更することを指示する指示情報を、ユーザ入力部を介して取得し、
　前記指示情報に基づき、前記仮想フォーカス領域を変更する
　項目８～９のいずれか一項に記載の情報処理方法。
［項目１１］
　前記移動体の動き情報を取得し、前記移動体の動き情報に基づき、第１の時間後の前記撮影カメラの位置を予測し、
　前記撮影カメラの予測された位置に対応する前記仮想環境空間における第２位置に、前記仮想カメラを配置する
　項目１～１０のいずれか一項に記載の情報処理方法。
［項目１２］
　前記仮想カメラの前記視野範囲に対応する前記画像を前記表示画面に表示し、
　前記撮影カメラにより撮像される対象オブジェクトの動き情報を取得し、
　前記対象オブジェクトの動き情報に基づき、前記第１の時間後の前記対象オブジェクトの位置を予測し、
　前記対象オブジェクトの予測された位置に対応する前記仮想環境空間における第３位置に、前記対象オブジェクトを表す仮想オブジェクトを配置し、
　前記仮想カメラの前記視野範囲に対応する前記画像において前記仮想オブジェクトを含む領域を前記仮想フォーカス領域に決定する
　項目１１に記載の情報処理方法。
［項目１３］
　前記第２位置に配置された前記仮想カメラの前記視野範囲に対応する画像に少なくとも１つのオブジェクトが含まれており、
　前記画像に含まれる前記少なくとも１つのオブジェクトから第２選択条件に従ってオブジェクトを選択し、選択した前記オブジェクトを含む領域を前記仮想フォーカス領域に決定する
　項目１１又は１２に記載の情報処理方法。
［項目１４］
　前記第２選択条件は、
　前記少なくとも１つのオブジェクトのうち移動するオブジェクトを選択する条件、
　前記少なくとも１つのオブジェクトのうち前記画像における第２領域範囲に含まれる面積に基づきオブジェクトを選択する条件、
　前記少なくとも１つのオブジェクトのうち前記仮想カメラから第２距離範囲に含まれるオブジェクトを選択する条件、
　前記少なくとも１つのオブジェクトのうちユーザにより指定されたオブジェクトを選択する条件
　のうちの少なくとも１つを含む
　項目１３に記載の情報処理方法。
［項目１５］
　前記移動体の移動を指示する操作情報を、ユーザ入力部を介して取得し、
　前記操作情報を前記移動体に送信し、
　前記移動体の動き情報を、前記操作情報に基づき取得する
　項目１１～１４のいずれか一項に記載の情報処理方法。
［項目１６］
　前記仮想カメラ又は前記仮想カメラを搭載した仮想移動体を前記仮想環境空間において第１の経路に沿って移動させるシミュレーションを行い、
　前記第１の経路における複数の位置ごとに前記仮想フォーカス領域を設定し、
　設定した複数の前記仮想フォーカス領域の情報を前記複数の位置に対応付けた対応情報を生成する
　項目１～１５のいずれか一項に記載の情報処理方法。
［項目１７］
　前記仮想環境空間の前記第１の経路に対応する、前記対象環境の第２経路に基づき、前記移動体に自律移動させ、
　自律移動する前記移動体から前記移動体の位置又は前記撮影カメラの位置を示す位置情報を取得し、
　前記位置情報が示す前記位置に対応する、前記仮想環境空間における位置に基づき、前記対応情報から仮想フォーカス領域の情報を選択し、
　選択した前記情報が示す前記仮想フォーカス領域に対応する前記対象環境における領域に前記撮影カメラをフォーカスさせることを指示するフォーカス調整指示情報を、前記移動体に送信する
　項目１６に記載の情報処理方法。
［項目１８］
　前記対応情報を前記表示画面に表示し、
　前記対応情報に含まれる前記複数の位置のうちの１つの位置に対して、前記仮想フォーカス領域を変更することを指示する指示情報を、ユーザ入力部を介して取得し、
　前記指示情報に基づき前記対応情報における前記１つの位置に対応する前記仮想フォーカス領域の情報を更新する
　項目１７に記載の情報処理方法。
［項目１９］
　前記仮想カメラから前記仮想フォーカス領域までの距離と、前記撮影カメラがフォーカスされている距離との差分を算出し、前記差分に応じて、前記フォーカス調整指示情報を生成する
項目８～１８のいずれか一項に記載の情報処理方法。
［項目２０］
　前記移動体は、ドローンである
　項目１～１９のいずれか一項に記載の情報処理方法。
［項目２１］
　撮影カメラを搭載した移動体により移動可能な対象環境をモデル化した仮想環境空間に前記撮影カメラに関連づけられる仮想カメラを配置し、前記仮想カメラの視野範囲に対応する画像に基づき、前記対象環境において前記撮影カメラがフォーカスされている領域に対応する仮想フォーカス領域を前記仮想環境空間において決定する処理部と、
　前記仮想フォーカス領域を特定する領域特定情報を表示画面に表示する表示部と
　を備えた情報処理装置。
［項目２２］
　撮影カメラを搭載した移動体により移動可能な対象環境をモデル化した仮想環境空間に前記撮影カメラに関連づけられる仮想カメラを配置するステップと、
　前記仮想カメラの視野範囲に対応する画像に基づき、前記対象環境において前記撮影カメラがフォーカスされている領域に対応する仮想フォーカス領域を前記仮想環境空間において決定するステップと、
　前記仮想フォーカス領域を特定する領域特定情報を表示画面に表示するステップと
　をコンピュータに実行させるためのコンピュータプログラム。
［項目２３］
　対象環境を移動可能であり、撮影カメラを搭載した移動体と、
　前記移動体を操作する操作装置と、を備え、
　前記操作装置は、
　前記対象環境をモデル化した仮想環境空間と、
　前記移動体から、前記撮影カメラの位置に対応する前記仮想環境空間における位置を特定可能な情報を受信する受信部と、
　前記情報が示す前記位置に仮想カメラを配置し、前記仮想カメラの視野範囲に対応する画像に基づき、前記撮影カメラがフォーカスされている領域に対応する仮想フォーカス領域を前記仮想環境空間において決定する処理部と、
　前記仮想フォーカス領域を特定する領域特定情報を表示する表示部と
　を備えた通信システム。

１～４　通信システム
１０　ドローン
２０　操作装置
２１　経路
３０　ユーザ
５０　移動体
５１　ユーザ
５２　カメラ
５３　画像
６０　対象環境
６１　対象オブジェクト
７０　３次元環境マップ
７１　仮想カメラ
７１Ａ　視野範囲
７３　仮想ドローン
７２　仮想対象オブジェクト
８０　画像
８１　領域特定情報
８２　領域特定情報
８３　画像
８４　領域
８５　仮想オブジェクト
８６　領域特定情報
８７　仮想オブジェクト
８８　領域特定情報
１０１　撮影カメラ
１０１Ａ　画角
１０２　通信部
１０３　飛行制御部
１０４　測距センサ
１０５　位置特定部
１０６　オブジェクト認識部
１０７　統合部
１０８　オブジェクト追跡部
１０９　フォーカス制御部
１１０　画像データ記憶部
１１１　ロータ
２０１　操作制御部
２０２　通信部
２０３　３次元環境マップ記憶部
２０４　３次元ビュー生成部
２０５　未来予測ビュー生成部
２０６　フォーカス調整算出部
２０７　表示部
２０８　ユーザ入力部
２０９　処理部
２１１　シミュレーション部
５０１　フォーカス領域可視化画像作成部
５０２　圧縮部
５１１　スルー画像
５１２　仮想フォーカス領域
５１３　領域特定情報
Ａ　距離
Ｂ　距離
Ｄ１　被写界深度
Ｄ２　被写界深度
Ｄ１１～Ｄ１３　被写界深度
Ｇ１　グラフ
Ｈ１、Ｈ２　距離
Ｐ１～Ｐ３　処理
Ｒ１１　仮想飛行経路

Claims

　撮影カメラを搭載した移動体により移動可能な対象環境をモデル化した仮想環境空間に前記撮影カメラに関連づけられる仮想カメラを配置し、
　前記仮想カメラの視野範囲に対応する画像に基づき、前記対象環境において前記撮影カメラがフォーカスされている領域に対応する仮想フォーカス領域を前記仮想環境空間において決定し、
　前記仮想フォーカス領域を特定する領域特定情報を表示画面に表示する
　情報処理方法。
　前記仮想カメラの前記視野範囲に対応する前記画像に少なくとも１つのオブジェクトが含まれており、
　前記画像に含まれる前記少なくとも１つのオブジェクトから第１選択条件に従ってオブジェクトを選択し、選択した前記オブジェクトを含む領域を前記仮想フォーカス領域とする
　請求項１に記載の情報処理方法。
　前記第１選択条件は、
　前記少なくとも１つのオブジェクトのうち移動するオブジェクトを選択する条件、
　前記少なくとも１つのオブジェクトのうち前記画像における第１領域範囲に含まれる面積に基づいてオブジェクトを選択する条件、
　前記少なくとも１つのオブジェクトのうち前記仮想カメラから第１距離範囲に含まれるオブジェクトを選択する条件、
　のうちの少なくとも１つを含む
　請求項２に記載の情報処理方法。
　前記対象環境における前記撮影カメラの位置を表す位置情報を取得し、
　前記位置情報が示す位置に対応する前記仮想環境空間における第１位置に前記仮想カメラを配置する
　請求項１に記載の情報処理方法。
　前記対象環境における前記撮影カメラの姿勢を表す姿勢情報を取得し、
　前記仮想カメラを前記姿勢情報が示す姿勢に応じた姿勢で配置する
　請求項４に記載の情報処理方法。
　前記仮想カメラの前記視野範囲に対応する前記画像を前記表示画面に表示し、前記画像における前記仮想フォーカス領域に、前記領域特定情報を配置する
　請求項１に記載の情報処理方法。
　前記撮影カメラの撮像画像を取得し、前記撮像画像を前記表示画面に表示し、
　前記仮想カメラの前記視野範囲に対応する前記画像における前記仮想フォーカス領域の位置に対応する、前記撮像画像における位置に前記領域特定情報を配置する
　請求項１に記載の情報処理方法。
　前記仮想カメラから前記仮想フォーカス領域までの距離を算出し、
　算出した距離に基づき、前記仮想フォーカス領域に対応する前記対象環境における領域に、前記撮影カメラのフォーカスを合わせることを指示するフォーカス調整指示情報を前記移動体に送信する
　請求項１に記載の情報処理方法。
　前記フォーカス調整指示情報に基づき、前記撮影カメラのカメラパラメータを調整することにより、前記撮影カメラのフォーカスを合わせる距離を調整する
　請求項８に記載の情報処理方法。
　前記仮想フォーカス領域を変更することを指示する指示情報を、ユーザ入力部を介して取得し、
　前記指示情報に基づき、前記仮想フォーカス領域を変更する
　請求項８に記載の情報処理方法。
　前記移動体の動き情報を取得し、前記移動体の動き情報に基づき、第１の時間後の前記撮影カメラの位置を予測し、
　前記撮影カメラの予測された位置に対応する前記仮想環境空間における第２位置に、前記仮想カメラを配置する
　請求項１に記載の情報処理方法。
　前記仮想カメラの前記視野範囲に対応する前記画像を前記表示画面に表示し、
　前記撮影カメラにより撮像される対象オブジェクトの動き情報を取得し、
　前記対象オブジェクトの動き情報に基づき、前記第１の時間後の前記対象オブジェクトの位置を予測し、
　前記対象オブジェクトの予測された位置に対応する前記仮想環境空間における第３位置に、前記対象オブジェクトを表す仮想オブジェクトを配置し、
　前記仮想カメラの前記視野範囲に対応する前記画像において前記仮想オブジェクトを含む領域を前記仮想フォーカス領域に決定する
　請求項１１に記載の情報処理方法。
　前記第２位置に配置された前記仮想カメラの前記視野範囲に対応する画像に少なくとも１つのオブジェクトが含まれており、
　前記画像に含まれる前記少なくとも１つのオブジェクトから第２選択条件に従ってオブジェクトを選択し、選択した前記オブジェクトを含む領域を前記仮想フォーカス領域に決定する
　請求項１１に記載の情報処理方法。
　前記第２選択条件は、
　前記少なくとも１つのオブジェクトのうち移動するオブジェクトを選択する条件、
　前記少なくとも１つのオブジェクトのうち前記画像における第２領域範囲に含まれる面積に基づきオブジェクトを選択する条件、
　前記少なくとも１つのオブジェクトのうち前記仮想カメラから第２距離範囲に含まれるオブジェクトを選択する条件、
　前記少なくとも１つのオブジェクトのうちユーザにより指定されたオブジェクトを選択する条件
　のうちの少なくとも１つを含む
　請求項１３に記載の情報処理方法。
　前記移動体の移動を指示する操作情報を、ユーザ入力部を介して取得し、
　前記操作情報を前記移動体に送信し、
　前記移動体の動き情報を、前記操作情報に基づき取得する
　請求項１１に記載の情報処理方法。
　前記仮想カメラ又は前記仮想カメラを搭載した仮想移動体を前記仮想環境空間において第１の経路に沿って移動させるシミュレーションを行い、
　前記第１の経路における複数の位置ごとに前記仮想フォーカス領域を設定し、
　設定した複数の前記仮想フォーカス領域の情報を前記複数の位置に対応付けた対応情報を生成する
　請求項１に記載の情報処理方法。
　前記仮想環境空間の前記第１の経路に対応する、前記対象環境の第２経路に基づき、前記移動体に自律移動させ、
　自律移動する前記移動体から前記移動体の位置又は前記撮影カメラの位置を示す位置情報を取得し、
　前記位置情報が示す前記位置に対応する、前記仮想環境空間における位置に基づき、前記対応情報から仮想フォーカス領域の情報を選択し、
　選択した前記情報が示す前記仮想フォーカス領域に対応する前記対象環境における領域に前記撮影カメラをフォーカスさせることを指示するフォーカス調整指示情報を、前記移動体に送信する
　請求項１６に記載の情報処理方法。
　前記対応情報を前記表示画面に表示し、
　前記対応情報に含まれる前記複数の位置のうちの１つの位置に対して、前記仮想フォーカス領域を変更することを指示する指示情報を、ユーザ入力部を介して取得し、
　前記指示情報に基づき前記対応情報における前記１つの位置に対応する前記仮想フォーカス領域の情報を更新する
　請求項１７に記載の情報処理方法。
　前記仮想カメラから前記仮想フォーカス領域までの距離と、前記撮影カメラがフォーカスされている距離との差分を算出し、前記差分に応じて、前記フォーカス調整指示情報を生成する
　請求項８に記載の情報処理方法。
　前記移動体は、ドローンである
　請求項１に記載の情報処理方法。
　撮影カメラを搭載した移動体により移動可能な対象環境をモデル化した仮想環境空間に前記撮影カメラに関連づけられる仮想カメラを配置し、前記仮想カメラの視野範囲に対応する画像に基づき、前記対象環境において前記撮影カメラがフォーカスされている領域に対応する仮想フォーカス領域を前記仮想環境空間において決定する処理部と、
　前記仮想フォーカス領域を特定する領域特定情報を表示画面に表示する表示部と
　を備えた情報処理装置。
　撮影カメラを搭載した移動体により移動可能な対象環境をモデル化した仮想環境空間に前記撮影カメラに関連づけられる仮想カメラを配置するステップと、
　前記仮想カメラの視野範囲に対応する画像に基づき、前記対象環境において前記撮影カメラがフォーカスされている領域に対応する仮想フォーカス領域を前記仮想環境空間において決定するステップと、
　前記仮想フォーカス領域を特定する領域特定情報を表示画面に表示するステップと
　をコンピュータに実行させるためのコンピュータプログラム。
　対象環境を移動可能であり、撮影カメラを搭載した移動体と、
　前記移動体を操作する操作装置と、を備え、
　前記操作装置は、
　前記対象環境をモデル化した仮想環境空間と、
　前記移動体から、前記撮影カメラの位置に対応する前記仮想環境空間における位置を特定可能な情報を受信する受信部と、
　前記情報が示す前記位置に仮想カメラを配置し、前記仮想カメラの視野範囲に対応する画像に基づき、前記撮影カメラがフォーカスされている領域に対応する仮想フォーカス領域を前記仮想環境空間において決定する処理部と、
　前記仮想フォーカス領域を特定する領域特定情報を表示する表示部と
　を備えた通信システム。