JPWO2019082924A1

JPWO2019082924A1 - 情報処理装置

Info

Publication number: JPWO2019082924A1
Application number: JP2019551195A
Authority: JP
Inventors: 中川　宏; 宏中川; 山田　和宏; 和宏山田
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2017-10-27
Filing date: 2018-10-24
Publication date: 2020-10-22
Anticipated expiration: 2038-10-24
Also published as: JP6945004B2; US20210155342A1; US11167846B2; WO2019082924A1

Abstract

飛行体の操縦者に対する操縦支援を遠隔地から容易に行い得るようにする。サーバ装置（２０）は、飛行体（１０）の撮像機能によって撮像された撮像画像（飛行体視点画像）と、撮像装置４０によって飛行体（１０）が飛行する様子が撮像された撮像画像（操縦者視点画像）とのうち、いずれかを優先的に支援者端末（５０）に提供する。サーバ装置（２０）、飛行体の飛行に関する情報に基づいて、優先的に表示させる撮像画像を決定する。サーバ装置（２０）は、例えば飛行体の飛行中の状態に基づいて、優先的に表示させる撮像画像を決定する。飛行中の状態には、例えば飛行体（１０）の高度、速度、姿勢、電池残量、モータ回転数、作業対象物との距離が含まれる。

Description

本発明は、飛行体の操縦者に対する操縦支援に関する。

飛行体を制御する技術として、例えば特許文献１には、飛行体に設けられた発光体からの発光を、移動機構に設けられたカメラで追随させることで、飛行体の飛行状態を撮像し、その撮像画像を遠隔地にて表示させる仕組みが開示されている。

特開２０１４−１０４７９７号公報

近年、ドローンと呼ばれる飛行体を利用したサービスとして様々なものが普及しつつある。このような状況において、例えば、飛行体の操縦に不慣れな操縦者に対してその操縦を遠隔から支援するような仕組みが考えられている。そこで、本発明は、飛行体の操縦者に対する操縦支援を遠隔地から容易に行い得る仕組みを提供することを目的とする。

上記課題を解決するため、本発明は、飛行体に搭載された撮像装置により撮像された撮像画像を取得する第１取得部と、前記飛行体が飛行する様子が撮像された撮像画像を取得する第２取得部と、前記飛行体の操縦者による操縦を支援する操縦支援者の端末において、前記第１取得部により取得された撮像画像又は前記第２取得部により取得された撮像画像のうちいずれかを優先的に表示させる優先表示制御部とを備えることを特徴とする情報処理装置を提供する。

前記優先表示制御部は、前記飛行体の飛行に関する情報に基づいて、優先的に表示させる前記撮像画像を決定するようにしてもよい。

前記優先表示制御部は、前記飛行体の飛行中の状態に基づいて、優先的に表示させる前記撮像画像を決定するようにしてもよい。

前記優先表示制御部は、前記操縦者による操縦に関する情報に基づいて、優先的に表示させる前記撮像画像を決定するようにしてもよい。

前記優先表示制御部は、前記操縦者又は前記操縦支援者の操縦に関する属性に基づいて、優先的に表示させる前記撮像画像を決定するようにしてもよい。

前記優先表示制御部は、前記操縦支援者による操縦の支援に関する情報に応じて、優先的に表示させる前記撮像画像を決定するようにしてもよい。

前記操縦支援者の端末が複数ある場合に、前記優先表示制御部は、前記端末ごとに決められた方法に従って、優先的に表示させる前記撮像画像を決定するようにしてもよい。

前記優先表示制御部は、さらに、飛行している前記飛行体の飛行に関する情報を、前記操縦支援者の端末に表示させるようにしてもよい。

前記優先表示制御部は、さらに、自装置と前記操縦支援者の端末との間のデータ通信の遅延に関する情報を、前記操縦支援者の端末に表示させるようにしてもよい。

前記飛行体及び前記操縦者がそれぞれ複数いる場合に、前記第１取得部は、各々の前記飛行体に搭載された撮像装置により撮像された撮像画像を取得し、前記第２取得部は、各々の前記飛行体が飛行する様子が撮像された撮像画像を取得し、前記優先表示制御部は、各々の前記飛行体について前記第１取得部により取得された撮像画像又は前記第２取得部により取得された撮像画像のうちいずれかを各々の前記操縦者に対する操縦支援の目的に応じて選択し、選択した撮像画像を前記操縦支援者の端末において優先的に表示させるようにしてもよい。

本発明によれば、飛行体の操縦者に対する操縦支援を遠隔地から容易に行い得る。

飛行制御システム１の構成の一例を示す図である。飛行体１０の外観の一例を示す図である。飛行体１０のハードウェア構成を示す図である。操縦者端末３０のハードウェア構成を示す図である。支援者端末５０のハードウェア構成を示す図である。サーバ装置２０のハードウェア構成を示す図である。サーバ装置２０の機能構成の一例を示す図である。表示画像決定テーブルの一例を示す図である。飛行制御システム１の動作の一例を示すシーケンスチャートである。

構成
図１は、飛行制御システム１の構成の一例を示す図である。飛行制御システム１は、飛行体１０の飛行を制御するためのシステムである。飛行制御システム１は、飛行体１０と、サーバ装置２０と、操縦者端末３０と、撮像装置４０と、支援者端末５０と、ネットワーク６０とを備える。飛行体１０は、例えばドローンと呼ばれる飛行可能な装置であり、自身の周囲を動画によって撮像する撮像機能を備えている。この撮像機能によって撮像された画像は、飛行体１０を視点としたときの画像であり、以下では、飛行体視点画像という。

操縦者端末３０は、操縦者が飛行体１０を視認しながら操縦するための端末である。操縦者端末３０は、飛行体１０と無線接続されており、操縦者の操作に応じた無線信号を飛行体１０に送信してその動作を指示する。

撮像装置４０は、例えばカメラであり、飛行体１０が飛行する様子を動画によって撮像する。この撮像装置４０はパン・チルト機能を備えており、例えば撮像した画像を画像認識技術によって解析して撮像画像中の飛行体１０を認識し、パン・チルト機能を制御することで、認識した飛行体１０を追尾して撮像するよう撮像方向を変更し得るようになっている。この撮像装置４０は、飛行体１０の飛行空域下方の地上に設置された固定型の撮像装置であってもよいし、人間が持ち運び可能な可搬型の撮像装置であってもよい。また、撮像装置４０と操縦者端末３０とが一体であってもよい。本実施形態では撮像装置４０は可搬型であり、操縦者の傍に置かれて飛行体１０を含む空間を撮像する。撮像装置４０によって撮像された画像は、操縦者の視点から飛行体１０の飛行を見たときの視界とほぼ等しく、以下では、操縦者視点画像という。

支援者端末５０は、操縦者による操縦を遠隔から支援する操縦支援者が操作するための端末である。支援者端末５０は表示機能を備えており、前述した飛行体視点画像又は操縦者視点画像を表示し得るようになっている。操縦支援者はこの画像を見ながら支援者端末５０を操作して、操縦者の操縦を支援する。

サーバ装置２０は、飛行体１０の飛行を制御する制御プラットフォームとして機能する情報処理装置であり、飛行体１０の撮像機能によって撮像された飛行体視点画像と、撮像装置４０によって飛行体１０が飛行する様子が撮像された操縦者視点画像とのうち、いずれかを優先的に支援者端末５０に表示させる。ここで、優先的に表示させる、とは、優先的に表示させる一方の撮像画像を他方の撮像画像に比べてユーザが容易に又は分かりやすく閲覧できるように支援者端末５０に表示させることを意味しており、例えば、優先的に表示させる一方の撮像画像を表示させて他方の撮像画像を表示させない形態や、優先的に表示させる一方の撮像画像を他方の撮像画像よりも大きく表示させる形態や、優先的に表示させる一方の撮像画像を他方の撮像画像よりも時間的に先に表示させる形態や、優先的に表示させる一方の撮像画像を他方の撮像画像よりも視覚的に強調して表示させる形態などを含む。

サーバ装置２０、操縦者端末３０、撮像装置４０及び支援者端末５０はそれぞれ、ネットワークに６０との間で有線又は無線により通信可能となるように接続されている。このネットワーク６０は、低レイテンシでのデータ転送を実現するべく、閉域ネットワークであることが望ましい。

図２は、飛行体１０の外観の一例を示す図である。飛行体１０は、例えばドローンと呼ばれるものであり、プロペラ１０１と、駆動装置１０２と、バッテリー１０３とを備える。

プロペラ１０１は、軸を中心に回転する。プロペラ１０１が回転することにより、飛行体１０が飛行する。駆動装置１０２は、プロペラ１０１に動力を与えて回転させる。駆動装置１０２は、例えばモータとモータの動力をプロペラ１０１に伝達する伝達機構とを含む。バッテリー１０３は、駆動装置１０２を含む飛行体１０の各部に電力を供給する。

図３は、飛行体１０のハードウェア構成を示す図である。飛行体１０は、物理的には、プロセッサ１１、メモリ１２、ストレージ１３、通信装置１４、測位装置１５、撮像装置１６、センサ１８及びバス１７などを含むコンピュータ装置として構成されている。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。

プロセッサ１１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。

また、プロセッサ１１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１３及び／又は通信装置１４からメモリ１２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、飛行体１０の動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。飛行体１０において実行される各種処理は、１つのプロセッサ１１により実行されてもよいし、２以上のプロセッサ１１により同時又は逐次に実行されてもよい。プロセッサ１１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１２は、本発明の一実施の形態に係る飛行制御方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１３は、補助記憶装置と呼ばれてもよい。

通信装置１４は、操縦者端末３０と無線通信を行うためのハードウェアである。

測位装置１５は、飛行体１０の三次元の位置を測定する。測位装置１５は、例えばＧＰＳ（Global Positioning System）受信機であり、複数の衛星から受信したＧＰＳ信号に基づいて飛行体１０の現在位置を測定する。

撮像装置１６は、飛行体１０の周囲の画像を撮像する。撮像装置１６は、例えばカメラであり、光学系を用いて撮像素子上に像を結ばせることにより、画像を撮像する。撮像装置１６は、例えば飛行体１０の前方において所定の範囲の画像を撮像する。ただし、撮像装置１６の撮像方向は、飛行体１０の前方に限定されず、飛行体１０の上方、下方、又は後方であってもよい。また、例えば撮像装置１６を支持する台座が回転することにより、撮像方向が変更されてもよい。

センサ１８は、飛行体１０の各種状態を検知するためのデバイスであり、例えば飛行体１０の高度、飛行体１０の速度、飛行体１０の姿勢、飛行体１０の電池残量、飛行体１０のモータ回転数、飛行体１０と作業対象物との距離等を検知する。なお、作業対象物とは、例えば飛行体１０が建造物の撮像を行うために飛行する場合、その建造物のことである。

上述したプロセッサ１１やメモリ１２などの各装置は、情報を通信するためのバス１７で接続される。バス１７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

図４は、操縦者端末３０のハードウェア構成を示す図である。操縦者端末３０は、物理的には、プロセッサ３１、メモリ３２、ストレージ３３、第１通信装置３４、第２通信装置３５、ＵＩ（User Interface）部３６及びバス３７などを含むコンピュータ装置として構成されている。第１通信装置３４は、飛行体１０の通信装置１４と無線通信を行う。第２通信装置３５は、ネットワーク６０を介してサーバ装置２０と通信を行う。ＵＩ部３６は、例えば液晶パネル及び液晶駆動回路などを含み画像データに応じた画像を表示する表示部と、例えばキーやタッチセンサなどの操作子を含みユーザの操作を受け付けてその操作に応じた信号をプロセッサ３１に供給する操作部とを備えている。これ以外のプロセッサ３１、メモリ３２、ストレージ３３及びバス３７は、上述したプロセッサ１１、メモリ１２、ストレージ１３及びバス１７と同様であるため、その説明を省略する。

図５は、支援者端末５０のハードウェア構成を示す図である。支援者端末５０は、物理的には、プロセッサ５１、メモリ５２、ストレージ５３、通信装置５４、ＵＩ部５５及びバス５６などを含むコンピュータ装置として構成されている。通信装置５４はネットワーク６０を介してサーバ装置２０と通信を行う。これ以外のプロセッサ５１、メモリ５２、ストレージ５３、ＵＩ部５５及びバス５６は、上述したプロセッサ１１、メモリ１２、ストレージ１３、ＵＩ部３６及びバス１７と同様であるため、その説明を省略する。

図６は、サーバ装置２０のハードウェア構成を示す図である。サーバ装置２０は、物理的には、プロセッサ２１、メモリ２２、ストレージ２３、通信装置２４及びバス２５などを含むコンピュータ装置として構成されている。通信装置２４はネットワーク６０を介して操縦者端末３０及び支援者端末５０と通信を行う。プロセッサ２１、メモリ２２、ストレージ２３、及びバス２５は、上述したプロセッサ１１、メモリ１２、ストレージ１３、及びバス１７と同様であるため、その説明を省略する。

図７は、サーバ装置２０の機能構成の一例を示す図である。サーバ装置２０における各機能は、プロセッサ２１、メモリ２２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ２１が演算を行い、通信装置２４による通信や、メモリ２２及びストレージ２３におけるデータの読み出し及び／又は書き込みを制御することにより実現される。

図７において、トラッキング部２００は、サーバ装置２０の制御下にある飛行体１０の飛行体識別情報とその飛行状況を記録する。飛行状況には飛行体１０が飛行している位置とその位置における日時が含まれている。トラッキング部２００は、飛行体１０から操縦者端末３０を介して通知される位置情報及び日時情報を記録する。また、トラッキング部２００は、その位置情報及び日時情報が、予め計画された飛行計画内であるかどうかを判断し、その判断結果を記録する。

第１取得部２０１は、飛行体１０に搭載された撮像装置１６により撮像された飛行体視点画像を操縦者端末３０経由で取得する。第２取得部２０２は、撮像装置４０によって飛行体１０が飛行する様子が撮像された操縦者視点画像を撮像装置４０から取得する。

優先表示制御部２０３は、支援者端末５０において、第１取得部２０１により取得された飛行体視点画像又は第２取得部２０２により取得された操縦者視点画像のうちいずれかを優先的に表示させる。また、優先表示制御部２０３は、飛行している飛行体１０の飛行に関する情報を支援者端末５０に表示させる。

支援制御部２０４は、支援者端末５０において操縦支援者により操作された内容に応じた支援情報を操縦者端末３０に送信する。この支援情報は、例えば、操縦支援者から操縦者に対する音声又は文字によるアドバイス乃至指示や、飛行体１０の飛行そのものを制御するコマンドである。支援情報がコマンドである場合、操縦者端末３０がサーバ装置２０の支援制御部２０４から受け取ったコマンドを飛行体１０に送信することで、その飛行が直接制御される。

図８は、支援者端末５０において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための条件が記述された表示画像決定テーブルの一例を示している。この表示画像決定テーブルは、サーバ装置２０のストレージ２３に記憶される。優先表示制御部２０３は、飛行体１０の飛行に関する情報に基づいて優先的に表示させる撮像画像を決定するが、特に本実施形態では、飛行体１０の飛行中の状態に基づいて優先的に表示させる撮像画像を決定する。

ここで、飛行中の状態には、飛行体１０のセンサ１８によって検知される状態、例えば飛行体１０の高度、速度、姿勢、電池残量、モータ回転数、作業対象物との距離が含まれる。例えば高度という条件に基づいて表示対象となる撮像画像を決定する場合、飛行体１０の高度が或る閾値Ｈ以上のときには、飛行体視点画像を優先的に表示し、高度が閾値Ｈ未満のときには、操縦者視点画像を優先的に表示する。つまり、飛行体１０の高度という条件を考えたときに、操縦支援者が飛行体視点画像を見たほうが支援を行いやすいのか或いは操縦者視点画像を見たほうが支援を行いやすいのかという観点で、優先的に表示させる撮像画像が決まっている。このような観点に従って、高度以外の条件、つまり飛行体１０の速度、姿勢、電池残量、モータ回転数、作業対象物との距離に関しても、優先的に表示する撮像画像が決まることになる。

動作
図９は、飛行制御システム１の動作の一例を示すシーケンスチャートである。以下の説明において、飛行体１０を処理の主体として記載する場合には、具体的にはプロセッサ１１、メモリ１２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１１が演算を行い、通信装置１４による通信や、メモリ１２及びストレージ１３におけるデータの読み出し及び／又は書き込みを制御することにより、処理が実行されることを意味する。サーバ装置２０、操縦者端末３０、支援者端末５０についても同様である。

飛行体１０が飛行を開始すると、飛行体１０の撮像装置１６は撮像を開始する（ステップＳ１１）。これにより撮像された撮像画像の動画データは、飛行体１０の通信装置１４から無線により操縦者端末３０に送信される（ステップＳ１２）。このとき、飛行体１０は、測位装置１５及びセンサ１８により検知された飛行に関する情報（日時、飛行体１０の位置、飛行体１０の高度、飛行体１０の速度、飛行体１０の姿勢、飛行体１０の電池残量、飛行体１０のモータ回転数、飛行体１０と作業対象物との距離、等を含む）を、通信装置１４から無線により操縦者端末３０に送信する。操縦者端末３０は、飛行体１０から受信した撮像画像の動画データ及び飛行に関する情報をサーバ装置２０に送信する（ステップＳ１３）。なお、飛行に関する情報のうち操縦者端末３０が生成し得るもの（例えば日時）は、操縦者端末３０が生成してサーバ装置２０に送信してもよい。

一方、撮像装置４０は、操縦者の撮像開始操作に応じて撮像を開始する（ステップＳ１４）。撮像された撮像画像の動画データは、撮像装置４０からサーバ装置２０に送信される（ステップＳ１５）。これにより、サーバ装置２０の第１取得部２０１は、撮像装置１６から撮像画像（飛行体視点画像）の動画データ及び飛行に関する情報を取得し、サーバ装置２０の第２取得部２０２は、撮像装置４０から撮像画像（操縦者視点画像）の動画データを取得する。

サーバ装置２０の優先表示制御部２０３は、表示対象決定テーブルと飛行に関する情報とを参照して、支援者端末５０において表示対象となる撮像画像を決定する（ステップＳ１６）。具体的には、優先表示制御部２０３は、表示対象決定テーブルにおいて、取得した飛行に関する情報を当て嵌め、その情報に対応する撮像画像を表示対象として決定する。このとき、例えば高度という条件に注目して決定される表示対象が飛行体視点画像であり、速度という条件に注目して決定される表示対象が操縦者視点画像であり、・・・というようにそれぞれの条件に応じて決定される撮像画像が異なる場合がある。このようなときには、例えば各条件に付いて決定された数が多いほうの撮像画像を表示対象とすればよい。さらに各条件について重みをつけて決定してもよい。例えば高度という条件に注目して決定される表示対象については１．１倍という重みをつけ、速度という条件に注目して決定される表示対象については１．３倍という重みをつけ、といった具合である。

そして、サーバ装置２０の優先表示制御部２０３は、決定された表示対象となる撮像画像の動画データを支援者端末５０に送信することで、支援者端末５０においてその撮像画像を優先的に表示させる表示制御を行う（ステップＳ１７，Ｓ１８）。

支援者端末５０は、決定された表示対象となる撮像画像の動画データに応じた画像を表示する（ステップＳ１９）。操縦支援者はこの画像を見ながら支援者端末５０を操作する。支援者端末５０は、操縦支援者の操作に応じて、操縦者に対する音声又は文字によるアドバイス乃至指示や、飛行体１０の飛行そのものを制御するコマンド等の支援情報を生成して（ステップＳ２０）、サーバ装置２０に送信する（ステップＳ２１）。支援制御部２０４は、この支援情報を操縦者端末３０に送信することで、支援制御処理を行う（ステップＳ２２，Ｓ２３）。操縦者端末３０は、この支援情報を出力して飛行体１０の飛行の操縦を支援する処理を行う（ステップＳ２４）。つまり、操縦者端末３０は、操縦者に対する音声又は文字によるアドバイス乃至指示をＵＩ部３６から出力したり、第１通信装置３４から飛行体１０にコマンドを送信したりする。

以上説明した実施形態によれば、操縦支援者に対して、その操縦支援に適切な画像が優先的に表示されるので、遠隔地から容易に操縦支援を行うことができる。

変形例
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の２つ以上の変形例を組み合わせて実施してもよい。

変形例１
優先表示の表示対象となる撮像画像を決定する条件は、実施形態の例に限定されない。例えば操縦者による操縦者端末３０における操作量、操作方向、操作頻度等の操縦情報に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦情報に関する条件が記述された表示画像決定テーブルがストレージ２３に記憶されている。優先表示制御部２０３は、第１取得部２０１が操縦者端末３０から上記のような操縦者による操縦に関する情報を取得すると、これに基づいて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば操縦情報から判断される操縦者の操縦が高レベルにあるとか操縦そのものが容易であるときと、操縦情報から判断される操縦者の操縦が低レベルにあるとか操縦そのものが困難であるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば操縦内容に応じた操縦支援を実現し得る。

変形例２
また、操縦者又は操縦支援者の操縦能力や操縦歴などの属性に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦者又は操縦支援者の属性に関する条件が記述された表示画像決定テーブルがストレージ２３に記憶されている。優先表示制御部２０３は、システムにログインした操縦者又は操縦支援者を識別し、その属性に基づいて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば属性から判断される操縦者の操縦が高レベルにあるとき、操縦支援者の操縦が高レベルであるとき、操縦者の操縦が低レベルにあるとき、操縦支援者の操縦が低レベルであるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば属性に応じた操縦支援を実現し得る。

変形例３
操縦支援者による操縦支援の内容に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦の支援に関する条件が記述された表示画像決定テーブルがストレージ２３に記憶されている。優先表示制御部２０３は、支援者端末５０から操縦支援者による操縦の支援に関する情報（例えば支援レベルの高低や複雑さ/簡単さ）を取得し、その情報に応じて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば操縦支援の内容から判断される操縦支援のレベルが高いとか操縦支援そのものが容易であるときと、操縦支援のレベルが低いとか操縦支援そのものが困難であるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば操縦支援の内容に応じた操縦支援を実現し得る。

変形例４
１人の操縦者に対して操縦支援者が複数いる場合の優先表示は次のようにしてもよい。つまり、支援者端末５０が複数ある場合に、優先表示制御部２０３は、支援者端末５０ごとに決められた方法に従って、優先的に表示させる撮像画像を決定する。例えば、第１の支援者端末５０は操縦者による飛行体１０の飛行を支援するための端末であり、第２の支援者端末５０は操縦者による飛行体１０からの撮像を支援するための端末である場合、第１の支援者端末５０には飛行の支援により役立つ操縦者視点画像を優先的に表示させ、第２の支援者端末５０には撮像の支援により役立つ飛行体視点画像を優先的に表示させる、といった具合である。各々の操縦支援者は、自身の支援目的に従って、それぞれの画像を見ながら各支援者端末５０を操作する。このようにすれば、１人の操縦者に対して複数の操縦支援者による操縦支援を実現し得る。

変形例５
１人の操縦支援者に対して飛行体１０及び操縦者がそれぞれ複数いる場合の優先表示は次のようにしてもよい。第１取得部２０１は、各々の飛行体１０に搭載された撮像装置１６により撮像された複数の撮像画像を取得し、第２取得部２０２は、各々の飛行体１０が飛行する様子が撮像された複数の撮像画像を取得する。優先表示制御部２０３は、各々の飛行体１０について第１取得部２０１により取得された撮像画像又は第２取得部２０２により取得された撮像画像のうちいずれかを各々の操縦者に対する操縦支援の目的に応じて選択し、選択した撮像画像を操縦支援者の端末において優先的に表示させる。例えば、第１の操縦者端末３０に対しては第１の飛行体１０の飛行を支援し、第２の操縦者端末３０に対しては第２の飛行体１０による撮像を支援する場合、１の支援者端末５０において、第１の操縦者端末３０の支援に関しては第１の飛行体１０に飛行の様子を撮像した操縦者視点画像を優先的に表示させ、第２の操縦者端末３０の支援に関しては第２の飛行体１０から撮像された飛行体視点画像を優先的に表示させるといった具合である。１人の操縦支援者はこれらの画像を見ながら支援者端末５０を操作して、２人の操縦者に対する支援を同時又は交互に行う。このようにすれば、複数の操縦者に対して１人の操縦支援者による操縦支援を実現し得る。

変形例６
支援者端末５０において、ネットワーク６０におけるレイテンシに関する情報を表示するようにしてもよい。つまり、優先表示制御部２０３は、自サーバ装置２０と支援者端末５０との間のデータ通信の遅延に関する情報を、支援者端末５０に表示させる。このような情報も操縦支援に役立つことになる。

変形例７
支援者端末５０において、操縦支援者によって指定された撮像画像を優先的に表示させてもよい。支援者端末５０において、優先表示する撮像画像の決定に、気象予報を考慮してもよい。

変形例８
飛行体１０を追尾して撮像するための方法はどのようなものでもよい。また、飛行体１０の位置を測定する方法は、ＧＰＳを用いた方法に限定されず、どのようなものでもよい。また、飛行体１０はネットワーク６０を介して通信可能な構成とし、飛行体１０が、操縦者端末３０を経由せずに、サーバ装置２０又は支援者端末５０と通信を行ってもよい。

そのほかの変形例
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。また、サーバ装置２０の機能の少なくとも一部が操縦者端末３０又は支援者端末５０に実装されてもよい。同様に、操縦者端末３０又は支援者端末５０の機能の少なくとも一部がサーバ装置２０に実装されてもよい。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

本明細書で説明した情報又はパラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。

上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素（例えば、ＴＰＣなど）は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。

本明細書で使用する「判定（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining）した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、受信（receiving）（例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。

本発明は、飛行制御システム１において行われる処理のステップを備える飛行制御方法として提供されてもよい。また、本発明は、サーバ装置２０、飛行体１０、操縦者端末３０又は支援者端末５０において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。

ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び／又はシンボルは信号（シグナル）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ）は、キャリア周波数、セルなどと呼ばれてもよい。

本明細書で使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。

「含む（ｉｎｃｌｕｄｉｎｇ)」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

１：飛行制御システム、１０：飛行体、２０：サーバ装置、２１：プロセッサ、２２：メモリ、２３：ストレージ、２４：通信装置、２００：トラッキング部、２０１：第１取得部、２０２：第２取得部、２０３：優先表示制御部、２０４：支援制御部、３０：操縦者端末、４０：撮像装置、５０：支援者端末。

Claims

飛行体に搭載された撮像装置により撮像された撮像画像を取得する第１取得部と、
前記飛行体が飛行する様子が撮像された撮像画像を取得する第２取得部と、
前記飛行体の操縦者による操縦を支援する操縦支援者の端末において、前記第１取得部により取得された撮像画像又は前記第２取得部により取得された撮像画像のうちいずれかを優先的に表示させる優先表示制御部と
を備えることを特徴とする情報処理装置。
前記優先表示制御部は、前記飛行体の飛行に関する情報に基づいて、優先的に表示させる前記撮像画像を決定する
ことを特徴とする請求項１記載の情報処理装置。
前記優先表示制御部は、前記飛行体の飛行中の状態に基づいて、優先的に表示させる前記撮像画像を決定する
ことを特徴とする請求項２記載の情報処理装置。
前記優先表示制御部は、前記操縦者による操縦に関する情報に基づいて、優先的に表示させる前記撮像画像を決定する
ことを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
前記優先表示制御部は、前記操縦者又は前記操縦支援者の操縦に関する属性に基づいて、優先的に表示させる前記撮像画像を決定する
ことを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
前記優先表示制御部は、前記操縦支援者による操縦の支援に関する情報に応じて、優先的に表示させる前記撮像画像を決定する
ことを特徴とする請求項１〜５のいずれか１項に記載の情報処理装置。
前記操縦支援者の端末が複数ある場合に、
前記優先表示制御部は、前記端末ごとに決められた方法に従って、優先的に表示させる前記撮像画像を決定する
ことを特徴とする請求項１〜６のいずれか１項に記載の情報処理装置。
前記優先表示制御部は、さらに、飛行している前記飛行体の飛行に関する情報を、前記操縦支援者の端末に表示させる
ことを特徴とする請求項１〜７のいずれか１項に記載の情報処理装置。
前記優先表示制御部は、さらに、自装置と前記操縦支援者の端末との間のデータ通信の遅延に関する情報を、前記操縦支援者の端末に表示させる
ことを特徴とする請求項１〜８のいずれか１項に記載の情報処理装置。
前記飛行体及び前記操縦者がそれぞれ複数いる場合に、
前記第１取得部は、各々の前記飛行体に搭載された撮像装置により撮像された撮像画像を取得し、
前記第２取得部は、各々の前記飛行体が飛行する様子が撮像された撮像画像を取得し、
前記優先表示制御部は、各々の前記飛行体について前記第１取得部により取得された撮像画像又は前記第２取得部により取得された撮像画像のうちいずれかを各々の前記操縦者に対する操縦支援の目的に応じて選択し、選択した撮像画像を前記操縦支援者の端末において優先的に表示させる
ことを特徴とする請求項１〜９のいずれか１項に記載の情報処理装置。