JP7435599B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

従来、ユーザの動きに応じて、ロボットの移動を制御する技術が提案されている。例えば、特許文献１には、ビデオカメラが搭載された移動ロボットの移動を、ユーザの移動に連動させる技術が記載されている。

また、特許文献１には、予めユーザの移動量と移動ロボットの移動量との比率を特定の比率に設定し、当該特定の比率に基づき、移動ロボットの移動をユーザの移動に連動させる技術が記載されている。

特開２００２－１３５６４１号公報

上記移動ロボットのような移動体の移動を制御する際、ユーザが当該移動体を大きく移動させたい場合があると推測される。このような場合、特許文献１に記載の技術では、ユーザが移動体を大きく移動させたい場合には、ユーザ自身も大きく移動する必要があり、ユーザへの負担が大きくなる。

また、ユーザの移動量と移動体の移動量との比率が、上記のように、特定の比率に設定されていても、移動体の操作環境によっては、当該比率を適切に選択できない場合があると考えられる。

そこで、本開示では、移動体の移動をより簡便に制御することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。

本開示によれば、移動体の移動の基準となる基準体から第１の位置までの第１の距離と前記移動体から第２の位置までの第２の距離との比率、及び前記基準体の移動に基づき、前記移動体の移動を制御するための移動パラメータを生成するパラメータ生成部を、備える、情報処理装置が提供される。

また、本開示によれば、プロセッサが、移動体の移動の基準となる基準体から第１の位置までの第１の距離と前記移動体から第２の位置までの第２の距離との比率、及び前記基準体の移動に基づき、前記移動体の移動を制御するための移動パラメータを生成すること、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータに、移動体の移動の基準となる基準体から第１の位置までの第１の距離と前記移動体から第２の位置までの第２の距離との比率、及び前記基準体の移動に基づき、前記移動体の移動を制御するための移動パラメータを生成する機能、を実現させるためのプログラムが提供される。

本開示の一実施形態に係る情報処理システムの構成を示す図である。 本開示の一実施形態に係る操縦装置の外観を示す図である。 本開示の一実施形態に係る操縦装置の構成を示す機能ブロック図である。 本開示の一実施形態に係る移動体の外観を模式的に示す図である。 本開示の一実施形態に係る移動体の構成を示す機能ブロック図である。 本開示の一実施形態に係る情報処理装置の構成を示す機能ブロック図である。 操縦装置座標系を示す図である。 移動体座標系を示す図である。 操縦装置を上空から俯瞰した模式図である。 移動体を上空から俯瞰した模式図である。 移動体の飛行モードをダイレクト操縦モードへ遷移させる処理を示すフローチャート図である。 ダイレクト操縦モード中の操縦装置及び移動体における処理を示すフローチャート図である。 本開示の一実施形態に係る情報処理装置の効果を説明するための図である。 移動体における第２の注視点を説明するための図である。 操縦装置における第１の注視点を説明するための図である。 移動体の飛行モードが注視点設定モードへ遷移する過程における処理を示すフローチャート図である。 第１及び第２の注視点が設定される処理を示すフローチャート図である。 ピンホールカメラモデルにおける座標系を示す図である。 変形例に係る情報処理システムの構成を示す図である。 変形例に係る移動体の構成を示す機能ブロック図である。 変形例に係る情報処理装置の構成を示す機能ブロック図である。 本開示の一実施形態に係る情報処理装置等のハードウェア構成の一構成例を示す機能ブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．情報処理システムの構成
１．１．操縦装置の構成
１．２．移動体の構成
１．３．情報処理装置の構成
１．４．座標系
２．処理例
２．１．第１の処理例
２．２．第２の処理例
２．３．算出方法についての補足
３．変形例
４．ハードウェア構成例
５．補足

＜１．情報処理システムの構成＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システム１の構成について説明する。図１は、本開示の一実施形態に係る情報処理システム１の構成を示す図である。図１に示すように、情報処理システム１は、操縦装置１０及び移動体２０を備える。本実施形態では、操縦装置１０と移動体２０とは、互いに離れた場所に位置している。具体的には、本実施形態では、操縦装置１０は地上に居る操縦者の手元に位置しており、移動体２０は飛行して上空に位置しているものとする。また、操縦装置１０と移動体２０とは、互いに通信可能に接続されている。なお、本実施形態において、操縦装置１０の操縦者は、本開示の一実施形態に係る情報処理装置のユーザである。

操縦装置１０は、移動体２０を操縦する機能を有する装置である。操縦者は、操縦装置１０を用いて移動体２０を操縦することができる。また、操縦装置１０は、移動体２０の移動の基準となる基準体としての機能を有する。つまり、後述するように、所定の条件下において、操縦装置１０が移動すると、移動体２０は、当該操縦装置１０の移動に応じた移動を実施する。なお、本実施形態では、操縦装置１０は、操縦者に持ち運ばれることにより移動する。

移動体２０は、特に限定されないが、各種の移動する機能を有する装置であってよい。例えば、移動体２０は、ドローンを含む無人航空機、車両、船舶、又は各種のロボットであってもよい。本実施形態では、移動体２０は、上空を飛行可能な飛行体である。より具体的には、本実施形態では、移動体２０をドローンとして説明する。また、本実施形態では、移動体２０は、後述する撮像装置を搭載しており、当該撮像装置により風景を撮像することができる。

＜＜１．１．操縦装置の構成＞＞
次いで、図２及び図３を参照して、本開示の一実施形態に係る操縦装置１０の構成について説明する。図２は、本開示の一実施形態に係る操縦装置１０の外観を示す図である。

図２に示すように、本実施形態に係る操縦装置１０は、筐体１２、ステレオカメラ１４、表示部１６、及び入出力部１８を備える。以下、操縦装置１０が備える各装置について説明する。

筐体１２は、操縦装置１０の本体部分を構成する。操縦者は、筐体１２を持ち運び、操縦装置１０を移動させることができる。筐体１２の内部には、図３を参照して説明する処理装置１３が設けられている。

次いで、図３を参照して、本開示の一実施形態に係る筐体１２の内部に設けられた処理装置１３の構成について詳細に説明する。図３は、本開示の一実施形態に係る操縦装置１０の構成を示す機能ブロック図である。

ステレオカメラ１４は、画像を撮像する機能を有する。本実施形態では、当該撮像された画像は、操縦装置１０の自己位置、移動量、又は操縦者の前方方向の距離を計測するために用いられる。本実施形態では、操縦装置１０は、各種の距離を、ステレオカメラ１４を用いて計測する。なお、操縦装置１０には、ＲＢＧ－Ｄカメラ、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサ、又はＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などの距離を計測するための各種の公知の装置が設けられてもよい。この場合、ステレオカメラ１４の代わりに、これらの装置により各種の距離が計測されてもよい。なお、本明細書では、ステレオカメラ１４を第１の撮像装置とも称する。ステレオカメラ１４は、計測した距離又は撮像した画像に関する情報を、後述する高度推定部１３１、位置推定部１３２、又は距離計測部１３３に伝達する。

表示部１６は、画像を表示する機能を有する。表示部１６は、例えば、後述する移動体２０に搭載された撮像装置により撮像された画像を表示してもよい。

入出力部１８は、各種の情報の入力の受け付け、又は各種の情報を出力する機能を有する。例えば、入出力部１８は、操縦者からの操縦装置１０への操作を受け付けるためのＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示してもよい。操縦者は、当該ＵＩの表示を参照し、表示された画面を触る等により操縦装置１０への各種の操作を実施することができる。また、入出力部１８は、移動体２０に搭載された撮像装置により撮像された画像を表示してもよい。入出力部１８は、入力された情報を後述するＵＩ制御部１３８に伝達する。

処理装置１３は、移動体２０を操縦するための各種の処理を実施する機能を有する。本実施形態に係る処理装置１３が有する機能は、処理装置１３が備える高度推定部１３１、位置推定部１３２、距離計測部１３３、通信制御部１３４、指令処理部１３５、及びＵＩ制御部１３８が協働することにより実現される。

高度推定部１３１は、操縦装置１０から地面までの距離を推定する。つまり、高度推定部１３１は、操縦装置１０の地面からの高度（以下、「対地高度」とも称する。）を推定する。より具体的には、高度推定部１３１は、ステレオカメラ１４より画像を取得し、取得した画像から距離画像を生成する。さらに、高度推定部１３１は、当該距離画像から平面検出等で地面を検出した後、地面（平面）からステレオカメラ１４までの距離を算出することにより、対地高度を推定する。

また、高度推定部１３１は、ステレオカメラ１４の代わりにＴＯＦセンサを用いて対地高度を推定しても良い。また、高度推定部１３１は、地面に設置されたＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカと操縦装置１０との位置関係を使用して、対地高度を推定しても良い。

ここで、高度推定部１３１は、第１の距離取得部としての機能を有していてもよい。ここで、第１の距離取得部とは、操縦装置１０に設けられた各種の装置により検出された情報に基づき、操縦装置１０から第１の位置までの第１の距離を取得する機能を有する機能部である。本実施形態では、操縦装置１０には、第１の距離取得部が設けられる。これにより、より精度よく第１の距離が取得される。この結果、操縦者は、より精度よく移動体２０の移動を制御することが可能になる。

また、本実施形態では、操縦装置１０から第１の位置までの第１の距離と移動体２０から第２の位置までの第２の距離との比率、及び操縦装置１０の移動に基づき、移動体２０の移動が制御される。第１の位置は、特に限定されないが、例えば、操縦装置１０の直下に位置する地面であり得る。この場合、第１の距離は、操縦装置１０の対地高度である。また、第１の位置は、操縦装置１０が備えるステレオカメラ１４が撮像する際に注視される第１の注視点であってもよい。なお、第１の位置は、操縦装置１０から注視点方向に存在する物体の位置であってもよい。ここで、当該注視点方向とは、移動体２０を基準とした、後述する第２の注視点に向かう方向である。

また、第２の位置についても、特に限定されないが、移動体２０の直下に位置する地面であり得る。この場合、第２の距離は、移動体２０の対地高度である。また、第２の位置は、移動体２０が備える撮像装置２５が撮像する際に注視される第２の注視点であってもよい。以下、第１の注視点と第２の注視点とを区別しないときは、単に「注視点」とも称する。

位置推定部１３２は、操縦装置１０の自己位置を推定する。なお、本明細書では、自己位置は、位置だけでなく姿勢を含むものとする。位置推定部１３２は、ステレオカメラ１４より画像を取得し、取得した画像を用いてＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）を行うことにより自己位置を推定してもよい。なお、位置推定部１３２は、ステレオカメラ１４の代わりにＴＯＦセンサを用いて、自己位置を推定してもよい。さらに、位置推定部１３２は、設置されたＡＲマーカと操縦装置１０との位置関係を使用して、自己位置を推定してもよい。

距離計測部１３３は、操縦装置１０からの各種の距離の計測を行う機能を有する。例えば、距離計測部１３３は、操縦装置１０から後述する注視点方向に存在する物体までの距離を計測してもよい。

本実施形態では、移動体２０に搭載された撮像装置が撮影する画像が表示部１６又は入出力部１８に表示される。このとき、例えば第２の注視点が当該表示の中心になるように、移動体２０に搭載された撮像装置又は移動体２０の位置又は姿勢が調整される場合がある。

注視点は、操縦者が入出力部１８に表示されたプレビュー画像上の位置を指定することにより設定されてもよい。距離計測部１３３は、操縦装置１０から注視点方向を見た時に存在する物体や壁などまでの距離をステレオカメラ１４が撮像した画像に基づき計測してもよい。また、距離計測部１３３は、ステレオカメラ１４の代わりにＴＯＦセンサ等を用いて、各種の距離を計測してもよい。

ここで、距離計測部１３３は、第１の距離取得部としての機能を有してもよい。距離計測部１３３は、操縦装置１０が備えるステレオカメラ１４に撮像された注視点を第１の位置として、第１の距離を取得してもよい。

通信制御部１３４は、操縦装置１０と移動体２０との間の無線通信の制御を行う機能を有する。無線通信により、例えば操縦装置１０から移動体２０への各種の指令が送信される。また、無線通信により、例えば移動体２０の状態に関する情報又は移動体２０に搭載された撮像装置により撮像された画像等の各種の情報が受信される。

ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）制御部１３８は、表示部１６又は入出力部１８を制御し、表示部１６又は入出力部１８に操縦装置１０のＵＩを表示させる機能を有する。また、通信制御部１３４により受信された移動体２０に搭載された撮影装置の画像を取得し、表示部１６又は入出力部１８に表示させることもできる。また、ＵＩ制御部１３８は、入出力部１８への操作内容を取得し、当該操作内容を指令処理部１３５に伝達する。

指令処理部１３５は、移動体２０の状態を制御するための操縦指令に関する処理を実施する機能を有する。指令処理部１３５が備える機能は、指令生成部１３６及び記憶部１３７が協働することにより実現される。

指令生成部１３６は、通信制御部１３４により受信された情報、ＵＩ制御部１３８からの操作入力、又は操縦装置１０が備える高度推定部１３１、位置推定部１３２、距離計測部１３３より受け取った情報に基づき、移動体２０の操縦指令を生成する機能を有する。指令生成部１３６は、通信制御部１３４を介して、生成した指令を移動体２０に送信する。

記憶部１３７は、指令生成部１３６が操縦指令を生成するための情報又は指令生成部１３６が生成した指令情報等の各種の情報を記憶する。記憶部１３７が記憶している情報は、必要に応じて、指令生成部１３６に伝達される。

＜＜１．２．移動体の構成＞＞
次いで、図４及び図５を参照して本開示の一実施形態に係る移動体２０の構成について説明する。図４は、本開示の一実施形態に係る移動体２０の外観を模式的に示す図である。また、図５は、本開示の一実施形態に係る移動体２０の構成を示す機能ブロック図である。

移動体２０は、操縦装置１０の操作により空中を移動（飛行）し、移動体２０に搭載された撮像装置２５により風景などの撮像を行う。機体２１には、雲台２４を介して撮像装置２５が取り付けられている。なお、本明細書では、撮像装置２５を第２又は第３の撮像装置とも称する。雲台２４は、パン、ティルト、及びロールの３つの可動軸を有し、移動体２０の姿勢に関わらず、撮像装置２５を任意の方向に向けることができる。また、機体２１の内部には、図５を参照して後述する制御装置２７が搭載されている。

撮像装置２５には、測距センサ２６が取り付けられている。測距センサ２６は、撮像装置２５を向けた方向の距離を計測することができる。測距センサ２６は、ステレオカメラ、Ｄｅｐｔｈカメラ、１Ｄ ＬｉＤＡＲなどの各種の公知の距離を計測することが可能な装置を含んでも良い。また、測距センサ２６の代わりに、撮像装置２５が各種の距離（例えば、奥行方向の距離）を計測する機能を備えても良い。例えば、撮像装置２５が、ステレオカメラ又はＲＧＢ－Ｄカメラなどを備えてもよい。測距センサ２６と撮像装置２５との相対的な位置関係は、キャリブレーション等の手段により既知となっているものとする。このため、撮像装置２５は、撮像装置２５の任意の画素に対応する距離を計測することが可能である。

なお、測距センサ２６は、第２の距離取得部としての機能を有していてもよい。ここで、第２の距離取得部とは、移動体２０に設けられた各種の装置により検出された情報に基づき、移動体２０から第２の位置までの第２の距離を取得する機能を有する機能部である。本実施形態では、移動体２０には、第２の距離取得部が設けられる。これにより、より精度よく第２の距離が取得される。これにより、操縦者は、より精度よく移動体２０の移動を制御することが可能になる。

また、移動体２０には、ステレオカメラ２３が取り付けられている。当該ステレオカメラ２３は、移動体２０の自己位置又は移動量を計測してもよい。ステレオカメラ２３の代わりに、ＤｅｐｔｈカメラやＬｉＤＡＲなどにより移動体２０の自己位置又は移動量が計測されてもよい。

次いで、図５を参照して、制御装置２７の構成についてより詳細に説明する。図５に示すように、制御装置２７は、高度推定部２１１、位置推定部２１２、通信制御部２１３、機体制御部２１４、雲台制御部２１５、及び情報処理装置２２０と備える。

高度推定部２１１は、移動体２０の対地高度（地面からの高度）を推定する機能を有する。高度推定部２１１は、ステレオカメラ２３より画像を取得し、取得した画像から距離画像を生成して平面検出等で地面を検出した後、地面（平面）からステレオカメラ２３までの距離を算出することにより、対地高度を推定してもよい。高度推定部２１１は、ステレオカメラ２３の代わりに、ＴＯＦセンサを用いて、対地高度を推定してもよい。また、高度推定部２１１は、地面に設置されたＡＲマーカと例えばステレオカメラ２３との位置関係を使用して、対地高度を推定してもよい。さらに、高度推定部２１１は、高度計又は自己位置を用いて、移動体２０の離陸時の高度と計測時の高度との差分を使用して、対地高度を推定してもよい。なお、高度推定部２１１は、第２の距離取得部としての機能を有していてもよい。

位置推定部２１２は、移動体２０の自己位置を推定する機能を有する。なお、自己位置は、位置だけでなく姿勢を含むものとする。位置推定部２１２は、ステレオカメラ２３により取得された画像を取得し、当該画像を用いて、ＳＬＡＭを行うことにより自己位置を推定してもよい。また、位置推定部２１２は、ステレオカメラ２３の代わりに、ＴＯＦセンサを用いて自己位置を推定しても良い。さらに、位置推定部２１２は、設置されたＡＲマーカとステレオカメラ２３との位置関係を使用して、自己位置を推定してもよい。

通信制御部２１３は、操縦装置１０と移動体２０との間の通信を制御する機能を有する。例えば、通信制御部２１３は、操縦装置１０からの操縦指令の受信又は撮像装置２５の画像の操縦装置１０への送信を制御してもよい。

情報処理装置２２０は、移動体２０の機体２１又は雲台２４の運動を制御するための各種のパラメータを生成する機能を有する。また、情報処理装置２２０は、生成したパラメータに基づき、機体２１又は雲台２４の運動を制御する機能を有する。具体的には、情報処理装置２２０は、通信制御部２１３により受信された操縦指令に基づき、高度推定部２１１や位置推定部２１２で推定された対地高度又は自己位置を用いて、プロペラ２２又は雲台２４を、機体制御部２１４（移動体制御部）又は雲台制御部２１５を介して制御する機能を有する。情報処理装置２２０の構成については、図６を参照して後述する。

機体制御部２１４は、情報処理装置２２０により生成された目標位置と位置推定部２１２が推定した自己位置に基づき、自己位置が目標位置となるように、プロペラ駆動部２８を介してプロペラ２２を制御する。これにより、機体制御部２１４は、移動体２０（機体２１）の移動及び姿勢を制御することができる。当該制御は、例えば自己位置と目標位置の差分をＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ Ｉｎｔｅｇｒａｌ Ｄｉｆｆｅｒｅｎｔｉａｌ）制御器を用いてフィードバック制御を行うことで実現される。なお、機体制御部２１４及び後述する雲台制御部２１５は、情報処理装置２２０に設けられていてもよい。

雲台制御部２１５は、情報処理装置２２０から指令された方向に撮像装置２５が向くように、雲台駆動部２９を介して雲台２４を制御する。

＜＜１．３．情報処理装置の構成＞＞
次いで、図６を参照して、本開示の一実施形態に係る情報処理装置２２０の構成について説明する。図６は、本開示の一実施形態に係る情報処理装置２２０の構成を示す機能ブロック図である。

情報処理装置２２０が有する機能は、情報処理装置２２０が備えるパラメータ生成部２２１、報告情報生成部２２２及び記憶部２２５が協働することにより実現される。

パラメータ生成部２２１は、移動体２０又は移動体２０が備える雲台２４の運動を制御するための各種のパラメータを生成する機能を有する。例えば、パラメータ生成部２２１は、移動体２０の移動の基準となる操縦装置１０から第１の位置までの第１の距離と移動体２０から第２の位置までの第２の距離との比率、及び操縦装置１０の移動に基づき、移動体２０の移動を制御するための移動パラメータを生成する機能を有する。

また、パラメータ生成部２２１は、第１の距離と第２の距離との比率と、操縦装置１０の移動量とを乗じて、移動パラメータとして移動量を生成してもよい。また、パラメータ生成部２２１は、操縦装置１０の姿勢に応じた姿勢を移動体２０に実現させるための第１の姿勢パラメータを生成してもよい。さらに、パラメータ生成部２２１は、雲台２４に操縦装置１０の姿勢に応じた姿勢を実現させるための第２の姿勢パラメータを生成してもよい。

パラメータ生成部２２１により生成された各種のパラメータは、通信制御部２１３、機体制御部２１４、又は雲台制御部２１５に伝達される。また、生成された各種のパラメータは、必要に応じて記憶部２２５に記憶される。

報告情報生成部２２２は、操縦装置１０に各種の報告情報を生成する機能を有する。例えば、報告情報生成部２２２は、移動体２０における各種の飛行モードへの遷移が完了したことを表す報告情報を生成する。当該生成された報告情報は、通信制御部２１３に伝達される。なお、飛行モードの詳細については後述する。

記憶部２２５は、パラメータ生成部２２１が生成する各種のパラメータに関する情報を記憶する。記憶部２２５は、例えば操縦装置１０の移動量又は姿勢などの操縦装置１０の運動に関する情報を記憶する。また、記憶部２２５は、パラメータ生成部２２１が生成した各種のパラメータを記憶してもよい。

＜＜１．４．座標系＞＞
次いで、図７及び図８を参照して、以降の説明において用いる座標系を定義する。なお、図７及び図８は、二次元で表現されているが、以降の説明で用いられる全ての座標系は、３次元であるものとする。

操縦装置１０と移動体２０とが、それぞれに別の座標系を有する。これらをそれぞれ操縦装置座標系と移動体座標系と称する。図７は、操縦装置座標系を示す図である。また、図８は、移動体座標系を示す図である。

図７に示すように、操縦装置座標系は、下記の４つの座標系を有する。
（１）現実世界における任意の位置を原点４０７とした世界座標系（ＣＷ）
（２）世界座標系上の任意の位置を原点４１０（操縦原点）とした操縦座標系（ＣＣ）
（３）操縦装置１０に固定された座標系である操縦装置座標系（ＣＳ）
（４）操縦装置１０の位置に連動して動く座標系である水平操縦装置座標系（ＣＨ）

世界座標系（ＣＷ）の座標軸４００は、互いに直交するｃｗＸ軸、ｃｗＹ軸、及びｃｗＺ軸で構成されている。また、操縦座標系（ＣＣ）の座標軸４０２は、互いに直交するｃｃＸ軸、ｃｃＹ軸、及びｃｃＺ軸で構成されている。また、操縦装置座標系（ＣＳ）の座標軸４０４は、互いに直交するｃｓＸ軸、ｃｓＹ軸、及びｃｓＺ軸で構成されている。さらに、水平操縦装置座標系（ＣＨ）の座標軸４０６は、互いに直交するｃｈＸ軸、ｃｈＹ軸、及びｃｈＺ軸で構成されている。

本開示の一実施形態では、操縦装置座標系（ＣＳ）の原点及び水平操縦装置座標系（ＣＨ）の原点は、操縦装置１０のステレオカメラ１４に固定されており、操縦座標系（ＣＣ）の原点４１０（「操縦原点」とも称する。）から操縦装置１０の相対移動量４１２の分だけ離れている。ここで、相対移動量とは、操縦原点から移動した量を意味する。本明細書では、相対移動量を単に「移動量」とも称する。

一方、移動体座標系は、図８に示すように、下記５つの座標系を有する。
（１）現実世界における任意の位置を原点５０１とした世界座標系（ＤＷ）
（２）世界座標系上の任意の位置を原点（操縦原点５１２）とした操縦座標系（ＤＣ）
（３）移動体２０の機体２１に固定された座標系である機体座標系（ＤＢ）
（４）移動体２０の機体２１の位置に連動して動く座標系である水平機体座標系（ＤＨ）（５）雲台２４に搭載された撮像装置２５に固定された撮像装置座標系（ＤＳ）

世界座標系（ＤＷ）の座標軸５００は、互いに直交するｄｗＸ軸、ｄｗＹ軸、及びｄｗＺ軸で構成されている。また、操縦座標系（ＤＣ）の座標軸５０２は、互いに直交するｄｃＸ軸、ｄｃＹ軸、及びｄｃＺ軸で構成されている。また、機体座標系（ＤＢ）の座標軸５０４は、互いに直交するｄｂＸ軸、ｄｂＹ軸、及びｄｂＺ軸で構成されている。また、水平機体座標系（ＤＨ）の座標軸５０６は、互いに直交するｄｈＸ軸、ｄｈＹ軸、及びｄｈＺ軸で構成されている。さらに、撮像装置座標系（ＤＳ）の座標軸５０８は、互いに直交するｄｓＸ軸、ｄｓＹ軸、及びｄｓＺ軸で構成されている。なお、図８では、機体２１の一部を示す模式図５１６が、四角形で示されている。

また、機体座標系（ＤＢ）及び水平機体座標系（ＤＨ）の原点５１７は、操縦座標系（ＤＣ）の操縦原点５１２から移動体２０の相対移動量５１３だけ離れている。

また、撮像装置座標系（ＤＳ）において、ｄｓＸ軸の正の方向は、撮像装置２５の光軸方向である。また、ロール軸５１８は、ｄｓＸ軸と一致し、ロール角５２０は、ロール軸５１８の周りを回転する角度である。また、ティルト軸５２４は、ロール軸５１８からティルト角５２２だけ回転した軸である。さらに、パン軸５２８は、ティルト軸５２４からパン角５２６だけ回転した軸である。

操縦装置１０の位置推定部１３２が推定する自己位置の座標系は、操縦装置座標系の世界座標系（ＣＷ）である。一方、移動体２０の位置推定部２１２が推定する自己位置の座標系は、移動体座標系の世界座標系（ＤＷ）である。

操縦装置座標系の世界座標系（ＣＷ）、操縦座標系（ＣＣ）、移動体座標系の世界座標系（ＤＷ）、及び操縦座標系（ＤＣ）では、Ｚ軸の負方向が重力の方向である。

また、操縦装置座標系における水平操縦装置座標系（ＣＨ）では、原点は操縦装置座標系（ＣＳ）と同じ原点であり、Ｚ軸負方向を重力の方向に固定されている。また、水平操縦装置座標系（ＣＨ）は、操縦装置座標系（ＣＳ）の世界座標系（ＣＷ）に対する回転成分のうち、操縦座標系（ＣＣ）におけるＺ軸周りの回転成分のみ反映された座標系である。

さらに、移動体座標系における水平機体座標系（ＤＨ）では、原点は機体座標系（ＤＢ）と同じ原点であり、Ｚ軸の負方向を重力の方向に固定されている。水平機体座標系（ＤＨ）は、機体座標系（ＤＢ）の世界座標系（ＤＷ）に対する回転成分のうち、操縦座標系（ＤＣ）におけるＺ軸周りの回転成分のみが反映された座標系である。

また、雲台２４の軸構成（パン軸、ティルト軸及びロール軸）は、移動体２０の機体２１より、機体２１－パン軸－ティルト軸－ロール軸－撮像装置２５の順に接続される構成となっている。従って、パン軸における機体２１に接続された箇所は、機体座標系（ＤＢ）において固定されている。

＜２．処理例＞
以上説明した操縦装置１０及び移動体２０を用いた本開示の一実施形態に係る処理例について説明する。

本開示の一実施形態に係る移動体２０は、飛行モードとして、手動操縦モード、Ｗａｙｐｏｉｎｔ飛行モード、ダイレクト操縦モードを有する。移動体２０は、これらの飛行モードに応じた処理を行う。

手動操縦モードは、操縦装置１０の入出力部１８を用いて、移動体２０の進行方向や姿勢などを操縦者が指示することで、移動体２０を操縦するモードである。また、操縦装置１０に操縦スティック（図示しない）が設けられ、操縦者は当該スティックを用いて移動体２０を操縦しても良い。

Ｗａｙｐｏｉｎｔ飛行モードでは、Ｗａｙｐｏｉｎｔの設定画面として、操縦装置１０の入出力部１８に地図を表示させ、操縦者が当該画面を操作することにより、Ｗａｙｐｏｉｎｔが設定されてもよい。ここで、Ｗａｙｐｏｉｎｔとは、移動体２０が飛行する軌道における特定の位置を意味する。また、操縦装置１０又は移動体２０に通信可能なスマートフォン等の画面に地図を表示させ、操縦者が当該スマートフォン等を操作することにより、Ｗａｙｐｏｉｎｔが設定されてもよい。さらに、操縦者が手動操縦モードで移動体２０を飛行させ、移動体２０が任意の地点に存在するときに、操縦装置１０の入出力部１８を操作することで、Ｗａｙｐｏｉｎｔが移動体２０に設定されてもよい。これにより、移動体２０は、Ｗａｙｐｏｉｎｔを巡回するように、自動で飛行する。

ダイレクト操縦モードは、本実施形態で使用される飛行モードである。ダイレクト操縦モードでは、操縦者が操縦装置１０を持ち運ぶことにより移動させると、操縦装置１０の移動量に応じて、移動体２０が移動する。

図９及び図１０を参照して、ダイレクト操縦モードにおける操縦装置１０と移動体２０の動作イメージを説明する。図９は、操縦装置１０を上空から俯瞰した模式図である。また、図１０は、移動体２０を上空から俯瞰した模式図である。

図９には、操縦装置座標系における世界座標系（ＣＷ）の座標軸４００と、操縦座標系（ＣＣ）の座標軸４０２とが示されている。図９には、二等辺三角形で操縦装置が模式的に示されており、操縦原点４２２に位置する操縦装置４２０と、ある瞬間における自己位置に位置する操縦装置４３０とが示されている。なお、図９において、二等辺三角形の重心（操縦装置４２０では、操縦原点４２２）から頂点４２４に向かう方向を操縦方向の前方とする。ここでは、重心を操縦座標系（ＣＣ）における原点であるものとする。図９では、操縦原点４２２に位置する操縦装置が、直線矢印で示された移動量４２６だけ移動し、円弧の矢印４２８だけ回転することで、現在の操縦装置４３０の位置及び姿勢が実現されている。

図１０には、移動体座標系における世界座標系（ＤＷ）の座標軸５００と、操縦座標系（ＤＣ）の座標軸５０２とが示されている。また、図１０には、二等辺三角形で模式的に示された移動体が示されており、操縦原点５１２に位置する移動体５３０と、現在の自己位置にある移動体５４０と、操縦装置からの操縦指令が反映された位置と姿勢が実現された移動体５３８とが示されている。

本実施形態では、移動体には、操縦装置から操縦指令が送信される。当該操縦指令は、移動体の位置と姿勢とを制御するための指令を含んでいる。本実施形態では、移動体が、操縦装置の移動量４２６に第１の距離と第２の距離との比率を乗じて得られる相対移動量５３４だけ、移動体が操縦原点５１２から移動するように、制御指令が移動体に送信される。また、移動体の姿勢が、操縦装置の姿勢が操縦原点に位置していた状態から変化した分だけ変化するように、制御指令が移動体に送信される。移動体は、制御指令に従って、移動体の位置が操縦原点５１２から相対移動量５３４だけ移動した位置に移動し、移動体の姿勢が制御指令に基づく姿勢に収束するように、フィードバック制御を行う。

この結果、移動体２０は、操縦装置１０の移動に基づき、移動体２０と操縦者との間で相対的な方向が同期されたまま、操縦原点を中心として、相似形を保ったまま移動量を拡大して動く。この仕組みにより、操縦者は、あたかも操縦者の前にあるミニチュアをカメラで撮影するように操縦装置１０を動かすだけで、操縦者の意図した撮像装置２５のフレーミングになるように、機体２１又は雲台２４を制御することが出来る。プロポ（「無線操縦機」ともいう。）を用いて機体２１や雲台２４を個別に手動制御する場合に比べて、操縦者は、容易にかつ直観的に移動体２０に搭載された撮像装置２５のフレーミングができる。

また、操縦装置１０の移動量を移動体２０の移動量に反映させる際に用いられる比率（移動比率：Ｓｍとも称する。）を求める方法は、特に限定されない。以下では、対地高度を用いる方法（第１の処理例）と、注視点までの距離を用いる方法（第２の処理例）の２つの方法について説明する。

＜＜２．１．第１の処理例＞＞
第１の処理例では、対地高度を利用して移動比率が設定される。

第１の処理例では、まず予め、移動体２０は、離陸から撮像が行われるエリア上空までは、手動操縦モード又はＷａｙｐｏｉｎｔ飛行モードにより飛行する。移動体２０が撮影を行うエリア上空に到達すると、操縦者は操縦装置１０の入出力部１８を操作して移動体２０を一旦ホバリング状態（速度が０の状態）にした上で、飛行モードをダイレクト操縦モードに変更する。

以下、図１１を参照して、以下の操縦装置１０と移動体２０とにおける処理について説明する。具体的には、飛行モードのダイレクト操縦モードへの遷移について詳細に説明する。図１１は、移動体２０の飛行モードをダイレクト操縦モードへ遷移させる処理を示すフローチャート図である。以下、図１１に示すフローチャート図に沿って処理例を説明する。

まず、操縦装置１０の処理の流れについて説明する。

まず、操縦装置１０は、ダイレクト操作モードへ遷移する（ステップＳ１０１）。具体的には、操縦者により入出力部１８のＵＩより飛行モードをダイレクト操縦モードに遷移する操作が行われると、ＵＩ制御部１３８を介してダイレクト操縦モードへ遷移するための操作指令が指令生成部１３６に入力される。

指令生成部１３６がダイレクト操縦モードへ遷移するための操作指令を受けると、指令生成部１３６は、高度推定部１３１より対地高度（Ｈｃ）を取得する（ステップＳ１０３）。

次いで、指令生成部１３６は、位置推定部１３２より現在の操縦装置１０の自己位置を取得する（ステップＳ１０５）。指令生成部１３６は、取得した自己位置に基づき、操縦装置１０の姿勢をパン角（^ｃｗθ_ｐ）、ティルト角（^ｃｗθ_ｔ）、及びロール角（^ｃｗθ_ｒ）に分解する（ステップＳ１０７）。なお、本明細書において、各角度θの左上の添え字は、角度θを表す座標系の種類を示している。また、自己位置の姿勢をパン角、ティルト角、及びロール角へ分解する方法については後述する。

次いで、指令生成部１３６は、操縦原点を生成し、生成した操縦原点を記憶部１３７に記憶させる（ステップＳ１０９）。操縦装置１０の操縦原点は、操縦装置座標系の世界座標系（ＣＷ）と操縦座標系（ＣＣ）の関係を表すものであり、世界座標系（ＣＷ）における位置（^ｃｗＸ_ｃｏ、^ｃｗＹ_ｃｏ、^ｃｗＺ_ｃｏ）、及びＺ軸回転方向の姿勢（^ｃｗθ_ｚｃｏ）で構成される。操縦原点は、以下の２つの値を用いて生成される。
（１）位置（^ｃｗＸ_ｃｏ、^ｃｗＹ_ｃｏ、^ｃｗＺ_ｃｏ）：操縦装置１０の自己位置のうち並進成分
（２）Ｚ軸回転方向の姿勢（^ｃｗθ_ｚｃｏ）：操縦装置１０の自己位置の姿勢のうちパン角（^ｃｗθ_ｐ）

次いで、指令生成部１３６は、下記の２つのデータとともに、ダイレクト操縦モードへの遷移指令を、通信制御部１３４を介して移動体２０に送信する（ステップＳ１１１）。
（１）操縦装置１０の対地高度（Ｈｃ）
（２）操縦装置１０の現在の姿勢（ティルト角（^ｃｗθ_ｔ）、ロール角（^ｃｗθ_ｒ））

操縦装置１０は、ダイレクト操縦モードへの遷移指令を送信すると、移動体２０のダイレクト操縦モードへの遷移完了の報告を待つ。以上の処理により、操縦装置１０のダイレクト操縦モードへの遷移は完了する。

次に、移動体２０の処理の流れについて説明する。情報処理装置２２０は、通信制御部２１３を介して、操縦装置１０が送信したダイレクト操縦モードへの遷移指令を取得すると、以下の処理を行う。

まず、情報処理装置２２０は、高度推定部２１１から推定された対地高度を取得する（ステップＳ１１３）。

次いで、情報処理装置２２０は、移動比率（Ｓｍ）を算出する（ステップＳ１１５）。移動比率（Ｓｍ）は、操縦装置１０の移動量を機体２１の移動量に反映させるための比率である。具体的には、パラメータ生成部２２１は、操縦装置１０から取得した操縦装置１０の対地高度（Ｈｃ）と、移動体２０が備える高度推定部２１１が推定した機体２１の対地高度（Ｈｄ）を用いて、下記の式（１）に基づき移動比率を算出する。

移動比率（Ｓｍ）＝機体の対地高度（Ｈｄ）／操縦装置の対地高度（Ｈｃ）
・・・（１）

算出された移動比率（Ｓｍ）は、情報処理装置２２０の記憶部２２５に記憶される。

次いで、情報処理装置２２０は、現在の機体２１の自己位置を位置推定部２１２より取得する（ステップＳ１１７）。取得された自己位置は操縦原点として記憶部２２５に記憶される。操縦原点は、移動体座標系の世界座標系（ＤＷ）と操縦座標系（ＤＣ）の関係を表すものであり、世界座標系（ＤＷ）における位置（^ｄｗＸ_ｃｏ、^ｄｗＹ_ｃｏ、^ｄｗＺ_ｃｏ）、及びＺ軸回転方向の姿勢（^ｄｗθ_ｚｃｏ）で構成される。パラメータ生成部２２１は、操縦原点を以下の値を用いて生成する。
（１）位置（^ｄｗＸ_ｃｏ、^ｄｗＹ_ｃｏ、^ｄｗＺ_ｃｏ）：機体２１の自己位置のうちの並進成分
（２）Ｚ軸回転方向の姿勢（^ｄｗθ_ｚｃｏ）：機体２１の自己位置の姿勢のうちのパン角（^ｄｗθ_ｐ）
自己位置のパン角、ティルト角、及びロール角への分解の方法については後述する。

次いで、移動体２０は、雲台２４の目標姿勢を算出する（ステップＳ１１９）。具体的には、パラメータ生成部２２１は、撮像装置２５の姿勢が操縦装置１０の姿勢と同じになるようにするための第２のパラメータを生成する。より具体的には、パラメータ生成部２２１は、位置推定部２１２より取得した自己位置の姿勢成分と、操縦装置１０より受信した操縦装置１０の姿勢（^ｃｗθ_ｔ、^ｃｗθ_ｒ）とを用いて、雲台目標位置を第２の姿勢パラメータとして算出する。第２の姿勢パラメータの算出方法については後述する。次いで、移動体２０は、撮像装置２５の姿勢が操縦装置１０の姿勢と同じになるように、雲台制御部２１５を介して雲台２４を制御する（ステップＳ１２１）。

次いで、移動体２０は、通信制御部２１３を介して、操縦装置１０にダイレクト操縦モードへの遷移完了の報告を送信する（ステップＳ１２３）。

以上の処理により、移動体２０のダイレクト操縦モードへの遷移が完了する。操縦装置１０及び移動体２０の双方がダイレクト操縦モードへの遷移を完了すると、操縦装置１０の姿勢と移動体２０に搭載された撮像装置２５の姿勢とが同期する。これにより、操縦装置１０は、ダイレクト操縦モードで移動体２０を操縦できるようになる。

なお、以上の処理は操縦装置座標系について、世界座標系（ＣＷ）等のＺ軸負方向を重力の方向に合わせていることが前提となっている。しかし、操縦装置１０にＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）など重力方向を推定できるセンサが設けられていない場合には、操縦装置１０と移動体２０に搭載された撮像装置２５との間で、上記の方法により姿勢を合わせることが出来ない。そのような場合には、操縦装置１０と移動体２０に搭載された撮像装置２５との姿勢を手動で合わせても良い。ここでは、手動で姿勢を合わせる方法の一例を説明する。

予め、操縦装置１０の姿勢と移動体２０の撮像装置２５の姿勢を合わせる際の姿勢とを、水平な方向等、操縦者が向けやすい姿勢に決めておく。

操縦装置１０では、ダイレクト操縦モードへの遷移操作を行った際（例えば、ステップＳ１０１の処理を行った際）、一連の処理（例えば、ステップＳ１０３～Ｓ１０９の処理）を行う前に入出力部１８等のＵＩに、操縦装置１０を前述の予め決めた姿勢にする指示が表示される。操縦者は、指示された姿勢になるように、操縦装置１０の向きを変えた後に、例えば入出力部１８に表示されたボタンを操作する。以後、前述のダイレクト操縦モードへの遷移時の処理（例えば、ステップＳ１０３～Ｓ１０９の処理）が同様に行われる。

移動体２０は、雲台目標位置の算出時（ステップＳ１１９）に操縦装置１０の姿勢の代わりに予め決めた姿勢を使用して（操縦装置１０が予め決めた姿勢になっているものとして）、前述の説明と同様の処理（例えば、ステップＳ１１３～Ｓ１２３の処理）を行う。

以上の方法でも、操縦装置１０と移動体２０に搭載の撮像装置２５の姿勢とを同期させることが出来る。

次に、図１２を参照して、ダイレクト操縦モード中の操縦装置１０及び移動体２０における処理について、詳細に説明する。図１２は、ダイレクト操縦モード中の操縦装置１０及び移動体２０における処理を示すフローチャート図である。

まず、操縦装置１０の処理について説明する。

まず、操縦装置１０は、自己位置を出力する（ステップＳ２０１）。より具体的には、位置推定部１３２は、自己位置の推定に使用しているセンサの出力レート、例えばステレオカメラ１４であれば例えば６０ｆｐｓ（ｆｌａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の間隔で自己位置を推定し、指令処理部１３５に出力する。

次いで、指令処理部１３５は、位置推定部１３２より自己位置を取得すると、操縦指令を生成する（ステップＳ２０３）。より具体的には、指令生成部１３６は、ダイレクト操縦モードへの遷移時（具体的には、ステップＳ１０９）において記憶部１３７に記憶された操縦原点からの操縦装置１０の相対移動量に基づいて、操縦指令を算出する。

操縦指令は、下記の３つの情報で構成される。
（１）操縦原点からの相対移動量（^ｃｃＸ_ｈｏ、^ｃｃＹ_ｈｏ、^ｃｃＺ_ｈｏ）
（２）操縦原点からのＺ軸周りの相対移動量（^ｃｃθ_ｚｈｏ）
（３）現在の自己位置のうち、ティルト角及びロール角（^ｃｗθ_ｔ、^ｃｗθ_ｒ）

なお、相対移動量は、操縦座標系（ＣＣ）と水平機体座標系（ＣＨ）の関係を表す。また、ティルト角及びロール角（^ｃｗθ_ｔ、^ｃｗθ_ｒ）は、水平操縦装置座標系（ＣＨ）と操縦装置座標系（ＣＳ）の関係を表す。

指令生成部１３６は、記憶部１３７で記憶された操縦原点と、操縦装置１０の位置推定部１３２より取得された自己位置とに基づき、下記の式（２）～（１１）に基づき、操縦指令を生成する。なお、操縦装置１０の自己位置より回転成分をパン角、ティルト角、及びロール角に分解（算出方法については後述する）された値を^ｃｗθ_ｐ、^ｃｗθ_ｔ、及び^ｃｗθ_ｒとする。また、以下、Ｒ_ｘは回転成分（以下、「回転行列」とも称する）、Ｐ_ｘは並進成分、Ｔ_ｘは同次変換行列を表す。

操縦装置１０の現在の自己位置より、並進成分とＺ軸周りの姿勢は下記の式（２）～（５）で表される。

式（３）～（５）と同様にして、操縦原点は下記の式（６）～（８）で表される。

操縦装置１０の相対移動量は、下記の式（９）及び（１０）で表される。なお、^ＣＣＲは、操縦装置１０の相対移動量のうちの回転成分を表す。

指令生成部１３６は、操縦原点と現在の自己位置とを用いて、下記の式（１１）に基づき、操縦装置１０の相対移動量を算出する。

指令生成部１３６は、式（１１）で表される^ｃｃＴより必要な成分を抜き出して、^ｃｃＰ及び^ｃｃＲを取得する。また、指令生成部１３６は、^ｃｃＰより、^ｃｃＸ_ｈｏ、^ｃｃＹ_ｈｏ、及び^ｃｃＺ_ｈｏを取得する。また、指令生成部１３６は、^ｃｃＲをパン角、ティルト角、及びロール角に分解して、パン角^ｃｃθ_ｚｈｏを算出する。なお、指令生成部１３６が^ｃｃＲを分解してパン軸の角度^ｃｃθ_ｚｈｏを算出する方法については後述する。

次いで、操縦装置１０は、操縦指令を移動体２０に送信する（ステップＳ２０５）。より具体的には、指令生成部１３６は、当該操縦指令を、通信制御部１３４を介して移動体２０に送信する。なお、これらのステップＳ２０１～Ｓ２０５の処理は、操縦装置１０の位置推定部１３２が自己位置を出力する度に行われる。

次に、移動体２０の処理について説明する。

移動体２０は、通信制御部２１３により、操縦装置１０で算出された操縦指令を受信する（ステップＳ２０７）。受信された操縦指令は、情報処理装置２２０に伝達される。

次いで、情報処理装置２２０は、伝達された操縦指令に基づき、機体目標位置と雲台目標位置とを生成する（ステップＳ２０９）。より具体的には、パラメータ生成部２２１は、機体目標位置と雲台目標位置に関する各種のパラメータを生成し、生成した各種のパラメータを機体制御部２１４と雲台制御部２１５に伝達する。

移動体２０がクワッドロータの飛行体である場合には、機体２１の姿勢によって、機体２１の前後左右の移動が制御されている。そのため、操縦装置１０により表現された撮像装置２５の位置及び姿勢を、機体２１の動きだけで実現することは出来ない。そのため、並進方向、及び重力方向軸周りの回転以外の自由度は、雲台２４により実現される。また、移動体２０の運動状態又は風などの外乱による移動体２０の姿勢の変化も、雲台２４により吸収される。

具体的な機体目標位置の算出方法について説明する。機体目標位置（^ｄｗＸ_ｒｅｆ、^ｄｗＹ_ｒｅｆ、^ｄｗＺ_ｒｅｆ、^ｄｗθ_ｚｒｅｆ）は、世界座標系（ＤＷ）と水平機体座標系（ＤＨ）との間の差分を表す値である。機体目標位置は、重力方向とｄｗＺ及びｄｈＺ軸とが揃っているため、自由度は前述の並進３自由度（^ｄｗＸ_ｒｅｆ、^ｄｗＹ_ｒｅｆ、^ｄｗＺ_ｒｅｆ）とＺ軸周りの回転（^ｄｗθ_ｚｒｅｆ）の４つの値で表される。

パラメータ生成部２２１は、機体目標位置を下記の式を用いて算出する。なお、移動比率、及び操縦原点の算出には、ダイレクト操縦モードへの遷移時（ステップＳ１１７）において、情報処理装置２２０に記憶された値が使用される。ここで、操縦原点の同次変換行列は、下記の式（１２）～（１４）で表される。

また、機体目標位置の同次変換行列は、下記の式（１５）及び（１６）で表される。なお、^ｄｗＲ_ｒｅｆは、機体２１の回転成分を表す回転行列である。

まず、パラメータ生成部２２１は、機体２１の相対移動量目標値を、操縦装置１０より受信した操縦装置１０の相対移動量、及びダイレクト操縦モード遷移時に情報処理装置２２０に記憶した移動比率より、下記の式（１７）を用いて算出する。すなわち、パラメータ生成部２２１は、操縦装置１０より受信した操縦装置１０の相対移動量と移動比率とを乗じて、並進成分（すなわち、移動体２０の相対移動量）を移動パラメータとして算出する。なお、相対移動量目標値は、操縦座標系（ＤＣ）と水平機体座標系（ＤＨ）の間の差分を表す値である。

パラメータ生成部２２１は、機体２１の回転成分については、操縦装置１０より受信した操縦装置１０の回転成分をそのまま使用する。

以上より、機体２１の相対移動量目標値の同次変換行列は、下記の式（２０）で表される。

パラメータ生成部２２１は、機体２１の相対移動量目標値と操縦原点から、以下の式（２１）を用いて機体目標位置を算出する。

パラメータ生成部２２１は、^ｄｗＴ_ｒｅｆより必要な成分を抜き出して、^ｄｗＰ_ｒｅｆ及び^ｄｗＲ_ｒｅｆを得ることができる。また、パラメータ生成部２２１は、^ｄｗＰ_ｒｅｆより、^ｄｗＸ_ｒｅｆ、^ｄｗＹ_ｒｅｆ及び^ｄｗＺ_ｒｅｆを移動パラメータとして得る。また、パラメータ生成部２２１は、^ｄｗＲ_ｒｅｆよりパン角、ティルト角、ロール角に分解し、パン角^ｄｗθ_ｚｒｅｆを第１の姿勢パラメータとして得ることができる。パラメータ生成部２２１が、パン軸の角度^ｄｗθ_ｚｒｅｆを得る算出方法については後述する。

Ｘ及びＹ軸周りの回転については、雲台２４により実現される。パラメータ生成部２２１は、移動体２０の位置推定部２１２より取得された自己位置の姿勢成分と、操縦装置１０より送信された操縦装置１０の姿勢（^ｃｗθ_ｔ、^ｃｗθ_ｒ）より、後述の雲台目標姿勢の算出方法を用いて雲台目標位置を第２の姿勢パラメータとして算出する。

なお、操縦装置１０の姿勢変化に対する撮像装置２５の姿勢の応答をより良くするために、雲台２４のパン軸と機体２１の位置とが連携されてもよい。具体的には、雲台２４は直接モータで駆動しているため、雲台２４の姿勢の方が機体２１の姿勢よりも応答性が良いことが期待できる。このため、Ｚ軸回転について、機体２１の自己位置が機体目標位置に到達するまでの間、雲台２４のパン軸により、下記の式（２２）で表される機体目標位置と機体２１の自己位置との差分量が補われてもよい。

雲台目標位置（θｐ）＝機体目標位置（^ｄｗθ_ｚｒｅｆ）―機体自己位置（^ｄｗθ_ｚ）・・・（２２）

パラメータ生成部２２１は、得られた機体目標位置を機体制御部２１４に、雲台目標位置を雲台制御部２１５に設定する（ステップＳ２１１）。

次いで、移動体２０は、機体２１と雲台２４とを制御する（ステップＳ２１３）。より具体的には、機体目標位置が設定された機体制御部２１４は、設定された機体目標位置と機体２１の自己位置が一致するように機体２１を制御する。雲台目標位置が設定された雲台制御部２１５は、雲台２４の位置が設定された雲台制御位置となるように雲台２４を制御する。このようにして、操縦装置１０における操縦者の操作が機体２１及び雲台２４の位置及び姿勢に反映される。

また、情報処理装置２２０は、機体目標位置と機体２１の現在位置又は雲台目標位置と雲台２４の現在位置との差異を算出して、通信制御部２１３を介して、当該差異を操縦装置１０に送信しても良い。当該差異の算出は、例えば、情報処理装置２２０が備えるパラメータ生成部２２１により実施されてもよい。操縦装置１０は、受信した当該差異を用いて、操縦装置１０の表示部１６又は入出力部１８に、操縦装置１０の姿勢の移動体２０への反映状況を表示させても良い。例えば、下記Ｗｅｂページの３．５節に記載のように、表示部１６又は入出力部１８に撮像装置２５の画像が表示される際に、例えばＵＩ制御部１３８が透視変換を行い、撮像装置２５の姿勢が操縦装置１０の姿勢に追いついていないことが視覚的に表現されてもよい。
（参考ＵＲＬ）
・http://www.interaction-ipsj.org/archives/paper2013/data/Interaction2013/oral/data/pdf/13INT012.pdf

以上、第１の処理例について説明した。本開示の一実施形態に係る情報処理装置２２０の効果について説明する。本開示の一実施形態に係る情報処理装置２２０は、操縦装置１０から第１の位置までの第１の距離と移動体２０から第２の位置までの第２の距離との比率、及び操縦装置１０の移動に基づき、移動体２０の移動を制御するための移動パラメータを生成する。移動体２０の移動は、生成された移動パラメータに基づき制御される。このため、操縦者は、操縦装置１０を移動させることで、移動体２０の移動を制御することができる。また、移動体２０の移動は、上記比率に基づき制御されるため、操縦者は、移動体２０の移動をよりイメージし易くなる。このため、操縦者は、より簡便に移動体２０の移動を制御することが可能となる。

また、本開示の一実施形態に係る情報処理装置２２０は、パラメータ生成部２２１は、第１の距離と第２の距離との比率と、操縦装置１０の移動量とを乗じて、移動パラメータとして移動体２０の移動量を生成する。移動体２０の移動量は、生成された移動量に基づき制御される。このため、移動体２０は、操縦装置１０の移動量に比例した移動量を移動するため、操縦者は、移動体２０の移動をより予測し易くなる。このため、操縦者は、移動体２０の移動をさらに簡便に制御することができるようになる。

本開示の一実施形態に係る情報処理装置２２０の効果について、図１３を参照してより詳細に説明する。図１３は、本開示の一実施形態に係る情報処理装置２２０の効果を説明するための図である。図１３には、移動体２０と、移動体２０の撮像対象６００、操縦装置の操縦者Ｕ１、及び撮像対象６００を模したミニチュア６０２が示されている。また、操縦装置１０の操縦者Ｕ１の上側に示す矢印６０４は、操縦装置１０の移動量を模式的に示した矢印である。また、移動体２０の上側に示されている点が付された矢印６０６は、移動体２０の移動量を模式的に示す矢印である。矢印６０６で示される移動量は、操縦装置の対地高度（Ｈｃ）と移動体２０の対地高度（Ｈｄ）の比率と矢印６０４で示される移動量とを乗じて算出された量である。ここでは、当該比率がｎ倍であるものとして説明する。

上記のように、第１の処理例では、第１の距離は、操縦装置１０の対地高度（Ｈｃ）であり、第２の距離は、移動体２０の対地高度（Ｈｄ）である。このため、操縦者Ｕ１は、操縦装置１０の対地高度と移動体２０の対地高度との比率に基づき、移動体２０の移動を制御することができる。このため、操縦者Ｕ１は、移動体２０の移動をよりイメージし易くなり、さらに簡便に移動体２０の移動を制御できるようになる。

また、本開示の一実施形態に係る情報処理装置２２０によれば、パラメータ生成部２２１は、操縦装置１０の姿勢に応じた姿勢を移動体２０に実現させるための第１の姿勢パラメータを生成する。当該第１の姿勢パラメータに基づき、操縦装置１０の姿勢に応じた姿勢が、移動体２０により実現される。このため、操縦者Ｕ１は、操縦装置１０の姿勢と移動体２０の姿勢とが連動するため、さらに簡便に移動体２０の移動を制御できるようになる。

また、本実施形態では、移動体２０は、風景を撮像するための撮像装置２５を備える。本実施形態では、操縦者Ｕ１は、操縦装置１０を移動させるだけで移動体２０の移動を制御することができる。従って、操縦者Ｕ１は、移動体２０の移動を簡便に制御できるだけでなく、移動体２０に搭載された撮像装置２５により適切に撮像させることも可能となる。

また、本実施形態では、移動体２０は、撮像装置２５を搭載した雲台２４を備えている。また、情報処理装置２２０が備えるパラメータ生成部２２１は、雲台２４に操縦装置１０の姿勢に応じた姿勢を実現させるための第２の姿勢パラメータを生成できる。雲台２４の姿勢は、当該第２の姿勢パラメータに基づき制御され、操縦装置１０の姿勢に応じた姿勢が実現される。このため、操縦者Ｕ１は、操縦装置１０の姿勢を調整することで、撮像装置２５が撮像する方向を制御することができるため、より簡便かつ適切に移動体２０に搭載された撮像装置２５に撮像させることができる。

また、本実施形態では、操縦装置１０と移動体２０とは、互いに離れた場所に位置し、互いに通信可能に接続される。本実施形態では、操縦装置１０は、地表近くで操縦者Ｕ１に持ち運ばれることより移動している。一方、移動体２０は、上空で飛行している。このように、操縦装置１０と移動体２０とが互いに離れた場所に位置していても、操縦者Ｕ１は操縦装置１０を移動させるだけで、移動体２０の移動を制御することが可能である。つまり、操縦者Ｕ１は、離れた位置に位置する移動体２０の移動を、より簡便に制御することができる。

また、本開示の一実施形態では、移動体２０は飛行体である。具体的には、移動体２０は、ドローンが想定されている。移動体２０がこのような飛行体である場合には、操縦者Ｕ１は、操縦装置１０を空中で動かすことにより、当該移動体２０の移動を制御することができる。このため、操縦者Ｕ１は、３次元的に移動体２０を制御することが可能になる。このように、移動体２０が高空で運用される場合でも、操縦者Ｕ１が狭い範囲を移動するだけで撮像対象６００に対して回り込むような動作なども簡単に、かつビデオカメラを手で持って撮影するような感覚で移動体２０を操縦することができる。

また、上述した特許文献１には、操縦者の移動量を計測し、同じ移動量だけ移動体を動かす技術が記載されている。しかし、移動体２０で高空より地上を撮影する場合、撮影位置を変更するために必要な移動量が大きく、操縦者にこの移動を行わせることは実用的ではない。特に、撮像位置を変更させる分だけユーザが移動する必要がある場合には、例えば、上空２０ｍから４５°の俯瞰で撮影しているところから反時計周りに９０°移動しようとすると、操縦者も半径２０ｍの円上を９０°分回らなければならない。このため、操縦者の移動の負担が大きく、また操縦者の周囲にそれだけの空間を確保することも困難である。

一般的に、ドローン等の移動体を使った空撮が行われている。空撮において意図したフレーミングを行うには、移動体に搭載された撮像装置の撮影画像のプレビューを確認しながら、ドローンの機体又は撮像装置を搭載するジンバル雲台の制御を行う必要がある。しかしながら、１人で当該プレビューが表示されたモニタを見ながら、機体及びジンバル雲台などの全ての制御を行うことは、操縦者にとって負担が大きい。また、ドローンの機体の操縦と撮像装置の制御とが２人で分担される場合には、当該２人の操縦者が互いに機体又はジンバル雲台などの動かしたい方向を相手に伝えるのが難しい。ドローンの操縦はプロポを用いて行われるが、撮像装置のフレーミングを調整するために何をどちらに動かせば良いのか直観的でない。このため、感覚的に撮像装置のフレーミングを調整することが難しい。

本実施形態では、操縦装置１０は、操縦者Ｕ１により持ち運ばれることにより移動する。このため、操縦者Ｕ１があたかも操縦者Ｕ１の目前にあるミニチュア６０２をカメラで撮影するように操縦装置１０を動かすだけでよい。これにより、操縦者Ｕ１が意図する撮像装置２５のフレーミングが実現されるように、移動体２０又は移動体２０に搭載された雲台２４が制御される。これにより、プロポを用いて機体２１及び雲台２４を個別に手動で制御することに比べて、操縦者Ｕ１は、容易にかつ直観的に移動体２０に搭載された撮像装置２５のフレーミングをすることができる。

＜＜２．２．第２の処理例＞＞
第１の処理例では、移動比率（Ｓｍ）の算出には、操縦装置１０及び移動体２０における対地高度が用いられた。第２の処理例では、移動比率（Ｓｍ）の算出には、対地高度ではなく、注視点との距離の比率が用いられる。

図１４及び図１５を参照して、注視点について説明する。図１４は、移動体２０における第２の注視点７０８を説明するための図である。図１４には、移動体２０と、移動体２０の前方に位置する撮像対象７００とが示されている。移動体２０に搭載された撮像装置２５は、撮像対象７００を撮像している。なお、破線で示された領域７０２は、撮像装置２５の視野を示しており、第２の注視点７０８を含んでいる。

第２の注視点は、例えば、撮像装置２５により撮像される撮像対象７００に含まれてもよい。図１４に示す例では、バツ印で示された第２の注視点７０８が注視点となっている。撮像装置２５の第２の注視点７０８への方向７０４が矢印で示されている。第２の処理例では、移動体２０に設けられた測距センサ２６が、移動体２０から第２の注視点７０８までの距離Ｄｄを第２の距離として計測する。なお、第２の処理例では、第２の注視点７０８は、第２の位置である。

次いで、図１５を参照して、操縦装置１０における第１の注視点７２０について説明する。図１５は、操縦装置１０における第１の注視点７２０を説明するための図である。図１５には、操縦装置１０と、当該操縦装置１０を操縦する操縦者Ｕ２と、操縦装置１０の前方に位置する代替対象７１０とが示されている。また、点線で示された領域７１２は、ステレオカメラ１４の視野である。また、破線で示される領域７１４は、移動体２０が備える撮像装置２５の画角に基づく仮想的な視野であり、第１の注視点７２０を含んでいる。代替対象７１０の上部に示されるバツ印で示された第１の注視点７２０である。さらに、ステレオカメラ１４の第１の注視点７２０への方向７１８が矢印で示されている。なお、第２の処理例では、操縦装置１０のステレオカメラ１４が第１の注視点７２０を見る方向７１８と、移動体２０の撮像装置２５が第２の注視点７０８を見る方向７０４とが一致している。なお、ここでいう上記２つの方向が一致している状態は、上記２つの方向が完全に一致している状態のみならず、使用者が一致していると感じる程度に上記２つの方向が揃っている状態をも含むものとする。

第２の処理例では、撮像装置２５における第１の注視点７２０は、代替対象７１０に含まれる。代替対象７１０は、移動体２０に搭載された撮像装置２５の撮像対象７００の代替となる代替対象となっている。例えば、図１４に示した撮像対象７００が岩等である場合には、操縦者Ｕ２は、撮像対象７００の代替対象７１０として、当該岩等に似た形状を有する物体を代替対象として選んでもよい。第２の処理例では、操縦装置１０を使用する操縦者Ｕ２の周辺にある物体に操縦装置１０に搭載されたステレオカメラ１４が向けられた状態で、注視点が設定される。第２の処理例では、操縦装置１０から第１の注視点７２０までの距離Ｄｃが第１の距離として計測される。なお、第２の処理例では、第１の位置は、第１の注視点７２０である。

第２の処理例では、上記の距離Ｄｄと距離Ｄｃとの比率が移動比率（Ｓｍ）として用いられる。これにより、操縦者Ｕ２は、あたかも自らの周辺にある物体を撮影するかのように、機体２１及び雲台２４を操縦して、撮像対象７００を撮影することが出来る。

以下、第２の処理例における操縦装置１０と移動体２０とで実施される処理について、第１の処理例と異なる点を中心に説明する。ここでは、第１の処理例と第２の処理例とにおいて、実質的に同一の処理については、説明を省略する。

注視点の設定は、飛行モードがダイレクト操縦モードへ遷移される前までに行われる必要がある。第２の処理例では、注視点を設定するための注視点設定モードの処理が、第１の処理例における処理に加えて実施される。注視点設定モードでは、操縦装置１０の姿勢のみが、移動体２０の撮像装置２５の姿勢と連動する。そのため、操縦者Ｕ２は、操縦装置１０を動かすことで、第２の注視点としたい場所を撮像装置２５の視野に収めるように、撮像装置２５の姿勢を調整することが出来る。

第２の処理例では、他のモードからダイレクト操縦モードに遷移する時に、必ず注視点設定モードが実施される。しかし、一度注視点が設定された後は、注視点の設定が省略されても良い。

以下、注視点を利用する場合における、移動体２０の飛行モードがダイレクト操縦モードへ遷移する流れについて説明する。

ここでは、移動体２０から操縦装置１０へ、常に移動体２０の撮像装置２５で撮影された画像が送信され、操縦装置１０の入出力部１８には、当該画像が常に表示されているものとする。また、表示される画像には、移動体２０に搭載された撮像装置２５が当該画像を撮影した時の撮影時刻が付与されてもよい。また、表示される画像には、撮像装置２５が画像を撮影するごとにインクリメントされる画像番号が付与されてもよい。これらの撮像時刻又は画像番号等の情報も操縦装置１０へ送信されてもよい。

まず、操縦者Ｕ２は、入出力部１８を見ながら、予め手動操縦モードなどを用いて、撮像装置２５の視野に第２の注視点として設定したい場所が入っている状態で、移動体２０をホバリングさせておく。また、操縦者Ｕ２は、操縦者Ｕ２の周囲にある撮像対象を摸する物体又は壁などの代替対象の前に立ち、操縦装置１０をそれらの代替対象が存在する方向に向けておく。この状態で、操縦者Ｕ２が入出力部１８のＵＩを用いて、飛行モードを注視点設定モードに遷移する操作を行うと、注視点設定モードへ遷移する処理（すなわち、後述する図１６に示す処理）が開始される。

以下、図１６及び図１７を参照して、第２の処理例における操縦装置１０と移動体２０とが実施する処理について説明する。まず、注視点設定モードへの遷移について、操縦装置１０の処理を説明する。図１６は、移動体２０の飛行モードが注視点設定モードへ遷移する過程における処理を示すフローチャート図である。

操縦者Ｕ２により、入出力部１８のＵＩを用いて飛行モードを注視点設定モードに遷移する操作が行われると、操縦装置１０には、注視点設定モードへの操作指令が入力される（ステップＳ３０１）。より具体的には、入出力部１８に入力された注視点設定モードへの遷移操作指令が、ＵＩ制御部１３８を介して、指令処理部１３５に伝達される。

次いで、指令処理部１３５が、注視点設定モードへの遷移操作指令を受けると、指令生成部１３６は、操縦装置１０の位置推定部１３２より、現在の操縦装置１０の自己位置を取得する（ステップＳ３０３）。

次いで、指令生成部１３６は、取得した自己位置より、操縦装置１０の姿勢をパン角（^ｃｗθ_ｐ）、ティルト角（^ｃｗθ_ｔ）、及びロール角（^ｃｗθ_ｒ）の角度に分解する（ステップＳ３０５）。なお、指令生成部１３６が姿勢を角度分解する方法については後述する。

記憶部１３７は、算出された操縦装置１０の姿勢のうちパン角（^ｃｗθ_ｐ）を注視点設定モード原点（^ｃｗθ_ｐｖｐ）として記憶する。

次いで、指令生成部１３６は、注視点設定モードへの遷移指令を下記の２つのデータと共に通信制御部１３４を介して、移動体２０に送信する（ステップＳ３０７）。
（１）操縦装置１０の現在の姿勢（ティルト角（^ｃｗθ_ｔ）、ロール角（^ｃｗθ_ｒ））
（２）操縦装置１０の現在の姿勢と注視点設定モード原点とのパン軸差分角度（^ｃｖθ_ｐ）
なお、パン軸差分角度（^ｃｖθ_ｐ）は、下記の式（２３）を用いて算出される。

パン軸差分角度（^ｃｖθ_ｐ）＝操縦装置の姿勢（^ｃｗθ_ｐ）－注視点設定モード原点（^ｃｗθ_ｐｖｐ）・・・（２３）

移動体２０は、前述の注視点設定モードへの遷移指令を操縦装置１０より受信することで、注視点設定モードへの遷移処理を開始する。以下、その時の情報処理装置２２０の動作について説明する。

移動体２０が操縦装置１０より注視点設定モードへの遷移指令を受信すると、情報処理装置２２０は、位置推定部２１２より機体２１の自己位置を取得する（ステップＳ３０９）。

次いで、情報処理装置２２０は、現在の姿勢を分解してパン角を算出する（ステップＳ３１１）。情報処理装置２２０は、算出したパン角を注視点設定モード原点（^ｄｖθ_ｐｖｐ）として記憶する。

次いで、情報処理装置２２０は、雲台２４の目標姿勢を生成する（ステップＳ３１３）。より具体的には、パラメータ生成部２２１は、操縦装置１０より受信した操縦装置１０の現在の姿勢と、機体２１の自己位置の姿勢成分に基づき、雲台２４に操縦装置１０の姿勢に応じた姿勢を実現させるための、第２の姿勢パラメータを雲台２４の目標姿勢として生成する。なお、パラメータ生成部２２１が、第２の姿勢パラメータを生成する方法については後述する。

次いで、移動体２０は、雲台２４を制御する（ステップＳ３１５）。より具体的には、情報処理装置２２０は、算出した雲台２４の目標姿勢を雲台制御部２１５に伝達する。雲台制御部２１５は、伝達された雲台２４の目標姿勢に基づき、雲台２４を制御する。

雲台２４の制御が完了すると、移動体２０は、操縦装置１０に注視点設定モードへの遷移完了報告を送信する（ステップＳ３１７）。このとき、情報処理装置２２０は、注視点設定モードに遷移する。

以上のステップＳ３０１～Ｓ３１７の処理により、操縦装置１０の姿勢と移動体２０に搭載された撮像装置２５の姿勢が、ティルト角及びロール角について同期する。また、パン角についても、操縦装置１０の姿勢と移動体２０に搭載された撮像装置２５の姿勢とにおいて、注視点設定モードへの遷移操作が行われたタイミングから相対的に動作が同期する。

操縦装置１０が、移動体２０より注視点設定モードへの遷移完了報告を受信すると、操縦装置１０のモードは、注視点設定モードとなる。

操縦装置１０は、注視点設定モードにおいて、入出力部１８のＵＩにて注視点を指定する指示を、ＵＩ制御部１３８を介して表示する（ステップＳ３１９）。

注視点設定モード中、指令処理部１３５は、撮像装置２５の姿勢制御指令として、下記の２つのデータを、通信制御部１３４を介して、移動体２０に送信する（ステップＳ３２１）。なお、当該送信は、定期的（操縦装置１０の位置推定部１３２が自己位置を出力するレート）に実施される。
（１）操縦装置１０の現在の姿勢（ティルト角（^ｃｗθ_ｔ）、ロール角（^ｃｗθ_ｒ））
（２）操縦装置１０の現在の姿勢と注視点設定モード原点とのパン軸差分角度（^ｃｖθ_ｐ）
なお、パン軸差分角度（^ｃｖθ_ｐ）は、下記の式（２４）を用いて算出される。

パン軸差分角度（^ｃｖθ_ｐ）＝操縦装置の姿勢（^ｃｗθ_ｐ）－注視点設定モード原点（^ｃｗθ_ｐｖｐ）・・・（２４）

移動体２０は、雲台２４の目標姿勢を生成する（ステップＳ３２３）。より具体的には、パラメータ生成部２２１は、操縦装置１０より撮像装置２５の姿勢制御指令を受信すると、受信した操縦装置１０の現在の姿勢と、機体２１の自己位置の姿勢成分に基づき、雲台２４の目標姿勢に関する第２のパラメータを生成する。なお、パラメータ生成部２２１が第２のパラメータを生成する方法については後述する。生成された第２のパラメータは、雲台制御部２１５に伝達される。

次いで、移動体２０は、雲台２４を制御する（ステップＳ３２５）。より具体的には、雲台制御部２１５は、ステップＳ３２３において取得した第２のパラメータに基づき、雲台２４を制御する。

以上のステップＳ３２１～Ｓ３２５の処理は定期的に実施され、以下の注視点設定モード中では、操縦装置１０の姿勢に同期して撮像装置２５の姿勢が動くようになる。この状態で注視点が設定される。

以下、図１７を参照して、注視点が設定される処理について説明する。図１７は、第１及び第２の注視点が設定される処理を示すフローチャート図である。以下、図１７に示すフローチャートに沿って説明する。

まず、操縦装置１０の処理の流れについて説明する。

まず、操縦装置１０は、注視点を設定する（ステップＳ４０１）。注視点の設定は、例えば、操縦者Ｕ２が操縦装置１０を操作することにより実施される。ここでは、操縦者Ｕ２が操縦装置１０に注視点を設定する２つの方法について説明する。

１つ目の方法では、操縦者Ｕ２は、操縦装置１０の姿勢を変えて、操縦装置１０の入出力部１８に表示された撮像装置２５の画像の中心に第２の注視点がある状態にする。次いで、操縦者Ｕ２は、入出力部１８に表示されたＵＩにおける第２の注視点を設定するためのボタンを押下する。これにより、第２の注視点の画像座標は入出力部１８に表示された画像の中心に固定される。

２つ目の方法では、操縦者Ｕ２は、操縦装置１０の姿勢を変えて、操縦装置１０の入出力部１８に表示された撮像装置２５の画像上の任意の場所に第２の注視点がある状態にする。次いで、操縦者Ｕ２は、入出力部１８に表示されたＵＩにおける第２の注視点の画像上の場所をタッチする。

以上、操縦者Ｕ２が注視点を設定する２つの方法について説明したが、第２の注視点を設定する方法は、上記の方法に限定されない。

注視点が設定されると、操縦装置１０は、操縦装置１０から第１の注視点までの距離Ｄｃを計測する（ステップＳ４０３）。より具体的には、距離計測部１３３が、ステレオカメラ１４が撮像した画像に基づき、操縦装置１０から第１の注視点までの距離（Ｄｃ）を計測する。

なお、操縦装置１０から第１の注視点までの距離（Ｄｃ）は、操縦装置１０のステレオカメラ１４が、移動体２０の撮像装置２５から見た第２の注視点の方向と同じ方向に見た奥行である。以下、入出力部１８により指定された第２の注視点の撮像装置２５の画像座標に対応する奥行（Ｄｃ）の計測方法について説明する。

ここでは、操縦装置１０のステレオカメラ１４、及び移動体２０の撮像装置２５が、共にピンホールカメラモデルであるものとする。ピンホールカメラモデルについては、例えば、下記Ｗｅｂページにおいて公開されている。
（参考ＵＲＬ）
・https://docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html
・https://jp.mathworks.com/help/vision/ug/camera-calibration.html

ピンホールカメラモデルにおける座標系の定義を図１８に示す。図１８は、ピンホールカメラモデルにおける座標系を示す図である。３次元空間の直交座標系における座標軸８００と、画像座標を規定する座標軸８０２と、当該画像座標を含む画像平面８０４とが示されている。３次元空間の直交座標系における座標軸８００は、３つの直交する軸（Ｘｐ軸、Ｙｐ軸、及びＺｐ軸）で構成されている。Ｚｐ軸は、ステレオカメラ１４及び撮像装置２５の光軸方向に対応しているものとする。また、画像座標を規定する座標軸８０２は、２つの直交する軸（Ｕ及びＶ）で構成されている。以下、操縦装置１０から第１の注視点までの距離の計測方法についてはこの座標系を用いて説明する。

ピンホールカメラモデルにおいて、３次元空間上の点（ｘ、ｙ、ｚ）８１０と、原点８０６と当該点（ｘ、ｙ、ｚ）８１０を結ぶ線と画像平面８０４との交点（ｕ、ｖ）の間には、下記の式（２５）～（２８）で表される関係がある。

ここで、ｆｘ及びｆｙは、ピクセル単位で表される焦点距離であり、ｃｘ及びｃｙは、主点の画像座標となる。ｆｘ、ｆｙ、ｃｘ、及びｃｙで構成される行列Ｋを内部パラメータと呼ぶ。この内部パラメータは、ステレオカメラ１４又は撮像装置２５の種類ごとに異なる。移動体２０の撮像装置２５の内部パラメータをＫ_ｄ、操縦装置１０のステレオカメラ１４の内部パラメータをＫ_ｃとする。また、入出力部１８により指定された注視点の撮像装置２５の画像座標をｕ_ｄ、ｖ_ｄ、ステレオカメラ１４において対応する方向の画像座標ｕ_ｃ、ｖ_ｃとする。

撮像装置２５が見る画像上の点（ｕ_ｄ、ｖ_ｄ）の方向と、操縦装置１０のステレオカメラ１４が見る画像上の点（ｕ_ｃ、ｖ_ｃ）の方向とが同じ時、撮像装置２５が見るｘ’及びｙ’とステレオカメラ１４が見るｘ’及びｙ’とが等しくなる。このとき、下記の式（２９）及び（３０）が成り立つ。

よって、ステレオカメラ１４において、撮像装置２５が見る方向に対応する方向の画像座標ｕ_ｃ、ｖ_ｃは、以下の式（３１）により求まる。

距離計測部１３３は、画像座標ｕ_ｃ、ｖ_ｃに対応する方向における奥行Ｄｃ（つまり、操縦装置１０から第１の注視点までの距離）を計測する。

移動体２０の撮像装置２５の内部パラメータＫ_ｄは、事前に操縦装置１０に記憶されていてもよいし、ステップＳ４０３の処理が行われる前に、操縦装置１０が通信制御部１３４を介して移動体２０より取得しても良い。また、撮像装置２５がズーム機構を有している場合は、ズーム倍率に応じて内部パラメータＫ_ｄが異なる。このため、操縦装置１０は、当該ズーム倍率と対応するＫ_ｄの値のテーブルを有していてもよいし、ズーム操作の度に移動体２０より取得しても良い。

また、注視点設定時において、入出力部１８には、撮像装置２５の画像が表示される。入出力部１８は、当該画像に加えて、操縦装置１０のステレオカメラ１４の画像と、当該画像における注視点位置の表示を重ねて表示しても良い。なお、ステレオカメラ１４の画像は、ステレオカメラ１４の左右両方のカメラの画像であってもよいし、左右どちらかカメラの画像であってもよい。また、注視点を狙いやすくするために、操縦装置１０には、例えば表示部１６の上部等に前方を視認できる穴や照準器等が設けられていても良い。

次いで、操縦装置１０は、自己位置を取得する（ステップＳ４０５）。より具体的には、位置推定部１３２が、現在の操縦装置１０の自己位置を取得する。取得された自己位置は、操縦原点として指令処理部１３５の記憶部１３７に記憶される。

次いで、指令生成部１３６が、ステップＳ４０５において取得された自己位置に基づき、操縦装置１０の姿勢を分解し、パン角（^ｃｗθ_ｐ）、ティルト角（^ｃｗθ_ｔ）、ロール角（^ｃｗθ_ｒ）を生成する（ステップＳ４０７）。指令生成部１３６が操縦装置１０の姿勢を分解して、これらの角度を算出する方法については後述する。

次いで、操縦装置１０は、下記の４つのデータとともに、ダイレクト操縦モードへの遷移指令を、通信制御部１３４を介して移動体２０に送信する（ステップＳ４０９）。
（１）操縦装置１０から第１の注視点までの距離（Ｄｃ）
（２）注視点の画像座標
（３）操縦装置１０の現在の姿勢（ティルト角（^ｃｗθ_ｔ）、ロール角（^ｃｗθ_ｒ））
（４）注視点設定時に使用された撮像装置２５の画像の撮影時刻又は画像番号
なお、当該（４）のデータは、必ずしも移動体２０に送信されなくてもよいが、後述するステップＳ４１１において用いられ得る。

操縦装置１０は、ダイレクト操縦モードへの遷移指令を移動体２０に送信すると、移動体２０からのダイレクト操縦モードへの遷移の完了報告を待つ。

次に、注視点設定時の移動体２０の処理の流れについて説明する。

移動体２０は、操縦装置１０よりダイレクト操縦モードへの遷移指令を受信すると、移動体２０から第２の注視点までの距離Ｄｄを計測する（ステップＳ４１１）。より具体的には、測距センサ２６が、撮像装置２５の画像中心又は操縦装置１０より送信された注視点の画像座標に対応する点を第２の注視点として、第２の注視点に対応する方向の奥行（Ｄｄ）として計測する。計測された距離（Ｄｄ）は、情報処理装置２２０に伝達される。

なお、操縦者Ｕ２が操縦装置１０で注視点を設定した時に入出力部１８等に表示された画像は、距離（Ｄｄ）が計測されたタイミングより古いタイミングで撮影されている。そのため、移動体２０は、距離（Ｄｄ）の計測に必要な情報（例えば、Ｄｅｐｔｈデータ等）をバッファリングしておいてもよい。測距センサ２６は、ダイレクト操縦モードへの遷移指令とともに受信した、注視点設定時に使用した撮像装置２５の画像の撮影時刻又は画像番号を用いて、過去の対応する情報を用いて距離（Ｄｄ）の計測を行っても良い。

次いで、情報処理装置２２０は、移動比率を算出する（ステップＳ４１３）。より具体的には、パラメータ生成部２２１は、操縦装置１０から受信した操縦装置１０から第１の注視点までの距離（Ｄｃ）と、測距センサ２６が計測した機体２１から第２の注視点までの距離（Ｄｄ）を用いて、下記の式（３２）に基づき算出する。

移動比率（Ｓｍ）＝機体から第２の注視点までの距離（Ｄｄ）／操縦装置から第１の注視点までの距離（Ｄｃ）
・・・（３２）

次いで、情報処理装置２２０は、現在の機体２１の自己位置を位置推定部２１２より取得する（ステップＳ４１５）。情報処理装置２２０は、取得した自己位置を操縦原点として記憶部２２５に記憶する。

移動体２０は、操縦装置１０にダイレクト操縦モードへの遷移完了報告を送信する（ステップＳ４１７）。より具体的には、報告情報生成部２２２は、通信制御部２１３を介して、ダイレクト操縦モードへの遷移の完了報告を操縦装置１０に送信する。

以上、図１７に示した処理により、操縦装置１０及び移動体２０が、共にダイレクト操縦モードへ遷移する。操縦装置１０及び移動体２０がダイレクト操縦モードに遷移した後は、第１の処理例と同様に、図１２に示した処理が実施されることで、注視点までの距離の比率に基づき、操縦装置１０の移動量を移動体２０の移動量に反映させることが可能となる。

なお、注視点設定モード中、パン軸方向の姿勢が操縦装置１０と移動体２０に搭載された撮像装置２５との間で、一時的に連動しないようにするためのボタン（以下、「一時連動解除ボタン」とも称する。）を操縦装置１０が備えても良い。ここで、一時連動解除ボタンの動作について説明する。

この場合、操縦装置１０は、以下の処理を行う。操縦者Ｕ２が一時連動解除ボタンを押している間、操縦装置１０はパン軸差分角度（^ｃｖθ_ｐ）を移動体２０に送信しない。そして、操縦者Ｕ２が一時連動解除ボタンを離した時に、操縦装置１０は注視点設定モード原点（^ｃｗθ_ｐｖｐ）を、現在の操縦装置１０の自己位置より前述の算出方法（例えば、ステップＳ３０３で用いた算出方法）と同様の方法で算出する。操縦装置１０は、算出した注視点設定モード原点（^ｃｗθ_ｐｖｐ）を更新し、移動体２０に注視点設定モードの原点をリセットするための指令（以下、「注視点設定モード原点リセット指令」とも称する。）を送信する。

次いで、移動体２０は、以下の動作を行う。注視点設定モード原点リセット指令を受信すると、移動体２０で記憶している注視点設定モード原点（^ｄｖθ_ｐｖｐ）を、現在の機体２１の自己位置に基づき、前述の算出方法（例えば、ステップＳ３１１において用いた算出方法）と同様の方法で算出して更新する。

以上の動作により、操縦者Ｕ２が一時連動解除ボタンを押している間には、操縦装置１０のパン軸方向の移動が移動体２０に反映されない。このため、操縦者Ｕ２が、操縦者Ｕ２の周囲にある物体に操縦装置１０の注視点を合わせる際に、移動体２０の注視点とのずれを調整することが出来る。

以上、第２の処理例について説明した。

第２の処理例では、第１の位置は、操縦装置１０が備えるステレオカメラ１４により撮像された第１の注視点であり、第２の位置は、移動体２０が備える撮像装置２５により撮像された第２の注視点である。このため、操縦者Ｕ２は、第１の距離と第２の距離との比率をイメージし易くなり、さらに簡便に移動体２０の移動を制御することが可能になる。

また、第２の処理例では、第２の注視点は、撮像装置２５により撮像された撮像対象７００に含まれ、第１の注視点は、撮像対象７００の代替となる対象である代替対象７１０に含まれる。このため、操縦者Ｕ２は、あたかも代替対象７１０を撮像する感覚で、移動体２０が備える撮像装置２５に撮像対象７００を撮像させることが可能になる。

さらに、第２の処理例では、操縦装置１０のステレオカメラ１４が第１の注視点を見る方向と、移動体２０の撮像装置２５が第２の注視点を見る方向とが一致している。このため、操縦者Ｕ２は、より簡便に撮像装置２５に適切に撮像させることができる。

＜＜２．３．算出方法についての補足＞＞
［（Ａ）姿勢をパン、ティルト、及びロール軸の角度成分に分解する方法］
ここでは、３次元の回転行列Ｒより、パン、ティルト、及びロールの３軸構成における各軸の角度に分解する方法について説明する。具体的には、指令生成部１３６が操縦装置１０の姿勢を角度分解する方法、及びパラメータ生成部２２１が第１の姿勢パラメータを生成する方法について説明する。例えば、上記実施形態における、ステップＳ１０７、Ｓ１１７、Ｓ２０３、Ｓ２０９、Ｓ３０５、又はＳ４０７等において用いられる算出方法について説明する。

パン、ティルト、及びロール軸におけるそれぞれの角度を、それぞれパン角θ_ｐ、ティルト角θ_ｔ、及びロール角θ_ｒとし、各軸に対応する回転行列をそれぞれＲ_ｐ、Ｒ_ｔ、及びＲ_ｒとする。このとき、回転行列Ｒ_ｐ、Ｒ_ｔ、及びＲ_ｒは、それぞれ下記の式（３３）～（３５）で表される。

上記３軸全体の回転は、上記各軸の回転の組み合わせとなるため、回転行列Ｒは下記の式（３６）で表すことができる。

式（３６）より、パン角、ティルト角、及びロール角は、回転行列Ｒの成分を用いて下記の式（３７）～（３９）を用いて求められる。

［（Ｂ）雲台目標姿勢の算出方法］
ついで、パラメータ生成部２２１が第２の姿勢パラメータ（雲台２４の姿勢を制御するためのパラメータ）を生成する方法について説明する。例えば、上記実施形態におけるステップＳ１１９、Ｓ３１３、又はＳ３２３等において用いられた算出方法について説明する。移動体２０の姿勢を考慮して、指定された撮像装置２５の姿勢を実現するための雲台２４の姿勢は、下記の式（４０）～（４３）に基づき算出される。

水平機体座標系（ＤＨ）と機体座標系（ＤＢ）の関係を表す回転行列^ｄｈＲ_ｂは、移動体２０自己位置の姿勢を表す回転行列^ｄｗＲをパン軸、ティルト軸、及びロール軸の回転行列に分解したものを^ｄｈＲ_ｂｐ、^ｄｈＲ_ｂｔ、及び^ｄｈＲ_ｂｒとすると、（パン軸成分を除いた）ティルト軸成分及びロール軸成分のみの回転行列で下記のように表すことが出来る。

水平機体座標系（ＤＨ）と撮像装置座標系（ＤＳ）の関係を表す回転行列^ｄｈＲ_ｓは、各軸の回転行列（ティルト軸の回転行列（^ｄｈＲ_ｓｔ＝^ｄｈＲ_ｓ（^ｄｗθ_ｔｓ））、ロール軸の回転行列（^ｄｈＲ_ｓｒ＝Ｒｒ（^ｄｗθ_ｒｓ）））より下記の式（４１）で表すことが出来る。

雲台２４により変更される姿勢の回転行列を^ｄｂＲ_ｓとすると、^ｄｈＲ_ｓ、^ｄｈＲ_ｂの関係は下記の式（３１）となる。

以上より、移動体２０の姿勢が^ｄｈＲ_ｂの時に、水平機体座標系（ＤＨ）において撮像装置２５に姿勢^ｄｈＲ_ｓを実現させるために必要な雲台２４の姿勢^ｄｂＲ_ｓは、下記の式（４３）を用いて求められる。

得られた^ｄｂＲ_ｓを、前述（Ａ）の算出方法でパン角、ティルト角、及びロール角に分解したうち、ティルト角及びロール角が、雲台２４の目標姿勢となる。

＜３．変形例＞
次いで、図１９～図２１を参照して、上記実施形態の変形例について説明する。上記実施形態では、移動体２０が、情報処理装置２２０を備えている。本開示に係る情報処理装置は、これに限らず、移動体の外部に設けられていてもよい。変形例では、情報処理装置が移動体の外部に設けられている場合について説明する。変形例に係る情報処理装置３４は、例えばユーザが所持する携帯端末等であってもよい。

図１９は、変形例に係る情報処理システム２の構成を示す図である。図２に示すように、情報処理システム２は、操縦装置１０、移動体３０、及び情報処理装置３４を備える。変形例では、操縦装置１０、移動体３０、及び情報処理装置３４が、互いにネットワーク３８を介して接続されている。また、操縦装置１０及び移動体３０は、ネットワーク３８を介さずに、互いに通信可能に接続されている。

なお、ネットワーク３８は、電話回線網、インターネット、衛星通信網などの公衆回線網や、ＬＡＮ（Ｌｏｃａｌ Ａｅｒａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３８は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

次いで、図２０を参照して、変形例に係る移動体３０の構成について説明する。図２０は、変形例に係る移動体２０の構成を示す機能ブロック図である。図２０に示すように、変形例に係る移動体３０には、情報処理装置が設けられていない。高度推定部２１１、位置推定部２１２、撮像装置２５、及び測距センサ２６が取得した情報は、通信制御部２１３に伝達される。通信制御部２１３は、必要に応じて、情報処理装置３４に生成させるために、ネットワーク３８を介して、移動体３０の移動を制御するための情報を情報処理装置３４に送信する。

また、移動体３０は、ネットワーク３８を介して、通信制御部２１３により機体２１又は雲台２４を制御するための情報を情報処理装置３４から受信し、当該情報を機体制御部２１４又は雲台制御部２１５に伝達する。これにより、機体２１及び雲台２４の位置又は姿勢が制御される。

次いで、図２１を参照して、変形例に係る情報処理装置３４の構成について説明する。図２１は、変形例に係る情報処理装置３４の構成を示す機能ブロック図である。情報処理装置３４は、図６に示した情報処理装置２２０と同様に、パラメータ生成部２２１、報告情報生成部２２２、記憶部２２５を備える。変形例に係る情報処理装置３４は、これらの機能部に加えて、通信制御部３４０を備える。情報処理装置３４は、必要に応じて通信制御部３４０により、移動体３０の運動に関わる情報を受信し、受信した情報に基づき、移動体３０の運動を制御するための情報を生成する。例えば、パラメータ生成部２２１は、機体２１又は雲台２４の位置又は姿勢を制御するための各種のパラメータを生成する。情報処理装置３４は、生成した情報を、通信制御部３４０により、ネットワーク３８を介して、操縦装置１０又は移動体３０に送信する。

＜４．ハードウェア構成例＞
続いて、図２２を参照しながら、本開示の一実施形態に係る情報処理システム１又は２を構成する処理装置１３、制御装置２７、３２、又は情報処理装置３４、２２０（以下、これらをまとめて「情報処理装置等」とも称する。）のハードウェア構成の一例について、詳細に説明する。図２２は、本開示の一実施形態に係る情報処理装置等のハードウェア構成の一構成例を示す機能ブロック図である。

本実施形態に係る情報処理装置等は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置等は、更に、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、ドライブ９１２と、接続ポート９１４と、通信装置９１６とを備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１０又はリムーバブル記録媒体９１３に記録された各種プログラムに従って、情報処理装置等内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０４により相互に接続されている。例えば、図３に示す高度推定部１３１、位置推定部１３２、距離計測部１３３、通信制御部１３４、指令生成部１３６、又はＵＩ制御部１３８は、ＣＰＵ９０１により構成され得る。また、図５又は図２０に示す高度推定部２１１、位置推定部２１２、通信制御部２１３、機体制御部２１４、又は雲台制御部２１５は、ＣＰＵ９０１により構成され得る。さらに、図６又は図２１に示すパラメータ生成部２２１、又は報告情報生成部２２２は、ＣＰＵ９０１により構成され得る。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０６に接続されている。また、外部バス９０６には、インタフェース９０７を介して、入力装置９０８、出力装置９０９、ストレージ装置９１０、ドライブ９１２、接続ポート９１４及び通信装置９１６が接続される。

入力装置９０８は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９０８は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置等の操作に対応した携帯電話やＰＤＡ等の外部接続機器９１５であってもよい。さらに、入力装置９０８は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置等のユーザは、この入力装置９０８を操作することにより、情報処理装置等に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０９は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０９は、例えば、情報処理装置等が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置等が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。

ストレージ装置９１０は、情報処理装置等の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１０は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。例えば、図３に示す記憶部１３７、図６に示す記憶部２２５、又は図２１に示す記憶部２２５等は、ストレージ装置９１０により構成され得る。

ドライブ９１２は、記録媒体用リーダライタであり、情報処理装置等に内蔵、あるいは外付けされる。ドライブ９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９１３に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９１３に記録を書き込むことも可能である。リムーバブル記録媒体９１３は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９１３は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９１３は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。

接続ポート９１４は、情報処理装置等に直接接続するためのポートである。接続ポート９１４の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９１４の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９１４に外部接続機器９１５を接続することで、情報処理装置等は、外部接続機器９１５から直接各種のデータを取得したり、外部接続機器９１５に各種のデータを提供したりする。

通信装置９１６は、例えば、通信網（ネットワーク）９１７に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９１６は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１６は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１６は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９１６に接続される通信網９１７は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

以上、本開示の一実施形態に係る情報処理システム１を構成する情報処理装置等の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図２２では図示しないが、情報処理システム１又は２を構成する情報処理装置等に対応する各種の構成を当然備える。

なお、上述のような本実施形態に係る情報処理システム１又は２を構成する情報処理装置等の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。

＜５．補足＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

操縦装置１０の表示部１６は、移動体２０の位置を操縦装置１０の移動量に同期動作させる前に移動比率や、移動比率の算出に使用された値を表示してもよい。これにより、同期動作の開始をするか否かを操縦者に判断させても良い。

また、雲台２４の軸構成は上記実施形態の構成に限ったものではなく、例えばパン軸が省略されても良い。

また、操縦装置１０の表示部１６の中心又は入出力部１８の中心は、自己位置や注視点方向の距離を計測するステレオカメラ１４等のセンサの光軸と合わせられていてもよい。これにより、操縦者には、操縦装置１０の動きに対する撮像装置２５の表示がより自然な動きに見えるようになり、本開示の技術の効果がより高められる。

また、上記実施形態の第１の処理例では、第１の距離及び第２の距離を対地高度（地面を基準とした高度）としたが、これに限定されない。第１の距離及び第２の距離は、地面以外のあらゆる場所を基準とした高度であってもよい。

また、操縦装置１０の構成は上記実施形態の例に限らず、タブレットであってもよいし、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であってもよい。

また、第１及び第２の注視点が設定される対象は、上記実施形態で説明された例に限られない。例えば、撮像対象が盆地であり、代替対象を水たまりとしてもよい。

また、上記実施形態の第１の処理例では、第１の距離は、計測された操縦装置１０の対地高度であるが、これに限らず、第１の距離は、予め設定されていてもよい。例えば、第１の距離は、操縦者の身長などに設定されていてもよい。

また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
移動体の移動の基準となる基準体から第１の位置までの第１の距離と前記移動体から第２の位置までの第２の距離との比率、及び前記基準体の移動に基づき、前記移動体の移動を制御するための移動パラメータを生成するパラメータ生成部を、備える、
情報処理装置。
（２）
前記パラメータ生成部は、前記比率と前記基準体の移動量とを乗じて、前記移動パラメータとして前記移動体の移動量を生成する、
前記（１）に記載の情報処理装置。
（３）
前記第１の距離は、前記基準体の高度であり、
前記第２の距離は、前記移動体の高度である、
前記（１）又は（２）に記載の情報処理装置。
（４）
前記第１の位置は、前記基準体が備える第１の撮像装置の視野に含まれる第１の注視点であり、
前記第２の位置は、前記移動体が備える第２の撮像装置の視野に含まれる第２の注視点である、
前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）
前記第２の注視点は、前記第２の撮像装置により撮像された撮像対象に含まれ、
前記第１の注視点は、前記撮像対象の代替となる対象である代替対象に含まれる、
前記（４）に記載の情報処理装置。
（６）
前記第１の撮像装置が前記第１の注視点を見る方向と、前記第２の撮像装置が前記第２の注視点を見る方向と、が一致する、
前記（５）に記載の情報処理装置。
（７）
前記パラメータ生成部は、前記基準体の姿勢に応じた姿勢を前記移動体に実現させるための、第１の姿勢パラメータを生成する、
前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
前記移動体は、風景を撮像するための第３の撮像装置を備える、
前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
前記移動体は、前記第３の撮像装置を搭載した雲台を備え、
前記パラメータ生成部は、前記雲台に前記基準体の姿勢に応じた姿勢を実現させるための第２の姿勢パラメータを生成する、
前記（８）に記載の情報処理装置。
（１０）
前記移動体は、飛行体である、
前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１１）
前記移動パラメータに基づき、前記移動体の移動を制御する移動体制御部を、更に備える、
前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記基準体は、第１の距離取得部を備え、
前記第１の距離は、前記第１の距離取得部により取得された距離である、
前記（１）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記移動体は、第２の距離取得部を備え、
前記第２の距離は、前記第２の距離取得部により計測された距離である、
前記（１）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記基準体と前記移動体とは、互いに離れた場所に位置し、互いに通信可能に接続される、
前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記基準体は、ユーザにより持ち運ばれることにより移動する、
前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
プロセッサが、
移動体の移動の基準となる基準体から第１の位置までの第１の距離と前記移動体から第２の位置までの第２の距離との比率、及び前記基準体の移動に基づき、前記移動体の移動を制御するための移動パラメータを生成すること、を含む、
情報処理方法。
（１７）
コンピュータに、
移動体の移動の基準となる基準体から第１の位置までの第１の距離と前記移動体から第２の位置までの第２の距離との比率、及び前記基準体の移動に基づき、前記移動体の移動を制御するための移動パラメータを生成する機能、
を実現させるためのプログラム。

１０ 操縦装置
１２ 筐体
１３ 処理装置
１３１ 高度推定部
１３２ 位置推定部
１３３ 距離計測部
１３４ 通信制御部
１３５ 指令処理部
１３６ 指令生成部
１３７ 記憶部
１３８ ＵＩ制御部
１４ ステレオカメラ
１６ 表示部
１８ 入出力部
２０ 移動体
２１ 機体
２２ａ、２２ｂ プロペラ
２３ ステレオカメラ
２４ 雲台
２５ 撮像装置
２６ 測距センサ
２７ 制御装置
２１１ 高度推定部
２１２ 位置推定部
２１３ 通信制御部
２１４ 機体制御部
２１５ 雲台制御部
２２０ 情報処理装置
２２１ パラメータ生成部
２２２ 報告情報生成部
２２５ 記憶部
２８ プロペラ駆動部
２９ 雲台駆動部
３０ 移動体
４１２ 相対移動量
５１３ 相対移動量
６００ 撮像対象
７０８ 第２の注視点
７１０ 代替対象
７２０ 第１の注視点

Claims (16)

1. 移動体の移動の基準となる基準体から第１の位置までの第１の距離と前記移動体から第２の位置までの第２の距離との比率、及び前記基準体の移動に基づき、前記移動体の移動を制御するための移動パラメータを生成するパラメータ生成部を、備え、
   前記第１の位置は、前記基準体が備える第１の撮像装置の視野に含まれる第１の注視点であり、
   前記第２の位置は、前記移動体が備える第２の撮像装置の視野に含まれる第２の注視点である、
   情報処理装置。
2. 前記パラメータ生成部は、前記比率と前記基準体の移動量とを乗じて、前記移動パラメータとして前記移動体の移動量を生成する、
   請求項１に記載の情報処理装置。
3. 前記第１の距離は、前記基準体の高度であり、
   前記第２の距離は、前記移動体の高度である、
   請求項１に記載の情報処理装置。
4. 前記第２の注視点は、前記第２の撮像装置により撮像された撮像対象に含まれ、
   前記第１の注視点は、前記撮像対象の代替となる対象である代替対象に含まれる、
   請求項１に記載の情報処理装置。
5. 前記第１の撮像装置が前記第１の注視点を見る方向と、前記第２の撮像装置が前記第２の注視点を見る方向と、が一致する、
   請求項４に記載の情報処理装置。
6. 前記パラメータ生成部は、前記基準体の姿勢に応じた姿勢を前記移動体に実現させるための、第１の姿勢パラメータを生成する、
   請求項１に記載の情報処理装置。
7. 前記移動体は、風景を撮像するための第３の撮像装置を備える、
   請求項１に記載の情報処理装置。
8. 前記移動体は、前記第３の撮像装置を搭載した雲台を備え、
   前記パラメータ生成部は、前記雲台に前記基準体の姿勢に応じた姿勢を実現させるための第２の姿勢パラメータを生成する、
   請求項７に記載の情報処理装置。
9. 前記移動体は、飛行体である、
   請求項１に記載の情報処理装置。
10. 前記移動パラメータに基づき、前記移動体の移動を制御する移動体制御部を、更に備える、
    請求項１に記載の情報処理装置。
11. 前記基準体は、第１の距離取得部を備え、
    前記第１の距離は、前記第１の距離取得部により取得された距離である、
    請求項１に記載の情報処理装置。
12. 前記移動体は、第２の距離取得部を備え、
    前記第２の距離は、前記第２の距離取得部により計測された距離である、
    請求項１に記載の情報処理装置。
13. 前記基準体と前記移動体とは、互いに離れた場所に位置し、互いに通信可能に接続される、
    請求項１に記載の情報処理装置。
14. 前記基準体は、ユーザにより持ち運ばれることにより移動する、
    請求項１に記載の情報処理装置。
15. プロセッサが、
    移動体の移動の基準となる基準体から第１の位置までの第１の距離と前記移動体から第２の位置までの第２の距離との比率、及び前記基準体の移動に基づき、前記移動体の移動を制御するための移動パラメータを生成すること、を含み、
    前記第１の位置は、前記基準体が備える第１の撮像装置の視野に含まれる第１の注視点であり、
    前記第２の位置は、前記移動体が備える第２の撮像装置の視野に含まれる第２の注視点である、
    情報処理方法。
16. コンピュータに、
    移動体の移動の基準となる基準体から第１の位置までの第１の距離と前記移動体から第２の位置までの第２の距離との比率、及び前記基準体の移動に基づき、前記移動体の移動を制御するための移動パラメータを生成する機能、
    を実現させるためのプログラムであって、
    前記第１の位置は、前記基準体が備える第１の撮像装置の視野に含まれる第１の注視点であり、
    前記第２の位置は、前記移動体が備える第２の撮像装置の視野に含まれる第２の注視点である、
    プログラム。

Images