JP6911762B2 - 飛行装置、移動装置およびプログラム - Google Patents

Description

本発明は、飛行装置、移動装置およびプログラムに関する。

従来、カメラを搭載した無人飛行機が知られている（例えば、特許文献１参照）。無人飛行機は、ヘリコプター、クアッドリコプター（quadricopter：４翼ヘリコプター）等の回転翼を備え、その無人飛行機が向けられるシーンの画像を捕捉する前方カメラ、及び無人飛行機がその上空を飛行している地形の画像を捕捉する垂直方向のカメラが設けられている。しかしながら、無人飛行機が競技のプレイヤーを支援する構成については記載が無い。

日本国特開２０１２−６５８７号公報

本発明の第１の態様によると、飛行装置は、競技を撮像した画像データを取得する取得部と、前記画像データに基づいて、前記競技で使用される移動体が移動する経路を予測する制御部と、前記取得部を保持し、前記制御部が予測した経路に基づいて飛行する飛行部と、を備える。
本発明の第２の態様によると、飛行装置を制御するプログラムであって、競技を撮像した画像データを取得する取得処理と、前記画像データに基づいて、前記競技で使用される移動体が移動する経路を予測する制御処理と、前記制御処理で予測した経路に基づいて飛行する飛行処理と、をコンピュータに実行させる。
本発明の第３の態様によると、移動装置は、競技を撮像した画像データを取得する取得部と、前記画像データに基づいて、前記競技で使用される移動体が移動する経路を予測する制御部と、前記取得部を保持し、前記制御部が予測した経路に基づいて移動する移動部と、を備える。

図１は、支援システムの概略構成を示すブロック図である。 図２は、ドローンの外観を示す模式図である。 図３は、落下位置を報知する支援動作を説明するフローチャートである。 図４は、所定位置を説明する図である。 図５は、ドローンの飛行コースの一例を示す図である。 図６は、ショット方向アドバイスの際のドローンの配置の一例を示す模式図である。 図７は、アドバイス処理の一例を示すフローチャートである。 図８は、ゴルフクラブをアドバイスする支援動作を説明するフローチャートである。 図９は、把持装置を示す図である。 図１０は、ドローン、携帯端末、通信ネットワークで支援システムを構成する場合の図である。 図１１は、ドローン、携帯端末、サーバ、通信ネットワークで支援システムを構成する他の例を示す図である。 図１２は、携帯端末に表示される表示用画像を説明する図である。 図１３は、カートを説明する図である。 図１４は、所定位置の他の例を説明する図である。

以下、図を参照して本発明を実施するための形態について説明する。
−第１の実施の形態−
図１は、本発明の一実施の形態を示す図であり、飛行装置である無人飛行機１１を用いた支援システムの概略構成を示すブロック図である。支援システム１は、無人飛行機１１と、携帯端末１２と、サーバ１３を有する。無人飛行機１１と、携帯端末１２と、サーバ１３は、通信ネットワーク１４に接続される。無人飛行機１１は自律的飛行が可能な自律型無人飛行機であって、例えばドローンとも呼ばれる自律型マルチコプター等が使用される。以下では、この無人飛行機１１のことをドローン１１と称することにする。

ドローン１１は、複数のプロペラを有するマルチコプターである。ドローン１１は、複数のプロペラを有する飛行部１１１、飛行部１１１を制御する飛行制御部１１２、カメラ１１３、カメラ制御部１１４、ＧＰＳ(Global Positioning System）受信機１１５、通信部１１６、ドローン１１の全体を制御する制御部１１７等を備えている。

飛行制御部１１２は、飛行部１１１に設けられた複数のプロペラを周知の航法姿勢制御システムにより各々独立に制御する。カメラ１１３はＣＣＤ撮像素子等の電子撮像素子を備えたカメラであり、静止画および動画を撮像することができる。カメラ１１３はズーミング、オートフォーカス、自動露出の各制御が可能である。また、カメラ１１３はジンバル（回転台）に搭載され、ドローン本体に対して視野方向を上下左右に変更可能である。カメラ１１３はカメラ制御部１１４によって制御され、撮像データは通信部１１６から送信され、通信ネットワーク１４を介して携帯端末１２又はサーバ１３に送られる。

ＧＰＳ受信機１１５はＧＰＳ衛星から送出される信号を受信し、ドローン１１の絶対位置を検出する。その絶対位置情報は通信部１１６から携帯端末１２又はサーバ１３へ送信される。制御部１１７は、不図示のマイクロプロセッサおよびメモリを含む周辺回路から構成され、所定の制御プログラムを実行することによりドローン１１の各部を制御する。

携帯端末１２は表示部１２１、通信部１２２、ＧＰＳ受信機１２３等を備えている。通信部１２２によりドローン１１又はサーバ１３との間でデータの送受信を行うことができる。ＧＰＳ受信機１２３はＧＰＳ衛星から送出される信号を受信し、携帯端末１２の絶対位置を検出する。その絶対位置情報（以下では、ＧＰＳ位置情報と称する）は通信部１２２からドローン１１又はサーバ１３へ送信される。表示部１２１には種々の情報が表示される。例えば、コース情報や、打球の落下位置や、飛距離や、アドバイス情報などが表示される。

サーバ１３は、通信部１３１、演算部１３２、データベース１３３、制御部１３４等を備えている。通信部１３１は通信ネットワーク１４を介して、種々のデータをドローン１１又は携帯端末１２との間で送受信する。演算部１３２は、通信部１３１から受信した種々のデータに基づいて、種々の演算を行う。例えば、ドローン１１の飛行目標位置の演算や、カメラ１１３で撮像された画像の解析や、携帯端末１２の表示部１２１に表示される各種情報の演算などを行う。

制御部１３４は、不図示のマイクロプロセッサおよびメモリを含む周辺回路から構成され、所定の制御プログラムを実行する。例えば、制御部１３４は、演算部１３２における画像解析結果に基づいて、ドローン１１に対する飛行指令情報を生成する。その飛行指令情報は、通信部１３１からドローン１１へ送信される。データベース１３３には、支援動作に必要なデータが記憶されている。図１に示す例では、ゴルフ支援に関するコースデータ１３３ａ、プレイヤーデータ１３３ｂが記憶されている。競技はゴルフを例に説明する。

図２は、ドローン１１の外観を示す模式図である。ドローン１１は、４つのプロペラ４１を有するマルチコプターである。４つのプロペラ４１は、同一平面上に設けられる。４つのプロペラ４１は、周知の航法姿勢制御システムにより、各々が独立して制御される。この制御によって、ドローン１１は、ピッチ軸１０２を中心として旋回したり、ロール軸１０３を中心として旋回したり、ヨー軸１０４を中心として回転したり、下方向１００または上方向１０１に並進したり、空中の所定位置でホバリングしたりすることができる。

ドローン１１は、４つのプロペラ４１の周囲を保護する筐体４０を有する。筐体４０によって、プロペラ４１は、水平方向から接近した周囲の障害物に直接接触しないよう保護される。ドローン１１の下面には、カメラ１１３が設けられている。カメラ１１３は、カメラ１１３の姿勢を自由に変えることができるジンバル４２に搭載されている。

本実施の形態では、図１に示した支援システムの適用例として、ゴルフプレイの支援システムとして用いた場合について説明する。データベース１３３のコースデータ１３３ａには、例えば、(D1)コース長、基準打数、(D2)コース位置情報、(D3)推奨クラブ（男性用、女性用）、(D4)コース戦略情報、(D5)コースレイアウトが、ホール毎に記憶されている。

コース位置情報とは、コースの三次元位置情報であり、例えば、ティーグランドの位置情報（緯度経度）、グリーンの位置情報（緯度経度）、ＯＢの位置情報（緯度経度）、危険箇所位置情報などが含まれている。推奨クラブは基準打数の各打毎の推奨のクラブを示すものであり、それぞれ男性用および女性用に区別されて登録されている。コース戦略情報は、基準打数の各打毎に、打つべき打球の方向および飛距離であり、上級者用、中級者用および初級者用とプレイヤーのレベル（評価値）に応じたデータが記憶されている。コースレイアウトとは、例えば、携帯端末１２の表示部１２１等に表示するための表示用画像データであり、コース全体の平面画像上にティーグラウンドやグリーンやバンカーやＯＢ領域などが表示される。

また、プレイヤーデータ１３３ｂには、例えば、プレイヤーの性別、プレイヤーのレベル情報（上級、中級、初球）、プレイヤーがプレイで使用するゴルフクラブの種類、当日のプレイヤーの外見上の特徴などが記憶されている。

なお、プレイヤーの外見上の特徴は、ドローン１１のカメラ１１３で撮像した画像にそのプレイヤーが存在するか否かを判断する際のテンプレートとして使用するデータである。例えば、プレイ当日に予めプレイヤーの画像を撮影しておき、その画像を画像解析することでテンプレートを作成して記憶させておく。また、ドローン１１のカメラ１１３によりプレイヤーの画像を撮像して、その画像に基づいてテンプレートを作成しても良い。

（支援動作の説明）
次に、支援動作を、具体例を用いて説明する。ここでは、パーティはプレイヤーＡとプレイヤーＢの２名から構成され、２台のドローン１１（１１ａ，１１ｂ）が使用される場合を例に説明する。ここでは、プレイヤーＡの支援はドローン１１ａが行い、プレイヤーＢの支援はドローン１１ｂが行うものとする。ただし、支援を行うドローン１１の数は１台であっても良いし、３台以上であっても良く、支援の内容に応じてドローン１１の数を適宜設定すれば良い。また、プレイヤーＡは携帯端末１２ａを保持し、プレイヤーＢは携帯端末１２ｂを保持している。

以下では、ドローン１１ａ，１１ｂが行う支援動作として、打球の落下位置をプレイヤーＡ，Ｂに教える支援動作について説明する。なお、プレイヤーＡ，Ｂに対する支援動作は同様の動作となるので、ここではプレイヤーＡを例に説明する。

打球の落下位置を教える支援動作では、プレイヤーＡのショットした打球の落下位置を探し、落下位置をプレイヤーＡに報知する。図３のフローチャートは、落下位置をプレイヤーＡに教える支援動作において、サーバ１３の制御部１３４が行う処理の一例を示したものである。また、落下位置は、打球が停止した停止位置でもある。

制御部１３４は、ドローン１１ａからの始動信号を受信するとスタートする。ドローン１１ａに設けられた不図示の電源スイッチがプレイヤーＡによってオンされると、ドローン１１ａの電源が投入され、ドローン１１ａの通信部１１６から上記始動信号が送信される。

ステップＳ１００において、制御部１３４は、始動信号をプレイヤーＡの携帯端末１２ａに送信する。携帯端末１２ａは始動信号を受信すると、プレイヤーＡを支援するドローン１１ａが動作開始したことを報知する。報知形態としては、例えば、携帯端末１２ａの表示装置に「ドローン１１ａが動作開始しました」のような文字表示を行う。

ステップＳ１１０において、制御部１３４は、所定位置Ｐ１にドローン１１ａを待機させるための待機用飛行指令情報をドローン１１ａに送信する。ドローン１１ａの飛行制御部１１２は、サーバ１３から送信される待機用飛行指令情報に基づいて、ドローン１１ａを所定位置Ｐ１においてホバリング飛行させる。

ここで、所定位置Ｐ１とは、プレイヤーＡがショットを行った際に打球方向を認識しやすい画像が撮像できる位置である。例えば、図４（ａ）に示すように、プレイヤーＡ又はゴルフボールＧＢの上空に所定位置Ｐ１定める。所定位置Ｐ１からは、ショット方向とプレイヤーＡとゴルフボールＧＢとを画面内に納めることができる。

図４（ｂ）は、所定位置Ｐ１から撮像した場合の画像例を示したものである。矢印Ｒは推奨ショット方向を示しているが、実際のショット方向は必ずしも推奨ショット方向Ｒとはならず、破線矢印で示すように推奨ショット方向Ｒの左右（図示上下）にずれる場合がある。そのため、ショット方向に対して余裕のある範囲が撮像できるように、カメラ１１３を制御するのが望ましい。このようにプレイヤーＡを俯瞰的に眺める所定位置Ｐ１から撮像することで、ゴルフボールＧＢの移動を二次元的に撮像できる。ゴルフボールＧＢの水平方向の移動を撮像された画像から認識できる。ゴルフボールＧＢを追尾する際のジンバル４２の駆動量を小さく抑えることができ、ゴルフボールＧＢの落下位置を認識しやすい。

また、図１４に示すように、プレイヤーＡと推奨ショット方向Ｒの延長線Ｌ１上の近くであって、プレイヤーＡの斜め後方に所定位置Ｐ１を定めても良い。図１４（ａ）は平面図であって、図１４（ｂ）はＲ１方向から見た図である。その所定位置Ｐ１からはショット方向とプレイヤーＡとゴルフボールＧＢとを画面内に納めることができる。

さらに、所定位置として、図１４（ｂ）の符号Ｐ１１で示すティーグランド前方の所定高さ位置としても良い。さらには、プレイヤーＡの性別やレベル、その日の調子等に基づいて打球の方向および飛距離を予測し、予測される落下位置の上空から、ティーグラウンド上のプレイヤーＡをカメラ１１３で撮像するようにしても良い。この場合、ドローン１１ａを落下予測位置の上空（例えば、後述する図５に記載の位置Ｐ３，Ｐ４など）まで予め移動させておく。

所定位置Ｐ１は、携帯端末１２ａから送信されるＧＰＳ位置情報に基づいて決定されても良いし、カメラ１１３で撮像した画像に基づいて決定しても良い。ＧＰＳ位置情報に基づく場合、例えば、サーバ１３の演算部１３２は、プレイヤーＡが位置するティーグラウンドを携帯端末１２ａからのＧＰＳ位置情報とコースデータ１３３ａのコース位置情報とに基づいて特定する。ドローン１１ａの待機位置を、特定されたプレイヤーＡの位置から所定の高さ位置Ｐ１に設定する。高さ位置Ｐ１は、カメラ１１３の画角に基づいて、プレイヤーＡとゴルフボールＧＢとショット方向を画面内に納めることができるように設定される。プレイヤーＡの身長に基づいて、危険でない高さ位置Ｐ１に設定しても良い。

画像に基づいてドローン１１ａの待機位置として所定位置Ｐ１を決定する場合、プレイヤーＡの位置情報（携帯端末１２ａからのＧＰＳ位置情報）に基づいてプレイヤーＡとゴルフボールＧＢとを撮像できる位置、例えば、プレイヤーＡから所定距離離れた位置でプレイヤーＡとゴルフボールＧＢとが画角に入る位置を、所定位置Ｐ１とする。この場合、プレイヤーＡとカメラ１１３との間に障害物がないように設定される。また、図１４に示す例の場合、ショット時のプレイヤーＡの足の配置からショット方向を予測して、カメラ１１３の光軸方向を決定しても良い。

サーバ１３は、プレイヤーＡの携帯端末１２ａからのＧＰＳ位置情報とデータベース１３３のコースデータ１３３ａに基づいて、プレイヤーＡが何番ホールのどの位置にいるかを認識することができる。例えば、プレイヤーＡの位置がティーグラウンドであると認識した場合は、次のようにしてドローン１１ａの待機位置を算出することができる。ティーショット（第１打）のショット方向はホール毎にデータベース１３３のコースデータ１３３ａに記憶されている。サーバ１３は、コースデータ１３３ａに記憶されているショット方向に基づいて所定位置Ｐ１を算出し、待機用飛行指令情報としてドローン１１ａへ送信する。その結果、ドローン１１ａは、所定位置Ｐ１でホバリング飛行して待機する。

コースデータ１３３ａに記憶されているショット方向のデータは、ティーショット（第１打）のみについて記憶されている。そのため、第２打以後のショット方向としては、例えば、ゴルフボールとグリーン上のポールとを結ぶ線の方向をショット方向とみなして、所定位置Ｐ１を決定するようにしても良い。

ステップＳ１２０において、制御部１３４は、画像情報（動画情報）に基づいてゴルフボールがティーアップされ、ゴルフクラブが振り上げられたと判断すると、ティーアップされているゴルフボールの画像を抽出する。サーバ１３は、このゴルフボールを追尾対象のテンプレート画像として記憶する。カメラ１１３の画角が広角すぎるとゴルフボールが小さくなり追尾しづらいので、カメラ制御部１１４は、画面内のゴルフボールの大きさが適度な大きさとなるような画角にカメラ１１３を制御する。

ゴルフクラブが振り下ろされてゴルフボールの位置が変化する、つまりゴルフボールが第一位置から第二位置へ移動すると、カメラ１１３は撮像画像の中に含まれるテンプレート画像と類似する被写体を追尾する。第一位置、第二位置とは、ショット後のゴルフボールの任意の位置である。カメラ１１３は、異なる時刻にゴルフボールを撮像し（例えば、動画で撮像する。）、異なる時刻に撮像された撮像画像の中に含まれるゴルフボールを抽出し、ショット後のゴルフボールの位置の変化、つまり第一位置から第二位置へのゴルフボールの移動を認識することで追尾する。サーバ１３の演算部１３２は、ドローン１１ａからの画像データに基づいて打球方向や打球軌道（打球軌跡）の演算を行い、それに基づいて打球をカメラの視野内に納めるためのジンバル制御量やカメラ１１３のズーム量等のカメラ制御情報の演算を行う。つまり、第二位置へ移動した以降のゴルフボールをカメラの視野内に納めるためのカメラ制御情報の演算を行う。第二位置へ移動した以降のゴルフボールは、移動を続けていても良いし、停止していても良い。演算されたカメラ制御情報は、サーバ１３からドローン１１ａに送信される。カメラ制御情報は、カメラ１１３の画角を変更する情報を含む。

すなわち、ステップＳ１３０では、サーバ１３の制御部１３４は、カメラ制御情報を出力し、打球（ショットされたゴルフボール）がカメラ１１３の撮像画面から外れないように、カメラ１１３の撮像方向（撮影角度、画角）およびズーム（画角）を調整する。また、打球（ショットされたゴルフボール）がカメラ１１３の撮像画面から外れないように、飛行部１１１を制御し移動し、カメラ１１３で撮影しながら移動（移動飛行）してもよい。演算部１３２は、カメラ１１３で撮像された画像に基づいて、落下位置７０に打球ＧＢが停止したことを検出することができる。

ステップＳ１４０では、制御部１３４は、打球ＧＢが停止した落下位置７０（図５参照）の上空の位置Ｐ３にドローン１１ａを誘導する。図５は、ドローン１１ａの飛行コースの一例を示す図である。図５において、ドローン１１ａは、プレイヤーＡのショットの際には所定位置Ｐ１にてホバリング飛行を行う。プレイヤーＡがショットを行ったならば、サーバ１３からのカメラ制御情報に基づいて、カメラ１１３により打球を追尾する。打球が落下したことを検出すると、サーバ１３の制御部１３４はドローン１１ａを打球（ゴルフボールと同じ符号ＧＢで示す）ＧＢの落下位置７０の上空の位置Ｐ３まで飛行させる。また、図１４のようにプレイヤー後方に所定位置Ｐ１を設定した場合には、その所定位置Ｐ１から飛行経路Ｆ１のように位置Ｐ２に上昇させた後に、位置Ｐ３に移動させる。

最終的な位置Ｐ３に移動させる方法としては、例えば、カメラ１１３の光軸が徐々に鉛直下方向に向かうようにジンバル４２（図２等参照）を制御しつつ、画像の中央に打球ＧＢが来るようにドローン１１ａの飛行目標位置を制御する。そのような制御により、カメラ１１３の光軸が鉛直下方向となったときに、ドローン１１ａは、落下位置７０に停止している打球ＧＢのほぼ真上（符号Ｐ３で示す位置）に位置することになる。

そして、ドローン１１ａの位置が打球ＧＢのほぼ真上（位置Ｐ３）となったならば、制御部１３４は、ドローン１１ａをティーグラウンドＴＧのプレイヤーＡから視認しやすい飛行目標位置Ｐ４に降下させ、そこでホバリング飛行させる。ティーグラウンド上のプレイヤーＡは、コース上空にホバリング飛行しているドローン１１ａを観察することにより、どの程度の距離のどの位置に打球ＧＢが落下したのかを容易に認識することができる。なお、ドローン１１ａの位置が打球ＧＢのほぼ真上となるよう制御することを説明したが、それに限らない。プレイヤーＡがどの程度の距離のどの位置に打球ＧＢが落下したのかを認識できる位置や、カメラ１１３が停止している打球ＧＢを撮像できる位置でもよい。

サーバ１３の演算部１３２は、ドローン１１ａからのＧＰＳ位置情報から落下位置７０の緯度・経度および飛距離を演算する。ステップＳ１５０では、制御部１３４は、表示用画像のデータをプレイヤーＡの携帯端末１２ａへ送信する。携帯端末１２ａは、携帯端末１２ａの表示部１２１に上記表示用画像を表示する。ここでの表示用画像は、例えば、図１２に示すように、データベース１３３のコースデータ１３３ａに記憶されているコースレイアウト画面ＬＡ上に、落下位置７０を表すマークＭおよび飛距離Ｄを重畳表示したものである。プレイヤーＡは、コース上空にホバリングしているドローン１１ａと携帯端末１２ａに表示された表示画像とから、打球ＧＢの落下位置７０をより詳しく知ることができる。上記表示用画像は、停止している打球ＧＢをカメラ１１３が撮像した画像でもよい。プレイヤーＡは、このような表示用画像から、打球ＧＢの落下位置の様子を知ることができる。落下位置の様子とは、例えば、背が高い草の中である、ＯＢである、池に落ちた、林の中である、木に引っかかった、等があげられる。このような落下位置の場合、停止している打球ＧＢが木や池等の障害物に隠れてカメラ１１３が撮像できない場合がある。その場合は、停止している打球ＧＢの位置を撮像すればよい。つまり、停止している打球ＧＢの落下位置の様子が分かれば、打球ＧＢは必ずしも画像に映ってなくてもよい。

なお、表示用画像のデータ送信は、プレイヤーＡの携帯端末１２ａだけでなくプレイヤーＢの携帯端末１２ｂに対しても行うようにしても良い。また、サーバ１３がドローン１１ａからのＧＰＳ位置情報を受信した後は、携帯端末１２ａの表示部１２１に上記表示用画面が表示されるので、落下位置上空の飛行目標位置Ｐ４にホバリングしているドローン１１ａを、プレイヤーＡの所に戻すようにしても良い。例えば、パーティに１台のドローン１１が割り当てられていた場合、以下のようにして１台のドローン１１を運用すれば良い。落下位置７０の上空の位置Ｐ３で打球ＧＢの画像を取得したならば、ドローン１１をティーグラウンドに戻し、次のプレイヤーＢに対しても（次のプレイヤーＢが打つボールに対しても）、図５に示すような一連の動作をドローン１１に行わせる。

次いで、プレイヤーＢのティーショットが行われる。プレイヤーＢに割り当てられたドローン１１ｂに関しても、プレイヤーＡのドローン１１ａと同様の動作が行われる。プレイヤーＢのティーショットが終わると、プレイヤーＡおよびプレイヤーＢは、それぞれの打球落下位置へ移動する。サーバ１３は、携帯端末１２ａから受信したＧＰＳ位置情報によりプレイヤーＡの打球落下位置への移動を認識することができる。また、ドローン１１ａのカメラ１１３はプレイヤーＡを撮像しているので、ドローン１１ａから送信される画像からもプレイヤーＡの打球落下位置への移動を認識することができる。

制御部１３４は、プレイヤーＡが落下位置７０の方向へ移動するのを認識したならば、ドローン１１ａを落下位置７０の方向へ移動させる。この際、ドローン１１ａをプレイヤーＡの移動速度とは関係なく落下位置７０へ移動させても良いし、プレイヤーＡを落下位置７０に案内するように落下位置７０方向へ飛行させても良い。

なお、ドローン１１ａを落下位置７０の上空にホバリングさせた状態に制御した場合においては、ホバリング状態を維持する。カメラ１１３については、打球ＧＢを撮像する状態を維持しても良いし、落下位置７０に近づくプレイヤーＡを撮像するようにしても良い。

ステップＳ１６０では、制御部１３４は、落下地点の上空に到達したドローン１１ａから送信されるＧＰＳ位置情報と、データベース１３３のコースデータ１３３ａに記憶されているコースレイアウト情報とから、落下位置７０がグリーン上にあるか否かを判定する。ステップＳ１６０においてグリーン上（ｙｅｓ）と判定された場合には、ステップＳ１７０へ進んでグリーン対応の処理を開始する。

ここで、グリーン対応の処理とは、グリーン上ではゴルフボールに対してパッティングを行うので、パッティングに対応した支援動作が行われる。本実施の形態では、グリーン対応の処理についての詳細説明は省略する。

ステップＳ１７０の処理を実行したならば、図３に示すフローチャートの処理を終了する。一方、ステップＳ１６０において落下位置７０がグリーン上ではない（ｎｏ）と判定されると、ステップＳ１１０へ戻り、第２打に関して上述したティーショット（第１打）の場合と同様の支援動作を行う。

以上のように、カメラを搭載したドローン１１を、画像情報を分析して算出される飛行目標位置へ飛行させることで、上述したようなゴルフボールの落下位置をプレイヤーＡに報知することができる。その結果、プレイヤーは円滑なプレイ進行を行うことができる。このようなドローン１１ａを用いることで、ゴルフプレイの際にキャディを不要とすることが可能となる。

（第１実施形態の変形例１）
ゴルフボールＧＢの落下位置の表示を、プレイヤーの携帯端末１２の表示部１２１に表示するようにしたが、図１３に示すように、カート（例えば、電動カート）２２０に搭載した表示装置２２１に表示するようにしても良い。図１３（ａ）はカートの側面図であり、カート２２０の運転席の前方に表示装置２２１が設けられている。図１３（ｂ）は、表示装置２２１の表示例を示す図である。画面上にはコースレイアウトＬＡが表示され、コースレイアウトＬＡ上に落下位置を示すマーク（黒丸で示したゴルフボールＧＢ）を表示する。このように、落下位置の報知をドローン１１のホバリング位置を視認するだけでなく、携帯端末１２等に落下位置を表示することで、プレイヤーは落下位置をより詳細に認識することができる。

また、ティーショットが終わってプレイヤーＡ，Ｂが落下位置に移動する際に、プレイヤーＡ，Ｂを乗せたカート２２０を落下位置に自動運転させるようにしても良い。制御部１３４は、落下位置上空でホバリングにているドローン１１ａ，１１ｂのＧＰＳ位置情報に基づいて、カート２２０を各落下位置に誘導する。

（第１実施形態の変形例２）
上述した実施の形態では、プレイヤーに落下位置７０を報知する形態として、携帯端末１２の表示部１２１に落下位置７０を表すマークをコースレイアウト画面上に重畳表示した。変形例２では、落下位置７０のコース状況が詳細に分かるように、ゴルフボールをズームアップした画像を携帯端末１２の表示部１２１や、カート２２０の表示装置２２１に表示するようにしても良い。落下位置７０のゴルフボールＧＢを、側方や、斜め上方からズームアップした画像を表示することで、ゴルフボールＧＢがラフに落下した場合や池の縁近辺に落下した場合の詳細な状況や、落下位置の地面の傾斜状況などをプレイヤーは知ることができ、次の行動の判断をすることができる。

（第１実施形態の変形例３）
なお、ショットの際にプレイヤーの位置からグリーンが見えない場合、どの方向に打つべきか判断できない場合がある。この場合、ショット位置からグリーンまでの全体が画像に入るようにドローン１１の位置を移動させて撮像し、携帯端末１２の表示部１２１やカート２２０の表示装置２２１にその画像を表示させるようにしても良い。この場合、プレイヤーが携帯端末１２を操作して指示しても良いし、サーバ１３が指示しても良い。

（第１実施形態の変形例４）
上述した実施の形態では、図５を用いて説明したように、ショットの際の撮像と落下位置の報知とを１台のドローン１１ａで行ったが、ショットの際の撮像と落下位置の報知とを別々のドローン１１ａ，１１ｂで連携して行うようにしても良い。その場合に、ドローン１１ａ，１１ｂの間にマスター・スレーブの関係を作り、例えば、ショット側のドローンをマスターとし、落下位置を報知するドローンをスレーブとして制御しても良い。さらに、３台以上のドローンを連携動作させても良い。このように複数のドローンを連携して動作させることで、落下位置の探査をよりスムーズにかつ正確に行うことが可能となる。

（第１実施形態の変形例５）
打球の落下位置を報知する支援動作の場合に、落下位置がＯＢであったり、ロストボールの可能性が高いと判断した場合には、プレイヤーに暫定球を打つことを促すような報知を携帯端末１２やカート２２０の表示装置２１で行うようにしても良い。打ち直しの位置を携帯端末１２やカート２２０の表示装置２１に表示して指示しても良い。また、ＯＢかどうか判断が難しい場合、プレイヤーに選択させても良い。また、ショットの結果がＯＢであった場合には、そのショットの際に撮像した画像（静止画や動画）に、ＯＢのタグを付けるようにしても良い。プレイヤーは、そのタグが付けられた画像をプレイ後に見ることで、ＯＢの場合のフォーム等の改善を図ることができる。

（第１実施形態の変形例６）
上述した実施の形態では、ドローン１１ａにより取得した画像情報に基づいて打球の落下位置を検出したが、ショット時の画像情報に基づいて打球の軌道を演算し、その演算結果から打球の落下位置を推定しても良い。この場合、ドローン１１ａを推定された落下位置の上空まで飛行させ、カメラ１１３で撮像された画像に基づいて、落下位置の周辺において落下した打球の検出動作を行う。打球が検出されたならば、上述した実施の形態のように、打球の真上の位置Ｐ３（図５参照）にドローン１１ａを誘導する。

（第１実施形態の変形例７）
上述した実施形態において、打球をカメラ１１３で追尾して落下位置を検出し、その落下位置にドローン１１ａを飛行させる例を説明したが、ドローン１１ａに飛行追尾させるようにしても良い。例えば、図５において、ショットの際にドローン１１ａを所定位置Ｐ１でホバリング飛行させ、プレイヤーＡがショットを行ったならば、サーバ１３から飛行指令情報に基づいて飛行経路Ｆ２や飛行経路Ｆ１，Ｆ２のようにドローン１１ａによる打球の追尾飛行を行わせる。

プレイヤーＡの後方に所定位置Ｐ１を設定した場合には、カメラ１１３で打球ＧＢの撮影を続けながら、まず、飛行経路Ｆ１のようにドローン１１ａを飛行目標位置Ｐ２に上昇させる。このように上昇させることで、遠ざかる打球ＧＢをカメラ１１３の画面内に納めやすくなる。サーバ１３からは、カメラ１１３により撮像された画像に基づく飛行目標位置が飛行指令情報として逐次送信される。ドローン１１ａは、それらの飛行指令情報に従って、カメラ１１３での打球ＧＢの撮影を継続しつつ、飛行経路Ｆ２のように打球ＧＢを追いかけるように飛行する。

（第１実施形態の変形例８）
上述した実施形態において、所定位置Ｐ１にドローン１１ａを待機させる例を説明したが、ドローン１１ａはその場の条件に応じて所定位置Ｐ１を調整し、調整後の位置（以下では、位置Ｐ１２と称する）で待機してもよい。太陽の位置や、クラブの種類、プレイヤーの性別、スイング等で、最適な撮像位置は異なる。例えば、所定位置Ｐ１からでは逆光でゴルフボールＧＢを認識しにくい場合、逆光にならない位置Ｐ１２に待機位置を変更してもよい。また、クラブの種類がドライバーであった場合やプレイヤーが男性だった場合やスイングの速度が速かった場合には、飛距離が大きくなると判断し、遠くまで撮像できる位置Ｐ１２（例えば、図５の所定位置Ｐ１よりもさらに上方の位置）で待機してもよい。

（第１実施形態の変形例９）
上述した実施形態において、プレイヤーデータ１３３ｂに、プレイヤーの性別、レベル情報（上級、中級、初球）等が記憶されている例を説明したが、プレイヤーデータ１３３ｂを記憶してなくてもよい。その場合、カメラで撮像した画像データに既存の画像処理を施し、プレイヤーの性別等を判断してもよい。

−第２の実施の形態−
第２の実施の形態においては、ドローン１１を用いた支援システムはプレイヤーに対して種々のアドバイスを行う。アドバイスの内容としては、例えば、ゴルフボールを打つ方向のアドバイス、使用するゴルフクラブのアドバイス、ショットに関するアドバイス等がある。競技はゴルフを例に説明する。

（２−１．ショット方向のアドバイス）
まず、ゴルフボールを打つ際の、ショット方向のアドバイスについて説明する。この支援動作は、打つ方向の目印となる目標を、ドローン１１を用いて提示するものである。ドローン１１には、目標軌道の目印として、プレイヤーが視認可能な大きさの的が搭載されている。この的は通常はドローン１１の筐体内に格納されており、目標提示を行う際に表に飛び出させる。的としては、例えば、垂れ幕のようなものでも良い。ドローン１１が的を格納していない場合は、ドローン１１自体が的となっても良い。その場合、ドローン１１は、プレイヤーから視認可能な位置へ飛行し、目標軌道の目印となる。サーバ１３の演算部１３２は、データベース１３３のコースデータ１３３ａおよびプレイヤーデータ１３３ｂを参照して目標軌道を演算し、その目標軌道上に的を配置させる。目標軌道の目印とは、方向に対する目印でもよいし、高度に対する目印でもよい。また、ドローン１１は目標軌道の目印となるので、プレイヤーの前方を飛行するのが望ましい。

図６は、ショット方向アドバイスの際のドローンの配置例を示す模式図である。図６では三種類の目標軌道Ｌ６１，Ｌ６２，Ｌ６３が描かれている。目標軌道Ｌ６１に示す例では、１台のドローン１１ａが的として使用されている。この場合には、目標軌道Ｌ６１の頂点にドローン１１ａが配置されている。

また、目標軌道Ｌ２に示す例では、目標軌道上に複数のドローン１１ａ，１１ｂ，１１ｃを配置して、目標軌道Ｌ６２の描く曲線をプレイヤーＡにイメージさせるようにしても良い。

目標軌道Ｌ６３に示す例では、ドローン１１ａから的６０を下げて、その的６０が目標軌道Ｌ６３上に配置されるようにドローン１１ａをホバリングさせる。的６０の位置は、目標軌道Ｌ６１上のドローン１１ａのように軌道の頂点に配置しても良いし、それ以外の位置に配置しても良い。

図７は、サーバ１３の制御部１３４で実行されるアドバイス処理の一例を示すフローチャートである。ここでは、図６の目標軌道Ｌ６１で例示した的提示を行う場合の処理について説明する。

ステップＳ３１０では、制御部１３４は、プレイヤーＡの全身がカメラ１１３で撮像できる位置（以下では、位置Ｐ２０と称する）にドローン１１ａをホバリングさせるための撮影用飛行指令情報を送信する。位置Ｐ２０は、プレイヤーＡの全身が撮像できなくても、ショット方向のアドバイスや、後に説明する種々のアドバイスをするために必要な情報（撮像画像）を取得できる位置であればよい。ステップＳ３２０では、制御部１３４は、カメラ１１３で撮像された画像に基づく顔認識を演算部１３２に行わせ、画像内の人物がプレイヤーＡか否かを判定する。プレイヤーＡと判定されるとステップＳ３３０へ進む。カメラ１１３はプレイヤーＡが捕捉されるまでカメラ１１３の光軸方向を変化させ、視野方向を上下左右に変更しながら撮像を行い、ステップＳ３２０の処理を繰り返す。

ステップＳ３３０では、制御部１３４は、プレイヤーＡが手にしているゴルフクラブの画像から、そのゴルフクラブが、データベース１３３のプレイヤーデータ１３３ｂに登録されている複数のゴルフクラブのいずれであるかを判定する。ステップＳ３４０では、制御部１３４は、ステップＳ３３０の判定結果と、データベース１３３に記憶されているコースデータ１３３ａおよびプレイヤーデータ１３３ｂとに基づく目標軌道の演算を、演算部１３２に行わせる。ステップＳ３５０では、制御部１３４は、的提示用飛行指令情報をドローン１１ａに送信し、ドローン１１ａを目標軌道Ｌ６１の頂点位置に移動させる。プレイヤーＡは、ホバリングしているドローン１１ａを的として、ゴルフボールＧＢをショットする。

上述したように、コースデータ１３３ａには、ホール番号、コース長、基準打数、ティーグランドの位置情報（緯度経度）、グリーンの位置情報（緯度経度）、基準打数の各打毎の推奨クラブ（男性用、女性用）、上級者用コース戦略情報、中級者用コース戦略情報、初級者用コース戦略情報、ＯＢの位置情報（緯度経度）などが記憶されている。上級者用コース戦略情報、中級者用コース戦略情報および初級者用コース戦略情報のそれぞれには、基準打数の各打毎に、打つべき打球の方向と基準飛距離が登録されている。

上述したステップＳ３４０の処理では、プレイヤーデータ１３３ｂに登録されたプレイヤーＡのレベル（上級、中級、初級）、画像認識により判定されたゴルフクラブの種類、コースデータ１３３ａに登録された基準打数の各打毎の推奨クラブおよびコース戦略情報等に基づいて、目標軌道Ｌ６１を演算する。例えば、１番ホールのティーショットにおいて、プレイヤーＡの使用するゴルフクラブが１番アイアンであることが画像認識から判定された場合を考える。ここで、１番ホールのティーショットの推奨クラブとして３番ウッドがコースデータ１３３ａに登録されている場合、使用するクラブに応じてゴルフボールの軌道が異なるので、１番アイアンを使用した場合の目標軌道に切り替える。また、プレイヤーＡの性別によって打つべき打球の方向や飛距離は変化するので、それらを考慮しても良い。

なお、プレイヤーＡの今日の調子に応じて、目標軌道を変更するようにしても良い。例えば、２打目以降であれば、それ以前の打球の飛距離とプレイヤーＡのレベルに基づいて、プレイヤーＡの今日の調子（今日はあまり飛ばない、右にそれやすい、等）を判定し、その調子に応じて目標軌道を変更する。

例えば、プレイヤーＡの調子が悪く本来よりも飛距離が短い場合の対処方法としては、今の調子で達成可能な本来より短めの目標軌道に変更する方法がある。逆に、プレイヤーＡの調子が上がるように、今の調子で達成可能な目標距離よりも若干長めの目標軌道に変更する方法もある。また、打球が右にそれやすい傾向がある場合には、目標軌道の方向を左側にずらすように変更する、等の方法がある。また、演算された目標軌道が、プレイヤーＡの意図に合わない場合、プレイヤーＡがドローン１１の飛行位置を携帯端末１２から指定することもできる。最初からプレイヤーＡがドローン１１の飛行位置を指定することもできる。この場合、プレイヤーＡは、携帯端末１２を介してドローン１１が飛行する位置を指定する。携帯端末１２は、プレイヤーＡが指定した指定位置を示す指定位置情報をドローン１１へ送信する。ドローン１１は、受信した指定位置情報に基づいて、プレイヤーＡが指定した位置へ飛行する。なお、携帯端末１２は指定位置情報をサーバ１３へ送信し、サーバ１３は受信した指定位置情報をドローン１１へ送信し、ドローン１１は指定位置情報を受信してもよい。

また、ゴルフクラブを判定し、目標軌道を演算したが、それに限られない。ゴルフクラブが判定できなかった場合、推奨クラブであると仮定し、目標軌道を演算してもよい。

プレイヤーＡの動きに基づいて、目標軌道を演算してもよい。カメラ１１３でプレイヤーＡのスイングを撮像し、スイングの速さや角速度等から目標軌道を演算する。例えばスイングが早い場合、ゴルフボールが遠くまで飛びすぎる可能性があるため、目標軌道を近くにするよう変更する。

プレイヤーＡの属性に基づいて、目標軌道を演算してもよい。プレイヤーＡが男性の場合と女性の場合とではゴルフボールの飛距離が異なるので、性別によって目標軌道を変更する。また、プレイヤーＡの年齢、プレイヤーＡのレベル（初級者、中級者、上級者等）、ゴルフクラブの種類によっても飛距離は異なるため、目標軌道を変更する。

基準打数に基づいて、目標軌道を演算してもよい。現在のプレイヤーＡの位置から基準打数内でホールするための目標軌道を演算する。例えば、基準打数が３打のコースで、１打目が基準よりも飛ばなかった場合（１打目の飛距離が基準より短い場合）、２打目は基準よりも遠くに飛ばす必要がある。そのため、ドローン１１は、２打目の基準飛距離よりも遠くを目標軌道とする。プレイヤーＡは、基準よりも遠くにドローン１１が目印として飛行しているため、遠くに飛ばす必要を認識できる。そのために、ゴルフクラブを変更することもできる。

プレイヤーＡ又はゴルフクラブに基づいて、目標軌道を演算したが、それに限定されない。例えば大気情報（風の速度や方向等）に基づいて、目標軌道を演算してもよい。例えば、風が左から右へ強く吹いている場合、ゴルフボールは右へ流されやすい。その場合、基準目標位置よりも左を目標軌道として演算する。

プレイヤーＡの身体の向きに基づいて、目標軌道を演算してもよい。プレイヤーＡの身体の向きによって、ゴルフボールの飛行方向は変化する。よって、プレイヤーＡの身体が右に向きすぎていると判定した場合、目標軌道を左にずらすよう演算してもよい。

上述のように、競技（ゴルフ）に関する情報に基づいて目標軌道を演算し、ドローン１１を飛行させる。競技（ゴルフ）に関する情報は、カメラ１１３が撮像した画像から取得してもよいし、コースデータ１３３ａやプレイヤーデータ１３３ｂのようにサーバ等に記憶されているデータから取得してもよい。プレイヤーＡが打ち終わった後は、次の打者であるプレイヤーＢの目標軌道を演算し目標位置へ飛行する。

＜ドローンの危険回避動作＞
ところで、上述したショット方向のアドバイスを行う支援動作においては、プレイヤーＡがショットした打球がドローン１１ａに衝突する可能性がある。そこで、そのような衝突可能性がある場合には、ドローン１１ａは衝突を防止するための危険回避動作を行う。サーバ１３は、ドローン１１ａが的６０を出してホバリング飛行している状態においては、カメラ１１３によりプレイヤーＡがショットするゴルフボールＧＢが撮像されるように、撮像指令をドローン１１に送信する。

サーバ１３は、撮像画像を演算部１３２で解析させてプレイヤーＡがショットした打球ＧＢを監視し、ドローン１１ａの方向に飛んできた打球ＧＢがドローン１１ａに衝突するか否かを判定する。サーバ１３は、打球がドローン１１ａに衝突すると判断した場合には、打球との衝突を回避すべく、飛行制御指令をドローン１１ａに送信する。具体的には、ドローン１１ａを現在位置から上昇または降下させて上下方向に回避移動したり、ドローン１１ａを現在位置から左右方向に移動させたりして、打球の軌道から外れた位置へ移動させる。

また、このようなドローン１１ａへの打球の衝突は、ショット方向をアドバイスする支援動作中に限らず、上述した打球落下位置を案内する支援動作や、後述するような他の支援動作の最中にも起こり得る。そのため、そのような他の支援動作中においても、ドローン周囲の画像を適宜カメラで撮像し、その画像から打球の衝突が予想される場合には、上述の場合と同様に打球の軌道から外れた位置へドローン１１ａを回避移動させる。

上述のような打球の衝突には、他のパーティのプレイヤーがショットした打球がコース内に飛来して、ドローン１１ａに衝突するような場合もある。そのような場合、サーバ１３は、ドローン１１ａのカメラ１１３で撮像された画像に基づいて打球の衝突を予測しても良いし、他のパーティのドローン１１のカメラ１１３で撮像した画像に基づいて打球の衝突を予測しても良い。サーバ１３は、他のパーティのドローン１１のカメラで撮像された画像の情報も受信し画像解析を行っているので、その画像から他のパーティのプレイヤーがショットした打球の軌道を演算し、その打球がドローン１１ａに衝突するおそれがあるか否かを判断することができる。

（２−２．使用するゴルフクラブのアドバイス）
使用するゴルフクラブをアドバイスする支援動作について、図８のフローチャートにより説明する。ステップＳ４１０では、制御部１３４は、プレイヤーＡの全身がカメラで撮像できる位置にドローン１１ａをホバリングさせるための撮影用飛行指令情報を送信する。ステップＳ４２０では、制御部１３４は、カメラ１１３で撮像された画像に基づく顔認識を演算部１３２に行わせ、画像内の人物がプレイヤーＡか否かを判定する。

ステップＳ４３０では、制御部１３４は、データベース１３３のコースデータ１３３ａおよびプレイヤーデータ１３３ｂを参照して、プレイヤーデータ１３３ｂに登録されている複数のゴルフクラブの中から最適と思われるゴルフクラブを推奨ゴルフクラブとして選択する。

例えば、プレイヤーＡが男性であってレベルが上級者であると登録されている場合には、コースデータ１３３ａの上級者用の男性用推奨クラブと、プレイヤーデータ１３３ｂに登録されている複数のゴルフクラブとを比較し、複数のゴルフクラブの中から最適なゴルフクラブを選択する。

ステップＳ４４０では、制御部１３４は、ステップＳ４３０で選択したゴルフクラブの情報を、推奨クラブの情報として携帯端末１２ａに送信する。推奨クラブ情報を受信した携帯端末１２ａは、表示部１２１にクラブの名称等を表示させる。

なお、既に行ったプレイのスコアに基づいてプレイヤーＡの調子を判断し、その調子に応じたゴルフクラブを推奨するようにしても良い。例えば、調子が悪くて飛距離が出ていない場合には、コースデータ１３３ａとプレイヤーデータ１３３ｂとに基づいて選択されるゴルフクラブよりも飛距離の出やすいゴルフクラブを、推奨クラブとしてとして選択する。

また、プレイヤーデータ１３３ｂにプレイヤーＡのレベルが登録されていない場合には、サーバ１３の制御部１３４は次のような処理を行って、プレイヤーＡのレベルを判断し、その判断したレベルに基づいて上述したゴルフクラブの推奨を行う。まず、制御部１３４は、カメラ１１３でプレイヤーＡの全身が撮像できるようにドローン１１ａの位置を制御する。制御部１３４は、ドローン１１ａから送信される画像に基づいて、スイング解析が可能な画像となるようにドローン１１ａの位置、カメラ１１３の画角、撮影方向を制御する。

ドローン１１ａにおける撮像準備が完了したら、制御部１３４は、携帯端末１２ａにスイング動作を促す報知（表示や音声による報知）を行わせ、プレイヤーＡがスイングする画像を取得する。ここで、スイング動作は素振りである。制御部１３４は、取得された画像からスイングを画像解析し、プレイヤーＡのレベルが上級、中級、初級のいずれであるかを判定する。判定結果は、データベース１３３のプレイヤーデータ１３３ｂに新たに登録される。

（２−３．ショットに関するアドバイス）
この支援動作では、ショットを行うプレイヤーＡに、スタンス、グリップなどを教示する。そのために、サーバ１３の制御部１３４は、ドローン１１ａのカメラ１１３でコース上のゴルフボールＧＢを撮像し、撮像された画像からコース状況を推定する。例えば、画像からゴルフボールＧＢを打つ地点の傾斜を検出し、傾斜状況とグリーンまでの方向、距離、プレイヤーＡのレベルなどに基づいて、サーバ１３がプレイヤーＡに、スタンス、グリップなどをアドバイスする。アドバイス内容は、携帯端末１２ａの表示部１２１に表示される。データベース１３３のコースデータ１３３ａには、斜度、上がり勾配で打つ必要がある場合のアドバイス内容、下がり勾配で打つ必要がある場合のアドバイス内容等が予め記憶されている。

このように、プレイの最中にプレイヤーに上述したようなアドバイスを行うことで、プレイヤーはより最適な条件（ゴルフクラブやフォーム等）でプレイを行うことができ、成績アップを図ることができる。

−第３の実施の形態−
第３の実施の形態における支援動作では、プレイヤーの労力を省くような支援動作を行う。具体的には、コースから外れた打球をドローン１１が拾う動作や、打球がコース内の池に落下してしまったことを報知する動作や、池に落下した等によりゴルフボールが回収できない場合に予備のゴルフボールをプレイヤーに補給する動作等である。

（３−１．コースから外れた打球を拾う支援動作）
ドローン１１には、図９に示すような把持装置４３が搭載されている。把持装置４３は、開閉する一対の把持板４３１ａ，４３１ｂと、把持板４３１ｂを開閉駆動するアクチュエータ４３２とを備えている。

この打球を拾う支援動作は、上述した第１の実施の形態における打球の落下位置を案内する支援動作の後に行われる。すなわち、落下位置を案内する支援動作の際に、サーバ１３は、ドローン１１からのＧＰＳ位置情報とデータベース１３３のコースデータ１３３ａとに基づいて、打球の落下位置がＯＢの位置か否かを認識することができる。ＯＢと認識された場合には、この打球を拾う支援動作が実行される。

サーバ１３は、打球の落下位置とデータベース１３３のコースデータ１３３ａとを照合し、ボール位置がＯＢの位置であれば、ドローン１１にゴルフボールを拾わせる制御指令（飛行指令と把持指令）を送信する。ドローン１１は、サーバ１３からの飛行指令に従って、落下位置の上空でホバリングしていた位置から降下し、把持装置４３によりゴルフボールを回収する。ドローン１１は、回収したゴルフボールをプレイヤーに届けたり、カート２２０に届けたりする。

ところで、ゴルフボールがＯＢ位置に落下した場合、ゴルフボールの落下地点と想定される位置を上空から撮像したときに、画像中のゴルフボールが認識できない場合がある。例えば、ゴルフボールがラフや木の枝に隠れている場合である。そのような場合には、サーバは、カメラをズームさせて、そのズーム画像からゴルフボールを検出する。

（３−２．打球が回収不能の場合の支援動作）
プレイヤーのショットしたゴルフボールが池に落下した場合、サーバ１３は、画像中の水しぶき等からボールが池に落下したことを認識することができる。このように、画像から池に落下したことを判断しても良いし、落下位置上空でホバリングしているドローン１１のＧＰＳ位置情報とコースデータ１３３ａとから池に落下したことを判断しても良い。しかしながら、水中のゴルフボールを画像から検出するのは難しく、ドローン１１によりゴルフボールを回収することができない。

そこで、ゴルフボールが池に落下した場合には、回収不能であることをプレイヤー等に報知する。例えば、携帯端末１２の表示部１２１に回収不能であることを文字表示したり、カート２２０の表示装置２２１に報知情報を表示したりする。

また、池への落下だけでなく、林の中に落下してボールを見失ってしまった場合や、ドローン１１が飛行できないＯＢ位置に落下した場合には、ゴルフボールを回収できない。その場合には、池への落下の場合と同様に回収不能であることを報知する。サーバ１３は、カメラ１１３で撮像した画像から、ドローン１１が飛行できないことを判別する。

上述のようにゴルフボールの回収が不能であることを報知した場合には、ドローン１１が予備のゴルフボールをプレイヤーに補給するようにしてもよい。この場合、ドローン１１に予め予備のゴルフボールを搭載しておき、ドローン１１をプレイヤーの位置まで飛行させて、プレイヤーの近くにゴルフボールを落下させる。または、カート２２０までゴルフボールを取りに行って、プレイヤーに届けても良い。

第３の実施の形態における支援動作のその他の例としては、グリーン上のショットの際に、旗をホールから引き上げる動作をドローン１１に行わせる動作がある。この場合、サーバは、ドローン１１に搭載した把持装置４３により旗のポールを把持し、把持した状態でドローン１１を上昇させれば良い。また、クラブスイングにより芝が削除されてドロが露出してしまった場合に、ドローン１１より削除箇所に砂を散布させる動作を行わせるようにしても良い。サーバ１３は、ドロが露出していることをカメラ１１３で撮像した画像から認識すると、ドローン１１に対して、削除箇所に砂を散布させる指令を出力する。なお、砂の散布に代えて、穴の位置を管理室に知らせるような支援動作でも良い。それにより、メンテナンスの係員が穴の位置まで移動し、土地をならす。また、バンカーショットの場合に、バンカーを平らにならす動作をドローン１１に行わせても良い。

上述のように、第３の実施の形態では、ゴルフプレイ中に発生する種々のプレイ以外の煩わしい処理を、キャディの代わりであるドローン１１が肩代わりするので、プレイヤーはゴルフプレイに集中することができる。また、プレイ進行をスムーズに行わせることができる。

−第４の実施の形態−
第４の実施の形態における支援動作では、プレイヤーに危険を知らせる動作を行う。この支援動作の例としては、他のパーティとの接近を報知したり、危険物の存在を報知したりする動作等があげられる。

（４−１．他のパーティとの接近の報知）
例えば、先行するパーティ（以下では、パーティＰＡと称する）のプレイが遅れ気味となって、同一コース上にパーティＰＡと後発のパーティ（以下では、パーティＰＢと称する）とが存在している場合には、以下のような支援動作が行われる。

サーバ１３は、パーティＰＢのプレイ中に、グリーン位置まで他のパーティが接近していないか、パーティＰＢのドローン１１に探査飛行を行わせる。例えば、パーティＰＢとグリーンとの中間地点にドローン１１を飛行させ、グリーンとパーティＰＢとが画像に収まるようにドローン１１の高度を上昇させる。

サーバ１３は、撮像された画像中に先行するパーティＰＡのプレイヤーを検出したならば、その画像からパーティＰＡとパーティＰＢとの距離を推定する。そして、サーバ１３は、推定した距離からパーティＰＢが先行するパーティＰＡに近づき過ぎていると判断した場合には、ショットを禁止する警告情報を、パーティＰＢのプレイヤーの携帯端末１２やカート２２０の表示装置２２１に送信する。携帯端末１２や２２０の表示装置２２１は、警告情報を受信すると、それらの表示部にショット禁止の警告表示を表示しても良い。また、警報音や音声で報知するようにしても良い。また、ドローン１１が飛行を停止することで、プレイができないことを各プレイヤーに報知するようにしても良い。

また、サーバ１３が、先行するパーティＰＡのプレイヤーの携帯端末１２に後のパーティＰＢが接近していることを報知する情報を送信するようにしても良い。例えば、プレイを早めるようにプレイヤーの携帯端末１２に報知する。この場合、カート２２０の速度を上げるようにサーバ１３がカート２２０に指示しても良い。

なお、上述の説明では、後発のパーティＰＢのドローン１１のカメラ１１３が撮像した画像に基づいて、先行するパーティＰＡへの接近を報知するようにした。しかし、パーティＰＡのドローン１１のカメラ１１３でパーティＰＡと後続するパーティＰＢとを撮像し、撮像された画像から、後続するパーティＰＢとの接近状況を把握するようにしても良い。

また、ドローン１１のカメラ１１３で撮像した画像から他のパーティとの間隔を判断する代わりに、サーバ１３は、パーティＰＢのドローン１１のＧＰＳ位置情報と他のパーティＰＡのドローン１１のＧＰＳ位置情報とから、パーティＰＢとパーティＰＡとの間隔を判断しても良い。また、カート２２０にＧＰＳ受信機が搭載されていて、カート２２０同士の間隔を他パーティとの間隔と判断しても良い。

（４−２．危険球の報知）
プレイヤーがショットした打球が他のコースに飛んでいってしまった場合に、他のコースのプレイヤーに打球が飛来することを報知する支援動作について説明する。サーバ１３は、ショット時の画像から打球の方向や距離を推定し、打球が他のコースに飛来するか否かを判定する。打球が他のコースに飛来すると判定した場合には、サーバ１３は、他のコースでプレイしているプレイヤーの携帯端末１２に打球の飛来を知らせる危険球情報を送信する。危険球情報を受信した携帯端末１２は、表示部１２１に警告表示を表示したり、警報音を発したりしてプレイヤーに打球の飛来を報知する。また、カート２２０の表示装置２２１に危険球情報を表示させるようにしても良い。この危険球を報知する支援動作は、他の支援動作の最中にも実行される。

（４−３．危険場所の報知）
データベース１３３のコースデータ１３３ａには、マムシやスズメバチ等が出没する危険場所に関するデータも格納されている。サーバ１３は、プレイヤーがそれらの危険場所に近づく状況が生じた場合には、危険場所に近いことを知らせる警報情報をプレイヤーの携帯端末１２に送信する。例えば、打球の落下地点が危険場所に近い場合には、サーバ１３は、落下地点を携帯端末１２に表示させる際に、マムシに注意する警告表示や、スズメバチに注意する警告表示も表示させる。また、携帯端末１２に警告音を発生させるようにしても良い。

また、打球の落下地点がＯＢではない場合、サーバ１３は、ドローン１１のカメラ１１３を用いて落下地点やその周囲のズーム画像を撮像させ、それらの画像からマムシやスズメバチ等を検出するようにしても良い。この支援動作は、打球の落下地点が予め登録された危険場所に近い場合にのみ行っても良いし、落下地点が危険場所に近いか否かに関係なく行っても良い。

上述したように、第４に実施の形態では、ゴルフプレイ中に発生する危険な状況を、ドローン１１により警報を発生させることにより、未然に回避することができる。その結果、プレイヤーは安全にプレイを行うことができる。

−第５の実施の形態−
上述した第１〜第４の実施の形態では、ドローン１１とサーバ１３とが連携してゴルフ支援を行う構成としたが、図１０に示すように、サーバ１３が担っている機能をドローン１１に実装しても良い。また、図１１に示すように、サーバ１３の制御部１３４と演算部１３２の機能をドローン１１に組み込み、サーバ１３の機能をデータベース機能に限定しても良い。いずれの場合も、上述した支援動作の処理（サーバ１３の制御部１３４で行っていた処理）をドローン１１の制御部１１７で行う。

また、図１０に示す例では、ドローン１１と携帯端末１２との間のデータの授受を、通信ネットワーク１４を介して行う構成としが、ドローン１１と携帯端末１２との間で直接にデータの授受を行うようにしても良い。

またドローン１１はカメラ１１３を備えていなくてもよい。その場合、ゴルフ場には固定カメラが設置されており、撮像はこの固定カメラで行う。固定カメラとドローン１１とサーバ１３は各々通信が可能になっており、固定カメラが撮像した画像データを送受信できる。ドローン１１又はサーバ１３は、固定カメラが撮像した画像データを受信し、上記実施形態の処理を行う。

なお、上述した実施の形態では、ドローン１１のカメラ１１３でプレイヤーの画像や、ショットの際の画像を撮影する際のドローン１１の位置を、ＧＰＳ位置情報や画像情報に基づいて決定するようにしたが、プレイヤーが携帯端末１２を使用して指示を出し、その指示に従ってサーバ１３が飛行指令情報を送信するようにしても良い。

上述の実施の形態では、スポーツ支援動作の一例として、ゴルフを例に説明したが、ゴルフに代えて、競技はフライングディスク (flying disc)のゲーム（例えば、ディスクゴルフ）等にも適用できる。それにより、ゲームにおけるプレイヤーの円滑なプレイ進行を図ることができる。なお、フライングディスクはフリスビー（登録商標）とも呼ばれる。

なお、上述した図３，７，８のフローチャートで示した処理を行わせるプログラムは、サーバ１３の制御部１３４またはドローン１１の制御部１１７において実行される。上述の制御部１１７，１３４はＣＰＵ、記録媒体（ＲＯＭ、メモリカードやハードディスク等）及び周辺回路から構成され、ＣＰＵは記録媒体に格納された上記プログラムを実行する。

例えば、上記プログラムは、撮像部であるカメラ１１３を載置して飛行するドローン１１の飛行部１１１を制御するプログラムであって、移動中の物体であるゴルフボールＧＢをカメラ１１３に撮像させる撮像処理と、カメラ１１３が撮像した後のゴルフボールＧＢをカメラ１１３が撮像するために、カメラ１１３の出力に基づく制御情報によって飛行部１１１及びカメラ１１３の少なくとも一方を制御する制御処理と、を制御部１１７や制御部１３４に実行させる。また、上記プログラムは、飛行可能な飛行部１１１を制御するプログラムであって、例えば、ゴルフ等の競技に関する情報に基づく飛行情報を取得する取得処理と、飛行情報に基づいて飛行部１１１を制御する制御処理と、を制御部１１７や制御部１３４に実行させる。

上述した実施の形態では、無人飛行機１１のような飛行装置を例に説明したが、飛行装置に限らず、例えば、飛行部１１１の代わりにタイヤや二足歩行機構等の移動部を備えた移動装置にも適用が可能である。飛行部１１１の場合と同様に、移動部には移動中の物体を撮像する撮像部（例えば、カメラ１１３）が載置される。この場合、移動装置は、飛行部１１１が移動部で置き換わった構成となるだけで、飛行装置の場合と同様の制御が行われる。例えば、制御部１３４は、撮像部が撮像した後の物体を撮像部が撮像するために、撮像部の出力に基づく制御情報によって移動部及び撮像部の少なくとも一方を制御する。また、ゴルフ等の競技に関する情報に基づく移動情報を取得する取得処理と、移動情報に基づいて移動部を制御する制御処理と、を制御部１３４や移動部に設けられた制御部に実行させる。
また、移動装置は撮像部（例えばカメラ１１３）を備えていなくてもよい。その場合、ゴルフ場には固定カメラが設置されており、撮像はこの固定カメラで行う。固定カメラと移動装置とサーバ１３は各々通信が可能になっており、固定カメラが撮像した画像データを送受信できる。移動装置又はサーバ１３は、固定カメラが撮像した画像データを受信し、上記実施形態の処理を行う。

上記では、種々の実施の形態および変形例を説明したが、それらの実施の形態および変形例を組み合わせることも可能である。
本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１５年第１９５２７８号（２０１５年９月３０日出願）

１…支援システム、１１，１１ａ，１１ｂ…無人飛行機（ドローン）、１２，１２ａ，１２ｂ…携帯端末、１３…サーバ、１４…通信ネットワーク、４３…把持装置、６０…的、７０…落下位置、Ｐ１，Ｐ１１…所定位置、Ｐ２，Ｐ４…飛行目標位置、１１１…飛行部、１１２…飛行制御部、１１３…カメラ、１１４…カメラ制御部、１１５、１２３…ＧＰＳ受信機、１１６，１２２，１３１…通信部、１１７，１３４…制御部、１３２…演算部、１３３…データベース、２２０…カート

Claims (13)

1. 競技を撮像した画像データを取得する取得部と、
   前記画像データに基づいて、前記競技で使用される移動体が移動する経路を予測する制御部と、
   前記取得部を保持し、前記制御部が予測した経路に基づいて飛行する飛行部と、
   を備える飛行装置。
2. 前記飛行部は、前記制御部が予測した前記経路に基づいて、前記移動体と接触しない位置へ飛行する
   請求項１に記載の飛行装置。
3. 前記取得部は、前記競技で使用される前記移動体を撮像した画像データを取得し、
   前記制御部は、前記画像データの前記移動体に基づいて、前記移動体と接触しない位置を決定し、
   前記飛行部は、前記移動体と接触しない位置へ飛行する
   請求項１または２に記載の飛行装置。
4. 前記画像データは、前記競技を行う人に関する情報又は前記競技に使用する道具に関する情報又は前記競技の環境に関する情報のうち少なくとも１つを含み、
   前記制御部は、前記競技を行う人に関する情報又は前記競技に使用する道具に関する情報又は前記競技の環境に関する情報の少なくとも１つに基づいて、前記移動体が移動する経路を予測する
   請求項１から３までのいずれか一項に記載の飛行装置。
5. 前記競技を行う人に関する情報は、前記競技を行う人の動きの情報又は前記競技を行う人の属性情報又は前記競技を行う人の位置情報のうち少なくとも１つを含む
   請求項４に記載の飛行装置。
6. 前記競技に使用する道具の情報は、前記道具の種類を含む
   請求項４又は５に記載の飛行装置。
7. 前記競技の環境に関する情報は、前記競技のコース情報又は風の情報のうち少なくとも１つを含む
   請求項４から６までのいずれか一項に記載の飛行装置。
8. 前記飛行部は、前記移動体を追尾可能である
   請求項１から７までのいずれか一項に記載の飛行装置。
9. 前記取得部は、前記移動体の落下した位置に関する情報を取得し、
   前記移動体の落下した位置に関する情報を外部機器に送信する通信部を備える
   請求項１から８までのいずれか一項に記載の飛行装置。
10. 前記取得部は、前記移動体の落下した位置に関する情報を取得し、
    前記飛行部は、前記移動体の落下した位置の上空を飛行する
    請求項１から８までのいずれか一項に記載の飛行装置。
11. 前記制御部は、前記競技を行う人から視認可能な位置を決定し、
    前記飛行部は、前記視認可能な位置へ飛行する
    請求項１から１０までのいずれか一項に記載の飛行装置。
12. 飛行装置を制御するプログラムであって、
    競技を撮像した画像データを取得する取得処理と、
    前記画像データに基づいて、前記競技で使用される移動体が移動する経路を予測する制御処理と、
    前記制御処理で予測した経路に基づいて飛行する飛行処理と、
    をコンピュータに実行させるプログラム。
13. 競技を撮像した画像データを取得する取得部と、
    前記画像データに基づいて、前記競技で使用される移動体が移動する経路を予測する制御部と、
    前記取得部を保持し、前記制御部が予測した経路に基づいて移動する移動部と、
    を備える移動装置。

Images