JP6921031B2

JP6921031B2 - 制御装置及び撮影方法

Info

Publication number: JP6921031B2
Application number: JP2018086902A
Authority: JP
Inventors: 杰旻周; 明邵; 慧徐
Original assignee: SZ DJI Technology Co Ltd
Current assignee: SZ DJI Technology Co Ltd
Priority date: 2018-04-27
Filing date: 2018-04-27
Publication date: 2021-08-18
Anticipated expiration: 2038-04-27
Also published as: CN111328399A; JP2019193209A; WO2019206078A1; US20210047036A1

Description

本開示は、ハイライト撮影位置を自動的に検出して撮影を行う制御装置及び撮影方法に関する。

サッカー、野球などのスポーツを主とする各種イベントでは、イベント会場の所定位置に設けられているカメラによって撮影された動画素材からハイライトシーンを抽出・編集した後、スタジアムの電光掲示板に投影し又は遠隔にいる視聴者にテレビやインターネットを通じて放送する。

従来は、ハイライトシーンの抽出・編集作業を手動により行うことが多かったが、それでは作業効率が低く、コストが高い問題があった。そこで、聴覚情報と視覚情報を用いてビデオ中のハイライトシーンを自動的に検出する特許文献１のような技術が提案されている。

特開２００５−１８９８３２号公報

しかしながら、特許文献１に記載の技術は、既存の動画素材からハイライトシーンを自動的に抽出する手法にすぎないため、結局はカメラマンが撮影した原始的な動画素材に依存することとなる。ところが、カメラマンが手動でカメラを操作する場合は、人為的なミスが発生する場合がある。例えば、カメラマンが他のことに気を取られてしまってハイライトシーンを取り逃がしてしまうことがある。また、カメラの撮影方向の操作は手動で行うことが一般的であり、カメラマンが瞬時にカメラを正確の方向に向けられない場合がある。

さらに、従来のように会場の所定の位置に固定カメラを設けて撮影する場合では、一つのカメラからは同一のアングルの動画素材しか取得できず、異なる複数のアングルの動画素材を得るためには、複数の位置にカメラ及びカメラマンを配備しなければならず、高額なコストがかかってしまう。

そこで、本開示は、以上の課題を鑑みて、自動的にハイライト撮影位置を検出し、無人機により好適なアングルで撮影を行うことができる制御装置及び撮影方法を提供する。

一態様において、イベントの撮影方法であって、観客の注視状態を検出するステップと、複数の観客が注視状態である場合に、それぞれの注視方向を示す直線が交差する注目ポイントを算出するステップと、注目ポイントが密集する位置をハイライト撮影位置として確定するステップと、ハイライト撮影位置に無人機を飛行させて撮影させるステップと、を有する。

観客の注視状態を検出するステップは、観客の視線を測定するステップと、視線が所定時間以上安定したときに、注視状態であると検出するステップと、を有してよい。

注目ポイントが密集する位置をハイライト撮影位置として確定するステップは、それぞれの注目ポイントの中心点をハイライト撮影位置として確定するステップと、を有してよい。

注目ポイントが密集する位置をハイライト撮影位置として確定するステップは、注目ポイントが密集する複数のハイライト撮影位置を確定するステップと、を有し、ハイライト撮影位置に無人機を飛行させて撮影させるステップは、複数のハイライト撮影位置にそれぞれ無人機を飛行させて撮影させるステップと、を有してよい。

異なるハイライト撮影位置で撮影した情報をそれぞれ異なる表示機に送信してよい。

観客は複数の観客ブロックに分割され、それぞれの注視方向を示す直線が交差する注目ポイントを算出するステップは、各観客ブロックごとに、そのブロックに属する観客の注視方向に基づいてブロック注視方向を算出するステップと、ブロック注視方向が交差する注目ポイントを算出するステップと、を有してよい。

そのブロックに属する観客のうち、最も多くの観客の視線が一致した方向をブロック注視方向として算出してよい。

一態様において、無人機と通信可能な制御装置であって、視線測定部と、処理部とを有し、処理部は、観客の注視状態を検出し、複数の観客が注視状態である場合に、それぞれの注視方向を示す直線が交差する注目ポイントを算出し、注目ポイントが密集する位置をハイライト撮影位置として確定し、ハイライト撮影位置に無人機を飛行させて撮影させる。

処理部は、視線測定部により測定された観客の視線が所定時間以上安定したときに、注視状態であると検出してよい。

処理部は、それぞれの注目ポイントの中心点をハイライト撮影位置として確定してよい。

処理部は、注目ポイントが密集する複数のハイライト撮影位置を確定し、複数のハイライト撮影位置にそれぞれ無人機を飛行させて撮影させてよい。

処理部は、異なるハイライト撮影位置で撮影した情報をそれぞれ異なる表示機に送信してよい。

観客は複数の観客ブロックに分割され、処理部は、各観客ブロックごとに、そのブロックに属する観客の注視方向に基づいてブロック注視方向を算出し、ブロック注視方向が交差する注目ポイントを算出してよい。

処理部は、そのブロックに属する観客のうち、最も多くの観客の視線が一致した方向をブロック注視方向として算出してよい。

一態様において、プログラムであって、コンピュータに、観客の注視状態を検出するステップと、複数の観客が注視状態である場合に、それぞれの注視方向を示す直線が交差する注目ポイントを算出するステップと、注目ポイントが密集する位置をハイライト撮影位置として確定するステップと、ハイライト撮影位置に無人機を飛行させて撮影させるステップと、を実行させる。

一態様において、記憶媒体であって、コンピュータに、観客の注視状態を検出するステップと、複数の観客が注視状態である場合に、それぞれの注視方向を示す直線が交差する注目ポイントを算出するステップと、注目ポイントが密集する位置をハイライト撮影位置として確定するステップと、ハイライト撮影位置に無人機を飛行させて撮影させるステップと、を実行させるプログラムを格納する。

本開示における撮影方法、制御装置、プログラム、記憶媒体によれば、複数の観客の注視方向に基づいてハイライトシーンを自動的に検出し、その地点に無人機を飛行させて撮影を行うため、貴重な瞬間を人為的なミスで取り逃がすことを防止することがきる。また、無人機により、任意のアングルで撮影を行うことができるため、多くのカメラやカメラマンを配備する必要もなく、低コストである。

なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本開示における無人機の外観の一例を示す図である。本開示における制御装置のハードウェア構成を示すブロック図である。本開示における撮影方法の処理手順を示すフロー図である。本開示における第１の実施例の状況を示す模式図である。本開示における第１の実施例の観客の注視方向の一例を示す模式図である。本開示における第１の実施例の注目ポイントを示す模式図である。本開示における第１の実施例のハイライト撮影位置を示す模式図である。本開示における第２の実施例の観客ブロックを示す模式図である。本開示における第２の実施例のブロック注視方向を示す模式図である。本開示における第２の実施例の注目ポイントを示す模式図である。本開示における第２の実施例のハイライト撮影位置を示す模式図である。

以下、発明の実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の著作権を留保する。

本開示に係るイベントの撮影方法は、制御装置の処理部における各種の処理（ステップ）が規定されたものである。ここにいう「イベント」とは、サッカー、野球、フットボール、バスケットボールなどの観客席に囲まれた会場でのイベントが典型的であるが、本開示はこれに限らず、例えばコンサート、ミュージカル、サーカス、手品などの一方面のみに観客がいるイベントであってもよい。

本開示に係る制御装置は、無人機（ＵＡＶ：Unmanned Aerial Vehicle）と通信可能なコンピュータであり、その処理部は本開示に係るイベントの撮影方法を実行する。

本開示に係るプログラムは、コンピュータ（本開示に係る制御装置を含む）に各種の処理（ステップ）を実行させるためのプログラムである。

本開示に係る記録媒体は、コンピュータ（本開示に係る制御装置を含む）に各種の処理（ステップ）を実行させるためのプログラムが記録されたものである。

図１は、本開示における無人機１００の外観の一例を示す図である。無人機１００は、少なくともカメラ１０１と、ジンバル１０２とを含む構成であり、制御装置と通信可能である。ここにいう「通信可能」とは、制御装置と無人機１００の間の直接的な通信に限らず、他のいかなる装置を経由して間接的に情報を送受信することも含まれる。無人機１００は、制御装置から受け付けた制御情報に含まれているＧＰＳ情報に基づき所定の位置まで移動し、撮影を行うことができる。無人機１００の移動は、飛行を意味し、少なくとも上昇、降下、左旋回、右旋回、左水平移動、右水平移動の飛行が含まれる。カメラ１０１はジンバル１０２にヨー軸、ピッチ軸、及びロール軸を中心に回転可能に支持されているため、ジンバル１０２の動きを制御することによりカメラ１０１の方向を柔軟に調整することができる。なお、無人機１００の具体的な形状は、図１に示すものに限らず、制御信号に基づき移動し、撮影を行うことができれば他のいかなる形態であってよい。

次に、本開示における制御装置のハードウェア構成について説明する。図２に示すように、本開示における制御装置２００は、少なくとも一つの視線測定部２０１と、処理部２０２と、アンテナ２０３、ユーザインターフェース２０４、表示部２０５、記憶部２０６と、を有する。

視線測定部２０１は、眼球の動きなどに基づいて観客の視線の方向を測定するセンサである。具体的には、例えば観客席に向かって設置されているカメラや、観客が装着するゴーグルなどを用いてもよいが、本開示はこれに限られない。ここでは、一つの視線測定部２０１が一人の観客の視線を測定する場合を想定しているため、複数の視線測定部２０１を有している例を示しているが、一つの視線測定部２０１により複数の観客の視線を測定できる場合は、視線測定部２０１は１つであってもよい。視線測定部２０１は、測定した視線の情報を有線又は無線の方式により処理部２０２に送信することができる。

処理部２０２は、プロセッサ、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。処理部２０２は、無人機１００の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。処理部２０２は本開示における各種処理（ステップ）を実行し、無人機１００の制御情報を生成する。なお、本開示では便宜上処理部２０２を一つの手段として説明するが、実際には処理部２０２は物理的に一つの手段により実現されるとは限らず、例えばそれぞれの視線測定部２０１の内部にも一定の演算を行うプロセッサが設けられ、それらのプロセッサと制御装置２００の中央処理装置（ＣＰＵ）とが共同で本開示の処理部２０２を構成してよい。

アンテナ２０３は、処理部２０２により生成された制御情報を無線信号により無人機１００に送信することができ、且つ無人機１００から必要な情報を無線信号により受信することができる。また、本開示ではアンテナ２０３を通じて複数の無人機１００とそれぞれ通信することもできる。なお、アンテナ２０３は制御装置２００にとって必須の手段ではなく、例えば、制御装置２００が有線によりスマートホン、タブレット、パソコンなど他の情報端末に制御情報を送信し、その情報端末に設けられているアンテナにより無人機１００に送信してもよい。

ユーザインターフェース２０４は、タッチパネル、ボタン、スティック、レバー、トラックボール、マイクなどを用いて構成されてもよく、ユーザからの各種入力を受け付ける。ユーザは、ユーザインターフェース２０４を通じて、例えば手動で無人機を移動させたり、無人機に特定の対象物を追跡させたり、無人機のジンバルの動きを操作して撮影のアングルを調整したり、録画の開始・終了を操作したりするなど、各種制御を行うことができる。また、ユーザがユーザインターフェース２０４によりカメラの露光やズームを調整することができるようにしてよい。なお、ユーザインターフェース２０４は本開示の目的を達成するために必須な手段ではないが、より柔軟な操作を行うためには備えていることが好ましい。

表示部２０５は、例えばＬＥＤ、ＬＣＤモニターなどであり、無人機１００の状態を示す情報（速度、高さ、位置、電池状態、信号の強度など）やカメラ１０１に映っている画像などの各種情報を表示する。制御装置２００が複数の無人機１００と通信する場合は、それぞれの無人機１００の情報を同時または選択的に表示してよい。なお、表示部２０５は本開示の目的を達成するために必須な手段ではないが、ユーザが無人機１００の状態、撮影中の画像、撮影パラメータなどを把握するために備えていることが好ましい。

記憶部２０６は、コンピュータ読み取り可能ないかなる記録媒体でもよく、例えばＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。記憶部２０６は、処理部２０２により処理されるデータを演算のために暫定的に格納するメモリと、無人機１００によって撮影されたデータを記録するストレージを含んでよい。

以下、図３を用いて制御装置２００の処理部２０２によって実行される各種処理（ステップ）を詳細に説明する。なお、これらの処理は、本開示における撮影方法を構成し、これらの処理をコンピュータに実行させるコードの集合は本開示におけるプログラムを構成し、これらの処理をコンピュータに実行させるコードの集合を格納する記憶装置は本開示における記憶媒体を構成する。

まず、処理部２０２は、観客の注視状態を検出する（ステップＳ３０１）。ハイライトシーンが発生すると、多くの観客の注意を引き寄せ、その位置に視線が集中する。本開示は、この特徴に着目し、観客の視線が集中していることをもってハイライトシーンが発生していることを判断する。視線の測定は、視線測定部２０１により行われ、測定の結果は有線又は無線の方法により処理部２０２に送信される。なお、本開示では、イベント会場のすべての観客の視線を測定する必要はなく、一部の観客をサンプルとして視線を測定してよい。

ところで、単に会場を走査している視線なども算入されてしまうと、ハイライトシーンが発生していない場合でも複数の観客の視線が偶然に一致し、処理部２０２がハイライトシーンであると誤認してしまう虞がある。そこで、処理部２０２は、それぞれの視線測定部２０１から取得した視線の情報に基づいて観客の注視状態を判断することによりノイズを低減させることが好ましい。注視状態であるか否かの具体的な判断方法は、さまざまであるが、例えば測定された観客の視線が所定時間以上安定したときに、注視状態であると検出してもよい。閾値となる時間は、例えば３秒間と設定してよいがこれに限られない。

複数の観客が注視状態でなければ、引き続き観客の注視状態を検出する（ステップＳ３０１）。このとき、観客の注意が散漫であることを意味しているため、処理部２０２はハイライトシーンが発生していないと判断する。あるタイミングで複数の観客が注視状態となった場合は、処理部２０２は、それぞれの注視方向を示す直線が交差する注目ポイントを算出する（ステップＳ３０２）。

次に、処理部２０２は注目ポイントが密集する位置をハイライト撮影位置として確定する（ステップＳ３０３）。これは、注目ポイントが密集する位置は観客の注意が集中する位置であり、ハイライト撮影に適しているといえるからである。なお、本開示において確定するハイライト撮影位置は、１か所に限られない。例えば、注目ポイントが密集しているエリアが複数ある場合は各エリアごとにハイライト撮影位置を確定してもよい。また、複数台の無人機１００が用意されている場合は、無人機１００と同一の数量のハイライト撮影位置を確定してもよい。「注目ポイントが密集する位置」の判断方法は多様であるが、例えばそれぞれの注目ポイントの中心点であってよい。処理部２０２は、具体的には、例えばＫ平均法（Ｋ−Ｍｅａｎｓ）を用いてそれぞれの注目ポイントからの距離の合計が最も小さい一つまたは複数の位置を探索することが考えられるが、本開示はこれに限られない。

最後に、処理部２０２は、ハイライト撮影位置に無人機１００を飛行させて撮影させる（ステップＳ３０４）。具体的には、処理部２０２はハイライト撮影位置を示すＧＰＳ情報を含む制御情報を生成し、無人機１００に送信する。無人機１００はこの制御情報を受け付けた後、ＧＰＳ情報に基づいてハイライト撮影位置まで移動し、撮影を開始する。ここにいう「ハイライト撮影位置まで移動」には、ハイライトシーンの撮影位置に適したハイライト撮影位置周辺の位置も含まれる。好ましくは、処理部２０２はユーザインターフェース２０４が受け付けたユーザからの指示情報を随時無人機１００に送信可能である。これにより、ユーザはユーザインターフェース２０４を操作することにより無人機１００の撮影位置、撮影高度、撮影開始及び終了のタイミングなどを調整することができる。なお、ステップＳ３０３において複数のハイライト撮影位置が確定されているときは、それぞれのハイライト撮影位置に無人機１００を飛行させて撮影させる。

本開示の制御装置、撮影方法、プログラム、記憶媒体をより明確に説明するために、以下において図４から図７を用いて本開示にかかる第１の実施例を説明する。第１の実施例においては、観客ごとの注視方向に基づいて注目ポイントを算出し、一つのハイライト撮影位置を確定する場合を例示する。

図４は本開示における第１の実施例の状況を示す模式図である。図４に示すように、第１の実施例では、ステージＳの前には多くの観客がいる。そして、観客の一部または全部の観客席に向かって視線測定用カメラ（すなわち視線測定部２０１）が設けられており、これらのカメラは継続的に観客の視線の状況を測定する。処理部２０２は、これらのカメラにより測定された観客の視線が３秒間安定するか否かを判断することにより、注視状態を検出する（すわなち、ステップＳ３０１）。

ハイライトシーンが発生した場合、その位置は多くの観客の視線をひきつける。この瞬間において、処理部２０２は、視線測定用カメラからの情報に基づき、観客ａ１、ａ２、ａ３、ａ４が注視状態であることを検出する。図５において、直線Ｌ１は観客ａ１の注視方向を示し、直線Ｌ２は観客ａ２の注視方向を示し、直線Ｌ３は観客ａ３の注視方向を示し、直線Ｌ４は観客ａ４の注視方向を示す。そこで、処理部２０２は、それぞれの注視方向を示す直線が交差する注目ポイントを算出する（すわなち、ステップＳ３０２）。図６において、注目ポイントｎｐ１は直線Ｌ２と直線Ｌ４が交差する位置であり、注目ポイントｎｐ２は直線Ｌ１と直線Ｌ４が交差する位置であり、注目ポイントｎｐ３は直線Ｌ２と直線Ｌ３が交差する位置であり、注目ポイントｎｐ４は直線Ｌ１と直線Ｌ３が交差する位置であり、注目ポイントｎｐ５は直線Ｌ１と直線Ｌ２が交差する位置である。なお、直線Ｌ３と直線Ｌ４も不図示の位置で交差すると思われるが、ステージＳの外側で交差する場合は考慮しなくてよい。

そして、処理部２０２は、図７に示すように、注目ポイントｎｐ1、ｎｐ２、ｎｐ３、ｎｐ４、ｎｐ５の中心点をハイライト撮影位置ＨＰとして確定する（すなわち、ステップＳ３０３）。そして、処理部２０２は、ハイライト撮影位置ＨＰのＧＰＳ情報を含む制御情報を生成し、無人機１００に送信する。無人機１００は、この制御情報を受け付けた後、ＧＰＳ情報に基づいてハイライト撮影位置まで移動し、撮影を開始する（ステップＳ３０４）。

次に、図８から図１１を用いて本開示にかかる第２の実施例を説明する。サッカーなどの大きな会場で行うイベントでは、観客の数が膨大であるため、ハイライトシーンでない場合も偶然複数の観客が注視状態となる可能性が大きい。また、仮にハイライトシーンが発生した場合であっても、注目ポイントが多すぎることにより、処理部２０２の演算の負荷が大きくなる恐れがある。そこで、第２の実施例では、観客を複数の観客ブロックに分割し、観客ブロックごとの注視方向に基づいて注目ポイントを算出する。

図８に示すように、まず、観客は観客席の位置などに基づいて複数の観客ブロックＢ１〜Ｂ１８に分割される。各観客ブロック内の一部または全部の観客席には、視線測定用カメラ（すなわち視線測定部２０１）が設けられており、これらのカメラは継続的に観客の視線の状況を測定する。処理部２０２は、これらのカメラにより測定された観客の視線が３秒間安定するか否かを判断することにより、注視状態を検出する（すなわち、ステップＳ３０１）。

ハイライトシーンが発生した場合、その位置は多くの観客の視線をひきつける。この瞬間において、処理部２０２は、複数の観客が注視状態であることを検出することができ、各観客ブロックごとに、そのブロックに属する観客の注視方向に基づいてブロック注視方向を算出する（すなわち、ステップＳ３０２前半）。ここにいう「ブロック注視方向」とは、観客ブロックの代表的な注視方向を意味し、例えば、その観客ブロックに属する注視状態の観客の方向を示すベクトルの平均値、或いは最も多くの顧客が一致した注視方向、或いはランダムに選ばれた観客の注視方向などが挙げられるが、本開示はこれに限られない。図９においては、説明の便宜のため、観客ブロックＢ１〜Ｂ７のブロック注視方向のみを示し、観客ブロックＢ８〜Ｂ１８の注視方向は省略している。直線Ｌ１は観客ブロックＢ１のブロック注視方向を示し、直線Ｌ２は観客ブロックＢ２のブロック注視方向を示し、直線Ｌ３は観客ブロックＢ３のブロック注視方向を示し、直線Ｌ４は観客ブロックＢ４のブロック注視方向を示し、直線Ｌ５は観客ブロックＢ５のブロック注視方向を示し、直線Ｌ６は観客ブロックＢ６のブロック注視方向を示し、直線Ｌ７は観客ブロックＢ７のブロック注視方向を示す。

そして、処理部２０２は、それぞれのブロック注視方向が交差する注目ポイントを算出する（ステップＳ３０２後半）。図１０において、注目ポイントｎｐ１は直線Ｌ２と直線Ｌ３が交差する位置であり、注目ポイントｎｐ２は直線Ｌ１と直線Ｌ３が交差する位置であり、注目ポイントｎｐ３は直線Ｌ１と直線Ｌ２が交差する位置であり、注目ポイントｎｐ４は直線Ｌ１と直線Ｌ４が交差する位置であり、注目ポイントｎｐ５は直線Ｌ２と直線Ｌ４が交差する位置であり、注目ポイントｎｐ６は直線Ｌ５と直線Ｌ７が交差する位置であり、注目ポイントｎｐ７は直線Ｌ６と直線Ｌ７が交差する位置であり、注目ポイントｎｐ８は直線Ｌ５と直線Ｌ６が交差する位置である。なお、例えば、直線Ｌ３と直線Ｌ４も不図示の位置で交差するが、ステージＳの外側で交差する場合は考慮しなくてよい。

そして、本実施例においては、２台の無人機１００を用意していることから、処理部２０２は、注目ポイントが密集する図１１に示すような二つのハイライト撮影位置ＨＰ１、ＨＰ２を確定し（すなわち、ステップＳ３０３）、ハイライト撮影位置ＨＰ１のＧＰＳ情報を含む制御情報とハイライト撮影位置ＨＰ２のＧＰＳ情報を含む制御情報を生成し、それぞれ異なる無人機１００に送信する。そして、２台の無人機１００はこの制御情報を受け付けた後、ＧＰＳ情報に基づいてそれぞれハイライト撮影位置ＨＰ１とハイライト撮影位置ＨＰ２まで移動し、撮影を開始する（ステップＳ３０４）。

なお、異なるハイライト撮影位置で撮影した情報は、それぞれ異なる表示機に送信してよい。例えば、本実施例において、ハイライト撮影位置ＨＰ１は観客ブロックＢ１〜Ｂ４に属する観客の視線情報に基づいて得られているため、観客ブロックＢ１〜Ｂ４に属する観客に面している表示機にハイライト撮影位置ＨＰ１にいる無人機１００が撮影した動画を出力してよい。同様に、ハイライト撮影位置ＨＰ２は観客ブロックＢ５〜Ｂ７に属する観客の視線情報に基づいて得られているため、観客ブロックＢ５〜Ｂ７に属する観客に面している表示機にハイライト撮影位置ＨＰ２にいる無人機１００が撮影した動画を出力してよい。

以上、本開示について実施形態を用いて説明したが、本開示に係る発明の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００無人機（ＵＡＶ）
１０１カメラ
１０２ジンバル
２００制御装置
２０１視線測定部
２０２処理部
２０３アンテナ
２０４ユーザインターフェース
２０５表示部
２０６記憶部

Claims

イベントの撮影方法であって、
観客の注視状態を検出するステップと、
複数の観客が注視状態である場合に、それぞれの注視方向を示す直線が交差する注目ポ
イントを算出するステップと、
前記注目ポイントが密集する位置をハイライト撮影位置として確定するステップと、
前記ハイライト撮影位置に無人機を飛行させて撮影させるステップと、を有し、
前記注目ポイントが密集する位置をハイライト撮影位置として確定するステップは、
前記注目ポイントが密集する複数のハイライト撮影位置を確定するステップと、を有し
、
前記ハイライト撮影位置に無人機を飛行させて撮影させるステップは、
前記複数のハイライト撮影位置にそれぞれ無人機を飛行させて撮影させるステップと、
を有し、
異なるハイライト撮影位置で撮影した情報をそれぞれ異なる表示機に送信する、
撮影方法。
前記観客は複数の観客ブロックに分割され、
前記それぞれの注視方向を示す直線が交差する注目ポイントを算出するステップは、
各観客ブロックごとに、そのブロックに属する観客の注視方向に基づいてブロック注視
方向を算出するステップと、
前記ブロック注視方向が交差する注目ポイントを算出するステップと、を有する、
請求項１に記載の撮影方法。
イベントの撮影方法であって、
観客の注視状態を検出するステップと、
複数の観客が注視状態である場合に、それぞれの注視方向を示す直線が交差する注目ポ
イントを算出するステップと、
前記注目ポイントが密集する位置をハイライト撮影位置として確定するステップと、
前記ハイライト撮影位置に無人機を飛行させて撮影させるステップと、を有し
前記観客は複数の観客ブロックに分割され、
前記それぞれの注視方向を示す直線が交差する注目ポイントを算出するステップは、
各観客ブロックごとに、そのブロックに属する観客の注視方向に基づいてブロック注視
方向を算出するステップと、
前記ブロック注視方向が交差する注目ポイントを算出するステップと、を有する、
撮影方法。
前記注目ポイントが密集する位置をハイライト撮影位置として確定するステップは、
前記注目ポイントが密集する複数のハイライト撮影位置を確定するステップと、を有し
、
前記ハイライト撮影位置に無人機を飛行させて撮影させるステップは、
前記複数のハイライト撮影位置にそれぞれ無人機を飛行させて撮影させるステップと、
を有する、請求項３に記載の撮影方法。
前記各観客ブロックごとに、そのブロックに属する観客の注視方向に基づいてブロック
注視方向を算出するステップは、
そのブロックに属する観客のうち、最も多くの観客の視線が一致した方向をブロック注
視方向として算出する、請求項２ないし４のいずれか一項に記載の撮影方法。
前記観客の注視状態を検出するステップは、
前記観客の視線を測定するステップと、
前記視線が所定時間以上安定したときに、注視状態であると検出するステップと、を有
する、
請求項１ないし５のいずれか一項に記載の撮影方法。
前記注目ポイントが密集する位置をハイライト撮影位置として確定するステップは、
それぞれの注目ポイントの中心点をハイライト撮影位置として確定するステップと、を
有する、請求項１ないし６のいずれか一項に記載の撮影方法。
無人機と通信可能な制御装置であって、
視線測定部と、処理部と、を有し、前記処理部は、
観客の注視状態を検出し、
複数の観客が注視状態である場合に、それぞれの注視方向を示す直線が交差する注目ポ
イントを算出し、
前記注目ポイントが密集する位置をハイライト撮影位置として確定し、
前記ハイライト撮影位置に無人機を飛行させて撮影させ、
前記処理部は、
前記注目ポイントが密集する複数のハイライト撮影位置を確定し、
前記複数のハイライト撮影位置にそれぞれ無人機を飛行させて撮影させ、
異なるハイライト撮影位置で撮影した情報をそれぞれ異なる表示機に送信する、
制御装置。
前記観客は複数の観客ブロックに分割され、
前記処理部は、
各観客ブロックごとに、そのブロックに属する観客の注視方向に基づいてブロック注視
方向を算出し、
前記ブロック注視方向が交差する注目ポイントを算出する、
請求項８に記載の制御装置。
無人機と通信可能な制御装置であって、
視線測定部と、処理部と、を有し、前記処理部は、
観客の注視状態を検出し、
複数の観客が注視状態である場合に、それぞれの注視方向を示す直線が交差する注目ポ
イントを算出し、
前記注目ポイントが密集する位置をハイライト撮影位置として確定し、
前記ハイライト撮影位置に無人機を飛行させて撮影させ、
前記観客は複数の観客ブロックに分割され、
前記処理部は、
各観客ブロックごとに、そのブロックに属する観客の注視方向に基づいてブロック注視
方向を算出し、
前記ブロック注視方向が交差する注目ポイントを算出する、
制御装置。
前記処理部は、
前記注目ポイントが密集する複数のハイライト撮影位置を確定し、
前記複数のハイライト撮影位置にそれぞれ無人機を飛行させて撮影させる、
請求項１０に記載の制御装置。
前記処理部は、
そのブロックに属する観客のうち、最も多くの観客の視線が一致した方向をブロック注
視方向として算出する、請求項９ないし１１のいずれか一項に記載の制御装置。
前記処理部は、
前記視線測定部により測定された観客の視線が所定時間以上安定したときに、注視状態
であると検出する、
請求項８ないし１２のいずれか一項に記載の制御装置。
前記処理部は、
それぞれの注目ポイントの中心点をハイライト撮影位置として確定する、
請求項８ないし１３のいずれか一項に記載の制御装置。
コンピュータに、
観客の注視状態を検出するステップと、
複数の観客が注視状態である場合に、それぞれの注視方向を示す直線が交差する注目ポ
イントを算出するステップと、
前記注目ポイントが密集する位置をハイライト撮影位置として確定するステップと、
前記ハイライト撮影位置に無人機を飛行させて撮影させるステップと、
を実行させ、
前記注目ポイントが密集する位置をハイライト撮影位置として確定するステップは、
前記注目ポイントが密集する複数のハイライト撮影位置を確定するステップと、を有し
、
前記ハイライト撮影位置に無人機を飛行させて撮影させるステップは、
前記複数のハイライト撮影位置にそれぞれ無人機を飛行させて撮影させるステップと、
を有し、
異なるハイライト撮影位置で撮影した情報をそれぞれ異なる表示機に送信する、
プログラム。
コンピュータに、
観客の注視状態を検出するステップと、
複数の観客が注視状態である場合に、それぞれの注視方向を示す直線が交差する注目ポ
イントを算出するステップと、
前記注目ポイントが密集する位置をハイライト撮影位置として確定するステップと、
前記ハイライト撮影位置に無人機を飛行させて撮影させるステップと、
を実行させ、
前記観客は複数の観客ブロックに分割され、
前記それぞれの注視方向を示す直線が交差する注目ポイントを算出するステップは、
各観客ブロックごとに、そのブロックに属する観客の注視方向に基づいてブロック注視
方向を算出するステップと、
前記ブロック注視方向が交差する注目ポイントを算出するステップと、を有する、
プログラム。
コンピュータに、
観客の注視状態を検出するステップと、
複数の観客が注視状態である場合に、それぞれの注視方向を示す直線が交差する注目ポ
イントを算出するステップと、
前記注目ポイントが密集する位置をハイライト撮影位置として確定するステップと、
前記ハイライト撮影位置に無人機を飛行させて撮影させるステップと、
を実行させ、
前記注目ポイントが密集する位置をハイライト撮影位置として確定するステップは、
前記注目ポイントが密集する複数のハイライト撮影位置を確定するステップと、を有し
、
前記ハイライト撮影位置に無人機を飛行させて撮影させるステップは、
前記複数のハイライト撮影位置にそれぞれ無人機を飛行させて撮影させるステップと、
を有し、
異なるハイライト撮影位置で撮影した情報をそれぞれ異なる表示機に送信する、
プログラムを格納する、記憶媒体。
コンピュータに、
観客の注視状態を検出するステップと、
複数の観客が注視状態である場合に、それぞれの注視方向を示す直線が交差する注目ポ
イントを算出するステップと、
前記注目ポイントが密集する位置をハイライト撮影位置として確定するステップと、
前記ハイライト撮影位置に無人機を飛行させて撮影させるステップと、
を実行させ、
前記観客は複数の観客ブロックに分割され、
前記それぞれの注視方向を示す直線が交差する注目ポイントを算出するステップは、
各観客ブロックごとに、そのブロックに属する観客の注視方向に基づいてブロック注視
方向を算出するステップと、
前記ブロック注視方向が交差する注目ポイントを算出するステップと、を有する、
プログラムを格納する、記憶媒体。