JP7274726B2

JP7274726B2 - 撮影方法

Info

Publication number: JP7274726B2
Application number: JP2019015572A
Authority: JP
Inventors: 彰平川; 望三浦
Original assignee: Reddotdronejapan
Current assignee: Reddotdronejapan
Priority date: 2019-01-31
Filing date: 2019-01-31
Publication date: 2023-05-17
Anticipated expiration: 2039-01-31
Also published as: JP7333129B2; JP2023099556A; US11820488B2; WO2020158892A1; US20210107627A1; EP3919374A4; JP2020123218A; JP2023157917A; EP3919374A1; EP3919374B1; CN112262074A

Description

本発明は、撮影方法に関し、特に、複数の飛行体を利用した撮影対象物の撮影方法に関する。

近年、様々な用途に利用されるドローン（Ｄｒｏｎｅ）に代表される無人航空機（ＵＡＶ：ＵｎｍａｎｎｅｄＡｅｒｉａｌＶｅｈｉｃｌｅ）などの飛行体及び回転翼機（以下、単に「飛行体」と総称する）を利用した様々なサービスが提供されている。

一方、特許文献１には、複数の飛行体を連携させて特定の目的（ガス検知）を果たすシステムが開示されている。

特開２０１６－２００７００号公報

特許文献１の飛行装置は、複数の飛行体のセンサによって、特定領域のガス漏れを検知する技術である。

本発明は、複数の飛行体を連携させて為し得る新たな機能を発揮するシステムを提供する。

本発明によれば、撮影部を備える複数の飛行体によって撮影対象物を撮影する撮影方法であって、
前記飛行体の夫々に所定の順位付けを設定する順位付けステップと、
前記順位付けに基づいた制御を行う制御ステップと、
前記制御に応じて前記飛行体を移動させると共に前記撮影部によって前記対象物を撮影する撮影ステップとを含む、
撮影方法。
が得られる。

本発明によれば、複数の飛行体を連携させて為し得る新たな空撮方法が得られる。

本発明による撮影システムの構成図である。図１の管理端末の構成を表す機能ブロック図である。図１の飛行体の構成を表す機能ブロック図である。本発明による撮影システムの他の構成図である。図４の構成における情報の移動を示す図である。図１のシステムを利用した各飛行体の制御を示す図である。図１のシステムを利用した各飛行体の制御を示す他の図である。図１のシステムを利用した各飛行体の制御を示す更に他の図である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による撮影方法は、以下のような構成を備える。
［項目１］
撮影部を備える複数の飛行体によって撮影対象物を撮影する撮影方法であって、
前記飛行体の夫々に所定の順位付けを設定する順位付けステップと、
前記順位付けに基づいた制御を行う制御ステップと、
前記制御に応じて前記飛行体を移動させると共に前記撮影部によって前記対象物を撮影する撮影ステップとを含む、
撮影方法。
［項目２］
項目１に記載の撮影方法であって、
前記順位付けステップは、
複数の前記飛行体から、親機と、少なくとも一以上の子機とを設定するステップを更に備えており、
前記子機は、前記親機の飛行状態に応じて、飛行が制御される、
撮影方法。
［項目３］
項目１に記載の撮影方法であって、
前記順位付けステップは、
複数の前記飛行体から、複数の親機と、一の前記親機に対応する少なくとも一以上の子機とを設定するステップを更に備えており、
前記子機は、前記親機の飛行状態に応じて、飛行が制御される、
撮影方法。
［項目４］
項目１に記載の撮影方法であって、
前記順位付けステップは、
複数の前記飛行体に同等の順位を設定するステップを更に備えており、
前記飛行体の夫々は、互いの飛行状態に応じて、飛行が制御される、
撮影方法。
［項目５］
項目２乃至項目４のいずれかに記載の撮影方法であって、
前記順位付けステップは、
前記飛行体の順位付けを第１状態に設定する第１順位付けステップと、
前記飛行体の順位付けを前記第１状態とは異なる第２状態に設定する第２順位付けステップとを備える、
撮影方法。
［項目６］
項目１乃至項目５のいずれかに記載の撮影方法であって、
複数の前記飛行体のうち、少なくとも一以上の飛行体に対する操作を受け付けるステップと、
前記操作に基づいて前記飛行体が制御されるステップと、を備える、
撮影方法。
［項目７］
項目１乃至項目６のいずれかに記載の撮影方法であって、
前記撮影ステップは、複数の前記飛行体の相対位置に基づいて移動が制御される、
撮影方法。
［項目８］
項目１乃至項目７のいずれかに記載の撮影方法であって、
前記撮影ステップは、複数の前記飛行体の移動経路に基づいて移動が制御される、
撮影方法。
［項目９］
項目１乃至項目８のいずれかに記載の撮影方法であって、
前記撮影ステップは、一の前記飛行体の前記撮影部の向きに応じて、他の前記飛行体の飛行が制御される、
撮影方法。
［項目１０］
項目１乃至項目９のいずれかに記載の撮影方法であって、
前記撮影ステップは、一の前記飛行体の前記撮影部の起動状態に応じて、他の前記飛行体の飛行が制御される、
撮影方法。
［項目１１］
項目１０のいずれかに記載の撮影方法であって、
前記撮影ステップは、一の前記飛行体の前記撮影部の撮影範囲に応じて、他の前記飛行体の飛行が制御される、
撮影方法。
［項目１２］
項目１乃至項目１１のいずれかに記載の撮影方法であって、
前記撮影ステップは、一の前記飛行体の前記撮影部の撮影範囲に応じて、他の前記飛行体の飛行が制御される、
撮影方法。

＜本発明による実施の形態の詳細＞
以下、本発明の実施の形態による撮影方法について、図面を参照しながら説明する。なお、以下に示す実施の形態は、一例を表すにすぎず、その用途、目的又は規模等に応じて、他の既知の要素や代替手段を採用できる。

＜本発明の構成＞
図１に示されるように、本発明による撮影方法を具体化した撮影システムは、管理端末１０と、中継機２０と、飛行体３０ｍ、飛行体３０ｓ（飛行体３０ｍ及び飛行体３０ｓとを含めて「飛行体３０」と呼ぶ場合がある）とを有している。図示される飛行体は、説明を容易にするために３台ではあるが、台数に限定はない。

各飛行体３０ｍ、飛行体３０ｓの飛行情報（後述する）は、中継機２０を介して管理端末１０に送信される。なお、本実施の形態においては、中継機２０を介して飛行体３０と管理端末１０とを接続することとしていたが、飛行情報は、飛行体３０から直接に管理端末１０に送信することとしてもよい。また、一の飛行体が所謂ハブの役割を果たすなどして、他の全ての飛行体の飛行情報を一括して管理端末１０に送信することとしてもよい。

＜ハードウェア構成：管理端末＞
図２は、管理端末１０のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

図示されるように、管理端末１０は、データベース３と接続されシステムの一部を構成する。管理端末１０は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

管理端末１０は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

プロセッサ１０は、管理端末１０全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。

メモリ１１は、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理端末１０の起動時に実行されるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）、及び各種設定情報等を格納する。

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。

送受信部１３は、管理端末１０をネットワークに接続することとしてもよい。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（ＢｌｕｅｔｏｏｔｈＬｏｗＥｎｅｒｇｙ）の近距離通信インタフェースを備えていてもよい。

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

＜ハードウェア構成：飛行体＞
本実施の形態における飛行体３０は、ドローン（Ｄｒｏｎｅ）、マルチコプター（ＭｕｌｔｉＣｏｐｔｅｒ）、無人飛行体（Ｕｎｍａｎｎｅｄａｅｒｉａｌｖｅｈｉｃｌｅ：ＵＡＶ）、ＲＰＡＳ（ｒｅｍｏｔｅｐｉｌｏｔｅｄａｉｒｃｒａｆｔｓｙｓｔｅｍｓ）、又はＵＡＳ（ＵｎｍａｎｎｅｄＡｉｒｃｒａｆｔＳｙｓｔｅｍｓ）等と称呼されることがある。

飛行体３０は、図３に示される機能ブロックを有している。なお、図２の機能ブロックは最低限の参考構成である。

フライトコントローラは、所謂処理ユニットである。処理ユニットは、プログラマブルプロセッサ（例えば、中央処理ユニット（ＣＰＵ））などの１つ以上のプロセッサを有することができる。処理ユニットは、メモリ２２を有しており、当該メモリにアクセス可能である。メモリ２２は、１つ以上のステップを行うために処理ユニットが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。メモリは、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラやセンサ類２７から取得したデータは、メモリ２２に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。

処理ユニットは、飛行体の状態を制御するように構成された制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために飛行体の推進機構（モータ等）を制御する。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。

処理ユニットは、１つ以上の外部のデバイス（例えば、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部と通信可能である。送受信機は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。例えば、送受信部は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。送受信部は、センサ類で取得したデータ、処理ユニットが生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

本実施の形態によるセンサ類は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

＜ハードウェア構成：中継機＞
本実施の形態においては、飛行体３０と管理端末１０との間に中継機２０を設置することとしていた。即ち、各飛行体３０から管理端末１０にインプットされる飛行状態を示す信号や、各飛行体３０に管理端末１０からアウトプットされる制御信号し全て中継機２０を介して伝達されることとなる。しかしながら、本実施の形態による構成はこれに限られない。例えば、（一部又は全部の）飛行体３０と管理端末１０とが直接に通信を行うこととしてもよい。また、通信手段についても、ＩＰベースのコンピュータネットワークに限らず、携帯電話機やスマートフォン等に対するキャリアネットワーク（４Ｇ－ＬＴＥ、５Ｇ等の通信手段等を利用することができる）や、ＬＰＷＡネットワーク（ＳＩＧＦＯＸ、ＬｏＲａ（ＬｏＲａＷＡＮ）、Ｗｉ－ＦｉＨａＬｏｗ、Ｗｉ－ＳＵＮ、ＲＰＭＡ、Ｆｌｅｘｎｅｔ、ＩＭ９２０、Ｃａｔ．Ｍ１、Ｃａｔ．ＮＢ１などの規格）の帯域を（それのみで、又は併用して）適用することも可能である。

＜データ：飛行情報＞
本実施の形態において、飛行体から得られるデータとしては、位置情報、高度情報、速度情報、バッテリー残量、信号強度、カメラの画像情報、カメラの方向、ズームイン／ズームアウト、等飛行体３０が備えているセンサから取得できるあらゆるデータがあり得る。

また、各飛行体３０は、自己の順位（主従）に関する情報を有している。順位の低い飛行体３０は、より順位の高い飛行体３０に従って飛行し、従たる飛行体３０は、主たる飛行体３０に従って飛行する。なお、順位は使用者によって設定される。また、当初から固定されていてもよいし、何らかのきっかけによって又は使用者の手動により変更されることとしてもよい。

＜制御例１＞
以下、図４及び図５を参照して、本実施の形態による飛行の制御例１を説明する。本制御例においては、図４に示されるように、飛行体３０ｍを親機として、２つの飛行体３０ｓは子機として順位付けがなされている。

また、図示される例においては、飛行体３０ｍはユーザによってプロポ等を利用して手動で飛行する。飛行体３０ｓは、飛行体３０ｓに従って等距離を保つように制御される。換言すれば、飛行体３０ｍ、飛行体３０ｓは、初期の三次元的な相対的位置関係を維持したまま群として飛行する。以下、説明の際には「飛行体３０ｍ」を「親機３０ｍ」と、「飛行体３０ｓ」を「子機３０ｓ」と呼ぶ。

より詳しくは、図５に示されるように、ユーザは、親機３０ｍを手元のプロポにより制御を行う。かかる制御により、プロポから親機３０ｍには制御信号が送信されるとともに（ＳＱ０１）、移動に関する座標情報が中継機２０を介して端末１０に入力される（ＳＱ０２、ＳＱ０３）。管理端末１０は、子機３０ｓ＿１と、子機３０ｓ＿２とに対して送信するための信号を生成し、飛行指示（ＳＱ０４）として中継器２０を介して（更には、子機３０ｓ＿１及び子機３０ｓ＿２のプロポを介して）制御信号を夫々の子機３０ｓ＿１及び子機３０ｓ＿２に送信する（ＳＱ０５＿１及びＳＱ０５－２）。

なお、本実施の形態による飛行体３０の制御においては、親機３０ｍにされた移動制御と同じ制御が子機３０ｓにも適用されていた。しかしながら、子機３０ｓの移動量は必ずしも親機３０ｍと完全同一でなくてもよい。例えば、親機３０ｍの移動量に所定のパラメータを付加して制御することにより、子機の移動量の増加／減少、親機の移動量に応じた所定の移動パターンの適用等、親機の移動量や位置情報に基づいて何らかの基準を読み出し・算出することによって子機の移動制御を行うこととしてもよい。

上述した制御信号により、図６に示されるように、親機３０ｍは、初期位置Ｐ_００からＰ_０１に移動操作される。この時、親機３０ｍの初期位置Ｐ_００における空間座標を（Ｘ_０，Ｙ_０，Ｚ_０）と表した場合、ユーザによる移動後の位置座標はＰ_０１（Ｘ_ａ，Ｙ_ｂ，Ｚ_ｃ）と表すことができる。なお、初期位置Ｐ_００から移動先Ｐ_０１までの座標の変化量は（＋ａ，＋ｂ，＋ｃ）とした。

親機３０ｍがこのように移動した際、制御信号を受信した子機３０ｓ＿１は、初期位置Ｐ_１０（Ｘ_α，Ｙ_β，Ｚ_γ）からＰ_１１（Ｘ_α＋ａ，Ｙ_β＋ｂ，Ｚ_γ＋ｃ）に移動する。また、子機３０ｓ＿２は、初期位置Ｐ_２０（Ｘ_ｐ，Ｙ_ｑ，Ｚ_ｒ）からＰ_２１（Ｘ_ｐ＋ａ，Ｙ_ｑ＋ｂ，Ｚ_ｒ＋ｃ）に移動する。

かかる構成によれば、ユーザは、親機のみを制御するだけで初期状態における親機及び子機との相対的な位置関係を維持したまま、撮影を行うことができる。なお、本実施の形態による子機の制御方法の考え方としては、親機の制御と同様の制御を子機にもルーティングするというものである。また、子機３０ｓ＿１と子機３０ｓ＿２は、親機３０ｍにほぼ遅延なく同じタイミングで移動制御をするものであったが、所定の時間差を設けたり、飛行速度を変更することとしてもよい。

＜制御２＞
続いて、図７を参照して他の制御例を説明する。上記した例と同様に、本制御例においても、親機３０ｍは、手動制御によるものである。図示されるように、親機３０ｍは、スキーヤーの左側をその移動に合わせて後方（Ｐ_００）から前方（Ｐ_０１）に移動するような移動を行う。

子機３０ｓは、これに対応して、スキーヤーの右側をその移動に合わせて後方（Ｐ_００）から前方（Ｐ_０１）に親機３０ｍと対称的に移動する。

＜制御３＞
上記制御２の制御例の場合、親機３０ｍ及び子機３０ｓの高度や、カメラの向きによっては相手型の機体が映ってしまう、ということが起こり得る。そこで例えば、親機３０ｍを移動させた際に移動先における撮影範囲内に子機が含まれてしまう場合には、当該子機を当該撮影範囲外に移動させる制御を行う。

具体的には、図８に示されるように、Ａ及びＢのスキーヤーを飛行体３０ｍ及び飛行体３０ｓとで撮影している場合を例に説明する。本制御例においては、夫々の飛行体３０は、別々のユーザが手動で制御している。このように複数のユーザが飛行体を操作している場合には、各ユーザは、他の飛行体３０を考慮しながら撮影を行うことは難易度が高い。

図示されるように、スキーヤーＡを撮影している飛行体３０ｍをＰ_０１からＰ_０２に移動させようとした際に、スキーヤーｂを撮影している飛行体３０ｓもＰ_１０からＰ_１１に移動させようとすると、飛行体３０ｍの移動後のＰ_０２の位置においては当該飛行体３０ｍの撮影範囲Ｖ内に、Ｐ_１１に位置する飛行体３０ｓが映ってしまう可能性がある。

管理端末１０は（図５参照）、このような場合に、各飛行体の撮影範囲に関する情報を取得して、各飛行体の撮影範囲内に他の飛行体が進入する可能性がある場合には、当該飛行体が撮影範囲に入らないように制御する。図示される例においても、飛行体３０ｓは、Ｐ_１１の手前のＰ_１２の位置で停止させ、飛行体３０ｓが撮影範囲Ｖ内に入らないようにする。

以上説明したように、本実施の形態によれば、飛行体同士を群として制御することにより、一つの被写体であっても様々な角度から同時に撮影することが可能となる。

なお、例えば、親機及び子機の関係は所定の条件に応じて（例えば、被写体競技順位や、注目度等）、適宜変更することとしてもよい。

このほか、特に子機３０ｓの自動飛行制御の例としては、互いの飛行経路やカメラの向き録画中か否か、撮影範囲等に応じて行われることとしてもよい。

なお、少なくとも親機又は子機のいずれかが、自動飛行制御とされていてもよい。この場合、管理端末１０に予め経路（飛行ルート）の情報を入力しておくこととすればよい。

また、管理端末１０の機能の一部又は全部をいずれかの飛行体３０が（単独で又は分散して）担うこととしてもよく、各飛行体３０同士で通信が行われることとしてもよい。

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

１０管理端末
２０中継機
３０、３０ｍ、３０ｓ飛行体

Claims

撮影部を備える複数の飛行体によって撮影対象物を撮影する撮影方法であって、
前記飛行体の夫々に所定の順位付けを設定する順位付けステップと、
前記順位付けに基づいた制御を行う制御ステップと、
前記制御に応じて前記飛行体を移動させると共に前記撮影部によって前記対象物を撮影する撮影ステップと、
前記飛行体の前記撮影部の撮影範囲の情報を取得するステップと、を含み、
前記撮影ステップは、一の前記飛行体の前記撮影部の撮影範囲に他の飛行体が入らないように、他の前記飛行体の飛行が制御され、一の前記飛行体の前記撮影部の撮影範囲に他の飛行体が入らないように、前記撮影範囲の手前で他の前記飛行体の移動を停止させる、撮影方法。
請求項１に記載の撮影方法であって、
一の前記飛行体の前記撮影部の撮影範囲に他の飛行体が入らないように、他の前記飛行体を前記撮影範囲の範囲外に移動させる、撮影方法。
請求項１又は２に記載の撮影方法であって、
前記順位付けステップは、
複数の前記飛行体から、親機と、少なくとも一以上の子機とを設定するステップを更に備えており、
前記子機は、前記親機の飛行状態に応じて、飛行が制御される、
撮影方法。
請求項１又は２に記載の撮影方法であって、
前記順位付けステップは、
複数の前記飛行体から、複数の親機と、一の前記親機に対応する少なくとも一以上の子機とを設定するステップを更に備えており、
前記子機は、前記親機の飛行状態に応じて、飛行が制御される、
撮影方法。
請求項１又は２のいずれかに記載の撮影方法であって、
前記順位付けステップは、
複数の前記飛行体に同等の順位を設定するステップを更に備えており、
前記飛行体の夫々は、互いの飛行状態に応じて、飛行が制御される、
撮影方法。
請求項１乃至請求項５のいずれかに記載の撮影方法であって、
前記順位付けステップは、
前記飛行体の順位付けを第１状態に設定する第１順位付けステップと、
前記飛行体の順位付けを前記第１状態とは異なる第２状態に設定する第２順位付けステップとを備える、
撮影方法。
請求項１乃至請求項６のいずれかに記載の撮影方法であって、
複数の前記飛行体のうち、少なくとも一以上の飛行体に対する操作を受け付けるステップと、
前記操作に基づいて前記飛行体が制御されるステップと、を備える、
撮影方法。
請求項１乃至請求項７のいずれかに記載の撮影方法であって、
前記撮影ステップは、複数の前記飛行体の相対位置に基づいて移動が制御される、
撮影方法。
請求項１乃至請求項８のいずれかに記載の撮影方法であって、
前記撮影ステップは、複数の前記飛行体の移動経路に基づいて移動が制御される、
撮影方法。
請求項１乃至請求項９のいずれかに記載の撮影方法であって、
前記撮影ステップは、一の前記飛行体の前記撮影部の向きに応じて、他の前記飛行体の飛行が制御される、
撮影方法。
請求項１乃至請求項１０のいずれかに記載の撮影方法であって、
前記撮影ステップは、一の前記飛行体の前記撮影部の起動状態に応じて、他の前記飛行体の飛行が制御される、
撮影方法。