JP6785412B2 - 無人航空機システム - Google Patents

Description

本開示は、無人航空機（ＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｉｒ Ｖｅｈｉｃｌｅ））システムに関する。

無人航空機の多くはカメラを搭載している。そのカメラから得られた映像信号はデータ収集の手段として使用する以外に、地上からその映像信号を随時確認し、無人航空機の操縦の補助とする目的でも使用される。特許文献１には、無人航空機に搭載されたカメラの映像を使用して無人航空機を操縦することが開示されている。

無人航空機の本体が目視できる距離であれば、実際の無人航空機を見ながらの操作も可能であるが、無人航空機が目視できないくらいの距離になったり、目視は出来ても無人航空機の向きなどの確認が困難な距離になったりした場合には、前述の映像信号が無人航空機を操縦する上で便利である。

特開２０１６−９４１８８号公報

このとき、搭載しているカメラの画角が狭い場合には、周辺の地理情報は限られた範囲しか確認できない。したがって、無人航空機自身の位置や、無人航空機の向いている方向を把握するのが困難となる。

本開示は、無人航空機本体の操縦が容易になる無人航空機システムを提供することを目的とする。

本開示にかかる無人航空機システムは、カメラ部を有する無人航空機と、無人航空機を操縦可能な操縦用端末と、カメラ部で撮影された映像を表示する表示部とを備える。カメラ部は、第１映像を撮影する第１カメラと、第２映像を撮影する第２カメラとを有する。第１カメラの画角は第２カメラの画角よりも狭い。

本開示の無人航空機システムは、第１カメラの画角が狭くても、第２カメラの映像を併用できる。これにより無人航空機本体の操縦が容易になる。

図１は、実施の形態１にかかる無人航空機システムの全体構成を示す図である。 図２は、実施の形態１にかかるカメラ部の電気的構成を示す図である。 図３は、実施の形態１にかかる操縦用端末の電気的構成を示す図である。 図４は、実施の形態１にかかる別のカメラ部を搭載した無人航空機の構成を示す図である。 図５は、実施の形態１にかかる無人航空機システムの動作の一例を示す動作シーケンス図である。 図６は、表示部に表示される映像の表示例を示す図である。 図７は、表示部に表示される映像の表示例を示す図である。 図８は、表示部に表示される映像の表示例を示す図である。 図９は、表示部に表示される映像の表示例を示す図である。 図１０は、表示部に表示される映像の表示例を示す図である。 図１１は、表示部に表示される映像の表示例を示す図である。 図１２は、表示部に表示される映像の表示例を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

本開示の無人航空機システムの用途の一例として、防犯やセキュリティ用途が挙げられる。例えば無人航空機で、特定の車や人物を追う場合を想定できる。

無人航空機の例として、例えば遠隔操縦できるヘリコプターや、クアッドコプターなどの無人回翼機が挙げられる。操縦者は、操縦用端末を用いて遠隔地から無人航空機を操縦できる。

無人航空機は、第１カメラとしてのメインカメラと、第２カメラとしてのサブカメラとを備えている。メインカメラには、サブカメラより画角の狭い望遠レンズが搭載されている。サブカメラには、メインカメラより画角の広い広角レンズが搭載されている。

メインカメラで車のナンバーや人物の顔などを撮影し、サブカメラで車や人物等を含む周辺の風景を撮影できる。これらの映像は、表示部に表示できる。図１２は、表示部におけるこれらの映像の表示の一例である。図１２では、サブカメラで撮影された映像（第２映像７１）と、メインカメラで撮影された映像（第１映像６１）とを重畳して表示している。このような映像は、無人航空機の操縦者やカメラ部の撮影者等の操作者に利用される。

操縦者は、表示部の映像から、目的となる車や人物を詳細に確認しながら、広範な周辺の地理情報や、無人航空機自体の位置並びに無人航空機の向いている方向等の情報を得る事ができる。したがって、無人航空機をより的確に操縦できる。

また、カメラで撮影する際に、サブカメラの映像で全体の位置関係や方向を確認しながら、メインカメラで目的の映像を撮影できる。したがって、例えば映像を確認しながらメインカメラの向きを調整することもできる。つまり、より的確なデータ収集ができる。

なお、一つのカメラのみを用いる場合、カメラの画角が狭いと周辺の地理情報を充分に得られず、無人航空機の位置や無人航空機の向いている方向を把握することは難しい。また、画角が狭いと、目的とする主被写体の位置や向きを把握することが難しく、的確な撮影をすることが難しい場合がある。これに対し本開示では、画角の広いカメラと狭いカメラとを用いるため、操縦の観点からも、データ収集の観点からも、有利である。

表示部での映像の表示方法は、種々挙げられる。映像の表示例を含め、以下実施の形態を説明する。

［実施の形態１］
以下、図１〜図３、図５〜図１２を用いて、実施の形態１について説明する。

［１．構成］
［１−１．無人航空機システムの全体構成］
図１は、実施の形態１にかかる無人航空機システムの全体構成を示す図である。無人航空機システムは、無人航空機５０と、操縦用端末３０と、表示部３２とを備える。操縦用端末３０は、無人航空機５０を操縦できる。実施の形態１では、表示部３２と操縦用端末３０とは一体である。

無人航空機５０は、無人航空機本体１０と、４つのロータ１１ａ〜ロータ１１ｄと、取付け部材１２と、カメラ部２０とを備えている。

４つのロータ１１ａ〜ロータ１１ｄは、同一平面内に配置され、無人航空機本体１０に取り付けられている。これらのロータ１１ａ〜ロータ１１ｄのモータは、独立に操縦可能である。ロータ１１ａ〜ロータ１１ｄの回転は、制御部により制御される。

取付け部材１２は、無人航空機本体１０に接続されている。取付け部材１２は、無人航空機本体１０と一体となっていてもよい。

カメラ部２０は、取付け部材１２を用いて無人航空機本体１０に装着されている。

カメラ部２０は、メインカメラ２３とサブカメラ２２とを有する。メインカメラ２３とサブカメラ２２とは、一体に構成されている。メインカメラ２３とサブカメラ２２の構成は後述する。カメラ部２０によって得られた映像信号（映像データ）は、収集データとして使用される以外に、地上から随時確認され、無人航空機５０の操縦の補助としても使用される。

操縦用端末３０は、無人航空機５０のカメラ部２０によって撮影された映像信号を受信する。このように実施の形態１の無人航空機システムは、無人航空機５０で撮影した映像を操縦用端末３０の表示部３２で確認するための映像伝送手段を備える。操縦用端末３０は、無人航空機５０のカメラ部２０から得られた映像信号（映像データ）以外に、無人航空機５０に設置された各種センサ（高度計、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、加速度計など）による飛行データを、無人航空機５０から受信する。操縦用端末３０は、操作部３３と、表示部３２とを備える。

操作部３３は、操縦用端末３０のコンソールに設けられている。操作部３３は、十字キー３３ａ，３３ｂや、操作釦３３ｃ，３３ｄ，３３ｅ等のハードキーを含む。無人航空機５０の操縦者は、操作部３３を用いて無人航空機５０に後述する各種コマンドを送信して無人航空機５０を操縦する。

表示部３２は、カメラ部２０で撮影された映像を表示する。表示部３２は、操縦用端末３０と一体であるが、独立していてもよい。ここで、無人航空機５０が目視できる距離に位置する場合は、無人航空機５０自体を見ながら操作できる。しかし、無人航空機５０が目視できないくらい、あるいは目視は出来ても無人航空機５０の向きなどの確認が困難なくらい遠く離れている場合には、つまり数百メートル以上離れている場合には、無人航空機を操縦する上で映像信号（映像データ）が有用である。したがって、操縦者は、操縦の際、表示部３２の画面に映し出された映像を見て無人航空機５０を操縦する。

カメラ部２０の撮影者（実施の形態１では操縦者）は、表示部３２の画面に映し出された映像を見て、カメラ部２０の向きを調整することができる。したがって、より目的に応じた撮影をすることができる。表示部３２の映像を記録し、収集データとして用いる場合、より適切なデータを収集できる。

なお、実施の形態１では、無人航空機本体１０の動作に関する処理とカメラ部２０の動作に関する処理とを、カメラ部２０に搭載された制御部に相当するコントローラ４５がまとめて行うとして説明する。

［１−２．カメラ部の構成］
続いて、カメラ部２０の電気的構成について、図２を用いて説明する。

［１−２−１．メインカメラの構成］
まず、図２を用いて、メインカメラ２３の電気的構成について説明する。メインカメラ２３は、メイン光学系２４ａにより形成された被写体像をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ２５ａ（以下イメージセンサ２５ａという）で撮像する。イメージセンサ２５ａは撮像した被写体像に基づく撮像データ（ＲＡＷデータ）を生成する。撮像データは、アナログ−デジタル・コンバータ（以下ＡＤＣ２６ａという）でデジタル信号に変換される。メイン映像処理部２７ａは、デジタル信号に変換された撮像データに対して各種処理を施して、映像データを生成する。コントローラ４５は、メイン映像処理部２７ａにて生成された映像データをカードスロット４０ａに装着されたメモリカード４０ｂに記録する。

メイン光学系２４ａは、一つまたは複数のレンズを含む。実施の形態１では、メイン光学系２４ａは、ズームレンズ１１１と、フォーカスレンズ１１２と、絞り１１３等とを含む。ズームレンズ１１１を光軸に沿って移動させることにより、被写体像を拡大、縮小できる。また、フォーカスレンズ１１２を光軸に沿って移動させることにより、被写体像のピントを調整できる。また、絞り１１３は、使用者の設定に応じて若しくは自動で、開口部の大きさが調整され、透過する光の量を調整する。なお、メインカメラ２３には、望遠レンズが搭載されている。メインカメラ２３の画角は、後述するサブカメラ２２の画角よりも狭い。またメインカメラ２３は、レンズ交換式である。

メインレンズ駆動部２９ａは、ズームレンズ１１１や、フォーカスレンズ１１２、絞り１１３をそれぞれ駆動させるアクチュエータを含む。そして、メインレンズ駆動部２９ａは、例えば、各アクチュエータを制御する。

イメージセンサ２５ａは、メイン光学系２４ａを介して形成された被写体像を撮像して、撮像データを生成する。イメージセンサ２５ａは、露光、転送、電子シャッタなどの各種動作を行う。イメージセンサ２５ａは、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの映像データを生成する。イメージセンサ２５ａにおける、撮像データの生成タイミングおよび電子シャッタ動作は、コントローラ４５によって制御される。なお、撮像素子はＣＭＯＳイメージセンサに限定されず、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（ＣＣＤ）イメージセンサやｎ-Ｃｈａｎｎｅｌ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＮＭＯＳ）イメージセンサなど、他のイメージセンサを用いてもよい。

ＡＤＣ２６ａは、イメージセンサ２５ａで生成されたアナログ映像データをデジタル映像データに変換する。

メイン映像処理部２７ａは、ＡＤＣ２６ａでデジタル変換された映像データに対して各種処理を施し、メモリカード４０ｂに格納するための映像データを生成する。各種処理としては、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、Ｈ．２６４規格やＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）２規格に準拠した圧縮形式等の圧縮処理、伸張処理等が挙げられるが、これらに限定されない。メイン映像処理部２７ａは、ハードワイヤードな電子回路で構成されてもよいし、プログラムを用いたマイクロコンピュータなどで構成されてもよい。

コントローラ４５は、カメラ部２０全体の動作を統括制御する。コントローラ４５は、ハードワイヤードな電子回路で構成されてもよいし、マイクロコンピュータなどで構成されてもよい。また、コントローラ４５は、メイン映像処理部２７ａなどと共に１つの半導体チップで構成されていてもよい。また、コントローラ４５は、内部にＲｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）を有している。ＲＯＭには、他の通信機器とのＷｉＦｉ通信を確立するために必要なＳＳＩＤ（Ｓｅｒｖｉｃｅ Ｓｅｔ Ｉｄｅｎｔｉｆｉｅｒ）、ＷＥＰキー（Ｗｉｒｅｄ Ｅｑｕｉｖａｌｅｎｔ Ｐｒｉｖａｃｙ Ｋｅｙ）が記憶されている。コントローラ４５は、必要に応じて、ＲＯＭからＳＳＩＤ、ＷＥＰキーを読み出すことができる。また、ＲＯＭには、オートフォーカス制御（ＡＦ制御）や、ロータ１１ａ〜ロータ１１ｄの回転制御や、通信制御に関するプログラムの他、カメラ部２０全体の動作を統括制御するためのプログラムが記憶されている。

バッファメモリ２８ａは、メイン映像処理部２７ａやコントローラ４５のワークメモリとして機能する記憶媒体である。バッファメモリ２８ａは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより実現される。

［１−２−２．サブカメラの構成］
次に、図２を用いて、サブカメラ２２の電気的構成について説明する。サブカメラ２２は、サブ光学系２４ｂにより形成された被写体像を、ＣＭＯＳイメージセンサ２５ｂ（以下イメージセンサ２５ｂと言う）で撮像する。イメージセンサ２５ｂは、撮像された被写体像に基づく撮像データ（ＲＡＷデータ）を生成する。撮像データは、アナログ−デジタル・コンバータ（以下ＡＤＣ２６ｂと言う）でデジタル信号に変換される。サブ映像処理部２７ｂは、デジタル信号に変換された撮像データに対して各種処理を施して、映像データを生成する。コントローラ４５は、サブ映像処理部２７ｂにて生成された映像データを、カードスロット４０ａに装着されたメモリカード４０ｂに記録する。

サブ光学系２４ｂは、一つまたは複数のレンズを含む。サブ光学系２４ｂは、フォーカスレンズ１１４、絞り１１５等により構成される。各要素の構成はメインカメラ２３に備えられたものと同様であるとして、詳細な説明を省略する。ただしサブカメラ２２には、広角レンズが搭載されている。なお、サブカメラ２２のサブ光学系２４ｂを構成する要素の種類は、フォーカスレンズ１１４や絞り１１５に限られたものではなく、ズームレンズ等を有していてもよい。

サブカメラ２２が有するサブレンズ駆動部２９ｂ、イメージセンサ２５ｂ、ＡＤＣ２６ｂ、サブ映像処理部２７ｂ、バッファメモリ２８ｂの主な構成は、メインカメラ２３が有するメインレンズ駆動部２９ａ、イメージセンサ２５ａ、ＡＤＣ２６ａ、メイン映像処理部２７ａ、バッファメモリ２８ａの主な構成と同様であるとして、詳細な説明を省略する。なお、サブカメラ２２のサブ光学系２４ｂとして固定焦点の光学系を用いる場合は、サブレンズ駆動部２９ｂが存在しなくてもよい。

以上でカメラ部２０の、メインカメラ２３及びサブカメラ２２の電気的構成について説明した。次にカメラ部２０に含まれる他の構成要素について説明する。

カメラ部２０は、さらにカードスロット４０ａと、ＷｉＦｉモジュール４１とを備える。

カードスロット４０ａは、メモリカード４０ｂを着脱可能である。カードスロット４０ａは、カメラ部２０とメモリカード４０ｂとを電気的かつ機械的に接続する接続手段である。

メモリカード４０ｂは、内部にフラッシュメモリ等の記録素子を備えた外部メモリである。メモリカード４０ｂは、メイン映像処理部２７ａ、サブ映像処理部２７ｂで生成される映像データなどのデータを格納できる。

ＷｉＦｉモジュール４１は、映像伝達手段の一例である。ＷｉＦｉモジュール４１は、通信規格ＩＥＥＥ８０２．１１ｎに準拠した通信を行う通信モジュールである。ＷｉＦｉモジュール４１は、ＷｉＦｉアンテナを内蔵している。カメラ部２０は、ＷｉＦｉモジュール４１を介して、ＷｉＦｉモジュール４２を搭載した他の通信機器である操縦用端末３０と通信できる。ＷｉＦｉモジュール４１は、操縦用端末３０のコンソールの操作部３３を用いて送られてきた各種コマンドに対応する動作指示信号を受信する。カメラ部２０のコントローラ４５は、この動作指示信号に応じてロータ１１ａ〜ロータ１１ｄのモータ駆動や、カメラ部２０で撮影された撮影データを送信又は記録させる動作や、カメラ部２０で撮影された撮影データを記録・停止させる動作を実施する。カメラ部２０は、ＷｉＦｉモジュール４１を介して、他の通信機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。なお、映像伝達手段として、ＷｉＦｉモジュール４１に換えて、他の通信規格に準拠した通信を行う通信モジュールを使用しても構わない。

［１−３．操縦用端末の構成］
図３を用いて、操縦用端末３０の電気的構成について説明する。操縦用端末３０は、ＷｉＦｉモジュール４２と、映像処理部３４と、バッファメモリ３６と、コントローラ３７と、表示部３２と、操作部３３とを備えている。

ＷｉＦｉモジュール４２は、信号の送受信手段の一例である。ＷｉＦｉモジュール４２は、通信規格ＩＥＥＥ８０２．１１ｎに準拠した通信を行う通信モジュールである。ＷｉＦｉモジュール４２は、ＷｉＦｉアンテナを内蔵している。ＷｉＦｉモジュール４２は、カメラ部２０のＷｉＦｉモジュール４１から送信された映像信号（映像データ）を受信する。カメラ部２０のＷｉＦｉモジュール４１から、無人航空機５０に設置された各種センサ（高度計、ＧＰＳ、加速度計など）による飛行データが送られてくる場合は、ＷｉＦｉモジュール４２は、この飛行データも受信する。

映像処理部３４は、Ｐｉｃｔｕｒｅ-ＩＮ-Ｐｉｃｔｕｒｅ（ＰｉｎＰ）処理部３５を内蔵する。ＰｉｎＰ処理部３５は、ＷｉＦｉモジュール４２で受信した映像信号を用いてメイン映像にサブ映像を重畳処理（ＰｉｎＰ処理）する。コントローラ３７は、ＰｉｎＰ処理部３５にて重畳処理された映像データを表示部３２に表示する。

バッファメモリ３６は、映像処理部３４やコントローラ３７のワークメモリとして機能する記憶媒体である。バッファメモリ３６は、例えばＤＲＡＭである。

コントローラ３７は、操縦用端末３０全体の動作を統括制御する。コントローラ３７は、操作コマンドに基づいて動作指示信号を生成し、ＷｉＦｉモジュール４２を用いて無人航空機５０へ動作指示信号を送信する。コントローラ３７は、ハードワイヤードな電子回路で構成されてもよいし、マイクロコンピュータなどで構成してもよい。またコントローラ３７は、映像処理部３４などと共に１つの半導体チップで構成されてもよい。またコントローラ３７は、内部にＲＯＭを有している。ＲＯＭには、他の通信機器とのＷｉＦｉ通信を確立するために必要なＳＳＩＤ、ＷＥＰキーが記憶されている。コントローラ３７は、必要に応じて、ＲＯＭからＳＳＩＤ、ＷＥＰキーを読み出すことができる。また、ＲＯＭには、通信制御に関するプログラムの他、操縦用端末３０全体の動作を統括制御するためのプログラムが記憶されている。

表示部３２は、例えば液晶モニタである。表示部３２は、映像処理部３４で処理された映像データに基づく映像を表示する。無人航空機５０から、無人航空機５０に設置された各種センサ（高度計、ＧＰＳ、加速度計など）による飛行データが送られてくる場合は、この飛行データを映像と共に表示部３２に表示させてもよい。なお、表示部３２は、液晶モニタに限定されず、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）モニタなど、他のモニタを用いてもよい。

操作部３３は、操縦用端末３０のコンソールに備わっている十字キー３３ａ，３３ｂや操作釦３３ｃ，３３ｄ，３３ｅ等のハードキーの総称である。操作部３３は、操縦者などの操作者による操作を受け付ける。操作部３３は、操作者による操作を受け付けると、その操作に対応した操作コマンドをコントローラ３７に通知する。なお、十字キー３３ａ，３３ｂに換えてジョイスティックなどのレバーを用いることもできる。操縦者は、操作部３３を用いて無人航空機５０に各種コマンドを送信して無人航空機５０を操縦する。

操作部３３から送信されるコマンドには、無人航空機５０を離陸・着陸させる離陸・着陸コマンド、無人航空機５０を上下・左右移動などの姿勢制御を行わせるコマンド等の操縦コマンドや、カメラ部２０で撮影された撮影データを送信させる撮影データ送信コマンド、カメラ部２０で撮影された撮影データを記録・停止させる記録開始・停止コマンドなどがある。操作部３３のコマンド割り当てを以下に例示する。例えば、十字キー３３ａには、無人航空機５０の姿勢を制御する姿勢制御コマンドを割り当てる。操作釦３３ｃには、撮影データ送信コマンドを割り当てる。操作釦３３ｄには、記録開始・停止コマンドを割り当てる。操作釦３３ｅには、離陸・着陸コマンドを割り当てる。なお、メインカメラ２３とサブカメラ２２のカメラアングルを同期して変更できる場合は、十字キー３３ｂにカメラアングルを変更するカメラアングルコマンドを割り当てても良い。

［２．動作］
以上のように構成された無人航空機システムの動作の一例を以下に説明する。

図５は、実施の形態１にかかる無人航空機システムの動作の一例を示す動作シーケンス図である。図５では、操縦用端末３０を用いて、無人航空機本体１０とカメラ部２０とを操作する動作と、操縦用端末３０で表示部３２にメインカメラ２３とサブカメラ２２の映像を重畳して表示する動作を説明する。

操縦者は、操縦用端末３０から、操作釦３３ｅを用いて離陸コマンドを無人航空機５０に送る。具体的には、コントローラ３７は、離陸コマンドに対応した動作指示信号をＷｉＦｉモジュール４２に送信させる。無人航空機５０のＷｉＦｉモジュール４１は、この動作指示信号を受信する。カメラ部２０のコントローラ４５が、この動作指示信号に応じてロータ１１ａ〜ロータ１１ｄのモータを駆動させることで、無人航空機５０は離陸する。

次に操縦者は、操作釦３３ｃを用いて映像データ送信コマンドを無人航空機５０に送る。具体的には、コントローラ３７は、映像データ送信コマンドに対応した動作指示信号をＷｉＦｉモジュール４２に送信させる。無人航空機５０のＷｉＦｉモジュール４１は、この動作指示信号を受信する。カメラ部２０のコントローラ４５は、この動作指示信号に応じてメインカメラ２３とサブカメラ２２の撮影を開始させるとともに、それぞれが撮影した映像のデータをＷｉＦｉモジュール４１に送信させる。操縦用端末３０のＷｉＦｉモジュール４２は、無人航空機５０のＷｉＦｉモジュール４１から送信された映像のデータを受信する。コントローラ３７は、受信した映像のデータをＰｉｎＰ処理部３５に重畳させる。すなわちメインカメラ２３の撮影映像（第１映像）とサブカメラ２２の撮影映像（第２映像）のそれぞれの映像のデータは、カメラ部２０から送信され、操縦用端末３０で重畳処理される。

その後コントローラ３７は、重畳処理された映像を操縦用端末３０の表示部３２に表示させる。重畳表示の態様は、後述する。操縦者は、表示部３２に重畳表示された映像を見ながら、無人航空機５０の操縦を行うことができる。

次に操縦者は、操作釦３３ｄを用いて記録開始コマンドを無人航空機５０に送る。具体的には、コントローラ３７は、記録開始コマンドに対応した動作指示信号をＷｉＦｉモジュール４２に送信させる。無人航空機５０のＷｉＦｉモジュール４１は、この動作指示信号を受信する。カメラ部２０のコントローラ４５は、この動作指示信号に応じてメインカメラ２３とサブカメラ２２によって撮影された映像の、メモリカード４０ｂへの記録を開始させる。

その後、操縦者が、無人航空機５０の飛行プランに沿って各種操縦コマンドを無人航空機５０に送ることで、無人航空機５０の飛行を制御できる。飛行プランが終わると、撮影映像の記録を停止させる記録停止コマンドと、無人航空機５０を着陸させる着陸コマンドを無人航空機５０に送る。

カメラ部２０は、記録停止コマンドを受信すると、撮影映像の記録を停止する。無人航空機５０は、着陸コマンドを受信すると、着陸する。

［３．表示例］
以下、図６〜図１２を用いて、カメラ部２０で撮影された映像の、表示部３２における表示例を説明する。

図６〜図９では、メインカメラ２３（第１カメラ）で山および麓の道路（第１映像６０）を撮影し、サブカメラ２２（第２カメラ）で第１映像６０を含む風景全体（第２映像７０）を撮影している場合の表示例を示す。

図６では、第１映像６０内に第２映像７０を重畳した映像を表示している。さらに図６では、第２映像７０内に、第１映像６０の領域に相当する領域枠８０を重畳して表示している。領域枠８０の中を、メインカメラ撮影領域９０と呼ぶ。第１映像６０に重畳して表示される第２映像７０の大きさは、メインカメラ２３とサブカメラ２２の位置関係、およびメイン光学系２４ａのレンズの焦点距離によって決定される。第２映像７０の大きさや、第１映像６０内で第２映像を表示する場所の少なくとも一方は、操縦者等の操作者による操作又は自動で、かつ第１映像６０の確認に影響がない範囲で、変更可能にしてもよい。

図６の表示例では、第１映像６０と第２映像７０の対応関係がわかるように、第２映像７０内にメインカメラ撮影領域９０に相当する領域枠８０を表示している。領域枠８０の枠線は破線であるが、枠線の種類や色に特に制約はない。また、操縦用端末３０は、メインカメラ２３に装着されている交換レンズの焦点距離に応じて領域枠８０の大きさを変更する。なお、領域枠８０は、映像処理部３４で生成され、第２映像７０に重畳される。これらの重畳処理は、コントローラ３７により制御される。そしてコントローラ３７は、表示部３２に、図６に示すような第１映像６０と、第２映像７０と、領域枠８０とが重畳した映像を表示させる。

表示部３２での表示例としては、図７に示すように、図６の表示例から領域枠８０を取り除いた表示態様でもよい。

また、図８に示すように、第２映像７０内に、第１映像６０を表示することも可能である。第２映像７０には、メインカメラ撮影領域９０に相当する領域に、領域枠８０を重畳して表示できる。

さらに、図９に示すように、図８に示すような表示態様から第１映像６０を取り除いてもよい。すなわち図９に示すように、第２映像７０と、メインカメラ撮影領域９０に相当する領域枠８０とを重畳した映像を表示させてもよい。

図６〜図９のいずれかの表示態様を、図６〜図９に示す他の表示態様や、重畳処理されていない第１映像６０または第２映像７０に切り替えられるようにしてもよい。例えば図９の領域枠８０を、操作部３３を用いて選択すると、表示部３２の表示が第１映像６０に切り替わったり、あるいは図６〜図８の表示態様に切り替わったりしてもよい。

操縦者は、操縦の際、無人航空機５０が目視できないくらい離れたり、目視は出来ても無人航空機５０の向きなどの確認が困難となる程度に離れたりした場合にも、図６〜図８の何れかの重畳映像を見ながら操縦用端末３０で無人航空機５０を操縦できる。また、本開示にかかる無人航空機システムは、メインカメラ２３の画角が狭くても、サブカメラ２２の映像を補助として使用することで無人航空機本体１０の操縦が容易になる。

さらに図１０〜図１２では、メインカメラ２３（第１カメラ）で車のナンバーやドライバー等を確認できる映像（第１映像６１）を撮影し、サブカメラ２２（第２カメラ）で第１映像６１を含む道路全体の映像（第２映像７１）を撮影している場合の表示例を示す。

図１０では、表示部３２は、第２映像７１内に、第１映像６１の領域に相当する領域枠８１を重畳した映像を表示している。図１１では、表示部３２は、第１映像６１のみを表示している。図１０のような表示態様である時に、操縦者等の操作者が領域枠８１を操作部３３で選択することで、図１１の表示態様に切り替えてもよい。例えば操作者が、防犯セキュリティの観点から、図１０に示す車を追っている場合に、図１０の画面を確認しながら、道路における車の位置、向きを把握できる。そして図１１の画面に切り替えることで、車のナンバーや、運転者の顔を確認できる。そして再び図１０の画面に戻してもよい。

図１２では、表示部３２は、第１映像６１内に第２映像７１を重畳した映像を表示している。また図１２では、表示部３２は、第２映像７１内に、第１映像６１の領域（メインカメラ撮影領域９１）に相当する領域枠８１をさらに表示している。

図１２のような重畳映像は、図６に示す重畳映像のように、操縦用端末３０の映像処理部３４で生成されてもよいが、例えば無人航空機本体１０あるいはカメラ部２０で生成されてもよい。すなわち無人航空機本体１０あるいはカメラ部２０が映像処理部３４を有していてもよい。この場合は、第１映像６１のデータと第２映像７１のデータとが無人航空機５０で合成される。そして合成された映像データが、ＷｉＦｉモジュール４１を介して操縦用端末３０へ送信され、表示部３２で表示される。

無人航空機５０で第１映像６１と第２映像７１とを重畳させる場合は、操縦用端末３０へ送るデータを一本化できる。そして第１映像６１と第２映像７１のデータを別々に送るよりも送信するデータの容量を軽くできる。

ここで、表示部３２での表示態様を、図１２に示す表示態様から、例えば図１１に示す表示態様へ切り替えられるようにしてもよい。表示部３２での表示態様を切り替える場合の動作を、図５の動作シーケンス図に準じて説明する。

例えば、操縦用端末３０からの無人航空機５０へ、図１２に示すような重畳映像のデータを送信させるコマンド（データ送信コマンド）を送信する。無人航空機５０は、合成された重畳映像のデータを操縦用端末３０に送信する。送信された重畳映像のデータに基づき、表示部３２は、図１２に示すような映像を表示する。

次に、操縦用端末３０から無人航空機５０へ、映像の切替コマンドを送信する。この切替コマンドは、例えば図１２に示すような重畳映像から、図１１に示すような第１映像６１へ表示を切り替えるように指示するコマンドである。無人航空機５０は、切替コマンドに応じて切り替えられた映像データ、すなわち第１映像６１のデータを送信する。データを受信した操縦用端末３０は、表示部３２に、図１１に示すような第１映像６１を表示させる。

第１映像６１から再び図１２に示す重畳映像に切り替える場合は、さらに操縦用端末３０から無人航空機５０へ切替コマンドを送信する。無人航空機５０は、再び映像を合成して重畳映像のデータを操縦用端末３０に送信する。

［４．まとめ］
無人航空機システムの無人航空機５０は、メインカメラ２３とサブカメラ２２とを備えている。これにより無人航空機システムは、メインカメラ２３の画角が狭くても、サブカメラ２２の映像を補助として使用できる。したがって、無人航空機本体１０の操縦がより容易になる。また、カメラ部で撮影する操作もより容易となる。

また表示部３２は、メインカメラ２３の第１映像（６０，６１）とサブカメラ２２の第２映像（７０，７１）とを重畳して表示できる。すなわち無人航空機５０の操縦者は、図６〜図８、図１２のような重畳映像を見ながら操縦できるため、無人航空機本体１０の操縦がさらに容易になる。また、カメラ部２０で撮影する操作もさらに容易となる。

第１映像（６０，６１）と第２映像（７０，７１）とを重畳して表示する場合、第１映像（６０，６１）内に、第１映像（６０，６１）より小さな第２映像（７０，７１）を重畳して表示してもよく、第２映像（７０，７１）内に、第２映像（７０，７１）より小さな第１映像（６０，６１）を重畳して表示してもよい。目的に応じて重畳態様を設定することで、無人航空機本体１０の操縦がさらに容易になる。また、カメラ部２０で撮影する操作もさらに容易となる。

また表示部３２は、サブカメラ２２の第２映像（７０，７１）内に、メインカメラ２３の第１映像（６０，６１）の領域に相当する領域枠（８０，８１）を重畳した映像を表示できる。すなわち無人航空機５０の操縦者は、図９あるいは図１０のような重畳映像を確認しながら操作できる。つまり、必要に応じて、第２映像（７０，７１）をメインに確認できる。

また表示部３２は、第２映像（７０，７１）内に、第１映像（６０，６１）の領域に相当する領域枠（８０，８１）を表示できる。これにより、第２映像（７０，７１）を確認しながら、第１映像（６０，６１）が何を表示するかを把握できる。

また表示部３２は、第２映像（７０，７１）の大きさおよび第１映像（６０，６１）内で第２映像（７０，７１）を表示する場所の少なくとも一方を変更して表示できる。これにより、より目的に応じた表示を実現できる。

また表示部３２は、メインカメラ２３に装着されているレンズの焦点距離に応じて領域枠（８０，８１）の大きさを変更して表示できる。これにより、メインカメラ２３のレンズが交換式レンズである場合にも、適切な表示ができる。

また表示部３２は、第２映像（７０，７１）および第２映像（７０，７１）内に第１映像（６０，６１）の領域に相当する領域枠（８０，８１）を重畳した映像と、第１映像（６０，６１）を含む映像とを切り替えて表示できる。切替られた映像は、第１映像（６０，６１）のみであってもよく、第１映像（６０，６１）内に第２映像（７０，７１）が重畳された映像であってもよい。これにより、より目的に応じた表示を実現できる。

また無人航空機システムは、領域枠（８０，８１）を生成し、さらに第１映像（６０，６１）、第２映像（７０，７１）および領域枠（８０，８１）を重畳処理する映像処理部３４を備えている。また無人航空機システムは、重畳映像を表示部３２に表示させるコントローラ３７を備えている。

［他の実施の形態］
本開示は、上記実施の形態１に限定されず、種々の実施形態が考えられる。

以下、本開示の他の実施形態についてまとめて記載する。

実施の形態１のカメラ部２０は、取付け部材１２を用いて無人航空機本体１０に装着可能である。しかし、カメラ部２０は、無人航空機本体１０に直接搭載されてもよいし、ジンバルなどの防振装置を介して接続されても構わない。また、無人航空機本体１０とカメラ部２０が一体となるような構成でも構わない。

実施の形態１のカメラ部２０は、メインカメラ２３とサブカメラ２２とが一体型の構成である。しかし、サブカメラ２２は、メインカメラ２３を搭載するカメラ部２０に合わせて搭載されていてもよいし、サブカメラ２２だけが無人航空機本体１０に近づけて、（もしくは一体型として）搭載されても構わない。例えば、メインカメラ２３を、防振装置を介して搭載し、サブカメラ２２を無人航空機本体１０と防振装置との接続部よりも無人航空機本体１０側に近い位置に搭載してもよい。または、図４に示すようにサブカメラ２２を無人航空機本体１０に固定し、メインカメラ２３を備えたカメラ部２０を、取付け部材１２を用いて無人航空機本体１０に装着してもよい。ただし、メインカメラ２３とサブカメラ２２の相対位置が変化しないように搭載することが望ましい。

実施の形態１のメインカメラ２３のレンズは、他のレンズと交換可能な交換式レンズであるが、固定レンズであってもよい。

実施の形態１では、無人航空機本体１０の処理とカメラ部２０の処理をカメラ部２０に搭載されたコントローラ４５がまとめて行うとして説明したが、別々に行っても良い。

実施の形態１では、操縦用端末３０を、表示部３２を含む１つの機器で構成するとして説明したが、操縦用端末本体にスマートフォンやタブレット端末等の端末を取り付け、操縦用端末３０を構成してもよい。すなわち端末の操作部、表示部、通信部等を、操縦用端末３０の操作部３３、表示部３２、ＷｉＦｉモジュール４２として用いてもよい。

実施の形態１の表示部３２は、操縦用端末３０と一体であるが、操縦用端末３０と独立していてもよい。

実施の形態１では、表示部３２の数は一つであるが、複数であってもよい。例えば無人航空機５０を操縦する操縦者とカメラ部２０で撮影する撮影者とが別の人物である場合に、すなわち無人航空機システムの操作者が複数存在する場合に、各自がそれぞれの表示部３２を見ることができる。またそれぞれの表示部３２で異なる映像を表示してもよい。例えば表示部３２ごとに、メインカメラ２３およびサブカメラ２２の映像を重畳する形態を変えたり、領域枠８０、８１の表示形態を変えたりしてもよい。

実施の形態１のメインカメラ２３およびサブカメラ２２の名称は一例であり、いずれを主に用いるかを限定するものではない。

実施の形態１の用途として、防犯やセキュリティ用途を挙げたが、用途はこれに限定されない。例えば運動会の空撮にも適用できる。主たる被写体が自在に移動する場合に、無人航空機５０を操縦したり、カメラ部２０で撮影を行ったりする操作の補助として、種々の映像を表示できる表示部３２が有用である。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、操縦用端末を用いて操縦可能な、カメラを搭載した無人航空機に適用可能である。具体的には、ヘリコプター、クアッドコプター等の回転翼無人機などに、本開示は適用可能である。

１０ 無人航空機本体
２０ カメラ部
２２ サブカメラ
２３ メインカメラ
３０ 操縦用端末
３２ 表示部
３３ 操作部
３５ ＰｉｎＰ処理部
５０ 無人航空機
６０，６１ 第１映像
７０，７１ 第２映像
８０，８１ 領域枠
９０，９１ メインカメラ撮影領域

Claims (4)

1. カメラ部を有する無人航空機と、
   前記無人航空機を操縦可能な操縦用端末と、
   前記カメラ部で撮影された映像を表示する表示部とを備え、
   前記カメラ部は、第１映像を撮影する第１カメラと、第２映像を撮影する第２カメラとを有し、
   前記第１カメラの画角は、前記第２カメラの画角よりも狭く、
   前記表示部での表示態様は、前記第２映像および前記第２映像内に前記第１映像の領域に相当する領域枠を重畳した映像を表示する第１の表示態様及び前記領域枠に対応する前記第１映像を表示する第２の表示態様を含み、
   前記操縦用端末から前記第１の表示態様から前記第２の表示態様への切替え指示が送られると、前記表示部での表示態様を前記第１の表示態様から前記第２の表示態様に直接切り替え、
   前記操縦用端末から前記第２の表示態様から前記第２の表示態様への切替え指示が送られると、前記表示部での表示態様を前記第２の表示態様から前記第１の表示態様に直接切り替える、無人航空機システム。
2. 前記第１の表示態様は、前記第１映像および前記第２映像を重畳した映像であって、前記第２映像内に前記第１映像の領域に相当する領域枠を重畳した映像である、請求項１に記載の無人航空機システム。
3. 前記表示部は、
   前記第２映像の大きさおよび前記第１映像内で前記第２映像を表示する場所の少なくとも一方を変更して表示する、請求項２に記載の無人航空機システム。
4. 前記第１カメラのレンズは他のレンズに交換可能であり、
   前記表示部は、前記第１カメラに装着されているレンズの焦点距離に応じて前記領域枠の大きさを変更して表示する、請求項１に記載の無人航空機システム。