JP6788094B2 - 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体 - Google Patents

画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP6788094B2
JP6788094B2 JP2019500091A JP2019500091A JP6788094B2 JP 6788094 B2 JP6788094 B2 JP 6788094B2 JP 2019500091 A JP2019500091 A JP 2019500091A JP 2019500091 A JP2019500091 A JP 2019500091A JP 6788094 B2 JP6788094 B2 JP 6788094B2
Authority
JP
Japan
Prior art keywords
image
information
unmanned aerial
aerial vehicle
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019500091A
Other languages
English (en)
Other versions
JPWO2018150492A1 (ja
Inventor
川口 貴義
貴義 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JPWO2018150492A1 publication Critical patent/JPWO2018150492A1/ja
Application granted granted Critical
Publication of JP6788094B2 publication Critical patent/JP6788094B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示は、飛行体により撮像された空撮画像に基づいて画像を表示する画像表示方法、画像表示システムに関する。本開示は、空撮画像を処理する飛行体に関する。本開示は、飛行体により撮像された空撮画像を処理するプログラム及び記録媒体に関する。
従来、予め用意された地図画像上に、人物、車両、無人機等が所在する位置を表示するシステムが知られている。この表示システムとして、空撮画像と、地図画像に無人機の位置と地上局の位置とが重畳された画像と、が表示される空撮映像配信システムが知られている(特許文献1参照)。この空撮映像配信システムは、無人機の位置座標を地図画像に重畳して表示することも可能である。
日本国特開2016−206443号公報
無人機を操作装置(プロポ)により操作する場合、操作装置の操作者は、ディスプレイに空撮画像を表示させて、ディスプレイに表示された空撮画像を確認しながら飛行操作することがある。特許文献1に記載された空撮映像配信システムでは、空撮画像に無人機の位置が重畳されない。そのため、空撮画像から無人機がどの位置を飛行しているか認識することは困難である。したがって、操作装置の操作者は、操作装置を介して空撮画像を確認しながら所望の位置に無人機を飛行させることが困難である。
また、特許文献1に記載された空撮映像配信システムでは、予め地図画像が用意されている必要がある。予め用意された地図画像上に無人機の位置が表示され得るが、無人機がリアルタイムに撮像している空撮画像では、無人機がどの位置を飛行しているか表示されない。そのため、予め用意された地図画像が確認されない場合、無人機がどの位置を飛行しているかの認識は困難である。
一態様において、画像表示方法は、飛行体により撮像された空撮画像に基づく画像を表示する画像表示システムにおける画像表示方法であって、飛行体の飛行中に撮像し、空撮画像を取得するステップと、空撮画像に基づく第1の画像を取得するステップと、第1の画像において飛行体の水平方向の位置に対応する飛行体の画像位置の情報を取得するステップと、第1の画像における画像位置に飛行体に関する情報を重畳し、第2の画像を生成するステップと、第2の画像を表示するステップと、を有する。
飛行体に関する情報は、飛行体を示す情報を含んでよい。
画像表示方法は、飛行体の向きの情報を取得するステップ、を更に含んでよい。飛行体に関する情報は、飛行体の向きの情報を含んでよい。
画像表示方法は、飛行体が備える撮像部の撮像方向の情報を取得するステップ、を更に含んでよい。飛行体に関する情報は、撮像方向の情報を含んでよい。
画像表示方法は、飛行体の飛行方向の情報を取得するステップ、を更に含んでよい。飛行体に関する情報は、飛行方向の情報を含んでよい。
画像表示方法は、重力方向に対する飛行体が備える撮像部の傾きの情報を取得するステップ、を更に含んでよい。画像位置の情報を取得するステップは、撮像部の傾きに基づいて、画像位置を取得するステップを含んでよい。
画像表示方法は、撮像部の画角の情報を取得するステップ、を更に含んでよい。画像位置の情報を取得するステップは、撮像部の傾き及び撮像部の画角に基づいて、画像位置の情報を取得するステップを含んでよい。
画像表示方法は、空撮画像に、空撮画像の撮像時における撮像位置の情報と、空撮画像の撮像時における飛行体が備える撮像部の傾きの情報と、を付加するステップと、情報が付加された空撮画像を蓄積部に複数蓄積するステップと、を更に含んでよい。
画像表示方法は、飛行体の位置情報を取得するステップ、を更に含んでよい。第1の画像を取得するステップは、飛行体の位置情報に基づいて、蓄積部に蓄積された複数の空撮画像を取得するステップと、複数の空撮画像に基づいて、第1の画像を生成するステップと、を含んでよい。
画像表示方法は、重力方向に対する飛行体が備える撮像部の傾きの情報を取得するステップ、を更に含んでよい。第1の画像を取得するステップは、少なくとも1つの空撮画像及び撮像部の傾きの情報に基づいて、重力方向を法線方向とする第1の画像を生成するステップを含んでよい。
画像表示システムは、複数の飛行体を含んでよい。画像位置の情報を取得するステップは、第1の画像における複数の飛行体の各々の画像位置の情報を取得するステップを含んでよい。第2の画像を生成するステップは、第1の画像における複数の飛行体の各々の画像位置に、複数の飛行体の各々に関する情報を重畳し、第2の画像を生成するステップを含んでよい。
空撮画像を取得するステップは、少なくとも1台の飛行体が備える撮像部により撮像された空撮画像を取得するステップを含んでよい。画像位置の情報を取得するステップは、複数の飛行体の相対的な位置情報に基づいて、第1の画像における複数の飛行体の各々の画像位置の情報を取得するステップを含んでよい。
空撮画像を取得するステップは、複数の飛行体の各々により撮像された複数の空撮画像を取得するステップを含んでよい。第1の画像を取得するステップは、複数の空撮画像を合成して合成画像を生成するステップと、合成画像に基づいて第1の画像を生成するステップと、を含んでよい。
画像表示方法は、複数の飛行体の各々の位置情報を取得するステップ、を更に含んでよい。画像位置の情報を取得するステップは、複数の飛行体の各々の位置情報に基づいて、第1の画像における複数の飛行体の各々の画像位置の情報を取得するステップを含んでよい。
画像表示方法は、複数の飛行体の各々により撮像された空撮画像に、空撮画像の撮像時における撮像位置の情報と、空撮画像の撮像時における画像を撮像した飛行体が備える撮像部の傾きの情報と、を付加するステップと、情報が付加された空撮画像を、第2の画像を表示する表示装置が備える蓄積部に複数蓄積するステップと、を更に含んでよい。
画像表示方法は、複数の飛行体の各々により撮像された空撮画像に、空撮画像の撮像時における撮像位置の情報と、空撮画像の撮像時における空撮画像を撮像した飛行体が備える撮像部の傾きの情報と、を付加するステップと、情報が付加された空撮画像を、画像サーバが備える蓄積部に複数蓄積するステップと、を更に含んでよい。
一態様において、画像表示システムは、飛行体により撮像された空撮画像に基づいて画像を表示する画像表示システムであって、飛行体の飛行中に撮像し、空撮画像を得る撮像部と、空撮画像に基づく第1の画像を取得する第1の取得部と、第1の画像において飛行体の水平方向の位置に対応する飛行体の画像位置の情報を取得する第2の取得部と、第1の画像における画像位置に飛行体に関する情報を重畳し、第2の画像を生成する生成部と、第2の画像を表示する表示部と、を備える。
飛行体に関する情報は、飛行体の存在を示す情報を含んでよい。
画像表示システムは、飛行体の向きの情報を取得する第3の取得部、を更に備えてよい。飛行体に関する情報は、飛行体の向きの情報を含んでよい。
画像表示システムは、撮像部の撮像方向の情報を取得する第4の取得部、を更に備えてよい。飛行体に関する情報は、撮像方向の情報を含んでよい。
画像表示システムは、飛行体の飛行方向の情報を取得する第5の取得部、を更に備えてよい。飛行体に関する情報は、飛行方向の情報を含んでよい。
画像表示システムは、重力方向に対する撮像部の傾きの情報を取得する第6の取得部、を更に備えてよい。第2の取得部は、撮像部の傾きに基づいて、画像位置を取得してよい。
画像表示システムは、撮像部の画角の情報を取得する第7の取得部、を更に備えてよい。第2の取得部は、撮像部の傾き及び撮像部の画角に基づいて、画像位置の情報を取得してよい。
画像表示システムは、空撮画像に、空撮画像の撮像時における撮像位置の情報と、空撮画像の撮像時における撮像部の傾きの情報と、を付加する付加部と、情報が付加された空撮画像を複数蓄積する蓄積部と、を更に備えてよい。
画像表示システムは、飛行体の位置情報を取得する第8の取得部、を更に備えてよい。第1の取得部は、飛行体の位置情報に基づいて、蓄積部に蓄積された複数の空撮画像を取得し、複数の空撮画像に基づいて、第1の画像を生成してよい。
画像表示システムは、重力方向に対する撮像部の傾きの情報を取得する第6の取得部、を更に備えてよい。記第1の取得部は、少なくとも1つの空撮画像及び撮像部の傾きの情報に基づいて、重力方向を法線方向とする第1の画像を生成してよい。
撮像部は、飛行体の筐体に設置されてよい。
撮像部は、飛行体の撮像部を回転可能に支持する支持部材に設置されてよい。
画像表示システムは、複数の飛行体を含んでよい。第2の取得部は、第1の画像における複数の飛行体の各々の画像位置の情報を取得してよい。生成部は、第1の画像における複数の飛行体の各々の画像位置に、複数の飛行体の各々に関する情報を重畳し、第2の画像を生成してよい。
画像表示システムは、複数の飛行体の相対的な位置情報を取得する第9の取得部、を更に備えてよい。複数の飛行体に含まれる少なくとも1台の飛行体は、撮像部を備えてよい。第2の取得部は、複数の飛行体の相対的な位置情報に基づいて、第1の画像における複数の飛行体の各々の画像位置の情報を取得してよい。
複数の飛行体の各々は、撮像部を備えてよい。撮像部の各々は、複数の空撮画像の各々を取得してよい。第1の取得部は、複数の空撮画像を合成して合成画像を生成し、合成画像に基づいて第1の画像を生成してよい。
複数の飛行体の各々は、飛行体の各々の位置情報を取得する第8の取得部、を備えてよい。第2の取得部は、複数の飛行体の各々の位置情報に基づいて、第1の画像における複数の飛行体の各々の画像位置の情報を取得してよい。
画像表示システムは、表示部を備える表示装置、を更に備えてよい。複数の飛行体の各々は、撮像部と、撮像部により撮像された空撮画像に、空撮画像の撮像時における撮像位置の情報と、空撮画像の撮像時における撮像部の傾きの情報と、を付加する付加部と、を備え、表示装置は、情報が付加された空撮画像を複数蓄積する蓄積部、を備えてよい。
画像表示システムは、画像サーバ、を更に備えてよい。複数の飛行体の各々は、撮像部と、撮像部により撮像された空撮画像に、空撮画像の撮像時における撮像位置の情報と、空撮画像の撮像時における撮像部の傾きの情報と、を付加する付加部と、を備えてよい。画像サーバは、記情報が付加された空撮画像を複数蓄積する蓄積部、を備えてよい。
一態様において、飛行体は、空撮画像を処理する飛行体であって、飛行体の飛行中に撮像し、空撮画像を得る撮像部と、空撮画像に基づく第1の画像を取得する第1の取得部と、第1の画像において飛行体の水平方向の位置に対応する飛行体の画像位置の情報を取得する第2の取得部と、第1の画像における画像位置に飛行体に関する情報を重畳し、第2の画像を生成する生成部と、第2の画像を出力する出力部と、を備える。
一態様において、プログラムは、空撮画像を処理する飛行体に、飛行体の飛行中に撮像し、空撮画像を得るステップと、空撮画像に基づく第1の画像を取得するステップと、第1の画像において飛行体の水平方向の位置に対応する飛行体の画像位置の情報を取得するステップと、第1の画像における画像位置に飛行体に関する情報を重畳し、第2の画像を生成するステップと、第2の画像を出力するステップと、を実行させるためのプログラムである。
一態様において、記録媒体は、空撮画像を処理する飛行体に、飛行体の飛行中に撮像し、空撮画像を得るステップと、空撮画像に基づく第1の画像を取得するステップと、
第1の画像において飛行体の水平方向の位置に対応する飛行体の画像位置の情報を取得するステップと、第1の画像における画像位置に飛行体に関する情報を重畳し、第2の画像を生成するステップと、第2の画像を出力するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
第1の実施形態における飛行システムの構成例を示す模式図 無人航空機の外観の一例を示す図 無人航空機の具体的な外観の一例を示す図 第1の実施形態における無人航空機のハードウェア構成の一例を示すブロック図 第1の実施形態における無人航空機の機能構成の一例を示すブロック図 送信機及び携帯端末の外観の一例を示す斜視図 第1の実施形態における送信機のハードウェア構成の一例を示すブロック図 第1の実施形態における携帯端末のハードウェア構成の一例を示すブロック図 第1の実施形態における携帯端末の機能構成の一例を示すブロック図 操作用カメラとしての撮像装置の第1設置例を示す斜視図 操作用カメラとしての撮像装置の第2設置例を示す斜視図 無人航空機の画像位置の第1例を説明するための図 無人航空機の画像位置の第2例を説明するための図 撮像用カメラとしての撮像装置により撮像された空撮画像の一例を示す模式図 操作用カメラとしての撮像装置により撮像された空撮画像の一例を示す模式図 飛行システムの第1動作例を示すシーケンス図 飛行システムの第2動作例を示すシーケンス図 飛行システムの第3動作例を示すシーケンス図 無人航空機の変形例の機能構成を示すブロック図 携帯端末の変形例の機能構成を示すブロック図 第2の実施形態における飛行システムの構成例を示す模式図 第2の実施形態における無人航空機のハードウェア構成の一例を示すブロック図 第2の実施形態における無人航空機の機能構成の一例を示すブロック図 第2の実施形態における携帯端末の機能構成の一例を示すブロック図 複数の無人航空機に関する情報が重畳された重畳画像の一例を示す模式図 第3の実施形態における飛行システムの構成例を示す模式図 第3の実施形態における携帯端末のハードウェア構成の一例を示すブロック図 第3の実施形態における携帯端末の機能構成の一例を示すブロック図 第3の実施形態における飛行システムの第1動作例を示すフローチャート 第3の実施形態における飛行システムの第2動作例を示すフローチャート 第4の実施形態における飛行システムの構成例を示す模式図 第4の実施形態における画像サーバのハードウェア構成の一例を示すブロック図 第4の実施形態における画像サーバの機能構成の一例を示すブロック図 第4の実施形態における飛行システムの第1動作例を示すフローチャート 第4の実施形態における飛行システムの第2動作例を示すフローチャート
以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
以下の実施形態では、飛行体として、無人航空機(UAV:Unmanned Aerial Vehicle)を例示する。飛行体は、空中を移動する航空機を含む。本明細書に添付する図面では、無人航空機を「UAV」と表記する。また、画像表示システムとして、飛行システムを例示する。画像表示方法は、画像表示システムにおける動作が規定されたものである。記録媒体は、プログラム(例えば飛行システムに各種の処理を実行させるプログラム)が記録されたものである。
(第1の実施形態)
図1は、第1の実施形態における飛行システム10の構成例を示す模式図である。飛行システム10は、無人航空機100、送信機50、及び携帯端末80を備える。無人航空機100、送信機50、及び携帯端末80は、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。
次に、無人航空機100の構成例について説明する。図2は、無人航空機100の外観の一例を示す図である。図3は、無人航空機100の具体的な外観の一例を示す図である。無人航空機100が移動方向STV0に飛行する時の側面図が図2に示され、無人航空機100が移動方向STV0に飛行する時の斜視図が図3に示されている。
図2及び図3に示すように、地面と平行であって移動方向STV0に沿う方向にロール軸(x軸参照)が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸(y軸参照)が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(z軸参照)が定められる。
無人航空機100は、UAV本体102と、ジンバル200と、撮像装置220と、複数の撮像装置230とを含む構成である。無人航空機100は、更に撮像装置235(図10A,図10B参照)を含んでよい。UAV本体102は、無人航空機100の筐体の一例である。撮像装置220,230,235は、撮像部の一例である。ジンバル200は、支持部材の一例である。
UAV本体102は、複数の回転翼(プロペラ)を備える。UAV本体102は、複数の回転翼の回転を制御することにより無人航空機100を飛行させる。UAV本体102は、例えば4つの回転翼を用いて無人航空機100を飛行させる。回転翼の数は、4つに限定されない。また、無人航空機100は、回転翼を有さない固定翼機でもよい。
撮像装置220は、所望の撮像範囲に含まれる被写体(例えば、空撮対象となる上空の様子、山や川等の景色、地上の建物)を撮像する撮像用のカメラである。
複数の撮像装置230は、無人航空機100の飛行を制御するために無人航空機100の周囲を撮像するセンシング用のカメラである。2つの撮像装置230が、無人航空機100の機首である正面に設けられてよい。さらに、他の2つの撮像装置230が、無人航空機100の底面に設けられてよい。正面側の2つの撮像装置230はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置230もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置230により撮像された画像に基づいて、無人航空機100の周囲の3次元空間データが生成されてよい。なお、無人航空機100が備える撮像装置230の数は4つに限定されない。無人航空機100は、少なくとも1つの撮像装置230を備えていればよい。無人航空機100は、無人航空機100の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置230を備えてよい。撮像装置230で設定できる画角は、撮像装置220で設定できる画角より広くてよい。撮像装置230は、単焦点レンズ又は魚眼レンズを有してよい。
図4は、無人航空機100のハードウェア構成の一例を示すブロック図である。無人航空機100は、UAV制御部110と、通信インタフェース150と、メモリ160と、ストレージ170と、ジンバル200と、回転翼機構210と、撮像装置220と、撮像装置230と、GPS受信機240と、慣性計測装置(IMU:Inertial Measurement Unit)250と、磁気コンパス260と、気圧高度計270と、超音波センサ280と、レーザー測定器290と、を含む構成である。通信インタフェース150は、出力部の一例である。
UAV制御部110は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV制御部110は、無人航空機100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
UAV制御部110は、メモリ160に格納されたプログラムに従って無人航空機100の飛行を制御する。UAV制御部110は、通信インタフェース150を介して遠隔の送信機50から受信した命令に従って、無人航空機100の飛行を制御する。メモリ160は無人航空機100から取り外し可能であってもよい。
UAV制御部110は、複数の撮像装置230により撮像された複数の画像を解析することで、無人航空機100の周囲の環境を特定してよい。UAV制御部110は、無人航空機100の周囲の環境に基づいて、例えば障害物を回避して飛行を制御する。
UAV制御部110は、現在の日時を示す日時情報を取得する。UAV制御部110は、GPS受信機240から現在の日時を示す日時情報を取得してよい。UAV制御部110は、無人航空機100に搭載されたタイマ(不図示)から現在の日時を示す日時情報を取得してよい。
UAV制御部110は、無人航空機100の位置を示す位置情報を取得する。UAV制御部110は、GPS受信機240から、無人航空機100が存在する緯度、経度及び高度を示す位置情報を取得してよい。UAV制御部110は、GPS受信機240から無人航空機100が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計270から無人航空機100が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。UAV制御部110は、超音波センサ280による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。
UAV制御部110は、磁気コンパス260から無人航空機100の向きを示す向き情報を取得する。向き情報には、例えば無人航空機100の機首の向きに対応する方位が示される。
UAV制御部110は、撮像装置220が撮像すべき撮像範囲を撮像する時に無人航空機100が存在すべき位置を示す位置情報を取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報をメモリ160から取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報を、通信インタフェース150を介して送信機50等の他の装置から取得してよい。UAV制御部110は、3次元地図データベースを参照して、撮像すべき撮像範囲を撮像するために、無人航空機100が存在可能な位置を特定して、その位置を無人航空機100が存在すべき位置を示す位置情報として取得してよい。
UAV制御部110は、撮像装置220及び撮像装置230のそれぞれの撮像範囲を示す撮像情報を取得する。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220及び撮像装置230の画角を示す画角情報を撮像装置220及び撮像装置230から取得する。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220及び撮像装置230の撮像方向を示す情報を取得する。UAV制御部110は、例えば撮像装置220の撮像方向を示す情報として、ジンバル200から撮像装置220の姿勢の状態を示す姿勢情報を取得する。UAV制御部110は、無人航空機100の向きを示す情報を取得する。撮像装置220の姿勢の状態を示す情報は、ジンバル200のピッチ軸及びヨー軸の基準回転角度からの回転角度を示す。UAV制御部110は、撮像範囲を特定するためのパラメータとして、無人航空機100が存在する位置を示す位置情報を取得する。UAV制御部110は、撮像装置220及び撮像装置230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて、撮像装置220が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲を示す撮像情報を生成することで、撮像情報を取得してよい。
UAV制御部110は、撮像装置220が撮像すべき撮像範囲を示す撮像情報を取得してよい。UAV制御部110は、メモリ160から撮像装置220が撮像すべき撮像情報を取得してよい。UAV制御部110は、通信インタフェース150を介して送信機50等の他の装置から撮像装置220が撮像すべき撮像情報を取得してよい。
UAV制御部110は、無人航空機100の周囲に存在するオブジェクトの立体形状(3次元形状)を示す立体情報(3次元情報)を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部である。立体情報は、例えば、3次元空間データである。UAV制御部110は、複数の撮像装置230から得られたそれぞれの画像から、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。UAV制御部110は、メモリ160に格納された3次元地図データベースを参照することにより、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。UAV制御部110は、ネットワーク上に存在するサーバが管理する3次元地図データベースを参照することで、無人航空機100の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。
UAV制御部110は、撮像装置220及び撮像装置230により撮像された画像データを取得する。
UAV制御部110は、ジンバル200、回転翼機構210、撮像装置220、及び撮像装置230を制御する。UAV制御部110は、撮像装置220の撮像方向又は画角を変更することによって、撮像装置220の撮像範囲を制御する。UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている撮像装置220の撮像範囲を制御する。
本明細書では、撮像範囲は、撮像装置220又は撮像装置230により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される3次元空間データにおける範囲でよい。撮像範囲は、撮像装置220又は撮像装置230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて特定される。撮像装置220及び撮像装置230の撮像方向は、撮像装置220及び撮像装置230の撮像レンズが設けられた正面が向く方位と俯角とから定義される。撮像装置220の撮像方向は、無人航空機100の機首の方位と、ジンバル200に対する撮像装置220の姿勢の状態とから特定される方向である。撮像装置230の撮像方向は、無人航空機100の機首の方位と、撮像装置230が設けられた位置とから特定される方向である。
UAV制御部110は、回転翼機構210を制御することで、無人航空機100の飛行を制御する。つまり、UAV制御部110は、回転翼機構210を制御することにより、無人航空機100の緯度、経度、及び高度を含む位置を制御する。UAV制御部110は、無人航空機100の飛行を制御することにより、撮像装置220及び撮像装置230の撮像範囲を制御してよい。UAV制御部110は、撮像装置220が備えるズームレンズを制御することで、撮像装置220の画角を制御してよい。UAV制御部110は、撮像装置220のデジタルズーム機能を利用して、デジタルズームにより、撮像装置220の画角を制御してよい。
撮像装置220が無人航空機100に固定され、撮像装置220を動かせない場合、UAV制御部110は、特定の日時に特定の位置に無人航空機100を移動させることにより、所望の環境下で所望の撮像範囲を撮像装置220に撮像させることができる。あるいは撮像装置220がズーム機能を有さず、撮像装置220の画角を変更できない場合でも、UAV制御部110は、特定された日時に、特定の位置に無人航空機100を移動させることで、所望の環境下で所望の撮像範囲を撮像装置220に撮像させることができる。
通信インタフェース150は、送信機50と通信する。通信インタフェース150は、遠隔の送信機50からUAV制御部110に対する各種の命令や情報を受信する。
メモリ160は、UAV制御部110がジンバル200、回転翼機構210、撮像装置220、撮像装置230、GPS受信機240、慣性計測装置250、磁気コンパス260、気圧高度計270、超音波センサ280、及びレーザー測定器290を制御するのに必要なプログラム等を格納する。メモリ160は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ160は、UAV本体102の内部に設けられてよい。UAV本体102から取り外し可能に設けられてよい。
ストレージ170は、各種データ、情報を蓄積し、保持する。ストレージ170は、画像DB(DataBase)171を備えてよい。ストレージ170は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SDカード、USBメモリ、等でよい。ストレージ170は、UAV本体102の内部に設けられてよい。ストレージ170は、UAV本体102から取り外し可能に設けられてよい。
画像DB171は、撮像装置220、235(220又は235)により撮像された空撮画像を蓄積し、保持してよい。画像DB171は、UAV制御部110からの要求に応じて、蓄積された空撮画像の少なくとも一部をUAV制御部110へ送ってよい。画像DB171は、空撮画像が加工された加工画像を蓄積し、保持してよい。画像DB171は、空撮画像や加工画像に関する情報が空撮画像や加工画像に付加された状態で、蓄積し、保持してよい。画像DB171は、蓄積部の一例である。
ジンバル200は、少なくとも1つの軸を中心に撮像装置220を回転可能に支持する。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置220を回転させることで、撮像装置220の撮像方向を変更してよい。
回転翼機構210は、複数の回転翼211と、複数の回転翼211を回転させる複数の駆動モータ212と、駆動モータ212を駆動するための駆動電流の電流値(実測値)を計測する電流センサ213と、を有する。駆動電流は、駆動モータ212に供給される。
撮像装置220は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像装置220の撮像により得られた画像データは、撮像装置220が有するメモリ、又はメモリ160に格納される。
撮像装置230は、無人航空機100の周囲を撮像して撮像画像のデータを生成する。撮像装置230の画像データは、メモリ160に格納される。
撮像装置235は、無人航空機100の周囲(例えば地面方向)を撮像して撮像画像のデータを生成する。撮像装置235の画像データは、メモリ160に格納される。
GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人航空機100の位置)を算出する。GPS受信機240は、無人航空機100の位置情報をUAV制御部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV制御部110により行われてよい。この場合、UAV制御部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
慣性計測装置250は、無人航空機100の姿勢を検出し、検出結果をUAV制御部110に出力する。慣性計測装置IMU250は、無人航空機100の姿勢として、無人航空機100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出する。
磁気コンパス260は、無人航空機100の機首の方位を検出し、検出結果をUAV制御部110に出力する。
気圧高度計270は、無人航空機100が飛行する高度を検出し、検出結果をUAV制御部110に出力する。
超音波センサ280は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をUAV制御部110に出力する。検出結果は、無人航空機100から地面までの距離つまり高度を示してよい。検出結果は、無人航空機100から物体までの距離を示してよい。
レーザー測定器290は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機100と物体との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。
図5は、無人航空機100の機能構成の一例を示すブロック図である。UAV制御部110は、飛行情報取得部111、撮像情報取得部112、第1画像取得部113、及び情報付加部114を備える。
飛行情報取得部111は、第3の取得部、第5の取得部、及び第8の取得部の一例である。撮像情報取得部112は、第4の取得部、第6の取得部、及び第7の取得部の一例である。第1画像取得部113は、第1の取得部の一例である。情報付加部114は、付加部の一例である。
飛行情報取得部111は、無人航空機100の飛行に関する情報を取得する。無人航空機100の飛行に関する情報は、無人航空機100の飛行の位置情報、無人航空機100の向きの情報、無人航空機100の飛行方向の情報を含んでよい。
飛行情報取得部111は、無人航空機100の位置情報、つまり飛行位置の情報を取得してよい。飛行情報取得部111は、GPS受信機240から位置情報(例えば緯度・経度の情報、緯度・経度・高度の情報)を取得してよい。飛行情報取得部111は、GPS受信機240以外により得られた位置情報を取得してよい。飛行情報取得部111は、任意の基準位置の位置情報と基準位置に対する相対的な位置情報を基に、無人航空機100の位置情報を算出等により取得してよい。
飛行情報取得部111は、無人航空機100の向きの情報を取得してよい。無人航空機100の向きは、無人航空機100の前進時の飛行方向と一致してよい。無人航空機100の向きは、無人航空機100内の基準となる部材の配置位置に基づく方向で規定されてもよい。無人航空機100の向きは、磁気コンパス260を介して取得されてよい。
飛行情報取得部111は、無人航空機100の飛行方向の情報を取得してよい。飛行情報取得部111は、無人航空機100の飛行方向の情報を、無人航空機100の位置情報の時間変化(例えば時間微分)を基に取得してよい。具体的には、飛行情報取得部111は、時間変化が示す速度が値0以上の方向を飛行方向としてよい。飛行情報取得部111は、無人航空機100の飛行方向の情報を、無人航空機100の速度情報を基に取得してよい。飛行情報取得部111は、無人航空機100の飛行方向の情報を、無人航空機100の加速度の時間積分を基に取得してよい。
無人航空機100の飛行に関する情報の少なくとも一部は、通信インタフェース150を介して、携帯端末80へ送信されてよい。
撮像情報取得部112は、撮像装置220、235の撮像に関する情報を取得する。撮像装置220、235の撮像に関する情報は、撮像装置220、235による撮像方向の情報、撮像装置220、235の傾きの情報、撮像装置220、235の画角の情報を含んでよい。
撮像情報取得部112は、撮像装置220、235の撮像方向の情報を取得してよい。撮像情報取得部112は、撮像装置220による撮像方向の情報を、無人航空機100の向きの情報と、ジンバル200から取得される撮像装置220の無人航空機100に対する姿勢の状態を示す姿勢情報と、を基に算出して取得してよい。撮像情報取得部112は、撮像装置235による撮像方向の情報を、無人航空機100の向きの情報と、撮像装置235の無人航空機100に対する姿勢の状態を示す姿勢情報と、を基に算出して取得してよい。
なお、無人航空機100に対する撮像装置235の姿勢の情報は、撮像装置235がUAV本体102に固定設置されている場合は既知の情報であり、撮像装置235内のメモリ又はメモリ160に保持されてよい。無人航空機100に対する撮像装置235の姿勢の情報は、撮像装置235がジンバル200に設置されている場合、ジンバル200から取得されてよい。
撮像情報取得部112は、重力方向に対する撮像装置220、235の傾きの情報を取得してよい。重力方向に対する撮像装置220の傾きは、重力方向に対する無人航空機100の傾き、つまり慣性計測装置250からの無人航空機100の姿勢の情報と、無人航空機100に対する撮像装置220の傾き、つまりジンバル200からの撮像装置220の姿勢の情報と、を基に算出等により取得されてよい。重力方向に対する撮像装置235の傾きは、重力方向に対する無人航空機100の傾きと、無人航空機100に対する撮像装置235の傾き(固定設置なので既知)と、を基に算出等により取得されてよい。重力方向に対する撮像装置235の傾きは、重力方向に対する無人航空機100の傾きと、無人航空機100に対する撮像装置235の傾きと、を基に算出等により取得されてよい。
なお、無人航空機100に対する撮像装置235の傾きの情報は、撮像装置235がUAV本体102に固定設置されている場合は既知の情報であり、撮像装置235内のメモリ又はメモリ160に保持されてよい。無人航空機100に対する撮像装置235の傾きの情報は、撮像装置235がジンバル200に設置されている場合、ジンバル200から取得されてよい。
撮像情報取得部112は、撮像装置220、235の画角の情報を、撮像装置220、235から取得してよい。
撮像装置220、235の撮像に関する情報の少なくとも一部は、通信インタフェース150を介して、携帯端末80へ送信されてよい。
第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する。第1画像取得部113は、空撮画像を基に、下向き画像を生成してよい。下向き画像は、第1の画像の一例である。この下向き画像は、その画像範囲に、空撮画像の撮像時における無人航空機100の水平方向の位置に対応する画像位置を含む。空撮画像の画像範囲に、空撮画像の撮像時における無人航空機100の水平方向の位置に対応する画像位置を含む場合、下向き画像は空撮画像でよい。空撮画像の画像範囲に、空撮画像の撮像時における無人航空機100の水平方向の位置に対応する画像位置を含まない場合、第1画像取得部113は、空撮画像を基に下向き画像を生成してよい。
第1画像取得部113は、撮像装置220、235により撮像された空撮画像に対して、撮像装置220、235の傾きに基づいて射影変換することで、下向き画像を生成してよい。例えば、空撮時の撮像装置220、235の撮像方向としての空撮画像に対する法線方向が、重力方向に対して傾いている場合に、第1画像取得部113は、この法線方向が重力方向に近づくような射影変換を行い、下向き画像を生成してよい。下向き画像は、重力方向を法線方向とする画像でもよい。射影変換は、線形変換の一例であり、その他の線形変換が行われてもよい。
第1画像取得部113は、画像DB171に蓄積された空撮画像のいずれか1つを取得してよい。第1画像取得部113は、取得した空撮画像に対して、この空撮画像の空撮時における撮像装置220、235の傾きに基づいて射影変換することで、下向き画像を生成してよい。
第1画像取得部113は、無人航空機100の現在の位置情報に基づいて、画像DB171に蓄積された空撮画像のうちの特定の空撮画像を取得してよい。第1画像取得部113は、空撮時の無人航空機100の位置を示す位置情報と一致した位置情報が付加された空撮画像を、画像DB171から取得してよい。第1画像取得部113は、空撮時の無人航空機100の位置を示す位置情報と一致していなくても、この位置に最も近い位置に係る位置情報が付加された空撮画像を、画像DB171から取得してよい。
第1画像取得部113は、撮像装置220、235の傾き及び撮像装置220、235の画角の情報に基づいて、撮像装置220、235により撮像された空撮画像の画像範囲に相当する実空間の範囲(例えば緯度・経度の範囲)の情報を、算出等により取得してよい。この場合、第1画像取得部113は、空撮画像の空撮時の無人航空機100の高度の情報も加味して、実空間の範囲の情報を算出等により取得してよい。第1画像取得部113は、無人航空機100の位置情報が示す飛行位置が画像範囲に含まれる空撮画像を、画像DB171から取得してよい。
第1画像取得部113は、無人航空機100の現在の位置情報に基づいて、画像DB171に蓄積された空撮画像のうちの特定の複数の空撮画像を取得してよい。第1画像取得部113は、空撮時の無人航空機100の位置を示す位置情報と一致した位置情報が付加された複数の空撮画像を、画像DB171から取得してよい。第1画像取得部113は、空撮時の無人航空機100の位置を示す位置情報と一致していなくても、この位置との距離が所定距離以内である位置情報(つまり周辺の位置情報)が付加された複数の空撮画像を、画像DB171から取得してよい。
第1画像取得部113は、無人航空機100の位置情報が示す飛行位置が画像範囲に含まれる複数の空撮画像を、画像DB171から取得してよい。第1画像取得部113は、画像DB171に蓄積された空撮画像全てを取得してもよい。
第1画像取得部113は、画像DB171に蓄積された周辺の位置情報が付加された複数の空撮画像のうち、この空撮画像の空撮時の撮像装置220、235の傾きが小さい空撮画像を優先的に抽出して取得してよい。これにより、無人航空機100及び飛行システム10は、法線方向が重力方向に近い空撮画像が優先的に抽出されるので、無人航空機100の位置が画像範囲に含まれる可能性が高くなり、地面方向を良好に表現した空撮画像を取得できる。
第1画像取得部113は、画像DB171に蓄積された周辺の位置情報が付加された複数の空撮画像のうち、無人航空機100の飛行方向の前方の位置情報が付加された空撮画像を優先的に抽出して取得してよい。これにより、無人航空機100及び飛行システム10は、無人航空機100が将来的に位置する方向を含む空撮画像を取得できるので、将来的に操作者が無人航空機100を操作し易くなる。
第1画像取得部113は、画像DB171から抽出する空撮画像の枚数を、無人航空機100の速度の情報に基づいて決定してよい。例えば、第1画像取得部113は、無人航空機100が高速に移動する場合には、抽出される空撮画像の枚数を少なくすることで、合成画像の生成に係る処理負荷や処理時間を短縮でき、合成画像の生成効率を向上でき、高速の移動に対する追従性も向上できる。また、第1画像取得部113は、無人航空機100が低速に移動する場合には、抽出される空撮画像の枚数を多くすることで、狭い範囲の合成画像の画質を向上できる。
第1画像取得部113は、画像DB171に蓄積された空撮画像に含まれる複数の空撮画像を取得し、取得した複数の空撮画像を合成し、合成画像を生成してよい。例えば、第1画像取得部113は、過去に撮像された空撮画像を繋ぎ合わせて、広範囲の合成画像を生成してよい。第1画像取得部113は、合成画像に対して射影変換することで、下向き画像を生成してよい。合成画像は、複数の空撮画像が加算されて取得されてよい。合成画像は、複数の空撮画像が平均化されて取得されてよい。合成画像は、複数の空撮画像を基にその他の手法により取得されてよい。
第1画像取得部113は、画像DB171から取得された複数の空撮画像に対して、空撮画像の画像範囲を同様の範囲にして、統一された画像範囲を有する複数の空撮画像を基に、合成画像を生成してよい。つまり、第1画像取得部113は、画像DB171から取得された複数の空撮画像のサイズを同程度の大きさにしてから、合成画像を生成してよい。また、第1画像取得部113は、画像DB171から取得された複数の空撮画像の一部ずつを繋ぎ合わせて、合成画像を生成してよい。
第1画像取得部113は、生成された合成画像に対して射影変換等を行い、下向き画像を生成してよい。第1画像取得部113は、生成された複数の下向き画像を基に、1つの下向き画像としての合成画像を生成してよい。
空撮画像及び下向き画像の少なくとも一部は、通信インタフェース150を介して、携帯端末80へ送信されてよい。
情報付加部114は、撮像装置220、235により撮像された空撮画像に対して、この空撮画像に関する情報を付加情報(メタデータの一例)として付加する。情報付加部114は、付加情報が付加された空撮画像を、画像DB171に送り、蓄積させる。付加情報は、空撮画像の空撮時における無人航空機100に関する情報(例えば飛行情報)や撮像装置220、235に関する情報(例えば撮像情報)を含んでよい。情報付加部114は、空撮画像の撮像時における撮像位置の情報と、空撮画像の撮像時における撮像装置220、235の傾きの情報とを、付加情報として空撮画像に付加してよい。撮像位置の情報は、空撮画像の撮像時における無人航空機100の位置情報でよい。
情報付加部114は、空撮画像の画像範囲に対応する実空間の範囲の情報(例えば緯度・経度の範囲の情報)を、付加情報の1つとして空撮画像に付加し、画像DB171に蓄積してよい。これにより、無人航空機100は、空撮画像の画像範囲に対応する実空間の範囲に空撮画像を撮像した無人航空機100が位置しない場合でも、無人航空機100の位置情報を、空撮画像の画像範囲に対応する実空間の範囲に含む空撮画像を、画像DB171から取得できる。
無人航空機100は、画像DB171に空撮画像を蓄積するために、飛行が予定されている飛行範囲内を予備飛行し、飛行範囲内の位置情報が付加された空撮画像を蓄積しておいてもよい。これにより、無人航空機100の飛行位置に関連付けられた空撮画像が画像DB171に蓄積されている確率を高くできる。
次に、送信機50及び携帯端末80の構成例について説明する。図6は、送信機50が装着された携帯端末80の外観の一例を示す斜視図である。図6では、携帯端末80の一例として、スマートフォン80Sが示されている。送信機50に対する上下前後左右の方向は、図6に示す矢印の方向にそれぞれ従うとする。送信機50は、例えば送信機50を使用する人物(以下、「操作者」という)の両手で把持された状態で使用される。
送信機50は、例えば略正方形状の底面を有し、かつ高さが底面の一辺より短い略直方体(言い換えると、略箱形)の形状をした樹脂製の筐体50Bを有する。送信機50の筐体表面の略中央には、左制御棒53Lと右制御棒53Rとが突設して配置される。
左制御棒53L、右制御棒53Rは、それぞれ操作者による無人航空機100の移動を遠隔で制御(例えば、無人航空機100の前後移動、左右移動、上下移動、向き変更)するための操作(移動制御操作)において使用される。図6では、左制御棒53L及び右制御棒53Rは、操作者の両手からそれぞれ外力が印加されていない初期状態の位置が示されている。左制御棒53L及び右制御棒53Rは、操作者により印加された外力が解放された後、自動的に所定位置(例えば図6に示す初期位置)に復帰する。
左制御棒53Lの手前側(言い換えると、操作者側)には、送信機50の電源ボタンB1が配置される。電源ボタンB1が操作者により一度押下されると、例えば送信機50に内蔵されるバッテリ(不図示)の容量の残量がバッテリ残量表示部L2において表示される。電源ボタンB1が操作者によりもう一度押下されると、例えば送信機50の電源がオンとなり、送信機50の各部(図7参照)に電源が供給されて使用可能となる。
右制御棒53Rの手前側(言い換えると、操作者側)には、RTH(Return To Home)ボタンB2が配置される。RTHボタンB2が操作者により押下されると、送信機50は、無人航空機100に所定の位置に自動復帰させるための信号を送信する。これにより、送信機50は、無人航空機100を所定の位置(例えば無人航空機100が記憶している離陸位置)に自動的に帰還させることができる。RTHボタンB2は、例えば屋外での無人航空機100による空撮中に操作者が無人航空機100の機体を見失った場合、又は電波干渉や予期せぬトラブルに遭遇して操作不能になった場合等に利用可能である。
電源ボタンB1及びRTHボタンB2の手前側(言い換えると、操作者側)には、リモートステータス表示部L1及びバッテリ残量表示部L2が配置される。リモートステータス表示部L1は、例えばLED(Light Emission Diode)を用いて構成され、送信機50と無人航空機100との無線の接続状態を表示する。バッテリ残量表示部L2は、例えばLEDを用いて構成され、送信機50に内蔵されたバッテリ(不図示)の容量の残量を表示する。
左制御棒53L及び右制御棒53Rより後側であって、かつ送信機50の筐体50Bの後方側面から、2つのアンテナAN1,AN2が突設して配置される。アンテナAN1,AN2は、操作者の左制御棒53L及び右制御棒53Rの操作に基づき、送信機制御部61により生成された信号(つまり、無人航空機100の移動を制御するための信号)を無人航空機100に送信する。この信号は、送信機50により入力された操作入力信号の1つである。アンテナAN1,AN2は、例えば2kmの送受信範囲をカバーできる。また、アンテナAN1,AN2は、送信機50と無線接続中の無人航空機100が有する撮像装置220,235により撮像された画像、又は無人航空機100が取得した各種データが無人航空機100から送信された場合に、これらの画像又は各種データを受信できる。
図6では、送信機50が表示部を備えていないが、表示部を備えてもよい。
携帯端末80は、ホルダHLDに載置されて取り付けられてよい。ホルダHLDは、送信機50に接合されて取り付けられてよい。これにより、携帯端末80がホルダHLDを介して送信機50に装着される。携帯端末80と送信機50とは、有線ケーブル(例えばUSBケーブル)を介して接続されてよい。携帯端末80が送信機50に装着されず、携帯端末80と送信機50がそれぞれ独立して設けられてもよい。
図7は、送信機50のハードウェア構成の一例を示すブロック図である。送信機50は、左制御棒53Lと、右制御棒53Rと、送信機制御部61と、無線通信部63と、インタフェース部65と、電源ボタンB1と、RTHボタンB2と、操作部セットOPSと、リモートステータス表示部L1と、バッテリ残量表示部L2と、表示部DPとを含む構成である。送信機50は、無人航空機100の制御を指示する操作装置の一例である。
左制御棒53Lは、例えば操作者の左手により、無人航空機100の移動を遠隔で制御するための操作に使用される。右制御棒53Rは、例えば操作者の右手により、無人航空機100の移動を遠隔で制御するための操作に使用される。無人航空機100の移動は、例えば前進する方向の移動、後進する方向の移動、左方向の移動、右方向の移動、上昇する方向の移動、下降する方向の移動、左方向に無人航空機100を回転する移動、右方向に無人航空機100を回転する移動のうちいずれか又はこれらの組み合わせであり、以下同様である。
電源ボタンB1は一度押下されると、一度押下された旨の信号が送信機制御部61に入力される。送信機制御部61は、この信号に従い、送信機50に内蔵されるバッテリ(不図示)の容量の残量をバッテリ残量表示部L2に表示する。これにより、操作者は、送信機50に内蔵されるバッテリの容量の残量を簡単に確認できる。また、電源ボタンB1は二度押下されると、二度押下された旨の信号が送信機制御部61に渡される。送信機制御部61は、この信号に従い、送信機50に内蔵されるバッテリ(不図示)に対し、送信機50内の各部への電源供給を指示する。これにより、操作者は、送信機50の電源がオンとなり、送信機50の使用を簡単に開始できる。
RTHボタンB2は押下されると、押下された旨の信号が送信機制御部61に入力される。送信機制御部61は、この信号に従い、無人航空機100に所定の位置(例えば無人航空機100の離陸位置)に自動復帰させるための信号を生成し、無線通信部63及びアンテナAN1,AN2を介して無人航空機100に送信する。これにより、操作者は、送信機50に対する簡単な操作により、無人航空機100を所定の位置に自動で復帰(帰還)させることができる。
操作部セットOPSは、複数の操作部OP(例えば操作部OP1,…,操作部OPn)(n:2以上の整数)を用いて構成される。操作部セットOPSは、図4に示す左制御棒53L、右制御棒53R、電源ボタンB1及びRTHボタンB2を除く他の操作部(例えば、送信機50による無人航空機100の遠隔制御を支援するための各種の操作部)により構成される。ここでいう各種の操作部とは、例えば、無人航空機100の撮像装置220を用いた静止画の撮像を指示するボタン、無人航空機100の撮像装置220を用いた動画の録画の開始及び終了を指示するボタン、無人航空機100のジンバル200(図4参照)のチルト方向の傾きを調整するダイヤル、無人航空機100のフライトモードを切り替えるボタン、無人航空機100の撮像装置220の設定を行うダイヤルが該当する。
リモートステータス表示部L1及びバッテリ残量表示部L2は、図6を参照して説明したので、ここでは説明を省略する。
送信機制御部61は、プロセッサ(例えばCPU、MPU又はDSP)を用いて構成される。送信機制御部61は、送信機50の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
送信機制御部61は、無人航空機100の撮像装置220が撮像した撮像画像のデータを、無線通信部63を介して取得してメモリ(不図示)に保存し、インタフェース部65を介して携帯端末80に出力してよい。言い換えると、送信機制御部61は、無人航空機100の撮像装置220、235により撮像された空撮画像のデータを携帯端末80に表示させてよい。これにより、無人航空機100の撮像装置220、235により撮像された空撮画像は、携帯端末80において表示可能となる。
送信機制御部61は、操作者の左制御棒53L及び右制御棒53Rの操作により、その操作により指定された無人航空機100の飛行を制御するための指示信号を生成してよい。送信機制御部61は、この指示信号を、無線通信部63及びアンテナAN1,AN2を介して、無人航空機100に送信して無人航空機100を遠隔制御してよい。これにより、送信機50は、無人航空機100の移動を遠隔で制御できる。
無線通信部63は、2つのアンテナAN1,AN2と接続される。無線通信部63は、2つのアンテナAN1,AN2を介して、無人航空機100との間で所定の無線通信方式(例えばWifi(登録商標))を用いた情報やデータの送受信を行う。
インタフェース部65は、送信機50と携帯端末80との間の情報やデータの入出力を行う。インタフェース部65は、例えば送信機50に設けられたUSBポート(不図示)でよい。インタフェース部65は、USBポート以外のインタフェースでもよい。
図8は、携帯端末80のハードウェア構成の一例を示すブロック図である。携帯端末80は、端末制御部81、インタフェース部82、操作部83、無線通信部85、メモリ87、及び表示部88を備えてよい。携帯端末80は、表示装置の一例である。
端末制御部81は、例えばCPU、MPU又はDSPを用いて構成される。端末制御部81は、携帯端末80の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
端末制御部81は、無線通信部85を介して、無人航空機100からのデータや情報を取得してよい。端末制御部81は、インタフェース部82を介して、送信機50からのデータや情報を取得してよい。端末制御部81は、操作部83を介して入力されたデータや情報を取得してよい。端末制御部81は、メモリ87に保持されたデータや情報を取得してよい。端末制御部81は、データや情報を表示部88に送り、このデータや情報に基づく表示情報を表示部88に表示させてよい。
端末制御部81は、無人航空機100の制御を指示するためのアプリケーションを実行してよい。端末制御部81は、アプリケーションで用いられる各種のデータを生成してよい。
インタフェース部82は、送信機50と携帯端末80との間の情報やデータの入出力を行う。インタフェース部82は、例えば携帯端末80に設けられたUSBコネクタ(不図示)でよい。インタフェース部65は、USBコネクタ以外のインタフェースでもよい。
操作部83は、携帯端末80の操作者により入力されるデータや情報を受け付ける。操作部83は、ボタン、キー、タッチパネル、マイクロホン、等を含んでよい。ここでは、主に、操作部83と表示部88とがタッチパネルにより構成されることを例示する。この場合、操作部83は、タッチ操作、タップ操作、ドラック操作等を受付可能である。
無線通信部85は、各種の無線通信方式により、無人航空機100との間で通信する無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、近距離無線通信、又は公衆無線回線を介した通信を含んでよい。
メモリ87は、例えば携帯端末80の動作を規定するプログラムや設定値のデータが格納されたROMと、端末制御部81の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してよい。メモリ87は、ROM及びRAM以外のメモリが含まれてよい。メモリ87は、携帯端末80の内部に設けられてよい。メモリ87は、携帯端末80から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。
表示部88は、例えばLCD(Liquid Crystal Display)を用いて構成され、端末制御部81から出力された各種の情報やデータを表示する。表示部88は、無人航空機100の撮像装置220により撮像された空撮画像のデータを表示してよい。
図9は、携帯端末80の機能構成の一例を示すブロック図である。端末制御部81は、第1画像取得部811、情報取得部812、画像位置取得部813、第2画像取得部814、及び表示制御部815を備える。画像位置取得部813は、第2の取得部の一例である。第2画像取得部814は、生成部の一例である。
第1画像取得部811は、インタフェース部82又は無線通信部85を介して、無人航空機100からの空撮画像又は下向き画像を取得する。
情報取得部812は、インタフェース部82又は無線通信部85を介して、無人航空機100からの飛行に関する情報及び撮像装置220、235の撮像に関する情報の少なくとも1つを取得する。
画像位置取得部813は、下向き画像における無人航空機100の位置に相当する位置(画像位置、UAV位置とも称する)の情報を取得する。画像位置取得部813は、重力方向に対する撮像装置220、235の傾きに基づいて、画像位置の情報を算出して取得してよい。画像位置取得部813は、重力方向に対する撮像装置220、235の傾き及び撮像装置220、235の画角に基づいて、画像位置の情報を算出して取得してよい。
第2画像取得部814は、下向き画像における無人航空機100の位置に相当する画像位置に、無人航空機100に関する情報を重畳し、重畳画像を生成する。重畳画像は、第2の画像の一例である。無人航空機100に関する情報は、下向き画像における画像位置に相当する実空間の位置に、無人航空機100が存在する旨の情報を含んでよい。無人航空機100が存在する旨の情報は、無人航空機100の存在を示す画像により示されてよい。無人航空機100に関する情報は、無人航空機100の向きの情報を含んでよい。無人航空機100の向きの情報は、無人航空機100の向きを示す画像により示されてよい。無人航空機100に関する情報は、撮像装置220、235の撮像方向の情報を含んでよい。撮像装置220、235の撮像方向の情報は、撮像装置220、235の撮像方向を示す画像により示されてよい。無人航空機100に関する情報は、無人航空機100の飛行方向の情報を含んでよい。無人航空機100の飛行方向の情報は、無人航空機100の飛行方向を示す画像により示されてよい。
無人航空機100の存在を示す画像は、例えば無人航空機100が上空から空撮された空撮画像でよい。無人航空機100の存在を示す画像は、無人航空機100が上空から空撮された様子を模式的に示した画像でよい。無人航空機100の存在を示す画像は、その他の画像や記号(例えば単純な○、△、□、×)でもよい。無人航空機100の存在を示す画像は、メモリ87に保持されていてよい。
無人航空機100の向きを示す画像は、無人航空機100の向きを矢印の先端とした矢印の画像により示されてよい。よって、第2画像取得部814は、無人航空機100の向きに基づいて、矢印の画像の向きを調整してよい。無人航空機100の向きを示す画像は、無人航空機100を示す画像の回転により示されてよい。UAV本体102に対してバッテリ(不図示)と反対方向が、無人航空機100の前進時の進行方向となり、無人航空機100の向きとなってよい。無人航空機100の向きを示す画像は、メモリ87に保持されていてよい。
撮像装置220、235の撮像方向を示す画像は、撮像装置220、235の撮像方向を矢印の先端とした矢印の画像により示されてよい。よって、第2画像取得部814は、撮像装置220、235の撮像方向に基づいて、矢印の画像の向きを調整してよい。また、撮像装置220、235の撮像方向を示す画像は、無人航空機100を示す画像の回転により示されてよい。撮像装置220は、UAV本体102に対してバッテリと反対側に配置されてよい。この場合、撮像方向は、UAV本体102に対してバッテリと反対方向により示されてよい。撮像装置220、235の撮像方向を示す画像は、メモリ87に保持されていてよい。
無人航空機100の飛行方向を示す画像は、無人航空機100の飛行方向を矢印の先端とした矢印の画像により示されてよい。よって、第2画像取得部814は、無人航空機100の飛行方向に基づいて、矢印の画像の向きを調整してよい。無人航空機100の飛行方向を示す画像は、メモリ87に保持されていてよい。
表示制御部815は、表示部88を介して、空撮画像や重畳画像を表示する。表示制御部815は、操作部83を介した操作者による任意の設定等により、画面に表示される画像の上下方向や左右方向を設定してよい。表示制御部815は、無人航空機100の飛行方向の前方を画面上方として、空撮画像や重畳画像を表示させてよい。表示制御部815は、北側を画面上方として、空撮画像や重畳画像を表示させてよい。
表示制御部815は、無人航空機100の操作のために提供される操作用カメラ(サブカメラ)で撮像された空撮画像と、操作者が所望する画像を撮像するための撮像用カメラ(メインカメラ)で撮像された空撮画像と、を切り替えて表示させてよい。また、表示制御部815は、操作用カメラによる空撮画像内に撮像用カメラによる空撮画像を重畳するPinP(Picture in Picture)の表示モードとしてもよい。表示制御部815は、撮像用カメラによる空撮画像内に操作用カメラによる空撮画像を重畳するPinPの表示モードとしてもよい。表示制御部815は、これらの表示モードを切り替えてもよい。
次に、無人航空機100における撮像装置235の設置例について説明する。なお、撮像装置235は、無人航空機100の操作のために提供される操作用カメラ(サブカメラ)として機能してよい。撮像装置220は、操作者が所望する画像を撮像するための撮像用カメラ(メインカメラ)として機能してよい。
図10Aは、撮像装置235の第1設置例を示す斜視図である。撮像装置235は、UAV本体102に固定して設置されてよい。撮像装置235は、UAV本体102に下向きに設置されてよく、つまり撮像装置235による撮像方向が重力方向に沿うように設置されてよい。この場合、撮像装置235の水平方向の位置が、撮像装置235により撮像される空撮画像の画像範囲に含まれる。撮像装置235は、UAV本体102に下向きに設置されなくてもよい。この場合、無人航空機100の第1画像取得部113により、撮像装置235により撮像された空撮画像を基に下向き画像が生成されてよい。
撮像装置235がUAV本体102に固定設置されることで、UAV本体102に対する撮像装置235の姿勢が一定となる。UAV本体102の姿勢は無人航空機100の姿勢に相当するので、無人航空機100の傾きに対する撮像装置235の傾きが一定となる。よって、無人航空機100の傾き及び撮像装置235の傾きの一方のパラメータは、無人航空機100の傾き及び撮像装置235の傾きの他方のパラメータによって代用でき、パラメータを1つ減らすことができる。したがって、飛行システム10は、各種演算(例えば画像位置の算出)の処理負荷を軽減できる。
図10Bは、撮像装置235の第2設置例を示す斜視図である。撮像装置235は、ジンバル200に固定して設置されてよい。撮像装置235は、ジンバル200に下向きに設置されてよく、つまり撮像装置235による撮像方向が重力方向に沿うように設置されてよい。この場合、撮像装置235の水平方向の位置が、撮像装置235により撮像される空撮画像の画像範囲に含まれる。撮像装置235は、ジンバル200に下向きに設置されなくてもよい。この場合、無人航空機100の第1画像取得部113により、撮像装置235により撮像された空撮画像を基に下向き画像が生成されてよい。
ジンバル200は、ジンバル200に支持された撮像装置220、235の無人航空機100に対する姿勢を変更することで、無人航空機100の姿勢が変化しても、無人航空機100の外部に対して撮像装置220、235の姿勢が変化しないように調整する。よって、ジンバル200に固定設置された撮像装置235は、無人航空機100の外部(例えば地面)に対する姿勢を一定に維持できる。したがって、撮像装置235により撮像される空撮画像が安定し、ブレの少ない画像を得られる。
なお、撮像装置235が無人航空機100に別途設けられずに、撮像装置230が撮像装置235と同様の機能を有してもよい。
次に、撮像装置220、235により撮像された空撮画像における無人航空機100の画像位置について説明する。
図11は、無人航空機100の画像位置の第1例を説明するための図である。図11では、地面に沿う水平方向がX方向及びY方向で規定されることを想定する。
図11では、重力方向に対する無人航空機100の傾きが0度であり、つまり、無人航空機100の姿勢が水平方向に沿って安定している。また、無人航空機100に対する撮像装置220の傾きが0度であり、つまり、撮像装置220、235の撮像方向がUAV本体102に対する垂直方向であるとする。この場合、撮像装置220、235による撮像方向は重力方向と一致するので、撮像装置220、235は、無人航空機100の実空間における真下方向を撮像することになる。よって、撮像装置220、235により撮像された空撮画像G11の中心位置が、空撮画像G11における無人航空機100の画像位置GP1となる。
このように、携帯端末80及び飛行システム10は、撮像装置220、235の傾きに基づいて、空撮画像G11における無人航空機100の画像位置を取得してよい。これにより、携帯端末80及び飛行システム10は、無人航空機100が有するセンシング機能により比較的容易に得られる撮像装置220、235の傾きを利用して、画像位置を取得できる。重力方向に対する撮像装置220、235の傾きが0度の場合には、重力方向が空撮画像に対する法線方向となり、撮像範囲は当該法線に対して対称となる。そのため、飛行体の画像位置は、空撮画像の中心位置となる。
図12は、無人航空機100の画像位置の第2例を説明するための図である。図12では、地面に沿う水平方向がX方向及びY方向で規定されることを想定する。
図12では、重力方向に対する無人航空機100の傾きのX方向成分をθとし、撮像装置220、235の画角のX方向成分をαとしている。撮像装置220、235により撮像された空撮画像G12におけるX方向の画像位置は、以下の(式1)に示す比により示されてよい。L1は、空撮画像の左端(X方向の負側の端部)から画像位置までの距離を示す。L2は、画像位置から空撮画像の右端(X方向の正側の端部)までの距離を示す。
L1:L2=tan(α/2−θ):tan(α/2+θ) ・・・(式1)
(α/2−θ)及び(α/2+θ)が0度以上で90度より小さい角度である場合、tan(α/2−θ)及びtan(α/2+θ)の値は、値0又は正の値となる。この場合、空撮画像G12内に無人航空機100の画像位置を含むこととなる。一方、(α/2−θ)及び(α/2+θ)が0度未満又は90度より大きい角度である場合、tan(α/2−θ)及びtan(α/2+θ)の値は、負の値となる。この場合、空撮画像G12内に無人航空機100の画像位置を含まないこととなる。
このように、携帯端末80及び飛行システム10は、撮像装置220、235の傾き及び画角に基づいて、空撮画像における無人航空機100の画像位置を取得してよい。これにより、携帯端末80及び飛行システム10は、重力方向に対して撮像装置220、235の撮像方向がある程度傾いている場合でも、撮像装置220、235の画角を考慮して、無人航空機100の画像位置を高精度に取得できる。
このように、携帯端末80は、無人航空機100の絶対位置(例えば緯度、経度)の情報が不明であっても、画像に対する相対的な無人航空機100の位置を判別できれば、無人航空機100の画像位置を算出可能である。
なお、図12では、X方向における画像位置の算出について例示したが、Y方向における画像位置についても同様に算出可能である。
次に、空撮画像及び重畳画像について説明する。
図13は、撮像装置235により撮像された空撮画像G13の一例を示す模式図である。図14は、撮像装置220により撮像された空撮画像G14の一例を示す模式図である。ここでは、撮像装置235が、自機としての無人航空機100に関する情報が重畳されるための空撮画像G13を撮像し、撮像装置220が、送信機50の操作者が所望する空撮画像G14を撮像することを想定する。つまり、撮像用のカメラと操作用のカメラとが別々であることを想定している。なお、図13に示す画像は、空撮画像G13に無人航空機100に関する情報が重畳されており、重畳画像とも言える。
空撮画像G13には、実空間における無人航空機100の位置に対応する画像位置に、無人航空機100の存在を示す画像gaが重畳されてよい。
これにより、画像gaが重畳された重畳画像の表示を確認する操作者は、無人航空機100が存在する位置(飛行位置)を重畳画像上で容易に把握できる。よって、操作者は、重畳画像から無人航空機100がどの位置を飛行しているかを容易に認識できる。したがって、操作者は、送信機50を介して空撮画像を確認しながら所望の位置に無人航空機100を飛行させることを容易化できる。
空撮画像G13には、無人航空機100の向きを示す矢印の画像gbが重畳されてよい。無人航空機100の向きは、無人航空機100を示す画像gaの表示の向きによって示されてもよい。図13では、無人航空機100を示す画像gaの表示の向きも、無人航空機100の向きに応じて回転されてよい。
これにより、携帯端末80及び飛行システム10は、操作者に対して、無人航空機100の向き、つまり前進時の飛行方向の情報を提供できる。よって、送信機50の操作者は、無人航空機100の前進方向がどの方向であるかを容易に確認でき、この方向を基準として前後方向や左右方向を認識でき、様々な移動制御操作をし易くなる。
空撮画像G13には、撮像装置235の撮像方向を示す画像gcが重畳されてよい。図13では、撮像方向が無人航空機100の向きと一致しているが、撮像方向が無人航空機100の向きと異なってもよい。
これにより、携帯端末80及び飛行システム10は、操作者に対して、撮像装置235の撮像方向の情報を提供できる。よって、送信機50の操作者は、無人航空機100の現在の撮像方向を加味しながら無人航空機100の移動制御操作を実施でき、所望の空撮画像を取得し易くなる。
空撮画像G13には、無人航空機100の飛行方向を示す画像gdが重畳されてよい。図13では、飛行方向が無人航空機100の向きと一致しているが、飛行方向が無人航空機100の向きと異なってもよい。
これにより、携帯端末80及び飛行システム10は、操作者に対して、無人航空機100の飛行方向の情報を提供できる。よって、送信機50の操作者は、無人航空機100が将来的にどの方向に進行するかを加味しながら、無人航空機100の移動制御操作を実施できる。
次に、飛行システム10の動作例について説明する。
図15は、飛行システム10の第1動作例を示すシーケンス図である。第1動作例では、飛行システム10は、空撮画像内に、無人航空機100の実空間の位置に対応する画像位置が含まれることを想定する。第1動作例は、無人航空機100の飛行中に、定期的に反復して実施されてよい。
まず、無人航空機100では、第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する(S101)。撮像情報取得部112は、撮像装置220、235(カメラとも称する)の傾きの情報を取得する(S102)。通信インタフェース150は、S101で取得された空撮画像とS102で取得された撮像装置220、235の傾きの情報とを、携帯端末80へ送信する(S103)。
携帯端末80では、第1画像取得部811が、インタフェース部82又は無線通信部85を介して、無人航空機100から空撮画像を取得する(S111)。情報取得部812が、インタフェース部82又は無線通信部85を介して、撮像装置220、235の傾きの情報を取得する(S111)。画像位置取得部813は、空撮画像内での無人航空機100の位置に相当する画像位置を算出する(S112)。第2画像取得部814は、空撮画像の画像位置に、無人航空機100に関する情報(例えば画像ga,gb,bc,bdの少なくとも1つ)を重畳し、重畳画像を生成する(S113)。表示制御部815は、表示部88を介して、重畳画像を表示する(S114)。
第1動作例によれば、携帯端末80及び飛行システム10は、空撮画像内の無人航空機100の位置に相当する画像位置に、無人航空機100に関する情報を含む重畳画像を表示できる。そのため、操作者は、表示された重畳画像を確認することで、空撮画像における画像位置に対応する実空間の位置に、無人航空機100が飛行中であることを認識できる。よって、送信機50及び携帯端末80の操作者は、空撮画像を確認しながら、送信機50を介して所望の位置に無人航空機100を飛行させることが容易になる。また、予め地図画像が用意されていない場合でも、無人航空機100がどの位置を飛行しているかを容易に把握できる。
図16は、飛行システム10の第2動作例を示すフローチャートである。第2動作例では、飛行システム10が、空撮画像を蓄積することを想定する。空撮画像は、空撮画像が撮像される毎に蓄積されてもよいし、所定数撮像された際に所定数まとめて蓄積されてもよいし、所定期間毎にまとめて蓄積されてもよい。空撮画像の撮像時間間隔は任意でよい。
まず、無人航空機100では、第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する(S121)。飛行情報取得部111は、無人航空機100の位置情報を取得する(S122)。この位置情報は、S121において空撮画像が撮像された際の無人航空機100の位置情報である。撮像情報取得部112は、撮像装置220、235の傾きの情報を取得する(S122)。この傾きの情報は、S121において空撮画像が撮像された際の撮像装置220、235の傾きの情報である。
情報付加部114は、S121で取得された空撮画像に、空撮画像に関する付加情報として、S122において得られた無人航空機100の位置情報と撮像装置220、235の傾きの情報とを付加する(S123)。情報付加部114は、付加情報が付加された空撮画像を、画像DB171に蓄積する(S124)。
第2動作例によれば、無人航空機100は、撮像した空撮画像を、空撮画像に関する付加情報と関連付けて蓄積できる。よって、無人航空機100は、空撮画像の撮像直後に空撮画像の処理を行わなくても、付加情報の少なくとも1つをキーとして、付加情報に関連付けられた空撮画像を抽出可能である。よって、無人航空機100は、例えば無人航空機100の飛行位置と一致する空撮画像を抽出して、下向き画像を生成するための元画像とすることができる。
図17は、飛行システム10の第3動作例を示すシーケンス図である。第3動作例では、飛行システム10は、空撮画像内に、無人航空機100の実空間の位置に対応する画像位置が含まれないことを想定する。なお、飛行システム10は、空撮画像内に、無人航空機100の実空間の位置に対応する画像位置が含まれる場合においても、第3動作例を実施してもよい。第3動作例は、無人航空機100の飛行中に、定期的に反復して実施されてよい。
まず、無人航空機100では、第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する(S131)。飛行情報取得部111は、無人航空機100の位置情報を取得する(S132)。この位置情報は、S131において空撮画像が撮像された際の無人航空機100の位置情報である。撮像情報取得部112は、撮像装置220、235の傾きの情報を取得する(S132)。この傾きの情報は、S131において空撮画像が撮像された際の撮像装置220、235の傾きの情報である。
第1画像取得部113は、S132で得られた無人航空機100の位置情報に基づいて、画像DB171から1つ以上の空撮画像を取得してよい(S133)。第1画像取得部113は、取得された1つ以上の空撮画像の各々に付加された傾き情報に基づいて、1つ以上の空撮画像の各々に対して射影変換等し、1つ以上の下向き画像を生成してよい(S134)。第1画像取得部113は、生成された複数の下向き画像を合成して、1つの下向き画像を生成してもよい。通信インタフェース150は、S134で生成された1つの下向き画像、S132で得られた無人航空機100の位置情報、及び撮像装置220、235の傾きの情報を、携帯端末80へ送信する(S135)。
S133では、第1画像取得部113は、画像DB171から1つ以上の空撮画像を取得しなくてもよい。この場合、S134では、S132で得られた撮像装置220、235の傾き情報に基づいて、S131で得られた1つの空撮画像に対して射影変換等し、1つの下向き画像を生成してもよい。また、S134では、第1画像取得部113は、S131で得られた1つの空撮画像と、画像DB171から取得された1つ以上の空撮画像と、これらの空撮画像の各々に係る撮像装置220、235の傾きの情報と、に基づいて、下向き画像を生成してもよい。
携帯端末80では、第1画像取得部811は、インタフェース部82又は無線通信部85を介して、下向き画像を携帯端末80から受信する(S141)。情報取得部812は、インタフェース部82又は無線通信部85を介して、無人航空機100の位置情報、及び撮像装置220、235の傾きの情報を、携帯端末80から受信する(S141)。画像位置取得部813は、下向き画像内での無人航空機100の位置に相当する画像位置を算出する(S142)。第2画像取得部814は、下向き画像の画像位置に、無人航空機100に関する情報(例えば画像ga,gb,bc,bdの少なくとも1つ)を重畳し、重畳画像を生成する(S143)。表示制御部815は、表示部88を介して、重畳画像を表示する(S144)。
第3動作例によれば、携帯端末80及び飛行システム10は、下向き画像内の無人航空機100の位置に相当する画像位置に、無人航空機100に関する情報を含む重畳画像を表示できる。そのため、操作者は、表示された重畳画像を確認することで、下向き画像における画像位置に対応する実空間の位置に、無人航空機100が飛行中であることを認識できる。よって、送信機50及び携帯端末80の操作者は、下向き画像を確認しながら、送信機50を介して所望の位置に無人航空機100を飛行させることが容易になる。また、予め地図画像が用意されていない場合でも、無人航空機100がどの位置を飛行しているかを容易に把握できる。
また、無人航空機100及び飛行システム10は、撮像装置220、235の撮像方向が重力方向に対してある程度傾いており、飛行中の無人航空機100が撮像する空撮画像内に、無人航空機100(自機)の飛行位置に相当する画像位置が含まれない場合でも、撮像装置220、235の画角を考慮して、無人航空機100(自機)の飛行位置に相当する画像位置が含まれる下向き画像を生成できる。無人航空機100及び飛行システム10は、地面方向に対向して固定設置された撮像装置235以外の撮像装置220、235であっても、撮像された空撮画像を基に、無人航空機100(自機)の位置に対応する画像の情報を重畳できる。よって、操作者は、無人航空機100の飛行位置をリアルタイムに容易に把握できる。
また、無人航空機100により過去に撮像された空撮画像が画像DB171に蓄積されており、無人航空機100及び飛行システム10は、この空撮画像を利用して下向き画像を生成できる。よって、無人航空機100及び飛行システム10は、現在の飛行中に空撮画像内に無人航空機100の画像位置を含まなくても、現在の飛行位置と同一位置又は周辺位置での空撮画像から、無人航空機100の画像位置を含む画像としての下向き画像を生成できる。また、画像DB171から複数の空撮画像が取得された場合、仮に1つの空撮画像の画質が不十分である場合でも、合成後の画像の品質を改善し得る。そのため、操作者は、合成後の画像に基づく重畳画像を確認しながら、無人航空機100に対して一層容易に移動制御操作を実施できる。
また、無人航空機100では、第1画像取得部113が、1つ以上の空撮画像とこの空撮画像に係る撮像装置220、235の傾きの情報とに基づいて、重力方向を法線方向とする下向き画像を生成してよい。これにより、無人航空機100は、無人航空機100の画像位置が画像範囲の中心位置と一致する下向き画像を生成でき、無人航空機100の飛行位置を中心とした下向き画像を取得できる。よって、操作者は、無人航空機100の周辺位置の様子を見易く表示できる。
なお、飛行システム10では、送信機50が、携帯端末80が有する機能を有してもよい。この場合、送信機50が省略されてもよい。また、携帯端末80が、送信機50が有する機能を有してもよい。この場合、送信機50が省略されてもよい。
(飛行システムの変形例)
次に、飛行システム10の変形例について説明する。変形例に係る飛行システム10A(不図示)は、無人航空機100A(不図示)と、送信機50と、携帯端末80A(不図示)とを備える。変形例の説明では、飛行システム10と同様の内容については、説明を省略又は簡略化する。
図18は、無人航空機100の変形例である無人航空機100Aの機能構成を示すブロック図である。無人航空機100Aは、UAV制御部110の代わりに、UAV制御部11Aを備える。UAV制御部110Aは、飛行情報取得部111、撮像情報取得部112、第1画像取得部113、情報付加部114、画像位置取得部115、及び第2画像取得部116、を備える。つまり、UAV制御部110と比較すると、UAV制御部110Aは、画像位置取得部115及び第2画像取得部116を追加で備えている。画像位置取得部115は、第2の取得部の一例である。第2画像取得部116は、生成部の一例である。
画像位置取得部115は、図9での画像位置取得部813と同様の機能を有する。第2画像取得部116は、図9での第2画像取得部814と同様の機能を有する。
図19は、携帯端末80の変形例である携帯端末80Aの機能構成を示すブロック図である。携帯端末80Aは、端末制御部81の代わりに端末制御部81Aを備える。端末制御部81Aは、画像取得部816及び表示制御部815を備える。画像取得部816は、インタフェース部82又は無線通信部85を介して、無人航空機100Aからの重畳画像を取得する。
つまり、飛行システム10Aでは、無人航空機100Aは、空撮画像の撮像から重畳画像の生成までを行い、重畳画像を携帯端末80へ送信する。携帯端末80Aは、無人航空機100Aからの重畳画像を受信し、重畳画像を表示する。これにより、飛行システム10Aは、無人航空機100A内において、下向き画像の生成、無人航空機100Aの画像位置の決定、重畳画像の生成、等の画像処理を完結できる。よって、飛行システム10Aは、携帯端末80Aの処理負荷を軽減できる。また、携帯端末80Aは、画像の受信と表示が実施できればよいので、携帯端末80Aは、例えば画像処理能力の低い又は画像処理機能を有しない表示装置により置換できる。
なお、飛行システムが有する機能の分散方法は、飛行システム10や飛行システム10Aで示した機能の分散に限られない。例えば、下向き画像の生成機能を携帯端末80が有してもよい。また、飛行システム10,10Aでは、無人航空機100,100Aが空撮画像の撮像から無人航空機100,100Aの画像位置の決定までを行い、携帯端末80Aが重畳画像の生成及び重畳画像の表示を行ってもよい。
このように、飛行システム10,10Aは、空撮画像の撮像から重畳画像の表示までに必要な各機能を、任意に各装置に分散してよい。例えば、飛行システム10,10Aは、例えば無人航空機100,100Aの性能や携帯端末80,80Aの性能に応じて、無人航空機100,100A及び携帯端末80,80Aに対して機能が分散されて実施されてよい。これにより、飛行システム10,10Aは、無人航空機100,100A及び携帯端末80,80Aのいずれか一方の処理負荷が過大又は過小となることを抑制でき、適切な処理バランスで機能を分散できる。
(第2の実施形態)
第2の実施形態では、無人航空機が、他の無人航空機とともに飛行グループを形成して飛行することを想定する。
図20は、第2の実施形態における飛行システム10Bの構成例を示す模式図である。飛行システム10Bは、複数の無人航空機100B、送信機50、及び携帯端末80Bを備える。無人航空機100B、送信機50、及び携帯端末80Bは、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。第2の実施形態において、第1の実施形態と同様の構成や動作については、説明を省略又は簡略化する。
図21は、無人航空機100Bのハードウェア構成の一例を示すブロック図である。無人航空機100Bは、第1の実施形態における無人航空機100と比較すると、UAV制御部110の代わりにUAV制御部110Bを備え、メモリ160の代わりにメモリ160Bを備える。図21の無人航空機100Bにおいて、図4の無人航空機100と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
メモリ160Bは、メモリ160の機能に有するとともに、協調制御情報CCを保持する。協調制御情報CCは、同じ飛行グループに属する複数の無人航空機100Bが協調して飛行するための制御情報を含む。協調制御情報CCは、同じ飛行グループに属する複数の無人航空機100Bの相対的な位置情報を含む。例えば、同じ飛行グループに属する複数の無人航空機100Bにおける基準位置RPと無人航空機100B(自機)との相対的な位置情報を含む。この相対的な位置情報は、基準位置RPと各無人航空機100Bとの間の距離を示す距離情報を含んでよい。この相対的な位置情報は、基準位置RPから見た各無人航空機100Bが位置する方向を示す方向情報を含んでよい。基準位置RPは、同じ飛行グループに含まれる複数の無人航空機100Bの中間位置、中心位置、重心位置、又はその他の基準となる位置でよい。協調制御情報CCは、送信機50の飛行操作により複数の無人航空機100Bが協調飛行する前に、メモリ160Bに保持される。
メモリ160Bは、同じ飛行グループについての異なる複数の協調制御情報CCを保持してよい。つまり、メモリ160Bは、同じ飛行グループについての異なる複数の相対的な位置情報を保持してよい。これにより、複数の無人航空機100Bが様々な相対的な位置関係を維持して飛行できる。
図22は、UAV制御部110Bの機能構成の一例を示すブロック図である。UAV制御部110Bは、飛行情報取得部111B、撮像情報取得部112B、第1画像取得部113B、情報付加部114、相対位置取得部117、及び飛行制御部118を備える。相対位置取得部117は、第9の取得部の一例である。図22に示すUAV制御部110Bにおいて、図5に示したUAV制御部110と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
飛行情報取得部111Bは、飛行情報取得部111が有する機能に加え、以下の機能を有する。飛行情報取得部111Bは、同じ飛行グループに属する複数の無人航空機100Bの飛行に関する情報を取得してよい。各無人航空機100Bの飛行に関する情報は、各無人航空機100Bの飛行の位置情報、各無人航空機100Bの向きの情報、各無人航空機100Bの飛行方向の情報を含んでよい。各無人航空機100Bの飛行に関する情報の取得方法は同じでよい。各無人航空機100Bの飛行に関する情報の少なくとも一部は、通信インタフェース150を介して、携帯端末80Bへ送信されてよい。
撮像情報取得部112Bは、撮像情報取得部112が有する機能に加え、以下の機能を有する。撮像情報取得部112Bは、同じ飛行グループに属する複数の無人航空機100Bの各々が備える各撮像装置220、235の撮像に関する情報を取得する。各撮像装置220、235の撮像に関する情報は、各撮像装置220、235による撮像方向の情報、各撮像装置220、235の傾きの情報、各撮像装置220、235の画角の情報を含んでよい。各撮像装置220、235の傾きの情報の取得方法は同じでよい。各撮像装置220、235の傾きの情報の少なくとも一部は、通信インタフェース150を介して、携帯端末80Bへ送信されてよい。
第1画像取得部113Bは、第1画像取得部113が有する機能に加え、以下の機能を有する。第1画像取得部113Bは、撮像装置220、235により撮像された空撮画像を取得する。この空撮画像には、その画像範囲に、空撮画像の撮像時における飛行グループに属する各無人航空機100Bの水平方向の位置に対応する各画像位置を含む場合もあり得るし、含まない場合もあり得る。つまり、空撮画像の画像範囲に、全ての無人航空機100Bの画像位置が含まれる場合もあるし、少なくとも一部の無人航空機100Bの画像位置が含まれない場合もある。空撮画像に基づく下向き画像では、その画像範囲に、飛行グループに属する無人航空機100Bのうち少なくとも一部の画像位置を含む。
第1画像取得部113Bは、通信インタフェース150を介して、他の無人航空機100Bの撮像装置220、235により撮像された空撮画像を取得してよい。第1画像取得部113Bは、無人航空機100B(自機)により撮像された空撮画像、他の無人航空機100B(他機)の各々により撮像された1つ以上の空撮画像のうち、2つ以上の空撮画像を基に合成画像を生成してよい。この合成画像には、その画像範囲に、合成画像の合成時又は合成画像となった元の空撮画像の撮像時において、飛行グループに属する各無人航空機100Bの水平方向の位置に対応する各画像位置を含む場合もあり得るし、含まない場合もあり得る。つまり、合成画像の画像範囲に、全ての無人航空機100Bの画像位置が含まれる場合もあるし、少なくとも一部の無人航空機100Bの画像位置が含まれない場合もある。但し、自機1台により撮像された空撮画像と比較すると、合成画像の画像範囲内に、より多くの無人航空機100Bの画像位置が含まれる可能性が高くなる。合成画像に基づく下向き画像では、その画像範囲に、飛行グループに属する無人航空機100Bのうち少なくとも一部の画像位置を含む。
第1画像取得部113Bは、無人航空機100B(自機)により撮像された空撮画像、他の無人航空機100B(他機)の各々により撮像された1つ以上の空撮画像、画像DB171に蓄積された1つ以上の空撮画像のうち、2つ以上の空撮画像を基に合成画像を生成してよい。
第1画像取得部113Bは、複数の無人航空機100Bの空撮画像に基づく合成画像に対して、合成画像の元となった空撮画像の撮像時における撮像装置220、235の傾きに基づいて射影変換することで、下向き画像を生成してよい。例えば、合成画像の法線方向が重力方向に対して傾いている場合に、第1画像取得部113Bは、この法線方向が重力方向に近づくような射影変換を行い、下向き画像を生成してよい。これにより、合成画像の画像範囲内に、より多くの無人航空機100Bの画像位置が含まれる可能性が一層高くなる。
合成画像の画像範囲に、合成画像の撮像時又は合成画像の元となった空撮画像の撮像時における少なくとも1つの無人航空機100の水平方向の位置に対応する画像位置を含む場合、下向き画像は合成画像でよい。合成画像の画像範囲に、合成画像の撮像時又は合成画像の元となった空撮画像の撮像時における全ての無人航空機100の水平方向の位置に対応する画像位置を含まない場合、第1画像取得部113は、合成画像を基に下向き画像を生成してよい。
空撮画像、合成画像、及び下向き画像の少なくとも一部は、通信インタフェース150を介して、携帯端末80Bへ送信されてよい。
このように、無人航空機100B及び飛行システム10Bは、複数の無人航空機100Bの各々で撮像された複数の空撮画像を合成して合成画像を生成し、合成画像に基づいて下向き画像を生成してよい。これにより、無人航空機100B及び飛行システム10Bは、1つの無人航空機100Bの空撮画像では不足する広範囲の空撮画像を、合成画像として生成できる。合成画像に基づく下向き画像を用いることで、例えば同じ飛行グループに属する複数の無人航空機100Bの間を比較的長い距離確保して協調飛行する場合でも、それぞれの無人航空機100Bの実空間上の位置に対応する画像位置が、下向き画像の画像範囲に含まれる確率が高くなる。携帯端末80Bがこの下向き画像に各無人航空機100Bの画像位置を重畳して表示することで、操作者は、より地理的に広範囲をカバーする下向き画像において、複数の無人航空機100Bの各位置を視認できる。
相対位置取得部117は、同じ飛行グループに属する複数の無人航空機100Bの相対的な位置情報を取得する。相対位置取得部117は、相対的な位置情報を、メモリ160Bから取得してよい。相対位置取得部117は、相対的な位置情報を、通信インタフェース150を介して、外部装置(例えば携帯端末80B)から取得してよい。
相対的な位置情報は、飛行グループにおける基準位置RPを基準とした、基準位置RPに対する無人航空機100B(自機)の相対的な位置情報を含んでよい。相対的な位置情報は、基準位置RPに対する他の無人航空機100B(他機)の相対的な位置情報を含んでよい。
相対的な位置情報は、飛行グループにおける任意の無人航空機100Bを基準とした、この任意の無人航空機100Bに対する無人航空機100B(自機)の相対的な位置情報を含んでよい。相対的な位置情報は、飛行グループにおける任意の無人航空機100Bを基準とした、この任意の無人航空機100Bに対する他の無人航空機100B(他機)の相対的な位置情報を含んでよい。つまり、任意の無人航空機100Bの存在位置が、基準位置RPとなってよい。
相対位置取得部117は、自機の相対的な位置情報及び他機の相対的な位置情報を含む場合、相対的な位置情報に関連付けられた無人航空機100Bの識別情報を参照して、自機の相対的な位置情報を識別して取得してよい。
相対的な位置情報は、通信インタフェース150を介して、携帯端末80Bへ送信されてよい。
飛行制御部118は、同じ飛行グループに属する複数の無人航空機100Bの相対的な位置関係を固定して、無人航空機100B(自機)の飛行を制御する。飛行制御部118は、基準位置RPに対する無人航空機100Bの相対的な位置関係を固定して、無人航空機100B(自機)の飛行を制御してよい。この場合、基準位置RPに対する飛行グループに属する各無人航空機100Bの相対的な位置関係が固定されるので、飛行グループに属する複数の無人航空機100B全体としての相対的な位置関係も固定される。
相対的な位置関係の固定には、基準位置RPに対する無人航空機100Bの距離を変更せずに維持することが含まれてよい。相対的な位置関係の固定には、基準方向(例えば飛行グループの前進時の進行方向)に対する撮像装置220,235の撮像方向を変更せずに維持することが含まれてよい。
飛行制御部118は、同じ飛行グループについての異なる複数の相対的な位置情報に基づいて、複数の無人航空機100Bを異なる相対的な位置関係として、飛行制御してよい。よって、無人航空機100Bは、用いる相対的な位置情報を変更することで、複数の無人航空機100Bの相対的な位置関係を変更してよい。
このように、無人航空機100Bは、飛行制御部118により、複数の無人航空機100B間の相対的な位置情報を加味して(例えば相対的な位置関係を維持して)、飛行制御することが可能である。
図23は、携帯端末80Bの機能構成の一例を示すブロック図である。携帯端末80Bは、端末制御部81の代わりに端末制御部81Bを備える。端末制御部81Bは、第1画像取得部811B、情報取得部812B、画像位置取得部813B、第2画像取得部814B、及び表示制御部815を備える。図23に示す端末制御部81Bにおいて、図9に示した端末制御部81と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
第1画像取得部811Bは、インタフェース部82又は無線通信部85を介して、複数の無人航空機100Bのうち少なくとも1台から、空撮画像、合成画像、及び下向き画像の少なくとも1つを取得してよい。第1画像取得部811Bにより取得される画像は、飛行グループに属する1つの無人航空機100Bが代表して携帯端末80Bへ送信してもよいし、各無人航空機100Bが別々に携帯端末80Bへ送信してもよい。
情報取得部812Bは、インタフェース部82又は無線通信部85を介して、複数の無人航空機100Bのうち少なくとも1台から、飛行に関する情報の少なくとも一部及び撮像装置220、235の撮像に関する情報の少なくとも一部のうち、少なくとも1つを取得してよい。情報取得部812Bにより取得される情報は、飛行グループに属する1つの無人航空機100Bが代表して携帯端末80Bへ送信してもよいし、各無人航空機100Bが別々に携帯端末80Bへ送信してもよい。また、情報取得部812Bは、インタフェース部82又は無線通信部85を介して、飛行グループに属する複数の無人航空機100B間の相対的な位置情報を取得してよい。
画像位置取得部813Bは、下向き画像(1枚の空撮画像、合成画像も含み得る)における無人航空機100B(自機)の位置に相当する画像位置の情報を取得する。画像位置取得部813Bは、重力方向に対する撮像装置220、235の傾きに基づいて、無人航空機100B(自機)の画像位置の情報を算出して取得してよい。画像位置取得部813Bは、重力方向に対する撮像装置220、235の傾き及び撮像装置220、235の画角に基づいて、無人航空機100B(自機)の画像位置の情報を算出して取得してよい。
画像位置取得部813Bは、下向き画像における他の無人航空機100B(他機)の位置に相当する画像位置の情報を取得する。画像位置取得部813Bは、取得された1台の無人航空機100B(自機)の位置情報と、取得された相対的な位置情報と、に基づいて、他の無人航空機100B(他機)の位置に相当する画像位置の情報を算出して取得してよい。画像位置取得部813Bは、取得された飛行グループに属する全ての無人航空機100Bの位置情報に基づいて、他の無人航空機100B(他機)の位置に相当する画像位置の情報を算出して取得してよい。
第2画像取得部814Bは、下向き画像における各無人航空機100Bの位置に相当する各画像位置に、各無人航空機100Bに関する情報を重畳し、重畳画像を生成する。各無人航空機100Bに関する情報は、第1の実施形態で説明した情報と同様でよい。
このように、携帯端末80B及び無人航空機100Bは、相対的な位置情報に基づいて複数の無人航空機100Bの各々の画像位置の情報を取得してよい。この場合、携帯端末80B及び無人航空機100Bは、複数の無人航空機100Bの相対的な位置情報を、各々の無人航空機100Bを示す画像により表現できる。また、少なくとも1つの相対的な位置情報を取得すればよいので、複数の無人航空機100Bと携帯端末80Bとの間の通信量を削減できる。操作者は、表示部88を介して重畳画像を確認することで、複数の無人航空機100Bの相対的な位置関係を視認でき、協調して飛行する複数の無人航空機100Bがどのような隊形でどの位置を飛行中であるかを把握できる。
また、携帯端末80B及び無人航空機100Bは、複数の無人航空機100Bの各々の位置情報に基づいて複数の無人航空機100Bの各々の画像位置の情報を取得してよい。この場合、携帯端末80B及び無人航空機100Bは、複数の無人航空機100Bの各々の絶対位置の情報を扱うことで、各無人航空機100Bの位置に対応する画像位置を、高精度に導出できる。操作者は、表示部88を介して重畳画像を確認することで、複数の無人航空機100Bの各々の画像位置を視認でき、各々の画像位置に対応する実空間上の飛行位置を高精度に推定できる。よって、操作者は、協調して飛行する複数の無人航空機100Bがどのような隊形でどの位置を飛行中であるかを高精度に把握できる。
次に、本実施形態の重畳画像について説明する。
図24は、複数の無人航空機100Bに関する情報が重畳された重畳画像G16の一例を示す模式図である。図24では、各無人航空機100Bを示す画像ga1,ga2,ga3が重畳されている。なお、3台の無人航空機100Bは一例であり、他の台数でもよい。また、重畳画像G16に、各無人航空機100Bに関する情報を示す画像(矢印画像等)が、それぞれ重畳されてよい。
このように、画像位置取得部813Bは、下向き画像における複数の無人航空機100Bの各々の画像位置の情報を算出等により取得してよい。第2画像取得部814Bは、下向き画像における複数の無人航空機100Bの各々の画像位置に、複数の無人航空機100Bの各々に関する情報を示す画像ga1〜ga3を重畳し、重畳画像G16を生成してよい。
これにより、携帯端末80B及び飛行システム10Bは、下向き画像(1枚の空撮画像、合成画像も含み得る)内の複数の無人航空機100Bの各位置に相当する各画像位置に、各無人航空機100に関する情報を含む重畳画像を表示できる。そのため、操作者は、表示された重畳画像を確認することで、下向き画像における画像位置に対応する実空間の位置に、複数の無人航空機100Bが飛行中であることを認識できる。また、操作者は、複数の無人航空機100Bが平面的にどのように整列しているかを視認可能となる。よって、操作者は、下向き画像を確認しながら、送信機50を介して所望の位置に複数の無人航空機100Bを協調して飛行させることが容易になる。また、予め地図画像が用意されていない場合でも、複数の無人航空機100Bがどの位置を飛行しているかを容易に把握できる。
本実施形態では、複数の無人航空機100Bが、飛行高度が異なる相対的な位置関係を維持して飛行してよい。例えば、ある1台の無人航空機100Bが地面方向を撮像する撮像範囲に、他の無人航空機100Bの少なくとも1台が入り込むように、複数の無人航空機100Bが協調して飛行してよい。これにより、飛行システム10Bは、少なくとも1台の無人航空機100Bの実際の飛行の様子を空撮画像に収めることができ、空撮画像中に実際の画像位置で実際のサイズで無人航空機100Bの画像を重畳できる。
本実施形態では、第1の実施形態と同様に、飛行システム10Bが有する機能を無人航空機100B及び携帯端末80Bにより分散して有してもよい。例えば、無人航空機100Bが、合成画像の生成、下向き画像の生成、各無人航空機100Bの画像位置の決定、重畳画像の生成、等の画像処理を完結してよい。携帯端末80Bは、無人航空機100Bからの重畳画像を受信し、重畳画像を表示してよい。また、これ以外の分散方法で、飛行システム10Bが有する機能を、無人航空機100B及び携帯端末80Bにより分散して有してもよい。
(第3の実施形態)
第3の実施形態では、無人航空機以外の装置である携帯端末が、無人航空機が撮像した空撮画像を蓄積する画像DBを保持することを想定する。
図25は、第3の実施形態における飛行システム10Cの構成例を示す模式図である。飛行システム10Cは、複数の無人航空機100C、送信機50、及び携帯端末80Cを備える。無人航空機100C、送信機50、及び携帯端末80Cは、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。第3の実施形態において、第1又は第2の実施形態と同様の構成や動作については、説明を省略又は簡略化する。
無人航空機100Cは、不図示であるが、無人航空機100,100A,100Bが備えるストレージ170及び画像DB171を備えない。また、無人航空機100Cは、空撮画像の画像DB171への蓄積や画像DB171からの空撮画像の抽出等の画像DB171の画像の入出力制御に係る機能を有しない。その他の構成は、無人航空機100,100A,100Bと同様である。
通信インタフェース150は、重畳画像の生成要求を携帯端末80Cに対して送信してよい。重畳画像の生成要求は、無人航空機100Cの撮像装置220、235により撮像された空撮画像、空撮時の無人航空機100Cの位置情報、空撮時の撮像装置220、235の傾きの情報、を含んでよい。重畳画像の生成要求は、更に、飛行グループに属する複数の無人航空機100Cの相対的な位置情報を含んでよい。重畳画像の生成要求は、更に、重畳画像の生成要求を行う無人航空機100Cの識別情報を含んでよい。なお、重畳画像の生成要求は、空撮画像を含まず、重畳画像の生成要求時の無人航空機100Cの位置情報及び撮像装置220、235の傾きの情報を含んでよい。
図26は、携帯端末80Cのハードウェア構成の一例を示すブロック図である。携帯端末80は、端末制御部81の代わりに端末制御部81Cを備え、ストレージ89を追加で備える。ストレージ89は、画像DB891を備える。その他の構成は、無人航空機100,100A,100Bと同様である。
ストレージ89は、各種データ、情報を蓄積し、保持する。ストレージ89は、画像DB891を備えてよい。ストレージ89は、HDD、SSD、SDカード、USBメモリ、等でよい。ストレージ890は、携帯端末80Cの内部に設けられてよい。ストレージ89は、携帯端末80Cから取り外し可能に設けられてよい。
画像DB891は、インタフェース部82又は無線通信部85を介して取得された各種画像及びその付加情報を蓄積し、保持してよい。この画像は、1台以上の無人航空機100Cから送信された空撮画像を含んでよい。付加情報は、送信される空撮画像に関連する無人航空機100Cの飛行に関する情報や撮像装置220、235に関する情報を含んでよい。画像DB891は、端末制御部81Cからの要求に応じて、蓄積された空撮画像の少なくとも一部を端末制御部81Cへ送ってよい。画像DB891は、空撮画像が加工された加工画像を蓄積し、保持してよい。画像DB891は、空撮画像や加工画像に関する情報が空撮画像や加工画像に付加された状態で、蓄積し、保持してよい。
画像DB891は、複数の無人航空機100Cの各々からの画像及び付加情報を区別可能に蓄積してよい。例えば、無人航空機100C毎に、画像DB891が個別に複数設けられてよい。また、複数の無人航空機100Cからの画像及び付加情報が、1つの画像DB891に蓄積され、無人航空機100Cの識別情報に基づいて、特定の無人航空機100Cからの画像及び付加情報が抽出されて利用されてよい。
画像DB891は、複数の無人航空機100Cの各々からの画像及び付加情報を区別せずに蓄積してよい。この場合、飛行システム10Cは、複数の無人航空機100Cからの画像及び付加情報を共有して利用できる。
図27は、携帯端末80Cの機能構成の一例を示すブロック図である。端末制御部81Cは、第1画像取得部811C、情報取得部812C、画像位置取得部813C、第2画像取得部814、及び表示制御部815を備える。
第1画像取得部811Cは、第1画像取得部811又は811Bが有する機能に加え、以下の機能を有する。第1画像取得部811Cは、インタフェース部82又は無線通信部85を介して、1台以上の無人航空機100Cからの1つ以上の空撮画像を取得してよい。第1画像取得部811Cは、画像DB891から、1台以上の無人航空機100Cからの1つ以上の空撮画像を取得してよい。第1画像取得部811Cは、インタフェース部82又は無線通信部85を介して取得された任意の無人航空機100Cからの重畳画像の生成要求に応じて、画像DB891から空撮画像を取得してよい。この場合、第1画像取得部811Cは、重畳画像の生成要求に含まれる無人航空機100Cの位置情報に基づいて、例えば無人航空機100Cの位置情報に係る位置を含む所定領域(周辺領域)について、画像DB891から空撮画像を取得してよい。
第1画像取得部811Cは、取得された複数の空撮画像を基に、合成画像を生成してよい。第1画像取得部811Cは、空撮画像又は合成画像を基に、下向き画像を生成してよい。この場合、第1画像取得部811Cは、重畳画像の生成要求に含まれる無人航空機100Cの撮像装置220、235の傾きの情報に基づいて、空撮画像又は合成画像に対して射影変換し、下向き画像を生成してよい。
情報取得部812Cは、情報取得部812又は812Bが有する機能に加え、以下の機能を有する。情報取得部812Cは、第1画像取得部811Cにより取得された空撮画像に関連する付加情報を、インタフェース部82又は無線通信部85を介して、取得してよい。情報取得部812Cは、第1画像取得部811Cにより取得された空撮画像に関連する付加情報を、画像DB891から取得してよい。情報取得部812Cは、重畳画像の生成要求を行った無人航空機100Cの識別情報を、インタフェース部82又は無線通信部85を介して取得してよい。情報取得部812Cは、複数の無人航空機100C間の相対的な位置情報を、インタフェース部82又は無線通信部85を介して取得してよい。
画像位置取得部813Cは、画像位置取得部813又は画像位置取得部813Bの機能を有する。
次に、飛行システム10Cの動作例について説明する。
図28は、飛行システム10Cの第1動作例を示すフローチャートである。第1動作例では、飛行システム10Cが、携帯端末80Cに複数の無人航空機100Cからの空撮画像を蓄積することを想定する。空撮画像は、空撮画像が撮像される毎に蓄積されてもよいし、所定数撮像された際に所定数まとめて蓄積されてもよいし、所定期間毎にまとめて蓄積されてもよい。空撮画像の撮像時間間隔は任意でよい。
まず、無人航空機100Cの各々では、第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する(S151)。飛行情報取得部111は、無人航空機100Cの位置情報を取得する(S152)。この位置情報は、S151において空撮画像が撮像された際の各無人航空機100Cの位置情報である。撮像情報取得部112は、撮像装置220、235の傾きの情報を取得する(S152)。この傾きの情報は、S151において空撮画像が撮像された際の撮像装置220、235の傾きの情報である。
情報付加部104は、S151で取得された空撮画像に、空撮画像に関する付加情報として、S152において得られた無人航空機100Cの位置情報と撮像装置220、235の傾きの情報とを付加する(S153)。通信インタフェース150は、付加情報が付加された空撮画像を、携帯端末80Cに送信する(S154)。
携帯端末80Cでは、インタフェース部82又は無線通信部85は、付加情報が付加された空撮画像を、複数の無人航空機100Cから受信する(S161)。インタフェース部82又は無線通信部85は、受信された付加情報が付加された空撮画像を、画像DB891に蓄積させる(S162)。
第1動作例によれば、携帯端末80Cは、複数の無人航空機100Cの各々により撮像された空撮画像を、空撮画像に関する付加情報と関連付けて蓄積できる。よって、各無人航空機100Cは、空撮画像の撮像直後に空撮画像の処理を行わなくても、付加情報の少なくとも1つをキーとして、付加情報に関連付けられた空撮画像を抽出するよう携帯端末80Cへ要求可能である。よって、携帯端末80Cは、例えば重畳画像の生成要求のあった無人航空機100Cの飛行位置と一致する空撮画像を抽出して、下向き画像を生成するための元画像とすることができる。
図29は、飛行システム10Cの第2動作例を示すシーケンス図である。第2動作例では、飛行システム10Cは、重畳画像の生成を要求した無人航空機100Cにより撮像された空撮画像内に、この無人航空機100Cの実空間の位置に対応する画像位置が含まれないことを想定する。なお、飛行システム10Cは、重畳画像の生成を要求した無人航空機100Cにより撮像された空撮画像内に、この無人航空機100Cの実空間の位置に対応する画像位置が含まれる場合においても、第2動作例を実施してもよい。第2動作例は、無人航空機100Cの飛行中に、定期的に反復して実施されてよい。
まず、任意の無人航空機100Cでは、第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する(S171)。飛行情報取得部111は、無人航空機100Cの位置情報を取得する(S172)。この位置情報は、S171において空撮画像が撮像された際の無人航空機100Cの位置情報である。撮像情報取得部112は、撮像装置220、235の傾きの情報を取得する(S172)。この傾きの情報は、S171において空撮画像が撮像された際の撮像装置220、235の傾きの情報である。通信インタフェース150は、S171,S172で得られた空撮画像、無人航空機100Cの位置情報、及び撮像装置220、235の傾きの情報を、重畳画像の生成要求に含めて携帯端末80Cに送信する(S173)。
携帯端末80Cでは、第1画像取得部811Cは、インタフェース部82又は無線通信部85を介して、重畳画像の生成要求に含まれる空撮画像を、無人航空機100Cから受信する(S181)。情報取得部812Cは、インタフェース部82又は無線通信部85を介して、重畳画像の生成要求に含まれる無人航空機100Cの位置情報及び撮像装置220、235の傾きの情報を、無人航空機100Cから受信する(S181)。
第1画像取得部811Cは、重畳画像の生成要求に含まれる無人航空機100Cの位置情報に基づいて、画像DB891から1つ以上の空撮画像を取得してよい(S182)。第1画像取得部811Cは、取得された1つ以上の空撮画像の各々に付加された傾き情報に基づいて、1つ以上の空撮画像の各々に対して射影変換等し、1つ以上の下向き画像を生成してよい(S183)。第1画像取得部113は、生成された複数の下向き画像を合成して、1つの下向き画像を生成してもよい(S183)。
S183では、第1画像取得部811Cは、S181で得られた1つの空撮画像と、画像DB891から取得された1つ以上の空撮画像と、これらの空撮画像の各々に係る撮像装置220、235の傾きの情報と、に基づいて、下向き画像を生成してもよい。
画像位置取得部813Cは、下向き画像内での無人航空機100Cの位置に相当する画像位置を算出する(S184)。ここでの無人航空機100Cの画像位置は、少なくとも重畳画像の生成要求を行った無人航空機100Cの画像位置を含む。また、無人航空機100Cの画像位置は、重畳画像の生成要求を行った無人航空機100C以外の無人航空機100Cの画像位置を含んでもよい。この場合、画像位置取得部813Cは、重畳画像の生成要求を行った無人航空機100Cの位置情報と、複数の無人航空機100Cの相対的な位置情報と、に基づいて、複数の無人航空機100Cの画像位置の情報を算出してよい。また、この場合、画像位置取得部813Bは、飛行グループに属する全ての無人航空機100Cの位置情報に基づいて、複数の無人航空機100Cの画像位置の情報を算出してよい。重畳画像の生成要求に含まれる空撮画像の撮像時における各無人航空機100Cの位置情報は、それぞれの無人航空機100Cから取得されてよい。
第2画像取得部814は、下向き画像の1つ以上の画像位置に、1台以上の無人航空機100Cに関する情報(例えば画像ga,gb,bc,bdの少なくとも1つ)を重畳し、重畳画像を生成する(S185)。表示制御部815は、表示部88を介して、重畳画像を表示する(S186)。
第2動作例によれば、携帯端末80C及び飛行システム10Cは、下向き画像内の各無人航空機100Cの実空間の位置に相当する各画像位置に、各無人航空機100Cに関する情報を含む重畳画像を表示できる。そのため、操作者は、表示された重畳画像を確認することで、下向き画像における画像位置に対応する実空間の位置に、各無人航空機100Cが飛行中であることを認識できる。よって、操作者は、下向き画像を確認しながら、送信機50を介して所望の位置に各無人航空機100Cを飛行させることが容易になる。また、予め地図画像が用意されていない場合でも、無人航空機100Cがどの位置を飛行しているかを容易に把握できる。
また、携帯端末80Cは、複数の無人航空機100Cにより撮像された空撮画像を一括して画像DB891に蓄積し、各無人航空機100Cからの重畳画像の生成要求に従って共有して利用できる。よって、例えば、ある無人航空機100Cが初めて飛行する飛行範囲であり、この無人航空機100Cが過去の空撮画像を個別に保持していない場合でも、他の無人航空機100Cが過去に画像DB891に蓄積した空撮画像に基づいて、合成画像を生成したり、下向き画像を生成したりできる。
(第4の実施形態)
第4の実施形態では、無人航空機以外の装置である画像サーバが、無人航空機が撮像した空撮画像を蓄積する画像DBを保持することを想定する。
図30は、第4の実施形態における飛行システム10Dの構成例を示す模式図である。飛行システム10Dは、複数の無人航空機100D、送信機50、携帯端末80D、及び画像サーバ90を備える。無人航空機100D、送信機50、携帯端末80D、及び画像サーバ90は、相互に有線通信又は無線通信により通信可能である。第4の実施形態において、第1〜第3の実施形態と同様の構成や動作については、説明を省略又は簡略化する。
無人航空機100Dは、不図示であるが、無人航空機100Cと同様の構成を有してよい。なお、通信インタフェース150は、携帯端末80Dではなく、画像サーバ90へ重畳画像の生成要求を行う。通信インタフェース150は、携帯端末80Dを介して、画像サーバ90へ重畳画像の生成要求を行ってもよい。
携帯端末80Dは、不図示であるが、携帯端末80又は80Bと同様の構成を有してよい。携帯端末80Dは、少なくとも表示機能を有する。
図31は、画像サーバ90のハードウェア構成の一例を示すブロック図である。画像サーバ90は、サーバ制御部91、無線通信部95、メモリ97、及びストレージ99を備えてよい。
サーバ制御部91は、例えばCPU、MPU又はDSPを用いて構成される。サーバ制御部91は、画像サーバ90の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
サーバ制御部91は、無線通信部95を介して、無人航空機100からのデータや情報を取得してよい。サーバ制御部91は、メモリ97に保持されたデータや情報を取得してよい。サーバ制御部91は、データや情報を携帯端末80Dへ送り、このデータや情報に基づく表示情報を表示部88に表示させてよい。
無線通信部95は、各種の無線通信方式により、無人航空機100D及び携帯端末80Dとの間で通信する。無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、又は公衆無線回線を介した通信を含んでよい。
メモリ97は、例えば画像サーバ90の動作を規定するプログラムや設定値のデータが格納されたROMと、サーバ制御部91の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してよい。メモリ97は、ROM及びRAM以外のメモリが含まれてよい。メモリ97は、画像サーバ90の内部に設けられてよい。メモリ97は、画像サーバ90から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。
ストレージ99は、各種データ、情報を蓄積し、保持する。ストレージ99は、画像DB991を備えてよい。ストレージ99は、HDD、SSD、SDカード、USBメモリ、等でよい。ストレージ99は、画像サーバ90の内部に設けられてよい。ストレージ99は、画像サーバ90から取り外し可能に設けられてよい。
画像DB991は、無線通信部95を介して取得された各種画像及びその付加情報を蓄積し、保持してよい。この画像は、1台以上の無人航空機100Dから送信された空撮画像を含んでよい。付加情報は、送信される空撮画像に関連する無人航空機100Dの飛行に関する情報や撮像装置220、235に関する情報を含んでよい。画像DB991は、サーバ制御部91からの要求に応じて、蓄積された空撮画像の少なくとも一部をサーバ制御部91へ送ってよい。画像DB991は、空撮画像が加工された加工画像を蓄積し、保持してよい。画像DB991は、空撮画像や加工画像に関する情報が空撮画像や加工画像に付加された状態で、蓄積し、保持してよい。
画像DB991は、複数の無人航空機100Dの各々からの画像及び付加情報を区別可能に蓄積してよい。例えば、無人航空機100D毎に、画像DB991が個別に複数設けられてよい。また、複数の無人航空機100Dからの画像及び付加情報が、1つの画像DB991に蓄積され、無人航空機100Dの識別情報に基づいて、特定の無人航空機100Dからの画像及び付加情報が抽出されて利用されてよい。
画像DB991は、複数の無人航空機100Dの各々からの画像及び付加情報を区別せずに蓄積してよい。この場合、飛行システム10Dは、複数の無人航空機100Dからの画像及び付加情報を共有して利用できる。
図32は、画像サーバ90の機能構成の一例を示すブロック図である。サーバ制御部91は、第1画像取得部911、情報取得部912、画像位置取得部913、第2画像取得部914を備える。
第1画像取得部911は、無線通信部95を介して、1台以上の無人航空機100Dからの1つ以上の空撮画像を取得してよい。第1画像取得部911は、画像DB991から、1台以上の無人航空機100Dからの1つ以上の空撮画像を取得してよい。第1画像取得部911は、無線通信部95を介して取得された任意の無人航空機100Dからの重畳画像の生成要求に応じて、画像DB991から空撮画像を取得してよい。この場合、第1画像取得部911は、重畳画像の生成要求に含まれる無人航空機100Dの位置情報に基づいて、例えば無人航空機100Dの位置情報に係る位置を含む所定領域(周辺領域)について、画像DB991から空撮画像を取得してよい。
第1画像取得部911は、取得された複数の空撮画像を基に、合成画像を生成してよい。第1画像取得部911は、空撮画像又は合成画像を基に、下向き画像を生成してよい。この場合、第1画像取得部911は、重畳画像の生成要求に含まれる無人航空機100Dの撮像装置220、235の傾きの情報に基づいて、空撮画像又は合成画像に対して射影変換し、下向き画像を生成してよい。
情報取得部912は、第1画像取得部911により取得された空撮画像に関連する付加情報を、無線通信部95を介して、取得してよい。情報取得部912は、第1画像取得部911により取得された空撮画像に関連する付加情報を、画像DB991から取得してよい。情報取得部912は、重畳画像の生成要求を行った無人航空機100Dの識別情報を、無線通信部95を介して取得してよい。情報取得部912は、複数の無人航空機100D間の相対的な位置情報を、無線通信部95を介して取得してよい。
画像位置取得部913は、下向き画像における無人航空機100Dの位置に相当する画像位置の情報を取得する。画像位置取得部913は、重力方向に対する撮像装置220、235の傾きに基づいて、画像位置の情報を算出して取得してよい。画像位置取得部913は、重力方向に対する撮像装置220、235の傾き及び撮像装置220、235の画角に基づいて、画像位置の情報を算出して取得してよい。
画像位置取得部913は、下向き画像における複数の無人航空機100Dの位置に相当する画像位置の情報を取得してよい。画像位置取得部913は、取得された1台の無人航空機100Dの位置情報と、取得された相対的な位置情報と、に基づいて、各無人航空機100Dの位置に相当する各画像位置の情報を算出して取得してよい。画像位置取得部913は、取得された飛行グループに属する全ての無人航空機100Dの位置情報に基づいて、各無人航空機100Dの位置に相当する各画像位置の情報を算出して取得してよい。
第2画像取得部914は、下向き画像における1台以上の無人航空機100Dの位置に相当する画像位置に、1台以上の無人航空機100Dに関する情報を重畳し、重畳画像を生成する。各無人航空機100Dに関する情報は、第1の実施形態で説明した情報と同様でよい。
次に、飛行システム10Dの動作例について説明する。
図33は、飛行システム10Dの第1動作例を示すフローチャートである。第1動作例では、飛行システム10Dが、画像サーバ90に複数の無人航空機100Dからの空撮画像を蓄積することを想定する。空撮画像は、空撮画像が撮像される毎に蓄積されてもよいし、所定数撮像された際に所定数まとめて蓄積されてもよいし、所定期間毎にまとめて蓄積されてもよい。空撮画像の撮像時間間隔は任意でよい。
まず、無人航空機100Dの各々では、第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する(S191)。飛行情報取得部111は、無人航空機100Dの位置情報を取得する(S192)。この位置情報は、S191において空撮画像が撮像された際の各無人航空機100Dの位置情報である。撮像情報取得部112は、撮像装置220、235の傾きの情報を取得する(S192)。この傾きの情報は、S191において空撮画像が撮像された際の撮像装置220、235の傾きの情報である。
情報付加部104は、S191で取得された空撮画像に、空撮画像に関する付加情報として、S192において得られた無人航空機100Dの位置情報と撮像装置220、235の傾きの情報とを付加する(S193)。通信インタフェース150は、付加情報が付加された空撮画像を、画像サーバ90に送信する(S194)。
画像サーバ90では、無線通信部95は、付加情報が付加された空撮画像を、複数の無人航空機100Dから受信する(S201)。無線通信部95は、受信された付加情報が付加された空撮画像を、画像DB991に蓄積させる(S202)。
第1動作例によれば、画像サーバ90は、複数の無人航空機100Dの各々により撮像された空撮画像を、空撮画像に関する付加情報と関連付けて蓄積できる。よって、各無人航空機100Dは、空撮画像の撮像直後に空撮画像の処理を行わなくても、付加情報の少なくとも1つをキーとして、付加情報に関連付けられた空撮画像を抽出するよう画像サーバ90へ要求可能である。よって、画像サーバ90は、例えば重畳画像の生成要求のあった無人航空機100Dの飛行位置と一致する空撮画像を抽出して、下向き画像を生成するための元画像とすることができる。
図34は、飛行システム10Dの第2動作例を示すシーケンス図である。第2動作例では、飛行システム10Dは、重畳画像の生成を要求した無人航空機100Dにより撮像された空撮画像内に、この無人航空機100Dの実空間の位置に対応する画像位置が含まれないことを想定する。なお、飛行システム10Dは、重畳画像の生成を要求した無人航空機100Dにより撮像された空撮画像内に、この無人航空機100Dの実空間の位置に対応する画像位置が含まれる場合においても、第2動作例を実施してもよい。第2動作例は、無人航空機100Dの飛行中に、定期的に反復して実施されてよい。
まず、任意の無人航空機100Dでは、第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する(S211)。飛行情報取得部111は、無人航空機100Dの位置情報を取得する(S212)。この位置情報は、S211において空撮画像が撮像された際の無人航空機100Dの位置情報である。撮像情報取得部112は、撮像装置220、235の傾きの情報を取得する(S212)。この傾きの情報は、S211において空撮画像が撮像された際の撮像装置220、235の傾きの情報である。通信インタフェース150は、S211,S212で得られた空撮画像、無人航空機100Dの位置情報、及び撮像装置220、235の傾きの情報を、重畳画像の生成要求に含めて画像サーバ90に送信する(S213)。
画像サーバ90では、第1画像取得部911は、無線通信部95を介して、重畳画像の生成要求に含まれる空撮画像を、無人航空機100Dから受信する(S221)。情報取得部912は、無線通信部95を介して、重畳画像の生成要求に含まれる無人航空機100Dの位置情報及び撮像装置220、235の傾きの情報を、無人航空機100Dから受信する(S221)。
第1画像取得部911は、重畳画像の生成要求に含まれる無人航空機100Dの位置情報に基づいて、画像DB991から1つ以上の空撮画像を取得してよい(S222)。第1画像取得部911は、取得された1つ以上の空撮画像の各々に付加された傾き情報に基づいて、1つ以上の空撮画像の各々に対して射影変換等し、1つ以上の下向き画像を生成してよい(S223)。第1画像取得部113は、生成された複数の下向き画像を合成して、1つの下向き画像を生成してもよい(S223)。
S223では、第1画像取得部911は、S221で得られた1つの空撮画像と、画像DB991から取得された1つ以上の空撮画像と、これらの空撮画像の各々に係る撮像装置220、235の傾きの情報と、に基づいて、下向き画像を生成してもよい。
画像位置取得部913は、下向き画像内での無人航空機100Dの位置に相当する画像位置を算出する(S224)。ここでの無人航空機100Dの画像位置は、少なくとも重畳画像の生成要求を行った無人航空機100Dの画像位置を含む。また、無人航空機100Dの画像位置は、重畳画像の生成要求を行った無人航空機100D以外の無人航空機100Dの画像位置を含んでもよい。この場合、画像位置取得部913は、重畳画像の生成要求を行った無人航空機100Dの位置情報と、複数の無人航空機100Dの相対的な位置情報と、に基づいて、複数の無人航空機100Dの画像位置の情報を算出してよい。また、この場合、画像位置取得部913は、飛行グループに属する全ての無人航空機100Dの位置情報に基づいて、複数の無人航空機100Dの画像位置の情報を算出してよい。重畳画像の生成要求に含まれる空撮画像の撮像時における各無人航空機100Dの位置情報は、それぞれの無人航空機100Dから取得されてよい。
第2画像取得部914は、下向き画像の1つ以上の画像位置に、1台以上の無人航空機100Dに関する情報(例えば画像ga,gb,bc,bdの少なくとも1つ)を重畳し、重畳画像を生成する(S225)。無線通信部95は、重畳画像を携帯端末80Dへ送信する(S226)。
携帯端末80Dでは、第1画像取得部811は、無線通信部85を介して、重畳画像を画像サーバ90から受信する(S231)。表示制御部815は、表示部88を介して、重畳画像を表示する(S232)。
第2動作例によれば、画像サーバ90及び飛行システム10Dは、下向き画像内の各無人航空機100Dの実空間の位置に相当する各画像位置に、各無人航空機100Dに関する情報を含む重畳画像を表示できる。そのため、操作者は、表示された重畳画像を確認することで、下向き画像における画像位置に対応する実空間の位置に、各無人航空機100Dが飛行中であることを認識できる。よって、操作者は、下向き画像を確認しながら、送信機50を介して所望の位置に各無人航空機100Dを飛行させることが容易になる。また、予め地図画像が用意されていない場合でも、無人航空機100Dがどの位置を飛行しているかを容易に把握できる。
また、画像サーバ90は、複数の無人航空機100Dにより撮像された空撮画像を一括して画像DB991に蓄積し、各無人航空機100Dからの重畳画像の生成要求に従って共有して利用できる。よって、例えば、ある無人航空機100Dが初めて飛行する飛行範囲であり、この無人航空機100Dが過去の空撮画像を個別に保持していない場合でも、他の無人航空機100Dが過去に画像DB991に蓄積した空撮画像に基づいて、合成画像を生成したり、下向き画像を生成したりできる。更に、空撮画像に基づく画像処理を画像サーバ90が一括して実施するので、無人航空機100D及び携帯端末80Dの処理負荷を軽減できる。
本実施形態では、第1,第2の実施形態と同様に、画像サーバ90が有する機能を画像サーバ90と携帯端末80Dとにより分散して有してもよい。例えば、画像サーバ90が画像DB991による画像の蓄積機能に特化し、携帯端末80Dが、画像DB991から所望の空撮画像を取得して、合成画像の生成、下向き画像の生成、各無人航空機100Dの画像位置の決定、重畳画像の生成、等の画像処理を実施してよい。また、これ以外の分散方法で、画像サーバ90及び携帯端末80Dが機能を分散してもよい。
以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10,10B,10C,10D 飛行システム
50 送信機
50B 筐体
53L 左制御棒
53R 右制御棒
61 送信機制御部
63 無線通信部
65 インタフェース部
80,80B,80C,80D 携帯端末
81,81A,81B,81C 端末制御部
82 インタフェース部
83 操作部
85 無線通信部
87 メモリ
88 表示部
89 ストレージ
90 画像サーバ
91 サーバ制御部
95 無線通信部
97 メモリ
99 ストレージ
100,100B,100C,100D 無人航空機
102 UAV本体
110,110A,110B UAV制御部
111 飛行情報取得部
112 撮像情報取得部
113,113B 第1画像取得部
114 情報付加部
115 画像位置取得部
116 第2画像取得部
117 相対位置取得部
118 飛行制御部
150 通信インタフェース
160 メモリ
170 ストレージ
171 画像DB
200 ジンバル
210 回転翼機構
211 回転翼
212 駆動モータ
213 電流センサ
220,230,235 撮像装置
240 GPS受信機
250 慣性計測装置
260 磁気コンパス
270 気圧高度計
280 超音波センサ
290 レーザー測定器
811,811B,811C 第1画像取得部
812,812B,812C 情報取得部
813,813B,813C 画像位置取得部
814,814B 第2画像取得部
815 表示制御部
816 画像取得部
891 画像DB
911 第1画像取得部
912 情報取得部
913 画像位置取得部
914 第2画像取得部
991 画像DB
AN1,AN2 アンテナ
B1 電源ボタン
B2 RTHボタン
L1 リモートステータス表示部
L2 バッテリ残量表示部
OPS 操作部セット
G11,G12,G13,G14 空撮画像

Claims (35)

  1. 飛行体により撮像された空撮画像に基づく画像を表示する画像表示システムにおける画像表示方法であって、
    前記飛行体の飛行中に撮像し、空撮画像を取得するステップと、
    前記空撮画像に基づく第1の画像を取得するステップと、
    前記第1の画像において前記飛行体の水平方向の位置に対応する前記飛行体の画像位置の情報を取得するステップと、
    前記第1の画像における前記画像位置に前記飛行体に関する情報を重畳し、第2の画像を生成するステップと、
    前記第2の画像を表示するステップと、
    を有し、
    前記画像表示システムは、複数の前記飛行体を含み、
    前記画像位置の情報を取得するステップは、前記第1の画像における前記複数の飛行体の各々の画像位置の情報を取得するステップを含み、
    前記第2の画像を生成するステップは、前記第1の画像における前記複数の飛行体の各々の画像位置に、前記複数の飛行体の各々に関する情報を重畳し、前記第2の画像を生成するステップを含む、
    画像表示方法。
  2. 前記飛行体に関する情報は、前記飛行体の存在を示す情報を含む、
    請求項1に記載の画像表示方法。
  3. 前記飛行体の向きの情報を取得するステップ、を更に含み、
    前記飛行体に関する情報は、前記飛行体の向きの情報を含む、
    請求項1または2に記載の画像表示方法。
  4. 前記飛行体が備える撮像部の撮像方向の情報を取得するステップ、を更に含み、
    前記飛行体に関する情報は、前記撮像方向の情報を含む、
    請求項1〜3のいずれか1項に記載の画像表示方法。
  5. 前記飛行体の飛行方向の情報を取得するステップ、を更に含み、
    前記飛行体に関する情報は、前記飛行方向の情報を含む、
    請求項1〜4のいずれか1項に記載の画像表示方法。
  6. 重力方向に対する前記飛行体が備える撮像部の傾きの情報を取得するステップ、を更に含み、
    前記画像位置の情報を取得するステップは、前記撮像部の傾きに基づいて、前記画像位置を取得するステップを含む、
    請求項1〜5のいずれか1項に記載の画像表示方法。
  7. 前記撮像部の画角の情報を取得するステップ、を更に含み、
    前記画像位置の情報を取得するステップは、前記撮像部の傾き及び前記撮像部の画角に基づいて、前記画像位置の情報を取得するステップを含む、
    請求項6に記載の画像表示方法。
  8. 前記空撮画像に、前記空撮画像の撮像時における撮像位置の情報と、前記空撮画像の撮像時における前記飛行体が備える撮像部の傾きの情報と、を付加するステップと、
    前記情報が付加された前記空撮画像を蓄積部に複数蓄積するステップと、を更に含む、
    請求項1〜7のいずれか1項に記載の画像表示方法。
  9. 前記飛行体の位置情報を取得するステップ、を更に含み、
    前記第1の画像を取得するステップは、
    前記飛行体の位置情報に基づいて、前記蓄積部に蓄積された複数の前記空撮画像を取得するステップと、
    複数の前記空撮画像に基づいて、前記第1の画像を生成するステップと、を含む
    請求項8に記載の画像表示方法。
  10. 重力方向に対する前記飛行体が備える撮像部の傾きの情報を取得するステップ、を更に含み、
    前記第1の画像を取得するステップは、少なくとも1つの前記空撮画像及び前記撮像部の傾きの情報に基づいて、重力方向を法線方向とする前記第1の画像を生成するステップを含む、
    請求項1〜9のいずれか1項に記載の画像表示方法。
  11. 前記空撮画像を取得するステップは、少なくとも1台の飛行体が備える撮像部により撮像された前記空撮画像を取得するステップを含み、
    前記画像位置の情報を取得するステップは、前記複数の飛行体の相対的な位置情報に基づいて、前記第1の画像における前記複数の飛行体の各々の画像位置の情報を取得するステップを含む、
    請求項1〜10のいずれか1項に記載の画像表示方法。
  12. 前記空撮画像を取得するステップは、前記複数の飛行体の各々により撮像された複数の前記空撮画像を取得するステップを含み、
    前記第1の画像を取得するステップは、
    複数の前記空撮画像を合成して合成画像を生成するステップと、
    前記合成画像に基づいて前記第1の画像を生成するステップと、を含む、
    請求項1〜11のいずれか1項に記載の画像表示方法。
  13. 前記複数の飛行体の各々の位置情報を取得するステップ、を更に含み、
    前記画像位置の情報を取得するステップは、前記複数の飛行体の各々の位置情報に基づいて、前記第1の画像における前記複数の飛行体の各々の画像位置の情報を取得するステップを含む、
    請求項12のいずれか1項に記載の画像表示方法。
  14. 前記複数の飛行体の各々により撮像された前記空撮画像に、前記空撮画像の撮像時における撮像位置の情報と、前記空撮画像の撮像時における前記空撮画像を撮像した飛行体が備える撮像部の傾きの情報と、を付加するステップと、
    前記情報が付加された前記空撮画像を、前記第2の画像を表示する表示装置が備える蓄積部に複数蓄積するステップと、を更に含む、
    請求項13のいずれか1項に記載の画像表示方法。
  15. 前記複数の飛行体の各々により撮像された前記空撮画像に、前記空撮画像の撮像時における撮像位置の情報と、前記空撮画像の撮像時における前記空撮画像を撮像した飛行体が備える撮像部の傾きの情報と、を付加するステップと、
    前記情報が付加された前記空撮画像を、画像サーバが備える蓄積部に複数蓄積するステップと、を更に含む、
    請求項13のいずれか1項に記載の画像表示方法。
  16. 飛行体により撮像された空撮画像に基づいて画像を表示する画像表示システムであって、
    前記飛行体の飛行中に撮像し、空撮画像を得る撮像部と、
    前記空撮画像に基づく第1の画像を取得する第1の取得部と、
    前記第1の画像において前記飛行体の水平方向の位置に対応する前記飛行体の画像位置の情報を取得する第2の取得部と、
    前記第1の画像における前記画像位置に前記飛行体に関する情報を重畳し、第2の画像を生成する生成部と、
    前記第2の画像を表示する表示部と、
    を備え
    前記画像表示システムは、複数の前記飛行体を含み、
    前記第2の取得部は、前記第1の画像における前記複数の飛行体の各々の画像位置の情報を取得し、
    前記生成部は、前記第1の画像における前記複数の飛行体の各々の画像位置に、前記複数の飛行体の各々に関する情報を重畳し、前記第2の画像を生成する、
    画像表示システム。
  17. 前記飛行体に関する情報は、前記飛行体の存在を示す情報を含む、
    請求項16に記載の画像表示システム。
  18. 前記飛行体の向きの情報を取得する第3の取得部、を更に備え、
    前記飛行体に関する情報は、前記飛行体の向きの情報を含む、
    請求項16又は17に記載の画像表示システム。
  19. 前記撮像部の撮像方向の情報を取得する第4の取得部、を更に備え、
    前記飛行体に関する情報は、前記撮像方向の情報を含む、
    請求項1618のいずれか1項に記載の画像表示システム。
  20. 前記飛行体の飛行方向の情報を取得する第5の取得部、を更に備え、
    前記飛行体に関する情報は、前記飛行方向の情報を含む、
    請求項1619のいずれか1項に記載の画像表示システム。
  21. 重力方向に対する前記撮像部の傾きの情報を取得する第6の取得部、を更に備え、
    前記第2の取得部は、前記撮像部の傾きに基づいて、前記画像位置を取得する、
    請求項1620のいずれか1項に記載の画像表示システム。
  22. 前記撮像部の画角の情報を取得する第7の取得部、を更に備え、
    前記第2の取得部は、前記撮像部の傾き及び前記撮像部の画角に基づいて、前記画像位置の情報を取得する、
    請求項1621のいずれか1項に記載の画像表示システム。
  23. 前記空撮画像に、前記空撮画像の撮像時における撮像位置の情報と、前記空撮画像の撮像時における前記撮像部の傾きの情報と、を付加する付加部と、
    前記情報が付加された前記空撮画像を複数蓄積する蓄積部と、を更に備える
    請求項1622のいずれか1項に記載の画像表示システム。
  24. 前記飛行体の位置情報を取得する第8の取得部、を更に備え、
    前記第1の取得部は、
    前記飛行体の位置情報に基づいて、前記蓄積部に蓄積された複数の前記空撮画像を取得し、
    複数の前記空撮画像に基づいて、前記第1の画像を生成する、
    請求項23に記載の画像表示システム。
  25. 重力方向に対する前記撮像部の傾きの情報を取得する第6の取得部、を更に備え、
    前記第1の取得部は、少なくとも1つの前記空撮画像及び前記撮像部の傾きの情報に基づいて、重力方向を法線方向とする前記第1の画像を生成する、
    請求項1624のいずれか1項に記載の画像表示システム。
  26. 前記撮像部は、前記飛行体の筐体に設置された、
    請求項1625のいずれか1項に記載の画像表示システム。
  27. 前記撮像部は、飛行体の撮像部を回転可能に支持する支持部材に設置された、
    請求項1625のいずれか1項に記載の画像表示システム。
  28. 前記複数の飛行体の相対的な位置情報を取得する第9の取得部、を更に備え、
    複数の前記飛行体に含まれる少なくとも1台の飛行体は、前記撮像部を備え、
    前記第2の取得部は、前記複数の飛行体の相対的な位置情報に基づいて、前記第1の画像における前記複数の飛行体の各々の画像位置の情報を取得する、
    請求項16〜27のいずれか1項に記載の画像表示システム。
  29. 前記複数の飛行体の各々は、前記撮像部を備え、
    前記撮像部の各々は、複数の前記空撮画像の各々を取得し、
    前記第1の取得部は、複数の前記空撮画像を合成して合成画像を生成し、前記合成画像に基づいて前記第1の画像を生成する、
    請求項16〜28のいずれか1項に記載の画像表示システム。
  30. 前記複数の飛行体の各々は、前記飛行体の各々の位置情報を取得する第8の取得部、を備え、
    前記第2の取得部は、前記複数の飛行体の各々の位置情報に基づいて、前記第1の画像における前記複数の飛行体の各々の画像位置の情報を取得する、
    請求項1629のいずれか1項に記載の画像表示システム。
  31. 前記表示部を備える表示装置、を更に備え、
    前記複数の飛行体の各々は、
    前記撮像部と、
    前記撮像部により撮像された前記空撮画像に、前記空撮画像の撮像時における撮像位置の情報と、前記空撮画像の撮像時における前記撮像部の傾きの情報と、を付加する付加部と、
    を備え、
    前記表示装置は、前記情報が付加された前記空撮画像を複数蓄積する蓄積部、を備える、
    請求項1630のいずれか1項に記載の画像表示システム。
  32. 画像サーバ、を更に備え、
    前記複数の飛行体の各々は、
    前記撮像部と、
    前記撮像部により撮像された前記空撮画像に、前記空撮画像の撮像時における撮像位置の情報と、前記空撮画像の撮像時における前記撮像部の傾きの情報と、を付加する付加部と、
    を備え、
    前記画像サーバは、前記情報が付加された前記空撮画像を複数蓄積する蓄積部、を備える、
    請求項1630のいずれか1項に記載の画像表示システム。
  33. 空撮画像を処理する飛行体であって、
    前記飛行体の飛行中に撮像し、空撮画像を得る撮像部と、
    前記空撮画像に基づく第1の画像を取得する第1の取得部と、
    前記第1の画像において前記飛行体の水平方向の位置に対応する前記飛行体の画像位置の情報を取得する第2の取得部と、
    前記第1の画像における前記画像位置に前記飛行体に関する情報を重畳し、第2の画像を生成する生成部と、
    前記第2の画像を出力する出力部と、
    を備え
    前記第2の取得部は、前記第1の画像における前記飛行体及び他の飛行体を含む複数の飛行体の各々の画像位置の情報を取得し、
    前記生成部は、前記第1の画像における前記複数の飛行体の各々の画像位置に、前記複数の飛行体の各々に関する情報を重畳し、前記第2の画像を生成する、
    飛行体。
  34. 空撮画像を処理する飛行体に、方法の各ステップを実行させるためのプログラムであって、
    前記方法は、
    前記飛行体の飛行中に撮像し、空撮画像を得るステップと、
    前記空撮画像に基づく第1の画像を取得するステップと、
    前記第1の画像において前記飛行体の水平方向の位置に対応する前記飛行体の画像位置の情報を取得するステップと、
    前記第1の画像における前記画像位置に前記飛行体に関する情報を重畳し、第2の画像を生成するステップと、
    前記第2の画像を出力するステップと、
    を有し、
    前記画像位置の情報を取得するステップは、前記第1の画像における前記飛行体及び他の飛行体を含む複数の飛行体の各々の画像位置の情報を取得するステップを含み、
    前記第2の画像を生成するステップは、前記第1の画像における前記複数の飛行体の各々の画像位置に、前記複数の飛行体の各々に関する情報を重畳し、前記第2の画像を生成するステップを含む、
    プログラム。
  35. 空撮画像を処理する飛行体に、方法の各ステップを実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であって、
    前記方法は、
    前記飛行体の飛行中に撮像し、空撮画像を得るステップと、
    前記空撮画像に基づく第1の画像を取得するステップと、
    前記第1の画像において前記飛行体の水平方向の位置に対応する前記飛行体の画像位置の情報を取得するステップと、
    前記第1の画像における前記画像位置に前記飛行体に関する情報を重畳し、第2の画像を生成するステップと、
    前記第2の画像を出力するステップと、
    を有し、
    前記画像位置の情報を取得するステップは、前記第1の画像における前記飛行体及び他の飛行体を含む複数の飛行体の各々の画像位置の情報を取得するステップを含み、
    前記第2の画像を生成するステップは、前記第1の画像における前記複数の飛行体の各々の画像位置に、前記複数の飛行体の各々に関する情報を重畳し、前記第2の画像を生成するステップを含む、
    記録媒体。
JP2019500091A 2017-02-15 2017-02-15 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体 Active JP6788094B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/005561 WO2018150492A1 (ja) 2017-02-15 2017-02-15 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018150492A1 JPWO2018150492A1 (ja) 2019-12-19
JP6788094B2 true JP6788094B2 (ja) 2020-11-18

Family

ID=63170597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019500091A Active JP6788094B2 (ja) 2017-02-15 2017-02-15 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体

Country Status (4)

Country Link
US (1) US11082639B2 (ja)
JP (1) JP6788094B2 (ja)
CN (1) CN110249625A (ja)
WO (1) WO2018150492A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230022444A1 (en) * 2021-07-26 2023-01-26 Samsung Electronics Co., Ltd. Electronic device generating image and method for operating the same

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105867361A (zh) * 2016-04-18 2016-08-17 深圳市道通智能航空技术有限公司 一种飞行方向控制方法、装置及其无人机
WO2021237625A1 (zh) * 2020-05-28 2021-12-02 深圳市大疆创新科技有限公司 一种图像处理方法、头戴式显示设备及存储介质
CN113452842B (zh) * 2021-08-30 2021-12-10 深圳市活力天汇科技股份有限公司 航班ar显示方法、系统、计算机设备及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5878356A (en) * 1995-06-14 1999-03-02 Agrometrics, Inc. Aircraft based infrared mapping system for earth based resources
JP3225434B2 (ja) * 1996-04-23 2001-11-05 重之 山口 映像提示システム
JPH1114354A (ja) * 1997-06-25 1999-01-22 Mitsubishi Electric Corp 撮影装置
JPH11291991A (ja) * 1998-04-03 1999-10-26 Shinshakai System Kenkyusho:Kk 移動体の遠隔操縦システム
JP3919994B2 (ja) * 2000-01-13 2007-05-30 三菱電機株式会社 撮影システム
JP2003110981A (ja) * 2001-09-28 2003-04-11 Hiroboo Kk 空撮映像処理システム及び無線式の小型無人飛行体
WO2006044844A2 (en) * 2004-10-18 2006-04-27 Mark Segal Method and apparatus for creating aerial panoramic photography
JP4339289B2 (ja) * 2005-07-28 2009-10-07 Necシステムテクノロジー株式会社 変化判定装置、変化判定方法および変化判定プログラム
US8521339B2 (en) * 2008-09-09 2013-08-27 Aeryon Labs Inc. Method and system for directing unmanned vehicles
US8511606B1 (en) * 2009-12-09 2013-08-20 The Boeing Company Unmanned aerial vehicle base station
EP2527787B1 (en) * 2011-05-23 2019-09-11 Kabushiki Kaisha TOPCON Aerial photograph image pickup method and aerial photograph image pickup apparatus
CN102788580A (zh) * 2012-06-20 2012-11-21 天津工业大学 无人机视觉导航中的飞行路线合成方法
JP6055274B2 (ja) * 2012-10-31 2016-12-27 株式会社トプコン 航空写真測定方法及び航空写真測定システム
IL234372B (en) * 2013-08-31 2020-02-27 Izidor Gabbay Ronen A robotic system and method for complex internal warfare
JP6369538B2 (ja) * 2014-04-25 2018-08-08 ソニー株式会社 情報処理装置、情報処理方法、コンピュータ読み取り可能な媒体および撮像システム
WO2016053438A2 (en) * 2014-07-21 2016-04-07 King Abdullah University Of Science And Technology STRUCTURE FROM MOTION (SfM) PROCESSING FOR UNMANNED AERIAL VEHICLE (UAV)
US9665094B1 (en) * 2014-08-15 2017-05-30 X Development Llc Automatically deployed UAVs for disaster response
CN104183015B (zh) * 2014-09-02 2017-04-05 中国商用飞机有限责任公司北京民用飞机技术研究中心 用于飞机中取代部分舱体物理窗户的方法和装置
US9563201B1 (en) * 2014-10-31 2017-02-07 State Farm Mutual Automobile Insurance Company Feedback to facilitate control of unmanned aerial vehicles (UAVs)
JP6525145B2 (ja) 2015-04-23 2019-06-05 有限会社大平技研 飛翔体を用いた発光点図形パターン表示システム,発光点図形パターン表示方法ならびに該システムおよび方法に用いる飛翔体
JP6572618B2 (ja) * 2015-05-08 2019-09-11 富士通株式会社 情報処理装置、情報処理プログラム、情報処理方法、端末装置、設定方法、設定プログラム
CN105759833A (zh) * 2016-02-23 2016-07-13 普宙飞行器科技(深圳)有限公司 一种沉浸式无人机驾驶飞行系统
US10189567B2 (en) * 2016-06-09 2019-01-29 Skycatch, Inc. Identifying camera position of a UAV in flight utilizing real time kinematic satellite navigation
US10068489B2 (en) * 2016-08-31 2018-09-04 Skycatch, Inc. Managing energy during flight of unmanned aerial vehicles for safe return to ground
JP6790932B2 (ja) * 2017-03-14 2020-11-25 富士通株式会社 飛行体運用システム、クレーン装置制御方法、及び制御プログラム
US10678238B2 (en) * 2017-12-20 2020-06-09 Intel IP Corporation Modified-reality device and method for operating a modified-reality device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230022444A1 (en) * 2021-07-26 2023-01-26 Samsung Electronics Co., Ltd. Electronic device generating image and method for operating the same

Also Published As

Publication number Publication date
CN110249625A (zh) 2019-09-17
WO2018150492A1 (ja) 2018-08-23
US20190373184A1 (en) 2019-12-05
US11082639B2 (en) 2021-08-03
JPWO2018150492A1 (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
US11377211B2 (en) Flight path generation method, flight path generation system, flight vehicle, program, and storage medium
US11233943B2 (en) Multi-gimbal assembly
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
JP6878567B2 (ja) 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体
US11513514B2 (en) Location processing device, flight vehicle, location processing system, flight system, location processing method, flight control method, program and recording medium
US10198841B2 (en) Map view
US20190318636A1 (en) Flight route display method, mobile platform, flight system, recording medium and program
JP6788094B2 (ja) 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
JP2022008125A (ja) 可動物体の環境でマッピングするためのシステム、方法およびプログラム
JP6940459B2 (ja) 情報処理装置、撮影制御方法、プログラム及び記録媒体
JP6329219B2 (ja) 操作端末、及び移動体
WO2022000245A1 (zh) 飞行器的定位方法、辅助定位系统的控制方法和装置
JP6921026B2 (ja) 送信機、飛行体、飛行制御指示方法、飛行制御方法、プログラム、及び記憶媒体
JP6684012B1 (ja) 情報処理装置および情報処理方法
WO2021130980A1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
JP2020095519A (ja) 形状推定装置、形状推定方法、プログラム、及び記録媒体
JP2020003428A (ja) 情報処理装置、飛行経路生成方法、プログラム、及び記録媒体
JP6974290B2 (ja) 位置推定装置、位置推定方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201029

R150 Certificate of patent or registration of utility model

Ref document number: 6788094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150