JP7028248B2 - 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム - Google Patents

飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム Download PDF

Info

Publication number
JP7028248B2
JP7028248B2 JP2019540150A JP2019540150A JP7028248B2 JP 7028248 B2 JP7028248 B2 JP 7028248B2 JP 2019540150 A JP2019540150 A JP 2019540150A JP 2019540150 A JP2019540150 A JP 2019540150A JP 7028248 B2 JP7028248 B2 JP 7028248B2
Authority
JP
Japan
Prior art keywords
flight
image
flying object
feature points
image captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019540150A
Other languages
English (en)
Other versions
JPWO2019049197A1 (ja
Inventor
哲夫 井下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019049197A1 publication Critical patent/JPWO2019049197A1/ja
Application granted granted Critical
Publication of JP7028248B2 publication Critical patent/JP7028248B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00Aircraft indicators or protectors not otherwise provided for
    • B64D45/04Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08Landing aids; Safety measures to prevent collision with earth's surface optical
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04Control of altitude or depth
    • G05D1/06Rate of change of altitude or depth
    • G05D1/0607Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00Launching, take-off or landing arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00Launching, take-off or landing arrangements
    • B64U70/90Launching from or landing on platforms
    • B64U70/92Portable platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U80/00Transport or storage specially adapted for UAVs
    • B64U80/80Transport or storage specially adapted for UAVs by vehicles
    • B64U80/86Land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラムに関する。
上記技術分野において、特許文献1には、操縦士の技術および手間を省略するため、着陸時に、地上に載置されたターゲットマークに対して飛行体を自動誘導制御する技術が開示されている。
特開2012-71645号公報
しかしながら、上記文献に記載の技術では、飛行高度によっては、ターゲットマークを正確に視認できず飛行体が所望の飛行状態を実現できない場合があった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係る飛行体は、
飛行体の周囲を撮像するための撮像手段と、
前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像のそれぞれから抽出された特徴点を記録する記録手段と、
前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像の両方に含まれる特徴点と飛行中に撮像された画像から抽出された特徴点とを利用して、前記飛行体を指定位置に飛行させる飛行制御手段と、
を備え
前記飛行制御手段は、前記飛行体が離陸上昇中に前記撮像手段により撮影された下方画像と、前記飛行体が飛行を開始する前に撮像された画像との両方に含まれる特徴点を、飛行中に撮像された画像から抽出された特徴点と比較する飛行体である。
上記目的を達成するため、本発明に係る装置は、
飛行体の周囲を撮像して取得した画像を受信する画像受信手段と、
前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像のそれぞれから抽出された特徴点を記録する記録手段と、
前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像の両方に含まれる特徴点と飛行中に撮像された画像から抽出された特徴点とを利用して、前記飛行体を指定位置に飛行させる飛行制御手段と、
を備え
前記飛行制御手段は、前記飛行体が離陸上昇中に前記撮像手段により撮影された下方画像と、前記飛行体が飛行を開始する前に撮像された画像との両方に含まれる特徴点を、飛行中に撮像された画像から抽出された特徴点と比較する飛行体制御装置である。
上記目的を達成するため、本発明に係る方法は、
飛行体の周囲を撮像する撮像ステップと、
前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像のそれぞれから抽出された特徴点を記録する記録ステップと、
前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像の両方に含まれる特徴点と、前記撮像ステップにより飛行中に撮像された画像から抽出された特徴点とを利用して、前記飛行体を指定位置に飛行させる飛行制御ステップと、
を含み、
前記飛行制御ステップは、前記飛行体が離陸上昇中に撮影された下方画像と、前記飛行体が飛行を開始する前に撮像された画像との両方に含まれる特徴点を、飛行中に撮像された画像から抽出された特徴点と比較する飛行体の制御方法である。
上記目的を達成するため、本発明に係るプログラムは、
飛行体の周囲を撮像する撮像ステップと、
前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像のそれぞれから抽出された特徴点を記録する記録ステップと、
前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像の両方に含まれる特徴点と、前記撮像ステップにより飛行中に撮像された画像から抽出された特徴点とを利用して、前記飛行体を指定位置に飛行させる飛行制御ステップと、
をコンピュータに実行させる飛行体の制御プログラムであって、
前記飛行制御ステップは、前記飛行体が離陸上昇中に撮影された下方画像と、前記飛行体が飛行を開始する前に撮像された画像との両方に含まれる特徴点を、飛行中に撮像された画像から抽出された特徴点と比較する飛行体の制御プログラムである。
本発明によれば、より確実に飛行体を所望の位置で飛行させることができる。
本発明の第1実施形態に係る飛行体の構成を示すブロック図である。 本発明の第2実施形態に係る飛行体の飛行条件を説明する図である。 本発明の第2実施形態に係る飛行体の飛行条件を説明する図である。 本発明の第2実施形態に係る飛行体の構成を説明する図である。 本発明の第2実施形態に係る飛行体の構成を説明する図である。 本発明の第2実施形態に係る飛行体の構成を説明する図である。 本発明の第2実施形態に係る飛行体の構成を説明する図である。 本発明の第2実施形態に係る飛行体の構成を説明する図である。 本発明の第2実施形態に係る飛行体の処理の流れを説明するフローチャートである。 本発明の第3実施形態に係る飛行体の構成を説明する図である。 本発明の第3実施形態に係る飛行体の構成を説明する図である。 本発明の第3実施形態に係る飛行体の構成を説明する図である。 本発明の第3実施形態に係る飛行体の構成を説明する図である。 本発明の第5実施形態に係る飛行体制御装置の構成を説明する図である。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
[第1実施形態]
本発明の第1実施形態としての飛行体100について、図1を用いて説明する。飛行体100は、撮像部101、記録部102および飛行制御部103を含む。
撮像部101は、飛行体100の周囲を撮像する。画像記録部102は、飛行体100が飛行を開始する前に撮像された風景画像121を記録する。飛行制御部103は、画像記録部102に記録された風景画像121と飛行中に撮像された風景画像120とを利用して、飛行体100を指定位置に飛行させる。
以上の構成により、操縦士の能力によらずに、飛行体を、所望の位置において正確に飛行させることができる。
[第2実施形態]
次に本発明の第2実施形態に係る飛行体について、図2乃至図5を用いて説明する。図2Aは、本実施形態に係る飛行体200の離発着の様子を説明するための図である。飛行体200を災害現場に派遣するため、例えばビルの谷間に、車両210を停車させ、そのルーフに設けられたターゲットマーク215から飛行体200を離発着させる。
着陸時、GPS(Global Positioning System)に頼った制御では、数mのズレが生じるため、ターゲットマーク215上に着陸させることは難しい。さらに、図2Bに示すように、高い高度(例えば100m以上)からは、このようなターゲットマーク215がよく見えなかったり、周辺の建物に見られる模様や形状に紛れて、ターゲットマーク215の誤認識が生じたりといったことが起こる。
そこで、本実施形態では、ターゲットマークに頼らずに、所望の着陸地点(例えば車両のルーフや、海上の船の上など)に飛行体200を誘導するための技術を提供する。
図3は、飛行体200の内部構成を示す図である。飛行体200の内部には、画像データベース302、飛行制御部303、撮像部304、特徴抽出部306、高度取得部307を備える。
画像データベース302は、飛行体200が飛行を開始する前に撮像された風景画像の画像データ321を記録している。
撮像部304は、飛行体の周囲を撮像し、取得した画像データを画像データベース302に記録する。
飛行制御部303は、画像データベース302に記録された風景画像と、飛行中に撮像部304によって撮像された風景画像とを利用して飛行体200の飛行を制御する。
画像データベース302に記録された画像データ321は、インターネット上においてアクセス可能に保存された風景画像であってもよい。例えば衛星写真や航空写真によって生成された風景画像の画像データ(例えばgoogle earth(商標登録)で取得した画像データ)であってもよいし、他の飛行体によって事前に撮像された風景画像の画像データであってもよい。
図4に示すとおり、画像データベース302に記録された各画像データには、撮像日時、撮像時の天候、撮像高度などが紐付けられて記録されてもよい。その場合、飛行制御部303は、飛行日時、飛行時の天候、飛行高度の少なくとも一つに基づいて、画像データベース302に記録された画像中から、飛行中に撮像された画像とマッチングすべき画像を選択する。
また、飛行制御部303は、画像データベース302に記録された画像の明るさ、コントラスト、および色分布の少なくとも一つに基づいて、飛行中に撮像された画像とマッチングすべき画像を選択する。画像データベース302にはさらに、その画像の取得元が記録されてもよい。
特徴抽出部306は、画像データベース302に記録された画像データから特徴点を抽出し、画像データベース302は画像データ321に対応付けて、その画像データ321から抽出した特徴情報322を記録する。マッチングのため、画像から特徴情報を抽出する技術についてはORB: an efficient alternative to SIFT or SURF(Ethan Rublee Vincent Rabaud Kurt Konolige Gary Bradski)に開示がある。
高度取得部307は、飛行体200が飛行中の高度に関する飛行高度情報を取得する。画像データベース302は、異なる撮影高度に対応する複数の下方画像を記録する。
飛行制御部303は、画像データベース302に記録された特徴点と、飛行中に撮像された画像から抽出された特徴点とを比較して、それらが一致するように飛行体200を飛行させる。
飛行制御部303は、特に、飛行体200の着陸飛行時に、画像データベース302に記録された画像と飛行中に撮像された画像とを利用して、飛行体を指定位置に着陸させるべく誘導する。
飛行制御部303は、所定高度ごとにマッチングを行ない、高度に応じた移動量の誘導を随時行なう。具体的には、移動量算出部331が、移動量データベース332を参照して、画像データベース302に記録された特徴点と、下降中に撮影された下方画像から抽出された特徴点とのずれに基づき、飛行体200の移動量を導き出す。図5に示すとおり、同じ特徴点のずれが同じ画素数であっても、高度が高くなればなるほど大きく移動させる必要が生じる。なお、着陸する半径5mぐらいのところにGPSにて仮想的に目に見えないジオフェンスを設定して、ぶつかった場所で下降する制御にしてもよい。
画像データベース302に記録された画像中において、図2Bのようなターゲットマーク215を着陸指定位置として、ソフト的に付加できる構成でもよい。飛行制御部303は、画像データ321に付加された着陸指定位置に飛行体200を着陸させるべく誘導する。
特徴抽出部306は、画像データベース302にあらかじめ記録された画像データ321から移動物体(人、自動車、自転車、列車、船など)を形状から認識して、特徴点の抽出対象から排除する。
飛行制御部303は、目的地まで飛行した後、指定された着陸地点に移動する際、GPS(Global Positioning System)からの信号を用いて、着陸地点付近に飛行する。その後、着陸地点として指定された画像の特徴点を読み出して、飛行中の撮像画像から抽出した特徴点とマッチングさせつつ、着陸指定地点に誘導する。
本構成によれば、図6に示すとおり、事前に撮像された画像を利用するため、飛行前に、着陸地点を十分に吟味した上で、自由に指定できるという利点がある。
また、図7に示すとおり、飛び立ったときに雨、着陸時に晴れといったように条件が変わってしまっても、事前に撮像された複数の画像から、着陸時の条件(時刻、天候、高度など)にあった画像を選択して利用することができる。その際、画像自体の特性(画像の明るさ、コントラスト、または色分布)に基づいて、画像を選択してもよい。
また、所定高度よりも高所で用いる画像と、低所で用いる画像とを切り替えてもよい。例えば飛行体200が所定高度よりも高い位置を飛行中は衛星画像や航空画像を参照画像として用いて誘導し、飛行体200が所定高度よりも低所になった場合には、事前登録しておいたマーカー画像を参照画像として用いて誘導してもよい。
取得した高度ではなく、撮像画像中の特徴点の数によって参照画像を切り替えてもよい。
図8は、本実施形態に係る飛行体200において行なわれる処理の流れを示すフローチャートである。ここでは、例として、着陸時に、画像データベース302内の画像データを利用する処理の流れについて説明する。しかし本発明は着陸時に限定されるものではなく指定位置でのホバリングや、指定ルートの飛行にも応用できる。まず、ステップS801において、着陸指示を受け付けたか判定する。着陸指示を受け付けた場合には、ステップS803に進み、撮像部304が、下方の画像を撮影し、同時に高度取得部307が高度を取得する。
ステップS805では、撮影された下方画像を画像データベース302に記録しつつ、特徴抽出部306がその下方画像から特徴点を抽出する。ステップS806では、着陸地点を指定する画像であって、リアルタイムに撮影された下方画像とのマッチングに適した画像(またはその特徴点)を画像データベース302から選択し、読出す。
このとき、上述したように、撮像日時、撮像時の天候、撮像高度、画像の明るさ、コントラスト、および色分布の少なくとも一つに基づいて、飛行中に撮像された画像とマッチングすべき画像を選択する。このとき、事前に画像データベース302に記録された画像を飛行体200の飛行高度に応じて拡大縮小してもよい。つまり、飛行高度が撮像高度よりも高ければ縮小し、低ければ拡大すればよい。
次に、ステップS807では、特徴の照合を行ない、ステップS809では、移動量算出部331が、特徴点の位置ずれ量(画素数)から、飛行体200の移動量を算出する。そして、ステップS811に進むと、飛行制御部303は、算出された移動量どおりに飛行体200を移動させる。
最後にステップS813において、着陸が完了したか否かを判定して、未完了であれば、ステップS803に戻り処理を繰り返す。
以上、本実施形態によれば、飛行体を、所望の位置において正確に飛行させることができる。事前に撮像された画像を利用して、飛行前に、着陸地点などの飛行地点を十分に吟味した上で指定でき、操縦士の負担なく、正確な飛行が可能となる。
[第3実施形態]
次に本発明の第3実施形態に係る飛行体について、図9を用いて説明する。図9は、本実施形態に係る飛行体900の内部構成を説明するための図である。本実施形態に係る飛行体900は、上記第2実施形態と比べると、離陸判定部901および位置あわせ部905を有する点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図10に示すように、画像データベース302は、飛行体200が離陸上昇中であると判定した場合に、学習登録フェーズに移行し、所定高度において下方の画像を撮影させて、撮影された下方画像を記録する。また、飛行制御部303は、飛行体200が着陸に向けて下降中であると判定した場合に、照合フェーズに移行し、離陸上昇中に画像データベース302に記録された画像と離陸前に画像データベース302に記録された画像とで重複する特徴点を用いる。その特徴点と、下降中に撮影された下方画像1001、1002とのマッチングを行ない、下降しながらあらかじめ指定された離陸地点1015に対して飛行体を誘導する。
撮像部304は、離陸上昇時は真下に向いて画像を撮像・学習し、その後に水平移動時は任意の向きで撮像を行なう。着陸時はGPSで飛行体200を近辺まで帰還させ、着陸時に撮像部304を下方に向けて撮像を行ないつつ下降する。
位置あわせ部905は、図11に示すとおり、離陸上昇中の飛行体200の位置ずれ1101を吸収すべく、下方画像の位置あわせを行なった上で画像データベース302に記録する。つまり、常に、離陸地点1115が中央にくるように下方画像を切り取る。
飛行制御部303は、画像データベース302に記録された特徴点と、下降中に撮影された下方画像から抽出された特徴点との比較を行なう。飛行制御部303は、飛行高度情報に応じて、下降中に撮影された下方画像とのマッチングを行なうべき内容を画像データベース302から選択する。具体的には、図12に示すとおり、飛行体200が下降中、高度80mの位置で撮像した画像と比較すべき画像として、画像データベース302に高度90m、80m、70mに対応して記録された3つの下方画像1201~1203(の特徴点)を選択する。
このとき、飛行制御部303は、高度取得部307から高度が取得できる場合には、その高度を参照情報として、特徴点を選択するが、高度が取得できない場合には、取得タイミングが新しい下方画像から古い下方画像へと比較対象を変更する。
このように、本実施形態では、飛行体が離陸上昇中に前記撮像手段により撮影された下方画像と、飛行体が飛行を開始する前に撮像された画像との両方に含まれる特徴点を、飛行中に撮像された画像から抽出された特徴点と比較する。どちらかにしか含まれていない特徴点はのぞく。過去にとった特徴点と上昇時とった特徴点とで重複する特徴点を使うため、移動体などのノイズを排除できる。
[第4実施形態]
次に本発明の第4実施形態に係る飛行体制御装置1300について、図13を用いて説明する。図13は、本実施形態に係る飛行体制御装置1300(いわゆるプロポ)の内部構成を説明するための図である。
本実施形態に係る飛行体制御装置1300は、画像データベース1302、飛行体制御部1303、画像受信部1304、特徴抽出部1306、高度取得部1307を備える。
画像受信部1304は、飛行体1350で撮像された画像を受信する。
画像データベース1302は、飛行体1350が飛行を開始する前に撮像された風景画像の画像データ1321を記録している。
撮像部1304は、飛行体1350の周囲を撮像し、取得した画像データを画像データベース1321に記録する。
飛行制御部1303は、画像データベース1302に記録された風景画像と、飛行中に画像受信部1304によって受信された風景画像とを利用して飛行体1350の飛行を制御する。
画像データベース1302に記録された画像データ1321は、インターネット上においてアクセス可能に保存された風景画像であってもよい。例えば衛星写真や航空写真によって生成された風景画像の画像データであってもよいし、他の飛行体によって事前に撮像された風景画像の画像データであってもよい。
特徴抽出部1306は、画像データベース1302に記録された画像データから特徴点を抽出し、画像データベース1302は画像データ1321に対応付けて、その画像データ1321から抽出した特徴情報1322を記録する。マッチングのため、画像から特徴情報を抽出する技術についてはORB: an efficient alternative to SIFT or SURF(Ethan Rublee Vincent Rabaud Kurt Konolige Gary Bradski)に開示がある。
高度取得部1307は、飛行体1350が飛行中の高度に関する飛行高度情報を取得する。画像データベース1302は、異なる撮影高度に対応する複数の下方画像を記録する。
飛行制御部1303は、画像データベース1302に記録された特徴点と、飛行中に撮像された画像から抽出された特徴点とを比較して、それらが一致するように飛行体1350を飛行させる。
本実施形態によれば、飛行体を所望の地点に正確に着陸させることができる。
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。
[実施形態の他の表現]
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
飛行体の周囲を撮像するための撮像手段と、
前記飛行体が飛行を開始する前に撮像された画像を記録する記録手段と、
前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御手段と、
を備えた飛行体。
(付記2)
前記記録手段に記録された画像は、インターネット上においてアクセス可能に保存された風景画像である付記1に記載の飛行体。
(付記3)
前記記録手段に記録された画像は、他の飛行体が事前に撮像した風景画像である付記1に記載の飛行体。
(付記4)
前記飛行制御手段は、飛行時刻、飛行時の天候、飛行高度の少なくとも一つに基づいて、前記記録手段に記録された画像中から、飛行中に利用すべき画像を選択する付記1乃至3のいずれか1項に記載の飛行体。
(付記5)
前記飛行制御手段は、画像の明るさ、画像のコントラスト、および画像の色分布の少なくとも一つに基づいて、前記記録手段に記録された画像中から、飛行中に利用すべき画像を選択する付記1乃至4のいずれか1項に記載の飛行体。
(付記6)
前記記録手段は、さらに前記画像から抽出された特徴点を記録し、
前記飛行制御手段は、前記記録手段に記録された前記特徴点と、飛行中に撮像された画像から抽出された特徴点とを比較して、それらが一致するように前記飛行体を飛行させる付記1乃至5にいずれか1項に記載の飛行体。
(付記7)
前記飛行体が離陸上昇中に前記撮像手段により撮影された下方画像と、前記飛行体が飛行を開始する前に撮像された画像との両方に含まれる特徴点を、飛行中に撮像された画像から抽出された特徴点と比較する付記6に記載の飛行体。
(付記8)
前記飛行制御手段は、着陸飛行時に、前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を指定位置に着陸させる付記1乃至7のいずれか1項に記載の飛行体。
(付記9)
前記記録手段に記録された画像中に着陸位置が指定されており、前記飛行制御手段は、指定された着陸位置に前記飛行体を着陸させる付記8に記載の飛行体。
(付記10)
前記記録手段にあらかじめ記録された画像から移動物体を認識して排除する付記1乃至9のいずれか1項に記載の飛行体。
(付記11)
飛行体の周囲を撮像して取得した画像を受信する画像受信手段と、
前記飛行体が飛行を開始する前に撮像された画像を記録する記録手段と、
前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御手段と、
を備えた飛行体制御装置。
(付記12)
飛行体の周囲を撮像する撮像ステップと、
前記飛行体が飛行を開始する前に撮像され、記録手段に記録された画像と、前記撮像ステップにより飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御ステップと、
を含む飛行体の制御方法。
(付記13)
飛行体の周囲を撮像する撮像ステップと、
前記飛行体が飛行を開始する前に撮像され、記録手段に記録された画像と、前記撮像ステップにより飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御ステップと、
をコンピュータに実行させる飛行体の制御プログラム。

Claims (12)

  1. 飛行体の周囲を撮像するための撮像手段と、
    前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像のそれぞれから抽出された特徴点を記録する記録手段と、
    前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像の両方に含まれる特徴点と飛行中に撮像された画像から抽出された特徴点とを利用して、前記飛行体を指定位置に飛行させる飛行制御手段と、
    を備え
    前記飛行制御手段は、前記飛行体が離陸上昇中に前記撮像手段により撮影された下方画像と、前記飛行体が飛行を開始する前に撮像された画像との両方に含まれる特徴点を、飛行中に撮像された画像から抽出された特徴点と比較する飛行体。
  2. 前記記録手段に記録された画像は、インターネット上においてアクセス可能に保存された風景画像である請求項1に記載の飛行体。
  3. 前記記録手段に記録された画像は、他の飛行体が事前に撮像した風景画像である請求項1に記載の飛行体。
  4. 前記飛行制御手段は、飛行時刻、飛行時の天候、飛行高度の少なくとも一つに基づいて、前記記録手段に記録された画像中から、飛行中に利用すべき画像を選択する請求項1乃至3のいずれか1項に記載の飛行体。
  5. 前記飛行制御手段は、画像の明るさ、画像のコントラスト、および画像の色分布の少なくとも一つに基づいて、前記記録手段に記録された画像中から、飛行中に利用すべき画像を選択する請求項1乃至4のいずれか1項に記載の飛行体。
  6. 前記飛行制御手段は、前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像の両方に含まれる特徴点と飛行中に撮像された画像から抽出された特徴点とを比較して、それらが一致するように前記飛行体を飛行させる請求項1乃至5にいずれか1項に記載の飛行体。
  7. 前記飛行制御手段は、着陸飛行時に、前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を指定位置に着陸させる請求項1乃至6のいずれか1項に記載の飛行体。
  8. 前記記録手段に記録された画像中に着陸位置が指定されており、前記飛行制御手段は、指定された着陸位置に前記飛行体を着陸させる請求項7に記載の飛行体。
  9. 前記記録手段にあらかじめ記録された画像から移動物体を認識して排除する請求項1乃至8のいずれか1項に記載の飛行体。
  10. 飛行体の周囲を撮像して取得した画像を受信する画像受信手段と、
    前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像のそれぞれから抽出された特徴点を記録する記録手段と、
    前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像の両方に含まれる特徴点と飛行中に撮像された画像から抽出された特徴点とを利用して、前記飛行体を指定位置に飛行させる飛行制御手段と、
    を備え
    前記飛行制御手段は、前記飛行体が離陸上昇中に撮影された下方画像と、前記飛行体が飛行を開始する前に撮像された画像との両方に含まれる特徴点を、飛行中に撮像された画像から抽出された特徴点と比較する飛行体制御装置。
  11. 飛行体の周囲を撮像する撮像ステップと、
    前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像のそれぞれから抽出された特徴点を記録する記録ステップと、
    前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像の両方に含まれる特徴点と、前記撮像ステップにより飛行中に撮像された画像から抽出された特徴点とを利用して、前記飛行体を指定位置に飛行させる飛行制御ステップと、
    を含み、
    前記飛行制御ステップは、前記飛行体が離陸上昇中に撮影された下方画像と、前記飛行体が飛行を開始する前に撮像された画像との両方に含まれる特徴点を、飛行中に撮像された画像から抽出された特徴点と比較する飛行体の制御方法。
  12. 飛行体の周囲を撮像する撮像ステップと、
    前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像のそれぞれから抽出された特徴点を記録する記録ステップと、
    前記飛行体が飛行を開始する前に撮像された画像及び前記飛行体が離陸上昇中に撮像された画像の両方に含まれる特徴点と、前記撮像ステップにより飛行中に撮像された画像から抽出された特徴点とを利用して、前記飛行体を指定位置に飛行させる飛行制御ステップと、
    をコンピュータに実行させる飛行体の制御プログラムであって、
    前記飛行制御ステップは、前記飛行体が離陸上昇中に撮影された下方画像と、前記飛行体が飛行を開始する前に撮像された画像との両方に含まれる特徴点を、飛行中に撮像された画像から抽出された特徴点と比較する飛行体の制御プログラム。
JP2019540150A 2017-09-05 2017-09-05 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム Active JP7028248B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/031913 WO2019049197A1 (ja) 2017-09-05 2017-09-05 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2019049197A1 JPWO2019049197A1 (ja) 2020-09-24
JP7028248B2 true JP7028248B2 (ja) 2022-03-02

Family

ID=65633755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019540150A Active JP7028248B2 (ja) 2017-09-05 2017-09-05 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム

Country Status (3)

Country Link
US (1) US20200387171A1 (ja)
JP (1) JP7028248B2 (ja)
WO (1) WO2019049197A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11053021B2 (en) * 2017-10-27 2021-07-06 Drone Delivery Canada Corp. Unmanned aerial vehicle and method for indicating a landing zone
KR102562599B1 (ko) * 2021-11-17 2023-08-02 ㈜시스테크 무인항공기 최적 착륙경로 설정 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010146238A (ja) 2008-12-18 2010-07-01 Yaskawa Electric Corp 移動体の教示方法及び移動体の制御装置並びに移動体システム
JP2012068736A (ja) 2010-09-21 2012-04-05 Yaskawa Electric Corp 移動体
US20130329061A1 (en) 2012-06-06 2013-12-12 Samsung Electronics Co. Ltd. Method and apparatus for storing image data
JP2016111414A (ja) 2014-12-03 2016-06-20 コニカミノルタ株式会社 飛行体の位置検出システム及び飛行体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6228614A (ja) * 1985-07-31 1987-02-06 Komatsu Ltd 車両の画像ホ−ミング方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010146238A (ja) 2008-12-18 2010-07-01 Yaskawa Electric Corp 移動体の教示方法及び移動体の制御装置並びに移動体システム
JP2012068736A (ja) 2010-09-21 2012-04-05 Yaskawa Electric Corp 移動体
US20130329061A1 (en) 2012-06-06 2013-12-12 Samsung Electronics Co. Ltd. Method and apparatus for storing image data
JP2016111414A (ja) 2014-12-03 2016-06-20 コニカミノルタ株式会社 飛行体の位置検出システム及び飛行体

Also Published As

Publication number Publication date
JPWO2019049197A1 (ja) 2020-09-24
US20200387171A1 (en) 2020-12-10
WO2019049197A1 (ja) 2019-03-14

Similar Documents

Publication Publication Date Title
CN106054929B (zh) 一种基于光流的无人机自动降落引导方法
CN104808674A (zh) 多旋翼飞行器的控制系统、终端及机载飞控系统
CN104340371B (zh) 自主且自动的着陆方法和系统
KR102483714B1 (ko) 이미지 센서 기반 자율 착륙
CN107240063A (zh) 一种面向移动平台的旋翼无人机自主起降方法
US20170200376A1 (en) Travel path setting apparatus, method of setting travel path, and recording medium
KR101872609B1 (ko) 정밀 착륙 유도 장치 및 방법
CN108153334A (zh) 无合作目标式无人直升机视觉自主返航与着降方法及系统
JP7190699B2 (ja) 飛行システム及び着陸制御方法
CN106781709A (zh) 一种飞机着陆监视引导系统
US20230388449A1 (en) Flying body control apparatus, flying body control method, and flying body control program
JP7028248B2 (ja) 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
CN113759943A (zh) 无人机降落平台及识别方法、降落方法和飞行作业系统
US11328612B2 (en) System, method, and apparatus for drone positioning control
US20220392353A1 (en) Unmanned aerial vehicle privacy controls
US20110022250A1 (en) Helicopter autopilot
CN114689030A (zh) 一种基于机载视觉的无人机辅助定位方法及系统
US11816863B2 (en) Method and device for assisting the driving of an aircraft moving on the ground
CN112119428A (zh) 获取降落位置的方法、设备、无人机、系统及存储介质
JP7070636B2 (ja) 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
JP7028247B2 (ja) 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
KR20190097350A (ko) 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론
Nakamura et al. Estimation Techniques in Robust Vision-Based Landing of Aerial Vehicles
KR20100129543A (ko) 무인항공기 항로 유도장치
JP6393157B2 (ja) 宇宙機の探索回収システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220131

R151 Written notification of patent or utility model registration

Ref document number: 7028248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151