JP7042911B2 - Uav制御装置およびuav制御方法 - Google Patents
Uav制御装置およびuav制御方法 Download PDFInfo
- Publication number
- JP7042911B2 JP7042911B2 JP2020529942A JP2020529942A JP7042911B2 JP 7042911 B2 JP7042911 B2 JP 7042911B2 JP 2020529942 A JP2020529942 A JP 2020529942A JP 2020529942 A JP2020529942 A JP 2020529942A JP 7042911 B2 JP7042911 B2 JP 7042911B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- destination
- uav
- flight
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 115
- 238000006243 chemical reaction Methods 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 28
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000015654 memory Effects 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
- B64C13/02—Initiating means
- B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
- B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U70/00—Launching, take-off or landing arrangements
- B64U70/40—Landing characterised by flight manoeuvres, e.g. deep stall
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
Description
<A-1.構成>
図1は、実施の形態1のUAV1の構成を示すブロック図である。UAV1は、UAV制御装置101、カメラ21、GNSS(Global Navigation Satellite system)受信機22、駆動部23およびバッテリー24を備えている。カメラ21は、UAV1に搭載されており、主にUAV1の下方を撮影することが可能である。駆動部23はバッテリー24から電力供給を受けて動作し、UAV1に飛行のための推力を発生させるモータとプロペラである。GNSS受信機22は、UAV1に搭載されており、GNSS衛星からの電波を受信する。
図3は、飛行制御部15によるUAV1の飛行制御処理を示すフローチャートである。図4は、図3のステップS104の詳細な処理を示すフローチャートであり、第2区間の飛行制御に関するフローチャートである。以下、図3および図4に沿って飛行制御部15の動作を説明する。
<B-1.構成>
図5は、実施の形態2のUAV2の構成を示すブロック図である。UAV2は、実施の形態1のUAV1と比較すると、UAV制御装置101に代えてUAV制御装置102を備えている。UAV制御装置102は、UAV制御装置101の構成に加えて、航空写真記憶部16を備えている。
以下、第2区間S2の飛行経路の算出方法を説明する。図9は、UAV1が着陸準備ポイントCに到達したときにカメラ21が撮影したUAV1の真下の撮影画像R1を示している。飛行制御部15は、図7の目的地画像Qdesと図9の撮影画像R1を照合して、撮影画像R1上の目的地Dの位置Pdesを特定する。これにより、飛行制御部15はUAV1と目的地Dの位置関係を把握することが可能である。ここで、説明の簡単化のため、着陸準備ポイントCの水平座標および高度を、目的地画像Qdesの中心位置Pnmおよび撮影高度とそれぞれ同一とする。すなわち、着陸準備ポイントCはPnmの真上に位置する。これにより、目的地画像と撮影画像に対して、後述する撮影高度変換処理と視点変換処理を行わなくても、両画像を照合することが可能になる。このとき、着陸準備ポイントCと目的地Dの位置関係は、図10に示されるものとなり、着陸準備ポイントCから見た目的地Dの方向は、角度(θ,γ)で表される。ここで、角度θは、PdesとPnmを結ぶ線分と、目的地画像Qdesのy方向がなす角である。そして、角度γは、着陸準備ポイントCと中心位置Pnmとを結ぶ線分と、着陸準備ポイントCとPdesが結ぶ線分とがなす角である。角度(θ,γ)は、Pdesおよびの画像内座標と、着陸準備ポイントCの高度から算出される。従って、着陸準備ポイントCに到達したUAV1は、(θ,γ)の方向に降下することによって目的地Dに到達することができる。
図12は、実施の形態2の第1の変形例のUAV2Aの構成を示すブロック図である。UAV2Aは、UAV2と比較すると、UAV制御装置102に代えてUAV制御装置102Aを備えている。UAV制御装置102Aは、飛行制御部15に画像変換部151を備えている。
<C-1.構成>
図18は、実施の形態3のUAV3の構成を示すブロック図である。UAV3は、実施の形態2のUAV2と比較すると、UAV制御装置102に代えてUAV制御装置103を備えている。UAV制御装置103は、飛行制御部15に正射変換部152を備える点がUAV制御装置102と異なる。
<D-1.構成>
図20は、実施の形態4に係るUAV4の構成を示すブロック図である。UAV4は、実施の形態3のUAV3の構成と比較すると、UAV制御装置103に代えてUAV制御装置104を備えている。UAV制御装置104は、飛行制御部15が正射変換部152の他にマスク処理部153を備える点がUAV制御装置103と異なる。
飛行制御部15は、目的地画像と撮影画像を照合する。目的地画像の撮影範囲のうち、道路、線路、水路には移動体が走行している。移動体の位置は時間と共に変化するため、目的地画像と撮影画像の照合において、道路等、移動体が走行する範囲はノイズ成分となる。
<E-1.構成>
図22は、実施の形態5のUAV5の構成を示すブロック図である。UAV5は、カメラ21、GNSS受信機22、駆動部23、バッテリー24、通信部26およびUAV制御装置105を備えている。UAV制御装置105は、実施の形態1のUAV制御装置101と同様の構成である。実施の形態1-4において、目的地は建物の屋上などの地物であり、目的地画像は、図7に示したように目的地を含む地理的範囲を上空から撮影した画像であった。これに対して実施の形態5では、目的地は停止または走行する移動体であり、UAV制御装置105は、UAV5を移動体に着陸させるまでの飛行制御を行う。以下、UAV5の目的地となる移動体を目的移動体と称する。本実施の形態は、例えばUAV5による移動体への荷物の配送、またはUAV5の移動体での充電などの用途に利用することが可能である。
図25は、飛行制御部15によるUAV5の飛行制御処理を示すフローチャートである。図26は、図25のステップS509の詳細な処理を示すフローチャートであり、第2区間の飛行制御に関するフローチャートである。以下、図25および図26に沿って飛行制御部15の動作を説明する。
図30は、実施の形態5の変形例のUAV5Aの構成を示すブロック図である。UAV5Aは、UAV5の構成と比較すると、UAV制御装置105に代えてUAV制御装置105Aを備えている。UAV制御装置105Aは、UAV制御装置105の構成に加えて航空写真記憶部16を備えている。航空写真記憶部16には、実施の形態2と同様、特定の地理的領域を上空から撮影した航空写真群と、航空写真群がカバーする地理的領域の任意の地点が航空写真上のどこに位置するかを示す画像内座標とが格納されている。航空写真群は、少なくとも目的移動体の走行予定経路をカバーすることが望ましい。
上述したUAV制御装置101,102,102A,102B,103,104,105,105Aにおける、目的地画像取得部11、測位部12、撮影画像取得部13、ポイント設定部14、飛行制御部15および航空写真記憶部16は、図33に示す処理回路61により実現される。すなわち、処理回路61は、目的地画像取得部11、測位部12、撮影画像取得部13、ポイント設定部14、飛行制御部15および航空写真記憶部16(以下、「目的地画像取得部11等」と称する)を備える。処理回路61には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)等である。
Claims (18)
- 目的地を上空から撮影した画像である目的地画像と、前記目的地が前記目的地画像内のどこに位置するかを示す前記目的地の画像内座標とを取得する目的地画像取得部と、
UAVに搭載されたカメラによる前記UAVの下方の撮影画像を取得する撮影画像取得部と、
GNSS信号を用いて前記UAVの位置を測定する測位部と、
前記目的地の近傍の上空に着陸準備ポイントを設定するポイント設定部と、
前記UAVが出発地から前記着陸準備ポイントまで第1飛行として飛行した後、前記着陸準備ポイントから前記目的地まで第2飛行として飛行するように前記UAVを制御する飛行制御部と、を備え、
前記飛行制御部は、
前記第1飛行においては、前記測位部が測定した前記UAVの位置を利用して前記UAVを制御し、
前記第2飛行においては、前記目的地の画像内座標に基づき前記目的地画像と前記撮影画像とを照合することにより、前記撮影画像上の前記目的地を特定し、前記UAVと前記目的地との相対位置を把握し、前記UAVの飛行経路を決定する、
UAV制御装置。 - 前記飛行制御部は、前記目的地画像と前記撮影画像で撮影高度が異なる場合、前記目的地画像と前記撮影画像の一方または両方に撮影高度を変換する画像変換処理を行って、前記目的地画像と前記撮影画像で撮影高度を一致させたうえで両者を照合する、
請求項1に記載のUAV制御装置。 - 前記飛行制御部は、前記目的地画像の撮影高度を前記着陸準備ポイントの高度とする、
請求項1に記載のUAV制御装置。 - 前記飛行制御部は、前記目的地画像の中心位置の真上に前記着陸準備ポイントを設定する、
請求項1に記載のUAV制御装置。 - 前記飛行制御部は、前記目的地画像と前記撮影画像で撮影位置の水平座標が異なる場合、前記目的地画像に撮影位置の水平座標を変換する画像変換処理を行って、前記目的地画像と前記撮影画像で撮影位置の水平座標を一致させたうえで、両者を照合する、
請求項1に記載のUAV制御装置。 - 前記UAV制御装置の外部のサーバに前記着陸準備ポイントの高度を送信し、
前記目的地画像取得部は、前記着陸準備ポイントの高度にあわせて撮影高度を変換する画像変換処理が行われた前記目的地画像を前記サーバから取得する、
請求項1に記載のUAV制御装置。 - 前記飛行制御部は、前記UAV制御装置の外部のサーバに前記着陸準備ポイントの水平座標を送信し、
前記目的地画像取得部は、前記着陸準備ポイントの水平座標にあわせて撮影位置の水平座標を変換する画像変換処理が行われた前記目的地画像を前記サーバから取得する、
請求項1に記載のUAV制御装置。 - 前記第1飛行は、前記出発地から前記着陸準備ポイントの高度である着陸準備高度まで上昇する初期飛行と、前記初期飛行の後、前記着陸準備高度を保って前記着陸準備ポイントまで飛行する巡航飛行とを含む、
請求項1に記載のUAV制御装置。 - 前記飛行制御部は、前記目的地と前記目的地画像の撮影位置とを結ぶ線分上に前記着陸準備ポイントを設定する、
請求項1に記載のUAV制御装置。 - 前記飛行制御部は、前記第2飛行における複数の地点で、前記目的地画像と前記撮影画像とを照合して、前記撮影画像上の前記目的地を特定することにより、前記UAVの飛行経路を更新する、
請求項1に記載のUAV制御装置。 - 前記目的地画像取得部は、撮影高度が異なる複数の目的地画像と、複数の前記目的地画像における前記目的地の座標とを取得し、
前記飛行制御部は、前記撮影画像の撮影高度に応じて選択した一つの前記目的地画像を前記撮影画像と照合する、
請求項1に記載のUAV制御装置。 - 前記目的地画像はオルソ画像である、
請求項1に記載のUAV制御装置。 - 前記飛行制御部は、前記撮影画像を正射変換した上で前記目的地画像と照合する、
請求項12に記載のUAV制御装置。 - 前記飛行制御部は、前記目的地画像と前記撮影画像に対して、道路、線路または水路の少なくともいずれか一つをマスクした上で、前記目的地画像と前記撮影画像とを照合する、
請求項1に記載のUAV制御装置。 - 前記目的地は、停止または走行する移動体であり、
前記飛行制御部は、移動体の現在位置と走行経路から前記移動体の将来の位置を推定し、推定結果と前記UAVの位置に基づき前記UAVが前記移動体の上方に到達可能なポイントを前記着陸準備ポイントとする、
請求項1に記載のUAV制御装置。 - 前記目的地画像取得部は、複数の地点を撮影した複数の画像から、前記目的地が撮影された1枚の画像を前記目的地画像として取得する、
請求項1に記載のUAV制御装置。 - 前記目的地画像取得部は、複数の地点を撮影した複数の画像から、前記目的地が撮影された1枚の画像と、前記目的地が撮影された1枚の画像に撮影範囲が隣接する少なくとも1枚の画像とを合成することにより、前記目的地画像を取得する、
請求項1に記載のUAV制御装置。 - 目的地を上空から撮影した画像である目的地画像と、前記目的地が前記目的地画像内のどこに位置するかを示す前記目的地の画像内座標とを取得し、
UAVに搭載されたカメラによる前記UAVの下方の撮影画像を取得し、
GNSS信号を用いて前記UAVの位置を測定し、
前記目的地の近傍の上空に着陸準備ポイントを設定し、
前記UAVが出発地から前記着陸準備ポイントまで第1飛行として飛行した後、前記着陸準備ポイントから前記目的地まで第2飛行として飛行するように前記UAVを飛行制御し、
前記飛行制御は、
前記第1飛行においては、前記GNSS信号を用いて測定された前記UAVの位置を利用して前記UAVを制御し、
前記第2飛行においては、前記目的地の画像内座標に基づき前記目的地画像と前記撮影画像とを照合して、前記撮影画像上の前記目的地を特定することにより、前記UAVの飛行経路を決定する、
UAV制御方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/026468 WO2020012632A1 (ja) | 2018-07-13 | 2018-07-13 | Uav制御装置およびuav制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020012632A1 JPWO2020012632A1 (ja) | 2021-02-25 |
JP7042911B2 true JP7042911B2 (ja) | 2022-03-28 |
Family
ID=69141343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020529942A Active JP7042911B2 (ja) | 2018-07-13 | 2018-07-13 | Uav制御装置およびuav制御方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7042911B2 (ja) |
WO (1) | WO2020012632A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114253284A (zh) * | 2021-12-22 | 2022-03-29 | 湖北襄开电力设备有限公司 | 无人机自动控制方法、装置、设备及存储介质 |
CN114415736B (zh) * | 2022-04-01 | 2022-07-12 | 之江实验室 | 一种无人机多阶段视觉精准降落方法和装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130329061A1 (en) | 2012-06-06 | 2013-12-12 | Samsung Electronics Co. Ltd. | Method and apparatus for storing image data |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5690539B2 (ja) * | 2010-09-28 | 2015-03-25 | 株式会社トプコン | 自動離着陸システム |
JP2017056903A (ja) * | 2015-09-18 | 2017-03-23 | アイシン・エィ・ダブリュ株式会社 | 無人飛行体の制御システム、制御方法及び制御プログラム |
JP2018084955A (ja) * | 2016-11-24 | 2018-05-31 | 株式会社小糸製作所 | 無人航空機 |
-
2018
- 2018-07-13 WO PCT/JP2018/026468 patent/WO2020012632A1/ja active Application Filing
- 2018-07-13 JP JP2020529942A patent/JP7042911B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130329061A1 (en) | 2012-06-06 | 2013-12-12 | Samsung Electronics Co. Ltd. | Method and apparatus for storing image data |
Also Published As
Publication number | Publication date |
---|---|
WO2020012632A1 (ja) | 2020-01-16 |
JPWO2020012632A1 (ja) | 2021-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7556383B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム | |
CN107251055B (zh) | 走廊捕获 | |
KR102018892B1 (ko) | 무인기의 착륙 제어 방법 및 장치 | |
US9336568B2 (en) | Unmanned aerial vehicle image processing system and method | |
KR101329583B1 (ko) | 회전익 구조체를 이용한 공중관측 지형자료 구축 방법 및 그 시스템 | |
US8717361B2 (en) | Method for generating orthophoto image | |
CN103134475A (zh) | 航空摄影图像拾取方法和航空摄影图像拾取设备 | |
JP2012242321A (ja) | 航空写真撮像方法及び航空写真撮像装置 | |
US20220234753A1 (en) | An Aerial Imaging System and Method | |
JP7042911B2 (ja) | Uav制御装置およびuav制御方法 | |
CN113875222A (zh) | 拍摄控制方法和装置、无人机及计算机可读存储介质 | |
CN113848541B (zh) | 一种标定的方法、装置、无人机及计算机可读存储介质 | |
JP6265576B1 (ja) | 撮像制御装置、影位置特定装置、撮像システム、移動体、撮像制御方法、影位置特定方法、及びプログラム | |
RU2798604C1 (ru) | Бпла и способ выполнения аэрофотосъемки | |
RU2796697C1 (ru) | Устройство и способ для формирования ортофотоплана | |
KR20150006752A (ko) | 회전익 구조체를 이용한 공중관측 지형자료 구축 방법 및 그 시스템 | |
WO2024144434A1 (ru) | Бпла и способ выполнения аэрофотосъемки | |
KR102599649B1 (ko) | 다수의 무인 비행체를 이용한 공간분할 방식의 위치정보제공 시스템 및 방법 | |
WO2023097494A1 (zh) | 全景图像拍摄方法、装置、无人机、系统及存储介质 | |
TH2101002912A (th) | วิธีการและอุปกรณ์สำหรับการวางแผนจุดตัวอย่างสำหรับการสำรวจและการทำแผนที่,เครื่องปลายทางควบคุม |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200819 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220315 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7042911 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |