JP7042911B2 - Uav制御装置およびuav制御方法 - Google Patents

Uav制御装置およびuav制御方法 Download PDF

Info

Publication number
JP7042911B2
JP7042911B2 JP2020529942A JP2020529942A JP7042911B2 JP 7042911 B2 JP7042911 B2 JP 7042911B2 JP 2020529942 A JP2020529942 A JP 2020529942A JP 2020529942 A JP2020529942 A JP 2020529942A JP 7042911 B2 JP7042911 B2 JP 7042911B2
Authority
JP
Japan
Prior art keywords
image
destination
uav
flight
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020529942A
Other languages
English (en)
Other versions
JPWO2020012632A1 (ja
Inventor
光生 下谷
宏和 千代延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020012632A1 publication Critical patent/JPWO2020012632A1/ja
Application granted granted Critical
Publication of JP7042911B2 publication Critical patent/JP7042911B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00Launching, take-off or landing arrangements
    • B64U70/40Landing characterised by flight manoeuvres, e.g. deep stall

Description

この発明は、UAV(Unmanned aerial vehicle)の飛行制御に関する。
近年、ドローンなどのUAVを輸送または情報収集に活用する取り組みが行われている。例えば特許文献1では、道路を観測対象として道路地図に沿った飛行経路を計画し、UAVを用いた道路状況の観測を行っている。
特開2017-84122号公報
ところが、UAVに設置されたGNSSによる測位情報の位置精度は数m程度であるため、平面道路地図または飛行用の3次元地図上で指定した目的地にUAVを到達させる場合、数十cm単位の位置精度で目的地に到達させることは困難であった。本発明はこの問題点に鑑み、UAVを目的地まで高精度に到達させることを目的とする。
本発明のUAV制御装置は、目的地を上空から撮影した画像である目的地画像と目的地が目的地画像内のどこに位置するかを示す目的地の画像内座標とを取得する目的地画像取得部と、UAVに搭載されたカメラによるUAVの下方の撮影画像を取得する撮影画像取得部と、GNSS信号を用いてUAVの位置を測定する測位部と、目的地の近傍の上空に着陸準備ポイントを設定するポイント設定部と、UAVが出発地から着陸準備ポイントまで第1飛行として飛行した後、着陸準備ポイントから目的地まで第2飛行として飛行するようにUAVを制御する飛行制御部と、を備え、飛行制御部は、第1飛行においては、測位部が測定したUAVの位置を利用してUAVを制御し、第2飛行においては、目的地の画像内座標に基づき目的地画像と撮影画像とを照合することにより、撮影画像上の目的地を特定し、UAVと目的地との相対位置を把握し、UAVの飛行経路を決定する。
本発明のUAV制御方法は、目的地を上空から撮影した画像である目的地画像と目的地が目的地画像内のどこに位置するかを示す目的地の画像内座標とを取得し、UAVに搭載されたカメラによるUAVの下方の撮影画像を取得し、GNSS信号を用いてUAVの位置を測定し、目的地の近傍の上空に着陸準備ポイントを設定し、UAVが出発地から着陸準備ポイントまで第1飛行として飛行した後、着陸準備ポイントから目的地まで第2飛行として飛行するようにUAVを飛行制御し、飛行制御は、第1飛行においては、GNSS信号を用いて測定されたUAVの位置を利用してUAVを制御し、第2飛行においては、目的地の画像内座標に基づき目的地画像と撮影画像とを照合して、撮影画像上の目的地を特定することにより、UAVの飛行経路を決定する。
本発明によれば、目的地画像と撮影画像とを照合することによりUAVと目的地との相対位置を把握するため、GNSS信号の誤差を排除し高精度にUAVを目的地に到達させることが可能である。本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態1のUAVの構成を示すブロック図である。 実施の形態1のUAVの飛行経路を示す図である。 実施の形態1のUAV制御装置の全体動作を示すフローチャートである。 実施の形態1のUAV制御装置の第2飛行制御を示すフローチャートである。 実施の形態2のUAVの構成を示すブロック図である。 航空写真群を示す図である。 目的地画像を示す図である。 目的地画像における目的地の座標を示す図である。 UAV撮影画像を示す図である。 目的地画像と着陸準備ポイントとの関係を示す図である。 撮影方向の調整後のUAV撮影画像を示す図である。 実施の形態2の変形例に係るUAVの構成を示すブロック図である。 実施の形態2の変形例に係るUAVの構成を示すブロック図である。 目的地が2枚の航空写真の境界に位置する場合の目的地画像を示す図である。 4枚の航空写真から生成される目的地画像を示す図である。 目的地画像の撮影位置と目的地とを結ぶ線分上の着陸準備ポイントを示す図である。 第2飛行制御における飛行経路の更新処理を示すフローチャートである。 実施の形態3のUAVの構成を示すブロック図である。 オルソ画像である目的地画像を示す図である。 実施の形態4のUAVの構成を示すブロック図である。 マスク処理が施された目的地画像を示す図である。 実施の形態5のUAVの構成を示すブロック図である。 実施の形態5のUAVの飛行経路を示す図である。 実施の形態5のUAV制御装置の全体動作を示すフローチャートである。 実施の形態5のUAV制御装置の第2飛行制御を示すフローチャートである。 目的移動体画像を示す図である。 UAVの撮影画像を示す図である。 UAVの撮影画像を示す図である。 UAVの撮影画像を示す図である。 実施の形態5の変形例のUAVの構成を示すブロック図である。 実施の形態5の変形例のUAV制御装置の第2飛行制御を示すフローチャートである。 着陸準備ポイント周辺の航空写真に目的移動体画像を重畳した画像を示す図である。 UAV制御装置のハードウェア構成を示す図である。 UAV制御装置のハードウェア構成を示す図である。 サーバを含むUAV制御装置の構成例を示す図である。
<A.実施の形態1>
<A-1.構成>
図1は、実施の形態1のUAV1の構成を示すブロック図である。UAV1は、UAV制御装置101、カメラ21、GNSS(Global Navigation Satellite system)受信機22、駆動部23およびバッテリー24を備えている。カメラ21は、UAV1に搭載されており、主にUAV1の下方を撮影することが可能である。駆動部23はバッテリー24から電力供給を受けて動作し、UAV1に飛行のための推力を発生させるモータとプロペラである。GNSS受信機22は、UAV1に搭載されており、GNSS衛星からの電波を受信する。
UAV制御装置101は、目的地画像取得部11、測位部12、撮影画像取得部13、ポイント設定部14および飛行制御部15を備える。目的地画像取得部11は、目的地を上空から撮影した画像である目的地画像を取得する。測位部12は、GNSS受信機22からGNSS信号を取得し、これに基づきUAV1の現在位置を測定する。なお、測位部12はGNSS信号に加えて、図示しない加速度センサまたは高度センサ等のセンサ情報を用いて現在位置の測定を行っても良い。撮影画像取得部13は、カメラ21からその撮影画像を取得し、飛行制御部15に出力する。ポイント設定部14は、目的地の近傍の上空に着陸準備ポイントを設定する。着陸準備ポイントでカメラ21がUAV1の真下を撮影した際、撮影画像に目的地が含まれることが望ましい。従って、本明細書では、カメラ21がUAV1の真下を撮影した際、撮影画像に目的地が含まれる範囲を、「目的地の近傍の上空」と定義する。従って、着陸準備ポイントは、目的地の真上であっても良い。
図2は、出発地Aから目的地DまでのUAV1の飛行経路を示している。図2において、着陸準備ポイントCは、目的地Dの上空のやや出発地Aよりに設定されている。出発地Aから着陸準備ポイントCまでの区間を第1区間S1とし、第1区間S1の飛行を第1飛行とする。また、着陸準備ポイントCから目的地Dまでの区間を第2区間S2とし、第2区間の飛行を第2飛行とする。飛行制御部15は、第1区間S1については、測位部12が測定したUAV1の位置情報を用いてUAV1を着陸準備ポイントCまで飛行させる。測位部12の測定した位置情報は、GNSS信号の誤差を含んでおり、その精度はおよそ数mである。
従って、飛行制御部15は、第2区間S2については、目的地画像と撮影画像を照合することにより、高精度にUAV1と目的地Dとの相対的な位置関係を把握し、目的地DまでUAV1を飛行制御する。これにより、UAV1は数十cm単位の精度で正確に目的地Dに到達することが可能となる。
<A-2.動作>
図3は、飛行制御部15によるUAV1の飛行制御処理を示すフローチャートである。図4は、図3のステップS104の詳細な処理を示すフローチャートであり、第2区間の飛行制御に関するフローチャートである。以下、図3および図4に沿って飛行制御部15の動作を説明する。
図3のフローは、例えばUAV制御装置101に目的地の情報が入力されたタイミングで開始する。まず、目的地画像取得部11は、目的地情報を取得する(ステップS101)。ここで、目的地情報とは、目的地画像と、目的地画像における目的地Dの画像内座標とを含む。次に、ポイント設定部14は、目的地Dの位置情報に基づき、目的地Dの近傍の上空に着陸準備ポイントCを設定する(ステップS102)。そして、飛行制御部15は、第1区間S1の飛行制御を行う(ステップS103)。ここで飛行制御部15は、測位部12から取得したUAV1の位置情報と、目的地Dの位置情報とに基づき、UAV1を出発地Aから着陸準備ポイントCまで飛行するよう駆動部23を制御する。UAV1が着陸準備ポイントCに到達すると、続いて飛行制御部15は、第2区間S2の飛行制御を行う(ステップS104)。
本ステップでは、カメラ21がUAV1の下方を撮影し、撮影画像取得部13が撮影画像を取得する(ステップS1041)。次に、飛行制御部15は、撮影画像取得部13から撮影画像を取得し、撮影画像を目的地画像と照合することにより、撮影画像中の目的地Dの位置を特定する(ステップS1042)。飛行制御部15は、撮影画像中の目的地Dの位置から、UAV1と目的地Dの相対的な位置関係を把握し、これに基づき、UAV1を目的地Dに近づく方向に飛行制御する(ステップS1043)。その後、飛行制御部15は測位部12から取得する位置情報または撮影画像取得部13から取得する撮影画像により、UAV1が目的地に到達したか否かを判断する(ステップS1044)。ステップS1044において、UAV1が目的地に到達していなければ、飛行制御部15の処理はステップS1043に戻り、UAV1が目的地に到達するまでステップS1043の飛行制御を続ける。
実施の形態1のUAV制御装置101は、目的地Dを上空から撮影した画像である目的地画像を取得する目的地画像取得部11と、UAV1に搭載されたカメラ21によるUAV1の下方の撮影画像を取得する撮影画像取得部13と、GNSS信号を用いてUAV1の位置を測定する測位部12と、目的地の近傍の上空に着陸準備ポイントCを設定するポイント設定部14と、UAV1が出発地から着陸準備ポイントまで第1飛行として飛行した後、着陸準備ポイントCから目的地まで第2飛行として飛行するようにUAV1を制御する飛行制御部15と、を備える。飛行制御部15は、第1飛行においては、測位部12が測定したUAV1の位置を利用してUAV1を制御し、第2飛行においては、目的地画像と撮影画像とを照合することにより、撮影画像上の目的地Dを特定し、UAV1と目的地Dとの相対位置を把握し、UAV1の飛行経路を決定する。このようにUAV制御装置101は、着陸準備ポイントC以降は、GNSS信号を用いず目的地画像と撮影画像の照合により飛行経路を決定するため、高精度にUAV1を目的地Dまで飛行制御することができる。
<B.実施の形態2>
<B-1.構成>
図5は、実施の形態2のUAV2の構成を示すブロック図である。UAV2は、実施の形態1のUAV1と比較すると、UAV制御装置101に代えてUAV制御装置102を備えている。UAV制御装置102は、UAV制御装置101の構成に加えて、航空写真記憶部16を備えている。
航空写真記憶部16は、地理的領域を上空から撮影した航空写真群と、航空写真群がカバーする地理的領域の任意の地点が航空写真上のどこに位置するかを示す画像内座標とが格納されている。航空写真群は、少なくともUAV1の目的地をカバーしている。
図6は、航空写真記憶部16に格納されたN行M列の航空写真群を示している。図6では各航空写真Q11-QNMが矩形で示されているが、三角形、円形、ハニカム形状など他の形状であっても良く、撮影画像についても同様である。各航空写真Q11-QNMは、ある特定の高度から真下の方向に撮影された画像である。つまり、例えば航空写真Q11の中心に写っている地点の水平座標が、航空写真Q11の撮影位置の水平座標である。なお、本実施の形態では航空写真について説明するが、目的地Dを判別することが可能な解像度である限り、航空写真に代えて衛星写真が用いられても良い。また、各航空写真Q11-QNMは、異なる撮影高度で撮影された航空写真に対して、特定の撮影高度に変換する処理が施されたものでも良い。また、航空写真記憶部16には同一の地理的範囲について、複数の撮影高度の航空写真が格納されていても良い。この場合、目的地画像取得部11は、複数の撮影高度の航空写真を目的地画像として取得する。そして、飛行制御部15は、撮影画像の撮影高度に近い一つの目的地画像を撮影画像と照合する。
航空写真記憶部16には、航空写真群がカバーする地理的領域の任意の地点の画像内座標が格納されている。従って、目的地画像取得部11は、航空写真群の中から目的地Dが撮影されている航空写真、例えば航空写真QNMを目的地画像Qdesとして取得することが可能である。図7は、目的地画像Qdesを示している。目的地画像Qdesにおいて、中心位置Pnmからやや左上に写っている建物の屋上が目的地Dである。目的地画像Qdesがカバーする地理的座標は、目的地画像Qdesの左上の地点PULの地理的座標PUL(x、y)と、右下の地点PDRの地理的座標PDR(x、y)により表される。また、目的地画像Qdesにおける目的地Dの位置Pdesは、地点PULまたは地点PULのいずれかを原点とするxy座標系により表される。図8は、地点PULを原点とした目的地Dの位置Pdesの画像内座標Pdes(x、y)を表している。ここで、x方向は矩形の目的地画像Qdesの横方向、y方向は縦方向である。これに、目的地Dの高度がz座標として加えられ、目的地Dの画像内座標はD(x,y,z)と表されても良い。
<B-2.動作>
以下、第2区間S2の飛行経路の算出方法を説明する。図9は、UAV1が着陸準備ポイントCに到達したときにカメラ21が撮影したUAV1の真下の撮影画像R1を示している。飛行制御部15は、図7の目的地画像Qdesと図9の撮影画像R1を照合して、撮影画像R1上の目的地Dの位置Pdesを特定する。これにより、飛行制御部15はUAV1と目的地Dの位置関係を把握することが可能である。ここで、説明の簡単化のため、着陸準備ポイントCの水平座標および高度を、目的地画像Qdesの中心位置Pnmおよび撮影高度とそれぞれ同一とする。すなわち、着陸準備ポイントCはPnmの真上に位置する。これにより、目的地画像と撮影画像に対して、後述する撮影高度変換処理と視点変換処理を行わなくても、両画像を照合することが可能になる。このとき、着陸準備ポイントCと目的地Dの位置関係は、図10に示されるものとなり、着陸準備ポイントCから見た目的地Dの方向は、角度(θ,γ)で表される。ここで、角度θは、PdesとPnmを結ぶ線分と、目的地画像Qdesのy方向がなす角である。そして、角度γは、着陸準備ポイントCと中心位置Pnmとを結ぶ線分と、着陸準備ポイントCとPdesが結ぶ線分とがなす角である。角度(θ,γ)は、Pdesおよびの画像内座標と、着陸準備ポイントCの高度から算出される。従って、着陸準備ポイントCに到達したUAV1は、(θ,γ)の方向に降下することによって目的地Dに到達することができる。
以上は、目的地Dの画像内座標を用いた第2区間S2の飛行経路の算出方法である。飛行制御部15は、別の方法で第2区間S2の飛行経路を算出しても良い。例えば、飛行制御部15が図9に示す撮影画像R1上の目的地Dの位置Pdesを特定した後、UAV制御装置102は、Pdesが撮影画像の中心に位置するようにカメラ21の撮影方向を調整する。こうして得られたカメラ21の撮影画像R2を図11に示す。撮影画像R2では、Pdesが中心に位置している。このときのカメラ21の撮影方向の変化方向が、UAV1から目的地Dを見る方向であるため、当該方向にUAV1を降下させるように、飛行制御部15は駆動部23を制御すれば良い。
<B-3.変形例>
図12は、実施の形態2の第1の変形例のUAV2Aの構成を示すブロック図である。UAV2Aは、UAV2と比較すると、UAV制御装置102に代えてUAV制御装置102Aを備えている。UAV制御装置102Aは、飛行制御部15に画像変換部151を備えている。
画像変換部151は、必要に応じ画像変換処理を行い、両画像の撮影高度または視点を統一する。すなわち、画像変換部151の行う画像変換処理は、視点変換処理と撮影高度変換処理を含む。画像変換部151は、目的地画像に対して視点変換処理を行い、目的地画像と撮影画像の一方または両方に対して撮影高度変換処理を行う。
まず、視点変換処理について説明する。図10では、着陸準備ポイントCと目的地画像Qdesの中心位置Pnmとの間で水平位置座標(XY座標)が同一の場合について説明したが、これらは異なっていても良い。しかし、その場合には目的地画像Qdesと着陸準備ポイントCにおける撮影画像とで建物等の見え方が異なるため、飛行制御部15で画像照合をする前に両画像の視点を統一することが望ましい。この視点変換処理は、同一の地理的範囲について撮影方向の異なる複数の航空写真が航空写真記憶部16に格納されていることが前提となる。目的地画像取得部11は、目的地を含む地理的範囲について撮影方向の異なる複数の航空写真を目的地画像として取得し、飛行制御部15に出力する。飛行制御部15では、画像変換部151が複数の目的地画像を用いて、目的地画像の視点を撮影画像の視点に合わせる視点変換処理、すなわち目的地画像の撮影位置の水平座標を撮影画像の撮影位置の水平座標に一致させる処理を行う。飛行制御部15は、視点変換後の目的地画像を撮影画像と照合することで、容易に照合を行うことができる。
次に、撮影高度変換処理について説明する。図10では、着陸準備ポイントCの高度が目的地画像Qdesの撮影高度と同一の場合について説明したが、これらは異なっていても良い。しかし、その場合には目的地画像Qdesと着陸準備ポイントCにおける撮影画像とで建物等の見え方が異なるため、飛行制御部15で画像照合をする前に両画像の撮影高度を統一する処理を行うことが望ましい。このとき、画像変換部151は、目的地画像Qdesと撮影画像の一方に対して、他方の撮影高度に合わせる高度変換処理を行っても良いし、両方に対して、いずれの画像とも異なる撮影高度に合わせる高度変換処理を行っても良い。飛行制御部15は、撮影高度を統一する処理が行われた撮影画像と目的地画像を照合することにより、容易に照合を行うことができる。
また、飛行制御部15は、目的地画像Qdesと撮影画像を照合する際、全領域を一度に照合するのではなく、両画像を複数の領域に分割し、領域ごとに照合しても良い。例えば、目的地画像Qdesと撮影画像をそれぞれ3行3列の9個の矩形の領域に分割し、目的地画像Qdesのうち目的地Dの位置Pdesを含む領域と、撮影画像の1つの領域とを照合する。なお、この照合の前に画像変換部151は、必要に応じて上記の視点変換処理および撮影高度変換処理を行う。着陸準備ポイントCが目的地Dの真上に設定されている場合、撮影画像の中心に目的地Dが写っている可能性が高いため、1回目は撮影画像の中心の領域を照合することが望ましい。1回目の照合で、撮影画像の中心の領域に目的地Dが写っていない場合、飛行制御部15は、撮影画像の別の領域を照合に用いる。
飛行制御部15は、撮影画像中に目的地Dを特定できるまで撮影画像の各分割領域を順番に、目的地画像Qdesのうち目的地Dの位置Pdesを含む領域と照合する。以上の方法によれば、照合回数が増えるが、画像変換部151が必ずしも撮影画像の全ての領域について画像変換処理を行わなくても良いため、画像変換処理の負荷が削減される。
画像変換部151は、目的地画像Qdesに対する画像変換処理を、UAV1が着陸準備ポイントCに着いてから行っても良いし、着陸準備ポイントCが設定された後、UAV1が着陸準備ポイントCに到達するまでの間の任意のタイミングで行っても良い。後者の場合、UAV1が着陸準備ポイントCに到着してからリアルタイムでUAV制御装置102が行う処理量を削減できるため、CPUまたはGPUの処理負荷を低減できる。
図10では、着陸準備ポイントCが目的地画像Qdesの中心位置Pnmの真上に設定されているが、目的地Dの真上に設定されても良い。そうすれば、撮影画像R1に目的地Dが写りやすいため、画像照合が容易となる。
図13は、実施の形態2の第2の変形例のUAV2Bの構成を示すブロック図である。UAV2Bは、カメラ21、GNSS受信機22、駆動部23、バッテリー24、通信部25およびUAV制御装置102Bを備え、通信部25によりサーバ31と接続されている。UAV制御装置102Bは、第1の変形例のUAV制御装置102Aから、航空写真記憶部16と画像変換部151を除外したものである。その代わりに、サーバ31が航空写真記憶部311と画像変換部312を備えている。
第2の変形例では、UAV2Bが着陸準備ポイントCに到達すると、撮影画像取得部13から撮影画像が通信部25を介してサーバ31に送信される。サーバ31では、航空写真記憶部311に図6等で説明した航空写真群が格納されており、画像変換部312が航空写真記憶部311から目的地Dを含む航空写真を目的地画像として選択する。さらに画像変換部312は、選択した目的地画像に、その撮影高度と視点を着陸準備ポイントCにおける撮影画像に合わせる画像変換処理を行う。画像変換部312で画像変換処理が行われた目的地画像は、通信部25を介して目的地画像取得部11に取得される。
UAV制御装置102Aは、着陸準備ポイントCにおける撮影画像に代えて、着陸準備ポイントが定まった時点で、着陸準備ポイントの高度と水平座標をサーバ31に送信しても良い。サーバ31は、着陸準備ポイントCの高度と水平座標が分かれば、それに合せて目的地画像に画像変換処理を行うことができる。
第2の変形例によれば、目的地画像と撮影画像の間で撮影高度と視点を統一するための画像変換処理がサーバ31で行われるため、UAV制御装置102Bでは画像変換処理を行う必要がない。さらに、サーバ31に航空写真群が記憶されているため、UAV制御装置102Bでは航空写真群を記憶しておく必要がない。従って、サーバ31との通信処理が発生するものの、UAV制御装置102Bの構成を簡素化することが可能である。また、UAV2Bが着陸準備ポイントCに正確に到達できなかった場合、またはUAV2Bの飛行中に着陸準備ポイントCが変更された場合にも対応することが可能である。
図6,7では、航空写真群から1枚の航空写真を選択して目的地画像とすることについて説明した。しかし、目的地画像は複数枚の航空写真から作成されても良い。図14は、隣り合う2枚の航空写真の境界に目的地Dが位置する場合を示している。目的地画像取得部11は、当該2枚の航空写真を合成し、合成写真を1枚の航空写真のサイズに切り取ったものを目的地画像Qdesとしても良い。図15は、1枚の航空写真内に目的地Dが位置する場合を示している。この場合でも目的地画像取得部11は、目的地Dを含む航空写真とそれに隣接する1枚又は複数枚の航空写真を合成し、合成写真を1枚の航空写真のサイズに切り取ったものを目的地画像Qdesとしても良い。このように目的地画像取得部11は、複数枚の航空写真の合成写真から目的地画像を作成することにより、図15に示すように目的地Dを目的地画像Qdesの中心にすることが可能である。この場合、目的地Dの真上に着陸準備ポイントCが設定されれば、目的地画像Qdesと撮影画像の両方において、それらの中心に目的地Dが含まれ、両画像の照合処理が容易になる。
図7,9,11において、目的地画像Qdesの撮影範囲は撮影画像R1,R2の撮影範囲より小さい。しかし、目的地画像Qdesの撮影範囲は撮影画像R1,R2の撮影範囲より大きくても良い。撮影範囲が小さくても、目的地画像Qdesには目的地が含まれているため、目的地画像Qdesと撮影画像の画像照合により撮影画像上の目的地の位置を特定することが可能である。そして、目的地画像Qdesの撮影範囲が小さい程、画像照合に要する処理負荷が軽減される。
出発地Aから着陸準備ポイントCまでの第1区間S1の飛行は、出発地Aから特定の巡航高度まで上昇する初期飛行と、その後、巡航高度を保ちながら着陸準備ポイントCまで飛行する巡航飛行とで構成されても良い。巡航飛行において巡航高度を保つことにより、無駄なエネルギーの消費が抑えられる。なお、巡航高度は着陸準備ポイントCの高度である着陸準備高度と同一であっても良い。巡航高度を着陸準備ポイントCの高度以外の特定の高度とする場合、巡航高度の情報は航空写真記憶部16に格納されていても良い。
図6では航空写真群について説明したが、航空写真に代えて地上物の3次元データが用いられても良い。3次元データは、同一の地理的範囲を複数の方向から撮影することにより得られる。3次元データを目的地画像とすることにより、視点変換処理を容易に行うことが可能である。
図10では、着陸準備ポイントCが目的地画像Qdesの中心位置Pnmの真上に位置している。しかし、ポイント設定部14は他の場所に着陸準備ポイントCを設定しても良い。例えば図16に示すように、ポイント設定部14は、目的地画像Qdesの撮影位置Eと目的地Dとを結ぶ線分上の一点に着陸準備ポイントCを設定しても良い。このとき、撮影位置Eから目的地Dを撮影する方向と、着陸準備ポイントCから目的地Dを撮影する方向が等しい。そのため、目的地画像Qdesと着陸準備ポイントCにおける撮影画像との間で目的地Dの写り方に差異が少なくなる。そして、飛行制御部15が画像照合を行う際に、視点変換処理または高度変換処理が不要になるか、あるいは変換処理にかかる負荷を軽減することができる。
図4のフローで飛行制御部15は、UAV1が着陸準備ポイントCに到達したときに画像照合を1回きり行い、第2区間S2の飛行経路を決定した。しかし、飛行制御部15は、第2区間S2の飛行経路を決定した後、UAVが第2区間S2を飛行中に画像照合を複数回行い、画像照合結果に基づき飛行経路を更新しても良い。飛行経路の更新を行う場合のフローチャートを図17に示す。図17のフローチャートは、図4のフローチャートにおいて、ステップS1044でNOの場合の戻り先をステップS1043からステップS1041に変更したものである。図17のフローにおいて、ステップS1044は、飛行制御部15がUAVが目的地に到達したか否かを判断するステップであるが、本ステップを行うタイミングは、UAVが所定高度に達したタイミングでも良いし、所定時間毎でも良い。所定高度毎にステップS1044を行う場合、目的地画像取得部11は、UAV制御装置102,102Aにおいては、所定高度毎の目的地画像を予め航空写真記憶部16から取得しても良いし、UAV制御装置102Bにおいては、所定高度毎の目的地画像を通信部25を介してサーバ31から取得しても良い。
第2の変形例では、撮影画像取得部13が、通信部25を介してサーバ31に着陸準備ポイントCにおける撮影画像を送信する。撮影画像取得部13は、着陸準備ポイントCに限らず、着陸準備ポイントCから目的地Dに到達するまでの任意のタイミングで撮影された撮影画像を、通信部25を介してサーバ31に送信しても良い。これらの撮影画像は、目的地Dの近傍を上空から撮影した画像であるため、航空写真群としてサーバ31の航空写真記憶部311に格納しても良い。また、撮影画像取得部13は、サーバ31に送信する撮影画像に、撮影時の時刻、天候、照度、太陽の方向などの撮影条件の情報を付加しても良い。そして、航空写真記憶部311は、撮影条件別に航空写真を格納しても良い。これにより、目的地画像取得部11は、着陸準備ポイントCにおいてカメラ21がUAVの下方を撮影する際の撮影条件に近い撮影条件の航空写真を目的地画像として取得することが可能となる。例えば太陽の方向が異なれば建物の影の方向等も異なるが、撮影画像と撮影条件の近い目的地画像を用意することにより、画像照合を容易に行うことができる。また、夜間に撮影された画像の場合は、建物の窓明かり等の固定照明と、ネオンサインまたはサーチライト等の移動照明による画像の差異が生じるため、サーバ31は、撮影画像から照明が写っている領域を除外する修正を加えた上で、航空写真記憶部311に航空写真として格納しても良い。あるいは、サーバ31は、移動照明の移動パターンまたは変化パターンをメタデータとして航空写真に付加しても良い。
<C.実施の形態3>
<C-1.構成>
図18は、実施の形態3のUAV3の構成を示すブロック図である。UAV3は、実施の形態2のUAV2と比較すると、UAV制御装置102に代えてUAV制御装置103を備えている。UAV制御装置103は、飛行制御部15に正射変換部152を備える点がUAV制御装置102と異なる。
実施の形態1,2において、目的地画像は航空カメラで撮影された航空写真であるため、図7に示すように対象物が中心投影された画像である。従って、画像に写る対象物が地面から高いほど、また、画像の中心から周縁部に向かうほど、画像上の像に位置ずれが生じてしまう。
そこで、実施の形態3では、航空写真記憶部16に格納される航空写真をオルソ画像とし、オルソ画像を目的地画像とする。オルソ画像とは、通常の航空写真を正射変換することにより得られるもので、画像上の像の位置ずれを解消し、地図と同じく真上から見たような傾きの無い、像が正しい大きさと位置に表示される画像である。
図19に、図7に示す目的地画像が正射変換して得られたオルソ画像を示す。目的地画像取得部11は、このようなオルソ画像を目的地画像として航空写真記憶部16から取得する。飛行制御部15は、目的地画像取得部11からオルソ画像である目的地画像を取得し、撮影画像取得部13から着陸準備ポイントCにおけるカメラ21の撮影画像を取得する。正射変換部152は、撮影画像を正射変換してオルソ画像にする。飛行制御部15は、オルソ画像に変換された撮影画像を目的地画像と照合し、撮影画像上の目的地の位置を特定する。
実施の形態3では、画像照合される撮影画像と目的地画像がいずれもオルソ画像であるため、両画像の撮影方向が異なっている場合でも正確に画像照合を行うことが可能である。従って、飛行制御部15において、両画像の視点を統一する画像変換処理を行う必要はない。
なお、撮影画像はオルソ画像に変換されることから、カメラ21の撮影方向はUAV3の真下であることが望ましい。
上記では、撮影画像を正射変換することについて説明した。しかし、撮影画像の周縁部において位置ずれが気にならない程度に撮影画像の撮影範囲が小さい場合には、正射変換部152は撮影画像の正射変換を行わなくても良い。この場合、飛行制御部15は撮影画像をそのまま目的地画像と照合することにより、処理負荷を軽減することができる。
<D.実施の形態4>
<D-1.構成>
図20は、実施の形態4に係るUAV4の構成を示すブロック図である。UAV4は、実施の形態3のUAV3の構成と比較すると、UAV制御装置103に代えてUAV制御装置104を備えている。UAV制御装置104は、飛行制御部15が正射変換部152の他にマスク処理部153を備える点がUAV制御装置103と異なる。
<D-2.動作>
飛行制御部15は、目的地画像と撮影画像を照合する。目的地画像の撮影範囲のうち、道路、線路、水路には移動体が走行している。移動体の位置は時間と共に変化するため、目的地画像と撮影画像の照合において、道路等、移動体が走行する範囲はノイズ成分となる。
そこで、実施の形態4では、マスク処理部153により、目的地画像に対して、移動体が走行する範囲を一定のパターンでマスクするマスク処理を施す。このときマスク処理部153は、道路地図を基にマスクする領域を決定しても良い。そして、飛行制御部15は、マスク処理部153でマスク処理が施された目的地画像を撮影画像と照合し、撮影画像上の目的地の位置を特定する。これ以外のUAV制御装置104の動作は、実施の形態3のUAV制御装置103と同様である。
図21は、マスク処理が行われた目的地画像Qdesを示している。目的地画像Qdesにおいて、道路等、移動体が走行している領域がマスク領域Rmとしてマスクされている。なお、マスク処理部153は、目的地画像と同様に撮影画像にもマスク処理を施しても良い。
マスク処理部153がマスクする領域は、移動体が走行する道路等の他、イルミネーションが行われている領域、移動照明などで撮影画像が変化する領域等を含んでも良い。
<E.実施の形態5>
<E-1.構成>
図22は、実施の形態5のUAV5の構成を示すブロック図である。UAV5は、カメラ21、GNSS受信機22、駆動部23、バッテリー24、通信部26およびUAV制御装置105を備えている。UAV制御装置105は、実施の形態1のUAV制御装置101と同様の構成である。実施の形態1-4において、目的地は建物の屋上などの地物であり、目的地画像は、図7に示したように目的地を含む地理的範囲を上空から撮影した画像であった。これに対して実施の形態5では、目的地は停止または走行する移動体であり、UAV制御装置105は、UAV5を移動体に着陸させるまでの飛行制御を行う。以下、UAV5の目的地となる移動体を目的移動体と称する。本実施の形態は、例えばUAV5による移動体への荷物の配送、またはUAV5の移動体での充電などの用途に利用することが可能である。
図23は、目的移動体を上方から撮影した画像である目的移動体画像DVPを示している。実施の形態5において目的地画像取得部11は、図23の目的移動体画像DVPを、目的地画像として取得する。
測位部12は、他の実施の形態と同様、GNSS信号に基づきUAV5の現在位置を測定する。
通信部26は、目的移動体と通信を行い、目的移動体の現在位置と今後の走行予定経路を取得してポイント設定部14に出力する。ポイント設定部14は、通信部26から目的移動体の現在位置と走行経路を取得し、これらに基づき、目的移動体の将来の位置を推定する。また、ポイント設定部14は測位部12からUAV5の現在位置を取得し、UAV5が目的移動体の近傍の上空に到達可能なポイントを着陸準備ポイントCに設定する。着陸準備ポイントCでカメラ21がUAV5の真下を撮影した際、撮影画像に目的移動体が含まれることが望ましい。従って、本実施の形態では、カメラ21がUAV5の真下を撮影した際、撮影画像に目的移動体が含まれる範囲を、「目的地移動体の近傍の上空」と定義する。
図24は、出発地Aと目的移動体DVと着陸準備ポイントCの関係を示している。図24において、出発地Aから着陸準備ポイントCまでの飛行区間が第1区間S1であり、着陸準備ポイントCから目的移動体DVに着陸するまでの飛行区間が第2区間S2(図24に図示せず)である。
飛行制御部15は、第1区間S1においては、他の実施の形態と同様、測位部12が測定したUAV5の位置情報に基づきUAV5を着陸準備ポイントCまで飛行制御する。また、飛行制御部15は、第2区間S2においては、他の実施の形態と同様、目的地画像と撮影画像とを照合することによりUAV5と目的地との相対的な位置関係を把握し、飛行経路を決定する。
<E-2.動作>
図25は、飛行制御部15によるUAV5の飛行制御処理を示すフローチャートである。図26は、図25のステップS509の詳細な処理を示すフローチャートであり、第2区間の飛行制御に関するフローチャートである。以下、図25および図26に沿って飛行制御部15の動作を説明する。
図25のフローは、例えばUAV制御装置105に目的移動体の情報が入力されたタイミングで開始する。まず、通信部26は、目的移動体の現在位置と今後の走行予定経路を含む走行状況を取得し(ステップS501)、これをポイント設定部14に出力する。ポイント設定部14は、目的移動体の走行状況と、測位部12から取得したUAV5の現在位置に基づき、着陸準備ポイントCを設定する(ステップS502)。
次に、飛行制御部15がUAV5の現在位置を出発地Aとし、出発地Aから着陸準備ポイントCまでの第1区間S1の飛行経路を決定する(ステップS503)。第1区間S1の飛行経路の決定処理は実施の形態1-4と同様である。そして、目的地画像取得部11が目的移動体画像を取得する(ステップS504)。
次に、飛行制御部15は、UAV5を出発地Aから着陸準備ポイントCまでステップS503で決定した飛行経路に沿って飛行するよう駆動部23を制御する(ステップS505)。これが、第1区間S1の飛行制御である。UAV5が第1区間S1を飛行中、通信部26は一定周期など随時に目的移動体と通信を行い、目的移動体の最新の走行状況を取得し、ポイント設定部14に出力する(ステップS506)。ポイント設定部14は、目的移動体の走行状況に変化があるか否かを判断し(ステップS507)、変化があれば最新の走行状況に基づき着陸準備ポイントCの設定をやり直す(ステップS502)。例えば、渋滞が発生したため、目的移動体が走行予定経路を変更した場合、または目的移動体の走行速度が当初の予定よりも早い場合などに、ポイント設定部14は着陸準備ポイントCを更新する。
目的移動体の走行状況に変化がなければ、UAV制御装置105の処理はステップS508に移行する。飛行制御部15は、測位部12からUAV5の現在位置を取得しており、これに基づきUAV5が着陸準備ポイントCに到達したか否かを判断する(ステップS508)。そして、飛行制御部15はUAV5が着陸準備ポイントCに到達するまで第1区間S1の飛行制御を継続する(ステップS505)。UAV5が着陸準備ポイントCに到達すれば、続いて飛行制御部15は第2区間の飛行制御を行う(ステップS509)。
第2区間の飛行制御では、まずカメラ21がUAV5の下方を撮影し、撮影画像取得部13が撮影画像を取得する(ステップS5091)。次に、飛行制御部15は、撮影画像取得部13から撮影画像を取得し、撮影画像を目的移動体画像と照合することにより、撮影画像中の目的移動体の位置を特定する(ステップS5092)。なお、図27に示すように撮影画像中に目的移動体が写っていない場合、飛行制御部15は目的移動体が写るまでカメラ21の撮影方向を調整し、図28または図29に示すように別の範囲を撮影させる。このとき、目的移動体の走行経路が既知であるため、飛行制御部15は当該経路に沿ってカメラ21の撮影方向を変化させると良い。
なお、撮影画像中に目的移動体画像と一致する目的移動体が複数写っている場合、飛行制御部15は目的移動体の周辺情報を考慮することにより、目的移動体の撮影画像中の位置を特定することができる。目的移動体の周辺情報とは、例えば目的移動体に搭載されたカメラによる目的移動体の周辺の画像を含む。飛行制御部15は、通信部26を介して目的移動体の周辺情報として、例えば目的移動体の前方を走行している移動体の画像、または目的移動体の周辺にある建物の画像を取得する。そして、飛行制御部15はこれらの周辺情報を考慮して撮影画像中と目的移動体画像を照合することにより、目的移動体の撮影画像中の位置を特定する。
飛行制御部15は、撮影画像中に目的移動体の位置を特定すると、目的移動体が撮影画像の中心に位置するようにカメラ21の撮影方向を調整させる(ステップS5093)。このときのカメラ21の撮影方向がUAV5から目的移動体を見た方向となるため、飛行制御部15は当該方向に向かってUAV5を飛行制御する(ステップS5094)。但し、UAV5がステップS5093時点の目的移動体の位置に向かって飛行しても、目的移動体が移動している場合には目的移動体に到達できない。そのため、飛行制御部15は、ステップS5093時点のカメラ21の撮影方向に、目的移動体の移動方向による補正を加えて、UAV5の飛行経路を決定しても良い。
飛行制御部15は、測位部12から取得する位置情報または撮影画像取得部13から取得する撮影画像により、UAV5が目的移動体に着陸したか否かを判断する(ステップS5095)。ステップS5095において、UAV5が目的地に到達していなければ、飛行制御部15の処理はステップS5091に戻り、UAV5が目的地に到達するまで飛行制御を続ける。
なお、UAV5が目的地移動体の付近まで降下した場合、飛行制御部15はUAV5が目的移動体と同一速度で移動するようにUAV5を飛行制御しても良い。これにより、撮影画像と目的移動体画像との照合が容易になる。この際、撮影画像において目的移動体以外の領域は時間と共に変化するため、飛行制御部15は実施の形態4のように当該領域にマスク処理を行っても良い。
<E-3.変形例>
図30は、実施の形態5の変形例のUAV5Aの構成を示すブロック図である。UAV5Aは、UAV5の構成と比較すると、UAV制御装置105に代えてUAV制御装置105Aを備えている。UAV制御装置105Aは、UAV制御装置105の構成に加えて航空写真記憶部16を備えている。航空写真記憶部16には、実施の形態2と同様、特定の地理的領域を上空から撮影した航空写真群と、航空写真群がカバーする地理的領域の任意の地点が航空写真上のどこに位置するかを示す画像内座標とが格納されている。航空写真群は、少なくとも目的移動体の走行予定経路をカバーすることが望ましい。
図31は、UAV制御装置105Aによる第2区間の飛行制御を示すフローチャートである。図31のフローは、図25のステップS509の詳細なフローを示すものであり、図26のステップS5093に代えてステップS5093Aを設けたものである。UAV制御装置105Aにおいて、飛行制御部15は、撮影画像を目的移動体画像と照合して撮影画像中の目的移動体の位置を特定する(ステップS5092)。その後、目的地画像取得部11は、航空写真記憶部16から着陸準備ポイントCと同一の水平座標の地点を撮影範囲に含む航空写真を取得し、飛行制御部15に出力する。飛行制御部15は、撮影画像を航空写真と照合することにより、UAV5と目的移動体の位置関係を把握する(ステップS5093A)。例えば、撮影画像がUAV5の真下の撮影画像である場合、撮影画像の中心位置がUAV5の水平座標に一致する。従って、飛行制御部15は、航空写真上で、撮影画像の中心位置に対応する位置と、目的移動体の位置に対応する位置を特定することにより、UAV5と目的移動体の水平方向の相対的位置を把握することができる。これに、着陸準備ポイントCの高度を加味することによって、飛行制御部15はUAV5と目的移動体の3次元の相対的位置を把握し、UAV5を目的移動体へ近づけるように第2区間の飛行経路を決定することができる。
なお、飛行制御部15は撮影画像を航空写真と照合する際、航空写真に目的移動体画像を重畳させておいても良い。飛行制御部15は、通信部26から目的移動体の位置情報を取得することが出来るため、図32に示すように、目的移動体の現在位置に対応する航空写真の位置に、目的移動体画像DVPを重畳することが可能である。そして、飛行制御部15は、目的移動体画像DVPが重畳された航空写真と撮影画像とを照合する。この場合、飛行制御部15は、目的移動体だけでなくその周辺の地物を合せて照合することにより、容易に画像照合を行うことができる。
<F.ハードウェア構成>
上述したUAV制御装置101,102,102A,102B,103,104,105,105Aにおける、目的地画像取得部11、測位部12、撮影画像取得部13、ポイント設定部14、飛行制御部15および航空写真記憶部16は、図33に示す処理回路61により実現される。すなわち、処理回路61は、目的地画像取得部11、測位部12、撮影画像取得部13、ポイント設定部14、飛行制御部15および航空写真記憶部16(以下、「目的地画像取得部11等」と称する)を備える。処理回路61には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)等である。
処理回路61が専用のハードウェアである場合、処理回路61は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものが該当する。目的地画像取得部11等の各部の機能それぞれは、複数の処理回路61で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
処理回路61がプロセッサである場合、目的地画像取得部11等の機能は、ソフトウェア等(ソフトウェア、ファームウェアまたはソフトウェアとファームウェア)との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図34に示すように、処理回路61に適用されるプロセッサ62は、メモリ63に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、UAV制御装置101は、目的地を上空から撮影した画像である目的地画像を取得するステップと、UAVに搭載されたカメラによるUAVの下方の撮影画像を取得するステップと、GNSS信号を用いてUAVの位置を測定するステップと、目的地の近傍の上空に着陸準備ポイントを設定するステップと、UAVを出発地から着陸準備ポイントまで飛行させた後、着陸準備ポイントから目的地まで第2飛行として飛行するようにUAVを飛行制御するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ63を備える。
換言すれば、このプログラムは、目的地画像取得部11等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ63には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disk)及びそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
以上、目的地画像取得部11等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、目的地画像取得部11等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、目的地画像取得部11については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ62としての処理回路61がメモリ63に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
以上のように、処理回路は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。なお、航空写真記憶部16は、メモリ63から構成されるが、それらは単一のメモリ63から構成されてもよいし、それぞれが個別のメモリから構成されてもよい。
UAV制御装置は、UAVに搭載される装置だけでなく、PND(Portable Navigation Device)、通信端末(例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末)、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどを適宜に組み合わせてシステムとして構築されるシステムにも適用することができる。この場合、以上で説明したUAV制御装置の各機能または各構成要素は、システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。その一例として図35には、UAV1とサーバ40によるUAV制御装置101の構成例を示している。この例では、目的地画像取得部11、撮影画像取得部13、ポイント設定部14および飛行制御部15がサーバ40に配置され、測位部12がUAV1に配置されている。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。この発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
1,2,2A,2B,3,4,5,5A UAV、11 目的地画像取得部、12 測位部、13 撮影画像取得部、14 ポイント設定部、15 飛行制御部、16 航空写真記憶部、21 カメラ、22 GNSS受信機、23 駆動部、24 バッテリー、25,26 通信部、31,40 サーバ、61 処理回路、62 プロセッサ、63 メモリ、101,102,102A,102B,103,104,105,105A UAV制御装置、151 画像変換部、152 正射変換部、153 マスク処理部、311 航空写真記憶部、312 画像変換部。

Claims (18)

  1. 目的地を上空から撮影した画像である目的地画像と、前記目的地が前記目的地画像内のどこに位置するかを示す前記目的地の画像内座標とを取得する目的地画像取得部と、
    UAVに搭載されたカメラによる前記UAVの下方の撮影画像を取得する撮影画像取得部と、
    GNSS信号を用いて前記UAVの位置を測定する測位部と、
    前記目的地の近傍の上空に着陸準備ポイントを設定するポイント設定部と、
    前記UAVが出発地から前記着陸準備ポイントまで第1飛行として飛行した後、前記着陸準備ポイントから前記目的地まで第2飛行として飛行するように前記UAVを制御する飛行制御部と、を備え、
    記飛行制御部は、
    前記第1飛行においては、前記測位部が測定した前記UAVの位置を利用して前記UAVを制御し、
    前記第2飛行においては、前記目的地の画像内座標に基づき前記目的地画像と前記撮影画像とを照合することにより、前記撮影画像上の前記目的地を特定し、前記UAVと前記目的地との相対位置を把握し、前記UAVの飛行経路を決定する、
    UAV制御装置。
  2. 前記飛行制御部は、前記目的地画像と前記撮影画像で撮影高度が異なる場合、前記目的地画像と前記撮影画像の一方または両方に撮影高度を変換する画像変換処理を行って、前記目的地画像と前記撮影画像で撮影高度を一致させたうえで両者を照合する、
    請求項1に記載のUAV制御装置。
  3. 前記飛行制御部は、前記目的地画像の撮影高度を前記着陸準備ポイントの高度とする、
    請求項1に記載のUAV制御装置。
  4. 前記飛行制御部は、前記目的地画像の中心位置の真上に前記着陸準備ポイントを設定する、
    請求項1に記載のUAV制御装置。
  5. 前記飛行制御部は、前記目的地画像と前記撮影画像で撮影位置の水平座標が異なる場合、前記目的地画像に撮影位置の水平座標を変換する画像変換処理を行って、前記目的地画像と前記撮影画像で撮影位置の水平座標を一致させたうえで、両者を照合する、
    請求項1に記載のUAV制御装置。
  6. 前記UAV制御装置の外部のサーバに前記着陸準備ポイントの高度を送信し、
    前記目的地画像取得部は、前記着陸準備ポイントの高度にあわせて撮影高度を変換する画像変換処理が行われた前記目的地画像を前記サーバから取得する、
    請求項1に記載のUAV制御装置。
  7. 前記飛行制御部は、前記UAV制御装置の外部のサーバに前記着陸準備ポイントの水平座標を送信し、
    前記目的地画像取得部は、前記着陸準備ポイントの水平座標にあわせて撮影位置の水平座標を変換する画像変換処理が行われた前記目的地画像を前記サーバから取得する、
    請求項1に記載のUAV制御装置。
  8. 前記第1飛行は、前記出発地から前記着陸準備ポイントの高度である着陸準備高度まで上昇する初期飛行と、前記初期飛行の後、前記着陸準備高度を保って前記着陸準備ポイントまで飛行する巡航飛行とを含む、
    請求項1に記載のUAV制御装置。
  9. 前記飛行制御部は、前記目的地と前記目的地画像の撮影位置とを結ぶ線分上に前記着陸準備ポイントを設定する、
    請求項1に記載のUAV制御装置。
  10. 前記飛行制御部は、前記第2飛行における複数の地点で、前記目的地画像と前記撮影画像とを照合して、前記撮影画像上の前記目的地を特定することにより、前記UAVの飛行経路を更新する、
    請求項1に記載のUAV制御装置。
  11. 前記目的地画像取得部は、撮影高度が異なる複数の目的地画像と、複数の前記目的地画像における前記目的地の座標とを取得し、
    前記飛行制御部は、前記撮影画像の撮影高度に応じて選択した一つの前記目的地画像を前記撮影画像と照合する、
    請求項1に記載のUAV制御装置。
  12. 前記目的地画像はオルソ画像である、
    請求項1に記載のUAV制御装置。
  13. 前記飛行制御部は、前記撮影画像を正射変換した上で前記目的地画像と照合する、
    請求項12に記載のUAV制御装置。
  14. 前記飛行制御部は、前記目的地画像と前記撮影画像に対して、道路、線路または水路の少なくともいずれか一つをマスクした上で、前記目的地画像と前記撮影画像とを照合する、
    請求項1に記載のUAV制御装置。
  15. 前記目的地は、停止または走行する移動体であり、
    前記飛行制御部は、移動体の現在位置と走行経路から前記移動体の将来の位置を推定し、推定結果と前記UAVの位置に基づき前記UAVが前記移動体の上方に到達可能なポイントを前記着陸準備ポイントとする、
    請求項1に記載のUAV制御装置。
  16. 前記目的地画像取得部は、複数の地点を撮影した複数の画像から、前記目的地が撮影された1枚の画像を前記目的地画像として取得する、
    請求項1に記載のUAV制御装置。
  17. 前記目的地画像取得部は、複数の地点を撮影した複数の画像から、前記目的地が撮影された1枚の画像と、前記目的地が撮影された1枚の画像に撮影範囲が隣接する少なくとも1枚の画像とを合成することにより、前記目的地画像を取得する、
    請求項1に記載のUAV制御装置。
  18. 目的地を上空から撮影した画像である目的地画像と、前記目的地が前記目的地画像内のどこに位置するかを示す前記目的地の画像内座標とを取得し、
    UAVに搭載されたカメラによる前記UAVの下方の撮影画像を取得し、
    GNSS信号を用いて前記UAVの位置を測定し、
    前記目的地の近傍の上空に着陸準備ポイントを設定し、
    前記UAVが出発地から前記着陸準備ポイントまで第1飛行として飛行した後、前記着陸準備ポイントから前記目的地まで第2飛行として飛行するように前記UAVを飛行制御し、
    記飛行制御は、
    前記第1飛行においては、前記GNSS信号を用いて測定された前記UAVの位置を利用して前記UAVを制御し、
    前記第2飛行においては、前記目的地の画像内座標に基づき前記目的地画像と前記撮影画像とを照合して、前記撮影画像上の前記目的地を特定することにより、前記UAVの飛行経路を決定する、
    UAV制御方法。
JP2020529942A 2018-07-13 2018-07-13 Uav制御装置およびuav制御方法 Active JP7042911B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/026468 WO2020012632A1 (ja) 2018-07-13 2018-07-13 Uav制御装置およびuav制御方法

Publications (2)

Publication Number Publication Date
JPWO2020012632A1 JPWO2020012632A1 (ja) 2021-02-25
JP7042911B2 true JP7042911B2 (ja) 2022-03-28

Family

ID=69141343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020529942A Active JP7042911B2 (ja) 2018-07-13 2018-07-13 Uav制御装置およびuav制御方法

Country Status (2)

Country Link
JP (1) JP7042911B2 (ja)
WO (1) WO2020012632A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253284A (zh) * 2021-12-22 2022-03-29 湖北襄开电力设备有限公司 无人机自动控制方法、装置、设备及存储介质
CN114415736B (zh) * 2022-04-01 2022-07-12 之江实验室 一种无人机多阶段视觉精准降落方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130329061A1 (en) 2012-06-06 2013-12-12 Samsung Electronics Co. Ltd. Method and apparatus for storing image data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5690539B2 (ja) * 2010-09-28 2015-03-25 株式会社トプコン 自動離着陸システム
JP2017056903A (ja) * 2015-09-18 2017-03-23 アイシン・エィ・ダブリュ株式会社 無人飛行体の制御システム、制御方法及び制御プログラム
JP2018084955A (ja) * 2016-11-24 2018-05-31 株式会社小糸製作所 無人航空機

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130329061A1 (en) 2012-06-06 2013-12-12 Samsung Electronics Co. Ltd. Method and apparatus for storing image data

Also Published As

Publication number Publication date
JPWO2020012632A1 (ja) 2021-02-25
WO2020012632A1 (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
CN107251055B (zh) 走廊捕获
US9336568B2 (en) Unmanned aerial vehicle image processing system and method
KR101329583B1 (ko) 회전익 구조체를 이용한 공중관측 지형자료 구축 방법 및 그 시스템
US8717361B2 (en) Method for generating orthophoto image
KR102018892B1 (ko) 무인기의 착륙 제어 방법 및 장치
US11756158B2 (en) Information processing device, information processing method, information processing program, image processing device, and image processing system for associating position information with captured images
CN103134475A (zh) 航空摄影图像拾取方法和航空摄影图像拾取设备
JP2012242321A (ja) 航空写真撮像方法及び航空写真撮像装置
JP7042911B2 (ja) Uav制御装置およびuav制御方法
US20220234753A1 (en) An Aerial Imaging System and Method
CN113848541B (zh) 一种标定的方法、装置、无人机及计算机可读存储介质
CN113875222A (zh) 拍摄控制方法和装置、无人机及计算机可读存储介质
RU2798604C1 (ru) Бпла и способ выполнения аэрофотосъемки
RU2796697C1 (ru) Устройство и способ для формирования ортофотоплана
JP2022102366A (ja) データ記録方法、データ処理方法および基準点
KR20150006752A (ko) 회전익 구조체를 이용한 공중관측 지형자료 구축 방법 및 그 시스템
KR102599649B1 (ko) 다수의 무인 비행체를 이용한 공간분할 방식의 위치정보제공 시스템 및 방법
KR102514846B1 (ko) 항공촬영 영상이미지 정보의 정밀도를 향상시킨 영상처리 갱신 시스템
WO2023097494A1 (zh) 全景图像拍摄方法、装置、无人机、系统及存储介质
TH2101002912A (th) วิธีการและอุปกรณ์สำหรับการวางแผนจุดตัวอย่างสำหรับการสำรวจและการทำแผนที่,เครื่องปลายทางควบคุม

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200819

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220315

R150 Certificate of patent or registration of utility model

Ref document number: 7042911

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150