JP7456908B2 - Unmanned aerial vehicle control device for roof inspection - Google Patents
Unmanned aerial vehicle control device for roof inspection Download PDFInfo
- Publication number
- JP7456908B2 JP7456908B2 JP2020166033A JP2020166033A JP7456908B2 JP 7456908 B2 JP7456908 B2 JP 7456908B2 JP 2020166033 A JP2020166033 A JP 2020166033A JP 2020166033 A JP2020166033 A JP 2020166033A JP 7456908 B2 JP7456908 B2 JP 7456908B2
- Authority
- JP
- Japan
- Prior art keywords
- roof
- imaging
- altitude
- unmanned aircraft
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 13
- 238000003384 imaging method Methods 0.000 claims description 184
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 40
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 33
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 24
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- BUSHLWVWPAEVMX-UHFFFAOYSA-N icos-1-yne Chemical compound CCCCCCCCCCCCCCCCCCC#C BUSHLWVWPAEVMX-UHFFFAOYSA-N 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
Images
Landscapes
- Working Measures On Existing Buildindgs (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は、屋根点検に適した無人航空機の制御装置に関する。 The present invention relates to a control device for an unmanned aircraft suitable for roof inspection.
近年、無人航空機を用いて、無人航空機に搭載されたカメラ(撮像装置)で、高所の位置等を点検する方法が知られている。また、無人航空機の操縦を補助する機能が種々検討されている。たとえば、特許文献1には、俯瞰画像を撮影可能な撮像装置を備えた無人航空機を制御する制御装置が開示されている。この制御装置は、屋根の基準点に対する無人航空機の相対位置を算出し、俯瞰画像における基準点の位置座標を算出し、基準点の位置座標と無人航空機の相対位置に基づいて、俯瞰画像における無人航空機の位置座標を算出し、俯瞰画像において、無人航空機の位置座標に、無人航空機の位置を示すアイコンを表示している。 2. Description of the Related Art In recent years, a method has been known that uses an unmanned aerial vehicle to inspect the position of a high place using a camera (imaging device) mounted on the unmanned aerial vehicle. Additionally, various functions to assist the operation of unmanned aircraft are being studied. For example, Patent Document 1 discloses a control device that controls an unmanned aircraft that is equipped with an imaging device that can take an overhead image. This control device calculates the relative position of the unmanned aircraft with respect to the reference point on the roof, calculates the position coordinates of the reference point in the bird's-eye view image, and calculates the position of the unmanned aircraft in the bird's-eye view image based on the position coordinates of the reference point and the relative position of the unmanned aircraft. The position coordinates of the aircraft are calculated, and an icon indicating the position of the unmanned aircraft is displayed at the position coordinates of the unmanned aircraft in the overhead image.
ところで、特許文献1に示す制御システムでは、予め設定された屋根の基準点の位置座標と、無人航空機の位置座標とから、相対位置を算出し、無人航空機の位置を、撮像した俯瞰画像に落とし込むことができる。これにより、俯瞰画像における無人航空機の位置座標を確認することができる。 By the way, in the control system shown in Patent Document 1, the relative position is calculated from the position coordinates of a preset roof reference point and the position coordinates of the unmanned aircraft, and the position of the unmanned aircraft is reflected in the captured overhead image. be able to. Thereby, the position coordinates of the unmanned aircraft in the bird's-eye view image can be confirmed.
しかしながら、屋根の点検を行う際には、無人航空機を屋根の特定の位置に飛行させることがあるが、その際には、無人航空機の操作者が、屋根全体を撮影した俯瞰画像において、無人航空機のアイコンを確認しながら、操作しなければならず、より正確な位置(位置座標)に無人航空機を移動させることは難しい。 However, when inspecting a roof, an unmanned aircraft may be flown to a specific location on the roof. It is difficult to move the unmanned aircraft to a more accurate position (location coordinates) because the operator must operate the unmanned aircraft while checking the icon.
本発明は、このような点を鑑みてなされたものであり、その目的とするところは、撮像した屋根の俯瞰画像から、所望の位置により精度良く無人航空機を飛行させ、屋根を点検することができる無人航空機の制御装置を提供することにある。 The present invention has been made in view of the above points, and its purpose is to fly an unmanned aerial vehicle to a desired position with higher accuracy and inspect the roof based on the captured bird's-eye view image of the roof. Our goal is to provide a control system for unmanned aircraft that can
前記課題を鑑みて、本発明に係る無人航空機の制御装置は、建物の屋根を撮影する撮像装置と、水平方向の座標を検出する座標検出センサと、方位を検出する方位検出センサと、高度を検出する高度検出センサと、が搭載された屋根点検用の無人航空機を、入力装置で入力された入力データに基づいて制御する制御装置であって、前記制御装置は、前記無人航空機の飛行制御と、前記撮像装置の撮像タイミングの撮像制御と、を行うものであり、前記入力データとして入力された前記建物の基準座標、および前記屋根の屋根高さを、建物情報として記録する建物情報記録部と、前記建物の基準座標および前記屋根高さに基づいて、前記無人航空機を、前記屋根の上空における前記基準座標および撮像高度まで飛行させる第1飛行制御部と、前記無人航空機が前記基準座標および前記撮像高度に到達したタイミングで、前記撮像装置に前記屋根を撮像させる第1撮像制御部と、撮像した前記屋根全体を含む俯瞰画像を取得する全体画像取得部と、前記撮像高度と前記屋根高さとの差分および前記撮像装置の画角に基づいて、前記俯瞰画像の画素の縦横の長さに対応した前記屋根の尺度を算出する尺度算出部と、前記尺度と前記基準座標とから、前記俯瞰画像の画素ごとの位置座標を算出する座標算出部と、を少なくとも備えることを特徴とする。 In view of the above problems, the control device for an unmanned aircraft according to the present invention includes an imaging device that photographs the roof of a building, a coordinate detection sensor that detects horizontal coordinates, a direction detection sensor that detects the direction, and an altitude detection sensor. A control device that controls an unmanned aerial vehicle for roof inspection on which an altitude detection sensor is mounted based on input data inputted by an input device, the control device controlling the flight of the unmanned aerial vehicle. and a building information recording unit that records the reference coordinates of the building and the roof height of the roof input as the input data as building information. , a first flight control unit that causes the unmanned aircraft to fly to the reference coordinates and imaging altitude above the roof based on the reference coordinates of the building and the roof height; a first imaging control unit that causes the imaging device to image the roof at the timing when the imaging altitude is reached; an overall image acquisition unit that acquires a bird's-eye view image including the entire imaged roof; a scale calculation unit that calculates a scale of the roof corresponding to the vertical and horizontal lengths of pixels of the bird's-eye view image based on the difference between the two and the angle of view of the imaging device; A coordinate calculating section that calculates position coordinates for each pixel of the image forming apparatus.
本発明によれば、無人航空機に搭載された座標検出センサ、方位検出センサ、および高度検出センサで検出された位置座標、方位、および高度を、無人航空機の位置座標、方位、および高度とし、制御装置により、屋根の上空に無人航空機を飛行させることができる。制御装置は、飛行制御により飛行する無人航空機から、所望の撮像タイミングで屋根の撮像することができる。 According to the present invention, the position coordinates, direction, and altitude detected by the coordinate detection sensor, direction detection sensor, and altitude detection sensor mounted on the unmanned aircraft are used as the position coordinates, direction, and altitude of the unmanned aircraft, and are controlled. The device allows unmanned aerial vehicles to fly above rooftops. The control device can image the roof from the unmanned aircraft flying under flight control at a desired image capturing timing.
具体的には、第1飛行制御部により、基準座標において、屋根全体が画像に収まる撮像高度まで、無人航空機を飛行させることができる。さらに、第1撮像制御部により、基準座標および撮像高度に到達したタイミングで、撮像装置で屋根全体を撮像させることができる。これにより、全体画像取得部で、検査対象となる屋根全体の俯瞰画像を取得することができる。 Specifically, the first flight control unit can fly the unmanned aircraft to an imaging altitude at which the entire roof can be captured in the image in the reference coordinates. Furthermore, the first imaging control section allows the imaging device to image the entire roof at the timing when the reference coordinates and imaging altitude are reached. Thereby, the entire image acquisition unit can acquire an overhead image of the entire roof to be inspected.
次に、尺度算出部では、撮像高度と屋根高さとの差分、および撮像装置の画角から、俯瞰画像の画素の縦横の長さに対応した尺度を算出する。画素の縦横の長さに対応した屋根の尺度を算出することにより、俯瞰画像の縦横の実際の寸法を取得することができる。次に、座標算出部により、尺度と基準座標とから、俯瞰画像の画素ごとに位置座標(緯度および経度)を算出することができる。また、本実施形態では、実際の撮像した屋根の俯瞰画像に基づいて、無人航空機を飛行させることができる。 Next, the scale calculation unit calculates a scale corresponding to the vertical and horizontal lengths of pixels of the bird's-eye view image from the difference between the imaging altitude and the roof height and the angle of view of the imaging device. By calculating the scale of the roof corresponding to the vertical and horizontal lengths of pixels, the actual vertical and horizontal dimensions of the bird's-eye view image can be obtained. Next, the coordinate calculation unit can calculate the position coordinates (latitude and longitude) for each pixel of the bird's-eye view image from the scale and the reference coordinates. Furthermore, in this embodiment, the unmanned aircraft can be flown based on the actually captured overhead image of the roof.
このようにして、俯瞰画像の画素ごとに、屋根の位置座標を算出し、画素に対応した屋根の位置座標を割り当てることができる。これにより、屋根の位置座標に基づいて、俯瞰画像の所望の位置に(具体的には屋根の所望の位置)に、精度良く無人航空機を飛行させ、屋根を撮像し、その画像を取得することができる。ここでいう、「屋根高さ」とは、建物高さ、屋根の軒先高さなど、屋根に関する高さであり、たとえば、尺度算出部の尺度の算出には、屋根高さを、屋根の軒先高さとすることが好ましい。これにより、屋根の軒先に沿った屋根の尺度を正確に算出することができる。 In this way, the roof position coordinates can be calculated for each pixel of the bird's-eye view image, and the roof position coordinates corresponding to the pixels can be assigned. As a result, based on the position coordinates of the roof, it is possible to accurately fly the unmanned aerial vehicle to a desired position in the overhead image (specifically, a desired position on the roof), image the roof, and obtain the image. I can do it. The "roof height" here refers to the height related to the roof, such as the height of the building and the height of the eaves of the roof.For example, when calculating the scale of the scale calculation section, the roof height is It is preferable to set it as height. This makes it possible to accurately calculate the scale of the roof along the eaves of the roof.
ここで、撮像高度は、撮像装置により屋根全体が映り込む高度であれば特に限定されるものではないが、より好ましい態様としては、前記建物情報記録部は、平面視における前記屋根の寸法を前記建物情報として記録し、前記制御装置は、前記屋根の寸法、前記屋根高さ、および前記撮像装置の画角に基づいて、前記撮像高度を算出する撮像高度算出部をさらに備える。 Here, the imaging altitude is not particularly limited as long as the entire roof is reflected by the imaging device, but in a more preferable embodiment, the building information recording unit records the dimensions of the roof in plan view. The information is recorded as building information, and the control device further includes an imaging altitude calculation unit that calculates the imaging altitude based on the dimensions of the roof, the roof height, and the angle of view of the imaging device.
この態様によれば、建物情報記録部で建物情報として記録された屋根寸法、前記屋根高さ、および撮像装置の画角に基づいて、屋根の全体が入り込む撮像高度を算出することができる。また、屋根高さを建物高さをとして撮像高度を算出した場合には、屋根高さを軒先高さをとして撮像高度を算出した場合に比べて、より高い撮像高度が算出されるため、安全な撮像高度から、建物の屋根全体を撮像することができる。 According to this aspect, it is possible to calculate the imaging altitude at which the entire roof can penetrate, based on the roof dimensions recorded as building information in the building information recording section, the roof height, and the viewing angle of the imaging device. In addition, if the imaging altitude is calculated using the roof height as the building height, a higher imaging altitude will be calculated than when calculating the imaging altitude using the roof height as the eaves height, so it will be safer. It is possible to image the entire roof of a building from a certain imaging altitude.
俯瞰画像の各画素に対応付けた位置座標を目標座標として、無人航空機を飛行させ、屋根の撮影することができるのであれば、飛行制御の態様は特に限定されるものではないが、好ましい態様としては、前記制御装置は、前記入力装置を介して選択された前記俯瞰画像の複数の画素を、前記入力データとして前記無人航空機の飛行ルートを設定するルート設定画素として、記録するルート設定画素記録部と、前記ルート設定画素の位置座標に基づいて、前記無人航空機の方位および高度を含む飛行ルートを設定する飛行ルート設定部と、前記飛行ルート上に、前記屋根の部分を撮像する撮像座標を設定する撮像座標設定部と、前記飛行ルートに沿って、前記無人航空機を飛行させる第2飛行制御部と、前記無人航空機が前記撮像座標に到達したタイミングで、前記撮像装置に前記屋根の部分を撮像させる第2撮像制御部と、撮像した前記屋根の部分の画像を取得する部分画像取得部と、をさらに備える。 The mode of flight control is not particularly limited as long as it is possible to fly the unmanned aircraft and photograph the roof using the position coordinates associated with each pixel of the bird's-eye view image as the target coordinates, but a preferred mode is The control device includes a route setting pixel recording unit that records a plurality of pixels of the bird's-eye view image selected via the input device as route setting pixels for setting a flight route of the unmanned aircraft as the input data. a flight route setting unit that sets a flight route including the direction and altitude of the unmanned aerial vehicle based on the position coordinates of the route setting pixel; and a flight route setting unit that sets imaging coordinates for imaging the roof portion on the flight route. a second flight control unit that causes the unmanned aircraft to fly along the flight route; and a second flight control unit that causes the unmanned aerial vehicle to image the roof portion at the timing when the unmanned aerial vehicle reaches the imaging coordinates. and a partial image acquisition unit that acquires a captured image of the roof portion.
この態様によれば、ルート設定画素記録部により、俯瞰画像の画素のうち、操作者により選択された画素を、ルート設定画素として記録し、飛行ルート設定部により、無人航空機の方位および高度を含む飛行ルートを設定することができる。さらに、俯瞰画像の各画素に割り付けられた位置座標を用いて、撮像座標設定部により、設定された飛行ルート上に、屋根の部分を撮像する撮像座標を設定する。このようにして、第2飛行制御部により、設定された飛行ルートに沿って、無人航空機を飛行させ、部分画像取得部により、無人航空機が撮像座標に到達したタイミングで、撮像装置に屋根の部分を撮像させ、屋根の部分の点検用画像を取得することができる。このようにして、実際の撮像した屋根の俯瞰画像に基づいて、無人航空機の飛行ルートを設定することができるので、建物の屋根の状況をリアルタイムに把握した上で、屋根の点検用画像を容易に取得することができる。 According to this aspect, the route setting pixel recording unit records the pixels selected by the operator among the pixels of the bird's-eye view image as route setting pixels, and the flight route setting unit records the pixels including the direction and altitude of the unmanned aircraft. Flight routes can be set. Further, using the position coordinates assigned to each pixel of the bird's-eye view image, the imaging coordinate setting unit sets imaging coordinates for imaging the roof portion on the set flight route. In this way, the second flight control section causes the unmanned aircraft to fly along the set flight route, and the partial image acquisition section causes the imaging device to display a portion of the roof at the timing when the unmanned aerial vehicle reaches the imaging coordinates. It is possible to take an image of the roof and obtain an inspection image of the roof. In this way, it is possible to set the flight route of the unmanned aerial vehicle based on the actual bird's-eye view image of the roof, so the situation of the roof of the building can be grasped in real time, and images for inspection of the roof can be easily created. can be obtained.
本発明によれば、撮像した屋根の俯瞰画像から、所望の位置により精度良く無人航空機を飛行させ、屋根を点検することができる。 According to the present invention, the roof can be inspected by flying an unmanned aerial vehicle to a desired position with higher accuracy based on the captured bird's-eye view image of the roof.
以下、本発明の実施形態に係る無人航空機の制御装置について、図面を参照しながら説明する。 The following describes a control device for an unmanned aerial vehicle according to an embodiment of the present invention, with reference to the drawings.
(第1実施形態)
図1は、本発明の第1実施形態に係る無人航空機30を制御する制御装置39、59を備えた無人航空機制御システム1を示す模式図である。図2は、図1に示す無人航空機30の構成を示すブロック図である。図3は、図1に示す操作端末50の構成を示すブロック図である。図4は、図3に示す操作端末50に搭載された制御装置59を示す制御ブロック図である。
(First embodiment)
FIG. 1 is a schematic diagram showing an unmanned aircraft control system 1 including
なお、本実施形態では、後述するように、無人航空機30に搭載された制御装置39と、操作端末50に搭載された制御装置59との2つの制御装置が存在する。無人航空機30に搭載された制御装置39は、無人航空機30の飛行の安定性など飛行そのもの(具体的には駆動装置36等のアクチェータ)を制御するものである。一方、操作端末50の制御装置59は、無人航空機30の飛行の到達地点の設定、飛行ルートの設定、および撮像装置35の撮像座標の設定などを行った上で、この設定内容に沿って無人航空機30の飛行を制御するものである。したがって、制御装置59は、飛行および撮像タイミングに関する制御指令を無人航空機30に送信するものであり、本発明の制御装置は、以下に示す操作端末50に搭載された制御装置59が対応する。本実施形態では、制御装置39、59の2つの制御装置を用いているが、無人航空機30または操作端末50に、1つの制御装置として、集約されていてもよい。
In this embodiment, as described later, there are two control devices: a
図1に示すように、本実施形態に係る無人航空機制御システム1は、無人航空機(UAV)10と、無人航空機30を制御する操作端末50と、によって構成されている。無人航空機制御システム1は、無人航空機30を直接操縦するコントーラをさらに備えてもよい。本実施形態では、無人航空機制御システム1は、建物10の屋根11に損傷等の異常が生じているか否かを点検する際に用いられる。
As shown in FIG. 1, the unmanned aircraft control system 1 according to the present embodiment includes an unmanned aerial vehicle (UAV) 10 and an
無人航空機30は、所謂ドローンであり、操作端末50から送信される後述するデータ等に基づいて、目標の屋根11の上方まで自律飛行し屋根11を撮像する。無人航空機30は、撮像した画像を操作端末50に送信する。
The unmanned
操作端末50は、たとえば、所定のプログラム(アプリケーションソフトウェア)をインストールしたスマートフォン、タブレット端末、パーソナルコンピュータ等であり、本実施形態ではスマートフォンである。操作端末50は、無人航空機30の撮像装置35が撮像した映像(動画)および画像(静止画)を取得するとともに、後述する表示装置52に画像を表示する。
The
以下、無人航空機30および操作端末50をより具体的に説明する。
Below, the
[無人航空機30の構成]
無人航空機30は、図2に示すように、通信装置31と、座標検出センサ(GPS)32と、方位検出センサ(ジャイロセンサ)33と、高度検出センサ34と、撮像装置35と、駆動装置36と、制御装置39と、を備えている。
[Configuration of unmanned aircraft 30]
As shown in FIG. 2, the
通信装置31は、操作端末50との間でデータの無線送受信を行う。通信装置31が操作端末50から受信する主要なデータとしては、無人航空機30の飛行ルートのデータ、撮像タイミング等、飛行制御および撮像制御を行うためのデータである。通信装置31が操作端末50に送信する主要なデータとしては、後述する座標検出センサ32からの位置座標データ、方位検出センサ33からの方位データ、高度検出センサ34からの高度データ、撮像装置35からの画像データ等を挙げることができる。
The
座標検出センサ32は、GPS信号を受信するとともに、受信したGPS信号に基づいて座標検出センサ32の位置(経度、緯度)、すなわち無人航空機30自身の位置を検出する。方位検出センサ33は、無人航空機30が向いている方位(無人航空機30の前方の方位)を検出する。高度検出センサ34は、たとえば気圧を計測する気圧センサからなり、無人航空機30の地面からの高さを検出する。なお、高度検出センサ34を設けず、座標検出センサ32が受信したGPS信号に基づいて無人航空機30の地面に対する高さを検出してもよい。
The coordinate
撮像装置35は、カラーのデジタルの映像および画像を取得できるカメラであり、本実施形態では、屋根11を対象物として撮像し、映像および画像を取得する。撮像装置35は、撮像装置35に含まれるレンズの光軸を水平方向に動かすパン機能、上下方向に動かすチルト機能を有してもよい。
The
駆動装置36は、詳細は図示しないが、複数の回転翼と、回転翼に付与する駆動力を発生するモータと、モータに電力を供給する蓄電池と、を含んでいる。複数の回転翼の回転速度を個別に制御することによって、無人航空機30の飛行高さ、飛行経路、飛行速度、水平度、向き(方位)等を変更することができる。
Although details are not shown, the
制御装置39は、演算装置(CPU)39aおよび記憶装置(たとえばRAM、ROM等)39bを含んでいる。演算装置39aは、記憶装置39bに記憶されている動作プログラムを実行する。
The
制御装置39は、操作端末50から通信装置31を介して受信した高度データ、撮像座標データ、旋回角度データ等を記憶する。制御装置39は、操作端末50からの指令に基づいて、アクチュエータである駆動装置36を制御するものである。具体的には、制御装置39は、撮像座標データおよび飛行高さデータに基づいて駆動装置36を制御して、無人航空機30を自律飛行させる。制御装置39は、撮像位置データ(位置座標と高度を含むデータ)に基づいて撮像装置35を制御して、撮像位置で屋根11を撮像する。この他にも、制御装置39は、旋回角度データに基づいて駆動装置36を制御して、無人航空機30を水平方向に所定角度旋回させる。制御装置39は、撮像装置35が取得した画像データを記憶するとともに、操作端末50に送信する。制御装置39は、方位検出センサ33の検出結果(検出方位)を無人航空機30の方位データとして記憶するとともに、操作端末50に送信する。
The
制御装置39は、操作端末50から、操作者が直接入力する各種制御信号に基づいて、無人航空機30を所定方向に移動させたり、所定角度旋回させたり、撮像装置35のパン角やチルト角を変更したり、撮像装置35により画像を取得してもよい。
The
[操作端末50の構成]
図3に示すように、操作端末50は、通信装置51、表示装置52、入力装置53、および制御装置59を備えている。表示装置52と入力装置53とでタッチパネルディスプレイを構成していてもよい。無人航空機30を、直接操縦する際には、表示装置52に無人航空機30の操縦ボタンまたは操縦レバーを表示し、入力装置53でこれを操作する(タッチパネルディスプレイの場合には、画面を触れることで操作する)ようにしてもよい。
[Configuration of operation terminal 50]
As shown in FIG. 3, the operating
通信装置51は、無人航空機30の通信装置31との間でデータの送受信を行うものであり、通信されるデータは上述したとおりである。表示装置52は、地図データを表示したり、無人航空機30の撮像装置35が撮像した映像および画像を表示したりする。なお、地図データは、インターネットを介して取得したものであってもよいし、後述する記憶装置59bに予め記憶されているものであってもよい。入力装置53は、操作者により入力されるものであり、建物10の基準となる基準座標(Xs,Ys)および建物高さHなどの建物情報などが入力される。
The
制御装置59は、入力装置53の入力により無人航空機30の飛行制御や撮像制御を行うものであり、本発明でいう制御装置に相当する。制御装置59は、演算装置(CPU)59aおよび記憶装置(たとえばRAM、ROM等)59bを含んでいる。演算装置59aは、記憶装置59bに記憶されている動作プログラムを実行する。制御装置59がプログラムを実行することによって、後述する各処理を実現することができる。このようなプログラムは、たとえばインターネットを介してダウンロードすることによって取得され、記憶装置59bにアプリケーションとして記憶される。制御装置59は、通信装置51が受信した画像データ等を記憶する。
The
次に、図4を参照して、本実施形態の操作端末50の制御装置59について詳細に説明する。制御装置59は、無人航空機30の飛行制御と、撮像装置35の撮像タイミングの撮像制御と、を行うものである。本実施形態では、制御装置59は、ソフトウェアとして、カメラ情報記録部501、建物情報記録部502、撮像高度算出部503、第1飛行制御部504、第1撮像制御部505、全体画像取得部506、尺度算出部507、および座標算出部508を備えている。
Next, with reference to FIG. 4, the
カメラ情報記録部501は、入力装置53を介して入力された撮像装置35に固有の装置情報を記録している。本実施形態では、カメラ情報記録部501には、撮像装置35のイメージセンサの縦および横の寸法、撮像装置35の焦点距離、撮像装置35の画角など、撮像装置35の固有の装置情報が記録されている。
The camera
建物情報記録部502は、入力装置53を介して、入力データとして入力された建物10の基準となる基準座標(Xs,Ys)および建物高さH1を、建物情報として記録している。本実施形態では、基準座標(Xs,Ys)は、屋根11の基準となる中央点Cの位置座標であり、具体的には、緯度および経度で表される位置座標である。本実施形態では、建物10の高さHは、本発明でいう「屋根高さ」の一例であり、地表から屋根11の頂部(最上部)14の高さである。
The building
位置座標を、緯度および経度で特定することにより、無人航空機30に搭載した座標検出センサ32で検出される位置座標(緯度および経度)が、基準座標(Xs,Ys)に近づくように、無人航空機30の飛行を、制御装置39で制御することができる。
By specifying the position coordinates in terms of latitude and longitude, the
ここで、屋根11の全体を撮像する際には、建物10の高さHよりも高い撮像高度Hcまで、無人航空機30を飛行する。この撮像高度Hcは、撮像装置35により屋根11の全体が映り込む高さであり、建物10の高さHに対して、一定の高さを加算した高さとして設定されていてもよい。撮像高度Hcは、その高さで撮像した際に、撮像した屋根11の画像において、屋根11の点検地点を、画素として選択することができる程度の高さであれば、特に限定されるものではない。
When capturing an image of the
本実施形態では、撮像高度算出部503は、屋根11の寸法A、B、建物10の高さH、撮像装置35の画角θに基づいて、撮像高度Hcを算出する。この場合には、建物情報記録部502は、平面視における屋根11の寸法A、Bを建物情報としてさらに記録する。
In this embodiment, the imaging
より具体的には、本実施形態では、屋根11の寸法A、Bは、直交する2つの方向における、屋根11の最大寸法であり、屋根11の軒先13に沿った方向の寸法であることが好ましい。本実施形態では、屋根11の寸法Aを屋根11の縦寸法とし、屋根11の寸法Bを屋根11の横寸法とする。また、屋根高さを、屋根11の軒先13の高さHrとしてもよいが、本実施形態では、建物10の高さH、すなわち、地表から建物10の屋根の頂部14までの高さとする。
More specifically, in this embodiment, the dimensions A and B of the
たとえば、図6に示すように、撮像高度Hcと建物10の高さHとの差分ΔHと、撮像装置35の縦方向(横方向)の画角θa(θb)とから、縦方向は、2ΔH/A=tan(θa/2)の関係が成り立ち、2ΔH/B=tan(θb/2)が成り立つ。これらの値から、それぞれに対してのΔHを算出し、ΔHの大きい方の値に建物10の高さHを加えて、撮像高度Hcとする。
For example, as shown in FIG. 6, from the difference ΔH between the imaging altitude Hc and the height H of the
この他にも、たとえば以下の式(1)および式(2)から、撮像高度Hcを算出してもよい。ここで、撮像装置35のイメージセンサ35bの縦長さをla、横長さをlbとし、撮像装置35の焦点距離(イメージセンサ35bからレンズ35aまでの距離)をFとする。
A=(Hc-H)×la/F…(1)
B=(Hc-H)×lb/F…(2)
Alternatively, the imaging height Hc may be calculated from, for example, the following formulas (1) and (2): Here, the vertical length of the
A = (Hc - H) x la / F ... (1)
B = (Hc - H) x lb / F ... (2)
式(1)および式(2)において、la/F、1b/Fが、撮像装置35の縦方向、横方向の画角θa、θbに相当する値であり、本発明でいう「撮像装置の画角」に対応する値である。ここで、A、B、Hは、建物10の固有の値であり、F、la、lbは、撮像装置35の装置固有の値であることから、これらの値を代入することにより、撮像高度Hcを算出することができる。本実施形態では、式(1)および式(2)から算出された撮像高度Hcのうち、大きい方の高度(値)を採用する。
In formulas (1) and (2), la/F and lb/F are values equivalent to the vertical and horizontal viewing angles θa and θb of the
本実施形態では、撮像高度算出部503が、屋根11の寸法A、Bから、撮像高度Hcを算出したが、たとえば、屋根の面積をSとし、撮像装置35のイメージセンサ35bの面積をsとし、以下の式(3)から、撮像高度Hcを算出してもよい。
S=(Hc-H)×s/F…(3)
In the present embodiment, the imaging
S=(Hc-H)×s/F…(3)
平面視において、屋根11の形状およびその縦横比の範囲が特定されている場合には、式(3)を用いることにより、撮像高度Hcを算出することができる。なお、s/Fが、撮像装置35の画角θに相当する値である。
In a plan view, when the shape of the
以上のようにして、撮像高度算出部503では、屋根11の寸法A、B、建物10の高さH、および撮像装置35の画角θに基づいて、撮像高度Hcを算出することができる。なお、本実施形態では、撮像高度Hcを上の式から算出したが、この算出した値に、さらに所定の高さを加えた値(たとえば5m)を撮像高度としてもよい。
As described above, the imaging
第1飛行制御部504は、建物10の基準座標(Xs,Ys)および建物高さHに基づいて、無人航空機30を、屋根11の上空における基準座標(Xs,Ys)および撮像高度Hcまで飛行させる。具体的には、撮像高度Hcは、撮像高度算出部503により、屋根高さに相当する建物高さHに基づいて算出された値であるが、たとえば、建物高さHから所定の高さを加算した高さを撮像高度Hcとしてもよい。第1飛行制御部504は、通信装置51を介して、基準座標(Xs,Ys)と、算出した撮像高度Hcのデータとを、無人航空機30に送信する。
The first
これらデータを飛行の目標地点(飛行指令)として、無人航空機30の制御装置39が受信する。これにより、無人航空機30の制御装置39は、駆動装置36を駆動する。この結果、無人航空機30を、屋根11の上空における基準座標(Xs,Ys)および撮像高度Hcまで飛行させることができる。
The
第1撮像制御部505は、無人航空機30が、建物10の基準座標(Xs,Ys)および撮像高度Hcに到達したタイミングで、撮像装置35に屋根11の全体を撮像させる。具体的には、第1撮像制御部505は、建物10の基準座標(Xs,Ys)および撮像高度Hcに到達したことを、無人航空機30の座標検出センサ32および高度検出センサ34が検出した位置座標および高度に基づいて判定する。無人航空機30が到達したと第1撮像制御部505が判定した場合には、第1撮像制御部505は、通信装置51、31を介して、撮像装置35に撮像指令を送信する。
The first
全体画像取得部506は、撮像した屋根11の全体を含む俯瞰画像Gを取得する。具体的には、全体画像取得部506は、第1撮像制御部505が撮像指令を送信したことを受け、俯瞰画像Gは、無人航空機30から通信装置31を介して送信され、これを操作端末50の通信装置51で受信し、全体画像取得部506は、俯瞰画像Gのデータを記録する(取得する)。
The entire
尺度算出部507は、撮像高度Hcと、屋根高さ(本実施形態では、屋根11の軒先高さHr)との差分ΔHrおよび撮像装置35の画角θから、俯瞰画像G1の1つの画素の縦横の長さに対応した尺度(スケール)を算出する。
The
撮像高度Hcと屋根11の軒先高さHrとの差分をΔHrと、撮像装置35の縦方向(横方向)の画角θa(θb)と、俯瞰画像Gにおける縦方向および横方向の実寸法Ar、Brとから、縦方向では2ΔHr/Ar=tan(θa/2)の関係が成り立ち、横方向では2ΔHr/Br=tan(θb/2)が成り立つ。得られた俯瞰画像Gにおける縦方向および横方向の実寸法Ar、Brを、俯瞰画像Gの縦方向に配列される画素数Naおよび横方向に配列される画素数Nbで除算することにより、俯瞰画像Gの画素の縦横の長さに対応した、屋根11の尺度(スケール)を算出することができる。
The difference between the imaging altitude Hc and the eaves height Hr of the
この他にも、たとえば以下の式(4)および式(5)から、俯瞰画像Gにおける縦方向および横方向の実寸法Ar、Brを算出してもよい。
Ar=(Hc-Hr)×la/F…(4)
Br=(Hc-Hr)×lb/F…(5)
In addition, the actual dimensions Ar and Br in the vertical direction and the horizontal direction in the bird's-eye view image G may be calculated, for example, from the following equations (4) and (5).
Ar=(Hc-Hr)×la/F…(4)
Br=(Hc-Hr)×lb/F...(5)
算出した実寸法Ar、Brに対して、俯瞰画像Gの縦方向に配列される画素数Naおよび横方向に配列される画素数Nbで除算することにより、俯瞰画像Gの画素の縦横の長さに対応した、屋根11の尺度を算出してもよい。式(1)および式(2)同様に、la/F、1a/Fが、撮像装置35の縦方向、横方向の画角θa、θbに依存する値であり、本発明でいう「撮像装置の画角」に対応する値である。
By dividing the calculated actual dimensions Ar and Br by the number Na of pixels arranged in the vertical direction and the number Nb of pixels arranged in the horizontal direction of the bird's-eye view image G, the vertical and horizontal lengths of the pixels of the bird's-eye view image G are calculated. You may calculate the scale of the
座標算出部508は、尺度と基準座標(Xs,Ys)とから、俯瞰画像Gの画素ごとの位置座標(x1,y1)、(x2,y2)、…(xn,yn)を算出する。ここで、地球の半径をrとし、図7に示すように、求める位置座標を(xn,yn)とし、基準座標(Xs,Ys)と位置座標(xn,yn)との2点間の距離をDとし、基準座標(Xs,Ys)を通過する経線Lsと、基準座標(Xs,Ys)、位置座標(xn,yn)の2点を結ぶ線分Lnとの成す角度をΦとし、Δxをxn-Xsとしたときに、以下の式(6)、式(7)が成り立つ。
D=rcos- 1(sinYs・sinyn+cosYs・cosyn・cosΔx)…(6)
Φ=90-atan2(sinΔx,cosYs・tanyn-sinYs・cosΔx)…(7)
The coordinate
D=rcos - 1 (sinYs・sinyn+cosYs・cosyn・cosΔx)...(6)
Φ=90-atan2(sinΔx, cosYs・tanyn-sinYs・cosΔx)…(7)
ここで、距離Dおよび角度Φは、尺度算出部507で算出した俯瞰画像Gの画素の縦横の長さに対応した屋根11の尺度と、基準座標(Xs,Ys)から位置座標(xn,yn)までの縦横の画素数をそれぞれ乗算することにより算出することができる。なお、距離Dは、各画素の中心位置を基準として算出してもよい。建物情報記録部502には、基準座標(Xs,Ys)の緯度と経度が記録されており、地球の半径rは定数である。したがって、xn、ynを変数とした式(6)と式(7)の2元一次の連立方程式を作成し、これを解くことにより位置座標(xn,yn)を算出することができる。このような作業を、全ての画素に対して行い、各画素に対応した実際の位置座標を算出することができる。
Here, the distance D and the angle Φ are the scale of the
図8は、本実施形態の図3に示す制御装置59の制御フロー図であり、以下に、図8のフロー図を参照しながら、各ステップを説明するとともに、その作用効果も合わせて詳述する。
Figure 8 is a control flow diagram of the
まず、ステップS81に示すように、入力装置53を介して、建物情報として、建物10の基準座標(Xs,Ys)と、建物10の高さHと、建物10の屋根11の軒先13の高さ(軒先高さ)Hr、屋根11の寸法A、Bを入力する。これにより、建物情報記録部502では、これらの建物情報が記録される。
First, as shown in step S81, the reference coordinates (Xs, Ys) of the
次に、ステップS82に進み、撮像高度算出部503で、無人航空機30の撮像高度Hcを算出する。本実施形態では、建物情報記録部502で建物情報として記録された屋根寸法A、B、建物高さ(屋根11の高さ)H、および、撮像装置35の画角θに基づいて、屋根11の全体が入り込む撮像高度Hcを算出することができる。また、建物10の高さHを基準として、撮像高度Hcを算出するため、屋根11の軒先高さHrを基準した場合に比べて、より高い撮像高度Hcを算出することができるので、より安全な位置から、建物10の屋根全体を撮像することができる。
Next, the process advances to step S82, and the imaging
次に、ステップS83に進み、建物10の周り等に障害物があるかを判定する。ここで、障害物がある場合には、ステップS84に進み、撮像高度Hcを手動で調整する。ステップS85では、無人航空機30の飛行を開始する(離陸する)。無人航空機30の目標地点として、基準座標(Xs,Ys)と、撮像高度Hcとに向かって、無人航空機30を飛行させる。なお、ステップS83およびステップS84の一連の作業を、ステップS85の離陸直後に行ってもよい。
Next, the process proceeds to step S83, where it is determined whether there are any obstacles around the
次に、ステップS86に進み、無人航空機30が、目標地点に到達したかどうかを判定する。具体的には、無人航空機30に搭載された座標検出センサ32および高度検出センサ34で検出された位置座標および高度が、基準座標(Xs,Ys)、撮像高度Hとなるまで、ステップS86を繰り返し、制御装置59で無人航空機30の飛行制御を行う。このようにして、第1飛行制御部504により、屋根11の上空における基準座標(Xs,Ys)において、撮像装置35により屋根11の全体が収まる撮像高度Hcまで無人航空機30を飛行させることができる。
Then, proceed to step S86 to determine whether the unmanned
なお、この際に、第1飛行制御部504が、屋根11の長辺方向に対して、無人航空機30の機首方向を垂直となるように、無人航空機30の方位を設定してもよい。屋根11の長辺方向を、建物情報記録部502において、建物情報として記録してもよい。これにより、スレートや瓦の配列方向を、俯瞰画像Gの縦方向または横方向に沿わせることができる。
Note that at this time, the first
次に、ステップS87では、基準座標(Xs,Ys)および撮像高度Hcに到達したので、第1撮像制御部505により、撮像装置35に屋根11の全体を撮像させる。全体画像取得部506により、検査対象となる屋根11の全体を含む俯瞰画像Gを取得することができる。
Next, in step S87, since the reference coordinates (Xs, Ys) and the imaging altitude Hc have been reached, the first
次に、ステップS88では、尺度算出部507では、撮像高度Hcと建物高さHとの差分ΔH、および撮像装置35の画角θから、俯瞰画像Gの画素の縦横の長さに対応した尺度を算出する。これにより、画素の縦横の長さに対応した尺度を算出することにより、俯瞰画像Gの縦横の実際の寸法を取得することができる。
Next, in step S88, the
次に、ステップS89では、座標算出部508では、尺度と基準座標とから、俯瞰画像Gの画素ごとの位置座標(緯度および経度)を算出することができる。このようにして、俯瞰画像Gの画素ごとに、位置座標を算出することができるので、算出した位置座標に基づいて、俯瞰画像Gの所望の位置に(具体的には屋根11の所望の位置)に、無人航空機30を飛行させ、屋根11を撮像し、撮像した画像で屋根11を点検することができる。このような結果、撮像した俯瞰画像Gから、所望の位置座標により精度良く無人航空機30を飛行させることができる。
Next, in step S89, the coordinate
[第2実施形態]
以下に、図9~図13を参照しながら、第2実施形態に係る無人航空機30を制御する制御装置39、59を備えた無人航空機制御システム1を示す。第1実施形態に係る無人航空機制御システム1と異なる点は、制御装置59であり、以下にその異なる点のみを詳細に説明する。
[Second embodiment]
Below, with reference to FIGS. 9 to 13, an unmanned aircraft control system 1 including
図9に示すように、本実施形態に係る制御装置59は、ルート設定画素記録部509、飛行ルート設定部510、撮像座標設定部511、第2飛行制御部512、第2撮像制御部513、および部分画像取得部514をさらに備えている。
As shown in FIG. 9, the
ルート設定画素記録部509は、入力装置53を介して選択された俯瞰画像Gの複数の画素g1、g2、…を、入力データとして、無人航空機30の飛行ルートRを設定するためのルート設定画素g1、g2、…を記録する。たとえば、図10に示すように、操作者は、俯瞰画像Gに対して、屋根11の四隅の近傍の画素g1~g4を選択し、ルート設定画素記録部509には、この画素g1~g4のデータが記録される。
The route setting
飛行ルート設定部510は、選択したルート設定画素g1、g2、…の位置座標(X1,Y1)、(X2,Y2)、…に基づいて、無人航空機30の方位および高度を含む飛行ルートRを設定する。具体的には、飛行ルートRは、図10に示すように、無人航空機30が、ルート設定画素g1、g2…を順次通過するように屋根11の周りを周回するように設定されていてもよく、図11に示すように、ルート設定画素g1~g4を囲むエリア内をジグザグに無人航空機30が飛行するように設定されてもよい。
The flight
ここで、飛行ルート設定部510は、入力装置53からの入力により、図10に示す周回飛行パターン、図11に示すジグザグ飛行パターン等の予め設定された飛行パターンを選択し、飛行ルート設定部510は、選択された飛行パターンに基づいて、具体的な飛行ルートRを設定してもよい。
Here, the flight
飛行ルート設定部510が設定する飛行ルートRには、設定画素g1、g2、…の位置座標(X1,Y1)、(X2,Y2)、…に基づいて算出された緯度および経度の情報が含まれている。飛行ルート設定部510は、座標算出部508で算出した位置座標のうち、飛行ルートR上の画素から位置座標を無人航空機30が通過するように、飛行ルートRを設定してもよい。
The flight route R set by the flight
飛行ルート設定部510が設定する高度(飛行高度)は、建物10の高さHまたは屋根11の軒先高さHrから所定の高さだけ加算した高度であり、撮像高度Hcよりも低い高度である。飛行ルート設定部510が設定する高度が、屋根11の部分を拡大して撮像できる高度であれば、特に限定されるものではない。
The altitude (flight altitude) set by the flight
飛行ルート設定部510が設定する方位は、図10に示す周回飛行パターン、図11に示すジグザグ飛行パターン等の予め設定された飛行パターンに基づいて設定されている。たとえば、図10および図11では、俯瞰画像Gの上に、無人航空機30のアイコンを表示しており、このアイコンの矢印方向が、無人航空機30の方位である。図10に示す周回飛行パターンの場合には、無人航空機30の方位が、屋根11の軒先13と直交する方向に設定されていてもよい。図11に示すジグザグ飛行パターンの場合には、無人航空機30の方位が、一定の方向となるように設定されていてもよい。
The orientation set by the flight
撮像座標設定部511は、飛行ルートR上に、屋根11の部分を撮像する撮像座標(s1,t1)、(s2,t2)、…を設定する。ここで、撮像座標設定部511は、飛行ルートR上において、撮像座標(s1,t1)、(s2,t2)、…を所定の間隔に設定してもよく、たとえば、撮像装置35の撮像範囲が連続するように撮像座標(s1,t1)、(s2,t2)、…を設定してよい。さらに、入力装置53を介して、操作者が俯瞰写真の画素を選択し、選択した画素を撮像画像として設定してもよい。
The imaging coordinate setting
第2飛行制御部512は、飛行ルートRに沿って、無人航空機30を飛行させる。具体的には、飛行ルートRのデータを、飛行指令として、無人航空機30の制御装置39が受信する。これにより、無人航空機30の制御装置39は、駆動装置36を駆動させる。この結果、無人航空機30を、飛行ルートRに沿って飛行することができる。
The second
第2撮像制御部513は、無人航空機30が撮像座標(s1,t1)、(s2,t2)、…に到達したタイミングで、撮像装置35に屋根11の部分を撮像させる。
The second
具体的には、第2撮像制御部513は、建物10の撮像座標(s1,t1)、(s2,t2)、…および高度(撮像高度)に到達したことを、無人航空機30の座標検出センサ32および高度検出センサ34が検出した位置座標および高度に基づいて判定する。無人航空機30が到達したと第2撮像制御部513が判定した場合には、第2撮像制御部513は、通信装置51、31を介して、撮像装置35に撮像指令を送信する。
Specifically, the second
部分画像取得部514は、撮像した屋根11の部分の点検用画像を取得する。具体的には、部分画像取得部514は、第2撮像制御部513が撮像指令を送信したことを受け、屋根11の部分の画像は、無人航空機30から通信装置31を介して送信され、これを操作端末50の通信装置51で受信し、部分画像取得部514は、屋根11の部分の画像のデータを記録する(取得する)。
The partial
図13は、第2実施形態の図9に示す制御装置59の制御フロー図であり、図8のステップS89に続く制御フロー図である。図8に示す制御フロー図の説明は省略し、以下に、図13のフロー図を参照しながら、各ステップを説明するとともに、その作用効果も合わせて詳述する。
FIG. 13 is a control flow diagram of the
ステップS91では、入力装置53を介して、表示装置52で表示された俯瞰画像Gの画素を複数選択する。この際、選択された画素は、飛行ルートRを想定したルート設定画素g1,g2,…である。ステップS92では、ルート設定画素記録部509により、ルート設定画素g1,g2,…を記録する。
In step S91, a plurality of pixels of the bird's-eye view image G displayed on the
次に、飛行ルート設定部510により、無人航空機30の方位および高度を含む飛行ルートRを設定する。飛行ルートRの設定は、ルート設定画素g1,g2,…に基づいて、自動的に行われる。ここで、無人航空機30の飛行パターンが複数存在する場合には、入力装置53を介して、1つの飛行パターンを選択する。この飛行パターンの選択は、図8に示すステップS85の飛行開始よりも前に行ってもよい。
Next, the flight
次に、ステップS94では、撮像座標設定部511により、設定された飛行ルートR上に、屋根11の部分を撮像する撮像座標(s1,t1)、(s2,t2)、…を設定する。この設定は、撮像座標設定部511により、自動的に行われるが、操作者(点検者)が確認したい地点の画素を入力装置53で選択し、撮像座標設定部511が、選択された画素に対応した位置座標を、撮像座標として設定してもよい。
Next, in step S94, the imaging coordinate setting
次に、ステップS95に進み、第2飛行制御部512により、設定された飛行ルートRに沿った無人航空機30の飛行を開始する。図8に示すS89以降に、無人航空機30が着陸している場合には、その位置から無人航空機30が離陸して、無人航空機30は、飛行ルートRの上に向かう。無人航空機30が、基準座標で飛行している場合には、その位置から、無人航空機30は飛行ルートR上に向かう。
Next, the process proceeds to step S95, and the second
次に、ステップS96では、第2撮像制御部513により、無人航空機30が撮像座標(s1,t1)に到達したタイミングで、撮像装置35に屋根11の部分を撮像させ、部分画像取得部514で、屋根11の部分の点検用画像を取得する。
Next, in step S96, the second
次に、ステップS97で、無人航空機30が飛行ルートRの終点に到着したどうかを判定する。ここで、飛行ルートRの終点に到着していない場合には、無人航空機30は、飛行ルートRの飛行途中であることから、飛行ルートRに沿った飛行を継続する。そして、ステップS96において、第2撮像制御部513により、無人航空機30が次の撮像座標(s2,t2)に到達したタイミングで、撮像装置35に屋根11の部分を撮像させ、部分画像取得部514で、屋根11の部分のさらなる点検用画像を取得することができる。このように、ステップS96、S97を繰り返すことにより、各撮像地点において、複数の屋根11の部分の画像を取得することができる。
Next, in step S97, it is determined whether the
最後に、ステップS97で、無人航空機30が飛行ルートRの終点に到着した場合には、所定の地点にまで、無人航空機30を自律飛行させ、ステップS98で着陸させる。
Finally, in step S97, when the
以上、本発明のいくつかの実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲および明細書に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。 Although several embodiments of the present invention have been described in detail above, the present invention is not limited to the above-described embodiments, and does not depart from the spirit of the present invention as described in the claims and specification. Various design changes can be made within this range.
本実施形態では、本発明の無人航空機の制御装置に相当する制御を、操作端末の制御装置で行ったが、たとえば、これらの制御を、無人航空機に搭載された制御装置で行ってもよい。 In this embodiment, the control corresponding to the control device for the unmanned aircraft of the present invention is performed by the control device of the operating terminal, but for example, these controls may be performed by a control device mounted on the unmanned aircraft.
10:建物、11:屋根、13:軒先、30:無人航空機、32:座標検出センサ(GPS)、33:方位検出センサ(ジャイロセンサ)、34:高度検出センサ、35:撮像装置、36:駆動装置、39:制御装置、50:操作端末、52:表示装置、53:入力装置、59:制御装置、502:建物情報記録部、503:撮像高度算出部、504:第1飛行制御部、505:第1撮像制御部、506:全体画像取得部、507:尺度算出部、508:座標算出部、509:ルート設定画素記録部、510:飛行ルート設定部、511:撮像座標設定部、512:第2飛行制御部、513:第2撮像制御部、514:部分画像取得部 10: Building, 11: Roof, 13: Eaves, 30: Unmanned aerial vehicle, 32: Coordinate detection sensor (GPS), 33: Direction detection sensor (gyro sensor), 34: Altitude detection sensor, 35: Imaging device, 36: Drive device, 39: control device, 50: operation terminal, 52: display device, 53: input device, 59: control device, 502: building information recording section, 503: imaging altitude calculation section, 504: first flight control section, 505 : first imaging control unit, 506: whole image acquisition unit, 507: scale calculation unit, 508: coordinate calculation unit, 509: route setting pixel recording unit, 510: flight route setting unit, 511: imaging coordinate setting unit, 512: Second flight control unit, 513: Second imaging control unit, 514: Partial image acquisition unit
Claims (3)
前記制御装置は、前記無人航空機の飛行制御と、前記撮像装置の撮像タイミングの撮像制御と、を行うものであり、
前記入力データとして入力された前記建物の基準座標、および前記屋根の屋根高さを、建物情報として記録する建物情報記録部と、
前記建物の基準座標および前記屋根高さに基づいて、前記無人航空機を、前記屋根の上空における前記基準座標および撮像高度まで飛行させる第1飛行制御部と、
前記無人航空機が前記基準座標および前記撮像高度に到達したタイミングで、前記撮像装置に前記屋根を撮像させる第1撮像制御部と、
撮像した前記屋根全体を含む俯瞰画像を取得する全体画像取得部と、
前記撮像高度と前記屋根高さとの差分および前記撮像装置の画角に基づいて、前記俯瞰画像の画素の縦横の長さに対応した前記屋根の尺度を算出する尺度算出部と、
前記尺度と前記基準座標とから、前記俯瞰画像の画素ごとの位置座標を算出する座標算出部と、
を少なくとも備えることを特徴とする屋根点検用の無人航空機の制御装置。 An unmanned aerial vehicle for roof inspection equipped with an imaging device that photographs the roof of a building, a coordinate detection sensor that detects horizontal coordinates, a direction detection sensor that detects direction, and an altitude detection sensor that detects altitude. A control device that controls based on input data input by an input device,
The control device performs flight control of the unmanned aircraft and imaging control of the imaging timing of the imaging device,
a building information recording unit that records the reference coordinates of the building and the roof height of the roof input as the input data as building information;
a first flight control unit that causes the unmanned aircraft to fly to the reference coordinates and imaging altitude above the roof based on the reference coordinates of the building and the roof height;
a first imaging control unit that causes the imaging device to image the roof at a timing when the unmanned aircraft reaches the reference coordinates and the imaging altitude;
an overall image acquisition unit that acquires a bird's-eye view image including the entire captured roof;
a scale calculation unit that calculates a scale of the roof corresponding to the vertical and horizontal lengths of pixels of the bird's-eye view image based on the difference between the imaging altitude and the roof height and the angle of view of the imaging device;
a coordinate calculation unit that calculates position coordinates for each pixel of the bird's-eye view image from the scale and the reference coordinates;
A control device for an unmanned aerial vehicle for roof inspection, comprising at least the following.
前記制御装置は、前記屋根の寸法、前記屋根高さ、および前記撮像装置の画角に基づいて、前記撮像高度を算出する撮像高度算出部をさらに備えることを特徴とする請求項1に記載の屋根点検用の無人航空機の制御装置。 The building information recording unit records the dimensions of the roof in plan view as the building information,
The control device further includes an imaging altitude calculation unit that calculates the imaging altitude based on the dimensions of the roof, the roof height, and the angle of view of the imaging device. Control device for an unmanned aerial vehicle for roof inspection.
前記ルート設定画素の位置座標に基づいて、前記無人航空機の方位および高度を含む飛行ルートを設定する飛行ルート設定部と、
前記飛行ルート上に、前記屋根の部分を撮像する撮像座標を設定する撮像座標設定部と、
前記飛行ルートに沿って、前記無人航空機を飛行させる第2飛行制御部と、
前記無人航空機が前記撮像座標に到達したタイミングで、前記撮像装置に前記屋根の部分を撮像させる第2撮像制御部と、
撮像した前記屋根の部分の画像を取得する部分画像取得部と、
をさらに備えることを特徴とする請求項1または2に記載の屋根点検用の無人航空機の制御装置。 The control device includes a route setting pixel recording unit that records a plurality of pixels of the bird's-eye view image selected via the input device as route setting pixels for setting a flight route of the unmanned aircraft as the input data;
a flight route setting unit that sets a flight route including the direction and altitude of the unmanned aircraft based on the position coordinates of the route setting pixel;
an imaging coordinate setting unit that sets imaging coordinates for imaging the roof portion on the flight route;
a second flight control unit that causes the unmanned aircraft to fly along the flight route;
a second imaging control unit that causes the imaging device to image the roof portion at the timing when the unmanned aircraft reaches the imaging coordinates;
a partial image acquisition unit that acquires an image of the captured portion of the roof;
The control device for an unmanned aerial vehicle for roof inspection according to claim 1 or 2, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020166033A JP7456908B2 (en) | 2020-09-30 | 2020-09-30 | Unmanned aerial vehicle control device for roof inspection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020166033A JP7456908B2 (en) | 2020-09-30 | 2020-09-30 | Unmanned aerial vehicle control device for roof inspection |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022057660A JP2022057660A (en) | 2022-04-11 |
JP7456908B2 true JP7456908B2 (en) | 2024-03-27 |
Family
ID=81110525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020166033A Active JP7456908B2 (en) | 2020-09-30 | 2020-09-30 | Unmanned aerial vehicle control device for roof inspection |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7456908B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170193297A1 (en) | 2015-12-31 | 2017-07-06 | Unmanned Innovation, Inc. | Unmanned aerial vehicle rooftop inspection system |
JP2017138162A (en) | 2016-02-02 | 2017-08-10 | Jfe鋼板株式会社 | Inspection system and inspection method of structure |
US20180357478A1 (en) | 2014-01-10 | 2018-12-13 | Pictometry International Corp. | Unmanned aircraft structure evaluation system and method |
JP2019178998A (en) | 2018-03-30 | 2019-10-17 | 大和ハウス工業株式会社 | Position identification system |
-
2020
- 2020-09-30 JP JP2020166033A patent/JP7456908B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180357478A1 (en) | 2014-01-10 | 2018-12-13 | Pictometry International Corp. | Unmanned aircraft structure evaluation system and method |
US20170193297A1 (en) | 2015-12-31 | 2017-07-06 | Unmanned Innovation, Inc. | Unmanned aerial vehicle rooftop inspection system |
JP2017138162A (en) | 2016-02-02 | 2017-08-10 | Jfe鋼板株式会社 | Inspection system and inspection method of structure |
JP2019178998A (en) | 2018-03-30 | 2019-10-17 | 大和ハウス工業株式会社 | Position identification system |
Also Published As
Publication number | Publication date |
---|---|
JP2022057660A (en) | 2022-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11794890B2 (en) | Unmanned aerial vehicle inspection system | |
JP7260269B2 (en) | Positioning system for aeronautical non-destructive inspection | |
US10761525B2 (en) | Unmanned aerial vehicle inspection system | |
JP6478329B2 (en) | Structure inspection system and inspection method | |
US9513635B1 (en) | Unmanned aerial vehicle inspection system | |
JP5947634B2 (en) | Aerial photography imaging method and aerial photography imaging system | |
JP6387782B2 (en) | Control device, control method, and computer program | |
JP6441421B1 (en) | External material inspection system | |
US20220099442A1 (en) | Surveying System | |
JP2019016197A (en) | Moving entity induction system | |
JP2016225863A (en) | Imaging system, imaging method, and program | |
WO2020225979A1 (en) | Information processing device, information processing method, program, and information processing system | |
JP7456908B2 (en) | Unmanned aerial vehicle control device for roof inspection | |
JP6681101B2 (en) | Inspection system | |
EP3288828B1 (en) | Unmanned aerial vehicle system and method for controlling an unmanned aerial vehicle | |
JP7031997B2 (en) | Aircraft system, air vehicle, position measurement method, program | |
WO2021079516A1 (en) | Flight route creation method for flying body and management server | |
JP7444898B2 (en) | Mobile object, control device, and imaging method | |
JP7241584B2 (en) | Roof inspection methods and programs | |
JP7096022B2 (en) | Marking point marking system using UAV | |
JP7348759B2 (en) | unmanned aircraft control system | |
JP7165800B2 (en) | Shooting image correction method | |
JP2018174002A (en) | Mobile body | |
JP2004080580A (en) | Tracking method of panhead for camera and tracking camera panhead | |
JP7537222B2 (en) | Image provision system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240314 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7456908 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |