JP6039050B1 - Inspection method for structures using drone - Google Patents
Inspection method for structures using drone Download PDFInfo
- Publication number
- JP6039050B1 JP6039050B1 JP2015253551A JP2015253551A JP6039050B1 JP 6039050 B1 JP6039050 B1 JP 6039050B1 JP 2015253551 A JP2015253551 A JP 2015253551A JP 2015253551 A JP2015253551 A JP 2015253551A JP 6039050 B1 JP6039050 B1 JP 6039050B1
- Authority
- JP
- Japan
- Prior art keywords
- inspected
- information
- drone
- image
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 230000033001 locomotion Effects 0.000 claims description 10
- 230000007547 defect Effects 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims 1
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 abstract description 4
- 238000005259 measurement Methods 0.000 description 13
- 238000011835 investigation Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000035882 stress Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 241000287531 Psittacidae Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】被検査構造体の劣化・損傷個所およびその状態を検査画像撮影前にあらかじめ検知特定し、検査画像の撮影に適した位置を設定して、GPSを用いずに無人機をその位置に精度よく飛行制御して所望の検査画像を効率よく取得する構造物の検査方法を提供する。【解決手段】本発明の無人機を用いた構造物の検査方法は、被検査構造体を複数個所から撮影した画像を得るステップと、該複数画像から前記被検査構造体の三次元点群情報の画像を得るステップと、前記被検査構造体の近傍にトータルステーションＴＳを設置して該構造物の３点以上の地上三次元座標情報を得るステップと、該複数点の地上三次元座標情報を前記三次元点群情報の画像情報に重ねて前記被検査構造体の三次元点群情報の地上三次元座標情報を得るステップと、前記三次元点群情報から撮影位置を地上三次元座標情報で設定するステップと、カメラを搭載した無人機をＴＳにより前記撮影位置に誘導して前記被検査部位の検査画像を取得するステップとを踏むものとした。【選択図】図２An object of the present invention is to detect and specify in advance the position and state of a structure to be inspected and damaged before taking an inspection image, set a position suitable for taking the inspection image, and set the drone to that position without using GPS. Provided is a structure inspection method for efficiently obtaining a desired inspection image by performing flight control with high accuracy. A method of inspecting a structure using an unmanned aircraft according to the present invention includes a step of obtaining an image obtained by photographing a structure to be inspected from a plurality of locations, and three-dimensional point cloud information of the structure to be inspected from the plurality of images. Obtaining a three-dimensional ground coordinate information of the plurality of points, installing a total station TS in the vicinity of the structure to be inspected to obtain three or more ground three-dimensional coordinate information of the structure, Obtaining the ground three-dimensional coordinate information of the three-dimensional point cloud information of the structure to be inspected by superimposing the image information of the three-dimensional point cloud information, and setting the shooting position from the three-dimensional point cloud information by the ground three-dimensional coordinate information And a step of guiding an unmanned aircraft equipped with a camera to the imaging position by a TS to acquire an inspection image of the region to be inspected. [Selection] Figure 2
Description
本発明はカメラを搭載した無人航空機を用いた構造物等の三次元形状体の検査方法に関するもので、特に、人が近づきにくい橋梁の下面部分など構造物の精密画像を近接距離から取得する検査方法に適した技術である。 The present invention relates to a method for inspecting a three-dimensional shape body such as a structure using an unmanned aerial vehicle equipped with a camera, and in particular, an inspection for acquiring a precise image of a structure such as a lower surface portion of a bridge that is difficult for humans to approach from a close distance. This technique is suitable for the method.
我が国の社会インフラは、高度成長期に整備されたものが多く、老朽化の時期を迎え、橋、トンネルやダムといった設備の点検が必要となっている中、安全で財政的負担が軽くかつ効率的な検査技術や情報管理の技術が強く求められている。この様な要望に応える検査方法として、カメラを搭載した無人航空機（以下単に無人機という)による写真計測が注目され、実用化されつつある。この検査方法は危険部位に人が立ち入る必要がなく、足場を組む必要もなく、被検査部材表面の画像情報を取得することができるからである。 Many of Japan's social infrastructure was developed during the period of high growth, and since it is in the age of aging, it is necessary to inspect equipment such as bridges, tunnels, and dams. There is a strong demand for efficient inspection technology and information management technology. As an inspection method that meets such demands, photo measurement using an unmanned aerial vehicle (hereinafter simply referred to as an unmanned aerial vehicle) equipped with a camera is attracting attention and is being put into practical use. This is because this inspection method does not require a person to enter a dangerous site and does not require a scaffold, and can acquire image information on the surface of the member to be inspected.
自律型の無人機はドローン（Drone）と呼ばれ、元々偵察機として軍事用に開発されたものであったが、その後災害時の情報収集機として、近年では商業用や、民間利用も増加傾向にある。我が国では土木分野でもその活用が期待され、ドローン市場は年間１.５倍から２倍と急成長傾向を示している。特許文献１の「橋梁の損傷状態調査システム、橋梁の損傷状態調査方法および空中移動機器」には、空中移動機器を用いて、橋梁を構成する部材に生じるひび割れや、損傷の程度等の橋梁の損傷状態を調査・検査を行う空中移動機器を用いた橋梁の損傷状態調査システムおよび調査方法が開示されている。この発明の調査システムは、空中移動機器（無人機）と、この空中移動機器に搭載された撮影装置と、前記空中移動機器に搭載され、前記撮影装置で撮影したデータを送信する撮影データ送信部と、前記空中移動機器に搭載され、点検対象部分である橋梁の損傷程度認識用に、寸法基準を提供する測定機能部とを備えたものである。また、この発明の損傷状態調査方法は、空中移動機器から送信されてきた寸法基準付きの撮影データを受信し、リアルタイムに橋梁の損傷状態を調査可能とするものである。この文献では飛行制御について、地上側の調査員が空中移動機器を目視しながら操作したり、地上側の受信装置に送信されてきた撮像データをチェックしながら、空中移動機器の操作を行う方法と、自動飛行制御装置の自動飛行制御用GPSを作動させ、その飛行経路を一部自動化して、空中移動機器と橋梁との衝突等の不測の事態を回避したり、効率的な撮影が得られるようにする手法が記載されている。この調査方法は橋梁の損傷状態について無人機を飛行させながら発見し、発見したならば、その位置に無人機をホバリングさせて撮影するという手順を踏むものであるため、橋梁全体にわたり無人機を飛行させつつ損傷個所を発見する準備作業が必須となり、現場での作業負担が重い。 Autonomous drones were called drones and were originally developed for military use as reconnaissance aircraft. However, in recent years, they are also increasing in commercial and private use as information gatherers during disasters. It is in. In Japan, it is expected to be used in the civil engineering field, and the drone market shows a rapid growth trend of 1.5 to 2 times a year. Patent document 1 “Bridge damage state investigation system, bridge damage state investigation method and aerial mobile equipment” uses aerial mobile equipment to check for cracks in the members constituting the bridge, the degree of damage, etc. A damage state investigation system and an investigation method for a bridge using an aerial mobile device that investigates and inspects a damage state are disclosed. An investigation system according to the present invention includes an aerial mobile device (unmanned aircraft), an imaging device mounted on the aerial mobile device, and an imaging data transmission unit that is mounted on the aerial mobile device and transmits data captured by the imaging device. And a measurement function unit that is mounted on the aerial mobile device and provides a dimensional reference for recognizing the degree of damage to the bridge that is the inspection target part. In addition, the damage state investigation method of the present invention receives imaging data with a dimensional standard transmitted from an aerial mobile device and makes it possible to investigate the damage state of a bridge in real time. In this document, regarding flight control, a ground investigator operates while viewing an aerial mobile device, or operates an aerial mobile device while checking imaging data transmitted to a receiving device on the ground. By operating the automatic flight control GPS of the automatic flight control device and partially automating the flight path, it is possible to avoid unexpected situations such as collisions between mobile devices and bridges, and to obtain efficient shooting The technique to do is described. This investigation method is to discover the damage state of the bridge while flying the drone, and if found, it takes the procedure of shooting with the drone hovering at that position, so while flying the drone over the entire bridge Preparatory work to find damaged parts is essential, and the work burden on the site is heavy.
検査画像を撮影する前に損傷個所を検知するために無人機には橋梁の調査領域をあらかじめ飛行させる予備調査で損傷個所を検知しておき、撮影位置を設定してGPSを利用した自動飛行制御する方式をとることも可能であるが、構造物の損傷個所を調査する場合、無人機はその位置情報を正確に把握していることが重要である。現在はGPS等の衛星測位を利用した自律飛行が一般に採用されている。それはジャイロ等を搭載する自律航行より簡便であり計測精度もよいためである。しかし、前述した橋梁下面やトンネル内部、鉄骨構造体の影部など場所によってはGPSの電波が届かないという所もあって、この方式が不適合な環境もある。また、GPSによる精度についても現在は無人機の位置計測において誤差は１乃至２ｍ程度あるとされ、求められる精度として十分とは言えないケースも多い。 In order to detect the damaged part before taking the inspection image, the drone detects the damaged part in the preliminary investigation to fly the investigation area of the bridge in advance, sets the photographing position and automatically controls the flight using GPS However, when investigating a damaged part of a structure, it is important that the drone accurately grasps the position information. Currently, autonomous flight using satellite positioning such as GPS is generally adopted. This is because it is simpler than autonomous navigation equipped with a gyro etc. and has better measurement accuracy. However, depending on the location, such as the bridge underside, inside the tunnel, or the shadow of the steel structure described above, there are places where GPS radio waves do not reach. Also, with regard to the accuracy by GPS, there is currently an error of about 1 to 2 m in the position measurement of the drone, and there are many cases where the required accuracy is not sufficient.
計測機能を備えた無人機を所望位置に移動させ対象物の計測を行うシステムにおいて、精度の高い位置制御手法として、トータルステーションを用いたものが特許文献２に示されている。この発明は対象物表面の測定点の３Ｄ座標を得る形状測定を目的としたもので、被検査体の検査画像を取得する技術ではないが、この文献には、トータルステーションのような測定器によって、エアークラフト（無人機）に配置されているモジュール、例えば反射器に照準を合わせることができることによって、エアークラフトの実際位置を確定することができる。例えば、較正プロセスが測定器側で実施されており、従って機器が既知の位置の測定によって固有位置決定を実施できていたことによって、測定器の位置は既知であるとすることができる。この測定ステーションによって、エアークラフトにおける反射器に照準が合わせられると、放射された測定ビームの配向を決定することによって、エアークラフトへの方向を決定することができ、また、測定ビームを用いて実施された距離測定に基づき、エアークラフト迄の距離を確定することができる。それらのパラメータから、測定器に対するエアークラフトの相対的な位置を一義的且つ正確に決定することができ、また、測定器の位置を考慮して、エアークラフトの絶対的な位置、特に測地的に正確な位置を導出することができる。そのようにして決定された、特に連続的に決定されたエアークラフトの位置（実際位置）に基づき、エアークラフトの制御を実施することができる。このために、位置情報から制御データを取得することができ、また、それらの制御データによってエアークラフトは所定の目標位置へと飛行させることができることが記述されている。トータルステーションによる無人機の位置制御は現在のところ400ｍ程度の距離まで可能であり、その位置精度としては±２ｍｍ程度まで可能とされており、衛星測位方式に比べて格段に精度が高い。 In a system for measuring an object by moving a drone equipped with a measurement function to a desired position, Patent Document 2 discloses a highly accurate position control technique using a total station. This invention is intended for shape measurement to obtain 3D coordinates of measurement points on the surface of an object, and is not a technique for acquiring an inspection image of an object to be inspected. The actual position of the air craft can be determined by being able to aim at a module, such as a reflector, arranged in the air craft (unmanned aircraft). For example, the position of the meter can be known because the calibration process has been performed on the meter side and thus the instrument has been able to perform eigenlocation determination by measuring a known position. When this measuring station is aimed at a reflector in the aircraft, it can determine the direction to the aircraft by determining the orientation of the emitted measurement beam, and can also be carried out using the measurement beam Based on the measured distance measurement, the distance to the aircraft can be determined. From these parameters, the relative position of the aircraft relative to the measuring instrument can be determined uniquely and accurately, and the absolute position of the aircraft, especially geodesic, taking into account the position of the measuring instrument An accurate position can be derived. Control of the air craft can be performed based on the position (actual position) of the air craft determined as described above, particularly continuously. For this reason, it is described that control data can be acquired from position information, and that the aircraft can be caused to fly to a predetermined target position by the control data. The position control of the drone by the total station is currently possible up to a distance of about 400 m, and the position accuracy is possible up to about ± 2 mm, which is much higher accuracy than the satellite positioning method.
このトータルステーションによる無人機の位置制御方式はトータルステーションを設置した地上座標系で正確に無人機位置を制御できるのであるが、この技術を橋梁等の構造物検査に適用した場合、未知の劣化・損傷個所を検知する際には全検査領域にわたり予め無人機を飛行させ該当個所を把握する予備調査が必要となる。また、検査領域を均一に分割し、順次設定位置からの検査画像を取得することも可能であるが、損傷個所を特定したものではないので、撮影回数も多くなるし、撮影された検査画像も最適アングルからのものではないので、適正な検査画像が得られないという問題がある。 The position control method of the drone using this total station can accurately control the position of the drone in the ground coordinate system where the total station is installed. However, when this technology is applied to the inspection of structures such as bridges, unknown degradation / damage locations In order to detect this, it is necessary to conduct a preliminary survey in which an unmanned aircraft flies in advance over the entire inspection area to grasp the corresponding portion. In addition, it is possible to divide the inspection area uniformly and acquire the inspection image from the set position sequentially, but since the damaged part is not specified, the number of times of shooting increases, and the inspection image taken Since it is not from the optimum angle, there is a problem that an appropriate inspection image cannot be obtained.
本発明の課題は、被検査構造体の劣化・損傷個所と思われる箇所を検査画像撮影前にあらかじめ予測特定し、検査画像の撮影に適した位置を設定して、GPSを用いずに無人機をその位置に精度よく飛行制御して所望の検査画像を効率よく取得する構造物の検査方法を提供することにある。 An object of the present invention is to predict and identify in advance a portion of a structure to be inspected that is likely to be deteriorated / damaged before photographing an inspection image, set a position suitable for photographing the inspection image, and use a drone without using GPS. It is an object of the present invention to provide a structure inspection method capable of efficiently obtaining a desired inspection image by accurately controlling the flight of the object at the position.
本発明の無人機を用いた構造物の検査方法は、被検査構造物を複数個所から撮影した画像を得るステップと、該複数画像から前記被検査構造物の三次元点群情報の画像を得るステップと、前記被検査構造物の近傍に自動追尾型トータルステーションを設置して該構造物の３点以上の地上三次元座標情報を得るステップと、該複数点の地上三次元座標情報を前記三次元点群情報の画像情報に重ねて前記被検査構造物の三次元点群情報の地上三次元座標情報を得るステップと、前記三次元点群情報から被検査部位を撮影する位置を地上三次元座標情報で設定するステップと、カメラを搭載した無人機を前記自動追尾型トータルステーションにより前記撮影位置に誘導制御して前記被検査部位の検査画像を取得するステップとを踏むものである。
また、本発明の無人機を用いた構造物の検査方法は、上記構成に加え、前記撮影位置は事前にメモリに記憶させておき、無人機の移動をプログラムして位置制御させるようにした。
また、更なる本発明の無人機を用いた構造物の検査方法は、上記構成に加え、前記被検査構造物の三次元点群情報の画像から欠陥と推定される部位を把握し、該情報に基づき最適な位置と撮影視覚を決定し、撮影位置とカメラ角度を制御するようにした。
The method for inspecting a structure using the drone according to the present invention includes a step of obtaining an image obtained by photographing a structure to be inspected from a plurality of locations, and an image of three-dimensional point cloud information of the structure to be inspected from the plurality of images. A step of installing an automatic tracking type total station in the vicinity of the structure to be inspected to obtain three or more ground three-dimensional coordinate information of the structure; and the three-dimensional ground coordinate information of the plurality of points Obtaining the ground three-dimensional coordinate information of the three-dimensional point cloud information of the structure to be inspected by superimposing the image information of the point cloud information; and the ground three-dimensional coordinates of the position where the inspection site is imaged from the three-dimensional point cloud information The step of setting by information and the step of obtaining an inspection image of the region to be inspected by guiding and controlling an unmanned aircraft equipped with a camera to the imaging position by the automatic tracking total station.
In addition to the above-described structure, the structure inspection method using the drone according to the present invention stores the photographing position in a memory in advance, and controls the position by programming the movement of the drone.
Further, the structure inspection method using the unmanned aerial vehicle according to the present invention further includes a part estimated as a defect from an image of the three-dimensional point cloud information of the structure to be inspected in addition to the above configuration, and the information Based on the above, the optimal position and shooting vision were determined, and the shooting position and camera angle were controlled.
本発明の無人機を用いた構造物の検査方法は、GPSを用いない無人機の自律飛行手法として自動追尾型トータルステーションを採用するものであるため、衛星測位電波の届かない領域でも使用可能であり、その位置制御精度も衛星測位制御に勝るとの効果を奏する。
また、本発明の無人機を用いた構造物の検査方法は、被検査構造体を複数個所から撮影した画像を得て前記被検査構造体の三次元点群情報の画像を取得するものであるから、その画像から破損個所など要検査部位を特定することができると共に、その被検査構造体の三次元点群情報から被検査構造体の立体構造を検知し、どの個所に応力集中等の負荷がかかり、疲労している箇所であるかを推定して特定することを無人機によるデータ取得前に容易に行うことができる。またその立体画像から損傷状態をある程度事前に把握できた場合には、どのアングルから撮影すれば効果的な検査画像が得られるかを決定することも可能となる。
また、本発明の無人機を用いた構造物の検査方法は、被検査構造体の近傍に自動追尾型のトータルステーションＴＳを設置して該構造物表面の３点以上の地上三次元座標情報を得て、該複数点の地上三次元座標情報を前記三次元点群情報の画像情報に重ねることにより、前記被検査構造体の三次元点群情報の地上三次元座標情報をあらかじめ得るものであるから、特定された検査箇所に無人機をＴＳにより精度よく位置制御することが可能となる。
The structure inspection method using the drone of the present invention adopts an automatic tracking type total station as an autonomous flight method of an unmanned aircraft that does not use GPS, and can be used even in an area where satellite positioning radio waves do not reach. The position control accuracy is also superior to satellite positioning control.
Further, the structure inspection method using the unmanned aircraft of the present invention obtains an image of the structure to be inspected from a plurality of locations and acquires an image of the three-dimensional point cloud information of the structure to be inspected. From this image, it is possible to specify the inspection site such as a damaged part from the image, and detect the three-dimensional structure of the structure to be inspected from the 3D point cloud information of the structure to be inspected, and load such as stress concentration at any part It can be easily performed before the data acquisition by the unmanned aerial vehicle to identify and identify whether the place is fatigued. In addition, when the damage state can be grasped to some extent in advance from the stereoscopic image, it is possible to determine from which angle an effective inspection image can be obtained.
Further, in the structure inspection method using the unmanned aircraft of the present invention, an automatic tracking type total station TS is installed in the vicinity of the structure to be inspected to obtain three-dimensional coordinate information on three or more points on the surface of the structure. Then, the ground three-dimensional coordinate information of the three-dimensional point group information of the structure to be inspected is obtained in advance by superimposing the ground three-dimensional coordinate information of the plurality of points on the image information of the three-dimensional point group information. The position of the drone can be accurately controlled by the TS at the specified inspection location.
本発明の無人機を用いた構造物の検査方法は、前記撮像位置情報を事前にメモリに記憶させておき、無人機の移動をプログラムして位置制御させるようにすることにより、特許文献１のように無人機を飛行させその撮影画面から劣化・破損個所を検知しながら検査画像を撮影するようなオペレータに負担をかけることもなく、全領域にわたり撮影位置を均等間隔に設定して検査画像を自動取得できることは勿論、要検査部位を選定してより短時間で、かつ検査箇所の見落としもなく着実に検査画像を取得する構造物の検査を実施することができる。また、検査にあたり操作する者の負担を大きく軽減することができる。
また、本発明の無人機を用いた構造物の検査方法は、前記被検査構造体の三次元点群情報の画像から欠陥部と推定される部位を把握し、該欠陥推定情報に応じて最適な位置と撮影視覚を決定し、撮影位置とカメラ角度を制御するようにしたことにより、被検査構造体の劣化・破損部の状況をよく観察できる適正画像の取得が可能となる。
According to the method for inspecting a structure using the drone of the present invention, the imaging position information is stored in a memory in advance, and the movement of the drone is programmed to control the position. In this way, it is possible to set the shooting positions at equal intervals over the entire area without burdening the operator to take the inspection image while flying the drone and detecting the deterioration / damaged part from the shooting screen. Of course, it is possible to automatically inspect, and it is possible to inspect a structure that steadily acquires an inspection image in a shorter time and without overlooking the inspection site by selecting an inspection site. In addition, the burden on the person operating the inspection can be greatly reduced.
Further, the structure inspection method using the unmanned aircraft according to the present invention grasps a portion estimated as a defect portion from the image of the three-dimensional point cloud information of the structure to be inspected, and is optimal according to the defect estimation information. By determining the correct position and shooting vision and controlling the shooting position and the camera angle, it is possible to obtain an appropriate image that allows a good observation of the state of the deteriorated / damaged part of the structure to be inspected.
以下、本発明の実施の形態について、詳細に説明する。本発明に係る無人機を用いた構造物の検査方法の実行手順は図１に示すとおりである。まず最初の作業は、橋梁などの被検査構造体を複数個所から画角の異なる撮影した複数の画像を得ることである。この作業から得られた多視点画像をステレオマッチングして被検査構造体の三次元点群データを作成する。被検査構造体が大型の場合は領域を分割し、複数領域の画像を組み合わせて全体画像を取得する。その場合、隣接画像は一部重なる部分を有するようにして重ね合わせて合成画像とする。この三次元点群データを作成する手法にはＳｆＭ（Structure from Motion）をはじめとする既存の手法が利用できるが、これによって得られる三次元座標データは三次元形状情報であってスケール情報を持たない。要するにこの三次元点群データは、形状が分かるがその寸法は分からない情報である。そこで、本発明は被検査構造体上の３点以上の特定点を選んでその位置を地上座標系データとして取得し、その複数の特定点位置座標データを前記三次元画像の点群データの特定点データに重ねデータを対応させる。これによって、前記被検査構造体の三次元点群情報がすべて地上三次元座標情報に変換できる。これによって得られた被検査構造体の地上三次元座標情報をＰＣ５に記憶蓄積する。 Hereinafter, embodiments of the present invention will be described in detail. The execution procedure of the structure inspection method using the drone according to the present invention is as shown in FIG. The first task is to obtain a plurality of images obtained by photographing different structures such as bridges from different positions. The multi-viewpoint image obtained from this work is stereo-matched to create 3D point cloud data of the structure to be inspected. When the structure to be inspected is large, the area is divided and an entire image is obtained by combining images of a plurality of areas. In that case, the adjacent images are overlapped so as to partially overlap to form a composite image. Existing methods such as SfM (Structure from Motion) can be used as a method for creating the three-dimensional point cloud data. The three-dimensional coordinate data obtained by this method is three-dimensional shape information and has scale information. Absent. In short, this three-dimensional point cloud data is information whose shape is known but its dimensions are unknown. Therefore, the present invention selects three or more specific points on the structure to be inspected, acquires the positions as ground coordinate system data, and specifies the plurality of specific point position coordinate data for the point group data of the three-dimensional image. The overlap data is associated with the point data. Thereby, all the three-dimensional point group information of the structure to be inspected can be converted into the ground three-dimensional coordinate information. The ground three-dimensional coordinate information of the structure to be inspected thus obtained is stored and stored in the PC 5.
本発明は、無人機を飛翔させて被検査構造体の検査画像を取得する前作業として、前記三次元画像を用いて被検査構造体の劣化・破損部の位置と画像から判別できる情報を予め把握しておく。この情報から被検査構造体全領域にわたり撮影位置を均等間隔に設定してその位置に無人機を誘導し、検査画像を自動取得することができる。また、その画像から三次元構造が分かるので、応力集中が起こる部分も把握できるし、既に表面が破損したり亀裂を生じたりしている個所についてはその画像からその部位を把握できる。したがって、前記三次元画像からは劣化や破損が認められなくてもその部分の近接画像を得て詳細に検査し、検討することができる。また、どのアングルから撮影すると要検査箇所の最適画像が得られるかも検知することができる。さらに、前記三次元画像を検証する作業によって被検査構造体全般についてではなく、どの部分の検査画像を取得するかを選別して特定し、その検査箇所を撮影するための無人機の位置を地上三次元座標情報として設定するようにして、特定箇所の検査画像を効率的に取得することが可能である。前記被検査構造体の三次元点群情報がすべて地上三次元座標情報に変換されているので、検査箇所および無人機の位置設定を地上三次元座標情報で管理することができる。これらの点に本発明の大きな技術的意義があるといえる。 In the present invention, as a pre-operation for acquiring an inspection image of a structure to be inspected by flying an unmanned aerial vehicle, information that can be discriminated from the position and image of a deteriorated / damaged portion of the structure to be inspected using the three-dimensional image is obtained in advance. Keep track. From this information, the imaging positions can be set at equal intervals over the entire region of the structure to be inspected, the drone can be guided to the positions, and the inspection image can be automatically acquired. Further, since the three-dimensional structure can be understood from the image, it is possible to grasp the portion where the stress concentration occurs, and it is possible to grasp the part from the image where the surface has already been damaged or cracked. Therefore, even if no deterioration or breakage is observed from the three-dimensional image, it is possible to obtain a close-up image of that portion and examine it in detail for examination. In addition, it is possible to detect from which angle the optimum image of the point requiring inspection can be obtained. Further, the operation of verifying the three-dimensional image selects not only the general structure to be inspected but also specifies which part of the inspection image is to be acquired, and determines the position of the drone for photographing the inspection point on the ground. By setting as three-dimensional coordinate information, it is possible to efficiently acquire an inspection image at a specific location. Since all the three-dimensional point cloud information of the structure to be inspected is converted into the ground three-dimensional coordinate information, the position setting of the inspection location and the drone can be managed by the ground three-dimensional coordinate information. It can be said that these points have a great technical significance of the present invention.
被検査構造体の検査箇所の特定および当該箇所の検査画像を撮影するための無人機の位置設定がなされたならば、いよいよ検査画像の取得作業となる。ＴＳ２を用いた位置制御によりカメラ３を搭載した無人機１を前記撮影位置に誘導して前記検査箇所の検査画像を撮影する。第１の検査箇所の検査画像が撮影されたなら、第２の検査箇所の検査画像を撮影するための無人機１の移動を行い検査画像を撮影する。無人機の位置情報はこの作業において１つの検査箇所を対象とした検査画像の撮影が完了した後、オペレータが次の位置情報を順次設定入力してもよいし、予めすべての位置情報をプログラム化して設定入力し位置制御を行わせるようにしてもよい。設定されたすべての場所での撮影が終了したところで本発明に係る無人機を用いた構造物の検査は完了する。 Once the inspection location of the structure to be inspected is specified and the position of the drone for capturing the inspection image of the location is set, the inspection image acquisition operation is finally completed. The drone 1 equipped with the camera 3 is guided to the photographing position by position control using the TS 2 to photograph the inspection image of the inspection portion. When the inspection image of the first inspection location is captured, the drone 1 for capturing the inspection image of the second inspection location is moved to capture the inspection image. The position information of the drone can be set and input sequentially by the operator after the imaging of the inspection image for one inspection point is completed in this work, or all the position information is programmed in advance. The position may be controlled by inputting the setting. The inspection of the structure using the unmanned aircraft according to the present invention is completed when shooting at all the set places is completed.
本発明において、検査画像を撮影するカメラを搭載した無人機の位置制御は、被検査構造体の適正箇所を適正な検査画像として得るための重要な要素となるので、この手法について詳しい説明をしておく。無人機１にはカメラ３が搭載され、該カメラ３は撮像アングルが可変の機構が備えられている。また、該無人機１には反射プリズム４が取り付けられ、自動追尾型トータルステーション（ＴＳ）２からのレーザ光を反射する。このＴＳ２は経緯儀と距離測定器およびコンピューターを内蔵している三次元計測器であって、光波測距儀の動作原理は、反射プリズムで反射した光波を測距儀が感知するまでに発振した回数と位相差から距離を得るというものである。レーザ光の照射角度はＴＳ２において既知の値であるからこの角度と距離データとからＴＳ接地位置を原点とした無人機１の位置の座標データを得ることができる。 In the present invention, position control of an unmanned aircraft equipped with a camera for taking an inspection image is an important element for obtaining an appropriate portion of the structure to be inspected as an appropriate inspection image. Keep it. The drone 1 is equipped with a camera 3, and the camera 3 is provided with a mechanism that can change an imaging angle. The drone 1 is provided with a reflecting prism 4 for reflecting the laser beam from the automatic tracking total station (TS) 2. This TS2 is a three-dimensional measuring instrument with a theodolite, a distance measuring instrument and a computer. The principle of operation of the light wave measuring instrument oscillates until the measuring instrument senses the light wave reflected by the reflecting prism. The distance is obtained from the number of times and the phase difference. Since the laser beam irradiation angle is a known value in TS2, coordinate data of the position of the drone 1 with the TS grounding position as the origin can be obtained from this angle and distance data.
図２に示したものは本発明の無人機を位置制御する手法を概念的に示した図である。無人機１とＴＳ２そして位置制御用のコンピューター（ＰＣ）５を準備し、まず、被検査構造体10の近傍位置にＴＳ２を設置する。図３に示したフローチャートのように、ステップ１で無人機１を被検査構造体10の近傍に飛翔させる。この無人機１の反射プリズムに向け、ＴＳ２からレーザ光を照射して捉え、該無人機１の現在位置を座標情報として把握する。次に、ステップ２で無人機１の位置制御装置としての機能を果たすＰＣ５は、この現在位置情報と特定された被検査構造体10の検査箇所を撮影するために最適と設定された無人機位置情報との変位量を算出し、ステップ３でＰＣ５は、無人機１に移動量送信と共に移動を指令すると、該無人機１の駆動機構を制御して設定値への移動を開始する。ＰＣ５と無人機１へのデータ送信は無線ＬＡＮ(Wi-Fi)などの手段を用いて行われる。ステップ４で、無人機１の移動に伴いＴＳ２はトラッキング機能により無人機の自動追尾を行い、捉えた無人機１の位置情報と設定値とのズレを検知し、その位置ズレを修正するように再制御する。この自動追尾動作を順次行い、無人機１の測定位置情報と設定位置が一致したところで位置移動制御を停止し、ホバリング状態とする。次に、ステップ５で、無人機１が停止している状態で検査画像の撮影態勢に入るが、このとき、カメラのアングルは検査箇所の位置と無人機１の位置との関係から割り出された所望アングルに制御され、撮影が実行される。これにより、被検査構造体10の第１の検査箇所の撮影を終了し、第２の検査箇所の撮影に移る。無人機１の現在位置と第２の設定位置との差から無人機１の変位量をＰＣ５で計算する。この動作はステップ２の動作と同様である。以下同様にステップ３、ステップ４を踏み、第２の設定値位置に一致したらステップ５と同様に第２の設定位置での検査画像を撮影する。以下順次、第３、第４の設定位置での検査画像を撮影し、すべての設定位置での検査画像を撮影して被検査構造体の検査を完了する。 FIG. 2 conceptually shows a method for controlling the position of the drone of the present invention. A drone 1, a TS 2, and a position control computer (PC) 5 are prepared. First, the TS 2 is installed in the vicinity of the structure 10 to be inspected. As shown in the flowchart of FIG. 3, the drone 1 is caused to fly near the structure to be inspected 10 in step 1. The laser beam is irradiated from TS2 toward the reflecting prism of the drone 1 and captured, and the current position of the drone 1 is grasped as coordinate information. Next, the PC 5 that functions as the position control device of the drone 1 in step 2 sets the drone position set to be optimal for photographing the inspection location of the structure 10 to be inspected, which is specified as the current position information. The displacement amount with the information is calculated, and in step 3, when the PC 5 instructs the unmanned aircraft 1 to move together with the movement amount transmission, the PC 5 controls the driving mechanism of the unmanned aircraft 1 and starts moving to the set value. Data transmission to the PC 5 and the drone 1 is performed using means such as a wireless LAN (Wi-Fi). In step 4, as the drone 1 moves, the TS 2 automatically tracks the drone using the tracking function, detects a deviation between the detected position information of the drone 1 and the set value, and corrects the deviation. Control again. The automatic tracking operation is sequentially performed, and when the measurement position information of the drone 1 matches the set position, the position movement control is stopped and the hovering state is set. Next, in step 5, the inspection image capturing system is entered with the drone 1 stopped. At this time, the angle of the camera is determined from the relationship between the position of the inspection location and the position of the drone 1. The desired angle is controlled and shooting is performed. Thereby, the imaging | photography of the 1st test | inspection location of the to-be-inspected structure 10 is complete | finished, and it transfers to imaging | photography of the 2nd test | inspection location. The displacement amount of the drone 1 is calculated by the PC 5 from the difference between the current position of the drone 1 and the second set position. This operation is the same as the operation in Step 2. Thereafter, step 3 and step 4 are similarly performed, and when the second set value position is matched, an inspection image at the second set position is photographed similarly to step 5. Thereafter, the inspection images at the third and fourth setting positions are sequentially photographed, and the inspection images at all the setting positions are photographed to complete the inspection of the structure to be inspected.
ここでは、橋梁の老朽化を検査する例として本発明の実施形態を説明する。橋梁の場合人目に付きにくい下面部の状態を検査することが求められる。まず、被検査構造体である橋梁の下面部を橋の下方から、複数個所から撮影し画像情報を取得する。橋梁が大きい場合には各部分ごとに区分して多数の画像を撮影する。橋梁10の下面は梁構造が組み合わされた立体構造であるため、多方向からの撮像画像の取得が必要となる。この例のように大型の橋梁であれば長手方向に区分して部分画像を撮影するようにする。この様にして得られた画像を組み合わせ、橋梁10の三次元点群データを作成する。この実施形態ではＳｆＭ（Structure from Motion）の手法を利用したが、これに限られるものではなく、適宜の手法で三次元点群データを作成することができ、この三次元点群データはコンピューターに蓄積される。しかし、この三次元点群データは構造体の表面形状をデータとして蓄積したものであって、この点群の元データは形状が把握できるが各部位間の距離情報は相対的なものであるため、絶対距離、すなわち、形状の寸法の情報を得ることはできない。 Here, an embodiment of the present invention will be described as an example of inspecting aging of a bridge. In the case of a bridge, it is required to inspect the state of the lower surface part that is not easily noticeable. First, the lower surface of the bridge, which is the structure to be inspected, is photographed from a plurality of locations from below the bridge to obtain image information. When the bridge is large, a lot of images are taken by dividing each part. Since the lower surface of the bridge 10 is a three-dimensional structure in which beam structures are combined, it is necessary to acquire captured images from multiple directions. In the case of a large bridge as in this example, a partial image is taken in the longitudinal direction. The three-dimensional point cloud data of the bridge 10 is created by combining the images obtained in this way. In this embodiment, the SfM (Structure from Motion) method is used. However, the present invention is not limited to this, and three-dimensional point cloud data can be created by an appropriate method. Accumulated. However, this 3D point cloud data is the accumulated surface shape of the structure as data, and the original data of this point cloud can grasp the shape, but the distance information between each part is relative It is not possible to obtain information on the absolute distance, that is, the shape dimension.
そこで、本発明では距離情報を加えた絶対座標で表示するために、被検査構造体である橋梁10の下方特定位置に自動追尾型トータルステーションＴＳ２を設置して該構造物の３点以上の地上三次元座標情報を得るようにする。ここで用いたトータルステーションＴＳ２を図４に示す。このＴＳはトプコンIS305（トプコン社製の自動追尾トータルステーションの商品名）で、その仕様は表１に示すとおりである。このＴＳは所望地点に設置可能なように三脚の固定されており、ＴＳ本体にはレーザ送受波機６と望遠鏡７が取り付けられている。
次に、データベースである橋梁の三次元点群データを読み出し、ディスプレイ上に橋梁の画像を一方の端部から他方の端部まで部分画像として順次表示させる。特定場所を適宜の視角からディスプレイ上に表示させることができるので、被検査構造体である橋梁の下面部端部から他端部にわたる全域について順次表示させてゆく。この部分画像を観察しながら橋梁10に亀裂や劣化が認められる部分がないかをディスプレイ上で確認する。その時表示されている画面では影となって観察できない個所については視角を変更して観察する。これが可能となるのは三次元点群データを用いていることによる本発明の格別の効果である。亀裂や劣化があると思われる箇所を発見したならば、その箇所の三次元座標データをパソコン５上に順次記録蓄積してゆく。被検査構造体である橋梁10の全領域について事前準備としてこの観察作業を行う。この作業は現場で行うことも可能であるが、パソコンを用いてどこでも行えるものであるから、気象状況にも影響されない研究室等で落ち着いて行うことができる。橋梁10の全領域についディスプレイ上で観察を行い、亀裂や劣化が疑われる場所をピックアップする。ピックアップする箇所は画面観察から亀裂や劣化らしきものを拾うと共に、橋梁の構造上応力が集中し、劣化が予測される部分などを拾い上げる。しかも三次元点群データによって所望角度からの観察が可能であるため現場で無人機を飛行させながら亀裂や劣化部分を発見する方法に比べ、精度のよい発見ができる。そして、単に撮影箇所の特定だけでなく、構造上どの方向から撮影すれば的確な検査画像を得ることができるかも判断できる。したがって、これらのことを踏まえて、亀裂や劣化の各部分について無人機のホバリング位置と方向を設定することができる。橋梁の端部から順にこの情報を記憶させ、飛行プログラムとしてファイル化しておく。 Next, the 3D point cloud data of the bridge as a database is read, and the image of the bridge is sequentially displayed on the display as a partial image from one end to the other end. Since the specific location can be displayed on the display from an appropriate viewing angle, the entire area from the lower end portion to the other end portion of the bridge which is the structure to be inspected is sequentially displayed. While observing this partial image, it is confirmed on the display whether there are any cracks or deteriorations in the bridge 10. Change the viewing angle and observe the parts that cannot be observed as shadows on the displayed screen. This is possible because of the special effect of the present invention by using three-dimensional point cloud data. If a spot that seems to have cracks or deterioration is found, the three-dimensional coordinate data of the spot is sequentially recorded and accumulated on the personal computer 5. This observation work is performed as a preliminary preparation for the entire region of the bridge 10 that is the structure to be inspected. Although this work can be performed on site, it can be performed anywhere using a personal computer, so it can be performed calmly in a laboratory that is not affected by weather conditions. Observe the entire area of the bridge 10 on the display and pick up places where cracks and deterioration are suspected. As for picking up parts, pick up cracks and parts that appear to be deteriorated from the screen observation, and pick up parts that are predicted to deteriorate due to the stress on the bridge structure. In addition, since observation from a desired angle is possible by using the three-dimensional point cloud data, it is possible to detect with higher accuracy than the method of detecting cracks and deteriorated parts while flying the drone on site. Then, it is possible not only to specify the shooting location but also to determine from which direction the structure can be taken to obtain an accurate inspection image. Therefore, based on these facts, the hovering position and direction of the drone can be set for each part of the crack and deterioration. This information is stored in order from the end of the bridge and filed as a flight program.
この事前準備が完了したなら、現場に図１に示したような無人機１と自動追尾トータルステーション２及びパソコン５を持ち込み検査画像の撮影を行う。ここで用いた無人機を図５に示す。この無人機はParrot社製造のAR.Drone2.0（製品名）で、左側が無人機１を上から見た平面写真であり、右側が横から見た側面写真である。カメラ３は無人機本体の前方に設置され、反射プリズム４は無人機本体の下方中央部に設置されている。カメラ３はもともと製品に備えられているが、プリズム４は当方で取り付けたものである。この無人機の仕様は表２に示すとおりである。
先の飛行プログラムをコンピューター５によって実行させるが、無人機１への指令はWi-Fiを介して送るようにした。まず、無人機１を離陸させ、適宜の位置でホバリングさせて停止する。ＴＳ２をその無人機１の方向に向けてレーザ光を放射させ、無人機１のプリズム４にスポットを合わせる。ＴＳ２の測位機能によって無人機１の現在位置（地球座標系情報）を測定し、この情報をコンピューター５に送る。この動作は図３のフローチャートのステップ１にあたる。プログラムされている最初の撮影位置、すなわち同じ地球座標系情報と比較し、移動すべき変位量を算出する。これは図３のステップ２にあたる。以下、図３に示したフローにしたがって順次検査画像を取得する。図６に示した写真は本発明によって橋脚の劣化部分を撮影した検査画像の１例である。 The previous flight program was executed by the computer 5, but the command to the drone 1 was sent via Wi-Fi. First, the drone 1 is taken off, hovered at an appropriate position, and stopped. Laser light is emitted by directing TS2 toward the drone 1, and the spot is aligned with the prism 4 of the drone 1. The current position (earth coordinate system information) of the drone 1 is measured by the positioning function of TS2, and this information is sent to the computer 5. This operation corresponds to Step 1 in the flowchart of FIG. Compared to the first programmed shooting position, that is, the same earth coordinate system information, a displacement amount to be moved is calculated. This corresponds to step 2 in FIG. Thereafter, the inspection images are sequentially acquired according to the flow shown in FIG. The photograph shown in FIG. 6 is an example of an inspection image obtained by photographing a deteriorated portion of a pier according to the present invention.
現場で自動追尾型トータルステーション２による無人機１の位置制御の実際を確認した。使用したＴＳ２は最大追尾速度が15度/秒であるから、無人機１の移動速度をこの範囲内に設定しておけば、自動追尾機能に問題がないはずであり、実験では60ｃｍ/秒で移動する無人機の移動に対応できることが確認できた。ただ、上下・左右方向の移動については問題がないが、円弧状に移動させたり、強風等の影響により急激で不規則な移動をした場合にはＴＳ２が無人機１を見失うことが起こることも確認できた。その対策として所定時間無人機１の位置データが取れないときは無人を停止させるようにした。その状態で、ＴＳ２のトラッキング機能を作動させることにより10秒以内で無人機１のプリズム４を捉えることが確認できた。もし、ＴＳが捉えられなかったときはステップ１で行ったようにマニュアルで無人機１のプリズム４にスポットを合わせるようにすればよい。 The actual position control of the drone 1 by the automatic tracking type total station 2 was confirmed on site. Since TS2 used has a maximum tracking speed of 15 degrees / second, if the moving speed of the drone 1 is set within this range, there should be no problem with the automatic tracking function. It was confirmed that it can cope with the movement of the moving drone. However, there is no problem with the movement in the vertical and horizontal directions, but TS2 may lose sight of drone 1 if it is moved in an arc shape or if it moves suddenly and irregularly due to strong winds or the like. It could be confirmed. As a countermeasure, when the position data of the drone 1 cannot be obtained for a predetermined time, the unattended is stopped. In this state, it was confirmed that the prism 4 of the drone 1 was captured within 10 seconds by operating the tracking function of TS2. If the TS is not captured, the spot may be manually aligned with the prism 4 of the drone 1 as in step 1.
上記の実施例では被検査構造体として橋梁を対象として説明したが、本発明は橋梁に限られるものではなく、トンネルや建築物、車両、三次元形状を備えたあらゆる構造体一般に適用可能である。 In the above-described embodiment, the description has been made on the bridge as the structure to be inspected. However, the present invention is not limited to the bridge, and can be applied to any structure including tunnels, buildings, vehicles, and three-dimensional shapes. .
１ 無人機 ２ 自動追尾型トータルステーション
３ カメラ ４ 反射プリズム
５ コンピューター ６ レーザ送受波器
７ 望遠鏡 １０ 被検査構造体
DESCRIPTION OF SYMBOLS 1 Unmanned aircraft 2 Automatic tracking type total station 3 Camera 4 Reflective prism 5 Computer 6 Laser transducer 7 Telescope 10 Structure to be inspected
Claims (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015253551A JP6039050B1 (en) | 2015-12-25 | 2015-12-25 | Inspection method for structures using drone |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015253551A JP6039050B1 (en) | 2015-12-25 | 2015-12-25 | Inspection method for structures using drone |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6039050B1 true JP6039050B1 (en) | 2016-12-07 |
| JP2017116453A JP2017116453A (en) | 2017-06-29 |
Family
ID=57483178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015253551A Active JP6039050B1 (en) | 2015-12-25 | 2015-12-25 | Inspection method for structures using drone |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6039050B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018151964A (en) * | 2017-03-14 | 2018-09-27 | 朝日航洋株式会社 | Inspection equipment for pier upper work lower surface, inspection system of inspection equipment for pier upper work lower surface and inspection method for pier upper work lower surface |
| US10192111B2 (en) | 2017-03-10 | 2019-01-29 | At&T Intellectual Property I, L.P. | Structure from motion for drone videos |
| CN109945874A (en) * | 2019-04-11 | 2019-06-28 | 株洲时代电子技术有限公司 | A kind of bridge inspection flight course planning method |
| CN113428374A (en) * | 2021-07-29 | 2021-09-24 | 西南交通大学 | Bridge structure detection data collection method and unmanned aerial vehicle system |
| CN114018161A (en) * | 2021-11-14 | 2022-02-08 | 中国电子科技集团公司第五十四研究所 | High-precision distance calibration method for measurement and control system |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7086554B2 (en) * | 2017-09-29 | 2022-06-20 | 株式会社トプコン | Unmanned aerial vehicle control method and unmanned aerial vehicle control program |
| JP7022559B2 (en) * | 2017-10-17 | 2022-02-18 | 株式会社トプコン | Unmanned aerial vehicle control method and unmanned aerial vehicle control program |
| JP2020197467A (en) * | 2019-06-04 | 2020-12-10 | 俊雄 小泉 | Inspection method for structure using unmanned machine with autonomous flying function by slam |
| KR102399998B1 (en) * | 2021-01-25 | 2022-05-19 | 한국도로공사 | Apparatus for acquiring image of bridge lower surface and method thereof |
| KR102618069B1 (en) * | 2023-08-01 | 2023-12-27 | 대한민국 | Method and apparatus for analyasing indoor building disaster information using point cloud data and visual information from ground survey robot |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005091298A (en) * | 2003-09-19 | 2005-04-07 | Komatsu Engineering Corp | Global coordinate acquisition device using image processing |
| JP2007147422A (en) * | 2005-11-28 | 2007-06-14 | Komatsu Engineering Corp | Measurement system, image processor, and method |
| JP2011530692A (en) * | 2008-05-21 | 2011-12-22 | ザ・ボーイング・カンパニー | System and method for inspection of structures and objects by remote unmanned transport means |
| JP2014513792A (en) * | 2011-04-14 | 2014-06-05 | ヘキサゴン テクノロジー センター ゲゼルシャフト ミット ベシュレンクテル ハフツング | Measuring system for determining 3D coordinates of the surface of an object |
| WO2015163107A1 (en) * | 2014-04-25 | 2015-10-29 | ソニー株式会社 | Information processing device, information processing method, and computer program |
-
2015
- 2015-12-25 JP JP2015253551A patent/JP6039050B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005091298A (en) * | 2003-09-19 | 2005-04-07 | Komatsu Engineering Corp | Global coordinate acquisition device using image processing |
| JP2007147422A (en) * | 2005-11-28 | 2007-06-14 | Komatsu Engineering Corp | Measurement system, image processor, and method |
| JP2011530692A (en) * | 2008-05-21 | 2011-12-22 | ザ・ボーイング・カンパニー | System and method for inspection of structures and objects by remote unmanned transport means |
| JP2014513792A (en) * | 2011-04-14 | 2014-06-05 | ヘキサゴン テクノロジー センター ゲゼルシャフト ミット ベシュレンクテル ハフツング | Measuring system for determining 3D coordinates of the surface of an object |
| WO2015163107A1 (en) * | 2014-04-25 | 2015-10-29 | ソニー株式会社 | Information processing device, information processing method, and computer program |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10192111B2 (en) | 2017-03-10 | 2019-01-29 | At&T Intellectual Property I, L.P. | Structure from motion for drone videos |
| US10747998B2 (en) | 2017-03-10 | 2020-08-18 | At&T Intellectual Property I, L.P. | Structure from motion for drone videos |
| US11403844B2 (en) | 2017-03-10 | 2022-08-02 | At&T Intellectual Property I, L.P. | Structure from motion for drone videos |
| US11836854B2 (en) | 2017-03-10 | 2023-12-05 | Hyundai Motor Company | Structure from Motion for drone videos |
| JP2018151964A (en) * | 2017-03-14 | 2018-09-27 | 朝日航洋株式会社 | Inspection equipment for pier upper work lower surface, inspection system of inspection equipment for pier upper work lower surface and inspection method for pier upper work lower surface |
| CN109945874A (en) * | 2019-04-11 | 2019-06-28 | 株洲时代电子技术有限公司 | A kind of bridge inspection flight course planning method |
| CN109945874B (en) * | 2019-04-11 | 2023-04-28 | 株洲时代电子技术有限公司 | Bridge inspection route planning method |
| CN113428374A (en) * | 2021-07-29 | 2021-09-24 | 西南交通大学 | Bridge structure detection data collection method and unmanned aerial vehicle system |
| CN114018161A (en) * | 2021-11-14 | 2022-02-08 | 中国电子科技集团公司第五十四研究所 | High-precision distance calibration method for measurement and control system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017116453A (en) | 2017-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6039050B1 (en) | Inspection method for structures using drone | |
| US9639960B1 (en) | Systems and methods for UAV property assessment, data capture and reporting | |
| US9488985B2 (en) | Method for constructing air-observed terrain data by using rotary wing structure | |
| JP6569114B2 (en) | Inspection system and inspection method | |
| US9898821B2 (en) | Determination of object data by template-based UAV control | |
| US10382975B2 (en) | Subterranean 3D modeling at cell sites | |
| US10089530B2 (en) | Systems and methods for autonomous perpendicular imaging of test squares | |
| WO2018195955A1 (en) | Aircraft-based facility detection method and control device | |
| US20140336928A1 (en) | System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling | |
| CN110637264B (en) | Method for determining a path along an object, system and method for automatically inspecting an object | |
| CA2526105C (en) | Image display method and image display apparatus | |
| CN109885097B (en) | Method for planning inspection route of outer edge surface of bridge | |
| US10397802B2 (en) | Detecting changes at cell sites and surrounding areas using unmanned aerial vehicles | |
| US10368249B2 (en) | Modeling fiber cabling associated with cell sites | |
| US10810426B2 (en) | Systems and methods for autonomous perpendicular imaging of test squares | |
| US10311565B2 (en) | Cell site equipment verification using 3D modeling comparisons | |
| JP6203569B2 (en) | Bridge damage state investigation system, bridge damage state investigation method and aerial mobile equipment | |
| JP6675537B1 (en) | Flight path generation device, flight path generation method and program, and structure inspection method | |
| CN109901623B (en) | Method for planning inspection route of pier body of bridge | |
| CN111244822B (en) | Fixed-wing unmanned aerial vehicle line patrol method, system and device in complex geographic environment | |
| JP2017037008A (en) | State inspection method for structure | |
| RU2281534C1 (en) | Method for condition inspection of product pipelines | |
| CN113984019A (en) | Measurement system, measurement method, and measurement program | |
| KR20160123551A (en) | System and method for controlling video information based automatic of the drone for the inspection of electric power facilities | |
| JP2022151763A (en) | Automated assessment of aircraft structure damage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151225 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160411 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160411 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160629 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160819 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161019 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161102 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6039050 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |