JP6989849B2 - Inspection system for the structure to be inspected - Google Patents
Inspection system for the structure to be inspected Download PDFInfo
- Publication number
- JP6989849B2 JP6989849B2 JP2018080495A JP2018080495A JP6989849B2 JP 6989849 B2 JP6989849 B2 JP 6989849B2 JP 2018080495 A JP2018080495 A JP 2018080495A JP 2018080495 A JP2018080495 A JP 2018080495A JP 6989849 B2 JP6989849 B2 JP 6989849B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- inspection
- image
- inspected
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 182
- 238000004364 calculation method Methods 0.000 claims description 98
- 230000007547 defect Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 30
- 238000000034 method Methods 0.000 description 23
- 238000013500 data storage Methods 0.000 description 19
- 239000003550 marker Substances 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000011835 investigation Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001141 propulsive effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は、無人飛行体に搭載した検査カメラにて橋梁等の被検査構造体(被検査構造物)を撮影して、被検査構造体の画像からクラック等の欠陥を判別する被検査構造体の検査システムに関する。 In the present invention, an inspected structure (inspected structure) such as a bridge is photographed by an inspection camera mounted on an unmanned flying object, and a defect such as a crack is discriminated from the image of the inspected structure. Regarding the inspection system.
橋梁等の被検査構造体の欠陥を判別する技術として、特許文献1は、損傷状態調査システムを開示する。損傷状態調査システムは、無人ヘリコプター等の無人飛行体(空中移動機器)と、無人飛行体に搭載したデジタルカメラ(撮影装置)と、無人飛行体に搭載したGPS受信機(Global Positioning System)を備える。損傷状態調査システムでは、無人飛行体を橋梁に飛行して、デジタルカメラで橋梁のひび割れや損傷の画像を撮影する。撮影した画像データを解析することで、橋梁の損傷状態を調査する。
しかし、特許文献1では、無人飛行体に搭載したGPS受信機により無人飛行体の三次元座標の位置(経度、緯度、標高の座標値)を取得できるものの、無人飛行体の三次元の飛行姿勢を認識できないため、デジタルカメラで撮影した画像(撮影写真)の座標付け(三次元座標のX座標値、Y座標値、X座標値、X軸周りの角度、Y軸周りの角度及びZ軸周りの角度)ができない。
However, in
ドローン等の無人飛行体(UAV:Unmanned aerial vehicle)に慣性計測装置(IMU:inertial measurement unit)を搭載して、無人飛行体の三次元の飛行姿勢(三次元座標のXYZ軸周りの角度)を取得(測定)することも考えられるが、高い計測精度の慣性計測装置(IMU)は、比較的重く(4Kg~20kg程度の重さ)、ドローン等の無人飛行体に搭載することはできない。 An inertial measurement unit (IMU) is mounted on an unmanned aerial vehicle (UAV) such as a drone to measure the three-dimensional flight posture (angle around the XYZ axis of the three-dimensional coordinates) of the unmanned aerial vehicle. Although it is possible to acquire (measure), an inertial measurement unit (IMU) with high measurement accuracy is relatively heavy (weight of about 4 kg to 20 kg) and cannot be mounted on an unmanned aerial vehicle such as a drone.
本発明は、ドローン等の無人飛行体に高い計測精度の慣性計測装置(IMU)を搭載することなく、無人飛行体の三次元の飛行姿勢、及び無人飛行体の三次元の飛行位置を得ることのできる被検査構造体の検査システムを提供することにある。 The present invention obtains a three-dimensional flight attitude of an unmanned aerial vehicle and a three-dimensional flight position of an unmanned aerial vehicle without mounting an inertial measurement unit (IMU) with high measurement accuracy on an unmanned aerial vehicle such as a drone. The purpose is to provide an inspection system for the structure to be inspected.
本発明に係る請求項1は、被検査構造体の画像を撮影し、前記被検査構造体の画像から欠陥を判別する被検査構造体の検査システムであって、前記被検査構造体の周辺に配置され、地上座標系XYZの三次元座標値を測定済みの4以上の基準点と、前記被検査構造体及び前記基準点の間に飛行される無人飛行体と、前記無人飛行体に搭載され、前記被検査構造体の一部の箇所の検査画像を撮影する検査カメラと、撮影方向を前記検査カメラの撮影方向と反対側に位置して前記無人飛行体に搭載され、4以上の前記基準点を含む基準画像を撮影する基準カメラと、制御演算手段と、を備え、前記無人飛行体は、前記検査カメラの撮影方向を前記被検査構造体に向け、及び前記基準カメラの撮影方向を前記各基準点に向ける飛行姿勢にて飛行され、前記検査カメラ、及び前記基準カメラは、前記無人飛行体の前記飛行姿勢において、前記被検査構造体の一部の箇所及び4以上の前記基準点を同時撮影し、前記制御演算手段は、前記基準カメラの撮影した基準画像上の各基準点から選択した4つの基準点について、選択した前記各基準点の基準画像上の写真座標系xyの写真座標値と、前記基準カメラで撮影した基準画像上の全ての基準点の地上座標系XYZの三次元座標値に基づいて、同時撮影時の前記検査カメラの地上座標系XYZにおける姿勢、及び同時撮影時の前記基準カメラの撮影中心の地上座標系XYZの三次元座標値を算出し、前記基準カメラの撮影中心からの前記検査カメラの撮影中心の三次元座標値と、前記基準カメラの撮影中心の地上座標系XYZの三次元座標値に基づいて、前記検査カメラの撮影中心であって、前記検査カメラで撮影した検査画像の地上座標系XYZの三次元座標値を算出することを特徴とする被検査構造体の検査システムである。
The first aspect of the present invention is an inspection system for an inspected structure that captures an image of the inspected structure and discriminates defects from the image of the inspected structure in the vicinity of the inspected structure. Four or more reference points that are arranged and have measured the three-dimensional coordinate values of the ground coordinate system XYZ, an unmanned vehicle that flies between the structure to be inspected and the reference points, and an unmanned vehicle that is mounted on the unmanned vehicle. , An inspection camera that captures inspection images of a part of the structure to be inspected, and mounted on the unmanned vehicle with the imaging direction located on the side opposite to the imaging direction of the inspection camera, and the four or more reference points. The unmanned flying object includes a reference camera for capturing a reference image including points and a control calculation means, and the unmanned flying object directs the imaging direction of the inspection camera toward the structure to be inspected and the imaging direction of the reference camera. The inspection camera and the reference camera are flown in a flight posture toward each reference point, and the inspection camera and the reference camera make a part of the structure to be inspected and four or more reference points in the flight posture of the unmanned vehicle. Simultaneously photographed, the control calculation means has a photographic coordinate system xy on the reference image of each of the selected reference points with respect to the four reference points selected from the reference points on the reference image captured by the reference camera. Based on the photographic coordinate values and the three-dimensional coordinate values of the ground coordinate system XYZ of all the reference points on the reference image taken by the reference camera, the posture of the inspection camera in the ground coordinate system XYZ at the time of simultaneous shooting , and the simultaneous The three-dimensional coordinate values of the ground coordinate system XYZ of the shooting center of the reference camera at the time of shooting are calculated, the three-dimensional coordinate values of the shooting center of the inspection camera from the shooting center of the reference camera, and the shooting center of the reference camera. Based on the three-dimensional coordinate values of the ground coordinate system XYZ, the three-dimensional coordinate values of the ground coordinate system XYZ of the inspection image taken by the inspection camera, which is the imaging center of the inspection camera, are calculated . It is an inspection system for the structure to be inspected.
本発明に係る請求項1では、地上に建造された被検査構造体(被検査構造物)の周辺の地上に4以上の基準点(例えば、対空標識)を設置する。各基準点の地上座標系の三次元座標値(X,Y,Z)は、予め測定されている。
請求項1では、第1に、無人飛行体は、検査カメラを被検査構造体に近接(接近)して飛行して、検査カメラの撮影方向を被検査構造体に向け、基準カメラの撮影方向を各基準点に向ける飛行姿勢(検査飛行姿勢)にする。第2に、検査カメラは、無人飛行体の飛行姿勢において、被検査構造体の全体又は一部の箇所(部位)の画像(検査画像)を撮影し、基準カメラは、無人飛行体の飛行姿勢において、4以上の基準点を含む地上の画像(基準画像)を撮影する。検査カメラ及び基準カメラは、検査画像及び基準画像を同時撮影する。このように、無人飛行体の飛行姿勢(検査飛行姿勢)を順次変更することで、検査カメラ及び基準カメラは、被検査構造体の複数の箇所(部位)の画像(検査画像)及び4以上の基準点を含む地上の画像(基準画像)を同時撮影する。第3に、制御演算手段は、基準カメラの撮影した画像上(基準画像上)の各基準点から選択した4つの基準点について、選択した各基準点の画像上の写真座標値(x,y)[写真座標系xyの写真座標値(x,y)]と、選択した各基準点の三次元座標値(X,Y,Z)[地上座標系XYZの三次元座標値(X,Y,Z)]に基づいて、同時撮影時の無人飛行体の三次元の飛行姿勢を算出(演算)し、及び同時撮影時の無人飛行体の三次元の飛行位置を算出(演算)する。制御演算手段は、後方交会法であって、例えば、単写真標定(後方交会法)の共線条件を用いて、選択した4つの基準点の画像上(基準画像上)の写真座標値(x,y)、及び選択した4つの基準点Pの三次元座標値(X,Y,Z)から基準カメラの傾き(姿勢)(ω,φ,κ)を算出(演算)し、及び基準カメラの撮影中心の地上座標系XYZの三次元座標値(X0,Y0,Z0)を算出(演算)する。
検査カメラ及び基準カメラは無人飛行体に搭載されているので、基準カメラの傾き(姿勢)(ω,φ,κ)は無人飛行体の三次元の飛行姿勢、及び検査カメラの傾き(姿勢)ともなる。基準カメラは無人飛行体に搭載されているので、基準カメラの撮影中心の地上座標系XYZの三次元座標値(X0,Y0,Z0)は、無人飛行体の三次元の飛行位置ともなる。無人飛行体に搭載された基準カメラの撮影中心からの検査カメラの撮影中心の三次元座標値(距離位置)と、基準カメラの撮影中心の地上座標系XYZの三次元座標値(X0,Y0,Z0)から検査カメラの撮影中心であって、検査画像の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を求める。
これにより、検査カメラで撮影した被検査構造体の画像(検査画像)ついて、傾き(姿勢)(ω,φ,κ)、及び地上座標系XYZの三次元座標値(Xq,Yq,Zq)を座標付けできる。
In
In
Since the inspection camera and the reference camera are mounted on the unmanned aircraft, the tilt (attitude) (ω, φ, κ) of the reference camera is both the three-dimensional flight attitude of the unmanned aircraft and the tilt (attitude) of the inspection camera. Become. Since the reference camera is mounted on the unmanned vehicle, the three-dimensional coordinate values (X 0 , Y 0 , Z 0 ) of the ground coordinate system XYZ at the shooting center of the reference camera are also the three-dimensional flight position of the unmanned vehicle. Become. The three-dimensional coordinate value (distance position) of the shooting center of the inspection camera from the shooting center of the reference camera mounted on the unmanned aircraft and the three-dimensional coordinate value (X 0 , Y) of the ground coordinate system XYZ of the shooting center of the reference camera. From 0 , Z 0 ), the three-dimensional coordinate values (Xq, Yq, Zq) of the ground coordinate system XYZ of the inspection image, which is the center of photography of the inspection camera, are obtained.
As a result, the tilt (attitude) (ω, φ, κ) and the three-dimensional coordinate values (Xq, Yq, Zq) of the ground coordinate system XYZ are obtained for the image (inspection image) of the structure to be inspected taken by the inspection camera. Coordinates can be added.
本発明に係る被検査構造体の検査システムについて、図1乃至図11を参照して説明する。 The inspection system for the structure to be inspected according to the present invention will be described with reference to FIGS. 1 to 11.
図1乃至図7において、被検査構造体の検査システムXは、被検査構造体Y(被検査構造物)の画像(写真画像)を撮影して、被検査構造体Yの画像から欠陥を判別する。
被検査構造体Y(被検査構造物)は、図1及び図2に示すように、建築構造物であって、地上Zに建造される。被検査構造体Yは、例えば、道路や鉄道等の橋梁である。なお、被検査構造体Y(被検査構造物)は、道路や鉄道等の橋梁に限定されず、ビルや住宅等を含む建築構造物であれば良い。
In FIGS. 1 to 7, the inspection system X of the inspected structure takes an image (photographic image) of the inspected structure Y (inspected structure) and discriminates a defect from the image of the inspected structure Y. do.
As shown in FIGS. 1 and 2, the structure Y to be inspected (structure to be inspected) is a building structure and is built on the ground Z. The structure Y to be inspected is, for example, a bridge such as a road or a railway. The structure Y to be inspected (structure to be inspected) is not limited to bridges such as roads and railways, and may be any building structure including buildings, houses and the like.
被検査構造体の検査システムXは、図1乃至図7に示すように、4以上の複数の基準点P1,P2,P3,P4,…,Pi,…,Pn(第1番目乃至第n番目の基準点)と、無人飛行体2(無人飛行機)と、検査カメラ3(検査デジタルカメラ)と、基準カメラ4(基準デジタルカメラ)と、遠隔操作手段5(遠隔操作装置)と、制御演算手段6(制御演算装置)を備える。 As shown in FIGS. 1 to 7, the inspection system X of the structure to be inspected has four or more reference points P1, P2, P3, P4, ..., Pi, ..., Pn (first to nth). Reference point), unmanned aerial vehicle 2 (unmanned aerial vehicle), inspection camera 3 (inspection digital camera), reference camera 4 (reference digital camera), remote control means 5 (remote control device), and control calculation means. 6 (control calculation device) is provided.
<基準点P>
4以上の第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnは、図1及び図2に示すように、被検査構造体Y(橋梁)の周辺に配置される。第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnは、被検査構造体Yに隣接して地上Zに設置される。
各基準点P1,P2,P3,P4,…,Pi,…,Pnは、図1及び図2に示すように、被検査構造体Y(橋梁)の左右方向LR、及び被検査構造体Yの前後方向FRにおいて、相互に間隔を隔てて地上Zに設置される。なお、被検査構造体Yの左右方向LR、及び被検査構造体Yの前後方向FRは、相互に直交する方向である(以下、単に「左右方向LR」、「前後方向FR」という)。
<Reference point P>
The first to nth reference points P1, P2, P3, P4, ..., Pi, ..., Pn of 4 or more are around the structure Y (bridge) to be inspected, as shown in FIGS. 1 and 2. Is placed in. The first to nth reference points P1, P2, P3, P4, ..., Pi, ..., Pn are installed on the ground Z adjacent to the structure Y to be inspected.
As shown in FIGS. 1 and 2, the reference points P1, P2, P3, P4, ..., Pi, ..., Pn are the left-right LR of the structure Y (bridge) to be inspected and the structure Y to be inspected. In the front-rear direction FR, they are installed on the ground Z at intervals from each other. The left-right direction LR of the structure Y to be inspected and the front-back direction FR of the inspected structure Y are directions orthogonal to each other (hereinafter, simply referred to as "left-right direction LR" and "front-back direction FR").
各基準点P1,P2,P3,P4,…,Pi,…,Pnは、図1及び図2に示すように、例えば、ゴムシートに対空標1aを標示した対空標識で構成される。
As shown in FIGS. 1 and 2, each reference point P1, P2, P3, P4, ..., Pi, ..., Pn is composed of, for example, an anti-aircraft marker indicating an
各基準点P1,P2,P3,P4,…,Pi,…,Pnは、地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)を予め測定済みである。
各基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)は、平面直角座標値である。
第1番目の基準点P1の地上座標系XYZの三次元座標値は、(X1,Y1,Z1)、第2番目の基準点P2の地上座標系XYZの三次元座標値は、(X2,Y2,Z2)、第i番目の基準点Piの地上座標系XYZの三次元座標値は、(Xi,Yi,Zi)、第n番目の基準点Pnの地上座標系XYZの三次元座標値は、(Xn,Yn,Zn)となる。
各基準点P1,P2,P3,P4,…,Pi,…,Pn(対空標識)の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)は、GNSS(Global Navigation Satellite System)を利用して、受信機(図示しない)にて予め測定して取得する。受信機は、アンテナを備え、各基準点P1,P2,P3,P4,…,Pi,…,Pnに設置される。受信機は、アンテナにて衛星(図示しない)の電波を受信して、衛星からの電波に基づいて、各基準点P1,P2,P3,P4,…,Pi,…,Pnの平面直角座標値[地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)]を取得する。
Each reference point P1, P2, P3, P4, ..., Pi, ..., Pn is a three-dimensional coordinate value (X1, Y1, Z1), (X2, Y2, Z2), ..., (Xi,) of the horizontal coordinate system XYZ. Yi, Zi), ..., (Xn, Yn, Zn) have been measured in advance.
Three-dimensional coordinate values (X1, Y1, Z1), (X2, Y2, Z2), ..., (Xi, Yi) of the ground coordinate system XYZ of each reference point P1, P2, P3, P4, ..., Pi, ..., Pn. , Zi), ..., (Xn, Yn, Zn) are plane rectangular coordinate values.
The three-dimensional coordinate value of the ground coordinate system XYZ of the first reference point P1 is (X1, Y1, Z1), and the three-dimensional coordinate value of the ground coordinate system XYZ of the second reference point P2 is (X2, Y2). , Z2), the three-dimensional coordinate value of the ground coordinate system XYZ of the i-th reference point Pi is (Xi, Yi, Zi), and the three-dimensional coordinate value of the ground coordinate system XYZ of the nth reference point Pn is (Xn, Yn, Zn).
Three-dimensional coordinate values (X1, Y1, Z1), (X2, Y2, Z2), ..., of the ground coordinate system XYZ of each reference point P1, P2, P3, P4, ..., Pi, ..., Pn (anti-aircraft marker). (Xi, Yi, Zi), ..., (Xn, Yn, Zn) are measured and acquired in advance by a receiver (not shown) using a GNSS (Global Navigation Satellite System). The receiver is provided with an antenna and is installed at each reference point P1, P2, P3, P4, ..., Pi, ..., Pn. The receiver receives radio waves from the satellite (not shown) at the antenna, and based on the radio waves from the satellite, the plane rectangular coordinate values of each reference point P1, P2, P3, P4, ..., Pi, ..., Pn. [Three-dimensional coordinate values (X1, Y1, Z1), (X2, Y2, Z2), ..., (Xi, Yi, Zi), ..., (Xn, Yn, Zn) of the ground coordinate system XYZ] are acquired.
<無人飛行体2>
無人飛行体2は、図3乃至図5に示すように、無人飛行機(UAV:Unmanned aerial vehicle)であって、例えば、積載可能重量が2.5Kg~3.5Kg程度の小型のドローン(小型の無人飛行体)である。
無人飛行体2は、図3乃至図6に示すように、機体11、複数(4つ)のロータユニット12、無線通信ユニット14、画像記憶部15、機体制御部16及び電源17(バッテリー)を備える。
<
As shown in FIGS. 3 to 5, the unmanned
As shown in FIGS. 3 to 6, the
機体11は、図3乃至図5に示すように、機体部21、複数(4つ)のロータア-ム22、及び複数(2本)の支持脚23を有する。
各ロータア-ム22は、機体部21から外方向に放射状に延在される。各支持脚23は、機体部21の裏面21Bに取付けられて、機体部21の裏面21Bから下方向に延在される。
As shown in FIGS. 3 to 5, the
Each
各ロータユニット12は、図3乃至図5に示すように、各ロータア-ム22の先端側に取付けられる。各ロータユニット12は、図3乃至図6に示すように、プロペラ25、及びロータモータ26を有する。プロペラ25は、ロータモータ26のモータ軸(図示しない)に連結され、ロータモータ26にて回転される。
As shown in FIGS. 3 to 5, each
無線通信ユニット14は、図6に示すように、機体部21内(機体11内)に搭載されて、機体制御部16及び電源17に接続される。無線通信ユニット14は、通信アンテナ27、及び機体通信部28を有する。機体通信部28は、通信アンテナ27にて受信した飛行開始信号(飛行開始指令)を機体制御部16に出力する。
As shown in FIG. 6, the
画像記憶部15は、図6に示すように、機体部21内(機体11内)に搭載されて、機体制御部16及び電源17に接続される。画像記憶部15は、検査カメラ3にて撮影した被検査構造体Yの一部の箇所(部位)の画像(以下、「検査画像」という)、及び基準カメラ4にて撮影した4以上の基準点P1,P2,P3,1P4,…,Pi,…,Pnを含む地上Zの画像(以下、「基準画像」という)を記憶する。
画像記憶部15は、無人飛行体2の飛行経路(飛行プログラム)を記憶する。飛行経路(飛行プログラム)は、無人飛行体2を被検査構造体Yまで飛行させ、及び無人飛行体2を被検査構造体Yに沿って飛行させるためのプログラムである。
As shown in FIG. 6, the
The
機体制御部16は、CPU(Central Processing Unit/中央演算処理装置)であって、図6に示すように、機体部21内(機体11内)に搭載される。機体制御部16は、図6に示すように、各ロータユニット12のロータモータ26、無線通信ユニット14(機体通信部28)、画像記憶部15及び電源17に接続される。
The
機体制御部16は、図6に示すように、各ロータユニット12のロータモータ26に接続される。機体制御部16は、無線通信ユニット14の機体通信部28からの飛行開始信号(飛行開始指令)を入力して、各ロータユニット12のロータモータ26の回転を制御する。
機体制御部16は、各ロータユニット12のロータモータ26を同一回転数に制御することで、機体11に揚力を発生する。無人飛行体2は、揚力によって被検査構造体Yの上下方向UDに上昇し、及び飛行姿勢を維持(ホバリング)する。なお、被検査構造体Yの上下方向UDは、左右方向LR及び前後方向FRに直交する方向である(以下、「上下方向UD」という)。
機体制御部16は、各ロータユニット12のロータモータ26の回転数を変更することで、機体11に推進力を発生する。無人飛行体2は、推進力によって傾斜され、左右方向LR及び前後方向FRに飛行される。
機体制御部16は、飛行開始信号(飛行開始指令)を入力すると、画像記憶部15から飛行経路(飛行プログラム)を読出して、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を制御することで、無人飛行体2を被検査構造体Yまで飛行させる。機体制御部16は、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を変更制御することで、無人飛行体2を被検査構造体Yに沿って低速移動(低速飛行)させる。
As shown in FIG. 6, the machine
The
The
When the
機体制御部16は、図6に示すように、検査カメラ3及び基準カメラ4に接続される。機体制御部16は、検査カメラ3及び基準カメラ4の撮影(撮影動作)を制御する。
機体制御部16は、所定時間毎に撮影信号(撮影指令)を検査カメラ3及び基準カメラ4に同時に出力する。
これにより、機体制御部16は、検査カメラ3及び基準カメラ4を同時動作して、検査カメラ3の検査画像及び基準カメラ4の基準画像を同時撮影させる。また、機体制御部16は、所定時間毎に撮影信号(撮影指令)を検査カメラ3及び基準カメラ4に出力することで、検査カメラ3及び基準カメラ4の撮影を連続して同時に行わせる。
機体制御部16は、検査カメラ3及び基準カメラ4において、同時撮影した検査画像及び基準画像を相互に対応付けて画像記憶部15に記憶する。
As shown in FIG. 6, the
The
As a result, the
The
<検査カメラ3>
検査カメラ3は、図1及び図2に示すように、被検査構造体Y(被検査構造物/橋梁)の一部の箇所(部位)の画像(検査画像)を撮影する。検査カメラ3は、図4乃至図6に示すように、例えば、デジタルカメラであって、無人飛行体2(機体11の機体部21)に搭載される。
検査カメラ3は、図4に示すように、撮影方向αを無人飛行体2(機体11)の後方に向けて、機体部21(機体11)の裏面21Bに取付けられる。
検査カメラ3の撮影方向αは、カメラレンズ2Aの撮影中心O1を通るカメラ光軸方向であって、検査カメラ3は、図1及び図4に示すように、カメラ光軸を無人飛行体2(機体11)の後方に向けて、機体部21(機体11)の裏面21Bに取付けられる。
<
As shown in FIGS. 1 and 2, the
As shown in FIG. 4, the
The shooting direction α of the
検査カメラ3は、図6に示すように、機体制御部16及び電源17に接続され、機体制御部16からの撮影信号(撮影指令)を入力すると、被検査構造体Yの一部の箇所(部位)の画像(検査画像)を撮影する。検査カメラ3は、撮影した検査画像を機体制御部16に出力する。
As shown in FIG. 6, the
<基準カメラ4>
基準カメラ4は、図1及び図2に示すように、4以上の基準点P1,P2,P3,P4,…,Pi,…,Pn(対空標識)を含む地上Zの画像(基準画像)を撮影する。基準カメラ4は、図3、図5及び図6に示すように、無人飛行体2(機体11の機体部21)に搭載される。基準カメラ4は、各支持脚23の間に配置される。
基準カメラ4は、撮影方向βを無人飛行体2(機体11)の前方に向けて、機体部21(機体11)の裏面21Bに取付けられる。
基準カメラ4の撮影方向βは、カメラレンズ3Aの撮影中心Oを通るカメラ光軸方向であって、基準カメラ4は、図1及び図4に示すように、カメラ光軸を無人飛行体2(機体11)の前方に向けて、機体部21(機体11)の表面21Aに取付けられる。
基準カメラ4は、図1及び図4に示すように、撮影方向βを検査カメラ3の撮影方向αと反対側に位置(撮影方向βを撮影方向αに対して角度:180度を隔てる方向に位置)して、機体部21(無人飛行体2)に搭載される。
<
As shown in FIGS. 1 and 2, the
The
The shooting direction β of the
As shown in FIGS. 1 and 4, the
基準カメラ4は、広角カメラ又は広角デジタルカメラであって、例えば、超広角カメラ又は超広角デジタルカメラである。
基準カメラ4は、図6に示すように、機体制御部16及び電源17に接続され、機体制御部16からの撮影信号(撮影指令)を入力すると、4以上の基準点P1,P2,P3,P4,…,Pi,…,Pnを含む地上Zの画像(基準画像)を撮影する。基準カメラ4は、撮影した基準画像を機体制御部16に出力する。
The
As shown in FIG. 6, the
検査カメラ3及び基準カメラ4は、図6に示すように、機体制御部16からの撮影信号(撮影指令)を同時に入力して、被検査構造体Yの一部の箇所(部位)及び4以上の各基準点P1,P2,P3,P4,…,Pi,…,Pnを含む地上Zを同時撮影する。
検査カメラ3及び基準カメラ4は、機体制御部16からの撮影信号(撮影指令)を所定時間毎に同時入力して、被検査構造体Yの一部の箇所(部位)、及び4以上の各基準点P1,P2,P3,P4,…,Pi,…,Pnを含む地上Zを所定時間毎に連続して同時撮影する。
これにより、検査カメラ3及び基準カメラ4は、検査画像の複数、及び基準画像の複数を同時に撮影する。
As shown in FIG. 6, the
The
As a result, the
<遠隔操作手段5(遠隔操作装置)>
遠隔操作装置5は、図6に示すように、遠隔飛行操縦部31、無線通信ユニット32、自動飛行指示部33、遠隔制御部34及び電源35(バッテリー)を備える。
<Remote control means 5 (remote control device)>
As shown in FIG. 6, the
遠隔飛行操縦部31は、図6に示すように、例えば、無人飛行体2の飛行を操縦する操縦レバーであって、遠隔制御部34及び電源35に接続される。
As shown in FIG. 6, the remote
無線通信ユニット32は、図6に示すように、遠隔制御部34及び電源35に接続される。無線通信ユニット32は、通信アンテナ36、及び遠隔通信部37を有する。遠隔通信部37は、通信アンテナ36から飛行開始信号(飛行開始指令)を無人飛行体2(通信アンテナ27)に送信する。
As shown in FIG. 6, the
自動飛行指示部33は、図6に示すように、例えば、無人飛行体2の飛行開始(自動飛行開始)を指示(指令)する飛行開始ボタンであって、遠隔制御部34及び電源35に接続される。
As shown in FIG. 6, the automatic
遠隔制御部34は、CPU(Central Processing Unit/中央演算処理装置)であって、図6に示すように、遠隔飛行操縦部31、無線通信ユニット32(遠隔通信部37)、自動飛行指示作部33及び電源35に接続される。
遠隔制御部34は、自動飛行指示部33の操作(飛行開始ボタンのON操作)に基づいて、飛行開始信号(飛行開始指令)を遠隔通信部37に出力する。
The
The
<制御演算手段6(制御演算装置)>
制御演算手段6(制御演算装置)は、無人飛行体2の三次元の飛行姿勢を算出(演算)し、及び無人飛行体2の三次元の飛行位置を算出(演算)する。
<Control calculation means 6 (control calculation device)>
The control calculation means 6 (control calculation device) calculates (calculates) the three-dimensional flight attitude of the
制御演算手段6は、図7に示すように、入力部41、データ記憶部42、表示部43、制御演算部44及び電源45を備える。
As shown in FIG. 7, the control calculation means 6 includes an
入力部41は、図7に示すように、例えば、キーボード、マウスで構成される。入力部41は、制御演算部44及び電源45に接続される。
入力部41は、入力操作に基づいて、第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYXの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…Nnを入力して、制御演算部44に出力する。
入力部41は、入力操作に基づいて、検査カメラ3で撮影した検査画像及び基準カメラ4で撮影した基準画像を入力して、制御演算部44に出力する。
As shown in FIG. 7, the
The
Based on the input operation, the
データ記憶部42は、図7に示すように、制御演算部44及び電源45に接続される。データ記憶部42は、第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pn(対空標識)の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nnを記憶する。
データ記憶部42は、検査カメラ3の撮影した検査画像、及び基準カメラ4の撮影した基準画像を記憶する。データ記憶部42は、同時撮影した検査画像及び基準画像を相互に対応付けて記憶する。
データ記憶部42は、図8に示すように、検査カメラ3のカメラレンズ3Aの撮影中心O1の三次元座標値(Xb,Yb,Zb)を記憶する。
図8において、検査カメラ3及び基準カメラ4の撮影方向α,βにZ軸をとる。検査カメラ3の撮影中心O1の三次元座標(Xb,Yb,Zb)は、図8に示すように、基準カメラ4の撮影中心Oの三次元座標値(0,0,0)として、撮影中心OからのXYZ軸の三次元座標値(距離位置)である。検査カメラ3の撮影中心O1の三次元座標値(Xb,Yb,Zb)は、予め測定して取得する。
As shown in FIG. 7, the
The
As shown in FIG. 8, the
In FIG. 8, the Z-axis is taken in the shooting directions α and β of the
表示部43は、図7に示すように、例えば、液晶表示器で構成され、制御演算部44及び電源45に接続される。表示部43は、検査カメラ3で撮影した検査画像、及び基準カメラ4で撮影した基準画像を表示する。
As shown in FIG. 7, the
制御演算部44は、CPU(Central Processing Unit/中央演算処理装置)であって、図7に示すように、入力部41、データ記憶部42、表示部43及び電源45に接続される。
制御演算部44は、第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nnを入力すると、第1番目乃至第n番目の基準点P1,P2,P3,P4,…の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nnを相互に対応付けてデータ記憶部42に記憶する。
制御演算部44は、検査カメラ3の撮影した検査画像及び基準カメラ4の撮影した基準画像を入力すると、同時撮影した検査画像及び基準画像を相互に対応付けてデータ記憶部42に記憶する。
制御演算部44は、検査カメラ3の撮影中心O1の三次元座標値(Xb,Yb,Zb)を入力すると、三次元座標値(Xb,Yb,Zb)をデータ記憶部42に記憶する。
The
The
When the
When the
制御演算部44(制御演算手段6)は、無人飛行体2の三次元の姿勢(傾き)を算出(演算)し、及び無人飛行体2の三次元の飛行位置を算出(演算)する。
The control calculation unit 44 (control calculation means 6) calculates (calculates) the three-dimensional attitude (tilt) of the
制御演算部44は、後方交会法であって、単写真標定を用いて、基準カメラ4の外部標定要素(X0,Y0,Z0,ω,φ,κ)を算出する。
単写真標定は、基準カメラ4で撮影した基準画像(写真)上の基準点Pi(P1,P2,P3,P4,…,Pn:i=1,2,3,…,n)に成立する共線条件を用いて、基準カメラ4の撮影中心Oの位置[地上座標系XYZの三次元座標値(X0,Y0,Z0)、即ち、無人飛行体2の三次元の飛行位置]、及び基準カメラ4の傾き(姿勢)[(ω,φ,κ)、即ち、無人飛行体2の三次元の飛行姿勢]を算出する方法である。
共線条件は、図9に示すように、基準カメラ4の撮影中心O、基準点Pi(P1,P2,P3,P4)、及び基準点Piの基準画像上の写真像pi(p1,p2,p3,p4)とすると、OpiPi(Op1P1,Op2P2,Op3P3,Op4P4)が一直線上にあるという条件である。
The
The single-photo orientation is established at the reference point Pi (P1, P2, P3, P4, ..., Pn: i = 1,2,3, ..., N) on the reference image (photograph) taken by the
As shown in FIG. 9, the collinear condition is the photographing center O of the
図9において、カメラ座標系xyz、写真座標系xy、地上座標系XYZとする。基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)、写真像pi(i=1,2,3,4,…,n)の写真座標系xyの写真座標値(xi,yi)、基準点Piの地上座標系XYZの三次元座標値(Xi,Yi,Zi)、基準カメラ4のカメラ座標系xyzの傾き(姿勢)(ω,φ,κ)とすると、単写真評定で用いられる共線条件の基本式は、式(1)及び式(2)となる。
なお、基準カメラ4の傾き(姿勢)(ω,φ,κ)において、ω(傾き)はx軸周りの角度、φ(傾き)はy軸周りの角度、κ(傾き)はz軸周りの角度である(図9参照)
In FIG. 9, the camera coordinate system xyz, the photographic coordinate system xy, and the ground coordinate system XYZ are used. The photographic coordinate system of the three-dimensional coordinate values (X 0 , Y 0 , Z 0 ) of the ground coordinate system XYZ of the shooting center O of the
In the tilt (attitude) (ω, φ, κ) of the
共線条件の基本式(1)は、非線形であるので、式(1)の未知変量(未知数)を算出(演算)するためには、下記[1]~[5]処理を行う。
[1]未知変量(未知数)の近似値を算出する。
[2]未知変量の近似値を共線条件の基本式に代入して、近似値まわりにテイラー展開して2次以上の項を無視して線形化して、2×nの式数からなる線形の観測方程式(6元一次の観測方程式)を得る。
[3]各線形の観測方程式から、未知変量(未知数)の座標補正量と傾き(姿勢)の補正量とを最小にする解を最小二乗法により算出する。
[4]座標補正値と傾き(姿勢)の補正値の収束を判別する。
[5]座標補正値と傾き(姿勢)の補正値を、近似値に加えて新たな近似値を算出する。
未知変量(未知数)の座標補正値と傾き(姿勢)の補正値が収束するまで[2]~[5]処理を繰り返して、未知変量(未知数)を算出する(逐次近似解法)。
Since the basic equation (1) of the collinear condition is non-linear, the following processes [1] to [5] are performed in order to calculate (calculate) the unknown variable (unknown variable) of the equation (1).
[1] Calculate an approximate value of an unknown variable (unknown variable).
[2] Substituting the approximate value of the unknown variable into the basic equation of the coline condition, Taylor expanding it around the approximate value, ignoring the terms of the second order and above, and linearizing it, and the linearity consisting of 2 × n equations. (6 elements linear observation equation) is obtained.
[3] From each linear observation equation, a solution that minimizes the coordinate correction amount of the unknown variable (unknown) and the correction amount of the slope (attitude) is calculated by the least squares method.
[4] The convergence of the coordinate correction value and the inclination (posture) correction value is determined.
[5] The coordinate correction value and the inclination (posture) correction value are added to the approximate value to calculate a new approximate value.
The unknown variate (unknown) is calculated by repeating the processes [2] to [5] until the coordinate correction value of the unknown variate (unknown) and the correction value of the inclination (attitude) converge (sequential approximation solution method).
各基準点Pi(i=1,2,3,4,…,n)の地上座標系XYZの三次元座標値(Xi,Yi,Zi)、基準カメラ4の傾き(姿勢)(ω,φ,κ)、及び基準カメラ4の撮影中心Oの地上座標系XYXの三次元座標値(X0,Y0,Z0)を未知変量(未知数)とし、各基準点Piの地上座標系XYZの三次元座標値の近似値(Xai,Yai,Zai)、各基準点Piの座標補正値(ΔXi,ΔYi,ΔZi)、基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)、基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ)、基準カメラ4の撮影中心Oの地上座標系XYXの三次元座標値の近似値(X0a,Y0a,X0a)、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の座標補正値(ΔX0,ΔY0,ΔZ0)とすると、式(3)となる。
Three-dimensional coordinate values (Xi, Yi, Zi) of the ground coordinate system XYZ of each reference point Pi (i = 1, 2, 3, 4, ..., N), tilt (attitude) of the reference camera 4 (ω, φ, κ) and the three-dimensional coordinate values (X 0 , Y 0 , Z 0 ) of the ground coordinate system XYX of the imaging center O of the
式(3)は、
X=Xai+ΔXi
Y=Yai+ΔYi
Z=Zai+ΔZi
ω=ω0a+Δω
φ=φ0a+Δφ
κ=κ0a+Δκ
X0=X0a+ΔX0
Y0=Y0a+ΔY0
Z0=X0a+ΔZ0
である。
[式(3)]において、
X,Y,Z:基準点の地上座標系の三次元座標値
ω,φ,κ:基準カメラの傾き(姿勢)
X0,Y0,Z0:基準カメラの撮影中心の地上座標系の三次元座標値
i=1,2,3,4,…,n
Equation (3) is
X = X ai + ΔXi
Y = Y ai + ΔYi
Z = Z ai + ΔZi
ω = ω 0a + Δω
φ = φ 0a + Δφ
κ = κ 0a + Δκ
X 0 = X 0a + ΔX 0
Y 0 = Y 0a + ΔY 0
Z 0 = X 0a + ΔZ 0
Is.
In [Equation (3)]
X, Y, Z: Three-dimensional coordinate value of the ground coordinate system of the reference point ω, φ, κ: Tilt (attitude) of the reference camera
X 0 , Y 0 , Z 0 : Three-dimensional coordinate values of the ground coordinate system of the shooting center of the reference camera i = 1, 2, 3, 4, ..., n
共線条件の基本式(1)は、式(4)に書きなおすことができる。
[式(4)]において、X,Y,Z、ω,φ,κ,X0,Y0,Z0は、式(3)に示す数値である。
The basic equation (1) of the collinear condition can be rewritten into the equation (4).
In [Equation (4)], X, Y, Z, ω, φ, κ, X 0 , Y 0 , Z 0 are the numerical values shown in the equation (3).
未知変量の近似値は、2次の射影変換式を用いて算出することができる。
2次射影変換式は、式(5)となる。
The approximate value of the unknown variable can be calculated using a quadratic projective transformation formula.
The quadratic projective transformation formula is the formula (5).
式(5)の係数b1~b8を求めるためには、4以上の基準点Pi(i=1,2,3,4,…,n)の地上座標系XYZの三次元座標値(Xi,Yi,Zi)が必要となる。 In order to obtain the coefficients b1 to b8 of the equation (5), the three-dimensional coordinate values (Xi, Yi) of the ground coordinate system XYZ of the reference points Pi (i = 1, 2, 3, 4, ..., N) of 4 or more are obtained. , Zi) is required.
基準カメラ4の撮影した基準画像上の4以上の基準点Piから4つの基準点、例えば、基準点P1,P2,P3,P4を選択する。
制御演算部44(制御演算手段6)は、図10に示す演算処理(演算プログラム)を実行して、無人飛行体2の三次元の飛行姿勢、及び無人飛行体2の三次元の飛行位置を算出(演算)する。
制御演算部44は、選択した各基準点P1,P2,P3,P4の基準画像から、各基準点P1,P2,P3,P4に対応する写真像p1,p2,p3,p4の写真座標系xyの写真座標値(x1,y1),(x2,y2),(x3,y3),(x4,y4)を取得する(図10のST01)。
制御演算部44(制御演算手段6)は、選択した各基準点P1,P2,P3,P4の基準画像上の写真像p1,p2,p3,p4の写真座標系xyの写真座標値(x1,y1),(x2,y2),(x3,y3),(x4,y4)、及び選択した各基準点P1,P2,P3,P4の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)に基づいて、基準カメラ4の傾き(姿勢)の近似値(初期値)(ω0a,φ0a,κ0a)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(初期値)(X0a,Y0a,Z0a)を算出(演算)する。
Four reference points, for example, reference points P1, P2, P3, and P4 are selected from four or more reference points Pi on the reference image captured by the
The control calculation unit 44 (control calculation means 6) executes the calculation process (calculation program) shown in FIG. 10 to determine the three-dimensional flight attitude of the
The
The control calculation unit 44 (control calculation means 6 ) is a photographic coordinate of the photographic coordinate system xy of the photographic images p1, p2, p3 , p4 on the reference image of each selected reference point P1, P2, P3, P4. The ground coordinate system of the values (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ), (x 4 , y 4 ), and each selected reference point P1, P2, P3, P4. The tilt (attitude) of the
先ず、制御演算部44は、式(5)の係数b1~b8を算出(演算)する(図10のST02)。制御演算部44は、基準点P1の三次元座標値(X1,Y1,Z1)及び写真像p1の写真座標値(x1,y1)を式(5)に代入し、基準点P2の三次元座標値(X2,Y2,Z2)及び写真像p2の写真座標値(x2,y2)を式(5)に代入し、基準点P3の三次元座標値(X3,Y3,Z3)及び写真像p3の写真座標値(x3,y3)を式(5)に代入し、基準点P4の三次元座標値(X4,Y4,Z4)及び写真像p4の写真座標値(x4,y4)を式(5)に代入して、式(5)の分母を払って、観測方程式を立てて、最小二乗法により2次射影変換式[式(5)]の係数b1~b8を算出する。
First, the
制御演算部44(制御演算手段6)は、算出した係数b1~b8を用いて、式(6)から基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(初期値)(X0a,Y0a,Z0A)を算出(演算)する。
制御演算部44は、係数b1~b8を式(6)に代入して、基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(初期値)(X0a,Y0a,Z0a)を算出(演算)する(図10のST03)。
The control calculation unit 44 (control calculation means 6) uses the calculated coefficients b1 to b8 to obtain approximate values (ω 0a , φ 0a , κ 0a ) of the inclination (attitude) of the
The
[式(6)]において、Zmは、地上座標系XYZにおいて、各基準点P1,P2,P3,P4のZ軸の平均座標値である。なお、各基準点Pi(i=1,2,3,4,…,n)の地上座標系XYZは平面直角座標であるので、各基準点P1,P2,P3,P4における式(6)のZmは一定座標値(Z座標値)と仮定できる。 In [Equation (6)], Zm is the average coordinate value of the Z axis of each reference point P1, P2, P3, P4 in the horizontal coordinate system XYZ. Since the horizontal coordinate system XYZ of each reference point Pi (i = 1,2,3,4, ..., N) is a plane rectangular coordinate, the equation (6) in each reference point P1, P2, P3, P4 Zm can be assumed to be a constant coordinate value (Z coordinate value).
続いて、制御演算部44は、基準カメラ4で撮影した基準画像上の全ての基準点P1,P2,P3,P4,…,Pi,…Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)、基準カメラ4の傾き(姿勢)の近似値(初期値)(ω0a,φ0a,κ0a)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(初期値)(X0a,Y0a,Z0a)の夫々を式(4)に代入して、近似値まわりにテイラー展開して2次以上の項を無視して線形化して、2×nの式数でなる線形の観測方程式(6元一次の観測方程式)を得る(図10のST04)。
線形の観測方程式の式数:2×nにおいて、係数nは基準点Piの点数ある。例えば、、基準点Piの点数がi=6のときは、線形の観測方程式の式数は2×6=12となる。
Subsequently, the
Number of linear observation equations: In 2 × n, the coefficient n is the score of the reference point Pi. For example, when the score of the reference point Pi is i = 6, the number of equations of the linear observation equation is 2 × 6 = 12.
制御演算部44は、各線形の観測方程式から、全基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値の座標補正値(ΔX1,ΔY1,ΔZ1),(ΔX2,ΔY2,ΔZ2),…,(ΔXi,ΔYi,ΔZi),…,(ΔXn,ΔYn,ΔZn)、基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の座標補正値(ΔX0,ΔY0,ΔZ0)を最小とする解を最小二乗法により算出(演算)する(図10のST05)。
The
続いて、制御演算部44は、基準画像上の全基準点P1,P2,P3,P4,…,Pi,…Pnの座標補正値(ΔX1,ΔY1,ΔZ1),(ΔX2,ΔY2,ΔZ2),…,(ΔXi,ΔYi,ΔZi),…,(ΔXn,ΔYn,ΔZn)の収束を判別する(図10のST06)。制御演算部44は、全基準点Pi(i=1,2,3,4,…,n)の座標補正値(ΔXi,ΔYi,ΔZi)が、例えば、10-7以下(ΔXi≦10-7,ΔYi≦10-7,ΔZi≦10-7)であれば収束と判断する(図10のST06:Yes)。
制御演算部44は、基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ)の収束を判別する(図10のST06)。制御演算部44は、基準カメラ4の傾き(姿勢)が、例えば、10-7以下(Δω≦10-7,Δφ≦10-7,Δκ≦10-7)であれば収束と判断する(図10のST06:Yes)。
制御演算部44は、基準カメラ4の撮影中心Oの三次元座標値の座標補正値(ΔX0,ΔY0,ΔZ0)の収束を判別する(図10のST06)。制御演算部44は、基準カメラ4の撮影中心Oの三次元座標値の座標補正値(ΔX0,ΔY0,ΔZ0)が、例えば、10-7以下(ΔX0≦10-7,ΔY0≦10-7,ΔZ0≦10-7)であれば収束と判断する(図10のST06:Yes)。
Subsequently, the
The
The
続いて、制御演算部44は、基準画像上の各基準点Piの座標補正値(ΔXi,ΔYi,ΔZi)が収束していないと判断すると(図10のST06:No)、各基準点Piの座標補正値(ΔXi,ΔYi,ΔZi)を各基準点Piの三次元座標値の近似値(Xai,Yai,Zai)に加算して、各基準点Piについて、新たな近似値(Xai,Yai,Zai)を算出(演算)する(図10のST07)。
制御演算部44は、基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ))が収束していないと判断すると(図10のST06:No)、基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ)を基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)に加算して、基準カメラ4の傾き(姿勢)について、新たな近似値(ω0a,φ0a,κ0a)を算出(演算)する(図10のST07)。
制御演算部44は、基準カメラ4の撮影中心Oの三次元座標値の座標補正値(ΔX0,ΔY0,ΔZ0)が収束していないと判断すると(図10のST06:No)、基準カメラ4の撮影中心Oの三次元座標の座標補正値(ΔX0,ΔY0,ΔZ0)を基準カメラ4の撮影中心Oの三次元座標値の近似値(X0a,Y0a,Z0a)に加算して、基準カメラ4の撮影中心Oの三次元座標値について、新たな近似値(X0a,Y0a,Z0a)を算出(演算)する(図10のST07)。
Subsequently, when the
When the
When the
制御演算部44は、傾き(姿勢)の補正値(Δω,Δφ,Δκ)が収束し、座標補正値(ΔXi,ΔYi,ΔZi),(ΔX0,ΔY0,ΔZ0)が収束するまで(図10のST06:Yes)、図10のST04~ST07を繰り返し実行する。
In the
制御演算部44は、傾き(姿勢)の補正値(Δω,Δφ,Δκ)が収束し、座標補正値(ΔXi,ΔYi,ΔZi)、(ΔX0,ΔY0,ΔZ0)が収束すると(図10のST06:Yes)、基準カメラ4の傾き(姿勢)(X0,Y0,Z0)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)を算出(演算)する(図10のST08)。
制御演算部44は、収束した基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ)と、収束した時の基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)を加算して、基準カメラ4の傾き(姿勢)(ω,φ,κ)を算出(演算)する。基準カメラ4の傾き(姿勢)は、(ω,φ,κ)=(ω0a+Δω,φ0a+Δφ,κ0a+Δκ)である。
制御演算部44は、収束した座標補正値(ΔX0,ΔY0,ΔZ0)と、収束した時の基準カメラ4の地上座標系XYZの三次元座標値の近似値(X0a,Y0a,Z0a)を加算して、基準カメラ4の撮影中心Oの地上座標系の三次元座標値(X0,Y0,Z0)を算出(演算)する。基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値は、(X0,Y0,Z0)=(X0a+ΔX0,Y0a+ΔY0,Z0a+ΔZ0)である。
In the
The
The
続いて、制御演算部44(制御演算手段6)は、検査カメラ3の撮影中心O1の三次元座標値(Xb,Yb,Zb)をデータ記憶部42から読出して、検査カメラ3の撮影中心O1の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を算出する(図10のST09)。
制御演算部44は、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)と検査カメラ3の撮影中心線O1の三次元座標値(Xb,Yb,Zb)を加算して、検査カメラ3の撮影中心O1の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を算出(演算)する。検査カメラ3の撮影中心O1の地上座標系XYZの三次元座標値は、(Xq,Yq,Zq)=(X0+Xb,Y0+Yb,Z0+Zb)である。
Subsequently, the control calculation unit 44 (control calculation means 6) reads out the three-dimensional coordinate values (Xb, Yb, Zb) of the shooting center O1 of the
The
このように、制御演算部44(制御演算手段6)は、基準カメラ4で撮影した基準画像上の4つの基準点P1,P2,P3,P4の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)、及び4つの各基準点P1,P2,P3,P4の基準画像上の写真像p1,p2,p3,p4の写真座標系xyの写真座標値(x1,y1),(x2,y2),(x3,y3),(x4,y4)に基づいて、基準カメラ4の傾き(姿勢)の近似値(初期値)(ω0a,φ0a,κ0a)及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(初期値)(X0a,Y0a,Z0a)を算出(演算)して、基準画像上の全基準点Pi(i=1,2,3,4,…,n)の地上座標系XYZの三次元座標値(Xi,Yi,Zi)、基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(X0a,Y0a,Z0a)に基づいて、基準カメラ4の傾き(姿勢)(ω,φ,κ)を算出(演算)し、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)を算出(演算)する。
制御演算部44(制御演算手段6)は、図10のST04~ST07を繰返すことで、基準カメラ4の傾き(姿勢)(ω,φ,κ)及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)の高精度化を図っている。
検査カメラ3及び基準カメラ4は無人飛行体2に搭載されているので、基準カメラ4の傾き(姿勢)(ω,φ,κ)は、無人飛行体2の三次元の飛行姿勢、及び検査カメラ3の傾き(姿勢)ともなる。
また、基準カメラ4は無人飛行体2に搭載されているので、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)は、無人飛行体2の三次元の飛行位置ともなる。
As described above, the control calculation unit 44 (control calculation means 6) has three-dimensional coordinate values (X1,) of the ground coordinate system XYZ of the four reference points P1, P2, P3, and P4 on the reference image taken by the
By repeating ST04 to ST07 in FIG. 10, the control calculation unit 44 (control calculation means 6) repeats the tilt (attitude) (ω, φ, κ) of the
Since the
Further, since the
次に、被検査構造体の検査システムXにおける一連の処理工程について、図1乃至図7、図10及び図11を参照して説明する。 Next, a series of processing steps in the inspection system X of the structure to be inspected will be described with reference to FIGS. 1 to 7, 10 and 11.
<基準点設置工程:図11のST21>
被検査構造体Xの検査システムXは、図1及び図2に示すように、4以上の複数の基準点P1,P2,P3,P4,…,Pi,…,Pnを、被検査構造体Yの周辺の地上Zに設置する。各基準点P1,P2,P3,P4,…,Pi,…,Pn(対空標識)は、対空標1aを上方に向けて地上Zに設置する。各基準点P1,P2,P3,P4,…,Pi,…,Pnは、左右方向LR及び前後方向FRにおいて、相互に間隔を隔てて配置される(図11:ST21)。
<Reference point installation process: ST21 in FIG. 11>
As shown in FIGS. 1 and 2, the inspection system X of the structure X to be inspected has a plurality of reference points P1, P2, P3, P4, ..., Pi, ..., Pn of 4 or more, and the structure Y to be inspected. It will be installed on the ground Z around. Each reference point P1, P2, P3, P4, ..., Pi, ..., Pn (anti-aircraft marker) is installed on the ground Z with the
<三次元座標値取得・記憶工程:図11のST22>
続いて、GNSS(Global Navigation Satellite System)を利用して、第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)を測定して取得する。
制御演算手段6において、入力部41を操作して、第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pn(対空標識)の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nnを制御演算部44に入力する。
制御演算部44は、図7に示すように、各基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nnを入力すると、各基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nn(第1番目乃至第n番目)を相互に対応付けてデータ記憶部42に記憶する。
制御演算手段6において、入力部41を操作して、検査カメラ3の撮影中心O1の三次元座標値(Xb,Yb,Zb)を制御演算部44に入力する。制御演算部44は、三次元座標値(Xb,Yb,Zb)をデータ記憶部42に記憶する(図11:ST22)。
<Three-dimensional coordinate value acquisition / storage process: ST22 in FIG. 11>
Subsequently, using GNSS (Global Navigation Satellite System), the three-dimensional coordinate values of the ground coordinate system XYZ of the first to nth reference points P1, P2, P3, P4, ..., Pi, ..., Pn. (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3), ..., (Xi, Yi, Zi), ..., (Xn, Yn, Zn) are measured and acquired.
In the control calculation means 6, the
As shown in FIG. 7, the
In the control calculation means 6, the
<飛行工程:図11のST23>
無人飛行体2を被検査構造体Yに近傍する地上Zに載置して、遠隔操作手段5の自動飛行指示部33(飛行開始ボタン)を操作する。
遠隔制御部34は、図6に示すように、自動飛行指示部33の操作に基づいて、遠隔通信部37(無線通信ユニット32)に飛行開始信号(飛行開始指令)を出力し、遠隔通信部37は、通信アンテナ36から飛行開始信号(飛行開始指令)を無人飛行体2(無線通信ユニット14)に送信する。
無人飛行体2において、機体通信部28は、図6に示すように、通信アンテナ27から飛行開始信号(飛行開始指令)を受信すると、飛行開始信号(飛行開始指令)を機体制御部16に出力する。
機体制御部16は、図3乃至図6に示すように、飛行開始信号(飛行開始指令)を入力すると、画像記憶部15から飛行経路(飛行プログラム)を読出して、各ロータユニット12のロータモータ26を回転する。
これにより、無人飛行体2は、図1及び図2に示すように、各ロータユニット12のロータモータ26の回転による揚力及び推進力によって、地上Zから上昇して飛行される。
続いて、機体制御部16は、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を制御して、無人飛行体2を被検査構造体Yまで飛行させて、及び無人飛行体2を被検査構造体Y及び各基準点P1,P2,P3,P4,…,Pi,…,Pnの間に飛行させる。このとき、機体制御部16は、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を変更制御して、検査カメラ3を被検査構造体Yに近接(接近)するように、無人飛行体2を飛行させる。
これにより、無人飛行体2は、図1及び図2に示すように、検査カメラ3の撮影方向αを被検査構造体Y[被検査構造体Yの一部の箇所(部位)]に向け、及び基準カメラ4の撮影方向βを各基準点P1,P2,P3,P4,…,Pi,…,Pnに向ける飛行姿勢(検査飛行姿勢)にて飛行される。
機体制御部16は、飛行経路(飛行プログラム)に基づいて、無人飛行体2を検査飛行姿勢にて低速移動(低速飛行)させる(図11:ST23)。
<Flight process: ST23 in Fig. 11>
The
As shown in FIG. 6, the
In the
As shown in FIGS. 3 to 6, when the
As a result, as shown in FIGS. 1 and 2, the
Subsequently, the
As a result, as shown in FIGS. 1 and 2, the
The
<撮影工程:図11のST24>
無人飛行体2を検査飛行姿勢(飛行姿勢)で低速移動(低速飛行)させた状態において、機体制御部16は、撮影信号(撮影指令)を検査カメラ3及び基準カメラ4に同時に出力する。
検査カメラ3は、図1及び図2に示すように、撮影信号(撮影指令)を入力すると、被検査構造体Yの一部の箇所(部位)の画像(検査画像)を撮影する。
基準カメラ4は、図1及び図2に示すように、撮影信号(撮影指令)を入力すると、4以上の基準点Pi(i=1,2,3,4,…,n)を含む地上Zの画像、例えば、第1番目乃至第6番目の基準点P1,P2,P3,P4,P5,P6を含む地上Zの画像(基準画像)を撮影する。
このとき、検査カメラ3及び基準カメラ4は、機体制御部16から撮影信号(撮影指令)を同時に入力する。
これにより、検査カメラ3及び基準カメラ4は、図1及び図2に示すように、無人飛行体2の検査飛行姿勢(飛行姿勢)において、被検査構造体Yの一部の箇所(部位)(検査画像)、及び4以上の基準点P1~P6を含む地上Z(基準画像)を同時撮影する(図11:ST24)。
<Shooting process: ST24 in FIG. 11>
In a state where the
As shown in FIGS. 1 and 2, the
As shown in FIGS. 1 and 2, the
At this time, the
As a result, as shown in FIGS. 1 and 2, the
<飛行体の画像記憶工程:図11のST25>
検査カメラ3及び基準カメラ4は、図6に示すように、検査画像及び基準画像を同時撮影すると、同時撮影した検査画像データ及び基準画像データを機体制御部16に出力する。
機体制御部16は、検査画像データ及び基準画像データを入力すると、同時撮影された検査画像(検査画像データ)及び基準画像(基準画像データ)を相互に対応付けて画像記憶部15に記憶する(図11:ST25)。
被検査構造体の検査システムXにおいて、機体制御部16は、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を変更制御することで、無人飛行体2の検査飛行姿勢(飛行姿勢)を保持した状態において、無人飛行体2を被検査構造体Yに沿って低速移動(低速飛行)させ、及び所定時間毎に撮影信号(撮影指令)を検査カメラ3及び基準カメラ4に同時に出力する。
これにより、検査カメラ3は、無人飛行体2の被検査構造体Yに沿った低速移動(低速飛行)によって、所定時間毎に被検査構造体Yの一部の箇所(部位)の画像(検査画像)を撮影し、基準カメラ4は、無人飛行体2の被検査構造体Yに沿った低速移動(低速飛行)によって、所定時間毎に4以上の基準点P1,P2,P3,P4,…,Pi,…,Pnを含む地上Zの画像(基準画像)を撮影する。検査カメラ3及び基準カメラ4は、所定時間毎に同時撮影した検査画像及び基準画像を機体制御部16に出力し、機体制御部16は、所定時間毎に入力する検査画像及び基準画像を相互に対応付けて画像記憶部15に記憶する。
このように、被検査構造体の検査システムでは、無人飛行体2を被検査構造体Yに沿って低速移動(低速飛行)させることで、検査カメラ3による複数の検査画像、及び基準カメラ4による複数の基準画像を所定時間毎に同時撮影して、同時撮影した検査画像及び基準画像を相互に対応付けて画像記憶部15に記憶する。
<Image storage process of the flying object: ST25 in FIG. 11>
As shown in FIG. 6, the
When the inspection image data and the reference image data are input, the
In the inspection system X of the structure to be inspected, the
As a result, the
As described above, in the inspection system of the structure to be inspected, the
<飛行体着陸工程:図11のST26>
無人飛行体2において、機体制御部16は、飛行経路(飛行プログラム)に基づいて、無人飛行体2を地上Zに着陸させる。無人飛行体2は、各支持脚23から地上Zに着陸する(図11:ST26)。
これにより、被検査構造体Yの撮影、及び各基準点P1,P2,P3,P4,…,Pi,…,Pnの撮影を完了する。
<Flight landing process: ST26 in Fig. 11>
In the
This completes the imaging of the structure Y to be inspected and the imaging of the reference points P1, P2, P3, P4, ..., Pi, ..., Pn.
<制御演算手段の画像記憶工程:図11のST27>
続いて、無人飛行体2の画像記憶部15に記憶された検査画像(検査画像データ)、及び基準画像(基準画像データ)を取出して、制御演算手段6の入力部41を操作して、検査画像(検査画像データ)及び基準画像(基準画像データ)を制御演算部44に入力する。
制御演算部44は、図7に示すように、検査画像(検査画像データ)及び基準画像(基準画像データ)を入力すると、同時撮影した検査画像及び基準画像を相互に対応付けてデータ記憶部42に記憶する(図11:ST27)。
<Image storage process of control calculation means: ST27 in FIG. 11>
Subsequently, the inspection image (inspection image data) and the reference image (reference image data) stored in the
As shown in FIG. 7, when the inspection image (inspection image data) and the reference image (reference image data) are input, the
<画像表示工程:図11のST28>
制御演算手段6において、入力部41を操作して、同時撮影した検査画像(検査画像データ)及び基準画像(基準画像データ)を読出す。
このとき、制御演算部44は、図7に示すように、入力部41の操作に基づいて、同時撮影した検査画像(検査画像データ)及び基準画像(基準画像データ)をデータ記憶部42から読出して、表示部43(液晶表示器)に出力する。表示部43は、同時撮影した検査画像及び基準画像を表示する(図11:ST28)。
<Image display process: ST28 in FIG. 11>
In the control calculation means 6, the
At this time, as shown in FIG. 7, the
<飛行姿勢・位置算出工程:図11のST29>
続いて、表示部43(液晶表示器)に表示された基準画像において、基準画像上(画像上)の4以上の基準点P、例えば、第1番目乃至第6番目の基準点P1,P2,P3,P4,P5,P6から4つの基準点P1,P2,P3,P4(第1番目乃至第4番目の基準点)を選択する。
制御演算手段6(制御演算装置)において、入力部41を操作して、選択した各基準点P1~P4(第1番目乃至第4番目の基準点)の基準番号N1~N4を制御演算部44に入力する。
制御演算部44は、図7に示すように、各基準点P1~P4の基準番号N1~N4を入力すると、データ記憶部42から第1番目乃至第4番目の基準点P1,P2,P3,P4の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)を読出す。
制御演算部44は、選択された基準点P1,P2,P3,P4に対応する写真像p1,p2,p3,p4の写真座標値(x1,y1),(x2,y2),(x3,y3),(x4,y4)を基準画像から取得する。
続いて、制御演算部44(制御演算手段6)は、図10のST02で説明したと同様に、選択した各基準点P1,P2,P3,P4の基準画像上(画像上)の写真座標系xyの写真像p1,p2,p3,p4の写真座標値(x1,y1),(x2,y2),(x3,y3),(x4,y4)と、選択した各基準点P1,P2,P3,P4の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)から係数b1~b8を算出(演算)する。
続いて、制御演算部44(制御演算手段6)は、図10のST03で説明したと同様に、算出したパラメータb~b8を用いて、式(6)から同時撮影時の基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)を算出(演算)し、及び同時撮影時の基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(X0a,Y0a,Z0a)を算出(演算)する。
続いて、制御演算部44は、基準画像上の全ての基準点P1,P2,P3,P4,P5,P6の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4),(X5,Y5,Z5),(X6,Y6,Z6)をデータ記憶部42から読出す。
制御演算部44は、図10のST04~ST09で説明したと同様に、基準画像上の全基準点P1~P6の地上座標系XYZの三次元座標値(X1,Y1,Z1)~(X6,Y6,Z6)、基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(X0a,Y0a,Z0a)から基準カメラ4の傾き(姿勢)(ω,φ,κ)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)を算出(演算)する(図11:ST29)。
<Flight attitude / position calculation process: ST29 in Fig. 11>
Subsequently, in the reference image displayed on the display unit 43 (liquid crystal display), four or more reference points P on the reference image (on the image), for example, the first to sixth reference points P1, P2. Four reference points P1, P2, P3, P4 (first to fourth reference points) are selected from P3, P4, P5, and P6.
In the control calculation means 6 (control calculation device), the
As shown in FIG. 7, when the
The
Subsequently, the control calculation unit 44 (control calculation means 6) is a photographic coordinate system on the reference image (on the image) of each of the selected reference points P1, P2, P3, P4, as described in ST02 of FIG. Photo image of xy Photo coordinate values of p 1 , p 2 , p 3 , p 4 (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ), (x 4 , y 4 ) And the three-dimensional coordinate values (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3), (X4) of the ground coordinate system XYZ of each selected reference point P1, P2, P3, P4. , Y4, Z4), the coordinates b1 to b8 are calculated (calculated).
Subsequently, the control calculation unit 44 (control calculation means 6) tilts the
Subsequently, the
The
検査カメラ3及び基準カメラ4は無人飛行体2に搭載していることから、基準カメラ4の傾き(姿勢)(ω,φ,κ)は、無人飛行体2の三次元の飛行姿勢、及び検査カメラ3の傾き(姿勢)ともなる。
基準カメラ4は無人飛行体2に搭載していることから、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)は、無人飛行体2の三次元の飛行位置ともなる。
図11のST28及びST29を繰り返すことで、複数の基準画像について、検査カメラ3と同時撮影時の基準カメラ4の傾き(姿勢)(ω,φ,κ)を算出(演算)し、及び検査カメラ3と同時撮影時の基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)を算出する。
Since the
Since the
By repeating ST28 and ST29 in FIG. 11, the inclination (attitude) (ω, φ, κ) of the
<検査画像の座標付け工程:図11のST30>
制御演算部44(制御演算手段6)は、図10のST09で説明したと同様に、検査カメラ3の撮影中心O1の三次元座標値(Xb,Yb,Zb)をデータ記憶部42から読出して、検査カメラ3の撮影中心O1の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を算出(演算)する。
制御演算部44は、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)に三次元座標値(Xb,Yb,Zb)を加算して、三次元座標値(Xq,Yq,Zq)を算出(演算)する。
これにより、基準カメラ4の基準画像と同時撮影した検査カメラ3の検査画像について、検査画像の地上座標系XYZの三次元座標値(Xq,Yq,Zq)と、検査画像の傾き(姿勢)(ω,φ,κ)を座標付けられる(図11:ST30)。
検査カメラ3で撮影された複数の検査画像についても、図11のST30を実行することで、座標付けする。
これにより、検査画像について、座標付けすることで、検査カメラ3で撮影した被検査構造体Yの箇所(部位)を特定できる。
制御演算部44は、基準カメラ4の傾き(姿勢)(ω,φ,κ)、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)、及び検査画像の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を、同時撮影した検査画像及び基準画像に対応付けてデータ記憶部42に記憶する。
<Coordinate setting process of inspection image: ST30 in FIG. 11>
The control calculation unit 44 (control calculation means 6) reads out the three-dimensional coordinate values (Xb, Yb, Zb) of the photographing center O1 of the
The
As a result, regarding the inspection image of the
A plurality of inspection images taken by the
As a result, the location (site) of the structure Y to be inspected taken by the
The
<座標値・姿勢表示工程:図11のST31>
制御演算部44は、無人飛行体2の三次元の飛行姿勢(ω,φ,κ)、無人飛行体2の三次元の飛行位置(X0,Y0,Z0)、及び検査画像の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を表示部43に出力して、表示部43に表示する(図11:ST31)。
<Coordinate value / posture display process: ST31 in FIG. 11>
The
被検査構造体Yを検査する者(以下、「検査者」という)は、検査画像を見て、被検査構造体Yの欠陥を判別する。検査者は、座標付けした検査画像の地上座標系XYZの三次元座標値(Xq,Yq,Zq)及び検査画像の傾き(姿勢)(ω,φ,κ)から、被検査構造体Yの箇所(部位)を特定でき、被検査構造体Yに発生している実際の欠陥を確認できる。 A person who inspects the structure Y to be inspected (hereinafter referred to as an “inspector”) looks at the inspection image and determines a defect of the structure Y to be inspected. The inspector can determine the location of the structure Y to be inspected from the three-dimensional coordinate values (Xq, Yq, Zq) of the ground coordinate system XYZ of the coordinated inspection image and the inclination (attitude) (ω, φ, κ) of the inspection image. The (site) can be specified, and the actual defect occurring in the structure Y to be inspected can be confirmed.
本発明は、被検査構造体を撮影した画像から欠陥を判別するのに最適である。 The present invention is most suitable for discriminating defects from images taken of the structure to be inspected.
X 被検査構造体の検査システム
Y 被検査構造体(被検査構造物/橋梁)
Z 地上
P1,P2,…,Pi,…,Pn 基準点(対空標識)
p1,p2,…,pi,…,pn 写真像
2 無人飛行体
3 検査カメラ
4 基準カメラ
6 制御演算手段(制御演算装置)
α 撮影方向(検査カメラ)
β 撮影方向(基準カメラ)
Xi,Yi,Zi 基準点の地上座標系の三次元座標値
xi,yi 写真像の写真座標値
X0,Y0,Z0 基準カメラの撮影中心の地上座標系の三次元座標値
ω,φ,κ 基準カメラの傾き(姿勢)
O 基準カメラの撮影中心
O1 検査カメラの撮影中心
X Inspection system for the structure to be inspected Y Structure to be inspected (structure to be inspected / bridge)
Z Ground P1, P2, ..., Pi, ..., Pn reference point (anti-aircraft marker)
p 1 , p 2 , ..., p i , ..., pn
α Shooting direction (inspection camera)
β Shooting direction (reference camera)
Xi, Yi, Zi Three-dimensional coordinate value of the ground coordinate system of the reference point x i , y i Photo coordinate value of the photographic image X 0 , Y 0 , Z 0 Three-dimensional coordinate value of the ground coordinate system of the shooting center of the reference camera ω , Φ, κ Reference camera tilt (attitude)
O Reference camera shooting center O1 Inspection camera shooting center
Claims (1)
前記被検査構造体の周辺に配置され、地上座標系XYZの三次元座標値を測定済みの4以上の基準点と、
前記被検査構造体及び前記基準点の間に飛行される無人飛行体と、
前記無人飛行体に搭載され、前記被検査構造体の一部の箇所の検査画像を撮影する検査カメラと、
撮影方向を前記検査カメラの撮影方向と反対側に位置して前記無人飛行体に搭載され、4以上の前記基準点を含む基準画像を撮影する基準カメラと、
制御演算手段と、を備え、
前記無人飛行体は、
前記検査カメラの撮影方向を前記被検査構造体に向け、及び前記基準カメラの撮影方向を前記各基準点に向ける飛行姿勢にて飛行され、
前記検査カメラ、及び前記基準カメラは、
前記無人飛行体の前記飛行姿勢において、前記被検査構造体の一部の箇所及び4以上の前記基準点を同時撮影し、
前記制御演算手段は、
前記基準カメラの撮影した基準画像上の各基準点から選択した4つの基準点について、選択した前記各基準点の基準画像上の写真座標系xyの写真座標値と、前記基準カメラで撮影した基準画像上の全ての基準点の地上座標系XYZの三次元座標値に基づいて、同時撮影時の前記検査カメラの地上座標系XYZにおける姿勢、及び同時撮影時の前記基準カメラの撮影中心の地上座標系XYZの三次元座標値を算出し、
前記基準カメラの撮影中心からの前記検査カメラの撮影中心の三次元座標値と、前記基準カメラの撮影中心の地上座標系XYZの三次元座標値に基づいて、前記検査カメラの撮影中心であって、前記検査カメラで撮影した検査画像の地上座標系XYZの三次元座標値を算出する
ことを特徴とする被検査構造体の検査システム。
An inspection system for an inspected structure that captures an image of the inspected structure and discriminates defects from the image of the inspected structure.
Four or more reference points that are arranged around the structure to be inspected and have measured the three-dimensional coordinate values of the horizontal coordinate system XYZ, and
An unmanned flying object flying between the structure to be inspected and the reference point,
An inspection camera mounted on the unmanned flying object and taking an inspection image of a part of the structure to be inspected, and an inspection camera.
A reference camera that is mounted on the unmanned vehicle with the shooting direction opposite to the shooting direction of the inspection camera and that shoots a reference image including four or more reference points.
Equipped with control calculation means,
The unmanned aircraft is
It is flown in a flight attitude in which the shooting direction of the inspection camera is directed toward the structure to be inspected and the shooting direction of the reference camera is directed at each reference point.
The inspection camera and the reference camera
In the flight attitude of the unmanned vehicle , a part of the structure to be inspected and four or more reference points are simultaneously photographed.
The control calculation means is
For the four reference points selected from each reference point on the reference image taken by the reference camera, the photographic coordinate value of the photographic coordinate system xy on the reference image of each selected reference point and the photographed by the reference camera. Based on the three-dimensional coordinate values of the ground coordinate system XYZ of all the reference points on the reference image, the posture of the inspection camera in the ground coordinate system XYZ at the time of simultaneous shooting and the shooting center of the reference camera at the time of simultaneous shooting. Calculate the three-dimensional coordinate values of the ground coordinate system XYZ,
Based on the three-dimensional coordinate value of the shooting center of the inspection camera from the shooting center of the reference camera and the three-dimensional coordinate value of the ground coordinate system XYZ of the shooting center of the reference camera, the shooting center of the inspection camera. , Calculate the three-dimensional coordinate value of the ground coordinate system XYZ of the inspection image taken by the inspection camera.
An inspection system for the structure to be inspected, which is characterized by the fact that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018080495A JP6989849B2 (en) | 2018-04-19 | 2018-04-19 | Inspection system for the structure to be inspected |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018080495A JP6989849B2 (en) | 2018-04-19 | 2018-04-19 | Inspection system for the structure to be inspected |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019191684A JP2019191684A (en) | 2019-10-31 |
JP6989849B2 true JP6989849B2 (en) | 2022-01-12 |
Family
ID=68389911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018080495A Active JP6989849B2 (en) | 2018-04-19 | 2018-04-19 | Inspection system for the structure to be inspected |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6989849B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113432529B (en) * | 2020-12-30 | 2022-09-20 | 华南理工大学 | Seismic damage structure interlayer residual deformation detection method based on unmanned aerial vehicle camera shooting |
CN113865579A (en) * | 2021-08-06 | 2021-12-31 | 湖南大学 | Unmanned aerial vehicle pose parameter measuring system and method |
CN114486908A (en) * | 2021-12-31 | 2022-05-13 | 长江航道工程局有限责任公司 | Pier disease identification and detection unmanned aerial vehicle and detection method |
CN115343298B (en) * | 2022-09-06 | 2023-05-23 | 水利部交通运输部国家能源局南京水利科学研究院 | Attached scale system and marking method for unmanned aerial vehicle carrying remote control ejection |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012140101A (en) | 2011-01-04 | 2012-07-26 | Topcon Corp | Flight control system for flying object |
JP2016082441A (en) | 2014-10-17 | 2016-05-16 | ソニー株式会社 | Controller, control method and computer program |
JP2016138788A (en) | 2015-01-27 | 2016-08-04 | 株式会社トプコン | Survey data processing device, survey data processing method and program |
JP2017509981A (en) | 2014-12-31 | 2017-04-06 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Selective processing of sensor data |
-
2018
- 2018-04-19 JP JP2018080495A patent/JP6989849B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012140101A (en) | 2011-01-04 | 2012-07-26 | Topcon Corp | Flight control system for flying object |
JP2016082441A (en) | 2014-10-17 | 2016-05-16 | ソニー株式会社 | Controller, control method and computer program |
JP2017509981A (en) | 2014-12-31 | 2017-04-06 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Selective processing of sensor data |
JP2016138788A (en) | 2015-01-27 | 2016-08-04 | 株式会社トプコン | Survey data processing device, survey data processing method and program |
Also Published As
Publication number | Publication date |
---|---|
JP2019191684A (en) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6989849B2 (en) | Inspection system for the structure to be inspected | |
JP6387782B2 (en) | Control device, control method, and computer program | |
JP6055274B2 (en) | Aerial photograph measuring method and aerial photograph measuring system | |
JP5947634B2 (en) | Aerial photography imaging method and aerial photography imaging system | |
EP2772725B1 (en) | Aerial Photographing System | |
CN105335733B (en) | Unmanned aerial vehicle autonomous landing visual positioning method and system | |
CN102591353B (en) | Flight control system for flying object | |
JP6390013B2 (en) | Control method for small unmanned aerial vehicles | |
JP5748561B2 (en) | Aerial photography imaging method and aerial photography imaging apparatus | |
US9641810B2 (en) | Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers | |
KR20190051704A (en) | Method and system for acquiring three dimentional position coordinates in non-control points using stereo camera drone | |
JP6430073B2 (en) | Attitude estimation apparatus, attitude estimation method, and observation system | |
KR100556103B1 (en) | Method for aerial photogrammetry using computer controlled navigation and photographing system | |
JP5775632B2 (en) | Aircraft flight control system | |
JP2019194903A (en) | Information processing device, information processing method and computer program | |
WO2016059877A1 (en) | Controller, control method, and flight vehicle device | |
JP2016111414A (en) | Flying body position detection system and flying body | |
JP5134784B2 (en) | Aerial photogrammetry | |
KR20110134076A (en) | Construction method of 3d spatial information using position controlling of uav | |
CN113984019A (en) | Measurement system, measurement method, and measurement program | |
CN211552835U (en) | Highway field survey system based on unmanned aerial vehicle's long-range GPS RTK measurement | |
JP6368016B2 (en) | Aerial photography system | |
JP2023093808A (en) | Flight route normalization system, flight route normalization method, and flight route normalization program | |
WO2021130980A1 (en) | Aircraft flight path display method and information processing device | |
JP2020155149A (en) | Control method and control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180515 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6989849 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |