JP7314466B2 - Unmanned aerial vehicle, imaging system, and program - Google Patents
Unmanned aerial vehicle, imaging system, and program Download PDFInfo
- Publication number
- JP7314466B2 JP7314466B2 JP2019131390A JP2019131390A JP7314466B2 JP 7314466 B2 JP7314466 B2 JP 7314466B2 JP 2019131390 A JP2019131390 A JP 2019131390A JP 2019131390 A JP2019131390 A JP 2019131390A JP 7314466 B2 JP7314466 B2 JP 7314466B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- seam fitting
- fitting portions
- seam
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 22
- 238000012545 processing Methods 0.000 claims description 51
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 description 28
- 239000003550 marker Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000007547 defect Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000010365 information processing Effects 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Description
本発明は、無人航空機、画像撮像システム、及びプログラムに関する。 The present invention relates to an unmanned aerial vehicle, an imaging system, and a program.
従来、ドローンを遠隔操作することで検査対象物を撮影し、撮影情報に基づく検査対象物の不具合の検査を、迅速かつ低コストで行う検査システムが知られている（例えば、特許文献１）。この検査システムのドローンは、航行制御情報及び撮影制御情報を受信し、航行制御情報に基づいて航行制御部の制御の下で自動航行を行いつつ、撮影制御情報に基づいてカメラによる撮影を行って撮影情報を取得する。また、この検査システムのサーバ装置３は、ドローンによって撮像された撮影情報及び位置情報を受信し、撮影情報を解析し、検査対象物の欠陥を特定する。 2. Description of the Related Art Conventionally, an inspection system is known in which an inspection target is photographed by remotely operating a drone, and defect inspection of the inspection target based on photographing information is performed quickly and at low cost (for example, Patent Document 1). The drone of this inspection system receives navigation control information and imaging control information, automatically navigates under the control of the navigation control unit based on the navigation control information, and acquires imaging information by performing photography with a camera based on the imaging control information. Also, the server device 3 of this inspection system receives image information and position information imaged by the drone, analyzes the image information, and identifies defects in the inspection object.
また、煙突、橋脚、サイロなどの人が接近しにくいコンクリート建造物などの外壁面の劣化状況をリモートセンシングする技術が知られている（例えば、特許文献２）。この技術は、遠方に設置したカメラにより煙突の外壁面を多数の部分に別けて撮影する。そして、ユーザは、撮影された画像について目視検査し、マウスで、欠陥情報を付け加える。付加された欠陥情報に応じて処理が行われ、全体の欠陥の分布情報が得られる。 Also, there is known a technology for remote sensing of deterioration of outer wall surfaces of concrete structures such as chimneys, bridge piers, and silos that are difficult for people to approach (for example, Patent Document 2). With this technology, the outer wall of the chimney is divided into many parts and photographed by a camera installed at a distance. The user then visually inspects the captured image and adds defect information with a mouse. Processing is performed in accordance with the added defect information, and overall defect distribution information is obtained.
また、建造物等の面の状態を、精度良く解析する情報処理装置が知られている（例えば、特許文献３）。この情報処理装置は、面に沿って移動する移動体に搭載された撮像装置で続けて面を撮像し、当該面を含む領域が撮像された画像を取得する。そして、この情報処理装置は、取得した画像を分割し、画像の一部分である部分画像を複数出力し、部分画像の各々について、当該部分画像中の面の状態を判定する。 Further, an information processing apparatus is known that accurately analyzes the state of surfaces of buildings and the like (for example, Patent Document 3). This information processing apparatus continuously captures images of a surface with an imaging device mounted on a moving object that moves along the surface, and obtains an image of an area including the surface. Then, this information processing device divides the acquired image, outputs a plurality of partial images that are part of the image, and determines the state of the surface in the partial image for each of the partial images.
ところで、例えば、構造物の広範な領域に複数の検査対象物が略平行に並んでいる場合、それらの検査対象物の各々について個別に画像を撮像するよりも、複数の検査対象物が１枚の画像内に収まるように画像を撮像する方が効率的である。 By the way, for example, when a plurality of inspection objects are arranged substantially parallel in a wide area of a structure, it is more efficient to capture an image so that the plurality of inspection objects fit within one image rather than individually capturing images of each of the inspection objects.
しかし、この場合、画像に基づき検査対象物の検査が行われるため、当該画像は、適切な解像度及び適切な向きで撮像される必要がある。 However, in this case, since the inspection object is inspected based on the image, the image needs to be captured with an appropriate resolution and an appropriate orientation.
しかし、上記特許文献１～３に開示されている技術においては、撮像される画像の解像度及び向きについては考慮されていない。 However, the techniques disclosed in Patent Documents 1 to 3 do not consider the resolution and orientation of the captured image.
本発明は上記事実に鑑みて、構造物に略平行に並んでいる複数の検査対象物の合否を判定するための適切な画像を取得することを目的とする。 SUMMARY OF THE INVENTION In view of the above facts, an object of the present invention is to acquire an appropriate image for determining whether a plurality of inspection objects arranged substantially parallel to a structure is acceptable.
上記目的を達成するために、本発明の無人航空機は、カメラと、前記カメラによって撮像された画像を所定の記憶部に格納するように制御する画像格納制御部と、構造物に略平行に設置された複数の検査対象物を前記カメラによって撮像する際に、前記構造物と前記カメラとの間の距離が予め設定された範囲内となり、かつ前記検査対象物が前記カメラによって所定の角度で撮像されるように、無人航空機の飛行を制御する飛行制御部と、を備える無人航空機である。これにより、構造物に略平行に並んでいる複数の検査対象物の合否を判定するための適切な画像を取得することができる。 In order to achieve the above object, an unmanned aerial vehicle of the present invention comprises: a camera; an image storage controller configured to store an image captured by the camera in a predetermined storage; There is. As a result, it is possible to acquire an appropriate image for judging whether or not a plurality of inspection objects arranged substantially parallel to the structure is acceptable.
本発明の前記検査対象物は、前記構造物から突出した形状であり、前記飛行制御部は、前記検査対象物の側面が前記カメラによって撮像されるように、無人航空機の飛行を制御するようにすることができる。これにより、検査対象物の側面の合否を判定するための適切な画像を、効率的に取得することができる。 The inspection object of the present invention has a shape protruding from the structure, and the flight control section controls the flight of the unmanned aerial vehicle so that the side surface of the inspection object is imaged by the camera. As a result, it is possible to efficiently acquire an appropriate image for judging whether the sides of the object to be inspected are pass/fail.
本発明の前記複数の検査対象物は、前記構造物の溶接屋根の複数のハゼ嵌合部であるようにすることができる。これにより、溶接屋根の複数のハゼ嵌合部の合否を判定するための適切な画像を、効率的に取得することができる。 The plurality of inspection objects of the present invention can be a plurality of seam fitting portions of the welded roof of the structure. As a result, it is possible to efficiently acquire an appropriate image for determining whether or not the plurality of seam fitting portions of the welded roof are acceptable.
本発明の位置情報を取得する位置情報取得部を更に備え、前記画像格納制御部は、前記カメラによって撮像された画像と、前記位置情報取得部によって取得された前記位置情報とを対応付けて所定の記憶部に格納するようにすることができる。これにより、複数の検査対象物の画像と共に、検査対象物の位置情報を効率的に取得することができる。 A position information acquisition unit for acquiring position information according to the present invention may be further provided, and the image storage control unit may associate the image captured by the camera with the position information acquired by the position information acquisition unit and store them in a predetermined storage unit. This makes it possible to efficiently acquire the position information of the inspection object together with the images of the inspection objects.
本発明の画像撮像システムは、上記の無人航空機と、前記記憶部を備えるサーバと、を含み、前記無人航空機の前記画像格納制御部は、前記画像を前記サーバの前記記憶部に格納するために、前記画像を前記サーバへ送信する画像撮像システムである。これにより、複数の検査対象物の画像を外部サーバへ自動的に格納することができる。 An imaging system of the present invention includes the unmanned aerial vehicle described above and a server having the storage unit, and the image storage control unit of the unmanned aerial vehicle transmits the image to the server in order to store the image in the storage unit of the server. Thereby, images of a plurality of inspection objects can be automatically stored in the external server.
本発明のプログラムは、無人航空機に搭載されたカメラにより撮像された画像を所定の記憶部に格納するように制御し、構造物に略平行に設置された複数の検査対象物を前記カメラによって撮像する際に、前記構造物と前記カメラとの間の距離が予め設定された範囲内となり、かつ前記検査対象物が前記カメラによって所定の角度で撮像されるように、無人航空機の飛行を制御する、処理をコンピュータに実行させるためのプログラムである。これにより、構造物に略平行に並んでいる複数の検査対象物の合否を判定するための適切な画像を取得することができる。 A program according to the present invention is a program for causing a computer to execute processing for controlling the flight of an unmanned aerial vehicle so that images captured by a camera mounted on the unmanned aerial vehicle are stored in a predetermined storage unit, and the distance between the structure and the camera is within a preset range and the inspection target is captured at a predetermined angle by the camera when the camera captures images of a plurality of inspection objects installed substantially parallel to a structure. As a result, it is possible to acquire an appropriate image for judging whether or not a plurality of inspection objects arranged substantially parallel to the structure is acceptable.
本発明によれば、構造物に略平行に並んでいる複数の検査対象物の合否を判定するための適切な画像を取得することができる、という効果が得られる。 ADVANTAGE OF THE INVENTION According to this invention, the effect that the suitable image for judging acceptance/rejection of the multiple inspection objects which are located in a line substantially parallel to the structure can be acquired is acquired.
以下、図面を参照して、本発明の実施形態について詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
＜第１実施形態に係る画像撮像システムの構成＞ <Configuration of imaging system according to first embodiment>
図１は、第１実施形態に係る画像撮像システム１０の構成の一例を示す図である。図１に示されるように、第１実施形態の画像撮像システム１０は、無人航空機の一例であるドローン３０と、ドローン３０を制御する制御機器２０と、サーバ（図示省略）とを備えている。制御機器２０と、ドローン３０と、サーバ（図示省略）とは、所定の通信手段によって接続されている。制御機器２０は、例えば、ユーザＵによって操作される。 FIG. 1 is a diagram showing an example of the configuration of an imaging system 10 according to the first embodiment. As shown in FIG. 1, the imaging system 10 of the first embodiment includes a drone 30, which is an example of an unmanned aerial vehicle, a control device 20 that controls the drone 30, and a server (not shown). The control device 20, the drone 30, and a server (not shown) are connected by a predetermined communication means. The control device 20 is operated by a user U, for example.
本実施形態の画像撮像システム１０は、図１に示されるように、建物の屋根Ｒｆにおける鉤（ハゼ）の嵌合部を撮像する。鉤（ハゼ）の嵌合部（以下、単に「ハゼ嵌合部」と称する。）は、金属製の屋根における接合部であり、金属板の接合において、板を折り曲げ、かみ合わせる形にした部分である。 The imaging system 10 of the present embodiment, as shown in FIG. 1, images the fitting portion of the hook (haze) on the roof Rf of the building. A seam fitting portion (hereinafter simply referred to as a “sea fitting portion”) is a joint portion of a metal roof, and is a portion formed by bending and meshing metal plates when joining metal plates.
図１に示されるように、複数のハゼ嵌合部ｈは、建物の屋根Ｒｆに略平行に設置されている。このため、図１に示されるように、本実施形態の画像撮像システム１０は、ドローン３０に搭載されたカメラによって、建物の屋根Ｒｆに存在する複数のハゼ嵌合部ｈを一度に撮像する。なお、建物の屋根Ｒｆは構造物の一例であり、ハゼ嵌合部は、検査対象物の一例である。 As shown in FIG. 1, the plurality of seam fitting portions h are installed substantially parallel to the roof Rf of the building. Therefore, as shown in FIG. 1, the image capturing system 10 of the present embodiment uses a camera mounted on the drone 30 to capture images of a plurality of seam fitting portions h existing on the roof Rf of the building at once. The building roof Rf is an example of the structure, and the seam fitting portion is an example of the inspection object.
建物の屋根Ｒｆに存在する複数のハゼ嵌合部ｈを１枚の画像に収めようとする場合、ドローン３０による画像の撮像方法が問題となる。図２に、ドローン３０によるハゼ嵌合部ｈの撮像を説明するための説明図を示す。図２に示されるように、建物の屋根Ｒｆには複数のハゼ嵌合部ｈが存在している。ハゼ嵌合部は、建物の屋根Ｒｆから突出した形状を有している。この場合、ドローン３０のカメラによって、略平行に並んでいる複数のハゼ嵌合部ｈを撮像する場合を考える。ハゼ嵌合部については、ハゼ嵌合部の側面が検査対象となるため、ドローン３０のカメラは、ハゼ嵌合部の側面の画像を撮像する必要がある。 When attempting to capture a plurality of seam fitting portions h present on the roof Rf of a building in one image, a method of capturing an image by the drone 30 poses a problem. FIG. 2 shows an explanatory diagram for explaining imaging of the seam fitting portion h by the drone 30. As shown in FIG. As shown in FIG. 2, a plurality of seam fitting portions h are present on the roof Rf of the building. The seam fitting portion has a shape protruding from the roof Rf of the building. In this case, it is assumed that the camera of the drone 30 captures images of a plurality of seam fitting portions h that are aligned substantially in parallel. As for the seam fitting portion, since the side surface of the seam fitting portion is to be inspected, the camera of the drone 30 needs to capture an image of the side surface of the seam fitting portion.
この場合、例えば、図２に示されるハゼ嵌合部ｈ１とドローン３０のカメラとの間の距離は離れすぎているため、ハゼ嵌合部ｈ１の画像は必要な解像度が得られない。一方、図２に示されるハゼ嵌合部ｈ２とドローン３０のカメラとの間の距離は近すぎるため、ハゼ嵌合部ｈ２の側面の画像を得ることができない。 In this case, for example, since the distance between the seam fitting portion h1 shown in FIG. 2 and the camera of the drone 30 is too large, the image of the seam fitting portion h1 cannot obtain the required resolution. On the other hand, since the distance between the seam fitting portion h2 shown in FIG. 2 and the camera of the drone 30 is too short, an image of the side surface of the seam fitting portion h2 cannot be obtained.
そこで、本実施形態の画像撮像システム１０では、複数のハゼ嵌合部をドローン３０のカメラによって撮像する際に、建物の屋根Ｒｆとドローン３０のカメラとの間の距離が予め設定された範囲内となり、かつハゼ嵌合部がカメラによって所定の角度で撮像されるように、ドローン３０の飛行を制御する。 Therefore, in the imaging system 10 of the present embodiment, the flight of the drone 30 is controlled so that the distance between the roof Rf of the building and the camera of the drone 30 is within a preset range and the seam fitting portions are imaged at a predetermined angle by the camera when the plurality of seam fitting portions are imaged by the camera of the drone 30.
具体的には、ドローン３０に搭載された赤外線センサによって、建物の屋根Ｒｆとドローン３０との間の距離を逐次検知し、建物の屋根Ｒｆとドローン３０のカメラとの間の距離が所定値の範囲内となるように、ドローン３０の飛行を制御する。 Specifically, the infrared sensor mounted on the drone 30 sequentially detects the distance between the building roof Rf and the drone 30, and the flight of the drone 30 is controlled so that the distance between the building roof Rf and the camera of the drone 30 is within a predetermined value range.
なお、本実施形態においては、図３に示されるように、ドローン３０のカメラと建物の屋根Ｒｆとの間の距離が定義され、ドローン３０とハゼ嵌合部ｈとの間の角度θが定義される。 In this embodiment, as shown in FIG. 3, the distance between the camera of the drone 30 and the building roof Rf is defined, and the angle θ between the drone 30 and the seam fitting h is defined.
以下、具体的に説明する。 A specific description will be given below.
（制御機器２０） (Control device 20)
制御機器２０は、ＣＰＵ（Central Processing Unit）、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ（Read Only Memory）、データを一時的に記憶するＲＡＭ（Random Access Memory）、記憶手段としてのメモリ、及びネットワークインタフェース等を含むコンピュータによって構成されている。制御機器２０は、機能的には、図４に示されるように、制御部２２と、通信部２４とを備える。 The control device 20 includes a CPU (Central Processing Unit), a ROM (Read Only Memory) that stores programs and the like for realizing each processing routine, a RAM (Random Access Memory) that temporarily stores data, a memory as a storage means, and a computer including a network interface. The control device 20 functionally includes a control section 22 and a communication section 24 as shown in FIG.
制御部２２は、ドローン３０を飛行させるための制御信号を送信する。通信部２４は、他の装置との間において情報の送受信を行う。 The control unit 22 transmits control signals for flying the drone 30 . The communication unit 24 transmits and receives information to and from other devices.
なお、本実施形態においては、制御機器２０はドローン３０の起動又は停止を制御するのみである場合を説明する。 In addition, in this embodiment, the case where the control device 20 only controls the start or stop of the drone 30 will be described.
（ドローン３０） (Drone 30)
ドローン３０は、機能的には、図４に示されるように、カメラ３２と、赤外線センサ３４と、コンピュータ３６と、ＧＮＳＳ（Global Navigation Satellite System）の一例であるＧＰＳセンサ（Global Positioning System）３８と、駆動装置４０とを備えている。 Functionally, as shown in FIG. 4, the drone 30 includes a camera 32, an infrared sensor 34, a computer 36, a GPS sensor (Global Navigation Satellite System) (GNSS) (Global Positioning System) 38, and a drive device 40.
カメラ３２は、ドローン３０周辺の画像を撮像する。赤外線センサ３４は、ドローン３０と周辺の障害物のとの間の距離を逐次計測する。また、ＧＰＳセンサ３８は、ドローン３０が位置する位置情報を逐次取得する。 The camera 32 captures images around the drone 30 . The infrared sensor 34 sequentially measures the distance between the drone 30 and surrounding obstacles. In addition, the GPS sensor 38 sequentially acquires positional information on the location of the drone 30 .
コンピュータ３６は、ＣＰＵ、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ、データを一時的に記憶するＲＡＭ、記憶手段としてのメモリ、ネットワークインタフェース等を含んで構成されている。コンピュータ３６は、ドローン３０の飛行を制御すると共に、カメラ３２によって撮像された画像を取得する。また、コンピュータ３６は、赤外線センサ３４によって計測された、建物の屋根とドローン３０との間の距離を取得する。 The computer 36 includes a CPU, a ROM that stores programs and the like for implementing each processing routine, a RAM that temporarily stores data, a memory as storage means, a network interface, and the like. Computer 36 controls the flight of drone 30 and acquires images captured by camera 32 . Computer 36 also acquires the distance between the roof of the building and drone 30 as measured by infrared sensor 34 .
コンピュータ３６は、機能的には、図４に示されるように、情報取得部４２と、飛行制御部４４と、カメラ制御部４６と、位置情報取得部４８と、画像格納制御部５０と、通信部５２とを備えている。 The computer 36 functionally includes an information acquisition unit 42, a flight control unit 44, a camera control unit 46, a position information acquisition unit 48, an image storage control unit 50, and a communication unit 52, as shown in FIG.
情報取得部４２は、赤外線センサ３４によって計測された距離の情報を取得する。また、情報取得部４２は、カメラ３２によって撮像された画像を取得する。 The information acquisition unit 42 acquires distance information measured by the infrared sensor 34 . Also, the information acquisition unit 42 acquires an image captured by the camera 32 .
飛行制御部４４は、ドローン３０を飛行させる駆動装置４０を制御する。なお、飛行制御部４４は、後述する制御機器２０からの制御信号に応じて、ドローン３０の飛行を制御するようにしてもよい。 The flight control unit 44 controls the driving device 40 that causes the drone 30 to fly. Note that the flight control unit 44 may control the flight of the drone 30 according to a control signal from the control device 20, which will be described later.
カメラ制御部４６は、カメラ３２による画像の撮像を制御する。 The camera control unit 46 controls image pickup by the camera 32 .
位置情報取得部４８は、ＧＰＳセンサ３８によって検知されたドローン３０の位置を表す位置情報を取得する。 The position information acquisition unit 48 acquires position information representing the position of the drone 30 detected by the GPS sensor 38 .
駆動装置４０は、コンピュータ３６の制御に応じて、ドローン３０を駆動させる。駆動装置４０の駆動に応じて、ドローン３０は飛行する。 The driving device 40 drives the drone 30 under the control of the computer 36 . The drone 30 flies according to the driving of the driving device 40 .
（サーバ６０） (Server 60)
サーバ６０は、ＣＰＵ、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ、データを一時的に記憶するＲＡＭ、記憶手段としてのメモリ、及びネットワークインタフェース等を含むコンピュータによって構成されている。サーバ６０は、機能的には、図４に示されるように、画像処理部６２と、画像記憶部６４と、通信部６６とを備える。 The server 60 is composed of a computer including a CPU, a ROM that stores programs and the like for implementing each processing routine, a RAM that temporarily stores data, a memory as storage means, a network interface, and the like. The server 60 functionally includes an image processing unit 62, an image storage unit 64, and a communication unit 66, as shown in FIG.
画像処理部６２は、ドローン３０から送信された画像を取得し、後述する画像記憶部６４へ格納する。画像記憶部６４には、ドローン３０のカメラ３２によって撮像された画像が格納される。通信部６６は、他の装置との間で情報のやり取りを行う。 The image processing unit 62 acquires the image transmitted from the drone 30 and stores it in the image storage unit 64 which will be described later. The image storage unit 64 stores images captured by the camera 32 of the drone 30 . The communication unit 66 exchanges information with other devices.
次に、本実施形態の画像撮像システム１０の作用について説明する。ドローン３０の起動を表す制御信号が制御機器２０から出力され、ドローン３０がその制御信号を受信すると、ドローン３０のコンピュータ３６は、図５に示す制御処理ルーチンを実行する。 Next, the operation of the imaging system 10 of this embodiment will be described. When a control signal representing activation of the drone 30 is output from the control device 20 and the drone 30 receives the control signal, the computer 36 of the drone 30 executes the control processing routine shown in FIG.
ステップＳ１００において、情報取得部４２は、赤外線センサ３４によって計測された距離の情報を取得する。 In step S<b>100 , the information acquisition unit 42 acquires distance information measured by the infrared sensor 34 .
ステップＳ１０２において、飛行制御部４４は、上記ステップＳ１００で取得された距離の情報に基づいて、建物の屋根とドローン３０のカメラ３２との間の距離が予め設定された範囲内となるように、駆動装置４０を制御する。なお、建物の屋根Ｒｆとドローン３０のカメラ３２との間の距離が予め設定された範囲内となるような駆動制御が行われることにより、後述するステップＳ１０４において、建物の屋根に設置されたハゼ嵌合部がカメラ３２によって所定の角度で撮像される。 In step S102, the flight control unit 44 controls the driving device 40 based on the distance information obtained in step S100 so that the distance between the roof of the building and the camera 32 of the drone 30 is within a preset range. By performing drive control so that the distance between the roof Rf of the building and the camera 32 of the drone 30 is within a preset range, in step S104 described later, the seam fitting portion installed on the roof of the building is imaged at a predetermined angle by the camera 32.
なお、ドローン３０（又はドローン３０のカメラ３２）と建物の屋根との間の距離Ｚは、250[ｍｍ]～2000[ｍｍ]が好ましい。また、画像に映るハゼ嵌合部とドローン３０との間の角度θは、40°～60°が好ましい。この場合には、数本（例えば、４本）程度のハゼ嵌合部を一枚の画像に収めることができる。その画像に写る４本程度のハゼ嵌合部の領域は適切な解像度であり、かつハゼ嵌合部の側面部分が写っているため、ハゼ嵌合部を検査するのに好適な画像が得られることになる。 Note that the distance Z between the drone 30 (or the camera 32 of the drone 30) and the roof of the building is preferably 250 [mm] to 2000 [mm]. Also, the angle θ between the seam fitting portion and the drone 30 shown in the image is preferably 40° to 60°. In this case, several (for example, four) seam fitting portions can be included in one image. The area of about four seam fitting portions captured in the image has an appropriate resolution, and the side portions of the seam fitting portions are captured. Therefore, an image suitable for inspecting the seam fitting portions can be obtained.
ステップＳ１０４において、カメラ制御部４６は、カメラ３２に画像を撮像させる。そして、情報取得部４２は、カメラ３２によって撮像された画像を取得する。 In step S104, the camera control unit 46 causes the camera 32 to capture an image. The information acquisition unit 42 then acquires the image captured by the camera 32 .
ステップＳ１０６において、位置情報取得部４８は、ＧＰＳセンサ３８によって取得された位置情報を取得する。 In step S<b>106 , the position information acquisition unit 48 acquires the position information acquired by the GPS sensor 38 .
ステップＳ１０８において、画像格納制御部５０は、上記ステップＳ１０４で取得された画像に対して、上記ステップＳ１０６で取得された位置情報を付与する。 In step S108, the image storage control unit 50 adds the position information obtained in step S106 to the image obtained in step S104.
ステップＳ１１０において、画像格納制御部５０は、上記ステップＳ１０８で生成された位置情報付きの画像を、サーバ６０へ送信するように制御する。通信部５２は、位置情報付きの画像情報をサーバ６０へ送信する。 In step S<b>110 , the image storage control unit 50 controls to transmit the image with position information generated in step S<b>108 to the server 60 . The communication unit 52 transmits the image information with position information to the server 60 .
ステップＳ１１２において、飛行制御部４４は、制御機器２０から停止を表す制御信号を受信したか否かを判定する。停止を表す制御信号を受信した場合には、ステップＳ１１４へ進む。一方、停止を表す制御信号を受信していない場合には、ステップＳ１００へ戻る。 In step S<b>112 , the flight control unit 44 determines whether or not a control signal representing a stop has been received from the control device 20 . If the control signal indicating stop has been received, the process proceeds to step S114. On the other hand, if the control signal indicating stop has not been received, the process returns to step S100.
ステップＳ１１４において、飛行制御部４４は、ドローン３０の飛行を停止するように駆動装置４０を制御して、制御処理ルーチンを終了する。 In step S114, the flight control unit 44 controls the driving device 40 to stop the flight of the drone 30, and ends the control processing routine.
次に、サーバ６０の作用を説明する。ドローン３０から画像が送信されると、サーバ６０は図６に示す格納処理ルーチンを実行する。なお、サーバ６０は、ドローン３０から画像が送信される毎に格納処理ルーチンを実行する。 Next, the action of the server 60 will be described. When an image is transmitted from the drone 30, the server 60 executes the storage processing routine shown in FIG. Note that the server 60 executes a storage processing routine each time an image is transmitted from the drone 30 .
ステップＳ２００において、サーバ６０の通信部５２は、位置情報付きの画像を受信する。 In step S200, the communication unit 52 of the server 60 receives an image with position information.
ステップＳ２０２において、サーバ６０の画像処理部６２は、上記ステップＳ２００で取得された位置情報付きの画像を、画像記憶部６４へ格納して、格納処理ルーチンを終了する。 In step S202, the image processing unit 62 of the server 60 stores the image with the position information acquired in step S200 in the image storage unit 64, and ends the storage processing routine.
以上詳細に説明したように、本実施形態では、建物の屋根に略平行に設置された複数のハゼ嵌合部を、ドローンのカメラによって撮像する際に、建物の屋根とカメラとの間の距離が予め設定された範囲内となり、かつハゼ嵌合部がカメラによって所定の角度で撮像されるように、ドローンの飛行を制御する。そして、本実施形態では、カメラによって撮像された画像を画像記憶部に格納する。これにより、建物の溶接屋根に略平行に並んでいる複数のハゼ嵌合部の合否を判定するための適切な画像を取得することができる。具体的には、建物の溶接屋根のドローンとの間の距離が所定の範囲内であり、かつ所定の角度でハゼ嵌合部が撮像されるため、検査対象のハゼ嵌合部の側面が写った適切な解像度の画像を得ることができる。 As described in detail above, in the present embodiment, when a plurality of seam fitting portions installed substantially parallel to the roof of a building are imaged by a drone camera, the flight of the drone is controlled so that the distance between the roof of the building and the camera is within a preset range and the seam fitting portions are imaged at a predetermined angle by the camera. Then, in this embodiment, the image captured by the camera is stored in the image storage unit. As a result, it is possible to obtain an appropriate image for judging whether or not a plurality of seam fitting portions that are aligned substantially parallel to the welded roof of the building are acceptable. Specifically, since the distance between the drone and the welded roof of the building is within a predetermined range and the seam fitting portion is imaged at a predetermined angle, it is possible to obtain an image with an appropriate resolution that shows the side surface of the seam fitting portion to be inspected.
また、１枚の画像に複数のハゼ嵌合部を収めることができるため、ハゼ嵌合部の合否の判定を効率的に実施することができる。また、複数のハゼ嵌合部の画像と共に、ハゼ嵌合部の位置情報を効率的に取得することができる。 In addition, since a plurality of seam fitting portions can be accommodated in one image, it is possible to efficiently determine whether the seam fitting portion is acceptable. In addition, it is possible to efficiently acquire the positional information of the seam fitting portions together with the images of the plurality of seam fitting portions.
＜第２実施形態＞ <Second embodiment>
次に、第２実施形態を説明する。第２実施形態では、複数のハゼ嵌合部を撮像する際に、建物の屋根面にマーカを設置する。そして、そのマーカを含む画像を撮像し、画像中のマーカの位置に基づいて、画像中のハゼ嵌合部の位置を計算する。 Next, a second embodiment will be described. In the second embodiment, markers are installed on the roof surface of a building when imaging a plurality of seam fitting portions. Then, an image including the marker is captured, and the position of the seam fitting portion in the image is calculated based on the position of the marker in the image.
第１実施形態においては、ＧＰＳセンサ３８によって取得された位置情報を画像に付与する場合を例に説明したが、ＧＰＳセンサ３８によって得られる位置情報の精度は低い場合がある。 In the first embodiment, the case where the position information acquired by the GPS sensor 38 is added to the image has been described as an example, but the accuracy of the position information acquired by the GPS sensor 38 may be low.
そこで、第２実施形態においては、位置情報を計算するためのマーカを建物の屋根面に設置し、そのマーカを含む画像を撮像する。そして、画像内のマーカとハゼ嵌合部との間の位置関係に応じて、各画像のハゼ嵌合部の位置を計算する。そして、その位置情報と画像とを対応付けて、建物の屋根の図面データに付与する。これにより、ハゼ嵌合部の画像の台帳を得ることができ、画像の管理を容易に行うことができる。 Therefore, in the second embodiment, a marker for calculating position information is installed on the roof surface of the building, and an image including the marker is captured. Then, the position of the seam fitting portion of each image is calculated according to the positional relationship between the markers in the image and the seam fitting portion. Then, the position information and the image are associated with each other and added to the drawing data of the roof of the building. As a result, a ledger of images of seam fitting portions can be obtained, and images can be easily managed.
図７に、第２実施形態を説明するための説明図を示す。図７に示されるように、第２実施形態では、マーカＭ１，Ｍ２を設置して、ハゼ嵌合部を含む画像を撮像する。これにより、後述する処理によって、画像に映るハゼ嵌合部と、建物の図面データとの対応付けを行うことができる。 FIG. 7 shows an explanatory diagram for explaining the second embodiment. As shown in FIG. 7, in the second embodiment, markers M1 and M2 are installed to capture an image including the seam fitting portion. As a result, the seam fitting portion shown in the image can be associated with the drawing data of the building by the processing described later.
以下、具体的に説明する。 A specific description will be given below.
＜第２実施形態に係る画像撮像システムの構成＞ <Configuration of Image Capturing System According to Second Embodiment>
図８は、第２実施形態に係る画像撮像システム２１０の構成の一例を示す図である。図８に示されるように、本実施形態の画像撮像システム２１０は、制御機器２０と、ドローン３０と、サーバ２６０とを備えている。 FIG. 8 is a diagram showing an example of the configuration of an imaging system 210 according to the second embodiment. As shown in FIG. 8 , the imaging system 210 of this embodiment includes a control device 20 , a drone 30 and a server 260 .
サーバ２６０は、図８に示されるように、画像処理部２６２と、画像記憶部６４と、数字認識モデル記憶部２６５と、通信部６６と、図面データ記憶部２６６とを備えている。 The server 260 includes an image processing section 262, an image storage section 64, a numeral recognition model storage section 265, a communication section 66, and a drawing data storage section 266, as shown in FIG.
本実施形態において、ドローン３０のカメラ３２によって撮像される画像には、ハゼ嵌合部とは異なるマーカが写っている。そこで、サーバ２６０の画像処理部２６２は、マーカとハゼ嵌合部との間の位置関係に応じて、複数のハゼ嵌合部の位置情報を取得する。 In this embodiment, the image captured by the camera 32 of the drone 30 includes a marker different from the seam fitting portion. Therefore, the image processing unit 262 of the server 260 acquires position information of a plurality of seam fitting portions according to the positional relationship between the markers and the seam fitting portions.
具体的には、まず、画像処理部２６２は、画像記憶部６４に記憶された画像を読み出す。次に、画像処理部２６２は、画像からハゼ嵌合部の領域を抽出する。図９に、ハゼ嵌合部の抽出処理を説明するための説明図を示す。 Specifically, first, the image processing section 262 reads the image stored in the image storage section 64 . Next, the image processing unit 262 extracts the region of the seam fitting portion from the image. FIG. 9 shows an explanatory diagram for explaining the processing for extracting the seam fitting portion.
図９（Ａ）に示されるように、ハゼ嵌合部ｈを含む画像は、Ｘ方向の輝度値の変化が激しい。図９（Ｂ）は、ある特定のＹ座標であるＹ１における輝度値の分布の様子である。図９（Ｂ）に示されるＢｈの部分がハゼ嵌合部に対応しており、Ｂｈの部分は輝度値の変化が激しいことがわかる。 As shown in FIG. 9A, the image including the seam fitting h has a sharp change in luminance value in the X direction. FIG. 9B shows the distribution of luminance values at Y1, which is a specific Y coordinate. The portion Bh shown in FIG. 9(B) corresponds to the seam fitting portion, and it can be seen that the brightness value of the portion Bh changes sharply.
図９（Ｃ）は、隣接する画素の輝度値の差分を取ったグラフである。具体的には、図９（Ｃ）は、ある特定の位置Ｘ１の輝度値と、その隣の位置Ｘ２の輝度値との間の差分Ｅをグラフ化したものである。図９（Ｃ）からわかるように、ハゼ嵌合部の領域においては、差分Ｅの値が高いため、差分Ｅの値に応じて、ハゼ嵌合部の中心領域を抽出することができる。このため、画像処理部６２は、差分Ｅの値が所定の閾値以上である部分Ｅｈを、ハゼ嵌合部の中心領域として設定する。そして、本実施形態では、中心領域から所定の幅を有する領域をハゼ嵌合部として設定する。 FIG. 9(C) is a graph showing the difference between the brightness values of adjacent pixels. Specifically, FIG. 9(C) is a graph of the difference E between the luminance value of a specific position X1 and the luminance value of the adjacent position X2. As can be seen from FIG. 9(C), the value of the difference E is high in the area of the seam fitting portion, so the center area of the seam fitting portion can be extracted according to the value of the difference E. Therefore, the image processing unit 62 sets the portion Eh where the value of the difference E is equal to or greater than a predetermined threshold value as the center region of the seam fitting portion. In this embodiment, an area having a predetermined width from the central area is set as the seam fitting portion.
したがって、画像処理部２６２は、画像の特定位置Ｙ１の垂直方向（ドローンから見た場合の垂直方向を表す。図９では、Ｘ方向に対応する。）に並ぶ画素の輝度ヒストグラムを抽出し、当該輝度ヒストグラムの輝度変化に応じて、複数のハゼ嵌合部を抽出する。 Therefore, the image processing unit 262 extracts a luminance histogram of pixels arranged in the vertical direction (the vertical direction when viewed from the drone, which corresponds to the X direction in FIG. 9) of the specific position Y1 of the image, and extracts a plurality of seam fitting portions according to the luminance change of the luminance histogram.
次に、画像処理部２６２は、複数のハゼ嵌合部の位置を計算するために、水平方向（Ｙ方向）に、仮想的なグリッド線を引く。具体的には、画像処理部２６２は、図１０に示されるような仮想的なグリッド線Ｌｙを引く。 Next, the image processing unit 262 draws virtual grid lines in the horizontal direction (Y direction) in order to calculate the positions of the seam fitting portions. Specifically, the image processing unit 262 draws virtual grid lines Ly as shown in FIG.
グリッド線Ｌｙの引き方としては、ハゼ嵌合部の中心領域として設定された各点に基づいて、最小二乗法によって直線を引き、その直線から所定間隔離れた位置に、グリッド線Ｌｙを引く。これにより、図１０に示されるような、グリッド線Ｌｙが引かれる。 The grid lines Ly are drawn by drawing a straight line by the least-squares method based on each point set as the central region of the seam fitting portion, and drawing the grid lines Ly at a position separated from the straight line by a predetermined distance. As a result, grid lines Ly are drawn as shown in FIG.
次に、画像処理部２６２は、画像のうちのマーカＭ１，Ｍ２の領域を認識する。なお、図１０に示されるように、マーカである巻き尺には、赤色の部分Ｒが含まれている。このため、画像処理部２６２は、マーカである巻き尺の赤色の部分Ｒを認識する。赤色の部分Ｒは、色処理によって認識される。そして、画像処理部２６２は、赤色の部分Ｒの領域を水平方向（Ｙ方向）へ延長した領域Ｐ１，Ｐ２を、マーカＭ１，Ｍ２の領域であると認識する。 Next, the image processing unit 262 recognizes the areas of the markers M1 and M2 in the image. As shown in FIG. 10, the tape measure, which is a marker, includes a red portion R. As shown in FIG. Therefore, the image processing unit 262 recognizes the red portion R of the tape measure, which is the marker. The red portion R is recognized by color processing. Then, the image processing unit 262 recognizes areas P1 and P2 obtained by extending the area of the red portion R in the horizontal direction (Y direction) as areas of the markers M1 and M2.
次に、画像処理部２６２は、マーカＭ１の各数字とマーカＭ２の各数字との対応付けを行う。具体的には、まず、画像処理部２６２は、数字認識モデル記憶部２６５に記憶された学習済みモデルを用いて、マーカＭ１，Ｍ２内の数字を認識する。 Next, the image processing unit 262 associates each number of the marker M1 with each number of the marker M2. Specifically, first, the image processing unit 262 uses the learned model stored in the number recognition model storage unit 265 to recognize the numbers in the markers M1 and M2.
数字認識モデル記憶部２６５に記憶された学習済みモデルは、画像が入力されるとその画像に写る数字に関する情報を出力するようなモデルである。この学習済みモデルは、例えば、ニューラルネットワーク等によって実現される。学習済みモデルは、学習用の画像と当該画像に写る正解の数字を表す情報との組み合わせである学習用データに基づく機械学習によって得られる。 The learned model stored in the number recognition model storage unit 265 is a model that, when an image is input, outputs information about the number appearing in the image. This trained model is realized by, for example, a neural network or the like. A trained model is obtained by machine learning based on learning data, which is a combination of a learning image and information representing the correct number appearing in the image.
次に、画像処理部２６２は、マーカＭ１の目盛りを表す各数字とマーカＭ２の目盛りを表す各数字との間において、同一の数字を対応付け、グリッド線Ｌｘを引く。これにより、図１１に示されるように、Ｘ方向のグリッド線Ｌｘと、Ｙ方向のグリッド線Ｌｙとが画像に引かれたことになる。 Next, the image processing unit 262 associates the same numbers between the numbers representing the scale of the marker M1 and the numbers representing the scale of the marker M2, and draws grid lines Lx. As a result, as shown in FIG. 11, grid lines Lx in the X direction and grid lines Ly in the Y direction are drawn on the image.
なお、マーカＭ１，Ｍ２の目盛りは、屋根面の位置を表すものでもある。例えば、マーカの目盛りと建物の屋根の図面上の位置とを予め対応付けておくことで、マーカ上の目盛りが、建物の屋根のどこに位置するのかを判別することができる。そこで、画像処理部２６２は、マーカＭ１，Ｍ２の目盛りの数字を読み取り、画像上の目盛りの位置を取得する。これにより、図１２に示されるように、画像に写るハゼ嵌合部の位置情報が得られる。 Note that the scales of the markers M1 and M2 also indicate the position of the roof surface. For example, by previously associating the scale of the marker with the position of the roof of the building on the drawing, it is possible to determine where the scale of the marker is located on the roof of the building. Therefore, the image processing unit 262 reads the numbers on the scales of the markers M1 and M2 and acquires the positions of the scales on the image. As a result, as shown in FIG. 12, the positional information of the seam fitting portion shown in the image is obtained.
次に、画像処理部２６２は、マーカＭ１，Ｍ２の目盛りの数字に応じた位置と、Ｘ方向のグリッド線ＬｘとＹ方向のグリッド線Ｌｙとに応じた各ハゼ嵌合部の位置を表す座標とに基づいて、ハゼ嵌合部の実際の位置を計算する。 Next, the image processing unit 262 calculates the actual positions of the seam fitting portions based on the positions corresponding to the numbers on the scales of the markers M1 and M2 and the coordinates representing the positions of the respective seam fitting portions corresponding to the grid lines Lx in the X direction and the grid lines Ly in the Y direction.
そして、画像処理部２６２は、図面データ記憶部２６６に格納されている、屋根面の図面データの各位置に、ハゼ嵌合部の画像を付与する。これにより、屋根面の図面データにハゼ嵌合部の画像が付与された台帳が生成される。 Then, the image processing unit 262 adds an image of the seam fitting portion to each position of the drawing data of the roof surface stored in the drawing data storage unit 266 . As a result, a ledger is generated in which the image of the seam fitting portion is added to the drawing data of the roof surface.
次に、第２実施形態のサーバ２６０の作用を説明する。画像記憶部６４に画像が記憶されると、サーバ６０は、図１３に示される画像処理ルーチンを実行する。 Next, operation of the server 260 of the second embodiment will be described. After the image is stored in the image storage unit 64, the server 60 executes the image processing routine shown in FIG.
ステップＳ３００において、画像処理部２６２は、画像記憶部６４に格納されている画像を読み出し、画像からハゼ嵌合部の領域を抽出する。 In step S300, the image processing unit 262 reads the image stored in the image storage unit 64 and extracts the area of the seam fitting portion from the image.
ステップＳ３０２において、画像処理部２６２は、上記ステップＳ３００で抽出されたハゼ嵌合部の中心領域を表す各点に基づいて、それらの各点に沿う直線を最小二乗法によって求める。そして、画像処理部６２は、最小二乗法よって求められた直線から所定間隔離れた位置にグリッド線Ｌｙを引く。 In step S302, the image processing unit 262 obtains a straight line along each point by the method of least squares, based on each point representing the central region of the seam fitting portion extracted in step S300. Then, the image processing unit 62 draws grid lines Ly at positions separated by a predetermined distance from the straight line obtained by the method of least squares.
ステップＳ３０３において、画像処理部２６２は、画像のうちのマーカＭ１，Ｍ２の領域を認識する。 In step S303, the image processing unit 262 recognizes the areas of the markers M1 and M2 in the image.
ステップＳ３０４において、画像処理部２６２は、数字認識モデル記憶部２６５に記憶された学習済みモデルを用いて、上記ステップＳ３０３で認識されたマーカ内に存在する数字を認識する。 In step S304, the image processing unit 262 uses the learned model stored in the number recognition model storage unit 265 to recognize the numeral present in the marker recognized in step S303.
ステップＳ３０６において、画像処理部２６２は、マーカＭ１の目盛りを表す各数字とマーカＭ２の目盛りを表す各数字との間において、同一の数字を対応付ける。 In step S306, the image processing unit 262 associates the same number between each number representing the scale of the marker M1 and each number representing the scale of the marker M2.
ステップＳ３０７において、画像処理部２６２は、上記ステップＳ３０６における数字の対応付け結果に基づいて、グリッド線Ｌｘを引く。 In step S307, the image processing unit 262 draws grid lines Lx based on the number association result in step S306.
ステップＳ３０８において、画像処理部２６２は、上記ステップＳ３０４での数字の認識結果に基づいて、目盛りの位置を取得する。 In step S308, the image processing unit 262 acquires the position of the scale based on the number recognition result in step S304.
ステップＳ３１０において、画像処理部２６２は、上記ステップＳ３０８で得られた目盛りの位置と、Ｘ方向のグリッド線ＬｘとＹ方向のグリッド線Ｌｙとに応じた各ハゼ嵌合部の位置を表す座標とに基づいて、ハゼ嵌合部の実際の位置を計算する。 In step S310, the image processing unit 262 calculates the actual position of the seam fitting portion based on the position of the scale obtained in step S308 and the coordinates representing the position of each seam fitting portion corresponding to the grid lines Lx in the X direction and the grid lines Ly in the Y direction.
ステップＳ３１２において、画像処理部２６２は、上記ステップＳ３１０での位置の算出結果に基づいて、図面データ記憶部２６６に格納されている、屋根面の図面データの各位置に、ハゼ嵌合部の画像を付与する。これにより、屋根面の図面データにハゼ嵌合部の画像が付与された台帳が生成される。 In step S312, the image processing unit 262 adds an image of the seam fitting portion to each position in the drawing data of the roof surface stored in the drawing data storage unit 266 based on the position calculation result in step S310. As a result, a ledger is generated in which the image of the seam fitting portion is added to the drawing data of the roof surface.
以上詳細に説明したように、第２実施形態では、ハゼ嵌合部とは異なるマーカが写っている画像から、マーカとハゼ嵌合部との間の位置関係に応じて、複数のハゼ嵌合部の位置情報を取得する。これにより、ハゼ嵌合部が建物の屋根上のどこに位置しているのかを特定することができ、ハゼ嵌合部が写る画像を適切に管理することができる。また、建物の屋根を表す図面データに対して、ハゼ嵌合部の画像を付与することにより、ハゼ嵌合部の画像を適切に管理することができる。 As described in detail above, in the second embodiment, positional information of a plurality of seam fitting portions is acquired from an image in which a marker different from the seam fitting portion is shown, according to the positional relationship between the markers and the seam fitting portions. As a result, it is possible to identify where the seam fitting portion is located on the roof of the building, and it is possible to appropriately manage the image showing the seam fitting portion. Further, by adding an image of the seam fitting portion to the drawing data representing the roof of the building, the image of the seam fitting portion can be appropriately managed.
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiments, and various modifications and applications are possible without departing from the gist of the present invention.
例えば、上記実施形態では、モデルの一例としてのニューラルネットワークモデルを機械学習させる場合を例に説明したが、これに限定されるものではない。例えば、ニューラルネットワークモデルとは異なる他のモデルを用いてもよい。例えば、サポートベクターマシーン等をモデルとして用いてもよい。 For example, in the above embodiment, a case where a neural network model as an example of a model is machine-learned has been described as an example, but the present invention is not limited to this. For example, other models other than neural network models may be used. For example, a support vector machine or the like may be used as a model.
また、上記実施形態では、検査対象物が建物の屋根のハゼ嵌合部である場合を例に説明したが、これに限定されるものではなく、他の検査対象物であってもよい。 In the above embodiment, the case where the inspection object is the seam fitting portion of the roof of the building has been described as an example, but the inspection object is not limited to this, and may be other inspection objects.
また、上記実施形態では、ドローン３０内部のコンピュータによってドローン３０の飛行が制御される場合を例に説明したが、制御機器２０からの制御信号に応じて、ドローン３０の飛行を制御するようにしてもよい。 Further, in the above embodiment, the case where the flight of the drone 30 is controlled by the computer inside the drone 30 has been described as an example, but the flight of the drone 30 may be controlled according to the control signal from the control device 20.
また、上記ではプログラムが記憶部（図示省略）に予め記憶（インストール）されている態様を説明したが、プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ及びマイクロＳＤカード等の記録媒体の何れかに記録されている形態で提供することも可能である。 In the above description, the program is stored (installed) in advance in a storage unit (not shown), but the program can be provided in a form recorded in any recording medium such as a CD-ROM, DVD-ROM, and micro SD card.
１０ 画像撮像システム
２０ 制御機器
２２ 制御部
２４ 通信部
３０ ドローン
３２ カメラ
３４ 赤外線センサ
３６ コンピュータ
３８ ＧＰＳセンサ
４０ 駆動装置
４２ 情報取得部
４４ 飛行制御部
４６ カメラ制御部
４８ 位置情報取得部
５０ 画像格納制御部
５２ 通信部
６０，２６０ サーバ
６２，２６２ 画像処理部
６４ 画像記憶部
６６ 通信部
２６５ 数字認識モデル記憶部
２６６ 図面データ記憶部
10 Image capturing system 20 Control device 22 Control unit 24 Communication unit 30 Drone 32 Camera 34 Infrared sensor 36 Computer 38 GPS sensor 40 Driving device 42 Information acquisition unit 44 Flight control unit 46 Camera control unit 48 Position information acquisition unit 50 Image storage control unit 52 Communication unit 60, 260 Server 62, 262 Image processing unit 64 Image storage unit 66 Communication unit 265 Digit recognition model storage unit 2 66 Drawing data storage unit
Claims (5)
前記カメラによって撮像された画像を所定の記憶部に格納するように制御する画像格納制御部と、
構造物の溶接屋根から上方に突出し、頭頂部と側面部とを有する複数のハゼ嵌合部を前記カメラによって撮像する際に、前記構造物と前記カメラとの間の距離が予め設定された範囲内となり、かつ複数の前記ハゼ嵌合部が前記カメラによって所定の角度で撮像されるように、無人航空機の飛行を制御する飛行制御部と、
を備え、
前記頭頂部は前記ハゼ嵌合部の長手方向に延びており、当該ハゼ嵌合部は前記頭頂部が略平行になるように前記構造物に複数設置され、
前記飛行制御部は、前記側面部が前記カメラによって撮像されるように、無人航空機の飛行を制御する、
無人航空機。 camera and
an image storage control unit that controls to store an image captured by the camera in a predetermined storage unit;
a flight control unit that controls the flight of the unmanned aerial vehicle so that when a plurality of seam fitting portions projecting upward from the welded roof of the structure and having a top portion and side portions are imaged by the camera, the distance between the structure and the camera is within a preset range and the plurality of seam fitting portions are imaged at a predetermined angle by the camera;
with
The top portion extends in the longitudinal direction of the seam fitting portion, and a plurality of the seam fitting portions are installed on the structure so that the top portions are substantially parallel,
The flight control unit controls the flight of the unmanned aerial vehicle so that the side portion is imaged by the camera.
unmanned aircraft.
前記画像格納制御部は、前記カメラによって撮像された画像と、前記位置情報取得部によって取得された前記位置情報とを対応付けて所定の記憶部に格納する、
請求項１に記載の無人航空機。 further comprising a location information acquisition unit that acquires location information,
The image storage control unit associates the image captured by the camera with the position information acquired by the position information acquisition unit, and stores the information in a predetermined storage unit.
An unmanned aerial vehicle according to claim 1 .
前記記憶部を備えるサーバと、
を含み、
前記無人航空機の前記画像格納制御部は、前記画像を前記サーバの前記記憶部に格納するために、前記画像を前記サーバへ送信する、
画像撮像システム。 An unmanned aerial vehicle according to claim 1 or claim 2 ;
a server comprising the storage unit;
including
wherein the image storage control unit of the unmanned aerial vehicle transmits the image to the server for storing the image in the storage unit of the server;
Image acquisition system.
前記サーバには、 The server has
２つの前記マーカの対応付けされた関係から２つの当該マーカを結ぶ複数のグリッド線と、前記ハゼ嵌合部と略平行であって当該ハゼ嵌合部から所定区間離れた位置の複数のグリッド線と、により応じた前記ハゼ嵌合部の位置を表す座標に基づいて、複数の前記ハゼ嵌合部の位置を計算する画像処理部を備える、 an image processing unit that calculates the positions of the plurality of seam fitting portions based on the coordinates representing the positions of the seam fitting portions corresponding to a plurality of grid lines connecting the two markers from the associated relationship of the two markers and a plurality of grid lines substantially parallel to the seam fitting portions and positioned a predetermined distance away from the seam fitting portions;
請求項３に記載の画像撮像システム。 The imaging system according to claim 3.
構造物の溶接屋根から上方に突出し、頭頂部と側面部とを有する複数のハゼ嵌合部であって、前記頭頂部が当該ハゼ嵌合部の長手方向に延びており、当該頭頂部が略平行になるように前記構造物に複数設置された当該ハゼ嵌合部を前記カメラによって撮像する際に、前記構造物と前記カメラとの間の距離が予め設定された範囲内となり、かつ複数の前記ハゼ嵌合部が前記カメラによって所定の角度で撮像されるように、無人航空機の飛行を制御し、
前記側面部が前記カメラによって撮像されるように、無人航空機の飛行を制御する、
処理をコンピュータに実行させるためのプログラム。 controlling to store an image captured by a camera mounted on an unmanned aerial vehicle in a predetermined storage unit;
A plurality of seam fitting portions projecting upward from a welded roof of a structure and having a top portion and a side portion, wherein the top portions extend in the longitudinal direction of the seam fitting portions, and the plurality of seam fitting portions are installed in the structure so that the top portions are substantially parallel to each other. control the flight of
controlling flight of the unmanned aerial vehicle such that the side portion is imaged by the camera;
A program that causes a computer to execute a process.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019131390A JP7314466B2 (en) | 2019-07-16 | 2019-07-16 | Unmanned aerial vehicle, imaging system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019131390A JP7314466B2 (en) | 2019-07-16 | 2019-07-16 | Unmanned aerial vehicle, imaging system, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021014241A JP2021014241A (en) | 2021-02-12 |
| JP7314466B2 true JP7314466B2 (en) | 2023-07-26 |
Family
ID=74530404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019131390A Active JP7314466B2 (en) | 2019-07-16 | 2019-07-16 | Unmanned aerial vehicle, imaging system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7314466B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116573176A (en) * | 2023-04-28 | 2023-08-11 | 华能(广东)能源开发有限公司汕头电厂 | Unmanned aerial vehicle with adjustable holder position and adjusting method thereof |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006027448A (en) | 2004-07-16 | 2006-02-02 | Chugoku Electric Power Co Inc:The | Aerial photographing method and device using unmanned flying body |
| JP2017215239A (en) | 2016-06-01 | 2017-12-07 | ティー・エス・ビー株式会社 | Solar cell inspection system |
| JP2018055351A (en) | 2016-09-28 | 2018-04-05 | アトミクス株式会社 | Estimation preparing system for roof painting or waterproof construction |
| US20180267561A1 (en) | 2016-09-12 | 2018-09-20 | Andrew Archer Trench | Autonomous control of unmanned aircraft |
| JP2018160228A (en) | 2017-03-21 | 2018-10-11 | 株式会社東芝 | Route generation device, route control system, and route generation method |
| JP2019052954A (en) | 2017-09-15 | 2019-04-04 | エナジー・ソリューションズ株式会社 | Inspection system, inspection method, server device, and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2812038B2 (en) * | 1992-02-26 | 1998-10-15 | 日本鋼管株式会社 | Welding roof method |
-
2019
- 2019-07-16 JP JP2019131390A patent/JP7314466B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006027448A (en) | 2004-07-16 | 2006-02-02 | Chugoku Electric Power Co Inc:The | Aerial photographing method and device using unmanned flying body |
| JP2017215239A (en) | 2016-06-01 | 2017-12-07 | ティー・エス・ビー株式会社 | Solar cell inspection system |
| US20180267561A1 (en) | 2016-09-12 | 2018-09-20 | Andrew Archer Trench | Autonomous control of unmanned aircraft |
| JP2018055351A (en) | 2016-09-28 | 2018-04-05 | アトミクス株式会社 | Estimation preparing system for roof painting or waterproof construction |
| JP2018160228A (en) | 2017-03-21 | 2018-10-11 | 株式会社東芝 | Route generation device, route control system, and route generation method |
| JP2019052954A (en) | 2017-09-15 | 2019-04-04 | エナジー・ソリューションズ株式会社 | Inspection system, inspection method, server device, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021014241A (en) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3818337B1 (en) | Defect detection system using a camera equipped uav for building facades on complex asset geometry with optimal automatic obstacle deconflicted flightpath | |
| CN108496129B (en) | Aircraft-based facility detection method and control equipment | |
| US9734397B1 (en) | Systems and methods for autonomous imaging and structural analysis | |
| JP6996925B2 (en) | Pile head analysis system, pile head analysis method, and pile head analysis program | |
| JP6486024B2 (en) | Indoor monitoring system and method for structure | |
| CN110142785A (en) | A kind of crusing robot visual servo method based on target detection | |
| JP6802599B1 (en) | Inspection system | |
| KR101847944B1 (en) | Device and method for detecting road crack by using unmaned aerial vehicle | |
| JP6499542B2 (en) | Inspection method of structure | |
| JP7314466B2 (en) | Unmanned aerial vehicle, imaging system, and program | |
| JP2019211257A (en) | Inspection system | |
| JP6681101B2 (en) | Inspection system | |
| JP7331311B2 (en) | Image inspection device and image inspection program | |
| Merkle et al. | Sensor evaluation for crack detection in concrete bridges | |
| WO2022008271A1 (en) | Inspection device for inspecting a building or structure | |
| CN110634136A (en) | Pipeline wall damage detection method, device and system | |
| KR102541678B1 (en) | APPARATUS AND METHOD FOR ESTABLISHING DEPTH MAP BASED-DIGITAL EXTERIOR MAP ESTABLISHMENT AND STRUCTURAL DAMAGE QUANTIFICATION USING UAVs | |
| CN109342439A (en) | Cable Structure appearance detecting method based on unmanned plane | |
| KR20140011672A (en) | Method and apparatus for controlling robot | |
| CN116753962B (en) | Route planning method and device for bridge | |
| KR102476701B1 (en) | System and method for establishing structural exterior map | |
| JP6681102B2 (en) | Inspection system | |
| WO2021006026A1 (en) | Self-location specification method | |
| US20240045439A1 (en) | Task execution system, task execution method, and task execution program | |
| JP2023117121A (en) | Method of detecting placement status of cement-kneaded body, and program of detecting placement status of cement-kneaded body |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220623 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230623 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7314466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |