WO2019216257A1 - 検査システム - Google Patents

検査システム Download PDF

Info

Publication number
WO2019216257A1
WO2019216257A1 PCT/JP2019/017824 JP2019017824W WO2019216257A1 WO 2019216257 A1 WO2019216257 A1 WO 2019216257A1 JP 2019017824 W JP2019017824 W JP 2019017824W WO 2019216257 A1 WO2019216257 A1 WO 2019216257A1
Authority
WO
WIPO (PCT)
Prior art keywords
abnormality
image
unit
abnormal
information
Prior art date
Application number
PCT/JP2019/017824
Other languages
English (en)
French (fr)
Inventor
高橋　和也
智史 岡村
Original Assignee
株式会社センシンロボティクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社センシンロボティクス filed Critical 株式会社センシンロボティクス
Publication of WO2019216257A1 publication Critical patent/WO2019216257A1/ja
Priority to JP2020544885A priority Critical patent/JP6802599B1/ja
Priority to PCT/JP2020/016329 priority patent/WO2020218066A1/ja
Priority to JP2020192434A priority patent/JP2021035833A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T50/00—Aeronautics or air transport
    • Y02T50/50—On board measures aiming to increase energy efficiency

Definitions

  • the present invention relates to an inspection system.
  • Patent Document 1 discloses a solar cell inspection system that can automate the inspection of a solar cell module installed outdoors by using a flying object.
  • the flying object is moved toward the first imaging position in accordance with a preset flight plan, and thermal image data is acquired and analyzed by an infrared camera.
  • Patent Document 1 cannot meet such needs.
  • the present invention has been made in view of such a background, and an object thereof is to provide a new technique capable of automating the inspection of an object by using a flying object.
  • a main invention of the present invention for solving the above problems is an inspection system for inspecting an inspection object, wherein an aircraft including a camera images an image of the inspection object, an imaging altitude of the flying object, and the A shooting information receiving unit that receives a shooting position on a map of the flying object, an abnormality detection unit that analyzes the image and detects an abnormality of the inspection object, and a detection position on the image where the abnormality is detected; And an abnormal position calculation unit that calculates an abnormal position of the inspection object on the map based on the imaging altitude and the imaging position.
  • inspection of an object can be automated by using a flying object.
  • FIG. 2 is a diagram illustrating a hardware configuration example of a flying device 10.
  • FIG. 3 is a diagram illustrating a software configuration example of a flight controller 11.
  • 3 is a diagram illustrating a configuration example of a position information storage unit 151.
  • FIG. 3 is a diagram illustrating a configuration example of a photographing information storage unit 152.
  • FIG. 2 is a diagram illustrating a hardware configuration example of an inspection server 30.
  • FIG. FIG. 3 is a diagram illustrating a software configuration example of an inspection server 30. It is a figure which shows the structural example of the abnormality information registered into the abnormality information storage part 352.
  • An aircraft according to an embodiment of the present invention has the following configuration.
  • An inspection system for inspecting an inspection object An imaging information receiving unit that receives an image of a flying object equipped with a camera capturing the inspection object, an imaging altitude of the flying object, and an imaging position of the flying object on a map; An abnormality detection unit that analyzes the image and detects an abnormality of the inspection object; An abnormal position calculation unit that calculates an abnormal position of the inspection object on the map based on a detection position on the image where the abnormality is detected, the photographing altitude, and the photographing position; An inspection system comprising:
  • An abnormality information storage unit that stores information indicating the abnormality and the abnormal position in association with each other; For each set of abnormal positions stored in the abnormal information storage unit, when the distance between the abnormal positions is equal to or less than a threshold, it is determined that the same abnormality is present, and duplicates for the same abnormality are deleted.
  • a duplicate deletion unit for deleting the abnormal position from the abnormality information storage unit An inspection system comprising:
  • the inspection system according to item 1 or 2,
  • the abnormal position calculation unit calculates a distance on the map per pixel on the image based on the angle of view of the camera and the shooting behavior, and the pixel position from the center of the image to the detection position. Calculating a distance on the map from a distance, and calculating the abnormal position based on the calculated distance on the map and the shooting position; Inspection system characterized by
  • FIG. 1 is a diagram showing an overall configuration of an inspection system according to an embodiment of the present invention.
  • the inspection system of the present embodiment detects an abnormality by analyzing an image obtained by photographing an inspection object.
  • the solar cell module 1 solar panel
  • the inspection object is not limited to the solar cell module 1 but may be a concrete structure such as a slope or a dam, a steel structure such as a steel tower or an iron bridge, or a farm or golf course. It may be a predetermined area or a disaster-affected area at the time of a disaster.
  • the inspection system of the present embodiment includes a flying device 10 that images the solar cell module 1 that is an inspection object, and an inspection server 30 that analyzes an image captured by the flying device 10.
  • the flying device 10 and the inspection server 30 are connected to each other via a communication network 50 so that they can communicate with each other.
  • the communication network 50 is assumed to be the Internet, and is constructed by, for example, a wireless communication channel, a mobile phone network, a satellite communication channel, a public telephone network, a private network, Ethernet (registered trademark), or the like.
  • the flying device 10 includes a camera 12 and photographs a part or all of the solar cell module 1 entering the imaging region 122 according to the angle of view 121 of the camera 12 while flying.
  • the angle of view 121 of the camera 12 is assumed to be constant for the sake of simplicity, but the angle of view 121 can be changed by changing the focal length of the camera 12.
  • FIG. 2 is a diagram illustrating a hardware configuration example of the flying device 10.
  • the flying device 10 includes a propeller 18, a propulsion mechanism connected to the propeller 18 via an ESC (Electronic Speed Controller) 16 (in this embodiment, a motor 17 is assumed), and a flight controller 11 that controls them. Prepare.
  • ESC Electronic Speed Controller
  • the flying device 10 includes a camera 12, and in this embodiment, the camera 12 is fixed to the airframe. Assume that the camera 12 includes a vertically downward lens and takes only an image directly below in the vertical direction.
  • the camera 12 can capture two types of images, an RGB image capturing visible light and a thermal image capturing infrared light.
  • the flying device 10 may include two cameras 12 for capturing RGB images and a camera 12 for generating thermal images, or may include three or more cameras 12. Further, instead of the camera 12 or in addition to the camera 12, various sensors such as a human sensor may be provided.
  • One camera 12 may capture two types of images, or may include a plurality of cameras.
  • the flight controller 11 can have one or more processors 101 such as a programmable processor (in this embodiment, a central processing unit (CPU) is assumed).
  • the flight controller 11 includes a memory 102 and can access the memory 102.
  • Memory 102 stores logic, code, and / or program instructions that are executable by flight controller 11 to perform one or more steps.
  • the memory 102 may include a separable medium such as an SD card or a random access memory (RAM) or an external storage device. Data acquired from the camera 12, sensor, or the like may be directly transmitted to and stored in the memory 102.
  • the flight controller 11 also includes various sensors 103.
  • the sensors 103 may include, for example, an inertial sensor (acceleration sensor, gyro sensor), a GPS (Global Positioning System) sensor, a proximity sensor (for example, a rider), or a vision / image sensor (for example, a camera).
  • an inertial sensor acceleration sensor, gyro sensor
  • GPS Global Positioning System
  • proximity sensor for example, a rider
  • a vision / image sensor for example, a camera.
  • the flight controller 11 is configured to send and / or receive data from one or more external devices (eg, a transceiver, a terminal, a display device, or other remote controller, etc.). It is possible to communicate with the transmitted / received unit 14.
  • the transmission / reception unit 14 can use any appropriate communication means such as wired communication or wireless communication. In the present embodiment, the transmission / reception unit 14 mainly communicates with the inspection server 30.
  • the transmission / reception unit 14 is, for example, a local area network (LAN), a wide area network (WAN), infrared, wireless, WiFi, point-to-point (P2P) network, telecommunication network, cloud communication, etc. One or more of these can be used.
  • the transmission / reception unit 14 may transmit and / or receive one or more of data acquired by sensors, a processing result generated by the flight controller, predetermined control data, a user command from a terminal or a remote controller, and the like. it can.
  • FIG. 3 is a diagram showing a software configuration example of the flight controller 11.
  • the flight controller 11 includes an instruction receiving unit 111, a flight control unit 112, a position information acquisition unit 113, a shooting processing unit 114, a shooting information transmission unit 115, a position information storage unit 151, a shooting information storage unit 152, a GPS sensor 104, and an atmospheric pressure sensor. 105 and a temperature sensor 106.
  • the instruction receiving unit 111, the flight control unit 112, the position information acquisition unit 113, the imaging processing unit 114, and the imaging information transmission unit 115 are realized by the processor 101 executing a program stored in the memory 102. Further, the position information storage unit 151 and the shooting information storage unit 152 are realized as storage areas provided by the memory 102.
  • the instruction receiving unit 111 receives various commands for instructing the operation of the flying device 10 (hereinafter referred to as a flight operation command).
  • a flight operation command various commands for instructing the operation of the flying device 10
  • the flight control unit 112 controls the operation of the flying device 10. For example, the flight control unit 112 adjusts the spatial arrangement, speed, and / or acceleration of the flying device 10 having six degrees of freedom (translational motions x, y, and z and rotational motions ⁇ x, ⁇ y, and ⁇ z).
  • the motor 17 is controlled via the ESC 16.
  • the propeller 18 is rotated by the motor 17 to generate lift of the flying device 10.
  • the flight control unit 112 can control one or more of the states of the mounting unit and sensors.
  • the flight control unit 112 controls the operation of the flying device 10 in accordance with the flight operation command received by the instruction receiving unit 111. Further, the flight control unit 112 can perform various controls so that the flying device 10 continues to fly without depending on a command so as to enable autonomous flight.
  • the position information acquisition unit 113 acquires position information indicating the current position of the flying device 10.
  • the position information includes the position of the flying device 10 on the map (expressed by latitude and longitude) and the altitude of the flying device 10.
  • the sensors 103 include a GPS sensor 104, and the position information acquisition unit 113 can calculate the position of the flying device 10 on the map from the radio wave received by the GPS sensor 104 from the GPS satellite.
  • the sensors 103 include an atmospheric pressure sensor 105 and a temperature sensor 106, and the position information acquisition unit 113 measures the atmospheric pressure (hereinafter referred to as a reference atmospheric pressure) measured by the atmospheric pressure sensor 105 before the flight, and the flight.
  • the flight altitude of the flying device 10 is calculated based on the difference between the atmospheric pressure measured by the atmospheric pressure sensor 105 (hereinafter referred to as the current atmospheric pressure) and the temperature measured by the temperature sensor 106 during the flight.
  • the position information acquisition unit 113 obtains the position (latitude and longitude) of the flying device 10 on the map acquired using the GPS sensor 104 and the flight altitude of the flying device 10 acquired using the atmospheric pressure sensor 105 and the temperature sensor 106.
  • the data is stored in the position information storage unit 151 of the memory 102.
  • FIG. 4 is a diagram illustrating a configuration example of the position information storage unit 151. As shown in FIG.
  • the latitude and longitude indicating the current position of the flying device 10 in the position information storage unit 151, the latitude and longitude indicating the current position of the flying device 10, the flight altitude calculated as described above, the reference atmospheric pressure measured before the flight, the current measured during the flight. The atmospheric pressure and the temperature measured during the flight are stored.
  • the photographing processing unit 114 controls the camera 12 to photograph a part or all of the solar cell module 1, and obtains an RGB image and a thermal image photographed by the camera 12.
  • the imaging processing unit 114 performs imaging every predetermined time (for example, an arbitrary time such as 5 seconds or 30 seconds can be designated).
  • the flight is performed such that the upper side in the Y-axis direction is north and the right side in the X-axis direction is east. It is assumed that the photographing processing unit 114 performs photographing after determining the posture by the control unit 112.
  • the imaging processing unit 114 may perform imaging at every predetermined moving distance (for example, an arbitrary distance such as 3 meters or 10 meters can be specified), or an instruction from the inspection server 30. You may make it photograph according to.
  • the imaging processing unit 114 For each of the acquired RGB image and thermal image, the imaging processing unit 114 captures the imaging date and time, the latitude and longitude (imaging position) on the map of the flying device 10 at that time, and the flight altitude of the flying device 10 at that time ( The photographing altitude) is attached (hereinafter, an image in which such information is attached is referred to as photographing information) and stored in the photographing information storage unit 152.
  • FIG. 5 is a diagram illustrating a configuration example of the photographing information storage unit 152.
  • the shooting information storage unit 152 stores shooting information 1521 related to RGB images and shooting information 1522 related to thermal images, and each of the shooting information 1521 and 1522 includes a shooting date and time, a shooting position and a shooting altitude, and image data. .
  • the shooting information 1521 and 1522 can be stored as files on a file system, for example.
  • the shooting date / time, shooting position, and shooting altitude can be stored as Exif (Exchangeable image file format) information of a JPEG (Joint / Photographic / Experts / Group) image file, for example.
  • JPEG Joint Photographic / Experts / Group
  • the imaging information transmission unit 115 transmits the image captured by the camera 12 to the inspection server 30.
  • the imaging information transmission unit 115 transmits imaging information in which an imaging date and time, an imaging position, and an imaging altitude are attached to the RGB image and the thermal image to the inspection server 30.
  • FIG. 6 is a diagram illustrating a hardware configuration example of the inspection server 30.
  • the inspection server 30 includes a CPU 301, a memory 302, a storage device 303, a communication device 304, an input device 305, and an output device 306.
  • the storage device 303 is, for example, a hard disk drive, a solid state drive, or a flash memory that stores various data and programs.
  • the communication device 304 communicates with other devices via the communication network 50.
  • the communication device 304 includes, for example, an adapter for connecting to Ethernet (registered trademark), a modem for connecting to a public telephone network, a wireless communication device for performing wireless communication, a USB connector for serial communication, an RS232C connector, and the like It is comprised including.
  • the input device 305 is, for example, a keyboard, mouse, touch panel, button, or microphone that inputs data.
  • the output device 306 is, for example, a display, a printer, or a speaker that outputs data.
  • FIG. 7 is a diagram illustrating a software configuration example of the inspection server 30.
  • the inspection server 30 includes a flight control unit 311, an imaging information reception unit 312, an abnormality detection unit 313, an abnormal position calculation unit 314, an overlap deletion unit 315, a report creation unit 316, an imaging information storage unit 351, and an abnormality information storage unit 352. .
  • the flight control unit 311, the imaging information reception unit 312, the abnormality detection unit 313, the abnormal position calculation unit 314, the duplication deletion unit 315, and the report creation unit 316 are stored in the storage device 303 by the CPU 301 included in the inspection server 30.
  • the imaging information storage unit 351 and the abnormality information storage unit 352 are realized as a part of a storage area provided by the memory 302 and the storage device 303 included in the inspection server 30. .
  • the flight control unit 311 controls the flight device 10 to fly.
  • the flight control unit 311 operates the flying device 10 by transmitting a flight operation command to the flying device 10.
  • the flight control unit 311 can receive, for example, designation of a flight path on a map from an operator and transmit a flight operation command so as to fly on the accepted flight path.
  • the flight control unit 311 can determine the flight path of the flying device 10 so that the entire solar cell module 1 to be inspected by the plurality of imaging regions 122 can be imaged while including overlap.
  • the shooting information receiving unit 312 receives shooting information transmitted from the flying device 10.
  • the shooting information receiving unit 312 stores the received shooting information in the shooting information storage unit 351.
  • the configuration of the shooting information storage unit 351 is the same as that of the shooting information storage unit 152 of the flying device 10 shown in FIG.
  • the imaging information storage unit 351 provided in the inspection server 30 may store the imaging information 1521 and 1522 in association with information specifying the flying device 10 that is the transmission source of imaging information.
  • the abnormality detection unit 313 analyzes the image captured by the flying device 10 and detects an abnormality of the solar cell module 1 to be inspected.
  • the abnormality detection unit 313 detects an abnormality based on at least one of the RGB image and the thermal image.
  • the abnormality detection unit 313 performs learning using machine learning such as a neural network using an image obtained by photographing the solar cell module 1 in which an abnormality has occurred in the past as a teacher signal, and using an RGB image or a thermal image as an input signal. Abnormality can be determined.
  • the abnormality detection unit 313 is configured with pixels having a difference equal to or larger than a predetermined value by previously storing a normal image in the memory 302 and comparing the normal image with an RGB image or a thermal image.
  • abnormality detection unit 313 can detect an abnormal part from an image using a known technique.
  • the abnormality detection unit 313 registers information related to the detected abnormality (hereinafter referred to as abnormality information) in the abnormality information storage unit 352.
  • FIG. 8 is a diagram illustrating a configuration example of abnormality information registered in the abnormality information storage unit 352.
  • the abnormality information includes information for specifying shooting information (in the example of FIG. 8, indicated as “image” and can be, for example, a JPEG file name), shooting position, shooting.
  • Altitude, a position where an abnormality is detected on the image (hereinafter referred to as an image abnormal position), a position of the abnormality on the map (hereinafter simply referred to as an abnormal position), and a comment on the abnormality are included.
  • the photographing position and the photographing altitude are acquired from the photographing information.
  • the image abnormality position is a position on the image specified by the abnormality detection unit 313.
  • the image abnormal position may include only one coordinate, for example.
  • Three abnormal coordinates constituting a square may be included, or center coordinates representing two ellipses and two radii may be included. That is, the image abnormal position may be information representing a point or a geometric figure.
  • the abnormal position is obtained by converting the image abnormal position into latitude and longitude. Conversion to latitude and longitude is performed by the abnormal position calculation unit 314.
  • the abnormal position calculation unit 314 calculates the position of the abnormality detected by the abnormality detection unit 313 on the map (hereinafter simply referred to as an abnormal position).
  • the abnormal position calculation unit 314 converts the image abnormal position into an abnormal position based on the angle of view of the camera 12, the shooting altitude, and the shooting position. Details of the abnormal position calculation processing by the abnormal position calculation unit 314 will be described later.
  • the abnormal position calculation unit 314 updates the abnormality information registered in the abnormality information storage unit 352 with the calculated abnormal position.
  • the duplicate deletion unit 315 deletes duplicate abnormality information.
  • the duplicate deletion unit 315 determines that two pieces of abnormal information are duplicated depending on whether or not the abnormal position is close (within a predetermined distance), and deletes one of the duplicated abnormal information. The details of the duplicate deletion process by the duplicate deletion unit 315 will be described later.
  • the report creation unit 316 outputs information (hereinafter referred to as a report) indicating the inspection result of the solar cell module 1.
  • the report creation unit 316 creates an overall view (visible image and infrared image) of the solar cell module 1 by synthesizing the RGB image or the thermal image included in the photographing information, and marks the abnormal position included in the abnormality information. And output a comment.
  • the report creating unit 316 may create a Web page described in HTML (HyperText Markup Language) or a PDF (Portable Document Format) file. However, printing may be performed from an output device such as a printer.
  • FIG. 9 is a diagram for explaining the flow of processing for photographing the solar cell module 1.
  • the imaging process shown in FIG. 9 is performed periodically while the flight control unit 112 of the flying device 10 controls the operation of the flying device 10 according to the flight operation command from the inspection server 30 and the flying device 10 is flying. Executed.
  • the imaging processing unit 114 controls the camera 12 to acquire the RGB image and the thermal image captured by the camera 12 (S201), and the position information acquisition unit 113 includes the GPS sensor 104, the atmospheric pressure sensor 105, and Based on the signal from the temperature sensor 106, the photographing position and the photographing altitude are obtained (S202).
  • the shooting information transmission unit 115 creates shooting information in which the current date and time (shooting date and time), shooting position, and shooting altitude are attached to the RGB image and thermal image acquired from the camera 12 and transmits them to the inspection server 30 (S203). ).
  • the imaging information receiving unit 312 receives the imaging information transmitted from the flying device 10 (S204), and registers the received imaging information in the imaging information storage unit 351 (S205).
  • images (RGB images and thermal images) photographed by the flying device 10 are sequentially registered in the photographing information storage unit 351 together with the photographing date, photographing position, and photographing altitude.
  • FIG. 10 is a diagram showing a flow of inspection processing executed by the inspection server 30.
  • the abnormality detection unit 313 detects an abnormality of the solar cell module 1 by analyzing the image data included in the shooting information for each piece of shooting information stored in the shooting information storage unit 351 (S211).
  • the abnormality detection unit 313 correlates with the information specifying the imaging information in which the abnormality is detected, and detects the imaging position and imaging altitude included in the imaging information, and the abnormality.
  • Abnormal information including the detected position on the image (image abnormal position) is created and registered in the abnormal information storage unit 352 (S213).
  • the abnormal position calculation unit 314 calculates an abnormal position related to the abnormality information (S214).
  • FIG. 11 is a diagram illustrating a flow of an abnormal position calculation process.
  • the abnormal position calculation unit 314 performs the following processing for each piece of abnormality information stored in the abnormality information storage unit 352.
  • the abnormal position calculation unit 314 calculates the actual distance (m) on the map per pixel in the image based on the angle of view and resolution of the camera 12, and the shooting altitude, and sets it as the pixel distance (S2141).
  • the angle of view and resolution of the camera 12 are set in advance.
  • the abnormal position calculation unit 314 calculates the distance in the longitude direction by multiplying the difference between the X coordinate value for each coordinate included in the image abnormal position and the X coordinate value at the center of the image data by the pixel distance (S2142).
  • the abnormal position calculation unit 314 calculates the longitude of the abnormal position by adding the distance in the longitude direction to the longitude of the shooting position (S2143).
  • the abnormal position calculation unit 314 calculates the distance in the latitude direction by multiplying the difference between the Y coordinate value for each coordinate included in the image abnormal position and the Y coordinate value at the center of the image data by the pixel distance (S2144). .
  • the abnormal position calculation unit 314 calculates the latitude of the abnormal position by adding the latitude distance to the latitude of the photographing position (S2145).
  • the abnormal position calculation unit 314 updates the abnormal position of the abnormal information with the calculated latitude and longitude of the abnormal position, and registers the updated abnormal information in the abnormal information storage unit 352 (S2146). As described above, the abnormal position is obtained from the image abnormal position for each abnormality information.
  • the duplicate deletion unit 315 performs a process for deleting the duplicated abnormality information (S215).
  • FIG. 12 is a diagram showing a flow of processing for deleting duplicate abnormality information.
  • the duplication deletion unit 315 For each piece of abnormality information stored in the abnormality information storage unit 352, the duplication deletion unit 315 performs the following processing on a set of other abnormality information different from the abnormality information. That is, the duplication deletion unit 315 calculates a distance (abnormal distance) between the abnormal positions included in the two abnormal information (S2151), and when the calculated abnormal distance is equal to or less than a predetermined threshold ( In step S2152, the other abnormality information is deleted from the abnormality information storage unit 352 (S2153). By repeating the above processing, it is possible to delete duplicate abnormality information from the abnormality information storage unit 352 by assuming that two abnormalities whose distances are within a predetermined distance are the same abnormality.
  • FIG. 13 is a diagram for explaining a state in which the same abnormality is included in two images.
  • FIG. 13 shows a state in which one abnormality 41 has occurred in the solar cell module 1.
  • the camera 12 has shot twice, and that the two shooting areas 122-1 and 122-2 are shot as RGB images 421 and 422.
  • an abnormality 41 is imaged at the position of the X coordinate value 450 and the Y coordinate value 250 (image abnormal position 41-1), and in the RGB image 422, the X coordinate value 50 and the Y coordinate are captured.
  • An abnormality 42 is imaged at the position of value 50 (image abnormality position 41-2).
  • the abnormal position calculation is performed.
  • the actual distance per pixel obtained from the photographing altitude and the angle of view of the camera 12 with respect to the distances in the X and Y directions on the image, assuming that the center 431 and 432 of each image is the photographing position.
  • the image abnormal positions 41-1 and 41-2 indicate the position of the same abnormality 41 based on the latitude and longitude. It is determined whether or not. Thereby, it is possible to automatically determine whether or not the abnormalities detected from the different images 421 and 422 are the same.
  • the report creation unit 316 creates a report related to the inspection of the solar cell module 1 (S216).
  • FIG. 14 is a diagram illustrating a flow of a process for creating a report regarding inspection.
  • FIG. 15 is a diagram showing an example of a report 61 created by the report creation unit 316.
  • the report creation unit 316 accepts input of comments regarding each abnormality information from the operator of the inspection server 30 or the user of the user terminal accessing the inspection server 30 (S2161).
  • the report creation unit 316 updates the abnormality information with the received comment, and registers the updated abnormality information in the abnormality information storage unit 352.
  • the report creation unit 316 synthesizes image data included in each piece of shooting information stored in the shooting information storage unit 351 to create one image including the entire solar cell module 1 (S2162).
  • the image composition processing according to the present embodiment is performed using an ortho image, but the abnormal position calculation unit 314 performs the same processing as the abnormal position calculation processing illustrated in FIG. Further, the latitude and longitude for each coordinate in the lower right can be calculated, and an image can be arranged at a position corresponding to the calculated latitude and longitude to be combined.
  • the report creation unit 316 obtains the center of the abnormality position included in the abnormality information, and draws a predetermined figure at the position on the composite image indicated by the center. (S2163).
  • the report creation unit 316 outputs the composite image in which the abnormal position is plotted as described above to the report 61 (S2164).
  • the composite image 62 is output in the upper part of the report 61.
  • a circular figure is output at the center 621 of the abnormal position.
  • the report creation unit 316 draws a graphic indicating the abnormal position included in the abnormality information with respect to the image data included in the corresponding shooting information for each abnormality information (S2165).
  • the abnormal position is drawn with a rectangle.
  • the report creation unit 316 outputs an image in which a graphic is drawn to the report 61 (S2166) and outputs a comment included in the abnormality information (S2167).
  • one RGB image 63 in which a rectangle 631 indicating an abnormal position is drawn is output at the bottom of the report 61, and a comment 64 is output below the RGB image 63.
  • the RGB image 63 and the comment 64 for one piece of abnormality information are output.
  • the RGB image 63 and the comment 64 and the thermal image (not shown) and the comment 64 for all pieces of abnormality information are output. It may be.
  • the report creation unit 316 may also output the RGB image and the thermal image for which no abnormality is detected to the report 61.
  • the camera 12 is fixed to the lower part of the machine body, but the present invention is not limited to this, and the camera 12 may be movably mounted via a gimbal.
  • the shooting information of the camera 12 may be included in the shooting information.
  • the abnormality is detected using both the RGB image and the thermal image, but the abnormality may be detected using only one of the RGB image and the thermal image.
  • the photographing altitude is obtained using the atmospheric pressure sensor 105 and the temperature sensor 106.
  • the present invention is not limited to this, and the photographing altitude may be obtained using a known technique.
  • the duplicated abnormality information is deleted from the abnormality information storage unit 352.
  • information (abnormal ID) for identifying the abnormality detected without deletion is assigned, and the abnormality ID is assigned to the abnormality information. You may make it register.
  • the abnormality information storage unit 352 stores a single comment and information for specifying a plurality of shooting information in association with the abnormality ID, and the report creation unit 316 stores the information from the abnormality information storage unit 352.
  • the abnormality ID can be read without duplication, and a comment corresponding to the read abnormality ID can be output to the report 61.
  • the shooting information from the flying device 10 is transmitted to the inspection server 30 every time shooting is performed by the camera 12.
  • the flying device 10 stores the shooting information in the shooting information storage unit 152.
  • the shooting information stored in the shooting information storage unit 152 may be transmitted to the inspection server 30 periodically during the flight or once after the flight.
  • the image captured by the flying device 10 is north on the Y-axis direction and east on the right in the X-axis direction. You may make it image
  • the shooting information stores the north-facing angle (the angle by which the RGB image and the thermal image are rotated so that the Y-axis direction is north), and the image is rotated or the angle
  • the latitude and longitude of the abnormal position may be calculated in consideration of the above.

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Studio Devices (AREA)
  • Photovoltaic Devices (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

【課題】対象物の検査を飛行体の利用によって自動化することができるようにする。 【解決手段】検査対象物を検査する検査システムは、カメラを備える飛行体が検査対象物を撮影した画像、飛行体の撮影高度、および飛行体の地図上の撮影位置を受信する撮影情報受信部と、画像を解析して検査対象物の異常を検出する異常検出部と、異常が検出された画像上の検出位置、撮影高度、および撮影位置に基づいて、地図上における検査対象物の異常位置を算出する異常位置算出部と、を備える。

Description

検査システム
　本発明は、検査システムに関する。
　近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する。）が産業に利用され始めている。こうした中で、特許文献１には、屋外に設置された太陽電池モジュールの検査を飛行体の利用によって自動化することのできる太陽電池検査システムが開示されている。
特開２０１７－１０３９０８号公報
　特許文献１の技術は、予め設定された飛行計画に従って、飛行体を最初の撮影位置へ向けて移動させ、赤外線カメラによって熱画像データを取得し解析することとしている。
　しかしながら、近年、再生可能エネルギーの重要性が高まり、太陽電池モジュールや太陽電池モジュールを利用した発電施設が大型化する傾向がある。特許文献１に開示されている方法では、このようなニーズに対応することができない。
　本発明はこのような背景を鑑みてなされたものであり、対象物の検査を飛行体の利用によって自動化することのできる新たな技術を提供することを一つの目的とする。
　上記課題を解決するための本発明の主たる発明は、検査対象物を検査する検査システムであって、カメラを備える飛行体が前記検査対象物を撮影した画像、前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置を受信する撮影情報受信部と、前記画像を解析して前記検査対象物の異常を検出する異常検出部と、前記異常が検出された前記画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、を備えることとする。
　その他本願が開示する課題やその解決方法については、発明の実施形態の欄および図面により明らかにされる。
　本発明によれば、対象物の検査を飛行体の利用によって自動化することができる。
本発明の一実施形態に係る検査システムの全体構成を示す図である。 飛行装置１０のハードウェア構成例を示す図である。 フライトコントローラ１１のソフトウェア構成例を示す図である。 位置情報記憶部１５１の構成例を示す図である。 撮影情報記憶部１５２の構成例を示す図である。 検査サーバ３０のハードウェア構成例を示す図である。 検査サーバ３０のソフトウェア構成例を示す図である。 異常情報記憶部３５２に登録される異常情報の構成例を示す図である。 太陽電池モジュール１を撮影する処理の流れを説明する図である。 検査サーバ３０により実行される検査処理の流れを示す図である。 異常位置の算出処理の流れを示す図である。 重複した異常情報を削除する処理の流れを示す図である。 同一の異常が２つの画像に含まれている状態を説明する図である。 検査に関するレポートの作成処理の流れを示す図である。 レポート作成部３１６により作成されるレポート６１の一例を示す図である。
　本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行体は、以下のような構成を備える。
［項目１］
　検査対象物を検査する検査システムであって、
　カメラを備える飛行体が前記検査対象物を撮影した画像、前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置を受信する撮影情報受信部と、
　前記画像を解析して前記検査対象物の異常を検出する異常検出部と、
　前記異常が検出された前記画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、
　を備えることを特徴とする検査システム。
［項目２］
　項目１に記載の検査システムであって、
　前記異常を示す情報および前記異常位置を対応付けて記憶する異常情報記憶部と、
　前記異常情報記憶部に記憶されている前記異常位置の各組について、前記異常位置間の距離が閾値以下である場合に同一の前記異常であると判定し、同一の前記異常についての重複を削除するように前記異常位置を前記異常情報記憶部から削除する重複削除部と、
　を備えることを特徴とする検査システム。
［項目３］
　項目１または２に記載の検査システムであって、
　前記異常位置算出部は、前記カメラの画角および前記撮影行動に基づいて前記画像上における１画素あたりの前記地図上での距離を計算し、前記画像の中心から前記検出位置までの画素単位の距離から前記地図上での距離を計算し、計算した前記地図上での距離と前記撮影位置とに基づいて前記異常位置を算出すること、
　を特徴とする検査システム。
＝＝概要・全体構成＝＝
　図１は、本発明の一実施形態に係る検査システムの全体構成を示す図である。本実施形態の検査システムは、検査対象物を撮影した画像を解析して異常を検出するものである。本実施形態では、検査対象物の一例として太陽電池モジュール１（太陽光パネル）を想定する。なお、検査対象物としては太陽電池モジュール１に限らず、法面やダムなどのコンクリート構造物であってもよいし、鉄塔や鉄橋などの鋼構造物であってもよいし、農場やゴルフ場等所定の地域や災害時の被災地域であってもよい。
　本実施形態の検査システムは、検査対象物である太陽電池モジュール１を撮影する飛行装置１０と、飛行装置１０が撮影した画像を解析する検査サーバ３０とを含んで構成される。飛行装置１０と検査サーバ３０とは通信ネットワーク５０を介して相互に通信可能に接続されている。本実施形態では通信ネットワーク５０はインターネットを想定し、例えば無線通信路、携帯電話回線網、衛星通信路、公衆電話回線網、専用回線網、イーサネット（登録商標）などにより構築される。
　飛行装置１０はカメラ１２を備え、飛行しながらカメラ１２の画角１２１に応じて、撮影領域１２２に入る太陽電池モジュール１の一部または全部を撮影する。本実施形態では、説明を簡単にするためカメラ１２の画角１２１は一定であるものとするが、カメラ１２の焦点距離を変動させて画角１２１を変化させるようにすることもできる。
（飛行装置１０）
　図２は、飛行装置１０のハードウェア構成例を示す図である。飛行装置１０は、プロペラ１８と、プロペラ１８にＥＳＣ（Electronic Speed Controller）１６を介して接続された推進機構（本実施形態ではモータ１７を想定する。）と、これらを制御するフライトコントローラ１１とを備える。
　飛行装置１０はカメラ１２を備え、本実施形態では、カメラ１２は機体に固定される。カメラ１２は、鉛直方向下向きのレンズを備え、鉛直方向に真下の画像のみを撮影するものとする。カメラ１２は、可視光線を捉えたＲＧＢ画像と、赤外線を捉えたサーマル画像との２種類の画像を撮影することができる。なお、飛行装置１０は、ＲＧＢ画像を撮影するカメラ１２と、サーマル画像を作成するカメラ１２との２台を備えるようにしてもよいし、３台以上のカメラ１２を備えるようにしてもよい。また、カメラ１２に代えて、またはカメラ１２に加えて、人感センサーなどの各種のセンサを備えるようにしてもよい。カメラ１２は、一台にて２種類の画像を撮像することとしてもよいし、複数台で構成することとしてもよい。
　フライトコントローラ１１は、プログラマブルプロセッサ（本実施形態では、中央演算処理装置（ＣＰＵ）を想定する。）などの１つ以上のプロセッサ１０１を有することができる。また、フライトコントローラ１１は、メモリ１０２を有しており、当該メモリ１０２にアクセス可能である。メモリ１０２は、１つ以上のステップを行うためにフライトコントローラ１１が実行可能であるロジック、コード、および／またはプログラム命令を記憶する。メモリ１０２は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ１２やセンサなどから取得したデータは、メモリ１０２に直接に伝達されかつ記憶されてもよい。
　フライトコントローラ１１はまた、各種のセンサ類１０３を備える。本実施形態においてセンサ類１０３は、例えば、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳ（Global Positioning System）センサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。
　フライトコントローラ１１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）、端末、表示装置、または他の遠隔の制御器などである。）からのデータを送信および／または受け取るように構成された送受信部１４と通信可能である。送受信部１４は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。本実施形態では、送受信部１４は、主に検査サーバ３０と通信を行う。送受信部１４は、例えば、ローカルエリアネットワーク（Local Area Network；ＬＡＮ）、ワイドエリアネットワーク（Wide Area Network；ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。送受信部１４は、センサ類で取得したデータ、フライトコントローラが生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることもできる。
　図３は、フライトコントローラ１１のソフトウェア構成例を示す図である。フライトコントローラ１１は、指示受信部１１１、飛行制御部１１２、位置情報取得部１１３、撮影処理部１１４、撮影情報送信部１１５、位置情報記憶部１５１、撮影情報記憶部１５２、ＧＰＳセンサ１０４、気圧センサ１０５および温度センサ１０６を備える。
　なお、指示受信部１１１、飛行制御部１１２、位置情報取得部１１３、撮影処理部１１４および撮影情報送信部１１５は、プロセッサ１０１がメモリ１０２に格納されているプログラムを実行することにより実現される。また、位置情報記憶部１５１および撮影情報記憶部１５２は、メモリ１０２の提供する記憶領域として実現される。
　指示受信部１１１は、飛行装置１０の動作を指示する各種のコマンド（以下、飛行操作コマンドという。）を受け付ける。本実施形態では、指示受信部１１１は、検査サーバ３０から飛行操作コマンドを受信することを想定するが、プロポなどの送受信機から飛行操作コマンドを受信するようにしてもよい。
　飛行制御部１１２は、飛行装置１０の動作を制御する。飛行制御部１１２は、例えば、６自由度（並進運動ｘ、ｙおよびｚ、並びに回転運動θｘ、θｙおよびθｚ）を有する飛行装置１０の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ１６を経由してモータ１７を制御する。モータ１７によりプロペラ１８が回転することで飛行装置１０の揚力を生じさせる。また、飛行制御部１１２は、搭載部、センサ類の状態のうちの１つ以上を制御することができる。本実施形態では、飛行制御部１１２は、指示受信部１１１が受信した飛行操作コマンドに応じて飛行装置１０の動作を制御するものとする。また、飛行制御部１１２は、自律飛行を可能とするべく、コマンドによらずに飛行装置１０が飛行を継続するように各種の制御を行うこともできる。
　位置情報取得部１１３は、飛行装置１０の現在位置を示す位置情報を取得する。本実施形態では、位置情報には、飛行装置１０の地図上の位置（緯度経度で表される。）と、飛行装置１０の高度とが含まれるものとする。センサ類１０３にはＧＰＳセンサ１０４が含まれており、位置情報取得部１１３は、ＧＰＳセンサ１０４がＧＰＳ衛星から受信した電波から、飛行装置１０の地図上の位置を算出することができる。また、センサ類１０３には、気圧センサ１０５および温度センサ１０６が含まれており、位置情報取得部１１３は、飛行前に気圧センサ１０５により測定した大気圧（以下、基準気圧という。）と、飛行中に気圧センサ１０５により測定した大気圧（以下、現在気圧という。）との差分と、飛行中に温度センサ１０６により測定した気温とに基づいて、飛行装置１０の飛行高度を計算する。位置情報取得部１１３は、ＧＰＳセンサ１０４を用いて取得した飛行装置１０の地図上の位置（緯度経度）と、気圧センサ１０５および温度センサ１０６を用いて取得した飛行装置１０の飛行高度とを、メモリ１０２の位置情報記憶部１５１に格納する。図４は位置情報記憶部１５１の構成例を示す図である。図４に示すように、位置情報記憶部１５１には、飛行装置１０の現在位置を示す緯度経度、上記のようにして計算した飛行高度、飛行前に測定した基準気圧、飛行中に測定した現在気圧、および飛行中に測定した気温が格納される。
　撮影処理部１１４は、カメラ１２を制御して太陽電池モジュール１の一部または全部を撮影させ、カメラ１２が撮影したＲＧＢ画像およびサーマル画像を取得する。本実施形態では、撮影処理部１１４は、所定の時間（例えば、５秒、３０秒など任意の時間を指定することができる。）ごとに撮影を行うようにするものとする。また、本実施形態では、説明を簡単にするため、カメラ１２が撮影するＲＧＢ画像およびサーマル画像のいずれについても、Ｙ軸方向の上が北、Ｘ軸方向の右が東となるように、飛行制御部１１２により姿勢を決めた上で、撮影処理部１１４が撮影を行うものとする。なお、撮影処理部１１４は、所定の移動距離（例えば、３メートル、１０メートルなど任意の距離を指定することができる。）ごとに撮影を行うようにしてもよいし、検査サーバ３０からの指示に応じて撮影するようにしてもよい。
　撮影処理部１１４は、取得したＲＧＢ画像およびサーマル画像のそれぞれについて、撮影された撮影日時ならびにその時点における飛行装置１０の地図上の緯度経度（撮影位置）およびその時点における飛行装置１０の飛行高度（撮影高度）を付帯させて（以下、これらの情報が付帯された画像を撮影情報という。）、撮影情報記憶部１５２に格納する。
　図５は撮影情報記憶部１５２の構成例を示す図である。撮影情報記憶部１５２は、ＲＧＢ画像に係る撮影情報１５２１およびサーマル画像に係る撮影情報１５２２を記憶しており、撮影情報１５２１および１５２２のいずれも、撮影日時、撮影位置および撮影高度ならびに画像データを含む。撮影情報１５２１および１５２２は、例えば、ファイルシステム上のファイルとして記憶させることができる。また、撮影日時、撮影位置および撮影高度は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）画像ファイルのＥｘｉｆ（Exchangeable image file format）情報として格納することができる。
　撮影情報送信部１１５は、カメラ１２が撮影した画像を検査サーバ３０に送信する。撮影情報送信部１１５は、ＲＧＢ画像およびサーマル画像に、撮影日時、撮影位置および撮影高度を付帯させた撮影情報を検査サーバ３０に送信するものとする。
（検査サーバ３０）
　図６は、検査サーバ３０のハードウェア構成例を示す図である。検査サーバ３０は、ＣＰＵ３０１、メモリ３０２、記憶装置３０３、通信装置３０４、入力装置３０５、出力装置３０６を備える。記憶装置３０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信装置３０４は、通信ネットワーク５０を介して他の装置と通信を行う。通信装置３０４は、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢコネクタやＲＳ２３２Ｃコネクタなどを含んで構成される。入力装置３０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置３０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。
　図７は、検査サーバ３０のソフトウェア構成例を示す図である。検査サーバ３０は、飛行制御部３１１、撮影情報受信部３１２、異常検出部３１３、異常位置算出部３１４、重複削除部３１５、レポート作成部３１６、撮影情報記憶部３５１および異常情報記憶部３５２を備える。
　なお、飛行制御部３１１、撮影情報受信部３１２、異常検出部３１３、異常位置算出部３１４、重複削除部３１５およびレポート作成部３１６は、検査サーバ３０が備えるＣＰＵ３０１が記憶装置３０３に記憶されているプログラムをメモリ３０２に読み出して実行することにより実現され、撮影情報記憶部３５１および異常情報記憶部３５２は、検査サーバ３０の備えるメモリ３０２および記憶装置３０３が提供する記憶領域の一部として実現される。
　飛行制御部３１１は、飛行装置１０を飛行させる制御を行う。本実施形態では、飛行制御部３１１は、飛行装置１０に対して飛行操作コマンドを送信することにより飛行装置１０を操作する。飛行制御部３１１は、例えば、オペレータから地図上における飛行経路の指定を受け付けて、受け付けた飛行経路上を飛行するように飛行操作コマンドを送信することができる。また、飛行制御部３１１は、複数の撮影領域１２２によって検査対象となっている太陽電池モジュール１の全体を重複を含みながら撮影できるように、飛行装置１０の飛行経路を決定することもできる。
　撮影情報受信部３１２は、飛行装置１０から送信される撮影情報を受信する。撮影情報受信部３１２は、受信した撮影情報を撮影情報記憶部３５１に格納する。なお、本実施形態では、撮影情報記憶部３５１の構成は、図５に示す飛行装置１０の撮影情報記憶部１５２と同一の構成であるものとする。なお、検査サーバ３０が備える撮影情報記憶部３５１は、撮影情報の送信元である飛行装置１０を特定する情報に対応付けて、撮影情報１５２１および１５２２を記憶するようにしてもよい。
　異常検出部３１３は、飛行装置１０が撮影した画像を解析して、検査対象となる太陽電池モジュール１の異常を検出する。異常検出部３１３は、ＲＧＢ画像およびサーマル画像の少なくともいずれかに基づいて異常を検出する。異常検出部３１３は、例えば、過去に異常が発生した太陽電池モジュール１を撮影した画像を教師信号としてニューラルネットワーク等の機械学習を用いた学習を行っておき、ＲＧＢ画像またはサーマル画像を入力信号として異常を判定することができる。また、異常検出部３１３は、正常時の画像をメモリ３０２に予め記憶しておき、正常時の画像と、ＲＧＢ画像またはサーマル画像とを比較して、所定値以上の差分のある画素により構成される領域を認識し、当該領域の面積が所定値以上となるものについて異常と判定することもできる。なお、異常検出部３１３は、公知の技術を用いて画像から異常部分を検出するようにすることができる。異常検出部３１３は、検出した異常に関する情報（以下、異常情報という。）を異常情報記憶部３５２に登録する。
　図８は、異常情報記憶部３５２に登録される異常情報の構成例を示す図である。同図に示すように、異常情報には、撮影情報を特定するための情報（図８の例では、「画像」で示され、例えばＪＰＥＧファイル名とすることができる。）、撮影位置、撮影高度、画像上における異常が検出された位置（以下、画像異常位置という。）、地図上における異常の位置（以下、単に異常位置という。）、当該異常に対するコメントが含まれる。撮影位置および撮影高度は、撮影情報から取得される。画像異常位置は、異常検出部３１３により特定された画像上の位置である。図８では、画像異常位置に矩形を示す２つの頂点の座標が含まれた例が示されているが、画像異常位置には、例えば１つの座標のみが含まれるようにしてもよいし、多角形を構成する３つ異常の座標が含まれるようにしてもよいし、楕円形を表す中心座標と２つの半径とが含まれるようにしてもよい。すなわち、画像異常位置は、点または幾何図形を表す情報であればよい。異常位置は、画像異常位置を緯度経度に変換したものである。緯度経度への変換は異常位置算出部３１４により行われる。
　異常位置算出部３１４は、異常検出部３１３が検出した異常の地図上における位置（以下、単に異常位置という。）を算出する。異常位置算出部３１４は、カメラ１２の画角と撮影高度と撮影位置とに基づいて、画像異常位置を異常位置に変換する。異常位置算出部３１４による異常位置の算出処理の詳細については後述する。異常位置算出部３１４は、算出した異常位置により、異常情報記憶部３５２に登録されている異常情報を更新する。
　重複削除部３１５は、重複する異常情報を削除する。重複削除部３１５は、異常位置が近い（所定距離内にある）か否かにより２つの異常情報が重複していると判定し、重複した異常情報の一方を削除する。なお、重複削除部３１５による重複削除処理の詳細については後述する。
　レポート作成部３１６は、太陽電池モジュール１の検査結果を示す情報（以下、レポートという。）を出力する。レポート作成部３１６は、撮影情報に含まれるＲＧＢ画像又はサーマル画像をそれぞれ合成して太陽電池モジュール１の全体図（可視画像および赤外画像）を作成するとともに、異常情報に含まれる異常位置をマークし、コメントを出力する。レポート作成部３１６は、レポートの作成として、例えば、ＨＴＭＬ（HyperText Markup Language）により記述されたＷｅｂページを作成するようにしてもよいし、ＰＤＦ（Portable Document Format）ファイルを作成するようにしてもよいし、プリンタ等の出力装置から印刷するようにしてもよい。
＝＝処理＝＝
　以下、本実施形態の検査システムにおける処理について説明する。
　図９は、太陽電池モジュール１を撮影する処理の流れを説明する図である。図９に示す撮影処理は、検査サーバ３０からの飛行操作コマンドに応じて飛行装置１０の飛行制御部１１２が飛行装置１０の動作を制御し、飛行装置１０が飛行している間、定期的に実行される。
　飛行装置１０において、撮影処理部１１４は、カメラ１２を制御して、カメラ１２が撮影したＲＧＢ画像およびサーマル画像を取得し（Ｓ２０１）、位置情報取得部１１３は、ＧＰＳセンサ１０４、気圧センサ１０５および温度センサ１０６からの信号に基づいて、撮影位置および撮影高度を求める（Ｓ２０２）。撮影情報送信部１１５は、カメラ１２から取得したＲＧＢ画像およびサーマル画像に、現在の日時（撮影日時）、撮影位置および撮影高度を付帯させた撮影情報を作成して検査サーバ３０に送信する（Ｓ２０３）。
　検査サーバ３０では、撮影情報受信部３１２は、飛行装置１０から送信される撮影情報を受信し（Ｓ２０４）、受信した撮影情報を撮影情報記憶部３５１に登録する（Ｓ２０５）。
　以上のようにして、飛行装置１０において撮影された画像（ＲＧＢ画像およびサーマル画像）は、撮影日時、撮影位置および撮影高度とともに、撮影情報記憶部３５１に順次登録されていく。
　図１０は検査サーバ３０により実行される検査処理の流れを示す図である。
　異常検出部３１３は、撮影情報記憶部３５１に記憶されている撮影情報のそれぞれについて、撮影情報に含まれる画像データを画像解析して、太陽電池モジュール１の異常を検出する（Ｓ２１１）。異常が検出された場合（Ｓ２１２：ＹＥＳ）、異常検出部３１３は、異常を検出した撮影情報を特定する情報に対応付けて、当該撮影情報に含まれている撮影位置および撮影高度と、異常を検出した画像上の位置（画像異常位置）とを含む異常情報を作成して異常情報記憶部３５２に登録する（Ｓ２１３）。
　異常位置算出部３１４は異常情報に係る異常位置を算出する（Ｓ２１４）。図１１は、異常位置の算出処理の流れを示す図である。
　異常位置算出部３１４は、異常情報記憶部３５２に記憶されている異常情報のそれぞれについて、以下の処理を行う。異常位置算出部３１４は、カメラ１２の画角および解像度と、撮影高度とに基づいて、画像における１画素あたりの地図上での実距離（ｍ）を算出して画素距離とする（Ｓ２１４１）。なお、本実施形態では、カメラ１２の画角および解像度は予め設定されているものとする。
　異常位置算出部３１４は、画像異常位置に含まれる各座標についてのＸ座標値と画像データの中心のＸ座標値との差に画素距離を乗じて、経度方向の距離を算出する（Ｓ２１４２）。異常位置算出部３１４は、撮影位置の経度に経度方向の距離を加算して、異常位置の経度を求める（Ｓ２１４３）。
　同様に異常位置算出部３１４は、画像異常位置に含まれる各座標についてのＹ座標値と画像データの中心のＹ座標値との差に画素距離を乗じて緯度方向の距離を算出する（Ｓ２１４４）。異常位置算出部３１４は、撮影位置の緯度に緯度方向の距離を加算して、異常位置の緯度を求める（Ｓ２１４５）。
　異常位置算出部３１４は、算出した異常位置の緯度経度により異常情報の異常位置を更新し、更新した異常情報を異常情報記憶部３５２に登録する（Ｓ２１４６）。
　以上のようにして、各異常情報について画像異常位置から異常位置が求められる。
　図１０に戻り、重複削除部３１５は重複した異常情報の削除処理を行う（Ｓ２１５）。図１２は、重複した異常情報を削除する処理の流れを示す図である。
　重複削除部３１５は、異常情報記憶部３５２に記憶されている異常情報のそれぞれについて、当該異常情報とは異なる他の異常情報との組に対して、以下の処理を行う。すなわち、重複削除部３１５は、２つの異常情報に含まれている異常位置間の距離（異常間距離）を算出し（Ｓ２１５１）、算出した異常間距離が所定の閾値以下である場合には（Ｓ２１５２）、当該他の異常情報を異常情報記憶部３５２から削除する（Ｓ２１５３）。
　以上の処理を繰り返すことにより、距離が所定距離内にある２つの異常については同一の異常であるものとして、重複する異常情報を異常情報記憶部３５２から削除することができる。
　図１３は、同一の異常が２つの画像に含まれている状態を説明する図である。図１３では、太陽電池モジュール１に１つの異常４１が発生している状態を示している。カメラ１２により２回の撮影が行われ、その２つの撮影領域１２２－１および撮影領域１２２－２に入る部分がＲＧＢ画像４２１および４２２として撮影されたものとする。ここで、ＲＧＢ画像４２１においては、Ｘ座標値４５０、Ｙ座標値２５０の位置（画像異常位置４１－１）に異常４１が撮像されており、ＲＧＢ画像４２２においては、Ｘ座標値５０、Ｙ座標値５０の位置（画像異常位置４１－２）に異常４２が撮像されている。従来、異なる画像４２１および４２２から検出された異常が同一のものであるか否かについては特定されておらず、人手によりその特定はなされていたところ、本実施形態の検査システムでは、異常位置算出部３１４が各画像の中心４３１および４３２が撮影位置であるものとして、画像上でのＸ方向およびＹ方向の距離に対して、撮影高度とカメラ１２の画角とから求めた１画素あたり実距離を乗じ、撮影位置からの偏差から画像異常位置４１－１および４１－２の緯度経度を求め、この緯度経度に基づいて画像異常位置４１－１および４１－２が同一の異常４１の位置を示しているか否かを判定している。これにより、異なる画像４２１および４２２から検出された異常が同一のものであるか否かを自動的に判定することが可能となっている。
　図１０に戻り、レポート作成部３１６は太陽電池モジュール１の検査に関するレポートを作成する（Ｓ２１６）。図１４は、検査に関するレポートの作成処理の流れを示す図である。また、図１５はレポート作成部３１６はにより作成されるレポート６１の一例を示す図である。
　レポート作成部３１６は、検査サーバ３０のオペレータや検査サーバ３０にアクセスしているユーザ端末のユーザなどから、各異常情報についてのコメントの入力を受け付ける（Ｓ２１６１）。なお、レポート作成部３１６は、受け付けたコメントにより異常情報を更新し、更新した異常情報を異常情報記憶部３５２に登録するようにする。レポート作成部３１６は、撮影情報記憶部３５１に記憶されている各撮影情報に含まれる画像データを合成して、太陽電池モジュール１の全体を含む１枚の画像を作成する（Ｓ２１６２）。なお、本実施の形態による画像の合成処理については、オルソ画像を利用して行うこととしているが、異常位置算出部３１４が図１１に示した異常位置の算出処理と同一の処理によって画像の左上および右下の各座標についての緯度経度を算出し、算出した緯度経度に対応する位置に画像を配置して合成を行うことができる。
　レポート作成部３１６は、異常情報記憶部３５２に登録されている各異常情報について、異常情報に含まれている異常位置の中心を求め、当該中心が示す合成画像上の位置に所定の図形を描画する（Ｓ２１６３）。レポート作成部３１６は、上記のようにして異常位置をプロットした合成画像をレポート６１に出力する（Ｓ２１６４）。図１５の例では、レポート６１の上段に合成画像６２が出力されている。また、合成画像６２上には、異常位置の中心６２１に円形の図形が出力されている。
　レポート作成部３１６は、各異常情報について、対応する撮影情報に含まれる画像データに対して、異常情報に含まれる異常位置を示す図形を描画する（Ｓ２１６５）。本実施形態では、異常位置は矩形で描画されることになる。レポート作成部３１６は、図形を描画した画像をレポート６１に出力するとともに（Ｓ２１６６）、異常情報に含まれるコメントを出力する（Ｓ２１６７）。図１５の例では、レポート６１の下段に、異常位置を示す矩形６３１が描画された１つのＲＧＢ画像６３が出力され、その下部にコメント６４が出力されている。
　なお、図１５では１つの異常情報についてのＲＧＢ画像６３およびコメント６４が出力されているが、全ての異常情報についてのＲＧＢ画像６３およびコメント６４ならびにサーマル画像（不図示）およびコメント６４を出力するようにしてもよい。また、レポート作成部３１６は、異常が検出されなかったＲＧＢ画像およびサーマル画像についても、レポート６１に出力するようにしてもよい。
　一度の撮影では画面に収まりきらない程度の大型の太陽電池モジュール１を検査しようとした場合、複数枚の写真を撮像し当該写真の１枚１枚に対して解析を行うこととなるところ、撮像範囲１２２の漏れがないように、撮影範囲１２２の一部が重複するようにして連続写真を撮ることとなる。しかしながら、当該重複部分に欠陥等の異常が存在していた場合、異常としては１か所にしか存在していないにもかかわらず、複数の画像に写っていることによって複数の異常が存在していると誤認識してしまうことがあった。本発明の発明者らは、複数枚の画像に存在している同一の異常を同一のものとして正しく特定する方法が必要であることに着目した。本実施形態の検査システムによれば、複数の画像に撮像された１つの異常を同一のものとして取り扱うことができる。これにより、検査に係るレポート６１を正しく自動的に生成することも可能となる。
　以上、本発明の一実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。
　例えば、本実施形態では、カメラ１２は機体の下部に固定されるものとしたが、これに限らず、ジンバルを介して可動式に装着するようにしてもよい。この場合、撮影情報にはカメラ１２の撮影方向を含めるようにしてもよい。
　また、本実施形態では、ＲＧＢ画像とサーマル画像の両方を用いて異常を検出するものとしたが、ＲＧＢ画像およびサーマル画像の一方のみを用いて異常を検出するようにしてもよい。
　また、本実施形態では、気圧センサ１０５および温度センサ１０６を用いて撮影高度を求めるものとしたが、これに限らず、公知の手法を用いて撮影高度を求めるようにしてもよい。
　また、本実施形態では、重複する異常情報は異常情報記憶部３５２から削除するものとしたが、削除をせずに検出した異常を識別する情報（異常ＩＤ）を割り当て、異常情報に異常ＩＤを登録するようにしてもよい。この場合、異常情報記憶部３５２には、異常ＩＤに対応付けて、単一のコメントと、複数の撮影情報を特定する情報を記憶するようにし、レポート作成部３１６は、異常情報記憶部３５２から重複なく異常ＩＤを読み出し、読み出した異常ＩＤに対応するコメントをレポート６１に出力することができる。
　また、本実施形態では、飛行装置１０からの撮影情報はカメラ１２で撮影が行われる都度検査サーバ３０に送信されるものとしたが、飛行装置１０は撮影情報記憶部１５２に撮影情報を蓄積しておき、飛行中に定期的に、あるいは、飛行終了後に一度に撮影情報記憶部１５２に記憶されている撮影情報を検査サーバ３０に送信するようにしてもよい。
　また、本実施形態では、飛行装置１０が撮影する画像はＹ軸方向上が北、Ｘ軸方向右が東であることを想定していたが、これに限らず、飛行装置１０の飛行時の姿勢のままで撮影するようにしてもよい。この場合、撮影情報には北向きの角度（ＲＧＢ画像およびサーマル画像をＹ軸方向上が北となるように回転させる角度）を記憶しておき、画像を回転させたうえで、あるいは、当該角度を考慮して異常位置の緯度経度を算出すればよい。
　　１０　　飛行装置
　　１１　　フライトコントローラ
　　１２　　カメラ
　　１４　　送受信部
　　１６　　ＥＳＣ
　　１７　　モータ
　　１８　　プロペラ
　　３０　　検査サーバ
　　５０　　通信ネットワーク
　　１０１　プロセッサ
　　１０２　メモリ
　　１０３　センサ類
　　１０４　ＧＰＳセンサ
　　１０５　気圧センサ
　　１０６　温度センサ
　　１１１　指示受信部
　　１１２　飛行制御部
　　１１３　位置情報取得部
　　１１４　撮影処理部
　　１１５　撮影情報送信部
　　１５１　位置情報記憶部
　　１５２　撮影情報記憶部
　　３０１　ＣＰＵ
　　３０２　メモリ
　　３０３　記憶装置
　　３０４　通信装置
　　３０５　入力装置
　　３０６　出力装置
　　３１１　飛行制御部
　　３１２　撮影情報受信部
　　３１３　異常検出部
　　３１４　異常位置算出部
　　３１５　重複削除部
　　３１６　レポート作成部
　　３５１　撮影情報記憶部
　　３５２　異常情報記憶部

Claims (3)

  1. 　検査対象物を検査する検査システムであって、
    　カメラを備える飛行体が前記検査対象物を撮影した画像、前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置を受信する撮影情報受信部と、
    　前記画像を解析して前記検査対象物の異常を検出する異常検出部と、
    　前記異常が検出された前記画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、
    　を備えることを特徴とする検査システム。
  2. 　請求項１に記載の検査システムであって、
    　前記異常を示す情報および前記異常位置を対応付けて記憶する異常情報記憶部と、
    　前記異常情報記憶部に記憶されている前記異常位置の各組について、前記異常位置間の距離が閾値以下である場合に同一の前記異常であると判定し、同一の前記異常についての重複を削除するように前記異常位置を前記異常情報記憶部から削除する重複削除部と、
    　を備えることを特徴とする検査システム。
  3. 　請求項１または２に記載の検査システムであって、
    　前記異常位置算出部は、前記カメラの画角および前記撮影行動に基づいて前記画像上における１画素あたりの前記地図上での距離を計算し、前記画像の中心から前記検出位置までの画素単位の距離から前記地図上での距離を計算し、計算した前記地図上での距離と前記撮影位置とに基づいて前記異常位置を算出すること、
    　を特徴とする検査システム。
PCT/JP2019/017824 2018-05-09 2019-04-25 検査システム WO2019216257A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020544885A JP6802599B1 (ja) 2018-05-09 2020-04-13 検査システム
PCT/JP2020/016329 WO2020218066A1 (ja) 2018-05-09 2020-04-13 検査システム
JP2020192434A JP2021035833A (ja) 2018-05-09 2020-11-19 検査システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-091019 2018-05-09
JP2018091019A JP2019196980A (ja) 2018-05-09 2018-05-09 検査システム

Publications (1)

Publication Number Publication Date
WO2019216257A1 true WO2019216257A1 (ja) 2019-11-14

Family

ID=68468364

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2019/017824 WO2019216257A1 (ja) 2018-05-09 2019-04-25 検査システム
PCT/JP2020/016329 WO2020218066A1 (ja) 2018-05-09 2020-04-13 検査システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016329 WO2020218066A1 (ja) 2018-05-09 2020-04-13 検査システム

Country Status (2)

Country Link
JP (3) JP2019196980A (ja)
WO (2) WO2019216257A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111650956A (zh) * 2020-08-04 2020-09-11 北京机电工程研究所 一种用于目标持续观测的无人机控制方法
CN111650957A (zh) * 2020-08-04 2020-09-11 北京机电工程研究所 一种用于目标搜索的无人机控制方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019196980A (ja) * 2018-05-09 2019-11-14 株式会社センシンロボティクス 検査システム
JP6829753B1 (ja) * 2019-11-18 2021-02-10 株式会社パスコ 学習済モデル生成装置及びプログラム
WO2023105608A1 (ja) * 2021-12-07 2023-06-15 三菱電機株式会社 空気調和装置管理システム、空気調和装置管理方法、空気調和装置、管理装置、および飛行体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10253547A (ja) * 1997-03-06 1998-09-25 Kao Corp 基板外観検査システム
JP2007003243A (ja) * 2005-06-21 2007-01-11 Sumitomo Electric Ind Ltd 長尺物の外観検査装置
US20120262708A1 (en) * 2009-11-25 2012-10-18 Cyberhawk Innovations Limited Unmanned aerial vehicle
WO2015163107A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005300179A (ja) * 2004-04-06 2005-10-27 Constec Engi Co 赤外線構造物診断システム
JP5287178B2 (ja) * 2008-11-27 2013-09-11 富士通セミコンダクター株式会社 欠陥レビュー装置
US9488592B1 (en) * 2011-09-28 2016-11-08 Kurion, Inc. Automatic detection of defects in composite structures using NDT methods
JP6152353B2 (ja) * 2014-02-18 2017-06-21 株式会社神戸製鋼所 検査装置
JP6604242B2 (ja) * 2016-03-10 2019-11-13 富士通株式会社 撮像装置、方法、及びプログラム
JP2019196980A (ja) * 2018-05-09 2019-11-14 株式会社センシンロボティクス 検査システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10253547A (ja) * 1997-03-06 1998-09-25 Kao Corp 基板外観検査システム
JP2007003243A (ja) * 2005-06-21 2007-01-11 Sumitomo Electric Ind Ltd 長尺物の外観検査装置
US20120262708A1 (en) * 2009-11-25 2012-10-18 Cyberhawk Innovations Limited Unmanned aerial vehicle
WO2015163107A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111650956A (zh) * 2020-08-04 2020-09-11 北京机电工程研究所 一种用于目标持续观测的无人机控制方法
CN111650957A (zh) * 2020-08-04 2020-09-11 北京机电工程研究所 一种用于目标搜索的无人机控制方法
CN111650956B (zh) * 2020-08-04 2020-12-08 北京机电工程研究所 一种用于目标持续观测的无人机控制方法

Also Published As

Publication number Publication date
WO2020218066A1 (ja) 2020-10-29
JP6802599B1 (ja) 2020-12-16
JPWO2020218066A1 (ja) 2021-05-06
JP2019196980A (ja) 2019-11-14
JP2021035833A (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
JP6802599B1 (ja) 検査システム
JP7070725B2 (ja) 飛行情報生成方法、情報処理装置及びコンピュータプログラム
JP7078093B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7260269B2 (ja) 航空非破壊検査用の測位システム
EP3743781B1 (en) Automated and adaptive three-dimensional robotic site surveying
Bacco et al. Monitoring ancient buildings: Real deployment of an IoT system enhanced by UAVs and virtual reality
Eschmann et al. High-resolution multisensor infrastructure inspection with unmanned aircraft systems
WO2019230604A1 (ja) 検査システム
US20200004272A1 (en) System and method for intelligent aerial inspection
JP2017078575A (ja) 検査システム、及び検査方法
JP2018156491A (ja) 設備点検システム
JP2017034444A (ja) 撮像装置および撮像方法
EP3567445A1 (en) Transferring annotations to images captured by remote vehicles between displays
JP2023100642A (ja) 検査システム
JP2017201757A (ja) 画像取得システム、画像取得方法、画像処理方法
JP2019073096A (ja) 架線撮影システム及び架線撮影方法
JP6681101B2 (ja) 検査システム
KR102575000B1 (ko) 플랜트 크랙 진단을 위한 인공지능 드론 플랫폼 시스템
Baeck et al. Drone based near real-time human detection with geographic localization
JP2020183873A (ja) 空撮画像位置特定システムおよび空撮画像位置特定方法。
JP6681102B2 (ja) 検査システム
JP2020201850A (ja) 飛行体の制御方法
JP6938749B2 (ja) 空撮画像特定システムおよび空撮画像特定方法。
US20240005770A1 (en) Disaster information processing apparatus, disaster information processing system, disaster information processing method, and program
Kuo et al. Unmanned System and vehicle for infrastructure inspection–image correction, quantification, reliabilities and formation of Façade map

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19798835

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19798835

Country of ref document: EP

Kind code of ref document: A1