WO2020218066A1 - 検査システム - Google Patents

検査システム Download PDF

Info

Publication number
WO2020218066A1
WO2020218066A1 PCT/JP2020/016329 JP2020016329W WO2020218066A1 WO 2020218066 A1 WO2020218066 A1 WO 2020218066A1 JP 2020016329 W JP2020016329 W JP 2020016329W WO 2020218066 A1 WO2020218066 A1 WO 2020218066A1
Authority
WO
WIPO (PCT)
Prior art keywords
abnormality
information
image
shooting
unit
Prior art date
Application number
PCT/JP2020/016329
Other languages
English (en)
French (fr)
Inventor
高橋　和也
智史 岡村
Original Assignee
株式会社センシンロボティクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社センシンロボティクス filed Critical 株式会社センシンロボティクス
Priority to JP2020544885A priority Critical patent/JP6802599B1/ja
Publication of WO2020218066A1 publication Critical patent/WO2020218066A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T50/00—Aeronautics or air transport
    • Y02T50/50—On board measures aiming to increase energy efficiency

Definitions

  • the present invention relates to an inspection system.
  • Patent Document 1 discloses a solar cell inspection system capable of automating the inspection of a solar cell module installed outdoors by using an air vehicle.
  • Patent Document 1 The technology of Patent Document 1 is to move the flying object toward the first shooting position according to a preset flight plan, and acquire and analyze thermal image data with an infrared camera.
  • Patent Document 1 cannot meet such needs.
  • the present invention has been made in view of such a background, and one object of the present invention is to provide a new technique capable of automating the inspection of an object by using an air vehicle.
  • the main invention of the present invention for solving the above problems is an inspection system for inspecting an inspection object, which is an image taken by an air vehicle equipped with a camera of the inspection object, an imaging altitude of the air vehicle, and the above.
  • a shooting information receiving unit that receives a shooting position on a map of an air vehicle
  • an abnormality detection unit that analyzes the image to detect an abnormality in the inspection object
  • a detection position on the image in which the abnormality is detected is detected.
  • An abnormal position calculation unit that calculates an abnormal position of the inspection object on the map based on the shooting altitude and the shooting position, and information on the abnormality including at least the abnormal position and information for identifying the abnormality.
  • the abnormal information storage unit includes an abnormal information storage unit that stores the abnormal information in association with each other, and the abnormal information storage unit further provides other abnormal information different from the abnormal information for each of the abnormal information stored in the abnormal information storage unit.
  • the information for identifying the same abnormality is associated with the abnormality information regarding the same abnormality and stored.
  • the inspection of an object can be automated by using an air vehicle.
  • the flying object according to the embodiment of the present invention has the following configuration.
  • An inspection system that inspects objects to be inspected An image of an object to be inspected by a flying object equipped with a camera, a photographing altitude of the flying object, and a photographing information receiving unit for receiving a photographing position on a map of the flying object.
  • An abnormality detection unit that analyzes the image and detects an abnormality in the inspection object
  • An abnormality position calculation unit that calculates an abnormality position of the inspection object on the map based on the detection position on the image in which the abnormality is detected, the shooting altitude, and the shooting position.
  • An abnormality information storage unit that stores at least information about the abnormality including the abnormality position and information for identifying the abnormality in association with each other.
  • the abnormal information storage unit further When it is determined that both abnormalities are the same abnormality with respect to a set of other abnormal information different from the abnormal information for each of the abnormal information stored in the abnormal information storage unit, Information that identifies the same abnormality is associated with and stored in the abnormality information regarding the same abnormality.
  • An inspection system characterized by that.
  • [Item 2] The inspection system according to item 1.
  • An inspection system characterized in that the abnormality information regarding the same abnormality includes information for identifying a plurality of shooting information.
  • the anomaly information about the same anomaly contains a single comment.
  • the inspection system according to item 3. It also has a report generator that outputs information showing inspection results as a report.
  • the report generator Information that identifies the abnormality is read from the abnormality information storage unit without duplication, and the single comment corresponding to the information that identifies the read abnormality is output to the report.
  • An inspection system characterized by that.
  • FIG. 1 is a diagram showing an overall configuration of an inspection system according to an embodiment of the present invention.
  • the inspection system of the present embodiment analyzes an image of an object to be inspected and detects an abnormality.
  • a solar cell module 1 solar panel
  • the object to be inspected is not limited to the solar cell module 1, but may be a concrete structure such as a slope or a dam, a steel structure such as a steel tower or an iron bridge, or a farm or a golf course. It may be a predetermined area or a disaster area at the time of a disaster.
  • the inspection system of the present embodiment includes a flight device 10 that captures the solar cell module 1 that is an inspection target, and an inspection server 30 that analyzes an image captured by the flight device 10.
  • the flight device 10 and the inspection server 30 are connected to each other so as to be able to communicate with each other via the communication network 50.
  • the communication network 50 assumes the Internet, and is constructed by, for example, a wireless communication path, a mobile phone line network, a satellite communication path, a public telephone line network, a dedicated line network, Ethernet (registered trademark), or the like.
  • the flight device 10 includes a camera 12, and while flying, photographs a part or all of the solar cell module 1 that enters the photographing area 122 according to the angle of view 121 of the camera 12.
  • the angle of view 121 of the camera 12 is assumed to be constant for the sake of simplicity, but the angle of view 121 may be changed by changing the focal length of the camera 12.
  • FIG. 2 is a diagram showing a hardware configuration example of the flight device 10.
  • the flight device 10 includes a propeller 18, a propulsion mechanism (assuming a motor 17 in this embodiment) connected to the propeller 18 via an ESC (Electronic Speed Controller) 16, and a flight controller 11 that controls them. Be prepared.
  • the flight device 10 includes a camera 12, and in the present embodiment, the camera 12 is fixed to the airframe.
  • the camera 12 is provided with a lens pointing downward in the vertical direction, and captures only an image directly below in the vertical direction.
  • the camera 12 can capture two types of images, an RGB image that captures visible light and a thermal image that captures infrared rays.
  • the flight device 10 may include two cameras 12 for capturing RGB images and a camera 12 for creating thermal images, or may include three or more cameras 12. Further, various sensors such as a motion sensor may be provided in place of the camera 12 or in addition to the camera 12.
  • the camera 12 may capture two types of images with one camera, or may be configured with a plurality of cameras.
  • the flight controller 11 can have one or more processors 101 such as a programmable processor (in this embodiment, a central processing unit (CPU) is assumed). Further, the flight controller 11 has a memory 102 and can access the memory 102. Memory 102 stores logic, code, and / or program instructions that the flight controller 11 can execute to perform one or more steps.
  • the memory 102 may include, for example, a separable medium such as an SD card or random access memory (RAM) or an external storage device.
  • the data acquired from the camera 12, the sensor, or the like may be directly transmitted and stored in the memory 102.
  • the flight controller 11 also includes various sensors 103.
  • the sensors 103 may include, for example, an inertial sensor (acceleration sensor, gyro sensor), a GPS (Global Positioning System) sensor, a proximity sensor (eg, rider), or a vision / image sensor (eg, camera). ..
  • the flight controller 11 is configured to transmit and / or receive data from one or more external devices, such as a transmitter / receiver (propo), a terminal, a display device, or other remote control. It is possible to communicate with the transmitted / received unit 14.
  • the transmission / reception unit 14 can use any suitable communication means such as wired communication or wireless communication. In the present embodiment, the transmission / reception unit 14 mainly communicates with the inspection server 30.
  • the transmission / reception unit 14 includes, for example, a local area network (LAN), a wide area network (WAN), infrared rays, wireless, WiFi, a point-to-point (P2P) network, a telecommunications network, cloud communication, and the like. One or more of them can be used.
  • the transmitter / receiver 14 may transmit and / or receive one or more of data acquired by sensors, processing results generated by a flight controller, predetermined control data, user commands from a terminal or a remote controller, and the like. it can.
  • FIG. 3 is a diagram showing a software configuration example of the flight controller 11.
  • the flight controller 11 includes an instruction receiving unit 111, a flight control unit 112, a position information acquisition unit 113, a shooting processing unit 114, a shooting information transmission unit 115, a position information storage unit 151, a shooting information storage unit 152, a GPS sensor 104, and a pressure sensor. It includes 105 and a temperature sensor 106.
  • the instruction receiving unit 111, the flight control unit 112, the position information acquisition unit 113, the photographing processing unit 114, and the photographing information transmitting unit 115 are realized by the processor 101 executing a program stored in the memory 102. Further, the position information storage unit 151 and the photographing information storage unit 152 are realized as storage areas provided by the memory 102.
  • the instruction receiving unit 111 receives various commands (hereinafter referred to as flight operation commands) instructing the operation of the flight device 10.
  • flight operation commands various commands (hereinafter referred to as flight operation commands) instructing the operation of the flight device 10.
  • the instruction receiving unit 111 receives the flight operation command from the inspection server 30, but the flight operation command may be received from a transmitter / receiver such as a radio.
  • the flight control unit 112 controls the operation of the flight device 10.
  • the flight control unit 112 adjusts, for example, the spatial arrangement, velocity, and / or acceleration of the flight device 10 having 6 degrees of freedom (translational motions x, y and z, and rotational motions ⁇ x, ⁇ y and ⁇ z). , Control the motor 17 via the ESC 16.
  • the motor 17 rotates the propeller 18 to generate lift for the flight device 10.
  • the flight control unit 112 can control one or more of the states of the mounting unit and the sensors.
  • the flight control unit 112 controls the operation of the flight device 10 in response to the flight operation command received by the instruction receiving unit 111. Further, the flight control unit 112 can perform various controls so that the flight device 10 continues the flight without depending on a command in order to enable autonomous flight.
  • the position information acquisition unit 113 acquires position information indicating the current position of the flight device 10.
  • the position information includes the position on the map of the flight device 10 (represented by latitude and longitude) and the altitude of the flight device 10.
  • the sensors 103 include a GPS sensor 104, and the position information acquisition unit 113 can calculate the position of the flight device 10 on the map from the radio waves received by the GPS sensor 104 from the GPS satellites.
  • the sensors 103 include an atmospheric pressure sensor 105 and a temperature sensor 106, and the position information acquisition unit 113 includes the atmospheric pressure measured by the atmospheric pressure sensor 105 before the flight (hereinafter referred to as the reference pressure) and the flight.
  • the flight altitude of the flight device 10 is calculated based on the difference from the atmospheric pressure measured by the pressure sensor 105 (hereinafter referred to as the current pressure) and the temperature measured by the temperature sensor 106 during flight.
  • the position information acquisition unit 113 obtains the position (latitude / longitude) on the map of the flight device 10 acquired by using the GPS sensor 104 and the flight altitude of the flight device 10 acquired by using the pressure sensor 105 and the temperature sensor 106. It is stored in the position information storage unit 151 of the memory 102.
  • FIG. 4 is a diagram showing a configuration example of the position information storage unit 151. As shown in FIG. 4, the position information storage unit 151 has the latitude and longitude indicating the current position of the flight device 10, the flight altitude calculated as described above, the reference pressure measured before the flight, and the present measured during the flight. The pressure and the temperature measured during the flight are stored.
  • the photographing processing unit 114 controls the camera 12 to photograph a part or all of the solar cell module 1 and acquires the RGB image and the thermal image photographed by the camera 12.
  • the photographing processing unit 114 shall perform photographing every predetermined time (for example, an arbitrary time such as 5 seconds or 30 seconds can be specified).
  • both the RGB image and the thermal image captured by the camera 12 are flown so that the upper part in the Y-axis direction is north and the right side in the X-axis direction is east.
  • the imaging processing unit 114 shall perform imaging.
  • the photographing processing unit 114 may perform photographing every predetermined moving distance (for example, an arbitrary distance such as 3 meters or 10 meters can be specified), or an instruction from the inspection server 30. It may be taken according to the situation.
  • the photographing processing unit 114 For each of the acquired RGB image and thermal image, the photographing processing unit 114 captures the shooting date and time, the latitude and longitude (shooting position) on the map of the flight device 10 at that time, and the flight altitude of the flight device 10 at that time (shooting position).
  • An image hereinafter, an image to which these information is attached is referred to as shooting information
  • shooting information is attached (shooting altitude) and stored in the shooting information storage unit 152.
  • FIG. 5 is a diagram showing a configuration example of the shooting information storage unit 152.
  • the shooting information storage unit 152 stores the shooting information 1521 related to the RGB image and the shooting information 1522 related to the thermal image, and both the shooting information 1521 and 1522 include the shooting date and time, the shooting position, the shooting altitude, and the image data. ..
  • the shooting information 1521 and 1522 can be stored, for example, as a file on the file system. Further, the shooting date and time, the shooting position, and the shooting altitude can be stored as, for example, Exif (Exchangeable image file format) information of a JPEG (Joint Photographic Experts Group) image file.
  • Exif Exchangeable image file format
  • the shooting information transmission unit 115 transmits the image taken by the camera 12 to the inspection server 30.
  • the shooting information transmission unit 115 shall transmit the shooting information in which the shooting date and time, the shooting position, and the shooting altitude are attached to the RGB image and the thermal image to the inspection server 30.
  • FIG. 6 is a diagram showing a hardware configuration example of the inspection server 30.
  • the inspection server 30 includes a CPU 301, a memory 302, a storage device 303, a communication device 304, an input device 305, and an output device 306.
  • the storage device 303 stores various data and programs, such as a hard disk drive, a solid state drive, and a flash memory.
  • the communication device 304 communicates with another device via the communication network 50.
  • the communication device 304 includes, for example, an adapter for connecting to Ethernet (registered trademark), a modem for connecting to a public telephone network, a wireless communication device for wireless communication, a USB connector for serial communication, an RS232C connector, and the like. Consists of including.
  • the input device 305 is, for example, a keyboard, a mouse, a touch panel, buttons, a microphone, or the like for inputting data.
  • the output device 306 is, for example, a display, a printer, a speaker, or the like that outputs data.
  • FIG. 7 is a diagram showing a software configuration example of the inspection server 30.
  • the inspection server 30 includes a flight control unit 311, a shooting information receiving unit 312, an abnormality detection unit 313, an abnormality position calculation unit 314, a duplicate deletion unit 315, a report creation unit 316, a shooting information storage unit 351 and an abnormality information storage unit 352. ..
  • the CPU 301 included in the inspection server 30 is stored in the storage device 303. It is realized by reading the program into the memory 302 and executing it, and the photographing information storage unit 351 and the abnormality information storage unit 352 are realized as a part of the storage area provided by the memory 302 and the storage device 303 included in the inspection server 30. ..
  • the flight control unit 311 controls the flight of the flight device 10.
  • the flight control unit 311 operates the flight device 10 by transmitting a flight operation command to the flight device 10.
  • the flight control unit 311 can accept the designation of the flight route on the map from the operator and transmit the flight operation command to fly on the accepted flight route.
  • the flight control unit 311 can also determine the flight path of the flight device 10 so that the entire solar cell module 1 to be inspected can be photographed by the plurality of photographing areas 122 while including duplication.
  • the shooting information receiving unit 312 receives the shooting information transmitted from the flight device 10.
  • the shooting information receiving unit 312 stores the received shooting information in the shooting information storage unit 351.
  • the configuration of the photographing information storage unit 351 is assumed to be the same as the configuration of the photographing information storage unit 152 of the flight device 10 shown in FIG.
  • the shooting information storage unit 351 included in the inspection server 30 may store the shooting information 1521 and 1522 in association with the information that identifies the flight device 10 that is the transmission source of the shooting information.
  • the abnormality detection unit 313 analyzes the image taken by the flight device 10 and detects an abnormality in the solar cell module 1 to be inspected.
  • the abnormality detection unit 313 detects an abnormality based on at least one of an RGB image and a thermal image.
  • the abnormality detection unit 313 performs learning using machine learning such as a neural network using an image of the solar cell module 1 in which an abnormality has occurred in the past as a teacher signal, and uses an RGB image or a thermal image as an input signal. Abnormality can be determined.
  • the abnormality detection unit 313 stores a normal image in the memory 302 in advance, compares the normal image with the RGB image or the thermal image, and is composed of pixels having a difference of a predetermined value or more.
  • the abnormality detection unit 313 can detect the abnormality portion from the image by using a known technique.
  • the abnormality detection unit 313 registers the detected abnormality information (hereinafter referred to as abnormality information) in the abnormality information storage unit 352.
  • FIG. 8 is a diagram showing a configuration example of abnormal information registered in the abnormal information storage unit 352.
  • the abnormality information includes information for specifying shooting information (in the example of FIG. 8, it is indicated by an “image” and can be, for example, a JPEG file name), a shooting position, and shooting.
  • the altitude, the position where the abnormality is detected on the image hereinafter referred to as the image abnormality position
  • the position of the abnormality on the map hereinafter simply referred to as the abnormality position
  • the shooting position and shooting altitude are obtained from the shooting information.
  • the image abnormality position is a position on the image specified by the abnormality detection unit 313.
  • the image abnormal position includes the coordinates of two vertices indicating a rectangle, but the image abnormal position may include, for example, only one coordinate, or many.
  • the coordinates of the three anomalies that make up the polygon may be included, or the center coordinates that represent the rectangle and the two vertices may be included. That is, the image abnormal position may be any information representing a point or a geometric figure.
  • the abnormal position is the image abnormal position converted into latitude and longitude. The conversion to latitude and longitude is performed by the abnormal position calculation unit 314.
  • the abnormality position calculation unit 314 calculates the position of the abnormality detected by the abnormality detection unit 313 on the map (hereinafter, simply referred to as an abnormality position).
  • the abnormal position calculation unit 314 converts the abnormal image position into the abnormal position based on the angle of view of the camera 12, the shooting altitude, and the shooting position. The details of the abnormal position calculation process by the abnormal position calculation unit 314 will be described later.
  • the abnormal position calculation unit 314 updates the abnormal information registered in the abnormal information storage unit 352 according to the calculated abnormal position.
  • the duplicate deletion unit 315 deletes duplicate abnormality information.
  • the duplicate deletion unit 315 determines that the two abnormality information is duplicated depending on whether or not the abnormality positions are close (within a predetermined distance), and deletes one of the duplicate abnormality information. The details of the duplicate deletion process by the duplicate deletion unit 315 will be described later.
  • the report creation unit 316 outputs information (hereinafter referred to as a report) indicating the inspection result of the solar cell module 1.
  • the report creation unit 316 creates an overall view (visible image and infrared image) of the solar cell module 1 by synthesizing the RGB image or the thermal image included in the shooting information, and marks the abnormal position included in the abnormal information. And output the comment.
  • the report creation unit 316 may, for example, create a Web page described by HTML (HyperText Markup Language) or a PDF (Portable Document Format) file. However, printing may be performed from an output device such as a printer.
  • FIG. 9 is a diagram illustrating a flow of processing for photographing the solar cell module 1.
  • the flight control unit 112 of the flight device 10 controls the operation of the flight device 10 in response to the flight operation command from the inspection server 30, and the flight device 10 is periodically in flight. Will be executed.
  • the photographing processing unit 114 controls the camera 12 to acquire the RGB image and the thermal image captured by the camera 12 (S201), and the position information acquisition unit 113 includes the GPS sensor 104, the pressure sensor 105, and the pressure sensor 105. Based on the signal from the temperature sensor 106, the shooting position and the shooting altitude are obtained (S202).
  • the shooting information transmission unit 115 creates shooting information with the current date and time (shooting date and time), shooting position, and shooting altitude attached to the RGB image and thermal image acquired from the camera 12, and transmits the shooting information to the inspection server 30 (S203). ).
  • the shooting information receiving unit 312 receives the shooting information transmitted from the flight device 10 (S204), and registers the received shooting information in the shooting information storage unit 351 (S205).
  • the images (RGB images and thermal images) taken by the flight device 10 are sequentially registered in the shooting information storage unit 351 together with the shooting date and time, the shooting position, and the shooting altitude.
  • FIG. 10 is a diagram showing a flow of inspection processing executed by the inspection server 30.
  • the abnormality detection unit 313 detects an abnormality in the solar cell module 1 by performing image analysis of image data included in the shooting information for each of the shooting information stored in the shooting information storage unit 351 (S211).
  • the abnormality detection unit 313 associates the shooting information in which the abnormality is detected with the information for identifying the shooting information, and determines the shooting position and shooting altitude included in the shooting information and the abnormality.
  • Abnormal information including the detected position on the image (image abnormal position) is created and registered in the abnormal information storage unit 352 (S213).
  • the abnormal position calculation unit 314 calculates the abnormal position related to the abnormal information (S214).
  • FIG. 11 is a diagram showing a flow of calculation processing of the abnormal position.
  • the abnormal position calculation unit 314 performs the following processing for each of the abnormal information stored in the abnormal information storage unit 352.
  • the abnormal position calculation unit 314 calculates the actual distance (m) on the map per pixel in the image based on the angle of view and resolution of the camera 12 and the shooting altitude to obtain the pixel distance (S2141). In this embodiment, it is assumed that the angle of view and the resolution of the camera 12 are set in advance.
  • the abnormal position calculation unit 314 calculates the distance in the longitude direction by multiplying the difference between the X coordinate value for each coordinate included in the image abnormal position and the X coordinate value at the center of the image data by the pixel distance (S2142).
  • the abnormal position calculation unit 314 adds the distance in the longitude direction to the longitude of the shooting position to obtain the longitude of the abnormal position (S2143).
  • the abnormal position calculation unit 314 calculates the distance in the latitude direction by multiplying the difference between the Y coordinate value for each coordinate included in the abnormal image position and the Y coordinate value at the center of the image data by the pixel distance (S2144). ..
  • the abnormal position calculation unit 314 adds the distance in the latitude direction to the latitude of the shooting position to obtain the latitude of the abnormal position (S2145).
  • the abnormal position calculation unit 314 updates the abnormal position of the abnormal information based on the calculated latitude and longitude of the abnormal position, and registers the updated abnormal information in the abnormal information storage unit 352 (S2146). As described above, the abnormal position can be obtained from the image abnormal position for each abnormal information.
  • FIG. 12 is a diagram showing a flow of processing for deleting duplicate abnormality information.
  • the duplicate deletion unit 315 performs the following processing on each of the abnormality information stored in the abnormality information storage unit 352 for a set with other abnormality information different from the abnormality information. That is, the duplicate deletion unit 315 calculates the distance between the abnormal positions (distance between abnormalities) included in the two abnormal information (S2151), and when the calculated distance between abnormalities is equal to or less than a predetermined threshold value (S2151). S2152), the other abnormal information is deleted from the abnormal information storage unit 352 (S2153). By repeating the above processing, it is possible to delete the duplicated abnormality information from the abnormality information storage unit 352, assuming that the two abnormalities whose distances are within a predetermined distance are the same abnormality.
  • FIG. 13 is a diagram illustrating a state in which the same abnormality is included in two images.
  • FIG. 13 shows a state in which one abnormality 41 has occurred in the solar cell module 1. It is assumed that the camera 12 has taken two shots, and the portions in the two shooting areas 122-1 and 122-2 are taken as RGB images 421 and 422.
  • the abnormality 41 is imaged at the position of the X coordinate value 450 and the Y coordinate value 250 (image abnormality position 41-1), and in the RGB image 422, the X coordinate value 50 and the Y coordinate are captured.
  • the abnormality 42 is imaged at the position of the value 50 (image abnormality position 41-2).
  • the abnormal position is calculated. Assuming that the centers 431 and 432 of each image are the shooting positions in the unit 314, the actual distance per pixel obtained from the shooting altitude and the angle of view of the camera 12 with respect to the distances in the X and Y directions on the image. The latitude and longitude of the image abnormal positions 41-1 and 41-2 are obtained from the deviation from the shooting position, and the image abnormal positions 41-1 and 41-2 indicate the same position of the abnormality 41 based on this latitude and longitude. It is judged whether or not it is. This makes it possible to automatically determine whether or not the abnormalities detected from the different images 421 and 422 are the same.
  • the report creation unit 316 creates a report regarding the inspection of the solar cell module 1 (S216).
  • FIG. 14 is a diagram showing a flow of a report creation process relating to inspection.
  • FIG. 15 is a diagram showing an example of a report 61 created by the report creation unit 316.
  • the report creation unit 316 accepts the input of comments about each abnormality information from the operator of the inspection server 30, the user of the user terminal accessing the inspection server 30, and the like (S2161).
  • the report creation unit 316 updates the abnormality information according to the received comment, and registers the updated abnormality information in the abnormality information storage unit 352.
  • the report creation unit 316 synthesizes the image data included in each shooting information stored in the shooting information storage unit 351 to create one image including the entire solar cell module 1 (S2162).
  • the abnormal position calculation unit 314 performs the same process as the abnormal position calculation process shown in FIG. 11 to the upper left of the image. And, the latitude and longitude for each coordinate in the lower right can be calculated, and the image can be placed at the position corresponding to the calculated latitude and longitude for composition.
  • the report creation unit 316 obtains the center of the abnormal position included in the abnormal information for each abnormal information registered in the abnormal information storage unit 352, and draws a predetermined figure at the position on the composite image indicated by the center. (S2163).
  • the report creation unit 316 outputs a composite image in which the abnormal positions are plotted as described above to the report 61 (S2164).
  • the composite image 62 is output in the upper part of the report 61.
  • a circular figure is output at the center 621 of the abnormal position.
  • the report creation unit 316 For each abnormality information, the report creation unit 316 draws a figure indicating an abnormality position included in the abnormality information with respect to the image data included in the corresponding shooting information (S2165). In the present embodiment, the abnormal position is drawn as a rectangle.
  • the report creation unit 316 outputs an image in which a figure is drawn to the report 61 (S2166), and outputs a comment included in the abnormality information (S2167).
  • one RGB image 63 in which a rectangle 631 indicating an abnormal position is drawn is output in the lower part of the report 61, and a comment 64 is output in the lower part thereof.
  • the RGB image 63 and the comment 64 for one abnormality information are output, but the RGB image 63 and the comment 64 and the thermal image (not shown) and the comment 64 for all the abnormality information are output. It may be. Further, the report creation unit 316 may output the RGB image and the thermal image in which no abnormality is detected to the report 61.
  • the camera 12 is fixed to the lower part of the machine body, but the present invention is not limited to this, and the camera 12 may be movably mounted via a gimbal.
  • the shooting information may include the shooting direction of the camera 12.
  • the abnormality is detected by using both the RGB image and the thermal image, but the abnormality may be detected by using only one of the RGB image and the thermal image.
  • the barometric pressure sensor 105 and the temperature sensor 106 are used to obtain the shooting altitude, but the present invention is not limited to this, and a known method may be used to obtain the shooting altitude.
  • the duplicated abnormality information is deleted from the abnormality information storage unit 352, but the information (abnormal ID) for identifying the detected abnormality is assigned without the deletion, and the abnormality ID is assigned to the abnormality information. You may try to register.
  • the abnormality information storage unit 352 is associated with the abnormality ID to store a single comment and information that identifies a plurality of shooting information, and the report creation unit 316 is stored in the abnormality information storage unit 352.
  • the abnormal ID can be read without duplication, and the comment corresponding to the read abnormal ID can be output to the report 61.
  • the shooting information from the flight device 10 is transmitted to the inspection server 30 each time the camera 12 takes a picture, but the flight device 10 stores the shooting information in the shooting information storage unit 152.
  • the photographed information stored in the photographed information storage unit 152 may be transmitted to the inspection server 30 periodically during the flight or at once after the flight is completed.
  • the image taken by the flight device 10 is north on the Y-axis direction and east on the right in the X-axis direction, but the present invention is not limited to this, and the flight device 10 is not limited to this. You may shoot in the posture.
  • the northward angle (the angle at which the RGB image and the thermal image are rotated so as to be north in the Y-axis direction) is stored in the shooting information, and the image is rotated or the angle.
  • the latitude and longitude of the abnormal position may be calculated in consideration of.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Geophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Studio Devices (AREA)
  • Photovoltaic Devices (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

【課題】対象物の検査を飛行体の利用によって自動化することができるようにする。 【解決手段】検査システムであって、カメラを備える飛行体が検査対象物を撮影した画像、飛行体の撮影高度、および飛行体の地図上の撮影位置を受信する撮影情報受信部と、画像を解析して検査対象物の異常を検出する異常検出部と、異常が検出された画像上の検出位置、撮影高度、および撮影位置に基づいて、地図上における検査対象物の異常位置を算出する異常位置算出部と、少なくとも異常位置を含む異常に関する異常情報および異常を識別する情報を対応付けて記憶する異常情報記憶部と、を備え、異常情報記憶部は、さらに、異常情報記憶部に記憶されている異常情報のそれぞれについて、異常情報とは異なる他の異常情報との組に対して、両異常が同一の異常であると判定した場合には、当該同一の異常に関する異常情報に、同一の異常を識別する情報を関連付けて記憶する。

Description

検査システム
　本発明は、検査システムに関する。
　近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する。）が産業に利用され始めている。こうした中で、特許文献１には、屋外に設置された太陽電池モジュールの検査を飛行体の利用によって自動化することのできる太陽電池検査システムが開示されている。
特開２０１７－１０３９０８号公報
　特許文献１の技術は、予め設定された飛行計画に従って、飛行体を最初の撮影位置へ向けて移動させ、赤外線カメラによって熱画像データを取得し解析することとしている。
　しかしながら、近年、再生可能エネルギーの重要性が高まり、太陽電池モジュールや太陽電池モジュールを利用した発電施設が大型化する傾向がある。特許文献１に開示されている方法では、このようなニーズに対応することができない。
　本発明はこのような背景を鑑みてなされたものであり、対象物の検査を飛行体の利用によって自動化することのできる新たな技術を提供することを一つの目的とする。
　上記課題を解決するための本発明の主たる発明は、検査対象物を検査する検査システムであって、カメラを備える飛行体が前記検査対象物を撮影した画像、前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置を受信する撮影情報受信部と、前記画像を解析して前記検査対象物の異常を検出する異常検出部と、前記異常が検出された前記画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、少なくとも前記異常位置を含む前記異常に関する情報および前記異常を識別する情報を対応付けて記憶する異常情報記憶部と、を備え、前記異常情報記憶部は、さらに、前記異常情報記憶部に記憶されている前記異常情報のそれぞれについて、当該異常情報とは異なる他の異常情報との組に対して、両異常が同一の異常であると判定された場合には、当該同一の異常に関する異常情報に、同一の異常を識別する情報を関連付けて記憶することとする。
　その他本願が開示する課題やその解決方法については、発明の実施形態の欄および図面により明らかにされる。
　本発明によれば、対象物の検査を飛行体の利用によって自動化することができる。
本発明の一実施形態に係る検査システムの全体構成を示す図である。 飛行装置１０のハードウェア構成例を示す図である。 フライトコントローラ１１のソフトウェア構成例を示す図である。 位置情報記憶部１５１の構成例を示す図である。 撮影情報記憶部１５２の構成例を示す図である。 検査サーバ３０のハードウェア構成例を示す図である。 検査サーバ３０のソフトウェア構成例を示す図である。 異常情報記憶部３５２に登録される異常情報の構成例を示す図である。 太陽電池モジュール１を撮影する処理の流れを説明する図である。 検査サーバ３０により実行される検査処理の流れを示す図である。 異常位置の算出処理の流れを示す図である。 重複した異常情報を削除する処理の流れを示す図である。 同一の異常が２つの画像に含まれている状態を説明する図である。 検査に関するレポートの作成処理の流れを示す図である。 レポート作成部３１６により作成されるレポート６１の一例を示す図である。
　本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行体は、以下のような構成を備える。
［項目１］
　検査対象物を検査する検査システムであって、
　カメラを備える飛行体が前記検査対象物を撮影した画像、前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置を受信する撮影情報受信部と、
　前記画像を解析して前記検査対象物の異常を検出する異常検出部と、
　前記異常が検出された前記画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、
　少なくとも前記異常位置を含む前記異常に関する情報および前記異常を識別する情報を対応付けて記憶する異常情報記憶部と、
　を備え、
　前記異常情報記憶部は、さらに、
　前記異常情報記憶部に記憶されている前記異常情報のそれぞれについて、当該異常情報とは異なる他の異常情報との組に対して、両異常が同一の異常であると判定された場合には、当該同一の異常に関する異常情報に、同一の前記異常を識別する情報を関連付けて記憶する、
　ことを特徴とする検査システム。
［項目２］
　項目１に記載の検査システムであって、
　前記同一の異常に関する異常情報は、複数の撮影情報を特定する情報を含む、　ことを特徴とする検査システム。
［項目３］
　項目１または２に記載の検査システムであって、
　前記同一の異常に関する異常情報は、単一のコメントを含む
　ことを特徴とする検査システム。
［項目４］
　項目３に記載の検査システムであって、
　検査結果を示す情報をレポートとして出力するレポート生成部をさらに備え、
　前記レポート生成部は、
　前記異常情報記憶部から重複なく前記異常を識別する情報を読み出し、当該読み出した異常を識別する情報に対応する前記単一コメントを前記レポートに出力する、
　ことを特徴とする検査システム。
＝＝概要・全体構成＝＝
　図１は、本発明の一実施形態に係る検査システムの全体構成を示す図である。本実施形態の検査システムは、検査対象物を撮影した画像を解析して異常を検出するものである。本実施形態では、検査対象物の一例として太陽電池モジュール１（太陽光パネル）を想定する。なお、検査対象物としては太陽電池モジュール１に限らず、法面やダムなどのコンクリート構造物であってもよいし、鉄塔や鉄橋などの鋼構造物であってもよいし、農場やゴルフ場等所定の地域や災害時の被災地域であってもよい。
　本実施形態の検査システムは、検査対象物である太陽電池モジュール１を撮影する飛行装置１０と、飛行装置１０が撮影した画像を解析する検査サーバ３０とを含んで構成される。飛行装置１０と検査サーバ３０とは通信ネットワーク５０を介して相互に通信可能に接続されている。本実施形態では通信ネットワーク５０はインターネットを想定し、例えば無線通信路、携帯電話回線網、衛星通信路、公衆電話回線網、専用回線網、イーサネット（登録商標）などにより構築される。
　飛行装置１０はカメラ１２を備え、飛行しながらカメラ１２の画角１２１に応じて、撮影領域１２２に入る太陽電池モジュール１の一部または全部を撮影する。本実施形態では、説明を簡単にするためカメラ１２の画角１２１は一定であるものとするが、カメラ１２の焦点距離を変動させて画角１２１を変化させるようにすることもできる。
（飛行装置１０）
　図２は、飛行装置１０のハードウェア構成例を示す図である。飛行装置１０は、プロペラ１８と、プロペラ１８にＥＳＣ（Electronic Speed Controller）１６を介して接続された推進機構（本実施形態ではモータ１７を想定する。）と、これらを制御するフライトコントローラ１１とを備える。
　飛行装置１０はカメラ１２を備え、本実施形態では、カメラ１２は機体に固定される。カメラ１２は、鉛直方向下向きのレンズを備え、鉛直方向に真下の画像のみを撮影するものとする。カメラ１２は、可視光線を捉えたＲＧＢ画像と、赤外線を捉えたサーマル画像との２種類の画像を撮影することができる。なお、飛行装置１０は、ＲＧＢ画像を撮影するカメラ１２と、サーマル画像を作成するカメラ１２との２台を備えるようにしてもよいし、３台以上のカメラ１２を備えるようにしてもよい。また、カメラ１２に代えて、またはカメラ１２に加えて、人感センサーなどの各種のセンサを備えるようにしてもよい。カメラ１２は、一台にて２種類の画像を撮像することとしてもよいし、複数台で構成することとしてもよい。
　フライトコントローラ１１は、プログラマブルプロセッサ（本実施形態では、中央演算処理装置（ＣＰＵ）を想定する。）などの１つ以上のプロセッサ１０１を有することができる。また、フライトコントローラ１１は、メモリ１０２を有しており、当該メモリ１０２にアクセス可能である。メモリ１０２は、１つ以上のステップを行うためにフライトコントローラ１１が実行可能であるロジック、コード、および／またはプログラム命令を記憶する。メモリ１０２は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ１２やセンサなどから取得したデータは、メモリ１０２に直接に伝達されかつ記憶されてもよい。
　フライトコントローラ１１はまた、各種のセンサ類１０３を備える。本実施形態においてセンサ類１０３は、例えば、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳ（Global Positioning System）センサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。
　フライトコントローラ１１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）、端末、表示装置、または他の遠隔の制御器などである。）からのデータを送信および／または受け取るように構成された送受信部１４と通信可能である。送受信部１４は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。本実施形態では、送受信部１４は、主に検査サーバ３０と通信を行う。送受信部１４は、例えば、ローカルエリアネットワーク（Local Area Network；ＬＡＮ）、ワイドエリアネットワーク（Wide Area Network；ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。送受信部１４は、センサ類で取得したデータ、フライトコントローラが生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることもできる。
　図３は、フライトコントローラ１１のソフトウェア構成例を示す図である。フライトコントローラ１１は、指示受信部１１１、飛行制御部１１２、位置情報取得部１１３、撮影処理部１１４、撮影情報送信部１１５、位置情報記憶部１５１、撮影情報記憶部１５２、ＧＰＳセンサ１０４、気圧センサ１０５および温度センサ１０６を備える。
　なお、指示受信部１１１、飛行制御部１１２、位置情報取得部１１３、撮影処理部１１４および撮影情報送信部１１５は、プロセッサ１０１がメモリ１０２に格納されているプログラムを実行することにより実現される。また、位置情報記憶部１５１および撮影情報記憶部１５２は、メモリ１０２の提供する記憶領域として実現される。
　指示受信部１１１は、飛行装置１０の動作を指示する各種のコマンド（以下、飛行操作コマンドという。）を受け付ける。本実施形態では、指示受信部１１１は、検査サーバ３０から飛行操作コマンドを受信することを想定するが、プロポなどの送受信機から飛行操作コマンドを受信するようにしてもよい。
　飛行制御部１１２は、飛行装置１０の動作を制御する。飛行制御部１１２は、例えば、６自由度（並進運動ｘ、ｙおよびｚ、並びに回転運動θｘ、θｙおよびθｚ）を有する飛行装置１０の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ１６を経由してモータ１７を制御する。モータ１７によりプロペラ１８が回転することで飛行装置１０の揚力を生じさせる。また、飛行制御部１１２は、搭載部、センサ類の状態のうちの１つ以上を制御することができる。本実施形態では、飛行制御部１１２は、指示受信部１１１が受信した飛行操作コマンドに応じて飛行装置１０の動作を制御するものとする。また、飛行制御部１１２は、自律飛行を可能とするべく、コマンドによらずに飛行装置１０が飛行を継続するように各種の制御を行うこともできる。
　位置情報取得部１１３は、飛行装置１０の現在位置を示す位置情報を取得する。本実施形態では、位置情報には、飛行装置１０の地図上の位置（緯度経度で表される。）と、飛行装置１０の高度とが含まれるものとする。センサ類１０３にはＧＰＳセンサ１０４が含まれており、位置情報取得部１１３は、ＧＰＳセンサ１０４がＧＰＳ衛星から受信した電波から、飛行装置１０の地図上の位置を算出することができる。また、センサ類１０３には、気圧センサ１０５および温度センサ１０６が含まれており、位置情報取得部１１３は、飛行前に気圧センサ１０５により測定した大気圧（以下、基準気圧という。）と、飛行中に気圧センサ１０５により測定した大気圧（以下、現在気圧という。）との差分と、飛行中に温度センサ１０６により測定した気温とに基づいて、飛行装置１０の飛行高度を計算する。位置情報取得部１１３は、ＧＰＳセンサ１０４を用いて取得した飛行装置１０の地図上の位置（緯度経度）と、気圧センサ１０５および温度センサ１０６を用いて取得した飛行装置１０の飛行高度とを、メモリ１０２の位置情報記憶部１５１に格納する。図４は位置情報記憶部１５１の構成例を示す図である。図４に示すように、位置情報記憶部１５１には、飛行装置１０の現在位置を示す緯度経度、上記のようにして計算した飛行高度、飛行前に測定した基準気圧、飛行中に測定した現在気圧、および飛行中に測定した気温が格納される。
　撮影処理部１１４は、カメラ１２を制御して太陽電池モジュール１の一部または全部を撮影させ、カメラ１２が撮影したＲＧＢ画像およびサーマル画像を取得する。本実施形態では、撮影処理部１１４は、所定の時間（例えば、５秒、３０秒など任意の時間を指定することができる。）ごとに撮影を行うようにするものとする。また、本実施形態では、説明を簡単にするため、カメラ１２が撮影するＲＧＢ画像およびサーマル画像のいずれについても、Ｙ軸方向の上が北、Ｘ軸方向の右が東となるように、飛行制御部１１２により姿勢を決めた上で、撮影処理部１１４が撮影を行うものとする。なお、撮影処理部１１４は、所定の移動距離（例えば、３メートル、１０メートルなど任意の距離を指定することができる。）ごとに撮影を行うようにしてもよいし、検査サーバ３０からの指示に応じて撮影するようにしてもよい。
　撮影処理部１１４は、取得したＲＧＢ画像およびサーマル画像のそれぞれについて、撮影された撮影日時ならびにその時点における飛行装置１０の地図上の緯度経度（撮影位置）およびその時点における飛行装置１０の飛行高度（撮影高度）を付帯させて（以下、これらの情報が付帯された画像を撮影情報という。）、撮影情報記憶部１５２に格納する。
　図５は撮影情報記憶部１５２の構成例を示す図である。撮影情報記憶部１５２は、ＲＧＢ画像に係る撮影情報１５２１およびサーマル画像に係る撮影情報１５２２を記憶しており、撮影情報１５２１および１５２２のいずれも、撮影日時、撮影位置および撮影高度ならびに画像データを含む。撮影情報１５２１および１５２２は、例えば、ファイルシステム上のファイルとして記憶させることができる。また、撮影日時、撮影位置および撮影高度は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）画像ファイルのＥｘｉｆ（Exchangeable image file format）情報として格納することができる。
　撮影情報送信部１１５は、カメラ１２が撮影した画像を検査サーバ３０に送信する。撮影情報送信部１１５は、ＲＧＢ画像およびサーマル画像に、撮影日時、撮影位置および撮影高度を付帯させた撮影情報を検査サーバ３０に送信するものとする。
（検査サーバ３０）
　図６は、検査サーバ３０のハードウェア構成例を示す図である。検査サーバ３０は、ＣＰＵ３０１、メモリ３０２、記憶装置３０３、通信装置３０４、入力装置３０５、出力装置３０６を備える。記憶装置３０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信装置３０４は、通信ネットワーク５０を介して他の装置と通信を行う。通信装置３０４は、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢコネクタやＲＳ２３２Ｃコネクタなどを含んで構成される。入力装置３０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置３０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。
　図７は、検査サーバ３０のソフトウェア構成例を示す図である。検査サーバ３０は、飛行制御部３１１、撮影情報受信部３１２、異常検出部３１３、異常位置算出部３１４、重複削除部３１５、レポート作成部３１６、撮影情報記憶部３５１および異常情報記憶部３５２を備える。
　なお、飛行制御部３１１、撮影情報受信部３１２、異常検出部３１３、異常位置算出部３１４、重複削除部３１５およびレポート作成部３１６は、検査サーバ３０が備えるＣＰＵ３０１が記憶装置３０３に記憶されているプログラムをメモリ３０２に読み出して実行することにより実現され、撮影情報記憶部３５１および異常情報記憶部３５２は、検査サーバ３０の備えるメモリ３０２および記憶装置３０３が提供する記憶領域の一部として実現される。
　飛行制御部３１１は、飛行装置１０を飛行させる制御を行う。本実施形態では、飛行制御部３１１は、飛行装置１０に対して飛行操作コマンドを送信することにより飛行装置１０を操作する。飛行制御部３１１は、例えば、オペレータから地図上における飛行経路の指定を受け付けて、受け付けた飛行経路上を飛行するように飛行操作コマンドを送信することができる。また、飛行制御部３１１は、複数の撮影領域１２２によって検査対象となっている太陽電池モジュール１の全体を重複を含みながら撮影できるように、飛行装置１０の飛行経路を決定することもできる。
　撮影情報受信部３１２は、飛行装置１０から送信される撮影情報を受信する。撮影情報受信部３１２は、受信した撮影情報を撮影情報記憶部３５１に格納する。なお、本実施形態では、撮影情報記憶部３５１の構成は、図５に示す飛行装置１０の撮影情報記憶部１５２と同一の構成であるものとする。なお、検査サーバ３０が備える撮影情報記憶部３５１は、撮影情報の送信元である飛行装置１０を特定する情報に対応付けて、撮影情報１５２１および１５２２を記憶するようにしてもよい。
　異常検出部３１３は、飛行装置１０が撮影した画像を解析して、検査対象となる太陽電池モジュール１の異常を検出する。異常検出部３１３は、ＲＧＢ画像およびサーマル画像の少なくともいずれかに基づいて異常を検出する。異常検出部３１３は、例えば、過去に異常が発生した太陽電池モジュール１を撮影した画像を教師信号としてニューラルネットワーク等の機械学習を用いた学習を行っておき、ＲＧＢ画像またはサーマル画像を入力信号として異常を判定することができる。また、異常検出部３１３は、正常時の画像をメモリ３０２に予め記憶しておき、正常時の画像と、ＲＧＢ画像またはサーマル画像とを比較して、所定値以上の差分のある画素により構成される領域を認識し、当該領域の面積が所定値以上となるものについて異常と判定することもできる。なお、異常検出部３１３は、公知の技術を用いて画像から異常部分を検出するようにすることができる。異常検出部３１３は、検出した異常に関する情報（以下、異常情報という。）を異常情報記憶部３５２に登録する。
　図８は、異常情報記憶部３５２に登録される異常情報の構成例を示す図である。同図に示すように、異常情報には、撮影情報を特定するための情報（図８の例では、「画像」で示され、例えばＪＰＥＧファイル名とすることができる。）、撮影位置、撮影高度、画像上における異常が検出された位置（以下、画像異常位置という。）、地図上における異常の位置（以下、単に異常位置という。）、当該異常に対するコメントが含まれる。撮影位置および撮影高度は、撮影情報から取得される。画像異常位置は、異常検出部３１３により特定された画像上の位置である。図８では、画像異常位置に矩形を示す２つの頂点の座標が含まれた例が示されているが、画像異常位置には、例えば１つの座標のみが含まれるようにしてもよいし、多角形を構成する３つ異常の座標が含まれるようにしてもよいし、楕円形を表す中心座標と２つの半径とが含まれるようにしてもよい。すなわち、画像異常位置は、点または幾何図形を表す情報であればよい。異常位置は、画像異常位置を緯度経度に変換したものである。緯度経度への変換は異常位置算出部３１４により行われる。
　異常位置算出部３１４は、異常検出部３１３が検出した異常の地図上における位置（以下、単に異常位置という。）を算出する。異常位置算出部３１４は、カメラ１２の画角と撮影高度と撮影位置とに基づいて、画像異常位置を異常位置に変換する。異常位置算出部３１４による異常位置の算出処理の詳細については後述する。異常位置算出部３１４は、算出した異常位置により、異常情報記憶部３５２に登録されている異常情報を更新する。
　重複削除部３１５は、重複する異常情報を削除する。重複削除部３１５は、異常位置が近い（所定距離内にある）か否かにより２つの異常情報が重複していると判定し、重複した異常情報の一方を削除する。なお、重複削除部３１５による重複削除処理の詳細については後述する。
　レポート作成部３１６は、太陽電池モジュール１の検査結果を示す情報（以下、レポートという。）を出力する。レポート作成部３１６は、撮影情報に含まれるＲＧＢ画像又はサーマル画像をそれぞれ合成して太陽電池モジュール１の全体図（可視画像および赤外画像）を作成するとともに、異常情報に含まれる異常位置をマークし、コメントを出力する。レポート作成部３１６は、レポートの作成として、例えば、ＨＴＭＬ（HyperText Markup Language）により記述されたＷｅｂページを作成するようにしてもよいし、ＰＤＦ（Portable Document Format）ファイルを作成するようにしてもよいし、プリンタ等の出力装置から印刷するようにしてもよい。
＝＝処理＝＝
　以下、本実施形態の検査システムにおける処理について説明する。
　図９は、太陽電池モジュール１を撮影する処理の流れを説明する図である。図９に示す撮影処理は、検査サーバ３０からの飛行操作コマンドに応じて飛行装置１０の飛行制御部１１２が飛行装置１０の動作を制御し、飛行装置１０が飛行している間、定期的に実行される。
　飛行装置１０において、撮影処理部１１４は、カメラ１２を制御して、カメラ１２が撮影したＲＧＢ画像およびサーマル画像を取得し（Ｓ２０１）、位置情報取得部１１３は、ＧＰＳセンサ１０４、気圧センサ１０５および温度センサ１０６からの信号に基づいて、撮影位置および撮影高度を求める（Ｓ２０２）。撮影情報送信部１１５は、カメラ１２から取得したＲＧＢ画像およびサーマル画像に、現在の日時（撮影日時）、撮影位置および撮影高度を付帯させた撮影情報を作成して検査サーバ３０に送信する（Ｓ２０３）。
　検査サーバ３０では、撮影情報受信部３１２は、飛行装置１０から送信される撮影情報を受信し（Ｓ２０４）、受信した撮影情報を撮影情報記憶部３５１に登録する（Ｓ２０５）。
　以上のようにして、飛行装置１０において撮影された画像（ＲＧＢ画像およびサーマル画像）は、撮影日時、撮影位置および撮影高度とともに、撮影情報記憶部３５１に順次登録されていく。
　図１０は検査サーバ３０により実行される検査処理の流れを示す図である。
　異常検出部３１３は、撮影情報記憶部３５１に記憶されている撮影情報のそれぞれについて、撮影情報に含まれる画像データを画像解析して、太陽電池モジュール１の異常を検出する（Ｓ２１１）。異常が検出された場合（Ｓ２１２：ＹＥＳ）、異常検出部３１３は、異常を検出した撮影情報を特定する情報に対応付けて、当該撮影情報に含まれている撮影位置および撮影高度と、異常を検出した画像上の位置（画像異常位置）とを含む異常情報を作成して異常情報記憶部３５２に登録する（Ｓ２１３）。
　異常位置算出部３１４は異常情報に係る異常位置を算出する（Ｓ２１４）。図１１は、異常位置の算出処理の流れを示す図である。
　異常位置算出部３１４は、異常情報記憶部３５２に記憶されている異常情報のそれぞれについて、以下の処理を行う。異常位置算出部３１４は、カメラ１２の画角および解像度と、撮影高度とに基づいて、画像における１画素あたりの地図上での実距離（ｍ）を算出して画素距離とする（Ｓ２１４１）。なお、本実施形態では、カメラ１２の画角および解像度は予め設定されているものとする。
　異常位置算出部３１４は、画像異常位置に含まれる各座標についてのＸ座標値と画像データの中心のＸ座標値との差に画素距離を乗じて、経度方向の距離を算出する（Ｓ２１４２）。異常位置算出部３１４は、撮影位置の経度に経度方向の距離を加算して、異常位置の経度を求める（Ｓ２１４３）。
　同様に異常位置算出部３１４は、画像異常位置に含まれる各座標についてのＹ座標値と画像データの中心のＹ座標値との差に画素距離を乗じて緯度方向の距離を算出する（Ｓ２１４４）。異常位置算出部３１４は、撮影位置の緯度に緯度方向の距離を加算して、異常位置の緯度を求める（Ｓ２１４５）。
　異常位置算出部３１４は、算出した異常位置の緯度経度により異常情報の異常位置を更新し、更新した異常情報を異常情報記憶部３５２に登録する（Ｓ２１４６）。
　以上のようにして、各異常情報について画像異常位置から異常位置が求められる。
　図１０に戻り、重複削除部３１５は重複した異常情報の削除処理を行う（Ｓ２１５）。図１２は、重複した異常情報を削除する処理の流れを示す図である。
　重複削除部３１５は、異常情報記憶部３５２に記憶されている異常情報のそれぞれについて、当該異常情報とは異なる他の異常情報との組に対して、以下の処理を行う。すなわち、重複削除部３１５は、２つの異常情報に含まれている異常位置間の距離（異常間距離）を算出し（Ｓ２１５１）、算出した異常間距離が所定の閾値以下である場合には（Ｓ２１５２）、当該他の異常情報を異常情報記憶部３５２から削除する（Ｓ２１５３）。
　以上の処理を繰り返すことにより、距離が所定距離内にある２つの異常については同一の異常であるものとして、重複する異常情報を異常情報記憶部３５２から削除することができる。
　図１３は、同一の異常が２つの画像に含まれている状態を説明する図である。図１３では、太陽電池モジュール１に１つの異常４１が発生している状態を示している。カメラ１２により２回の撮影が行われ、その２つの撮影領域１２２－１および撮影領域１２２－２に入る部分がＲＧＢ画像４２１および４２２として撮影されたものとする。ここで、ＲＧＢ画像４２１においては、Ｘ座標値４５０、Ｙ座標値２５０の位置（画像異常位置４１－１）に異常４１が撮像されており、ＲＧＢ画像４２２においては、Ｘ座標値５０、Ｙ座標値５０の位置（画像異常位置４１－２）に異常４２が撮像されている。従来、異なる画像４２１および４２２から検出された異常が同一のものであるか否かについては特定されておらず、人手によりその特定はなされていたところ、本実施形態の検査システムでは、異常位置算出部３１４が各画像の中心４３１および４３２が撮影位置であるものとして、画像上でのＸ方向およびＹ方向の距離に対して、撮影高度とカメラ１２の画角とから求めた１画素あたり実距離を乗じ、撮影位置からの偏差から画像異常位置４１－１および４１－２の緯度経度を求め、この緯度経度に基づいて画像異常位置４１－１および４１－２が同一の異常４１の位置を示しているか否かを判定している。これにより、異なる画像４２１および４２２から検出された異常が同一のものであるか否かを自動的に判定することが可能となっている。
　図１０に戻り、レポート作成部３１６は太陽電池モジュール１の検査に関するレポートを作成する（Ｓ２１６）。図１４は、検査に関するレポートの作成処理の流れを示す図である。また、図１５はレポート作成部３１６により作成されるレポート６１の一例を示す図である。
　レポート作成部３１６は、検査サーバ３０のオペレータや検査サーバ３０にアクセスしているユーザ端末のユーザなどから、各異常情報についてのコメントの入力を受け付ける（Ｓ２１６１）。なお、レポート作成部３１６は、受け付けたコメントにより異常情報を更新し、更新した異常情報を異常情報記憶部３５２に登録するようにする。レポート作成部３１６は、撮影情報記憶部３５１に記憶されている各撮影情報に含まれる画像データを合成して、太陽電池モジュール１の全体を含む１枚の画像を作成する（Ｓ２１６２）。なお、本実施の形態による画像の合成処理については、オルソ画像を利用して行うこととしているが、異常位置算出部３１４が図１１に示した異常位置の算出処理と同一の処理によって画像の左上および右下の各座標についての緯度経度を算出し、算出した緯度経度に対応する位置に画像を配置して合成を行うことができる。
　レポート作成部３１６は、異常情報記憶部３５２に登録されている各異常情報について、異常情報に含まれている異常位置の中心を求め、当該中心が示す合成画像上の位置に所定の図形を描画する（Ｓ２１６３）。レポート作成部３１６は、上記のようにして異常位置をプロットした合成画像をレポート６１に出力する（Ｓ２１６４）。図１５の例では、レポート６１の上段に合成画像６２が出力されている。また、合成画像６２上には、異常位置の中心６２１に円形の図形が出力されている。
　レポート作成部３１６は、各異常情報について、対応する撮影情報に含まれる画像データに対して、異常情報に含まれる異常位置を示す図形を描画する（Ｓ２１６５）。本実施形態では、異常位置は矩形で描画されることになる。レポート作成部３１６は、図形を描画した画像をレポート６１に出力するとともに（Ｓ２１６６）、異常情報に含まれるコメントを出力する（Ｓ２１６７）。図１５の例では、レポート６１の下段に、異常位置を示す矩形６３１が描画された１つのＲＧＢ画像６３が出力され、その下部にコメント６４が出力されている。
　なお、図１５では１つの異常情報についてのＲＧＢ画像６３およびコメント６４が出力されているが、全ての異常情報についてのＲＧＢ画像６３およびコメント６４ならびにサーマル画像（不図示）およびコメント６４を出力するようにしてもよい。また、レポート作成部３１６は、異常が検出されなかったＲＧＢ画像およびサーマル画像についても、レポート６１に出力するようにしてもよい。
　一度の撮影では画面に収まりきらない程度の大型の太陽電池モジュール１を検査しようとした場合、複数枚の写真を撮像し当該写真の１枚１枚に対して解析を行うこととなるところ、撮像範囲１２２の漏れがないように、撮影範囲１２２の一部が重複するようにして連続写真を撮ることとなる。しかしながら、当該重複部分に欠陥等の異常が存在していた場合、異常としては１か所にしか存在していないにもかかわらず、複数の画像に写っていることによって複数の異常が存在していると誤認識してしまうことがあった。本発明の発明者らは、複数枚の画像に存在している同一の異常を同一のものとして正しく特定する方法が必要であることに着目した。本実施形態の検査システムによれば、複数の画像に撮像された１つの異常を同一のものとして取り扱うことができる。これにより、検査に係るレポート６１を正しく自動的に生成することも可能となる。
　以上、本発明の一実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。
　例えば、本実施形態では、カメラ１２は機体の下部に固定されるものとしたが、これに限らず、ジンバルを介して可動式に装着するようにしてもよい。この場合、撮影情報にはカメラ１２の撮影方向を含めるようにしてもよい。
　また、本実施形態では、ＲＧＢ画像とサーマル画像の両方を用いて異常を検出するものとしたが、ＲＧＢ画像およびサーマル画像の一方のみを用いて異常を検出するようにしてもよい。
　また、本実施形態では、気圧センサ１０５および温度センサ１０６を用いて撮影高度を求めるものとしたが、これに限らず、公知の手法を用いて撮影高度を求めるようにしてもよい。
　また、本実施形態では、重複する異常情報は異常情報記憶部３５２から削除するものとしたが、削除をせずに検出した異常を識別する情報（異常ＩＤ）を割り当て、異常情報に異常ＩＤを登録するようにしてもよい。この場合、異常情報記憶部３５２には、異常ＩＤに対応付けて、単一のコメントと、複数の撮影情報を特定する情報を記憶するようにし、レポート作成部３１６は、異常情報記憶部３５２から重複なく異常ＩＤを読み出し、読み出した異常ＩＤに対応するコメントをレポート６１に出力することができる。
　また、本実施形態では、飛行装置１０からの撮影情報はカメラ１２で撮影が行われる都度検査サーバ３０に送信されるものとしたが、飛行装置１０は撮影情報記憶部１５２に撮影情報を蓄積しておき、飛行中に定期的に、あるいは、飛行終了後に一度に撮影情報記憶部１５２に記憶されている撮影情報を検査サーバ３０に送信するようにしてもよい。
　また、本実施形態では、飛行装置１０が撮影する画像はＹ軸方向上が北、Ｘ軸方向右が東であることを想定していたが、これに限らず、飛行装置１０の飛行時の姿勢のままで撮影するようにしてもよい。この場合、撮影情報には北向きの角度（ＲＧＢ画像およびサーマル画像をＹ軸方向上が北となるように回転させる角度）を記憶しておき、画像を回転させたうえで、あるいは、当該角度を考慮して異常位置の緯度経度を算出すればよい。
　　１０　　飛行装置
　　１１　　フライトコントローラ
　　１２　　カメラ
　　１４　　送受信部
　　１６　　ＥＳＣ
　　１７　　モータ
　　１８　　プロペラ
　　３０　　検査サーバ
　　５０　　通信ネットワーク
　　１０１　プロセッサ
　　１０２　メモリ
　　１０３　センサ類
　　１０４　ＧＰＳセンサ
　　１０５　気圧センサ
　　１０６　温度センサ
　　１１１　指示受信部
　　１１２　飛行制御部
　　１１３　位置情報取得部
　　１１４　撮影処理部
　　１１５　撮影情報送信部
　　１５１　位置情報記憶部
　　１５２　撮影情報記憶部
　　３０１　ＣＰＵ
　　３０２　メモリ
　　３０３　記憶装置
　　３０４　通信装置
　　３０５　入力装置
　　３０６　出力装置
　　３１１　飛行制御部
　　３１２　撮影情報受信部
　　３１３　異常検出部
　　３１４　異常位置算出部
　　３１５　重複削除部
　　３１６　レポート作成部
　　３５１　撮影情報記憶部
　　３５２　異常情報記憶部

Claims (4)

  1. 　検査対象物を検査する検査システムであって、
    　カメラを備える飛行体が前記検査対象物を撮影した画像、前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置を受信する撮影情報受信部と、
    　前記画像を解析して前記検査対象物の異常を検出する異常検出部と、
    　前記異常が検出された前記画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、
    　少なくとも前記異常位置を含む前記異常に関する異常情報および前記異常を識別する情報を対応付けて記憶する異常情報記憶部と、
    　を備え、
    　前記異常情報記憶部は、さらに、
    　前記異常情報記憶部に記憶されている前記異常情報のそれぞれについて、当該異常情報とは異なる他の異常情報との組に対して、両異常が同一の異常であると判定された場合には、当該同一の異常に関する異常情報に、同一の異常を識別する情報を関連付けて記憶する、
    　ことを特徴とする検査システム。
  2. 　請求項１に記載の検査システムであって、
    　前記同一の異常に関する異常情報は、複数の撮影情報を特定する情報を含む、
    　ことを特徴とする検査システム。
  3. 　請求項１または２に記載の検査システムであって、
    　前記同一の異常に関する異常情報は、単一のコメントを含む、
    　ことを特徴とする検査システム。
  4. 　請求項３に記載の検査システムであって、
    　検査結果を示す情報をレポートとして出力するレポート生成部をさらに備え、
    　前記レポート生成部は、
    　前記異常情報記憶部から重複なく前記異常を識別する情報を読み出し、当該読み出した異常を識別する情報に対応する前記単一のコメントを前記レポートに出力する、
    　ことを特徴とする検査システム。
     
PCT/JP2020/016329 2018-05-09 2020-04-13 検査システム WO2020218066A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020544885A JP6802599B1 (ja) 2018-05-09 2020-04-13 検査システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018091019A JP2019196980A (ja) 2018-05-09 2018-05-09 検査システム
JPPCT/JP2019/017824 2019-04-25
PCT/JP2019/017824 WO2019216257A1 (ja) 2018-05-09 2019-04-25 検査システム

Publications (1)

Publication Number Publication Date
WO2020218066A1 true WO2020218066A1 (ja) 2020-10-29

Family

ID=68468364

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2019/017824 WO2019216257A1 (ja) 2018-05-09 2019-04-25 検査システム
PCT/JP2020/016329 WO2020218066A1 (ja) 2018-05-09 2020-04-13 検査システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/017824 WO2019216257A1 (ja) 2018-05-09 2019-04-25 検査システム

Country Status (2)

Country Link
JP (3) JP2019196980A (ja)
WO (2) WO2019216257A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019196980A (ja) * 2018-05-09 2019-11-14 株式会社センシンロボティクス 検査システム
JP6829753B1 (ja) * 2019-11-18 2021-02-10 株式会社パスコ 学習済モデル生成装置及びプログラム
CN111650956B (zh) * 2020-08-04 2020-12-08 北京机电工程研究所 一种用于目标持续观测的无人机控制方法
CN111650957B (zh) * 2020-08-04 2020-12-25 北京机电工程研究所 一种用于目标搜索的无人机控制方法
WO2023105608A1 (ja) * 2021-12-07 2023-06-15 三菱電機株式会社 空気調和装置管理システム、空気調和装置管理方法、空気調和装置、管理装置、および飛行体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010127748A (ja) * 2008-11-27 2010-06-10 Fujitsu Microelectronics Ltd 欠陥レビュー装置及び欠陥レビュー方法
US20120262708A1 (en) * 2009-11-25 2012-10-18 Cyberhawk Innovations Limited Unmanned aerial vehicle
WO2015163107A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US20160328835A1 (en) * 2011-09-28 2016-11-10 Kurion, Inc. Automatic detection of defects in composite structures using ndt methods

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10253547A (ja) * 1997-03-06 1998-09-25 Kao Corp 基板外観検査システム
JP2005300179A (ja) * 2004-04-06 2005-10-27 Constec Engi Co 赤外線構造物診断システム
JP2007003243A (ja) * 2005-06-21 2007-01-11 Sumitomo Electric Ind Ltd 長尺物の外観検査装置
JP6152353B2 (ja) * 2014-02-18 2017-06-21 株式会社神戸製鋼所 検査装置
JP6604242B2 (ja) * 2016-03-10 2019-11-13 富士通株式会社 撮像装置、方法、及びプログラム
JP2019196980A (ja) * 2018-05-09 2019-11-14 株式会社センシンロボティクス 検査システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010127748A (ja) * 2008-11-27 2010-06-10 Fujitsu Microelectronics Ltd 欠陥レビュー装置及び欠陥レビュー方法
US20120262708A1 (en) * 2009-11-25 2012-10-18 Cyberhawk Innovations Limited Unmanned aerial vehicle
US20160328835A1 (en) * 2011-09-28 2016-11-10 Kurion, Inc. Automatic detection of defects in composite structures using ndt methods
WO2015163107A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2019196980A (ja) 2019-11-14
WO2019216257A1 (ja) 2019-11-14
JP2021035833A (ja) 2021-03-04
JPWO2020218066A1 (ja) 2021-05-06
JP6802599B1 (ja) 2020-12-16

Similar Documents

Publication Publication Date Title
JP6802599B1 (ja) 検査システム
JP7070725B2 (ja) 飛行情報生成方法、情報処理装置及びコンピュータプログラム
JP7078093B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN111512256B (zh) 自动和自适应的三维机器人现场勘测
JP7260269B2 (ja) 航空非破壊検査用の測位システム
JP6930616B2 (ja) 制御装置、制御方法および飛行体デバイス
US11017228B2 (en) Method and arrangement for condition monitoring of an installation with operating means
US20200082623A1 (en) System and method for generating three-dimensional robotic inspection plan
JP7045030B2 (ja) 検査システム、検査方法、サーバ装置、及びプログラム
Eschmann et al. High-resolution multisensor infrastructure inspection with unmanned aircraft systems
WO2018208995A1 (en) Self-localized mobile sensor network for autonomous robotic inspection
WO2019230604A1 (ja) 検査システム
CN103675609A (zh) 电力巡线设备及系统
JP2018156491A (ja) 設備点検システム
US20190116309A1 (en) Overhead line image capturing system and overhead line image capturing method
JP2023100642A (ja) 検査システム
CN111953892A (zh) 无人飞行器、检查方法及检查程序
Peng et al. Unmanned Aerial Vehicle for infrastructure inspection with image processing for quantification of measurement and formation of facade map
JP6681101B2 (ja) 検査システム
JP6799635B2 (ja) 空撮画像位置特定システムおよび空撮画像位置特定方法。
KR102514703B1 (ko) 복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치 및 이를 이용한 구조물 손상 검사 장치
KR102575000B1 (ko) 플랜트 크랙 진단을 위한 인공지능 드론 플랫폼 시스템
JP6681102B2 (ja) 検査システム
JP2020201850A (ja) 飛行体の制御方法
US20240005770A1 (en) Disaster information processing apparatus, disaster information processing system, disaster information processing method, and program

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020544885

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20795961

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20795961

Country of ref document: EP

Kind code of ref document: A1