WO2019054075A1 - 異常箇所検出システム - Google Patents

異常箇所検出システム Download PDF

Info

Publication number
WO2019054075A1
WO2019054075A1 PCT/JP2018/029043 JP2018029043W WO2019054075A1 WO 2019054075 A1 WO2019054075 A1 WO 2019054075A1 JP 2018029043 W JP2018029043 W JP 2018029043W WO 2019054075 A1 WO2019054075 A1 WO 2019054075A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
information
abnormal
user terminal
Prior art date
Application number
PCT/JP2018/029043
Other languages
English (en)
French (fr)
Inventor
靖 佐藤
英樹 空尾
Original Assignee
株式会社エネルギア・コミュニケーションズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エネルギア・コミュニケーションズ filed Critical 株式会社エネルギア・コミュニケーションズ
Publication of WO2019054075A1 publication Critical patent/WO2019054075A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
    • H02S50/00—Monitoring or testing of PV systems, e.g. load balancing or fault identification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/16—Flying platforms with five or more distinct rotor axes, e.g. octocopters
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Definitions

  • the present invention relates to an abnormal point detection system.
  • Patent Document 1 is a structure inspection system provided with an autonomous unmanned flight helicopter and a photographed image display device, and an image showing a temperature of a portion determined to be an abnormality of the structure based on photographed data, and photographing Disclosed is a structure inspection system that indicates the acquisition position of data.
  • Patent Document 2 is an inspection system including an unmanned aerial vehicle, a command terminal, and a server apparatus, and inspecting an inspection object, wherein the image analysis unit analyzes imaging information and identifies a defect of the inspection object Disclosed an inspection system.
  • An object of the present invention is to provide an abnormal point detection system capable of specifying the location of an element having an abnormal point in detail and clearly in a large-scale facility such as a solar power plant or a bridge.
  • the present invention has the following configuration.
  • An abnormal point detection system including an imaging device and a user terminal, wherein the imaging device includes an imaging unit that captures an image of a facility, and a transmission unit that transmits the image to the user terminal
  • the user terminal is a receiving unit that receives the image from the imaging device, a storage unit that is a drawing of the facility, and stores the drawing having location information of each of the elements that constitute the facility, and the image
  • the drawing and the image so that the abnormal part detecting unit for detecting the abnormal part of the element, the outline of the element described in the drawing, and the outline of the element in the image correspond to each other.
  • An abnormal place detection system comprising: a composite unit that generates a superimposed composite image; and an abnormal location output unit that outputs, to a display device, location information of an element in which the abnormal location is detected based on the composite image. .
  • the user terminal further includes a panorama conversion unit that panoramas a plurality of the images as a panorama image, and the abnormal point detection unit determines the abnormality based on the panorama image.
  • the abnormal part of the element is detected, and the composite unit overlaps the drawing and the panoramic image so that the outline of the element described in the drawing and the outline of the element in the panoramic image correspond to each other.
  • An abnormal point detection system that generates combined composite images.
  • the large-scale equipment is divided into a plurality of areas, and after imaging each divided area, a panoramic image is generated using the plurality of imaged images, so that the large-scale equipment can be obtained at one time. It is possible to cope with the case where it is not possible to capture the entire image of.
  • the imaging device further includes a plurality of markers installed in the facility, the imaging unit captures the image so as to include the markers, and the drawing illustrates the marker The composite image in which the drawing and the image are superimposed by matching the outline of the marker included in the image with the outline of the marker included in the drawing, including the outline drawing.
  • An anomaly detection system that generates
  • a drawing for example, a plan view of a solar power plant
  • an image captured by an imaging device or a plurality of images It is possible to more accurately superpose panoramic images on panoramic images. As a result, it becomes possible to more accurately identify the location of the abnormality.
  • the imaging unit captures an infrared image of the facility as the image, and the abnormal point detection unit detects an area in a predetermined temperature range in the infrared image.
  • An abnormal point detection system to detect as a point.
  • a temperature region in a predetermined range can be specified by the color of a panoramic image generated from an image captured by an imaging unit or a plurality of images captured by an imaging unit. Not only it becomes possible to visually recognize an abnormal part, it becomes possible to detect an abnormal part automatically.
  • the imaging device is mounted on a flying object, and the imaging unit captures an infrared image of a solar panel as the element installed in a photovoltaic power plant as the facility,
  • the said drawing is a top view of the said solar power generation place, Comprising:
  • the abnormal point detection system which is a top view which has each location information of the said solar panel.
  • An abnormal part detection system comprising an imaging device, a server, and a user terminal
  • the imaging device includes an imaging unit that captures an image of a facility, and a first transmission that transmits the image to the server
  • a storage unit storing the drawing having the location information of each of the elements constituting the facility, the server including the image from the imaging device and the user terminal
  • a first receiving unit that receives a location information output instruction, an image storage unit that stores the image in the storage unit, and the first receiving unit receives the location information output instruction
  • a composite of the drawing and the image superimposed such that the abnormal part detection unit for detecting the abnormal part of the image, the outline of the element described in the drawing, and the outline of the element in the image correspond to each other
  • Generate image A location information identification unit that identifies location information of the element in which the abnormal part is detected based on the composite image, a second transmission unit that sends the location information to the user terminal,
  • the user terminal includes, to the server, a third transmission unit for transmitting the location information output instruction
  • An abnormal point detection system for a solar power plant comprising an aircraft, a server, and a user terminal, wherein the aircraft captures an infrared image of a solar panel included in the solar power plant
  • An imaging unit a position coordinate information acquisition unit for acquiring position coordinate information of the flying object, an information adding unit for adding the position coordinate information to the infrared image, and the infrared image to which the position coordinate information is added;
  • a second storage unit for storing a power plant image obtained by superimposing a map including power plant coordinate information and a plan view of the solar power plant, a plurality of in
  • An abnormal point detection system for a solar power plant comprising an aircraft, a server, and a user terminal, wherein the aircraft captures an infrared image of a solar panel included in the solar power plant
  • An imaging unit a position coordinate information acquiring unit for acquiring position coordinate information of the aircraft, an altitude information acquiring unit for acquiring altitude information of the aircraft, and an azimuth information acquiring unit for acquiring azimuth information of the imaging unit
  • an inclination information acquisition unit acquiring inclination information of the imaging unit
  • a correction information acquisition unit acquiring correction information for correcting the distortion of the infrared image
  • An angle-of-view information calculation unit that calculates angle-of-view information that is information of the angle of view of the imaging unit in the above; and the position coordinate information, the altitude information, the azimuth information, the tilt information, and the angle of view information
  • An information adding unit to be added to an image, and a first transmitting unit to transmit the infrared image to which
  • the flying object 100 is a device that flies above the solar power plant and captures an infrared image of a solar panel that constitutes the solar power plant from above. This is just an example, and other large-scale equipment such as a bridge may be imaged, for example.
  • FIG. 1 shows the entire configuration of an abnormal point detection system 10 according to the present embodiment.
  • the abnormal point detection system 10 includes an aircraft 100, a server 200, a user terminal 300, and a network 400.
  • the aircraft 100, the server 200, and the user terminal 300 are mutually connected via the network 400.
  • the flying body 100, the server 200, and the user terminal 300 are each described 1 each, it is not limited to this,
  • the abnormal point detection system 10 may be any number of flying bodies 100, An arbitrary number of servers 200 and an arbitrary number of user terminals 300 can be provided.
  • the flying body 100 flies above the solar power plant based on control information received from a control device (not shown), and an infrared image of a solar panel constituting the solar power plant from above It is an apparatus for imaging. Also, the flying object 100 transmits an infrared image of the captured solar panel to the server 200 described later.
  • the flying object 100 is assumed to be an unmanned flying object such as a drone, a radio controlled aircraft, or a radio controlled helicopter, but is not limited to this, and a manned flying object may be used. Is also possible.
  • the flying object 100 executes the flight operation and the imaging operation based on control information received from a control device (not shown), but is not limited thereto. For example, based on control information received from the user terminal 300 , Flight operations and imaging operations may be performed.
  • the server 200 is a server that stores the infrared image of the solar panel received from the aircraft 100 and transmits the stored infrared image of the solar panel to the user terminal 300.
  • the user terminal 300 is a device that detects an abnormal part of the solar panel based on the infrared image of the solar panel received from the server 200 and the plan view of the solar power plant stored by itself, and outputs the abnormal part. .
  • the user terminal 300 can be configured to generate control information for controlling the flight operation and imaging operation of the aircraft 100, and transmit the control information to the aircraft 100. .
  • FIG. 2 shows a functional block diagram of the aircraft 100.
  • the flying object 100 includes a control unit 110, an imaging unit 150, and a drive unit 160.
  • the control unit 110 includes a reception unit 111, an imaging control unit 112, a drive control unit 113, and a transmission unit 114.
  • the control unit 110 includes a CPU, a ROM, a RAM, a CMOS memory, and the like, which are known to one skilled in the art and configured to be able to communicate with each other via a bus.
  • the CPU is a processor that generally controls the flying object 100.
  • the CPU reads the system program and the application program stored in the ROM via the bus, and controls the entire flying object 100 according to the system program and the application program, as shown in FIG.
  • the functions of the reception unit 111, the imaging control unit 112, the drive control unit 113, and the transmission unit 114 are realized.
  • the RAM stores various data such as temporary calculation data and display data.
  • the CMOS memory is backed up by a battery (not shown), and is configured as a non-volatile memory in which the storage state is maintained even if the power of the flying object 100 is turned off.
  • the receiving unit 111 receives control information used to control imaging and driving from a control device (not shown) via the communication interface.
  • the imaging control unit 112 controls the imaging unit 150 to capture an infrared image of the solar panel based on the control information received by the receiving unit 111.
  • the drive control unit 113 controls a drive unit 160 described later to execute the flight operation of the flying object 100 based on the control information received by the receiving unit 111.
  • the transmission unit 114 transmits the infrared image of the solar panel taken using the imaging unit 150 described later to the server 200 via the communication interface.
  • the imaging unit 150 is, for example, an infrared thermography camera, and is a device for capturing an infrared image of a solar panel constituting the solar power plant from the sky of the solar power plant.
  • the imaging unit 150, the receiving unit 111, the imaging control unit 112, and the transmitting unit 114 may be collectively referred to as an "imaging device”.
  • the driving unit 160 is a device for executing the flight operation of the flying object 100, more specifically, the takeoff, landing, movement, hovering and the like operations of the flying object 100.
  • FIG. 3 shows a functional block diagram of the server 200.
  • the server 200 includes a control unit 210 and a storage unit 220.
  • the control unit 210 includes a reception unit 211, an image storage unit 212, and a transmission unit 213.
  • the control unit 210 includes a CPU, a ROM, a RAM, a CMOS memory, and the like, which are known to one skilled in the art and configured to be able to communicate with each other via a bus.
  • the CPU is a processor that controls the server 200 as a whole.
  • the CPU reads the system program and the application program stored in the ROM via the bus, and controls the entire server 200 according to the system program and the application program, as shown in FIG.
  • the configuration is configured to realize the functions of the reception unit 211, the image storage unit 212, and the transmission unit 213.
  • the RAM stores various data such as temporary calculation data and display data.
  • the CMOS memory is backed up by a battery (not shown), and is configured as a non-volatile memory in which the storage state is maintained even if the power of the server 200 is turned off.
  • the receiving unit 211 receives an infrared image of the solar panel from the aircraft 100 via the communication interface.
  • the image storage unit 212 stores the infrared image of the solar panel received by the reception unit 211 in a storage unit 220 described later.
  • the transmitting unit 213 transmits the infrared image stored in the storage unit 220 to the user terminal 300 described later via the communication interface.
  • the storage unit 220 stores an infrared image of the solar panel.
  • FIG. 4 shows a functional block diagram of the user terminal 300.
  • the user terminal 300 includes a control unit 310, a storage unit 320, and a display device 330.
  • the control unit 310 includes a base data creation unit 311, a reception unit 312, a panorama conversion unit 313, an abnormal point detection unit 314, a combination unit 315, An abnormal point output unit 316 is provided.
  • the control unit 310 includes a CPU, a ROM, a RAM, a CMOS memory, and the like, which are configured to be able to communicate with each other via a bus, and are known to those skilled in the art.
  • the CPU is a processor that controls the user terminal 300 as a whole.
  • the CPU reads the system program and the application program stored in the ROM via the bus, and controls the entire user terminal 300 according to the system program and the application program, as shown in FIG.
  • the functions of the base data creation unit 311, the reception unit 312, the panorama conversion unit 313, the abnormal part detection unit 314, the composite unit 315, and the abnormal part output unit 316 are realized.
  • the RAM stores various data such as temporary calculation data and display data.
  • the CMOS memory is backed up by a battery (not shown), and is configured as a non-volatile memory that retains its storage state even when the power of the user terminal 300 is turned off.
  • the base data creation unit 311 creates data as a base to be used in an abnormality detection method to be described later, and specifically, for example, to create an area divided into units of management parts and areas, a solar power plant Divide the drawing into areas into data that can be managed in module units of That is, the base data creation unit 311 creates a data structure divided into units of management parts and areas based on the drawing information.
  • the receiving unit 312 receives an infrared image of the solar panel from the server 200 via the communication interface.
  • the panorama conversion unit 313 panoramas the plurality of infrared images received by the reception unit 312 as one panoramic image.
  • the abnormal point detection unit 314 detects an area of a temperature range of a predetermined range as an abnormal point based on color information in a panoramic image generated by the panoramic view unit 313 from a plurality of infrared images.
  • the abnormal point detection unit 314 may display the panoramic image on a display device 330 described later after highlighting the detected abnormal point.
  • the composite unit 315 is a plan view of a solar power plant stored by the storage unit 320 described later, and generates a composite image in which the plan view having the location information of each of the solar panels and the above panoramic image are superimposed. This composite image is displayed on a display device 330 described later.
  • the composite unit 315 highlights the abnormal part detected by the abnormal part detection unit 314 at the time of generation of the composite image. Furthermore, although the details will be described later, the composite unit 315 may highlight only the abnormal part in the solar panel.
  • the composite unit 315 is a plan view so that the image of the solar panel described in the plan view corresponds to the image of the solar panel in the panoramic image. And panoramic images.
  • the abnormal point output unit 316 causes the display device 330 to output the location information of the solar panel in which the abnormal point is detected, based on the above composite image.
  • the storage unit 320 is a plan view of the solar power plant, and stores a plan view having location information of each of the solar panels.
  • the display device 330 is a device used to display the composite image described above and the location information of the solar panel in which the abnormal point is detected. Note that, as described above, the display device 330 may display a panoramic image in a stage where an abnormal part is detected in a state in which the abnormal part is emphasized, in addition to the composite image and the location information.
  • FIG. 5A shows a flow of abnormal point detection by the abnormal point detection system 10 described above.
  • the base data creation unit 311 of the user terminal 300 creates base data. Specifically, for example, the base data creation unit 311 may divide the location information for each solar panel in the plan view, which is CAD data illustrated in FIG. 5B, and may store the location information in the storage unit 320. Alternatively, the base data creation unit 311 may store the plan view in the storage unit 320 after adding location information to each solar panel with respect to the plan view illustrated in FIG. 5B. When the base data creation unit 311 adds the place information to the plan view, a new layer may be added to the plan view and the place information may be added on the added layer.
  • the plan view includes the images of the markers A to D installed in the solar power plant, in order to be used for overlaying the plan view and the panoramic image.
  • the markers A to D are made of a material that distinguishes between the heat generating portion and the non-heat generating portion, can be recognized from an infrared thermography camera which is the imaging portion 150 of the flying object 100, and can be distinguished by image recognition described later. It has a shape.
  • the markers A to D preferably have different shapes from each other, and may have, for example, any shape of numbers and figures.
  • the markers A to D may be installed on the roof portion of the power conditioner which is always scattered in the solar power plant. Further, although four markers A to D are shown in FIG. 5B, the number of markers is not limited to this.
  • a plan view and a panoramic image it is preferable that three or more markers exist per panoramic image.
  • the plan view it is not essential to directly indicate the shapes of numbers, figures, symbols, and the like indicating markers. For example, assuming that the marker is "A”, it is possible to superimpose the plan view and the panoramic image if there is a start point of the first stroke of "A" at an arbitrary point on the plan view.
  • step S2 the flying object 100 captures an image of the solar panel of the solar power plant from the sky. Specifically, as shown in (a) of FIG. 5C, the flying object 100 has a predetermined specific range so that any one of the markers A to D installed in the solar power plant can be captured. Shoot at intervals. The captured infrared image is sent from the flying object 100 to the user terminal 300 via the server 200.
  • step S3 the panorama conversion unit 313 of the user terminal 300 generates a panorama image from a plurality of infrared images. More specifically, the panorama conversion unit 313 generates a 3D model from a plurality of infrared images, and then generates an ortho image as a panorama image.
  • step S4 the abnormal point detection unit 314 of the user terminal 300 detects an abnormal point or a hot spot based on the color information of the panoramic image. Specifically, when there is an abnormal part in the solar panel, the temperature of the abnormal part is different from that at the normal time, so the abnormal part detection unit 314 detects color information corresponding to the temperature set in advance in the panoramic image. The detected point is detected as an abnormal point. At this time, as indicated by black squares in FIG. 5D, the abnormal point detection unit 314 may cause the display device 330 to display a panoramic image after highlighting the abnormal point.
  • step S5 the composite unit 315 of the user terminal 300 generates a composite image by overlaying the plan view and the panoramic image. Specifically, the composite unit 315 recognizes the markers of both the plan view and the panoramic image by image recognition, and as shown in FIG. 5E, the plan view and the panorama so that the outlines of both the markers coincide. Overlaying the images produces a composite image as shown in FIG. 5F. Further, the composite unit 315 causes the display device 330 to display the generated composite image. The composite unit 315 may highlight the abnormal part. In particular, the composite unit 315 identifies the solar panel area by pattern recognition, and when the area detected as an abnormal area in step S4 is outside the solar panel area, the abnormal area outside the solar panel area is omitted. Then, the abnormal part may be highlighted.
  • the abnormal point output unit 316 of the user terminal 300 causes the display device 330 to output the location information of the solar panel in which the abnormal point is detected, as shown in FIG. 5G.
  • the abnormal point output unit 316 recognizes the image
  • the ID of the solar panel having the abnormal portion in the composite image may be acquired, and the storage unit 320 may output the location information associated with the ID to the display device 330.
  • the abnormal point output unit 316 recognizes an abnormality in the composite image by image recognition.
  • the location information of the solar panel having the location may be read and output to the display device 330.
  • the abnormal point detection system 10A according to the present embodiment includes an aircraft 100A, a server 200, and a user terminal 300A. That is, the abnormal point detection system 10A according to the present embodiment is different from the abnormal point detection system 10 according to the first embodiment in that the flying object 100A instead of the flying object 100 and the user terminal 300A instead of the user terminal 300. Differs in that it comprises The configuration of the abnormal part detection system 10A is basically the same as that of FIG.
  • FIG. 6 shows a functional block diagram of the aircraft 100A.
  • the aircraft 100A differs from the aircraft 100 in that the aircraft 100 further includes a position coordinate information acquisition unit 115, an information addition unit 116, and a GPS 170.
  • the position coordinate information acquisition unit 115 acquires position coordinate information of the flying object 100A, specifically, latitude and longitude information of the current position, using the GPS 170 described later.
  • the position coordinate information of the flying object 100A is The position coordinate information of the center point of the infrared image is considered to coincide with each other.
  • the information adding unit 116 adds the position coordinate information described above to the infrared image captured by the imaging unit 150.
  • the GPS 170 is a device for positioning the position coordinate information of the aircraft 100A, specifically the latitude and longitude information of the current position of the aircraft 100A.
  • the user terminal 300A compares the user terminal 300 with the base data creation unit 311A instead of the base data creation unit 311, the panorama conversion unit 313A instead of the panorama conversion unit 313, and the combination unit 315A instead of the combination unit 315. Equipped with The configuration of the user terminal 300A is basically the same as that of FIG.
  • the base data creation unit 311A creates data as a base to be used in an abnormality detection method described later, but in addition to information division similar to that performed by the base data creation unit 311.
  • a power plant image is generated by superimposing a map having power plant coordinate information, which is latitude and longitude information as GIS information, stored in the storage section 320 on a plan view, and the power plant image is stored in the memory section 320. Do.
  • the panoramic unit 313A panoramas the plurality of infrared images to which the position coordinate information is added as a panoramic image including the position coordinate information.
  • the compounding unit 315A does not use markers, but automatically performs coordinate information so that power plant coordinate information included in a power plant image corresponds to position coordinate information included in a panoramic image. By linking them together, a composite image in which the power plant image and the panoramic image are superimposed is generated, and this composite image is displayed on the display device 330.
  • the composite unit 315A highlights the abnormal part detected by the abnormal part detection unit 314 at the time of generating the composite image, as in the case of the composite part 315. Furthermore, the composite unit 315A may highlight only the abnormal part in the solar panel.
  • the abnormal point detection system 10A detects an abnormal point by the same flow as in FIG. 5A, but step S1A instead of step S1 in FIG. 5A, step S3A instead of step S3, and step S5A instead of step S5. Run.
  • step S1A the base data creation unit 311A of the user terminal 300A adds to the information division similar to that performed by the base data creation unit 311, and additionally, a map having power plant coordinate information that is latitude and longitude information as GIS information. , And a plan view are superimposed on each other to generate a power plant image, and the power plant image is stored in the storage unit 320.
  • step S3A the panorama conversion unit 313A of the user terminal 300A does not merely generate a panoramic image from a plurality of infrared images, but a panorama including position coordinate information from a plurality of infrared images to which position coordinate information is added. Generate an image.
  • step S5A composite unit 315A of user terminal 300A superimposes the power plant image and the panoramic image so that the power plant coordinate information included in the power plant image corresponds to the position coordinate information included in the panoramic image.
  • the composite image is generated and displayed on the display device 330.
  • the abnormal point detection system 10B according to the present embodiment includes an aircraft 100B, a server 200, and a user terminal 300B. That is, the abnormal point detection system 10B according to the present embodiment is different from the abnormal point detection system 10A according to the second embodiment in that the flying object 100B instead of the flying object 100A and the user terminal 300B instead of the user terminal 300A. Differs in that it comprises The configuration of the abnormal part detection system 10B is basically the same as that shown in FIG.
  • FIG. 7 shows a functional block diagram of the aircraft 100B.
  • the flying object 100B includes an information adding unit 116B instead of the information adding unit 116 in comparison with the flight object 100A, and an altitude information acquiring unit 117, an azimuth information acquiring unit 118, an inclination information acquiring unit 119, and correction information.
  • the difference is that the acquiring unit 120, the angle-of-view information calculating unit 121, and the altimeter 180 are further provided.
  • the information adding unit 116B acquires the altitude information and azimuth information acquired by the altitude information acquiring unit 117 using the altimeter 180 as described later.
  • the angle-of-view information calculated by the angle-of-view information calculation unit 121 is added to the infrared image based on the correction information that is acquired from the imaging unit 150 and is a parameter for distortion correction of the infrared image 120.
  • the altitude information acquisition unit 117 uses the altimeter 180 to acquire altitude information which is information on the altitude at which the aircraft 100 is currently located.
  • the azimuth information acquisition unit 118 acquires, from the imaging unit 150, azimuth information relating to which direction of north, south, east, and west the imaging unit 150 is facing.
  • the tilt information acquisition unit 119 acquires, from the imaging unit 150, how much the imaging unit 150 is inclined in the vertical direction, that is, tilt information related to the pitch of the gimbal.
  • the correction information acquisition unit 120 acquires correction information which is a parameter for distortion correction of an infrared image according to the imaging unit 150.
  • the angle-of-view information calculation unit 121 calculates angle-of-view information that is information of the angle of view of the imaging unit 150 after correcting the distortion of the infrared image based on the above-described correction information.
  • the altimeter 180 is a device for positioning information on the altitude at which the aircraft 100B is currently located.
  • FIG. 8 shows a functional block diagram of the user terminal 300B.
  • the user terminal 300B includes a projection position calculation unit 317 instead of the panorama conversion unit 313 as compared with the user terminal 300A, and includes a combination unit 315B instead of the combination unit 315A.
  • the projection position calculation unit 317 projects each infrared image to the power station image based on the position coordinate information, the altitude information, the azimuth information, the tilt information, and the angle of view information added to each sheet of infrared image. Projection position parameters relating to the projection position to be calculated.
  • the composite unit 315B projects each infrared image on the power plant image using the projection position parameter described above to generate a composite image in which the power plant image and the plurality of infrared images are superimposed, and this composite image Are displayed on the display device 330.
  • FIG. 9 shows an abnormal part detection flow by the above-mentioned abnormal part detection system 10B.
  • the base data creation unit 311A of the user terminal 300B creates base data. Specifically, for example, base data creation unit 311A divides location information for each solar panel, stores the divided location information in storage unit 320, or adds it to a plan view. It is also good. Furthermore, the base data creation unit 311A generates a power plant image in which a map having power plant coordinate information, which is latitude and longitude information as GIS information, and a plan view are superimposed, and the power plant image is stored in the storage unit 320. Store.
  • step S12 the flying object 100B captures an image of the solar panel of the solar power plant from the sky.
  • the information adding unit 116B of the flying object 100B adds the position information, the altitude information, the azimuth information, the tilt information, and the angle of view information to the infrared image.
  • the infrared image to which each piece of information is added is sent from the aircraft 100B to the user terminal 300B via the server 200.
  • step S13 the projection position calculation unit 317 of the user terminal 300B determines each infrared image based on position coordinate information, altitude information, azimuth information, tilt information, and angle of view information added to each infrared image.
  • the projection position parameter which concerns on the projection position which projects with respect to a power station image is calculated.
  • step S14 the abnormal point detection unit 314 of the user terminal 300B detects an abnormal point or a hot spot based on the color information of each infrared image. Specifically, when there is an abnormal part in the solar panel, the temperature of the abnormal part is different from that at the normal time, so the abnormal part detection unit 314 determines the color corresponding to the temperature set in advance in each infrared image. The location that is the information is detected as an abnormal location.
  • step S15 the composite unit 315B projects each infrared image on the power plant image using the projection position parameter described above to generate a composite image in which the power plant image and the plurality of infrared images are superimposed.
  • This composite image is displayed on the display device 330.
  • the composite unit 315B may highlight the abnormal part.
  • the composite unit 315B identifies the solar panel area by pattern recognition, and when the abnormal area detected in step S14 is outside the solar panel area, the abnormal area outside the solar panel area is omitted. Then, the abnormal part may be highlighted.
  • step S16 the abnormal point output unit 316 of the user terminal 300B causes the display device 330 to output the location information of the solar panel in which the abnormal point is detected, as shown in FIG. 5G.
  • a fourth embodiment of the present invention will be described in detail with reference to FIG. 10 and FIG.
  • a large-scale facility is imaged not by a flying object but by an imaging device, and the server is not an essential component.
  • the points in which the fourth embodiment is different from the first embodiment will be mainly described in detail.
  • the abnormal point detection system 10C includes an imaging device 500 and a user terminal 300C. That is, as compared with the abnormal point detection system 10 according to the first embodiment, the imaging device 500 is provided instead of the flying object 100, the user terminal 300C is provided instead of the user terminal 300, and the server 200 is not an essential component. . Note that the imaging device 500 and the user terminal 300C are communicably connected to each other, and may be directly connected via a communication interface, and are connected via the network 400 as in the abnormal point detection system 10. It may be done.
  • the imaging device 500 is a device used to capture an image of a large-scale facility such as a solar power station or a bridge, and may be manually operated by a human on the ground, and is mounted on a manned aircraft. Above, it may be operated manually by a person boarded the aircraft, or may be operated automatically by using an unmanned aircraft or mounted on a crane, or by using remote control means. .
  • FIG. 11 shows a functional block diagram of the imaging device 500.
  • the imaging device 500 includes a control unit 510 and an imaging unit 550.
  • the control unit 510 includes an imaging control unit 511 and a transmission unit 512.
  • the control unit 510 includes a CPU, a ROM, a RAM, a CMOS memory, and the like, which are known to one skilled in the art and configured to be able to communicate with each other via a bus.
  • the CPU is a processor that controls the imaging device 500 as a whole.
  • the CPU reads the system program and application program stored in the ROM via the bus, and controls the entire imaging apparatus 500 according to the system program and application program, as shown in FIG.
  • the configuration is configured to realize the functions of the imaging control unit 511 and the transmission unit 512.
  • the RAM stores various data such as temporary calculation data and display data.
  • the CMOS memory is backed up by a battery (not shown), and is configured as a non-volatile memory in which the storage state is maintained even when the power of the imaging device 500 is turned off.
  • the imaging control unit 511 controls the imaging unit 550 in order to capture an image of a large-scale facility based on the control signal.
  • the transmission unit 512 transmits an image of a large-scale facility captured using an imaging unit 550 described later to the user terminal 300C via the communication interface.
  • the imaging unit 550 is, for example, any of a visible camera, an infrared camera, a hyperspectral camera, and the like, and is a module for capturing an image of a large-scale facility from the ground or from the sky of a large-scale facility.
  • the user terminal 300C compares the user terminal 300 with the base data creation unit 311C instead of the base data creation unit 311, the reception unit 312C instead of the reception unit 312, and the abnormal location detection instead of the abnormal location detection unit 314.
  • the difference is that the unit 314C is provided with a storage unit 320C instead of the storage unit 320.
  • the configuration of the user terminal 300C is basically the same as that of FIG.
  • the storage unit 320C stores a drawing of a large-scale facility which is an imaging target of the imaging device 500, for example, a CAD image.
  • the base data creation unit 311C assigns management numbers to elements serving as inspection units, for example, each part, each member, and each area, which constitute a large-scale facility, in the drawings stored in the storage unit 320C. Do.
  • the reception unit 312C receives an image captured by the imaging device 500 from the imaging device 500.
  • the abnormal point detection unit 314C detects an abnormal point of the element serving as the inspection unit based on the panoramic image generated by the panoramic view unit 313 from the plurality of images.
  • an abnormal part is, for example, one that can be determined from a visible image, such as rust or paint failure, one that can be detected by an infrared camera such as an abnormal heat generation part on a solar panel,
  • Information such as carbon content includes information that can be captured only in a specific wavelength range.
  • a fifth embodiment of the present invention will be described in detail with reference to FIGS. 12 to 15.
  • the server not the user terminal, executes the image processing.
  • the differences between the fifth embodiment and the first and fourth embodiments will be mainly described in detail.
  • an abnormal point detection system 10D includes an imaging device 500D, a server 200D, a user terminal 300D, and a network 400, and the imaging device 500D, the server 200D, and the user terminal 300D include They are connected to each other via the network 400. That is, as compared with the abnormal point detection system 10C according to the fourth embodiment, the imaging device 500D is provided instead of the imaging device 500, the user terminal 300D is provided instead of the user terminal 300C, and the server 200D and the network 400 are further provided. .
  • the imaging device 500 ⁇ / b> D includes a transmission unit 512 ⁇ / b> D instead of the transmission unit 512 as compared to the imaging device 500.
  • the transmitting unit 512D transmits an image of a large-scale facility captured using the imaging unit 550 to the server 200D via the communication interface.
  • the configuration of the imaging device 500D is basically the same as that of the imaging device 500, and thus the illustration thereof is omitted.
  • FIG. 13 shows a functional block diagram of the server 200D.
  • the server 200D replaces the receiving unit 211 with the receiving unit 211D, replaces the transmitting unit 213 with the transmitting unit 213D, and replaces the storage unit 220 with the storage unit 220D.
  • a base data generation unit 214, a panorama conversion unit 215, an abnormal part detection unit 216, a combination unit 217, and a location information specification unit 218 are provided.
  • the receiving unit 211D receives an image of a large-scale facility from the imaging device 500D via the communication interface. Further, the receiving unit 211D receives the location information output instruction from the user terminal 300D via the communication interface.
  • the transmitting unit 213D transmits, to the user terminal 300D, the location information of an element having an abnormal point in the large-scale facility identified by the location information identifying unit 218.
  • the storage unit 220D stores a drawing of a large-scale facility which is an imaging target of the imaging device 500, for example, a CAD image.
  • the base data creation unit 214 assigns management numbers to elements serving as inspection units, for example, each part, each member, and each area, which constitute a large-scale facility, for the drawings stored in the storage unit 220D. Do.
  • the panorama conversion unit 215 panoramas the plurality of images received by the reception unit 211D as a panoramic image.
  • the abnormal point detection unit 216 detects an abnormal point of the element serving as the inspection unit based on the panoramic image generated by the panoramic view unit 215 from the plurality of images.
  • an abnormal part is, for example, one that can be determined from a visible image, such as rust or paint failure, one that can be detected by an infrared camera such as an abnormal heat generation part on a solar panel,
  • Information such as carbon content includes information that can be captured only in a specific wavelength range.
  • the compound unit 217 generates a compound image obtained by superposing the above-described panoramic image on the large-scale equipment drawing stored in the storage unit 220D.
  • the location information identification unit 218 identifies, based on the composite image, location information of the abnormal point in the large-scale equipment in which the abnormal point is detected.
  • FIG. 14 shows a functional block diagram of the user terminal 300D.
  • the user terminal 300D is required to have the base data creation unit 311, the panorama conversion unit 313, the abnormal point detection unit 314, the composite unit 315, and the abnormal point output unit 316. Not an element.
  • the user terminal 300D includes a receiving unit 312D instead of the receiving unit 312, and further includes a transmitting unit 318 and a display unit 319.
  • the transmitting unit 318 transmits a location information output instruction to the server 200D.
  • the receiving unit 312D receives, from the server 200D, location information of the abnormal point in the large-scale equipment in which the abnormal point is detected.
  • the display unit 319 causes the display device 330 to display the location information received by the receiving unit 312D.
  • FIG. 15 shows a flow of abnormal part detection by the above-mentioned abnormal part detection system 10D.
  • the base data creation unit 214 of the server 200D creates base data. Specifically, for example, the base data creation unit 214 configures an inspection unit, such as each component, each member, and each area, which constitutes a large-scale facility with respect to the drawing stored in the storage unit 220D. Assign each management number.
  • step S22 the image capturing apparatus 500D captures an image of the reseal facility.
  • step S23 the receiving unit 211D of the server 200D receives an image from the imaging device 500D, and the panoramic unit 215 generates a panoramic image from the plurality of images captured by the imaging device 500D.
  • step S24 the transmitting unit 318 of the user terminal 300D transmits a location information output instruction to the server 200D.
  • step S25 the abnormal point detection unit 216 of the server 200D detects an abnormal point of the element serving as the inspection unit based on the panoramic image generated by the panoramic view unit 215 from the plurality of images.
  • step S26 the composite unit 217 of the server 200D generates a composite image by superimposing the plan view and the panoramic image.
  • step S27 the location information identifying unit 218 of the server 200D identifies, based on the composite image, the location information of the abnormal location in the large-scale equipment in which the abnormal location is detected.
  • step S28 the transmitting unit 213D of the server 200D transmits, to the user terminal 300D, location information of an element having an abnormal point in a large-scale facility, to the user terminal 300D.
  • step S29 the receiving unit 312 of the user terminal 300D receives the location information from the server 200D, and the display unit 319 displays the location information received by the receiving unit 312D on the display device 330.
  • the panoramic part 313 generates a panoramic image from a plurality of infrared images, and the abnormal part detector 314 detects an abnormal part based on color information of the panoramic image.
  • the abnormal part detection unit 314 detects an abnormal part in each infrared image based on color information of each infrared image
  • the panorama conversion unit 313 generates a panoramic image using these infrared images.
  • the panorama conversion unit 313 generates a panorama image from a plurality of infrared images
  • the abnormal point detection unit 314 performs simple division of the panoramic image once, detects an abnormal point for each divided image, and generates a panorama
  • the unit 313 may generate a panoramic image again using a plurality of images.
  • an infrared image is transmitted from the flying bodies 100 to 100B to the user terminals 300 to 300B through the server 200. It is not limited to example, the abnormal point detection systems 10 to 10B may be configured to transmit an infrared image directly to the user terminals 300 to 300B from the flying bodies 100 to 100B without the server 200. On the other hand, in the abnormal part detection system 10C according to the fourth embodiment, the image may be transmitted indirectly from the imaging device 500 to the user terminal 300C via the server.
  • the storage unit 320 of the user terminals 300 to 300B is a plan view of a solar power plant and, depending on the embodiment, a solar power plant Although the map is stored, it is not limited to this.
  • the storage unit 220 of the server 200 may store the plan view and the map and transmit the plan view and the map from the server 200 to the user terminals 300 to 300B.
  • the user terminals 300 to 300C according to the first to fourth embodiments include the panoramicizing unit 313, and the server 200D according to the fifth embodiment includes the panoramicizing unit 215.
  • the unit 313 or the panorama conversion unit 215 may not be an essential component.
  • the abnormal point detection unit 314 or the abnormal point detection unit 216 directly detects an abnormal point from the image captured by the flying object 100 or the imaging device 500. This aspect can be applied, for example, when a large-scale facility such as a solar power plant or a bridge is photographed from a distance and the entire image of the large-scale facility can be captured by a single image.
  • the server 200 or 200D and the user terminal 300, 300A, 300B or 300D are separated, but these are single housings It may be integrated inside.
  • an image captured directly from the flying object 100, 100A, or 100B, or the imaging device 500D to the server 200 or 200D is directly transmitted.
  • the captured image may be transmitted via the user terminal 300, 300A, 300B, or 300D.
  • the captured image may be stored in the server 200 or 200D using a storage medium such as an SD card.
  • the respective devices included in the above-mentioned abnormal part detection systems 10 to 10D can be realized by hardware, software or a combination thereof.
  • the user identification method performed by each device included in the above-mentioned abnormal part detection systems 10 to 10D can also be realized by hardware, software, or a combination thereof.
  • to be realized by software means to be realized by a computer reading and executing a program.
  • Non-transitory computer readable media include tangible storage media of various types.
  • Examples of non-transitory computer readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROM (Read Only Memory), CD- R, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)).
  • the programs may be supplied to the computer by various types of transitory computer readable media.
  • Examples of temporary computer readable media include electrical signals, light signals, and electromagnetic waves. The temporary computer readable medium can provide the program to the computer via a wired communication path such as electric wire and optical fiber, or a wireless communication path.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Photovoltaic Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

太陽光発電所や橋梁等の大規模設備において、異常箇所を有する要素の場所を、詳細かつ明確に特定する。　撮像装置５００と、ユーザ端末３００とを備える、異常箇所検出システム１０であって、撮像装置５００は、設備の画像を撮像する撮像部５５０と、画像をユーザ端末３００に送信する送信部５１２とを備え、ユーザ端末３００は、画像を撮像装置５００から受信する受信部３１２と、設備の図面であって、設備を構成する要素の各々の場所情報を有する図面を記憶する記憶部３２０と、画像に基づいて、要素の異常箇所を検出する異常箇所検出部３１４と、図面に記載された要素の輪郭と、画像内の要素の輪郭とが対応するように、図面と画像とを重ね合わせた複合画像を生成する複合部３１５と、複合画像に基づいて、異常箇所が検出された要素の場所情報を、表示装置３３０に出力する異常箇所出力部３１６と、を備える。

Description

異常箇所検出システム
　本発明は、異常箇所検出システムに関する。
　従来、再生可能エネルギーの一種として、太陽光を用いた発電システムが注目されている。太陽光発電所で用いられるソーラーパネルは、屋外に設置されていることもあり、故障を未然に防ぐため、定期的に点検をする必要がある。とりわけ、大規模な太陽光発電所であるメガソーラーには、膨大な数の太陽光パネルが設置されており、これらのソーラーパネルを効率よく点検するために、近年、ドローンを利用した太陽光パネルの点検方法が開発されている。
　例えば、特許文献１は、自律無人飛行ヘリコプタと撮影画像表示装置とを備えた構造物点検システムであって、撮影データに基づいて構造物の異常と判定された部分の温度を示す画像と、撮影データの取得位置を示す構造物点検システムを開示している。
　また、特許文献２は、無人航空機と、指令端末と、サーバ装置とを備え、検査対象物を検査する検査システムであって、画像解析部が撮影情報を解析し、検査対象物の欠陥を特定する検査システムを開示している。
特開２０１５－０５８７５８号公報 特開２０１７－０７８５７５号公報
　しかし、特許文献１及び特許文献２に係る方法において、構造物や検査対象物の異常箇所を特定できたとしても、この方法をメガソーラー等のように大規模な設備に適用した場合、異常箇所が存在する領域を、詳細かつ明確に特定できない。このため、メガソーラーの保守員は、異常箇所を有するソーラーパネルに対して、スムーズに行き着くことはできなかった。特許文献１及び特許文献２に係る方法を、メガソーラーに限らず、例えば橋梁等の大規模設備に適用した場合についても同様である。
　本発明は、太陽光発電所や橋梁等の大規模設備において、異常箇所を有する要素の場所を、詳細かつ明確に特定することが可能な異常箇所検出システムを提供することを目的とする。
　前記目的を達成するため、本発明は、次に記載する構成を備えている。
　（１）　撮像装置と、ユーザ端末とを備える、異常箇所検出システムであって、前記撮像装置は、設備の画像を撮像する撮像部と、前記画像を前記ユーザ端末に送信する送信部とを備え、前記ユーザ端末は、前記画像を前記撮像装置から受信する受信部と、前記設備の図面であって、前記設備を構成する要素の各々の場所情報を有する図面を記憶する記憶部と、前記画像に基づいて、前記要素の異常箇所を検出する異常箇所検出部と、前記図面に記載された要素の輪郭と、前記画像内の要素の輪郭とが対応するように、前記図面と前記画像とを重ね合わせた複合画像を生成する複合部と、前記複合画像に基づいて、前記異常箇所が検出された要素の場所情報を、表示装置に出力する異常箇所出力部と、を備える、異常箇所検出システム。
　（１）によれば、大規模設備において、異常箇所を有する要素の場所を、詳細かつ明確に特定することが可能となる。とりわけ、大規模設備の画像と、例えば上記の図面としてのＣＡＤデータとを連携することが可能となる。
　（２）　（１）において、前記複合部は、前記複合画像の生成の際、前記要素内の前記異常箇所のみを強調して、前記表示装置に表示する、異常箇所検出システム。
　（２）によれば、異常箇所検出システムのユーザが、異常箇所が検出された要素の場所を、グラフィカルに把握することが可能となる。
　（３）　（１）又は（２）において、前記ユーザ端末は、複数の前記画像をパノラマ画像としてパノラマ化するパノラマ化部を更に備え、前記異常箇所検出部は、前記パノラマ画像に基づいて、前記要素の異常箇所を検出し、前記複合部は、前記図面に記載された前記要素の輪郭と、前記パノラマ画像内の前記要素の輪郭とが対応するように、前記図面と前記パノラマ画像とを重ね合わせた複合画像を生成する、異常箇所検出システム。
　（３）によれば、大規模設備を複数の領域に分割し、分割された領域毎に撮像した後、撮像された複数の画像を用いてパノラマ画像を生成することにより、一度では大規模設備の全体像を撮像できない場合に対応することが可能となる。
　（４）　（１）～（３）において、前記設備に設置される複数のマーカを更に備え、前記撮像部は、前記マーカを含むように、前記画像を撮像し、前記図面は、前記マーカの輪郭図を含み、前記複合部は、前記画像に含まれる前記マーカの輪郭と、前記図面に含まれる前記マーカの輪郭とを一致させることにより、前記図面と前記画像とを重ね合わせた前記複合画像を生成する、異常箇所検出システム。
　（４）によれば、大規模設備の図面と、撮像装置が撮像した画像、又は撮像装置が撮像した複数の画像から生成されるパノラマ画像とを、より正確に重ね合わせることが可能となり、延いては、異常箇所の場所をより正確に特定することが可能となる。
　（５）　（４）において、前記マーカは、互いに形状が異なる、異常箇所検出システム。
　（５）によれば、大規模設備の図面と、撮像装置が撮像した画像、又は撮像装置が撮像した複数の画像から生成されるパノラマ画像とを重ね合わせる際に、マーカの取り違えを防止することが可能となる。
　（６）　（４）又は（５）において、前記マーカは、１枚の前記画像又は前記パノラマ画像に対して、３つ以上存在する、異常箇所検出システム。
　（６）によれば、単位個数の要素当たりの、マーカの個数が比較的多くなることにより、図面（例えば太陽光発電所の平面図）と、撮像装置が撮像した画像、又は複数の画像をパノラマ化したパノラマ画像とを、より正確に重ね合わせることが可能となる。延いては、異常箇所の場所をより正確に特定することが可能となる。
　（７）　（１）～（６）において、前記撮像部は、前記画像として、前記設備の赤外線画像を撮像し、前記異常箇所検出部は、前記赤外線画像中の所定の温度範囲の領域を異常箇所として検出する、異常箇所検出システム。
　（７）によれば、大規模設備において、所定範囲の温度領域は、撮像部が撮像した画像、又は撮像部が撮像した複数の画像から生成されるパノラマ画像の色で特定できるため、人が異常箇所を視認することが可能となるだけでなく、異常箇所を自動的に検出することが可能となる。
　（８）　（７）において、前記撮像装置は、飛行体に搭載され、前記撮像部は、前記設備としての太陽光発電所に設置された、前記要素としてのソーラーパネルの赤外線画像を撮像し、前記図面は、前記太陽光発電所の平面図であって、前記ソーラーパネルの各々の場所情報を有する平面図である、異常箇所検出システム。
　（８）によれば、太陽光発電所において、異常箇所を有するソーラーパネルの場所を、詳細かつ明確に特定することが可能となる。とりわけ、ドローン等の飛行体による撮影画像を、ＣＡＤデータと連携することが可能となる。
　（９）　撮像装置と、サーバと、ユーザ端末とを備える、異常箇所検出システムであって、前記撮像装置は、設備の画像を撮像する撮像部と、前記画像を前記サーバに送信する第１送信部とを備え、前記サーバは、前記設備の図面であって、前記設備を構成する要素の各々の場所情報を有する図面を記憶する記憶部と、前記撮像装置から前記画像を、前記ユーザ端末から場所情報出力指示を受信する第１受信部と、前記画像を前記記憶部に格納する画像格納部と、前記第１受信部が前記場所情報出力指示を受信すると、前記画像に基づいて、前記要素の異常箇所を検出する異常箇所検出部と、前記図面に記載された前記要素の輪郭と、前記画像内の前記要素の輪郭とが対応するように、前記図面と前記画像とを重ね合わせた複合画像を生成する複合部と、前記複合画像に基づいて、前記異常箇所が検出された前記要素の場所情報を特定する、場所情報特定部と、前記場所情報を前記ユーザ端末に送信する第２送信部と、を備え、前記ユーザ端末は、前記サーバに、前記場所情報出力指示を送信する第３送信部と、前記サーバから、前記場所情報を受信する第２受信部と、表示装置に、前記場所情報を表示する表示部とを備える、異常箇所検出システム。
　（９）によれば、大規模設備において、異常箇所を有する要素の場所を、詳細かつ明確に特定することが可能となる。とりわけ、大規模設備の画像と、例えば上記の図面としてのＣＡＤデータとを連携することが可能となる。
　（１０）　飛行体と、サーバと、ユーザ端末とを備える、太陽光発電所の異常箇所検出システムであって、前記飛行体は、前記太陽光発電所に含まれるソーラーパネルの赤外線画像を撮像する撮像部と、前記飛行体の位置座標情報を取得する位置座標情報取得部と、前記位置座標情報を前記赤外線画像に付加する情報付加部と、前記位置座標情報が付加された前記赤外線画像を、前記サーバに送信する第１送信部を備え、前記サーバは、前記飛行体から前記赤外線画像を受信する第１受信部と、前記赤外線画像を記憶する第１記憶部と、前記第１記憶部が記憶する赤外線画像を、前記ユーザ端末に送信する第２送信部とを備え、前記ユーザ端末は、前記赤外線画像を前記サーバから受信する第２受信部と、前記太陽光発電所の座標情報である発電所座標情報を含む地図と、前記太陽光発電所の平面図とを重ね合わせた発電所画像を記憶する第２記憶部と、複数の前記赤外線画像を、前記位置座標情報を含む１枚のパノラマ画像としてパノラマ化するパノラマ化部と、前記パノラマ画像に基づいて、前記ソーラーパネルの異常箇所を検出する異常箇所検出部と、前記発電所画像に含まれる前記発電所座標情報と、前記パノラマ画像に含まれる前記位置座標情報とが対応するように、前記発電所画像と前記パノラマ画像とを重ね合わせた複合画像を生成し、該複合画像を表示装置に対して表示させる複合部と、前記複合画像に基づいて、前記異常箇所が検出されたソーラーパネルの場所情報を、前記表示装置に出力する異常箇所出力部と、を備える、異常箇所検出システム。
　（１０）によれば、太陽光発電所において、異常箇所を有するソーラーパネルの場所を、詳細かつ明確に特定することが可能となる。とりわけ、ドローンによる撮影画像をパノラマ化し、このパノラマ画像を、ＧＩＳデータ（地理情報システム）及びＣＡＤデータと連携することが可能となる。更に、上記（４）に記載の異常箇所検出システムと異なり、太陽光発電所内にマーカを設置する必要が発生しない。
　（１１）　　飛行体と、サーバと、ユーザ端末とを備える、太陽光発電所の異常箇所検出システムであって、前記飛行体は、前記太陽光発電所に含まれるソーラーパネルの赤外線画像を撮像する撮像部と、前記飛行体の位置座標情報を取得する位置座標情報取得部と、前記飛行体の高度情報を取得する高度情報取得部と、前記撮像部の方位情報を取得する方位情報取得部と、前記撮像部の傾斜情報を取得する傾斜情報取得部と、前記赤外線画像のゆがみを補正するための補正情報を取得する補正情報取得部と、前記補正情報に基づいて、前記ゆがみを補正した後における前記撮像部の画角の情報である画角情報を算出する画角情報算出部と、前記位置座標情報、前記高度情報、前記方位情報、前記傾斜情報、及び前記画角情報を前記赤外線画像に付加する情報付加部と、前記位置座標情報、前記高度情報、前記方位情報、前記傾斜情報、及び前記画角情報が付加された前記赤外線画像を、前記サーバに送信する第１送信部を備え、前記サーバは、前記飛行体から前記赤外線画像を受信する第１受信部と、前記赤外線画像を記憶する第１記憶部と、前記第１記憶部が記憶する赤外線画像を、前記ユーザ端末に送信する第２送信部とを備え、前記ユーザ端末は、前記赤外線画像を前記サーバから受信する第２受信部と、前記太陽光発電所の座標情報である発電所座標情報を含む地図と、前記太陽光発電所の平面図とを重ね合わせた発電所画像を記憶する第２記憶部と、前記赤外線画像に付加された、前記位置座標情報、前記高度情報、前記方位情報、前記傾斜情報、及び前記画角情報に基づいて、前記発電所画像に対して前記赤外線画像を投影する投影場所を算出する投影位置算出部と、前記赤外線画像に基づいて、前記ソーラーパネルの異常箇所を検出する異常箇所検出部と、複数の前記赤外線画像を、前記投影場所から、前記発電所画像に投影することにより、前記発電所画像と複数の前記赤外線画像とを重ね合わせた複合画像を生成し、表示装置に対して表示させる複合部と、前記複合画像に基づいて、前記異常箇所が検出されたソーラーパネルの場所情報を、前記表示装置に出力する異常箇所出力部と、を備える、異常箇所検出システム。
　（１１）によれば、太陽光発電所において、異常箇所を有するソーラーパネルの場所を、詳細かつ明確に特定することが可能となる。とりわけ、ドローンによる撮影画像をパノラマ化し、このパノラマ画像を、ＧＩＳ（地理情報システム）データ及びＣＡＤデータと連携することが可能となる。更に、上記（４）に記載の異常箇所検出システムと異なり、太陽光発電所内にマーカを設置する必要が発生しない。
　本発明によれば、太陽光発電所や橋梁等の大規模設備において、異常箇所を有する要素の場所を、詳細かつ明確に特定することが可能となる。
本発明の第１実施形態に係る異常箇所検出システム１０の全体構成例を示す図である。 本発明の第１実施形態に係る飛行体１００の機能ブロック図である。 本発明の第１実施形態に係るサーバ２００の機能ブロック図である。 本発明の第１実施形態に係るユーザ端末３００の機能ブロック図である。 本発明の第１実施形態に係る異常箇所検出システム１０の動作を示すフローチャートである。 本発明の第１実施形態で用いる平面図の例である。 本発明の第１実施形態におけるパノラマ画像を生成する方法を示す図である。 本発明の第１実施形態における異常箇所が示されたパノラマ画像の例である。 本発明の第１実施形態における画像の重ね合わせ方法を示す図である。 本発明の第１実施形態における複合画像の例である。 本発明の第１実施形態において出力される異常箇所の場所情報の例である。 本発明の第２実施形態に係る飛行体１００Ａの機能ブロック図である。 本発明の第３実施形態に係る飛行体１００Ｂの機能ブロック図である。 本発明の第３実施形態に係るユーザ端末３００Ｂの機能ブロック図である。 本発明の第３実施形態に係る異常箇所検出システム１０Ｂの動作を示すフローチャートである。 本発明の第４実施形態に係る異常箇所検出システム１０Ｃの全体構成例を示す図である。 本発明の第４実施形態に係る撮像装置５００の機能ブロック図である。 本発明の第５実施形態に係る異常箇所検出システム１０Ｄの全体構成例を示す図である。 本発明の第５実施形態に係るサーバ２００Ｄの機能ブロック図である。 本発明の第５実施形態に係るユーザ端末３００Ｄの機能ブロック図である。 本発明の第５実施形態に係る異常箇所検出システム１０Ｄの動作を示すフローチャートである。
〔第１実施形態〕
　以下、本発明の第１実施形態について、図１～図５Ｇを参照しながら詳述する。なお、後述のように、飛行体１００は、太陽光発電所の上空を飛行すると共に、太陽光発電所を構成するソーラーパネルの赤外線画像を、上空から撮像する装置であるとしたが、これはあくまで一例であって、例えば橋梁等の他の大規模設備を撮像してもよい。
　図１は、本実施形態に係る異常箇所検出システム１０の全体構成図を示す。異常箇所検出システム１０は、飛行体１００、サーバ２００、ユーザ端末３００、及びネットワーク４００を備え、飛行体１００、サーバ２００、及びユーザ端末３００は、ネットワーク４００を介して、互いに接続する。なお、図１においては、飛行体１００、サーバ２００、ユーザ端末３００は、それぞれ１つずつ記載されているが、これには限定されず、異常箇所検出システム１０は、任意個数の飛行体１００、任意個数のサーバ２００、任意個数のユーザ端末３００を備えることが可能である。
　飛行体１００は、後述のように、図示しない制御装置から受信する制御情報に基づいて、太陽光発電所の上空を飛行すると共に、太陽光発電所を構成するソーラーパネルの赤外線画像を、上空から撮像する装置である。また、飛行体１００は、撮像したソーラーパネルの赤外線画像を、後述のサーバ２００に送信する。
　なお、本実施形態では、飛行体１００は、ドローンや、ラジコン飛行機、ラジコンヘリ等の無人の飛行体であることを想定しているが、これには限定されず、有人の飛行体を用いることも可能である。また、飛行体１００は、図示しない制御装置から受信する制御情報に基づいて、飛行動作と撮像動作を実行するが、これには限定されず、例えば、ユーザ端末３００から受信する制御情報に基づいて、飛行動作と撮像動作を実行してもよい。
　サーバ２００は、飛行体１００から受信したソーラーパネルの赤外線画像を記憶すると共に、記憶したソーラーパネルの赤外線画像を、ユーザ端末３００に送信するサーバである。
　ユーザ端末３００は、サーバ２００から受信したソーラーパネルの赤外線画像と、自身が記憶する太陽光発電所の平面図とに基づいて、ソーラーパネルの異常箇所を検出し、異常箇所を出力する装置である。
　なお、上記の繰り返しとなるが、ユーザ端末３００は、飛行体１００の飛行動作と撮像動作を制御する制御情報を生成し、この制御情報を飛行体１００に送信する構成とすることも可能である。
　図２は、飛行体１００の機能ブロック図を示す。飛行体１００は、制御部１１０、撮像部１５０、及び駆動部１６０を備え、制御部１１０は、受信部１１１、撮像制御部１１２、駆動制御部１１３、及び送信部１１４を備える。
　制御部１１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＭＯＳメモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
　ＣＰＵは飛行体１００を全体的に制御するプロセッサである。該ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、該システムプログラム及びアプリケーションプログラムに従って飛行体１００全体を制御することで、図２に示すように、制御部１１０を、受信部１１１、撮像制御部１１２、駆動制御部１１３、及び送信部１１４の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。ＣＭＯＳメモリは図示しないバッテリでバックアップされ、飛行体１００の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
　受信部１１１は、通信用インタフェースを介して、図示しない制御装置から、撮像及び駆動の制御に用いる制御情報を受信する。
　撮像制御部１１２は、受信部１１１が受信した制御情報に基づいて、ソーラーパネルの赤外線画像を撮像するため、撮像部１５０を制御する。
　駆動制御部１１３は、受信部１１１が受信した制御情報に基づいて、飛行体１００の飛行動作を実行するため、後述の駆動部１６０を制御する。
　送信部１１４は、通信用インタフェースを介して、後述の撮像部１５０を用いて撮像したソーラーパネルの赤外線画像を、サーバ２００に送信する。
　撮像部１５０は、例えば赤外線サーモグラフィカメラであり、太陽光発電所の上空から、太陽光発電所を構成するソーラーパネルの赤外線画像を撮像するための装置である。なお、以降では、撮像部１５０、受信部１１１、撮像制御部１１２、及び送信部１１４をまとめて「撮像装置」と呼称することがある。
　駆動部１６０は、飛行体１００の飛行動作、より具体的には、飛行体１００の離陸、着陸、移動、ホバリング等の動作を実行するための装置である。
　図３は、サーバ２００の機能ブロック図を示す。サーバ２００は、制御部２１０、及び記憶部２２０を備え、制御部２１０は、受信部２１１、画像格納部２１２、及び送信部２１３を備える。
　制御部２１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＭＯＳメモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
　ＣＰＵはサーバ２００を全体的に制御するプロセッサである。該ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、該システムプログラム及びアプリケーションプログラムに従ってサーバ２００全体を制御することで、図３に示すように、制御部２１０を、受信部２１１、画像格納部２１２、及び送信部２１３の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。ＣＭＯＳメモリは図示しないバッテリでバックアップされ、サーバ２００の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
　受信部２１１は、通信用インタフェースを介して、飛行体１００から、ソーラーパネルの赤外線画像を受信する。
　画像格納部２１２は、受信部２１１が受信したソーラーパネルの赤外線画像を、後述の記憶部２２０に格納する。
　送信部２１３は、通信用インタフェースを介して、記憶部２２０に格納される赤外線画像を、後述のユーザ端末３００に送信する。
　記憶部２２０は、ソーラーパネルの赤外線画像を記憶する。
　図４は、ユーザ端末３００の機能ブロック図を示す。ユーザ端末３００は、制御部３１０、記憶部３２０、及び表示装置３３０を備え、制御部３１０は、ベースデータ作成部３１１、受信部３１２、パノラマ化部３１３、異常箇所検出部３１４、複合部３１５、異常箇所出力部３１６を備える。
　制御部３１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＭＯＳメモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
　ＣＰＵはユーザ端末３００を全体的に制御するプロセッサである。該ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、該システムプログラム及びアプリケーションプログラムに従ってユーザ端末３００全体を制御することで、図４に示すように、制御部３１０を、ベースデータ作成部３１１、受信部３１２、パノラマ化部３１３、異常箇所検出部３１４、複合部３１５、異常箇所出力部３１６の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。ＣＭＯＳメモリは図示しないバッテリでバックアップされ、ユーザ端末３００の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
　ベースデータ作成部３１１は、後述の異常検出方法において用いる、ベースとなるデータを作成し、具体的には、例えば、管理部品や領域の単位で区域分けしたものを作成するため、太陽光発電所のモジュール単位に管理できるデータに、図面を区域に分割する。すなわち、ベースデータ作成部３１１は、図面情報を基に、管理部品や領域の単位で区域分けしたデータ構造を作成する。
　受信部３１２は、通信用インタフェースを介して、サーバ２００から、ソーラーパネルの赤外線画像を受信する。
　パノラマ化部３１３は、受信部３１２が受信した複数枚の赤外線画像を、１枚のパノラマ画像としてパノラマ化する。
　異常箇所検出部３１４は、パノラマ化部３１３が複数枚の赤外線画像から生成したパノラマ画像中の色情報に基づいて、所定範囲の温度範囲の領域を、異常箇所として検出する。なお、異常箇所検出部３１４は、検出した異常箇所を強調表示したうえで、このパノラマ画像を、後述の表示装置３３０に表示させてもよい。
　複合部３１５は、後述の記憶部３２０が記憶する太陽光発電所の平面図であって、ソーラーパネルの各々の場所情報を有する平面図と、上記のパノラマ画像とを重ね合わせた複合画像を生成し、この複合画像を後述の表示装置３３０に表示させる。
　なお、複合部３１５は、この複合画像の生成の際、異常箇所検出部３１４が検出した異常箇所を強調表示する。更に、詳しくは後述するが、複合部３１５は、ソーラーパネル内の異常箇所のみを強調表示してもよい。
　また、平面図とパノラマ画像との重ね合わせの際には、複合部３１５は、平面図に記載されたソーラーパネルの画像と、パノラマ画像内のソーラーパネルの画像とが対応するように、平面図とパノラマ画像とを重ね合わせる。
　異常箇所出力部３１６は、上記の複合画像に基づいて、異常箇所が検出されたソーラーパネルの場所情報を表示装置３３０に出力させる。
　記憶部３２０は、太陽光発電所の平面図であって、ソーラーパネルの各々の場所情報を有する平面図を記憶する。
　表示装置３３０は、上記の複合画像、及び、異常箇所が検出されたソーラーパネルの場所情報を表示するために使用する装置である。なお、上記の繰り返しとなるが、表示装置３３０は、複合画像、場所情報に加え、異常箇所が検出された段階のパノラマ画像を、異常箇所を強調した状態で表示してもよい。
　図５Ａは、上記の異常箇所検出システム１０による異常箇所検出フローを示す。
　ステップＳ１において、ユーザ端末３００のベースデータ作成部３１１がベースデータを作成する。
　具体的には、例えば、ベースデータ作成部３１１は、図５Ｂに示すＣＡＤデータである、平面図のソーラーパネル毎に、場所情報を分割し、記憶部３２０に格納してもよい。あるいは、ベースデータ作成部３１１は、図５Ｂに示す平面図に対して、ソーラーパネル毎に、場所情報を書き加えた上で、この平面図を記憶部３２０に格納してもよい。なお、ベースデータ作成部３１１が、平面図に対して場所情報を書き加える際は、平面図に新たなレイヤを追加して、追加されたレイヤ上に場所情報を書き加えてもよい。
　なお、平面図には、平面図とパノラマ画像との重ね合わせに用いるため、太陽光発電所に設置されたマーカＡ～Ｄの画像が含まれる。
　このマーカＡ～Ｄは、発熱部と非発熱部が区別される素材で構成されており、飛行体１００の撮像部１５０である、赤外線サーモグラフィカメラから認識でき、かつ、後述の画像認識によって区別可能な形状となっている。マーカＡ～Ｄ同士は互いに異なる形状であることが好ましく、例えば、任意の数字や図形の形状であってもよい。また、マーカＡ～Ｄは、太陽光発電所に必ず点在するパワーコンディショナーの屋上部分に設置されてもよい。また、図５Ｂにおいては、４つのマーカＡ～Ｄを示すが、マーカの個数はこれには限られない。更に、平面図とパノラマ画像との重ね合わせのためには、１枚のパノラマ画像当たり、３つ以上のマーカが存在することが好ましい。
　なお、平面図においては、マーカを示す数字、図形、記号等の形状を、そのまま示すことを必須とはしない。例えば、マーカが「Ａ」であるとした場合、平面図上のある任意のポイントに「Ａ」の第一画目の始点があれば、平面図とパノラマ画像を重ね合わせることが可能である。
　ステップＳ２において、飛行体１００が、太陽光発電所のソーラーパネルを上空から撮像する。
　具体的には、飛行体１００は、図５Ｃの（ａ）に示されるように、太陽光発電所に設置されたマーカＡ～Ｄのいずれかが必ず映るように、特定の範囲を、所定の間隔でインターバル撮影する。
　撮像された赤外線画像は、飛行体１００からサーバ２００を経由して、ユーザ端末３００に送られる。
　ステップＳ３において、図５Ｃの（ｂ）及び（ｃ）に示されるように、ユーザ端末３００のパノラマ化部３１３は、複数の赤外線画像からパノラマ画像を生成する。より具体的には、パノラマ化部３１３は、複数の赤外線画像から３Ｄモデルを作成後、パノラマ画像としてのオルソ画像を作成する。
　ステップＳ４において、ユーザ端末３００の異常箇所検出部３１４が、パノラマ画像の色情報に基づいて、異常箇所やホットスポットを検出する。具体的には、ソーラーパネルに異常箇所が存在する場合、異常箇所の温度が通常時と異なることから、異常箇所検出部３１４は、パノラマ画像において、事前に設定した範囲の温度に対応する色情報となっている箇所を、異常箇所として検出する。
　この際、図５Ｄにおいて黒い四角で示されるように、異常箇所検出部３１４は、異常箇所を強調表示したうえで、表示装置３３０にパノラマ画像を表示させてもよい。
　ステップＳ５において、ユーザ端末３００の複合部３１５が、平面図とパノラマ画像とを重ね合わせることより、複合画像を生成する。
　具体的には、複合部３１５は、画像認識により、平面図とパノラマ画像の双方のマーカを認識し、図５Ｅに示すように、これら双方のマーカの輪郭が一致するように、平面図とパノラマ画像とを重ね合わせることにより、図５Ｆに示されるような複合画像を生成する。更に、複合部３１５は、生成した複合画像を、表示装置３３０に表示させる。
　なお、複合部３１５は、異常箇所を強調表示させてもよい。とりわけ、複合部３１５は、パターン認識によりソーラーパネル領域を特定し、ステップＳ４において異常箇所と検出された箇所が、ソーラーパネル領域外にある場合には、ソーラーパネル領域外の異常箇所を省いた上で、異常箇所を強調表示させてもよい。
　ステップＳ６において、ユーザ端末３００の異常箇所出力部３１６が、図５Ｇに示されるような、異常箇所が検出されたソーラーパネルの場所情報を表示装置３３０に出力させる。
　具体的には、上記のように、ベースデータ作成部３１１が、平面図のソーラーパネル毎に、場所情報を分割し、記憶部３２０に格納した場合には、異常箇所出力部３１６は、画像認識により、複合画像において異常箇所を有するソーラーパネルのＩＤを取得し、記憶部３２０において、このＩＤと紐づいた場所情報を、表示装置３３０に出力させてもよい。あるいは、上記のように、ベースデータ作成部３１１が、平面図に対して、ソーラーパネル毎に、場所情報を書き加えた場合には、異常箇所出力部３１６は、画像認識により、複合画像において異常箇所を有するソーラーパネルの場所情報を読み取って、表示装置３３０に出力させてもよい。
〔第２実施形態〕
　以下、本発明の第２実施形態について、図６を参照しながら詳述する。後述のように、第２実施形態は、第１実施形態と異なり、平面図とパノラマ画像との重ね合わせの際、マーカの代わりに位置座標情報を用いる。なお、以下では、主として、第１実施形態に比較して、第２実施形態が異なる点について詳述する。
　本実施形態に係る異常箇所検出システム１０Ａは、飛行体１００Ａ、サーバ２００、ユーザ端末３００Ａを備える。すなわち、本実施形態に係る異常箇所検出システム１０Ａは、第１実施形態に係る異常箇所検出システム１０に比較して、飛行体１００の代わりに飛行体１００Ａを、ユーザ端末３００の代わりにユーザ端末３００Ａを備える点で異なる。
　なお、異常箇所検出システム１０Ａの構成は、基本的には、図１と同一であるため、その図示を省略する。
　図６は、飛行体１００Ａの機能ブロック図を示す。飛行体１００Ａは、飛行体１００に比較して、位置座標情報取得部１１５、情報付加部１１６、及びＧＰＳ１７０を、更に備える点で異なる。
　位置座標情報取得部１１５は、後述のＧＰＳ１７０を用いて、飛行体１００Ａの位置座標情報、具体的には現在位置の緯度経度情報を取得する。なお、第２実施形態においては、飛行体１００Ａの撮像部１５０は、飛行体１００ＡのＧＰＳ部に隣接して設置されると共に、鉛直下方を向いていることから、飛行体１００Ａの位置座標情報と、赤外線画像の中心点の位置座標情報とは、一致するとみなす。
　情報付加部１１６は、上記の位置座標情報を、撮像部１５０が撮像した赤外線画像に付加する。
　ＧＰＳ１７０は、飛行体１００Ａの位置座標情報、具体的には飛行体１００Ａの現在位置の緯度経度情報を測位するための装置である。
　ユーザ端末３００Ａは、ユーザ端末３００に比較して、ベースデータ作成部３１１の代わりにベースデータ作成部３１１Ａを、パノラマ化部３１３の代わりにパノラマ化部３１３Ａを、複合部３１５の代わりに複合部３１５Ａを備える。なお、ユーザ端末３００Ａの構成は、基本的には、図４と同一であるため、その図示を省略する。
　ベースデータ作成部３１１Ａは、ベースデータ作成部３１１と同様に、後述の異常検出方法において用いる、ベースとなるデータを作成するが、ベースデータ作成部３１１が実行するのと同様の情報分割に加えて、記憶部３２０が記憶する、ＧＩＳ情報としての緯度経度情報である発電所座標情報を有する地図と、平面図とを重ね合わせた発電所画像を生成し、この発電所画像を記憶部３２０に格納する。
　パノラマ化部３１３Ａは、位置座標情報が付加された複数枚の赤外線画像を、位置座標情報を含むパノラマ画像としてパノラマ化する。
　複合部３１５Ａは、複合部３１５と異なり、マーカを用いるのではなく、発電所画像に含まれる発電所座標情報と、パノラマ画像に含まれる位置座標情報とが対応するように、座標情報同士を自動的に紐づけることにより、発電所画像とパノラマ画像とを重ね合わせた複合画像を生成し、この複合画像を表示装置３３０に対して表示させる。
　なお、複合部３１５Ａは、複合部３１５と同様に、複合画像の生成の際、異常箇所検出部３１４が検出した異常箇所を強調表示する。更に、複合部３１５Ａは、ソーラーパネル内の異常箇所のみを強調表示してもよい。
　異常箇所検出システム１０Ａは、図５Ａと同様のフローで異常箇所を検出するが、図５ＡのステップＳ１の代わりにステップＳ１Ａを、ステップＳ３の代わりにステップＳ３Ａを、ステップＳ５の代わりにステップＳ５Ａを実行する。
　ステップＳ１Ａにおいて、ユーザ端末３００Ａのベースデータ作成部３１１Ａは、ベースデータ作成部３１１が実行するのと同様の情報分割に加えて、ＧＩＳ情報としての緯度経度情報である発電所座標情報を有する地図と、平面図とを重ね合わせた発電所画像を生成し、この発電所画像を記憶部３２０に格納する。
　ステップＳ３Ａにおいて、ユーザ端末３００Ａのパノラマ化部３１３Ａは、単に、複数の赤外線画像からパノラマ画像を生成するのではなく、位置座標情報が付加された複数枚の赤外線画像から、位置座標情報を含むパノラマ画像を生成する。
　ステップＳ５Ａにおいて、ユーザ端末３００Ａの複合部３１５Ａは、発電所画像に含まれる発電所座標情報と、パノラマ画像に含まれる位置座標情報とが対応するように、発電所画像とパノラマ画像とを重ね合わせた複合画像を生成し、この複合画像を表示装置３３０に対して表示させる。
〔第３実施形態〕
　以下、本発明の第３実施形態について、図７～９を参照しながら詳述する。後述のように、第３実施形態は、第２実施形態と異なり、飛行体が撮像した複数の画像をパノラマ化することなく、一枚一枚平面図に投影して重ね合わせる。なお、以下では、主として、第２実施形態に比較して、第３実施形態が異なる点について詳述する。
　本実施形態に係る異常箇所検出システム１０Ｂは、飛行体１００Ｂ、サーバ２００、ユーザ端末３００Ｂを備える。すなわち、本実施形態に係る異常箇所検出システム１０Ｂは、第２実施形態に係る異常箇所検出システム１０Ａに比較して、飛行体１００Ａの代わりに飛行体１００Ｂを、ユーザ端末３００Ａの代わりにユーザ端末３００Ｂを備える点で異なる。
　なお、異常箇所検出システム１０Ｂの構成は、基本的には、図１と同一であるため、その図示を省略する。
　図７は、飛行体１００Ｂの機能ブロック図を示す。飛行体１００Ｂは、飛行体１００Ａに比較して、情報付加部１１６の代わりに情報付加部１１６Ｂを備える点、及び、高度情報取得部１１７、方位情報取得部１１８、傾斜情報取得部１１９、補正情報取得部１２０、画角情報算出部１２１、高度計１８０を更に備える点で異なる。
　情報付加部１１６Ｂは、位置座標情報取得部１１５がＧＰＳ１７０を用いて取得した位置座標情報に加えて、後述のように、高度情報取得部１１７が高度計１８０を用いて取得した高度情報、方位情報取得部１１８が撮像部１５０から取得した、撮像部１５０の方位である方位情報、傾斜情報取得部１１９が撮像部１５０から取得した、撮像部１５０の鉛直方向の傾きである傾斜情報、補正情報取得部１２０が撮像部１５０から取得した、赤外線画像のゆがみ補正用のパラメータである補正情報に基づいて、画角情報算出部１２１が算出した画角情報を、赤外線画像に付加する。
　高度情報取得部１１７は、高度計１８０を用いて、飛行体１００が現在位置する高度の情報である高度情報を取得する。
　方位情報取得部１１８は、撮像部１５０から、当該撮像部１５０が東西南北のどの方位を向いているかに係る方位情報を取得する。
　傾斜情報取得部１１９は、撮像部１５０から、当該撮像部１５０が鉛直方向にどの程度傾いているか、すなわちジンバルのピッチに係る傾斜情報を取得する。
　補正情報取得部１２０は、撮像部１５０に応じた、赤外線画像のゆがみ補正用のパラメータである補正情報を取得する。
　画角情報算出部１２１は、上記の補正情報に基づいて、赤外線画像のゆがみを補正した後における撮像部１５０の画角の情報である画角情報を算出する。
　高度計１８０は、飛行体１００Ｂが現在位置する高度の情報を測位するための装置である。
　図８は、ユーザ端末３００Ｂの機能ブロック図を示す。ユーザ端末３００Ｂは、ユーザ端末３００Ａに比較して、パノラマ化部３１３の代わりに投影位置算出部３１７を備え、複合部３１５Ａの代わりに複合部３１５Ｂを備える。
　投影位置算出部３１７は、１枚１枚の赤外線画像に付加された、位置座標情報、高度情報、方位情報、傾斜情報、画角情報に基づいて、各赤外線画像を発電所画像に対して投影する投影位置に係る投影位置パラメータを算出する。
　複合部３１５Ｂは、上記の投影位置パラメータを用いて、各赤外線画像を、発電所画像に投影することにより、発電所画像と複数の赤外線画像とを重ね合わせた複合画像を生成し、この複合画像を表示装置３３０に対して表示させる。
　図９は、上記の異常箇所検出システム１０Ｂによる異常箇所検出フローを示す。
　ステップＳ１１において、ユーザ端末３００Ｂのベースデータ作成部３１１Ａがベースデータを作成する。
　具体的には、例えば、ベースデータ作成部３１１Ａは、場所情報をソーラーパネル毎に分割し、分割した場所情報を、記憶部３２０に格納したり、あるいは、平面図に対して書き加えたりしてもよい。更に、ベースデータ作成部３１１Ａは、ＧＩＳ情報としての緯度経度情報である発電所座標情報を有する地図と、平面図とを重ね合わせた発電所画像を生成し、この発電所画像を記憶部３２０に格納する。
　ステップＳ１２において、飛行体１００Ｂが、太陽光発電所のソーラーパネルを上空から撮像する。この際、飛行体１００Ｂの情報付加部１１６Ｂは、上記の位置情報、高度情報、方位情報、傾斜情報、画角情報を、赤外線画像に付加する。各情報が付加された赤外線画像は、飛行体１００Ｂからサーバ２００を経由して、ユーザ端末３００Ｂに送られる。
　ステップＳ１３において、ユーザ端末３００Ｂの投影位置算出部３１７は、１枚１枚の赤外線画像に付加された、位置座標情報、高度情報、方位情報、傾斜情報、画角情報に基づいて、各赤外線画像を発電所画像に対して投影する投影位置に係る投影位置パラメータを算出する。
　ステップＳ１４において、ユーザ端末３００Ｂの異常箇所検出部３１４は、各赤外線画像の色情報に基づいて、異常箇所やホットスポットを検出する。具体的には、ソーラーパネルに異常箇所が存在する場合、異常箇所の温度が通常時と異なることから、異常箇所検出部３１４は、各赤外線画像において、事前に設定した範囲の温度に対応する色情報となっている箇所を、異常箇所として検出する。
　ステップＳ１５において、複合部３１５Ｂは、上記の投影位置パラメータを用いて、各赤外線画像を、発電所画像に投影することにより、発電所画像と複数の赤外線画像とを重ね合わせた複合画像を生成し、この複合画像を表示装置３３０に対して表示させる。
　なお、複合部３１５Ｂは、異常箇所を強調表示させてもよい。とりわけ、複合部３１５Ｂは、パターン認識によりソーラーパネル領域を特定し、ステップＳ１４において異常箇所と検出された箇所が、ソーラーパネル領域外にある場合には、ソーラーパネル領域外の異常箇所を省いた上で、異常箇所を強調表示させてもよい。
　ステップＳ１６において、ユーザ端末３００Ｂの異常箇所出力部３１６が、図５Ｇに示されるような、異常箇所が検出されたソーラーパネルの場所情報を表示装置３３０に出力させる。
〔第４実施形態〕
　以下、本発明の第４実施形態について、図１０及び図１１を参照しながら詳述する。後述のように、第４実施形態は、第１実施形態と異なり、飛行体ではなく撮像装置で大規模設備を撮像すると共に、サーバを必須の構成要素とはしない。なお、以下では、主として、第１実施形態に比較して、第４実施形態が異なる点について詳述する。
　図１０に記載のように、本実施形態に係る異常箇所検出システム１０Ｃは、撮像装置５００とユーザ端末３００Ｃとを備える。すなわち、第１実施形態に係る異常箇所検出システム１０に比較して、飛行体１００の代わりに撮像装置５００を、ユーザ端末３００の代わりにユーザ端末３００Ｃを備え、サーバ２００は必須の構成要素としていない。なお、撮像装置５００とユーザ端末３００Ｃとは、互いに通信可能に接続されており、通信インタフェースを介して、直接接続されていてもよく、異常箇所検出システム１０と同様に、ネットワーク４００を介して接続していてもよい。
　撮像装置５００は、太陽光発電所や橋梁等の大規模設備の画像を撮像するために用いられる装置であり、地上にいる人間が手動で操作してもよく、有人の飛行体に搭載された上で、当該飛行体に搭乗した人間が手動で操作してもよく、無人の飛行体や、クレーンに搭載された上で、自動で、又は遠隔操作手段を用いて手動で操作してもよい。
　図１１は、撮像装置５００の機能ブロック図を示す。撮像装置５００は、制御部５１０及び撮像部５５０を備え、制御部５１０は、撮像制御部５１１及び送信部５１２を備える。
　制御部５１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＭＯＳメモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
　ＣＰＵは撮像装置５００を全体的に制御するプロセッサである。該ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、該システムプログラム及びアプリケーションプログラムに従って撮像装置５００全体を制御することで、図１１に示すように制御部５１０を、撮像制御部５１１、及び送信部５１２の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。ＣＭＯＳメモリは図示しないバッテリでバックアップされ、撮像装置５００の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
　撮像制御部５１１は、制御信号に基づいて、大規模設備の画像を撮像するため、撮像部５５０を制御する。
　送信部５１２は、通信用インタフェースを介して、後述の撮像部５５０を用いて撮像した大規模設備の画像を、ユーザ端末３００Ｃに送信する。
　撮像部５５０は、例えば可視カメラ、赤外線カメラ、ハイパースペクトルカメラ等のいずれかであり、地上から、あるいは大規模設備の上空から、大規模設備の画像を撮像するためのモジュールである。
　ユーザ端末３００Ｃは、ユーザ端末３００に比較して、ベースデータ作成部３１１の代わりにベースデータ作成部３１１Ｃを、受信部３１２の代わりに受信部３１２Ｃを、異常箇所検出部３１４の代わりに異常箇所検出部３１４Ｃを、記憶部３２０の代わりに記憶部３２０Ｃを備える点で異なる。なお、ユーザ端末３００Ｃの構成は、基本的に、図４と同一であるため、その図示を省略する。
　記憶部３２０Ｃは、撮像装置５００の撮像対象である大規模設備の図面、例えばＣＡＤ画像を記憶する。
　ベースデータ作成部３１１Ｃは、記憶部３２０Ｃが記憶する図面に対し、大規模設備を構成する、点検単位となる要素、例えば、各部品、各部材、各区域に対して、各々の管理番号を付与する。
　受信部３１２Ｃは、撮像装置５００が撮像した画像を、撮像装置５００から受信する。
　異常箇所検出部３１４Ｃは、パノラマ化部３１３が複数枚の画像から生成したパノラマ画像に基づいて、点検単位となる要素の異常箇所を検出する。ここで、異常箇所とは、例えば、錆や塗装忘れ等、可視画像から判別できるものや、太陽光パネル上の異常発熱箇所のように、赤外線カメラにより検知できるものや、植物の育成度合いや二酸化炭素量のように、特定の波長領域でのみ捉えられる情報が挙げられる。
〔第５実施形態〕
　以下、本発明の第５実施形態について、図１２～１５を参照しながら詳述する。後述のように、第５実施形態は、第４実施形態と異なり、ユーザ端末ではなくサーバが画像処理を実行する。なお、以下では、主として、第１実施形態及び第４実施形態に比較して、第５実施形態が異なる点について詳述する。
　図１２に記載のように、本実施形態に係る異常箇所検出システム１０Ｄは、撮像装置５００Ｄ、サーバ２００Ｄ、ユーザ端末３００Ｄ、及びネットワーク４００を備え、撮像装置５００Ｄ、サーバ２００Ｄ、及びユーザ端末３００Ｄは、ネットワーク４００を介して、互いに接続する。すなわち、第４実施形態に係る異常箇所検出システム１０Ｃに比較して、撮像装置５００の代わりに撮像装置５００Ｄを、ユーザ端末３００Ｃの代わりにユーザ端末３００Ｄを備え、更にサーバ２００Ｄとネットワーク４００とを備える。
　撮像装置５００Ｄは、撮像装置５００に比較して、送信部５１２の代わりに送信部５１２Ｄを備える。送信部５１２Ｄは、通信用インタフェースを介して、撮像部５５０を用いて撮像した大規模設備の画像を、サーバ２００Ｄに送信する。なお、撮像装置５００Ｄの構成は、撮像装置５００と基本的に同一であるため、その図示を省略する。
　図１３は、サーバ２００Ｄの機能ブロック図を示す。サーバ２００Ｄは、第１の実施形態に係るサーバ２００に比較して、受信部２１１の代わりに受信部２１１Ｄを、送信部２１３の代わりに送信部２１３Ｄを、記憶部２２０の代わりに記憶部２２０Ｄを備え、更に、ベースデータ作成部２１４、パノラマ化部２１５、異常箇所検出部２１６、複合部２１７、場所情報特定部２１８を備える。
　受信部２１１Ｄは、通信用インタフェースを介して、撮像装置５００Ｄから、大規模設備の画像を受信する。また、受信部２１１Ｄは、通信用インタフェースを介して、ユーザ端末３００Ｄから、場所情報出力指示を受信する。
　送信部２１３Ｄは、後述のように、場所情報特定部２１８が特定した大規模設備内で異常箇所を有する要素の場所情報を、ユーザ端末３００Ｄに送信する。
　記憶部２２０Ｄは、撮像装置５００の撮像対象である大規模設備の図面、例えばＣＡＤ画像を記憶する。
　ベースデータ作成部２１４は、記憶部２２０Ｄが記憶する図面に対し、大規模設備を構成する、点検単位となる要素、例えば、各部品、各部材、各区域に対して、各々の管理番号を付与する。
　パノラマ化部２１５は、受信部２１１Ｄが受信した複数枚の画像を、パノラマ画像としてパノラマ化する。
　異常箇所検出部２１６は、パノラマ化部２１５が複数枚の画像から生成したパノラマ画像に基づいて、点検単位となる要素の異常箇所を検出する。ここで、異常箇所とは、例えば、錆や塗装忘れ等、可視画像から判別できるものや、太陽光パネル上の異常発熱箇所のように、赤外線カメラにより検知できるものや、植物の育成度合いや二酸化炭素量のように、特定の波長領域でのみ捉えられる情報が挙げられる。
　複合部２１７は、記憶部２２０Ｄが記憶する大規模設備の図面と、上記のパノラマ画像とを重ね合わせた複合画像を生成する。
　場所情報特定部２１８は、上記の複合画像に基づいて、異常箇所が検出された大規模設備内の異常箇所の場所情報を特定する。
　図１４は、ユーザ端末３００Ｄの機能ブロック図を示す。ユーザ端末３００Ｄは、第１の実施形態に係るユーザ端末３００に比較して、ベースデータ作成部３１１、パノラマ化部３１３、異常箇所検出部３１４、複合部３１５、異常箇所出力部３１６を必須の構成要素としない。また、ユーザ端末３００Ｄは、受信部３１２の代わりに受信部３１２Ｄを備え、更に、送信部３１８、及び表示部３１９を備える。
　送信部３１８は、サーバ２００Ｄに対し、場所情報出力指示を送信する。
　受信部３１２Ｄは、サーバ２００Ｄから、異常箇所が検出された大規模設備内の異常箇所の場所情報を受信する。
　表示部３１９は、表示装置３３０に、受信部３１２Ｄが受信した場所情報を表示する。
　図１５は、上記の異常箇所検出システム１０Ｄによる異常箇所検出フローを示す。
　ステップＳ２１において、サーバ２００Ｄのベースデータ作成部２１４がベースデータを作成する。
　具体的には、例えば、ベースデータ作成部２１４は、記憶部２２０Ｄが記憶する図面に対し、大規模設備を構成する、点検単位となる要素、例えば、各部品、各部材、各区域に対して、各々の管理番号を付与する。
　ステップＳ２２において、撮像装置５００Ｄで再規模設備の画像を撮像する。
　ステップＳ２３において、サーバ２００Ｄの受信部２１１Ｄは、撮像装置５００Ｄから画像を受信し、パノラマ化部２１５は、撮像装置５００Ｄが撮像した複数の画像からパノラマ画像を生成する。
　ステップＳ２４において、ユーザ端末３００Ｄの送信部３１８が、サーバ２００Ｄに対し、場所情報出力指示を送信する。
　ステップＳ２５において、サーバ２００Ｄの異常箇所検出部２１６が、パノラマ化部２１５が複数枚の画像から生成したパノラマ画像に基づいて、点検単位となる要素の異常箇所を検出する。
　ステップＳ２６において、サーバ２００Ｄの複合部２１７が、平面図とパノラマ画像とを重ね合わせることより、複合画像を生成する。
　ステップＳ２７において、サーバ２００Ｄの場所情報特定部２１８が、上記の複合画像に基づいて、異常箇所が検出された大規模設備内の異常箇所の場所情報を特定する。
　ステップＳ２８において、サーバ２００Ｄの送信部２１３Ｄが、ユーザ端末３００Ｄに対して、大規模設備内で異常箇所を有する要素の場所情報を、ユーザ端末３００Ｄに送信する。
　ステップＳ２９において、ユーザ端末３００Ｄの受信部３１２が、サーバ２００Ｄから場所情報を受信し、表示部３１９が、表示装置３３０に、受信部３１２Ｄが受信した場所情報を表示する。
〔変形例１〕
　第１実施形態及び第２実施形態においては、パノラマ化部３１３が、複数枚の赤外線画像からパノラマ画像を生成し、異常箇所検出部３１４がこのパノラマ画像の色情報に基づいて、異常箇所を検出したが、これには限定されない。
　例えば、異常箇所検出部３１４が、各赤外線画像の色情報に基づいて、各赤外線画像内の異常箇所を検出してから、パノラマ化部３１３が、これらの赤外線画像を用いてパノラマ画像を生成してもよい。
　あるいは、パノラマ化部３１３が、複数枚の赤外線画像からパノラマ画像を生成し、異常箇所検出部３１４が、このパノラマ画像をいったん単純分割し、分割された画像毎に異常箇所を検出し、パノラマ化部３１３が、複数枚の各画像を用いて再度パノラマ画像を生成してよい。
〔変形例２〕
　第１～第３実施形態に係る異常箇所検出システム１０～１０Ｂにおいては、飛行体１００～１００Ｂから、サーバ２００を介して、ユーザ端末３００～３００Ｂに赤外線画像が送信される構成としたが、これには限定されない。
　例えば、異常箇所検出システム１０～１０Ｂは、サーバ２００を備えず、飛行体１００～１００Ｂから、ユーザ端末３００～３００Ｂに直接赤外線画像を送信する構成としてもよい。
　一方で、第４実施形態に係る異常箇所検出システム１０Ｃにおいて、撮像装置５００からユーザ端末３００Ｃに対し、サーバを介して間接的に画像を送信する構成としてもよい。
〔変形例３〕
　第１～第３実施形態に係る異常箇所検出システム１０～１０Ｃにおいては、ユーザ端末３００～３００Ｂの記憶部３２０が、太陽光発電所の平面図、及び、実施形態によっては、太陽光発電所の地図を記憶するとしたが、これには限定されない。
　例えば、サーバ２００の記憶部２２０が、これら平面図及び地図を記憶し、サーバ２００からユーザ端末３００～３００Ｂに送信する構成としてもよい。
〔変形例４〕
　第１～第４実施形態に係るユーザ端末３００～３００Ｃは、パノラマ化部３１３を備え、第５実施形態に係るサーバ２００Ｄは、パノラマ化部２１５を備えるが、これには限定されず、パノラマ化部３１３又はパノラマ化部２１５を必須の構成要素としなくてもよい。この場合、異常箇所検出部３１４又は異常箇所検出部２１６は、飛行体１００又は撮像装置５００が撮像した画像から、直接、異常箇所を検出する。この態様は、例えば、太陽光発電所や橋梁等の大規模設備を遠方から撮影し、一枚の画像で大規模設備の全体像を捉えきれている場合に、適用することが可能である。
〔変形例５〕
　第３実施形態においては、飛行体が撮像した複数の画像をパノラマ化することなく、一枚一枚平面図に投影して重ね合わせる際、投影位置パラメータを用いて重ね合わせるが、そうではなく、第１実施形態と同様に、マーカを用いて重ね合わせてもよい。この場合、１枚の画像あたり、３つ以上のマーカが存在することが好ましい。
〔変形例６〕
　第１～第３実施形態、及び、第５実施形態においては、サーバ２００又は２００Ｄと、ユーザ端末３００、３００Ａ、３００Ｂ、又は３００Ｄとが別体となっていたが、これらが、単一の筺体内に一体化されていてもよい。
〔変形例７〕
　第１～第３実施形態、及び、第５実施形態においては、飛行体１００、１００Ａ、又は１００Ｂ、又は撮像装置５００Ｄから、サーバ２００又は２００Ｄに撮像した画像を直接送信していたが、そうではなく、ユーザ端末３００、３００Ａ、３００Ｂ、又は３００Ｄを経由して、撮像した画像を送信してもよい。あるいは、ＳＤカードのような記憶媒体を用いて、撮像した画像をサーバ２００又は２００Ｄに保存してもよい。
　また、上記の各実施形態及び各変形例を組み合わせることにより、更なる実施形態を実現することが可能である。
　なお、上記の異常箇所検出システム１０～１０Ｄに含まれる各装置は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。また、上記の異常箇所検出システム１０～１０Ｄに含まれる各装置により行なわれるユーザ識別方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
　プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ(Read Only Memory)、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　１０　１０Ａ　１０Ｂ　１０Ｃ　１０Ｄ：異常箇所検出システム
　１００　１００Ａ　１００Ｂ：飛行体
　１１０　１１０Ａ　１１０Ｂ：制御部
　１１１：受信部　　１１２：撮像制御部　　１１３：駆動制御部
　１１４：送信部　　１１５：位置座標情報取得部
　１１６　１１６Ｂ：情報付加部　　１１７：高度情報取得部
　１１８：方位情報取得部　　１１９：傾斜情報取得部
　１２０：補正情報取得部　　１２１：画角情報算出部
　１５０：撮像部　　１６０：駆動部　　１７０：ＧＰＳ
　１８０：高度計
　２００　２００Ｄ：サーバ　　２１０　２１０Ｄ：制御部
　２１１　２１１Ｄ：受信部　　２１２　画像格納部
　２１３　２１３Ｄ：送信部
　２１４：ベースデータ作成部　　２１５：パノラマ化部
　２１６：異常箇所検出部　　２１７：複合部
　２１８：場所情報特定部
　２２０　２２０Ｄ：記憶部
　３００　３００Ａ　３００Ｂ　３００Ｃ　３００Ｄ：ユーザ端末
　３１０　３１０Ｄ：制御部
　３１１　３１１Ａ：ベースデータ作成部
　３１２　３１２Ｄ：受信部　　３１３：パノラマ化部
　３１４：異常箇所検出部　　３１５　３１５Ｂ：複合部
　３１６：異常箇所出力部　　３１７：投影位置算出部
　３１８：送信部　　３１９：表示部　　３２０：記憶部　　３３０：表示装置
　４００　ネットワーク

Claims (11)

  1. 　撮像装置と、ユーザ端末とを備える、異常箇所検出システムであって、
    　前記撮像装置は、
    　　設備の画像を撮像する撮像部と、
    　　前記画像を前記ユーザ端末に送信する送信部とを備え、
    　前記ユーザ端末は、
    　　前記画像を前記撮像装置から受信する受信部と、
    　　前記設備の図面であって、前記設備を構成する要素の各々の場所情報を有する図面を記憶する記憶部と、
    　　前記画像に基づいて、前記要素の異常箇所を検出する異常箇所検出部と、
    　　前記図面に記載された要素の輪郭と、前記画像内の要素の輪郭とが対応するように、前記図面と前記画像とを重ね合わせた複合画像を生成する複合部と、
    　　前記複合画像に基づいて、前記異常箇所が検出された要素の場所情報を、表示装置に出力する異常箇所出力部と、を備える、異常箇所検出システム。
  2. 　前記複合部は、前記複合画像の生成の際、前記要素内の前記異常箇所のみを強調して、前記表示装置に表示する、請求項１に記載の異常箇所検出システム。
  3. 　前記ユーザ端末は、複数の前記画像をパノラマ画像としてパノラマ化するパノラマ化部を更に備え、
    　前記異常箇所検出部は、前記パノラマ画像に基づいて、前記要素の異常箇所を検出し、
    　前記複合部は、前記図面に記載された前記要素の輪郭と、前記パノラマ画像内の前記要素の輪郭とが対応するように、前記図面と前記パノラマ画像とを重ね合わせた複合画像を生成する、請求項１又は２に記載の異常箇所検出システム。
  4. 　前記設備に設置される複数のマーカを更に備え、
    　前記撮像部は、前記マーカを含むように、前記画像を撮像し、
    　前記図面は、前記マーカの輪郭図を含み、
    　前記複合部は、前記画像に含まれる前記マーカの輪郭と、前記図面に含まれる前記マーカの輪郭とを一致させることにより、前記図面と前記画像とを重ね合わせた前記複合画像を生成する、請求項１～３のいずれか１項に記載の異常箇所検出システム。
  5. 　前記マーカは、互いに形状が異なる、請求項４に記載の異常箇所検出システム。
  6. 　前記マーカは、１枚の前記画像又は前記パノラマ画像に対して、３つ以上存在する、請求項４又は５に記載の異常箇所検出システム。
  7. 　前記撮像部は、前記画像として、前記設備の赤外線画像を撮像し、
    　前記異常箇所検出部は、前記赤外線画像中の所定の温度範囲の領域を異常箇所として検出する、請求項１～６のいずれか１項に記載の異常箇所検出システム。
  8. 　前記撮像装置は、飛行体に搭載され、
    　前記撮像部は、前記設備としての太陽光発電所に設置された、前記要素としてのソーラーパネルの赤外線画像を撮像し、
    　前記図面は、前記太陽光発電所の平面図であって、前記ソーラーパネルの各々の場所情報を有する平面図である、請求項７に記載の異常箇所検出システム。
  9. 　撮像装置と、サーバと、ユーザ端末とを備える、異常箇所検出システムであって、
    　前記撮像装置は、
    　　設備の画像を撮像する撮像部と、
    　　前記画像を前記サーバに送信する第１送信部とを備え、
    　前記サーバは、
    　　前記設備の図面であって、前記設備を構成する要素の各々の場所情報を有する図面を記憶する記憶部と、
    　　前記撮像装置から前記画像を、前記ユーザ端末から場所情報出力指示を受信する第１受信部と、
    　　前記画像を前記記憶部に格納する画像格納部と、
    　　前記第１受信部が前記場所情報出力指示を受信すると、前記画像に基づいて、前記要素の異常箇所を検出する異常箇所検出部と、
    　　前記図面に記載された前記要素の輪郭と、前記画像内の前記要素の輪郭とが対応するように、前記図面と前記画像とを重ね合わせた複合画像を生成する複合部と、
    　　前記複合画像に基づいて、前記異常箇所が検出された前記要素の場所情報を特定する、場所情報特定部と、
    　　前記場所情報を前記ユーザ端末に送信する第２送信部と、を備え、
    　前記ユーザ端末は、
    　　前記サーバに、前記場所情報出力指示を送信する第３送信部と、
    　　前記サーバから、前記場所情報を受信する第２受信部と、
    　　表示装置に、前記場所情報を表示する表示部とを備える、異常箇所検出システム。
  10. 　飛行体と、サーバと、ユーザ端末とを備える、太陽光発電所の異常箇所検出システムであって、
    　前記飛行体は、
    　　前記太陽光発電所に含まれるソーラーパネルの赤外線画像を撮像する撮像部と、
    　　前記飛行体の位置座標情報を取得する位置座標情報取得部と、
    　　前記位置座標情報を前記赤外線画像に付加する情報付加部と、
    　　前記位置座標情報が付加された前記赤外線画像を、前記サーバに送信する第１送信部を備え、
    　前記サーバは、
    　　前記飛行体から前記赤外線画像を受信する第１受信部と、
    　　前記赤外線画像を記憶する第１記憶部と、
    　　前記第１記憶部が記憶する赤外線画像を、前記ユーザ端末に送信する第２送信部とを備え、
    　前記ユーザ端末は、
    　　前記赤外線画像を前記サーバから受信する第２受信部と、
    　　前記太陽光発電所の座標情報である発電所座標情報を含む地図と、前記太陽光発電所の平面図とを重ね合わせた発電所画像を記憶する第２記憶部と、
    　　複数の前記赤外線画像を、前記位置座標情報を含む１枚のパノラマ画像としてパノラマ化するパノラマ化部と、
    　　前記パノラマ画像に基づいて、前記ソーラーパネルの異常箇所を検出する異常箇所検出部と、
    　　前記発電所画像に含まれる前記発電所座標情報と、前記パノラマ画像に含まれる前記位置座標情報とが対応するように、前記発電所画像と前記パノラマ画像とを重ね合わせた複合画像を生成し、該複合画像を表示装置に対して表示させる複合部と、
    　　前記複合画像に基づいて、前記異常箇所が検出されたソーラーパネルの場所情報を、前記表示装置に出力する異常箇所出力部と、を備える、異常箇所検出システム。
  11. 　飛行体と、サーバと、ユーザ端末とを備える、太陽光発電所の異常箇所検出システムであって、
    　前記飛行体は、
    　　前記太陽光発電所に含まれるソーラーパネルの赤外線画像を撮像する撮像部と、
    　　前記飛行体の位置座標情報を取得する位置座標情報取得部と、
    　　前記飛行体の高度情報を取得する高度情報取得部と、
    　　前記撮像部の方位情報を取得する方位情報取得部と、
    　　前記撮像部の傾斜情報を取得する傾斜情報取得部と、
    　　前記赤外線画像のゆがみを補正するための補正情報を取得する補正情報取得部と、
    　　前記補正情報に基づいて、前記ゆがみを補正した後における前記撮像部の画角の情報である画角情報を算出する画角情報算出部と、
    　　前記位置座標情報、前記高度情報、前記方位情報、前記傾斜情報、及び前記画角情報を前記赤外線画像に付加する情報付加部と、
    　　前記位置座標情報、前記高度情報、前記方位情報、前記傾斜情報、及び前記画角情報が付加された前記赤外線画像を、前記サーバに送信する第１送信部を備え、
    　前記サーバは、
    　　前記飛行体から前記赤外線画像を受信する第１受信部と、
    　　前記赤外線画像を記憶する第１記憶部と、
    　　前記第１記憶部が記憶する赤外線画像を、前記ユーザ端末に送信する第２送信部とを備え、
    　前記ユーザ端末は、
    　　前記赤外線画像を前記サーバから受信する第２受信部と、
    　　前記太陽光発電所の座標情報である発電所座標情報を含む地図と、前記太陽光発電所の平面図とを重ね合わせた発電所画像を記憶する第２記憶部と、
    　　前記赤外線画像に付加された、前記位置座標情報、前記高度情報、前記方位情報、前記傾斜情報、及び前記画角情報に基づいて、前記発電所画像に対して前記赤外線画像を投影する投影場所を算出する投影位置算出部と、
    　　前記赤外線画像に基づいて、前記ソーラーパネルの異常箇所を検出する異常箇所検出部と、
    　　複数の前記赤外線画像を、前記投影場所から、前記発電所画像に投影することにより、前記発電所画像と複数の前記赤外線画像とを重ね合わせた複合画像を生成し、表示装置に対して表示させる複合部と、
    　　前記複合画像に基づいて、前記異常箇所が検出されたソーラーパネルの場所情報を、前記表示装置に出力する異常箇所出力部と、を備える、異常箇所検出システム。
PCT/JP2018/029043 2017-09-13 2018-08-02 異常箇所検出システム WO2019054075A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017176136A JP6362750B1 (ja) 2017-09-13 2017-09-13 異常箇所検出システム
JP2017-176136 2017-09-13

Publications (1)

Publication Number Publication Date
WO2019054075A1 true WO2019054075A1 (ja) 2019-03-21

Family

ID=62976528

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029043 WO2019054075A1 (ja) 2017-09-13 2018-08-02 異常箇所検出システム

Country Status (2)

Country Link
JP (1) JP6362750B1 (ja)
WO (1) WO2019054075A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6938749B2 (ja) * 2019-04-26 2021-09-22 コムシス情報システム株式会社 空撮画像特定システムおよび空撮画像特定方法。
JP6799635B2 (ja) * 2019-04-26 2020-12-16 コムシス情報システム株式会社 空撮画像位置特定システムおよび空撮画像位置特定方法。
JP6829753B1 (ja) * 2019-11-18 2021-02-10 株式会社パスコ 学習済モデル生成装置及びプログラム
JP7308733B2 (ja) * 2019-11-29 2023-07-14 コムシス情報システム株式会社 状態判定システムおよび状態判定方法。
CN113992778B (zh) * 2021-09-30 2023-12-26 紫光展锐(重庆)科技有限公司 一种设备检测的方法、装置、芯片及模组设备
JP7118234B1 (ja) 2021-12-27 2022-08-15 株式会社エネルギア・コミュニケーションズ 太陽光発電設備の点検装置及び点検システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005016995A (ja) * 2003-06-24 2005-01-20 Railway Technical Res Inst 赤外線構造物診断方法
JP2015058758A (ja) * 2013-09-17 2015-03-30 一般財団法人中部電気保安協会 構造物点検システム
JP2016186682A (ja) * 2015-03-27 2016-10-27 綜合警備保障株式会社 空撮画像処理システム及び空撮画像処理方法
JP2016197979A (ja) * 2015-04-06 2016-11-24 株式会社Ｎｔｔファシリティーズ 診断システム、診断方法、及びプログラム
JP2016223815A (ja) * 2015-05-27 2016-12-28 パナソニックＩｐマネジメント株式会社 劣化診断装置及び劣化診断方法
JP2017078575A (ja) * 2015-10-19 2017-04-27 エナジー・ソリューションズ株式会社 検査システム、及び検査方法
GB2546564A (en) * 2016-01-25 2017-07-26 Above Surveying Ltd Utilising UAVs for detecting defects in solar panel arrays

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1010064A (ja) * 1996-06-19 1998-01-16 Constec:Kk モルタル吹き付け法面の点検方法
JP5289256B2 (ja) * 2009-09-24 2013-09-11 三菱電機株式会社 車両位置検知システム
JP6763367B2 (ja) * 2015-03-09 2020-09-30 コニカミノルタ株式会社 ガス漏れ位置推定装置、ガス漏れ位置推定システム、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム
JP5988284B1 (ja) * 2015-08-05 2016-09-07 株式会社スマートエナジーサービス 太陽光発電設備のメンテナンス方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005016995A (ja) * 2003-06-24 2005-01-20 Railway Technical Res Inst 赤外線構造物診断方法
JP2015058758A (ja) * 2013-09-17 2015-03-30 一般財団法人中部電気保安協会 構造物点検システム
JP2016186682A (ja) * 2015-03-27 2016-10-27 綜合警備保障株式会社 空撮画像処理システム及び空撮画像処理方法
JP2016197979A (ja) * 2015-04-06 2016-11-24 株式会社Ｎｔｔファシリティーズ 診断システム、診断方法、及びプログラム
JP2016223815A (ja) * 2015-05-27 2016-12-28 パナソニックＩｐマネジメント株式会社 劣化診断装置及び劣化診断方法
JP2017078575A (ja) * 2015-10-19 2017-04-27 エナジー・ソリューションズ株式会社 検査システム、及び検査方法
GB2546564A (en) * 2016-01-25 2017-07-26 Above Surveying Ltd Utilising UAVs for detecting defects in solar panel arrays

Also Published As

Publication number Publication date
JP6362750B1 (ja) 2018-07-25
JP2019053446A (ja) 2019-04-04

Similar Documents

Publication Publication Date Title
JP6337226B1 (ja) 異常箇所検出システム
JP6362750B1 (ja) 異常箇所検出システム
CN111537515B (zh) 基于三维实景模型的铁塔螺栓缺陷展示方法和系统
CA3006155C (en) Positioning system for aerial non-destructive inspection
CN111512256B (zh) 自动和自适应的三维机器人现场勘测
US11017228B2 (en) Method and arrangement for condition monitoring of an installation with operating means
US11169028B2 (en) Unmanned aerial system based thermal imaging and aggregation systems and methods
US9488630B2 (en) Integrated remote aerial sensing system
US11203425B2 (en) Unmanned aerial vehicle inspection system
JP6569114B2 (ja) 検査システム、及び検査方法
US20220077820A1 (en) Method and system for soar photovoltaic power station monitoring
CN106647804B (zh) 一种自动巡检方法及系统
CN108370233B (zh) 检测光伏板的方法、设备及无人机
CN109376587A (zh) 基于物联网的检测查勘通信铁塔智能巡检系统和方法
JP2017215239A (ja) 太陽電池検査システム
KR20200048615A (ko) 머신러닝기반 실시간 태양광발전소 검사 드론
KR101832454B1 (ko) 드론 기반 열적외선 센서를 이용한 태양광 셀 발열 위치 분석 방법
CN107111313A (zh) 用无人驾驶飞行器检查太阳能电池板
KR102217549B1 (ko) 태양광 발전 모듈 모니터링 방법 및 시스템
CN213302860U (zh) 无人机三维可视化避障系统
WO2019216257A1 (ja) 検査システム
CN106210675A (zh) 一种输电线路山火监测方法、装置和系统
CN112969977A (zh) 抓捕辅助方法、地面指挥平台、无人机、系统及存储介质
US20200391882A1 (en) Monitoring System for Monitoring Multiple Locations with 360 Degree Camera Apparatuses
CN109194284A (zh) 光伏电站巡检系统、地面终端及航拍设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18857114

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18857114

Country of ref document: EP

Kind code of ref document: A1