KR101806217B1 - Method and apparatus for detecting malfunction panel from UAV thermal infrared images of photovoltaic modules - Google Patents
Method and apparatus for detecting malfunction panel from UAV thermal infrared images of photovoltaic modules Download PDFInfo
- Publication number
- KR101806217B1 KR101806217B1 KR1020170077800A KR20170077800A KR101806217B1 KR 101806217 B1 KR101806217 B1 KR 101806217B1 KR 1020170077800 A KR1020170077800 A KR 1020170077800A KR 20170077800 A KR20170077800 A KR 20170077800A KR 101806217 B1 KR101806217 B1 KR 101806217B1
- Authority
- KR
- South Korea
- Prior art keywords
- panel
- average
- malfunctioning
- malfunction
- panels
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000007257 malfunction Effects 0.000 title claims description 105
- 239000011159 matrix material Substances 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 71
- 238000002372 labelling Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003491 array Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000010248 power generation Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- CFZXDJWFRVEWSR-BUHFOSPRSA-N indigo carmine (acid form) Chemical compound N/1C2=CC=C(S(O)(=O)=O)C=C2C(=O)C\1=C1/NC2=CC=C(S(=O)(=O)O)C=C2C1=O CFZXDJWFRVEWSR-BUHFOSPRSA-N 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G06K9/3233—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
- H02S50/00—Monitoring or testing of PV systems, e.g. load balancing or fault identification
- H02S50/10—Testing of PV devices, e.g. of PV modules or single PV cells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
Description
본 발명은 태양광 어레이의 열적외선 영상으로부터 오작동 패널을 자동 검출하는 방법 및 장치에 관한 것으로서, 보다 상세하게는, 태양광 어레이의 열적외선 영상으로부터 패널별 밝기의 특성을 이용하여 오작동 패널을 자동 검출하는 방법 및 장치에 관한 것이다.The present invention relates to a method and an apparatus for automatically detecting a malfunctioning panel from a thermal infrared image of a solar array, and more particularly, to a method and apparatus for automatically detecting a malfunctioning panel from the thermal infrared image of a solar array, And more particularly,
태양광 발전 시스템은 재생에너지의 하나로 각광받고 있으나 태양광 에너지를 수집하기 위한 패널이 자연환경에 노출되어 운영되므로 모듈의 부식 등에 의해 단락이 발생하거나 먼지나 오물 등에 셀이 차폐되어 발전 효율이 저하된다. 따라서, 안정적인 발전량 유지를 위해서는 주기적인 검사를 통한 유지보수가 필요하다. However, since the panel for collecting solar energy is operated by exposure to the natural environment, short circuit occurs due to corrosion of the module, or the cell is shielded by dust or dirt, and the power generation efficiency is lowered . Therefore, it is necessary to perform maintenance periodically to maintain stable power generation.
발전 효율이 저하된 태양광 패널의 판별을 위해서는 육안 분석법과 출력 검사법을 적용할 수 있다. 그러나 향후 기후변화 대응을 위해서는 추가적인 대규모 태양광발전소가 건설/운영될 것이므로 대규모 태양광발전소의 점검에 육안 분석법을 적용할 경우 비용 및 소요시간 측면에서 경제성이 낮다. For the identification of solar panels with reduced power generation efficiency, visual analysis and power test methods can be applied. However, in order to cope with future climate change, additional large-scale solar power plants will be constructed / operated. Therefore, when the visual analysis method is applied to the inspection of large-scale solar power plants, economical efficiency in cost and time is low.
또한, 출력 검사법의 경우 각각의 패널에 대한 발전량을 모니터링하기 어렵기 때문에 이에 대한 한계를 극복한 점검 기술 개발이 필요하다.In addition, it is difficult to monitor the power generation of each panel in the case of output test method, so it is necessary to develop inspection technology that overcomes the limit.
일반적으로 결함이 발생한 셀은 열에너지를 방출하므로 주변의 정상 셀에 비해 높은 온도를 나타낸다. 따라서, 열화상 카메라를 이용할 경우 태양광발전소 운영 중에도 효과적으로 결함 부위의 검출이 가능하다. Generally, defective cells emit heat energy, so they show higher temperature than surrounding normal cells. Therefore, when the thermal imaging camera is used, it is possible to effectively detect the defective portion even during the operation of the solar power plant.
기존의 태양광발전소 점검에서는 이러한 기술적 특징을 이용하여 소형(hand-held) 열적외선 센서를 사용한 열화상 카메라를 이용하여 육안으로 오작동 패널을 검사하는 기술이 널리 활용되어 있다. 그러나, 이 방법을 대규모 태양광발전소의 점검에 적용할 경우 많은 시간과 비용이 요구된다.In a conventional solar power plant inspection, a technique for visually inspecting a malfunction panel using a thermal camera using a hand-held thermal infrared sensor using these technical features is widely used. However, when this method is applied to the inspection of a large-scale PV power plant, much time and cost are required.
최근 열화상 카메라를 무인항공기(Unmanned Aerial Vehicle, UAV)에 탑재하여 태양광발전소를 모니터링 하는 기술이 개발되고 있다. 이 기술은 넓은 지역에 분포한 태양광 어레이들을 신속하게 점검할 수 있으므로 향후 대규모 태양광발전소의 모니터링에 널리 활용될 것으로 전망된다. Recently, a technology for monitoring a solar power plant by installing a thermal camera on an unmanned aerial vehicle (UAV) is being developed. This technology is expected to be widely used for monitoring large-scale solar power plants in the future because it can quickly inspect solar arrays distributed over a wide area.
그러나, 현재까지 개발된 기술들은 항공에서 촬영된 영상을 육안으로 판독하여 오작동 패널을 검출하는 수준이므로 많은 양의 영상 분석을 위해서는 시간이 많이 걸리는(time consuming) 단점이 있다. 이를 개선하기 위해서는 컴퓨터 비전 기술을 융합하여 오작동 패널을 자동으로 검출하는 기술 개발이 필요하다.However, the technologies developed so far have the disadvantage of time consuming for a large amount of image analysis because the image captured by the air is visually detected and the malfunctioning panel is detected. To improve this, it is necessary to develop a technology to automatically detect malfunctioning panels by fusing computer vision technology.
또한, Tsanakas et al.(2015)는 태양광 패널에 존재하는 핫스팟 셀의 위치를 Canny edge operator를 통해 표현하는 방법을 고안하였다. 그러나, 우리나라의 태양광발전소 유지보수 체계에서는 일반적으로 파손된 셀이 존재하는 패널은 셀만 교체하는 것이 아니라 패널 자체를 교체한다. In addition, Tsanakas et al. (2015) devised a way to express the location of hotspot cells in a solar panel through the Canny edge operator. However, in the maintenance system of the solar power plant in Korea, the panel in which the damaged cell exists generally is replaced not by replacing the cell but by the panel itself.
따라서, 유지보수 업무에서의 알고리즘 활용도를 고려한다면 핫스팟 셀이 패널의 어느 위치에 존재하는지를 판단하기보다는 패널 자체의 오작동 여부를 판단하는 것에 초점을 두어야 한다.Therefore, considering the utilization of the algorithm in the maintenance work, it is necessary to focus on judging the malfunction of the panel itself rather than determining the position of the hotspot cell on the panel.
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 항공에서 촬영된 영상을 육안으로 판독하여 오작동 패널을 검출함으로써 많은 양의 영상 분석을 위해 많은 시간을 필요로 하는(Time Consuming) 불편함을 해소하고, 컴퓨터 비전 기술을 융합하여 오작동 패널을 자동으로 검출할 수 있는 오작동 패널 자동 검출 방법 및 장치를 제시하는 데 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide a navigation system and a navigation system capable of detecting a malfunctioning panel by visually reading an image taken by air, And to propose a malfunction panel automatic detection method and apparatus capable of automatically detecting a malfunctioning panel by blending computer vision technology.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The solution of the present invention is not limited to those mentioned above, and other solutions not mentioned can be clearly understood by those skilled in the art from the following description.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 다수의 태양광 패널들이 행렬 형태로 배열되어 이루어진 태양광 어레이의 열적외선 영상으로부터 오작동 패널을 자동 검출하는 방법은, (A) 상기 열적외선 영상으로부터 패널 영역을 추출하여 각 패널에 인덱스를 부여하는 단계; (B) 상기 추출된 다수의 태양광 패널들 각각의 밝기값 평균과 밝기값 평균의 표준편차를 산출하는 단계; (C) 상기 (B) 단계의 산출 결과로부터 상기 태양광 어레이의 행 별로 오작동 패널을 검출하기 위한 기준(이하, '오작동 패널 검출 기준'이라 함)을 조절하여 최종 오작동 패널을 검출하는 단계; 및 (D) 상기 검출된 최종 오작동 패널의 인덱스를 저장하는 단계;를 포함한다.According to an embodiment of the present invention, there is provided a method of automatically detecting a malfunctioning panel from a thermal infrared image of a solar array having a plurality of solar panels arrayed in a matrix form, Extracting a panel region from the thermal infrared image and assigning an index to each panel; (B) calculating a standard deviation of an average of brightness values and an average of brightness values of each of the extracted plurality of photovoltaic panels; (C) detecting a final malfunction panel by adjusting a criterion for detecting a malfunction panel for each row of the solar array from a calculation result of the step (B) (hereinafter referred to as a 'malfunction panel detection criterion'); And (D) storing an index of the detected final malfunction panel.
상기 (C) 단계는, 상기 다수의 태양광 패널들 중 동일한 행에 속하는 패널들 각각의 밝기값 평균과 밝기값 평균의 표준편차로부터 상기 오작동 패널 검출 기준을 산출하고, 각 패널의 밝기값 평균과 밝기값 평균의 표준편차 중 적어도 하나와, 상기 산출된 오작동 패널 검출 기준을 비교하여 오작동 패널을 검출한다.In the step (C), the malfunction panel detection criterion is calculated from the average of the brightness values and the average of the brightness values of the panels belonging to the same row among the plurality of solar panels, At least one of the standard deviation of the brightness value average and the calculated malfunction panel detection criterion is compared to detect a malfunctioning panel.
상기 (C) 단계는, (C1) 상기 동일한 행에 속하는 패널들의 전체 밝기값 평균과 상기 전체 밝기값 평균에 대한 표준편차를 합하여 CMI(Criteria for Mean Intensities)를 제1오작동 패널 검출 기준으로서 산출하는 단계; (C2) 오작동 패널인지 검사하기 위한 해당 패널의 밝기값 평균과 상기 산출된 CMI를 비교하여, 상기 해당 패널의 밝기값 평균이 상기 CMI 보다 크면 상기 해당 패널을 후보 오작동 패널로 분류하는 단계; (C3) 상기 분류된 후보 오작동 패널의 밝기값과 상기 동일한 행에 속하는 패널들의 평균 표준편차를 합하여 CSD(Criteria for Standard Deviations)를 제2오작동 패널 검출 기준으로서 산출하는 단계; 및 (C4) 상기 후보 오작동 패널의 밝기값 평균과 밝기값 평균의 표준편차를 합한 값이 상기 CSD보다 크면, 상기 후보 오작동 패널을 상기 최종 오작동 패널로서 검출하는 단계;를 포함한다.The step (C) includes: (C1) calculating a criterion for mean intensities (CMI) as a first malfunction panel detection criterion by summing an average of all brightness values of the panels belonging to the same row and a standard deviation of the average brightness value step; (C2) comparing the average brightness value of the corresponding panel for checking whether the panel is a malfunctioning panel and the calculated CMI, and classifying the panel into a candidate malfunctioning panel if the average brightness value of the panel is greater than the CMI; (C3) calculating a criterion for standard deviations (CSD) as a second malfunction panel detection criterion by summing the brightness value of the classified candidate malfunction panel and the average standard deviation of the panels belonging to the same row; And (C4) detecting the candidate malfunctioning panel as the final malfunctioning panel if the sum of the brightness value average of the candidate malfunctioning panel and the standard deviation of the average brightness value is greater than the CSD.
상기 (C3) 단계에서, 상기 동일한 행에 속하는 패널들의 평균 표준편차는, 상기 동일한 행에 속하는 패널들 각각의 ROI(Region Of Interest)를 구성하는 픽셀 수가 상이하므로, 상기 각 패널의 밝기값에 대한 표준편차마다 해당 ROI의 픽셀 수가 가중치로서 부여되어 산출된다.In step (C3), since the average standard deviation of the panels belonging to the same row is different from the number of pixels constituting the ROI (Region Of Interest) of each of the panels belonging to the same row, And the number of pixels of the corresponding ROI is given as a weight for each standard deviation.
상기 (C3) 단계에서, 상기 패널들의 평균 표준편차는 다음의 식을 이용하여 산출된다.In step (C3), the average standard deviation of the panels is calculated using the following equation.
여기서, 
상기 (A) 단계 이후, (E) 상기 추출된 다수의 태양광 패널들 중 동일한 행에 속하는 패널들끼리 그룹화하는 단계;를 더 포함하며, 상기 (B) 단계 및 상기(C) 단계는 그룹화된 행 별로 수행된다.The method of
한편, 본 발명의 실시 예에 따른 다수의 태양광 패널들이 행렬 형태로 배열되어 이루어진 태양광 어레이의 열적외선 영상으로부터 오작동 패널을 자동 검출하는 장치는, 상기 열적외선 영상으로부터 추출된 패널 영역의 각 패널에 인덱스를 부여하는 라벨링부; 상기 추출된 다수의 태양광 패널들 각각의 밝기값 평균과 밝기값 평균의 표준편차를 산출하는 산출부; 상기 산출부의 산출 결과로부터 상기 태양광 어레이의 행 별로 오작동 패널을 검출하기 위한 기준(이하, '오작동 패널 검출 기준'이라 함)을 조절하여 최종 오작동 패널을 검출하는 오작동 패널 검출부; 및 상기 최종 오작동 패널의 인덱스를 저장하는 저장부;를 포함한다.An apparatus for automatically detecting a malfunctioning panel from a thermal infrared image of a solar array having a plurality of solar panels arranged in a matrix form according to an embodiment of the present invention includes: A labeling unit for giving an index to the labeling unit; A calculating unit for calculating a standard deviation of an average of brightness values and an average of brightness values of each of the plurality of extracted solar panels; A malfunction panel detector for detecting a final malfunction panel by adjusting a criterion for detecting a malfunction panel for each row of the solar array from a calculation result of the calculator (hereinafter, referred to as 'malfunction panel detection criterion'); And a storage unit for storing an index of the final malfunction panel.
상기 오작동 패널 검출부는, 상기 다수의 태양광 패널들 중 동일한 행에 속하는 패널들 각각의 밝기값 평균과 밝기값 평균의 표준편차로부터 상기 오작동 패널 검출 기준을 산출하고, 각 패널의 밝기값 평균과 밝기값 평균의 표준편차 중 적어도 하나와, 상기 산출된 오작동 패널 검출 기준을 비교하여 오작동 패널을 검출한다.Wherein the malfunctioning panel detection unit calculates the malfunctioning panel detection criterion based on the average of the brightness values of the panels belonging to the same row among the plurality of solar panels and the standard deviation of the average of the brightness values, And a standard deviation of a value average and a malfunction panel by comparing the calculated malfunction panel detection criterion.
상기 오작동 패널 검출부는, 상기 동일한 행에 속하는 패널들의 전체 밝기값 평균과 상기 전체 밝기값 평균에 대한 표준편차를 합하여 CMI(Criteria for Mean Intensities)를 제1오작동 패널 검출 기준으로서 산출하는 CMI 산출부; 오작동 패널인지 검사하기 위한 해당 패널의 밝기값 평균과 상기 산출된 CMI를 비교하여, 상기 해당 패널의 밝기값 평균이 상기 CMI 보다 크면 상기 해당 패널을 후보 오작동 패널로 분류하는 후보 오작동 패널 분류부; 상기 분류된 후보 오작동 패널의 밝기값과 상기 동일한 행에 속하는 패널들의 평균 표준편차를 합하여 CSD(Criteria for Standard Deviations)를 제2오작동 패널 검출 기준으로서 산출하는 CSD 산출부; 및 상기 후보 오작동 패널의 밝기값 평균과 밝기값 평균의 표준편차를 합한 값이 상기 CSD보다 크면, 상기 후보 오작동 패널을 상기 최종 오작동 패널로서 검출하는 최종 오작동 패널 검출부;를 포함한다.Wherein the malfunctioning panel detection unit calculates a CMI (Criteria for Mean Intensities) as a first malfunctioning panel detection criterion by summing an average of all the brightness values of the panels belonging to the same row and a standard deviation of the average brightness value; A candidate malfunctioning panel classifying unit for classifying the panel into a candidate malfunctioning panel if the average of the brightness values of the corresponding panel for inspecting the malfunctioning panel is compared with the calculated CMI and the brightness value average of the corresponding panel is larger than the CMI; A CSD calculating unit for calculating a criterion for standard deviations (CSD) as a second malfunctioning panel detection criterion by summing the brightness values of the classified candidate malfunctioning panel and the average standard deviation of the panels belonging to the same row; And a final malfunction panel detector for detecting the candidate malfunction panel as the final malfunction panel if a value obtained by adding the brightness value average of the candidate malfunction panel and the standard deviation of the average brightness value is larger than the CSD.
상기 CSD 산출부는, 상기 동일한 행에 속하는 패널들 각각의 ROI(Region Of Interest)를 구성하는 픽셀 수가 상이하므로, 상기 각 패널의 밝기값에 대한 표준편차마다 해당 ROI의 픽셀 수를 가중치로서 부여하여 상기 평균 표준편차를 산출한다.Since the number of pixels constituting the region of interest (ROI) of each of the panels belonging to the same row is different from the number of pixels constituting the ROI, the CSD calculator assigns the number of pixels of the corresponding ROI as a weight for each standard deviation of the brightness value of each panel, The average standard deviation is calculated.
본 발명에 따르면, 항공에서 촬영된 영상을 육안으로 판독하여 오작동 패널을 검출하지 않고 컴퓨터 비전 기술을 융합하여 자동으로 오작동 패널을 검출함으로써 많은 양의 영상 분석 시에도 필요한 시간을 단축시킬 수 있다.According to the present invention, it is possible to shorten the time required for a large amount of image analysis by automatically detecting a malfunctioning panel by fusing computer vision technology without reading a malfunctioning panel by reading an image photographed by air.
또한, 본 발명에 따르면, 오작동 패널 여부를 판단하기 위한 변수로서 패널 별 밝기값 평균과 표준편차 범위를 선정하고, 태양광 어레이의 전체 패널에 대한 통계값이 아닌 어레이 행 별 통계값을 이용하여 오작동 여부를 판별할 수 있는 Local Detection Rule을 사용함으로써, 전체 패널의 표준편차를 산출하는 것에 비해 오작동 여부를 검출하는 기준의 범위를 세분화하여 보다 민감하고 정확하게 오작동 패널을 검출할 수 있다.In addition, according to the present invention, as a variable for judging whether or not a malfunction panel is used, a brightness average value and a standard deviation range for each panel are selected, and malfunctions It is possible to detect the malfunctioning panel more sensitively and accurately by subdividing the range of the reference for detecting the malfunction, as compared with calculating the standard deviation of the entire panel by using the Local Detection Rule.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 실시 예에서 사용되는 열적외선 영상과 인덱스가 부여된 그레이 스케일 영상의 일 예를 보여주는 도면,
도 2는 추출된 패널 영역에서 각 패널의 밝기값을 3차원으로 표현한 결과를 보여주는 도면,
도 3은 각각의 패널 ROI에서 발생한 밝기값의 최대값과 최소값을 이용해 해당 패널의 밝기값 범위를 나타낸 결과를 도시한 도면,
도 4는 정상 패널과 오작동 패널의 밝기값 특성을 확인하기 위해 밝기값 히스토그램을 비교한 도면,
도 5는 각각의 패널 영역 픽셀들의 밝기값으로부터 산출한 밝기값 평균과 표준편차 범위를 도시한 도면,
도 6은 본 발명의 실시 예에 따른 태양광 어레이의 열적외선 영상으로부터 오작동 패널을 자동 검출하는 방법을 설명하기 위한 흐름도,
도 7은 S500단계를 보다 자세히 설명하기 위한 흐름도,
도 8은 본 발명의 실시 예에 따른 오작동 패널 자동 검출 장치를 도시한 블록도, 그리고,
도 9는 본 발명의 실시 예에 따른 오작동 패널 검출 방법 및 장치를 통해 오작동 패널 여부를 진단한 결과를 보여주는 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view showing an example of a thermal infrared image and a gray scale image to which an index is assigned, used in an embodiment of the present invention;
FIG. 2 is a view showing a result of three-dimensionally expressing the brightness value of each panel in the extracted panel area;
FIG. 3 is a view showing a result of expressing a range of brightness values of a corresponding panel by using a maximum value and a minimum value of a brightness value generated in each panel ROI,
FIG. 4 is a view comparing brightness value histograms to verify brightness value characteristics of a normal panel and a malfunction panel;
FIG. 5 is a graph showing an average of brightness values and a standard deviation range calculated from brightness values of respective panel area pixels,
6 is a flowchart illustrating a method for automatically detecting a malfunction panel from a thermal infrared image of a solar array according to an exemplary embodiment of the present invention.
7 is a flowchart for explaining step S500 in more detail;
8 is a block diagram illustrating an apparatus for automatically detecting a malfunctioning panel according to an embodiment of the present invention,
9 is a view showing a result of diagnosing whether a malfunction panel is detected through a method and apparatus for detecting a malfunction panel according to an embodiment of the present invention.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 또한, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features, and advantages of the present invention will become more readily apparent from the following description of preferred embodiments with reference to the accompanying drawings. In addition, the embodiments disclosed herein are provided so that the disclosure can be thorough and complete, and will fully convey the scope of the invention to those skilled in the art.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.Where the terms first, second, etc. are used herein to describe components, these components should not be limited by such terms. These terms have only been used to distinguish one component from another. The embodiments described and exemplified herein also include their complementary embodiments.
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.Also, terms used herein are for the purpose of illustrating embodiments and are not intended to limit the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. The terms "comprises" and / or "comprising" used in the specification do not exclude the presence or addition of one or more other elements.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시 예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다. Hereinafter, the present invention will be described in detail with reference to the drawings. In describing the specific embodiments below, various specific details have been set forth in order to explain the invention in greater detail and to assist in understanding it. In some instances, it should be noted that portions of the invention that are not commonly known in the description of the invention and are not significantly related to the invention do not describe confusing reasons for explaining the present invention.
먼저, 본 발명의 실시 예에 따르면, 오작동 패널 자동 검출 방법 및 장치(800)는 열적외선 카메라를 탑재한 무인항공기로 태양광 어레이를 촬영하여 열적외선 영상을 획득한다. 그리고, 열적외선 영상으로부터 추출된 패널 영역 폴리곤을 기반으로, 각각의 패널 영역의 밝기값 통계치를 이용하여 자동으로 오작동 패널을 검출할 수 있다. First, according to an embodiment of the present invention, a malfunction panel automatic detection method and
다시 말하면, 본 발명의 실시 예에 따르면, 하나의 태양광 어레이는 다수의 패널들로 이루어져 있으므로, 각 패널 영역을 자동으로 추출하게 되는 경우, 추출된 각 패널 영역에 해당하는 패널의 오작동 여부를 판단할 수 있다. In other words, according to the embodiment of the present invention, since one solar array is composed of a plurality of panels, when the panel area is automatically extracted, it is judged whether or not the panel corresponding to each extracted panel area is malfunctioned can do.
이 때, 패널의 오작동 여부 판단은 각각의 패널 별 밝기값(온도값)의 통계적 특성을 이용한다. 밝기값의 통계적 특성은 각 패널의 밝기값 평균과 밝기값에 대한 표준편차를 포함한다. 밝기값의 통계적 특성을 분석한 결과, 패널 별 밝기값 평균과 표준편차 범위를 오작동 패널 판별을 위한 파라미터로 활용할 수 있음을 확인하였다.At this time, the judgment of the malfunction of the panel uses the statistical characteristic of the brightness value (temperature value) of each panel. The statistical characteristics of the brightness values include the standard deviations of the average brightness values and brightness values of each panel. As a result of analyzing the statistical characteristics of the brightness values, it is confirmed that the average brightness value and the standard deviation range of each panel can be used as a parameter for discriminating the malfunctioning panel.
한편, 항공에서 촬영된 태양광발전소의 열적외선 영상에서 오작동 패널을 자동으로 검출하기 위해서는 크게 두 개의 핵심 기술이 필요하다. On the other hand, two key technologies are needed to automatically detect malfunctioning panels in thermal infrared images of photovoltaic power plants photographed by airlines.
첫 번째 기술은 주어진 영상에서 관심영역(ROI: Region Of Interest)인 태양광 패널 영역을 자동으로 추출하는 기술이다. 본 출원인과 동일한 출원인에 의해 출원된 특허 출원 제2016-0169316호에 기술된 방식으로 패널 영역을 추출하는 경우, UAV에서 획득한 열적외선 영상으로부터 개별적인 패널 영역의 폴리곤 생성이 가능함을 알 수 있다. 따라서, 컴퓨터 비전을 기반으로 보다 완벽한 패널영역의 자동 추출이 가능하다.The first technique is a technology for automatically extracting a region of the photovoltaic panel that is a region of interest (ROI) in a given image. It can be seen that polygons of individual panel regions can be generated from the thermal infrared images obtained by the UAV when the panel region is extracted in the manner described in Patent Application No. 2016-0169316 filed by the same applicant as the present applicant. Therefore, it is possible to automatically extract the panel area more completely based on the computer vision.
두 번째 기술은 추출된 태양광 패널영역을 기반으로 자동으로 오작동 패널을 판별하는 기술이다. 우리나라의 태양광발전소 유지보수 체계에서는 일반적으로 파손된 셀이 존재하는 패널은 셀만 교체하는 것이 아니라 패널 자체를 교체한다. 따라서, 유지보수 업무에서의 알고리즘 활용도를 고려하여, 본 발명은 핫스팟 셀이 패널의 어느 위치에 존재하는지를 판단하기보다는, 핫스팟 셀이 존재하는 패널 자체의 오작동 여부를 판단하는 것에 초점을 둔다. The second technique is to automatically identify malfunctioning panels based on extracted photovoltaic panel area. In the maintenance system of solar power plant in Korea, generally, a panel in which a broken cell exists does not replace only a cell but replaces a panel itself. Therefore, in consideration of the utilization of the algorithm in the maintenance work, the present invention focuses on determining the malfunction of the panel itself in which the hot spot cell exists, rather than determining the position of the hot spot cell in the panel.
또한, 본 발명의 실시 예에서는 UAV를 이용한 대규모 태양광발전소의 신속한 점검을 목표로 하기 때문에 셀의 형상까지 확인할 수 있는 해상도보다는 태양광 패널의 윤곽과 핫스팟 유무를 확인할 수 있는 정도의 해상도를 가진 영상을 활용한다.In addition, since the embodiment of the present invention aims at quick inspection of a large-scale solar power plant using a UAV, the image having a resolution that can confirm the contour of the solar panel and the presence of hotspot .
따라서, 본 발명의 실시 예에서는 Canny edge operator와 같은 임계값 차이를 이용한 방법보다는, 자동으로 추출된 각각의 패널 영역 폴리곤들이 가진 밝기값(intensity) 특성을 상대적으로 비교하여 패널의 오작동 가능성을 자동으로 판별 및 검출하는 방법을 사용한다. 이는, 오작동 패널의 밝기값 통계치 특성은 정상 패널과는 다른 형태로 나타나므로 밝기값 통계치를 오작동 패널 판별을 위한 파라미터로 적용할 수 있기 때문이다. Therefore, in the embodiment of the present invention, the brightness characteristic of each panel region polygon that is automatically extracted is relatively compared, rather than the threshold value difference method such as the Canny edge operator, A method of discrimination and detection is used. This is because the brightness value statistic characteristic of the malfunction panel is different from that of the normal panel, so that the brightness value statistic can be applied as a parameter for discriminating the malfunctioning panel.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
먼저, 본 발명의 실시 예에 따른 오작동 패널 검출 방법을 설명하기에 앞서, 도 1 내지 도 5를 참조하여, 각 패널의 밝기값 특성을 정상 패널과 오작동 패널 별로 비교함으로써, 밝기값의 통계적 특성을 이용하여 오작동 패널을 검출하는 과정의 적합성에 대해 설명한다.First, referring to FIGS. 1 to 5, the brightness characteristic of each panel is compared with a normal panel and a malfunction panel to explain the statistical characteristics of the brightness values before explaining the malfunction panel detection method according to the embodiment of the present invention. The suitability of the process of detecting a malfunctioning panel will be described.
도 1은 본 발명의 실시 예에서 사용되는 열적외선 영상과 인덱스가 부여된 그레이 스케일 영상의 일 예를 보여주는 도면이다.FIG. 1 is a view showing an example of a thermal infrared image and a gray scale image to which an index is assigned, used in an embodiment of the present invention.
도 1의 (a)는 열적외선 카메라를 탑재한 UAV를 이용하여 운영 중인 태양광 발전소를 관측하여 획득한 열적외선 영상이다. 이 열적외선 영상은, 독일의 Paul Kitawa사에서 촬영한 영상들 중 640ⅹ480의 픽셀 사이즈로 구성되어 있다.1 (a) is a thermal infrared image obtained by observing a solar power plant operating using a UAV equipped with a thermal infrared camera. This thermal infrared image is composed of 640x480 pixel size of images taken by Paul Kitawa of Germany.
특허 출원 제2016-0169316호에 기술된 방식으로 영상분할 기반의 패널 영역을 자동으로 추출하여 도 1의 (b)와 같이 각 패널 영역에 대한 폴리곤을 생성한다. The panel region based on the image division is automatically extracted in the manner described in Patent Application No. 2016-0169316 to generate polygons for each panel region as shown in FIG. 1 (b).
도 1의 (c)는 각각의 추출된 패널 영역 폴리곤을 이용하여 그레이 스케일 영상의 패널 별로 인덱스를 라벨링한 결과를 보여준다. FIG. 1 (c) shows the result of labeling an index for each panel of a gray-scale image using each extracted panel region polygon.
도 1의 (c)를 육안으로 확인하면 5 개의 패널(6, 23, 26, 64, 66번 패널)에 핫스팟이 존재한다. 모든 패널에서 핫스팟은 string의 형태로 나타난다. 1 (c) is visually confirmed, there are hotspots in five panels (
도 2는 추출된 패널 영역에서 각 패널의 밝기값을 3차원으로 표현한 결과를 보여주는 도면이다.FIG. 2 is a diagram showing a result of three-dimensionally expressing brightness values of each panel in the extracted panel region.
도 2를 참조하면, 각각의 패널은 거의 동일한 형태와 작은 변동폭의 밝기값 특성을 나타낸다. 그러나, 핫스팟이 존재하는 패널(6, 23, 26, 64, 66번 패널)의 경우 핫스팟 위치에서의 밝기값은 정상 패널에 비해 변동폭이 크게 나타난다. 또한, 33번 패널에서는 어레이 하단부에 밝기값이 큰 영역이 확인된다. 이 현상은 패널 영역 추출 과정에서 지면의 노이즈로 인해 패널 하단 영역이 실제보다 넓게 추출되어 발생한 것일 수 있다.Referring to FIG. 2, each of the panels exhibits brightness values characteristic of almost the same shape and small variation. However, in the case of the panels (6, 23, 26, 64, and 66) in which the hotspots exist, the brightness value at the hotspot position is larger than that of the normal panel. In the case of the panel No. 33, a region having a large brightness value is observed at the bottom of the array. This phenomenon may be caused by extracting the lower area of the panel more widely than the actual area due to the noise of the ground in the process of extracting the panel area.
또한, 그레이 스케일 영상의 왼쪽에서 오른쪽으로 갈수록 패널의 밝기값이 크게 나타나는 특성도 나타난다. 이는 패널과 센서간의 거리가 오른쪽에 위치한 패널이 왼쪽에 비해 더 가깝기 때문에 나타나는 현상으로 판단된다.In addition, a characteristic that a brightness value of the panel is increased from the left to the right of the gray scale image appears. This is because the distance between the panel and the sensor is closer to the left than the panel on the right.
본 발명의 실시 예는 열적외선 영상에서 핫스팟이 발생한 패널을 오작동 패널로 간주하여 이를 인식하는 알고리즘을 제안하는 것을 특징으로 한다. 따라서, 각각의 패널 ROI에서 영상의 밝기값 차이가 크게 나타난 패널은 핫스팟이 발생한 것으로 판단하여 오작동 패널로 결정한다.The embodiment of the present invention is characterized in that an algorithm for recognizing a panel in which a hot spot occurs in a thermal infrared image is regarded as a malfunctioning panel is proposed. Therefore, a panel having a large difference in brightness of an image in each panel ROI is determined as a malfunction panel by determining that a hot spot has occurred.
도 3은 각각의 패널 ROI에서 발생한 밝기값의 최대값과 최소값을 이용해 해당 패널의 밝기값 범위를 나타낸 결과를 도시한 도면이다. FIG. 3 is a diagram showing a result of expressing a brightness value range of a corresponding panel using the maximum value and the minimum value of the brightness value generated in each panel ROI.
도 3을 참조하면, 파란색 막대 그래프는 각 정상 패널의 밝기값 범위이고, 노란색 막대 그래프는 오작동 패널의 밝기값 범위를 나타낸다. 밝기값 범위에 대해 특정 임계값을 선정하여 오작동 패널을 판별하는 방법을 적용한다면, Case 1과 같이 200을 임계값으로 설정한 경우 모든 오작동 패널을 검출할 수 있으나 다수의 정상 패널들(24, 25, 33, 67번 패널)도 오작동 패널인 것처럼 선택될 수 있다. Referring to FIG. 3, the blue bar graph represents the brightness value range of each normal panel, and the yellow bar graph represents the brightness value range of the malfunction panel. If a method of identifying a malfunctioning panel by selecting a specific threshold value for a brightness value range is applied, as in
또한, Case 2와 같이 임계값을 230으로 설정한 경우, 이러한 오차를 완화할 수 있으나 최대 밝기값이 다른 오작동 패널에 비해 작게 나타나는 6번 패널의 경우 검출할 수 없다. If the threshold value is set to 230 as in
또한, 단순히 밝기값의 최대 임계값을 기준으로 오작동 패널을 결정할 경우, 33번 패널과 같이 패널 영역 추출에서의 오차로 인해 정상 패널이 오작동 패널로 인식될 수도 있다.In addition, when a malfunctioning panel is simply determined based on the maximum threshold value of the brightness value, the normal panel may be recognized as a malfunctioning panel due to an error in the panel region extraction as in the case of the panel No. 33.
따라서, 본 발명의 실시 예에서는, 단순히 패널의 밝기값의 범위만으로 오작동 패널을 판별하지 않고 밝기값에 대한 통계적 특성을 더 고려하여, 오작동 패널의 검출 오류 가능성을 최소화한다.Therefore, in the embodiment of the present invention, the possibility of detection error of the malfunction panel is minimized by considering the statistical characteristic of the brightness value without discriminating the malfunction panel merely by the range of the brightness value of the panel.
도 4는 정상 패널과 오작동 패널의 밝기값 특성을 확인하기 위해 밝기값 히스토그램을 비교한 도면이다.FIG. 4 is a graph comparing histograms of brightness values to identify characteristics of brightness values of a normal panel and a malfunctioning panel.
도 4를 참조하면, 왼쪽은 정상 패널(25, 63번 패널), 오른쪽은 오작동 패널(26, 64번 패널)의 히스토그램을 나타낸다. 정상 패널의 경우 인접한 패널들이 서로 비슷한 밝기값 분포를 나타내므로 핫스팟을 가지고 있는 패널과 인접한 정상 패널의 특성을 비교한다. Referring to FIG. 4, the left side shows the histogram of the top panel (
도 4에서 파란색 실선과 점선은 각각 전체 패널영역 픽셀들의 밝기값 평균과 표준편차 범위를 나타낸다. 빨간색 다이아몬드와 실선은 각각 해당 패널영역 픽셀들의 밝기값 평균과 표준편차 범위를 나타낸다.In FIG. 4, the blue solid line and the dotted line indicate the average brightness value and the standard deviation range of the pixels of the entire panel area, respectively. The red diamond and the solid line represent the mean value and standard deviation of the brightness values of the corresponding panel area pixels, respectively.
정상 패널의 히스토그램은 밝기값 200 이하의 범위에 분포해 있고, 전체 패널들의 밝기값 평균 인근에 집중된 정규분포와 유사한 형태가 나타난다. 반면, 오작동 패널의 경우 200 이상의 밝기값을 가진 픽셀들이 존재하며, 정규분포가 아닌 다중 피크의 형태를 나타낸다. The histogram of the normal panel is distributed in the range of the brightness value of 200 or less, and a shape similar to a normal distribution concentrated on the average of the brightness values of all the panels appears. On the other hand, in the case of a malfunctioning panel, there are pixels having a brightness value of 200 or more, and they represent a form of multiple peaks other than a normal distribution.
각각의 패널에서 산출된 평균값과 표준편차 범위를 비교하면, 정상 패널의 경우 전체 패널들의 표준편차 범위와 유사한 크기를 나타낸다. 반면, 오작동 패널의 경우, 각 패널의 밝기값 평균이 전체 패널들의 표준편차 범위보다 큰 값을 갖는다. 이러한 현상은, 오작동 패널의 경우 패널에 존재하는 핫스팟으로 인해 밝기값의 분포 범위가 커지며, 이로 인해 표준편차도 크게 나타나기 때문이다.When comparing the mean value and the standard deviation range calculated from each panel, it shows a size similar to the standard deviation range of all panels in the case of the normal panel. On the other hand, in case of a malfunctioning panel, the brightness value average of each panel is larger than the standard deviation range of all panels. This phenomenon is due to the fact that the distribution range of the brightness value becomes large due to the hot spot existing on the panel in the case of the malfunctioning panel, and the standard deviation becomes large accordingly.
도 5는 각각의 패널 영역 픽셀들의 밝기값으로부터 산출한 밝기값 평균과 표준편차 범위를 도시한 도면이다. 5 is a graph showing the average of brightness values and the standard deviation range calculated from the brightness values of the respective panel area pixels.
도 5를 참조하면, 빨간색과 녹색 사각형은 각각 정상 패널과 오작동 패널의 밝기값 평균이고, 빨간 실선은 각각의 패널 밝기값의 표준편차 범위이고, 파란색 실선과 점선은 각각 전체 패널 밝기값의 평균과 표준편차 범위이다.Referring to FIG. 5, the red and green rectangles are average brightness values of the normal panel and the malfunctioning panel, the red solid line is the standard deviation range of each panel brightness value, and the blue solid line and the dotted line indicate the average of the entire panel brightness value Standard deviation range.
도 5로부터 다음 두 가지 특성을 알 수 있다. From Fig. 5, the following two characteristics can be seen.
첫째, 각각의 개별 패널에서의 밝기값 평균의 특성이다. First, it is the characteristic of the brightness value average in each individual panel .
각각의 개별 패널 밝기값 평균은 대부분 전체 패널 밝기값의 표준편차 범위에 존재한다. 오작동 패널의 경우, 26번, 64번 및 66번 패널 각각의 밝기값 평균은 전체 패널 밝기값의 표준편차 범위에 비해 크지만, 6번과 23번 패널의 경우 표준편차 범위 안에 존재한다. 이는 각각의 패널에 대한 밝기값 평균만으로 오작동 패널을 구분하기는 어렵다는 것을 의미한다. Each individual panel brightness value average is mostly in the standard deviation range of the entire panel brightness value. In the case of a malfunctioning panel, the average value of the brightness of each of the
다행히 오작동 패널의 밝기값 평균값은 인접 패널들의 평균값보다 현저히 큰 값을 갖는다. 이로부터, 패널 별 밝기값 평균을 오작동 판별을 위한 점검 대상의 하나로 활용할 수 있음을 알 수 있다.Fortunately, the average value of the brightness values of the malfunctioning panel is significantly larger than the average value of the adjacent panels. From this, it can be seen that the average brightness value of each panel can be utilized as an object to be checked for malfunction.
둘째, 패널 별 밝기값에 대한 표준편차 범위의 특성이다. Second, it is a characteristic of the standard deviation range for the brightness value per panel .
밝기값 표준편차 범위의 크기를 비교한 결과, 오작동 패널의 밝기값의 표준편차 범위가 정상 패널에 비해 크면서, 또한, 패널 전체의 밝기값 평균에 대한 표준편차 범위보다도 큰 특성을 갖는다. 다만, 6번과 23번 패널과 같이 핫스팟 부분에서의 밝기값이 다른 오작동 패널에 비해 작은 경우에는, 전체 패널에 대한 표준편차 범위와 유사한 크기의 특성을 갖기도 한다.As a result of comparing the magnitude of the brightness value standard deviation range, the standard deviation range of the brightness value of the malfunctioning panel is larger than that of the normal panel and is larger than the standard deviation range of the brightness value average of the entire panel. However, when the brightness value in the hot spot portion is smaller than that of the other malfunction panel as in the case of the panels No. 6 and No. 23, it may have a size similar to the standard deviation range for the entire panel.
또한, 오작동 패널의 밝기값 표준편차 범위는 오작동 패널과 동일한 어레이 행에 존재하는 패널들의 표준편차 범위에 비해 확연하게 크다. 따라서, 전체 패널에 대한 표준편차 범위를 오작동 패널의 판별을 위한 임계값으로 사용하기 보다는, 인접 패널들(즉, 동일한 행에 존재하는 패널들) 간의 비교를 통해 오작동 패널을 검출하는 것이 보다 정확할 것이다.In addition, the brightness deviation standard deviation range of the malfunctioning panel is significantly larger than the standard deviation range of the panels in the same array row as the malfunctioning panel. Thus, rather than using the standard deviation range for the entire panel as a threshold for the determination of a malfunctioning panel, it would be more accurate to detect a malfunctioning panel through comparison between adjacent panels (i.e., the panels in the same row) .
특히, 본 발명의 실시 예에서, 상술한 밝기값 통계치(패널의 밝기값 평균과 표준편차)를 오작동 패널 판별에 사용할 경우, 각 패널에서 최대 밝기값을 이용하여 오작동 패널을 검출하는 방법에 비해 패널 영역 추출 오차에 의한 오류를 방지할 수 있다. Particularly, in the embodiment of the present invention, when the above-described brightness value statistic (average brightness value and standard deviation of the panel) is used for discriminating a malfunctioning panel, compared to a method of detecting a malfunctioning panel using the maximum brightness value in each panel It is possible to prevent an error due to the area extraction error.
또한, 본 발명의 실시 예에 따르면, 주어진 영상에서 오작동 패널을 판별하기 위한 기준 범위(후술할 CMI, CSD)를 어레이 행 별로 자동으로 산출할 수 있으므로 오작동 패널의 검출 정확도를 높이면서, 대규모 태양광발전소 점검 시스템의 자동화에 적합할 것으로 판단된다.In addition, according to the embodiment of the present invention, since the reference range (CMI, CSD to be described later) for identifying a malfunction panel in a given image can be automatically calculated for each array row, It is considered to be suitable for automation of power plant inspection system.
도 1 내지 도 5를 참조하여 본 발명의 실시 예에서 각 패널의 밝기값 평균과 표준편차, 그리고, 동일한 행에 위치하는 패널들의 밝기값 평균과 표준편차를 이용하여 오작동 패널을 검출하는 경우 정확도와 자동화에 효율적임을 상세히 설명하였다. Referring to FIGS. 1 to 5, in the case of detecting a malfunction panel using the brightness average and standard deviation of each panel and the brightness average and standard deviation of the panels located in the same row in the embodiment of the present invention, Automation is efficient.
이하에서는 도 6 내지 도 9를 참조하여, 본 발명의 실시 예에 따른 태양광 어레이의 열적외선 영상으로부터 오작동 패널을 자동 검출하는 방법 및 장치에 대해 설명한다.Hereinafter, a method and apparatus for automatically detecting a malfunctioning panel from a thermal infrared image of a solar array according to an embodiment of the present invention will be described with reference to FIGS. 6 to 9. FIG.
도 6은 본 발명의 실시 예에 따른 태양광 어레이의 열적외선 영상으로부터 오작동 패널을 자동 검출하는 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating a method for automatically detecting a malfunction panel from a thermal infrared image of a solar array according to an exemplary embodiment of the present invention.
도 6에 도시된 오작동 패널을 자동으로 검출하는 방법은, 오작동 패널 자동 검출 장치에 의해 수행될 수 있다. 오작동 패널 자동 검출 장치는 도 8에 도시된 오작동 패널 자동 검출 장치(800)일 수 있다.The method for automatically detecting the malfunctioning panel shown in Fig. 6 can be performed by the malfunctioning panel automatic detection apparatus. The malfunctioning panel automatic detecting apparatus may be the malfunctioning panel automatic detecting
도 6을 참조하면, 오작동 패널 자동 검출 장치는 다수의 태양광 패널들이 행렬 형태로 배열되어 이루어진 태양광 어레이를 촬영한 열적외선 영상으로부터 패널 영역을 추출한다(S100). S100단계는 상술한 특허 출원 제2016-0169316호에 기술된 방식을 이용하여 자동 추출 가능하며, 추출된 패널 영역은 도 1의 (b)와 같이 각 패널 별 폴리곤 형태로 구성될 수 있다. Referring to FIG. 6, a malfunction panel automatic detection apparatus extracts a panel area from a thermal infrared image of a photovoltaic array in which a plurality of solar panels are arranged in a matrix form (S100). Step S100 may be automatically extracted using the method described in the above-mentioned Patent Application No. 2016-0169316, and the extracted panel region may be configured as a polygon shape for each panel as shown in FIG. 1 (b).
이하에서는, S100단계에서 추출된 각 패널 영역을 설명의 편의를 위해 '패널'과 혼용할 수 있다.Hereinafter, each panel region extracted in step S100 may be used in combination with a 'panel' for convenience of explanation.
패널 영역의 추출이 완료되면, 오작동 패널 자동 검출 장치는 추출된 패널 영역의 각 패널 폴리곤에, 즉, 각 패널에 인덱스를 부여하여 도 1의 (c)와 같이 라벨링을 수행할 수 있다(S200). When the extraction of the panel area is completed, the malfunctioning panel automatic detection apparatus can perform labeling as shown in FIG. 1C by assigning an index to each panel polygon of the extracted panel area, that is, each panel (S200) .
라벨링이 완료되면, 오작동 패널 자동 검출 장치는 S100단계에 의해 추출된 다수의 태양광 패널들 중 동일한 행에 속하는 패널들끼리 그룹화할 수 있다(S300). When the labeling is completed, the malfunctioning panel automatic detection apparatus can group the panels belonging to the same row among the plurality of photovoltaic panels extracted in step S100 (S300).
태양광 어레이는 다수의 패널들이 행렬 형태로 구비되며, 도 1의 경우, 두 개의 태양광 어레이에는 각각 2행(총 4행)의 패널들이 구비되어 있으므로 4개의 그룹이 생성된다. 1행에는 1번~17번의 패널들이 포함되고, 2행에는 18번~34번의 패널들이 포함되어 있다. 또 다른 태양광 어레이의 1행(이하, '3항'이라 함)에는 35번~51번의 패널들이 포함되고, 2행(이하, '4항'이라 함)에는 52번~68번의 패널들이 포함된다.In the solar array, a plurality of panels are provided in the form of a matrix. In the case of FIG. 1, two solar arrays each have two rows (four rows in total), so four groups are created. The first row includes
본 발명의 실시 예에서, 오작동 패널 자동 검출 장치는 패널들이 동일한 행에 연속되어 있는지 또는 다른 행에 위치하는지 판단하여 어레이의 구조를 파악하고, 이러한 구조는 행렬 형태로 저장하여, 같은 행의 인덱스에 해당하는 패널들끼리 그룹화하여 밝기값의 통계적 분석이 가능하도록 할 수 있다. 이로써, 후술할 S400단계 및 S500단계는 그룹 단위, 즉, 행 단위로 동작될 수 있다.In an embodiment of the present invention, the malfunctioning panel automatic detection apparatus determines the structure of the array by determining whether the panels are consecutive in the same row or in another row, stores the structure in the form of a matrix, The corresponding panels can be grouped to enable statistical analysis of brightness values. Thus, steps S400 and S500 to be described later may be operated in units of a group, that is, on a row-by-row basis.
그룹화가 완료되면, 오작동 패널 자동 검출 장치는 추출된 다수의 패널들 각각의 밝기값 평균과 밝기값 평균의 표준편차를 산출한다(S400).When the grouping is completed, the malfunctioning panel automatic detection apparatus calculates the standard deviation of the average of the brightness values and the average of the brightness values of the plurality of extracted panels (S400).
그리고, 오작동 패널 자동 검출 장치는 태양광 어레이의 행 별로 오작동 패널을 검출하기 위한 기준(이하, '오작동 패널 검출 기준'이라 함)을 조절하여 최종 오작동 패널을 검출할 수 있다(S500). 즉, S500단계에서, 오작동 패널 자동 검출 장치는 태양광 어레이의 행 별로 오작동 패널 검출 기준을 산출하여, 행 단위로 최종 오작동 패널을 검출할 수 있다. The malfunctioning panel automatic detection apparatus can detect a final malfunctioning panel by adjusting a reference (hereinafter, referred to as 'malfunctioning panel detection reference') for detecting a malfunctioning panel for each row of the solar array (S500). That is, in step S500, the malfunctioning panel automatic detection apparatus may calculate the malfunctioning panel detection criterion for each row of the solar array, and detect the final malfunctioning panel on a row-by-row basis.
오작동 패널 자동 검출 장치는 S500단계에서 행 별로 검출된 최종 오작동 패널들의 인덱스를 저장한다(S600).In operation S600, the malfunctioning panel automatic detection apparatus stores the indexes of the final malfunction panels detected row by row.
이하에서는 도 7을 참조하여 S500단계를 보다 자세히 설명한다.Hereinafter, step S500 will be described in more detail with reference to FIG.
상술한 S500단계는, 다수의 태양광 패널들 중 동일한 행에 속하는 패널들 각각의 밝기값 평균과 밝기값 평균의 표준편차로부터 오작동 패널 검출 기준을 산출하고, 각 패널의 밝기값 평균과 밝기값 평균의 표준편차 중 적어도 하나와, 산출된 오작동 패널 검출 기준을 비교하여 오작동 패널을 검출하는 것이다.In step S500, the malfunction panel detection criterion is calculated from the average of the brightness values of the panels belonging to the same row among the plurality of solar panels and the standard deviation of the average of the brightness values. The average of the brightness values of the panels and the average brightness value And comparing the calculated standard deviation with the calculated standard deviation to detect a malfunctioning panel.
도 7은 S500단계를 보다 자세히 설명하기 위한 흐름도이다. 7 is a flowchart for explaining step S500 in more detail.
도 7을 참조하면, 오작동 패널 자동 검출 장치는 동일한 행에 속하는 패널들의 전체 밝기값 평균과 전체 밝기값 평균에 대한 표준편차를 합하여 제1오작동 패널 검출 기준인 CMI(Criteria for Mean Intensities)를 산출할 수 있다(S510). Referring to FIG. 7, the malfunctioning panel automatic detection apparatus calculates a criterion for mean intensities (CMI), which is a first malfunction panel detection criterion, by summing a total brightness value average of the panels belonging to the same row and a standard deviation of the average brightness value (S510).
오작동 패널 자동 검출 장치는 [수학식 1]을 참조하여 각 행 별로 CMI를 산출할 수 있다.The malfunctioning panel automatic detection apparatus can calculate the CMI for each row by referring to Equation (1).
[수학식 1]에서, CMI는 후보 오작동 패널을 분류하기 위한 1번째 기준 범위, M은 임의 행에 위치하는 전체 패널들의 밝기값 평균, std(M)은 전체 패널들의 밝기값 평균에 대한 표준편차이다. In Equation (1), CMI is a first reference range for classifying a candidate malfunctioning panel, M is a brightness value average of all panels located in an arbitrary row, std (M) is a standard deviation to be.
도 1의 (c)에서와 같이 열적외선 영상이 4행으로 이루어진 경우, CMI는 행 별로 산출되어 4개 산출된다. 예를 들어, 1행에 대한 CMI를 산출하는 경우, M은 1번 패널~17번 패널들 전체의 밝기값 평균이고, std(M)=std(M1~M17)일 수 있다. As shown in FIG. 1 (c), when the thermal infrared image is composed of four rows, the CMI is calculated for each row and four are calculated. For example, in the case of calculating the CMI for one row, M is the average brightness value of the entire panel from
오작동 패널 자동 검출 장치는 오작동 패널인지 검사하기 위한 해당 패널의 밝기값 평균(Mi, i는 패널의 인덱스)과 S510단계에서 산출된 소속된 행의 CMI를 비교하여, 해당 패널의 밝기값 평균(Mi)이 CMI보다 크면(S520-Yes), 해당 패널을 후보 오작동 패널로 분류할 수 있다(S530). 즉, 오작동 패널 자동 검출 장치는 
오작동 패널 자동 검출 장치는 열적외선 영상에서 추출된 모든 패널 영역들에 대해 CMI 비교가 완료되지 않으면(S540-No), S520단계를 수행한다. 즉, 오작동 패널 자동 검출 장치는 추출된 모든 패널 영역들에 대한 밝기값 평균과 각 패널이 속한 행의 CMI를 비교하기 위해, S520단계 내지 S540단계를 반복 수행한다.If the CMI comparison is not completed for all the panel regions extracted from the thermal infrared image (S540-No), the malfunctioning panel automatic detection apparatus performs step S520. That is, the malfunctioning panel automatic detection apparatus repeats steps S520 to S540 to compare the average brightness values of all the extracted panel areas with the CMI of the row to which each panel belongs.
모든 패널들에 대해 CMI와의 비교가 완료되어 후보 오작동 패널들이 검출되면(S540-Yes), 오작동 패널 자동 검출 장치는 후보 오작동 패널(Pi)이 속한 행의 평균 표준편차(Sw)와 CSD(Criteria for Standard Deviations)를 산출할 수 있다(S550). If the comparison with the CMI has been completed for all panel candidate malfunction panel are detected (S540-Yes), a malfunction panel automatic detection device is the average standard deviation of the line belonging to the candidate malfunction panel (P i) (S w) and CSD ( Criteria for Standard Deviations) (S550).
CSD는 제2오작동 패널 검출 기준으로서, S530단계에서 분류된 후보 오작동 패널들 중 정상 패널을 제외한 실제 오작동 패널들을 검출하는데 사용된다. 오작동 패널 자동 검출 장치는 [수학식 2]를 참조하여 후보 오작동 패널에 대한 CSD를 산출할 수 있다. The CSD is a second malfunction panel detection criterion and is used to detect actual malfunction panels except the normal panel among the candidate malfunction panels classified in step S530. The malfunctioning panel automatic detection apparatus can calculate the CSD for the candidate malfunctioning panel by referring to Equation (2).
[수학식 2]에서, CSDi는 후보 오작동 패널이 정상 패널인지 오작동 패널인기 검출하기 위한 2번째 기준 범위, Mi는 i번 후보 오작동 패널의 밝기값 평균, Sw는 후보 오작동 패널이 속한 행에 위치하는 전체 패널들의 평균 표준편차이다. [수학식 2]를 참조하면, CSD는 후보 오작동 패널의 밝기값 평균에 따라 달리짐을 알 수 있다. Equation (2) in, CSD i is the second reference range, M i is the mean i-th luminance value of the candidate malfunction panel, S w is the row to which it belongs candidate malfunction panel for the candidate failure panel detection top panel that the malfunction panel popularity Is the average standard deviation of the total panels located at. Referring to Equation (2), it can be seen that the CSD varies depending on the average brightness value of the candidate malfunctioning panel.
또한, 오작동 패널 자동 검출 장치는 [수학식 3]을 참조하여, [수학식 2]에서 사용되는 평균 표준편차(Sw)를 산출할 수 있다. 평균 표준편차(Sw)는 동일한 행에 속하는 패널들 각각의 밝기값 표준편차들의 평균이다. 따라서, 평균 표준편차 역시 행 단위로 산출될 수 있다.Further, the malfunctioning panel automatic detection apparatus can calculate the average standard deviation (S w ) used in the equation (2) with reference to the formula (3). The mean standard deviation (S w ) is the average of the brightness value standard deviations of each of the panels belonging to the same row. Therefore, the average standard deviation can also be calculated on a row-by-row basis.
[수학식 3]에서, 
[수학식 3]을 참조하면, 오작동 패널 자동 검출 장치는, 동일한 행에 속하는 패널들 각각의 ROI를 구성하는 픽셀 수가 상이하므로, 각 패널의 밝기값에 대한 표준편차마다 해당 ROI의 픽셀 수를 가중치로서 부여하여 평균 표준편차를 구한다.Referring to Equation (3), since the number of pixels constituting the ROI of each of the panels belonging to the same row is different from the number of pixels constituting the ROI of the same row, To obtain an average standard deviation.
[수학식 2] 및 [수학식 3]을 참조하여 후보 오작동 패널(Pi)들이 속한 행의 평균 표준편차(Sw) 및 CSDi가 산출되면, 오작동 패널 자동 검출 장치는 후보 오작동 패널의 밝기값 평균(Mi)과 밝기값 평균의 표준편차(std(Mi))를 합한 값과 CSDi를 비교한다. When the average standard deviation (S w ) and the CSD i of the row to which the candidate malfunctioning panels Pi belong are calculated by referring to the
비교 결과, 후보 오작동 패널의 밝기값 평균(Mi)과 밝기값 평균의 표준편차(std(Mi))를 합한 값이 CSDi보다 크면(S560-Yes), 오작동 패널 자동 검출 장치는 후보 오작동 패널을 최종 오작동 패널로서 검출할 수 있다(S570). 즉, 오작동 패널 자동 검출 장치는, 
반면, S520단계에서 해당 패널의 밝기값 평균(Mi)이 CMI보다 작거나(S520-No), S560단계에서 후보 오작동 패널의 밝기값 평균(Mi)과 밝기값 평균의 표준편차(std(Mi))를 합한 값이 CSDi보다 작으면(S560-No), 오작동 패널 자동 검출 장치는 해당 패널을 정상 패널로 분류할 수 있다(S580). On the other hand, if it is determined in step S520 that the average brightness value M i of the corresponding panel is less than CMI (S520-No), the average brightness value M i of the candidate malfunctioning panel and the standard deviation std M i)) if the sum is less than the CSD i (S560-No), the panel automatically malfunction detecting apparatus can classify the panel to the top panel (S580).
도 8은 본 발명의 실시 예에 따른 오작동 패널 자동 검출 장치(800)를 도시한 블록도이다.FIG. 8 is a block diagram illustrating a malfunctioning panel
도 8에 도시된 오작동 패널 자동 검출 장치(800)는 도 1 내지 도 7을 참조하여 설명한 오작동 패널 자동 검출 방법을 위한 오작동 패널 자동 검출 장치일 수 있다. 따라서, 오작동 패널 자동 검출 장치(800)에 대한 구체적인 설명은 생략한다.The automatic malfunction panel
또한, 오작동 패널 자동 검출 장치(800)의 각각의 구성은 기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다. In addition, each configuration of the malfunctioning panel
도 8을 참조하면, 오작동 패널 자동 검출 장치(800)는 패널 영역 추출부(810), 라벨링부(820), 그룹화부(830), 산출부(840), 오작동 패널 검출부(850) 및 저장부(860)를 포함한다.8, the malfunctioning panel automatic detecting
패널 영역 추출부(810)는 열적외선 영상으로부터 다수의 패널 영역을 추출한다.The panel
라벨링부(820)는 추출된 패널 영역들의 각 패널 폴리곤에, 즉, 각 패널에 인덱스를 부여하여 도 1의 (c)와 같이 라벨링을 수행한다.The
그룹화부(830)는 라벨링된 다수의 패널들 중 동일한 행에 속하는 패널들끼리 그룹화한다. 그룹화된 결과, 즉, 패널들의 배열 구조는 행렬 형태로 저장되어, 행 단위로 밝기값 통계적 분석이 가능하도록 할 수 있다.The
산출부(840)는 다수의 패널들 각각의 밝기값 평균과 밝기값 평균의 표준편차를 산출한다. 또한, 산출부(840)는 동일한 행에 속하는 전체 패널들의 밝기값 평균과 전체 패널들의 밝기값 평균의 표준편차도 더 산출할 수 있다.The calculating
오작동 패널 검출부(850)는 태양광 어레이의 행 별로 오작동 패널을 검출하기 위한 기준(이하, '오작동 패널 검출 기준'이라 함)을 산출(즉, 조절)하여 행 단위로 최종 오작동 패널을 검출할 수 있다. The malfunctioning
오작동 패널 검출부(850)는 CMI 산출부(851), 후보 오작동 패널 분류부(853), CSD 산출부(855) 및 최종 오작동 패널 검출부(857)를 포함한다.The malfunctioning
CMI 산출부(851)는 동일한 행에 속하는 패널들의 전체 밝기값 평균과 전체 밝기값 평균에 대한 표준편차를 합하여 CMI를 산출한다. CMI 산출부(851)는 [수학식 1]을 참조하여 CMI를 행 단위로 산출할 수 있다. The
후보 오작동 패널 분류부(853)는 오작동 패널인지 검사하기 위한 해당 패널의 밝기값 평균과 해당 패널이 속한 행의 CMI를 비교하여, 해당 패널의 밝기값 평균이 CMI 보다 크면 해당 패널을 후보 오작동 패널로 분류한다.The candidate malfunctioning
CSD 산출부(855)는 분류된 후보 오작동 패널의 밝기값과 동일한 행에 속하는 패널들의 평균 표준편차를 합하여 CSD를 산출한다.The
CSD 산출부(855)는, 동일한 행에 속하는 패널들 각각의 ROI를 구성하는 픽셀 수가 상이하므로, 각 패널의 밝기값에 대한 표준편차마다 해당 ROI의 픽셀 수를 가중치로서 부여하여 평균 표준편차를 먼저 산출한다. 그리고, CSD 산출부(855)는 평균 표준편차와 후보 오작동 패널의 밝기값 평균을 합하여, 후보 오작동 패널에 해당하는 CSD를 산출한다. CSD 산출부(855)는 [수학식 2] 및 [수학식 3]을 참조하여 CSD를 후보 오작동 패널 별로 산출할 수 있다.Since the number of pixels constituting the ROI of each panel belonging to the same row is different, the
최종 오작동 패널 검출부(857)는 후보 오작동 패널의 밝기값 평균과 밝기값 평균의 표준편차를 합한 값이 CSD보다 크면, 후보 오작동 패널을 최종 오작동 패널로서 검출한다.The final
한편, 저장부(860)는 행 별로 검출된 최종 오작동 패널의 인덱스를 저장한다.Meanwhile, the
도 9는 본 발명의 실시 예에 따른 오작동 패널 검출 방법 및 장치를 통해 오작동 패널 여부를 진단한 결과를 보여주는 도면이다.9 is a view showing a result of diagnosing whether a malfunction panel is detected through a method and apparatus for detecting a malfunction panel according to an embodiment of the present invention.
도 9에서, 빨간색, 녹색 사각형은 각각 정상 패널과 오작동으로 인식된 패널의 평균 밝기값이고, 빨간색 선은 해당 패널에서의 1σ 범위(표준편차 범위)를 나타낸다. 또한, 파란색 +와 빨간색 ×는 각각 CMI와 CSD의 범위를 나타낸다. 오작동으로 분류된 패널의 CSD 범위는 파란색 ×로 표현하였다. 이는, CSD의 조건을 만족했는지 식별할 수 있도록 하기 위함이다.In Fig. 9, the red and green rectangles are the average brightness values of the panel recognized as a normal panel and the malfunction respectively, and the red line indicates the 1σ range (standard deviation range) in the corresponding panel. In addition, blue + and red indicate the range of CMI and CSD, respectively. The CSD range of the panel classified as malfunction is expressed by blue x. This is to make it possible to identify whether the condition of the CSD is satisfied.
도 9를 참조하면, 후보 오작동 패널로 인식된 패널은 7개(6번, 17번, 23번, 26번, 50번, 64번, 66번 패널)이다. 후보 오작동 패널들 각각에 대해 CSD를 산출하여 비교한 결과, 2개의 패널(17, 50번 패널)과 같이 핫스팟이 없는 패널은 정상 패널로 분류될 수 있다. Referring to FIG. 9, there are seven panels (6th, 17th, 23th, 26th, 50th, 64th and 66th panels) recognized as candidate malfunctioning panels. As a result of comparing and comparing the CSD for each of the candidate malfunctioning panels, a panel having no hot spot such as two panels (
상술한 본 발명의 실시 예에 따르면, 태양광 어레이로부터 오작동 패널을 자동으로 검출하는 방법의 완성도(Completeness) 및 정확도(Correctness)는 모두 높은 수치를 갖는다. 완성도는 영상에서 주어진 오작동 패널을 얼마나 인식했는지를 나타내고, 정확도는 분류의 정확도를 나타낸다. 본 발명의 실시 예에 따르면, 대부분의 오작동 패널을 검출하는 것이 가능하고, 특히, 두 개의 오작동 패널 검출 기준을 이용함으로써 오작동 패널의 검출 성능을 향상시킬 수 있다. According to the embodiment of the present invention described above, both the completeness and the correctness of the method of automatically detecting the malfunctioning panel from the solar array have a high value. Completeness indicates how much of a given malfunction panel is perceived in the image, and accuracy indicates the accuracy of classification. According to the embodiment of the present invention, it is possible to detect most malfunctioning panels, and in particular, by using two malfunctioning panel detection standards, the detection performance of the malfunctioning panel can be improved.
한편, 상술한 본 발명의 실시 예에 의하면, 패널의 밝기값 평균이 인접한 전체 패널(sample)들의 밝기값 평균(sample means)에 대한 표준편차(standard deviation of sample means) 범위를 벗어날 때 후보 오작동 패널로 정의할 수 있다. '인접한 전체 패널들'은 동일한 어레이 행에 위치한 패널들로 선정할 수 있다.According to the embodiment of the present invention described above, when the average brightness value of the panel is out of the standard deviation of the sample means range of the brightness values of all adjacent samples, . &Quot; All adjacent panels " can be selected by the panels located on the same array row.
이와 같이 패널들의 개수를 행 단위로 나누어 밝기값에 대한 표준편차를 산출하면, 어레이 행 별로 오작동 패널의 판단 기준(즉, CMI)을 조절할 수 있으므로, 효과적으로 오작동 패널 후보를 검출할 수 있다.If the standard deviation of brightness values is calculated by dividing the number of panels in units of rows, the judgment criterion (i.e., CMI) of the malfunctioning panel can be adjusted for each row of the array, so that the malfunctioning panel candidate can be effectively detected.
또한, 패널의 밝기값 1σ 범위(즉, 표준편차 범위)가 인접한 전체 패널들과 비교하여, 전체 패널들의 평균 표준편차(average range of samples standard deviations) 범위보다 클 때 해당 패널을 최종 오작동 패널로 정할 수 있다.In addition, when the panel's brightness value 1σ range (ie, standard deviation range) is larger than the range of the average standard of samples standard deviations across all adjacent panels, the panel is determined as the final malfunction panel. .
오작동 패널의 검출 조건을 이와 같이 정한 이유는, 본 발명의 실시 예에서는 핫스팟이 발생한 패널을 오작동 패널로 가정하고 이를 검출하는데 목적이 있기 때문이다. 따라서, 열적외선 영상의 그레이 스케일 영상에서 패널의 평균 밝기값이 CMI 범위보다 낮을 경우도 있으나 이는 정상 패널로 간주하며, 이를 고려하여 S520단계 및 S560단계에서 CMI 또는 CSD보다 큰 경우만 비교한다. The reason for setting the detection condition of the malfunctioning panel as described above is that the embodiment of the present invention is intended to detect and assume a panel in which a hot spot is generated as a malfunctioning panel. Therefore, the average brightness value of the panel in the gray-scale image of the thermal infrared image may be lower than the CMI range, but this is regarded as the normal panel, and only the comparison is made between CMI and CSD in steps S520 and S560.
한편, 본 발명에 따른 오작동 패널 자동 검출 장치의 오작동 패널 자동 검출 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음은 통상의 기술자가 쉽게 이해할 수 있다. 따라서, 본 발명은 전자기파 오작동 패널 자동 검출 장치의 오작동 패널 자동 검출 방법을 구현하기 위하여 상기 오작동 패널 자동 검출 장치를 제어하는 컴퓨터 상에서 수행되는 컴퓨터 판독 가능한 기록매체에 저장된 프로그램을 함께 제공할 수 있다. Meanwhile, a malfunction panel automatic detection method of a malfunctioning panel automatic detection apparatus according to the present invention may be provided in a recording medium that can be read through a computer by tangibly embodying a program of instructions for implementing the same, It can be easily understood by engineers. Therefore, the present invention can also provide a program stored in a computer-readable recording medium, which is executed on a computer for controlling the malfunctioning panel automatic detecting apparatus, to implement a malfunctioning panel automatic detection method of an electromagnetic wave malfunctioning panel automatic detection apparatus.
또한, 상기 오작동 패널 자동 검출 장치(800)는 소정의 데이터 프로세싱 장치에 설치되어 본 발명의 기술적 사상을 구현할 수 있다.In addition, the malfunctioning panel
800: 오작동 패널 자동 검출 장치 810: 패널 영역 추출부
820: 라벨링부 830: 그룹화부
840: 산출부 850: 오작동 패널 검출부
860: 저장부800: malfunction panel automatic detecting device 810: panel area extracting unit
820: Labeling section 830: Grouping section
840: Calculator 850: Malfunction panel detector
860:
Claims (10)
(A) 상기 열적외선 영상으로부터 패널 영역을 추출하여 각 패널에 인덱스를 부여하는 단계;
(B) 상기 추출된 다수의 태양광 패널들 각각의 밝기값 평균과 밝기값 평균의 표준편차를 산출하는 단계;
(C) 상기 (B) 단계의 산출 결과로부터 상기 태양광 어레이의 행 별로 오작동 패널을 검출하기 위한 기준(이하, '오작동 패널 검출 기준'이라 함)을 조절하여 최종 오작동 패널을 검출하는 단계; 및
(D) 상기 검출된 최종 오작동 패널의 인덱스를 저장하는 단계;를 포함하고,
상기 (A) 단계 이후,
(E) 상기 추출된 다수의 태양광 패널들 중 동일한 행에 속하는 패널들끼리 그룹화하는 단계;를 더 포함하며,
상기 (B) 단계 및 상기(C) 단계는 그룹화된 행 별로 수행되는 것을 특징으로 하는 오작동 패널을 자동 검출하는 방법.A method for automatically detecting a malfunctioning panel from a thermal infrared image of a solar array having a plurality of solar panels arranged in a matrix form,
(A) extracting a panel region from the thermal infrared image and assigning an index to each panel;
(B) calculating a standard deviation of an average of brightness values and an average of brightness values of each of the extracted plurality of photovoltaic panels;
(C) detecting a final malfunction panel by adjusting a criterion for detecting a malfunction panel for each row of the solar array from a calculation result of the step (B) (hereinafter referred to as a 'malfunction panel detection criterion'); And
(D) storing the index of the last detected malfunction panel,
After the step (A)
(E) grouping the panels belonging to the same row among the extracted plurality of photovoltaic panels,
Wherein the step (B) and the step (C) are performed for each grouped row.
상기 (C) 단계는,
상기 다수의 태양광 패널들 중 동일한 행에 속하는 패널들 각각의 밝기값 평균과 밝기값 평균의 표준편차로부터 상기 오작동 패널 검출 기준을 산출하고, 각 패널의 밝기값 평균과 밝기값 평균의 표준편차 중 적어도 하나와, 상기 산출된 오작동 패널 검출 기준을 비교하여 오작동 패널을 검출하는 것을 특징으로 하는 오작동 패널을 자동 검출하는 방법.The method according to claim 1,
The step (C)
Calculating a standard deviation of a brightness average value and an average brightness value of each of the panels belonging to the same row among the plurality of solar panels and calculating the malfunction panel detection criterion based on the average of the brightness values of the panels and the standard deviation of the brightness average And a malfunctioning panel is detected by comparing the at least one malfunctioning panel detection standard with the calculated malfunctioning panel detection standard.
상기 (C) 단계는,
(C1) 상기 동일한 행에 속하는 패널들의 전체 밝기값 평균과 상기 전체 밝기값 평균에 대한 표준편차를 합하여 CMI(Criteria for Mean Intensities)를 제1오작동 패널 검출 기준으로서 산출하는 단계;
(C2) 오작동 패널인지 검사하기 위한 해당 패널의 밝기값 평균과 상기 산출된 CMI를 비교하여, 상기 해당 패널의 밝기값 평균이 상기 CMI 보다 크면 상기 해당 패널을 후보 오작동 패널로 분류하는 단계;
(C3) 상기 분류된 후보 오작동 패널의 밝기값과 상기 동일한 행에 속하는 패널들의 평균 표준편차를 합하여 CSD(Criteria for Standard Deviations)를 제2오작동 패널 검출 기준으로서 산출하는 단계; 및
(C4) 상기 후보 오작동 패널의 밝기값 평균과 밝기값 평균의 표준편차를 합한 값이 상기 CSD보다 크면, 상기 후보 오작동 패널을 상기 최종 오작동 패널로서 검출하는 단계;를 포함하는 것을 특징으로 하는 오작동 패널을 자동 검출하는 방법.3. The method of claim 2,
The step (C)
(C1) calculating a Criteria for Mean Intensity (CMI) as a first malfunctioning panel detection criterion by summing an average of all brightness values of the panels belonging to the same row and a standard deviation of the average brightness value;
(C2) comparing the average brightness value of the corresponding panel for checking whether the panel is a malfunctioning panel and the calculated CMI, and classifying the panel into a candidate malfunctioning panel if the average brightness value of the panel is greater than the CMI;
(C3) calculating a criterion for standard deviations (CSD) as a second malfunction panel detection criterion by summing the brightness value of the classified candidate malfunction panel and the average standard deviation of the panels belonging to the same row; And
(C4) detecting the candidate malfunction panel as the final malfunction panel if the sum of the brightness value average of the candidate malfunction panel and the standard deviation of the brightness average is greater than the CSD. Is automatically detected.
상기 (C3) 단계에서,
상기 동일한 행에 속하는 패널들의 평균 표준편차는,
상기 동일한 행에 속하는 패널들 각각의 ROI(Region Of Interest)를 구성하는 픽셀 수가 상이하므로, 상기 각 패널의 밝기값에 대한 표준편차마다 해당 ROI의 픽셀 수가 가중치로서 부여되어 산출된 것을 특징으로 하는 오작동 패널을 자동 검출하는 방법.The method of claim 3,
In the step (C3)
Wherein the average standard deviation of the panels belonging to the same row,
Wherein the number of pixels constituting the region of interest (ROI) of each of the panels belonging to the same row is different, and the number of pixels of the ROI is calculated as a weight for each standard deviation of brightness values of the respective panels. A method for automatically detecting a panel.
상기 (C3) 단계에서, 상기 패널들의 평균 표준편차는 다음의 식을 이용하여 산출되는 것을 특징으로 하는 오작동 패널을 자동 검출하는 방법:
여기서,
Wherein, in step (C3), the average standard deviation of the panels is calculated using the following equation:
here,
상기 열적외선 영상으로부터 추출된 패널 영역의 각 패널에 인덱스를 부여하는 라벨링부;
상기 추출된 다수의 태양광 패널들 각각의 밝기값 평균과 밝기값 평균의 표준편차를 산출하는 산출부;
상기 산출부의 산출 결과로부터 상기 태양광 어레이의 행 별로 오작동 패널을 검출하기 위한 기준(이하, '오작동 패널 검출 기준'이라 함)을 조절하여 최종 오작동 패널을 검출하되, 상기 다수의 태양광 패널들 중 동일한 행에 속하는 패널들 각각의 밝기값 평균과 밝기값 평균의 표준편차로부터 상기 오작동 패널 검출 기준을 산출하고, 각 패널의 밝기값 평균과 밝기값 평균의 표준편차 중 적어도 하나와, 상기 산출된 오작동 패널 검출 기준을 비교하여 오작동 패널을 검출하는 오작동 패널 검출부; 및
상기 최종 오작동 패널의 인덱스를 저장하는 저장부;를 포함하고,
상기 오작동 패널 검출부는,
상기 동일한 행에 속하는 패널들의 전체 밝기값 평균과 상기 전체 밝기값 평균에 대한 표준편차를 합하여 CMI(Criteria for Mean Intensities)를 제1오작동 패널 검출 기준으로서 산출하는 CMI 산출부;
오작동 패널인지 검사하기 위한 해당 패널의 밝기값 평균과 상기 산출된 CMI를 비교하여, 상기 해당 패널의 밝기값 평균이 상기 CMI 보다 크면 상기 해당 패널을 후보 오작동 패널로 분류하는 후보 오작동 패널 분류부;
상기 분류된 후보 오작동 패널의 밝기값과 상기 동일한 행에 속하는 패널들의 평균 표준편차를 합하여 CSD(Criteria for Standard Deviations)를 제2오작동 패널 검출 기준으로서 산출하는 CSD 산출부; 및
상기 후보 오작동 패널의 밝기값 평균과 밝기값 평균의 표준편차를 합한 값이 상기 CSD보다 크면, 상기 후보 오작동 패널을 상기 최종 오작동 패널로서 검출하는 최종 오작동 패널 검출부;를 포함하는 것을 특징으로 하는 오작동 패널을 자동 검출하는 장치.An apparatus for automatically detecting a malfunctioning panel from a thermal infrared image of a solar array having a plurality of solar panels arranged in a matrix form,
A labeling unit for assigning an index to each panel of the panel area extracted from the thermal infrared image;
A calculating unit for calculating a standard deviation of an average of brightness values and an average of brightness values of each of the plurality of extracted solar panels;
(Hereinafter, referred to as a 'malfunctioning panel detection criterion') for detecting a malfunctioning panel for each row of the photovoltaic arrays from the calculation result of the calculating unit to detect a final malfunctioning panel, Wherein the malfunction panel detection criterion is calculated from the standard deviation of the average of the brightness values and the average of the brightness values of the panels belonging to the same row and at least one of the brightness value average of each panel and the standard deviation of the brightness value average, A malfunctioning panel detector for detecting a malfunctioning panel by comparing the panel detection criteria; And
And a storage unit for storing an index of the final malfunction panel,
Wherein the malfunctioning panel detector comprises:
A CMI calculation unit for calculating Criteria for Mean Intensities (CMI) as a first malfunctioning panel detection criterion by summing a total brightness value average of the panels belonging to the same row and a standard deviation of the overall brightness value average;
A candidate malfunctioning panel classifying unit for classifying the panel into a candidate malfunctioning panel if the average of the brightness values of the corresponding panel for inspecting whether it is a malfunction panel and the calculated CMI are larger than the average CMI of the corresponding panel;
A CSD calculating unit for calculating a criterion for standard deviations (CSD) as a second malfunctioning panel detection criterion by summing the brightness values of the classified candidate malfunctioning panel and the average standard deviation of the panels belonging to the same row; And
And a final malfunction panel detector for detecting the candidate malfunction panel as the final malfunction panel if a value obtained by adding the brightness value average of the candidate malfunction panel and the standard deviation of the brightness average is larger than the CSD. .
상기 CSD 산출부는,
상기 동일한 행에 속하는 패널들 각각의 ROI(Region Of Interest)를 구성하는 픽셀 수가 상이하므로, 상기 각 패널의 밝기값에 대한 표준편차마다 해당 ROI의 픽셀 수를 가중치로서 부여하여 상기 평균 표준편차를 산출하는 것을 특징으로 하는 오작동 패널을 자동 검출하는 장치.8. The method of claim 7,
The CSD calculating unit calculates,
Since the number of pixels constituting the region of interest (ROI) of each of the panels belonging to the same row is different, the number of pixels of the corresponding ROI is given as a weight for each standard deviation of brightness values of the respective panels to calculate the average standard deviation And the automatic detection of the malfunctioning panel.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170077800A KR101806217B1 (en) | 2017-06-20 | 2017-06-20 | Method and apparatus for detecting malfunction panel from UAV thermal infrared images of photovoltaic modules |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170077800A KR101806217B1 (en) | 2017-06-20 | 2017-06-20 | Method and apparatus for detecting malfunction panel from UAV thermal infrared images of photovoltaic modules |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101806217B1 true KR101806217B1 (en) | 2017-12-07 |
Family
ID=60920731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170077800A KR101806217B1 (en) | 2017-06-20 | 2017-06-20 | Method and apparatus for detecting malfunction panel from UAV thermal infrared images of photovoltaic modules |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101806217B1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108989710A (en) * | 2018-07-16 | 2018-12-11 | 维沃移动通信有限公司 | A kind of infrared supplementary lighting module abatement detecting method and terminal device |
| CN109885598A (en) * | 2019-01-25 | 2019-06-14 | 沈阳无距科技有限公司 | Fault recognition method, device, computer readable storage medium and electronic equipment |
| CN112085037A (en) * | 2020-09-21 | 2020-12-15 | 国网吉林省电力有限公司电力科学研究院 | Infrared thermal fault feature extraction and digital expression method for power transformation equipment |
| KR20230047734A (en) | 2021-10-01 | 2023-04-10 | 경북대학교 산학협력단 | Method for monitoring solar panels using video streams from uav |
| CN116109604A (en) * | 2023-02-21 | 2023-05-12 | 天合光能(宿迁)光电有限公司 | Grid line detection method for TOPCON structure solar panel |
| KR102587679B1 (en) * | 2023-04-07 | 2023-10-12 | 주식회사 동진전기통신 | Solar panel abnormality detection device and method thereof |
| KR20230162895A (en) | 2022-05-20 | 2023-11-29 | 경북대학교 산학협력단 | photovoltaic panel Monitoring method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101664908B1 (en) | 2014-10-23 | 2016-10-25 | 한국생산기술연구원 | Unmanned air vehicle for monitoring solar cell panel and accurate moving method of the same |
-
2017
- 2017-06-20 KR KR1020170077800A patent/KR101806217B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101664908B1 (en) | 2014-10-23 | 2016-10-25 | 한국생산기술연구원 | Unmanned air vehicle for monitoring solar cell panel and accurate moving method of the same |
Non-Patent Citations (3)
| Title |
|---|
| 1020170077800_0001 |
| 1020170077800_0002 |
| UAV 기반 열적외선 카메라를 이용한 태양광 모듈 고장진단 실험, 한국지리정보학회* |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108989710A (en) * | 2018-07-16 | 2018-12-11 | 维沃移动通信有限公司 | A kind of infrared supplementary lighting module abatement detecting method and terminal device |
| CN108989710B (en) * | 2018-07-16 | 2020-09-04 | 维沃移动通信有限公司 | Infrared supplementary lighting module failure detection method, terminal device and computer readable storage medium |
| CN109885598A (en) * | 2019-01-25 | 2019-06-14 | 沈阳无距科技有限公司 | Fault recognition method, device, computer readable storage medium and electronic equipment |
| CN109885598B (en) * | 2019-01-25 | 2021-03-02 | 沈阳无距科技有限公司 | Fault identification method and device, computer readable storage medium and electronic equipment |
| CN112085037A (en) * | 2020-09-21 | 2020-12-15 | 国网吉林省电力有限公司电力科学研究院 | Infrared thermal fault feature extraction and digital expression method for power transformation equipment |
| CN112085037B (en) * | 2020-09-21 | 2024-04-09 | 国网吉林省电力有限公司电力科学研究院 | Infrared thermal fault feature extraction and digital expression method for power transformation equipment |
| KR20230047734A (en) | 2021-10-01 | 2023-04-10 | 경북대학교 산학협력단 | Method for monitoring solar panels using video streams from uav |
| KR20230162895A (en) | 2022-05-20 | 2023-11-29 | 경북대학교 산학협력단 | photovoltaic panel Monitoring method |
| CN116109604A (en) * | 2023-02-21 | 2023-05-12 | 天合光能(宿迁)光电有限公司 | Grid line detection method for TOPCON structure solar panel |
| CN116109604B (en) * | 2023-02-21 | 2023-11-07 | 天合光能(宿迁)光电有限公司 | Grid line detection method for TOPCON structure solar panel |
| KR102587679B1 (en) * | 2023-04-07 | 2023-10-12 | 주식회사 동진전기통신 | Solar panel abnormality detection device and method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101806217B1 (en) | Method and apparatus for detecting malfunction panel from UAV thermal infrared images of photovoltaic modules | |
| Kim et al. | Automatic fault recognition of photovoltaic modules based on statistical analysis of UAV thermography | |
| Dotenco et al. | Automatic detection and analysis of photovoltaic modules in aerial infrared imagery | |
| Aghaei et al. | Innovative automated control system for PV fields inspection and remote control | |
| CN109743019B (en) | System and method for hot spot temperature prediction and hot spot positioning based on meteorological factors | |
| KR20200060372A (en) | Thermography image processing using a neural network to identify the bottom corrosion (CUI) of insulation | |
| CN111080691A (en) | Infrared hot spot detection method and device for photovoltaic module | |
| CN108680833B (en) | Composite insulator defect detection system based on unmanned aerial vehicle | |
| CN108108736A (en) | A kind of solar energy photovoltaic panel spot identification method | |
| Kim et al. | Automatic photovoltaic panel area extraction from UAV thermal infrared images | |
| Kuo et al. | Automatic detection, classification and localization of defects in large photovoltaic plants using unmanned aerial vehicles (UAV) based infrared (IR) and RGB imaging | |
| CN109540900B (en) | Photovoltaic module subfissure judgment method | |
| US20230042106A1 (en) | System and method for the statistical analysis of images of photovoltaic panels | |
| Kurukuru et al. | Machine learning framework for photovoltaic module defect detection with infrared images | |
| CN118196070B (en) | Photovoltaic panel defect identification method based on unmanned aerial vehicle thermal infrared remote sensing | |
| CN117272215B (en) | Intelligent community safety management method and system based on data mining | |
| Montanez et al. | Photovoltaic module segmentation and thermal analysis tool from thermal images | |
| CN116704733B (en) | Aging early warning method and system for aluminum alloy cable | |
| KR20220055082A (en) | System and method for defect detection based on deep learning through machine-learning of solar module data of thermal image | |
| CN117455843A (en) | Intelligent cable head defect detection system | |
| Chen et al. | Automatic crack segmentation and feature extraction in electroluminescence images of solar modules | |
| KR101779040B1 (en) | Method and apparatus for extracting panel area from thermal infrared images of photovoltaic array | |
| Terzoglou et al. | Employing deep learning framework for improving solar panel defects using drone imagery | |
| Özer et al. | An approach based on deep learning methods to detect the condition of solar panels in solar power plants | |
| Kim et al. | Automatic detection of malfunctioning photovoltaic modules using unmanned aerial vehicle thermal infrared images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |