JP6484854B2 - Solar panel appearance monitoring device - Google Patents

Solar panel appearance monitoring device Download PDF

Info

Publication number
JP6484854B2
JP6484854B2 JP2015085617A JP2015085617A JP6484854B2 JP 6484854 B2 JP6484854 B2 JP 6484854B2 JP 2015085617 A JP2015085617 A JP 2015085617A JP 2015085617 A JP2015085617 A JP 2015085617A JP 6484854 B2 JP6484854 B2 JP 6484854B2
Authority
JP
Japan
Prior art keywords
solar panel
image
inspection
partial image
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015085617A
Other languages
Japanese (ja)
Other versions
JP2016205910A (en
Inventor
伸行 藤原
伸行 藤原
宍道 洋
洋 宍道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Original Assignee
Meidensha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp filed Critical Meidensha Corp
Priority to JP2015085617A priority Critical patent/JP6484854B2/en
Publication of JP2016205910A publication Critical patent/JP2016205910A/en
Application granted granted Critical
Publication of JP6484854B2 publication Critical patent/JP6484854B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy

Description

本発明は、太陽光パネル設備の外観を監視する太陽光パネル外観監視装置に関するものであり、特に、太陽光パネル設備に設置した監視カメラで撮影した画像を解析することで太陽光パネルの外観を監視する太陽光パネル外観監視装置に関するものである。   The present invention relates to a solar panel appearance monitoring device for monitoring the appearance of a solar panel facility, and in particular, the appearance of a solar panel is analyzed by analyzing an image taken by a monitoring camera installed in the solar panel facility. The present invention relates to a solar panel appearance monitoring device to be monitored.

通常、大型の太陽光パネル設備(太陽光発電設備)は、遠隔地に建設され無人であることが多い。このため、農業用の袋やシートなどの飛来物、もしくは、つる草などの植物が太陽光パネルを覆った状態のまま、暫くの期間気付かないことがあり、問題となっている。   In general, large-scale solar panel equipment (solar power generation equipment) is often constructed unattended in a remote place. For this reason, there are cases in which a flying object such as an agricultural bag or sheet, or a plant such as vine grass, covers the solar panel and is not noticed for a while.

そこで、例えば下記特許文献1〜4では、太陽光パネルの発電量を基に太陽光パネルの状態を推定する方法、すなわち、発電量の低下を検知することで太陽光パネルの異常を検出する方法を提案している。   Therefore, for example, in Patent Documents 1 to 4 below, a method for estimating the state of the solar panel based on the power generation amount of the solar panel, that is, a method for detecting an abnormality of the solar panel by detecting a decrease in the power generation amount. Has proposed.

また、例えば下記非特許文献1には、赤外線サーモグラフィを用いて太陽光パネルの異常を検査する方法がある。下記非特許文献1では、太陽光パネルに不具合が生じると発熱することに注目し、太陽光パネルを赤外線サーモグラフィで撮影した結果を、作業者が目視し、温度が高い部分の有無を確認することで、太陽光パネルの異常を判断する方法を提案している。   Further, for example, the following Non-Patent Document 1 has a method of inspecting an abnormality of a solar panel using an infrared thermography. In the following Non-Patent Document 1, paying attention to heat generation when a failure occurs in the solar panel, the operator visually observes the result of photographing the solar panel with infrared thermography, and confirms the presence or absence of a part having a high temperature. So, we have proposed a method for judging solar panel abnormalities.

特開2014−60365号公報JP 2014-60365 A 特許第5607772号公報Japanese Patent No. 5,607,772 特許第5413933号公報Japanese Patent No. 5413933 特開2013−93430号公報JP2013-93430A

西村, 清水, 藤吉,“2段階のRandomized Treesを用いたキーポイントの分類”, [online],平成22年7月,画像の認識・理解シンポジウムMIRU2010, pp.1412-1419,[平成27年4月20日検索],インターネット≪URL:http://at.azbil.com/mt/product/pdf/Mobile%20Solar%20pole%20APP_STORY_JP_ys.pdf≫Nishimura, Shimizu, Fujiyoshi, “Classification of key points using two-stage Randomized Trees” [online], July 2010, Image Recognition and Understanding Symposium MIRU2010, pp.1412-1419, [20154 Search 20th of May], Internet ≪URL: http: //at.azbil.com/mt/product/pdf/Mobile%20Solar%20pole%20APP_STORY_JP_ys.pdf≫

上記特許文献1〜4の方法では、太陽光パネルの発電量から異常の有無を推定することができるが、実際に異常が発生しているか否かは分からない。また、異常の原因が太陽光パネル自身の機械的な故障であるのか、もしくは異物が被さっているなどの他の要因であるのか分からない。   In the methods of Patent Documents 1 to 4, the presence or absence of abnormality can be estimated from the power generation amount of the solar panel, but it is not known whether or not an abnormality has actually occurred. In addition, it is not known whether the cause of the abnormality is a mechanical failure of the solar panel itself or other factors such as covering with foreign matter.

上記非特許文献1の方法では、作業者による確認作業が必要であるため大型の太陽光発電設備への適用は困難である。また、赤外線サーモグラフィは高価であり、この点でも大型の太陽光発電設備へ大量に設置することは困難である。   In the method of Non-Patent Document 1, it is difficult to apply to a large-scale photovoltaic power generation facility because confirmation work by an operator is necessary. Further, infrared thermography is expensive, and it is difficult to install a large amount in a large photovoltaic power generation facility in this respect.

本発明は、上述のような技術的状況に鑑みてなされたものであり、安価な構成で太陽光パネルの外観を自動的に監視することで、大型の太陽光パネル設備への適用を可能とする、太陽光パネル外観監視装置を提供することを目的とする。   The present invention has been made in view of the technical situation as described above, and can be applied to a large-scale solar panel facility by automatically monitoring the appearance of the solar panel with an inexpensive configuration. An object of the present invention is to provide a solar panel appearance monitoring device.

上記課題を解決する第1の発明に係る太陽光パネル外観監視装置は、
予め、監視カメラで太陽光パネルを異物の無い状態として一定期間撮影した太陽光パネル画像群、及び、該監視カメラで異物を一定期間撮影した異物画像群を基に、太陽光パネル検査用の識別器を構築する、太陽光パネル検査用パラメータ調整装置と、
監視時、前記監視カメラで前記太陽光パネルを撮影した画像を前記識別器に入力し、該識別器の検査結果を基に、該太陽光パネル上に前記異物が存在するか否かを判断する、太陽光パネル検査装置とを備える
ことを特徴とする。
The solar panel appearance monitoring device according to the first invention for solving the above-mentioned problems is
Identification for solar panel inspection based on a solar panel image group in which a solar panel is photographed for a certain period of time with a surveillance camera and a foreign object image group in which the surveillance camera is photographed for a certain period of time. A solar panel inspection parameter adjustment device,
At the time of monitoring, an image obtained by photographing the solar panel with the monitoring camera is input to the discriminator, and it is determined whether or not the foreign object exists on the solar panel based on the inspection result of the discriminator. And a solar panel inspection device.

上記課題を解決する第2の発明に係る太陽光パネル外観監視装置は、
上記第1の発明に係る太陽光パネル外観監視装置において、
前記太陽光パネル検査用パラメータ調整装置は、
前記太陽光パネル画像群を各々小領域に区切り、前記太陽光パネルが映っている小領域を部分画像として取り出し、該部分画像の集合を太陽光パネル部分画像集とし、
前記異物の画像群の中で、前記異物が映っている部分が入る小領域を設定し、この小領域を部分画像として取り出し、該部分画像の集合を異物部分画像集とし、
前記太陽光パネル部分画像集及び前記異物部分画像集に基づき、前記識別器を構築する
ことを特徴とする。
A solar panel appearance monitoring device according to the second invention for solving the above-mentioned problems is as follows.
In the solar panel appearance monitoring device according to the first invention,
The solar panel inspection parameter adjustment device is:
Each of the solar panel image groups is divided into small areas, the small areas in which the solar panels are reflected are extracted as partial images, and a set of the partial images is a solar panel partial image collection,
In the image group of the foreign matter, set a small region where the portion where the foreign matter is reflected enters, take out this small region as a partial image, a set of the partial images as a foreign matter partial image collection,
The discriminator is constructed based on the solar panel partial image collection and the foreign object partial image collection.

上記課題を解決する第3の発明に係る太陽光パネル外観監視装置は、
上記第1又は2の発明に係る太陽光パネル外観監視装置において、
前記太陽光パネル検査用パラメータ調整装置は、
前記太陽光パネルが映っている前記小領域に加え、該小領域から所定範囲ずらした領域を部分画像として取り出し、前記太陽光パネル部分画像集とする
ことを特徴とする。
A solar panel appearance monitoring device according to a third invention for solving the above-mentioned problems is
In the solar panel appearance monitoring device according to the first or second invention,
The solar panel inspection parameter adjustment device is:
In addition to the small area in which the solar panel is reflected, an area shifted from the small area by a predetermined range is taken out as a partial image to form the solar panel partial image collection.

上記課題を解決する第4の発明に係る太陽光パネル外観監視装置は、
上記第1から3のいずれか1つの発明に係る太陽光パネル外観監視装置において、
前記識別器はマルチクラス識別器であり、
前記太陽光パネル検査用パラメータ調整装置は、前記太陽光パネル画像群、及び、前記監視カメラで複数種類の前記異物を一定期間撮影した複数種類の前記異物画像群に基づき、前記識別器を構築する
ことを特徴とする。
A solar panel appearance monitoring device according to a fourth invention for solving the above-mentioned problems is as follows.
In the solar panel appearance monitoring device according to any one of the first to third inventions,
The classifier is a multi-class classifier;
The solar panel inspection parameter adjustment device constructs the discriminator based on the solar panel image group and a plurality of types of the foreign object image groups obtained by photographing a plurality of types of the foreign objects for a certain period with the monitoring camera. It is characterized by that.

上記課題を解決する第5の発明に係る太陽光パネル外観監視装置は、
上記第1から4のいずれか1つの発明に係る太陽光パネル外観監視装置において、
前記太陽光パネル検査装置は、
前記監視カメラで前記太陽光パネルを撮影した前記画像から該太陽光パネルが映っている矩形部分を部分画像として順次取り出し、該部分画像を前記識別器へ入力し、該識別器の検査結果を基に、該太陽光パネル上に前記異物が存在するか否かを判断する
ことを特徴とする。
A solar panel appearance monitoring device according to a fifth invention for solving the above-mentioned problems is
In the solar panel appearance monitoring device according to any one of the first to fourth inventions,
The solar panel inspection apparatus is
A rectangular portion in which the solar panel is reflected is sequentially extracted as a partial image from the image obtained by photographing the solar panel with the monitoring camera, and the partial image is input to the discriminator. Based on the inspection result of the discriminator. And determining whether or not the foreign matter exists on the solar panel.

本発明に係る太陽光パネル外観監視装置によれば、監視カメラで撮影した画像を解析することで、安価な構成で太陽光パネルの外観を自動的に監視することができる。   According to the solar panel appearance monitoring apparatus according to the present invention, the appearance of the solar panel can be automatically monitored with an inexpensive configuration by analyzing the image taken by the monitoring camera.

また、本発明に係る太陽光パネル外観監視装置によれば、異常発生時の監視カメラ画像が記憶されているので、異常発生時の原因を画像で確認することができる。   Moreover, according to the solar panel external appearance monitoring device according to the present invention, since the monitoring camera image at the time of occurrence of abnormality is stored, the cause at the time of occurrence of abnormality can be confirmed by an image.

さらに、多数の安価な小型カメラ、又は、パンチルト機構付監視カメラの設置で監視装置を構成できるため、大型の太陽光発電設備への適用が可能である。   Furthermore, since the monitoring apparatus can be configured by installing a large number of inexpensive small cameras or surveillance cameras with pan / tilt mechanisms, it can be applied to large-scale photovoltaic power generation facilities.

本発明の実施例1における、各太陽光パネルを撮影する小型カメラを設置する方法を説明する概略図である。It is the schematic explaining the method to install the small camera which image | photographs each sunlight panel in Example 1 of this invention. 本発明の実施例1における、太陽光発電設備の区画毎にパンチルト機構付カメラを設置する方法を説明する概略図である。It is the schematic explaining the method to install the camera with a pan-tilt mechanism for every division of photovoltaic power generation equipment in Example 1 of this invention. 本発明の実施例1に係る太陽光パネル外観監視装置の動作の概要を説明する模式図である。It is a schematic diagram explaining the outline | summary of operation | movement of the solar panel external appearance monitoring apparatus which concerns on Example 1 of this invention. 本発明の実施例1における、太陽光パネル検査用の識別器の構築概要を説明する模式図である。It is a schematic diagram explaining the construction | assembly outline | summary of the discriminator for a solar panel test | inspection in Example 1 of this invention. 本発明の実施例1における、太陽光パネルの画像から部分画像を取り出す例を示す模式図である。It is a schematic diagram which shows the example which takes out a partial image from the image of a solar panel in Example 1 of this invention. 本発明の実施例1における、異物の画像から部分画像を取り出す例を示す模式図である。It is a schematic diagram which shows the example which takes out the partial image from the image of a foreign material in Example 1 of this invention. 本発明の実施例1における、太陽光パネルに対する検査処理の概要を説明する模式図である。It is a schematic diagram explaining the outline | summary of the test | inspection process with respect to the solar panel in Example 1 of this invention. 本発明の実施例1における、太陽光パネルに対する検査処理のフローチャートである。It is a flowchart of the test | inspection process with respect to the solar panel in Example 1 of this invention. 本発明の実施例1に係る太陽光パネル外観監視装置の構成を示すブロック図である。It is a block diagram which shows the structure of the solar panel external appearance monitoring apparatus which concerns on Example 1 of this invention. 本発明の実施例1における、太陽光パネル検査用パラメータ調整装置の構成を示すブロック図である。It is a block diagram which shows the structure of the parameter adjustment apparatus for solar panel inspection in Example 1 of this invention. 本発明の実施例1における、太陽光パネル検査装置の構成を示すブロック図である。It is a block diagram which shows the structure of the solar panel inspection apparatus in Example 1 of this invention. 本発明の実施例1における、太陽光パネル検査装置の検査結果の統合インタフェースでの出力例である。It is an example of the output in the integrated interface of the test result of the solar panel inspection apparatus in Example 1 of this invention. 本発明の実施例2における、太陽光パネルの画像から部分画像を取り出す例を示す模式図である。It is a schematic diagram which shows the example which takes out a partial image from the image of a sunlight panel in Example 2 of this invention.

本発明に係る太陽光パネル外観監視装置は、地上に設置した大型の太陽光発電設備を監視対象とし、監視カメラにより撮影した画像を解析することで、太陽光パネルに覆い被さる異物の有無を自動的に検出し、太陽光パネルの外観を監視するものである。   The solar panel appearance monitoring device according to the present invention automatically monitors the presence or absence of a foreign object covering a solar panel by analyzing a picture taken by a monitoring camera for a large-scale photovoltaic power generation facility installed on the ground. It detects automatically and monitors the appearance of the solar panel.

以下、本発明に係る太陽光パネル外観監視装置を実施例にて図面を用いて説明する。   Hereinafter, a solar panel appearance monitoring apparatus according to the present invention will be described with reference to the drawings in the embodiments.

[実施例1]
大型の太陽光発電設備では大量の太陽光パネルを設置している。監視カメラの設置方法としては、設備コストを抑えるための2つのタイプがある。一つは、図1に示すように、各太陽光パネル11に安価な小型カメラ12を監視カメラとして複数設置する方法である。
[Example 1]
Large-scale solar power generation facilities have a large number of solar panels. There are two types of surveillance camera installation methods for reducing equipment costs. One is a method of installing a plurality of inexpensive small cameras 12 as monitoring cameras on each solar panel 11 as shown in FIG.

二つには、図2に示すように、太陽光発電設備の区画毎に設置したパンチルト機構付監視カメラ13により、複数毎の太陽光パネル11を順次撮影する方法である。なお、パンチルト機構13aとは、監視カメラを上下方向及び左右方向に回転させることができる機構である。   Secondly, as shown in FIG. 2, a plurality of solar panels 11 are sequentially photographed by a monitoring camera 13 with a pan / tilt mechanism installed in each section of the photovoltaic power generation facility. The pan / tilt mechanism 13a is a mechanism that can rotate the surveillance camera in the vertical direction and the horizontal direction.

大型の太陽発電設備の特徴として、太陽光パネルの枚数が大量であるため、図1,2に示した2つのタイプのどちらの設置方法を採用した場合においても、一つの太陽光パネル当たりの画像につき、頻繁に伝送することが難しい。この特徴を鑑みて、本実施例では、監視カメラから、一つの太陽光パネルに対して1分に1枚程度のような更新周期が長い頻度で、更新した画像を得るものとする。   As a feature of large-scale solar power generation facilities, the number of solar panels is large. Therefore, regardless of which of the two types of installation methods shown in FIGS. It is difficult to transmit frequently. In view of this feature, in this embodiment, an updated image is obtained from the surveillance camera at a frequency of a long update cycle such as about one per minute for one solar panel.

本実施例では、太陽光パネルを撮影した画像を用いてRandom Forests識別器を構築し、Random Forests識別器の判断によって太陽光パネル上の異物の有無を検査する。Random Forests識別器は、一度に複数の対象を分類(一回の処理で多種類の分類)することができるマルチクラス識別器の一つである。   In this embodiment, a Random Forests classifier is constructed using an image obtained by photographing a solar panel, and the presence or absence of foreign matter on the solar panel is inspected by the judgment of the Random Forests classifier. The Random Forests classifier is one of multiclass classifiers that can classify a plurality of objects at once (multiple types of classification in one process).

太陽光パネルを覆う異物として、「農業用の袋」「シート」「植物(つる草など)」といった代表的なものが分かっている場合、分類する対象として「太陽光パネル」「農業用の袋」「シート」「植物(つる草など)」「その他」を用意して識別器を構築する。このようにすることで、「農業用の袋」「シート」「植物(つる草など)」のように代表的な異物は高い検出精度で分類できる。したがって、異物の有無の検出精度が向上する。   If typical foreign objects covering solar panels, such as “agricultural bags”, “sheets”, and “plants (such as vines)” are known, “solar panels” and “agricultural bags” should be classified. ”,“ Sheet ”,“ Plant (such as vine) ”and“ Others ”are prepared to construct a classifier. In this way, typical foreign objects such as “agricultural bags”, “sheets”, and “plants (such as vines)” can be classified with high detection accuracy. Therefore, the detection accuracy of the presence or absence of foreign matter is improved.

識別器の種類としては、Random Forests 識別器の他、一般的に、アダブーストやサポートヘクターマシンといった識別器がある。これらは2クラス識別器であり、「太陽光パネル」「その他」の2種類の分類を行う。このような2クラス識別器であっても異物の有無の検出を行うことはできる。しかしながら、例えば「シート」の表面が太陽光パネルと比較的似ている場合、2クラス識別器では誤検出する可能性がある。それに比べ、Random Forests 識別器のようなマルチクラス識別器は、このような場合でも高精度に検出することが可能である。   In addition to Random Forests classifiers, there are generally classifiers such as Adaboost and Support Hector Machine. These are two-class classifiers that perform two types of classification, “solar panel” and “others”. Even such a two-class classifier can detect the presence or absence of foreign matter. However, for example, when the surface of the “sheet” is relatively similar to the solar panel, the two-class classifier may erroneously detect. In contrast, multi-class classifiers such as Random Forests classifiers can detect with high accuracy even in this case.

また、2クラス識別器を多段階に構成してマルチクラス識別器を構築することはできるが、各監視対象に対して複数の識別器を個別に構築する必要がある。一方、Random Forests 識別器のようなマルチクラス識別器は、1つの識別器を構築しておけばよく、簡単な手順で済む。   Although a multi-class classifier can be constructed by configuring the 2-class classifier in multiple stages, it is necessary to construct a plurality of classifiers individually for each monitoring target. On the other hand, a multi-class classifier such as a Random Forests classifier has only to construct one classifier and can be a simple procedure.

図3は、本実施例に係る太陽光パネル外観監視装置の動作の概要を説明する模式図である。なお、以下では簡略化のため、複数の太陽光パネル11のうち、第1〜3太陽光パネル(図示略)についてのみ説明するが、実際にはさらに多数の太陽光パネルを監視対象としている。   FIG. 3 is a schematic diagram for explaining the outline of the operation of the solar panel appearance monitoring apparatus according to the present embodiment. In the following, for simplification, only the first to third solar panels (not shown) of the plurality of solar panels 11 will be described, but actually, a larger number of solar panels are targeted for monitoring.

図3に示すように、本実施例に係る太陽光パネル外観監視装置では、第1〜3太陽光パネルの監視カメラ画像11a〜11cに対し、ステップS1として、予め構築した第1〜3太陽光パネル検査用の識別器14a〜14cをそれぞれ用いることで、第1〜3太陽光パネルの検査処理を個別に行い、ステップS2として検査結果出力を行う。そして、この検査結果を基に異物の有無を検出(判断)する。   As shown in FIG. 3, in the solar panel appearance monitoring device according to the present embodiment, the first to third sunlights constructed in advance as step S <b> 1 for the monitoring camera images 11 a to 11 c of the first to third solar panels. By using the discriminators 14a to 14c for panel inspection, the inspection processes of the first to third solar panels are individually performed, and the inspection result output is performed as step S2. Then, the presence or absence of foreign matter is detected (determined) based on the inspection result.

なお、ステップS1の各検査処理を行う装置は、第1〜3太陽光パネルの監視カメラ画像11a〜11c毎に別々に用意してもよく、あるいは、1つの装置内で多数の検査処理を行うようにしてもよい。   In addition, the apparatus which performs each test | inspection process of step S1 may prepare separately for every monitoring camera image 11a-11c of the 1st-3rd solar panel, or performs many test | inspection processes within one apparatus. You may do it.

以下、太陽光パネル検査用の識別器(識別器14a〜14c)の構築概要について、図4を用いて説明する。   Hereinafter, an outline of the construction of the classifiers (classifiers 14a to 14c) for solar panel inspection will be described with reference to FIG.

太陽光パネル検査用の識別器の構築の手順は以下のとおりである。
ステップS11:各太陽光パネルの画像群を用意する。
ステップS12:複数種類の異物の画像群を用意する。
ステップS13:太陽光パネルの画像群から部分画像集を作る。
ステップS14:異物の画像群から部分画像集を作る。
ステップS15:該当の太陽光パネル検査用の識別器を構築する。
以下、ステップS11〜S15について詳述する。
The procedure for constructing a discriminator for solar panel inspection is as follows.
Step S11: An image group of each solar panel is prepared.
Step S12: A plurality of types of foreign matter image groups are prepared.
Step S13: A partial image collection is created from the image group of the solar panel.
Step S14: A partial image collection is created from the foreign matter image group.
Step S15: A corresponding solar panel inspection classifier is constructed.
Hereinafter, steps S11 to S15 will be described in detail.

ステップS11では、予め、第1〜3太陽光パネルを監視カメラ12(13)により異物の無い状態で一定期間撮影し、第1太陽光パネルの監視カメラ画像21a‐1,21a‐2,…を、第1太陽光パネルの画像群21Aとして、第2太陽光パネルの監視カメラ画像21b‐1,21b‐2,…を、第2太陽光パネルの画像群21Bとして、第3太陽光パネルの監視カメラ画像21c‐1,21c‐2,…を、第3太陽光パネルの画像群21Cとして、それぞれ保存しておく。   In step S11, the first to third solar panels are previously photographed by the monitoring camera 12 (13) for a certain period of time without any foreign matter, and the monitoring camera images 21a-1, 21a-2,. The second solar panel monitoring camera images 21b-1, 21b-2,... As the first solar panel image group 21A, and the third solar panel monitoring as the second solar panel image group 21B. The camera images 21c-1, 21c-2, ... are stored as an image group 21C of the third solar panel, respectively.

なお、ここでの「太陽光パネルの監視カメラ画像」とは、上述した図3中の第1〜3太陽光パネルの監視カメラ画像11a〜11cとは異なり、識別器14a〜14cの構築のために予め撮影したものである。   Note that the “monitoring camera image of the solar panel” here is different from the monitoring camera images 11a to 11c of the first to third solar panels in FIG. 3 described above, for the construction of the discriminators 14a to 14c. Previously taken.

ステップS12では、農業用の袋、シート、植物(つる草など)等の異物を別途撮影した複数枚の画像(監視カメラ12(13)とは別のカメラで撮影した画像でもよく、公開している画像データベースから持ってきた画像でもよい)を用意し、第1異物の画像22a‐1,22a‐2,…を、第1異物の画像群22Aとして、第2異物の画像22b‐1,22b‐2,…を、第2異物の画像群22Bとして、それぞれ保存しておく。   In step S12, a plurality of images obtained by separately capturing foreign objects such as agricultural bags, sheets, plants (such as vine grass), etc. (images captured by a camera different from the surveillance camera 12 (13) may be used) The first foreign object images 22a-1, 22a-2,... As the first foreign object image group 22A and the second foreign object images 22b-1, 22b. -2,... Are stored as the second foreign object image group 22B.

なお、ここでは簡略化のため、2つの異物の画像についてのみを説明しているが、実際には、上述のようにより多種類の異物についての画像を画像群として保存してもよい。   Here, for simplification, only two foreign matter images are described, but in practice, images of various types of foreign matter may be stored as an image group as described above.

ステップS13では、第1太陽光パネルの画像群21A内の監視カメラ画像21a‐1,21a‐2,…を、図5に示すように(図5中では、一例として第1太陽光パネルの監視カメラ画像21a‐1のみを表している)、それぞれ格子状に区切り、太陽光パネル11が映っている矩形部分を部分画像23a‐1,23a‐2…(図5中では、部分画像23a‐1のみを表している)として取り出して保存し、これら部分画像を集合させて第1太陽光パネルの部分画像集23Aを作る。   In step S13, monitoring camera images 21a-1, 21a-2,... In the first solar panel image group 21A are displayed as shown in FIG. 5 (in FIG. 5, the first solar panel is monitored as an example. (Only the camera image 21a-1 is represented), each of which is divided into a grid pattern, and the rectangular portions in which the solar panel 11 is reflected are represented by partial images 23a-1, 23a-2 (partial images 23a-1 in FIG. 5). Are taken out and stored, and the partial images 23A of the first solar panel are made by collecting these partial images.

さらに、第2,3太陽光パネルの画像群21B,21C内についても同様の作業を行い、第2,3太陽光パネルの部分画像集23B,23Cを作る。   Further, the same operation is performed for the image groups 21B and 21C of the second and third solar panels to create partial image collections 23B and 23C of the second and third solar panels.

ステップS14では、第1異物の画像群22A内の異物の画像22a‐1,22a‐2,…上において、図6に示すように(図6中では、一例として第1異物の監視カメラ画像22a‐1のみを表している)、それぞれ異物10が映っている部分が入るような矩形範囲を設定し、矩形範囲を部分画像24a‐1,24a‐2…(図6中では、部分画像24a‐1のみを表している)として取り出して保存し、第1異物の部分画像集24Aを作る。   In step S14, as shown in FIG. 6 on the foreign matter images 22a-1, 22a-2,... In the first foreign matter image group 22A (in FIG. 6, as an example, the monitoring camera image 22a of the first foreign matter). -1 only), a rectangular range in which a portion where the foreign object 10 is reflected is set, and the rectangular ranges are set as partial images 24a-1, 24a-2 (in FIG. 6, the partial image 24a- 1 is shown) and is stored and a partial image collection 24A of the first foreign matter is created.

さらに、第2異物の画像群22Bについても同様の作業を行い、第2異物の部分画像集24Bを作る。   Further, the same operation is performed on the second foreign matter image group 22B to create a partial image collection 24B of the second foreign matter.

ステップS15では、第1太陽光パネルの部分画像集23A及び第1,2異物の部分画像集24A,24Bを用いて第1太陽光パネル検査用の識別器14aを学習させ構築する。また、第2,3太陽光パネルの部分画像集23B,23Cを用いて同様の作業を行い、第2,3太陽光パネル検査用の識別器14b,14cを構築する。
以上が太陽光パネル検査用の識別器の構築についての説明である。
In step S15, the first solar panel inspection discriminator 14a is learned and constructed using the first solar panel partial image collection 23A and the first and second foreign substance partial image collections 24A and 24B. Moreover, the same operation | work is performed using the partial image collections 23B and 23C of the 2nd and 3rd solar panel, and the discriminators 14b and 14c for the 2nd and 3rd solar panel inspection are constructed.
This completes the description of the construction of the discriminator for solar panel inspection.

次に、本実施例における第1〜3太陽光パネルに対する検査処理(ステップS1)の概要について、図7を用いて説明する。   Next, the outline | summary of the test | inspection process (step S1) with respect to the 1st-3rd solar panel in a present Example is demonstrated using FIG.

第1太陽光パネルを監視カメラ12(13)により撮影した監視カメラ画像11a(上記監視カメラ画像21a‐1等は、識別器14a等の構築のために用いるものであるが、監視カメラ画像11aは実際の監視時の画像である(識別器14b,14cも同様))を格子状に区切り、太陽光パネルが映っている矩形部分を取り出した部分画像15aを、上記ステップS11〜S15により予め構築した太陽光パネル検査用の識別器14aに入力し、検査結果を判断することで、検査処理を実施する。   A monitoring camera image 11a obtained by photographing the first solar panel with the monitoring camera 12 (13) (the monitoring camera image 21a-1 and the like are used for constructing the discriminator 14a and the like, but the monitoring camera image 11a is A partial image 15a obtained by dividing the actual monitoring image (identifiers 14b and 14c as well) into a grid and taking out a rectangular portion in which the solar panel is reflected was previously constructed in steps S11 to S15. An inspection process is performed by inputting to the discriminator 14a for solar panel inspection and judging the inspection result.

第2,3太陽光パネルの監視カメラ画像11b,11cについても、それぞれ識別器14b,14cを用いて同様の処理を行う。なお、検査結果を判断した後には、検査結果を出力する(ステップS2)。   The same processing is performed on the monitoring camera images 11b and 11c of the second and third solar panels using the discriminators 14b and 14c, respectively. In addition, after judging an inspection result, an inspection result is output (step S2).

監視カメラ画像11a〜11cを格子状に区切る手順としては、上述した、太陽光パネル検査用の識別器14a〜14cを構築する際に太陽光パネルの監視カメラ画像21a‐1等を格子状に区切る手順(ステップS13)と同じ方法を用いる。   As a procedure for dividing the monitoring camera images 11a to 11c into a grid pattern, the solar camera monitoring camera images 21a-1 and the like are partitioned into a grid pattern when constructing the above-described identifiers 14a to 14c for solar panel inspection. The same method as in the procedure (Step S13) is used.

また、太陽光パネルが映っている矩形部分については、検査処理を実施する前に各太陽光パネルを撮影する監視カメラ12(13)の監視カメラ画像に対して予め設定しておくものとする。   Moreover, about the rectangular part in which the solar panel is reflected, it shall set beforehand with respect to the monitoring camera image of the monitoring camera 12 (13) which image | photographs each solar panel before implementing an inspection process.

図8は、上記ステップS1すなわち太陽光パネルに対する検査処理を説明するフローチャートである。図8に示すように、上記ステップS1は具体的には下記ステップS21〜S27から成る。
ステップS21:太陽光パネルの監視カメラ画像を入力する。
ステップS22:監視カメラ画像中から検査する部分画像を取り出す。
ステップS23:部分画像を太陽光パネル検査用の識別器へ入力する。
ステップS24:太陽光パネル検査用の識別器による検査を行う。
ステップS25:部分画像の検査結果を一時保存する。
ステップS26:全ての部分画像を検査したか否かを判定する。
ステップS27:検査結果を判断する。
FIG. 8 is a flowchart for explaining the above-described step S1, that is, the inspection process for the solar panel. As shown in FIG. 8, the above step S1 specifically includes the following steps S21 to S27.
Step S21: Input a monitoring camera image of the solar panel.
Step S22: Extract a partial image to be inspected from the monitoring camera image.
Step S23: The partial image is input to the discriminator for solar panel inspection.
Step S24: An inspection by a discriminator for solar panel inspection is performed.
Step S25: The partial image inspection result is temporarily stored.
Step S26: It is determined whether or not all partial images have been inspected.
Step S27: Determine the inspection result.

以下、ステップS21〜S27について詳述する。なお、以下では簡略化のため、第1太陽光パネル検査用の識別器14aを用いて第1太陽光パネルの監視カメラ画像11aについて処理を行う場合のみ説明するが、他の識別器を用いた他の太陽光パネルの監視カメラ画像の処理についても同様の処理を行う。   Hereinafter, steps S21 to S27 will be described in detail. In the following, for simplification, only the case where the first solar panel inspection camera image 11a is processed using the first solar panel inspection classifier 14a will be described, but another classifier was used. The same processing is also performed for the monitoring camera image processing of other solar panels.

ステップS21では、第1太陽光パネルの監視カメラ画像11aを入力する。   In step S21, the monitoring camera image 11a of the first solar panel is input.

ステップS22では、ステップS21で入力した第1太陽光パネルの監視カメラ画像11aを格子状に区切り、太陽光パネルが映っている矩形部分を部分画像(例えば図7中の部分画像15a)として順次取り出す。   In step S22, the monitoring camera image 11a of the first solar panel input in step S21 is divided into a grid pattern, and rectangular portions in which the solar panel is reflected are sequentially extracted as partial images (for example, partial image 15a in FIG. 7). .

ステップS23では、既にステップS11〜S15で構築済みの第1太陽光パネル検査用の識別器14aへ、ステップS22で取り出した部分画像15a等を入力する。   In step S23, the partial image 15a taken out in step S22 and the like are input to the first solar panel inspection classifier 14a already constructed in steps S11 to S15.

ステップS24では、第1太陽光パネル検査用の識別器14aによって、ステップS23で入力した部分画像15a等の検査を行い、入力した部分画像15a等が第1太陽光パネルであるか、もしくは、異物であるかの確率値を検査結果として出力する。   In step S24, the partial image 15a input in step S23 is inspected by the first solar panel inspection discriminator 14a, and the input partial image 15a is the first solar panel or foreign matter. Is output as the inspection result.

ステップS25では、第1太陽光パネル検査用の識別器14aから出力された部分画像の検査結果を一時保存する。   In step S25, the inspection result of the partial image output from the discriminator 14a for first solar panel inspection is temporarily stored.

ステップS26では、第1太陽光パネル検査用の識別器14aによって全ての部分画像を検査したか否かを判定する。全ての部分画像を検査したと判定すればステップS27へ、そうでなければステップS22へ移行する。   In step S26, it is determined whether or not all partial images have been inspected by the first solar panel inspection discriminator 14a. If it is determined that all the partial images have been inspected, the process proceeds to step S27, and if not, the process proceeds to step S22.

ステップS27では、第1太陽光パネル検査用の識別器14aの出力を統合して検査結果を判断する。すなわち、確率値の判断比率を設け、異物である確率値が第1太陽光パネルである確率値よりも高く、かつ、最も確率値の高い異物の確率値に判断比率を乗じた値よりも第1太陽光パネルである確率値が低い場合は、入力した部分画像に異物が存在すると判断する。第1太陽光パネルの監視カメラ画像11a上の全ての部分画像に対してこの判断を行い、異物が存在すると判断した部分画像の位置を記録しておく。   In step S27, the output of the discriminator 14a for the first solar panel inspection is integrated to determine the inspection result. That is, a determination ratio of probability values is provided, and the probability value that is a foreign object is higher than the probability value that is the first solar panel, and the probability value of a foreign object having the highest probability value is multiplied by the determination ratio. When the probability value of one solar panel is low, it is determined that a foreign object exists in the input partial image. This determination is performed for all partial images on the monitoring camera image 11a of the first solar panel, and the positions of the partial images determined to contain foreign matter are recorded.

なお、ステップS27の後には、ステップS2、すなわち検査結果の出力を行う。この検査結果とは、異物の有無、及び、異物が存在した場合は監視カメラ画像11a上の該当位置(異物が存在すると判断した部分画像の位置)を指す。   After step S27, step S2, that is, the output of the inspection result is performed. This inspection result indicates the presence / absence of a foreign substance and the corresponding position on the monitoring camera image 11a (the position of the partial image determined to have a foreign substance) when the foreign substance is present.

以上説明したように、本実施例に係る太陽光パネル外観監視装置は、大きく2つの機能に分かれる。一つは、太陽光パネル検査用の識別器を構築する機能、二つには、太陽光パネルに対する検査機能である。   As described above, the solar panel appearance monitoring device according to the present embodiment is roughly divided into two functions. One is a function for constructing a discriminator for solar panel inspection, and the other is an inspection function for solar panels.

図9の本実施例に係る太陽光パネル外観監視装置(太陽光パネル外観監視装置1)の概略図に示すように、上記2つの機能は、別々の装置、すなわち、太陽光パネル検査用パラメータ調整装置3と、第1〜3太陽光パネル検査装置4a〜4cとによりもたらされる(ただし、既に説明したように、実際には太陽光パネル11はより多数配されており、各太陽光パネル検査装置は多数の太陽光パネル11に対応して設けられる。後述の識別器14a〜14cも同様である)。   As shown in the schematic diagram of the solar panel appearance monitoring device (solar panel appearance monitoring device 1) according to the present embodiment in FIG. 9, the above two functions are separate devices, that is, parameter adjustment for solar panel inspection. Provided by the device 3 and the first to third solar panel inspection devices 4a to 4c (however, as already explained, a larger number of solar panels 11 are actually arranged, and each solar panel inspection device Are provided corresponding to a large number of solar panels 11. The same applies to discriminators 14a to 14c described later).

太陽光パネル検査用パラメータ調整装置3と太陽光パネル検査装置4a〜4cとの間のデータ授受はストレージ5を介して行う。なお、ストレージ5は監視カメラ12(13)から入力した画像データを記憶し、後述の第1,2記憶部34,44に出力する機能も有している。また、これらの装置を操作する統合インタフェース2を設けられる。太陽光パネル外観監視装置1はこれらを備えた構成となっている。   Data exchange between the solar panel inspection parameter adjustment device 3 and the solar panel inspection devices 4 a to 4 c is performed via the storage 5. The storage 5 also has a function of storing image data input from the monitoring camera 12 (13) and outputting it to first and second storage units 34 and 44 described later. An integrated interface 2 for operating these devices is also provided. The solar panel appearance monitoring device 1 has a configuration including these.

太陽光パネル検査用パラメータ調整装置3では、上述したステップS11〜S15のごとく、予め、監視カメラ12(13)で第1〜3太陽光パネルを異物の無い状態として一定期間撮影した監視カメラ画像21a‐1,21a‐2,…等から成る画像群21A〜21C(太陽光パネル画像群)、及び、監視カメラ12(13)で異物を一定期間撮影した異物の画像22a‐1,22a‐2,…等から成る画像群22A〜22B(異物画像群)を基に、識別器14a〜14cを構築し、識別器14a〜14cのパラメータを計算する。   In the solar panel inspection parameter adjusting device 3, as in steps S11 to S15 described above, the monitoring camera image 21a obtained by photographing the first to third solar panels for a certain period of time with the monitoring camera 12 (13) in the absence of foreign matter in advance. -21, 21a-2,..., And the like, and images 22a-1, 22a-2 of the foreign matter obtained by photographing the foreign matter for a certain period with the monitoring camera 12 (13). Based on the image groups 22A to 22B (foreign object image group) composed of etc., the classifiers 14a to 14c are constructed, and the parameters of the classifiers 14a to 14c are calculated.

図10は太陽光パネル検査用パラメータ調整装置3の構成例を示すブロック図である。太陽光パネル検査用パラメータ調整装置3は、第1処理設定部31、第1部分画像作成部32、第1識別器構築部33、及び、各種データを保管する第1記憶部34を備える。   FIG. 10 is a block diagram illustrating a configuration example of the solar panel inspection parameter adjustment device 3. The solar panel inspection parameter adjustment device 3 includes a first processing setting unit 31, a first partial image creation unit 32, a first classifier construction unit 33, and a first storage unit 34 that stores various data.

第1処理設定部31では、識別器14a〜14cの構築に用いるための、監視カメラ画像21a‐1,21a‐2,…等上の部分画像(例えば図4,5中の部分画像23a‐1)の位置、識別器14a〜14cが分類する対象(太陽光パネル、及び、複数の異物)の種類の量、識別器14a〜14cの規模、識別器14a〜14cを構築する際の試行回数、識別器14a〜14cを構築する際に使用する部分画像の量などで構成される、第1処理パラメータを設定する。換言すれば、第1処理パラメータは、Random Forests 識別器を構築するためのパラメータと画像の範囲であり、「分岐木の数」「分岐木の深さ」「分岐ノードを選ぶための試行回数」「太陽光パネルが映っている矩形部分の位置とサイズ」で構成される。設定した第1処理パラメータは第1記憶部34に保管される。   In the first process setting unit 31, partial images on the monitoring camera images 21a-1, 21a-2,..., Etc. (for example, partial images 23a-1 in FIGS. 4 and 5) to be used for constructing the classifiers 14a to 14c. ), The amount of types of objects (solar panels and a plurality of foreign objects) to be classified by the classifiers 14a to 14c, the scale of the classifiers 14a to 14c, the number of trials when the classifiers 14a to 14c are constructed, First processing parameters configured by the amount of partial images used when constructing the classifiers 14a to 14c are set. In other words, the first processing parameter is a parameter and image range for constructing the Random Forests classifier, and “number of branch trees” “depth of branch tree” “number of trials for selecting branch nodes”. It consists of “the position and size of the rectangular part where the solar panel is reflected”. The set first processing parameter is stored in the first storage unit 34.

第1部分画像作成部32では、第1記憶部34に保管された、第1処理パラメータ、監視カメラ画像21a‐1,21a‐2,…等の画像群21A,21B,21Cの画像データ、及び、異物の画像22a‐1,22a‐2,…等の画像群22A,22Bの画像データに基づき、上述したステップS13,S14のごとく、太陽光パネルの部分画像(例えば図4,5中の部分画像23a‐1)、及び、異物の部分画像(例えば図6中の部分画像24a‐1)を作成する。作成した部分画像データは第1記憶部34に保管される。   In the first partial image creation unit 32, the first processing parameter, the image data of the image groups 21A, 21B, 21C such as the monitoring camera images 21a-1, 21a-2,... Stored in the first storage unit 34, and Based on the image data of the image groups 22A, 22B such as the foreign object images 22a-1, 22a-2,..., The partial image of the solar panel (for example, the part in FIGS. 4 and 5). An image 23a-1) and a partial image of a foreign object (for example, the partial image 24a-1 in FIG. 6) are created. The created partial image data is stored in the first storage unit 34.

第1識別器構築部33では、第1記憶部34に保管された、第1処理パラメータ、及び、各部分画像集23A〜23C,24A,24Bの部分画像データに基づき、上述したステップS15のごとく、識別器14a〜14cを構築し、識別器パラメータを計算する。識別器パラメータとは、Random Forests 識別器自身のパラメータであり、「分岐木の数」「分岐木の深さ」「分岐ノードの条件判定値」「末端ノードの確率分布」で構成される。   In the first classifier construction unit 33, based on the first processing parameter and the partial image data of each of the partial image collections 23A to 23C, 24A, and 24B stored in the first storage unit 34, as in step S15 described above. , Construct classifiers 14a-14c and calculate classifier parameters. The discriminator parameter is a parameter of the Random Forests discriminator itself, and is composed of “the number of branch trees”, “the depth of branch trees”, “condition judgment value of branch nodes”, and “probability distribution of end nodes”.

なお、ストレージ5は、監視カメラ12(13)で撮影した第1〜3太陽光パネルの監視カメラ画像11a〜11cの画像データを保存し、太陽光パネル検査用パラメータ調整装置3(特に第1記憶部34)に出力し、識別器パラメータを太陽光パネル検査用パラメータ調整装置3から入力する。   The storage 5 stores image data of the monitoring camera images 11a to 11c of the first to third solar panels taken by the monitoring camera 12 (13), and the solar panel inspection parameter adjusting device 3 (particularly, the first memory). And the discriminator parameters are input from the solar panel inspection parameter adjustment device 3.

太陽光パネル検査装置4a〜4cでは、上述したステップS21〜S27のごとく、監視カメラ画像11a〜11cを識別器14a〜14cに入力し、識別器14a〜14cの検査結果を基に、第1〜3太陽光パネル上に異物が存在するか否かを判断することで、太陽光パネルの外観を検査する。   In the solar panel inspection apparatuses 4a to 4c, as in steps S21 to S27 described above, the monitoring camera images 11a to 11c are input to the discriminators 14a to 14c, and the first to first screens are based on the inspection results of the discriminators 14a to 14c. 3 The appearance of the solar panel is inspected by determining whether or not there is a foreign object on the solar panel.

なお、既に説明したように、太陽光パネル検査装置4a〜4cはそれぞれ1つの太陽光パネルの検査を受け持つ。すなわち、第1〜3太陽光パネルには、それぞれ太陽光パネル検査装置4a〜4cを用意し、個別に検査処理を行う。   In addition, as already demonstrated, each solar panel inspection apparatus 4a-4c is responsible for the inspection of one solar panel. That is, solar panel inspection apparatuses 4a to 4c are prepared for the first to third solar panels, respectively, and the inspection process is performed individually.

図11は、太陽光パネル検査装置4a(4b,4c)の構成例を示すブロック図である。太陽光パネル検査装置4a(4b,4c)は、画像入力部40、第2処理設定部41、第2部分画像作成部42、第2識別器検査部43、検査結果判断部45、検査結果出力部46、及び、各種データを保管する第2記憶部44を備える。   FIG. 11 is a block diagram illustrating a configuration example of the solar panel inspection apparatus 4a (4b, 4c). The solar panel inspection apparatus 4a (4b, 4c) includes an image input unit 40, a second process setting unit 41, a second partial image creation unit 42, a second discriminator inspection unit 43, an inspection result determination unit 45, and an inspection result output. Unit 46 and a second storage unit 44 for storing various data.

画像入力部40は、上述したステップS21のごとく、監視カメラ12(13)から監視カメラ画像11a〜11cの画像データを入力する。入力した画像データは、その後ストレージ5及び第2記憶部44に保存、保管される。   The image input unit 40 inputs the image data of the monitoring camera images 11a to 11c from the monitoring camera 12 (13) as in step S21 described above. The input image data is then saved and stored in the storage 5 and the second storage unit 44.

第2処理設定部41では、監視カメラ画像11a〜11c上の部分画像15a等の位置、及び、異物である確率値の判断比率などで構成される、第2処理パラメータを設定する。換言すれば、第2処理パラメータは、最終的な判断を行うためのしきい値と画像の範囲であり、「検査結果判断のしきい値」「太陽光パネルが映っている矩形部分の位置とサイズ」で構成される。設定した第2処理パラメータ41は、第2記憶部44に保管される。   The second process setting unit 41 sets second process parameters including the positions of the partial images 15a and the like on the monitoring camera images 11a to 11c and the determination ratio of the probability value of being a foreign object. In other words, the second processing parameter is a threshold value and an image range for making a final determination, and “inspection result determination threshold value” “position of a rectangular portion in which a solar panel is reflected, and Consists of “size”. The set second processing parameter 41 is stored in the second storage unit 44.

第2部分画像作成部42では、第2記憶部44に保管された、第2処理パラメータ、及び、監視カメラ画像11a〜11cの画像データに基づき、上述したステップS22のごとく、太陽光パネルの部分画像15a等を作成する。作成した部分画像データは、第2記憶部44に保管される。   In the 2nd partial image creation part 42, as shown in step S22 mentioned above based on the 2nd process parameter and the image data of the monitoring camera images 11a-11c preserve | saved at the 2nd memory | storage part 44, the part of a solar panel An image 15a and the like are created. The created partial image data is stored in the second storage unit 44.

第2識別器検査部43では、上述したステップS23,S24のごとく、(ストレージ5から入力して)第2記憶部44に保管された識別器14a〜14cの識別器パラメータ、及び、第2部分画像作成部42で作成し第2記憶部44に保管された部分画像15a等の部分画像データに基づき、該部分画像が太陽光パネルであるか、もしくは、異物であるかの確率値を算出する。この確率値は、検査結果データとしてステップS25のごとく、第2記憶部44に保管される。   In the second discriminator inspection unit 43, the discriminator parameters of the discriminators 14a to 14c stored in the second storage unit 44 (input from the storage 5) and the second part as in steps S23 and S24 described above. Based on the partial image data such as the partial image 15a created by the image creating unit 42 and stored in the second storage unit 44, a probability value is calculated as to whether the partial image is a solar panel or a foreign object. . This probability value is stored in the second storage unit 44 as step S25 as test result data.

検査結果判断部45では、第2記憶部44に保管された、第2処理パラメータ、及び、監視カメラ画像1枚分の部分画像についての検査結果データに基づき、異物の存在を判断し、異物の有無、及び、異物の画像上位置で構成される、異物データを作成する。そして、検査結果出力部46では異物データを出力する。   The inspection result determination unit 45 determines the presence of the foreign matter based on the second processing parameter and the inspection result data for the partial image for one monitoring camera image stored in the second storage unit 44. Foreign matter data including the presence / absence and the position of the foreign matter on the image is created. The inspection result output unit 46 outputs foreign matter data.

太陽光パネル検査装置の検査結果は、統合インタフェース2を介して閲覧することができる。例えば図12のように、ある監視カメラ12(13)に対応する太陽光パネル検査装置の異物データが異物有りのデータを持っていた場合、監視カメラ12(13)の画像上で異物有りと判断した部分画像の位置を、異物検出箇所として矩形で示す。図12では、太陽光パネル11の上部に飛来物10aが付着しており、下部をつる草10bが覆っている状態を例示している。   The inspection result of the solar panel inspection apparatus can be viewed through the integrated interface 2. For example, as shown in FIG. 12, when the foreign matter data of the solar panel inspection apparatus corresponding to a certain monitoring camera 12 (13) has foreign matter data, it is determined that there is a foreign matter on the image of the monitoring camera 12 (13). The position of the partial image is indicated by a rectangle as a foreign object detection location. In FIG. 12, the flying object 10a has adhered to the upper part of the solar panel 11, and the state which the grass 10b which hangs the lower part has illustrated is illustrated.

本実施例に係る太陽光パネル外観監視装置を用いて、監視カメラで撮影した画像を解析することで、太陽光パネルの外観を自動的に監視することができる。   By using the solar panel appearance monitoring apparatus according to the present embodiment and analyzing the image taken by the monitoring camera, the appearance of the solar panel can be automatically monitored.

[実施例2]
本実施例に係る太陽光パネル外観監視装置について、実施例1と異なる部分を中心に説明する。
[Example 2]
The solar panel appearance monitoring apparatus according to the present embodiment will be described with a focus on differences from the first embodiment.

監視カメラ12(13)を屋外に設置した場合、風などの影響により監視カメラが揺れ、監視カメラ画像(例えば図7中の監視カメラ画像11a)上における監視対象の位置が上下左右に数ピクセル分動くことがある。この場合、識別器(例えば、図7中の識別器14a)を構築した際に取り出した部分画像(例えば図4,5中の部分画像23a‐1)の位置と、それに対応する、太陽光パネルに対する検査処理を行った時の部分画像(例えば図7中の部分画像15a)の位置とが異なってしまい、誤検出が発生することがある。   When the surveillance camera 12 (13) is installed outdoors, the surveillance camera shakes due to the influence of wind or the like, and the position of the surveillance target on the surveillance camera image (for example, the surveillance camera image 11a in FIG. 7) is several pixels vertically and horizontally. May move. In this case, the position of the partial image (for example, the partial image 23a-1 in FIGS. 4 and 5) taken out when the classifier (for example, the classifier 14a in FIG. 7) is constructed, and the corresponding solar panel The position of the partial image (for example, the partial image 15a in FIG. 7) when the inspection process is performed is different, and erroneous detection may occur.

図13は、本実施例に係る太陽光パネル外観監視装置における、監視カメラ画像の部分画像の作成について説明した概略図である。なお、図13では、監視カメラ画像21a‐1のみについて説明しているが、その他の監視カメラ画像についても同様の方法で部分画像を作成する。   FIG. 13 is a schematic diagram illustrating creation of a partial image of the monitoring camera image in the solar panel appearance monitoring apparatus according to the present embodiment. Although only the monitoring camera image 21a-1 is described in FIG. 13, partial images are created by the same method for other monitoring camera images.

監視カメラ画像11a等に揺れが発生することを考慮して、識別器14a等を構築する際、図13に示すように、監視カメラ画像21a‐1を格子状に区切った際に太陽光パネル11が映っている矩形部分に加えて、該矩形部分から所定のピクセル数分上下左右に位置をずらした範囲を、識別器14a等を構築する際の部分画像(例えば、部分画像33a‐1)として保存し、この部分画像33a‐1等に基づき部分画像集を作る。   Considering the occurrence of shaking in the monitoring camera image 11a, etc., when constructing the discriminator 14a, etc., as shown in FIG. 13, when the monitoring camera image 21a-1 is divided into a grid, the solar panel 11 In addition to the rectangular portion in which is shown, a range in which the position is shifted up and down and left and right by a predetermined number of pixels from the rectangular portion is used as a partial image (for example, partial image 33a-1) when constructing the classifier 14a and the like. A partial image collection is created based on the partial image 33a-1 and the like.

すなわち、本実施例に係る太陽光パネル検査用パラメータ調整装置は、第1処理設定部31(図10参照)で設定する第1処理パラメータに、部分画像を取り出す際のずらし量を加え、第1部分画像作成部32において、このずらし量に基づき部分画像33a‐1を作成する機能を追加する。   That is, the solar panel inspection parameter adjustment device according to the present embodiment adds the shift amount when extracting the partial image to the first processing parameter set by the first processing setting unit 31 (see FIG. 10), In the partial image creation unit 32, a function of creating a partial image 33a-1 based on the shift amount is added.

本実施例に係る太陽光パネル外観監視装置では、実施例1の効果に加え、監視カメラに揺れがあった場合でも誤検出の発生を抑えて、太陽光パネルの外観を自動的に監視することができる。   In the solar panel appearance monitoring apparatus according to the present embodiment, in addition to the effects of the first embodiment, the occurrence of false detection is suppressed even when the surveillance camera is shaken, and the appearance of the solar panel is automatically monitored. Can do.

本発明は、太陽光パネル外観監視装置として好適である。   The present invention is suitable as a solar panel appearance monitoring device.

1 太陽光パネル外観監視装置
2 統合インタフェース
3 太陽光パネル検査用パラメータ調整装置
4a 第1太陽光パネル検査装置
4b 第2太陽光パネル検査装置
4c 第3太陽光パネル検査装置
5 ストレージ
10 異物
10a 飛来物
10b つる草
11 太陽光パネル
11a 第1太陽光パネルの監視カメラ画像
11b 第2太陽光パネルの監視カメラ画像
11c 第3太陽光パネルの監視カメラ画像
12 小型カメラ
13 パンチルト機構付監視カメラ
13a パンチルト機構
14a 第1太陽光パネル検査用の識別器
14b 第2太陽光パネル検査用の識別器
14c 第3太陽光パネル検査用の識別器
15a 部分画像
21a‐1,21a‐2 第1太陽光パネルの監視カメラ画像
21b‐1,21b‐2 第2太陽光パネルの監視カメラ画像
21c‐1,21c‐2 第3太陽光パネルの監視カメラ画像
21A 第1太陽光パネルの画像群
21B 第2太陽光パネルの画像群
21C 第3太陽光パネルの画像群
22a‐1,22a‐2 第1異物の画像
22b‐1,22b‐2 第2異物の画像
22A 第1異物の画像群
22B 第2異物の画像群
23a‐1,23a‐2 部分画像
23A 第1太陽光パネルの部分画像集
23B 第2太陽光パネルの部分画像集
23C 第3太陽光パネルの部分画像集
24a‐1,24a‐2
24A 第1異物の部分画像集
24B 第2異物の部分画像集
31 第1処理設定部
32 第1部分画像作成部
33 第1識別器構築部
33a‐1 部分画像
34 第1記憶部
40 画像入力部
41 第2処理設定部
42 第2部分画像作成部
43 第2識別器検査部
44 第2記憶部
45 検査結果判断部
46 検査結果出力部
DESCRIPTION OF SYMBOLS 1 Solar panel external appearance monitoring apparatus 2 Integrated interface 3 Solar panel inspection parameter adjustment apparatus 4a 1st solar panel inspection apparatus 4b 2nd solar panel inspection apparatus 4c 3rd solar panel inspection apparatus 5 Storage 10 Foreign object 10a Projectile 10b vine 11 solar panel 11a first solar panel monitoring camera image 11b second solar panel monitoring camera image 11c third solar panel monitoring camera image 12 small camera 13 pan-tilt mechanism monitoring camera 13a pan-tilt mechanism 14a Discriminator 14b for first solar panel inspection Discriminator 14c for second solar panel inspection Discriminator 15a for third solar panel inspection Partial images 21a-1, 21a-2 Surveillance cameras for the first solar panel Images 21b-1, 21b-2 Monitoring camera images 21c-1, 2 of the second solar panel c-2 Monitoring camera image 21A of the third solar panel Image group 21B of the first solar panel Image group 21C of the second solar panel Image group 22a-1, 22a-2 of the third solar panel Image 22b-1, 22b-2 Second foreign object image 22A First foreign object image group 22B Second foreign object image group 23a-1, 23a-2 Partial image 23A First solar panel partial image collection 23B Second sun Light Panel Partial Image Collection 23C Third Solar Panel Partial Image Collection 24a-1, 24a-2
24A First foreign matter partial image collection 24B Second foreign matter partial image collection 31 First processing setting section 32 First partial image creation section 33 First classifier construction section 33a-1 Partial image 34 First storage section 40 Image input section 41 2nd process setting part 42 2nd partial image creation part 43 2nd discriminator test | inspection part 44 2nd memory | storage part 45 Test result judgment part 46 Test result output part

Claims (5)

予め、監視カメラで太陽光パネルを異物の無い状態として一定期間撮影した太陽光パネル画像群、及び、該監視カメラで異物を一定期間撮影した異物画像群を基に、太陽光パネル検査用の識別器を構築する、太陽光パネル検査用パラメータ調整装置と、
監視時、前記監視カメラで前記太陽光パネルを撮影した画像を前記識別器に入力し、該識別器の検査結果を基に、該太陽光パネル上に前記異物が存在するか否かを判断する、太陽光パネル検査装置とを備える
ことを特徴とする、太陽光パネル外観監視装置。
Identification for solar panel inspection based on a solar panel image group in which a solar panel is photographed for a certain period of time with a surveillance camera and a foreign object image group in which the surveillance camera is photographed for a certain period of time. A solar panel inspection parameter adjustment device,
At the time of monitoring, an image obtained by photographing the solar panel with the monitoring camera is input to the discriminator, and it is determined whether or not the foreign object exists on the solar panel based on the inspection result of the discriminator. A solar panel appearance monitoring device comprising: a solar panel inspection device.
前記太陽光パネル検査用パラメータ調整装置は、
前記太陽光パネル画像群を各々小領域に区切り、前記太陽光パネルが映っている小領域を部分画像として取り出し、該部分画像の集合を太陽光パネル部分画像集とし、
前記異物の画像群の中で、前記異物が映っている部分が入る小領域を設定し、この小領域を部分画像として取り出し、該部分画像の集合を異物部分画像集とし、
前記太陽光パネル部分画像集及び前記異物部分画像集に基づき、前記識別器を構築する
ことを特徴とする、請求項1に記載の太陽光パネル外観監視装置。
The solar panel inspection parameter adjustment device is:
Each of the solar panel image groups is divided into small areas, the small areas in which the solar panels are reflected are extracted as partial images, and a set of the partial images is a solar panel partial image collection,
In the image group of the foreign matter, set a small region where the portion where the foreign matter is reflected enters, take out this small region as a partial image, a set of the partial images as a foreign matter partial image collection,
The solar panel appearance monitoring device according to claim 1, wherein the discriminator is constructed based on the solar panel partial image collection and the foreign object partial image collection.
前記太陽光パネル検査用パラメータ調整装置は、
前記太陽光パネルが映っている前記小領域に加え、該小領域から所定範囲ずらした領域を部分画像として取り出し、前記太陽光パネル部分画像集とする
ことを特徴とする、請求項1又は2に記載の太陽光パネル外観監視装置。
The solar panel inspection parameter adjustment device is:
In addition to the small area in which the solar panel is reflected, an area shifted from the small area by a predetermined range is taken out as a partial image to form the solar panel partial image collection. The solar panel appearance monitoring device described.
前記識別器はマルチクラス識別器であり、
前記太陽光パネル検査用パラメータ調整装置は、前記太陽光パネル画像群、及び、前記監視カメラで複数種類の前記異物を一定期間撮影した複数種類の前記異物画像群に基づき、前記識別器を構築する
ことを特徴とする、請求項1から3のいずれか1項に記載の太陽光パネル外観監視装置。
The classifier is a multi-class classifier;
The solar panel inspection parameter adjustment device constructs the discriminator based on the solar panel image group and a plurality of types of the foreign object image groups obtained by photographing a plurality of types of the foreign objects for a certain period with the monitoring camera. The solar panel appearance monitoring apparatus according to any one of claims 1 to 3, wherein
前記太陽光パネル検査装置は、
前記監視カメラで前記太陽光パネルを撮影した前記画像から該太陽光パネルが映ってい る矩形部分を部分画像として順次取り出し、該部分画像を前記識別器へ入力し、該識別 器の検査結果を基に、該太陽光パネル上に前記異物が存在するか否かを判断する
ことを特徴とする、請求項1から4のいずれか1項に記載の太陽光パネル外観監視装置。
The solar panel inspection apparatus is
A rectangular portion in which the solar panel is reflected is sequentially extracted as a partial image from the image obtained by photographing the solar panel with the monitoring camera, and the partial image is input to the discriminator. Based on the inspection result of the discriminator. The solar panel appearance monitoring device according to any one of claims 1 to 4, wherein it is determined whether or not the foreign substance exists on the solar panel.
JP2015085617A 2015-04-20 2015-04-20 Solar panel appearance monitoring device Expired - Fee Related JP6484854B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015085617A JP6484854B2 (en) 2015-04-20 2015-04-20 Solar panel appearance monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015085617A JP6484854B2 (en) 2015-04-20 2015-04-20 Solar panel appearance monitoring device

Publications (2)

Publication Number Publication Date
JP2016205910A JP2016205910A (en) 2016-12-08
JP6484854B2 true JP6484854B2 (en) 2019-03-20

Family

ID=57489586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015085617A Expired - Fee Related JP6484854B2 (en) 2015-04-20 2015-04-20 Solar panel appearance monitoring device

Country Status (1)

Country Link
JP (1) JP6484854B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7045030B2 (en) * 2017-09-15 2022-03-31 エナジー・ソリューションズ株式会社 Inspection system, inspection method, server equipment, and program
WO2020223963A1 (en) * 2019-05-09 2020-11-12 Boe Technology Group Co., Ltd. Computer-implemented method of detecting foreign object on background object in image, apparatus for detecting foreign object on background object in image, and computer-program product

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3163389B2 (en) * 1992-10-28 2001-05-08 株式会社エヌ・ティ・ティ・データ Coating substance identification device
JP2000200356A (en) * 1999-01-08 2000-07-18 Hitachi Ltd Method and device for defect classification
ES2870535T3 (en) * 2011-05-12 2021-10-27 Focs Holding Gmbh Device for inspecting a solar panel arrangement
JP2014232795A (en) * 2013-05-29 2014-12-11 東レエンジニアリング株式会社 Solar battery panel washing system

Also Published As

Publication number Publication date
JP2016205910A (en) 2016-12-08

Similar Documents

Publication Publication Date Title
Sankarasubramanian et al. Artificial Intelligence-Based Detection System for Hazardous Liquid Metal Fire
US10796161B2 (en) System and method for identifying a number of insects in a horticultural area
US11092507B2 (en) Method of indicating gas movement in a scene
JP2019512827A5 (en)
US20230005176A1 (en) Throwing position acquisition method and apparatus, computer device and storage medium
JP5938631B2 (en) Object detection apparatus and object detection method
JP6044522B2 (en) Slow change detection system
Kim et al. Automatic photovoltaic panel area extraction from UAV thermal infrared images
JP6484854B2 (en) Solar panel appearance monitoring device
CN110536074B (en) Intelligent inspection system and inspection method
CN107220969A (en) The method of testing and detecting system of product lamp position
JP3486229B2 (en) Image change detection device
CN111178424A (en) Petrochemical production site safety compliance real-time detection system and method
KR20230036557A (en) A system for monitoring solar panel failures on a large scale using drones
US10997734B2 (en) Gas detection-use image processing device, gas detection-use image processing method, and gas detection-use image processing program
JP2021119523A (en) Fire detection device and fire detection method
JP5222908B2 (en) Collapse detection system and collapse detection method
CN102867385A (en) Building security system and building security method based on pulse light spot array pattern change detection
US20230260383A1 (en) Visible range detection system
JP4707019B2 (en) Video surveillance apparatus and method
JP5405365B2 (en) Image monitoring apparatus and monitoring system
JP6326622B2 (en) Human detection device
CN102930682A (en) Intrusion detection method based on displacement of light spot patterns
JP2011061651A (en) Suspicious object detection system
JP6849150B2 (en) Industrial plant monitoring and control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190115

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190128

R150 Certificate of patent or registration of utility model

Ref document number: 6484854

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees