JP6951639B2 - 画像解析装置、画像解析方法及び画像解析プログラム - Google Patents
画像解析装置、画像解析方法及び画像解析プログラム Download PDFInfo
- Publication number
- JP6951639B2 JP6951639B2 JP2017226153A JP2017226153A JP6951639B2 JP 6951639 B2 JP6951639 B2 JP 6951639B2 JP 2017226153 A JP2017226153 A JP 2017226153A JP 2017226153 A JP2017226153 A JP 2017226153A JP 6951639 B2 JP6951639 B2 JP 6951639B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- unit
- thermo
- index value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Photovoltaic Devices (AREA)
- Image Analysis (AREA)
Description
以下、本発明の一実施形態について説明する。
以下、本発明の一実施形態による画像解析システム1の全体構成について、図面を参照しながら説明する。図1は、画像解析システム1の全体構成を示すブロック図である。
なお、サーモ画像とは、物体から放射される赤外線を解析し、熱分布を図として表した画像である。
以下、パネル検出部10の機能構成について、図面を参照しながら更に詳しく説明する。図2は、パネル検出部10の機能構成を示すブロック図である。
図2に示すように、パネル検出部10は、適応二値化部101と、輪郭検出部102と、閾値判定部103と、膨張処理部104と、外接矩形推定部105と、を含んで構成される。
なお、適応二値化処理には、例えば、OpenCV(登録商標)における、adaptiveThreshold関数を用いることができる。
適応二値化部101は、取得したサーモ画像に含まれる画素のうち、適応二値化処理をまだ行っていない画素の1つを選択する(ステップS102)。
適応二値化部101は、算出された中央値から所定の数を減算した値を閾値に設定する(ステップS104)。
なお、ここで所定の数を0以上とすることによって、適応二値化部101は、局所的に変化の少ない領域と変化の大きい領域とに分別することができる。
なお、ここでは、適応二値化部101は、選択された画素の画素値を「1」又は「0」に変換するものとしたが、これらの値に限定されるものではない。
また、図5は、適応二値化部101によって二値化されたサーモ画像の一例を示す図である。
このように、適応二値化部101による適応二値化処理によって、図4に示すようなサーモ画像が、例えば、図5に示すような白と黒の二階調のサーモ画像に変換される。
適応二値化部101は、適応二値化処理によって二値化されたサーモ画像を、輪郭検出部102へ出力する。
輪郭検出部102は、適応二値化部101から出力された、二値化されたサーモ画像を取得する。輪郭検出部102は、二値化されたサーモ画像から、輪郭となる部分を検出する。なお、輪郭の検出は、例えば、収縮処理を行うことによって輪郭を強調させてから行うようにしてもよい。
輪郭検出部102は、検出された輪郭を示す情報(例えば、輪郭を示す座標情報)を含む二値化されたサーモ画像(以下、「輪郭検出画像」という)を、閾値判定部103へ出力する。
閾値判定部103は、サーモ画像内での太陽光パネルの大きさに基づいて閾値を設定する。閾値判定部103は、設定された閾値に基づいて閾値判定を行うことによって、サーモ画像内における太陽光パネルが写っている領域の候補となる領域(以下、「候補領域」という)を決定する。
閾値判定部103は、選択された候補領域の輪郭に基づいて、候補領域の内部の面積を算出する。算出された面積が所定の値以上ではない場合、すなわち、所定の値より小さい場合(ステップS203・NO)、閾値判定部103は、選択された候補領域が太陽光パネルの候補となる領域ではない(候補外である)と判定する(ステップS206)。
なお、上記の閾値判定処理における判定条件に加え、更に、面積が所定の値以下の大きさであること、あるいは、輪郭の長さが所定の値以上の長さであること、といった条件等が組み合わされた判定条件が用いられてもよい。あるいは、候補領域の外接矩形を推定し、外接矩形の面積に対して候補領域内の面積が一定以上の割合を占めいているといった条件を用いても良い。
閾値判定部103は、太陽光パネルの候補領域を示す情報を含む二値化されたサーモ画像(以下、「太陽光パネル候補画像」という)を、膨張処理部104へ出力する。
膨張処理部104は、閾値判定部103から出力された太陽光パネル候補画像を取得する。膨張処理部104は、太陽光パネル候補画像に対して、膨張処理を実行する。膨張処理部104は、膨張処理された太陽光パネル候補画像を外接矩形推定部105へ出力する。
外接矩形推定部105は、膨張処理部104から出力された、膨張処理された太陽光パネル候補画像を取得する。外接矩形推定部105は、膨張処理された太陽光パネル候補画像から、複数の太陽光パネルによって構成されるアレイを示す領域に外接する矩形を推定する。具体的には、外接矩形推定部105は、まず膨張処理された太陽光パネル候補画像におけるアレイの輪郭を特定し、特定された輪郭を矩形に近似することによって、アレイを示す領域に外接する矩形を推定する。
以下、異常パネル検出部20の機能構成について、図面を参照しながら更に詳しく説明する。図10は、異常パネル検出部20の機能構成を示すブロック図である。
図10に示すように、異常パネル検出部20は、適応二値化部201と、背景マスク部202と、外枠マスク部203と、距離画像変換部204と、距離画像二値化部205と、背景分離部206と、正常太陽光パネル分離部207と、ノイズ除去部208と、を含んで構成される。
適応二値化部201は、適応二値化処理によって二値化されたサーモ画像を、背景マスク部202へ出力する。
外枠マスク部203は、外枠マスク処理が施された、二値化されたサーモ画像を距離画像変換部204へ出力する。
また、図12は、距離画像変換部204によって生成された距離画像の一例を示す図である。
距離画像変換部204は、生成された距離画像を距離画像二値化部205へ出力する。
距離画像二値化部205は、距離画像変換部204から出力された距離画像を取得する。距離画像二値化部205は、取得した距離画像に対して、二値化処理を実行する。なお、この二値化処理において用いられる閾値は、距離画像に含まれる全ての画素の画素値の最大値から一定割合だけ減じたものにより与えられる。閾値を各画像内での最大値として与えることで、レンズ歪みや画像毎の撮影高度のずれに起因する距離の誤差を許容することが可能になる。またこのとき一定割合を減じることにより、撮影時に水平が取れていない場合に画像内で太陽光パネルの大きさが一様ではなくなっているような場合に適切に検出を行うことが出来る。たとえばこの割合を3分の1未満にすることで、ストリング故障(パネルモジュール内の3分の1の温度変化につながる)のある太陽光パネルを除外することができる。またこのとき所定の数値を閾値の上限として与えることで、パネル以外の領域から距離の最大値が決定されてしまうことによる誤りを防ぐことが可能になる。
距離画像二値化部205による二値化処理によって、アレイが写っている領域に含まれる太陽光パネルが、正常な太陽光パネルと、異常のある太陽光パネルとに、分別される。
図13は、距離画像二値化部205によって生成された二値化された距離画像の一例を示す図である。図示するように、二値化された距離画像においては、異常のある太陽光パネルを示す領域がマスクされ、正常な太陽光パネルを示す領域とそれ以外との領域とに分別される。
背景分離部206には、外部の装置から出力された、複数の太陽光パネルによって構成されるアレイの一部又は全部が飛行体によって撮影されたサーモ画像が入力される。なお、適応二値化部201に入力されるサーモ画像と、背景分離部206に入力されるサーモ画像とは、同一の画像である。また、背景分離部206は、パネル検出部10の外接矩形推定部105から出力された、アレイが写っている領域を示す情報を取得する。
正常太陽光パネル分離部207は、正常な太陽光パネルが写っている領域が除去されたサーモ画像を、ノイズ除去部208へ出力する。
ノイズ除去部208は、異常のある太陽光パネルを示す情報を外部の装置へ出力する。
・適応二値化処理を用いることによって、各太陽光パネルの形状を十分な精度で検出できる点。
・適応二値化処理のみでは、アレイが写っている領域だけでなく背景の領域も混在している画像となる。そのため、輪郭の内部の面積と外周の長さに基づいて、太陽光パネルの形状に近い長方形の輪郭を有する領域のみを太陽光パネルが写っている領域の候補とすることで、誤検出を防止する点。
・更に、複数の太陽光パネルが隣接して並べられてアレイが構成されている点を考慮し、アレイが写っている領域を矩形によって近似して、矩形の内部の領域を全て太陽光パネルが写っている領域であるものとすることにより、太陽光パネルの検出漏れを防止する点。
・サーモ画像内の位置によって、太陽光パネルの温度の測定データに誤差が生じるため、サーモ画像内の全ての画素の画素値に対して同一の閾値で二値化処理を行うのは困難である。そのため、適応二値化処理を用いることによって、画素ごとに設定された閾値で二値化処理を行う点。
・異常のある太陽光パネルを検出するのではなく正常な太陽光パネル検出し、正常な太陽光パネルを除外して残った領域を異常のある太陽光パネルとみなす点。これは、異常のある太陽光パネルの場合、太陽光パネルの内部の画素値には変化があるため、領域分割による検出が困難であるためである。
・更に、距離画像を生成し、生成された距離画像を二値化することによって、より精度高く正常な太陽光パネルを検出する点。
・適応二値化処理を用いた方が画像のコントラストの変化による影響が小さい。これにより、閾値調整の難易度が低くなる。連続して撮影されたサーモ画像であっても、コントラストは大きく異なることがある。
・太陽、太陽光パネル及びサーモカメラの3者の位置関係によって、取得される赤外線の強度が変化するため。
・画像のコントラストは温度の上限値及び下限値を元に決定されるため、画像全体のコントラストは画像ごとに変動するため。例えば、画像内に金属等の赤外線放射率の小さい素材が映りこんだ場合には異常値(例えば、氷点下である温度値等)として検出される。この場合、上限値及び下限値が大きく変動することがある。
・撮影する飛行体の速度の変化や、飛行による振動等の要因によって、測定値に誤差(動きブレ)が発生するため。
すなわち、同一の形状及び同一の大きさである複数の構造体がタイル状に配置された構造体群が写っている画像から、構造体群が写っている領域を検出する場合、及び、構造体群に含まれる構造体のうち異常のある構造体を検出する場合において、本発明は適用可能である。
なお、ここでいう「コンピュータシステム」とは、画像解析システム1に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
Claims (5)
- 同一の形状及び同一の大きさである複数の構造体がタイル状に配置された構造体群のサーモ画像を取得し、前記サーモ画像に含まれるそれぞれの画素の画素値を前記画素の周辺画素の中央値に基づく閾値に基づいて二値化することにより前記サーモ画像に含まれる滑らかな領域を検出して、前記滑らかな領域として検出されなかった領域をエッジと判定するエッジ判定部と、
前記エッジ判定部によって検出された前記滑らかな領域に含まれる座標と、前記座標を囲う前記エッジに含まれる座標と、の距離に基づく指標値を算出する指標値算出部と、
前記指標値算出部によって算出された前記指標値に基づいて、異常が生じていると推定される前記構造体を含まない領域である正常領域を特定する正常領域特定部と、
前記サーモ画像における、前記正常領域特定部によって特定された前記正常領域ではない領域を異常領域として特定する異常領域特定部と、
前記エッジと判定された前記領域の面積と外周の長さとに基づいて前記構造体の候補となる領域であるか否かを判定する判定部と、
を備え、
前記指標値算出部は、前記構造体の候補となる領域であると判定された領域について、前記指標値を算出する
画像解析装置。 - 同一の形状及び同一の大きさである複数の構造体がタイル状に配置された構造体群のサーモ画像を取得し、前記サーモ画像に含まれるそれぞれの画素の画素値を前記画素の周辺画素の中央値に基づく閾値に基づいて二値化することにより前記サーモ画像に含まれる滑らかな領域を検出して、前記滑らかな領域として検出されなかった領域をエッジと判定するエッジ判定部と、
前記エッジ判定部によって検出された前記滑らかな領域に含まれる座標と、前記座標を囲う前記エッジに含まれる座標と、の距離に基づく指標値を算出する指標値算出部と、
前記指標値算出部によって算出された前記指標値に基づいて、異常が生じていると推定される前記構造体を含まない領域である正常領域を特定する正常領域特定部と、
前記サーモ画像における、前記正常領域特定部によって特定された前記正常領域ではない領域を異常領域として特定する異常領域特定部と、
を備え、
前記指標値算出部は、前記構造体の傾きに応じた方位のみを対象として、前記座標から最も近い距離に存在する前記エッジに含まれる座標を選出する
画像解析装置。 - 同一の形状及び同一の大きさである複数の構造体がタイル状に配置された構造体群のサーモ画像を取得し、前記サーモ画像に含まれるそれぞれの画素の画素値を前記画素の周辺画素の中央値に基づく閾値に基づいて二値化することにより前記サーモ画像に含まれる滑らかな領域を検出して、前記滑らかな領域として検出されなかった領域をエッジと判定するエッジ判定部と、
前記エッジ判定部によって検出された前記滑らかな領域に含まれる座標と、前記座標を囲う前記エッジに含まれる座標と、の距離に基づく指標値を算出する指標値算出部と、
前記指標値算出部によって算出された前記指標値に基づいて、異常が生じていると推定される前記構造体を含まない領域である正常領域を特定する正常領域特定部と、
前記サーモ画像における、前記正常領域特定部によって特定された前記正常領域ではない領域を異常領域として特定する異常領域特定部と、
を備え、
前記正常領域特定部は、二値化された前記サーモ画像を前記指標値に基づいて距離画像に変換し、前記距離画像に含まれる全ての画素の画素値の最大値から一定割合だけ減じた閾値に基づいて前記距離画像を二値化することにより前記正常領域を特定する
画像解析装置。 - コンピュータによる画像解析方法であって、
同一の形状及び同一の大きさである複数の構造体がタイル状に配置された構造体群のサーモ画像を取得し、前記サーモ画像に含まれるそれぞれの画素の画素値を前記画素の周辺画素の中央値に基づく閾値に基づいて二値化することにより前記サーモ画像に含まれる滑らかな領域を検出して、前記滑らかな領域として検出されなかった領域をエッジと判定するエッジ判定ステップと、
前記エッジと判定された前記領域の面積と外周の長さとに基づいて前記構造体の候補となる領域であるか否かを判定する判定ステップと、
前記構造体の候補となる領域であると判定された領域について、前記エッジ判定ステップによって検出された前記滑らかな領域に含まれる座標と、前記座標を囲う前記エッジに含まれる座標と、の距離に基づく指標値を算出する指標値算出ステップと、
前記指標値算出ステップによって算出された前記指標値に基づいて、異常が生じていると推定される前記構造体を含まない領域である正常領域を特定する正常領域特定ステップと、
前記サーモ画像における、前記正常領域特定ステップによって特定された前記正常領域ではない領域を異常領域として特定する異常領域特定ステップと、
を有する画像解析方法。 - コンピュータに、
同一の形状及び同一の大きさである複数の構造体がタイル状に配置された構造体群のサーモ画像を取得し、前記サーモ画像に含まれるそれぞれの画素の画素値を前記画素の周辺画素の中央値に基づく閾値に基づいて二値化することにより前記サーモ画像に含まれる滑らかな領域を検出して、前記滑らかな領域として検出されなかった領域をエッジと判定するエッジ判定ステップと、
前記エッジと判定された前記領域の面積と外周の長さとに基づいて前記構造体の候補となる領域であるか否かを判定する判定ステップと、
前記構造体の候補となる領域であると判定された領域について、前記エッジ判定ステップによって検出された前記滑らかな領域に含まれる座標と、前記座標を囲う前記エッジに含まれる座標と、の距離に基づく指標値を算出する指標値算出ステップと、
前記指標値算出ステップによって算出された前記指標値に基づいて、異常が生じていると推定される前記構造体を含まない領域である正常領域を特定する正常領域特定ステップと、
前記サーモ画像における、前記正常領域特定ステップによって特定された前記正常領域ではない領域を異常領域として特定する異常領域特定ステップと、
を実行させるための画像解析プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017226153A JP6951639B2 (ja) | 2017-11-24 | 2017-11-24 | 画像解析装置、画像解析方法及び画像解析プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017226153A JP6951639B2 (ja) | 2017-11-24 | 2017-11-24 | 画像解析装置、画像解析方法及び画像解析プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019096151A JP2019096151A (ja) | 2019-06-20 |
JP6951639B2 true JP6951639B2 (ja) | 2021-10-20 |
Family
ID=66971936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017226153A Active JP6951639B2 (ja) | 2017-11-24 | 2017-11-24 | 画像解析装置、画像解析方法及び画像解析プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6951639B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7308733B2 (ja) * | 2019-11-29 | 2023-07-14 | コムシス情報システム株式会社 | 状態判定システムおよび状態判定方法。 |
WO2021117093A1 (ja) * | 2019-12-09 | 2021-06-17 | 日本電信電話株式会社 | 異常検知方法、異常検知装置及びプログラム |
CN113160074A (zh) * | 2021-03-30 | 2021-07-23 | 广州万孚倍特生物技术有限公司 | 微阵列芯片图像分析方法、装置、计算机设备和存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3781467B2 (ja) * | 1996-01-10 | 2006-05-31 | 松下電器産業株式会社 | パターン検査手法 |
JP3615440B2 (ja) * | 1999-11-16 | 2005-02-02 | 京セラミタ株式会社 | エッジ抽出方法および画像処理方法 |
JP2007026103A (ja) * | 2005-07-15 | 2007-02-01 | Nissan Motor Co Ltd | 顔部位判定装置及び方法 |
JP6208426B2 (ja) * | 2012-12-18 | 2017-10-04 | エルジー ディスプレイ カンパニー リミテッド | フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法 |
JP6276066B2 (ja) * | 2014-02-27 | 2018-02-07 | 東北電力株式会社 | 太陽電池アレイの異常通知装置 |
-
2017
- 2017-11-24 JP JP2017226153A patent/JP6951639B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019096151A (ja) | 2019-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ai et al. | Computer vision framework for crack detection of civil infrastructure—A review | |
US20170277966A1 (en) | System and methods for automatic solar panel recognition and defect detection using infrared imaging | |
JP6951639B2 (ja) | 画像解析装置、画像解析方法及び画像解析プログラム | |
Di Tommaso et al. | A multi-stage model based on YOLOv3 for defect detection in PV panels based on IR and visible imaging by unmanned aerial vehicle | |
US11451192B2 (en) | Automated photovoltaic plant inspection system and method | |
US20170031056A1 (en) | Solar Energy Forecasting | |
US20150213299A1 (en) | Infrared image based early detection of oil spills in water | |
WO2015104281A1 (en) | Solar irradiance forecasting | |
Yan et al. | Towards automated detection and quantification of concrete cracks using integrated images and lidar data from unmanned aerial vehicles | |
KR102272369B1 (ko) | 위성영상 기반의 태양광 발전량 예측 장치 및 그 방법 | |
de Oliveira et al. | Automatic fault detection of photovoltaic array by convolutional neural networks during aerial infrared thermography | |
US20230080178A1 (en) | Automated assessment of cracks using lidar and camera data | |
CN111860404A (zh) | 一种光伏板热斑定位方法及系统 | |
US20230342907A1 (en) | Image analysis apparatus, image analysis method, and program | |
Kakillioglu et al. | Autonomous heat leakage detection from unmanned aerial vehicle-mounted thermal cameras | |
Ahmed et al. | On-road automobile license plate recognition using co-occurrence matrix | |
KR101779040B1 (ko) | 태양광 어레이의 열적외선 영상으로부터 패널 영역을 자동 추출하는 방법 및 장치 | |
Sledz et al. | UAV-based thermal anomaly detection for distributed heating networks | |
Montanez et al. | Photovoltaic module segmentation and thermal analysis tool from thermal images | |
CN113947724A (zh) | 一种基于双目视觉的线路覆冰厚度自动测量方法 | |
Bommes et al. | Georeferencing of photovoltaic modules from aerial infrared videos using structure‐from‐motion | |
KR20230061815A (ko) | 기후 데이터 및 하늘 사진을 이용한 태양광 발전량 예측 장치 및 이를 이용한 태양광 발전량 예측 방법 | |
Ying et al. | Anchor points based accurate fault locating in large-scale photovoltaic plants via aerial infrared videos | |
JP2008269218A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN116758425A (zh) | 一种大基地光伏电站自动验收方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190521 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6951639 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |