JP7308733B2 - 状態判定システムおよび状態判定方法。 - Google Patents

Description

この発明は、空撮された赤外線画像による撮像対象の状態判定システムおよび状態判定
方法に関する。

従来、飛行体（無人航空機（ドローン）等）を利用して、空撮することが広く行われて
いる。このような空撮画像は個人が景色を観賞するために利用されるだけでなく、災害救
助、農業、生態調査、報道、インフラ点検、異常箇所の点検等、業務上利用されることも
ある。

例えばインフラ点検の一例として、太陽光発電所の太陽光発電設備（太陽光パネル等）
の点検に空撮画像を利用することができる。太陽光発電設備は主に光起電力効果によって
発電するため、太陽光を受ける面の汚れ、破損等により発電に支障をきたす。空撮画像に
よって、太陽光発電設備の汚れ、破損等を把握することが可能である。したがって、空撮
画像によって太陽光発電設備を撮影して点検することが太陽光発電所において発電効率を
高めるのに有効である。

また、太陽電池モジュール表面を撮影して得られた撮影画像から、異物の厚さを求め、
検出した厚さを基準値と比較し、検出した厚さが基準値を超える太陽電池モジュールにつ
いて、異常があると判定する点検方法もある（特許文献１参照）。

特開２０１４－０８２２７２号公報

しかしながら太陽電池モジュールにおいて、光起電力効果を妨げる要因は異物だけに限
らず、破損等もある。さらに所定の厚さを超えない異物であっても、光起電力効果を妨げ
る要因となる。したがって、太陽光発電設備の点検において、異物の厚さのみで異常判定
をするのでは不十分となるおそれがある。

また、太陽光発電パネルを配列（例えばマトリクス状に配列）して構成される太陽光発
電設備がある。このような太陽光発電設備の点検においては、規模によってパネルを１枚
１枚確認することが困難であることも考えられる。しかし、このような場合であっても、
赤外線画像を空撮することにより、太陽光発電パネル群の表面側の温度分布を取得して、
温度情報により異常を判定するシステムも提案されている。

ただし、太陽光発電パネル群を含む空撮の赤外線画像には様々なものが含まれる。つま
り太陽光発電パネル以外の物も含まれる。これにより、単に赤外線画像の温度分布から異
常判定するだけでは、太陽光発電パネルの異常判定を失敗するおそれがある。

この発明は、上記課題を解決するためになされたものであり、その目的は、赤外線画像
による撮像対象の異常判定ミスを低減することにある。

一の実施形態の状態判定システムは、飛行体から赤外線画像を受信する画像受信部と、
赤外線画像から撮像対象または所定数の撮像対象群を特定する特定部と、特定した撮像対
象または撮像対象群ごとに赤外線情報に基づく温度情報を求める温度情報取得部と、温度
情報取得部により求められた温度情報に基づき、特定した撮像対象または撮像対象群ごと
に異常判定をする判定部と、を備える。
前記状態判定システムにおいて、特定部は、赤外線画像から撮像対象または所定数の撮
像対象群を、その配列の特徴に基づき推論して特定してもよい。
前記状態判定システムにおいて、撮像対象の配列の特徴を設定するための設定部を有し
、特定部は設定部により設定された配列の特徴を利用して撮像対象または所定数の撮像対
象群を特定してもよい。
前記状態判定システムにおいて、特定部はディープラーニング技術に基づき、撮像対象
または撮像対象群を推論することにより特定してもよい。
前記状態判定システムにおいて、特定部が特定した撮像対象または撮像対象群の配列に
基づき赤外線画像の傾きを求め、傾き補正をする第１の補正部をさらに備えてもよい。
前記状態判定システムにおいて、特定した前記撮像対象または撮像対象群のサイズを算
出し、当該算出値のばらつきと、当該ばらつきの許容範囲を示す判定値とを比較し、当該
ばらつきが当該判定値に対して所定の関係にある場合、特定エラーとして判定する第１の
判定部を有していてもよい。
前記状態判定システムにおいて、特定部が特定した撮像対象または撮像対象群の位置関
係に基づき、いずれかの撮像対象または撮像対象群が配列から外れているかを求め、配列
から外れている撮像対象または撮像対象群を特定エラーとして判定する第２の判定部をさ
らに有していてもよい。
前記状態判定システムにおいて、第２の判定部は、整列位置の分散値を求め、赤外線画
像内のＹ軸方向の判定値と比較し、さらに当該分散値算出値が判定値に対して所定の関係
にある場合、特定エラーとして判定してもよい。
前記状態判定システムにおいて、特定部は撮像対象の配列方向にしたがって順次特定を
行い、判定対象となる前記撮像対象または撮像対象群と、特定された他の対象との重畳の
程度に応じて特定エラーとして判定する第３の判定部を有していてもよい。
前記状態判定システムにおいて、特定部はＸ軸方向に順次特定処理を行い、さらに第３
の判定部は、重畳の程度として、特定している対象のＸ軸方向における所定位置が、Ｘ軸
方向に隣接する対象のＸ座標の一端と他端の間にある場合に特定エラーとして判定しても
よい。
前記状態判定システムにおいて、特定している撮像対象のＸ軸方向における所定位置と
は、当該赤外線画像のＸ軸方向における中心位置であってもよい。
前記状態判定システムにおいて、特定部により特定された撮像対象または撮像対象群の
行ごとまたは列ごとに、その行または列に属する撮像対象または撮像対象群を１つのクラ
スターとしてまとめ、クラスターそれぞれに属する撮像対象または撮像対象群の数が指定
数以下である場合、当該クラスターに属する撮像対象または撮像対象群を特定エラーとし
て判定する第４の判定部をさらに有していてもよい。
前記状態判定システムにおいて、第４の判定部は、特定部により特定された撮像対象ま
たは撮像対象群のＹ軸位置に基づき、近似するＹ軸位置またはＸ軸位置の撮像対象または
撮像対象群をクラスターとして集合させてもよい。
前記状態判定システムにおいて、特定部により特定された撮像対象または撮像対象群の
行ごとまたは列ごとに、その行または列に属する撮像対象または撮像対象群を１のクラス
ターとしてまとめ、
クラスターごとに直近の他のクラスターとの距離を算出し、この算出値と判定値とを比較
し、算出値が判定値に対して所定の関係にある場合、特定エラーとして判定する第５の判
定部を有していてもよい。
前記状態判定システムにおいて、クラスター内の指定数およびクラスター列数の少なく
ともいずれかをユーザーにより設定可能とする設定部をさらに有していてもよい。
前記状態判定システムにおいて、特定部により特定された撮像対象または撮像対象群の
行ごとまたは列ごとに、その行または列に属する撮像対象または撮像対象群を、所定の矩
形となるように１つのクラスターとしてまとめ、各クラスターに属する撮像対象または撮
像対象群のうち、矩形から外れたものについて、矩形範囲内に含まれるように位置補正を
する第６の判定部を有していてもよい。
他の実施形態の状態判定システムは、飛行体から可視光画像および赤外線画像を受信す
る画像受信部と、可視光画像から撮像対象または所定数の撮像対象群を特定する特定部と
、可視光画像において特定した撮像対象または所定数の撮像対象群における座標位置に基
づき、赤外線画像において撮像対象ごとまたは撮像対象群ごとに赤外線情報に基づく温度
情報を求める温度情報取得部と、温度情報取得部により求められた前記温度情報に基づき
、特定した撮像対象ごとまたは撮像対象群ごとに異常判定をする判定部と、を備える。

実施形態によれば、赤外線画像による撮像対象の異常判定ミスを低減することが可能で
ある。

第１実施形態の状態判定システムを示す概略ブロック図。 赤外線画像の概略図。 赤外線画像の概略図。 赤外線画像の概略図 第１実施形態の概略フローチャート。 第１実施形態の変形例の状態判定システムを示す概略ブロック図。 第１実施形態の変形例の概略フローチャート 第２実施形態の状態判定システムを示す概略ブロック図。 第２実施形態の補正処理の概要を示す概念図。 第２実施形態の概略フローチャート。 第３実施形態の状態判定システムを示す概略ブロック図。 第３実施形態の判定処理の概要を示す概念図。 第３実施形態の概略フローチャート。 第４実施形態の状態判定システムを示す概略ブロック図。 第４実施形態の判定処理の概要を示す概念図。 第４実施形態の概略フローチャート。 第５実施形態の状態判定システムを示す概略ブロック図。 第５実施形態の判定処理の概要を示す概念図。 第５実施形態の概略フローチャート。 第６実施形態の状態判定システムを示す概略ブロック図。 第６実施形態の判定処理の概要を示す概念図。 第６実施形態の変形例の判定処理の概要を示す概念図。 第６実施形態の概略フローチャート。 第７実施形態の状態判定システムを示す概略ブロック図。 第７実施形態の処理の概要を示す概念図。 第７実施形態の処理の概要を示す概念図。 第７実施形態の概略フローチャート。 第８実施形態の空撮画像位置特定システムを示す概略ブロック図。 第８実施形態の補正処理の概要を示す概念図。 第８実施形態の概略フローチャート。 太陽光発電所の点検システムにおける空撮画像の取得の概要を示す概念図。 第９実施形態の空撮画像位置特定システムを示す概略ブロック図。 第９実施形態の概略フローチャート。 第１０実施形態の空撮画像位置特定システムを示す概略ブロック図。 重畳画像の一例の概要を示す概念図。 第１１実施形態の空撮画像位置特定システムを示す概略ブロック図。 オルソ画像の一例の概要を示す概念図。 第１２実施形態の空撮画像位置特定システムを示す概略ブロック図。 第１２実施形態の特定部の処理の一例を示す概念図。 重畳画像における補正処理前の不良観察対象物のマーキング位置を示す概念図。 重畳画像における補正処理後の不良観察対象物のマーキング位置を示す概念図。 変形例の地図データを示す概略図。 第１３実施形態の空撮画像位置特定システムを示す概略ブロック図。 報告書データを示す概略図。

図１～図４１を参照して、第１実施形態～第７実施形態の状態判定システムおよび第８
～第１３実施形態にかかる空撮画像位置特定システムおよび配列位置検出システムについ
て説明する。

［第１実施形態］
第１実施形態にかかる状態判定システム１００の全体構成について図１～図４を参照し
て説明する。なお、図１における状態判定システムは一例であり、その他の構成を含むこ
とを除外するものではなく、様々な形態で実施することが可能である。

（飛行体Ｄの概要）
図１に示すように、飛行体Ｄは、撮影部Ｄ１および位置取得部Ｄ２を備える。撮影部Ｄ
１は、可視光カメラと赤外線カメラを備え、可視光画像（図３４）および赤外線画像（図
２Ａ・図２Ｂ）とを同時に、または同期して撮影可能である。位置受信部Ｄ２は、ＧＮＳ
Ｓ(Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ / 全球測位
衛星システム)、例えばＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、準天頂衛星（ＱＺＳ
Ｓ）等の測位衛星から航法信号を受信し、飛行体Ｄの３次元位置等を測位し、可視光画像
、赤外線画像にそれぞれ付加する（例えばＥＸＩＦ情報）。また位置受信部Ｄ２は、例え
ば水圧計・気圧計を搭載し、その結果を基に深度・高度に変換してもよい。他の例として
、超音波センサー等を搭載し、地表・海底等から飛行体Ｄまでの距離を測ってもよい。そ
の受信された１次元位置情報を可視光画像および赤外線画像に付加する。このようにして
可視光画像および赤外線画像の３次元位置が特定可能である。これらは、付加情報として
可視光画像および赤外線画像とともに状態判定システム１００に送信される。なお、図３
４および図２Ａ・図２Ｂの撮像対象物は一例であって、各画像に描写される対象は、その
他の種類の撮像対象物であってもよい。

（状態判定システム１００の概要）
状態判定システム１００は、位置情報受信部１１０、画像受信部１２０、特定部１３０
、温度情報取得部１４０および制御部Ｃと記憶部Ｓを含んで構成される。位置情報受信部
１１０は、飛行体Ｄから、航法信号に基づく飛行体Ｄの測位情報（３次元位置等）等を受
信する。例えばこれらはＥＸＩＦ情報として画像に付加された情報として受信されてもよ
い。

画像受信部１２０は、飛行体Ｄの撮影部Ｄ１から赤外線画像を受ける。特定部１３０は
、赤外線画像から所定の撮像対象または撮像対象群を特定する。撮像対象は例えば太陽光
発電パネルである。その他撮像対象は、多数置かれている自動車、建造物の構造物（ガラ
ス等）、多数配置される各種センサー、大量生産されて点検される製造物等を挙げること
が可能である。なお、以下においては撮像対象または撮像対象群の例として、太陽光発電
パネルを挙げて説明する。また、「撮像対象または撮像対象群」としての「太陽光発電パ
ネルまたは、所定数の太陽光発電パネル群」について、説明の便宜上、原則として単に「
太陽光パネル」と記載する場合がある。ただし、本実施形態および後述する他の実施形態
およびその変形例に関し、撮像対象と記載されていても例示であって太陽光発電パネルに
限定されるものではない。

（特定部１３０）
特定部１３０について、さらに説明する。特定部１３０は、飛行体Ｄの撮影部Ｄ１から
受けた赤外線画像おいて、一例としてパネルの形状に基づき太陽光発電パネルを特定する
。ここでいう太陽光発電パネルの特定とは、一例として赤外線画像における、太陽光発電
パネルの外縁の座標、または太陽光発電パネルに属する座標を特定することである。

例えば、図３に示すように、縦７列、横４行のマトリクス状に配列された太陽光発電パ
ネル群が複数設けられた太陽光発電施設があるものとする。この場合、まず飛行体Ｄによ
って、太陽光発電パネル群を空撮する。そして得られた空撮画像、ここでは可視光画像（
図３４）および赤外線画像（図２Ａ・図２Ｂ）が、飛行体Ｄから太陽光発電設備の状態判
定システムへと送られる。状態判定システム１００は画像受信部１２０においてこれら画
像を受信する。画像受信部１２０により受信された赤外線画像について、特定部１３０は
一例として、ディープラーニングにより画像内の太陽光発電パネルそれぞれを推論するこ
とにより検出する。

これは、いわゆる人工知能（ＡＩ）を用いたディープラーニング（深層学習）により作
成された推論モデルを用いたものである。推論モデルには、あらかじめ、赤外線画像から
太陽光発電パネルそれぞれを特定した複数のデータからなる教師データ群を有している。

人工知能によりその教師データ群を用いて深層学習が行われ、推論モデルが生成される
。特定部１３０において、受信された画像に対し当該推論モデルを用いて推論が行われ、
赤外線画像から太陽光発電パネルそれぞれの例えば外縁部の座標が特定される（外縁部で
なく、太陽光発電パネルの四隅の座標であってもよい。）。

なお、本実施形態において、赤外線画像から太陽光発電パネルを検出する方法は、ディ
ープラーニングによるものに限られない。パターンマッチング等、他の方法を用いること
も可能である。また、太陽光発電パネルの検出は、各太陽光発電パネルごとでなくてもよ
く、例えば縦２列、横２行の太陽光発電パネル群であったり、縦２列、横１行の太陽光発
電パネル群であってもよい。この検出単位は状態判定システムごとに決定されていて変更
されない構成であっても、図示しない入力部を介したユーザーの操作によって設定される
構成であってもよい。以下、「１つの太陽光発電パネルごと」に特定する構成について記
載するが、本実施形態では特定部１３０が「２以上の太陽光発電パネルを１単位として」
検出する変形例を含むので、以下の温度情報取得部１４０の処理、および第２実施形態以
降（変形例を含む）の各処理も、このような太陽光発電パネル群を検出した変形例を考慮
したものとする。

また、上記では赤外線画像において撮像対象を検出する構成であった。しかしながら本
実施形態はこれに限られない。例えば、次のような変形例によっても撮像対象を特定する
ことが可能である。すなわち本システムでは、飛行体Ｄから可視光画像と赤外線画像とを
受け、双方を利用可能である。さらに可視光画像と赤外線画像とは同一アングルで撮影さ
れたものである。したがって、太陽光発電パネルの位置の特定は赤外線画像に限らず、可
視光画像においても可能である。この場合、特定部１３０は、可視光画像において、上記
いずれかの推論技術により可視光画像において撮像対象の位置を特定する。

次に可視光画像における特定した撮像対象の領域の座標について、特定部１３０はその
まま赤外線画像の座標において利用する。これは可視光画像と赤外線画像とで画角、アン
グル、縮尺等が同一あるいは実質的に同一(両画像におけるパネル位置の差分の許容範囲)
であることを前提としている。

あるいは可視光画像と赤外線画像との間で画角、アングル、縮尺等がずれており、一方
の画像の座標をそのまま他方の座標に置き換えることが許容できない（差分が大きい）場
合は、特定部１３０は、何らかのランドマーク、マーカー、または撮像対象における形態
的特徴および配置位置の特徴等を利用し、縮尺、位置合わせをするように構成されていて
もよい。また位置合わせについてはこれに限らず、第９実施形態以降のような位置合わせ
を利用してもよい。

以上の、撮像対象の検出を可視光画像で行って、その特定した領域の座標を赤外線画像
に当てはめる構成については、以下の変形例および他の実施形態においても適用可能であ
る。

（温度情報取得部１４０）
温度情報取得部１４０は、特定部１３０により特定された赤外線画像における太陽光発
電パネルごとに既知の任意の技術によって、パネル内の温度情報を取得する。

（制御部Ｃ・構成）
上記説明における各部の処理は、説明の便宜上、図１に示す制御部Ｃの制御の下に実行
されるものとして説明した。この制御部Ｃは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏ
ｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎ
ｉｔ）、或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ
Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等のうち、単一または複数の回路を
含んで構成されていてもよい。制御部Ｃはメモリに保存された例えば画像位置特定プログ
ラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する代
わりに、回路内にプログラムを直接組み込むよう構成しても構わない。この場合、制御部
Ｃとしての回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
なお、制御部Ｃは単一の回路として構成される場合に限らず、複数の独立した回路を組み
合わせて１つのプロセッサーとして構成し、その機能を実現するようにしてもよい。さら
に、実施形態における複数の構成要素（例えば位置情報受信部１１０、画像受信部１２０
、補正部１３０および付加部１４０のうち少なくとも２以上）を１つのプロセッサーへ統
合してその機能を実現するようにしてもよい。

（制御部Ｃ・判定処理）
また制御部Ｃは、状態判定システムにおける判定処理についても実行する。例えば制御
部Ｃは、赤外線画像から障害パネルを温度の差とパターンにより、判定することができる
。具体例として、制御部Ｃは特定した太陽光発電パネルごとに、そこに含まれる画素ごと
の温度情報に基づき、全画素の温度の平均値、または全画素の温度分布を求めてそのうち
の高い温度を示す画素の数等により、閾値や適正範囲のレンジ等と比較して、パネルに異
常が含まれるか否かを判定する。また、制御部Ｃは、異常温度を呈する画素の集合（パタ
ーン）の形状をあらかじめ記憶していて、そのパターンとの比較により、特定の異常の態
様を特定してもよい。

また制御部Ｃは、判定処理の後処理として太陽光発電パネルごとに異常があった場合は
、そのパネルの位置を少なくとも特定してユーザーに任意の方法で提示する処理を行う（
図３上側のブロックの縦４行目・横６列目にあるパネルの「ＤＩＦＦ」、または図３２、
図４１左図等参照）。またパネル位置だけでなく、太陽光発電パネルごとの最高温度、平
均温度、または異常画素の数等を画像データとして作成して表示する処理を実行してもよ
い。なお、制御部Ｃは、当該処理において「判定部」の一例に相当する。

［動作］
図４は、本実施形態における処理の流れを示す図である。以下に、図４を参照しつつ、
状態判定システム１００の処理の流れを、ステップ番号（Ｓ００１～Ｓ００５）に添って
説明する。

（Ｓ００１）
状態判定システム１００における位置情報受信部１１０は、飛行体Ｄから位置情報を受
ける。また画像受信部１２０は可視光画像および赤外線画像を受ける。

（Ｓ００２）
特定部１３０は、赤外線画像において太陽光発電パネルを特定する。

（Ｓ００３）
温度情報取得部１４０は、特定部１３０により特定された赤外線画像における太陽光発
電パネルごとにパネル内の温度情報を取得する。これは画素ごとに行ってもよく、複数画
素を一単位として、画素群単位ごとの平均値を温度情報としてもよい。

（Ｓ００４）
制御部Ｃは、赤外線画像から障害パネルを温度の差とパターンにより、検出する。

（Ｓ００５）
制御部Ｃは、赤外線画像から検出した障害パネルをユーザーに示す。

［効果］
本実施形態によれば、赤外線画像の撮像対象の異常判定のミスが低減される。その理由
の１つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度
情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施
設においては、１の太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器（
パワーコントローラーやケーブル）、アスファルト舗装、水、植物等、太陽光発電パネル
とは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を
行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれ
がある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パ
ネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能
性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影によ
り太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり
、その点においても異常判定のミスを低減可能である。

［変形例］
第１実施形態の変形例にかかる状態判定システム１００について図５および図６を参照
して説明する。以下の説明において、第１実施形態と重複する説明は割愛する。

（概要）
第１実施形態と同様に、本変形例においても赤外線画像内の撮像対象と、それ以外のも
のを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外する処理を行う。
すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太
陽光発電パネル群ごとに実行する。その結果、ノイズ（アスファルト舗装、水、植物、発
電機器（パワーコントローラー、ケーブル）等）が含まれる可能性を低減する。さらに太
陽光発電パネル配列による異常判定ミスも低減する。

本変形例における状態判定システム１００は、例えばＡＩ（ディープラーニング）推論
モデルやパターンマッチングによる太陽光発電パネルの検出と、太陽光発電パネルの配列
情報とによって、太陽光発電パネルの位置を検出する。

（状態判定システム１００）
図５に示すように本変形例の状態判定システム１００は、位置情報受信部１１０、画像
受信部１２０、特定部１３０、温度情報取得部１４０および制御部Ｃと記憶部Ｓの他、設
定部１１０ａを含んで構成される。特定部１３０は第１実施形態と同様に赤外線画像から
太陽光発電パネルを検出する。

（設定部１１０ａ）
図２Ａ・図２Ｂおよび図３に示すように、太陽光発電パネルのような撮像対象は、設置
現場ごとに特有の配列が決められている場合がある。あるいは、撮像対象特有の配列の傾
向がある場合がある。いずれの場合であっても、その配列の態様や状態を示す配列情報あ
らかじめ設定しておくことにより、赤外線画像から検出した撮像対象の位置について、そ
の配列情報を利用して、特定ミスを低減することが可能である。例えば、当該配列情報と
、赤外線画像において撮像対象が示す赤外線情報（あるいは温度情報）とに基づき、赤外
線画像から太陽光発電パネルを検出することが可能である。この例であれば、図３のよう
に、縦方向に４つのパネル群が横に７列、横方向に７つのパネル群の縦に４行の、２次元
配列された太陽光発電パネルのブロックが１以上、赤外線画像に含まれている。ユーザー
が図示しない入力部により赤外線画像の配列情報を入力すると、設定部１１０ａは、その
配列情報を記憶部Ｓに記憶させる。太陽光発電パネルの場合、パネル（例：シリコン）と
外縁のフレーム（例：アルミ）とで画像において呈する温度情報が異なるため、赤外線情
報等によりフレームを検出して１つ１つのパネルを識別することが検出の一例である。た
だし、本変形例においては、配列情報をユーザーが入力する構成に限られない。例えば配
列数を動的に導出することも可能である。この場合、導出した配列数を利用して特定ミス
を低減する構成となる。

なお他の例としてディープラーニングにおいて上記教師データ群に加え、マルチモーダ
ル学習という形でこの配列情報を利用することも可能である。

特定部１３０は、第１実施形態と同様に赤外線画像から太陽光発電パネルを検出し、さ
らに記憶部Ｓにおける配列情報を利用し、太陽光発電パネルを特定する。第１の例を挙げ
る。配列情報として図３のように４行、７列の太陽光発電パネル群があると設定されてい
るときに、太陽光発電パネルがこの配列情報と異なる態様で太陽光発電パネルを検出する
場合があり得る。例えば縦４行の設定であるのに、縦４行未満であったり、４行を超えた
数を検出した場合や、横７列であるのに横７列未満であったり、７列を超えた数を検出す
る場合である。この場合、特定部１３０は再度検出をし、配列情報との差異がなくなるま
で検出を繰り返してもよい。また、特定部１３０は図示しない表示部にエラーメッセージ
を出力させるか、あるいは図示しない音声出力部に警告音を出力させる等、任意の方法で
検出エラーを報知するように構成されていてもよい。

次に第２の例を挙げる。配列情報として図３のようにマトリクス状の太陽光発電パネル
群がある場合、そのパネル群の外縁の輪郭形状は例えば長方形となる。したがって、特定
部１３０は太陽光発電パネルを検出した後、配列情報に基づき、さらに太陽光発電パネル
群の外縁を特定する。さらに特定部１３０はその外縁から外れた位置において検出された
太陽光発電パネルを検出エラーとして特定する。検出エラーがあった場合の、特定部１３
０の処理は、第１の例と同様である。
なお、検出エラーの判定の後における状態判定システム１００のとり得る処理の他の例
については、第７実施形態の説明の後に詳述する。

［動作］
図６は、本変形例における処理の流れを示す図である。以下に、図６を参照しつつ、状
態判定システム１００の処理の流れを、ステップ番号（Ｓ０１１～Ｓ０１５）に添って説
明する。

（Ｓ０１１）
状態判定システム１００における位置情報受信部１１０は、飛行体Ｄから位置情報を受
ける。また画像受信部１２０は可視光画像および赤外線画像を受ける。

（Ｓ０１２）
特定部１３０は、赤外線画像において太陽光発電パネルを特定する。

（Ｓ０１３）
特定部１３０は、設定部１１０ａにおいて設定された配列情報に基づき、Ｓ０１２で特
定した複数の太陽光発電パネルについて、検出エラーがあるか判定する。検出エラーがあ
った場合（S０１３；Ｙｅｓ）、検出エラーがなくなるまで検出を繰り返す。なお、これ
に限らず検出エラーをユーザーに報知して太陽光発電パネルの検査を終了する構成であっ
てもよい。

（Ｓ０１４）
温度情報取得部１４０は、S０１３の判定により検出エラーがない、またはなくなった
場合（S０１３；Ｎｏ）、特定部１３０により特定された赤外線画像における太陽光発電
パネルごとにパネル内の温度情報を取得する。これは画素ごとに行ってもよく、複数画素
を一単位として、画素群単位ごとの平均値を温度情報としてもよい。

（Ｓ０１５）
制御部Ｃは、赤外線画像から障害パネルを温度の差とパターンにより、検出する。

（Ｓ０１６）
制御部Ｃは、赤外線画像から検出した障害パネルをユーザーに示す。

［効果］
本実施形態によれば、赤外線画像の撮像対象の異常判定のミスが低減される。その理由
の１つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮影対象以外の温度
情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施
設においては、１つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器
（パワーコントローラーやケーブル）、アスファルト舗装、水、植物等、太陽光発電パネ
ルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出
を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそ
れがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電
パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可
能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影に
より太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあ
り、その点においても異常判定のミスを低減可能である。

さらに、本実施形態によれば太陽光発電パネルの検出エラーを配列情報に基づいて判定
するので、太陽光発電パネルの障害の検知ミスを低減可能である。

［第２実施形態］
第２実施形態にかかる状態判定システム２００について図７～図９を参照して説明する
。以下の説明において、第１実施形態と重複する説明は割愛する。

（概要）
第１実施形態と同様に、第２実施形態においても赤外線画像内の撮像対象と、それ以外
のものを識別し、撮像対象以外の温度情報を、異常判定（障害パネル判定）に用いる情報
から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光
発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ（アスフ
ァルト舗装、水、植物、発電機器（パワーコントローラー、ケーブル）等）が含まれる可
能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。

第２実施形態はさらに、第１実施形態での太陽光発電パネル等の撮像対象の検出処理を
するため、画像の傾き補正を実行する。第１実施形態の一例では、ディープラーニング技
術を用いた推論モデル、パターンマッチング等の推論技術を利用して撮像対象の物体的特
徴に基づく物体検知を行っている。これは太陽光発電パネルの場合、例えばその形態的特
徴（外縁が矩形等）に基づき、撮像対象の領域を推論するものである。しかし、撮影対象
物に対し撮像方向が傾いている場合、図８の左側図に示すように矩形領域を推論しても、
検出した矩形領域内に、隣接する他の撮像対象や、撮像対象でない他の物が含まれてしま
うおそれがある。そのため、第２実施形態においては、複数の撮像対象それぞれにおける
所定位置を特定し、その各位置の位置関係から画像の傾きを算出する。さらに算出した傾
きを補正することにより、撮像対象の検出ミスの低減を図る。

（状態判定システム２００）
図７に示すように第２実施形態の状態判定システム２００は、位置情報受信部２１０、
画像受信部２２０、特定部２３０、温度情報取得部２４０および制御部Ｃと記憶部Ｓの他
、第１の補正部２１０ａを含んで構成される。特定部２３０は第１実施形態と同様に赤外
線画像から太陽光発電パネルを検出する。

（第１の補正部２１０ａ）
第１実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される
。第１の補正部２１０ａは、特定された複数の太陽光発電パネルの所定位置をさらに特定
する。例えば図８の左側の図に示すように特定した各撮像対象の領域における左上隅の位
置（画像内の座標、以下「特定位置」とする）を特定する。次に第１の補正部２１０ａは
、最小二乗法により、特定位置それぞれとの距離が最小となる回帰直線を算出する。

次に第１の補正部２１０ａは、赤外線画像に対するこの回帰直線の傾きを算出する。ま
た第１の補正部２１０ａはこの傾きがなくなるように画像を回転する補正をする。特定部
２３０は、回転補正後において再度撮像対象の特定処理を実行する。なお、第１の補正部
２１０ａは、傾きが所定範囲（例えば±５°）以下であれば補正処理を実行しないように
構成されていてもよい。

また、第１の補正部２１０ａは、傾きが所定範囲（例えば±５°）以上である場合、当
該画像を撮像エラーとして判定してもよい。エラー判定の結果、当該画像をパネル異常判
定（障害パネル判定）の対象から除外する処理を実行してもよい。なお、当該画像を異常
判定の対象から除外した場合であっても、次のような方法により対処可能である。例えば
赤外線画像には方位情報および位置情報の少なくとも一方が対応づけられている。したが
って、その除外した画像に対応付けられた撮像対象群は特定可能である。すなわち再度当
該位置を空撮して画像を取得し直すことも可能である。またその部分のみユーザーが直接
検査を行うことも可能である。

また、画像を異常判定の対象から除外した場合の他の対処方法を挙げる。飛行体による
空撮では、そのときの環境（風や気圧およびその他の要因）の影響を受け、制御しようと
した撮像方向と実際の撮像方向との間にずれが生じる場合がある。この問題を解消するた
め、１つの撮像対象についての空撮を複数回行うように、すなわちオーバーラップ撮影す
るように飛行体Ｄを制御してもよい。状態判定システム２００では、そのオーバーラップ
撮影に対応して、１つの撮像対象につき２以上の画像を取得する構成とすることが可能で
ある。このような構成であれば、傾きの程度に応じてある１つの画像を除外しても、他の
画像で補完することが可能である。すなわち他の画像において傾きが所定範囲内であれば
、その画像において異常（障害パネル）判定を行うことが可能である。傾きが大きい場合
、画像ブレ、つぶれ（解像度の低下等）等、傾きだけでない他の問題も発生していること
が想定される。よって、上記第１の補正部２１０ａによる傾きの判定は、他の要因による
異常判定ミスの低減も併せて実行しうるものである。

上記の他の例におけるオーバーラップ撮影の重複の程度は例えば１０％～９５％の範囲
のいずれかである。また空撮の時間的間隔が短い場合、空撮環境（強風等）の影響が変化
せず、除外すると判定された画像の直後の画像も傾きの許容範囲を超える可能性がある。
さらにオーバーラップ範囲が広すぎると、空撮時間の増大、およびシステム上の処理時間
、処理負担の増大を招く可能性がある。これらを考慮してオーバーラップ撮影の重複の程
度を例えば９０％以下としてもよい。

これに対しオーバーラップの範囲が狭すぎると１つの画像を除外した場合に障害パネル
の判定対象に含まれないものが出てくる可能性がある。これを考慮して重複の程度を５０
％以上としてもよい。

また撮影現場の上空の風速を利用して適切なオーバーラップの程度を算出し、算出結果
に応じて都度設定される構成であってもよい。またオーバーラップの程度によっては、傾
きが大きく除外された画像の直後の画像について、傾きの判定を経ずに除外する構成であ
ってもよい。

［動作］
図９は、本実施形態における処理の流れを示す図である。以下に、図９を参照しつつ、
状態判定システム２００の処理の流れを、ステップ番号（Ｓ０２１～Ｓ０２６）に添って
説明する。

（Ｓ０２１）
状態判定システム２００における位置情報受信部２１０は、飛行体Ｄから位置情報を受
ける。また画像受信部２２０は可視光画像および赤外線画像を受ける。

（Ｓ０２２）
特定部２３０は、赤外線画像において太陽光発電パネルを特定する。

（Ｓ０２３）
第１の補正部２１０ａは、複数の撮像対象それぞれにおける所定位置を特定し、その各
位置の位置関係から最小二乗法に基づく回帰直線を算出する。また第１の補正部２１０ａ
は回帰直線の画像に対する傾きを算出する。さらに第１の補正部２１０ａは、算出した傾
きを補正する。特定部２３０は、再度太陽光発電パネルを特定する。

（Ｓ０２４）
温度情報取得部２４０は、特定部２３０により特定された赤外線画像における太陽光発
電パネルごとにパネル内の温度情報を取得する。これは画素ごとに行ってもよく、複数画
素を一単位として、画素群単位ごとの平均値を温度情報としてもよい。

（Ｓ０２５）
制御部Ｃは、赤外線画像から、パネルごと（所定数パネル群ごと）に障害パネルを温度
の差とパターンにより、検出する。

（Ｓ０２６）
制御部Ｃは、赤外線画像から検出した障害パネルをユーザーに示す。

［効果］
本実施形態によれば、赤外線画像の撮像対象の異常判定（障害パネル判定）のミスが低
減される。その理由の１つとして赤外線画像内の撮像対象と、それ以外のものを識別し、
撮影対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例
えば、太陽光発電施設においては、１つの太陽光発電パネル群と他の太陽光発電パネル群
との間に、発電機器（パワーコントローラーやケーブル）、アスファルト舗装、水、植物
等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全
体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定
に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異
常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、
ノイズが含まれる可能性を低減可能である。さらに、太陽光発電パネルの配置位置によっ
て、影により直射日光を受ける位置とそうでない位置ができ、例えば太陽光発電パネル配
列の右上隅と左下隅で温度情報の平均値が異なってくる場合もある。その点においても本
実施形態では異常判定のミスを低減可能である。

さらに、本実施形態によれば一度検出した太陽光発電パネルの検出エラーの要因となり
得る傾きを補正するので、太陽光発電パネルの障害の検知ミスを低減可能である。

［第３実施形態］
第３実施形態にかかる状態判定システム３００について図１０～図１２を参照して説明
する。以下の説明において、第１実施形態と重複する説明は割愛する。

（概要）
第１実施形態と同様に、第３実施形態においても赤外線画像内の撮像対象と、それ以外
のものを識別し、撮影対象以外の温度情報を異常判定（障害パネル判定）に用いる情報か
ら除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発
電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ（アスファ
ルト舗装、水、植物、発電機器（パワーコントローラー、ケーブル）等）が含まれる可能
性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。

第３実施形態の状態判定システム３００はさらに、第１実施形態での太陽光発電パネル
等の撮像対象の検出処理のミスを低減するため、撮像対象を検出した後、撮像対象の検出
サイズのずれがあるか判定を行う。

第１実施形態の一例では、ディープラーニング技術を用いた推論モデル、パターンマッ
チング等の推論技術を利用して撮像対象の物体的特徴に基づく物体検知を行っている。こ
れは太陽光発電パネルの場合、例えばその形態的特徴（外縁が矩形等）という特徴に基づ
き、撮像対象の領域を推論するものである。しかし、赤外線画像において撮影対象の外縁
は明確に描画されない場合がある。結果、矩形領域を推論しても、図１１に示すように検
出した矩形領域に隣接する他の撮像対象や、または撮像対象でない他の物が含まれてしま
うおそれがある。そのため、第３実施形態においては、複数の撮像対象それぞれにおける
サイズを算出し、その算出したサイズに基づき検出エラーの判定を行う。これにより、撮
像対象の検出ミスの低減を図る。

すなわち、撮像対象の種類によっては、サイズが画一的になっている場合がある（太陽
光発電パネル等）。したがって、そのサイズが画一的であることを利用して、各撮像対象
のうちサイズが大きく検出されたもの（例：図１１のＬ６）および小さく検出されたもの
があれば、状態判定システム３００がサイズのばらつきとして算出し、結果として誤検出
があったか判定を行う。

例えば太陽光発電パネルの場合は、同一の発電所内において、施工上の理由や運用上の
理由等により、その受光面、太陽光照射面等の面積や形状が概ね等しく形成されるように
構成されている。なお施工上の理由とは、土地活用や太陽光の照射面等を考慮したもので
あり、運用上の理由とは状態監視や故障時の交換等を考慮したものである。

したがって、縦方向の長さ、横方向の長さ、外周、面積、対角線の長さ等は各パネルで
大きく差が出ないように形成されている。この前提によれば、赤外線画像から、サイズが
明らかに異なる太陽光発電パネルが検出された場合、検出ミスである可能性がある。この
検出ミスは状態判定システムにおける温度情報の異常判定結果に支障をきたすため、状態
判定システム３００は、サイズが異なる撮像対象があった場合に検出エラーと判定するこ
とができる構成を有する。なお、他の撮像対象であっても、撮像対象特有の所定の規則性
から外れるものが検出された場合、検出エラーとして判定することができ、このように撮
像対象が太陽光発電パネルでないものでもこの実施形態の一例に含まれる。

（状態判定システム３００）
図１０に示すように第３実施形態の状態判定システム３００は、位置情報受信部３１０
、画像受信部３２０、特定部３３０、温度情報取得部３４０および制御部Ｃと記憶部Ｓの
他、第１の判定部３１０ａを含んで構成される。特定部３３０は第１実施形態と同様に赤
外線画像から太陽光発電パネルを検出する。

（第１の判定部３１０ａ）
第１実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される
。第１の判定部３１０ａは、特定された複数の太陽光発電パネルにおける所定位置をさら
に特定する。例えば図１１に示すように特定した各撮像対象の領域における上端縁のいず
れかの位置（画像内のＹ座標、以下「特定位置」とする）を特定する。次に第１の判定部
３１０ａは、赤外線画像における画像上の座標におけるＹ軸方向の長さを算出する。

この撮像対象のＹ軸方向の長さとは、Ｘ軸方向の中央位置で求めてもよいし、Ｘ軸方向
の一端側あるいは他端側でもよい。すなわち各撮像対象におけるＸ軸方向の所定位置にお
けるＹ軸方向の長さを算出する。例えば第１の判定部３１０ａは上端（画像における上端
）位置の座標と下端の座標の差をＹ軸方向の長さとして求める。また各撮像対象において
、Ｙ軸方向の長さを複数（所定数）算出して平均をとってもよい。この場合、所定数とは
最大で、画像におけるＸ軸方向の画素数の数に相当する分だけ算出することになる。

次に第１の判定部３１０ａは、算出した特徴量または特徴量に基づいて算定された数値
と、判定値とを対比する。上記の例においては撮像対象のサイズそのものを示す数値、ま
たは当該サイズに基づいて算定された数値と、判定値とを対比する。一例を次に説明する
。

第１の判定部３１０ａは、上記のようにして太陽光発電パネルそれぞれのＹ軸方向の長
さを算出した後、複数の太陽光発電パネルにおける当該長さの分散値を算出する。分散値
の算出は例えば次式による。

第１の判定部３１０ａは、各検出領域の長さの値から平均値を引いて、個々の長さと平
均値の距離（偏差）を求める。また、第１の判定部３１０ａは偏差の二乗平均により分散
を求める。その分散値が大きいほど、平均値からの各検出領域の長さの散らばりが大きい
ということになる。

また第１の判定部３１０ａは、この分散値と判定値とを対比し、これらが所定の関係に
ある場合、検出エラーとして判定する。例えば、赤外線画像の１画像に含まれる全ての太
陽光発電パネルの長さの分散値を算出し、その分散値と判定値を対比（例：差分を算出）
する。この場合、分散値と判定値との差が所定範囲内でなければ第１の判定部３１０ａは
、検出エラーと判定するようにしてもよい。つまり、上記長さが長すぎるパネルが検出さ
れた場合も、短すぎるパネルが検出された場合のいずれもエラーとして判定されるように
なっているということである。

なお、Ｙ軸方向における長さでなく、Ｘ軸方向の長さ、検出した撮像対象の面積を判定
に利用することも可能である。太陽光発電パネルを配列した太陽光発電施設においては、
その発電効率を考慮して太陽光発電パネルを南向きに配置する傾向がある。この場合、発
電機器（パワーコントローラー、ケーブル）は、太陽光発電パネル群に対する南北側に配
置されないことが多い。同様に樹木等の植物も南北方向に隣接するものは極力除外される
ことが想定される。つまり、受光面に陰ができないように配慮されるということである。
したがって、南北、すなわち赤外線画像におけるＹ軸方向において、温度のばらつきが抑
制されていることになる。以上から、太陽光発電パネルの温度情報を示す赤外線画像にお
いては、Ｙ軸方向における撮像対象の端縁が精度よく検出しやすい。本実施形態はサイズ
のばらつきが大きいことによって、撮像対象の検出の適否を判定する構成であるため、Ｙ
軸方向における長さを利用する例について説明した。矩形の太陽光発電パネルでない他の
撮像対象であれば、撮像対象自体、または配置場所の特性に応じて撮像対象におけるどの
サイズを利用するか設定すればよい。

また、第１の判定部３１０ａは、撮像画像における標本平均でなく発電所全体における
母平均から分散を求めるように構成されていてもよい。その他に、第１の判定部３１０ａ
は、分散でなく標準偏差を求めるように構成されていてもよい。その場合、判定値は標準
偏差に対応した判定値となる。また第１の判定部３１０ａは、平均値を判定値と対比する
ように構成されていてもよい。その場合、判定値は平均値に対応した判定値となる。また
第１の判定部３１０ａは、各撮像対象のサイズ(例えばＹ軸方向の長さ)そのものと、判定
値を対比し、検出エラーの判定をする構成であってもよい。

一例として第１の判定部３１０ａは、検出エラーの判定をした場合、対象とした画像を
温度異常の判定対象（障害パネル判定の対象）から除外する。他の例として、第１の判定
部３１０ａは検出エラーの判定をした場合、サイズのばらつきが大きい撮像対象のみを除
外して温度異常の判定を行うように構成されていてもよい。サイズのばらつきの大きさは
、例えば１つの撮像対象におけるＹ軸方向の長さの算出値と、各撮像対象の長さ平均値と
の差が所定範囲内であるかにより判定可能である。また標準偏差や分散によって、各撮像
対象のサイズのばらつきの大きさが許容範囲内であるか判定することも可能である。

［動作］
図１２は、本実施形態における処理の流れを示す図である。以下に、図１２を参照しつ
つ、状態判定システム３００の処理の流れを、ステップ番号（Ｓ０３１～Ｓ０３７－２）
に添って説明する。

（Ｓ０３１）
状態判定システム３００における位置情報受信部３１０は、飛行体Ｄから位置情報を受
ける。また画像受信部３２０は可視光画像および赤外線画像を受ける。

（Ｓ０３２）
特定部３３０は、赤外線画像において太陽光発電パネルを特定する。

（Ｓ０３３）
第１の判定部３１０ａは、複数の撮像対象それぞれにおける所定のサイズ（例えばＹ軸
方向の長さ）を求める。また第１の判定部３１０ａは、撮像対象のサイズのばらつきを求
める。

（Ｓ０３４）
第１の判定部３１０ａは、判定値に基づき、Ｓ０３３で求めたサイズのばらつきの大き
さを判定する。ばらつきが大きいと判定された場合、Ｓ０３５に進む。ばらつきが大きく
ないと判定された場合、Ｓ０３５－２に進む。

（Ｓ０３５）
Ｓ０３４においてサイズのばらつきが大きいと判定された画像があった場合（Ｓ０３４
；Ｙｅｓ）、第１の判定部３１０ａは検出エラーと判定する。さらにその場合、ばらつき
が大きいと判定された対象を含む画像を、温度異常の判定対象から除外する。他の例とし
て、第１の判定部３１０ａは、サイズのばらつきが大きい撮像対象のみを除外して、Ｓ０
３６の温度異常の判定の対象に当該画像を含めてもよい。温度情報取得部３４０は、除外
されていない撮像対象それぞれについて温度情報を取得する。

（Ｓ０３６）
制御部Ｃは、除外した画像以外の赤外線画像（または検出エラーの撮像対象以外の検出
領域）に基づき、パネルごと（所定数パネル群ごと）に障害パネルを温度の差とパターン
により、検出する。

（Ｓ０３７）
制御部Ｃは、赤外線画像から検出した障害パネルをユーザーに示す。

（Ｓ０３５－２）
Ｓ０３４において全ての画像においてサイズのばらつきが大きくない(例えば所定範囲
内である)と判定された場合（Ｓ０３４；Ｎｏ）、第１の判定部３１０ａは検出エラーが
無いものと判定する。またこの場合、Ｓ０３４において検出の適否の判定対象とした画像
を全て温度異常の判定対象として含める。温度情報取得部３４０は、撮像対象それぞれに
ついて温度情報を取得する。

（Ｓ０３６－２）
制御部Ｃは、第１の判定部３１０ａにより温度異常の判定対象とした全ての赤外線画像
（判定した全ての検出領域）に基づき、パネルごと（所定数パネル群ごと）に障害パネル
を温度の差とパターンにより、検出する。

（Ｓ０３７－２）
制御部Ｃは、赤外線画像から検出した障害パネルをユーザーに示す。

［効果］
本実施形態によれば、赤外線画像の撮像対象の異常判定（障害パネル判定）のミスが低
減される。その理由の１つとして赤外線画像内の撮像対象と、それ以外のものを識別し、
撮影対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例
えば、太陽光発電施設においては、１の太陽光発電パネル群と他の太陽光発電パネル群と
の間に、発電機器（パワーコントローラーやケーブル）、アスファルト舗装、水、植物等
、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体
で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に
支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常
判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノ
イズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によ
って、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異な
ってくる場合もあり、その点においても異常判定のミスを低減可能である。

さらに、本実施形態によれば撮像対象の検出ミスをサイズのばらつきに基づき判定し、
ばらつきが大きい場合には、適宜当該画像またはエラーと判定された撮像対象を、温度の
異常判定対象から除外する。したがって、障害パネルの特定ミスを低減可能である。

［第４実施形態］
第４実施形態にかかる状態判定システム４００について図１３～図１５を参照して説明
する。以下の説明において、第１実施形態と重複する説明は割愛する。

（概要）
第１実施形態と同様に、第４実施形態においても赤外線画像内の撮像対象と、それ以外
のものを識別し、撮像対象以外の温度情報を異常判定（障害パネル判定）に用いる情報か
ら除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発
電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ（アスファ
ルト舗装、水、植物、発電機器（パワーコントローラー、ケーブル）等）が含まれる可能
性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。

第４実施形態の状態判定システム４００はさらに、第１実施形態での太陽光発電パネル
等の撮像対象の検出処理のミスを低減するため、撮像対象を検出した後、撮像対象の整列
位置のずれがあるか判定を行う。例えば撮像対象の外縁の境界部分または各撮像対象の領
域の検出において誤検出があるか判定を行う。第１実施形態の一例では、ディープラーニ
ング技術を用いた推論モデル、パターンマッチング等の推論技術を利用して撮像対象の物
体的特徴に基づく物体検知を行っている。これは太陽光発電パネルの場合であれば例えば
その形態的特徴（外縁が矩形等）に基づき、撮像対象の領域を推論するものである。しか
し、赤外線画像において撮影対象の外縁は明確に描画されない場合がある。例えば図１４
に示すように、矩形領域を推論しても、検出した矩形領域が実際の撮像対象の位置とずれ
ること、あるいはこの検出領域が実際の撮像対象の領域の範囲から部分的に突出（Ｘ軸方
向やＹ軸方向等；図１１参照）することがある。そのため、第４実施形態においては、撮
像対象特有の所定の配列の規則性を利用し、規則性からずれたものがあるかについて判定
する。例えば画像から特定した複数の撮像対象それぞれにおける所定位置をさらに特定し
、その特定した位置の、配列規則からのずれ量を算出する。ずれ量が大きければ、検出エ
ラーの判定を行う。これにより、撮像対象の検出ミスの低減を図る。

例えば太陽光発電パネルの場合は、その受光面、太陽光照射面等の面積や形状（矩形等
）が概ね等しく形成され、なおかつそれらが規則的に行列方向に、二次元的に配列される
傾向がある。したがって、複数の太陽光発電パネルそれぞれの外縁は、行方向にも列方向
にも整列されていることが想定される。

この前提を利用して、赤外線画像から、Ｙ軸方向における両端縁、Ｘ軸方向における両
端縁、角部、受光面の中心位置等の特徴位置が、所定の方向において整列しているか、ず
れているかを判定することで検出エラーを判定することが可能である。なお、所定の方向
とは例えば、Ｙ軸方向もしくはＸ軸方向、または、Ｙ軸方向およびＸ軸方向に対して所定
角度傾斜した方向である。

なお、他の撮像対象であっても、撮像対象特有の所定の規則性、例えば同心円状に配列
される場合や、規則的な波形状に配列される場合において、その配列形状から外れるもの
が検出された場合、検出エラーとして判定することができ、このように撮像対象が太陽光
発電パネルでないものでもこの実施形態の一例に含まれる。

（状態判定システム４００）
図１３に示すように第４実施形態の状態判定システム４００は、位置情報受信部４１０
、画像受信部４２０、特定部４３０、温度情報取得部４４０および制御部Ｃと記憶部Ｓの
他、第２の判定部４１０ａを含んで構成される。特定部４３０は第１実施形態と同様に赤
外線画像から太陽光発電パネルを検出する。

（第２の判定部４１０ａ）
第１実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される
。第２の判定部４１０ａは、特定された複数の太陽光発電パネルにおける所定位置をさら
に特定する。例えば図１４に示すように第２の判定部４１０ａは、特定部４３０により特
定された各撮像対象の領域における上端縁のいずれかの位置（画像内のＹ座標、以下「Ｙ
ｍｉｎ」または「Ｙｍｉｎ_ｎ」とする）を特定する。次に第２の判定部４１０ａは、当該
領域における下端縁のいずれかの位置（画像内のＹ座標、以下「Ｙｍａｘ」または「Ｙｍ
ａｘ_ｎ」とする）を特定する。

次に第２の判定部４１０ａは特定した各撮像対象のＹｍｉｎ_ｉのばらつきと、Ｙｍａｘ
_ｉのばらつきとを求める。これらの和を整列分散とする。分散値の算出は例えば次式によ
る。

上記に限らず、第２の判定部４１０ａは特定した行方向に対し、整列後の次行である各
撮像対象Ｙ´ｍｉｎ_ｎのばらつきと、Ｙ´ｍａｘ_ｎのばらつきとを求めてもよい（Ｙ´ｍ
ｉｎ_ｎおよびＹ´ｍａｘ_ｎについては図１４参照）。この分散値の算出は例えば次式によ
る。

また第２の判定部４１０ａは、この分散値と判定値とを対比し、これらが所定の関係に
ある場合、検出エラーとして判定する。例えば、所定の配列方向（行方向等）に含まれる
全ての太陽光発電パネルのＹ座標の分散値を算出し、その分散値と判定値を対比（例：差
分を算出）する。この場合、分散値と判定値との差が所定範囲内でなければ第２の判定部
４１０ａは、検出エラーと判定するようにしてもよい。つまり、上記Ｙｍｉｎ₁～Ｙｍｉ
ｎ_ｎ（上端縁）、Ｙｍａｘ_１～Ｙｍａｘ_ｎ（下端縁）のうち、整列位置が許容範囲を超え
ているパネルが検出されたとき、エラーとして判定されるようになっている。

なお、Ｙ座標でなく、Ｘ座標を判定に利用することも可能である。本実施形態でＹ座標
を利用した整列位置のばらつきの例を説明している理由は、第３実施形態で説明したよう
に、太陽光発電パネルの温度情報を示す赤外線画像においては、南北方向における撮像対
象の端縁（上端／下端,Ｙ座標）が精度よく検出しやすいためである。ただし矩形の太陽
光発電パネルでない他の撮像対象であれば、撮像対象自体、または配置場所の特性に応じ
て撮像対象におけるどの位置（特徴位置（特定しやすい位置））を利用するか設定すれば
よい。

また、第２の判定部４１０ａは、分散でなく標準偏差を求めるように構成されていても
よい。その場合、判定値は標準偏差に対応した判定値となる。

一例として第２の判定部４１０ａは、検出エラーの判定をした場合、対象とした画像を
温度異常の判定対象から除外する。他の例として、第２の判定部４１０ａは検出エラーの
判定をした場合、配列規則からのずれ量のばらつきが大きい撮像対象のみを除外して温度
異常の判定を行うように構成されていてもよい。配列規則からのずれ量のばらつきの大き
さは、例えば１つの撮像対象におけるＹ座標値と、各撮像対象のＹ座標の平均値との差が
所定範囲内であるかにより判定可能である。また標準偏差や分散によって、各撮像対象に
おける配列規則からのずれ量のばらつきの大きさが許容範囲内であるか判定することも可
能である。

［動作］
図１５は、本実施形態における処理の流れを示す図である。以下に、図１５を参照しつ
つ、状態判定システム４００の処理の流れを、ステップ番号（Ｓ０４１～Ｓ０４７－２）
に添って説明する。

（Ｓ０４１）
状態判定システム４００における位置情報受信部４１０は、飛行体Ｄから位置情報を受
ける。また画像受信部４２０は可視光画像および赤外線画像を受ける。

（Ｓ０４２）
特定部４３０は、赤外線画像において太陽光発電パネルを特定する。

（Ｓ０４３）
第２の判定部４１０ａは、複数の撮像対象それぞれにおける上端縁と下端縁のＹ座標を
特定する。また第２の判定部４１０ａは、複数の撮像対象のこれらＹ座標のばらつきを求
める。

（Ｓ０４４）
第２の判定部４１０ａは、判定値に基づき、Ｓ０４３で求めたＹ座標のばらつきの大き
さを判定する。ばらつきが大きいと判定された場合、Ｓ０４５に進む。ばらつきが大きく
ないと判定された場合、Ｓ０４５－２に進む。

（Ｓ０４５）
Ｓ０４４においてＹ座標のばらつき（例：整列分散）が大きいと判定された画像があっ
た場合（Ｓ０４４；Ｙｅｓ）、第２の判定部４１０ａは検出エラーと判定する。さらにそ
の場合、ばらつきが大きいと判定された対象の画像を、温度異常の判定対象から除外する
。他の例として、第２の判定部４１０ａは、Ｙ座標のばらつきが大きい撮像対象のみを除
外して、Ｓ０４６の温度異常の判定の対象に当該画像を含めてもよい。温度情報取得部４
４０は、除外されていない撮像対象それぞれについて温度情報を取得する。

（Ｓ０４６）
制御部Ｃは、除外した画像以外の赤外線画像（または検出エラーの撮像対象以外の検出
領域）に基づき、パネルごと（所定数パネル群ごと）に障害パネルを温度の差とパターン
により、検出する。

（Ｓ０４７）
制御部Ｃは、赤外線画像から検出した障害パネルをユーザーに示す。

（Ｓ０４５－２）
Ｓ０４４において全ての画像においてＹ座標のばらつきが大きくない(例えば所定範囲
内である)と判定された場合（Ｓ０４４；Ｎｏ）、第２の判定部４１０ａは検出エラーが
無いものと判定する。またこの場合、Ｓ０４４において検出の適否の判定対象とした画像
を全て温度異常の判定対象として含める。温度情報取得部３４０は、撮像対象それぞれに
ついて温度情報を取得する。

（Ｓ０４６－２）
制御部Ｃは、第２の判定部４１０ａにより温度異常の判定対象とした全ての赤外線画像
（判定した全ての検出領域）に基づき、パネルごと（所定数パネル群ごと）に障害パネル
を温度の差とパターンにより、検出する。

（Ｓ０４７－２）
制御部Ｃは、赤外線画像から検出した障害パネルをユーザーに示す。

［効果］
本実施形態によれば、赤外線画像の撮像対象の異常判定（障害パネル判定）のミスが低
減される。その理由の１つとして赤外線画像内の撮像対象と、それ以外のものを識別し、
撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例
えば、太陽光発電施設においては、１つの太陽光発電パネル群と他の太陽光発電パネル群
との間に、発電機器（パワーコントローラーやケーブル）、アスファルト舗装、水、植物
等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全
体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定
に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異
常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、
ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置に
よって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異
なってくる場合もあり、その点においても異常判定のミスを低減可能である。

さらに、本実施形態によれば撮像対象の検出ミスを、撮像対象が所定の配列の規則性か
ら外れたずれ量に基づき判定し、ずれ量が大きい場合には、適宜当該画像またはエラーと
判定された撮像対象を、温度の異常判定対象から除外する。したがって、障害パネルの特
定ミスを低減可能である。

［第５実施形態］
第５実施形態にかかる状態判定システム５００について図１６～図１８を参照して説明
する。以下の説明において、第１実施形態と重複する説明は割愛する。

（概要）
第１実施形態と同様に、第５実施形態においても赤外線画像内の撮像対象と、それ以外
のものを識別し、撮像対象以外の温度情報を異常判定（障害パネル判定）に用いる情報か
ら除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発
電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ（アスファ
ルト舗装、水、植物、発電機器（パワーコントローラー、ケーブル）等）が含まれる可能
性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。

第５実施形態の状態判定システム５００はさらに、第１実施形態での太陽光発電パネル
等の撮像対象の検出処理のミスを低減するため、撮像対象を検出した後、検出した撮像対
象の配列方向にしたがい順次撮像対象の所定位置を特定する。さらに状態判定システム５
００は、判定対象である撮像対象または撮像対象群と、直前に所定位置を特定した対象と
の重畳の程度に応じて、検出エラーを判定する。例えば撮像対象の中心位置が、隣接する
撮像対象の領域内に位置する場合、検出ノイズとして判定する。さらに検出ノイズとして
判定された撮像対象（検出領域）を、障害パネル判定から除外する。

（状態判定システム５００）
図１６に示すように第５実施形態の状態判定システム５００は、位置情報受信部５１０
、画像受信部５２０、特定部５３０、温度情報取得部５４０および制御部Ｃと記憶部Ｓの
他、第３の判定部５１０ａを含んで構成される。特定部５３０は第１実施形態と同様に赤
外線画像から太陽光発電パネルを検出する。

（第３の判定部５１０ａ）
第１実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される
。第３の判定部５１０ａは、特定された複数の太陽光発電パネルにおける所定位置をさら
に特定する。例えば図１７に示すように第３の判定部５１０ａは、特定部５３０により特
定された各撮像対象の領域における左端縁のいずれかの位置（画像内のＸ座標、以下「Ｘ
ｍｉｎ」とする）を特定する。次に第３の判定部５１０ａは、当該領域における右端縁の
いずれかの位置（画像内のＸ座標、以下「Ｘｍａｘ」とする）を特定する。さらに第３の
判定部５１０ａは、各撮像対象の領域における中心位置（画像内のＸ座標；以下「Ｃｅｎ
ｔｅｒＸ」とする。）を特定する。

次に第３の判定部５１０ａは、特定した各撮像対象についてＸ軸方向の中心位置Ｃｅｎ
ｔｅｒＸが隣接する撮像対象の領域内に含まれるか判定する。例えば図１７に示すように
ＣｅｎｔｅｒＸが隣接する領域のＸ軸方向の一端（例えばＸ軸方向における左端位置；「
Ｐｒｅｖ Ｘｍｉｎ」とする）と、他端（例えばＸ軸方向における右端位置；「Ｐｒｅｖ
Ｘｍａｘ」とする）との間に位置する場合、第３の判定部５１０ａが、判定対象の領域を
、隣接する領域内に含まれると判定するように構成されていてもよい。

なお、本実施形態の説明において、判定しようとする撮像対象の領域の中心位置を用い
ているのは、第３実施形態で説明したように太陽光発電パネルを一例として挙げているた
めである。すなわち太陽光発電施設においては、Ｘ軸方向の端側にある太陽光発電パネル
において陰ができる可能性が全パネルに対して相対的に高くなっている。したがって、相
対的にはＹ軸方向よりＸ軸方向の端縁の検出において技術的困難性が高いといえる。よっ
て、例えば判定しようとする撮像対象の領域のＸ軸方向の端縁が「Ｐｒｅｖ Ｘｍｉｎ」
と「Ｐｒｅｖ Ｘｍａｘ」との間に位置するときにエラーと判定するとすれば、エラー判
定の確率が高くなり、赤外線画像によってはエラー判定が頻発する可能性がある。したが
って、隣接する領域と判定領域の重複の程度が例えば３０％以上であることを指標とする
ことや、本実施形態のように中心位置を基準とすることにより、エラー判定の頻発を防ぐ
ことができる。
このような目的からすれば、本実施形態において、判定しようとする撮像対象の領域の
基準位置を中心位置とする構成に限られない。例えば、基準位置は、Ｘ軸方向における対
象領域の一端および他端の双方から、対象領域の全長の３０％にあたる長さ以上離れた任
意の位置としてもよい。

上記のように重複の程度を比率、割合で算定する場合（「３０％以上の重複」等）は、
両者の双方に属する面積と、各判定対象領域の面積とを対比する方法が一例である。ある
いは「Ｐｒｅｖ Ｘｍｉｎ」から判定対象領域の「Ｘｍｉｎ」までの長さと、判定対象領
域のＸ軸方向の長さの比率により重複の程度を判定することも可能である。

なお、Ｘ軸方向における重畳の程度でなく、Ｙ軸方向を基準とする事も可能である。例
えば第３実施形態や第４実施形態と本実施形態とを組み合わせるにあたり、第３実施形態
や第４実施形態で、各撮像対象の領域のＸ軸方向のずれや突出を基準とする場合、本実施
形態の位置ずれにおいてはＹ軸方向を基準とすることが考えられる。Ｘ軸方向とＹ軸方向
の双方で検出エラーを判定することで、より検出エラーによる障害パネル判定の判定ミス
を提言することが可能である。

一例として第３の判定部５１０ａは、検出エラーの判定をした場合、対象とした画像を
温度異常の判定対象（障害パネル判定の対象）から除外する。他の例として、第３の判定
部５１０ａは検出エラーの判定をした場合、位置ずれが大きい撮像対象のみを除外して温
度異常の判定を行うように構成されていてもよい。位置ずれが大きさの基準は、上記判定
基準と同じであってもよく、変更してもよい。

［動作］
図１８は、本実施形態における処理の流れを示す図である。以下に、図１８を参照しつ
つ、状態判定システム５００の処理の流れを、ステップ番号（Ｓ０５１～Ｓ０５７－２）
に添って説明する。

（Ｓ０５１）
状態判定システム５００における位置情報受信部５１０は、飛行体Ｄから位置情報を受
ける。また画像受信部５２０は可視光画像および赤外線画像を受ける。

（Ｓ０５２）
特定部５３０は、赤外線画像において太陽光発電パネルを特定する。

（Ｓ０５３）
第３の判定部５１０ａは、複数の撮像対象それぞれにおける所定位置のＸ座標を特定し
、それにより隣接する領域との重畳の程度を判定する。例えば第３の判定部５１０ａは、
Ｘｍｉｎ_１～Ｘｍｉｎ_ｎと、Ｘｍａｘ_１～Ｘｍａｘ_ｎと、ＣｅｎｔｅｒＸ_１～Ｃｅｎｔｅ
ｒＸ_ｎとを特定する。

（Ｓ０５４）
次に第３の判定部５１０ａは、判定対象の領域のＣｅｎｔｅｒＸが隣接する撮像対象の
領域内に含まれるか判定する。例えば図１７に示すようにＣｅｎｔｅｒＸ_ｎが隣接する領
域の「Ｐｒｅｖ Ｘｍｉｎ」と、「Ｐｒｅｖ Ｘｍａｘ」との間に位置するか判定する。

（Ｓ０５５）
Ｓ０５４において判定対象の領域のＣｅｎｔｅｒＸが隣接する撮像対象の領域内に含ま
れると判定された場合（Ｓ０５４；Ｙｅｓ）、第３の判定部５１０ａはその領域を検出エ
ラーと判定する。さらにその場合、第３の判定部５１０ａは、隣接領域に含まれると判定
された対象の画像自体を、温度異常の判定対象（障害パネル判定）から除外する。他の例
として、第３の判定部５１０ａは、該当の撮像対象領域のみを除外して、Ｓ０５６の温度
異常の判定（障害パネルの判定）の対象に当該画像を含めてもよい。温度情報取得部５４
０は、除外されていない撮像対象それぞれについて温度情報を取得する。

（Ｓ０５６）
制御部Ｃは、除外した画像以外の赤外線画像（または検出エラーの撮像対象以外の検出
領域）に基づき、パネルごと（所定数パネル群ごと）に障害パネルを温度の差とパターン
により、検出する。

（Ｓ０５７）
制御部Ｃは、赤外線画像から検出した障害パネルをユーザーに示す。

（Ｓ０５５－２）
Ｓ０５４において全ての画像において判定領域のＣｅｎｔｅｒＸが隣接領域内に含まれ
ないと判定された場合（Ｓ０５４；Ｎｏ）、第３の判定部５１０ａは検出エラーが無いも
のと判定する。またこの場合、Ｓ０５４において検出の適否の判定対象とした全ての画像
（判定した全ての検出領域）を温度異常の判定対象として含める。温度情報取得部５４０
は、撮像対象それぞれについて温度情報を取得する。

（Ｓ０５６－２）
制御部Ｃは、第３の判定部５１０ａにより温度異常の判定対象とした全ての赤外線画像
に基づき、パネルごと（所定数パネル群ごと）障害パネルを温度の差とパターンにより、
検出する。

（Ｓ０５７－２）
制御部Ｃは、赤外線画像から検出した障害パネルをユーザーに示す。

［効果］
本実施形態によれば、赤外線画像の撮像対象の異常判定（障害パネル判定）のミスが低
減される。その理由の１つとして赤外線画像内の撮像対象と、それ以外のものを識別し、
撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例
えば、太陽光発電施設においては、１つの太陽光発電パネル群と他の太陽光発電パネル群
との間に、発電機器（パワーコントローラーやケーブル）、アスファルト舗装、水、植物
等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全
体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定
に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異
常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、
ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置に
よって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異
なってくる場合もあり、その点においても異常判定のミスを低減可能である。

さらに、本実施形態によれば撮像対象の検出ミスを、撮像対象領域と隣接領域との重畳
の程度に基づき判定し、重畳の程度が大きい場合には、適宜当該画像またはエラーと判定
された撮像対象を、温度の異常判定対象から除外する。したがって、障害パネルの特定ミ
スを低減可能である。

［第６実施形態］
第６実施形態にかかる状態判定システム６００について図１９～図２１を参照して説明
する。以下の説明において、第１実施形態と重複する説明は割愛する。

（概要）
第１実施形態と同様に、第６実施形態においても赤外線画像内の撮像対象と、それ以外
のものを識別し、撮像対象以外の温度情報を異常判定（障害パネル判定）に用いる情報か
ら除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発
電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ（アスファ
ルト舗装、水、植物、発電機器（パワーコントローラー、ケーブル）等）が含まれる可能
性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。

第６実施形態の状態判定システム６００はさらに、第１実施形態での太陽光発電パネル
等の撮像対象の検出処理のミスを低減するため、撮像対象を検出した後、検出した撮像対
象の配列方向にしたがい順次撮像対象の所定位置を特定する。さらに状態判定システム６
００は、撮像対象の配列の規則性にしたがって、赤外線画像において特定された複数の撮
像対象を１まとめに集合させる（以下、集合体を「クラスター」とする）。また本実施形
態においては、所定位置のクラスターに含まれるはずの撮像対象の所定数が記憶されてい
る。状態判定システム６００は、１つのクラスターの検出数が所定数を満たすかに基づき
、検出エラーを判定する。

さらに状態判定システム６００は、隣接するクラスター間の距離に基づきさらに検出エ
ラーの判定を追加して実行するように構成されていてもよい（下記変形例）。さらに状態
判定システム６００は、検出エラーとして判定された撮像対象（検出領域）を、障害パネ
ル判定から除外する。

（状態判定システム６００）
図１９に示すように第６実施形態の状態判定システム６００は、位置情報受信部６１０
、画像受信部６２０、特定部６３０、温度情報取得部６４０および制御部Ｃと記憶部Ｓの
他、第４の判定部６１０ａを含んで構成される。特定部６３０は第１実施形態と同様に赤
外線画像から太陽光発電パネルを検出する。

（第４の判定部６１０ａ）
第１実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される
。第４の判定部６１０ａは、特定された複数の太陽光発電パネルにおける所定位置をさら
に特定する。例えば撮像対象が２次元的に配列されている場合がある。この場合、図２０
Ａに示すように赤外線画像においてＸ軸方向に整列されて並ぶ撮像対象を１つのクラスタ
ーとしてまとめることが可能である（ＣｌｕｓｔｅｒＣ～ＣｌｕｓｔｅｒＦ参照）。

一例として第４の判定部６１０ａは、Ｙ軸方向における上端縁および下端縁、または上
端縁側の角部および下端縁側の角部等、撮像対象のＹｍｉｎとＹｍａｘを特定する。さら
に第４の判定部６１０ａは、Ｘ軸方向に並ぶ撮像対象を１つのクラスターに含めるように
、検出された複数の撮像対象において、ＹｍｉｎとＹｍａｘにおけるＹ座標が近いものを
求める。一例として、第４の判定部６１０ａは、１つの検出領域のＹｍｉｎの座標を基準
に、他の検出領域のＹｍｉｎと対比し、当該他の検出領域のうちＹ座標として所定距離内
あるものを特定する。

第４の判定部６１０ａは同様に、１つの検出領域のＹｍａｘの座標を基準に、他の検出
領域のＹｍａｘと対比し、当該他の検出領域のうちＹ座標として所定距離内あるものを特
定する。このようにして第４の判定部６１０ａは、上記１つの検出領域と特定した他の検
出領域とを１つのクラスターに属するものとして対応づける。このようにして第４の判定
部６１０ａは、赤外線画像においてクラスターおよびクラスター内の検出領域を特定して
いく。

上記クラスターの形成は、ＹｍｉｎとＹｍａｘにおけるＹ座標が近いものを求めるもの
であるが、これは一例であって、本実施形態はこれに限られない。例えば、第４の判定部
６１０ａは、Ｙｍｉｎ、Ｙｍａｘの少なくともいずれか一方、またはいずれかのみにおけ
るＹ座標が近いものを求めてクラスターを形成してもよい。また他の例として撮像対象の
中心点を基準にそのＹ座標が近いものを求めてクラスターを形成してもよい。同様に、多
角形の撮像対象である場合は角部のいずれか、あるいは角部のうち任意の数点であっても
よい。

次に第４の判定部６１０ａは、各クラスター（図２０Ａ；ＣｌｕｓｔｅｒＡ～Ｃｌｕｓ
ｔｅｒＦ参照）に含まれる検出領域の数を求める。またこのクラスター内の領域検出数と
、記憶されている所定数とを対比する。すなわち、状態判定システム６００は、当該記憶
された１つのクラスターに含まれるべき所定数と、実際にクラスターに含まれた撮像対象
の検出数とを対比する。この所定数は、撮像対象や配置場所の特性、配列の規則性から導
かれ、例えばユーザーにより設定されてもよい。

第４の判定部６１０ａは、クラスター内の検出数が所定数に満たない場合、当該クラス
ターに属する検出領域をすべて検出エラーとして判定する。その場合、一例として第４の
判定部６１０ａは、対象とした画像を温度異常の判定対象から除外する。他の例として、
第４の判定部６１０ａは、判定にかかるクラスターに属する検出領域を除外して温度異常
の判定を行うように構成されていてもよい。なお、上記に限らず、Ｙ軸方向に並ぶ撮像対
象を１つのクラスターにまとめる構成であってもよい。

［変形例］
次に、第６実施形態の変形例について説明する。この変形例においても第６実施形態の
ように複数の撮像対象を１つのクラスターとしてまとめる処理を実行する。ただし本変形
例では、第４の判定部６１０ａは、クラスター内の各撮像対象におけるＹｍｉｎの平均値
、Ｙｍａｘの平均値を求め、これを当該クラスターのＹｍｉｎ、Ｙｍａｘとする。なお、
クラスターのＹｍｉｎ、Ｙｍａｘは属する各撮像対象のＹｍｉｎ、Ｙｍａｘの中央値であ
ってもよい。さらに第４の判定部６１０ａは、Ｙ軸方向における直近のクラスターまでの
距離の分散値を求める。また求めた分散値と判定値とを対比し、両者が所定の関係にある
場合に検出エラーとして判定する。分散値の算出は例えば次式による。

第４の判定部６１０ａは、判定対象のクラスターと直近のクラスターまでの距離から、
全クラスターそれぞれにおける直近の他のクラスターまでの距離の平均値の差を求め、偏
差の二乗平均により分散を求める。その分散値が大きいほど、平均値からの各データの散
らばりが大きいということになる。

また、本変形例においてはクラスター間の間隔のばらつきを判定するための判定値を図
示しない記憶手段に記憶している。第４の判定部６１０ａは、上記分散値と判定値とを対
比し、これらが所定の関係にある場合、検出エラーとして判定する。例えば、判定対象の
クラスターのＹｍｉｎと上方のクラスターのＹｍａｘとの間隔の分散値を算出し、その分
散値と判定値を対比（例：差分を算出）する。同様に判定対象のクラスターのＹｍａｘと
上方のクラスターのＹｍｉｎとの間隔の分散値を算出し、その分散値と判定値を対比する
。この場合、分散値と判定値との差が所定範囲内でなければ第４の判定部６１０ａは、検
出エラーと判定するようにしてもよい。図２０Ｂの例においては、撮像対象が２次元配列
されており、撮像対象の配置効率からしてもクラスター間には大きな間隔が設けられない
。よって、判定対象のクラスターの上辺側および下辺側の双方において、所定間隔より長
い間隔が空いていれば、そのクラスターに属する検出領域はすべて検出ノイズであるとし
てよい。

上記クラスター間の間隔のばらつきの判定は、判定対象のＹｍｉｎと上方のクラスター
のＹｍａｘとの間隔についてのものであった。しかしながらこれは一例であって、本実施
形態はこれに限られない。例えば、第４の判定部６１０ａは、判定対象のＹｍｉｎと上方
（または下方）のクラスターのＹｍｉｎとの間隔についてのばらつきを判定してもよい。
また例えば、第４の判定部６１０ａは、判定対象のＹｍａｘと上方（または下方）のクラ
スターのＹｍａｘとの間隔についてのばらつきを判定してもよい。

太陽光発電パネルの例においては、上記のようなＸ軸方向に並ぶクラスターであれば、
これらをＹ方向に隣接して配列したアレイ構成となる傾向がある。この場合、判定対象の
クラスターのＹｍｉｎと、上方に位置するクラスターのＹｍａｘの差は理論最適値では０
となる。分散で比較する上記本実施形態の一例においては、基準となる平均値の上振れも
下振れも検出ノイズとして判断されやすい。よって、このような検出ノイズの大きさは、
単一方向である方がそのノイズは検出されやすいといえる。

すなわち、平均値からマイナス方向に下振れするケースは、クラスターが重なっている
状態といえるが、このケースは、第４実施形態のような技術にて除去可能である。つまり
、検出ノイズは上振れ(クラスター間に間隔が生じている場合)に集約すると、ノイズの発
生を低減しやすくなる。よって、本実施形態の説明を判定対象のＹｍｉｎと上方のクラス
ターのＹｍａｘとの間隔についてのものを中心に説明した。

一例として第４の判定部６１０ａは、検出エラーの判定をした場合、対象とした画像を
温度異常の判定対象から除外する。他の例として、第４の判定部６１０ａは検出エラーの
判定をした場合、判定にかかるクラスターに属する検出領域を除外して温度異常の判定を
行うように構成されていてもよい。なお、上記に限らず、Ｙ軸方向に並ぶ撮像対象を１つ
のクラスターにまとめる構成であってもよい。

［動作］
図２１は、本実施形態（クラスター内検出数による判定）における処理の流れを示す図
である。以下に、図２１を参照しつつ、状態判定システム６００の処理の流れを、ステッ
プ番号（Ｓ０６１～Ｓ０６７－２）に添って説明する。

（Ｓ０６１）
状態判定システム６００における位置情報受信部６１０は、飛行体Ｄから位置情報を受
ける。また画像受信部６２０は可視光画像および赤外線画像を受ける。

（Ｓ０６２）
特定部６３０は、赤外線画像において太陽光発電パネルを特定する。

（Ｓ０６３）
第４の判定部６１０ａは、撮像対象の配列規則に基づき、その規則性にしたがった一部
の配列に含まれる複数の撮像対象を１つのクラスターとしてまとめる。複数の撮像対象が
２次元的に配列される場合、図２０に示すように赤外線画像においてＸ軸方向に整列され
て並ぶ撮像対象を１つのクラスターとしてまとめる。例えば赤外線画像の各撮像対象にお
ける所定位置（例：ＹｍｉｎとＹｍａｘ）を特定する。また第４の判定部６１０ａは、特
定した所定位置、例えばＹ座標を基準として所定距離内にある複数の領域を１つのクラス
ターとしてまとめる

（Ｓ０６４）
第４の判定部６１０ａは、各クラスター（図２０Ａ；ＣｌｕｓｔｅｒＡ～Ｃｌｕｓｔｅ
ｒＦ参照）に含まれる検出領域の数を求め、記憶されている所定数と対比する。第４の判
定部６１０ａは、対比の結果、検出領域数が所定数を満たすか判定する。

（Ｓ０６５）
Ｓ６４の対比の結果、クラスター内の検出領域数が所定数に満たない場合（Ｓ０６４；
Ｙｅｓ）、第４の判定部６１０ａは当該クラスターに属する領域を検出エラーと判定する
。さらにその場合、第４の判定部６１０ａは、対象とした画像を温度異常の判定対象から
除外する。他の例として、判定にかかるクラスターに属する各検出領域を、温度異常の判
定対象（障害パネル判定）のみを除外して、Ｓ０６６の温度異常の判定の対象に当該画像
を含めてもよい。他の例として、第４の判定部６１０ａは、該当の撮像対象領域のみを除
外して、Ｓ０６６の温度異常の判定の対象に当該画像を含めてもよい。温度情報取得部６
４０は、除外されていない撮像対象それぞれについて温度情報を取得する。

（Ｓ０６６）
制御部Ｃは、除外した画像以外の赤外線画像（または検出エラーの撮像対象以外の検出
領域）に基づき、パネルごと（所定数パネル群ごと）に障害パネルを温度の差とパターン
により、検出する。

（Ｓ０６７）
制御部Ｃは、赤外線画像から検出した障害パネルをユーザーに示す。

（Ｓ０６５－２）
Ｓ０６４においてクラスター内の検出領域数が所定数を満たすと判定された場合（Ｓ０
６４；Ｎｏ）、第４の判定部６１０ａは検出エラーが無いものと判定する。またこの場合
、Ｓ０６４において検出の適否の判定対象とした全ての画像（判定した全ての検出領域）
を温度異常の判定対象として含める。温度情報取得部６４０は、撮像対象それぞれについ
て温度情報を取得する。

（Ｓ０６６－２）
制御部Ｃは、第４の判定部６１０ａにより温度異常の判定対象とした全ての赤外線画像
に基づき、パネルごと（所定数パネル群ごと）障害パネルを温度の差とパターンにより、
検出する。

（Ｓ０６７－２）
制御部Ｃは、赤外線画像から検出した障害パネルをユーザーに示す。

［変形例の動作］
本実施形態の上記変形例の場合、上記Ｓ０６４において第４の判定部６１０ａは、複数
の撮像対象それぞれにおける所定位置（例：ＹｍｉｎとＹｍａｘ）を特定し、それにより
直近の他の領域との間隔を求める。

また上記変形例の場合、Ｓ０６５においてＳ６４の対比の結果、判定対象のクラスター
の上辺側および下辺側の双方において、所定間隔より長い間隔が空いている場合（Ｓ０６
４；Ｙｅｓ）、そのクラスターに属する検出領域、第４の判定部６１０ａは当該クラスタ
ーに属する領域を検出エラーと判定する。エラー判定の後の処理は第６実施形態と同様で
ある。

また上記変形例の場合、Ｓ０６５－２において、Ｓ０６４の対比の結果、判定対象のク
ラスターの上辺側、下辺側のいずれかにおいて、間隔が所定の長さ以内である場合（Ｓ０
６４；Ｎｏ）、第４の判定部６１０ａは検出エラーが無いものと判定する。またこの場合
、Ｓ０６４において検出の適否の判定対象とした全ての画像（判定した全ての検出領域）
を温度異常の判定対象として含める。

［効果］
本実施形態によれば、赤外線画像の撮像対象の異常判定（障害パネル判定）のミスが低
減される。その理由の１つとして赤外線画像内の撮像対象と、それ以外のものを識別し、
撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例
えば、太陽光発電施設においては、１つの太陽光発電パネル群と他の太陽光発電パネル群
との間に、発電機器（パワーコントローラーやケーブル）、アスファルト舗装、水、植物
等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全
体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定
に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異
常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、
ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置に
よって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異
なってくる場合もあり、その点においても異常判定のミスを低減可能である。

さらに、本実施形態によれば撮像対象の検出ミスを、撮像の配列の規則性からの逸脱の
有無あるいは逸脱の程度に基づき判定する。また判定結果に基づき、適宜エラー判定され
た画像またはエラーと判定された撮像対象を、温度の異常判定対象から除外する。したが
って、障害パネルの特定ミスを低減可能である。

［第７実施形態］
第７実施形態にかかる状態判定システム７００について図２２～図２４を参照して説明
する。以下の説明において、第１実施形態と重複する説明は割愛する。

（概要）
第１実施形態と同様に、第７実施形態においても赤外線画像内の撮像対象と、それ以外
のものを識別し、撮像対象以外の温度情報を異常判定（障害パネル判定）に用いる情報か
ら除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発
電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ（アスファ
ルト舗装、水、植物、発電機器（パワーコントローラー、ケーブル）等）が含まれる可能
性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。

第７実施形態の状態判定システム７００はさらに、第１実施形態での太陽光発電パネル
等の撮像対象の検出処理のミスを低減するため、撮像対象を検出した後、検出した撮像対
象の配列方向にしたがい順次撮像対象の所定位置を特定する。さらに状態判定システム７
００は、撮像対象の配列の規則性にしたがって、赤外線画像において特定された複数の撮
像対象を１つのクラスターにまとめる。また本実施形態においては、撮像対象の１つの群
（クラスター群）における、最下端位置のクラスターの下辺位置を基準に、当該クラスタ
ーに含まれる撮像対象のうち、クラスターの下辺位置からずれたものを補正する。なお、
下辺位置とは図２３Ａに示すように、当該図の視点における下側を示すものであり、実空
間における鉛直下方を示すものではない。太陽光発電施設においては、この下側は、南側
となる傾向にある。

すなわち、上記の通り太陽光発電施設においては、太陽光発電パネルは南向きに配置さ
れる傾向がある。またこの場合、太陽光発電パネルは受光面が南向きとなるように北側が
高く南側が低くなるように、つまり南側に下り傾斜となるような架台上に設けられる（図
２３Ｂ参照）。

このような構成においては、図２３Ｂに示すように、最下端のクラスターに属する各太
陽光発電パネルの南側には、日陰領域と日向領域ができる。例えば、１ブロックの最下端
に位置するパネルにおいては、その南側に隣接するパネルの北側端部（図２３Ａにおいて
は上端部）に太陽光が遮られ、日陰領域ができる。ただし、図２３Ｂのように日陰領域の
北側は、当該南側隣接パネルの北側端部によって、太陽光が遮られないので、その領域（
直射光が照射される領域）は日向領域となる（図２３Ａ；符号ＳＰ参照）。

日向領域は日陰領域より温度が相対的に高まることから、障害パネルの判定時に検出ノ
イズとなりうる。本実施形態は下記構成により、この検出ノイズを低減させることを可能
にする。

（状態判定システム７００）
図２２に示すように第７実施形態の状態判定システム７００は、位置情報受信部７１０
、画像受信部７２０、特定部７３０、温度情報取得部７４０および制御部Ｃと記憶部Ｓの
他、第５の判定部７１０ａおよび補正部７１０ｂを含んで構成される。特定部７３０は第
１実施形態と同様に赤外線画像から太陽光発電パネルを検出する。

（第５の判定部７１０ａ）
第１実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される
。第５の判定部７１０ａは、第６実施形態と同様に、赤外線画像においてＸ軸方向に整列
されて並ぶ撮像対象を１つのクラスターとしてまとめることが可能である（図２３Ａ：Ｃ
ｌｕｓｔｅｒ_ｎｕｍ１～Ｃｌｕｓｔｅｒ_ｎｕｍ４参照）。

さらに第５の判定部７１０ａは、クラスター内の各撮像対象におけるＹｍａｘの平均値
を求め、これを当該クラスターのＹｍａｘとする。なお、クラスターのＹｍａｘは属する
各撮像対象のＹｍａｘの中央値であってもよい。

また第５の判定部７１０ａは、複数の撮像対象を２次元配列した１ブロック分における
クラスターの最下段（図２３Ａ：Ｃｌｕｓｔｅｒ_ｎｕｍ４参照）を特定する。特定の方
法は、例えば次の通りである。制御部Ｃは、クラスター特定後の赤外線画像を図示しない
表示手段（システム外の表示手段を含む）に表示させる（図２３Ａ参照）。また制御部Ｃ
は、当該赤外線画像において撮像対象の配列ごとに、各クラスターを識別するための表示
をする制御を実行する。この識別表示は、図２３Ａの例であればクラスター上に表示され
た通し番号である。その他ユーザーが各クラスターを指定可能な他の識別表示であっても
よい。

この状態においてユーザーはクラスターごとの識別表示について表示手段を介して視認
でき、さらに図示しない入力手段を用いて指定可能に構成されている。この構成において
、ユーザーが当該入力手段を用いて画面上の識別表示群のうち、いずれかの識別表示（段
数番号、クラスター番号等）を指定すると、制御部Ｃは、当該指定操作を受け付け、当該
クラスターを赤外線画像において特定する。

なお、複数の撮像対象の２次元配列におけるクラスター最下段の特定方法としては、他
の方法であってもよい。例えば各クラスターのうち、クラスター上辺（Ｙｍｉｎ）側に対
する直近の他の領域との間隔が所定間隔内であり、さらにクラスター下辺（Ｙｍａｘ）側
に対する直近の他の領域との間隔が所定間隔を超えているクラスターを、最下段のクラス
ターと判定することも可能である。この構成の場合、下辺側に他の領域が無いクラスター
も最下段のクラスターと判定される。

最下段のクラスターの特定後、第５の判定部７１０ａはクラスターに属する各検出領域
のＹｍａｘの座標とクラスターのＹｍａｘの座標とを対比する。例えば第５の判定部７１
０ａは、各検出領域のＹｍａｘの座標とクラスターのＹｍａｘとの座標の差分（距離）を
求める。さらに第５の判定部７１０ａは、差分が所定範囲内であるかどうか判定する。一
例として第５の判定部７１０ａは、この差分と判定値とを対比する。差分が所定範囲を超
えていれば、第５の判定部７１０ａはその検出領域を特定する。

（補正部７１０ｂ）
補正部７１０ｂは、第５の判定部７１０ａにより特定された検出領域の下辺をクラスタ
ーの下辺に対応させる。例えば補正部７１０ｂは、当該検出領域のＹｍａｘのＹ座標を、
上記求められた差分に基づきクラスターのＹｍａｘのＹ座標に対応するように補正する。

［動作］
図２４は、本実施形態における処理の流れを示す図である。以下に、図２４を参照しつ
つ、状態判定システム７００の処理の流れを、ステップ番号（Ｓ０７１～Ｓ０７８－２）
に添って説明する。

（Ｓ０７１）
状態判定システム７００における位置情報受信部７１０は、飛行体Ｄから位置情報を受
ける。また画像受信部７２０は可視光画像および赤外線画像を受ける。

（Ｓ０７２）
特定部７３０は、赤外線画像において太陽光発電パネルを特定する。

（Ｓ０７３）
第５の判定部７１０ａは、撮像対象の配列規則に基づき、その規則性にしたがった一部
の配列に含まれる複数の撮像対象を１つのクラスターとしてまとめる。複数の撮像対象が
２次元的に配列される場合、図２３Ａに示すように赤外線画像においてＸ軸方向に整列さ
れて並ぶ撮像対象を１つのクラスターとしてまとめる。例えば赤外線画像の各撮像対象に
おける所定位置（例：ＹｍｉｎとＹｍａｘ）を特定する。また第５の判定部７１０ａは、
特定した所定位置、例えばＹ座標を基準として所定距離内にある複数の領域を１つのクラ
スターとしてまとめる

（Ｓ０７４）
第５の判定部７１０ａは、撮像対象の２次元配列の１ブロック分に含まれる各クラスタ
ー（図２３Ａ：Ｃｌｕｓｔｅｒ_ｎｕｍ１～Ｃｌｕｓｔｅｒ_ｎｕｍ４参照）のうち、最下
段のクラスターを特定する。

（Ｓ０７５）
第５の判定部７１０ａはクラスターに属する各検出領域のＹｍａｘの座標とクラスター
のＹｍａｘの座標とを対比する。さらに第５の判定部７１０ａは、差分が所定範囲内であ
るかどうか判定する。

（Ｓ０７６）
Ｓ７５の対比の結果、最下段のクラスター内の検出領域のうち、その下辺がクラスター
の下辺と離隔しているものがある場合（Ｓ０７５；Ｙｅｓ）、補正部７１０ｂはその検出
領域の下辺を、当該クラスターの下辺に対応させる補正を行う。

（Ｓ０７７）
温度情報取得部７４０は、最下段のクラスター内の検出領域の下辺が補正された状態の
検出領域を含めて温度情報を取得し、パネルごと（所定数パネル群ごと）に障害パネルを
温度の差とパターンにより、検出する。

（Ｓ０７８）
制御部Ｃは、赤外線画像から検出した障害パネルをユーザーに示す。

（Ｓ０７６－２）
Ｓ０７５においてクラスター内のすべての検出領域の下辺それぞれと、クラスターの下
辺との差が所定範囲内であれば（Ｓ０７４；Ｎｏ）、補正部７１０ｂの補正処理を行うこ
となく、パネルごと（所定数パネル群ごと）に温度情報を取得する。

（Ｓ０７７－２）
温度情報取得部７４０は、パネルごと（所定数パネル群ごと）に、温度の差とパターン
により、障害パネルを検出する。

（Ｓ０７８－２）
制御部Ｃは、赤外線画像から検出した障害パネルをユーザーに示す。

［効果］
本実施形態によれば、赤外線画像の撮像対象の異常判定（障害パネル判定）のミスが低
減される。その理由の１つとして赤外線画像内の撮像対象と、それ以外のものを識別し、
撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例
えば、太陽光発電施設においては、１つの太陽光発電パネル群と他の太陽光発電パネル群
との間に、発電機器（パワーコントローラーやケーブル）、アスファルト舗装、水、植物
等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全
体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定
に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異
常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、
ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置に
よって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異
なってくる場合もあり、その点においても異常判定のミスを低減可能である。

さらに、本実施形態によれば、撮像対象群を含む各ブロックの最下段クラスターの下辺
位置に対し、各検出領域の下辺位置の逸脱を判定し、許容範囲を超えて逸脱する検出領域
があれば、その領域の下辺位置をクラスターに合わせる補正を行う。また本実施形態では
、補正後において障害パネル判定を行う。したがって、障害パネルの特定ミスを低減可能
である。

［変形例１］
次に、上記各実施形態における検出エラーの判定の後における状態判定システムのとり
得る処理の他の例を説明する。上記実施形態（第２～第６）においては、撮像対象の検出
エラーを判定し、検出エラーがあれば、当該検出領域あるいは当該検出領域が含まれる画
像を障害パネル判定から除外するように構成されている。しかしながら、他の構成とする
ことも可能である。例えば状態判定システムは、図示しない表示手段（システム外の表示
手段を含む）にエラーメッセージを出力させるか、あるいは図示しない音声出力部に警告
音を出力させる等、任意の方法で検出エラーを報知するように構成することが可能である
。

さらに状態判定システムの制御部Ｃは、上記ユーザーへの報知後または報知を経ずに、
検出エラーにかかる領域を含む画像をユーザーに呈する。これは図示しない任意の表示手
段（システム外の表示手段を含む）に当該画像を表示させることがその一例である。さら
に当該画像における配列情報と適合しない部分をマニュアル操作により補完するかについ
てユーザーに選択を促すメッセージを表示する。

図３，図１１等に示すように、特定部によって特定された撮像対象は表示手段によりユ
ーザーに認識可能にすることが可能である。つまり、制御部Ｃは、特定部が赤外線画像に
おいて撮像対象として特定した領域を、赤外線画像においてユーザーが視認可能な状態と
することが可能である。例えば図３，図１１等に示すように撮像対象の領域の外縁を他と
識別可能に描画することが可能である。その他、任意の方法で個々の撮像対象の領域全体
を他と識別可能に描画（網掛け、反転表示、点滅表示）することが可能である。

さらに制御部Ｃは、赤外線画像における検出エラーとなった領域を表示された画像上で
スライド移動させる操作を実行できるように表示する。例えば制御部Ｃはエラー判定とな
った領域の外縁を強調表示する。さらにユーザーがポインティングデバイスのような任意
の入力手段により、画像上のポインタ等を当該表示領域上に重畳させると、制御部Ｃは当
該領域を画像上でスライドさせる操作を受け付け可能な状態に移行させる。さらにその状
態でユーザーが入力手段を介して領域を画像上の任意の位置に移動させるとその指定位置
に当該領域を示す表示が画像上で移動する。

さらにユーザーが入力手段を介して当該領域の移動操作を完成させる操作を実行すると
、制御部Ｃは移動前の当該領域の座標値を、移動後の座標値に書き換える。本実施形態で
は、上記のようなマニュアル操作によって検出エラーにかかる領域を修正する操作を可能
とする構成を有する。本実施形態によっても、障害パネルの特定ミスを低減可能である。

［変形例２］
上記実施形態においては、飛行体Ｄにおける空撮画像において可視光画像と赤外線画像
を取得する構成であった。しかしながら、撮像対象によっては、赤外線画像のみを取得す
る構成であってもよい。

［変形例３］
上記実施形態においては、飛行体Ｄにおける空撮画像において可視光画像と赤外線画像
を取得する構成であった。しかしながら、撮像対象によっては、空撮画像でなく、撮像対
象の上方に固定された（例えば天井部分、または上方に突出した構造物（ポール等）の上
部に固定された）撮影手段により、撮像しその画像を状態判定する構成であってもよい。
例えば、倉庫や工場において多数配列された撮像対象（保管品、製造品等）の温度情報か
ら状態判定をする構成であってもよい。

上記変形例３から把握される状態判定システムとして次のような特徴を挙げることが可
能である。
［特徴１］
撮像対象の上方から当該撮像対象を撮影することにより取得された赤外線画像を受信す
る画像受信部と、
前記赤外線画像から撮像対象または所定数の撮像対象群を特定する特定部と、
特定した前記撮像対象ごとまたは前記撮像対象群ごとに赤外線情報に基づく温度情報を
求める温度情報取得部と、
前記温度情報取得部により求められた前記温度情報に基づき、特定した前記撮像対象ご
とまたは前記撮像対象群ごとに異常判定をする判定部と、
を備える状態判定システム。

［変形例４］
上記実施形態においては、撮像対象に対してその上方から撮影した画像に基づき、温度
情報から撮像対象の状態判定をする構成であった。しかしながら、撮像対象によっては、
撮像対象の上方でなく、所定距離だけ離隔した水平方向から撮影した画像を利用して状態
判定をする構成であってもよい。例えば、鉛直方向に２次元配列された撮像対象（ビルの
窓ガラス）に対し、所定距離だけ離れた位置において上方に突出した構造物（ポール等）
のいずれかの位置（例：中央位置）に撮影手段が固定されているものとする。この状態で
当該撮影手段により、水平方向に当該所定距離だけ離れた撮像対象を撮像する構成であっ
てもよい。また取得された画像に基づき状態判定する構成であってもよい。

［整列位置検出システム］
第２実施形態～第４実施形態における技術的思想は、撮像対象の温度情報を利用した状
態判定システムに限らず、整列位置検出システムとして利用することが可能である。この
整列位置検出システムについて以下説明する。

［上記第２実施形態の転用］
第２実施形態は画像の傾き補正をするものである。これは温度検出に限らず、単に規則
的に整列または配列する前提となっている多数の撮像対象の配列位置の検出に利用可能で
ある。

上記実施形態のように、複数配列された撮像対象群を撮像した画像から、個々の撮像対
象を検出することが可能である。このとき、２次元配列のように、規則的に並んでいるは
ずの撮像対象がその規則からずれてしまっている場合、または抜けてしまっている場合が
生じうる。例えば同種または同一の製品を２次元配列してパッケージする前提の場合に、
当該製品の抜け、位置ずれなどが生じうる。あるいは自動車を所定間隔で所定の配置規則
で駐車すべきときに、駐車位置のずれ、抜け等が生じうる。

複数配列された撮像対象群を撮像した画像を利用して個々の撮像対象の検出をすること
で、このような配列位置の点検が可能である。
このような構成において、画像の傾きがあると撮像対象の検出に支障をきたすおそれが
あり、配置ずれ、配置抜けの点検ミスが生じうる。これに対し、この整列位置検出システ
ムでは、まず第２実施形態のように画像の傾きを検出する。この画像は赤外線画像であっ
てもよく、可視光画像であってもよい。傾きの検出後は、第２実施形態のように傾き補正
を実行してもよい。または、第２実施形態のように撮像エラーとして、配置ずれ、配置抜
けの点検対象から当該画像を除外する処理を実行してもよい。

整列位置検出システムでは、第１実施形態の特定部と同様に、撮像対象を特定し、さら
に撮像対象の配列を特定する（例：縦４行、横７列等）。これは、いわゆる人工知能（Ａ
Ｉ）を用いたディープラーニング（深層学習）により作成された推論モデルを用いたもの
であってもよく、パターンマッチング等、他の方法を用いてもよい。次に所定の制御部等
により、ユーザーにより設定された配列情報と、画像から当該特定された撮像対象の配列
とが対比され、配置ずれ、配置抜けの点検処理が実行される。

上記第２実施形態の転用から把握される整列位置検出システムとして次のような特徴を
挙げることが可能である。
［特徴２］
撮像対象を撮像した画像を受信する画像受信部と、
前記画像から撮像対象または所定数の撮像対象群を特定する特定部と、
前記撮像対象に対する撮像方向の傾きを求め、当該求めた傾きに基づき傾き補正をする
補正部と、
前記補正後の画像において、既定の配列規則から外れる撮像対象、または既定の配列規
則から抜けた撮像対象の有無を判定する第７の判定部と、
を備える整列位置検出システム。

［上記第３実施形態の転用］
第３実施形態は撮像対象のサイズ（撮像対象に対する少なくとも１方向からの視点でみ
たサイズ）が画一的であることを利用して、撮像対象の検出ミスの低減を図るものである
。これは温度検出に限らず、単に規則的に整列または配列する前提となっている多数の撮
像対象の配列位置の検出に利用可能である。

上記第２実施形態を転用した整列位置検出システムのように、複数配列された撮像対象
群を撮像した画像から、個々の撮像対象を検出することで、整列した撮像対象の位置ずれ
や抜けの点検が可能である。

このような構成において、撮像対象の検出ミスにより、サイズが画一的であるはずの撮
像対象が大きく検出され、または小さく検出されると当該点検にミスが生じうる。これに
対し、この上記第３実施形態を転用した整列位置検出システムでは、まず第３実施形態の
ように、検出した各撮像対象の領域のサイズを求める。なお、画像は赤外線画像であって
もよく、可視光画像であってもよい。

次に、第３実施形態と同様に、撮像対象のサイズ、または当該サイズに基づいて算定さ
れた数値と、判定値とを対比することにより、検出ミスを判定する。

検出ミスの判定後は、検出エラーがあったことをユーザーに報知してもよく、また検出
エラーにかかる撮像対象を画像において強調表示してもよい。または、検出エラーとして
、配置ずれ、配置抜けの点検対象から当該画像を除外する処理を実行してもよい。

なお、整列位置検出システムでは、上記第２実施形態を転用した整列位置検出システム
と同様に特定部により撮像対象の配列を特定する。

上記第３実施形態の転用から把握される整列位置検出システムとして次のような特徴を
挙げることが可能である。
［特徴３］
撮像対象を撮像した画像を受信する画像受信部と、
前記画像から撮像対象または所定数の撮像対象群を特定する特定部と、
前記特定部が特定した前記撮像対象または前記撮像対象群のサイズを算出し、当該算出
値のばらつきと、当該ばらつきの許容範囲を示す判定値とを比較し、当該ばらつきが当該
判定値に対して所定の関係にある場合、特定エラーとして判定する第８の判定部を備える
整列位置検出システム。
［特徴４］
撮像対象を撮像した画像を受信する画像受信部と、
前記画像から撮像対象または所定数の撮像対象群を特定する特定部と、
前記画像において、既定の配列規則から外れる撮像対象、または既定の配列規則から抜
けた撮像対象の有無を判定する第９の判定部と、
を備える整列位置検出システム。

［上記第４実施形態の転用］
第４実施形態は撮像対象の配列規則を利用して、撮像対象の検出ミスの低減を図るもの
である。すなわち、撮像対象を検出した後、撮像対象の整列位置のずれがあるか判定を行
う。例えば撮像対象の外縁の境界部分または各撮像対象の領域の検出において誤検出があ
るか判定を行う。これは温度検出に限らず、単に規則的に整列または配列する前提となっ
ている多数の撮像対象の配列位置の検出に利用可能である。

上記第２実施形態を転用した整列位置検出システムのように、複数配列された撮像対象
群を撮像した画像から、個々の撮像対象を検出することで、整列した撮像対象の位置ずれ
や抜けの点検が可能である。

このような構成において、当該第４実施形態を転用した整列位置検出システムにおいて
は、第４実施形態と同様に撮像対象特有の所定の配列の規則性を利用し、規則性からずれ
たものがあるかについて判定する。例えば画像から特定した複数の撮像対象それぞれにお
ける所定位置をさらに特定し、その特定した位置の、配列規則からのずれ量を算出する。
ずれ量が大きければ、検出エラーの判定を行う。これにより、撮像対象の検出ミスの低減
を図る。

すなわち、上記第４実施形態のように、検出した各撮像対象の領域における所定位置を
さらに特定する。例えば所定位置は「Ｙｍｉｎ」または「Ｙｍｉｎ_ｎ」である。なお、画
像は赤外線画像であってもよく、可視光画像であってもよい。

次に、第４実施形態と同様に、特定した各撮像対象の所定位置のばらつきを求める。こ
のばらつきに対して、許容できる範囲と許容できない範囲とを判定値により判定する。第
４実施形態と同様にばらつきが許容できない範囲である場合検出エラーとして判定する。

検出エラーの判定後は、検出エラーがあったことをユーザーに報知してもよく、また検
出エラーにかかる撮像対象を画像において強調表示してもよい。または、検出エラーとし
て、配置ずれ、配置抜けの点検対象から当該画像を除外する処理を実行してもよい。

なお、この整列位置検出システムでは、上記第２実施形態を転用した整列位置検出シス
テムと同様に特定部により撮像対象の配列を特定する。

上記第４実施形態の転用から把握される整列位置検出システムとして次のような特徴を
挙げることが可能である。
［特徴５］
撮像対象を撮像した画像を受信する画像受信部と、
前記画像から撮像対象または所定数の撮像対象群を特定する特定部と、
前記特定部が特定した前記撮像対象または前記撮像対象群の位置関係に基づき、いずれ
かの前記撮像対象または前記撮像対象群における配列からからのずれ量を求め、当該ずれ
量の許容範囲を示す判定値と当該ずれ量とを比較し、当該ずれ量が当該判定値に対して所
定の関係にある場合、特定エラーとして判定する第１０の判定部と、
を備える整列位置検出システム。

なお、上記３系統の整列位置検出システムは適宜組み合わせることが可能である。

［空撮画像位置特定システム］
次に上記各実施形態およびその変形例、ならびにそれに対応する各請求項に示される技
術的思想と組み合わせることが可能な空撮画像位置特定システムについて説明する。空撮
画像位置特定システムは、第８実施形態～第１３実施形態に分けて説明する。
［第８実施形態］

第８実施形態にかかる空撮画像位置特定システム８００の全体構成について図２５～図
２８を参照して説明する。なお、図２５における空撮画像位置特定システムは一例であり
、その他の構成を含むことを除外するものではなく、様々な形態で実施することが可能で
ある。

（飛行体Ｄの概要）
図２５に示すように、飛行体Ｄは、撮影部Ｄ１、位置取得部Ｄ２、ジャイロスコープＤ
３、ジンバルＤ４を備える。撮影部Ｄ１は、可視光カメラと赤外線カメラを備え、可視光
画像（図２）および赤外線画像（図３）とを同時に、または同期して撮影可能である。位
置受信部Ｄ２は、ＧＮＳＳ(Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓ
ｙｓｔｅｍ / 全球測位衛星システム)、例えばＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ
、準天頂衛星（ＱＺＳＳ）等の測位衛星から航法信号を受信し、飛行体Ｄの３次元位置等
を測位し、可視光画像、赤外線画像にそれぞれ付加する（例えばＥＸＩＦ情報）。また位
置受信部Ｄ２は、例えば水圧計・気圧計を搭載し、その結果を基に深度・高度に変換して
もよい。他の例として、超音波センサー等を搭載し、地表・海底等から飛行体Ｄまでの距
離を測ってもよい。その受信された１次元位置情報を可視光画像および赤外線画像に付加
する。このようにして可視光画像および赤外線画像の３次元位置が特定可能である。これ
らは、付加情報として可視光画像および赤外線画像とともに空撮画像位置特定システム８
００に送信される。
なお、図２および図３の観察対象物は一例であって、各画像に描写される対象は、その他
の種類の観察対象物であってもよい。

飛行体ＤのジャイロスコープＤ３は、飛行体Ｄの傾きを検出する。飛行体Ｄは、方位情
報により機体が向いている方位とその方位からの姿勢ズレをジャイロスコープＤ３により
求める。飛行体Ｄの方位情報と傾き情報は空撮画像位置特定システム８００に送信される
。３軸方向の加速度センサーであってもよい。またジンバルＤ４は、撮影部Ｄ１を飛行体
Ｄに傾動可能に支持しており、撮影部Ｄ１の姿勢を制御可能とする。これにより撮影部Ｄ
１の光軸の制御を可能とする。撮影部Ｄ１の傾き等に基づく当該光軸方向の情報は空撮画
像位置特定システム８００に送信される。また飛行体Ｄは、地磁気センサーＤ５により方
位情報を受信する。これにより飛行体Ｄの方位（進路）を把握可能である。飛行体Ｄから
空撮画像位置特定システム８００への各種データの送信は送信部Ｔによって実行される。

空撮画像位置特定システム８００は、位置情報受信部８１０、画像受信部８２０、補正
部８３０、付加部８４０および制御部Ｃと記憶部Ｓを含んで構成される。位置情報受信部
８１０は、飛行体Ｄから、航法信号に基づく飛行体Ｄの測位情報（３次元位置等）、高度
、深度等の１次元位置、飛行体Ｄの傾き情報、光軸方向情報を受信する。例えばこれらは
ＥＸＩＦ情報として画像に付加された情報として受信されてもよい。

画像受信部８２０は、飛行体Ｄの撮影部Ｄ１から可視光画像および赤外線画像を受ける
。補正部８３０は、可視光画像および赤外線画像の上記各種位置情報を、上記方位情報、
傾き情報、光軸方向情報に基づき補正する。付加部８４０は、可視光画像および赤外線画
像にその補正位置情報を付加する。

（補正部８３０）
補正部８３０について、さらに説明する。補正部８３０は、全球測位衛星システムから
の航法信号、すなわち衛星が送信する信号発信時刻および衛星軌道に係る情報を含む情報
を位置受信部Ｄ２を介して受ける。この情報に基づき２次元位置（例えば緯度・経度）や
高度または深度を特定し、これらに基づく飛行体Ｄの３次元位置と時刻とを関連付けた位
置情報とする。補正部８３０は、所定の時間間隔で飛行体Ｄの位置情報を特定してもよい
。

可視光画像および赤外線画像に描画される撮影対象は、飛行体Ｄの方位および傾きと撮
影部Ｄ１における光軸方向とによって、撮影部Ｄ１との位置関係が定まる。つまり必ずし
も上記特定された飛行体Ｄの２次元位置の鉛直下方の画像とは限られない。したがって、
補正部８３０は、方位および傾き情報と撮影部Ｄ１の向きに基づく光軸方向により、可視
光画像および赤外線画像の上記位置情報を補正する。一例として以下、詳細に説明する。
なお、図２６は、当該補正処理の概要を示す概念図である。

補正部８３０は、可視光画像および赤外線画像の上記各種位置情報を、上記方位情報、
傾き情報、光軸方向情報に基づきＶｉｎｃｅｎｔｙ順解法をもって補正する。例えば図２
６に示すように補正部８３０は、飛行体Ｄの撮影位置の緯度・経度および高度ｈと、複合
Ｐｉｔｃｈ角θとによって求められる水平距離Ｓを求める。また補正部８３０は複合Ｙａ
ｗ角と方位情報とから方位角αを求める。この水平距離Ｓと方位角αとに基づいて、補正
部８３０は、補正位置情報を求める。具体例は次の通りである。

上記各種位置情報から得られた飛行体Ｄの高度をｈ、上記傾き情報と光軸方向から得ら
れる複合Ｐｉｔｃｈ角をθ、太陽電池パネルの架台長をＬとすると、太陽電池パネルまで
の「水平距離Ｓ」は、下記数１により求められる。その他Ｖｉｎｃｅｎｔｙ順解法に用い
る「始点」（経度、緯度）は上記各種位置情報であり、「方位角」は上記傾き情報と光軸
方向から得られる複合Ｙａｗ角と、地磁気センサーにより得られた方位情報とに基づいて
得られる。

（補足）
高度ｈ：
ＧＮＳＳ情報に含まれる（地表面、接地面）から飛行体Ｄ（またはＧＮＳＳ情報受信部(
不図示)）までの高さ。あるいは超音波センサー等により計測した高さ。
架台長Ｌ ：
接地面(地表等)から、太陽電池パネルの中心位置までの高さ。
始点：
飛行体Ｄの撮影位置（図２６：緯度φ１ 、経度λ１／鉛直下方位置（接地面））
水平距離Ｓ：
上記撮影位置から補正位置（太陽電池パネルの中心位置ＣＰ／緯度φ２、 経度λ２）ま
での距離。

制御部Ｃは、位置情報受信部８１０、画像受信部８２０、補正部８３０および付加部８
４０を統合的に制御する。また、制御部Ｃは、位置情報受信部８１０が受信した測位情報
（３次元位置情報、時刻情報等）や、画像受信部８２０が受信した各画像データを記憶部
Ｓに記憶させる。

［動作］
図２７は、本実施形態における処理の流れを示す図である。以下に、図２６および図２
８も参照しつつ、飛行体Ｄの動作を、ステップ番号（Ｓ００１～Ｓ００４）に沿って説明
する。図２８は、本実施形態の利用例の１つである、太陽光発電所の点検システムにおけ
る空撮画像の取得の概要を示す概念図、すなわち太陽光パネルを空撮する飛行体Ｄと太陽
光パネルの集合の概要を示す概念図である。

（Ｓ００１）
空撮画像位置特定システム８００における位置情報受信部８１０は、飛行体Ｄから位置
情報(ＧＮＳＳ情報等と、飛行体Ｄの方位情報、傾き、光軸方向（ジンバル）)とを受ける
。また画像受信部８２０は可視光画像および赤外線画像を受ける。図２８の例においては
、飛行体Ｄが太陽光発電所における太陽光パネルの空撮画像(可視光画像および前記赤外
線画像)を撮像している状態を示している。

（Ｓ００２）
補正部８３０は、ＧＮＳＳ情報から各画像の撮影時の飛行体Ｄの３次元位置を受ける。
例えば、図２６のように高度ｈと、飛行体Ｄの撮影位置（図２６：緯度φ１ 、 経度λ１
／鉛直下方位置）を位置情報受信部８１０から受信する。

（Ｓ００３）
補正部８３０は、Ｓ００２で求めた３次元位置と、方位角と飛行体Ｄの傾き、撮影部Ｄ
１の向きに基づく光軸方向とに基づき、可視光画像および赤外線画像の位置情報を補正し
た補正位置情報を求め、時刻情報と関連付ける。

（Ｓ００４）
付加部８４０は、補正位置情報を可視光画像および赤外線画像に付加する。

上記説明における各部の処理は、説明の便宜上、図２５に示す制御部Ｃの制御の下に実
行されるものとして説明した。この制御部Ｃは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒ
ｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕ
ｎｉｔ）、或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ
Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等のうち、単一または複数の回路
を含んで構成されていてもよい。制御部Ｃはメモリに保存された例えば画像位置特定プロ
グラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する
代わりに、回路内にプログラムを直接組み込むよう構成しても構わない。この場合、制御
部Ｃとしての回路内に組み込まれたプログラムを読み出し実行することで機能を実現する
。なお、制御部Ｃは単一の回路として構成される場合に限らず、複数の独立した回路を組
み合わせて１つのプロセッサーとして構成し、その機能を実現するようにしてもよい。さ
らに、実施形態における複数の構成要素（例えば位置情報受信部８１０、画像受信部８２
０、補正部８３０および付加部８４０のうち少なくとも２以上）を１つのプロセッサーへ
統合してその機能を実現するようにしてもよい。

［効果］
本実施形態によれば、空撮画像と観察対象物の対応関係の特定が可能である。例えば、
観察対象物が広域にわたるとき等、空撮画像に求められる解像度等の要求から画角が限定
的となる場合がある。その場合、観察対象の１つまたはその集合体の全体が撮影できず、
赤外線画像に描写された観察対象物（またはその一部）の位置の特定または集合における
個体の特定ができない可能性がある。本実施形態によれば、その場合でも、赤外線画像と
可視光画像との位置関係や、撮影時の飛行体の位置と光軸方向等に基づき、広域の撮影が
可能な可視光画像に対する赤外線画像の位置が求めやすくなる。結果、マーカーのような
特徴点を周囲に設置しなくても可視光画像と赤外線画像との位置合わせが可能となる。一
例としてメガソーラー（１ＭＷを超える大規模広域太陽光発電所）における１つの太陽光
パネルの特定が容易となる。

また赤外線画像と可視光画像との位置関係も観察者や観察システムにとって認識しやす
くなるため、両者を比較することで、赤外線画像において特異な温度情報を示している個
体（多数の同種の個体の集合における、１個体または所定数の個体の群）を、可視光画像
によって特定することも容易となる。

［第９実施形態］
第９実施形態にかかる空撮画像位置特定システム９００について図２９および図３０参
照して説明する。以下の説明において、第８実施形態と重複する説明は割愛する。

（概要）
第８実施形態と同様に、飛行体Ｄはその撮影部Ｄ１において同一の観察対象物が含まれ
るように可視光画像および赤外線画像を撮像する。一例として、図２および図３のように
マトリクス状に配置された太陽電池パネル群を撮像した可視光画像および赤外線画像の双
方に、特定の同一のパネルが描画されている。

この場合、例えば複数の同一種の観察対象物群を表示する可視光画像および赤外線画像
の各画像内に、同一の観察対象物が含まれる。さらに画像内に特定の観察対象（例えば、
何らかの異常が認められるパネル）が含まれる場合、可視光画像および赤外線画像のそれ
ぞれでその特定の観察対象がどのパネルであるか容易に特定できれば、観察（例えばパネ
ル点検）の効率は向上する。第９実施形態はそのための構成を備える。

飛行体Ｄは観察対象物に対し、高さ方向に所定間隔を保つように移動する。この移動を
説明の便宜上「水平移動」として説明する（なお、この水平移動は、厳密な意味での水平
移動に限られない）。飛行体Ｄは水平移動しながら撮影しており、かつ可視光画像および
赤外線画像の撮影タイミングはわずかながらでも時間差（例えば時刻差）が生じる。した
がって、可視光画像および赤外線画像とは、同様の範囲を撮影しようとして取得（例えば
同期して撮影）されたものであっても、一方が他方に対して、この時間差と飛行体Ｄの飛
行速度により所定の飛行距離分だけ移動した後の画像となる。なお、飛行体Ｄが水平移動
しながら撮影するのは、観察効率(太陽電池パネルの点検等の効率)が向上するためである
。

また一例においては、可視光画像（例：図３）と赤外線画像（例：図２Ａ、２Ｂ）とで
は、可視光画像の方が画角が広くなる傾向がある。したがって、第１実施形態における補
正位置情報の作成に加え、画像の生成、画像の撮影の時間差によって、可視光画像と赤外
線画像との間に生じる撮影中心位置のずれも補正することにより、例えば両画像の相対位
置の把握の精度の向上を図ることができる。具体的には次の通りである。

（空撮画像位置特定システム９００）
図２９に示すように第９実施形態の空撮画像位置特定システム９００は、位置情報受信
部９１０、画像受信部９２０、補正部９３０、付加部９４０および制御部Ｃと記憶部Ｓの
他、補足情報受信部９１５を含んで構成される。画像受信部９２０、付加部９４０および
制御部Ｃと記憶部Ｓの各機能は、第８実施形態と概ね同様であり説明が重複するため割愛
する。

（補足情報受信部９１５）
補足情報受信部９１５は、全球測位衛星システムからの航法信号、すなわち衛星が送信
する信号のうち、当該信号に基づく信号発信時刻を、可視光画像の付加情報として取得す
る。また、補足情報受信部９１５は、飛行体Ｄの水平移動速度を取得する。例えば飛行体
Ｄに速度センサー（不図示）が設けられている場合、その速度センサーから受信した情報
が水平移動速度である。または飛行体Ｄの移動を制御する制御系から当該移動に関する情
報を受け、また飛行体Ｄの諸元等の情報も含めて水平移動の速度を求めてもよい。

（補正部９３０）
補正部９３０は、補足情報受信部９１５が受信した、可視光画像に付帯された時刻と赤
外線画像に付帯された時刻とを比較し、時刻の早い方を特定する。なお、取得順があらか
じめ決まっている場合はこの比較は行わない。また、当該両時刻の比較の結果、時刻差を
求める。なお、時刻差に限らず、単に両画像の撮影の時間差であってもよい。

また補正部９３０は、補足情報受信部９１５を介して取得した飛行体Ｄの当該時刻にお
ける移動速度と上記時刻差とに基づいて、両画像の位置のずれ量（各撮影位置間の距離）
を求める。さらに補正部９３０は、第８実施形態における補正処理において求めた、可視
光画像および赤外線画像それぞれに対応する複合Ｐｉｔｃｈ角θと、上記ずれ量とに基づ
いて、両画像がどの方位にどれだけ位置ずれしているかを求める。

上記のような画角の差、すなわち可視光画像の方が広域である場合、補正部９３０はこ
のように特定した差分情報に基づいて、可視光画像内における赤外線画像が示す範囲を特
定する処理を行う場合に、その処理の負荷を低減し、あるいはその処理結果の精度の向上
を図ることが可能となる。

また、可視光画像と赤外線画像の位置の対応関係を求めることが可能となるため、両画
像の画角を統一、あるいは両画像の画角の比を任意の比率となるように変更することも可
能である。

［動作］
図３０は、本実施形態における処理の流れを示す図である。以下に、飛行体Ｄの動作を
、ステップ番号（Ｓ０２１～Ｓ０２７）に添って説明する。

（Ｓ０２１）
空撮画像位置特定システム９００における位置情報受信部９１０および補足情報受信部
９１５は、飛行体Ｄから位置情報(第８実施形態と同様)と、時刻情報を受ける。また画像
受信部９２０は可視光画像および赤外線画像を受ける。

（Ｓ０２２）
補正部９３０は、補足情報受信部９１５から対応して撮影された可視光画像および赤外
線画像の各画像の時刻情報を取得する。また補正部９３０は、可視光画像および赤外線画
像の各画像の時刻情報を比較して、いずれが先に撮影されたものか求める。

（Ｓ０２３），（Ｓ０２５）
Ｓ０２２に前後、または並行して補正部９３０は、ＧＮＳＳ情報から各画像の撮影時の
飛行体Ｄの３次元位置（図２６：高度ｈ、撮影位置（緯度φ１、 経度λ１）を位置情報
受信部９１０から取得し、補足情報受信部９１５から移動速度情報を取得する。

（Ｓ０２４）
補正部９３０は、Ｓ０２２の結果、可視光画像が先に撮影されたものであると判断され
た場合（Ｓ０２２；Ｙｅｓ）、移動速度と時刻差に基づき赤外線画像とのずれ量を求める
。また、複合Ｐｉｔｃｈ角θを取得し、赤外線画像が先に撮影された可視光画像に対して
、どの方位にどの距離だけずれているかを示す差分情報を作成する。

（Ｓ０２６）
補正部９３０は、Ｓ０２２の結果、赤外線画像が先に撮影されたものであると判断され
た場合（Ｓ０２２；Ｎｏ）、移動速度と時刻差に基づき可視光画像とのずれ量を求める。
また、方位角を取得し、可視光画像が先に撮影された赤外線画像に対して、どの方位にど
の距離だけずれているかを示す差分情報を作成する。

（Ｓ０２７）
補正部９３０は差分情報に基づき両画像の相対位置を特定する。

なお、補正部９３０は、Ｓ０２３またはＳ０２５において、第１実施形態と同様に３次
元位置と、方位角と飛行体Ｄの傾き、撮影部Ｄ１の向きに基づく光軸方向とに基づき、可
視光画像および赤外線画像の位置情報を補正した補正位置情報を求め、それを利用しても
よい。また、付加部９４０が、補正位置情報を可視光画像および赤外線画像に付加する。

また制御部Ｃは、第１実施形態と同様、各種の形態を採用することが可能である。また
位置情報受信部９１０と補足情報受信部９１５とを区別して説明したが、この区別は説明
の便宜上におけるものである。

［効果］
本実施形態によれば、空撮画像と観察対象物の対応関係の特定が可能である。例えば、
観察対象物が広域にわたるとき等、空撮画像に求められる解像度等の要求から画角が限定
的となる場合がある。その場合、観察対象の１つまたはその集合体の全体が撮影できず、
赤外線画像に描写された観察対象物（またはその一部）の位置の特定または集合における
個体の特定ができない可能性がある。本実施形態によれば、その場合でも、赤外線画像と
可視光画像との位置関係や、撮影時の飛行体の位置と光軸方向等に基づき、広域の撮影が
可能な可視光画像に対する赤外線画像の位置が求めやすくなる。結果、マーカーのような
特徴点を周囲に設置しなくても可視光画像と赤外線画像との位置合わせが可能となる。一
例としてメガソーラー（１ＭＷを超える大規模広域太陽光発電所）における１つの太陽光
パネルの特定が容易となる。

また赤外線画像と可視光画像との位置関係も観察者や観察システムにとって認識しやす
くなるため、両者を比較することで、赤外線画像において特異な温度情報を示している個
体（多数の同種の個体の集合における、１個体または所定数の個体の群）を、可視光画像
によって特定することも容易となる。

［第１０実施形態］
第１０実施形態にかかる空撮画像位置特定システム１０００について図３１および図３
２を参照して説明する。以下の説明において、第８実施形態、第９実施形態と重複する説
明は割愛する。図３２は、可視光画像に赤外線画像を重畳した重畳画像の一例の概要を示
す概念図である。

（概要）
第１０実施形態においては、第８実施形態で補正した位置や、第９実施形態で特定した
両画像の相対位置に基づき、可視光画像と赤外線画像を重畳する。

（空撮画像位置特定システム１０００）
図３１に示すように、第１０実施形態の空撮画像位置特定システム１０００は、位置情
報受信部１０１０、補足情報受信部１０１５、画像受信部１０２０、補正部１０３０、付
加部１０４０および制御部Ｃと記憶部Ｓの他、重畳部１０５０を含んで構成される。位置
情報受信部１０１０、補足情報受信部１０１５、画像受信部１０２０、付加部１０４０お
よび制御部Ｃと記憶部Ｓの各機能は、第８実施形態、第９実施形態と概ね同様であり説明
が重複するため割愛する。

（重畳部１０５０）
第１０実施形態において重畳部１０５０は、可視光画像における観察対象物（例：太陽
光発電パネル）および、赤外線画像における観察対象物をそれぞれ特定する。例えば、画
像における観察対象物のエッジ（輪郭線）を検出する。輪郭線の抽出方法は任意の方法を
採ることができ、例えば太陽電池パネルであれば、二値化するとパネルの枠線が抽出でき
、抽出した枠線の座標位置を元の画像において特定してその部分をパネルのエッジとする
ことができる。この処理は、第８実施形態および、第９実施形態の少なくともいずれか一
方の位置情報の補正処理の後に実行される。

また重畳部１０５０は、可視光画像と赤外線画像の画角と視差を計算し、画角を所定の
比率(例えば画角を統一)とする。さらに重畳部１０５０は、可視光画像の観察対象物のサ
イズと、赤外線画像の観察対象物のサイズが合うように赤外線画像のサイズを変換し、回
転、平行移動等を行う（アフィン変換等）。

また重畳部１０５０は、第８実施形態によって作成された補正位置情報や、第９実施形
態によって、可視光画像と赤外線画像の相対位置の修正をした画像位置（例えば第８実施
形態、第９実施形態の補正位置情報）等に基づき、可視光画像と赤外線画像との位置合わ
せをする。

さらに重畳部１０５０は、可視光画像に赤外線画像を重畳する。図３２に示すように、
ユーザーの設定により、赤外線画像の透明度が設定されると、重畳部１０５０は赤外線画
像を透過して可視光画像が見えるような画像処理をするように構成されていてもよい。

［効果］
本実施形態によれば、空撮画像と観察対象物の対応関係の特定が可能である。例えば、
観察対象物が広域にわたるとき等、空撮画像に求められる解像度等の要求から画角が限定
的となる場合がある。その場合、観察対象の１つまたはその集合体の全体が撮影できず、
赤外線画像に描写された観察対象物（またはその一部）の位置の特定または集合における
個体の特定ができない可能性がある。本実施形態によれば、その場合でも、赤外線画像と
可視光画像との位置関係や、撮影時の飛行体の位置と光軸方向等に基づき、広域の撮影が
可能な可視光画像に対する赤外線画像の位置が求めやすくなる。結果、マーカーのような
特徴点を周囲に設置しなくても可視光画像と赤外線画像との位置合わせが可能となる。一
例としてメガソーラー（１ＭＷを超える大規模広域太陽光発電所）における１つの太陽光
パネルの特定が容易となる。

また赤外線画像と可視光画像との位置関係も観察者や観察システムにとって認識しやす
くなるため、両者を比較することで、赤外線画像において特異な温度情報を示している個
体（多数の同種の個体の集合における、１個体または所定数の個体の群）を、可視光画像
によって特定することも容易となる。

さらに、第１０実施形態によれば可視光画像と赤外線画像の重畳画像をユーザーに提示
することができ、直感的に両者の状態（相対位置、パネルの異常等）を視認でき、観察対
象物の把握の効率化を図ることが可能である。

［第１１実施形態］
第１１実施形態にかかる空撮画像位置特定システム１１００について図３３および図３
４を参照して説明する。以下の説明において、第８実施形態、第９実施形態と重複する説
明は割愛する。図３４は、オルソ画像の一例の概要を示す概念図である。

（空撮画像位置特定システム１１００）
図３３に示すように、第１０実施形態の空撮画像位置特定システム１１００は、位置情
報受信部１１１０、補足情報受信部１１１５、画像受信部１１２０、補正部１１３０、付
加部１１４０、重畳部１１５０および制御部Ｃと記憶部Ｓの他、オルソ画像生成部１１６
０を含んで構成される。位置情報受信部１１１０、補足情報受信部１１１５、画像受信部
１１２０、付加部１１４０および制御部Ｃと記憶部Ｓの各機能は、第８～１０実施形態と
概ね同様であり、説明が重複するため割愛する。

一般に空撮画像は、飛行体Ｄの撮像部のレンズの中心に光束が集まるように撮影され、
中心投影の画像となる。したがって、画像の画角において、中心と端部では、レンズの中
心から対象物までの距離が異なる。これにより、端部側では観察対象物が傾いているよう
に描画される。例えば太陽電池パネルの場合、中心側と端部側でパネルの形状が大きく異
なるおそれもある。第１１実施形態では、これを解消し、例えば第１０実施形態のような
重畳を適正に実行することを可能とする。

（オルソ画像生成部４６０）
第１１実施形態におけるオルソ画像生成部１１６０は、取得された可視光画像について
、正射投影する処理を実行し、オルソ画像を生成する（図３４参照）。例えば第８～第１
０実施形態における可視光画像より画角の広い広域の可視光画像を取得しても、オルソ画
像生成部１１６０により正射投影処理することにより、画角の周縁側で画像のゆがみが解
消される。

（重畳部１１５０）
重畳部１１５０は、第１実施形態によって作成された補正位置情報や、第９実施形態に
よって、オルソ画像と赤外線画像の相対位置の修正をした画像位置等に基づき、オルソ画
像と赤外線画像との位置合わせをする。

［効果］
本実施形態によれば、空撮画像と観察対象物の対応関係の特定が可能である。例えば、
観察対象物が広域にわたるとき等、空撮画像に求められる解像度等の要求から画角が限定
的となる場合がある。その場合、観察対象の１つまたはその集合体の全体が撮影できず、
赤外線画像に描写された観察対象物（またはその一部）の位置の特定または集合における
個体の特定ができない可能性がある。本実施形態によれば、その場合でも、赤外線画像と
可視光画像との位置関係や、撮影時の飛行体の位置と光軸方向等に基づき、広域の撮影が
可能な可視光画像に対する赤外線画像の位置が求めやすくなる。結果、マーカーのような
特徴点を周囲に設置しなくても可視光画像と赤外線画像との位置合わせが可能となる。一
例としてメガソーラー（１ＭＷを超える大規模広域太陽光発電所）における１つの太陽光
パネルの特定が容易となる。

また赤外線画像と可視光画像との位置関係も観察者や観察システムにとって認識しやす
くなるため、両者を比較することで、赤外線画像において特異な温度情報を示している個
体（多数の同種の個体の集合における、１個体または所定数の個体の群）を、可視光画像
によって特定することも容易となる。

さらに、第１１実施形態によれば広域の可視光画像をオルソ画像とすることにより、広
域の可視光画像と赤外線画像の重畳画像をユーザーに提示することができ、直感的に両者
の状態（相対位置、パネルの異常等）を視認でき、観察対象物の把握の効率化を図ること
が可能である。また、オルソ画像が、広域画像であることにより、特定の観察対象物の全
体における位置が把握しやすくなる。

［第１２実施形態］

第１２実施形態にかかる空撮画像位置特定システム１２０について図３５～図３８を参
照して説明する。以下の説明において、第８～１１実施形態と重複する説明は割愛する。
図３６は、特定部における太陽電池パネルの特定処理の一例の概要を示す概念図である。
図３７、図３８は、重畳画像における補正処理前後の不良観察対象物のマーキング位置の
ずれ量を示す概念図である。

（空撮画像位置特定システム１２００）
図３５に示すように、第１２実施形態の空撮画像位置特定システム１２００は、位置情
報受信部１２１０、補足情報受信部１２１５、画像受信部１２２０、補正部１２３０、付
加部１２４０、重畳部１２５０および制御部Ｃと記憶部Ｓの他、特定部１２７０を含んで
構成される。またオルソ画像生成部を有していてもよい。位置情報受信部１２１０、補足
情報受信部１２１５、画像受信部１２２０、付加部１２４０および制御部Ｃと記憶部Ｓの
各機能は、第８～１１実施形態と概ね同様であり、説明が重複するため割愛する。

（特定部）
第５実施形態における特定部５７０は、赤外線画像における観察対象物を特定する。

次に特定部１２７０の処理は上記状態判定システムにおける第１～第７実施形態におけ
るいずれかの特定部と同様である。つまり、赤外線画像の画像処理により、物体検知によ
って特定された観察対象物それぞれに対し、特定の温度を示す被疑観察対象物を特定する
。太陽電池パネルの例であれば、特定の温度とは、正常なパネルと比べ相対的に高温であ
ることであり、その相対的に高温なパネルが被疑観察対象物となる。

さらに特定部１２７０は、被疑観察対象物それぞれのうち、当該被疑観察対象物内の、
平均温度と最高温度の差分が閾値を超えるものを不良と判断する。太陽電池パネルの例で
あれば、閾値は例えば「２．０℃」以上となる。

さらに特定部１２７０は、不良観察対象物の位置を第８実施形態によって作成された補
正位置情報や、第９実施形態によって、可視光画像と赤外線画像の相対位置の修正をした
画像位置等に基づき、特定する。

次に、重畳部１２５０は、第１実施形態によって作成された補正位置情報や、第９実施
形態によって、可視光画像と赤外線画像の相対位置の修正をした画像位置等に基づき、可
視光画像と赤外線画像との位置合わせをし、第１０実施形態と同様に重畳処理を実行する
。このとき、可視光画像でなく、第１１実施形態のオルソ画像であってもよい。

次に特定部１２７０は、重畳画像における不良観察対象物を強調表示してもよい。強調
表示は、他の部分と明確に識別できる色彩の付与、点滅表示、輪郭線の強調、特定の図形
（マーキング）等、任意の方法を適宜採用することが可能である。

（変形例）
次に第１２実施形態にかかる空撮画像位置特定システム１２００の変形例について図３
９を参照して説明する。図３９に示すようにＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒ
ｍａｔｉｏｎ Ｓｙｓｔｅｍ；地理情報システム）を使用して可視化した地図データを可
視光画像やオルソ画像のかわりに利用することが可能である。この地図データに含まれた
緯度・経度・標高等のデータを利用して、重畳部１２５０は赤外線画像を重畳することが
でき、特定部１２７０は、不良観察対象物の強調表示をすることが可能となる。このため
、この変形例においては、地図データを記憶する地図画像記憶部、または地図データのテ
ンプレートをあらかじめ記憶し、外部から緯度、経度、標高等の地形のデータを取得して
地図データを作成する地図データ作成部が含まれる。これらの図示は省略する。

［効果］
本実施形態によれば、空撮画像と観察対象物の対応関係の特定が可能である。例えば、
観察対象物が広域にわたるとき等、空撮画像に求められる解像度等の要求から画角が限定
的となる場合がある。その場合、観察対象の１つまたはその集合体の全体が撮影できず、
赤外線画像に描写された観察対象物（またはその一部）の位置の特定または集合における
個体の特定ができない可能性がある。本実施形態によれば、その場合でも、赤外線画像と
可視光画像との位置関係や、撮影時の飛行体の位置と光軸方向等に基づき、広域の撮影が
可能な可視光画像に対する赤外線画像の位置が求めやすくなる。結果、マーカーのような
特徴点を周囲に設置しなくても可視光画像と赤外線画像との位置合わせが可能となる。一
例としてメガソーラー（１ＭＷを超える大規模広域太陽光発電所）における１つの太陽光
パネルの特定が容易となる。

また赤外線画像と可視光画像との位置関係も観察者や観察システムにとって認識しやす
くなるため、両者を比較することで、赤外線画像において特異な温度情報を示している個
体（多数の同種の個体の集合における、１個体または所定数の個体の群）を、可視光画像
によって特定することも容易となる。

さらに、第１２実施形態によれば不良観察対象物を特定し、さらに重畳画像において不
良観察対象物の位置を提示するので、不良観察対象物の把握の効率化を図ることが可能で
ある。

図３７，図３８に示すように、太陽電池パネルの例における第８実施形態および第９実
施形態の位置情報の補正処理を行う前と行った後の不良太陽電池パネルの位置は、大きく
ずれている。これらの図に示すように、第８実施形態および第９実施形態の補正処理によ
り不良観察対象物の位置を精度よく提示することができるため、不良観察対象物の特定が
容易となる。

［第１３実施形態］
第１３実施形態にかかる空撮画像位置特定システム１３００について図４０および図４
１を参照して説明する。以下の説明において、第８～第１３実施形態と重複する説明は割
愛する。図４１は、報告書データの一例を示す概略図である。

（空撮画像位置特定システム１３００）
図４０に示すように、第１３実施形態の空撮画像位置特定システム１３００は、位置情
報受信部１３１０、補足情報受信部１３１５、画像受信部１３２０、補正部１３３０、付
加部１３４０、重畳部１３５０、特定部１３７０および制御部Ｃと記憶部Ｓの他、作成部
１３８０を含んで構成される。またオルソ画像生成部を有していてもよい。位置情報受信
部１３１０、補足情報受信部１３１５、画像受信部１３２０、付加部１３４０、重畳部１
３５０、特定部１３７０および制御部Ｃと記憶部Ｓの各機能は、第８～第１２実施形態と
概ね同様であり、説明が重複するため割愛する。

（作成部）
第１３実施形態における作成部１３８０は、可視光画像（例：図３）、オルソ画像（例
：図３４）と、地図画像（例：図３９）のいずれか、重畳画像および赤外線画像のうち、
少なくとも２つを同時に表示する報告書データを作成する。この同時表示される画像には
、不良観察対象物の強調表示(異常箇所のマーキングを含む)が含まれていてもよい。さら
に不良観察対象物の異常内容の説明が付記されていてもよい。また図４１に示すように例
えば２種以上の画像は並列表示される。

［効果］
本実施形態によれば、空撮画像と観察対象物の対応関係の特定が可能である。例えば、
観察対象物が広域にわたるとき等、空撮画像に求められる解像度等の要求から画角が限定
的となる場合がある。その場合、観察対象の１つまたはその集合体の全体が撮影できず、
赤外線画像に描写された観察対象物（またはその一部）の位置の特定または集合における
個体の特定ができない可能性がある。本実施形態によれば、その場合でも、赤外線画像と
可視光画像との位置関係や、撮影時の飛行体の位置と光軸方向等に基づき、広域の撮影が
可能な可視光画像に対する赤外線画像の位置が求めやすくなる。結果、マーカーのような
特徴点を周囲に設置しなくても可視光画像と赤外線画像との位置合わせが可能となる。一
例としてメガソーラー（１ＭＷを超える大規模広域太陽光発電所）における１つの太陽光
パネルの特定が容易となる。

また赤外線画像と可視光画像との位置関係も観察者や観察システムにとって認識しやす
くなるため、両者を比較することで、赤外線画像において特異な温度情報を示している個
体（多数の同種の個体の集合における、１個体または所定数の個体の群）を、可視光画像
によって特定することも容易となる。

さらに、第１３実施形態によれば、可視光画像・オルソ画像・地図画像のいずれか、重
畳画像および赤外線画像のうち、少なくとも２つを同時に表示する報告書データが作成さ
れる。報告書データにより、観察対象物の観察処理を実施するユーザーに直感的に、不良
観察対象物の位置、状態等を提示することができ、ユーザーの負担軽減、処理効率の向上
を図ることが可能となる。

以上、説明した第８～第１３実施形態については、説明の便宜上、飛行体Ｄと空撮画像
位置特定システムの間でデータ通信をする例において説明したが、飛行体Ｄと、飛行体Ｄ
からの送信データに基づき上記各処理を実行するハードウェアとプログラムを記憶する記
憶媒体、ＡＩを含むいずれの態様を採ることも可能である。

一例として、ハードウェア構成としては、飛行体Ｄと飛行体Ｄの操作をする操作部に対
して、空撮画像位置特定システムとして飛行体Ｄと通信し飛行体Ｄからの送信データを受
信し、上記各処理の少なくとも一部を実行するＰＣと、当該ＰＣから所定のデータを受け
、上記ＰＣの処理以外の残りの処理を実行するサーバーによって構成されていてもよい。

あるいは、飛行体Ｄから直接送信データを受信し、上記各処理の全てを実行するサーバ
ーによって構成されていてもよい。この場合、処理結果(例えば、重畳画像や報告書デー
タ)は任意にユーザーが利用する端末にてダウンロードすることが可能になっていてもよ
い。なお以上のサーバーは複数あっても単一でもよい。

飛行体Ｄの操作部、ＰＣ、ユーザー端末の少なくともいずれか１つには、表示部が設け
られていてもよい。図示しない表示部は、飛行体Ｄの操作に関するＵＩ、各種画像の表示
ＵＩ、システム設定（パラメーター等）の設定ＵＩ、報告書データの表示ＵＩによる。表
示部は、タッチパネルなどの各種表示デバイスを含んでいてもよい。

飛行体Ｄの操作部、ＰＣ、ユーザー端末の少なくともいずれか１つには、入力部が設け
られていてもよい。入力部は、音声や文字入力信号等の外部入力を受けるデバイスである
。例えば音声を検知するデバイス（マイクロフォン等）、または文字入力を行うデバイス
（ソフトウェアキーボードまたはハードウェアキーボード）等が挙げられる。また、いず
れの構成であっても、入力部に対する操作内容は、電気信号として制御部Ｃに入力される
。また、表示部に表示されたグラフィカルユーザーインターフェイス（ＧＵＩ）と、入力
部とを用いて、操作や情報入力を行うようにしてもよい。

表示部は、入力部と、独立に構成されても、一体的に構成されてもよい。例えばタッチ
パネルのように、表示機能と操作機能とが一体化されたデバイスを用いることも可能であ
る。その場合、入力部および表示部は、タッチパネルとそれを実行するためのコンピュー
タプログラムとを含んで構成される。

飛行体Ｄ、ＰＣ、ユーザー端末、サーバーの少なくともいずれか１つには、記憶部が設
けられていてもよい。記憶部は、位置情報、時刻情報、方位情報、画像データ、地図デー
タ、学習モデル、その他上記各処理を実行するコンピュータプログラム等を記憶する。記
憶部としてはハードディスク、フラッシュメモリの他、任意のデバイスを利用可能である
。

以上から、例えば、タブレットやスマートフォンのようなユーザー端末にて、飛行体Ｄ
の操作、赤外線画像、可視光画像、地図、重畳画像、報告書データの表示や各処理のため
の入力を可能とし、その画像生成、位置補正処理、不良観察対象物の特定、記憶等の処理
をサーバーが実行する等の態様も可能である。

以上説明した各実施形態によれば、マーカーのような特徴点を周囲に設置しなくても可
視光画像と赤外線画像との相対位置の把握が可能となる。マーカーは、観察対象物が水上
に存在する場合、崖等の危険な位置にある場合等、そもそも設置自体が困難な場合がある
。この場合、マーカーの設置を前提とした空撮画像による観察対象物の観察ができなくな
ってしまう。また置けたとしても、マーカー自体のメンテナンス等の維持管理コストがか
かり、マーカーの設置コストもかかる。さらにマーカーを密に設置しないと不良観察対象
物等の特定の観察対象物の位置の把握が困難になってしまう。

また、マーカーを前提とした空撮画像位置特定システムでは、赤外線画像と、可視光画
像（またはオルソ画像、地図等）との位置合わせの精度が低くなるおそれがある。太陽電
池パネルの場合、１ｍ幅に対して、上空４０ｍ～１５０ｍの位置で空撮するので、位置ず
れがあると、赤外線画像の温度情報で異常検出できたとしてもどの観察対象物かの特定が
できなくなってしまうおそれがある。

以上説明した各実施形態によれば、マーカーのような特徴点を周囲に設置しなくてもよ
いので、上記各問題を解決することが可能となる。

上記実施形態から把握される空撮画像位置特定システムとして次のような特徴を挙げる
ことが可能である。これらは上記第１実施形態～第７実施形態およびその変形例、並びに
これらから把握される特許請求の範囲の各請求項と組み合わせることが可能である。
［付記１］
飛行体から可視光画像と赤外線画像を受信する画像受信部と、
前記可視光画像および前記赤外線画像における撮影時の位置情報と撮影方向情報を受信
する位置情報受信部と、
前記位置情報を、前記撮影方向情報に基づき補正し、補正位置情報を求める補正部と、
前記可視光画像および前記赤外線画像に該補正位置情報を付加する付加部と、を備える
空撮画像位置特定システム。
［付記２］
前記位置情報は、前記飛行体が前記撮影に対応して受けた全球測位衛星システムからの
航法信号を含み、
前記撮影方向情報は、前記飛行体の機体の向きと、前記飛行体に設けられた撮影部の向
きとを含み、
前記補正部は、前記航法信号に基づき、前記可視光画像と赤外線画像の位置情報を、前
記撮影方向情報に基づき補正する
ことを特徴とする付記１に記載の空撮画像位置特定システム。
［付記３］
前記画像受信部は、飛行体が実質的に同時に撮影した、あるいは同期して撮影された前
記可視光画像および前記赤外線画像を受信し、
前記可視光画像および前記赤外線画像それぞれの撮影時刻と、前記飛行体の飛行速度と
を受信する補足情報受信部をさらに備え、
前記補正部は、前記可視光画像および前記赤外線画像それぞれの前記撮影時刻の時刻差
と前記飛行速度に基づき、前記可視光画像および前記赤外線画像の撮影位置のずれ量を求
め、当該ずれ量も前記補正位置情報の補正に用いる
ことを特徴とする付記２に記載の空撮画像位置特定システム。
［付記４］
前記補正位置情報に基づき、前記可視光画像および前記赤外線画像の相対位置を特定し
、さらに画角と視差を計算し、位置合わせをした上で、当該可視光画像と当該赤外線画像
を重畳して重畳画像を作成する重畳部をさらに備えた
ことを特徴とする付記２または３に記載の空撮画像位置特定システム。
［付記５］
前記可視光画像について、正射投影する処理を実行し、オルソ画像を生成するオルソ画
像作成部をさらに備えた
ことを特徴とする付記４に記載の空撮画像位置特定システム。
［付記６］
前記赤外線画像における複数の観察対象物群から個々の観察対象物を特定し、当該特定
した個々の観察対象物から特定の温度を示す被疑観察対象物を特定し、さらに被疑観察対
象物の平均温度と最高温度の差分から閾値を超える不良観察対象物を特定する特定部をさ
らに備えた
ことを特徴とする付記１～５のいずれか１項に記載の空撮画像位置特定システム。
［付記７］
前記特定部は、前記重畳画像、前記オルソ画像および前記赤外線画像の少なくともいず
れか１つにおいて、前記不良観察対象物の位置を特定して強調表示させる
ことを特徴とする付記６に記載の空撮画像位置特定システム。
［付記８］
前記可視光画像、前記オルソ画像、前記重畳画像、前記赤外線画像、および前記不良観
察対象物の位置を特定した位置特定画像のうち、少なくとも２つを同時に表示する報告書
データを作成する作成部をさらに備えた
ことを特徴とする付記６に記載の空撮画像位置特定システム。
［付記９］
空撮画像位置特定方法であって、
飛行体から可視光画像と赤外線画像を受信する工程と、
前記可視光画像および前記赤外線画像における撮影時の位置情報と撮影方向情報を受信
する工程と、
前記位置情報を、前記撮影方向情報に基づき補正し、補正位置情報を求める工程と、
前記可視光画像および前記赤外線画像に該補正位置情報を付加する工程と、
を備えた空撮画像位置特定方法。

この発明の実施形態を説明したが、上記の実施形態は例として提示したものであり、発
明の範囲を限定することを意図していない。これら新規な実施形態は、その他の様々な形
態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換
え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれ
るとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００、２００、３００、４００、５００、６００、７００ 状態判定システム
１１０、２１０、３１０、４１０、５１０、６１０、７１０ 位置情報受信部
１１０ａ 設定部
２１０ａ、７１０ｂ 補正部
３１０ａ、４１０ａ、５１０ａ、６１０ａ、７１０ａ 第１～第５の判定部
１２０、２２０、３２０、４２０、５２０、６２０、７２０ 画像受信部
１３０、２３０、３３０、４３０、５３０、６３０、７３０ 特定部
１４０、２４０、３４０、４４０、５４０、６４０、７４０ 温度情報取得部
８００、９００、１０００、１１００、１２００、１３００空撮画像位置特定システム
８１０、９１０、１０１０、１１１０、１２１０、１３１０ 位置情報受信部
８２０、９２０、１０２０、１１２０、１２２０、１３２０ 画像受信部
８３０、９３０、１０３０、１１３０、１２３０、１３３０ 補正部
８４０、９４０、１０４０、１１４０、１２４０、１３４０ 付加部
１０５０、１１０、１２５０、１３５０ 重畳部
１１６０ オルソ画像作成部
１２７０ 特定部
１３８０ 作成部
Ｄ 飛行体
Ｄ１ 撮影部
Ｄ２ 位置取得部
Ｄ３ ジャイロスコープ
Ｄ４ ジンバル
Ｄ５ 地磁気センサー

Claims (16)

1. 飛行体から赤外線画像を受信する画像受信部と、
   前記赤外線画像から配列された撮像対象の一単位ごとまたは配列された撮像対象の全範囲のうちの一部を特定する特定部と、
   特定した前記撮像対象の一単位ごとまたは前記全範囲のうちの一部ごとに赤外線情報に基づく温度情報を求める温度情報取得部と、
   前記温度情報取得部により求められた前記温度情報に基づき、特定した前記撮像対象の一単位ごとまたは前記全範囲のうちの一部ごとに異常判定をする判定部と、
   を備え、
   前記特定部は前記撮像対象の特定後、該撮像対象の配列の態様や状態を示す配列情報に基づき、画像における撮像対象群と配列情報と比較し、
   該配列情報と異なって対象を特定しているとき、特定エラーがあると判定する
   状態判定システム。
2. 撮像対象の配列の特徴を設定するための設定部をさらに有し、
   前記特定部は前記設定部により設定された前記配列の特徴を利用して前記撮像対象または前記全範囲のうちの一部を特定する
   ことを特徴とする請求項１に記載の状態判定システム。
3. 前記特定部はディープラーニング技術に基づき、前記撮像対象または前記全範囲のうちの一部を推論することにより判定を行う
   ことを特徴とする請求項２に記載の状態判定システム。
4. 前記撮像対象に対する撮像方向の傾きを求め、当該求めた傾きに基づき傾き補正をする第１の補正部をさらに備える
   ことを特徴とする請求項３に記載の状態判定システム。
5. 前記特定部が特定した前記撮像対象または前記全範囲のうちの一部のサイズを算出し、当該算出値のばらつきと、当該ばらつきの許容範囲を示す判定値とを比較し、当該ばらつきが当該判定値に対して所定の関係にある場合、特定エラーとして判定する第１の判定部をさらに備える
   ことを特徴とする請求項１～４のいずれか１項に記載の状態判定システム。
6. 前記特定部が特定した前記撮像対象または前記全範囲のうちの一部の位置関係に基づき、いずれかの前記撮像対象または前記全範囲のうちの一部における配列からのずれ量を求め、当該ずれ量の許容範囲を示す判定値と当該ずれ量とを比較し、当該ずれ量が当該判定値に対して所定の関係にある場合、特定エラーとして判定する第２の判定部をさらに備える
   ことを特徴とする請求項１～５のいずれか１項に記載の状態判定システム。
7. 前記第２の判定部は、前記ずれ量として、整列位置の分散値を求め、前記赤外線画像内のＹ軸方向の判定値と比較し、さらに当該分散値が判定値に対して所定の関係にある場合、特定エラーとして判定する
   ことを特徴とする請求項６に記載の状態判定システム。
8. 前記特定部が特定した前記撮像対象または前記全範囲のうちの一部について、その配列方向にしたがい順次撮像対象の所定位置を特定し、さらに判定対象となる前記撮像対象または前記全範囲のうちの一部と、特定された他の対象との重畳の程度に応じて、特定エラーを判定する第３の判定部をさらに備える
   ことを特徴とする請求項１～７のいずれか１項に記載の状態判定システム。
9. 前記特定部はＸ軸方向に順次特定処理を行い、
   前記第３の判定部は、重畳の程度として、特定している対象のＸ軸方向における所定位置が、Ｘ軸方向に隣接する対象のＸ座標の一端と他端の間にある場合に特定エラーとして判定する
   ことを特徴とする請求項８に記載の状態判定システム。
10. 前記所定位置とは、当該赤外線画像のＸ軸方向における中心位置である
    ことを特徴とする請求項９に記載の状態判定システム。
11. 前記特定部により特定された前記撮像対象または前記全範囲のうちの一部の行ごとまたは列ごとに、その行または列に属する撮像対象または前記全範囲のうちの一部を１つのクラスターとしてまとめ、クラスターそれぞれに属する該撮像対象または該一部の数が指定数以下である場合、当該クラスターに属する該撮像対象または該一部を特定エラーとして判定する第４の判定部をさらに備える
    ことを特徴とする請求項１～１０のいずれか１項に記載の状態判定システム。
12. 前記第４の判定部は、前記特定部により特定された前記撮像対象または前記全範囲のうちの一部のＹ軸位置に基づき、近似するＹ軸位置の前記撮像対象または前記全範囲のうちの一部をクラスターとして集合させる
    こと特徴とする請求項１１に記載の状態判定システム。
13. 前記特定部により特定された前記撮像対象または前記全範囲のうちの一部の行ごとまたは列ごとに、その行または列に属する前記撮像対象または前記全範囲のうちの一部を１のクラスターとしてまとめ、当該クラスターごとに直近の他のクラスターとの距離を算出し、この算出値と判定値とを比較し、算出値が判定値に対して所定の関係にある場合、特定エラーとして判定する第５の判定部をさらに備える
    ことを特徴とする請求項１～１２のいずれか１項に記載の状態判定システム。
14. 前記特定部により特定された前記撮像対象または前記全範囲のうちの一部の行ごとまたは列ごとに、その行または列に属する前記撮像対象または前記全範囲のうちの一部を１のクラスターとしてまとめ、
    前記クラスターの所定の行または所定の列はユーザーにより指定可能であり、
    当該指定クラスターに含まれる前記撮像対象または前記全範囲のうちの一部のうち、その外縁のいずれかが、該クラスターの対応する外縁部に対して、所定量以上ずれているものについて、当該対象の対応する外縁の位置の補正を行う第２の補正部をさらに備える
    ことを特徴とする請求項１～１３のいずれか１項に記載の状態判定システム。
15. 前記特定部により特定された前記撮像対象または前記全範囲のうちの一部の行ごとまたは列ごとに、その行または列に属する該撮像対象または該一部を、所定の矩形となるように１つのクラスターとしてまとめ、各クラスターに属する該撮像対象または該一部のうち、矩形から外れたものについて、矩形範囲内に含まれるように位置補正をする第２の補正部をさらに備える
    ことを特徴とする請求項１～１４のいずれか１項に記載の状態判定システム。
16. 飛行体から赤外線画像を受信する画像受信工程と、
    前記赤外線画像から配列された撮像対象の一単位ごとまたは配列された撮像対象の全範囲のうちの一部を特定する特定工程と、
    特定した前記撮像対象の一単位ごとまたは前記全範囲のうちの一部ごとに赤外線情報に基づく温度情報を求める温度情報取得工程と、
    前記温度情報取得工程により求められた前記温度情報に基づき、特定した前記撮像対象の一単位ごとまたは前記全範囲のうちの一部ごとに異常判定をする判定工程と、
    を備え、
    前記特定工程では前記撮像対象の特定後、該撮像対象の配列の態様や状態を示す配列情報に基づき、画像における撮像対象群と配列情報と比較し、
    該配列情報と異なって対象を特定しているとき、特定エラーがあると判定する
    状態判定方法。

Images