以下、本発明の構成を図面に示す形態に基づいて詳細に説明する。なお、理解を容易にするために、1枚の連続画像4中に写っている電線2が1本の場合を例に説明する。ただし、1枚の連続画像4中に複数本の電線2が写されている場合についても適用可能である。
図1に本発明の電線の異常検出装置の実施形態の一例を、図3に検査対象の電線をそれぞれ示す。なお、素線1,電線2について、実際の検査対象(オリジナル)のものと、撮影された画像(イメージ)中のものとを区別する場合には、オリジナルについて符号1or,2orを付し、イメージについて符号1im,2imを付している。
電線の異常検出装置(以下、単に異常検出装置という)は、画像処理によって電線の異常を検出するもので、撚られた複数の素線1orが表面に露出している電線2orに沿って撮像手段3を移動させながら撮影した電線2imの複数の連続画像4を表示する表示手段5と、複数の連続画像4のうち、1枚の基準画像4a中の基準となる素線境界6の位置情報27及び素線1imの幅情報28を入力する入力手段7と、連続画像4の各々について素線境界6を検出して素線表面画像8を切り出す画像切り出し手段9と、素線表面画像8中の素線1imの表面の明るさの変化に基づいて素線1orの異常を検出する異常検出手段10を備えている。画像切り出し手段9は、基準となる素線境界6の位置情報27に基づき基準となる素線境界6を探索して基準境界6aとする基準境界検出部11と、基準境界6a及び素線1imの幅情報28に基づいてその他の素線境界6を探索する素線境界検出部12と、隣り合う素線境界6で挟まれた範囲を素線表面画像8として切り出す切り出し部14を有している。また、異常検出手段10は、素線表面画像8中に素線1imの長さ方向に沿って複数の比較領域15を決定する領域決定部16と、比較領域15内における明るさの変化方向θの代表値が素線1imの長さ方向に一致するか否かを判定する第1の判定部17と、第1の判定部17によって一致しないと判定された比較領域15とその両隣の比較領域15との明るさの変化傾向が前隣の比較領域15と後隣の比較領域15とで異なるか否かを判定する第2の判定部18と、第2の判定部18によって異なると判定された場合に第1の判定部17によって一致しないと判定された比較領域15に異常があると判断する異常検出部19を有している。
この異常検出装置は、本発明の電線の異常検出プログラムをコンピュータ上で実行することによっても実現される。本実施形態では、電線の異常検出プログラム(以下、単に異常検出プログラムという)をコンピュータ上で実行する場合を例にあげて説明する。
異常検出プログラムを実行するための本実施形態の異常検出装置の全体構成を図1に示す。この異常検出装置は、制御部20、記憶手段21、入力手段7、表示手段5を備え、これらは相互にバス等の信号回線22により接続されている。
制御部20は記憶手段21に記憶されている異常検出プログラムによって異常検出装置全体の制御並びに異常を検出するための画像処理等に係る演算を行うものであり、例えばCPU(中央演算処理装置)である。記憶手段21は少なくともデータやプログラムを記憶可能な装置であり、例えばハードディスクである。
入力手段7は、作業者の命令や各種の入力値、情報等を制御部20等に与えるためのインターフェイスであり、例えばキーボード、マウス等のポインティングデバイス等である。表示手段5は制御部20の制御により文字や画像、図形等の描画・表示を行うものであり、例えばディスプレイである。
異常検出装置の制御部20には、異常検出プログラムを実行することにより、少なくとも、撚られた複数の素線1orが表面に露出している電線2orに沿って撮像手段3を移動させながら撮影した電線2imの複数の連続画像4を作業領域23に読み込む読込手段24と、作業領域23に読み込まれた画像を表示手段5に表示させる表示制御部24と、入力手段7からの入力を受け付ける初期値設定手段25と、連続画像4の各々について素線境界6を探索して素線表面画像8を切り出す画像切り出し手段9と、素線表面画像8中の素線1imの表面の明るさの変化に基づいて素線1orの異常を検出する異常検出手段10が構成される。更に、本実施形態では、異常検出プログラムを実行することにより、画像切り出し手段9は、予め入力された基準画像4a中の基準となる素線1imの境界(基準境界6a)の位置情報27に基づき基準となる素線境界6を探索して基準境界6aとする基準境界検出部11と、基準境界6a及び予め入力された基準画像4a中の素線1imの幅情報28に基づいてその他の素線境界6を探索する素線境界検出部12と、隣り合う素線境界6で挟まれた範囲を素線表面画像8として切り出す切り出し部14より構成される。また、異常検出プログラムを実行することにより、異常検出手段10は、素線表面画像8中に素線1imの長さ方向に沿って複数の比較領域15を決定する領域決定部16と、比較領域15内における明るさの変化方向θの代表値が素線1imの長さ方向に一致するか否かを判定する第1の判定部17と、第1の判定部17によって一致しないと判定された比較領域15とその両隣の比較領域15,15との明るさの変化傾向が前隣の比較領域15と後隣の比較領域15とで異なるか否かを判定する第2の判定部18と、第2の判定部18によって異なると判定された場合に第1の判定部17によって一致しないと判定された比較領域15に異常があると判断する異常検出部19より構成される。
また、本実施形態では、異常が検出された画像4を要検査画像集30に記録するので、異常検出プログラムの実行によって、制御部20に異常の検出された画像4を要検査画像集30に記録する記録制御部36も構成される。ただし、要検査画像集30を作成しない場合には、記録制御部36を省略しても良い。
本発明では、撚られた複数の素線1orが表面に露出している電線2orが検査対象となる。このような電線2orを撮影した画像には電線2imの表面に複数の素線1imが撚られた状態で写っている。即ち、素線1orと素線1orの間の溝状の境界が撮影された連続画像4には線状に写っている。また、電線2orに沿って撮像手段3を移動させながら撮影を行うので、電線2orと撮像手段3との位置関係は常に一定に維持されており、この状態で連続撮影が行われることになる。そのため、連続画像4の1枚1枚について、電線2imが写っている位置が同じで、且つ、写っている素線1imの幅も同じになる。本発明では、このような連続画像4について画像処理を行って異常を検出する。
また、連続画像4の前の1枚とその次の1枚とでは、写されている電線2imの範囲が一部重複している。このように連続する2枚の画像に重複部分を設けることで、検査漏れの防止が容易になる。ただし、必ずしも重複部分を設ける必要はなく、撮像手段3の移動速度と撮影を行うタイミングを正確に制御でき、電線2imの撮影されていない部分が生じないようにできる場合には、前の画像の終了位置から次の画像を撮るようにして重複部分を設けなくても良い。
本実施形態では、撚られた複数の素線1orが表面に露出している電線2orとして架空地線を検査対象にしている。ただし、架空地線に限るものではなく、例えば、送電線,配電線等を検査対象としても良い。
検査対象である電線2orが撮影されている画像として、本実施形態では、自走式電線点検装置に搭載した撮像手段3で撮影した電線2orの画像(ヘリコプタから撮影した画像にくらべ、電線2orに接近して撮影しているので、以降では、自走式電線点検装置32を使用して撮影した画像4を近接画像と呼ぶことがあり、空撮映像と区別する)を利用している。撮像手段3は、例えばビデオカメラである。ビデオカメラは例えば毎秒30フレームの連続画像4を生成するものとしている。ビデオカメラより得られる各フレーム画像は、前処理(図2のステップS41)において、コンピュータでの処理が可能なRGBのカラーモデルに変換され、さらに処理の簡素化および高速化等のために8ビットのグレースケール画像に変換される。本実施形態では、上記のように変換された各フレーム画像(連続画像4)に基づいて異常検出を行う。連続画像4を構成する各画素は、色情報値として、例えば0(黒)〜255(白)までの256階調の明るさの値(輝度値)を有する。連続画像4の解像度は、例えば水平方向画素数を640画素とし、垂直方向画素数を480画素としている。但し、連続画像4はグレースケール画像に限定されずカラー画像であっても良く、また解像度も上記の例に限定されるものではない。
コンピュータでの処理が可能な画像に変換された連続画像4は、予め記憶手段21に記憶されている。
例えば本実施形態の連続画像4には、電線2imが画面の左右方向にわたって撮影されているものとする。このため本実施形態では、画面水平方向(X軸方向)を電線長手方向とし、画面垂直方向(Y軸方向)を電線横断方向とする。なお、電線2imが画面の上下方向にわたって撮影されているような場合には、画面垂直方向を電線長手方向とし、画面水平方向を電線横断方向としても良い。
本発明者らは自走式電線点検装置で撮影した画像に基づいた電線2orの異常検出について鋭意研究を行った結果、自走式電線点検装置を用いて撮影した画像について、以下のように、正常と異常とでは、素線1imに注目した明るさの変化傾向に違いがあることを知見した。
(1)異常がある場合には、画像上では素線長手方向に沿って、全体的な明るさが非単調に変化する(図8)。
(2)異常がある場合には、異常により生じた凹凸により、素線長手方向以外の方向に明るさが変化する画素が増える(図9)。
そして、更に研究を続けた結果、検査すべき素線1imを決定後、上記(1),(2)を利用し、各素線1imに沿って、以下の明るさの変化傾向を併せ持つブロック(比較領域15)を異常として抽出する本発明を完成するに至った。
・異常を含むブロックでは、素線1im長手方向に見た場合、ブロック内の輝度値の平均(ブロックの明るさ)が変化し、単調でなくなる(図10)。
・異常による凹凸の影響で、ブロック内画素の多くが、素線1imと異なる方向に明るさが変化する(図11)。
次に、電線の異常検出方法について説明する。この電線の異常検出方法(以下、単に異常検出方法という)は、撚られた複数の素線1orが表面に露出している電線2orに沿って撮像手段3を移動させながら撮影した電線2imの複数の連続画像4に基づいて電線2orの異常を検出するものであって、複数の連続画像4のうち、1枚の基準画像4a中の基準となる素線境界6(基準境界6a)の位置情報27及び素線1imの幅情報28の入力を受け付け記憶する初期値設定処理(ステップS43)と、連続画像4の各々について素線境界6を検出して素線表面画像8を切り出す画像切り出し処理(ステップS44,S45)と、素線表面画像8中の素線1imの表面の明るさの変化に基づいて素線1orの異常を検出する異常検出処理(ステップS46〜S48)を備えている。
本実施形態では、撮像手段3は電線2imに対して一定速度で移動しており、且つ、連続画像4は所定時間間隔で撮影されている。即ち、2枚の連続画像4間における電線移動距離Δxが常に一定である連続画像4が使用される。図7(A)〜(C)に、連続する3枚の画像4を示す。各画像間では、電線2imが左方向(X軸方向左側)にΔxずつ移動している。電線移動距離Δxは、予め記憶手段21に記憶されている。
なお、電線移動距離Δxとして、例えば100枚の連続画像4についての平均値を使用する。自走式電線点検装置32は定速移動するため、各画像4間の電線移動距離は常に一定になるはずであるが、実際には電線2orの勾配等に起因して自走式電線点検装置32の移動速度が変動し、各画像4間の電線移動距離が変化することもある。そのため、本実施形態ではΔxとして平均値を使用する。ただし、必ずしも100枚の連続画像4の平均値に限るものではなく、平均する枚数は適宜変更可能である。また、必ずしもΔxとして平均値を使用する必要はなく、任意の2枚の連続画像4についての値をそのまま使用しても良い。
電線移動距離Δxは、後述するようにオペレータが入力する幅Wに誤差が含まれることから探索の範囲に余裕を持たせるためのものである。そのため、電線移動距離Δxとしては、特に限定されるものではないが、例えば2画素<Δx<W/2であることが好ましく、更にはΔxはW/4程度であることがより好ましい。2画素<Δx<W/2にすることで、幅Wの入力誤差を考慮して探索の範囲に余裕を持たせながら、ある程度探索範囲を狭めることが可能になるからであり、ΔxをW/4程度にすることで更にそれらの効果が顕著になるからである。
本実施形態では、まず最初に撮像手段3で撮影した連続画像4について上述の前処理を行い、記憶手段21に記憶しておく(ステップS41)。
次に、読込手段24が制御部20のメモリ内に確保された作業領域23に記憶手段21から基準画像4aを読み込む(ステップS42)。本実施形態では、1枚目の連続画像4を基準画像4aとしている。ただし、必ずしも1枚目の連続画像4を基準画像4aにする必要はない。なお、以下、特に言及しないが、画像処理は作業領域23上で行われる。また、作業領域23上の画像は、制御部20に構成された表示制御部26によって表示手段5に表示される。
続くステップS43では、初期値設定手段25が入力手段7からの基準画像4a中の基準となる素線境界6(基準境界6a)の位置情報27及び素線1imの幅情報28の入力を受け付ける。また、本実施形態の初期値設定手段25は、上記の情報27,28に加えて、基準画像4a中の検査対象となる電線2imの輪郭情報31の入力も受け付ける。
各情報27,28,31は、例えば、オペレータが表示手段5に表示されている画像を見ながら入力手段7を操作して入力する。本実施形態では、電線2imの輪郭情報31→基準境界6aの位置情報27→素線1imの幅情報28の順に入力する。ただし、入力順序はこれに限るものではなく、順番を入れ替えても良い。なお、基準境界6aは、表示手段5に表示されている複数の素線境界6の中からオペレータが任意に選択した1本の素線境界6であり、これを基準にその他の素線境界6が探索される。
電線2imの輪郭情報31として、例えば電線2imの両側の輪郭が入力される。本実施形態では電線2imはX軸方向に沿っており、電線2imの上下両側(Y軸方向の両側)には背景が写っている。したがって、輪郭情報31は、電線2imの上側の輪郭31aの位置に関する情報と、下側の輪郭31bの位置に関する情報とで構成されている。本実施形態では、上下の輪郭31a,31bに2本の直線Lh,Llを重ねて描くことで、上下の輪郭31a,31bの位置に関する情報が入力される。本実施形態では、マウス操作によって直線Lh,Llが入力される(図4)。ただし、直線Lh,Llの入力の仕方はマウス操作に限るものではなく、例えばキーボード操作によってカーソルを移動させて直線Lh,Llを入力しても良い。
基準境界6aの位置情報27は、例えば基準境界6aの探索開始位置に関する情報と基準境界6aの傾きに関する情報とで構成されている。本実施形態では、任意に選択した素線境界6上の2点(始点,終点)を指定することで、基準境界6aの探索開始位置に関する情報と基準境界6aの傾きに関する情報が入力される。なお、素線境界6として画像4の中央に写っているものを選択することが好ましい。中央に映っているものを選択することで、その他の素線境界6の探索が容易になるからである。本実施形態では、マウス操作によって始点及び終点が入力される(図4)。即ち、オペレータは表示手段5に表示されている画像を見ながら任意の素線境界6(基準境界6a)を選択し、選択した基準境界6a上の2点を始点S,終点Eとしてマウスを操作して指定する。ただし、始点S及び終点Eの入力の仕方はマウス操作に限るものではなく、例えばキーボード操作によって表示手段5に表示されているカーソルを移動させて入力しても良く、あるいは始点S及び終点EのXY座標をテンキー入力することで始点S及び終点Eを指定するようにしても良い。また、基準境界6aの探索開始位置に関する情報と基準境界6aの傾きに関する情報としては始点S及び終点Eの指定によるものに限られず、例えば素線境界6上の1点と素線境界6の傾斜角度(X軸方向又はY軸方向に対する角度)の指定によるものでも良い。
また、素線1imの幅情報28として、例えば素線境界6の探索方向がX軸方向(画像の横軸方向両方向)である場合には、任意の素線1imのX軸方向の幅Wが入力される。本実施形態では、マウス操作によって幅Wが入力される(図4)。即ち、オペレータは表示手段5に表示されている画像を見ながら任意の素線1imを選択し、その両側の輪郭線(素線境界6)とこれらに交わる1本のX軸方向の直線との2交点を両端とする直線Lxをマウス操作によって指定する。直線Lxの長さ(画素数)が幅Wとなる。ただし、幅Wの入力の仕方はマウス操作に限るものではなく、例えばキーボード操作によって表示手段5に表示されているカーソルを移動させて入力しても良く、あるいは幅Wの数値をテンキーから直接入力しても良い。また、素線1imの幅情報28としてはX軸方向の幅に限るものではなく、例えば素線境界6の探索方向がY軸方向(画像の縦軸方向両方向)の場合には、任意の素線1imのY軸方向の幅Wとする。
初期値設定手段25は各情報27,28,31の入力を待つ。そして、オペレータによって各情報27,28,31が入力されると、ステップS44が実行される。
ステップS44では、基準境界検出部11が基準境界6aを探索した後、素線境界検出部12がその他の素線境界6を探索する。基準境界検出部11による基準境界6aの探索は以下のようにして行われる。基準境界検出部11は、基準境界6aの位置情報27によって示される線分から適当な距離以内にある素線1im上の画素集合に対し、前記線分に直交するように直線を適当な間隔で引き、各直線上に存在する画素のうち、最も輝度の低い画素をそれぞれ求め、前記画素群が近傍に最も多く存在する線分を基準境界6aとする。本実施形態では素線境界6の探索方向はX軸方向であり、基準境界検出部11は、例えば以下の手順によって基準境界6aを決定する。なお、検索方向がY軸方向の場合については説明を省略するが、X軸方向の場合と同様の考え方で検索することができる(以下、同様)。
(1)基準境界6aの位置情報27として得られた基準境界6aの始点Sと終点Eの座標を(xst,yst),(xen,yen)とする(図28)。また、素線1imの傾きαを数式1により求める。
<数1>
α=(yen−yst)/(xen−xst)
(2)yst≦y≦yenを満たす、それぞれのyに対して以下を満たす画素P(y)を求める。P(y)は点群((y−yst)/α+xst+b,y)(−W/2≦b≦W/2)のうち、最も輝度値が低い画素である。これを基準境界6aの画素候補とする(図29)。ここで、WはステップS43で入力された素線1imの幅である。
(3)−W/2≦b≦W/2の範囲でbを変動させ、線分x=(y−yst)/α+xst+bの付近の領域に存在するP(y)の個数を求める。ここで付近とは数式2の範囲である。P(y)の個数が最も多いbをboundとして、x=(y−yst)/α+xst+boundを基準境界6aとする(図30)。
<数2>
|xP(y)−(y−yst)/α+xst+b|≦2Δx
また、素線境界検出部12は、以下の手順によってその他の素線境界6を決定する。即ち、オペレータが入力した素線1imの幅Wは画面中でマウスを用いて指定したものであり、正確な値にならず、誤差を含んでいる。従って、基準境界6aに対し、水平方向(X軸方向両方向)に整数倍を加算しただけでは正確な素線境界6を求められない。そこで、基準境界6aを使って、素線境界6の探索を行う。素線境界検出部12による素線境界6の探索は以下のようにして行われる。素線境界検出部12は、下記の線分x(i)から適当な距離以内にある素線1im上の画素集合に対し、前記線分x(i)に直交するように直線を適当な間隔で引き、各直線上に存在する画素のうち、最も輝度の低い画素をそれぞれ求め、前記画素群が近傍に最も多く存在する線分を素線境界6とする。本実施形態では素線境界6の探索方向はX軸方向であり、素線境界検出部12は、例えば以下の手順によって素線境界6を決定する。即ち、線分x(i)=(y−yst)/α+xst+bound+iW(i=±1,2,…)を基準位置として、それぞれのx(i)に対し、始点、終点を(x(i)st,yst),(x(i)en,yen)として上述の(1)〜(3)により素線境界6を決定する。素線境界検出部12は、以上を繰り返し行って検査対象となっている画像の素線境界6を全て検出する。
本実施形態では、電線2imの輪郭情報31が予め入力されているので、素線境界検出部12は輪郭情報31に基づいて基準境界6a及びその他の素線境界6の探索範囲を限定している。即ち、素線境界検出部12は、2本の直線Lh,Llで挟まれた領域についてのみ基準境界6aとその他の素線境界6の探索を行う。このように探索範囲を限定することで、探索範囲が狭まり探索処理に要する時間を短縮することができる。なお、電線2imの輪郭情報31に基づいて素線境界6の探索範囲を限定する点は、後述する2枚目以降の画像について素線境界6を探索する場合も同様である。
次に、切り出し部14は、隣り合う2本の素線境界6で挟まれた範囲、即ち1本の素線1imの表面の画像を素線表面画像8として切り出す(ステップS45)。本実施形態では、電線2imの輪郭情報31として上下の輪郭31a,31bを示す2本の直線Lh,Llが指定されているので、2本の直線Lh,Llと2本の素線境界6とで囲まれた範囲を素線表面画像8として切り出す。また、本実施形態では、ステップS44において既に全ての素線境界6が探索されているので、切り出し部14は全ての素線1imについての素線表面画像8を纏めて一緒に切り出す(図5(A))。ただし、必ずしもこのように全ての素線1imを纏めて一緒に切り出して処理を行う必要はなく、全素線1imを複数のグループに分けてグループ毎に纏めて一緒に切り出して処理を行うようにしても良く、あるいは、素線1im毎に1つずつ切り出して順番に処理するようにしても良い(図5(B))。
次に、異常検出手段10が処理を行う。異常検出手段10の領域決定部16は、素線表面画像8中に素線1imの長さ方向に沿って比較領域15(ブロック)を決定する(ステップS46、図6)。本実施形態では、各素線表面画像8の中心線8aに沿って間隔をあけずに比較領域15を決定している。ただし、必ずしも比較領域15を素線表面画像8の中心線8aに沿って決定する必要はなく、例えば一方の素線境界6に沿って決定しても良い。また、必ずしも間隔をあけずに比較領域15を決定する必要はなく、明るさの変化の仕方が不明にならない範囲で間隔をあけるようにしても良い。あるいは、隣同士で一部重複させながら比較領域15を決定しても良い。また、本実施形態では、比較領域15の形状をXY方向に4辺を揃えた正方形にしている。ただし、比較領域15の形状はこれに限るものではなく、長方形、ひし形等でも良く、その他の形状でも良い。比較領域15は1本の素線1imからはみ出さない大きさになっている。
比較領域15を決定した後、異常があるか否かが判定される(ステップS47)。判定は2つの判定基準に従って行われる。つまり、第1の判定基準に従って全ての比較領域15を調べ、異常がある可能性のある比較領域15をスクリーニングして選んだ後、第2の判定基準に従って当該比較領域15の異常の有無を判断する。
判定基準は以下の通りである。
(1)第1の判定基準:異常がある場合には、画像上では素線長手方向に沿って、全体的な明るさが非単調に変化する(図8)。
(2)第2の判定基準:異常がある場合には、異常により生じた凹凸により、素線長手方向以外の方向に明るさが変化する画素が増える(図9)。
先ず、第1の判定部17は、比較領域15内における明るさの変化の方向の代表値が素線1imの長さ方向に一致するか否かを調べる。本実施形態では、比較領域15内の各画素間のX軸方向への輝度値の変化量とY軸方向への輝度値の変化量との比(例えばarctan(Y軸増加方向への輝度値の変化量÷X軸増加方向への輝度値の変化量)、arctan(Y軸減少方向への輝度値の変化量÷X軸減少方向への輝度値の変化量)等)に基づいて明るさの変化方向θを求めると共に、求めた明るさの変化方向θを予め設定された複数の方向区分に区分けし、最も頻度の多い方向区分が素線1imの長さ方向を含む方向区分である場合に明るさの変化方向θの代表値(この場合は最も頻度の多い方向区分)が素線1imの長さ方向に一致すると判断し、それ以外を一致するものではないと判断するようにしている。ただし、必ずしもこのようにする必要はなく、例えば、隣接する画素との明るさの差分の絶対値が最も大きい方向を変化方向θとしても良く、その他の方法でも良い。
明るさの変化方向θは、例えば数式3によって算出される。即ち、比較領域15内の各画素間のX軸増加方向への輝度値の変化量とY軸減少方向への輝度値の変化量との比としてアークタンジェントを用いている。ここで、Δbrx(x,y),Δbry(x,y)は数式4,5である。
本実施形態では、明るさ変化の方向区分を45度ずつ「1」〜「4」の4つに区分している。方向区分の概念を図17に示す。図中右向き(増加方向)のX軸方向を0度とし、区分1:0±22.5度、区分3:11.5±22.5度、区分2:67.5±22.5度、区分4:157.5±22.5度としている。なお、各区分の境界値は図中右側の区分(例えば、22.5度は区分1)に属するものとしている。ただし、必ずしも方向区分を4区分にしなくても良く、例えば3区分、5区分、6区分以上としても良い。また、2区分としても良い
なお、本実施形態では、連続画像4中に素線1imが左下から右上に向けて写っている(電線2は左右に水平に移っている)ので、素線1imの長さ方向は右斜め上方向(X軸:増加方向、Y軸:増加方向)となっている。
第1の判定部17は、比較領域15内の右辺(X座標が最大の辺)と上辺(Y座標が最大の辺)を除く全ての画素を対象に変化方向θを求め、「1」〜「4」の区分分けを行い、θの数が最も多かった区分を最も頻度の高い区分とする。そして、第1の判定部17は、最も頻度の高い区分が素線境界6の傾きαが属する区分であるか否かを判断する。例えば素線境界6の傾きαが15度の場合、傾きαが属する区分は区分1であり、最も頻度が高い区分が区分1である場合には明るさの変化方向θの代表値が素線1imの長さ方向に一致すると判断し、最も頻度の高い区分が区分1以外の区分である場合には明るさの変化方向θの代表値が素線1imの長さ方向に一致するものではないと判断する。なお、第1の判定部17は最初と最後(両端)の比較領域15、即ち前後両側に比較領域15が存在していない比較領域15については判定を行わない。
本実施形態では、ステップS47において第1の判定部17が明るさの変化方向θの代表値が素線1imの長さ方向に一致すると判断した場合にはステップS48に進み、異常検出部19は当該比較領域15には異常がないと判断してステップS48からステップS50に進む。
一方、ステップS47において第1の判定部17が明るさの変化方向θの代表値が素線1imの長さ方向と一致するものではないと判断した場合には、更に第2の判定部18が当該比較領域15とその両隣の比較領域15との明るさの変化傾向が前隣の比較領域15と後隣の比較領域15とで異なるか否かを判定する。本実施形態では、比較領域15内の各画素の輝度値の平均値を求め、この平均値に基づいて比較領域15とその両隣の比較領域15との明るさの変化傾向を判断する。即ち、対象となる比較領域15とその両隣の比較領域15との明るさの差分の符号(変化傾向)が同符号か異符号かを判断する。
例えば、第1の判定部17が5番目の比較領域15について明るさの変化方向θの代表値が素線1imの長さ方向と異なると判断した場合、第2の判定部18は4番目,5番目,6番目の各比較領域15について各画素の輝度値の平均値を求め、各平均値の変化傾向を調べる。そして、平均値が4番目→5番目で増加(符号:+)し且つ5番目→6番目で増加(符号:+)している場合(単純増加)、及び、4番目→5番目で減少(符号:−)し且つ5番目→6番目で減少(符号:−)している場合(単純減少)には、変化傾向が一致(同符号)しているので、異常検出部19は5番目の比較領域15には異常がないと判断し、ステップS48からステップS50に進む。一方、平均値が4番目→5番目で増加(符号:+)し且つ5番目→6番目で減少(符号:−)している場合(山形変化)、及び、4番目→5番目で減少(符号:−)し且つ5番目→6番目で増加(符号:+)している場合(谷形変化)には、変化傾向が異なっている(異符号)ので、異常検出部19は5番目の比較領域15に異常があると判断し、ステップS48からステップS49に進んで当該比較領域15の位置を記録する。
次に、ステップS50では、読込手段24は検査を行う比較領域15が残っているか否かを判断する。そして、次に検査を行う比較領域15が残っている場合には、ステップS47からステップS49を繰り返し実行する。一方、検査対象となっている画像中の全ての比較領域15について検査が済むと、読込手段24はステップS50からステップS51に進む。
ステップS51では、記録制御部36は検査対象となっている画像4中に異常があると判断された比較領域15があった場合には当該画像4を要検査画像集30に記録する。このとき、検査員の目視検査を容易にするために、異常があると判断された比較領域15の位置が判りやすくなる目印29を付けておくことが好ましい。目印29の例を図6に示す。この例では、異常があると判断された比較領域15の下の位置に矩形状の目印29が付されている。異常があると判断された比較領域15が複数ある場合には、目印29も複数表示される。目印29は目立つ色に着色されている。ただし、必ずしも目印29は矩形状のものに限るものではなく、異常があると判断された比較領域15の位置が判りやすいものであれば矩形状以外のものでも良い。また、目印29を付けなくても良い。この後、制御部20はステップS52に進む。なお、要検査画像集30は記憶手段21に記憶される。
一方、ステップS51において、検査対象となっている画像中に異常があると判断された比較領域15が無かった場合には記録制御部36は検査対象となっている画像の記録を行わずにステップS52に進む。
ステップS52では、読込手段24は検査を行う連続画像4が残っているか否かを判断する。そして、検査を行う連続画像4が残っている場合には、ステップS53に進んで次の連続画像4(基準画像4a以外の画像)を作業領域23に読み込こんでステップS44に戻る。
ステップS44では、ステップS43で入力された各種情報、具体的には、基準境界6aの位置情報27,素線1imの幅情報28,電線2imの輪郭情報31に基づいて、基準境界6a及びその他の素線境界6を探索する。ここで、各情報27,28,31は1枚目の連続画像4即ち基準画像4aについて入力されたものであるが、2枚目以降の連続画像4についても情報27,28,31を利用して基準境界6a及びその他の素線境界6の探索が行われる。基準境界6a及びその他の素線境界6の探索は、基準画像4aに対する場合と同様に行われる。即ち、基準境界検出部11が基準境界6aを探索した後、素線境界検出部12がその他の素線境界6を探索する。なお、基準境界検出部11は、2枚目以降の画像4に対して、1枚目の画像4(基準画像4a)の基準境界6aとは異なる素線境界6を基準境界6aとする可能性もあるが、もともと基準境界6aは画像4中の素線境界6を探索するために便宜的に任意の1本の素線境界6を選択したものであり、いずれの素線境界6が選択されても支障はないので、基準画像4aの基準境界6aとは異なる素線境界6を基準境界6aに選んでも支障はない。また、素線1imの幅はWであり、−W/2≦b≦W/2の範囲でbを変動させて基準境界6aを探索するので、確実に基準境界6aをみつけることができる。
その後、ステップS45〜ステップS51を繰り返し、2枚目以降の連続画像4についても異常検出とその記録を行う。そして、全ての連続画像4について検査を行うまでステップS44〜ステップS53を繰り返し実行する。
そして、全ての連続画像4について検査を終了すると、ステップS52の判断が否(no)となり、制御部20はこのプログラムを終了する。
検査員は、作成された要検査画像集30を目視検査する。要検査画像集30には、異常がない画像は除かれているので、目視検査の対象となる画像が減少し、短時間で目視検査を終えることができると共に、集中力の低下等による見落としを防ぐことができる。
また、本実施形態では、異常ありと判断された画像には異常の位置を示す目印29が付されているので、異常の見落としを防ぐことができる。
以上のように、本願発明では、自走式電線点検装置32を使用して電線2に沿って撮像手段3を移動させながら撮影した連続画像4に適した画像処理を行うことができ、アーク痕や切断等の素線表面の異常を良好に検出することができる。
また、本発明では、検査員(オペレータ)は基準画像4aについてのみ各情報27,28,31の入力を行い、2枚目以降の画像4については各情報27,28,31を入力する必要がないので、検査作業が簡単なものとなる。また、2枚目以降の画像4についは自動的に処理が行われるので、迅速に要検査画像集30を作成することができる。
なお、上述の形態は本発明の好適な形態の一例ではあるがこれに限定されるものではなく本発明の要旨を逸脱しない範囲において種々変形実施可能である。
例えば、上述の説明では、初期値設定処理(ステップS43)において、電線2imの輪郭情報31を入力するようにしていたが、電線2imの輪郭情報31を入力しなくても良い。この場合には、公知の画像処理手法を使用して電線2imの輪郭を検出し、検出した輪郭内の範囲について素線境界6の探索を行うようにすることが好ましい。この場合にも素線境界6の探索範囲を限定できるので、探索に要する処理時間を短縮することができる。
また、上述の説明では、ステップS47において、第1の判定部17は、最も頻度の多い方向区分を明るさの変化方向θの代表値とし、この代表値が素線1imの長さ方向を含む方向区分であるか否かを判断していたが、必ずしもこれに限るものではない。例えば、比較領域15内の明るさの変化方向θの平均値を代表値とし、この代表値が素線1imの長さ方向を含む方向区分に属するか否かを判断するようにしても良く、あるいは、比較領域15内の明るさの変化方向θの中央値を代表値とし、この代表値が素線1imの長さ方向を含む方向区分に属するか否かを判断するようにしても良い。
また、上述の説明では、1枚の連続画像4中に写っている電線2imが1本の場合について説明したが、1枚の連続画像4中に複数本の電線2imが写されている場合についても適用可能である。この場合、対象とする電線2imごとに電線2imの輪郭情報31,基準境界6aの位置情報27,素線1imの幅情報28を入力し、1台の計算機で処理してもよいし、電線2imごとに計算機またはCPU(中央演算装置)を割り付けてもよい。1台の計算機で行う場合は、映っている電線2im全てが同一の形状であれば、1つの電線2imの輪郭情報31,基準境界6aの位置情報27,素線1imの幅情報28を入力すれば、残りの電線2imについては、基準境界6aの位置情報27や素線1imの幅情報28の入力を省略できる。1台の計算機で全ての電線2imを処理する場合は、電線2imごとに、例えば上から順に処理しても良いし、複数のCPUを用意し、電線2imごとに1つのCPUを割り付け並列して処理しても良い。さらに、異常が見つかった場合は、処理を中断しても良い。具体的には以下のようにしても良い。1台のCPUで処理する場合は1本1本順に処理していき、異常が見つかった場合、以降の処理をやめ、要検査画像集30に結果を記録して次の画像4を調べる。複数のCPUまたは計算機に1本1本処理を割り付けた場合は、異常が見つかった後で適当なタイミングで全てのCPUまたは計算機に通知して、結果を記録して要検査画像集30に記録する。
また、上述の説明では、自走式電線点検装置32を使用して撮影した連続画像4を処理対象にしているが、処理できる連続画像4はこれに限るものではない。
自走式電線検査装置を使用して実際に撮影した連続画像を分析し、これに適した異常検出方法の実施例について説明する。
雷撃から電線を保護するための設備である架空地線(電線2)は、雷撃により損傷しやすい。損傷後は、素線切れ、断線へと被害が大きくなることがあり、架空地線の保守が重要である。電力会社では架空地線の保守のため、ヘリコプタによる送電線路の巡視点検以外に、ビデオカメラ(撮像手段)3を内蔵した自走式電線点検装置32(図12(A),(B))による撮影を行っている。
自走式電線点検装置32は、点検用のビデオカメラ3を内蔵した筐体33が、2つの車輪34,34により地線2上を自走する装置である。筐体33内には、死角を無くし、裏側も同時に点検するために、鏡35,35が貼られており、ビデオカメラ3で撮影した映像は、実像と地線裏面の鏡像とを同時に映したものになっている。この撮影映像のチェックは従来、検査員が目視で行っており、鏡像も含めて複数本の地線画像を同時に確認する作業が、検査員の負担となっている。
これまでに、ヘリコプタにより架空地線2を撮影した映像(空撮映像)から、アーク痕や素線切れを含んでいる箇所を自動検出して、検査員を支援する手法を開発している(実施例2の比較検出方法)。地線2の異常は、主に、アーク痕と素線切れである。異常の現れ方で分類すると、(1)素線表面に明るさの変化として現れる「アーク痕やほつれていない素線切れ」、(2)地線の輪郭線の変化として現れる「素線切れ(素線がほつれた状態)」となる。比較検出方法は、2種類の異常の現れ方に着目して、異常を検出する手法であり、目視確認が必要な映像を約87%削減できる。比較検出方法を、自走式電線点検装置32の映像にも利用できれば、検査員の映像目視時の負担を軽減できると考えられる。
しかし空撮映像と自走式点検装置の映像は、照明条件や鮮明度といった映像特徴が違うため、そのままでは利用できない。
自走式電線点検装置32で撮影した映像は、ビデオカメラ3を取り付けている筐体33で地線2を囲い、近くから撮影しているため(近接映像)、光の入射部分付近の地線表面は明るく、離れた部分の地線表面は影になり、強いコントラストが発生する。従って、比較検出方法での単純な明るさの変化による異常検出では、検出精度が低下する。一方、撮影方法が変わっても、地線2の輪郭は変化しないため、比較検出方法で地線2の輪郭形状の異常を抽出できる。
そこで、本発明では、地線2全体の単純な明るさの変化ではなく、明るさの変化方向や素線1上の個々の明るさの強度変化といった近接映像の特徴に着目した。
(1.自走式点検装置の映像)
空撮映像と自走式点検装置で撮影した映像(近接映像)の撮影方法の違いを述べ、両者の映像の違いを述べる。
(1.1.自走式点検装置と抽出すべき異常)
自走式電線点検装置32では、ビデオカメラ3と地線2との距離は1m以下であり、撮影箇所は筐体33で覆われている。また筐体33中の鏡35で、ビデオカメラ3の死角となっている裏面を写している。そのため確認すべき地線2imは、直接撮影した実像と、画面上下の鏡に写っていている鏡像となる。
また、筐体33で囲まれているため、光が地線全面にはあたらず、図13のように入射光付近は明るく、入射光付近から離れるに従い暗くなる。具体的な光は、図12(A)に示すように、上方にスリット(窓)から入射するか、左右の車輪34の前後から入射する。
また、自走式電線点検装置32の移動速度は一定であり、撮影映像の1コマの移動量は固定である。
次に、抽出すべき異常の特徴について述べる。自走式電線点検装置32を用いて発見すべき代表的な異常は、アーク痕と素線切れである。地線2のアーク痕は落雷によって生じる。落雷は、素線間の溝(素線境界6)になっている部分よりも、表面に現れている素線表面に落ちることが多い。そのためアーク痕が存在すれば、素線表面の明るさに変化が生じる。なお地線の材質により、アーク痕の色は、素線表面と比べ、より暗くなる(黒色)場合と、より明るくなる(白色)場合がある。また、素線切れの場合は、素線表面上に大きな窪みができるため、切れた箇所が影になり、素線表面より暗くなる。
このように、自走式電線点検装置32の映像では、素線表面上に明るさの変化が明瞭に現れる。よって、 アーク痕や素線切れによる暗部と区別の困難な素線境界を除いて、素線表面上だけを検査対象にするのが望ましい。
(1.2.映像特徴)
(A.近接映像の特徴)
近接映像では、地線2に接近して撮影するため、映像が鮮明であり個々の素線の識別が容易である。また、筐体33に取り付けた車輪34を地線2に乗せて、地線2上を自走するため、地線2の位置や画面中の線幅は変化しない。
さらに、上述の通り、地線2に一様に光が当たらないため、明るさが不均一でコントラストが強くなる。
以上をまとめると近接映像の特徴は、
(A−1)鮮明であり、素線表面の詳細な明るさデータを取得可能、
(A−2)画面中での地線位置、傾きや幅が固定、
(A−3)地線表面の明るさは不均一、
となる。
(B.空撮映像の特徴)
一方、空撮映像では、撮影位置が変動し、自然光のもとで遠方から撮影される。そのため、空撮映像の特徴は、
(B−1)素線表面の詳細な明るさデータは取得不能、
(B−2)画面中での地線位置、傾きや幅が変化、
(B−3)地線表面の明るさは一様、
となる。
比較検出方法は(B−3)の特徴を利用して、地線2の平均的な明るさから大きく外れた明るさとなった箇所を異常箇所として検出している。近接映像は(A−3)の特徴を有しているため、正常な箇所でも明るさにばらつきがあるため、比較検出方法では精度良く異常箇所を検出できない。
一方、近接映像は、(A−1)という、空撮映像にない特徴を有している。つまり、異常箇所の凹凸がわかるため、明るさについての詳細な情報が得られる。また、上述したように、異常は素線表面に主として存在する。従って、素線表面の明るさに関する情報(明るさ方向、強度の変化に関する情報)の分析を行った。また、(A−2)という特徴から、素線1間の溝(素線境界6)が存在する領域を画面中で限定できるため、検査すべき素線表面を特定するのは容易である。そこで、以下、素線表面の異常箇所と正常な箇所との明るさ変化の特徴について検討した。
(1.3.明るさの変化の特徴)
(1.3.1.正常な素線表面の明るさ変化傾向)
近接映像では、地線2が筐体33に覆われているため、光の入射は、上方または、地線2の長手方向(図12で考えると左または右)となる。これにより、素線表面の明るさも、入射方向に向かって明るくなる。素線1は、画面中では斜めになっているため、異常がなければ図14に示す方向に、単調に明るさ強度が変化する(図中太矢印が素線の沿った明るさの変化方向を示し、矢の先端方向が明るい。)。図15,図16に実像の例を示す。上方または側方いずれから光が入射しても、近接映像で異常が無い場合は、
(1)明るさの変化方向は素線に沿う、
(2)明るさの素線長手方向の強度変化は単調に変化する、
ことが考えられる。
(1.3.2.異常がある場合の明るさ変化傾向)
アーク痕や素線切れなどの異常があった場合、素線表面に凹凸ができる。さらに、空撮映像と比べ、近接映像では、ビデオカメラ3と地線2の距離が近いため、凹凸が明瞭に現れる。従って、異常があった場合、素線1に沿った方向(図14における太矢印方向)以外に光が反射する画素が多くなる。つまり、素線表面を局所的に見た場合、明るさの変化方向が素線に沿わない画素を多く含むようになると考えられる。
ただし、光が上方と側方など、複数の方向から入射する場合は、素線表面に複数の明るい部分が生じる。このような場合、異常がなくても、局所的に見て、明るさ変化の方向が素線1に沿わない場合が出てくる。
そのような場合でも、素線1全体を見れば、明るさは単調に変化する(明るく、もしくは暗くなる)ことが考えられる。これに対し異常箇所は、黒色や白色となって現れるため、全体的に見た場合、明るさに非単調な変化が生じると考えられる。
以上から、異常がある場合の明るさ変化の特徴は以下のようになると考えられる。
(1)局所的に見た場合、明るさの変化方向が素線1の方向と一致しない画素を多く含む局所領域がある
(2)素線に沿った明るさの素線長手方向の強度変化は非単調である
素線表面に現れると考えられる明るさ変化の特徴を表1に示す。
(1.4.異常画像サンプルによる異常箇所の明るさ分析)
次に、上述の(1)、(2)について異常を撮影した26種の実映像に基づいて検証を行った。
(1.4.1.明るさ変化方向の分析)
上述の(1)を検証するために、素線1imを正方形のブロック(比較領域15)に分割し、ブロック内に含まれる画素の明るさの変化方向θを調べた。具体的には以下のように行った。
ブロックは、素線境界6間を通る中心線分8a上の点(x,y)を中心にして、一辺が2n+1の正方形内にある(2n+1)2の画素からなるブロックである。nは 次のように決定した。素線境界6の輝度の低さの影響を回避するために、ブロックの一辺である2n+1が素線1imの太さの1/3以下の自然数のうちで最大値に等しくなるようにnを決定した。
ブロック内の画素ごとに、明るさの変化方向θを上述の数式3〜5により計算し、得られた角度θから、図17のように45度刻みで1〜4の数字を各画素に割当て、ブロック内画素の明るさの変化方向θの分布を調べた。なお、数式3〜5は明るさ変化が最も強くなる方向を計算するものである。
ここで、画像の左下を原点とし、垂直方向の座標を垂直画素番号y、水平方向を水平画素番号xとする。画像上の位置(x,y)にある「画素の輝度値」をbr(x,y)とする(輝度値は0〜255の範囲とする)。Δbrx,Δbryはx,y方向の明るさの変化を示す。
異常を含んでいる素線の例を図18に示す。図19は、異常を含んだ地線表面上をブロックに分割し(図20)、各ブロックでの明るさの変化方向θごとの画素の分布である。正常な場合は、図19のブロックCのように、明るさの変化が素線1imに沿った方向である「1」の方向の画素が多い。これに対し、異常がある場合には、図19のブロックBの結果が示すように、「1」の方向の画素が最頻値になっていない。この場合は、「3」の方向の画素が最も多く、素線1imに沿った方向以外に明るさが変化している画素が最も多かった。
ただし、正常の場合であっても、図19のブロックAの結果が示すように、明るさの変化方向θが「3」の画素が最も多く、素線1imに沿った方向に明るさが変化する画素が多いわけでは無いこともわかった。
次に、光が左側から入射した場合の例を図21に示す。この場合も、アーク痕のあるブロックAでは、明るさの変化方向θが「2」の画素が最も多く、正常であるブロックBでは、「1」の画素が最も多かった。つまり、異常のある場合には、素線1imに沿っていない画素が最も多いことを確認できる。
最後に、素線切れ(図22)の例を図23に示す。この場合も、明るさの変化方向θが「3」の画素が最も多く、素線1imに沿っていない画素が最も多いことを確認できる。
ここで示した3例以外の残り23例でも、異常を含んだブロックでは、ブロック内画素の最も多くが示した変化の方向は、「1」以外であることを確認できた。このことから、ブロック内画素の明るさの変化方向θの最頻値(ブロックの主たる明るさの変化方向θ)が素線1imに沿っていない場合は、異常である可能性を示しているといえる。
(1.4.2.素線に沿った明るさの素線長手方向の強度変化の分析)
上記(2)を検証するために、素線長手方向のブロックの明るさの強度変化を分析した。
ブロックの平均輝度を数式6により求め、ブロックの明るさBrave(x,y)と定義する。
図20を分析した結果を図24に示す。正常なブロックA,Cでの明るさの素線長手方向の強度変化はそれぞれ、単調減少、単調増加しており、明るさの素線長手方向の強度変化は単調であった。一方、異常のあったブロックBでは、明るさの素線長手方向の強度変化は減少後増加しており、明るさの素線長手方向の強度変化は非単調であることを確認できる。
図21に対する分析結果を図25に示す。正常なブロックBは単調減少しており、明るさの素線長手方向の強度変化は単調である。異常のあったブロックAでは、明るさの素線長手方向の強度変化は増加後減少しており、明るさの素線長手方向の強度変化は非単調であることを確認できる。
最後に、図22に対する分析結果を図26に示す。上述した2例と同様に異常のあるブロックの前後で明るさの変化が非単調になっている。
上記の3例以外の23例についても、正常なブロックでは、明るさの素線長手方向の強度変化は単調であり、異常のあるブロックでは、明るさの素線長手方向の強度変化は非単調であることを確認できた。
以上から、近接映像中に異常がある場合には、上述の2つの明るさ変化の特徴(1),(2)を確認できた。
(2.近接映像に適した異常検出手法の提案)
次に、上述の分析結果に基づき、近接映像に適した異常検出手法を検討する。
(2.1.素線表面の自動切り出し手法)
上述で検討した異常特徴を検出するには、近接映像から素線表面を、まず自動で切り出す必要がある。以下に、自動切り出しの一実施例について説明する。
近接映像中の地線2imは画面上を上下に移動せず、地線2orとビデオカメラ3との距離は変化しない。また、自走式電線点検装置32は一定速度で移動するため、1コマあたり(画像4の1枚当たり)の移動距離は一定である。よって、素線1imの初期位置、素線1imの傾き、素線1imの幅がわかっていれば、素線1im間の境界(素線境界6)検出は可能である。
画面4中での素線1imの動きを1コマおきに示したものを図27に示す。図27に示したように素線境界6は、画面中で左(もしくは右)へ平行移動するだけである。従って、画面4中の特定の素線境界6(基準境界6aと呼ぶ)を検出できれば、残りの境界6は、ビデオカメラ3と地線2の距離が変わらないので、初期に与えた素線1imの幅W分だけ離れたところに見いだせる。このように、近接映像の特徴を利用することで容易に素線境界6を検出できることから、それら境界6の間の領域を素線表面として自動的に切り出すことが可能になる。
素線表面の自動切り出しアルゴリズムの概要を以下に示す。
(1)検査しているコマ内で、基準境界6aを決定する。
(2)基準境界6aを決定後、素線幅Wの整数倍だけ離れた位置を中心に、素線境界6を決定する。
(3)予め指定した検査範囲(輪郭情報31の範囲)の外になったら、素線境界6の決定を終える。
(4)素線境界6が決定したら、素線境界6間を素線表面として切り出す。
以下では、基準境界6aと素線境界6の決定方法を詳細に述べる。
初期入力として、基準境界6aの位置の始点(xst,yst)と終点(xen,yen)、素線幅Wを指定する。さらに、あらかじめ、素線境界6の1コマ当たりの移動距離を調べておきΔxとする。自走式電線点検装置32の速度は一定であるのでΔxは定数である。基準境界6aは、線幅がWであるので、初期位置から水平方向に±W/2内に必ず現れる。このため、探索範囲を初期位置から水平方向に±W/2の範囲とした。
素線境界6には、光が届きにくいため、低輝度値の画素で構成された線分となる。従って、初期位置から水平方向に±W/2中に存在し、傾きの初期値と同じ傾きを持った線分のうち、低輝度値の画素が線分付近に最も多く存在する線分が当該コマの基準境界6aである。具体的には次の3ステップで基準境界6aを決定する。
(1) 初期入力時に得られた基準境界6aの始点と終点の座標を図28に示すように、(xst,yst),(xen,yen)とする。また、素線1imの傾きをαとし、α=(yen−yst)/(xen−xst)より求める。
(2) yst≦y≦yenを満たす、それぞれのyに対して以下を満たす画素P(y)を求める。P(y)は点群((y−yst)/α+xst+b,y)(−W/2≦b≦W/2)のうち、最も輝度値が低い画素である。これを基準境界6aの画素候補とする(図29)。
(3) −W/2≦b≦W/2の範囲でbを変動させ、線分x=(y−yst)/α+xst+bの付近の領域に存在するP(y)の個数を求める。ここで付近とは数式7の範囲である。P(y)の個数が最も多いbをboundとして、x=(y−yst)/α+xst+boundを基準境界6aとする(図30)。
次に、素線境界6の詳細な決定方法を示す。
検査員が指定した素線幅Wは画面中でマウスを用いて指定するため、正確な値にならず、誤差を含んでいる。従って、基準境界6aに対し、水平方向に整数倍を加算しただけでは正確な素線境界6を求められない。そこで、基準境界6aを使って、素線境界6の探索を行う。探索は、線分x(i)=(y−yst)/α+xst+bound+iW (i=±1,2…)を基準位置として、それぞれのx(i)に対し、始点、終点を(x(i)st,yst),(x(i)en,yen)として上述の3ステップにより素線境界6を決定する。
(2.2.素線表面の異常検出手法)
素線表面について、局所領域での主たる明るさの変化方向と隣接する局所領域間の明るさの素線長手方向の強度変化の非単調性の有無を調べることによって、素線表面の異常検出を行う。
素線表面の異常検出手法は、コマ毎に次の5ステップで行う。
(1)素線境界6間ごとに、素線境界6間を通る中心線分8a上の点(x,y)を中心にして、上述のnを使い、一辺2n+1の画素からなるブロックに素線1imを分割する。
(2)ブロック内の画素ごとに、明るさの変化方向θを上述の数式3〜5により計算し、得られた角度θから、図17のように45度刻みで1〜4の数字を各画素に割当てる。
(3)ブロック内の最も多くの画素が示した方向を主たる明るさの変化方向とする。なお、主たる明るさ方向の決定には、全体の平均や中央値を使う方法もあるが、本実施例では、統計的な議論ができるほどの異常事例がないため、26の異常事例を検出可能であった方法として最頻値を採用した。
(4)ブロック内の平均輝度値Brave(x,y)を上述の数式6で計算する。
(5)主たる明るさの変化方向が素線1imに沿っていなければ、異常の可能性有りとして、同一素線1im内の隣接ブロック間の明るさの素線長手方向の強度変化を計算する。これが非単調であれば異常と判定する。非単調性の判定は数式8を用いる。
ここでjは、対象ブロックの番号をさす。
最後に、異常とした部位を映像中に表示するとともに、静止画として記録し、次のコマへ処理を移す。
なお、上述したように、各連続画像4において、地線2imは上下に動かないので、あらかじめ地線上の検査範囲を画面中で指定(電線2imの輪郭情報31の入力)しておけば、画面4中より地線2imを探し、地線2imの輪郭を計算する処理が省略でき、地線輪郭計算を間違える可能性が無くなる。
また、静止画の記録は、異常となった箇所の画面下または上に矩形のマーク(目印29)を表示して記録するものである。こうすることでどの位置に異常があるのかを確認できる(図31)。図31の下に矩形(目印29)が表示され、2番目の地線にアーク痕があることがわかる。
(点検映像による本発明の有効性評価)
次に、本発明の有用性を評価するために比較実験を行った。まず最初に、比較検出方法について説明する。
(比較検出方法)
比較検出方法(「空撮画像による架空地線点検作業量削減システム」動的画像処理実利用化ワークショップ2008(DIA2008) pp.137-142 2008)は、空撮映像を計算機に読み込み、形の異常と明るさの異常を検出するものである。具体的な内容を図32に示す。なお、明るさの異常検出処理に関する部分を矢印Aの範囲で示している。輪郭異常を示す形状異常については、空撮映像も近接映像もかわらないため、本実施例では、図中矢印Aで示す明るさの異常の検出処理について比較を行った。
比較検出方法における明るさの異常検出について概要を記す。画像の左下を原点とし、垂直方向の座標を垂直画素番号y、水平方向を水平画素番号xとする。画像上の位置(x,y)にある「画素の輝度値」をbr(x,y)とする(輝度値は0〜255の範囲とする)。また、ある水平画素番号(x)における「地線の輝度値」をBr(x)とし、数式9より求める。
ここで、nは、水平画素番号xを通る地線と直交する直線上の地線上に含まれる画素数である。a,cは、地線の輪郭線と直交する直線の傾きとy切片であり、kは0からnの整数をとる変数である。
地線の輝度値Br(x)の具体的な算出手順は図33に示す通りである。
さらに、画像中に存在する地線の左端から右端までの地線の輝度値Br(x)の平均を「地線の輝度値平均」μとし数式10より算出する。ここでMは、画像中の地線の水平画素番号方向の幅であり、図34に示すように定義する、また、σは、Br(x)の標準偏差であり、数式11より算出する。
地線表面の水平画素番号xごとに Br(x)を計算する。各水平画素番号の輝度値から、μ、σを求め。予め与えられた係数α(以降では、しきい値αとする)を用いて、地線の輝度値が[μ−α×σ,μ+α×σ]の範囲から外れた場合、異常の可能性ありと判定する。図35はアーク痕を含んだ画像の抽出例である。アーク痕に該当する輝度値が、 [μ−α×σ,μ+α×σ]の範囲を外れているため、異常が含まれていると判定している。
以上の比較検出方法との比較によって、本発明の有用性を評価した。自走式電線点検装置32で点検し、異常が見つかった映像17例について本発明を適用した結果を示す。
比較として、上述の比較検出方法を、自走式電線点検装置32の映像に適用可能なように変更して適用した。
比較検出方法で設定するパラメータは上述のαだけである。ここでは、17例の全ての異常を検出できるようにするとともに、検出精度が最大となるように、αを1.8と設定した。一方、本実施例の異常検出方法では、基準境界6aを探索するために、上述の数式7でΔxがあらかじめ必要になる。17例の映像を調べた結果、1コマあたりの素線の移動距離Δxは11画素であったため、Δx=11とした。以上の設定後、異常検出した結果を表2に示す。異常検出率は100%であった。
正常なコマを異常なコマと検出してしまう誤検出率は、比較検出方法が96.5%であったのに対して、本実施例の異常検出方法は16.7%となり、大幅に改善されている。
表2中の画像削減率は、目視確認の必要なコマ数(異常として検出したコマ数)が全コマ数に対してどれくらい減らせたかを示すものであり、目視作業量の削減を意味する。ヘリコプタによる空撮映像に比較検出方法を適用した場合の画像削減率は約87%であったが、上述した地線表面の明るさが一様であるという前提が近接映像では成立しないため、空撮映像で得られた結果より悪くなったと考えられる。
一方、本実施例の異常検出方法では、画像削減率は98.9%となり、収録時間の約1.1%の映像を目視すればよい結果となった。
比較検出方法をヘリコプタによる空撮映像に適用した場合、収録時間に対して約13%(=100−87)の映像を目視する必要があった。目視に要した時間は、約3時間となり、削減しない場合は10時間かけて目視していたのに比べると1/3の作業量の削減となった。これに対し、空撮映像の場合と単純に比較できないが、1コマ当たり同じ目視時間がかかるとすると、本実施例の異常検出方法では、1.1%の映像を目視することになり、約13分(=3時間/(13/1.1))だけ目視すればよく、一層の作業量の削減になる。
以上により、目視確認が必要な作業量を大幅に減らせる可能性のあることを確認できた。