JP5751630B2 - 検査補助装置及び方法 - Google Patents

Description

本発明は、事前にビデオ撮影された鉄塔等の建造物の映像を検査員が再生し、目視確認により該建造物を正常異常にふるい分けるための検査において、検査員の検査負担を軽減することのできる検査補助装置及び方法に関する。

鉄塔は金属製の骨組み構造から構成される細長い建造物であり、携帯電話などの基地局、放送波の送信のほかに、送電線やアンテナの支持、消防の望楼などに用いられる。高さが数メートルのものから、数十メートルのものまで存在するが、その利用目的から見通しの良い場所で高所に設定されることが多い。

新しい鉄塔は建造された後すぐに、設計書通りに正しく建造できたかどうかについて検査が行われる。またその後も定期的に、現状の鉄塔が使用に耐えられる構造強度を保っているかについて検査が繰り返される。落下物や転落事故に代表される高所での検査作業の危険を避けるため、検査員が実際に現場で鉄塔に登って行うこれまでの検査方法から、検査員が登塔することなくビデオ撮影された鉄塔映像を使って鉄塔を検査する方法も新しく取られるようになった。

当該鉄塔映像による検査においては、ボルト設置個所の撮影部分を重要視している。この理由は、鉄塔の不具合が特にボルト周辺で生じることが多いことによる。ひび、損傷、サビに代表されるボルト自体の劣化や、経年によるボルトの緩みだけでなく、ボルトの逆挿しや締め付けトルク不足や適切な長さのボルトが使われていない等、そもそも設計書通りに施工されていないことも異常の一種とみなされる。

ボルトを手掛かりにした検査方法に関連する従来技術は例えば特許文献１及び２に開示されている。

図8は特許文献１に記載の方法を説明する図であり、ここでは下記手順によりボルトの緩み点検を実現する。ボルト固定場所の両面に緩み検出用のマーキングをあらかじめ緩みのない正常時に施す。例えば、(1)のように×印でマーキングを施す。ボルトが緩むと(2)に示すように、ボルト、ナット、ワッシャーおよび鉄塔の骨組み上の各部間にまたがる×印の連続性が損なわれるため、マーキングの不連続性を画像から検出することによって、ボルトの緩みを点検する。

図9は特許文献２に記載のねじ部検査方法を説明する図であり、ここでは工場の生産ラインなど決まった角度・配置でカメラCにより撮影できる前提のもと、ナットの有無を画像から検出する。(1)に示すようにナット N が物体M に適正に固定されていればカメラCより波状凹凸の溝が観測されるが、(2)に示すように適正に固定されていなければ観測されない、という特性を利用している。

特開2005-3658 号公報 「ボルトの緩み点検方法」 特開2007-10620 号公報 「ねじ部検査装置及びねじ部検査方法」

しかしながら、特許文献1に記載のボルトの緩み点検方法は、マーキング等のコストのかかる作業を必要とする点に課題があった。高所で手動によりマーキングする必要があるため、この作業を避けることのできる検査方法が望まれている。

また、鉄塔の映像中に出現するボルトは、見える向きが多様である。一方、特許文献2に記載のねじ部検査方法は工場の生産ラインなど決まった角度・配置で撮影できる前提としているため、見える向きが多様な場合には適用できなかった。固定配置のカメラによる撮影を必要とするという制約に縛られず、画像に撮影されたボルトの見える向きが多様である場合にも対応することのできる検査方法が望まれている。

さらに、映像を撮影する際に上記のようなマーキングや固定配置の制約を課さずに、作業員等が通常の手法で事前にビデオ撮影した鉄塔の映像を検査員が再生し、その全てを目視確認して該鉄塔の正常異常をふるい分ける検査では、ボルトの出現しない検査の重要性の低い区間まで目視確認する必要があったため、長尺の映像を大量に検査する場合、検査員の負担は膨大であった。

以上のような点を鑑みて、本発明は、典型的には鉄塔におけるボルトのような、建造物の外観上に配置される検査対象部品を撮った検査画像を目視検査すべきかの重要度を求めることで検査負担を低減する検査補助装置及び方法を提供することを第一の目的とする。

また本発明は、建造物の外観上に配置される検査対象部品を撮った検査映像を再生する際に現在再生している箇所が目視検査すべき重要度の高い区間か否かを把握可能にすることで検査負担を低減する検査補助装置を提供することを第二の目的とする。

さらに本発明は、建造物の外観上に配置される検査対象部品を撮った検査映像より、目視検査すべき重要度の高い区間を優先的に再生することで検査負担を低減する検査補助装置を提供することを第三の目的とする。

上記目的を達成するため、本発明は、建造物に配置された検査対象部品の検査を補助する検査補助装置であって、前記検査対象部品が撮影された複数のサンプル画像より当該検査対象部品の特徴を学習する特徴学習部と、前記建造物が撮影された検査画像より、前記特徴学習部における学習結果に基づいて前記検査対象部品の存在する部分領域を検出する部品検出部と、前記検出された部分領域に基づいて、前記建造物における前記検査画像に対応する箇所を検査すべき必要性を表す重要度を算出する重要度算出部とを備えることを第１の特徴とする。

また、前記重要度算出部が、前記検出された部分領域の数、前記検査画像における中心位置からの距離の逆数及び面積のうちの少なくとも１つに基づいて前記重要度を算出することを第２の特徴とする。

また、前記部品検出部は、前記検査画像として前記建造物の外観を連続的に走査して撮影された検査映像を所定のサンプリングレートで順次読み込んだ各々を採用し、当該各々につき部分領域を検出し、前記重要度算出部は前記検査映像に沿った時系列データとして前記重要度を算出することを第３の特徴とする。

また、前記検査映像を、前記時系列データとしての重要度のグラフと共に、当該グラフ上に現在再生位置を表示しながら再生する同期再生部をさらに備えることを第４の特徴とする。

また、前記時系列データとして算出された重要度において所定の閾値条件を満たす区間を重要区間として決定する重要区間決定部をさらに備え、前記同期再生部は前記グラフ上に前記決定された重要区間を表示しながら再生することを第５の特徴とする。

また、前記重要区間決定部が、前記時系列データとして算出された重要度において第一の閾値を上回る位置を重要区間の開始位置となし、第二の閾値を下回る位置を重要区間の終了位置となすことで、重要区間を決定することを第６の特徴とする。

また、前記第一の閾値が前記第二の閾値よりも大きいことを第７の特徴とする。

また、前記重要区間決定部が、前記重要区間の内部において、重要度の値が前記第一の閾値と前記第二の閾値との中間の第三の閾値以下となる区間の中から検査対象部品の集中箇所の移り変わる点としての遷移点を抽出する遷移点抽出部と、前記重要区間の内部において、重要度の値が極大となる点を検査対象部品の集中箇所を表すピーク点として抽出するピーク点抽出部と、の少なくとも１つを含むことを第８の特徴とする。

また、前記同期再生部による再生を前記重要区間に応じて制御する制御部をさらに備えることを第９の特徴とする。

また、前記制御部が、前記重要区間の開始位置及び終了位置のうちのいずれかへの再生位置の頭出しを、ユーザからの入力に従って行う頭出し部と、前記重要区間のみを順次再生するように制御する重要区間抽出部と、前記重要区間の再生速度に対してそれ以外の区間の再生速度を速く設定して再生を制御する速度変更部と、前記重要区間又はそれ以外の区間におけるユーザからの指定位置を前記グラフ上で明示すると共に、当該明示箇所にユーザから入力されたメモ情報を付記表示して再生を制御するメモ付与部と、前記重要区間をユーザからの入力に従って修正する修正部と、のうちの少なくとも１つを含むことを第１０の特徴とする。

また、前記重要区間抽出部又は前記速度変更部による制御のもとでの再生映像の符号化データを生成する符号化部をさらに備えることを第１１の特徴とする。

また、前記制御部が、前記同期再生部によって現在再生されている画面を静止画としてキャプチャする指定をユーザから受け付けるキャプチャ指定部を含み、さらに、当該指定に従って当該現在再生されている画面の静止画の符号化データを生成するフレームキャプチャ部を備えることを第１２の特徴とする。

また、前記建造物が鉄塔を含み、前記検査対象部品が当該鉄塔を固定するボルトであることを第１３の特徴とする。

さらに、前記部品検出部が、前記部分領域をボルトが含まれる矩形又は円形の領域として検出することを第１４の特徴とする。

また上記目的を達成するため、本発明は、建造物に配置された検査対象部品の検査を補助する検査補助方法であって、前記検査対象部品が撮影された複数のサンプル画像より当該検査対象部品の特徴を学習する特徴学習ステップと、前記建造物が撮影された検査画像より、前記特徴学習ステップにおける学習結果に基づいて前記検査対象部品の存在する部分領域を検出する部品検出ステップと、前記検出された部分領域に基づいて、前記建造物における前記検査画像に対応する箇所を検査すべき必要性を表す重要度を算出する重要度算出ステップとを備えることを第１５の特徴とする。

前記第１又は第１５の特徴によれば、検査画像より検査対象部品に対応する部分領域の抽出結果に基づいて重要度を求めることで、当該検査画像を目視検査の対象とすべきかの指標が得られる。よって第一の目的が達成される。

前記第２の特徴によれば、部分領域の数、その検査画像における中心位置からの距離の逆数又は面積のうちの少なくとも１つに基づいて重要度が算出されるので、検査画像に実際に検査対象部品が写っているか、さらにまたその注目度合いはどうか、といった検査の実情に即した重要度が求まる。

前記第３の特徴によれば、検査映像における所定サンプリングレートの各々のフレームの重要度を時系列として求めることができる。

前記第４の特徴によれば、重要度の時系列グラフ上に再生位置を表示しながら検査映像が再生されるので、本発明の検査補助装置を利用するユーザは、検査映像において検査の必要性が高いシーンを視覚的かつ直観的に容易に把握ができるようになる。

前記第５の特徴によれば、重要度の時系列グラフ上にさらに閾値条件から定まる重要区間であるかの区別が表示されるので前記第二の目的が達成されると共に、グラフ上に再生位置を表示しながら検査映像が再生されるので、検査映像において検査の必要性が高いシーンをユーザがより一層容易に把握できるようになる。

前記第６の特徴によれば、重要区間を定めるのに開始位置に対する第一の閾値と終了位置に対する第二の閾値を利用することで、重要度時系列の特性に沿った重要区間を定めることができる。

前記第７の特徴によれば、第一の閾値を第二の閾値よりも大きく設定することで、偶発的に検査対象部品が検出できず取りこぼし、本来重要区間であるべき箇所において重要度の値が低減した場合でも、その影響を低減し、検査の必要性が高いと考えられる重要区間をより高精度に抽出できるようになる。

前記第８の特徴によれば、重要区間内において検査対象部品の集中箇所及び／又は当該集中箇所が遷移する箇所を抽出して、ユーザが重要区間内をより詳細に調べるのを容易にすることができる。

前記第９の特徴によれば、重要区間に即した再生制御を行うことで、ユーザによる目視検査の効率化を達成することができる。

前記第１０の特徴によれば、各部のそれぞれの制御機能によって、ユーザによる目視検査の効率化が達成される。特に、重要区間抽出部によれば重要区間のみが順次再生され、速度変更部によれば重要区間以外の区間が重要区間よりも速く再生されるので、検査の必要性の高いシーンを優先的に再生するという制御が達成され、第三の目的が達成される。

前記第１１の特徴によれば、いわば要約映像としての、検査の必要性の高いシーンを優先的に再生した映像の符号化データを得ることができる。

前記第１２の特徴によれば、検査映像においてユーザの所望箇所のキャプチャ画像の符号化データを得ることができる。

前記第１３の特徴によれば、鉄塔におけるボルトの目視検査を補助することができるようになる。

前記第１４の特徴によれば、ボルトに対応する部分領域を矩形又は円形の領域として抽出することで、複雑な情報を必要とせず数種類のパラメータのみで部分領域を特定できるので、重要度も簡素に算出することができる。

本発明における鉄塔映像の撮影手順の一例を説明するための図である。 本発明の一実施形態に係る検査補助装置の機能ブロック図である。 図２の各機能ブロックの処理を説明するための図である。 重要区間決定に利用する、開始位置及び終了位置のそれぞれの判定閾値を説明するための図である。 重要区間決定部において付随的な役割を担う機能ブロック図である。 遷移点抽出部及びピーク点抽出部の動作を説明する図である。 メモ付与部の利用例を説明する図である。 従来技術を説明する図である。 従来技術を説明する図である。

図1は、本発明において解析対象となる鉄塔映像の撮影手順の一例を説明するための図である。(A)は鉄塔T1を正面から見た一部分の一例であり、各種の構造に即して建造された鉄塔T1を構成する柱状等の部材(骨組み等)同士を固定するボルト(不図示)が、検査対象となる。

(B)を参照して撮影手順の一例を説明する。作業員W1は、鉄塔T1(ここでは部材構造は不図示)の正面P1に面する位置L1よりカメラC1を用いて、概ね矢印(1)のように正面P1を下部より上部まで連続的に走査して撮影する。当該走査撮影は正面P1の横幅部分が映像内に全て収まるようにして行ってもよいし、正面P1に存在する鉄塔の柱ごとに行ってもよい。

次に作業員W1は右側面P2に面する位置L2に移って、同じく矢印(2)のように右側面P2を走査して連続撮影する。次に作業員W1は背面P3に面する位置L3に移って、同じく背面P3を連続撮影(不図示)し、さらに左側面P4に面する位置L4に移って、同じく左側面P4を連続撮影(不図示)する。

こうして、同じ部材に取り付けられたボルト同士であっても各ボルトを観測可能な向きは様々であるので、L1〜L4のような各種の位置から撮影することによって鉄塔T1の検査対象のボルトを可能な限り全て撮影する。

なお、(B)に示すのは一例である。L1〜L4の移動順は任意であってよい。各面P1〜P4を個別に撮影しなくともよく、例えば場所L1において正面P1と背面P4との焦点合わせを行き来しながら撮影してもよい。鉄塔T1は四角状でなく円状などであってもよい。連続走査の撮影は(1)や(2)に示すような直線状でなく、(A)に示すような部材構造を追いながらジグザク状であってもよく、向きも下部から上部の向き以外の任意の向き乃至順によって撮影してよい。

L1〜L4以外の任意位置から撮影してもよく、例えば鉄塔内部からでないと撮影できないボルトがあれば、鉄塔内部からも撮影する。L1〜L4のような固定位置において撮影するのではなく、移動しながら撮影してもよい。正面P1の撮影から右側面P2の撮影に移る際に、撮影を一時停止してもよいし、停止させずに鉄塔T1以外の箇所を含む任意の箇所が写っていてもよい。カメラC1は作業員W1が手で保持してもよいし、三脚等に固定してもよい。

このように、鉄塔映像の撮影手順に特段の制約はなく、検査対象のボルトが撮影されるように適宜撮影位置を変えながら鉄塔の外観を概ね連続的乃至断続的に走査すればよい。ただし、好ましくは作業員W1は、ボルトが写っている箇所の撮影の際には走査の速度を減ずる又は一時停止すると共に、ボルトを中心として映像を拡大するようにする。また、同様の映像を遠隔操作のカメラ等で撮影してもよい。

本発明における鉄塔映像の撮影はこのように自由度の高いものであるため、その撮影の負担が比較的少なく且つ鉄塔自体に何らの追加作業を施す必要もない代わりに、検査対象のボルト以外の映像区間もランダム且つ相当割合で含まれることとなる。当該映像をそのまま検査員の目視検査に供すると、検査員に過大な確認負担が生ずることとなるが、以下説明するように本発明によって当該負担は顕著に低減される。

図２は本発明の一実施形態に係る検査補助装置の機能ブロックであり、図３は当該各機能ブロックによる処理を(1)〜(6)として説明するための図である。検査補助装置1は、サンプリング部2、部品検出部3、特徴学習部30、重要度算出部4、重要区間決定部5、制御部6、同期再生部7、符号化部8及びフレームキャプチャ部9を備える。制御部6は、頭出し部61、重要区間抽出部62、速度変更部63、メモ付与部64、修正部65及びキャプチャ指定部66を含む。図1で説明したような手法によって用意され、図3の(1)に概念的に示される検査映像は、サンプリング部2へ入力される。

サンプリング部2は検査映像を予めユーザ設定等として設定されたサンプリングレートでフレームメモリにキャプチャし、静止画像フレームとして順次抽出して部品検出部3、同期再生部7及び符号化部8に渡す。例えば、サンプリングレートは1fps(1秒間に1フレーム)に設定する。図3の(2)に示すような当該静止画像フレームの各々を、検査映像より抽出された画像との意味を込めて検査画像と呼ぶこととする。サンプリング部2はまた、検査画像が元の検査映像の時系列上にて何番目のフレームであるかの情報を紐付けることで、検査画像同士の順序関係も把握できるようにする。

部品検出部3は、検査画像内において検査対象部品としてのボルトが含まれる部分領域を検出し、その結果を重要度算出部4に渡す。当該検出する際には、部分領域の形状を矩形又は円として検出する。矩形領域の場合は中心位置のx座標、y座標および幅、高さの4パラメータで、また円領域の場合は中心位置のx、y座標および半径rの3パラメータで一意に決定することで、部分領域の検出結果を非常に簡素な情報として扱うことができる。以下、図3の(3)に検出結果の例が示されるような、矩形領域を扱う場合について説明する。

特徴学習部30では予め所定の種類の識別器を、ボルトが識別可能となるように複数のサンプル画像を用いて学習しておく。部品検出部3は当該学習した識別器を用いることで、ボルトに対応する上記説明した部分領域を検出する。当該ボルト検出のための識別器には、既存の顔検出技術を利用することができる。例えば、非特許文献1に代表される顔検出装置を利用した場合について、以下説明する。

[非特許文献１]Paul Viola, Michael Jones, "Robust Real-time Object Detection", Second International Workshop on Statistical and Computational Theories of Vision - Modeling, Learning, Computing, and Sampling, 2001.

上記非特許文献1では、あらかじめ大量に顔が含まれる画像を準備し(所定数準備し)、顔の含まれる領域内の輝度信号をHaar-like特徴量に変換して、黒目は周辺の白目部分と比較して輝度信号が小さい、眉に対して頬の輝度信号が高い、といった顔画像に共通する輝度信号の大小関係をAdaboostと呼ばれる機械学習手法で学習し、顔画像に共通する判定規則が記述されたAdaboost識別器を生成する。

新たに入力された画像内で顔を検出する際は、特定の矩形を左から右方向、上から下方向のラスタースキャン順に移動させ、各移動先の矩形内の輝度信号をHaar-like特徴量に変換し、あらかじめ生成したAdaboost識別器に記述された判定規則を満たしているかどうかで、人物の顔が含まれるか否かが判定される。

なお部分領域を円として検出する場合には、上記矩形の代わりに円を移動させながら同様にすればよい。

本発明では、検出対象を顔ではなく、ボルトとし、あらかじめ大量のボルト画像をサンプル画像として準備して、ボルトの含まれる矩形領域内の輝度信号を学習させて識別器を生成する。なお、識別器としては上記Adaboostの他にも、SVM(サポートベクトルマシン)等を採用してもよい。

重要度算出部4は、ボルト検出結果から検査員による目視での検査の必要性の高さを表した重要度を各フレーム単位(順序付けられた各検査対象画像単位)で算出し、重要区間決定部5及び同期再生部7に渡す。図3の(4)に当該時系列データとしての重要度の例を示す。

重要度は、（１）画像内で検出されたボルトの数が多い程、また（２）検出されたボルトが大きい程、さらに（３）検出されたボルトが画像中心に存在するほど、大きな値を出力するように設定することができる。

鉄塔の骨組みはボルトとナットで挟み込むようにして固定されるが、鉄塔の骨組み同士を1か所で固定するために、数本〜数十本のボルトが用いられる。つまり、映像内でボルトがある程度の数で集中して出現することが多い。これが、ボルトの数を重視する理由である。

また、先述の通り、鉄塔のビデオ撮影は、骨組みに沿ってカメラを動かしながらボルトが出現する箇所を順次撮影する。その際、検査に耐えうるレベルでボルトの詳細な状態を映像に収めるために、作業員はボルトが画面中央に大きく写るように撮影する。このため、検出されたボルトの面積とその検出位置が中心に在ることを重視する理由である。

t番目の静止画像フレームの幅をOw、高さをOh、静止画像フレーム内で検出されたi番目の矩形の中心のxおよびy座標をそれぞれRx(i)、Ry(i)、矩形の幅をRw(i)、高さを Rh(i)とすると、重要度S(t)は検出されたボルトの数N、面積M(i)、中心からの距離D(i)の逆数で次の通り定義できる[(式1)〜(式3)]。αは重要度S(t)への面積M(i)の寄与と距離D(i)の寄与とのバランス調整のための重みであり、正の実数値を設定する。例えば、α=1.0を設定する。αが大きいほど距離D(i)の寄与が大きく、αが小さいほど面積M(i)の寄与が大きくなる。

一般にボルト検出の検出性能は完全ではないため、検出ミス（ボルトがあるのに検出できない誤り）や過剰検出（ボルトではないのに検出されてしまう誤り）が生じうる。重要度S(t)の値が大きいほどボルトが含まれる可能性が高く、検査の必要性の高いフレームと考えるが、フレーム間の重要度S(t)の大小関係が実際のボルトの出現状況とかい離する場合もありうる。

重要区間決定部5は前述の重要度算出部4によって算出された重要度が指定されたしきい値を上回るフレーム(検査画像)を特定し、特に連続してしきい値を上回る区間を検査の必要性が高いと考えられる重要区間に決定して、当該決定情報を制御部6及び同期再生部7に渡す。図3の(5)に、(4)の重要度時系列に対して決定された複数の重要区間の例を順次、重要区間S1〜S9として示す。

ここで、開始位置判定用しきい値Tsおよび終了位置判定用しきい値Teを設け、しきい値を超えるまたは下回る重要度を示した位置を、それぞれ重要区間の開始位置および終了位置と判定する。しきい値TsおよびTeは最適な結果が得られるよう実験により決定するが、一般的には図4に示すように、Tsの方がTeよりも大きくなるような所定値とするのが好ましい。

すなわち、図4ではTs＞Teと設定した際のある１つの重要区間S10が示されているが、仮にTeを当該設定から変更してTsの値と等しくなるまで増加させて設定したとすると、重要区間S10は少なくとも区間R10の部分で途切れて前後に分断されてしまうこととなる。当該区間R10は本来的には重要区間ではあるが、誤検出によるばらつき等によって一時的に重要度がTsよりも下がっている区間である可能性が高いため、このようにTe=Tsと設定することによって途切れることは好ましくない。しかしTs＞Teと設定すれば、このような事態を避けることができる。

同期再生部7は検査映像を再生して、検査員としてのユーザの目視検査に供する。具体的には、サンプリング部2にてキャプチャされた静止フレーム画像を時間順に再生して表示する。この際、重要度算出部4からの重要度時系列データ及び／又は重要区間決定部5からの重要区間の情報に基づいて検査映像に付随情報を付加表示すると共に、制御部6からの各種の再生制御情報等に基づいて再生を制御しながら、表示を行う。

すなわち、検査映像の画面と合わせて、重要度算出部4にて算出された重要度を時系列で補助的にグラフ表示する。検査映像の現在再生位置を時系列グラフ上に同期を取って表示することで、ビデオ撮影された鉄塔映像内で検査の必要性が高いシーンの視覚的かつ直観的な把握をユーザが容易に行えるようになる。

さらにまた、重要度時系列グラフ上に重要区間決定部5にて決定された重要区間に相当する場所を視覚的に印を付けて表示する。これもまた、ビデオ撮影された鉄塔映像内で検査の必要性が高いシーンの視覚的かつ直観的な把握を容易にする。

図3の(6)にはこのように再生される検査画面の例が示されている。すなわち、時系列に沿って再生される検査映像の当該再生時点における映像F1と、重要度の時系列グラフ上にさらに重要区間を色分けする等して視覚上区別可能に表示したグラフG1と、当該グラフG1上において当該再生時点を示すシークバーB1とを含んで検査画面P10が構成されている。

グラフG1は映像F1と別位置ではなく映像F1上の端部に重ねて表示する等、その他所望の表示構成を採用することができる。グラフG1より重要度時系列情報を省略して、現在再生位置が重要区間か否かのみの簡素な構成のグラフとしてもよい。またグラフG1より重要区間の情報を省略して、重要度時系列のみで構成されるグラフとしてもよい。

図5は重要区間決定部5における付随的な役割を担う機能ブロック図である。重要区間決定部5は遷移点抽出部51及びピーク点抽出部52を含む。図6は当該各部の動作を説明するための図である。図6では図4で説明したのと同様に、重要区間決定部5が開始位置判定閾値Ts及び終了位置判定閾値Teを利用して決定した重要区間のうちの１つとして点P12で開始され点P13で終了する区間S11が示されている。

遷移点抽出部51は各々の重要区間内より、検査映像においてあるひとかたまりのボルト設置箇所から別のひとかたまりのボルト設置箇所へと映像が遷移する途中であって、且つ当該両者のかたまりのボルト設置箇所が例えばそれぞれ画像内の両端等に部分的に写っている等と想定される点としての、遷移点を抽出する。なお遷移点は抽出できない場合もあれば、１つの重要区間から１つ以上抽出される場合もある。

具体的には、開始及び終了位置判定閾値Ts及びTeに対して、図6に示すようにTs＞Tm＞Teの範囲に値を有する所定の遷移点抽出閾値Tmを予め設定しておく。遷移点抽出部51はまず、重要区間内から重要度が当該閾値Tm以下となる区間を遷移区間として抽出する。この際、重要区間の終了位置を含む区間は除外して抽出する。図6では重要区間S11より１つの遷移区間R11が抽出されているが、抽出できない場合や２つ以上抽出される場合もある。

遷移点抽出部51はさらに、遷移区間内の最小重要度の点(又は極小値の点)を、遷移点として抽出する。

図6では遷移区間R11より遷移点P11が抽出されている。また、最小値の代わりに、遷移区間内の中点などを遷移点としてもよい。なおまた、閾値Tmによる遷移区間抽出を省略して、重要区間内の極小値の点を遷移点として採用してもよい。

ピーク点抽出部52は各々の重要区間より、ピーク点すなわち重要度が極大値を取る点を抽出する。図6の例であれば、区間S11より2つのピーク点P22及びP23が抽出される。ピーク点は極大値の点として定義したことより明らかなように、当該箇所の検査画像がボルトが顕著に集中して撮影されている画像である可能性が高い点となる。なお、ピーク点は重要区間内の極大値であってさらに、重要度の値が重要区間開始閾値Tsより大きいという条件を満たすものとして抽出してもよい。

以上のように遷移点及びピーク点は共に、検査映像において検査対象部品の集中箇所に近づき当該集中箇所を注視するような映像になるほど、本発明にて定義した重要度が大きくなるという特性を利用している。なお、偶発的な検査対象部品の取りこぼし及び／又は誤検出による重要度のノイズ的な変動の影響を除外し、適切な極値等を抽出するため、遷移点抽出部51及び／又はピーク点抽出部52を利用する際には、各重要区間内で前処理として重要度時系列にローパスフィルタを施してから上記説明した処理を適用するようにしてもよい。

なお、遷移点抽出部51及び／又はピーク点抽出部52を利用する場合には、それぞれ遷移点及び／又はピーク点の情報が重要区間の情報に付与された上で制御部6及び同期再生部7に渡される。こうして同期再生部7にてユーザに提供される検査画面上にも、遷移点及び／又はピーク点の情報が付与される。例えば図3の(6)におけるグラフG1上にさらに、遷移点及び／又はピーク点が表示されるようになる。

制御部6は、検査員の操作すなわちユーザ入力に従う再生制御信号を生成して同期再生部7に送信して再生を制御することで、検査員が検査映像内の所望の位置を効率的に検査できるようにする。検査員の負担を軽減するための典型的な制御としては例えば、鉄塔内で特に異常が発生しやすいと考えられているボルト周辺が撮影された時間帯だけを提示し、それ以外の異常の発生しにくい部分が撮影された時間帯は早送りまたはスキップすることが挙げられる。

上記のような制御は検査員のマニュアル操作によって実現することができる。この際、入力インタフェースとしては図2に不図示の制御部7に含まれ且つコンピュータとして構成される検査補助装置1に備わるキーボード、マウス等を利用することができる。当該インタフェースを利用して、シークバー上で現在位置を表示するバーをドラッグアンドドロップすることによって任意の位置で再生させることができる。

当該マニュアル制御の際に、現在再生位置が検査すべき箇所であるか否かは、図3の(6)に示したような検査画面における重要度及び／又は重要区間の情報を参照して把握することができる。当該(6)におけるシークバーB1を再生位置制御用に兼用してもよい。再生位置の制御の他に、再生速度（速度ゼロすなわち一時停止を含む）、再生向き（順方向再生又は逆方向再生）等もユーザからのマニュアル入力によって制御することができる。

頭出し部61は、各重要区間の開始箇所及び終了箇所を予め記憶しておき、当該開始箇所又は終了箇所の中からユーザが指定した箇所へと現在再生位置をスキップさせるような制御、すなわち頭出し制御を行う。ユーザがある重要区間を再度確認したいような場合に、当該頭出し部61を利用することでスムーズに作業を行うことができる。

当該ユーザ指定には、図3の(6)におけるグラフG1に追記された重要区間の両端の中から所望の箇所をGUI(グラフィカルユーザインタフェース)上で直接指定するような方式を採用することができる。終了箇所へスキップした際は、ユーザは続けて逆方向再生を指定することもできる。

なおまた遷移点及び／又はピーク点を抽出した場合は、頭出し部61はこれらの点についても同様にユーザ指定によって頭出しできるようにする。検査員たるユーザはピーク点付近を集中して検査し、また遷移点を補助的な区切り箇所として適宜活用する等して、作業効率を向上させることができる。遷移点及びピーク点を抽出した場合、図6の例であれば区間P12〜P11と区間P11〜P13とを検査対象部品の別個の集中箇所に対応するとの想定のもとに区別して、各区間の端点及びピーク点P22とP23とに適宜頭出し移動しながら効率的に作業することができる。

また、ユーザの逐次操作を必要としない、自動再生制御も可能である。重要区間抽出部62は、検査映像から重要区間のみを順次抽出して再生させるように制御を行う。こうして、重要区間のみを再生し、それ以外の区間は再生しないことによって、元の検査映像よりも短い再生時間で検査が可能となる。

また、速度変更部63は、重要区間は通常速度で再生するが、それ以外の区間では一定間隔でフレームを間引くことによって通常よりも早い速度でスキップ再生するように制御を行う。速度変更部63による制御は重要区間抽出部62による制御と比べて、検査の必要性が高くないと判定された区間まで視認できるため、重要区間決定部5における判定の正当性まで確認できるという利点がある。

重要区間抽出部62又は速度変更部63を利用する場合は、ユーザは最初に当該各部を利用する旨の指定を行えばよいが、この場合もさらに一時停止、再生位置変更等のマニュアル操作を追加で加えるようにしてもよい。

さらにまた、再生位置・速度等の制御以外にも、再生表示等においてユーザによる編集等を反映させる制御も可能である。メモ付与部64は、ユーザの入力する作業メモ等の情報を受け付けて、図3の(6)に示すような検査画面上に付随情報として表示する。例えば各重要区間を目視検査済みか、各重要区間が鉄塔のいずれの箇所に対応するか、目視検査の結果正常であった旨の情報あるいは判明した不具合を特定する情報や、重要区間以外で検査すべき箇所を見つけた旨の情報を、(6)のグラフ上の所望箇所(特に当該メモを付与するべき時間軸上の位置)に付随表記する。当該付随表記によりユーザの作業効率が向上される。メモ情報はテキスト、チェックマーク等の記号その他所望の形式又はその組合せで構成することができる。

図7は当該メモ付与部64を介したユーザのメモ入力の例である。すなわち、重要区間が追記された重要度時系列グラフ上に、ユーザ入力のメモ情報の例M1〜M4が示されている。メモM1は重要区間S1とS2との間の非重要区間にボルトを見つけた旨を、メモM2は重要区間S4が鉄塔の柱Aに対応して目視による検査結果が正常であった旨を、メモM3は重要区間S6が柱Bに対応してボルト落ちを発見した旨を、メモM4は重要区間S9が柱Cに対応して亀裂があった旨を、それぞれ時間軸上の所定位置に表している。なお図7では、図3の(6)にてF1として示したような検査映像の部分は省略しており、ユーザには当該(6)におけるグラフG1を当該図7の表示にて置き換えた検査画面が提供される。

修正部65は、ユーザからのマニュアル入力に従って重要区間の移動・拡張・縮小・追加・削除等の修正を行い、当該修正後の重要区間に対して以上説明した制御部6による制御下での検査映像再生を可能とする。当該修正の際もユーザは、(6)に示したグラフにおける重要区間の端部等を直接ドラッグする等すればよい。遷移点及び／又はピーク点を抽出している場合は、これらの点についても同様に移動・追加・削除等の修正を可能とする。ユーザは修正部65で重要区間その他の必要箇所を修正した後に、例えば頭出し部61等を利用して効率的に作業することができる。

キャプチャ指定部66は、ユーザが当該制御部6のその他の各部を利用した制御下で同期再生部7にて再生(一時停止状態を含む)されている現在画面を静止画としてキャプチャさせる指定を、当該ユーザから受け付ける。さらに、キャプチャ指定部66はユーザからのキャプチャ指定を受け取ると、フレームキャプチャ部9に対して当該現在画面の静止画をJPEG等の符号化データとして生成させる。

この際フレームキャプチャ部9は、ユーザからの指定に従って、図3の(6)においてP10として示される検査画面の全体を静止画として生成してもよいし、F1として示される検査画像のみを静止画として生成してもよく、同期再生部7よりユーザ指定の静止画データを受け取って符号化する。

検査員たるユーザは例えば鉄塔検査の報告書を作成する際などに、キャプチャ指定部66を利用して不具合等の存在する所望箇所を指定することで、報告すべき不具合箇所等のキャプチャ画像データをフレームキャプチャ部9より容易に入手することができ、不具合箇所の写真を貼り付けて当該不具合を文章で説明することができるようになる。またその他の関連業務についても同様に、効率化を図ることができるようになる。なお、キャプチャ指定部66のインタフェースも図3の(6)における検査画面上等に、キャプチャ指定用のボタン等のGUIとして構成することができ、ユーザは現在画面を把握しながらキャプチャ指定を入力ことができる。

符号化部8は、複数の静止画フレームから動画映像の符号化データを生成する。ここで、非特許文献2〜4等に開示され公知の映像符号化方法であるMPEG-2、MPEG-4やH.264等を用いることができる。

[非特許文献2] ISO/IEC 13818-2:2000, Information technology -- Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s - Video

[非特許文献3] ISO/IEC 14496-2:2004, Information technology -- Coding of audio-visual objects‐ Part 2: Visual

[非特許文献4] ITU-T H.264, Telecommunication Standardization Sector of ITU, Series H: Audio Visual and Multimedia Systems, Infrastructure of audiovisual services - Coding of moving video, Advanced video coding for generic audiovisual services

符号化部8にはサンプリング部2にてキャプチャされた静止画像フレームが送られてくる。同時に、検査の必要性が高いと判定された重要区間の開始位置および終了位置の情報も制御部6から受け、同記再生部7にて再生される検査映像の符号化データを生成する。この際、ユーザが頭出し部61等を用いて再生位置等がマニュアル操作されている映像の符号化データを生成することもできるが、サンプリング部2に入力される検査映像に対する好ましい要約映像としての符号化データは、重要区間抽出部62又は速度変更部63によって自動再生される映像から生成することができる。

すなわち、重要区間抽出部62の制御下では、重要区間のみを符号化し、それ以外の区間は符号化しないことによって、元の検査映像よりも尺の短い要約映像を作成することができる。また、速度変更部63の制御下では、重要区間は通常再生速度で符号化するが、それ以外の区間では一定間隔でフレームを間引くことによって再生時に通常よりも早い速度でスキップ再生される要約映像を生成することができる。後者の要約映像は、検査の必要性が高くないと判定された区間まで視認できるため、重要区間決定部5における判定の正当性まで確認できるという利点がある。

撮影した作業員等が検査補助装置1を利用することで、予め検査映像より当該要約映像の符号化データを生成しておいて検査員に渡せば、検査員自身が検査補助装置1を直接利用できない場合であっても、検査員は市販されるような通常の復号再生装置を利用して本発明の利益にあずかることができる。

以上のように、本発明の検査補助装置1によれば、事前にビデオ撮影された鉄塔の映像を検査員が再生し、目視確認により該鉄塔を正常異常にふるい分けるための検査において、時系列上の重要度の情報を提供することによって検査員の検査負担を軽減することが可能となる。

以上説明した一実施形態を前提として以下、本発明の種々の実施形態を説明する。これらを適宜組合せた実施形態も可能である。

一実施形態では、検査補助装置1は部品検出部3、特徴学習部30、重要度算出部4のみを備えて構成される。この場合、検査映像の各フレームに対応する検査画像の一枚一枚を検査補助装置1は入力として受け取り、当該単一の検査画像を目視検査対象とすべきかの重要度を出力することとなる。

一実施形態ではサンプリング部2は省略され、検査映像において設定されている所定のサンプリングレートのままで検査画面が再生され要約映像が生成されることとなる。あるいは同様に、検査映像自体を予め所望のサンプリングレートで用意しておいてもよい。

一実施形態では重要区間決定部5は省略され、検査画面及び要約映像には重要区間は表示されず、制御部6における重要区間の存在を前提とした制御は省略される。

一実施形態では検査対象は鉄塔に限らず建造物一般であり、また、目視検査の対象はボルトに限らず当該建造物の外観上に配置される所定種類の部品(検査対象部品)である。この場合、検査映像は図1での説明と概ね同様に当該建造物の外観を連続的乃至断続的に走査して撮影され、特徴学習部30は当該検査対象部品につき識別器を構築し、部品検出部3は当該識別器を利用する。

一実施形態では同期再生部7及び／又は符号化部8における検査画面及び／又は要約映像は、部品検出部3において検査対象部品を部分領域として検出した際の矩形又は円を当該部分領域の位置に、検出した検査対象部品を囲むようにして表示するようにしてもよい。この場合、図2には矢印として不図示の流れによって、部品検出部3から部分領域の位置の情報が同期再生部7及び／又は符号化部8へと渡される。当該表示を適用する場合、検査画面は例えば図3の(6)のF1を(3)に置き換えたような構成となる。

一実施形態では重要度S(t)を(式1)よりもさらに簡素に定義してもよい。すなわち、ボルト数のみでS(t)＝Nと定義する、面積のみでS(t)＝M(i)[i=1,..., N]の平均と定義する、距離のみでS(t)＝1/{1+D(i)}[i=1,...,N]の平均(逆数の平均)と定義する、(式1)においてM(i)又はD(i)を定数に置き換える、等を採用してもよく、一般には重要度はボルト数、中心からの距離及び面積のうちの少なくとも１つに基づいて定めることができる。

1…検査補助装置、2…サンプリング部、3…部品検出部、30…特徴学習部、4…重要度算出部、5…重要区間決定部、6…制御部、7…同期再生部、8…符号化部、9…フレームキャプチャ部、51…遷移点抽出部、52…ピーク点抽出部、61…頭出し部、62…重要区間抽出部、63…速度変更部、64…メモ付与部、65…修正部、66…キャプチャ指定部

Claims (13)

1. 建造物に配置された検査対象部品の検査を補助する検査補助装置であって、
   前記検査対象部品が撮影された複数のサンプル画像より当該検査対象部品の特徴を学習する特徴学習部と、
   前記建造物が撮影された検査画像より、前記特徴学習部における学習結果に基づいて前記検査対象部品の存在する部分領域を検出する部品検出部と、
   前記検出された部分領域に基づいて、前記建造物における前記検査画像に対応する箇所を検査すべき必要性を表す重要度を算出する重要度算出部とを備え、
   前記部品検出部は、前記検査画像として前記建造物の外観を連続的に走査して撮影された検査映像を所定のサンプリングレートで順次読み込んだ各々を採用し、当該各々につき部分領域を検出し、
   前記重要度算出部は前記検査映像に沿った時系列データとして前記重要度を算出し、
   前記検査映像を、前記時系列データとしての重要度のグラフと共に、当該グラフ上に現在再生位置を表示しながら再生する同期再生部をさらに備えることを特徴とする検査補助装置。
2. 前記重要度算出部が、前記検出された部分領域の数、前記検査画像における中心位置からの距離の逆数及び面積のうちの少なくとも１つに基づいて前記重要度を算出することを特徴とする請求項１に記載の検査補助装置。
3. 前記時系列データとして算出された重要度において所定の閾値条件を満たす区間を重要区間として決定する重要区間決定部をさらに備え、
   前記同期再生部は前記グラフ上に前記決定された重要区間を表示しながら再生することを特徴とする請求項１または２に記載の検査補助装置。
4. 前記重要区間決定部が、前記時系列データとして算出された重要度において第一の閾値を上回る位置を重要区間の開始位置となし、第二の閾値を下回る位置を重要区間の終了位置となすことで、重要区間を決定することを特徴とする請求項３に記載の検査補助装置。
5. 前記第一の閾値が前記第二の閾値よりも大きいことを特徴とする請求項４に記載の検査補助装置。
6. 前記重要区間決定部が、
   前記重要区間の内部において、重要度の値が前記第一の閾値と前記第二の閾値との中間の第三の閾値以下となる区間の中から検査対象部品の集中箇所の移り変わる点としての遷移点を抽出する遷移点抽出部と、
   前記重要区間の内部において、重要度の値が極大となる点を検査対象部品の集中箇所を表すピーク点として抽出するピーク点抽出部と、の少なくとも１つを含むことを特徴とする請求項５に記載の検査補助装置。
7. 前記同期再生部による再生を前記重要区間に応じて制御する制御部をさらに備えることを特徴とする請求項３ないし６のいずれかに記載の検査補助装置。
8. 前記制御部が、
   前記重要区間の開始位置及び終了位置のうちのいずれかへの再生位置の頭出しを、ユーザからの入力に従って行う頭出し部と、
   前記重要区間のみを順次再生するように制御する重要区間抽出部と、
   前記重要区間の再生速度に対してそれ以外の区間の再生速度を速く設定して再生を制御する速度変更部と、
   前記重要区間又はそれ以外の区間におけるユーザからの指定位置を前記グラフ上で明示すると共に、当該明示箇所にユーザから入力されたメモ情報を付記表示して再生を制御するメモ付与部と、
   前記重要区間をユーザからの入力に従って修正する修正部と、のうちの少なくとも１つを含むことを特徴とする請求項７に記載の検査補助装置。
9. 前記重要区間抽出部又は前記速度変更部による制御のもとでの再生映像の符号化データを生成する符号化部をさらに備えることを特徴とする請求項８に記載の検査補助装置。
10. 前記制御部が、前記同期再生部によって現在再生されている画面を静止画としてキャプチャする指定をユーザから受け付けるキャプチャ指定部を含み、
    さらに、当該指定に従って当該現在再生されている画面の静止画の符号化データを生成するフレームキャプチャ部を備えることを特徴とする請求項７ないし９のいずれかに記載の検査補助装置。
11. 前記建造物が鉄塔を含み、前記検査対象部品が当該鉄塔を固定するボルトであることを特徴とする請求項１ないし１０のいずれかに記載の検査補助装置。
12. 前記部品検出部が、前記部分領域をボルトが含まれる矩形又は円形の領域として検出することを特徴とする請求項１１に記載の検査補助装置。
13. 建造物に配置された検査対象部品の検査を補助する検査補助方法であって、
    前記検査対象部品が撮影された複数のサンプル画像より当該検査対象部品の特徴を学習する特徴学習ステップと、
    前記建造物が撮影された検査画像より、前記特徴学習ステップにおける学習結果に基づいて前記検査対象部品の存在する部分領域を検出する部品検出ステップと、
    前記検出された部分領域に基づいて、前記建造物における前記検査画像に対応する箇所を検査すべき必要性を表す重要度を算出する重要度算出ステップとを備え、
    前記部品検出ステップでは、前記検査画像として前記建造物の外観を連続的に走査して撮影された検査映像を所定のサンプリングレートで順次読み込んだ各々を採用し、当該各々につき部分領域を検出し、
    前記重要度算出ステップでは前記検査映像に沿った時系列データとして前記重要度を算出し、
    前記検査映像を、前記時系列データとしての重要度のグラフと共に、当該グラフ上に現在再生位置を表示しながら再生する同期再生ステップをさらに備えることを特徴とする検査補助方法。