JP6960252B2 - 画像分析装置及び鉄道設備部品の保守管理方法 - Google Patents

Description

本発明は、画像の特徴量を分析する画像分析装置及びこの画像分析装置を用いた鉄道設備部品の保守管理方法に関する。

鉄道の線路には、鉄道車両の存在の有無を検出するため、レールを信号経路の一部とする軌道回路が設けられる。軌道回路には、鉄道車両の検知を行う信号電流をレールとの間で入出力する検知回路が含まれ、また、車両検知用の信号電流と帰線電流などの他の電流とを分離するためにインピーダンスボンドと呼ばれる回路又はフィルタ回路などが接続される。そして、これらの各回路とレールの部分の回路とを電気的に接続するために、レールの側面には「送着ボンド」と呼ばれる接続部が設けられる。接続部は、撚り線などの導線を銅テルミット溶接又はロウ付け等によりレールに固定した部位を指す。

軌道回路の接続部が破損、断線又は脱落すると、鉄道車両が線路上に存在するか正しく判断できなくなる。このため、従来、鉄道会社では、目視確認等によりレールに設けられた多数の接続部に異常がないか定期的な検査を行っている。

本発明に関連する技術として、従来、画像のＨＯＧ（Histograms of Oriented Gradients）と呼ばれる特徴量を計算して、様々な画像分析を行う技術がある。また、特許文献１には、２つの画像を複数の局所領域に分割し、各局所領域のＨＯＧを比較することで、２つの画像の類似度を判断する技術が開示されている。
ＨＯＧとは、画像の局所領域内の複数の輝度勾配ベクトルを勾配方向についてヒストグラム化した量である。詳細には、輝度勾配ベクトルには輝度勾配の大きさの情報と方向の情報とが含まれ、ＨＯＧは、輝度勾配ベクトルの大きさを勾配方向ごとに累積した量に相当する。ＨＯＧには、輝度勾配の大きさの情報が含まれるが、照明変動又は影の影響を受けにくい特徴量として知られている。

特開２０１１−９６０８１号公報

ここで、コンピュータの画像比較処理を利用することで、労力を削減しつつ、より正確に軌道回路の接続部の検査を実現する技術を考える。例えば、軌道回路の多数の接続部について定期的に画像を撮影し、同一の接続部について日数を隔てて撮影された複数の画像をコンピュータに比較させる。そして、多数の接続部の中から何等かの変化が生じている接続部を絞り込む。さらに、変化が生じている接続部について、検査員が詳細に検査を行い、修繕が必要か否かを判断する。このようなコンピュータの支援により、検査員が詳細に検査する接続部の数を大幅に減らすことができ、労力の削減が期待できる。

軌道回路の接続部は屋外にあることが多いため、同一の接続部を異なる日時に同じように撮影した場合でも、天候等の影響により撮影のたびに画像の輝度にバラツキが生じる。そこで、照明変動の影響を受けにくいＨＯＧを用いて画像比較を行うことで、輝度バラツキの影響を排除して接続部の変化の有無を検出できると期待された。

しかしながら、軌道回路の接続部の検査においては、小さな欠け、小さな亀裂、撚り線である導線の部分的な断裂、これらを誘発する導線の変位など、細かい変化を綿密かつ正確に検出する必要がある。一方、ＨＯＧは輝度バラツキの影響を削減することができるものの、その影響を完全に排除できるものでない。そのため、ＨＯＧを用いて画像比較を行った場合、接続部の細かい変化が輝度バラツキのノイズで隠されてしまい、接続部の細かい変化の有無を十分に検出できないことがあった。

このような問題を回避するため、輝度バラツキを補正する処理を行ってから、ＨＯＧを用いて画像比較を行うことが検討された。しかし、単に輝度の平均値を等しくするといった単純な処理ではＨＯＧに含まれる輝度バラツキの影響を大幅に削減することはできず、例えば画像の比較部分全体で輝度の度数分布を揃えるといった計算負荷の大きい処理が必要であると考えられた。しかしながら、軌道回路の接続部は多数あり画像比較を行う回数は膨大になるため、少しでも計算負荷を小さくしたいという要求があった。

本発明は、輝度変化の影響をＨＯＧよりも大幅に排除することができ、ＨＯＧのように画像の特徴が適切に反映される特徴量を、小さい負荷で計算できる画像分析装置を提供することを目的とする。また、本発明は、上記の画像分析装置を用いることで部品の保守管理の労力を大幅に低減できる鉄道設備部品の保守管理方法を提供することを目的とする。

本発明に係る画像分析装置は、上記目的を達成するため、
画像の局所領域の特徴量を計算する特徴量計算部を備え、
前記特徴量計算部は、
前記局所領域に含まれる複数の画素の各々について周囲の画素との間の輝度勾配から大きさの情報が除かれた勾配方向を計算する勾配方向計算部と、
前記複数の画素に対応してそれぞれ計算された複数の前記勾配方向を集計して勾配方向の度数分布を計算する分布計算部と、
を含み、
前記勾配方向の度数分布を前記局所領域の特徴量とすることを特徴とした。

この構成によれば、局所領域の特徴量として、輝度勾配から大きさの情報が除かれた勾配方向の度数分布が得られるので、画像の輝度変化の影響が大幅に排除された特徴量が得られる。さらに、この特徴量を計算するために、大きさの情報と方向の情報とを含んだ輝度勾配から大きさの情報を除いて度数分布を計算することで特徴量が得られるので、小さい負荷で特徴量を計算することができる。例えば輝度の度数分布を揃える補正演算後にＨＯＧの計算を行う場合と比較して、ＨＯＧよりも輝度変化の影響を排除できる特徴量を、ＨＯＧを計算するよりも小さい負荷で計算することができる。

ここで、本発明に係る画像分析装置は、
異常の有無を検査する対象である検査対象物が撮影された複数の画像を入力する画像入力部と、
前記複数の画像を比較する画像比較部とを更に備え、
前記画像比較部は、
前記複数の画像の各々について少なくとも前記検査対象物を含む部分を複数の局所領域に分割する画像分割部と、
前記特徴量計算部により計算された前記複数の局所領域の特徴量を前記複数の画像間で比較して前記検査対象物の変化を検出する変化検出部とを備えてもよい。

この構成によれば、複数の画像間に輝度バラツキがあっても輝度バラツキを除いた検査対象物の特徴量を計算し、特徴量の比較により検査対象物の変化を検出することができる。したがって、複数の画像間の輝度バラツキの影響を排除して、検査対象物の細かい変化を綿密かつ正確に検出することができる。

さらに、本発明に係る画像分析装置においては、
前記画像入力部には前記検査対象物が撮影された３つ以上の画像が入力され、
前記画像比較部は、前記３つ以上の画像のうち複数を比較基準、少なくとも１つを比較対象として、前記比較対象と前記複数の比較基準それぞれとの間で複数組の比較処理を行い、各組の前記比較処理において閾値以上の相違のある前記局所領域の前記特徴量の相違値の総和を変化量として計算し、
前記複数組の比較処理でそれぞれ得られた複数の前記変化量のうち所定の偏差から外れている変化量を除外し、残りの変化量に統計処理を行って最終的な変化量を取得し、
前記最終的な変化量に基づいて前記検査対象物の変化の有無を判断するようにしてもよい。

この構成によれば、複数の比較基準を用いて複数回の比較処理が行われ、これらの比較結果に基づいて検査対象物の変化の有無が判断される。したがって、例えば比較基準の一つに例外的な差異が含まれるような場合でも、この例外的な差異によって検査対象物の変化の有無の判断に誤りが生じることを抑制することができる。よって、より正確に変化の有無を検出できる。

さらに、本発明に係る画像分析装置は、
少なくとも前記変化検出部が前記特徴量の比較を行う前に、前記検査対象物の背景領域の少なくとも一部をマスクするマスク処理部を更に備えてもよい。
この構成によれば、マスクによって、検査対象物の領域に生じた変化を集中的に検出でき、さらに特徴量を計算する局所領域が減って計算負荷を低減できる。

また、本発明に係る鉄道設備部品の保守管理方法は、
上述の画像分析装置を用いて、鉄道のレールに接続された複数の部品の各々を保守管理する鉄道設備部品の保守管理方法であって、
前記レール上を走行する鉄道車両に搭載された撮影装置により、日数を隔てて複数回、前記複数の部品を前記検査対象物として撮影し、
前記画像分析装置が前記複数回の撮影により得られた複数の画像を比較して前記複数の部品の各々の変化を検出し、
前記複数の部品のうち、閾値以上の変化が検出された１つ又は複数の部品について修繕の要否を判定することを特徴とする。

この保守管理方法によれば鉄道のレールに接続された複数の部品について、鉄道車両から撮影した画像を用いて、日数を隔てた変化を緻密かつ正確に検出し、この検出結果から修繕の要否を判定すべき対象を絞ることができる。したがって、鉄道のレールに多数存在する部品の検査を、大幅な労力の削減を図りつつ、より厳密に行うことができる。

本発明の画像分析装置によれば、輝度変化の影響をＨＯＧよりも大幅に排除することができ、ＨＯＧのように画像の特徴が適切に反映できる特徴量を、小さい負荷で計算することができる。また、本発明の鉄道設備部品の保守管理方法によれば、画像分析装置を用いた検査対象物の変化の検出によって部品の保守管理の労力を大幅に低減することができる。

本発明の実施形態に係る画像分析装置及び撮影装置を示す構成図である。 検査対象物である軌道回路の接続部の一例を示す斜視図である。 撮影装置により得られる撮影画像の一例を示す図である。 保守管理処理の手順を示すフローチャートである。 検査対象物の位置検出処理を説明する図である。 図４のステップＳ６の画像比較処理の詳細な手順を示すフローチャートである。 図６のステップＳ１２の特徴量計算処理の詳細な手順を示すフローチャートである。 特徴量計算処理を説明する図である。 特徴量の比較処理を説明する図である。 マスク処理の効果を説明する図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の実施形態に係る画像分析装置及び撮影装置を示す構成図である。図２は、検査対象物である軌道回路の接続部の一例を示す斜視図である。
実施形態に係る画像分析装置１は、日数を隔てて複数回撮影された検査対象物Ｔ（図２を参照）の画像を比較し、検査対象物Ｔの変化の有無を検出する装置である。画像分析装置１は、コンピュータであり、ＣＰＵ（Central Processing Unit）１０、ＲＡＭ（Random Access Memory）１１、表示部１２、マウス又はキーボード等の操作部１３、データ入力用のインタフェース１４及び記憶装置１５を備える。インタフェース１４は、本発明に係る画像入力部の一例に相当する。

記憶装置１５には、検査対象物Ｔの撮影データが格納される撮影データ格納部１５１と、過去に計算された画像の特徴量が格納される特徴量格納部１５２とが設けられる。また、記憶装置１５には、検査対象物Ｔを検出するために多数の検査対象物Ｔの画像パターンが格納されたテンプレート記憶部１５３が設けられる。さらに、記憶装置１５には、検査対象物Ｔの変化の有無を検出する処理を実現する複数のプログラムモジュールが格納されている。これらのプログラムには、位置検出プログラム１５４、概略位置合わせプログラム１５５、詳細位置合わせプログラム１５６、特徴量計算プログラム１５７、画像比較プログラム１５８が含まれる。このうち、特徴量計算プログラム１５７を実行するＣＰＵ１０が、本発明に係る特徴量計算部として機能し、画像比較プログラム１５８を実行するＣＰＵ１０が、本発明に係る画像比較部として機能する。

検査対象物Ｔは、図２に示すように、レールＲに設けられた部品（具体的には軌道回路の接続部）であり、導線５０の先端がレールＲの側部に固定された固定部５２と、導線５０の先端部５１とを含む。検査対象物Ｔは、路線上、レールＲの長手方向に任意の間隔を開けて多数存在する。一般に、軌道回路の接続部は、例えば低温ろう溶接、銅テルミット溶接等を用いた溶接式、穴開け式などの複数の形式でレールＲに接続されるが、本実施形態では検査対象物Ｔとして銅テルミット溶接で接続された接続部を対象としている。

図３は、撮影装置により得られる撮影画像の一例を示す図である。
画像分析装置１は、インタフェース１４を介して外部から検査対象物Ｔが撮影された画像データを入力する。検査対象物Ｔの画像データは、鉄道車両３０の車体下部に固定された撮影装置３１（図１を参照）により撮影される。撮影装置３１の周囲には、被撮影箇所を照らす照明装置３２が設けられている。

撮影装置３１は、特に制限されないが、複数の受光素子が線状に設けられたラインセンサである。撮影装置３１は、鉄道車両３０の車体下部に配置され、その撮影方向を鉛直に対して斜めの方向からレールＲに向けて固定される。撮影装置３１は、高速に繰り返し撮影を実行する一方、鉄道車両３０の走行により撮影装置３１と撮影箇所とが相対的に移動することで、図３に示すように、レールＲを中心に所定幅を有する画像であって、レールＲの長手方向に連続する二次元の画像を取得できる。図３の撮影画像は、鉄道車両３０の下左端部の撮影装置３１から１つのレールＲを撮影して得られた画像である。撮影装置３１は、例えば鉄道車両３０の車速（例えば車輪の回転）に同期して撮影を行うことで、鉄道車両３０の速度に依存せずにレールＲの長手方向の縮尺率が一定の画像が得られる。撮影装置３１により得られた画像データは、例えばレールＲの長手方向に複数に分割されて、通信又は記憶媒体を介して画像分析装置１へ送られる。

＜保守管理方法＞
図４は、保守管理処理の手順を示すフローチャートである。
本実施形態の鉄道設備部品の保守管理方法は、図４の保守管理処理を所定の期間ごとに繰り返し行って、軌道回路の接続部（検査対象物Ｔ）を保守管理するものである。検査対象日において保守管理処理が開始されると、先ず係員は、走行する鉄道車両３０から撮影装置３１を用いて撮影を行う（ステップＳ１）。撮影は保守管理対象の路線区間で行われ、この撮影により、レールＲに沿った長い画像が取得される。画像中には、多数の検査対象物Ｔが含まれる。画像データは、例えば長手方向に所定ピクセルごとに分割され、複数の画像として取り扱われる。以下、これらの複数の画像を「画像セット」と呼ぶ。

次に、係員は、通信或いは記憶媒体を介して、画像分析装置１に画像セットのデータを入力する（ステップＳ２）。画像セットのデータは、インタフェース１４を介して入力され撮影データ格納部１５１に格納される。なお、撮影データ格納部１５１には、過去の保守管理処理で同様に取得された複数の検査対象日の画像セットのデータが格納されている。

続いて、係員は、検査対象日の画像セットを比較対象に指定して、画像分析装置１に画像分析処理を実行させる操作を行う。すると、画像分析装置１のＣＰＵ１０は、ステップＳ３〜Ｓ７の画像分析処理を実行する。
画像分析処理が開始されると、まず、ＣＰＵ１０は、画像セットの中から複数の検査対象物Ｔの位置を検出する位置検出処理を実行する（ステップＳ３）。この処理は、図１の位置検出プログラム１５４をＣＰＵ１０が実行することで実現される。

図５は、検査対象物の位置検出処理を説明する図である。
位置検出処理では、予めテンプレート記憶部１５３に記憶されている検査対象物Ｔのテンプレートが使用される。テンプレートは、多くの検査対象物Ｔについて画像の特徴量が示されたデータであり、図５に示すように、予めコンピュータｗ１を用いた学習処理により作成される。学習処理では、コンピュータｗ１に、ステップＳ１の撮影処理と同様の撮影により得られた多くの検査対象物Ｔの画像ＨＰが入力され、かつ、各画像ＨＰ中の検査対象物Ｔの位置を示すフレームｆ１が指定される。フレームｆ１の指定は、当初、人が行えばよい。コンピュータｗ１は、個々に形状等が異なる多くの検査対象物Ｔのフレーム画像ｈ１から検査対象物Ｔの画像上の特徴量を抽出し、検査対象物Ｔの有無を識別するための特徴量のテンプレートを統計的学習により予め作成する。

ステップＳ３の位置検出処理においてＣＰＵ１０は、検査対象日の各画像Ｈ０からレールＲを画像認識し、レールＲの位置に基づいて検査対象物Ｔが存在する可能性のある範囲を識別する。そして、ＣＰＵ１０は、存在する可能性のある範囲に、検査対象物Ｔの有無を識別する対象フレームｆ２を設定する。そして、ＣＰＵ１０は、対象フレームｆ２内の画像の特徴量を抽出し、予め用意されたテンプレートを用いてＳＶＭ（support vector machine）等によりパターン認識を行う。これにより、ＣＰＵ１０は、対象フレームｆ２に検査対象物Ｔが含まれるか否かを判別する。ＣＰＵ１０は、図５の画像Ｈ０中に矢印で示されるように、対象フレームｆ２を検査対象物Ｔが存在する可能性のある範囲内でずらしながら、検査対象物Ｔが含まれるか判別処理を繰り返す。そして、ＣＰＵ１０は、検査対象日の各画像Ｈ０に含まれる各検査対象物Ｔの位置ｆ３を検出する。

ステップＳ３の位置検出処理では、ＣＰＵ１０は、ステップＳ２で入力された画像セットの全てについて、上述した検査対象物Ｔの位置検出を行う。これにより、画像セットに含まれる全ての検査対象物Ｔの位置が検出される。

位置検出処理が完了したら、ＣＰＵ１０は、比較基準の画像セットと、検査対象日の画像セットとの間で、概略位置合わせ処理を実行する（ステップＳ４）。この処理は、図１の概略位置合わせプログラム１５５をＣＰＵ１０が実行することで実現される。概略位置合わせ処理は、比較基準の画像セット中の複数の検査対象物Ｔと、検査対象日の画像セット中の複数の検査対象物Ｔとの間で、同一の検査対象物Ｔを対応づけ、同一の検査対象物Ｔが大まかに同じ位置になるように画像の位置合わせを行う処理である。

比較基準の画像セットと検査対象日の画像セットとはレールに沿って長い画像であり、多数の検査対象物Ｔのうち各検査対象物Ｔと続く検査対象物Ｔとの間隔は撮影日ごとに殆ど変わらない。一方、比較基準の画像セットと検査対象日の画像セットとの撮影開始地点は一致させにくい。また、撮影を行う鉄道車両３０の駅停車時に、撮影が中断されるような場合には、比較基準の画像セットと検査対象日の画像セットとの間で撮影中断地点及び再開地点を一致させにくい。したがって、検査対象日の画像セットに含まれる検査対象物Ｔが、比較基準の画像セットに含まれる多数の検査対象物Ｔの中のどれなのか、そのままでは特定できない。そこで、ステップＳ４の処理により、比較基準の画像セットと検査対象日の画像セットとの間で同一の検査対象物Ｔを対応付けることができるよう、大まかな位置合わせを行う。

概略位置合わせ処理では、ＣＰＵ１０は、画像セットに含まれる各検査対象物Ｔとこれに続く検査対象物Ｔとの間隔長を算出し、算出された間隔長を各検査対象物Ｔが並ぶ順に配列する。ＣＰＵ１０は、このような処理を比較基準の画像セットと検査対象日の画像セットの両方について行う。続いて、ＣＰＵ１０は、比較基準の画像セットの間隔長の配列と、検査対象日の画像セットの間隔長の配列とを比較し、各間隔長が誤差の範囲内で揃うように、画像セットの始端地点、中断地点又は再開地点のズレを補正する。これにより、両方の画像セット中の各検査対象物Ｔの大まかな位置が合せられ、概略位置合わせ処理が完了される。

概略の位置合わせ処理が完了したら、ＣＰＵ１０は、比較基準の画像セット中の検査対象物Ｔと検査対象日の画像セット中の検査対象物Ｔとの詳細位置合わせ処理を実行する（ステップＳ５）。この処理は、図１の詳細位置合わせプログラム１５６をＣＰＵ１０が実行することで実現される。詳細位置合わせ処理は、同一の検査対象物Ｔについて、比較基準の画像中の位置と、検査対象日の画像中の位置とを、ピクセル単位で合わせる処理である。図１の撮影装置３１が同一の検査対象物Ｔを、日数を隔てて複数回撮影した場合、鉄道車両３０の車体の揺れ、車輪とレールＲとの相対位置の差異等により、撮影回ごとに、撮影装置３１から撮影対象までの撮影距離及び撮影角度に僅かな差異が生じる。このため検査対象物Ｔは、撮影回ごとに画像中の位置及び撮影された向きに僅かなズレが生じる。このような僅かなズレを詳細位置合わせ処理により補正する。

詳細位置合わせ処理では、ＣＰＵ１０は、比較基準の画像セットと、検査対象日の画像セットとの中から、互いに同一の検査対象物Ｔが写っている画像を切出し、両方の画像の中から複数の特徴点を抽出する。特徴点とは、検査対象物Ｔ又は背景にある物のエッジ部分などである。そして、ＣＰＵ１０は、両方の画像間で複数の特徴点をＲＡＮＳＡＣ（Random sample consensus）等の手法を用いて対応付け、両方の画像間で共通の特徴点の位置のズレが小さくなるように、検査対象日の画像を射影変換する。これにより、両方の画像間で検査対象物Ｔの位置がピクセル単位で合わせられる。画像セットに含まれる全ての検査対象物Ｔについて、上記の処理が遂行されると、詳細位置合わせ処理が終了する。

詳細位置合わせ処理が完了したら、ＣＰＵ１０は、同一の検査対象物Ｔが含まれる２つの画像を比較する画像比較処理を行う（ステップＳ６）。この処理は、図１の画像比較プログラム１５８をＣＰＵ１０が実行することで実現される。画像比較処理の詳細については後述する。この画像比較処理により、検査対象日の画像セットに含まれる各検査対象物Ｔについて変化の有無が判断される。

画像比較処理が完了したら、ＣＰＵ１０は、画像セットに含まれる全ての検査対象物Ｔの中から、予め設定された閾値以上の変化のある検査対象物Ｔを判定し、該当する検査対象物Ｔの画像を抽出する（ステップＳ７）。画像は、表示部１２に出力したり、印刷出力されたり、データとして出力される。また、画像データには、検査対象物Ｔが路線上のどの位置にあるものかを示す位置情報が付加されてもよい。位置情報は、検査対象物Ｔの撮影の際にＧＰＳ（Global Positioning System）を用いて測位を行って取得しておけばよい。

変化有りと判断された検査対象物Ｔの画像が抽出されたら、係員は、この画像を詳細に確認し、必要があれば現地に赴いて実物を確認するなどして、修繕の要否を判断する（ステップＳ８）。このような処理により、１回の保守管理処理が完了する。

このような保守管理方法によれば、線路に多数存在する検査対象物Ｔの全てを係員が検査する方式と比べて、検査の労力を大幅に削減できる。さらに、画像分析装置１が緻密かつ正確に各検査対象物Ｔの変化を検出することで、係員が全ての検査対象物Ｔを目視等により検査する場合と同様に、検査対象物Ｔの厳密な検査を実現できる。

＜画像比較処理＞
続いて、図４のステップＳ６の画像比較処理について詳細に説明する。図６は、画像比較処理の詳細な手順を示すフローチャートである。
画像比較処理へ進むと、ＣＰＵ１０は、まず、検査対象日の画像セットの中から１つの検査対象物Ｔを含む比較対象領域Ｋ１（図８を参照）を切り出す（ステップＳ１１）。比較対象領域Ｋ１は、例えば矩形状の領域であり、検査対象物Ｔが余裕を持って含まれかつ検査対象物Ｔ以外が余り含まれないように所定の大きさに設定されている。比較対象領域Ｋ１を切り出したら、ＣＰＵ１０は、この比較対象領域Ｋ１について画像の特徴量を計算する特徴量計算処理を実行する（ステップＳ１２）。以下、１つの画像セットに含まれる複数の検査対象物の各々を、インデックス番号ｉ（ｉ＝１〜ｍ）を付加して、「検査対象物“ｉ”」のように記す。１つの画像セットに含まれる検査対象物の総数をｍ個とする。

図７は、図６のステップＳ１２の特徴量計算処理の詳細な手順を示すフローチャートである。なお、後述するように各処理の順番は図７の例に限られない。図８は、特徴量計算処理の手順を示す説明図である。
特徴量計算処理に進むと、まず、ＣＰＵ１０は、比較対象領域Ｋ１を、例えば１０×１０ｐｘ（ピクセル）ごとに複数の局所領域Ｋ１１に分割する（ステップＳ３１）。ステップＳ３１の処理を実行するＣＰＵ１０が、本発明に係る画像分割部の一例に相当する。図８では、煩雑を避けるため、幾つかの局所領域Ｋ１１にのみ符号を付している。なお、局所領域Ｋ１１の大きさは１０×１０ｐｘに限られず、適宜変更可能である。ピクセルとは画素を意味する。

複数の局所領域Ｋ１１に分割したら、ＣＰＵ１０は、１つの局所領域Ｋ１１ごとにステップＳ３２〜Ｓ３３の処理を繰り返し実行する。繰り返しの処理において、ＣＰＵ１０は、先ず、局所領域の各ピクセルについて輝度の勾配方向を計算する（ステップＳ３２）。ステップＳ３２の処理を実行するＣＰＵ１０が、本発明に係る勾配方向計算部の一例に相当する。輝度の勾配方向は、大きさと方向との情報を含んだ輝度勾配ベクトルから大きさの情報を省いた方向の情報を示す。任意のピクセルの輝度の勾配方向は、例えば次式（１）により示される。

ここで、ｘ、ｙはピクセルの座標を示し、任意のｘの値に対して”ｘ＋１”は１つ右の列を表わし、任意のｙの値に対して”ｙ＋１”は１つ下の行を表わす。以下、座標（ｘ，ｙ）のピクセルのことを、「ピクセル（ｘ，ｙ）」と記す。なお、輝度の勾配方向θは、正の値になるように”−１８０°〜０°”の値が”１８０°〜３６０°”の値へ補正されてもよい。

式（１）の右辺内の関数は、次式（２）〜（４）により定義される。

ここで、Ｌ（ｘ，ｙ）はピクセル（ｘ，ｙ）の輝度を表わし、Ｖ_Ｌ（ｘ，ｙ）はピクセル（ｘ，ｙ）の輝度勾配ベクトルを表わす。二重線文字のｅ_ｘとｅ_ｙは縦横の基本ベクトルを示す。

なお、式（２）〜（４）の例では、或る１つのピクセル（ｘ，ｙ）の輝度勾配ベクトルとして、ピクセル（ｘ，ｙ）の上のピクセルと下のピクセルとの輝度差と、左のピクセルと右のピクセルとの輝度差とが成分となる定義を示した。しかし、輝度勾配ベクトルの定義はこれに限られない。例えば、或る１つのピクセル（ｘ，ｙ）の輝度方向ベクトルとして、ピクセル（ｘ，ｙ）とその上のピクセルとの輝度差と、ピクセル（ｘ，ｙ）とその右のピクセルとの輝度差とが成分となる定義としてもよい。また、対象のピクセル（ｘ，ｙ）の斜めのピクセルとの輝度差が成分に含まれる定義としてもよい。また、１つのピクセルごとに１つの輝度勾配ベクトルが決定される定義の他、例えば局所領域Ｋ１１のピクセル数がもっと多ければ、縦横２×２又は縦横３×３のピクセルごとに１つの輝度勾配ベクトルが決定されるように定義されてもよい。さらに、式（１）の例では、輝度の勾配方向を輝度勾配ベクトルの方向成分とする定義を示した。しかし、例えば１つのピクセル（ｘ，ｙ）と周囲のピクセルとの比較により、輝度差が最も大きい上下左右斜めの方向及び向きを輝度の勾配方向として定義するなど、他の定義を採用することができる。

式（２）の輝度勾配ベクトルＶ_Ｌ（ｘ，ｙ）は、輝度勾配の大きさ及び方向の情報が含まれる量であるのに対して、式（１）の輝度の勾配方向θ（ｘ，ｙ）は、輝度勾配の大きさの情報が省かれ、輝度勾配の方向に特化した量である。

上記のステップＳ３２により、局所領域Ｋ１１の全てのピクセルについて輝度の勾配方向が計算されたら、次に、ＣＰＵ１０は、局所領域Ｋ１１の全ピクセルの輝度の勾配方向を集計して度数分布を計算する（ステップＳ３３）。ステップＳ３３の処理を実行するＣＰＵ１０が、本発明に係る分布計算部の一例に相当する。図８の最下段には、この度数分布をヒストグラム化した図を示す。度数分布の計算では、例えば、３６０°を複数に等分した角度範囲ごとに各角度範囲に含まれる輝度の勾配方向を有するピクセルの数を計数し、この計数値を各角度範囲の度数とすればよい。この度数分布が、１つの局所領域Ｋ１１の特徴量となる。

１つの局所領域Ｋ１１について輝度の勾配方向の度数分布が計算されたら、ＣＰＵ１０は、全ての局所領域Ｋ１１について計算が終了したか判別し、未だであればステップＳ３２に処理を戻して、次の局所領域Ｋ１１についての計算を実行する。一方、終了していれば、特徴量計算処理を終了する。特徴量計算処理により、１つの比較対象領域Ｋ１の複数の局所領域Ｋ１１に対応した複数の特徴量が計算される。

なお、図７では、比較対象領域Ｋ１を複数の局所領域に分割した後、１つの局所領域ごとに各ピクセルの輝度の勾配方向を計算する例を示した。しかし、始めに比較対象領域Ｋ１の全ピクセルについて輝度の勾配方向を計算し、その後、複数の局所領域に分割して、各局所領域の輝度の勾配方向の度数分布を計算するようにしてもよい。この場合でも、各局所領域に含まれる複数のピクセルの勾配方向の度数分布を同様に計算できる。

続いて、ＣＰＵ１０は、１つの比較対象領域について計算された複数の特徴量を、記憶装置１５の特徴量格納部１５２に格納する（ステップＳ１３）。ここで、ＣＰＵ１０は、複数の特徴量がどの画像セットのどの比較対象領域のものか分かるように、また、各特徴量が比較対象領域内のどの局所領域のものか分かるように、例えば番号付けあるいは対応情報を関連付けて複数の特徴量を格納する。

次に、ＣＰＵ１０は、別日時に撮影された３つ以上の画像セットの特徴量の中からｎ個を比較基準として指定する（ステップＳ１４）。例えば、ＣＰＵ１０は、特徴量格納部１５２に記憶されている別日時の画像セットの特徴量のうち、古い方から３つの画像セットの特徴量を比較基準として指定する。以下、ｎ個の比較基準の各々を、インデックス番号ｊ（ｊ＝１〜ｎ）を付加して「比較基準“ｊ”」のように記す。

続いて、ＣＰＵ１０は、比較基準“ｊ”の画像セットの特徴量の中から、検査対象物“ｉ”についての特徴量を読み出す（ステップＳ１５）。そして、ＣＰＵ１０は、ステップＳ１２で計算した特徴量と、ステップＳ１５で読出した特徴量とを比較する（ステップＳ１７）。

図９は、特徴量の比較処理の説明図である。
ここで、ＣＰＵ１０は、図９に示すように、比較対象領域Ｋ１の個々の局所領域Ｋ１１の特徴量Ｑ１と、比較基準“ｊ”の画像領域Ｋ２において比較対象と同一位置の局所領域Ｋ２１の特徴量Ｑ２とを比較する。比較により、ＣＰＵ１０は、例えば、両者の度数分布の同じ角度範囲の度数の差を演算し、全ての角度範囲についての度数の差の絶対値の総和あるいは２乗平均値などの差異量を計算する。差異量は最大値が１．０になるように規格化される。なお、度数分布の差異量は、この例に限られず、適切に度数分布の差異が表わされる値であればよい。そして、このような計算を、比較対象領域Ｋ１の全ての局所領域Ｋ１１において行う。図９の相違度マップＭ１は、計算された各局所領域Ｋ１１の差異量を局所領域Ｋ１１の配置に対応させて画像化したものである。通常、相違度マップＭ１のように、場所によって差異量にバラツキのある結果が得られる。

図１０は、マスク処理の効果を説明する図である。なお、ステップＳ１７の比較処理の前、ＣＰＵ１０は、比較対象領域の中からレール部分の範囲を背景領域の画像として認識し、この範囲の少なくとも一部にマスクを付加してもよい（ステップＳ１６）。ステップＳ１６の処理を実行するＣＰＵ１０が、本発明に係るマスク処理部の一例に相当する。マスクを付加するとは、その部分の特徴量の比較を行わないことを意味する。例えば、晴天時又は雨天時など、天候によって背景領域の画像に大きな違いが生じる場合がある。図１０の上段２行左から２列目は晴天時の撮影画像と特徴量の相違度マップとを示しており、レールの根元部分に高い輝度の変化が表れている。また、図１０の上段２行左から３列目は雨天時の撮影画像と特徴量の相違度マップとを示しており、検査対象物の裏側に輝度の低い変化が表れている。このように背景領域に変化があっても、マスクの設定Ｎ１を行うことで、検査対象物における特徴量の比較のみを行えることができる。図１０の例では、左から４列目の画像において検査対象物に異常が生じているが、図１０の最下段のマスクが付加された特徴量の相違度マップの比較から分かるように、背景領域の変化が除外されて、検査対象物の変化が反映された比較結果を得ることができる。

比較処理を完了したら、ＣＰＵ１０はこの比較結果をＲＡＭ１１の作業領域に格納する（ステップＳ１８）。そして、ＣＰＵ１０は、複数個の比較基準“１〜ｎ”との比較を完了したか判別し（ステップＳ１９）、未だであれば、ステップＳ１５に処理を戻し、次の比較基準“ｊ”を用いてステップＳ１５〜Ｓ１８の処理を繰り返す。一方、完了していれば、ＣＰＵ１０は、処理を続くステップへ移行する。

全比較基準“１〜ｎ”との比較結果が得られたら、ＣＰＵ１０は、これらの比較結果に基づいて、検査対象物“ｉ”の変化の有無を判断する（ステップＳ２０）。一例として、ＣＰＵ１０は、比較結果である相違度マップＭ１（図９を参照）のうち、閾値以上の相違のある箇所を抽出し、これらの箇所の相違値の総和を計算し、この総和を比較対象領域Ｋ１の変化量とする。ＣＰＵ１０は、複数の比較基準との比較結果について、同様の計算を行って、複数の変化量を取得する。さらに、ＣＰＵ１０は、複数の変化量のうち、所定の偏差から外れている変化量が無いか計算し、外れている変化量があれば、それを除外し、残りに平均化などの統計処理を施して最終的な変化量を取得する。そして、ＣＰＵ１０は、最終的な変化量が所定の閾値より大きければ、検査対象物“ｉ”に変化があると判断し、小さければ変化がないと判断する。ステップＳ１７〜Ｓ２０の処理を実行するＣＰＵ１０が、本発明に係る変化検出部の一例に相当する。

このように、複数の比較基準の比較結果に基づいて検査対象物“ｉ”の変化の有無を判断することで、例えば、比較基準の一つに例外的な差異が含まれるような場合でも、検査対象物“ｉ”の変化の有無の判断に誤りが生じることを抑制することができる。よって、より正確に変化の有無を検出できる。なお、複数の比較結果に基づく、検査対象物“ｉ”の変化の有無の判断方法は、上記の例に限られるものではない。

１つの検査対象物“ｉ”の変化の有無の判断を行ったら、ＣＰＵ１０は、全ての検査対象物“１〜ｍ”についての判断が完了したか判別する（ステップＳ２１）。そして、未だであれば、ＣＰＵ１０は、処理をステップＳ１１に戻して、次の検査対象物“ｉ”についてステップＳ１１〜Ｓ２０の処理を繰り返す。一方、完了であれば、画像比較処理を終了する。

このような画像比較処理により、画像セットに含まれる複数の検査対象物“ｉ”の各々ついて変化の有無の判断結果が得られる。

以上のように、本実施形態の画像分析装置１によれば、画像比較により検査対象物Ｔの変化の有無を判断するため、画像の特徴量として輝度の勾配方向の度数分布を用いている。これにより、画像の輝度変化の影響を大幅に排除して、検査対象物Ｔの変化の有無を判断でき、綿密で正確な検査対象物Ｔの変化の検出を実現できる。また、輝度変化の影響を除去する輝度補正とＨＯＧの計算とを行う場合と比較して、大幅に計算負荷を低減することができる。

また、本実施形態の保守管理方法によれば、画像分析装置１を用いて多数の検査対象物Ｔの中から変化のある検査対象物Ｔを抽出することができる。したがって、全ての検査対象物Ｔを係員が検査する方式と比べて、検査の労力を大幅に削減できる。また、画像分析装置１の綿密かつ正確な変化の検出により、係員が目視等により検査する場合と同様に厳密な検査を実現できる。

以上、本発明の実施形態について説明した。しかし、本発明は上記の実施形態に限られない。例えば、実施形態では、検査対象物として軌道回路の接続部を適用した例を示したが、その他の対象物が適用されてもよい。また、上記の実施形態では、画像比較を行う際に輝度の勾配方向の度数分布である特徴量を用いた例を示したが、例えば検査対象物の位置を検出する際、詳細位置合わせ処理の際に使用する画像の特徴量として輝度の勾配方向の度数分布を用いてもよい。また、上記実施形態の保守管理方法では、画像分析装置１が検出した変化の有る検査対象物Ｔを、係員が目視等により修繕の要否を判断する方法とした。しかし、最終的な修繕の要否の判断も、画像解析等を用いてコンピュータが行うようにしてもよい。その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。

１ 画像分析装置
１０ ＣＰＵ
１４ インタフェース
１５ 記憶装置
１５１ 撮影データ格納部
１５２ 特徴量格納部
１５３ テンプレート記憶部
１５４ 位置検出プログラム
１５５ 概略位置合わせプログラム
１５６ 詳細位置合わせプログラム
１５７ 特徴量計算プログラム
１５８ 画像比較プログラム
３０ 鉄道車両
３１ 撮影装置
３２ 照明装置
Ｒ レール
Ｔ 検査対象物

Claims (4)

1. 異常の有無を検査する対象である検査対象物が撮影された複数の画像を入力する画像入力部と、
   前記複数の画像を比較する画像比較部と、
   画像の局所領域の特徴量を計算する特徴量計算部と、
   を備え、
   前記特徴量計算部は、
   前記局所領域に含まれる複数の画素の各々について周囲の画素との間の輝度勾配から大きさの情報が除かれた勾配方向を計算する勾配方向計算部と、
   前記複数の画素に対応してそれぞれ計算された複数の前記勾配方向を集計して勾配方向の度数分布を計算する分布計算部と、
   を含み、
   前記勾配方向の度数分布を前記局所領域の特徴量として計算し、
   前記画像比較部は、
   前記複数の画像の各々について少なくとも前記検査対象物を含む部分を複数の局所領域に分割する画像分割部と、
   前記特徴量計算部により計算された前記複数の局所領域の特徴量を前記複数の画像間で比較して前記検査対象物の変化を検出する変化検出部と、
   を含むことを特徴とする画像分析装置。
2. 前記画像入力部には前記検査対象物が撮影された３つ以上の画像が入力され、
   前記画像比較部は、
   前記３つ以上の画像のうち複数を比較基準、少なくとも１つを比較対象として、前記比較対象と前記複数の比較基準それぞれとの間で複数組の比較処理を行い、各組の前記比較処理において閾値以上の相違のある前記局所領域の前記特徴量の相違値の総和を変化量として計算し、
   前記複数組の比較処理でそれぞれ得られた複数の前記変化量のうち所定の偏差から外れている変化量を除外し、残りの変化量に統計処理を行って最終的な変化量を取得し、
   前記最終的な変化量に基づいて前記検査対象物の変化の有無を判断することを特徴とする請求項１記載の画像分析装置。
3. 少なくとも前記変化検出部が前記特徴量の比較を行う前に、前記検査対象物の背景領域の少なくとも一部をマスクするマスク処理部を更に備えることを特徴とする請求項１又は請求項２に記載の画像分析装置。
4. 請求項１から請求項３のいずれか一項に記載の画像分析装置を用いて、鉄道のレールに接続された複数の部品の各々を保守管理する鉄道設備部品の保守管理方法であって、
   前記レール上を走行する鉄道車両に搭載された撮影装置により、日数を隔てて複数回、前記複数の部品を前記検査対象物として撮影し、
   前記画像分析装置が前記複数回の撮影により得られた複数の画像を比較して前記複数の部品の各々の変化を検出し、
   前記複数の部品のうち、閾値以上の変化が検出された１つ又は複数の部品について修繕の要否を判定することを特徴とする鉄道設備部品の保守管理方法。

Images