JP7130356B2 - 画像処理装置及び鉄道設備部品の保守管理方法 - Google Patents

画像処理装置及び鉄道設備部品の保守管理方法 Download PDF

Info

Publication number
JP7130356B2
JP7130356B2 JP2017120063A JP2017120063A JP7130356B2 JP 7130356 B2 JP7130356 B2 JP 7130356B2 JP 2017120063 A JP2017120063 A JP 2017120063A JP 2017120063 A JP2017120063 A JP 2017120063A JP 7130356 B2 JP7130356 B2 JP 7130356B2
Authority
JP
Japan
Prior art keywords
image
section lengths
image set
section
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017120063A
Other languages
English (en)
Other versions
JP2019003573A (ja
Inventor
由康 工藤
雅彦 鈴木
修 山口
彰吾 立石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East Japan Railway Co
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
East Japan Railway Co
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East Japan Railway Co, Toshiba Infrastructure Systems and Solutions Corp filed Critical East Japan Railway Co
Priority to JP2017120063A priority Critical patent/JP7130356B2/ja
Publication of JP2019003573A publication Critical patent/JP2019003573A/ja
Application granted granted Critical
Publication of JP7130356B2 publication Critical patent/JP7130356B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像の位置合わせを行う画像処理装置、並びにこの画像処理装置を用いて部品の検査を行う鉄道設備部品の保守管理方法に関する。
鉄道の線路には、鉄道車両の存在の有無を検出するため、レールを信号経路の一部とする軌道回路が設けられる。軌道回路には、鉄道車両の検知を行う信号電流をレールとの間で入出力する検知回路が含まれる。また、軌道回路には、車両検知用の信号電流と帰線電流などの他の電流とを分離するためにインピーダンスボンドと呼ばれる回路又はフィルタ回路などが接続される。そして、これらの各回路とレール部分の回路とを電気的に接続するために、レールの側面には「送着ボンド」と呼ばれる接続部が設けられる。接続部は、撚り線などの導線を銅テルミット溶接又はロウ付け等によりレールに固定した部位を指す。
軌道回路の接続部が破損、断線又は脱落すると、線路上に鉄道車両が存在するか正しく判断できなくなる。このため、従来、鉄道会社では、目視確認等によりレールに設けられた多数の接続部に異常がないか定期的な検査を行っている。
本発明に関連する技術として、特許文献1には、異なるタイミングで撮影された2つの画像の位置合わせを行って、2つの画像間の差分を検出する技術が記されている。特許文献1の技術は、画像に含まれる模様、マーク、物の段差などのランドマークを検出し、ランドマークを基準として画像の位置合わせを行う。また、本発明に関連する技術として、従来、RANSAC(Random Sample Consensus)と呼ばれるアルゴリズムを用いて複数の画像間で同一の特徴点を対応付ける技術が知られている。RANSACアルゴリズムは、複数の特徴点の中からランダムにサンプルを抽出して対応付けの評価を行うことで、画像中に対応付け不可能な誤った特徴点が含まれていても、誤った特徴点を除外して、正しい特徴点の対応付けを行うことができる。
特開2007-235642号公報
ここで、コンピュータの画像処理を利用して、軌道回路の接続部の保守管理を行うことを考える。例えば、軌道回路の多数の接続部について定期的に画像を撮影し、同一の接続部について日数を隔てて撮影された複数の画像をコンピュータに比較させる。そして、多数の接続部の中から何等かの変化が生じている接続部を絞り込む。さらに、変化が生じている接続部について、検査員が詳細に検査を行い、修繕が必要か否かを判断する。このように、コンピュータの支援によって、詳細に検査すべき接続部の数を減らすことで、検査員の労力を大幅に削減することができる。
レールには多数の軌道回路の接続部が設けられる。このため、個々の接続部の画像比較を行うには、その前に、複数の画像間で同一の接続部の位置合わせを行う必要がある。一方、接続部を撮影した画像には、レール、枕木及び道床などが写るが、これらは路線上の箇所ごとに大きな差がなく、同一の接続部を対応付ける目印として機能しにくい。そこで、軌道回路の接続部を画像認識し、認識された接続部を目印に複数の画像間で同一の接続部の対応付けを行って画像の位置合わせを行うことを考える。
接続部の画像認識では、野外における様々な外的要因により、接続部が有るのに検出できない未検出ならびに接続部が無いのに間違って検出してしまう過検出という問題が生じる。一方、未検出及び過検出などの誤り検出があっても、RANSACアルゴリズムを用いることで誤り検出の影響を除外して複数の画像間で同一の接続部を対応付けることができる。しかしながら、レールに沿って長い画像の広範囲な領域でRANSACアルゴリズムを用いて各接続部の対応付けを行ったのでは、計算負荷が無駄に大きくなるという課題があった。
本発明は、多数の対象物が一列に並んで撮影されるといった配置上の特徴を利用して、小さい計算負荷で複数の画像中の同一の対象物同士を対応付け、複数の画像を位置合わせできる画像処理装置を提供することを目的とする。また、本発明は、画像処理装置による画像比較を利用することで労力を削減しつつ厳密な検査を実現できる鉄道設備部品の保守管理方法を提供することを目的とする。
本発明の画像処理装置は、上記目的を達成するため、
一列に並んだ複数の対象物を撮影して得られた第1画像と第2画像とを比較して前記第1画像と前記第2画像との位置合わせを行う位置合わせ処理部を備え、
前記位置合わせ処理部は、
少なくとも前記第2画像から前記対象物と認識される複数の位置を検出する位置検出部と、
前記位置検出部により検出された複数の位置間の各区間長を取得する区間長取得部と、
前記区間長取得部が取得した前記第2画像における複数の区間長と、前記第1画像上で認識される前記複数の対象物間の複数の区間長とを、前記第1画像における前記複数の区間長の並び順及び前記第2画像における前記複数の区間長の並び順を変えずに対応付けるマップ処理部と、
前記マップ処理部が対応付けた前記複数の区間長の対応関係に基づいて前記第1画像と前記第2画像との位置のズレ量を計算するズレ量計算部とを備え、
前記ズレ量に基づいて前記第1画像と前記第2画像との位置合わせを行うことを特徴とする。
この構成によれば、マップ処理部が、第1画像における複数の対象物間の各区間長と、第2画像における複数の対象物間の各区間長とを、区間長の並び順が変わらないように対応付ける。一般に、複数の対象物が一列に並んで配置される場合、各対象物の位置が移動しなければ、異なる撮影タイミングでこれらを撮影しても、複数の対象物の各区間長と各区間長の並び順とは維持される。マップ処理部は、このような区間長の特徴を利用して、各区間長を対応付けることで、小さな計算負荷で、対象物の位置が合うように複数の画像の位置合わせを行うことができる。例えば、多数の対象物が一列に並んだ広範囲の画像に対してRANSACアルゴリズムを用いて画像上の特徴点をランダムに抽出して複数の画像間の対応関係を評価する手法と比較して、位置合わせの計算負荷を大幅に低減できる。
ここで、前記マップ処理部は、前記第1画像における前記複数の区間長と前記第2画像における前記複数の区間長とを複数パターンで対応付け、
前記ズレ量計算部は、前記複数パターンの対応関係のうち、前記第1画像における連続する複数の区間長と前記第2画像における連続する複数の区間長とが対応付けられている連続対応部分を抽出し、抽出された前記連続対応部分の対応関係に基づいて前記ズレ量を計算するように構成されるとよい。
この構成によれば、位置検出部が第1画像中の対象物を画像認識する際、未検出又は過検出などの対象物の誤検出が含まれていても、誤検出の影響を除外して正確な位置合わせを行うことができる。すなわち、複数の対象物が一列に並んで配置される場合、対象物の誤検出があっても、誤検出された部分を含む範囲の区間長には影響がでるが、誤検出がない範囲には影響が及ばない。また、誤検出を含む1つの範囲に注目した場合、この範囲の個々の区間長には誤りが含まれるが、この範囲の区間長の総和を計算すれば、誤りが相殺される。したがって、マップ処理部が複数パターンで各区間長の対応関係を探索し、ズレ量計算部が連続対応部分に基づいてズレ量を計算することで、誤検出の影響を除外して区間長の正しい対応箇所を抽出し、正確な位置合わせを行うことができる。
さらには、前記マップ処理部は、前記第1画像における前記複数の区間長を並び順を変えずに配列した第1数列と、前記第2画像における前記複数の区間長を並び順を変えずに配列した第2数列とを作成し、動的計画法により前記第1数列と前記第2数列との最適アライメントを計算して、前記複数の区間長を対応付けるとよい。
この構成によれば、動的計画法により短い時間で第1画像と第2画像との対応関係を計算し、第1画像と第2画像との位置合わせを行うことができる。
また、本発明に係る画像処理装置は、
少なくとも前記第2画像上の前記複数の対象物の特徴量を抽出する特徴量抽出部を更に備え、
前記マップ処理部は、前記第1画像における前記対象物の特徴量と、前記第2画像における前記対象物の特徴量と、前記第1画像における前記複数の区間長と、前記第2画像における前記複数の区間長とに基づいて、前記第1画像と前記第2画像とにおける前記複数の区間長の対応付けを行うとよい。
この構成によれば、複数の対象物間の各区間長に加えて、各対象物の画像上の特徴量に基づいて、複数の画像間で複数の区間長の対応付けを行う。一般に、例えば対象物の未検出又は過検出が多かったり、あるいは、複数の対象物間の各区間長に特徴(差異)が余り無かったりすると、区間長だけでは正確な対応付けができない場合が生じえる。しかし、このような場合でも、上記構成により、複数の画像間で複数の区間長の対応付けを正確に行うことができる。
本発明に係る鉄道設備部品の保守管理方法は、
上述の画像処理装置を用いて、鉄道のレールに接続された複数の部品の各々を保守管理する鉄道設備部品の保守管理方法であって、
前記レール上を走行する鉄道車両に搭載された撮影装置により、日数を隔てて複数回、前記複数の部品を撮影し、
前記複数の部品を前記複数の対象物として、前記画像処理装置が、前記複数回の撮影により得られた複数の画像の位置を合わせる概略位置合わせ処理を行い、
コンピュータが、前記概略位置合わせ処理により位置合わせされた前記複数の画像から互いに対応する前記部品を含んだ複数の画像領域を切り出し、前記部品の位置が合うように前記複数の画像領域を射影変換する詳細位置合わせ処理と、前記詳細位置合わせ処理後の前記複数の画像領域を比較して前記複数の部品の各々の変化を検出する画像比較処理とを実行し、
前記複数の部品のうち、閾値以上の変化が検出された1つ又は複数の部品について修繕の要否を判定することを特徴とする。
この保守管理方法によれば鉄道のレールに接続された複数の部品について、鉄道車両から撮影した画像を用いて、日数を隔てた変化を検出し、この検出結果から修繕の要否を判定すべき対象を絞ることができる。したがって、鉄道のレールに多数存在する部品の検査にかかる労力を大幅に削減することができる。
本発明に係る画像処理装置によれば、多数の対象物が一列に並んで撮影されるといった配置上の特徴を利用して、小さい計算負荷で複数の画像中の同一の対象物同士を対応付け、複数の画像を位置合わせできる。本発明に係る鉄道設備部品の保守管理方法によれば、画像処理装置の画像比較を利用することで、レールに接続された多数の部品について労力を削減しつつ厳密に検査することができる。
本発明の実施形態に係る画像処理装置及び撮影装置を示す構成図である。 検査対象物である軌道回路の接続部の一例を示す斜視図である。 撮影装置により得られる撮影画像の一例を示す図である。 保守管理処理の手順を示すフローチャートである。 検査対象物の位置検出処理を説明する図である。 図4のステップS4の概略位置合わせ処理の詳細な手順を示すフローチャートである。 概略位置合わせ処理を説明する図であり、(A)は検査対象物の位置の検出例を説明する図、(B)は区間長を説明する図、(C)は区間長の対応付けと位置のズレ量とを説明する図である。 第1画像セットと第2画像セットとの区間長の対応付けの第1例(A)~第3例(C)を示す図である。 第1画像セットと第2画像セットとの区間長の対応付けの第4例(A)~第7例(D)を示す図である。 対応付け結果から連続対応部分を抽出した結果の一例を説明する図である。 連続対応部分からズレ量を計算する処理を説明する図である。 第1変形例の概略位置合わせ処理の手順を示すフローチャートである。 図12のステップS22の最適アライメントの処理を説明する図である。 概略位置合わせ処理の第2変形例の手順を示すフローチャートである。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図1は、本発明の実施形態に係る画像処理装置及び撮影装置を示す構成図である。図2は、検査対象物である軌道回路の接続部の一例を示す斜視図である。
実施形態に係る画像処理装置1は、日数を隔てて複数回撮影された検査対象物T(図2を参照)の画像を比較し、検査対象物Tの変化の有無を検出する装置である。画像処理装置1は、コンピュータであり、CPU(Central Processing Unit)10、RAM(Random Access Memory)11、表示部12、マウス又はキーボード等の操作部13、データ入力用のインタフェース14及び記憶装置15を備える。
記憶装置15には、検査対象物Tの撮影データが格納される撮影データ格納部151と、検査対象物Tを検出するために多数の検査対象物Tの画像パターンが格納されたテンプレート記憶部152とが設けられる。さらに、記憶装置15には、検査対象物Tの変化の有無を検出する処理を実現する複数のプログラムモジュールが格納されている。これらのプログラムには、位置検出プログラム153、概略位置合わせプログラム154、詳細位置合わせプログラム155、画像比較プログラム156が含まれる。このうち、位置検出プログラム153と概略位置合わせプログラム154とを実行するCPU10が、本発明に係る位置合わせ処理部の一例に相当する。また、位置検出プログラム153を実行するCPU10が、本発明に係る位置検出部として機能し、概略位置合わせプログラム154を実行するCPU10が、本発明に係る区間長取得部、マップ処理部及びズレ量計算部として機能する。
検査対象物Tは、図2に示すように、レールRに設けられた鉄道設備部品(具体的には軌道回路の接続部)であり、導線50の先端がレールRの側部に固定された固定部52と、導線50の先端部51とを含む。検査対象物Tは、路線上、レールRの長手方向に任意の間隔を開けて多数存在する。複数の検査対象物TはレールRに沿って一列に並んで配置される。一般に、軌道回路の接続部は、低温ろう溶接、銅テルミット溶接等を用いた溶接式、穴開け式など、複数の形式でレールRに接続されるが、本実施形態では銅テルミット溶接で接続された接続部を検査対象物Tとする。
図3は、撮影装置により得られる撮影画像の一例を示す図である。
画像処理装置1は、インタフェース14を介して外部から検査対象物Tが撮影された画像データを入力する。検査対象物Tの画像データは、鉄道車両30の車体下部に固定された撮影装置31(図1を参照)により撮影される。撮影装置31の周囲には、被撮影箇所を照らす照明装置32が設けられている。
撮影装置31は、特に制限されないが、複数の受光素子が線状に設けられたラインセンサである。撮影装置31は、鉄道車両30の車体下部に配置され、その撮影方向を鉛直に対して斜めの方向からレールRに向けて固定される。撮影装置31は、高速に繰り返し撮影を実行する一方、鉄道車両30の走行により撮影装置31と撮影箇所とが相対的に移動することで、図3に示すように、レールRを中心に所定幅を有する画像であって、レールRの長手方向に連続する二次元の画像を取得できる。図3の撮影画像は、鉄道車両30の下左端部の撮影装置31から1つのレールRを撮影して得られた画像である。撮影装置31は、例えば鉄道車両30の車速(例えば車輪の回転)に同期して撮影を行うことで、鉄道車両30の速度に依存せずにレールRの長手方向の縮尺率が一定の画像が得られる。撮影装置31により得られた画像データは、例えばレールRの長手方向に複数に分割されて、通信又は記憶媒体を介して画像処理装置1へ送られる。
<保守管理方法>
図4は、保守管理処理の手順を示すフローチャートである。
本実施形態の鉄道設備部品の保守管理方法は、図4の保守管理処理を所定の期間ごとに繰り返し行って、軌道回路の接続部(検査対象物T)を保守管理するものである。検査対象日において保守管理処理が開始されると、先ず係員は、走行する鉄道車両30から撮影装置31を用いて撮影を行う(ステップS1)。撮影は保守管理対象の路線区間で行われ、この撮影により、レールRに沿った長い画像が取得される。画像中には、多数の検査対象物Tが含まれる。画像データは、例えば長手方向に所定ピクセルごとに分割され、複数の画像として取り扱われる。以下、これらの複数の画像を「画像セット」と呼ぶ。
次に、係員は、通信或いは記憶媒体を介して、画像処理装置1に画像セットのデータを入力する(ステップS2)。画像セットのデータは、インタフェース14を介して入力され撮影データ格納部151に格納される。なお、撮影データ格納部151には、過去の保守管理処理で同様に取得された複数の検査対象日の画像セットのデータが格納されている。
続いて、係員は、検査対象日の画像セットを比較対象に指定して、画像処理装置1に画像分析処理を実行させる操作を行う。すると、画像処理装置1のCPU10は、ステップS3~S7の画像分析処理を実行する。
画像分析処理が開始されると、まず、CPU10は、画像セットの中から複数の検査対象物Tの位置を検出する位置検出処理を実行する(ステップS3)。この処理は、図1の位置検出プログラム153をCPU10が実行することで実現される。
図5は、検査対象物の位置検出処理を説明する図である。
位置検出処理では、予めテンプレート記憶部152に記憶されている検査対象物Tのテンプレートが使用される。テンプレートは、多くの検査対象物Tについて画像の特徴量が示されたデータであり、図5に示すように、予めコンピュータw1を用いた学習処理により作成される。学習処理では、コンピュータw1に、ステップS1の撮影処理と同様の撮影により得られた多くの検査対象物Tの画像HPが入力され、かつ、各画像HP中の検査対象物Tの位置を示すフレームf1が指定される。フレームf1の指定は、当初、人が行えばよい。コンピュータw1は、形状等が異なる多くの検査対象物Tのフレーム画像h1から検査対象物Tの画像上の特徴量を抽出し、検査対象物Tの有無を識別するための特徴量のテンプレートを統計的学習により予め作成する。
ステップS3の位置検出処理においてCPU10は、検査対象日の各画像H0からレールRを画像認識し、レールRの位置に基づいて検査対象物Tが存在する可能性のある範囲を識別する。そして、CPU10は、存在する可能性のある範囲に、検査対象物Tの有無を識別する対象フレームf2を設定する。そして、CPU10は、対象フレームf2内の画像の特徴量を抽出し、予め用意されたテンプレートを用いてSVM(support vector machine)等によりパターン認識を行う。画像の特徴量としては、例えばHOG特徴量あるいはCoHOG(Co-occurrence Histograms of Oriented Gradients)特徴量などを適用できる。CoHOG特徴量とは、2つの輝度勾配の組み合わせの共起関係をヒストグラムで表現した高次元の特徴量であり、強力な識別能力を有する。
これにより、CPU10は、対象フレームf2に検査対象物Tが含まれるか否かを判別する。CPU10は、図5の画像H0中に矢印で示されるように、対象フレームf2を検査対象物Tが存在する可能性のある範囲内でずらしながら、検査対象物Tが含まれるか否か判別する処理を繰り返す。そして、CPU10は、検査対象日の各画像H0に含まれる各検査対象物Tの位置f3を検出する。ここで、検査対象物Tが含まれると判断された対象フレームf2の特徴量の抽出処理を実行するCPU10が、本発明に係る特徴量抽出部の一例に相当する。
ステップS3の位置検出処理では、CPU10は、ステップS2で入力された画像セットの全てについて、上述した検査対象物Tの位置検出を行う。これにより、画像セットに含まれる全ての検査対象物Tの位置が検出される。
位置検出処理が完了したら、CPU10は、比較基準の画像セットと、検査対象日の画像セットとの間で、概略位置合わせ処理を実行する(ステップS4)。比較基準の画像セットと検査対象日の画像セットとは、同一の区間を撮影した画像であるが、両者の間には撮影開始地点に差がある。また、撮影を行う鉄道車両30の駅停車時に、一旦、撮影が中断され、駅出発時に撮影が再開される場合には、比較基準の画像セットと検査対象日の画像セットとの間で撮影再開地点に差が生じる。元の画像セットのままでは、検査対象日の画像セットに含まれる検査対象物Tが、比較基準の画像セットに含まれる多数の検査対象物Tの中のどれなのか特定できない。
そこで、ステップS4の概略位置合わせ処理により、比較基準の画像セットと検査対象日の画像セットとの間で大まかな位置合わせを行う。この処理は、図1の概略位置合わせプログラム154をCPU10が実行することで実現される。概略位置合わせ処理により、複数の画像セットの間で、同一の検査対象物Tを対応付けることができる。概略位置合わせ処理の詳細については後述する。
概略位置合わせ処理が完了したら、CPU10は、比較基準の画像セット中の検査対象物Tと検査対象日の画像セット中の検査対象物Tとの詳細位置合わせ処理を実行する(ステップS5)。この処理は、図1の詳細位置合わせプログラム155をCPU10が実行することで実現される。詳細位置合わせ処理は、同一の検査対象物Tについて、比較基準の画像中の位置と、検査対象日の画像中の位置とを、ピクセル単位で合わせる処理である。図1の撮影装置31が同一の検査対象物Tを、日数を隔てて複数回撮影した場合、鉄道車両30の車体の揺れ、車輪とレールRとの相対位置の差異等により、撮影回ごとに、撮影装置31から撮影対象までの撮影距離及び撮影角度に僅かな差異が生じる。このため検査対象物Tは、撮影回ごとに画像中の位置及び撮影された向きに僅かなズレが生じる。このような僅かなズレを詳細位置合わせ処理により補正する。
詳細位置合わせ処理では、CPU10は、比較基準の画像セットと、検査対象日の画像セットとの中から、互いに同一の検査対象物Tが写っている画像領域を切出し、両方の画像領域の中から複数の特徴点を抽出する。特徴点とは、検査対象物T又は背景にある物のエッジ部分などである。そして、CPU10は、両方の画像間で複数の特徴点をRANSAC(Random sample consensus)等の手法を用いて対応付け、両方の画像間で共通の特徴点の位置のズレが小さくなるように、検査対象日の画像を射影変換する。これにより、両方の画像間で検査対象物Tの位置がピクセル単位で合わせられる。画像セットに含まれる全ての検査対象物Tについて、上記の処理が遂行されると、詳細位置合わせ処理が終了する。
詳細位置合わせ処理が完了したら、CPU10は、同一の検査対象物Tが含まれる詳細位置合わせ処理後の2つの画像フレームについて画像比較を行う(ステップS6)。この処理は、図1の画像比較プログラム156をCPU10が実行することで実現される。画像比較は、例えばHOG(Histograms of Oriented Gradients)特徴量を用いて、画像フレーム中の少なくとも検査対象物Tを含んだ範囲内の複数の局所領域について行う。HOG特徴量とは、縦横複数のピクセルからなる1つの局所領域において、各ピクセルとその周辺のピクセルとの間の輝度勾配の方向及び大きさを、1つの局所領域の全ピクセルについて集計し、これらをヒストグラムで表わした情報である。
このような画像比較により、比較する画像フレームの局所領域ごとにHOG特徴量の差が数値化される。CPU10は、比較対象の領域のHOG特徴量の差を集計して、比較基準の画像フレームの検査対象物Tと検査対象日の画像フレームの検査対象物Tとの変化を数値化する。画像セットに含まれる全ての検査対象物Tについて、上記の処理が遂行されると、画像比較の処理が完了する。なお、照明装置32があっても撮影日の天候又は時間によって画像の全体的な輝度に差が生じるような場合には、CPU10は、HOG特徴量を比較する際、輝度の絶対値の大小が比較画像の差として大きく影響しないよう輝度補正等を行ってもよい。
画像比較処理が完了したら、CPU10は、画像セットに含まれる全ての検査対象物Tの中から、予め設定された閾値以上の変化のある検査対象物Tを判定し、該当する検査対象物Tの画像を抽出する(ステップS7)。画像は、表示部12に出力したり、印刷出力されたり、データとして出力される。また、画像データには、検査対象物Tが路線上のどの位置にあるものかを示す位置情報が付加されてもよい。位置情報は、検査対象物Tの撮影の際にGPS(Global Positioning System)を用いて測位を行って取得しておけばよい。
変化有りと判断された検査対象物Tの画像が抽出されたら、係員は、この画像を詳細に確認し、必要があれば現地に赴いて実物を確認するなどして、修繕の要否を判断する(ステップS8)。このような処理により、1回の保守管理処理が完了する。
このような保守管理方法によれば、線路に多数存在する検査対象物Tの全てを係員が検査する方式と比べて、検査の労力を大幅に削減できる。さらに、画像処理装置1が緻密かつ正確に各検査対象物Tの変化を検出することで、係員が全ての検査対象物Tを目視等により検査する場合と同様に、検査対象物Tの厳密な検査を実現できる。
<概略位置合わせ処理>
続いて、図4のステップS4の概略位置合わせ処理について詳細に説明する。図6は、概略位置合わせ処理の詳細な手順を示すフローチャートである。図7は、概略位置合わせ処理を説明する図であり、(A)は検査対象物の位置の検出例を説明する図、(B)は区間長を説明する図、(C)は区間長の対応付けと位置のズレ量とを説明する図である。
概略位置合わせ処理へ進むと、CPU10は、まず、比較基準の画像セット(第1画像セットと呼ぶ)と検査対象日の画像セット(第2画像セットと呼ぶ)とにワールド座標を付加する(ステップS11)。第1画像セットは本発明に係る第1画像の一例に相当し、第2画像セットは本発明に係る第2画像の一例に相当する。画像セットとは、先にも説明したが、図7(A)に示すように、連続的な撮影により得られたレールRに沿った長い画像を、長手方向に所定ピクセルごとに分割した複数の画像の集まりである。ワールド座標とは、分割前の連続した画像に沿って画像の長手方向の位置を表わす座標であり、分割前の連続した画像の先頭を先頭座標「0」とした座標である。比較基準の画像セットと、検査対象日の画像セットとでは、撮影の開始位置又は中断再開位置にズレがある。このため、比較基準の画像セットの座標「0」に相当するレール上の位置と、検査対象日の画像セットの座標「0」に相当するレール上の位置とは異なる。
次に、CPU10は、図4のステップS3の位置検出処理で検出された複数の検査対象物Tのうち、検出評価値が閾値以上の検査対象物Tの位置を抽出する(ステップS12)。検出評価値とは、上述した対象フレームf2(図5を参照)に検査対象物Tが含まれるか否かを判別するパターン認識の際に計算される値であり、対象フレームf2の画像の特徴量が検査対象物Tのテンプレートに合致する度合を表わす値である。検出評価値が高いほど、検査対象物Tが含まれる確率が高いことを表わす。位置検出処理では、検査対象物Tが有るのに検出されない未検出の位置と、検査対象物Tが無いのに誤って検出されてしまう過検出の位置とが生じえる。図7(A)と図7(B)において、検出された検査対象物Tの位置を、枠内に「B」を付して表わしている。また、未検出の位置を一点鎖線の枠で表わし、過検出の位置を破線の枠で表わしている。図7(A)の「第1画像セット-正解」の行と「第2画像セット-正解」の行とに検査対象物Tが実際にある位置を示している。
ステップS12では、検出評価値を所定の閾値以上とすることで、位置検出処理で誤検出(未検出及び過検出)があっても、誤検出が未検出又は過検出の一方に偏りすぎないように調整される。ステップS12においてCPU10は、第1画像セットと第2画像セットとの両方に対して処理を行う。なお、過去にステップS12と同じ処理が第1画像セットに対して行われ、その処理結果が記憶装置15に保存されている場合には、第1画像セットに対する処理を省略し、過去に取得された処理結果を使用してもよい。
続いて、CPU10は、図7(B)に示すように、各画像セットで検出された複数の検査対象物Tの位置間の各区間長Lを計算する(ステップS13)。ここで計算される複数の区間長Lは、隣合う一対の検査対象物Tの区間長であり、1つの画像セットでn個の検査対象物Tが検出されていれば、1つの画像セットでn-1個の区間長Lが計算される。ステップS13においてCPU10は、第1画像セットと第2画像セットとの両方に対して処理を行う。なお、過去にステップS13と同じ処理が第1画像セットに対して行われ、その処理結果が記憶装置15に保存されている場合には、第1画像セットに対する処理を省略し、過去に取得された処理結果を使用してもよい。ステップS12、S13の処理を実行するCPU10が、本発明に係る区間長取得部として機能する。
このように、第1画像セットの複数の区間長Lと、第2画像セットの複数の区間長Lとが得られたら、図7(C)の斜め二重線に示すように、同一の区間長L同士を対応付けることで、第1画像セットと第2画像セットとのズレ量を計算することができる。しかしながら、1つの画像セット中には複数の箇所で値が似通った複数の区間長Lが存在する場合がある。このため、第1画像セットと第2画像セットとの間で間違った区間長L同士が対応付けられる場合がある。また、未検出及び過検出によって、第1画像セットと第2画像セットとの間で対応付けできない区間長Lが含まれる場合がある。
そこで、CPU10は、続くステップS14~S18の処理により第1画像セットの複数の区間長Lと第2画像セットの複数の区間長Lとを所定の条件に従って対応付け、その結果に基づいて第1画像セットと第2画像セットの位置のズレ量を計算する。
<対応付け処理>
先ず、図8と図9を参照して区間長の対応付けの処理について説明する。図8(A)~(C)、図9(A)~(D)は、区間長を対応付ける第1例~第7例を示す図である。
区間長の対応付けの処理では、CPU10は、対応付けを開始する先頭の区間長の指定を変えながら、第1画像セットの複数の区間長と第2画像セットの複数の区間長との対応付けを複数パターン行う。具体的には、CPU10は、第1画像セットの複数の区間長の中から、n通りに先頭の区間長を指定する。以下では、n通りの先頭の区間長を、インデックスiを付加して、先頭の区間長iのように記す。図8(A)~図8(C)と図9(A)~図9(D)の各々は、1つのパターンの対応付け結果を示し、指定された先頭の区間長iを表中の網掛けにより示している。図8(A)~図8(C)は、第1画像セットの1番目の区間長「6006」を、先頭の区間長とした例である。図9(A)~図9(C)は、第1画像セットの2番目の区間長「42」を、先頭の区間長とした例である。図9(D)は、第1画像セットの3番目の区間長「288」を、先頭の区間長とした例である。
また、CPU10は、指定された1つの先頭の区間長に対して1パターン又は複数パターンの対応付けを行う。図8(A)~(C)は、指定された先頭の区間長「6006」に対して、3通りに対応付けが行われた3パターンの対応付け結果を示す。図9(A)~(C)は、指定された先頭の区間長「42」に対して、3通りに対応付けが行われた3パターンの対応付け結果を示す。図9(D)は、指定された先頭の区間長「288」に対する1パターンの対応付け結果を示す。図8と図9の各表の1行目に記載の「s*,t*(*は数字、「s*」をs番号、「t*」をt番号と呼ぶ)」のうち、s番号は先頭の区間長について何回目の指定であるかを示し、t番号は指定された1つの先頭の区間長に対して何パターン目の対応付けかを示す。
先頭の区間長が指定された1パターン目の対応付けの処理では、例えば、図8(A)に示すように、CPU10は、まず、指定された先頭の区間長「6006」を、第2画像セットの先頭の区間長から順に照合する。そして、CPU10は、先頭の区間長「6006」と誤差の範囲で同一と見なせる区間長(例えば±15ピクセル以内の区間長、例えば「6004」)が照合されたら、これらを対応付ける。図8(A)において、矢印により対応関係を示す。図9(A)と図9(D)は、図8(A)と同様に、先頭の区間長が指定された後の1パターン目の対応付けの結果を示す。
次に、CPU10は、第1画像セットの続く区間長「42」、「288」、「34」、「34308」、・・・を、順次、第2画像セットの区間長と照合して、同一と見なせる区間長と対応付ける。ここで、CPU10は、直前の照合で対応付けられた第2画像セットの区間長の次の区間長から照合を開始する。例えば図8(A)においては、第1画像セットの区間長「42」は、前の照合で対応付けられた第2画像セットの区間長「6004」の次の区間長「364」から順次照合され、その後にある区間長「42」が対応付けられている。このような、対応付けの処理により、CPU10は、第1画像セットの区間長の並び順と、第2画像セットの区間長の並び順とが変わらないように、これらを対応付けすることができる。なお、これらの照合の際、予め定められた近傍範囲に、同一と見なせる区間長が無ければ、その区間長の対応付けは行わずに、次の区間長の照合に移行する。例えば、図8(B)では、第1画像セットの6番目の区間長「6636」と同一と見なせる区間長が近傍範囲に無く、その対応付けが行われていない。予め定められた「近傍範囲」としては、第1画像セットと第2画像セットとの想定される位置のズレ量の最大値を設定すればよい。
先頭の区間長が指定されてから2パターン目以降の対応付けの処理は、例えば、図8(B)のように行われる。この場合、まず、CPU10は、指定された先頭の区間長「6006」を、前の対応付けパターンで対応付けられた第2画像セットの区間長「6004」の次から順に照合する。そして、CPU10は、先頭の区間長「6006」と誤差の範囲で同一と見なせる区間長(例えば±15ピクセル以内の区間長、例えば「6010」)が照合されたら、これを対応付ける。第1画像セットの続く区間長の対応付けの処理は、上述のものと同一である。このような処理により、図8(B)、図9(B)、図9(C)のような対応付けが行われる。
また、図8(C)に示すように、指定された先頭の区間長「6006」の照合の際、照合開始から予め定められた近傍範囲に、先頭の区間長と同一と見なせる区間長が無ければ、CPU10は、先頭の区間長を次の指定に変える。つまり、対応付けを開始する1つの先頭の区間長に対して、何パターンの対応付けが行われるかは、指定された先頭の区間長と同一と見なせる区間長が、第2画像セットの近傍範囲にどれだけあるかによって決まる。先頭の区間長を次の指定に変えたら、CPU10は、次に指定された先頭の区間長から、上記と同様の対応付けの処理を繰り返す。
なお、図8(C)は、対応付けなしの処理を説明するための表であり、対応付け結果としては含まれない。図8と図9の例では、先頭の区間長の指定を「6006」、「42」及び「288」の3通りに変えて、6パターンの対応付け結果が得られた例を示す。対応付けの処理では、対応付けを開始する先頭の区間長iの指定数と、第1画像セットのどの範囲まで対応付けを行うかによって、得られる対応付け結果のパターン数を増減できる。実際には、先頭の区間長の指定は3通り以上行われて、より多くの対応付けの結果が取得されるようにしてもよい。
上述した対応付けの処理は、図6のステップS14~S16により実現される。すなわち、CPU10は、まず、第1画像セットの中から、対応付けを開始する先頭の区間長iを指定し(ステップS14)、第1画像セットの先頭の区間長i以降の区間長を、順番を変えずに、第2画像セットの区間長に対応付ける(ステップS15)。ステップS15では、この条件を満たす可能な限りの対応付けを行う。これにより、図8と図9を参照して説明したように、先頭の区間長iの1つの指定に対応する複数パターンの対応付け結果が得られる。
続いて、CPU10は、先頭の区間長iの指定(i=1~nまでの指定)を完了したか判別する(ステップS16)。判別の結果、未だであれば、CPU10は、ステップS14に処理を戻してループ処理を繰り返し、完了していれば、ステップS14~S16のループ処理を抜けて、対応付け処理を終了する。これらの処理により、図8と図9に示したような複数パターンの対応付け結果が得られる。ステップS14~S16の処理を実行するCPU10が、本発明に係るマップ処理部として機能する。
<ズレ量の計算処理>
続いて、第1画像セットと第2画像セットとの位置のズレ量を計算する処理(ステップS17、S18)について、図10と図11を参照しながら説明する。図10は、対応付け結果から連続対応部分を抽出した結果の一例を説明する図である。図11は、連続対応部分からズレ量を計算する処理を説明する図である。
ステップS17では、対応付け処理で得られた複数パターンの結果から、CPU10は、第1画像セットにおける連続する複数の区間長と、第2画像セットにおける連続する複数の区間長とが対応付けられている連続対応部分W1を抽出する。図10の表は、図8及び図9の(s1、t1)~(s3,t1)の複数パターンの対応付けの結果を、異なる形式で表わしている。表中の「111」~「317」は、第1画像セットの1つの区間長と第2画像セットの1つの区間長との対応関係を示し、互いに同一番号が付加されている第1画像セットの行の区間長と、第2画像セットの行の区間長とが、対応付けられていることを示す。この数値のことを「対応番号」と呼ぶ。「111」~「317」の対応番号のうち左から2桁の数値はs番号とt番号とを示し、3桁目の数値は個々の対応付けの通し番号を示す。連続対応部分W1とは、第1画像セットの表中の列方向にも、第2画像セットの表中の列方向にも連続して対応番号が付加されている部分を意味する。例えば対応番号「112」と「113」とは、両方で列方向にも連続しているので連続対応部分W1に含まれる。一方、対応番号「111」と「112」とは、第1画像セットの表中では列方向に連続しているが、第2画像セットの表中では列方向に連続していないので連続対応部分W1に含まれない。連続対応部分W1は、対応番号が行方向にも連続している必要はなく、また、図10のように一塊でなく複数に分割されていてもよい。
連続対応部分W1を抽出したら、CPU10は、連続対応部分W1における第1画像セットの座標値と第2画像セットの座標値との差を計算する。図11の表は、図10の第2画像セット部分の対応番号を、第2画像セットの座標と第1画像セットの座標との差(ズレ量)に変更したものである。例えば、図11の「s1、t1」の列の6行目の「341」は、第1画像セットの「42」の区間長の座標「12441」と、第2画像セットの「42」の区間長の座標「12782」との差を演算して得られる。
次に、CPU10は、連続対応部分W1の各ズレ量に基づいて、第1画像セットと第2画像セットとの位置のズレ量を計算する(ステップS18)。一例として、CPU10は、連続対応部分W1の各ズレ量の平均値を第1画像セットと第2画像セットの位置のズレ量として計算する。その他の例として、CPU10は、連続対応部分W1の複数のズレ量のうち最頻値、あるいは、所定の偏差値以内のズレ量の平均値など、適宜統計処理を行った値を、第1画像セットと第2画像セットとの位置のズレ量として計算してもよい。ステップS17、S18を実行するCPU10が、本発明に係るズレ量計算部として機能する。
続いて、CPU10は、ステップS18で計算されたズレ量に基づいて、第2画像セットのワールド座標を修正する(ステップS19)。これにより、第1画像セットと第2画像セットとの概略の位置合わせが遂行され、概略位置合わせ処理が終了する。
以上のように、本実施形態の画像処理装置1によれば、概略位置合わせ処理において、CPU10が、第1画像セットにおける複数の区間長と、第2画像セットにおける複数の区間長とを、両方の区間長の並び順が変わらないように対応付ける。軌道回路の接続部など、レールに沿った任意の地点でレールの側面に固定された検査対象物Tは、検査対象物Tを移動させる工事等がなければ、異なる撮影タイミングでこれらを撮影しても、隣の検査対象物Tまでの各区間長と、各区間長の並びとは維持される。したがって、上記の対応付けの処理により、このような区間長の特徴を利用して、小さな計算負荷で、複数の画像間で同一の検査対象物Tを対応付けることができる。そして、第1画像セットと第2画像セットとの大まかな位置合わせを行うことができる。
さらに、本実施形態の画像処理装置1によれば、概略位置合わせ処理において、CPU10が、複数パターンの対応付け結果から連続対応部分W1を抽出し、この部分の対応関係に基づいて、第1画像セットと第2画像セットとのズレ量を計算する。一般に、検査対象物Tの画像認識では、検査対象物Tの未検出又は過検出などの誤検出が生じて、その部分の区間長に誤りが生じる。しかし、連続対応部分W1を抽出することで、未検出又は過検出の影響のない正しい対応関係の部分を多く抽出でき、これに基づいて誤検出の影響を排除した正しいズレ量を計算することができる。
また、本実施形態の鉄道設備部品の保守管理方法によれば、異なるタイミングで多数の検査対象物Tが撮影された第1画像及び第2画像について、概略位置合わせ処理により両方の画像の大まかな位置合わせを行うことができる。その結果、続く詳細位置合わせ処理と画像比較処理とにより、検査対象物Tの変化の有無を綿密にかつ正確に検出することができる。そして、変化が有ると判定された検査対象物Tについて、係員が修繕の要否を判断することで、レールに多数存在する検査対象物Tを少ない労力で厳密に検査することが可能となる。
(第1変形例)
第1変形例は、概略位置合わせ処理において、第1画像セットと第2画像セットとの間で複数の検査対象物Tの各区間長を対応付ける処理が、上記の実施形態のものと異なり、他の構成は実施形態のものと同様である。同様の構成については詳細な説明を省略する。図12は、第1変形例の概略位置合わせ処理の手順を示すフローチャートである。図13は、図12のステップS22の最適アライメントの処理を説明する図である。
第1変形例の画像処理装置1において、概略位置合わせ処理が開始されると、CPU10は、第1画像セットと第2画像セットとにワールド座標を付加し(ステップS11)、閾値以上の検出評価値を有する検査対象物Tを抽出する(ステップS12)。続いて、CPU10は、複数の検査対象物の各区間長を計算する(ステップS13)。ここまでは、上述の実施形態と同様である。
次に、CPU10は、ステップS13で計算された複数の区間長を画像上の位置順に並べて数列を作成する(ステップS21)。ここで、CPU10は、第1画像セットと第2画像セットとのそれぞれに対応して第1数列xと第2数列yとを、次のように作成する。
Figure 0007130356000001
続いて、CPU10は、動的計画法により2つの数列x,yの最適アライメントを求める計算を行う(ステップS22)。具体的には、2つの数列x,yを入力とし、数列x,yにギャップ(下記「G」)を補った2つの配列中の同一位置の値の差が最小となる配列xr、yrを、次の動的計画法により求める。
Figure 0007130356000002
動的計画法では、図13に示すように、m×n個の枠をマトリックス状に配置し、枠(0,0)から枠(m,n)までたどる複数のパスを設定する。複数のパスは、下から上、左から右、左斜め下から右斜め上のパスのみを設定する。さらに、動的計画法では、CPU10は、各枠のコストs(i,j)を、例えば、次のように計算する。(i,j)はマトリックス状の枠の位置を示し、左端を0、下端を0としている。
Figure 0007130356000003
ここで、min{l,m,n}は、l、m、nの中の最小の値を意味する。xとyは数列xのi番目の値と数列yのj番目の値を意味する。
各枠のコストを計算したら、CPU10は、枠(0,0)から枠(m,n)に移動するパスで、コストの総和が最小となるパスを見つける。下から上へ移動するパスではxにギャップが補われ、左から右へ移動するパスではyにギャップが補われる。
このような動的計画法の計算により、第1画像セットの複数の区間長と、第2画像セットの複数の区間長とを、区間長の並びを変えずに、互いの差が最も小さくなるような対応付けを探し出すことができる。この結果の一例が、上記の配列xr、yrである。ステップS21、S22の処理を実行するCPU10が、本発明に係るマップ処理部として機能する。
このような最適アライメントの結果が得られたら、CPU10は、配列xr、yrの各要素の差から第1画像セットと第2画像セットとの位置ズレを計算する(ステップS23)。そして、CPU10は、この位置ズレで第2画像セットのワールド座標を修正し(ステップS19)、概略位置合わせ処理を終了する。
以上のように、第1変形例の画像処理装置1によれば、動的計画法を利用して、第1画像セットと第2画像セットの間で各区間長の最適な対応付けを行うことができる。これにより、複数の検査対象物T間の各区間長と、各区間長の並びとが維持されるという特徴を利用して、第1画像セットと第2画像セットとの位置のズレ量を小さい負荷で計算し、両方の画像セットの位置を大まかに合せることができる。そして、画像処理装置1を利用した鉄道設備部品の保守管理方法により、上記実施形態と同様に、レールに多数存在する検査対象物Tに対して少ない労力で厳密な検査が可能となる。
(第2変形例)
第2変形例は、概略位置合わせ処理において、検査対象物の画像認識の結果を条件に加えて、区間長の対応付けを行う点が異なり、その他は、上記の実施形態又は第1変形例と同様である。同様の構成については詳細な説明を省略する。図14は、第2変形例の概略位置合わせ処理の手順を示すフローチャートである。
第2変形例では、図4のステップS3の位置検出処理で、検査対象物Tの画像認識を行った際に、CPU10は、検査対象物Tの分類を複数の中から特定し、この結果を検査対象物Tの番号と対応付けて記憶装置15に記憶しておく。例えば、予め、テンプレート記憶部152に記憶される複数のテンプレートについて、画像の特徴量が似たものをグループ化して、複数の分類に分けておく。そして、画像処理装置1がテンプレートと照合して検査対象物Tを検出する際に、最も画像の特徴量が合致したテンプレートの分類を、検査対象物Tの分類として記憶しておけばよい。
第2変形例の画像処理装置1において、概略位置合わせ処理が開始されると、CPU10は、第1画像セットと第2画像セットとにワールド座標を付加し(ステップS11)、閾値以上の検出評価値を有する検査対象物Tを抽出する(ステップS12)。次に、CPU10は、複数の検査対象物の各区間長を計算する(ステップS13)。ここまでは、上述の実施形態と同様である。
続いて、CPU10は、記憶装置15から、各検査対象物Tの分類を読み出す(ステップS31)。そして、CPU10は、第1画像セットの複数の区間長と第2画像セットの複数の区間長とを、区間長の順番を変えずに対応付けを行う(ステップS32)。但し、第2変形例では、対応付けの際、対象の区間長の前後の検査対象物の分類と、対応付け先の区間長の前後の検査対象物の分類とを比較して、前の検査対象物同士の分類が同一かつ後の検査対象物同士の分類が同一という条件を付加して対応付けを行う。ステップS32の処理は、この条件が付加される以外、上述した実施の形態の区間長の対応付け処理と同様のものを採用できる。ステップS32の処理を実行するCPU10が、本発明に係るマップ処理部として機能する。
なお、ステップS32の処理としては、第1変形例の対応付けの処理に、前の検査対象物同士の分類が同一かつ後の検査対象物同士の分類が同一という条件を付加したものを採用することもできる。この場合、異なる分類が対応付く枠と、同一の分類が対応付く枠とで、コストの値を適宜設定しておくことで、同様の動的計画法を用いて、区間長の最適な対応付けを行うことができる。
対応付けが完了したら、CPU10は、その結果に基づき第1画像セットと第2画像セットの位置のズレ量を計算し(ステップS33)、第2画像セットのワールド座標を修正する(ステップS19)。そして、概略位置合わせ処理を終了する。
以上のように、第2変形例の画像処理装置1によれば、検査対象物Tの画像認識の結果を条件に含めて、各区間長の対応付けを行うことで、より小さな計算負荷でより正確に第1画像セットと第2画像セットとの位置のズレ量を求めることができる。そして、第1画像セットと第2画像セットとの位置を大まかに合せることができる。そして、画像処理装置1を利用した鉄道設備部品の保守管理方法により、上記実施形態と同様に、レールに多数存在する検査対象物Tに対して少ない労力で厳密な検査を実現できる。
以上、本発明の実施形態について説明した。しかし、本発明は上記の実施形態に限られない。例えば、実施形態では、検査対象物として軌道回路の接続部を適用した例を示したが、その他の部品が適用されてもよい。また、上記実施形態の保守管理方法では、画像処理装置1が変化有りと判断した検査対象物Tを、係員が目視等により修繕の要否を判断する方法とした。しかし、最終的な修繕の要否の判断も、画像解析等を用いてコンピュータが行うようにしてもよい。その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
1 画像処理装置
10 CPU
14 インタフェース
15 記憶装置
151 撮影データ格納部
152 テンプレート記憶部
153 位置検出プログラム
154 概略位置合わせプログラム
155 詳細位置合わせプログラム
156 画像比較プログラム
30 鉄道車両
31 撮影装置
32 照明装置
R レール
T 検査対象物(対象物)

Claims (5)

  1. 一列に並んだ複数の対象物を撮影して得られた第1画像と第2画像とを比較して前記第1画像と前記第2画像との位置合わせを行う位置合わせ処理部を備え、
    前記位置合わせ処理部は、
    少なくとも前記第2画像から前記対象物と認識される複数の位置を検出する位置検出部と、
    前記位置検出部により検出された複数の位置間の各区間長を取得する区間長取得部と、
    前記区間長取得部が取得した前記第2画像における複数の区間長と、前記第1画像上で認識される前記複数の対象物間の複数の区間長とを、前記第1画像における前記複数の区間長の並び順及び前記第2画像における前記複数の区間長の並び順を変えずに対応付けるマップ処理部と、
    前記マップ処理部が対応付けた前記複数の区間長の対応関係に基づいて前記第1画像と前記第2画像との位置のズレ量を計算するズレ量計算部とを備え、
    前記ズレ量に基づいて前記第1画像と前記第2画像との位置合わせを行うことを特徴とする画像処理装置。
  2. 前記マップ処理部は、前記第1画像における前記複数の区間長と前記第2画像における前記複数の区間長とを複数パターンで対応付け、
    前記ズレ量計算部は、前記複数パターンの対応関係のうち、前記第1画像における連続する複数の区間長と前記第2画像における連続する複数の区間長とが対応付けられている連続対応部分を抽出し、抽出された前記連続対応部分の対応関係に基づいて前記ズレ量を計算することを特徴とする請求項1記載の画像処理装置。
  3. 前記マップ処理部は、前記第1画像における前記複数の区間長を並び順を変えずに配列した第1数列と、前記第2画像における前記複数の区間長を並び順を変えずに配列した第2数列とを作成し、動的計画法により前記第1数列と前記第2数列との最適アライメントを計算して、前記複数の区間長を対応付けることを特徴とする請求項1記載の画像処理装置。
  4. 少なくとも前記第2画像上の前記複数の対象物の特徴量を抽出する特徴量抽出部を更に備え、
    前記マップ処理部は、前記第1画像における前記対象物の特徴量と、前記第2画像における前記対象物の特徴量と、前記第1画像における前記複数の区間長と、前記第2画像における前記複数の区間長とに基づいて、前記第1画像と前記第2画像とにおける前記複数の区間長の対応付けを行うことを特徴とする請求項1から請求項3のいずれか一項に記載の画像処理装置。
  5. 請求項1から請求項4のいずれか一項に記載の画像処理装置を用いて、鉄道のレールに接続された複数の部品の各々を保守管理する鉄道設備部品の保守管理方法であって、
    前記レール上を走行する鉄道車両に搭載された撮影装置により、日数を隔てて複数回、前記複数の部品を撮影し、
    前記複数の部品を前記複数の対象物として、前記画像処理装置が、前記複数回の撮影により得られた複数の画像の位置を合わせる概略位置合わせ処理を行い、
    コンピュータが、前記概略位置合わせ処理により位置合わせされた前記複数の画像から互いに対応する前記部品を含んだ複数の画像領域を切り出し、前記部品の位置が合うように前記複数の画像領域を射影変換する詳細位置合わせ処理と、前記詳細位置合わせ処理後の前記複数の画像領域を比較して前記複数の部品の各々の変化を検出する画像比較処理とを実行し、
    前記複数の部品のうち、閾値以上の変化が検出された1つ又は複数の部品について修繕の要否を判定することを特徴とする鉄道設備部品の保守管理方法。
JP2017120063A 2017-06-20 2017-06-20 画像処理装置及び鉄道設備部品の保守管理方法 Active JP7130356B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017120063A JP7130356B2 (ja) 2017-06-20 2017-06-20 画像処理装置及び鉄道設備部品の保守管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017120063A JP7130356B2 (ja) 2017-06-20 2017-06-20 画像処理装置及び鉄道設備部品の保守管理方法

Publications (2)

Publication Number Publication Date
JP2019003573A JP2019003573A (ja) 2019-01-10
JP7130356B2 true JP7130356B2 (ja) 2022-09-05

Family

ID=65006894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017120063A Active JP7130356B2 (ja) 2017-06-20 2017-06-20 画像処理装置及び鉄道設備部品の保守管理方法

Country Status (1)

Country Link
JP (1) JP7130356B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991222B (zh) * 2019-10-16 2023-12-08 京东科技信息技术有限公司 一种物体状态监测、母猪发情监测方法、装置及系统
CN110820447A (zh) * 2019-11-22 2020-02-21 武汉纵横天地空间信息技术有限公司 一种基于双目视觉的轨道几何状态测量系统及其测量方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015105905A (ja) 2013-12-02 2015-06-08 公益財団法人鉄道総合技術研究所 変状の時系列管理に用いるトンネル覆工面画像の補正方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015105905A (ja) 2013-12-02 2015-06-08 公益財団法人鉄道総合技術研究所 変状の時系列管理に用いるトンネル覆工面画像の補正方法

Also Published As

Publication number Publication date
JP2019003573A (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
CA2507174C (en) Method of registering and aligning multiple images
JP6904614B2 (ja) 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム
US7031511B2 (en) Hole inspection apparatus and method
US10942130B2 (en) Damage information processing device and damage information processing method
Lu et al. Automatic fault detection of multiple targets in railway maintenance based on time-scale normalization
CN108520514B (zh) 基于计算机视觉的印刷电路板电子元器一致性检测方法
Yang et al. A robotic system towards concrete structure spalling and crack database
JP7130356B2 (ja) 画像処理装置及び鉄道設備部品の保守管理方法
CN112365461A (zh) 紧固件松动识别方法、系统、终端及存储介质
CN116242316B (zh) 刚性接触网定位点实时检测的方法及装置
JP6960252B2 (ja) 画像分析装置及び鉄道設備部品の保守管理方法
JP2020038132A (ja) コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム
JP6908445B2 (ja) 変化検出装置及び鉄道設備部品の保守管理方法
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
CN114926415A (zh) 一种基于pcnn与深度学习的钢轨表面检测方法
Martin et al. Object of fixation estimation by joint analysis of gaze and object dynamics
CN110288040A (zh) 一种基于拓扑验证的图像相似评判方法及设备
JP4459162B2 (ja) 速度計測装置、方法及びプログラム
CN111860040B (zh) 站场信号设备状态获取方法、装置和计算机设备
CN116681912A (zh) 铁路道岔的轨距检测方法及装置
EP4242996A1 (en) Status determination device, status determination system, and status determination method
JP2019142304A (ja) 落下物検出装置及び落下物検出方法
JP4537645B2 (ja) 物体追跡装置および物体追跡装置制御方法
Posada Moreno et al. Cargo wagon structural health estimation using computer vision
JP2000321038A (ja) パターン欠陥検出方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20171023

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210728

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210914

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20211210

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220524

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220719

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220816

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220824

R150 Certificate of patent or registration of utility model

Ref document number: 7130356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150