JP7130356B2 - 画像処理装置及び鉄道設備部品の保守管理方法 - Google Patents
画像処理装置及び鉄道設備部品の保守管理方法 Download PDFInfo
- Publication number
- JP7130356B2 JP7130356B2 JP2017120063A JP2017120063A JP7130356B2 JP 7130356 B2 JP7130356 B2 JP 7130356B2 JP 2017120063 A JP2017120063 A JP 2017120063A JP 2017120063 A JP2017120063 A JP 2017120063A JP 7130356 B2 JP7130356 B2 JP 7130356B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- section lengths
- image set
- section
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Train Traffic Observation, Control, And Security (AREA)
- Image Analysis (AREA)
Description
一列に並んだ複数の対象物を撮影して得られた第1画像と第2画像とを比較して前記第1画像と前記第2画像との位置合わせを行う位置合わせ処理部を備え、
前記位置合わせ処理部は、
少なくとも前記第2画像から前記対象物と認識される複数の位置を検出する位置検出部と、
前記位置検出部により検出された複数の位置間の各区間長を取得する区間長取得部と、
前記区間長取得部が取得した前記第2画像における複数の区間長と、前記第1画像上で認識される前記複数の対象物間の複数の区間長とを、前記第1画像における前記複数の区間長の並び順及び前記第2画像における前記複数の区間長の並び順を変えずに対応付けるマップ処理部と、
前記マップ処理部が対応付けた前記複数の区間長の対応関係に基づいて前記第1画像と前記第2画像との位置のズレ量を計算するズレ量計算部とを備え、
前記ズレ量に基づいて前記第1画像と前記第2画像との位置合わせを行うことを特徴とする。
前記ズレ量計算部は、前記複数パターンの対応関係のうち、前記第1画像における連続する複数の区間長と前記第2画像における連続する複数の区間長とが対応付けられている連続対応部分を抽出し、抽出された前記連続対応部分の対応関係に基づいて前記ズレ量を計算するように構成されるとよい。
この構成によれば、動的計画法により短い時間で第1画像と第2画像との対応関係を計算し、第1画像と第2画像との位置合わせを行うことができる。
少なくとも前記第2画像上の前記複数の対象物の特徴量を抽出する特徴量抽出部を更に備え、
前記マップ処理部は、前記第1画像における前記対象物の特徴量と、前記第2画像における前記対象物の特徴量と、前記第1画像における前記複数の区間長と、前記第2画像における前記複数の区間長とに基づいて、前記第1画像と前記第2画像とにおける前記複数の区間長の対応付けを行うとよい。
上述の画像処理装置を用いて、鉄道のレールに接続された複数の部品の各々を保守管理する鉄道設備部品の保守管理方法であって、
前記レール上を走行する鉄道車両に搭載された撮影装置により、日数を隔てて複数回、前記複数の部品を撮影し、
前記複数の部品を前記複数の対象物として、前記画像処理装置が、前記複数回の撮影により得られた複数の画像の位置を合わせる概略位置合わせ処理を行い、
コンピュータが、前記概略位置合わせ処理により位置合わせされた前記複数の画像から互いに対応する前記部品を含んだ複数の画像領域を切り出し、前記部品の位置が合うように前記複数の画像領域を射影変換する詳細位置合わせ処理と、前記詳細位置合わせ処理後の前記複数の画像領域を比較して前記複数の部品の各々の変化を検出する画像比較処理とを実行し、
前記複数の部品のうち、閾値以上の変化が検出された1つ又は複数の部品について修繕の要否を判定することを特徴とする。
図1は、本発明の実施形態に係る画像処理装置及び撮影装置を示す構成図である。図2は、検査対象物である軌道回路の接続部の一例を示す斜視図である。
実施形態に係る画像処理装置1は、日数を隔てて複数回撮影された検査対象物T(図2を参照)の画像を比較し、検査対象物Tの変化の有無を検出する装置である。画像処理装置1は、コンピュータであり、CPU(Central Processing Unit)10、RAM(Random Access Memory)11、表示部12、マウス又はキーボード等の操作部13、データ入力用のインタフェース14及び記憶装置15を備える。
画像処理装置1は、インタフェース14を介して外部から検査対象物Tが撮影された画像データを入力する。検査対象物Tの画像データは、鉄道車両30の車体下部に固定された撮影装置31(図1を参照)により撮影される。撮影装置31の周囲には、被撮影箇所を照らす照明装置32が設けられている。
図4は、保守管理処理の手順を示すフローチャートである。
本実施形態の鉄道設備部品の保守管理方法は、図4の保守管理処理を所定の期間ごとに繰り返し行って、軌道回路の接続部(検査対象物T)を保守管理するものである。検査対象日において保守管理処理が開始されると、先ず係員は、走行する鉄道車両30から撮影装置31を用いて撮影を行う(ステップS1)。撮影は保守管理対象の路線区間で行われ、この撮影により、レールRに沿った長い画像が取得される。画像中には、多数の検査対象物Tが含まれる。画像データは、例えば長手方向に所定ピクセルごとに分割され、複数の画像として取り扱われる。以下、これらの複数の画像を「画像セット」と呼ぶ。
画像分析処理が開始されると、まず、CPU10は、画像セットの中から複数の検査対象物Tの位置を検出する位置検出処理を実行する(ステップS3)。この処理は、図1の位置検出プログラム153をCPU10が実行することで実現される。
位置検出処理では、予めテンプレート記憶部152に記憶されている検査対象物Tのテンプレートが使用される。テンプレートは、多くの検査対象物Tについて画像の特徴量が示されたデータであり、図5に示すように、予めコンピュータw1を用いた学習処理により作成される。学習処理では、コンピュータw1に、ステップS1の撮影処理と同様の撮影により得られた多くの検査対象物Tの画像HPが入力され、かつ、各画像HP中の検査対象物Tの位置を示すフレームf1が指定される。フレームf1の指定は、当初、人が行えばよい。コンピュータw1は、形状等が異なる多くの検査対象物Tのフレーム画像h1から検査対象物Tの画像上の特徴量を抽出し、検査対象物Tの有無を識別するための特徴量のテンプレートを統計的学習により予め作成する。
続いて、図4のステップS4の概略位置合わせ処理について詳細に説明する。図6は、概略位置合わせ処理の詳細な手順を示すフローチャートである。図7は、概略位置合わせ処理を説明する図であり、(A)は検査対象物の位置の検出例を説明する図、(B)は区間長を説明する図、(C)は区間長の対応付けと位置のズレ量とを説明する図である。
<対応付け処理>
先ず、図8と図9を参照して区間長の対応付けの処理について説明する。図8(A)~(C)、図9(A)~(D)は、区間長を対応付ける第1例~第7例を示す図である。
続いて、第1画像セットと第2画像セットとの位置のズレ量を計算する処理(ステップS17、S18)について、図10と図11を参照しながら説明する。図10は、対応付け結果から連続対応部分を抽出した結果の一例を説明する図である。図11は、連続対応部分からズレ量を計算する処理を説明する図である。
第1変形例は、概略位置合わせ処理において、第1画像セットと第2画像セットとの間で複数の検査対象物Tの各区間長を対応付ける処理が、上記の実施形態のものと異なり、他の構成は実施形態のものと同様である。同様の構成については詳細な説明を省略する。図12は、第1変形例の概略位置合わせ処理の手順を示すフローチャートである。図13は、図12のステップS22の最適アライメントの処理を説明する図である。
第2変形例は、概略位置合わせ処理において、検査対象物の画像認識の結果を条件に加えて、区間長の対応付けを行う点が異なり、その他は、上記の実施形態又は第1変形例と同様である。同様の構成については詳細な説明を省略する。図14は、第2変形例の概略位置合わせ処理の手順を示すフローチャートである。
10 CPU
14 インタフェース
15 記憶装置
151 撮影データ格納部
152 テンプレート記憶部
153 位置検出プログラム
154 概略位置合わせプログラム
155 詳細位置合わせプログラム
156 画像比較プログラム
30 鉄道車両
31 撮影装置
32 照明装置
R レール
T 検査対象物(対象物)
Claims (5)
- 一列に並んだ複数の対象物を撮影して得られた第1画像と第2画像とを比較して前記第1画像と前記第2画像との位置合わせを行う位置合わせ処理部を備え、
前記位置合わせ処理部は、
少なくとも前記第2画像から前記対象物と認識される複数の位置を検出する位置検出部と、
前記位置検出部により検出された複数の位置間の各区間長を取得する区間長取得部と、
前記区間長取得部が取得した前記第2画像における複数の区間長と、前記第1画像上で認識される前記複数の対象物間の複数の区間長とを、前記第1画像における前記複数の区間長の並び順及び前記第2画像における前記複数の区間長の並び順を変えずに対応付けるマップ処理部と、
前記マップ処理部が対応付けた前記複数の区間長の対応関係に基づいて前記第1画像と前記第2画像との位置のズレ量を計算するズレ量計算部とを備え、
前記ズレ量に基づいて前記第1画像と前記第2画像との位置合わせを行うことを特徴とする画像処理装置。 - 前記マップ処理部は、前記第1画像における前記複数の区間長と前記第2画像における前記複数の区間長とを複数パターンで対応付け、
前記ズレ量計算部は、前記複数パターンの対応関係のうち、前記第1画像における連続する複数の区間長と前記第2画像における連続する複数の区間長とが対応付けられている連続対応部分を抽出し、抽出された前記連続対応部分の対応関係に基づいて前記ズレ量を計算することを特徴とする請求項1記載の画像処理装置。 - 前記マップ処理部は、前記第1画像における前記複数の区間長を並び順を変えずに配列した第1数列と、前記第2画像における前記複数の区間長を並び順を変えずに配列した第2数列とを作成し、動的計画法により前記第1数列と前記第2数列との最適アライメントを計算して、前記複数の区間長を対応付けることを特徴とする請求項1記載の画像処理装置。
- 少なくとも前記第2画像上の前記複数の対象物の特徴量を抽出する特徴量抽出部を更に備え、
前記マップ処理部は、前記第1画像における前記対象物の特徴量と、前記第2画像における前記対象物の特徴量と、前記第1画像における前記複数の区間長と、前記第2画像における前記複数の区間長とに基づいて、前記第1画像と前記第2画像とにおける前記複数の区間長の対応付けを行うことを特徴とする請求項1から請求項3のいずれか一項に記載の画像処理装置。 - 請求項1から請求項4のいずれか一項に記載の画像処理装置を用いて、鉄道のレールに接続された複数の部品の各々を保守管理する鉄道設備部品の保守管理方法であって、
前記レール上を走行する鉄道車両に搭載された撮影装置により、日数を隔てて複数回、前記複数の部品を撮影し、
前記複数の部品を前記複数の対象物として、前記画像処理装置が、前記複数回の撮影により得られた複数の画像の位置を合わせる概略位置合わせ処理を行い、
コンピュータが、前記概略位置合わせ処理により位置合わせされた前記複数の画像から互いに対応する前記部品を含んだ複数の画像領域を切り出し、前記部品の位置が合うように前記複数の画像領域を射影変換する詳細位置合わせ処理と、前記詳細位置合わせ処理後の前記複数の画像領域を比較して前記複数の部品の各々の変化を検出する画像比較処理とを実行し、
前記複数の部品のうち、閾値以上の変化が検出された1つ又は複数の部品について修繕の要否を判定することを特徴とする鉄道設備部品の保守管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017120063A JP7130356B2 (ja) | 2017-06-20 | 2017-06-20 | 画像処理装置及び鉄道設備部品の保守管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017120063A JP7130356B2 (ja) | 2017-06-20 | 2017-06-20 | 画像処理装置及び鉄道設備部品の保守管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019003573A JP2019003573A (ja) | 2019-01-10 |
JP7130356B2 true JP7130356B2 (ja) | 2022-09-05 |
Family
ID=65006894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017120063A Active JP7130356B2 (ja) | 2017-06-20 | 2017-06-20 | 画像処理装置及び鉄道設備部品の保守管理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7130356B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110991222B (zh) * | 2019-10-16 | 2023-12-08 | 京东科技信息技术有限公司 | 一种物体状态监测、母猪发情监测方法、装置及系统 |
CN110820447A (zh) * | 2019-11-22 | 2020-02-21 | 武汉纵横天地空间信息技术有限公司 | 一种基于双目视觉的轨道几何状态测量系统及其测量方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015105905A (ja) | 2013-12-02 | 2015-06-08 | 公益財団法人鉄道総合技術研究所 | 変状の時系列管理に用いるトンネル覆工面画像の補正方法 |
-
2017
- 2017-06-20 JP JP2017120063A patent/JP7130356B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015105905A (ja) | 2013-12-02 | 2015-06-08 | 公益財団法人鉄道総合技術研究所 | 変状の時系列管理に用いるトンネル覆工面画像の補正方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019003573A (ja) | 2019-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2507174C (en) | Method of registering and aligning multiple images | |
CN105654507B (zh) | 一种基于图像动态特征跟踪的车辆外廓尺寸测量方法 | |
JP6904614B2 (ja) | 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム | |
US7031511B2 (en) | Hole inspection apparatus and method | |
US10942130B2 (en) | Damage information processing device and damage information processing method | |
Lu et al. | Automatic fault detection of multiple targets in railway maintenance based on time-scale normalization | |
CN108520514B (zh) | 基于计算机视觉的印刷电路板电子元器一致性检测方法 | |
Yang et al. | A robotic system towards concrete structure spalling and crack database | |
CN109253722A (zh) | 融合语义分割的单目测距系统、方法、设备及存储介质 | |
CN112365461A (zh) | 紧固件松动识别方法、系统、终端及存储介质 | |
JP7130356B2 (ja) | 画像処理装置及び鉄道設備部品の保守管理方法 | |
CN116242316B (zh) | 刚性接触网定位点实时检测的方法及装置 | |
JP6960252B2 (ja) | 画像分析装置及び鉄道設備部品の保守管理方法 | |
JP2020038132A (ja) | コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム | |
JP6908445B2 (ja) | 変化検出装置及び鉄道設備部品の保守管理方法 | |
CN110728269B (zh) | 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法 | |
CN114926415A (zh) | 一种基于pcnn与深度学习的钢轨表面检测方法 | |
Martin et al. | Object of fixation estimation by joint analysis of gaze and object dynamics | |
JP4459162B2 (ja) | 速度計測装置、方法及びプログラム | |
CN111860040B (zh) | 站场信号设备状态获取方法、装置和计算机设备 | |
EP4242996A1 (en) | Status determination device, status determination system, and status determination method | |
CN115409829A (zh) | 一种基于历史轨道列车线阵图像检测零部件异常的方法 | |
JP2019142304A (ja) | 落下物検出装置及び落下物検出方法 | |
JP4537645B2 (ja) | 物体追跡装置および物体追跡装置制御方法 | |
JP2000321038A (ja) | パターン欠陥検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20171023 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210728 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210914 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20211210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20211210 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220524 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220719 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220816 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7130356 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |