JPWO2020044725A1 - 検査装置及び検査方法 - Google Patents

検査装置及び検査方法 Download PDF

Info

Publication number
JPWO2020044725A1
JPWO2020044725A1 JP2020540085A JP2020540085A JPWO2020044725A1 JP WO2020044725 A1 JPWO2020044725 A1 JP WO2020044725A1 JP 2020540085 A JP2020540085 A JP 2020540085A JP 2020540085 A JP2020540085 A JP 2020540085A JP WO2020044725 A1 JPWO2020044725 A1 JP WO2020044725A1
Authority
JP
Japan
Prior art keywords
displacement
image
bolt
fastening members
bolts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020540085A
Other languages
English (en)
Inventor
今川 太郎
太郎 今川
晃浩 野田
晃浩 野田
悠樹 丸山
悠樹 丸山
日下 博也
博也 日下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020044725A1 publication Critical patent/JPWO2020044725A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01DCONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
    • E01D22/00Methods or apparatus for repairing or strengthening existing bridges ; Methods or apparatus for dismantling bridges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

検査装置(30)は、構造物(110)を締結する複数の締結部材(130)を検査する検査装置(30)であって、複数の締結部材(130)を互いに異なる時刻に撮像した第一画像(P1)及び第二画像(P2)を含む複数の画像を取得する取得部(31)と、第一画像(P1)及び第二画像(P2)に基づいて、複数の締結部材(130)それぞれの変位である第一変位を検出する検出部(32)と、第一変位に基づいて、複数の締結部材(130)の中から他の締結部材(130)と動きが異なる注目締結部材を特定する特定部(33)とを備える。

Description

本開示は、構造物を締結する複数の締結部材を検査する検査装置及び検査方法に関する。
従来、橋梁等のインフラ構造物のボルト継手部分の点検は、作業員が定期的に橋梁等のボルト継手部分を目視検査又は打音検査することで行われている。しかし、ボルト本数は膨大であり、またボルトの設置場所によっては確認作業が困難となり、作業員の負担となっている。そこで特許文献1には、カメラを用いてボルトのゆるみ検査を自動検査するボルトゆるみ検査方法が開示されている。
特開平8−278116号公報
しかしながら、特許文献1の方法では、1つのボルトに対し、過去のボルトの計測データと現在のボルトの計測データとからボルトのゆるみを判定するので、リファレンスとなる過去の計測データが必要となる。
そこで、本開示は、構造物を締結する複数の締結部材を簡便に検査することができる検査装置及び検査方法を提供することを目的とする。
本開示の一態様に係る検査装置は、構造物を締結する複数の締結部材を検査する検査装置であって、前記複数の締結部材を互いに異なる時刻に撮像した第一画像及び第二画像を含む複数の画像を取得する取得部と、前記第一画像及び前記第二画像に基づいて、前記複数の締結部材それぞれの変位である第一変位を検出する検出部と、前記第一変位に基づいて、前記複数の締結部材の中から他の締結部材と動きが異なる注目締結部材を特定する特定部とを備える。
本開示の一態様に係る検査方法は、構造物を締結する複数の締結部材を検査する検査装置の検査方法であって、前記複数の締結部材を互いに異なる時刻に撮像した第一画像及び第二画像を含む複数の画像を取得するステップと、前記第一画像及び前記第二画像に基づいて、前記複数の締結部材それぞれの変位である第一変位を検出するステップと、前記第一変位に基づいて、前記複数の締結部材の中から他の締結部材と動きが異なる注目締結部材を特定するステップとを含む。
本開示の一態様に係る検査装置、及び、検査方法によれば、構造物を締結する複数の締結部材を簡便に検査することができる。
図1は、実施の形態に係る検査システムの概略構成を示す図である。 図2は、実施の形態に係る検査装置の機能構成を示す図である。 図3は、実施の形態に係る検査装置の動作を示すフローチャートである。 図4Aは、構造物に荷重負荷がないときに撮像装置が撮像した画像を示す図である。 図4Bは、構造物に荷重負荷があるときに撮像装置が撮像した画像を示す図である。 図5Aは、実施の形態に係るボルトにおける変位の時系列データを示す図である。 図5Bは、実施の形態に係るボルトにおける変位の平均値からの差を示す図である。 図6は、実施の形態に係る記憶部が記憶するボルトの寸法を含むテーブルである。 図7Aは、撮像装置が撮像する締結部分の他の一例である。 図7Bは、撮像装置が撮像する締結部分のさらに他の一例である。 図8Aは、構造物全体が動く前に撮像装置が撮像した画像を示す図である。 図8Bは、構造物全体が動いたときに撮像装置が撮像した画像を示す図である。
(本開示の概要)
本開示の一態様に係る検査装置は、構造物を締結する複数の締結部材を検査する検査装置であって、前記複数の締結部材を互いに異なる時刻に撮像した第一画像及び第二画像を含む複数の画像を取得する取得部と、前記第一画像及び前記第二画像に基づいて、前記複数の締結部材それぞれの変位である第一変位を検出する検出部と、前記第一変位に基づいて、前記複数の締結部材の中から他の締結部材と動きが異なる注目締結部材を特定する特定部とを備える。
これにより、検査装置は、複数の締結部材の中での相対的な動きに基づいて、異常の可能性がある締結部材を特定することができる。つまり、検査装置は、予め取得されたリファレンスとなるデータがなくても、異常の可能性がある締結部材である注目締結部材を特定することができる。そのため、検査装置は、例えば、5°以上回転すると異常の可能性がある、などの明確な判定基準がなくても、注目締結部材を特定可能である。よって、本開示の一態様に係る検査装置は、構造物を締結する複数の締結部材を簡便に検査することができる。
また、前記第一画像及び前記第二画像の少なくとも一方は、前記構造物に荷重が加えられているときに撮像された画像であってもよい。
これにより、異常の可能性がある締結部材と異常の可能性がない締結部材との変位の差が顕著に現れるので、検査装置は、より簡便に検査をすることができる。
また、前記検出部は、さらに前記複数の締結部材それぞれの変位の代表値である第二変位を検出し、前記特定部は、さらに前記第二変位に基づいて、前記注目締結部材を特定してもよい。
これにより、特定部は、第一変位及び第二変位の関係に基づいて、注目締結部材を特定することができるので、注目締結部材を精度よく特定することができる。
また、前記複数の画像は、前記第一画像及び前記第二画像を含む3以上の画像を含み、前記検出部は、前記複数の画像に基づいて、複数時点の前記第一変位及び前記第二変位を検出し、前記特定部は、前記複数時点の前記第一変位及び前記第二変位に基づいて、前記注目締結部材を特定してもよい。
これにより、特定部による注目締結部材の特定における誤差及びノイズの影響を低減することができるので、注目締結部材をより精度よく特定することができる。
また、前記複数の締結部材は、当て板を介して前記構造物を締結しており、前記複数の画像のそれぞれは、さらに前記当て板を含む画像であり、前記検出部は、前記複数の締結部材及び前記当て板の全体が変位した場合、前記当て板の変位に応じて前記第一変位を補正してもよい。
これにより、複数の締結部材自体の変位に基づいて注目締結部材を特定することができるので、特定精度がより向上する。
また、前記特定部は、前記複数の締結部材の中から、前記第一変位が前記第二変位から所定値以上異なる締結部材を前記注目締結部材と特定してもよい。
これにより、第一変位の第二変位に対する差と所定値とを比較するといった簡易な方法で、注目締結部材を特定することができる。
また、前記第二変位は、前記複数の締結部材それぞれの前記第一変位の平均値又は中央値であり、前記所定値は、前記複数の締結部材それぞれの前記第一変位の標準偏差に基づいて決定されてもよい。
これにより、第二変位は、複雑な計算をすることなく容易に求めることができる。検出部の処理量の低減につながる。
また、前記第二変位は、前記複数の締結部材それぞれの前記第一変位の平均値又は中央値であり、前記所定値は、前記複数の締結部材の寸法に基づいて決定されてもよい。
これにより、締結部材の寸法に基づいて所定量が決定される。所定量が移動距離に対する値である場合、移動距離が締結部材の寸法に基づいて決定されるので、当該締結部材の寸法に応じた所定量で注目締結部材を特定することができる。よって、検査装置は、締結部材の寸法に応じて適切に注目締結部材を特定することができる。
また、前記平均値又は前記中央値は、ロバスト推定により算出されてもよい。
これにより、外れ値を除いた第一変位に基づいて平均値及び中央値が算出されるので、注目締結部材を特定しやすくなる。
また、前記第一変位は、前記複数の締結部材それぞれの回転角及び移動距離の一方を含み、前記第二変位は、前記複数の締結部材それぞれの回転角及び移動距離の前記一方の代表値を含んでもよい。
これにより、回転角及び移動距離の両方を用いた場合に比べ、検出部及び特定部における処理量を低減することができる。
また、前記第一変位は、前記複数の締結部材それぞれの回転角及び移動距離を含み、前記第二変位は、前記複数の締結部材それぞれの回転角及び移動距離の代表値を含み、前記特定部は、前記注目締結部材において、さらに前記回転角及び前記移動距離の何れが前記他の締結部材と異なる動きをするかを特定してもよい。
これにより、特定部は、回転角及び移動距離の一方に他の締結部材と異なる動きをするボルトを、注目締結部材であると特定することができる。また、特定部は、回転角及び移動距離の何れが他の締結部材と異なるかを特定するので、検査員はその結果により異常モードを推測することができる。よって、回転角及び移動距離の一方を用いた場合に比べ、より精度よく注目締結部材を特定することができる。
また、前記複数の画像は、1回の撮像動作で撮像された動画を構成する画像であってもよい。
これにより、1回の撮像動作で撮像された複数の画像により、注目締結部材を特定することができる。
また、さらに、前記複数の画像を撮像する撮像部を備えてもよい。
これにより、検査装置は、外部から画像を取得しなくても、構造物を締結する複数の締結部材の検査を行うことができるようになる。
本開示の一態様に係る検査方法は、構造物を締結する複数の締結部材を検査する検査装置の検査方法であって、前記複数の締結部材を互いに異なる時刻に撮像した第一画像及び第二画像を含む複数の画像を取得するステップと、前記第一画像及び前記第二画像に基づいて、前記複数の締結部材それぞれの変位である第一変位を検出するステップと、前記第一変位に基づいて、前記複数の締結部材の中から他の締結部材と動きが異なる注目締結部材を特定するステップとを含む。
これにより、検査方法は、複数の締結部材の中での相対的な動きに基づいて、異常の可能性がある締結部材を特定することができる。つまり、検査方法は、予め取得されたリファレンスとなるデータがなくても、異常の可能性がある締結部材である注目締結部材を特定することができる。そのため、検査方法は、例えば、何°以上回転すると異常の可能性がある、などの明確な判定基準がなくても、注目締結部材を特定可能である。よって、本開示の一態様に係る検査方法は、構造物を締結する複数の締結部材を簡便に検査することができる。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD−ROM等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態及び変形例は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態及び変形例で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
また、本明細書において、平行の要素間の関係性を示す用語、および、矩形などの要素の形状を示す用語、並びに、数値は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数%程度の差異をも含むことを意味する表現である。
また、以下の明細書において、画像は、静止画である例について説明する。動画は、複数の静止画によって構成される。
(実施の形態)
以下、本実施の形態に係る検査装置等について、図1〜図7Bを参照しながら説明する。
[1.検査システムの構成]
まずは、本実施の形態に係る検査装置30を含む検査システム10について、図1及び図2を参照しながら説明する。図1は、本実施の形態に係る検査システム10の概略構成を示す図である。
図1に示すように、検査システム10は、撮像装置20と検査装置30とを備える。検査システム10は、構造物110の締結部分100(例えば、ボルト綱手部分)において、構造物110を締結するための複数のボルト130(締結部材の一例)の変位を検査するシステムである例について説明する。本実施の形態では、検査装置30は、構造物110を締結する複数のボルト130のゆるみを検査するための装置である。なお、構造物110を締結するとは、構造物110を構成する各構成部同士を締結することを意味する。図1では、構造物110のうち手前側(紙面上において左側)に位置する部分と、構造物110のうち奥側(紙面上において右側)に位置する部分とを締結している例を示している。
構造物110は、例えば、橋梁などのインフラ構造物であってもよい。また、構造物110は、鋼構造物であってもよい。本実施の形態では、構造物110は、自動車又は電車などの車両が走行する道路又は鉄道などを通すための構造物(例えば、橋)である場合を説明する。なお、ボルト130の変位とは、例えば、ボルト130の回転角及び移動距離の少なくとも一方を含む。なお、回転角は、回転方向及び回転した角度を含み、移動距離は、移動方向及び移動した距離を含む。また、ここでの移動距離は、現実に移動した距離ではなく、現実に移動した距離に対応する値である。移動距離は、例えば、現実に移動した距離に対応する、画像内における画素数である。
構造物110は、例えば、1枚の当て板120を介して取り付けられた複数のボルト130を用いて締結されている。複数のボルト130は、例えば、当て板120上に2次元状に規則正しく配置されている。図1では、当て板120は矩形状であるが、形状は特に限定されない。なお、当て板120は、設けられなくてもよい。
また、構造物110を締結する締結部材は、ボルト130に限定されない。構造物110は、ボルト130とナットとにより締結される。よって、締結部材は、ナットであってもよい。また、締結部材は、構造物110を締結する部材であればよく、例えば、リベットであってもよいし、その他の部材であってもよい。締結部材は、構造物110を締結する部材であって、例えば、検査員が定期的に検査することが義務づけられている部材であってもよい。また、複数のボルト130は、例えば、全て同じ種類のボルトである。
撮像装置20は、例えばイメージセンサを備えるデジタルビデオカメラ又はデジタルスチルカメラである。撮像装置20は、構造物110を締結する複数のボルト130のゆるみを検査するための動画を撮像する。具体的には、撮像装置20は、複数のボルト130の動画を撮像する。
撮像装置20は、1つの当て板120に取り付けられている3以上のボルト130を同時に撮像する。本実施の形態では、撮像装置20は、1つの当て板120に取り付けられている複数のボルト130全てを同時に撮像する。すなわち、複数のボルト130の全てが、撮像装置20の被写対象である。撮像装置20は、例えば、1つの当て板120に取り付けられているなど、同じ状況で設置されている複数のボルト130を同時に撮像する。撮像装置20は、例えば、複数のボルト130と、当て板120の外形とがわかる程度の画角で撮像してもよい。すなわち、複数の画像(動画)は、当て板120に配置された複数のボルト130を含む画像である。
撮像装置20は、例えば、構造物110にかかる荷重が変化している期間を含んで、ボルト130の動画を撮像する。撮像装置20は、例えば、構造物110が橋であれば、車両が橋を走行している期間を含む動画を撮像する。
動画は、構造物110の同じ部分(つまり、締結部分100)を撮像した動画である。動画は、複数の画像(複数のフレーム)で構成される。撮像装置20は、例えば、締結部分100の複数のボルト130の全てを同時に撮像する。
なお、撮像装置20は、撮像した1以上の画像に車両が含まれる場合、当該1以上の画像が構造物110に荷重が加えられたときの画像であるとしてもよい。すなわち、撮像装置20は、締結部分100と構造物110を走行する車両とを含む画角で撮像してもよい。また、撮像装置20は、車両(例えば、電車)が構造物110を通過する時刻を記憶しており、動画のうち当該時刻に撮像した1以上の画像を構造物110に荷重が加えられたときの画像であるとしてもよい。
検査装置30は、例えばコンピュータであり、プロセッサ(図示せず)と、ソフトウェアプログラムが格納されたメモリ(図示せず)とを備える。プロセッサがソフトウェアプログラムを実行することによって、検査装置30は、後述する複数の機能を実現する。また、検査装置30は、専用の電子回路(図示せず)で構成されてもよい。この場合、後述する複数の機能は、別々の電子回路で実現されてもよいし、集積された1つの電子回路で実現されてもよい。
検査装置30は、撮像装置20と通信可能に接続され、撮像装置20によって撮像された動画に基づいて締結部分100の複数のボルト130の検査を行う。本実施の形態において、検査とは、複数のボルト130のゆるみ及び移動を評価することを意味する。ゆるみの評価の具体例としては、例えば、複数のボルト130のうちゆるみが発生しているボルト130の特定、及び、複数のボルト130のうちボルト移動が発生しているボルト130の特定などがある。
ここで、検査装置30の構成について、さらに図2を参照しながら説明する。図2は、本実施の形態に係る検査装置30の機能構成を示す図である。
図2に示すように、検査装置30は、取得部31、検出部32、特定部33、出力部34、及び、記憶部35を備える。
取得部31は、構造物110にかかる荷重が変化している期間を含んで連続的に撮像された複数のボルト130の動画を取得する。取得部31は、例えば、複数のボルト130を互いに異なる時刻に撮像した第一画像及び第二画像を含む複数の画像を取得する。取得部31が取得する動画は、構造物110を締結する複数のボルト130の全てが撮像された動画である。また、動画とは、例えば、撮像装置20により1回の撮像動作で撮像された動画である。すなわち、複数の画像は、1回の撮像動作で撮像された動画を構成する画像である。なお、撮像動作とは、撮像装置20が撮像を開始する操作を取得してから、当該操作における撮像を停止する操作を取得するまでに撮像装置20で行われる撮像のための動作である。撮像動作とは、例えば、シャッタの開閉などを含む。
取得部31による動画の取得方法は、特に限定されない。取得部31は、撮像装置20から無線通信によって動画を取得してもよいし、着脱可能なメモリ(例えばUSB(Universal Serial Bus)メモリ)を介して撮像装置20から動画を取得してもよい。
なお、取得部31が取得するデータは動画に限定されない。取得部31は、複数のボルト130を互いに異なる時刻に撮像した第一画像及び第二画像を取得してもよい。取得部31が取得する第一画像及び第二画像の少なくとも一方は、構造物110に荷重が加えられているときに撮像された画像である。例えば、第一画像及び第二画像の少なくとも一方は、構造物110を車両が通過しているときに撮像された画像である。
検出部32は、第一画像及び第二画像に基づいて、複数のボルト130それぞれの変位である第一変位、及び、複数のボルト130それぞれの変位の代表値である第二変位を検出する。複数の画像に第一画像及び第二画像を含む3以上の画像が含まれる場合、検出部32は、複数の画像に基づいて、複数時点の第一変位及び第二変位を検出する。複数の画像が第一画像〜第三画像を含む場合、検出部32は、第一画像〜第三画像の1つの画像を基準とし、2つの第一変位及び2つの第二変位を検出する。なお、他と異なる動きを特定する精度を向上させる観点から、複数の画像には多くの画像が含まれるとよい。複数の画像は、構造物110に荷重がかかっている期間と、その前後の荷重がかかっていない期間の少なくとも一方とを含む動画を構成するとよい。なお、検出部32は、少なくとも第一変位を検出すればよい。
検出部32によるボルト130の回転及び移動の検出方法は特に限定されないが、周知の方法により検出することができる。検出部32は、例えば、第一画像及び第二画像を周知の画像解析方法によって解析し、第一画像及び第二画像に含まれる複数のボルト130それぞれの角度及び位置を検出する。検出部32は、第一画像に含まれる複数のボルト130それぞれの角度及び第二画像に含まれる複数のボルト130それぞれの角度から、複数のボルト130それぞれの回転角を検出する。また、検出部32は、第一画像に含まれる複数のボルト130それぞれの位置及び第二画像に含まれる複数のボルト130それぞれの位置から、複数のボルト130それぞれの移動距離を検出する。
検出部32は、例えば、第一画像及び第二画像それぞれから複数のボルト130の外形を検出することで、複数のボルト130それぞれの角度及び位置を検出してもよい。画像解析方法は、例えば、特徴点抽出(例えば、エッジ抽出)などであるが、ボルト130の形状を検出できる方法であればそれ以外であってもよい。
なお、ボルト130の回転とは、例えば、ボルト130の中心(図4Aに示す中心c)を通りねじ山が形成された軸部が伸びる方向と平行な方向を回転軸とし、ボルト130が動くことを意味する。また、ボルト130の移動とは、例えば、ボルト130の中心cが、軸部が伸びる方向と直交する面上を動くことを意味する。
検出部32は、例えば、所定の時刻において撮像された画像に含まれる複数のボルト130それぞれの角度及び位置を基準とし、変位を検出する。検出部32は、例えば、所定の時刻において撮像された画像に含まれる複数のボルト130それぞれの角度及び位置からの差分を変位として検出する。
なお、検出部32は、ボルト130の脱落を検出してもよい。検出部32は、例えば、記憶部35に記憶されている締結部分100の複数のボルト130の個数及び配列の少なくとも一方に関する基準情報と、動画に基づいて検出されたボルト130の個数及び配置の少なくとも一方を含む対象情報とから、ボルト130の脱落を検出してもよい。検出部32は、例えば、基準情報に含まれるボルト130の個数又は配列と対象情報に含まれるボルト130の個数又は配列とが一致しない場合、ボルト130が脱落していることを検出してもよい。
特定部33は、複数のボルト130の中から、ゆるんでいる可能性があるボルト130を特定する。特定部33は、1つのボルト130において、過去及び現在の画像に基づく変位からゆるんでいる可能性があるボルト130を特定するわけではなく、複数のボルト130の相対的な変位からゆるんでいる可能性があるボルト130を特定する。言い換えると、特定部33は、複数のボルト130の中から他のボルト130と異なる動きをするボルト130を特定する。なお、以降において、他のボルト130と異なる動きをするボルト130を注目ボルト(注目締結部材の一例)とも記載する。注目ボルトは、異常(例えば、ゆるみ)が発生している可能性があるボルト130であり、検査員による目視検査又は打音検査の対象となるボルト130である。
特定部33は、例えば、統計的な指標を用いて、注目ボルトを特定する。特定部33は、例えば、複数のボルト130の変位の代表値(第二変位の一例)と、複数のボルト130それぞれの変位(第一変位の一例)とに基づいて、注目ボルトを特定する。特定部33は、例えば、複数のボルト130それぞれの変位と代表値との差に基づいて、注目ボルトを特定してもよい。特定部33は、複数のボルト130の中から、第一変位が第二変位から所定値以上異なるボルト130を注目ボルトと特定してもよい。特定部33は、複数時点の第一変位及び第二変位がある場合、当該複数時点の第一変位及び第二変位に基づいて、注目ボルトを特定してもよい。
所定値は、例えば、標準偏差の定数倍(例えば、1倍又は2倍など)であってもよい。例えば、特定部33は、変位が代表値から標準偏差の定数倍以上異なるボルト130を注目ボルトであると特定してもよい。また、代表値は、複数のボルト130の変位の平均値であってもよいし、中央値(メディアン)であってもよいし、ロバスト推定値であってもよい。ロバスト推定値は、RANSAC(RANdom SAmple Consensus)推定値やM推定値などがある。RANSAC推定値とは、複数の第一変位からRANSAC推定により外れ値の影響を除外した第一変位から算出される平均値又は中央値である。検出部32は、第一変位から平均値又は中央値を算出することで、代表値を検出する。なお、以降において、代表値は、平均値である例について説明する。
特定部33は、回転角及び移動距離のそれぞれにおいて、注目ボルトを特定してもよい。すなわち、特定部33は、例えば、複数のボルト130の回転角の平均値(第二変位の一例)と、複数のボルト130それぞれの回転角(第一変位の一例)とに基づいて、回転における注目ボルトを特定する。また、特定部33は、例えば、複数のボルト130の移動距離の平均値(第二変位の一例)と、複数のボルト130それぞれの移動距離(第一変位の一例)とに基づいて、移動における注目ボルトを特定する。言い換えると、特定部33は、注目ボルトにおいて、回転角及び移動距離の何れが他のボルト130と異なる動きをするかを特定する。
特定部33は、例えば、注目ボルトを特定する情報と、回転及び移動のいずれにより注目ボルトと特定されたかを示す情報とを出力部34に出力する。なお、平均値とは、同一時刻に撮像された複数のボルト130の変位を平均した値を意味する。この場合、第一変位には、複数のボルト130それぞれの回転角及び移動距離が含まれ、第二変位には、複数のボルト130それぞれの回転角及び移動距離の代表値が含まれる。
回転において他のボルト130と動きが異なっており、かつ移動において他のボルト130と動きが異なっていないボルト130は、回転における注目ボルトであり、例えば、当該ボルト130がゆるんでいる可能性がある。また、回転において他のボルト130と動きが異なっておらず、かつ移動において他のボルト130と動きが異なっているボルト130は、移動における注目ボルトであり、例えば、ボルト130はゆるんでいないがボルト130と構造物110又は当て板120との間に隙間が生じている可能性がある。つまり、ボルト130はゆるんでいないが、ボルト130の受け手に異常がある可能性がある。また、回転及び移動において他のボルト130と動きが異なっているボルト130は、例えば、ボルト130がゆるんでおり、かつボルト130の受け手に異常がある可能性がある。
このように、特定部33がボルト130の回転及び移動を別々に検出することで、注目ボルトの異常モード(ボルトのゆるみ又は受け手の異常など)を区分けすることができる。
特定部33は、例えば、平均値、中央値、及び、ロバスト推定値(例えば、RANSAC推定値)からの変位の差が大きい1以上のボルト130を注目ボルトとして特定してもよい。特定部33は、例えば、平均値からの差が最も大きいボルト130を注目ボルトとして特定してもよいし、平均値からの差が大きい所定数(例えば、3つ)のボルト130を注目ボルトとして特定してもよい。
なお、特定部33は、例えば、平均値、中央値、及び、ロバスト推定値(例えば、RANSAC推定値)からの差により注目ボルトを特定することに限定されない。特定部33は、例えば、平均値、中央値、及び、ロバスト推定値と、複数のボルト130それぞれの変位との比率から注目ボルトを特定してもよい。特定部33は、比率が最も大きい又は最も小さいボルト130を注目ボルトとして特定してもよい。また、特定部33は、ボルト130の回転方向又は移動方向の違いから注目ボルトを特定してもよい。特定部33は、例えば、複数のボルト130のうち他のボルト130と回転方向が異なるボルト130を注目ボルトとして特定してもよい。また、特定部33は、3以上の画像から取得される第一変位及び第二変位の時系列データの比較により注目ボルトを特定してもよい。また、特定部33は、上記の特定方法の組み合わせにより、複数のボルト130の中から注目ボルトを特定してもよい。
また、特定部33は、例えば、当て板120に配置されているといった同じ状況で設置されている複数のボルト130の中から注目ボルトを特定する。よって、同じ状況で設置されていない複数のボルト130の中から注目ボルトを特定する場合に比べ、特定部33の特定精度は向上する。
出力部34は、特定部33が特定した結果を出力する。出力部34は、複数のボルト130のうち所定の変位があるボルト130がわかるように、結果を出力する。出力部34は、検査装置30の外部の装置(例えば、表示装置)に結果を出力してもよいし、検査装置30がディスプレイなどの表示部を備えている場合、当該表示部に結果を出力してもよい。
出力部34は、例えば、第一画像又は第二画像を用いて、所定の変位があるボルト130がわかるように結果を出力してもよい。出力部34は、第一画像又は第二画像に複数のボルト130それぞれの異常度合いを示す表示を重畳した画像を結果として出力してもよい。出力部34は、例えば、複数のボルト130の異常度合いを、色の違いで表示してもよい。出力部34は、例えば、複数のボルト130の異常度合いを、ボルト130を囲む枠の色、又は、ボルト130の透過色の違いで表示してもよい。なお、出力部34が出力する結果はこれに限定されず、所定の変位があるボルト130がわかるような結果であればよい。
記憶部35は、検査装置30が備える各処理部(例えば、検出部32及び特定部33)が実行する制御プログラムを記憶する記憶装置である。また、記憶部35は、取得部31を介して取得した動画などを記憶してもよい。記憶部35は、例えば、半導体メモリなどによって実現される。
上記のように、検査装置30は、第一変位及び第二変位に基づいて、つまり複数のボルト130それぞれの動き(回転及び移動)の時系列データに基づいて、複数のボルト130の中から他のボルトと異なる動きをするボルトを注目ボルトとして特定する。すなわち、検査装置30は、ボルト130の回転及び移動を、過去のデータ(例えば、現在の撮像より以前に撮像された画像など)を用いることなく、現在撮像している動画(又は、第一画像及び第二画像)から注目ボルトを特定する。
[2.検査装置の動作]
次に、検査装置30の動作について、図3〜図6を参照しながら説明する。図3は、本実施の形態に係る検査装置30の動作を示すフローチャートである。なお、検査システム10の動作としては、図3に示すステップS10の前に、撮像装置20が複数のボルト130を撮像する撮像ステップが含まれる。撮像ステップでは、例えば、構造物110に荷重がかかっている期間を含む動画が撮像される。
図3に示すように、検査装置30は、取得部31を介して撮像装置20から複数のボルト130を撮像した動画を取得する(S10)。検査装置30は、撮像装置20から逐次画像を取得することで動画を取得してもよいし、所定の期間撮像した動画を取得してもよい。すなわち、ステップS10では、検査装置30は、複数のボルト130を互いに異なる時刻に撮像した第一画像及び第二画像を含む複数の画像を取得する。なお、検査装置30は、撮像装置20の撮像が終了した後に、複数の画像を撮像装置20から取得してもよい。
次に、検出部32は、動画から複数のボルト130それぞれの変位を検出する(S20)。検出部32による変位の検出について、図4A及び図4Bを参照しながら説明する。図4Aは、構造物110に荷重負荷がないときに撮像装置20が撮像した画像P1を示す図である。図4Aに示す画像P1は、例えば、第一画像の一例である。図4Bは、構造物110に荷重負荷があるときに撮像装置20が撮像した画像P2を示す図である。図4Bに示す画像P2は、例えば、第二画像の一例である。つまり、図4A及び図4Bは、取得部31が取得する動画を構成する複数の画像のうち、第一画像及び第二画像を示す。検出部32による変位の検出の一例として、第一画像及び第二画像を用いて説明する。なお、画像P1におけるボルト130bを含む横1列に配置された4つのボルト130は、縦方向(紙面上での上下方向)の位置が同じであるとする。
検出部32は、図4Aに示す画像P1における複数のボルト130それぞれの角度(傾き)及び位置を基準として、画像P2における複数のボルト130それぞれにおける角度及び位置の変位を検出する。すなわち、検出部32は、画像P1及びP2に基づいて、複数のボルト130それぞれにおける回転角及び移動距離を検出する。
図4Bに示す例では、領域R1に位置するボルト130aは、図4Aの領域R1に対応する位置のボルト130aから回転角θ°回転している。また、領域R2に位置するボルト130bは、図4Aの領域R2に対応する位置のボルト130bから移動距離dだけ移動している。検出部32は、ボルト130aの変位として、回転角θを検出し、ボルト130bの変位として、移動距離dを検出する。検出部32は、画像P1に示す複数のボルト130の角度及び位置を基準として、画像P2以外の時刻に撮像された画像においても変位を検出する。すなわち、検出部32は、画像P1及びP2に基づいて、複数時点における複数のボルト130それぞれにおける回転角及び移動距離を検出する。なお、移動距離dは、例えば、画像内の画素数で示される。また、移動距離dは、図4A及び図4Bにおけるボルト130bの中心cが移動した距離に対応する。
ここで、ボルト130における変位の時系列データについて図5Aを参照しながら説明する。図5Aは、本実施の形態に係るボルト130における変位の時系列データを示す図である。図5Aは、1つの動画における4つのボルト130c〜130fの回転角(変位の一例)の時系列データを示す。また、図5Aに示す「荷重負荷あり」の期間は、構造物110に荷重負荷があるときを示しており、例えば電車200が構造物110を通過している期間を示す。なお、以下においてボルト130c〜130fを区別せずに説明する場合には、ボルト130とも記載する。
図5Aに示すように、荷重負荷ありのときの回転角の変位に大きな差異が生じている。ボルト130cは、荷重負荷ありの期間において、他の3つのボルト130d〜130fと異なる動きをしている。このようにボルト130cがゆるんでいる場合、荷重負荷ありの期間において、回転角に差がでやすい。そのため、検出部32は、少なくとも荷重負荷ありのときに撮像された画像(例えば、画像P2)を用いて変位を検出するとよい。他のボルト130と異なる動きをするボルト130を容易に特定する観点から、動画は、荷重負荷ありの期間を含んで撮像されるとよい。なお、検出部32は、ボルト130の変位を荷重負荷ありの期間に撮影された動画(または画像)を含まずに検出してもよい。ボルト130の変位は、例えば、構造物110を電車200が通過する前と、通過した後とに撮像された動画(又は画像)から検出されてもよい。
検出部32は、図5Aに示す動画の中のある時刻の画像を基準に、複数のボルト130それぞれの変位を検出する。そして、検出部32は、時刻ごとにボルト130c〜130fそれぞれの変位及び変位の平均値を算出することで、第一変位及び第二変位を検出する。
図3を再び参照して、特定部33は、変位に基づいて、複数のボルト130の中から他と異なる動きをするボルト130を特定する(S30)特定部33は、例えば、複数のボルト130のうちの1つのボルト130の変位と、複数のボルト130の変位の代表値である平均値との差が所定値以上である場合、当該ボルト130を他のボルト130と異なる動きをするボルト130であると特定する。特定部33は、複数のボルト130のそれぞれにおいて、上記の処理を行う。
ここで、特定部33における、複数のボルト130の中から他のボルト130と異なる動きをするボルト130の特定について図5Bを参照しながら説明する。図5Bは、本実施の形態に係るボルト130における変位の平均値からの差を示す図である。具体的には、図5Bは、ボルト130c〜130fのうち、ボルト130cにおける回転角の変位に対する平均値からの差の時系列データを示す図である。なお、図5Bに示す回転角の変位の平均値は、ボルト130c〜ボルト130fそれぞれの回転角の変位を時刻ごとに平均した値である。また、図5Bに示す上限基準値は、平均値に標準偏差の定数倍を加算した値であり、下限基準値は、平均値から標準偏差の定数倍を減算した値である。標準偏差は、時刻ごとに当該時刻におけるボルト130c〜130fの回転角から算出される。なお、便宜上、平均値、上限基準値、及び、下限基準値を、直線で示している。
図5Bに示すように、荷重負荷がある期間において、ボルト130cの回転角は、平均値から大きく異なっていることがわかる。荷重負荷ありの期間において、ボルト130cは、他のボルト130d〜130fに比べて大きく回転している。つまり、ボルト130cは、荷重負荷ありの期間において、他のボルト130d〜130fと異なる動きをしている。
特定部33は、上限基準値及び下限基準値の少なくとも一方を超える、つまり変位の平均値からの差が上限基準値及び下限基準値の間にない場合、当該ボルト130(図5Bではボルト130c)が他のボルト130(図5Aに示すボルト130d〜130f)と異なる動きをする注目ボルトであると特定する。
特定部33は、ステップS30で特定した結果、つまりボルト130cに関する情報を出力部34に出力する。特定部33は、例えば、撮像装置20が撮像した画像に含まれる複数のボルト130のうち、ステップS30で特定したボルト130cに所定の目印を付した画像を出力部34に出力してもよいし、ステップS30で特定したボルト130cの複数のボルト130に対する位置を示す情報を出力部34に出力してもよい。また、特定部33は、他と異なる動きをするボルト130cが存在することを示す情報を出力部34に出力してもよい。なお、特定部33は、出力部34に出力した情報を記憶部35に記憶してもよい。
そして、出力部34は、ステップS30で特定部33が特定した結果を出力する(S40)。出力部34は、検査装置30が表示部を備える場合は当該表示部に特定した結果を出力してもよいし、検査装置30の外部の表示装置に特定した結果を出力してもよい。
なお、上記では、検出部32は、第一変位及び第二変位の両方を検出する例について説明したが、これに限定されない。検出部32は、少なくとも第一変位を検出すればよい。そして、特定部33は、第一変位に基づいて注目ボルトを特定してもよい。特定部33は、例えば、第一変位の中から他のボルト130の変位と異なる変位のボルト130を注目ボルトであると特定してもよい。第一変位が回転角である場合、特定部33は、例えば、第一変位の中から、回転角が最も大きいボルト130を注目ボルトであると特定してもよい。
以上のように、検査装置30は、構造物110を締結する複数のボルト130(締結部材の一例)を検査する検査装置である。検査装置30は、複数のボルト130を互いに異なる時刻に撮像した画像P1(第一画像の一例)及び画像P2(第二画像の一例)を取得する取得部31と、画像P1及びP2に基づいて、複数のボルトそれぞれの変位である第一変位を検出する検出部32と、第一変位に基づいて複数のボルト130の中から他のボルト130と動きが異なるボルト130a及び130b(図4A及び図4Bを参照)を特定する特定部33とを備える。
これにより、検査装置30は、複数のボルト130の中での相対的な動きに基づいて、異常の可能性があるボルト130(例えば、ゆるんでいるボルト130)を特定することができる。つまり、検査装置30は、予め取得されたリファレンスとなるデータがなくても、異常の可能性があるボルト130を特定することができる。そのため、検査装置30は、例えば、何°以上回転すると異常の可能性がある、などの明確な判定基準がなくても、異常の可能性があるボルト130を特定可能である。よって、本開示の一態様に係る検査装置30は、構造物110を締結する複数のボルト130を簡便に検査することができる。
上記の検査装置30は、複数のボルト130それぞれの変位を絶対値判定するための基準(リファレンス)がなくてもゆるみなどが発生している注目ボルトを特定することができる。つまり、検査装置30は、絶対値による判定基準(例えば、5°回転する、及び、5mm以上移動するなどの判定基準)がなくても、ゆるみなどが発生している注目ボルトを特定することができる。
なお、検出部32は、画像P1、つまり構造物110に荷重負荷がないときに撮像装置20が撮像した画像(例えば、第一画像)を基準とする例について説明したが、これに限定されない。検出部32は、例えば、画像P2、つまり、構造物110に荷重負荷があるときに撮像装置20が撮像した画像(例えば、第二画像)を基準として変位を検出してもよい。検出部32は、例えば、撮像装置20が撮像した動画を構成する複数の画像の中の1つの画像を基準に変位を検出する。
なお、特定部33は、標準偏差を用いて決定された所定値により他のボルト130と異なる動きをするボルト130を特定する例について説明したが、所定値は標準偏差を用いて決定されることに限定されない。所定値は、ボルト130の形状に応じて決定されてもよい。所定値は、例えば、ボルト130の寸法に基づいて決定されてもよい。所定値の決定に用いられるボルト130の寸法は、例えば、ボルト130のねじ山が形成された軸部、および、当該軸部の一端に設けられた頭部のうち、撮像装置20が撮像している部分の寸法であってもよい。撮像装置20がボルト130の頭部を撮像している場合(図4Aなどを参照)、所定値は、ボルト130の頭部の寸法に応じて決定されてもよい。図6は、本実施の形態に係る記憶部35が記憶するボルト130の寸法を含むテーブルTである。
図6に示すように、記憶部35は、ボルト130の種類、ボルト130の寸法、及び、所定値を対応付けて記憶する。ボルト130の種類(図6中に示すA、B)は、ボルト130が六角ボルトである場合、ボルト130の呼び名(例えば、M33など)であってもよい。ボルト130の寸法(図6中に示す50mm、70mm)は、ボルト130が六角ボルトである場合、例えば、二面幅である。所定値は、例えば、ボルト130の寸法に基づいて予め設定された値(図6中に示す5mm、7mm)である。なお、テーブルTは、ボルトの種類及びボルトの寸法のうち、少なくとも一方を含んでいればよい。
検出部32は、撮像装置20が撮像した動画において、ボルト130を構成するピクセル数と、記憶部35に記憶されているテーブルTとに基づいて、ボルト130の変位として、ボルト130が移動した移動距離d、つまり実際にボルト130が設置されている空間において移動した距離(例えば、実寸距離)を検出する。検出部32は、複数のボルト130ごとに検出した実寸距離から平均値を算出する。
特定部33は、撮像装置20が撮像したボルト130の種類に応じた所定値を記憶部35から読み出し、読み出した所定値と平均値とに基づいて、上限基準値及び下限基準値を設定してもよい。上限基準値は、例えば、平均値に読み出した所定値を加算して設定される。また、下限基準値は、例えば、平均値に読み出した所定値を減算して設定される。
特定部33は、ボルト130の移動において他のボルト130と異なる動きをするボルト130を特定する場合、上限基準値により、ボルト130の上方向(例えば、鉛直上方)への移動において他のボルト130と異なる動きをするボルト130を注目ボルトであると特定する。また、特定部33は、下限基準値により、ボルト130の下方向(例えば、鉛直下方)への移動において他のボルト130と異なる動きをするボルト130を注目ボルトであると特定する。なお、検査装置30は、例えば、検査員からボルト130の種類を取得してもよいし、ボルト130を撮像した画像を画像解析することでボルト130に設けられている当該ボルト130を特定する情報(例えば、頭部に設けられたボルト130の種類などを示す凹凸)からボルト130の種類を取得してもよい。
以上のように、検査装置30は、ボルト130の実寸値情報からボルト130の移動距離の実寸を検出することができる。特定部33は、ボルト130の寸法に応じて設定された上限基準値及び下限基準値を用いて、他と動きが異なるボルト130を特定することができる。つまり、特定部33による注目ボルトの特定精度が向上する。また、検査装置30は、撮像装置20から取得した動画では実寸がわからない場合であっても、上記の方法により実寸を用いて他と異なる動きをするボルト130を特定することができる。
なお、特定部33は、ボルト130の寸法に基づいて他と異なる動きをするボルト130を特定できればよく、ボルト130の寸法を用いて所定の演算を行うことにより所定値を算出してもよい。
なお、上記では、複数のボルト130は1枚の当て板120を介して構造物110を締結していたが、これに限定されない。ボルト130による構造物110の締結について、図7A及び図7Bを参照しながら説明する。図7Aは、撮像装置20が撮像する締結部分100の他の一例である。図7Bは、撮像装置20が撮像する締結部分100のさらに他の一例である。
図7Aに示すように、構造物110は、例えば、当て板120を介さずに複数のボルト130(締結部材の一例)で締結されていてもよい。そして、撮像装置20は、例えば、当て板120を介さずに構造物110を締結する複数のボルト130を撮像する。つまり、撮像装置20は、同じ状況で設置されている複数のボルト130を撮像する。
検査装置30は、当て板120を含まない締結部分100を撮像した複数の画像を撮像装置20から取得する。検査装置30は、当て板120を介さずに構造物110を締結する複数のボルト130の中から、他のボルト130と異なる動きをするボルト130を注目ボルトとして特定する。
また、例えば、図7Bに示すように、締結部分100において、構造物110は、複数の当て板(例えば、第一の当て板120a及び第二の当て板120b)を介して複数のボルト130で締結されていてもよい。そして、撮像装置20は、例えば、複数の当て板を介して構造物110を締結する複数のボルト130を撮像する。つまり、撮像装置20は、同じ状況で設置されている複数のボルト130を撮像する。
検査装置30は、複数の当て板を含む締結部分100を撮像した複数の画像を撮像装置20から取得する。検査装置30は、複数の当て板を介して構造物110を締結する複数のボルト130の中から、他のボルト130と異なる動きをするボルト130を注目ボルトとして特定する。
この場合、検査装置30は、複数の当て板ごとに、当該当て板に配置されている複数のボルト130の中から、他のボルト130と異なる動きをするボルト130を注目ボルトとして特定してもよいし、複数の当て板それぞれに設けられる複数のボルト130の全ての中から他のボルト130と異なる動きをするボルト130を注目ボルトとして特定してもよい。なお、第一の当て板120a及び第二の当て板120bの形状は、同一でもよいし、異なっていてもよい。
(実施の形態の変形例)
以下、本変形例に係る検査装置30等について、図8Aおよび図8Bを参照しながら説明する。なお、検査装置30の構成は、実施の形態と同様であり、説明を省略する。本変形例では、図8A及び図8Bに示すように、構造物110全体、つまり締結部分100全体が移動した場合について説明する。図8Aは、構造物110全体が動く前に撮像装置20が撮像した画像P3示す図である。図8Bは、構造物110全体が動いたときに撮像装置20が撮像した画像P4を示す図である。画像P3は例えば第一画像の一例であり、画像P4は例えば第二画像の一例である。図8Bでは、図8Aの状態から、締結部分100の全体が動いている(回転している)様子を示している。
なお、締結部分100の全体が動くとは、例えば、構造物110への荷重負荷(例えば、電車200が構造物110を通過するときの荷重負荷)による構造物110の撓み、又は、撮像装置20の振動などにより生じ得る。
取得部31は、撮像装置20から当て板120を含む画像を取得する。つまり、複数の画像のそれぞれは、当て板120を含む画像である。
検出部32は、図8Aに示す画像P3における複数のボルト130それぞれの角度(傾き)及び位置を基準として、図8Bに示す画像P4における複数のボルト130それぞれにおける角度及び位置の変位を検出する。このとき、画像P3及びP4から検出される変位には、締結部分100全体の移動による変位が含まれる。そこで、検出部32は、締結部分100全体の動きがボルト130の変位の検出に影響を与えないようにする。検出部32は、締結部分100全体の動きを補正することで、締結部分100全体の動きが変位の検出に影響を与えないようにする。
検出部32は、例えば、画像P3の当て板120と画像P4の当て板120とから、締結部分100全体の支配的な動き(回転及び移動)を検出し、当該支配的な動きを複数のボルト130それぞれの変位に演算することで、ボルト130自体の変位を検出する。ここでの演算とは、例えば、複数のボルト130それぞれの変位から、締結部分100全体の変位を取り除く処理である。
検出部32が締結部分100全体の動きを検出する方法は、特に限定されず、ブレ補正(例えば、手ブレ補正)に用いられている技術が適用可能である。検出部32は、例えば、画像P3の当て板120と画像P4の当て板120との差分から動きベクトルを算出し、算出した動きベクトルに応じて複数のボルト130それぞれの変位を補正してもよい。
動きベクトルは、例えば、1フレームの画像を複数のウィンドウ(1フレームの画像より小さい小領域)に分け、ウィンドウ単位で取得されてもよい。複数のウィンドウのそれぞれは、当て板120の少なくとも一部を含む領域である。つまり、動きベクトルは、1枚の画像に複数設定されてもよい。これにより、検出部32は、複数のボルト130ごとで締結部分100全体の移動による変位が異なる場合であっても、適切に補正することができる。
また、動きベクトルは、複数のウィンドウそれぞれで取得された動きベクトルから算出された1つの動きベクトルであってもよい。つまり、動きベクトルは、1枚の画像に1つ設定されてもよい。これにより、検出部32は、締結部分100全体の支配的な動き補正することができる。
以上のように、検出部32は、複数のボルト130(締結部材の一例)及び当て板120の全体(例えば、締結部分100全体)が移動した場合、当て板120の移動に応じて複数のボルト130それぞれの変位を補正する。つまり、第一変位及び第二変位を補正する。
これにより、特定部33は、締結部分100全体が動いた場合でも、さらにその中で他のボルト130と異なる動きをするボルト130を特定することができる。
なお、締結部分100全体の動きと、ボルト130自体の動きとでは、締結部分100全体の動きの方が大きいことがある。そのため、締結部分100全体の動きを補正する場合、S/Nの低下を抑制する観点から、3以上の画像が用いられるとよい。すなわち、締結部分100全体の動きが補正された3以上の画像に基づく変位の時系列データを用いることで、締結部分100全体の動きを補正する場合であっても、精度よく注目ボルトを特定することができる。
(他の実施の形態)
以上、本開示の1つまたは複数の態様に係る検査装置及び検査方法について、実施の形態及び変形例(以降において、実施の形態等とも記載する)に基づいて説明したが、本開示は、この実施の形態等に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態等に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の1つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記実施の形態等では、検査装置は、撮像装置を有していなかったが、撮像装置を有していてもよい。この場合には撮像装置は、検査装置の一部である撮像部として機能する。また、検査装置に含まれる複数の機能構成(取得部、検出部、特定部及び出力部など)は、分散コンピューティング又はクラウドコンピューティングによって実現されてもよい。
また、上記実施の形態等では、上限基準値及び平均値の差分(第一所定値とも記載する)と、下限基準値及び平均値の差分(第二所定値とも記載する)とが等しい例について説明したが、第一所定値と第二所定値とは異なる値であってもよい。
また、上記変形例では、複数のボルト及び当て板の全体(例えば、締結部分全体)が移動した場合、第一変位及び第二変位の両方を補正する例について説明したが、少なくとも第一変位を補正すればよい。第二変位は、補正された第一変位から算出されてもよい。
また、上記実施の形態等における検査装置が備える構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。例えば、検査装置は、取得部と、検出部と、特定部と、出力部と、を有するシステムLSIから構成されてもよい。
システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。ROMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、あるいはLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、本開示の一態様は、このような検査装置だけではなく、検査装置に含まれる特徴的な構成部をステップとする検査方法であってもよい。また、本開示の一態様は、検査方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
なお、上記各実施の形態等において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態等の検査装置などを実現するソフトウェアは、次のようなプログラムである。
本開示は、構造物の継手部分を検査する検査装置に広く利用可能である。
10 検査システム
20 撮像装置
30 検査装置
31 取得部
32 検出部
33 特定部
34 出力部
35 記憶部
100 締結部分
110 構造物
120 当て板
120a 第一の当て板
120b 第二の当て板
130、130a〜130f ボルト(締結部材)
200 電車
θ 回転角
c 中心
d 移動距離
P1、P3 画像(第一画像)
P2、P4 画像(第二画像)
R1、R2 領域

Claims (14)

  1. 構造物を締結する複数の締結部材を検査する検査装置であって、
    前記複数の締結部材を互いに異なる時刻に撮像した第一画像及び第二画像を含む複数の画像を取得する取得部と、
    前記第一画像及び前記第二画像に基づいて、前記複数の締結部材それぞれの変位である第一変位を検出する検出部と、
    前記第一変位に基づいて、前記複数の締結部材の中から他の締結部材と動きが異なる注目締結部材を特定する特定部とを備える
    検査装置。
  2. 前記第一画像及び前記第二画像の少なくとも一方は、前記構造物に荷重が加えられているときに撮像された画像である
    請求項1に記載の検査装置。
  3. 前記検出部は、さらに前記複数の締結部材それぞれの変位の代表値である第二変位を検出し、
    前記特定部は、さらに前記第二変位に基づいて、前記注目締結部材を特定する
    請求項1又は2に記載の検査装置。
  4. 前記複数の画像は、前記第一画像及び前記第二画像を含む3以上の画像を含み、
    前記検出部は、前記複数の画像に基づいて、複数時点の前記第一変位及び前記第二変位を検出し、
    前記特定部は、前記複数時点の前記第一変位及び前記第二変位に基づいて、前記注目締結部材を特定する
    請求項3に記載の検査装置。
  5. 前記複数の締結部材は、当て板を介して前記構造物を締結しており、
    前記複数の画像のそれぞれは、さらに前記当て板を含む画像であり、
    前記検出部は、前記複数の締結部材及び前記当て板の全体が変位した場合、前記当て板の変位に応じて前記第一変位を補正する
    請求項3又は4に記載の検査装置。
  6. 前記特定部は、前記複数の締結部材の中から、前記第一変位が前記第二変位から所定値以上異なる締結部材を前記注目締結部材と特定する
    請求項3〜5のいずれか1項に記載の検査装置。
  7. 前記第二変位は、前記複数の締結部材それぞれの前記第一変位の平均値又は中央値であり、
    前記所定値は、前記複数の締結部材それぞれの前記第一変位の標準偏差に基づいて決定される
    請求項6に記載の検査装置。
  8. 前記第二変位は、前記複数の締結部材それぞれの前記第一変位の平均値又は中央値であり、
    前記所定値は、前記複数の締結部材の寸法に基づいて決定される
    請求項6に記載の検査装置。
  9. 前記平均値又は前記中央値は、ロバスト推定により算出される
    請求項7又は8に記載の検査装置。
  10. 前記第一変位は、前記複数の締結部材それぞれの回転角及び移動距離の一方を含み、
    前記第二変位は、前記複数の締結部材それぞれの回転角及び移動距離の前記一方の代表値を含む
    請求項3〜9のいずれか1項に記載の検査装置。
  11. 前記第一変位は、前記複数の締結部材それぞれの回転角及び移動距離を含み、
    前記第二変位は、前記複数の締結部材それぞれの回転角及び移動距離の代表値を含み、
    前記特定部は、前記注目締結部材において、さらに前記回転角及び前記移動距離の何れが前記他の締結部材と異なる動きをするかを特定する
    請求項3〜9のいずれか1項に記載の検査装置。
  12. 前記複数の画像は、1回の撮像動作で撮像された動画を構成する画像である
    請求項1〜11のいずれか1項に記載の検査装置。
  13. さらに、前記複数の画像を撮像する撮像部を備える
    請求項1〜12のいずれか1項に記載の検査装置。
  14. 構造物を締結する複数の締結部材を検査する検査装置の検査方法であって、
    前記複数の締結部材を互いに異なる時刻に撮像した第一画像及び第二画像を含む複数の画像を取得するステップと、
    前記第一画像及び前記第二画像に基づいて、前記複数の締結部材それぞれの変位である第一変位を検出するステップと、
    前記第一変位に基づいて、前記複数の締結部材の中から他の締結部材と動きが異なる注目締結部材を特定するステップとを含む
    検査方法。
JP2020540085A 2018-08-30 2019-06-12 検査装置及び検査方法 Pending JPWO2020044725A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018161683 2018-08-30
JP2018161683 2018-08-30
PCT/JP2019/023209 WO2020044725A1 (ja) 2018-08-30 2019-06-12 検査装置及び検査方法

Publications (1)

Publication Number Publication Date
JPWO2020044725A1 true JPWO2020044725A1 (ja) 2021-08-12

Family

ID=69644177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020540085A Pending JPWO2020044725A1 (ja) 2018-08-30 2019-06-12 検査装置及び検査方法

Country Status (5)

Country Link
US (1) US20210104033A1 (ja)
EP (1) EP3845889A4 (ja)
JP (1) JPWO2020044725A1 (ja)
CN (1) CN112352148A (ja)
WO (1) WO2020044725A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419299B (zh) * 2020-12-04 2024-01-19 中冶建筑研究总院(深圳)有限公司 一种螺栓缺失检测方法、装置、设备及存储介质
CN113639685B (zh) * 2021-08-10 2023-10-03 杭州申昊科技股份有限公司 位移检测方法、装置、设备和存储介质
CN114627059B (zh) * 2022-02-27 2022-12-13 扬州孚泰电气有限公司 一种基于数据处理的防震锤螺栓检测方法
CN117036360B (zh) * 2023-10-10 2024-01-16 深圳市磐锋精密技术有限公司 基于图像分析的螺丝视觉定位方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009210276A (ja) * 2008-02-29 2009-09-17 Mitsubishi Heavy Ind Ltd 締結具の緩み検出システム及び緩み検出方法
JP2012103009A (ja) * 2010-11-05 2012-05-31 Panasonic Electric Works Sunx Co Ltd 位置変動監視装置およびこれを含む位置変動監視システム
JP2018017620A (ja) * 2016-07-28 2018-02-01 公益財団法人鉄道総合技術研究所 変状検出装置及び変状検出プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278116A (ja) 1995-04-07 1996-10-22 Central Japan Railway Co ボルト緩み検査方法及びボルト緩み検査装置
JP4134352B2 (ja) * 1996-05-27 2008-08-20 西日本旅客鉄道株式会社 レール締結緩み等の検知装置及び検知方法
JPH11132215A (ja) * 1997-10-27 1999-05-18 Nippon Signal Co Ltd:The 締結具の締結確認装置
JP2004132881A (ja) * 2002-10-11 2004-04-30 Mitsubishi Heavy Ind Ltd 配列構造物の検査方法
JP4886999B2 (ja) * 2005-05-12 2012-02-29 東海旅客鉄道株式会社 ボルト緩み判定方法およびボルト緩み検出装置
JP5305603B2 (ja) * 2007-03-15 2013-10-02 川崎重工業株式会社 鉄道レール締結ボルト緩み検査装置
JP5283548B2 (ja) * 2009-03-27 2013-09-04 川崎重工業株式会社 鉄道レール締結緩み検査装置及び方法
CN202166619U (zh) * 2011-07-26 2012-03-14 武汉点线科技有限公司 一种钢板表面质量检测装置
JP5751630B2 (ja) * 2011-12-27 2015-07-22 Kddi株式会社 検査補助装置及び方法
JP6032812B2 (ja) * 2013-02-19 2016-11-30 Kddi株式会社 検査補助装置
EP3332212B1 (en) * 2015-10-06 2020-02-19 Snap-On Incorporated Self-calibrating wheel aligner with improved portability
US10062176B2 (en) * 2016-02-24 2018-08-28 Panasonic Intellectual Property Management Co., Ltd. Displacement detecting apparatus and displacement detecting method
CN106683075B (zh) * 2016-11-22 2020-02-21 广东工业大学 一种输电线杆塔横担处螺栓缺陷检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009210276A (ja) * 2008-02-29 2009-09-17 Mitsubishi Heavy Ind Ltd 締結具の緩み検出システム及び緩み検出方法
JP2012103009A (ja) * 2010-11-05 2012-05-31 Panasonic Electric Works Sunx Co Ltd 位置変動監視装置およびこれを含む位置変動監視システム
JP2018017620A (ja) * 2016-07-28 2018-02-01 公益財団法人鉄道総合技術研究所 変状検出装置及び変状検出プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TUAN-CUONG NGUYEN ET AL.: ""Bolt-loosening identification of bolt connections by vision image-based technique"", SPIE PROCEEDINGS, vol. 9804, JPN6023012929, 8 April 2016 (2016-04-08), pages 1 - 17, ISSN: 0005076856 *

Also Published As

Publication number Publication date
WO2020044725A1 (ja) 2020-03-05
US20210104033A1 (en) 2021-04-08
EP3845889A4 (en) 2021-10-27
CN112352148A (zh) 2021-02-09
EP3845889A1 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
JPWO2020044725A1 (ja) 検査装置及び検査方法
JP6863383B2 (ja) 欠陥検出装置、欠陥検出方法、及びコンピュータ読み取り可能記録媒体
JP6737638B2 (ja) 鉄道車両の外観検査装置
US11928805B2 (en) Information processing apparatus, information processing method, and storage medium for defect inspection and detection
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
JP5987195B2 (ja) 剛体架線の支持部品検査装置
KR101018518B1 (ko) 영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법
JP6954367B2 (ja) 計測システム、補正処理装置、補正処理方法、及びプログラム
JP2019003574A (ja) 変化検出装置及び鉄道設備部品の保守管理方法
US11796481B2 (en) Inspection device and inspection method
US20220082460A1 (en) Stress analysis device for moving body
JP6818263B2 (ja) 破面解析装置および破面解析方法
WO2019097576A1 (ja) 計測システム、補正処理装置、補正処理方法、及びコンピュータ読み取り可能な記録媒体
JP7269130B2 (ja) 画像処理装置
JP6897448B2 (ja) 線幅推定プログラム、装置、及び方法
JP4710562B2 (ja) 画像処理装置、および画像処理方法
JP7382604B2 (ja) 検出装置及び検出方法
US11913889B2 (en) Prediction device for predicting a growth direction of a crack in a subject and prediction method
JP4983617B2 (ja) コンテナ車両危険度検査装置
JPWO2020090393A1 (ja) 点検装置及び点検方法
JP6064473B2 (ja) 検査装置、検査方法及び検査プログラム
CN116007518A (zh) 基于机器视觉的隔震结构支座形变监测方法、装置及计算机设备
CN114179865A (zh) 基于光流法的道岔运动监测方法、装置及系统
JP2020064465A (ja) 画像評価方法、画像評価装置、およびプログラム
JP2014158520A (ja) 眼科装置及び角膜内皮の測定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230803

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230822