WO2020090393A1 - 点検装置及び点検方法 - Google Patents

点検装置及び点検方法 Download PDF

Info

Publication number
WO2020090393A1
WO2020090393A1 PCT/JP2019/039821 JP2019039821W WO2020090393A1 WO 2020090393 A1 WO2020090393 A1 WO 2020090393A1 JP 2019039821 W JP2019039821 W JP 2019039821W WO 2020090393 A1 WO2020090393 A1 WO 2020090393A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound insulation
plates
displacement
insulation plates
inspection device
Prior art date
Application number
PCT/JP2019/039821
Other languages
English (en)
French (fr)
Inventor
悠樹 丸山
日下 博也
今川 太郎
晃浩 野田
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to EP19877934.0A priority Critical patent/EP3875891A4/en
Priority to JP2020553728A priority patent/JPWO2020090393A1/ja
Priority to CN201980042598.1A priority patent/CN112368540A/zh
Publication of WO2020090393A1 publication Critical patent/WO2020090393A1/ja
Priority to US17/126,655 priority patent/US20210104035A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01BPERMANENT WAY; PERMANENT-WAY TOOLS; MACHINES FOR MAKING RAILWAYS OF ALL KINDS
    • E01B19/00Protection of permanent way against development of dust or against the effect of wind, sun, frost, or corrosion; Means to reduce development of noise
    • E01B19/003Means for reducing the development or propagation of noise
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01BPERMANENT WAY; PERMANENT-WAY TOOLS; MACHINES FOR MAKING RAILWAYS OF ALL KINDS
    • E01B2/00General structure of permanent way
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01FADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
    • E01F8/00Arrangements for absorbing or reflecting air-transmitted noise from road or railway traffic
    • E01F8/0005Arrangements for absorbing or reflecting air-transmitted noise from road or railway traffic used in a wall type arrangement
    • E01F8/0017Plate-like elements
    • EFIXED CONSTRUCTIONS
    • E04BUILDING
    • E04BGENERAL BUILDING CONSTRUCTIONS; WALLS, e.g. PARTITIONS; ROOFS; FLOORS; CEILINGS; INSULATION OR OTHER PROTECTION OF BUILDINGS
    • E04B1/00Constructions in general; Structures which are not restricted either to walls, e.g. partitions, or floors or ceilings or roofs
    • E04B1/62Insulation or other protection; Elements or use of specified material therefor
    • E04B1/74Heat, sound or noise insulation, absorption, or reflection; Other building methods affording favourable thermal or acoustical conditions, e.g. accumulating of heat within walls
    • E04B1/82Heat, sound or noise insulation, absorption, or reflection; Other building methods affording favourable thermal or acoustical conditions, e.g. accumulating of heat within walls specifically with respect to sound only
    • E04B1/84Sound-absorbing elements
    • E04B1/86Sound-absorbing elements slab-shaped
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Definitions

  • the present disclosure relates to an inspection device and an inspection method for inspecting a sound insulation plate.
  • Patent Document 1 discloses an inspection method and an inspection device for inspecting the looseness of a bolt for fastening a structure.
  • the inspection of the infrastructure structure is performed manually by a specialized worker.
  • a sound insulating plate installed on an expressway or an viaduct is highly likely to be dangerous because a worker manually inspects it while a vehicle or train is coming and going. Further, since the worker manually inspects the plurality of sound insulating plates, it takes a long time for the inspection work.
  • the present disclosure provides an inspection device and an inspection method capable of easily inspecting a sound insulation plate.
  • An inspection apparatus includes an acquisition unit that acquires at least one image in which a plurality of sound insulation plates are imaged, a derivation unit that derives a displacement of each of the plurality of sound insulation plates in the image, And an extraction unit that extracts, from the plurality of sound insulation plates, a sound insulation plate of interest different in movement from other sound insulation plates of the plurality of sound insulation plates based on the displacement of each of the sound insulation plates.
  • the above comprehensive or specific aspect may be realized by a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable recording disk, and the system, the method, the integrated circuit, the computer program. Alternatively, it may be realized by any combination of recording media.
  • the computer-readable recording medium includes, for example, a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory). Additional benefits and advantages of one aspect of the present disclosure will be apparent from the specification and drawings. This benefit and / or advantage may be provided individually by the various aspects and features disclosed herein and not necessarily all to one or more of which is provided.
  • the inspection device and the inspection method according to the present disclosure it is possible to easily inspect the sound insulation plate.
  • FIG. 1 is a schematic diagram showing an example of the configuration of the inspection system in the first embodiment.
  • FIG. 2 is a block diagram showing an example of a functional configuration of the inspection device according to the first embodiment.
  • FIG. 3 is a flowchart showing an example of the operation of the inspection device according to the first embodiment.
  • FIG. 4 is a diagram showing an example in which the image pickup device images a plurality of sound insulation plates.
  • FIG. 5 is a figure which shows an example of the time-series data of the displacement of each sound-insulating board when the displacement gap of each of a some sound-insulating board is correct
  • FIG. 6 is a flowchart showing an example of a detailed flow of processing included in the extraction step of FIG. FIG.
  • FIG. 7 is a diagram showing an example of the difference between the displacement of one of the sound insulating plates and the average value of the displacement of the plurality of sound insulating plates.
  • FIG. 8 is a flowchart showing another example of the detailed flow of the processing included in the extraction step of FIG.
  • FIG. 9 is a diagram showing an example of the correlation degree of the displacement of each of the plurality of sound insulation plates.
  • FIG. 10 is a block diagram showing an example of the functional configuration of the inspection device according to the second embodiment.
  • FIG. 11 is a flowchart showing an example of the operation of the inspection device according to the second embodiment.
  • An inspection apparatus includes an acquisition unit that acquires at least one image in which a plurality of sound insulation plates are imaged, a derivation unit that derives a displacement of each of the plurality of sound insulation plates in the image, And an extraction unit that extracts, from the plurality of sound insulation plates, a sound insulation plate of interest different in movement from other sound insulation plates of the plurality of sound insulation plates based on the displacement of each of the sound insulation plates.
  • the inspection device can detect the relative movement of each sound insulating plate among the plurality of sound insulating plates from at least one video image of the plurality of sound insulating plates. Therefore, the inspection device can extract, as the defective sound insulating plate, the sound insulating plate of interest that is different in movement from the other sound insulating plates from the plurality of sound insulating plates based on the displacement of each sound insulating plate in the image. .. Therefore, according to the inspection device of one aspect of the present disclosure, it is possible to easily inspect a plurality of sound insulation plates.
  • the derivation unit further derives a representative value of the displacement of each of the plurality of sound insulation plates, and the extraction unit, from among the plurality of sound insulation plates, A sound insulation plate having a displacement whose difference from the representative value is equal to or larger than a threshold value may be extracted as the sound insulation plate of interest.
  • the inspection device can take the difference between the displacement of each of the plurality of sound insulation plates and the representative value, and compare the difference with the threshold value. Therefore, according to the inspection device according to one aspect of the present disclosure, the target sound insulating plate can be easily extracted from the plurality of sound insulating plates based on the displacement of each of the plurality of sound insulating plates.
  • the representative value is an average value or a median value of displacements of the plurality of sound insulation plates
  • the threshold is a standard deviation of displacements of the plurality of sound insulation plates. May be determined based on
  • the inspection device can easily derive the representative value and the threshold value of the displacement of each of the plurality of sound insulation plates without performing complicated calculations. Therefore, the processing amount of the inspection device is reduced, and the processing speed of the inspection device is improved.
  • the extraction unit based on the cross-correlation of the displacement of each of the plurality of sound insulation plates, the sound insulation plate whose degree of correlation with the displacement of other sound insulation plates is lower than a threshold value, You may extract as the said sound insulation board.
  • the target sound insulating plate can be easily extracted from the plurality of sound insulating plates based on the displacement of each of the plurality of sound insulating plates.
  • the video may be a video captured during a period including a time period in which a predetermined external load is applied to the plurality of sound insulation plates.
  • the derivation unit may derive the displacement of each of the plurality of sound insulation plates from two or more images included in the video.
  • the inspection device may be configured such that, with respect to the displacement of each of the plurality of sound insulation plates, each of the plurality of sound insulation plates is actually operated according to a distance from an imaging unit that captures the image.
  • a scale correction unit that performs scale correction so that the ratio of the displaced distances is reflected is provided, and the extraction unit extracts the target sound insulation plate by using the displacement of each of the plurality of sound insulation plates that have been scale-corrected. Good.
  • the inspection device can derive the displacement of each of the plurality of sound insulation plates with higher accuracy. Further, by having the above-described configuration, the inspection device uses the corrected displacement, so that the sound insulation plate of interest can be more accurately extracted from the plurality of sound insulation plates.
  • the inspection method includes an acquisition step of acquiring at least one image in which a plurality of sound insulation plates are imaged, and a derivation step of deriving a displacement of each of the plurality of sound insulation plates in the image.
  • a non-transitory recording medium such as a system, a device, a method, an integrated circuit, a computer program, or a computer-readable recording disk. It may be implemented by any combination of methods, integrated circuits, computer programs, or recording media.
  • the computer-readable recording medium includes a non-volatile recording medium such as a CD-ROM.
  • the device may be composed of one or more sub-devices. When the device is composed of two or more sub-devices, the two or more devices may be arranged in one device or may be separately arranged in two or more separate devices.
  • "device" can mean not only one device but also a system composed of a plurality of sub-devices.
  • each figure is a schematic diagram and is not necessarily strictly illustrated. Further, in each of the drawings, substantially the same components are denoted by the same reference numerals, and redundant description may be omitted or simplified.
  • FIG. 1 is a schematic diagram showing an example of an inspection system 300 according to the first embodiment.
  • the inspection system 300 captures images of the plurality of sound insulation plates 1, and based on the displacement of each of the plurality of sound insulation plates 1, the sound insulation plate 1 that is different in movement from the other sound insulation plates 1 should be noted.
  • This is a system for extracting the board 1 (hereinafter, also referred to as a sound insulation board of interest) as a sound insulation board having a defect.
  • the sound insulating plate 1 is not particularly limited as long as it is a structure having a function of reducing sound passing through itself, and examples thereof include a sound insulating panel, a sound insulating wall, a sound absorbing plate, a sound absorbing panel, a sound absorbing wall, a sound insulating plate, a sound insulating panel, and a sound insulating wall.
  • it may be soundproof glass or the like.
  • it may be a general panel, wall, or plate that is not described in the product specifications as having a soundproof function, a sound insulating function, and a sound absorbing function.
  • the sound insulation plate 1 is installed, for example, on an infrastructure structure such as a road, railroad track, viaduct, or building.
  • the displacement of the sound insulation plate 1 is meant to include at least one of the change in shape of the sound insulation plate 1 and the movement amount of the center position of the sound insulation plate 1.
  • the change in shape of the sound insulation plate 1 is represented by, for example, the amount of spatial movement of each of the plurality of measurement points set on each sound insulation plate 1 over time.
  • the movement amount of the center position of the sound insulating plate 1 is represented by, for example, a vibration waveform of the center position of each sound insulating plate 1 or a motion vector indicating a motion.
  • a specific example of the displacement and a method of deriving the displacement will be described later.
  • the inspection system 300 includes an inspection device 100 and an imaging device 200. Hereinafter, each device will be described.
  • the imaging device 200 is, for example, a digital video camera or a digital still camera including an image sensor.
  • the image pickup device 200 picks up images of the plurality of sound insulation plates 1. That is, the imaging device 200 images the plurality of sound insulating plates 1 so that one image includes the plurality of sound insulating plates 1. At this time, the imaging device 200 images the displacement of the plurality of sound insulation plates 1. For example, the imaging device 200 images the plurality of sound insulation plates 1 during a period including a time in which a predetermined external load is applied to the plurality of sound insulation plates 1.
  • the predetermined external load may be, for example, wind pressure generated when a moving object such as a vehicle or a train passes, a sound emitted from a sound source, or a vibration generated by a device such as a vibration generator. Good.
  • the predetermined value is not limited to the case where the size and the direction are constant, but may include the case where the size or the direction changes. That is, the magnitude and direction of the external load applied to the plurality of sound insulation plates 1 may be constant or may change.
  • the predetermined external load is the wind pressure generated by the passage of the moving object, the wind pressure applied to the plurality of sound insulating plates 1 when the moving object approaches the plurality of sound insulating plates 1 captured by the imaging device 200 is abrupt.
  • the predetermined external load applied to the plurality of sound insulation plates 1 may change while the plurality of sound insulation plates 1 are imaged.
  • the predetermined external load is vibration generated by a device such as a vibration generator
  • the vibration applied to the plurality of sound insulation plates 1 captured by the image capturing apparatus 200 has a constant magnitude and The vibration may have an amplitude in a fixed direction.
  • the predetermined external load applied to the plurality of sound insulation plates 1 may be constant while the plurality of sound insulation plates 1 are imaged.
  • FIG. 1 shows an example in which the inspection system 300 includes one imaging device 200, but the inspection system 300 may include two or more imaging devices 200.
  • two or more imaging devices 200 may be continuously arranged along a series of a plurality of sound insulation boards 1.
  • the two or more imaging devices 200 may be discontinuously arranged at different points along the series of the sound insulating plates 1.
  • the plurality of sound insulating plates 1 at different points are imaged during a period including a time when a predetermined external load is applied under substantially the same conditions, and are made of substantially the same material and structure.
  • a plurality of sound insulation plates 1 arranged at different points such as a point A and a point B where the vehicle or train travels can be inspected at one time, so that workability is improved.
  • the imaging device 200 is not limited to the above example, and may be, for example, a distance measuring camera, a stereo camera, or a TOF (Time-Of-Flight) type camera.
  • the inspection device 100 can detect the movements of the plurality of sound insulating plates 1 in three dimensions, and thus can extract the defective sound insulating plate with higher accuracy.
  • the inspection device 100 is a device for extracting, from a plurality of sound insulation plates 1, a notable sound insulation plate 1 whose movement is different from that of another sound insulation plate 1 (so-called sound insulation plate) as a defective sound insulation plate.
  • the inspection device 100 is, for example, a computer, and includes a processor (not shown) and a memory (not shown) in which a software program or instructions is stored.
  • the inspection device 100 realizes a plurality of functions described below by the processor executing the software program.
  • the inspection device 100 may be configured by a dedicated electronic circuit (not shown). In this case, a plurality of functions described below may be realized by separate electronic circuits or may be realized by one integrated electronic circuit.
  • the inspection device 100 is communicatively connected to the imaging device 200, for example.
  • the communication method between the inspection device 100 and the imaging device 200 may be wireless communication such as Bluetooth (registered trademark) or wired communication such as Ethernet (registered trademark).
  • the inspection device 100 and the imaging device 200 do not have to be communicably connected.
  • the inspection device 100 may acquire a plurality of videos from the imaging device 200 via a removable memory, for example, a USB (Universal Serial Bus) memory.
  • a removable memory for example, a USB (Universal Serial Bus) memory.
  • the inspection device 100 acquires at least one image in which the plurality of sound insulation plates 1 are imaged from the imaging device 200, derives the displacement of each of the plurality of sound insulation plates 1 in the acquired image, and detects each of the plurality of sound insulation plates 1. Based on the displacement, a notable sound insulation plate 1 (so-called sound insulation plate) that is different in movement from the other sound insulation plates 1 of the plurality of sound insulation plates 1 is extracted from the plurality of sound insulation plates 1.
  • the inspection device 100 extracts the sound insulation plate of interest as a defective sound insulation plate, and extracts information based on the extraction result of the sound insulation plate 1 and data such as position information in a video image of the sound insulation plate 1. It may be associated and stored in a memory (not shown).
  • the user of the inspection device 100 can read information based on the extraction result from the memory (not shown) at a desired timing.
  • the inspection device 100 causes the presentation unit (not shown) to present information based on the extraction result, based on the user's operation input to the input unit (not shown).
  • the input unit (not shown) is, for example, a keyboard, a mouse, a touch panel, a microphone, or the like.
  • the display unit (not shown) is, for example, a display or a speaker.
  • the inspection device 100 may or may not include an input unit (not shown) and a display unit (not shown).
  • the input unit and the presentation unit may be provided in, for example, a device other than the inspection device 100.
  • the inspection device 100 is exemplified by the computer, the inspection device 100 may be provided on a server connected via a communication network such as the Internet.
  • FIG. 2 is a block diagram showing an example of the functional configuration of the inspection device 100 according to the first embodiment.
  • the inspection device 100 includes an acquisition unit 10, a derivation unit 20, and an extraction unit 40.
  • the acquisition unit 10 acquires at least one video image of the plurality of sound insulation plates 1 (see FIG. 1).
  • the image may be an image captured at a time including a time in which a predetermined external load is applied to the plurality of sound insulating plates 1. More specifically, the image includes at least one of a period in which an external load is added to the plurality of sound insulating plates 1 and a period in which no external load is added to the plurality of sound insulating plates 1 before and after the image.
  • the video may include ,. For example, referring to FIG.
  • the image shows that the last vehicle of the train is looking at the other end of the plurality of sound insulation plates 1 immediately before the leading vehicle of the train approaches one end of the plurality of sound insulation plates 1. It is a video until it finishes passing. At this time, the external load applied to the plurality of sound insulation plates 1 is the wind pressure generated by the passage of the train.
  • the image acquired by the acquisition unit 10 may be, for example, one image in which a plurality of sound insulating plates 1 are imaged, or may be a plurality of images in which a series of a plurality of sound insulating plates 1 are continuously imaged. Alternatively, a series of a plurality of sound insulation plates 1 may be a plurality of images taken discontinuously.
  • the acquisition unit 10 acquires, for example, at least one image obtained by imaging the plurality of sound insulation plates 1 by wireless communication from the imaging device 200. Further, for example, the acquisition unit 10 may acquire at least one image of the plurality of sound insulation plates 1 captured from the image capturing apparatus 200 via a removable memory such as a USB memory.
  • the deriving unit 20 derives the displacement of each of the plurality of sound insulating plates 1 in the image acquired by the acquiring unit 10.
  • the image is, for example, an image captured at a time including a time when a predetermined external load is applied to the plurality of sound insulation plates 1.
  • the displacement of each sound insulating plate 1 may be derived by a known method.
  • the method of deriving the displacement is, for example, a block matching method, a normalized correlation method (Normalized Cross Correlation), a correlation method such as a phase correlation method (Phase Correlation), a sampling moire method, a feature point extraction method (for example, edge extraction). Alternatively, a laser speckle correlation method or the like may be used.
  • the displacement derivation accuracy may be in pixel units or subpixel units.
  • the displacement here may be a displacement on the image.
  • the deriving unit 20 further derives a representative value of the displacement of each of the sound insulation plates 1.
  • the representative value may be an average value or a median value of the displacements of the plurality of sound insulation plates 1.
  • the representative value may be a robust estimated value of the displacement of each of the plurality of sound insulation plates 1.
  • the robust estimated value includes, for example, a RANSAC (RANdom Sample Consensus) estimated value and an M estimated value.
  • the RANSAC estimated value is an average value or a median value calculated from the displacement of each sound insulating plate 1 excluding the influence of the outlier by the RANSAC estimation from the displacement of each sound insulating plate 1.
  • the deriving unit 20 derives a representative value by calculating an average value or a median value from the displacements of the plurality of sound insulation plates 1. In the examples described below, an example in which the representative value is an average value will be described.
  • leading-out part 20 attaches the flag which shows that the structure other than the sound-insulating board 1 is included, when the image which imaged the some sound-insulating board 1 contains the structure other than the sound-insulating board 1, the said image is attached. You may store in a memory
  • the structure other than the sound insulation plate 1 is, for example, a telephone pole, a sign, or a signal box.
  • the inspection device 100 can inspect the sound insulating plate 1 more accurately.
  • the derivation unit 20 may attach different flags to the image depending on the type of the structure so that the type of the structure can be identified.
  • the extraction unit 40 Based on the displacement of each of the plurality of sound insulation plates 1, the extraction unit 40 selects a sound insulation plate 1 (i.e., a sound insulation plate 1 that is different from the other sound insulation plates 1 of the plurality of sound insulation plates 1 in movement). A so-called sound insulation board) is extracted. For example, the extraction unit 40 extracts, from the plurality of sound insulation plates 1, the sound insulation plate 1 having a displacement whose difference from the representative value is equal to or larger than a threshold value, as the sound insulation plate of interest.
  • the threshold value is determined based on the standard deviation of displacement of each of the plurality of sound insulation plates 1. For example, the threshold may be a constant multiple of the standard deviation.
  • the extraction unit 40 determines whether the difference between the displacement of each of the plurality of sound insulation plates 1 and the representative value is equal to or greater than a threshold value, and when the difference between the displacement of a certain sound insulation plate 1 and the representative value is equal to or greater than the threshold value, The sound insulation plate 1 is extracted as a sound insulation plate of interest.
  • the extraction unit 40 stores, for example, information on the sound insulation plate of interest in a storage unit (not shown). Note that a specific processing flow of the extraction unit 40 will be described later using an example, and thus a description thereof will be omitted here.
  • the extraction unit 40 selects and selects the image to which the flag is added from the plurality of images acquired by the acquisition unit 10.
  • a target sound insulating plate having a different motion from the other sound insulating plates may be extracted from the plurality of sound insulating plates. More specifically, all the sound insulation plates 1 arranged in the vicinity of the structure are selected from the plurality of sound insulation plates 1 captured in the plurality of images, and based on the displacements of all the selected sound insulation plates 1. The sound insulation plate of interest may be extracted.
  • FIG. 3 is a flowchart showing an example of the operation of the inspection device 100 according to the first embodiment.
  • the operation of the inspection system 300 according to the first embodiment includes an image capturing step in which the image capturing apparatus 200 captures images of the plurality of sound insulating plates 1 (see FIG. 1) before the acquisition step S10 shown in FIG. Be done.
  • the imaging device 200 captures images of the plurality of sound insulating plates 1 when the external load applied to the plurality of sound insulating plates 1 is changing, for example.
  • the deriving unit 20 determines, based on the image acquired by the acquisition unit 10, the displacement before the external load is applied to the plurality of sound insulation plates 1 and the period during which the external load is applied to the plurality of sound insulation plates 1.
  • the images of the plurality of sound insulating plates 1 may be one or more images captured by the plurality of imaging devices 200 arranged continuously at a predetermined interval along the series of plurality of sound insulating plates 1. Alternatively, it may be one or more images captured by a plurality of imaging devices 200 discontinuously arranged at different points along a series of a plurality of sound insulation plates 1.
  • one video contains three or more sound insulation plates 1.
  • the reliability of the representative values of the plurality of sound insulation plates 1 is increased, so that the inspection device 100 has a sound insulation plate 1 (so-called attention) which is different in movement from other sound insulation plates 1 of the plurality of sound insulation plates 1.
  • the sound insulation plate can be accurately extracted.
  • the acquisition unit 10 acquires at least one video image of the sound insulation plates 1 (acquisition step S10).
  • the inspection device 100 may sequentially acquire images from the image capturing device 200, or may acquire images captured during a predetermined period. It should be noted that the inspection device 100 may acquire, from the image capturing device 200, one or more images of the plurality of sound insulating plates 1 captured after the image capturing device 200 has finished capturing the plurality of sound insulating plates 1.
  • the method of acquiring the image by the acquisition unit 10 is not particularly limited. As described above, the acquisition unit 10 may acquire the video by wireless communication, or may acquire the video via a removable memory such as a USB memory.
  • the deriving unit 20 derives the displacement of each of the plurality of sound insulating plates 1 in the one or more images acquired by the acquiring unit 10 in the acquiring step S10 (deriving step S20). Since the method of deriving the displacement has been described above, the description thereof is omitted here.
  • the extraction unit 40 extracts, from the plurality of sound insulation plates 1, a sound insulation plate of interest different in movement from other sound insulation plates 1 based on the displacement of each of the plurality of sound insulation plates 1. Yes (extraction step S40). Note that the details of the extraction step S40 will be described later using an example, and thus a description thereof will be omitted here.
  • FIG. 4 is a diagram showing an example in which the imaging device 200 images a plurality of sound insulation plates 1.
  • the imaging device 200 includes a plurality of trains 400 during a period including a time period in which an external load is applied to the plurality of sound insulating plates 1a, 1b, 1c and 1d (hereinafter, 1a to 1d).
  • the sound insulation plates 1a to 1d are imaged.
  • the external load is wind pressure generated when the train 400 passes.
  • the image capturing apparatus 200 is, for example, from before the leading vehicle of the train 400 approaches the plurality of sound insulating plates 1a to 1d until after the last vehicle of the train 400 has passed through the plurality of sound insulating plates 1a to 1d.
  • the plurality of sound insulation plates 1a to 1d are imaged.
  • the inspection device 100 acquires from the imaging device 200 a video image of the sound insulation plates 1a to 1d.
  • the method of acquiring the video is not particularly limited, and the inspection device 100 may sequentially acquire the video from the imaging device 200 by wireless communication, or may acquire the video via a removable memory.
  • the inspection device 100 derives the displacement of each of the plurality of sound insulation plates 1a to 1d in the acquired image, and based on the derived displacement of each of the plurality of sound insulation plates 1a to 1d, From the inside, a sound insulation plate of interest that is different in movement from the other sound insulation plates of the plurality of sound insulation plates 1a to 1d is extracted.
  • the inspection device 100 corrects the phase shift of the derived displacements of each of the sound insulation plates 1a to 1d, and compares the displacements of each of the sound insulation plates 1a to 1d.
  • FIG. 5 is a diagram showing an example of time-series data of the displacement of each sound insulating plate when the phase shift of the displacement of each of the plurality of sound insulating plates 1a to 1d is corrected. From the graph of FIG. 5, it can be seen that, of the plurality of sound insulation plates 1a to 1d, the sound insulation plates 1a, 1b, and 1c have substantially the same displacement. However, the sound insulation plate 1d is displaced to the plus side when the other sound insulation plates 1a to 1c are displaced to the minus side, for example.
  • the inspection device 100 determines that the sound insulation plate 1d is the sound insulation plate of interest having a different movement from the other sound insulation plates 1a to 1c and extracts the sound insulation plate 1d.
  • FIG. 6 is a flowchart showing an example of a detailed flow of processing included in the extraction step S40 of FIG.
  • FIG. 7 is a diagram showing an example of the difference between the displacement of one sound insulating plate 1d of the plurality of sound insulating plates 1a to 1d and the average value of the displacement of the plurality of sound insulating plates 1a to 1d.
  • the extraction unit 40 of the inspection device 100 corrects the phase shift of the displacement of the plurality of sound insulating plates 1a to 1d (step S42). ..
  • the inspection device 100 derives the average value of the displacements of the plurality of sound insulation plates 1a to 1d (step S43).
  • the inspection device 100 derives the standard deviation of the displacement of the plurality of sound insulating plates 1a to 1d (step S44), and determines the threshold value based on the standard deviation.
  • the threshold value is a constant multiple of the standard deviation.
  • the upper limit reference value is a value obtained by adding a threshold value to the average value
  • the lower limit reference value is a value obtained by subtracting the threshold value from the average value.
  • the inspection device 100 determines, for each of the plurality of sound insulation plates 1a to 1d, whether or not the difference between the displacement of each sound insulation plate and the average value of the displacements of the plurality of sound insulation plates 1a to 1d is equal to or more than a threshold value. (Step S45). If the difference between the displacement of the sound insulation plate and the average value of the displacements of the plurality of sound insulation plates 1a to 1d is greater than or equal to the threshold value for a certain sound insulation plate among the plurality of sound insulation plates 1a to 1d (YES in step S45), The sound insulation plate is determined to be the sound insulation plate of interest and is extracted (step S46). Specifically, in step S45, as shown in FIG.
  • the inspection device 100 derives a difference between the displacement of the sound insulation plate 1d and the average value of the displacements of the plurality of sound insulation plates 1a to 1d, and the difference is the lower limit. It is determined whether or not the value exceeds the range between the reference value and the upper limit reference value, that is, the threshold value or more. At this time, as shown in FIG. 7, since the difference between the displacement of the sound insulation plate 1d and the average value of the displacements of the plurality of sound insulation plates 1a to 1d is equal to or more than the threshold value, the inspection device 100 causes the sound insulation plate 1d to It is determined that the difference is greater than or equal to the threshold value and extracted.
  • the inspection device 100 attaches a flag to the extracted sound insulation plate and stores it in a storage unit (not shown).
  • a storage unit not shown.
  • the inspection device 100 does not perform the process of step S46.
  • the inspection device 100 determines that the sound insulation plates are the sound insulation plates of interest after performing the processes of steps S45 and S46 for all of the plurality of sound insulation plates 1a to 1d, that is, after the loop processing for each sound insulation plate is completed.
  • the sound insulation plate (here, the sound insulation plate 1d) may be read from the storage unit (not shown) and output to the display unit (not shown).
  • the user may input an operation instruction to the input unit (not shown) to select data to be output by the inspection device 100 to the display unit (not shown), and the data may be displayed on the display unit (not shown). You may select the data which matched the predetermined condition from the data.
  • FIG. 8 is a flowchart showing another example of the detailed flow of the processing included in the extraction step S40 of FIG.
  • FIG. 9 is a diagram showing an example of the degree of correlation of displacement of each of the plurality of sound insulation plates 1a to 1d.
  • the inspection device 100 corrects the phase shift of the displacement of the plurality of sound insulating plates 1a to 1d (step S42).
  • the inspection device 100 derives the correlation degree of the displacement of the pair with the other sound insulating plates for each of the plurality of sound insulating plates 1a to 1d (step S47).
  • the inspection device 100 may derive the correlation degree of displacement in a phase at a predetermined interval for each pair of sound insulation plates, and use the lowest correlation degree as the phase correlation degree of the pair.
  • the inspection device 100 stores the correlation degree of displacement for each pair of sound insulation plates in a storage unit (not shown) in the form of a table, for example.
  • the inspection device 100 extracts a pair whose degree of correlation is less than or equal to a threshold value (step S48).
  • the threshold value of the degree of correlation may be arbitrarily set depending on the shape and size of the sound insulating plate, the constituent material, and the like.
  • the inspection device 100 identifies a sound insulation plate whose correlation degree with the displacement of another sound insulation plate is lower than the threshold value from the pair whose correlation degree is equal to or less than the threshold value extracted in step S48, and sets it as the sound insulation plate of interest. Extract (step S49). For example, when the threshold value is set to 0.6, the inspection device 100 specifies from the table of FIG.
  • the inspection device 100 stores, for example, the extraction result and the information of the video data of the image of the sound insulating plate 1d in a storage unit (not shown) in association with each other.
  • the inspection device 100 uses the sound insulating plate (here, the sound insulating plate has a degree of correlation with the displacements of the other sound insulating plates that is lower than the threshold value, based on the cross-correlation of the displacements of the plurality of sound insulating plates 1a to 1d. 1d) is extracted as a target sound insulation plate different from other sound insulation plates.
  • the sound insulating plate here, the sound insulating plate has a degree of correlation with the displacements of the other sound insulating plates that is lower than the threshold value, based on the cross-correlation of the displacements of the plurality of sound insulating plates 1a to 1d. 1d
  • the inspection device 100 is used to inspect a plurality of adjacent sound insulating plates 1a to 1d, but the plurality of sound insulating plates to be inspected are not limited to the adjacent sound insulating plates. Absent. Further, some or all of the sound insulation plates included in the plurality of images may be inspected.
  • the series of sound insulating plates need not be adjacent to each other, and may be a series of sound insulating plates arranged on the same orbit.
  • the inspection device 100 includes the acquisition unit 10 that acquires at least one image in which a plurality of sound insulation plates are imaged, and the derivation unit that derives the displacement of each of the plurality of sound insulation plates in the image. 20 and an extraction unit 40 that extracts, from the plurality of sound insulation plates, a sound insulation plate of interest different in movement from other sound insulation plates based on the displacement of each of the plurality of sound insulation plates. ..
  • the inspection device 100 can detect the relative movement of each sound insulating plate among the plurality of sound insulating plates from at least one video image of the plurality of sound insulating plates. Therefore, the inspection device 100 extracts, as a sound insulating plate having a possibility of failure, a sound insulating plate of interest different in movement from other sound insulating plates from among the plurality of sound insulating plates based on the displacement of each sound insulating plate in the image. can do. Therefore, according to the inspection device 100 according to the first embodiment, it is possible to easily inspect a plurality of sound insulation plates.
  • the derivation unit 20 further derives the representative value of the displacement of each of the plurality of sound insulation plates, and the extraction unit 40 determines the representative value from the plurality of sound insulation plates.
  • a sound insulation plate having a displacement whose difference is equal to or larger than a threshold value may be extracted as the sound insulation plate of interest.
  • the inspection device 100 can take the difference between the displacement of each of the plurality of sound insulation plates and the representative value, and compare the difference with the threshold value. Therefore, according to the inspection device 100, the target sound insulating plate can be easily extracted from the plurality of sound insulating plates based on the displacement of each of the plurality of sound insulating plates.
  • the representative value is the average value or the median value of the displacements of the plurality of sound insulation plates
  • the threshold value is determined based on the standard deviation of the displacements of the plurality of sound insulation plates. May be done.
  • the inspection device 100 can easily derive the representative value and the threshold value of the displacement of each of the plurality of sound insulating plates without performing complicated calculations. Therefore, the processing amount of the inspection device 100 is reduced, and the processing speed of the inspection device 100 is improved.
  • the extraction unit 40 uses a sound insulation plate whose degree of correlation with displacements of other sound insulation plates is lower than a threshold value, based on the cross-correlation of the displacements of the plurality of sound insulation plates. It may be extracted as a sound insulation plate of interest.
  • the inspection device 100 can easily compare the similarities between the plurality of sound insulating plates. Therefore, according to the inspection device 100, the target sound insulating plate can be easily extracted from the plurality of sound insulating plates based on the displacement of each of the plurality of sound insulating plates.
  • the image may be an image captured during a period including a time period in which a predetermined external load is applied to the sound insulation plates.
  • FIG. 10 is a block diagram showing an example of the functional configuration of the inspection device 100a according to the second embodiment.
  • the inspection device 100a according to the second embodiment further includes the scale correction unit 30, and the extraction unit 40 uses the displacement of each of the plurality of sound insulation plates corrected by the scale correction unit 30. Different from the inspection device 100.
  • the inspection device 100a according to the second embodiment will be described, focusing on the differences from the first embodiment.
  • the inspection device 100a includes an acquisition unit 10, a derivation unit 20, an extraction unit 40, and a scale correction unit 30.
  • the scale correction unit 30 corrects the displacement of each of the plurality of sound insulation plates according to the distance from an image capturing unit that captures an image, here, the image capturing apparatus 200 (see FIG. 1).
  • the scale correction unit 30 is necessary when the ratio of the displacement on the captured image to the displacement on the real space is caused by the difference in the real space distance from the image pickup position of the image pickup apparatus 200 to each of the plurality of sound insulating plates. Accordingly, scale correction is performed so that this ratio becomes equal.
  • This scale correction may be performed on the derived displacement or on the captured image.
  • the extraction unit 40 uses the displacements of each of the plurality of scale-corrected sound insulation plates to extract the sound insulation plate of interest that is different in movement from other sound insulation plates.
  • the acquisition unit 10 acquires at least one video imaged by a plurality of sound insulation plates (acquisition step S10).
  • the deriving unit 20 derives the displacement of each of the plurality of sound insulation plates in the image acquired by the acquiring unit 10 in the acquiring step S10 (deriving step S20).
  • the scale correction unit 30 performs scale correction so that the ratio of the distance actually displaced in each of the plurality of sound insulation plates is reflected according to the distance from the image capturing unit (hereinafter, image capturing apparatus 200) that captures an image.
  • Perform (scale correction step S30) the scale correction unit 30 determines, for each of the plurality of sound insulation plates, the displacement of each sound insulation plate on the image and the actually displaced distance according to the distance from the imaging device 200 that captures the images of the plurality of sound insulation plates. The ratio is adjusted to perform scale correction for each displacement of the plurality of sound insulation plates.
  • the scale correction unit 30 reads out, from a storage unit (not shown), displacement information about each of the plurality of sound insulation plates derived by the derivation unit 20, for example, coordinates in the real space, and reads the information. Using the coordinates in the real space, scale correction is performed for each of the plurality of sound insulating plates so that the ratio of the displacement in the image and the displacement in the real space are the same. Note that the scale correction unit 30 determines that the ratio of the displacement on the captured image to the displacement on the real space depends on the difference in the distance in the real space from the image pickup position of the image pickup device 200 to one of the sound insulation plates. If it occurs, scale correction may be performed so that this ratio becomes equal, if necessary.
  • the extraction unit 40 extracts the target sound insulating plate from the plurality of sound insulating plates by using the displacement of each of the plurality of sound insulating plates that has been scale-corrected by the scale correction unit 30 (extraction step S41).
  • the second embodiment is different from the first embodiment in that the scale-corrected displacement is used, but in other respects, the processing flow in the extraction unit 40 is the same as that of the embodiment described in FIGS. 6 and 8. The processing flow is the same as that of the first embodiment.
  • the inspection device 100a acquires at least one image in which a plurality of sound insulation plates are imaged, derives the displacement of each of the plurality of sound insulation plates in the acquired image, and thereby detects a plurality of sound insulations.
  • scale correction is performed so that the ratio of the distance actually displaced in each of the plurality of sound insulation plates is reflected according to the distance from the image capturing apparatus 200 that captures an image, and the scale correction is performed.
  • the sound insulation plate of interest is extracted from the plurality of sound insulation plates to identify the sound insulation plate having the defect.
  • the process of the scale correction step S30 does not necessarily have to be performed after the process of the derivation step S20.
  • the process of the scale correction step S30 may be performed in parallel with the process of the derivation step S20, for example.
  • the inspection device 100 performs, for example, a correction for removing the influence of the displacement on the image that occurs when the orientation of the image capturing device 200 changes or the influence of the displacement on the image that occurs due to the change in the rotation direction of the image capturing device 200. Good.
  • the inspection device 100 attaches a flag indicating that a structure other than the sound insulating plate is included in the storage unit (not shown) when the image captured by the plurality of sound insulating plates includes the structure other than the sound insulating plate. It may be stored in.
  • the inspection device 100a in addition to the displacement of each of the plurality of sound insulation plates, the inspection device 100a actually operates in each of the plurality of sound insulation plates according to the distance from the image capturing unit that captures an image.
  • a scale correction unit that performs scale correction so that the ratio of the displaced distance is reflected is provided, and the extraction unit extracts the target sound insulation plate by using the displacement of each of the plurality of scale-corrected sound insulation plates.
  • the inspection device 100a can more accurately derive the displacement of each of the plurality of sound insulating plates. Further, by having the above-described configuration, the inspection device 100 uses the corrected displacement, so that the sound insulation plate of interest can be more accurately extracted from the plurality of sound insulation plates.
  • the inspection device may include a system LSI including an acquisition unit, a derivation unit, and an extraction unit.
  • LSI Large Scale Integration
  • the inspection device may include a system LSI including an acquisition unit, a derivation unit, and an extraction unit.
  • the system LSI is a super-multifunctional LSI manufactured by integrating a plurality of components on one chip, and specifically, a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory), etc. It is a computer system configured to include. A computer program is stored in the ROM. The system LSI achieves its function by the microprocessor operating according to the computer program.
  • the system LSI is used here, but it may also be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and it may be realized by a dedicated circuit or a general-purpose processor.
  • a programmable programmable gate array (FPGA) after the LSI is manufactured, or a reconfigurable processor capable of reconfiguring the connection and setting of circuit cells inside the LSI may be used.
  • one aspect of the present disclosure may be not only such an inspection device but also an inspection method in which a characteristic constituent part included in the inspection device is used as a step. Further, one aspect of the present disclosure may be a computer program that causes a computer to execute each characteristic step included in the inspection method. Further, one aspect of the present disclosure may be a computer-readable non-transitory recording medium in which such a computer program is recorded.
  • each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the inspection device and the like of the above-described embodiment is the following program.
  • the program includes, in a computer, an acquisition step of acquiring at least one image in which a plurality of sound insulation plates are imaged, a derivation step of deriving a displacement of each of the plurality of sound insulation plates in the image, and a plurality of the sound insulations. And an extraction step of extracting, from the plurality of sound insulation plates, a sound insulation plate of interest different in movement from other sound insulation plates of the plurality of sound insulation plates based on the displacement of each of the sound insulation plates. ..
  • the present disclosure can be widely used for an inspection device that extracts, from among a plurality of sound insulation plates, a sound insulation plate of interest that is different in movement from other sound insulation plates of the plurality of sound insulation plates.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Devices Affording Protection Of Roads Or Walls For Sound Insulation (AREA)

Abstract

点検装置(100)は、複数の遮音板(1)が撮像された少なくとも1つの映像を取得する取得部(10)と、映像における複数の遮音板(1)それぞれの変位を導出する導出部(20)と、複数の遮音板(1)それぞれの変位に基づいて、複数の遮音板(1)の中から、他の遮音板(1)と動きが異なる注目遮音板を抽出する抽出部(40)と、を備える。

Description

点検装置及び点検方法
 本開示は、遮音板を点検する点検装置及び点検方法に関する。
 例えば、特許文献1に、構造物を締結するボルトの緩みを検査する検査方法及び検査装置が開示されている。
特開平8-278116号公報
 しかしながら、特許文献1に記載のボルト緩み検査方法及び検査装置では、検査対象となるボルトの正常締結状態の基準情報がなければ、ボルト緩みの検査を行うことが困難である。
 例えば、遮音壁について、正常な状態を特定することが困難な場合がある。そのため、遮音壁が正常な状態であるか否かを点検することは容易ではない。
 また、インフラ構造物の点検は、専ら、専門の作業員によって手作業で実施される。例えば、高速道路又は高架橋などに設置された遮音板は、車両又は列車などの往来がある中で、作業員が手作業で点検するため、危険を伴う可能性が高い。また、作業員が複数の遮音板を手作業で点検するため、点検作業に長時間を要する。
 そこで、本開示は、遮音板を簡便に点検することができる点検装置及び点検方法を提供する。
 本開示の一態様に係る点検装置は、複数の遮音板が撮像された少なくとも1つの映像を取得する取得部と、前記映像における前記複数の遮音板それぞれの変位を導出する導出部と、前記複数の遮音板それぞれの変位に基づいて、前記複数の遮音板の中から、前記複数の遮音板のうちの他の遮音板と動きが異なる注目遮音板を抽出する抽出部と、を備える。
 なお、上記の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能な記録ディスクなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。コンピュータで読み取り可能な記録媒体は、例えば、CD-ROM(Compact Disc-Read Only Memory)等の不揮発性の記録媒体を含む。本開示の一態様の付加的な恩恵及び有利な点は、本明細書及び図面から明らかとなる。この恩恵及び/又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その一以上を得るために全てが必要ではない。
 本開示に係る点検装置及び点検方法によれば、遮音板を簡便に点検することができる。
図1は、実施の形態1における点検システムの構成の一例を示す概略図である。 図2は、実施の形態1に係る点検装置の機能構成の一例を示すブロック図である。 図3は、実施の形態1に係る点検装置の動作の一例を示すフローチャートである。 図4は、撮像装置が複数の遮音板を撮像する一例を示す図である。 図5は、複数の遮音板それぞれの変位のずれを補正した場合の各遮音板の変位の時系列データの一例を示す図である。 図6は、図3の抽出ステップに含まれる処理の詳細なフローの一例を示すフローチャートである。 図7は、複数の遮音板のうちの1つの遮音板の変位と複数の遮音板の変位の平均値との差分の一例を示す図である。 図8は、図3の抽出ステップに含まれる処理の詳細なフローの他の例を示すフローチャートである。 図9は、複数の遮音板それぞれの変位の相関度の一例を示す図である。 図10は、実施の形態2に係る点検装置の機能構成の一例を示すブロック図である。 図11は、実施の形態2に係る点検装置の動作の一例を示すフローチャートである。
 (本開示の概要)
 本開示の一態様の概要は、以下のとおりである。
 本開示の一態様に係る点検装置は、複数の遮音板が撮像された少なくとも1つの映像を取得する取得部と、前記映像における前記複数の遮音板それぞれの変位を導出する導出部と、前記複数の遮音板それぞれの変位に基づいて、前記複数の遮音板の中から、前記複数の遮音板のうちの他の遮音板と動きが異なる注目遮音板を抽出する抽出部と、を備える。
 これにより、点検装置は、複数の遮音板が撮像された少なくとも1つの映像から、複数の遮音板の中での各遮音板の相対的な動きを検出することができる。そのため、点検装置は、当該映像における各遮音板の変位に基づいて、複数の遮音板の中から、他の遮音板と動きが異なる注目遮音板を、不具合のある遮音板として抽出することができる。したがって、本開示の一態様に係る点検装置によれば、複数の遮音板を簡便に点検することができる。
 例えば、本開示の一態様に係る点検装置は、前記導出部は、さらに、前記複数の遮音板それぞれの変位の代表値を導出し、前記抽出部は、前記複数の遮音板の中から、前記代表値との差分が閾値以上の変位を有する遮音板を、前記注目遮音板として抽出してもよい。
 これにより、点検装置は、複数の遮音板それぞれの変位と代表値との差分を取り、当該差分と閾値とを比較することができる。そのため、本開示の一態様に係る点検装置によれば、複数の遮音板それぞれの変位に基づいて、複数の遮音板の中から注目遮音板を簡便に抽出することができる。
 例えば、本開示の一態様に係る点検装置は、前記代表値は、前記複数の遮音板それぞれの変位の平均値又は中央値であり、前記閾値は、前記複数の遮音板それぞれの変位の標準偏差に基づいて決定されてもよい。
 これにより、点検装置は、複数の遮音板それぞれの変位の代表値及び閾値を、複雑な計算をすることなく容易に導出することができる。そのため、点検装置における処理量が減少するため、点検装置の処理速度が向上される。
 例えば、本開示の一態様に係る点検装置は、前記抽出部は、複数の遮音板それぞれの変位の相互相関に基づき、他の遮音板の変位との相関度が閾値よりも低い遮音板を、前記注目遮音板として抽出してもよい。
 これにより、点検装置は、複数の遮音板同士の類似性を比較することができる。そのため、本開示の一態様に係る点検装置によれば、複数の遮音板それぞれの変位に基づいて、複数の遮音板の中から注目遮音板を簡便に抽出することができる。
 例えば、本開示の一態様に係る点検装置は、前記映像は、前記複数の遮音板に所定の外部負荷が付加されている時間を含む期間に撮像された映像であってもよい。
 これにより、複数の遮音板それぞれに十分な変位が生じるため、複数の遮音板の中から注目遮音板を抽出する精度が向上される。
 例えば、本開示の一態様に係る点検装置では、前記導出部は、前記映像に含まれる2以上の画像から前記複数の遮音板のそれぞれの変位を導出してもよい。
 これにより、時間的に異なる2以上の画像を用いて、複数の領域のそれぞれの変位を適切に導出することができる。
 例えば、本開示の一態様に係る点検装置は、さらに、前記複数の遮音板それぞれの変位に対して、前記映像を撮像する撮像部からの距離に応じて、前記複数の遮音板それぞれにおいて実際に変位した距離の比率が反映されるようにスケール補正を行うスケール補正部を備え、前記抽出部は、スケール補正された前記複数の遮音板それぞれの変位を用いて、前記注目遮音板を抽出してもよい。
 これにより、点検装置は、複数の遮音板それぞれの変位を、より精度良く導出することができる。また、上記構成を有することにより、点検装置は、補正された変位を利用するため、複数の遮音板の中から注目遮音板をより精度良く抽出することができる。
 また、本開示の一態様に係る点検方法は、複数の遮音板が撮像された少なくとも1つの映像を取得する取得ステップと、前記映像における前記複数の遮音板それぞれの変位を導出する導出ステップと、前記複数の遮音板それぞれの変位に基づいて、前記複数の遮音板の中から、前記複数の遮音板のうちの他の遮音板と動きが異なる注目遮音板を抽出する抽出ステップと、を有する。
 これにより、複数の遮音板が撮像された少なくとも1つの映像から、複数の遮音板の中での各遮音板の相対的な動きを検出することができる。そのため、点検方法によれば、当該映像における各遮音板の変位に基づいて、複数の遮音板の中から、他の遮音板と動きが異なる注目遮音板を、不具合のある遮音板として抽出することができる。したがって、本開示の一態様に係る点検方法によれば、複数の遮音板を簡便に点検することができる。
 なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能な記録ディスク等の非一時的記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。コンピュータで読み取り可能な記録媒体は、例えばCD-ROM等の不揮発性の記録媒体を含む。また、装置は、1つ以上のサブ装置で構成されてもよい。装置が2つ以上のサブ装置で構成される場合、当該2つ以上の装置は、1つの機器内に配置されもよく、分離した2つ以上の機器内に分かれて配置されてもよい。本明細書及び請求の範囲では、「装置」とは、1つの装置を意味し得るだけでなく、複数のサブ装置からなるシステムも意味し得る。
 以下、本開示に係る点検装置及び点検方法について、図面を参照しながら具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、ステップ(工程)、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 また、以下の実施の形態の説明において、略同一のような「略」を伴った表現が用いられる場合がある。例えば、略同一とは、主要な部分が同じであること、あるいは、2つの要素が共通の性質を有することなどを意味する。
 また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
 (実施の形態1)
 以下、実施の形態1に係る点検装置等について説明する。
 [1-1.点検システムの概要]
 まず、実施の形態1に係る点検システムの概要について、図1を参照しながら具体的に説明する。図1は、実施の形態1に係る点検システム300の一例を示す概略図である。
 点検システム300は、複数の遮音板1の映像を撮像し、映像における複数の遮音板1それぞれの変位に基づいて、複数の遮音板1のうち他の遮音板1と動きが異なる注目すべき遮音板1(以下、注目遮音板ともいう)を不具合のある遮音板として抽出するためのシステムである。
 遮音板1は、自身を通過する音を減少させる機能を有する構造物であれば特に限定されず、例えば、遮音パネル、遮音壁、吸音板、吸音パネル、吸音壁、防音板、防音パネル、防音壁、又は、防音ガラスなどであってもよい。また、商品仕様に防音機能、遮音機能、吸音機能を有すると記載されていない、一般的なパネル、壁、板であってもよい。遮音板1は、例えば、道路、線路、高架橋、又は、建物などのインフラ構造物に設置される。
 ここで、遮音板1の変位とは、遮音板1の形状変化及び遮音板1の中心位置の移動量の少なくとも一方を含む意味である。遮音板1の形状変化は、例えば、各遮音板1に設定された複数の計測点それぞれの時間的経過に伴う空間的な移動量で表される。また、遮音板1の中心位置の移動量は、例えば、各遮音板1の中心位置の振動波形、又は、動きを示す動きベクトルなどで表される。変位の具体例及び変位の導出方法については、後述する。
 図1に示すように、点検システム300は、点検装置100と、撮像装置200と、を備える。以下、各装置について説明する。
 [1-1-1.撮像装置]
 撮像装置200は、例えば、イメージセンサを備えるデジタルビデオカメラ又はデジタルスチルカメラである。撮像装置200は、複数の遮音板1の映像を撮像する。つまり、撮像装置200は、1つの映像に複数の遮音板1が含まれるように、複数の遮音板1を撮像する。このとき、撮像装置200は、複数の遮音板1に変位が生じている状態を撮像する。例えば、撮像装置200は、複数の遮音板1に所定の外部負荷が付加されている時間を含む期間に、複数の遮音板1を撮像する。
 ここで、所定の外部負荷は、例えば、車両又は列車などの移動物が通過する際に生じる風圧、音源から発せられる音、又は、振動発生器などの装置により発生される振動などであってもよい。所定とは、一定の大きさ及び一定の方向である場合に限らず、大きさ又は方向が変化する場合を含んでもよい。つまり、複数の遮音板1に付加される外部負荷の大きさ及び方向が一定であってもよいし、変化してもよい。例えば、所定の外部負荷が移動物の通過により発生する風圧である場合、撮像装置200が撮像する複数の遮音板1に移動物が近づいた時に複数の遮音板1に付加される風圧は、急激に上昇し、車両が通過している間、風圧は最大となり、通過した直後に、風圧は急激に低下する。このように、複数の遮音板1に付加される所定の外部負荷は、複数の遮音板1が撮像される間に変化してもよい。また、例えば、所定の外部負荷が振動発生器などの機器により発生される振動である場合、撮像装置200が撮像する複数の遮音板1に付加される振動は、一定の大きさで、かつ、一定の方向に振幅を有する振動であってもよい。このように、複数の遮音板1に付加される所定の外部負荷は、複数の遮音板1が撮像される間、一定であってもよい。
 なお、図1では、点検システム300が1つの撮像装置200を備える例を示しているが、2つ以上の撮像装置200を備えてもよい。例えば、2つ以上の撮像装置200は、一連の複数の遮音板1に沿って連続的に配置されてもよい。これにより、1つの撮像装置200で撮影するよりも、一度により多くの遮音板1を撮像することができるため、点検の作業性が向上される。また、例えば、2つ以上の撮像装置200は、一連の複数の遮音板1に沿って異なる地点に非連続的に配置されてもよい。この場合、異なる地点における複数の遮音板1は、互いに略同一の条件で所定の外部負荷が付加されている時間を含む期間に撮像され、かつ、略同一の材料及び構造から構成されている。これにより、例えば、車両又は列車が走行する地点A及び地点Bなど異なる地点に配置された複数の遮音板1の点検を一度に行うことができるため、作業性が向上する。
 なお、撮像装置200は、上記の例に限られず、例えば、測距カメラ、ステレオカメラ、又は、TOF(Time-Of-Flight)方式のカメラであってもよい。これにより、点検装置100は、複数の遮音板1の動きを三次元で検出することができるため、より高精度に不具合のある遮音板を抽出することができる。
 [1-1-2.点検装置]
 点検装置100は、複数の遮音板1から他の遮音板1と動きが異なる注目すべき遮音板1(いわゆる、注目遮音板)を不具合のある遮音板として抽出するための装置である。点検装置100は、例えば、コンピュータであり、プロセッサ(不図示)と、ソフトウェアプログラム又はインストラクションが格納されたメモリ(不図示)と、を備える。プロセッサがソフトウェアプログラムを実行することによって、点検装置100は、後述する複数の機能を実現する。また、点検装置100は、専用の電子回路(不図示)で構成されてもよい。この場合、後述する複数の機能は、別々の電子回路で実現されてもよいし、集積された1つの電子回路で実現されてもよい。
 図1に示すように、点検装置100は、撮像装置200と、例えば、通信可能に接続される。このとき、点検装置100と撮像装置200との通信方法は、Bluetooth(登録商標)などの無線通信であってもよく、Ethernet(登録商標)などの有線通信であってもよい。なお、点検装置100と撮像装置200とは通信可能に接続されていなくてもよい。例えば、点検装置100は、脱着可能なメモリ、例えば、USB(Universal Serial Bus)メモリを介して、撮像装置200から複数の映像を取得してもよい。
 点検装置100は、複数の遮音板1が撮像された少なくとも1つの映像を撮像装置200から取得して、取得した映像における複数の遮音板1それぞれの変位を導出し、複数の遮音板1それぞれの変位に基づいて、複数の遮音板1の中から、複数の遮音板1のうちの他の遮音板1と動きが異なる注目すべき遮音板1(いわゆる、注目遮音板)を抽出する。このとき、点検装置100は、注目遮音板を不具合のある遮音板として抽出し、当該遮音板1の抽出結果に基づく情報と、当該遮音板1が撮像された映像における位置情報等のデータとを紐づけしてメモリ(不図示)に格納してもよい。これにより、点検装置100のユーザは、所望のタイミングで抽出結果に基づく情報をメモリ(不図示)から読み出すことができる。このとき、点検装置100は、入力部(不図示)に入力されたユーザの操作に基づいて、抽出結果に基づく情報を提示部(不図示)に提示させる。入力部(不図示)は、例えば、キーボード、マウス、タッチパネル、又は、マイクなどである。表示部(不図示)は、例えば、ディスプレイ又はスピーカーなどである。なお、点検装置100は、入力部(不図示)及び表示部(不図示)を備えていてもよく、備えていなくてもよい。入力部及び提示部は、例えば、点検装置100以外の他の装置が備えてもよい。また、点検装置100は、コンピュータを例に挙げたが、インターネットなどの通信ネットワークを介して接続されるサーバ上に設けられてもよい。
 [1-2.点検装置の構成]
 続いて、実施の形態1に係る点検装置100の機能構成について図2を参照しながら説明する。図2は、実施の形態1に係る点検装置100の機能構成の一例を示すブロック図である。
 図2に示すように、点検装置100は、取得部10と、導出部20と、抽出部40と、を備える。
 取得部10は、複数の遮音板1(図1参照)が撮像された少なくとも1つの映像を取得する。なお、点検精度を高める観点から、当該映像は、複数の遮音板1に所定の外部負荷が付加されている時間を含む時間に撮像された映像であってもよい。より具体的には、当該映像は、複数の遮音板1に付加される外部負荷が付加されている期間と、その前後の複数の遮音板1に外部負荷が付加されていない期間の少なくとも一方と、を含む映像であってもよい。例えば、図1を再び参照すると、当該映像は、列車の先頭車両が一連の複数の遮音板1の一端に差し掛かる直前から列車の最後尾の車両が一連の複数の遮音板1の他端を通過し終えるまでの映像である。このとき、複数の遮音板1に付加される外部負荷は、列車の通過により生じる風圧である。
 取得部10が取得する映像は、例えば、複数の遮音板1が撮像された1つの映像であってもよく、一連の複数の遮音板1が連続的に撮像された複数の映像であってもよく、一連の複数の遮音板1が非連続的に撮像された複数の映像であってもよい。
 なお、取得部10は、例えば、撮像装置200から無線通信によって複数の遮音板1が撮像された少なくとも1つの映像を取得する。また、例えば、取得部10は、USBメモリなどの脱着可能なメモリを介して撮像装置200から複数の遮音板1が撮像された少なくとも1つの映像を取得してもよい。
 導出部20は、取得部10が取得した映像における複数の遮音板1それぞれの変位を導出する。当該映像は、例えば、複数の遮音板1に所定の外部負荷が付加されている時間を含む時間に撮像された映像である。各遮音板1の変位は、周知の方法により導出されてもよい。変位の導出方法は、例えば、ブロックマッチング法、正規化相関法(Normalized Cross Correlation)、及び、位相相関法(Phase Correlation)などの相関法、サンプリングモアレ法、特徴点抽出法(例えば、エッジ抽出)、又は、レーザスペックル相関法などを用いてもよい。変位導出の精度は、ピクセル単位でもサブピクセル単位でもよい。ここでの変位は、映像上の変位であってもよい。
 導出部20は、さらに、複数の遮音板1それぞれの変位の代表値を導出する。代表値は、複数の遮音板1それぞれの変位の平均値又は中央値であってもよい。なお、代表値は、複数の遮音板1それぞれの変位のロバスト推定値であってもよい。ロバスト推定値は、例えば、RANSAC(RANdom SAmple Consensus)推定値、及び、M推定値などがある。RANSAC推定値とは、各遮音板1の変位からRANSAC推定により外れ値の影響を除外した各遮音板1の変位から算出される平均値又は中央値である。導出部20は、複数の遮音板1それぞれの変位から平均値又は中央値を算出することにより、代表値を導出する。なお、後述する実施例において、代表値は平均値である例について説明する。
 なお、導出部20は、複数の遮音板1を撮像した映像に遮音板1以外の構造物が含まれる場合、遮音板1以外の構造物が含まれることを示すフラグを付して当該映像を記憶部(不図示)に格納してもよい。このとき、導出部20は、遮音板1以外の構造物の近傍に配置されている複数の遮音板1を特定できるようにフラグを付してもよい。遮音板1以外の構造物は、例えば、電信柱、標識、又は、信号ボックスなどである。このような構造物が遮音板1の近傍に配置されることにより、当該遮音板1に付加される外部負荷は、構造物が近傍に配置されていない遮音板1に付加される外部負荷と異なる可能性がある。そのため、遮音板1以外の構造物が映像に含まれることを示すフラグを当該映像に付すことにより、点検装置100は、遮音板1をより正確に点検することができる。なお、導出部20は、構造物の種類が識別されるように、構造物の種類によって異なるフラグを映像に付してもよい。
 抽出部40は、複数の遮音板1それぞれの変位に基づいて、複数の遮音板1の中から、複数の遮音板1のうちの他の遮音板1と動きが異なる注目すべき遮音板1(いわゆる、注目遮音板)を抽出する。例えば、抽出部40は、複数の遮音板1の中から、代表値との差分が閾値以上の変位を有する遮音板1を、注目遮音板として抽出する。閾値は、複数の遮音板1それぞれの変位の標準偏差に基づいて決定される。例えば、閾値は、標準偏差の定数倍であってもよい。抽出部40は、複数の遮音板1それぞれの変位と代表値との差分が閾値以上であるか否かを判定し、ある遮音板1の変位と代表値との差分が閾値以上である場合、当該遮音板1を注目遮音板として抽出する。抽出部40は、例えば、注目遮音板の情報を記憶部(不図示)に格納する。なお、抽出部40の具体的な処理フローについては、実施例を用いて後述するため、ここでの説明を省略する。
 なお、導出部20にて構造物を示すフラグが付された場合、抽出部40は、取得部10で取得された複数の映像のうち、当該フラグが付された映像を選択して、選択した複数の映像同士を比較することにより、複数の遮音板のうち他の遮音板と動きが異なる注目遮音板を抽出してもよい。より具体的には、これらの複数の映像に撮像された複数の遮音板1のうち構造物の近傍に配置された遮音板1を全て選択し、選択した全ての遮音板1の変位に基づいて、注目遮音板を抽出してもよい。
 [1-3.点検装置の動作]
 続いて、実施の形態1に係る点検装置100の動作の一例について、図3を参照しながら説明する。図3は、実施の形態1に係る点検装置100の動作の一例を示すフローチャートである。なお、実施の形態1に係る点検システム300の動作としては、図3に示す取得ステップS10の前に、撮像装置200が複数の遮音板1(図1参照)の映像を撮像する撮像ステップが含まれる。撮像ステップでは、撮像装置200は、例えば、複数の遮音板1に付加される外部負荷が変化しているときに複数の遮音板1の映像を撮像する。これにより、導出部20は、取得部10が取得した映像に基づいて、複数の遮音板1に外部負荷が付加される前の変位と、複数の遮音板1に外部負荷が付加されている期間の変位と、を導出することができる。そのため、複数の遮音板1が微小に動いている場合の誤差、及び、撮像装置200のぶれによる誤差などが変位の導出に与える影響を低減することができる。
 なお、複数の遮音板1の映像は、一連の複数の遮音板1に沿って所定の間隔で連続的に配置された複数の撮像装置200によって撮像された1つ以上の映像であってもよく、一連の複数の遮音板1に沿って異なる地点に非連続的に配置された複数の撮像装置200によって撮像された1つ以上の映像であってもよい。
 なお、1つの映像に3以上の遮音板1が含まれているとよい。これにより、複数の遮音板1の代表値の信頼性が高まるため、点検装置100は、複数の遮音板1のうちの他の遮音板1と動きが異なる注目すべき遮音板1(いわゆる、注目遮音板)を精度良く抽出することができる。
 図3に示すように、取得部10は、複数の遮音板1が撮像された少なくとも1つの映像を取得する(取得ステップS10)。点検装置100は、撮像装置200から逐次映像を取得してもよいし、所定の期間撮像した映像を取得してもよい。なお、点検装置100は、撮像装置200による複数の遮音板1の撮像が終了した後に、複数の遮音板1が撮像された1つ以上の映像を撮像装置200から取得してもよい。取得部10による映像の取得方法については、特に限定されない。上述したように、取得部10は、無線通信によって映像を取得してもよく、USBメモリなどの脱着可能なメモリを介して映像を取得してもよい。
 次いで、導出部20は、取得ステップS10で取得部10が取得した1つ以上の映像における複数の遮音板1それぞれの変位を導出する(導出ステップS20)。なお、変位の導出方法については上述したため、ここでの説明を省略する。
 次いで、抽出部40は、複数の遮音板1それぞれの変位に基づいて、複数の遮音板1の中から、複数の遮音板1のうち他の遮音板1と動きが異なる注目遮音板)を抽出する(抽出ステップS40)。なお、抽出ステップS40の詳細については、実施例を用いて後述するため、ここでの説明を省略する。
 [1-4.実施例]
 続いて、実施の形態1に係る点検装置100を用いた複数の遮音板1の点検方法について、実施例を挙げて、より具体的に説明する。
 図4は、撮像装置200が複数の遮音板1を撮像する一例を示す図である。図4に示すように、撮像装置200は、列車400が、複数の遮音板1a、1b、1c及び1d(以下、1a~1d)に外部負荷が付加されている時間を含む期間に、複数の遮音板1a~1dを撮像する。ここでは、外部負荷は、列車400が通過する際に生じる風圧である。撮像装置200は、例えば、列車400の先頭車両が複数の遮音板1a~1dに差し掛かる前から列車400の最後尾の車両が複数の遮音板1a~1dを通過し終えた後までの間、複数の遮音板1a~1dを撮像する。
 点検装置100は、撮像装置200から複数の遮音板1a~1dが撮像された映像を取得する。映像の取得方法は、特に限定されず、点検装置100は、撮像装置200から無線通信により逐次映像を取得してもよく、脱着可能なメモリを介して映像を取得してもよい。
 次いで、点検装置100は、取得した映像における複数の遮音板1a~1dそれぞれの変位を導出し、導出された複数の遮音板1a~1dそれぞれの変位に基づいて、複数の遮音板1a~1dの中から、複数の遮音板1a~1dのうちの他の遮音板と動きが異なる注目遮音板を抽出する。
 例えば、点検装置100は、導出された複数の遮音板1a~1dそれぞれの変位の位相のずれを補正し、複数の遮音板1a~1dそれぞれの変位を比較する。図5は、複数の遮音板1a~1dそれぞれの変位の位相のずれを補正した場合の各遮音板の変位の時系列データの一例を示す図である。図5のグラフから、複数の遮音板1a~1dのうち、遮音板1a、遮音板1b及び遮音板1cには、略同一の変位が生じていることが分かる。しかしながら、遮音板1dは、例えば、他の遮音板1a~1cがマイナス側に変位しているときにプラス側に変位している。つまり、遮音板1dは、複数の遮音板1a~1dのうちの他の遮音板1a~1cと動きが異なることが分かる。したがって、点検装置100は、遮音板1dを他の遮音板1a~1cと動きが異なる注目遮音板であると判定して抽出する。
 続いて、抽出ステップS40(図3参照)に含まれる処理のフローの一実施例について説明する。図6は、図3の抽出ステップS40に含まれる処理の詳細なフローの一例を示すフローチャートである。図7は、複数の遮音板1a~1dのうちの1つの遮音板1dの変位と複数の遮音板1a~1dの変位の平均値との差分の一例を示す図である。
 図6に示すように、点検装置100の抽出部40(以下、本項において、点検装置100と称する。)は、複数の遮音板1a~1dの変位の位相のずれを補正する(ステップS42)。次いで、点検装置100は、複数の遮音板1a~1dの変位の平均値を導出する(ステップS43)。次いで、点検装置100は、複数の遮音板1a~1dの変位の標準偏差を導出し(ステップS44)、標準偏差に基づいて閾値を決定する。例えば、閾値は、標準偏差の定数倍である。ここでは、図7に示すように、上限基準値は、平均値に閾値を加算した値であり、下限基準値は、平均値に閾値を減算した値である。
 次いで、点検装置100は、複数の遮音板1a~1dのそれぞれについて、各遮音板の変位と複数の遮音板1a~1dの変位の平均値との差分が閾値以上であるか否かを判定する(ステップS45)。複数の遮音板1a~1dのうち、ある遮音板について、当該遮音板の変位と複数の遮音板1a~1dの変位の平均値との差分が閾値以上である場合(ステップS45でYES)、当該遮音板を、注目遮音板であると判定し、抽出する(ステップS46)。具体的には、ステップS45では、図7に示すように、点検装置100は、遮音板1dの変位と複数の遮音板1a~1dの変位の平均値との差分を導出し、当該差分が下限基準値と上限基準値との間の範囲を超える値、つまり、閾値以上であるか否かを判定する。このとき、図7に示すように、遮音板1dの変位と複数の遮音板1a~1dの変位の平均値との差分は、閾値以上であるため、点検装置100は、遮音板1dについて、当該差分が閾値以上であると判定し、抽出する。この場合、点検装置100は、例えば、当該抽出された遮音板にフラグを付して、記憶部(不図示)に格納する。一方、複数の遮音板1a~1dのうち、ある遮音板について、当該遮音板の変位と複数の遮音板1a~1dの変位の平均値との差分が閾値以上でない場合(ステップS45でNO)、点検装置100は、ステップS46の処理を実施しない。
 なお、点検装置100は、複数の遮音板1a~1dの全てについて、ステップS45及びステップS46の処理を実施した後、つまり、遮音板毎のループ処理が終了した後、注目遮音板であると判定された遮音板(ここでは、遮音板1d)を記憶部(不図示)から読み出し、表示部(不図示)に出力してもよい。このとき、ユーザは、入力部(不図示)に操作指示を入力して、点検装置100が表示部(不図示)に出力するデータを選択してもよく、表示部(不図示)に表示されたデータから所定の条件に適合したデータを選択してもよい。
 続いて、抽出ステップS40(図3参照)に含まれる処理のフローの他の実施例について説明する。図8は、図3の抽出ステップS40に含まれる処理の詳細なフローの他の例を示すフローチャートである。図9は、複数の遮音板1a~1dそれぞれの変位の相関度の一例を示す図である。
 図8に示すように、点検装置100は、複数の遮音板1a~1dの変位の位相のずれを補正する(ステップS42)。次いで、点検装置100は、複数の遮音板1a~1dのそれぞれについて、他の遮音板とのペアの変位の相関度を導出する(ステップS47)。例えば、点検装置100は、遮音板のペア毎に、所定間隔の位相における変位の相関度を導出し、最も低い相関度を当該ペアの位相の相関度としてもよい。このとき、図9に示すように、点検装置100は、遮音板のペア毎の変位の相関度を、例えば、テーブルの形式で記憶部(不図示)に格納する。次いで、点検装置100は、相関度が閾値以下のペアを抽出する(ステップS48)。なお、相関度の閾値は、遮音板の形状、大きさ、及び、構成材料などにより任意に設定されてもよい。次いで、点検装置100は、ステップS48で抽出された、相関度が閾値以下のペアの中から、他の遮音板の変位との相関度が閾値よりも低い遮音板を特定し、注目遮音板として抽出する(ステップS49)。例えば、閾値を0.6とした場合、点検装置100は、図9のテーブルから、他の遮音板の範囲との相関度が閾値よりも低い遮音板は、遮音板1dであると特定し、遮音板1dを注目遮音板として抽出する。このとき、点検装置100は、例えば、当該抽出結果と、遮音板1dが撮像されている映像データの情報とを紐づけして、記憶部(不図示)に格納する。
 以上のように、点検装置100は、複数の遮音板1a~1dのそれぞれの変位の相互相関に基づき、他の遮音板の変位との相関度が閾値よりも低い遮音板(ここでは、遮音板1d)を、他の遮音板と異なる注目遮音板として抽出する。
 なお、上記の実施例では、点検装置100を用いて、隣接する複数の遮音板1a~1dを点検する例を説明したが、点検対象となる複数の遮音板は、隣接する遮音板に限られない。また、複数の映像に含まれる複数の遮音板の一部もしくは全部の遮音板を点検対象としてもよい。
 また、一連の複数の遮音板は、隣接していなくてもよく、同一の軌道上に配置された一連の遮音板であってもよい。
 [1-5.効果等]
 以上のように、実施の形態1に係る点検装置100は、複数の遮音板が撮像された少なくとも1つの映像を取得する取得部10と、映像における複数の遮音板それぞれの変位を導出する導出部20と、複数の遮音板それぞれの変位に基づいて、複数の遮音板の中から、複数の遮音板のうちの他の遮音板と動きが異なる注目遮音板を抽出する抽出部40と、を備える。
 これにより、点検装置100は、複数の遮音板が撮像された少なくとも1つの映像から、複数の遮音板の中での各遮音板の相対的な動きを検出することができる。そのため、点検装置100は、当該映像における各遮音板の変位に基づいて、複数の遮音板の中から、他の遮音板と動きが異なる注目遮音板を、不具合の可能性のある遮音板として抽出することができる。したがって、実施の形態1に係る点検装置100によれば、複数の遮音板を簡便に点検することができる。
 例えば、実施の形態1に係る点検装置100は、導出部20は、さらに、複数の遮音板それぞれの変位の代表値を導出し、抽出部40は、複数の遮音板の中から、代表値との差分が閾値以上の変位を有する遮音板を、注目遮音板として抽出してもよい。
 これにより、点検装置100は、複数の遮音板それぞれの変位と代表値との差分を取り、当該差分と閾値とを比較することができる。そのため、点検装置100によれば、複数の遮音板それぞれの変位に基づいて、複数の遮音板の中から注目遮音板を簡便に抽出することができる。
 例えば、実施の形態1に係る点検装置100は、代表値は、複数の遮音板それぞれの変位の平均値又は中央値であり、閾値は、複数の遮音板それぞれの変位の標準偏差に基づいて決定されてもよい。
 これにより、点検装置100は、複数の遮音板それぞれの変位の代表値及び閾値を、複雑な計算をすることなく容易に導出することができる。そのため、点検装置100における処理量が減少するため、点検装置100の処理速度が向上される。
 例えば、実施の形態1に係る点検装置100は、抽出部40は、複数の遮音板それぞれの変位の相互相関に基づき、他の遮音板の変位との相関度が閾値よりも低い遮音板を、注目遮音板として抽出してもよい。
 これにより、点検装置100は、複数の遮音板同士の類似性を容易に比較することができる。そのため、点検装置100によれば、複数の遮音板それぞれの変位に基づいて、複数の遮音板の中から注目遮音板を簡便に抽出することができる。
 例えば、実施の形態1に係る点検装置100は、映像は、複数の遮音板に所定の外部負荷が付加されている時間を含む期間に撮像された映像であってもよい。
 これにより、複数の遮音板それぞれに十分な変位が生じるため、複数の遮音板の中から注目遮音板を抽出する精度が向上される。
 (実施の形態2)
 [2-1.点検装置の構成]
 続いて、実施の形態2に係る点検装置について、図10を参照しながら説明する。図10は、実施の形態2に係る点検装置100aの機能構成の一例を示すブロック図である。実施の形態2に係る点検装置100aは、さらに、スケール補正部30を備え、抽出部40がスケール補正部30によって補正された複数の遮音板それぞれの変位を利用する点で、実施の形態1に係る点検装置100と異なる。以下、実施の形態1と異なる点を中心に、実施の形態2に係る点検装置100aについて説明する。
 図10に示すように、実施の形態2に係る点検装置100aは、取得部10と、導出部20と、抽出部40と、に加え、スケール補正部30を備える。スケール補正部30は、複数の遮音板それぞれの変位を、映像を撮像する撮像部、ここでは、撮像装置200(図1参照)からの距離に応じて補正する。例えば、スケール補正部30は、撮像映像上の変位と実空間上の変位との比率が、撮像装置200の撮像位置から複数の遮音板それぞれまでの実空間距離の違いによって生じる場合は、必要に応じて、この比率が等しくなるようにスケール補正を行う。このスケール補正は、導出された変位に対して行ってもよく、撮像映像に対して行ってもよい。
 抽出部40は、スケール補正された複数の遮音板それぞれの変位を用いて、他の遮音板と動きが異なる注目遮音板を抽出する。
 [2-2.点検装置の動作]
 続いて、実施の形態2に係る点検装置100aの動作の一例について、図11を参照しながら説明する。なお、実施の形態1と同様に、点検システム300の動作としては、図11に示す取得ステップS10の前に、撮像装置200(図1参照)が複数の遮音板の映像を撮像する撮像ステップが含まれる。以下、実施の形態1と異なる点を中心に、実施の形態2に係る点検装置100の動作について説明する。
 図11に示すように、取得部10は、複数の遮音板が撮像された少なくとも1つの映像を取得する(取得ステップS10)。次いで、導出部20は、取得ステップS10で取得部10が取得した映像における複数の遮音板それぞれの変位を導出する(導出ステップS20)。
 次いで、スケール補正部30は、映像を撮像する撮像部(以下、撮像装置200)からの距離に応じて、複数の遮音板それぞれにおいて実際に変位した距離の比率が反映されるようにスケール補正を行う(スケール補正ステップS30)。言い換えると、スケール補正部30は、複数の遮音板それぞれにおいて、複数の遮音板の映像を撮像する撮像装置200からの距離に応じて、各遮音板の映像上の変位と実際に変位した距離との比率を調整し、複数の遮音板それぞれの変位に対して、スケール補正を行う。より具体的には、スケール補正部30は、導出部20によって導出された複数の遮音板それぞれについての変位の情報、例えば、実空間上の座標を、記憶部(不図示)から読み出し、読み出された実空間上の座標を用いて、複数の遮音板のそれぞれについて、映像における変位と実空間における変位との比率が同一になるように、スケール補正を行う。なお、スケール補正部30は、撮像映像上の変位と実空間上の変位との比率が、撮像装置200の撮像位置から複数の遮音板のうちのある遮音板までの実空間における距離の違いによって生じる場合に、必要に応じて、この比率が等しくなるようにスケール補正を行ってもよい。
 次いで、抽出部40は、スケール補正部30によってスケール補正された複数の遮音板それぞれの変位を用いて、複数の遮音板の中から注目遮音板を抽出する(抽出ステップS41)。なお、実施の形態2では、スケール補正された変位を利用する点で、実施の形態1と異なるが、その他の点において、抽出部40における処理フローは、図6及び図8で説明した実施の形態1における処理フローと同様である。
 以上のように、実施の形態2に係る点検装置100aは、複数の遮音板が撮像された少なくとも1つの映像を取得し、取得した映像における複数の遮音板それぞれの変位を導出し、複数の遮音板それぞれの変位に対して、映像を撮像する撮像装置200からの距離に応じて、複数の遮音板それぞれにおいて実際に変位した距離の比率が反映されるようにスケール補正を行い、スケール補正された複数の遮音板それぞれの変位を用いて、複数の遮音板の中から、注目遮音板を抽出することにより、不具合のある遮音板を特定する。
 なお、スケール補正ステップS30の処理は、必ずしも導出ステップS20の処理の後に行われる必要はない。スケール補正ステップS30の処理は、例えば、導出ステップS20の処理と並行に行われてもよい。
 なお、実施の形態2では、撮像装置200から各遮音板までの距離に応じて、スケール補正を行う例を挙げたが、これに限られない。点検装置100は、例えば、撮像装置200の向きが変化した場合に生じる映像上の変位の影響、又は、撮像装置200の回転方向の変化により生じる映像上の変位の影響を除去する補正を行ってもよい。
 また、点検装置100は、複数の遮音板を撮像した映像に遮音板以外の構造物が含まれる場合、遮音板以外の構造物が含まれることを示すフラグを付して記憶部(不図示)に格納してもよい。
 [2-3.効果等]
 以上のように、実施の形態2に係る点検装置100aは、さらに、複数の遮音板それぞれの変位に対して、映像を撮像する撮像部からの距離に応じて、複数の遮音板それぞれにおいて実際に変位した距離の比率が反映されるようにスケール補正を行うスケール補正部を備え、抽出部は、スケール補正された複数の遮音板それぞれの変位を用いて、注目遮音板を抽出する。
 これにより、点検装置100aは、複数の遮音板それぞれの変位を、より精度良く導出することができる。また、上記構成を有することにより、点検装置100は、補正された変位を利用するため、複数の遮音板の中から注目遮音板をより精度良く抽出することができる。
 (他の実施の形態)
 以上、本開示の1つ又は複数の態様に係る点検装置及び点検方法について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構成される形態も、本開示の1つ又は複数の態様の範囲内に含まれてもよい。
 例えば、上記実施の形態における点検装置が備える構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。例えば、点検装置は、取得部と、導出部と、抽出部と、を有するシステムLSIから構成されてもよい。
 システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。ROMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
 なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法は、LSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、あるいは、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
 さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
 また、本開示の一態様は、このような点検装置だけではなく、点検装置に含まれる特徴的な構成部をステップとする点検方法であってもよい。また、本開示の一態様は、点検方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータで読み取り可能な非一時的な記録媒体であってもよい。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の点検装置などを実現するソフトウェアは、次のようなプログラムである。
 すなわち、このプログラムは、コンピュータに、複数の遮音板が撮像された少なくとも1つの映像を取得する取得ステップと、前記映像における前記複数の遮音板それぞれの変位を導出する導出ステップと、前記複数の遮音板それぞれの変位に基づいて、前記複数の遮音板の中から、前記複数の遮音板のうちの他の遮音板と動きが異なる注目遮音板を抽出する抽出ステップと、を有する点検方法を実行させる。
 本開示は、複数の遮音板の中から、複数の遮音板のうちの他の遮音板と動きが異なる注目遮音板を抽出する点検装置に広く利用可能である。
 1、1a、1b、1c、1d 遮音板
 10 取得部
 20 導出部
 30 スケール補正部
 40 抽出部
 100、100a 点検装置
 200 撮像装置
 300 点検システム
 400 列車

Claims (8)

  1.  複数の遮音板が撮像された少なくとも1つの映像を取得する取得部と、
     前記映像における前記複数の遮音板それぞれの変位を導出する導出部と、
     前記複数の遮音板それぞれの変位に基づいて、前記複数の遮音板の中から、前記複数の遮音板のうちの他の遮音板と動きが異なる注目遮音板を抽出する抽出部と、
     を備える、
     点検装置。
  2.  前記導出部は、さらに、前記複数の遮音板それぞれの変位の代表値を導出し、
     前記抽出部は、前記複数の遮音板の中から、前記代表値との差分が閾値以上の変位を有する遮音板を、前記注目遮音板として抽出する、
     請求項1に記載の点検装置。
  3.  前記代表値は、前記複数の遮音板それぞれの変位の平均値又は中央値であり、
     前記閾値は、前記複数の遮音板それぞれの変位の標準偏差に基づいて決定される、
     請求項2に記載の点検装置。
  4.  前記抽出部は、複数の遮音板それぞれの変位の相互相関に基づき、他の遮音板の変位との相関度が閾値よりも低い遮音板を、前記注目遮音板として抽出する、
     請求項1に記載の点検装置。
  5.  前記映像は、前記複数の遮音板に所定の外部負荷が付加されている時間を含む期間に撮像された映像である、
     請求項1~4のいずれか一項に記載の点検装置。
  6.  前記導出部は、前記映像に含まれる2以上の画像から前記複数の遮音板のそれぞれの変位を導出する、
     請求項1~5のいずれか一項に記載の点検装置。
  7.  さらに、前記複数の遮音板それぞれの変位に対して、前記映像を撮像する撮像部からの距離に応じて、前記複数の遮音板それぞれにおいて実際に変位した距離の比率が反映されるようにスケール補正を行うスケール補正部を備え、
     前記抽出部は、スケール補正された前記複数の遮音板それぞれの変位を用いて、前記注目遮音板を抽出する、
     請求項1~6のいずれか一項に記載の点検装置。
  8.  複数の遮音板が撮像された少なくとも1つの映像を取得する取得ステップと、
     前記映像における前記複数の遮音板それぞれの変位を導出する導出ステップと、
     前記複数の遮音板それぞれの変位に基づいて、前記複数の遮音板の中から、前記複数の遮音板のうちの他の遮音板と動きが異なる注目遮音板を抽出する抽出ステップと、
     を有する、
     点検方法。
PCT/JP2019/039821 2018-10-29 2019-10-09 点検装置及び点検方法 WO2020090393A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19877934.0A EP3875891A4 (en) 2018-10-29 2019-10-09 Inspection device and inspection method
JP2020553728A JPWO2020090393A1 (ja) 2018-10-29 2019-10-09 点検装置及び点検方法
CN201980042598.1A CN112368540A (zh) 2018-10-29 2019-10-09 点检装置及点检方法
US17/126,655 US20210104035A1 (en) 2018-10-29 2020-12-18 Inspection device and inspection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018203308 2018-10-29
JP2018-203308 2018-10-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/126,655 Continuation US20210104035A1 (en) 2018-10-29 2020-12-18 Inspection device and inspection method

Publications (1)

Publication Number Publication Date
WO2020090393A1 true WO2020090393A1 (ja) 2020-05-07

Family

ID=70463962

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/039821 WO2020090393A1 (ja) 2018-10-29 2019-10-09 点検装置及び点検方法

Country Status (5)

Country Link
US (1) US20210104035A1 (ja)
EP (1) EP3875891A4 (ja)
JP (1) JPWO2020090393A1 (ja)
CN (1) CN112368540A (ja)
WO (1) WO2020090393A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278116A (ja) 1995-04-07 1996-10-22 Central Japan Railway Co ボルト緩み検査方法及びボルト緩み検査装置
CN108332669A (zh) * 2018-02-02 2018-07-27 中国铁道科学研究院 铁路声屏障检测装置及其工作方法
JP2018138930A (ja) * 2016-02-24 2018-09-06 パナソニックIpマネジメント株式会社 変位検出装置および変位検出方法
CN109348174A (zh) * 2018-10-23 2019-02-15 合肥师范学院 基于高速摄像技术的声屏障现场监测系统和监测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1912536A (zh) * 2006-08-31 2007-02-14 张奔牛 多点位移/挠度检测和监测装置及方法
DE112014007223T5 (de) * 2014-12-02 2017-08-24 Mitsubishi Electric Corporation Abstandssensor, Abstandserfassungsvorrichtung und Abstandserfassungsverfahren
CN105423924B (zh) * 2015-11-17 2018-07-27 北京交通大学 声屏障的在线测量方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278116A (ja) 1995-04-07 1996-10-22 Central Japan Railway Co ボルト緩み検査方法及びボルト緩み検査装置
JP2018138930A (ja) * 2016-02-24 2018-09-06 パナソニックIpマネジメント株式会社 変位検出装置および変位検出方法
CN108332669A (zh) * 2018-02-02 2018-07-27 中国铁道科学研究院 铁路声屏障检测装置及其工作方法
CN109348174A (zh) * 2018-10-23 2019-02-15 合肥师范学院 基于高速摄像技术的声屏障现场监测系统和监测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3875891A4

Also Published As

Publication number Publication date
EP3875891A1 (en) 2021-09-08
JPWO2020090393A1 (ja) 2021-09-30
EP3875891A4 (en) 2021-12-29
US20210104035A1 (en) 2021-04-08
CN112368540A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
Park et al. Visual–inertial displacement sensing using data fusion of vision‐based displacement with acceleration
US20170038307A1 (en) Information processing device, information processing method and medium
KR102015706B1 (ko) 콘크리트 표면 균열 측정 장치 및 방법
JP5494286B2 (ja) 架線位置測定装置
JPWO2018043251A1 (ja) 欠陥検出装置、欠陥検出方法、及びコンピュータ読み取り可能記録媒体
Zhao et al. Video‐based multiscale identification approach for tower vibration of a cable‐stayed bridge model under earthquake ground motions
WO2020044725A1 (ja) 検査装置及び検査方法
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
JPWO2007074605A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP2023088919A (ja) 計測装置及び計測方法
JP2008216127A (ja) 距離画像生成装置、距離画像生成方法及びプログラム
WO2019198534A1 (ja) 振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体
WO2020090393A1 (ja) 点検装置及び点検方法
JP6908445B2 (ja) 変化検出装置及び鉄道設備部品の保守管理方法
WO2020255728A1 (ja) 振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体
WO2019097577A1 (ja) 計測システム、補正処理装置、補正処理方法、及びコンピュータ読み取り可能な記録媒体
JP6136628B2 (ja) 被試験体の音声出力検査装置及びその方法
WO2020129554A1 (ja) 観測方法及び観測装置
JP7382604B2 (ja) 検出装置及び検出方法
JP2021033345A (ja) 画像処理装置
WO2020075756A1 (ja) 予測装置及び予測方法
JP7336773B2 (ja) 情報提示方法、情報提示装置、及び、情報提示システム
US20190075228A1 (en) Non-transitory computer-readable storage medium, image processing method, and image processing apparatus
JP5706190B2 (ja) 計算装置、計算方法及び計算プログラム
JP2002092619A (ja) 目標検出処理装置及び目標検出処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19877934

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020553728

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019877934

Country of ref document: EP

Effective date: 20210531