WO2019064456A1 - メンテナンス用機器制御システム、メンテナンス用機器制御方法およびプログラム - Google Patents

メンテナンス用機器制御システム、メンテナンス用機器制御方法およびプログラム Download PDF

Info

Publication number
WO2019064456A1
WO2019064456A1 PCT/JP2017/035307 JP2017035307W WO2019064456A1 WO 2019064456 A1 WO2019064456 A1 WO 2019064456A1 JP 2017035307 W JP2017035307 W JP 2017035307W WO 2019064456 A1 WO2019064456 A1 WO 2019064456A1
Authority
WO
WIPO (PCT)
Prior art keywords
maintenance device
subject
device control
image
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/035307
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Priority to US16/651,732 priority Critical patent/US20200364954A1/en
Priority to CN201780095476.XA priority patent/CN111164012A/zh
Priority to PCT/JP2017/035307 priority patent/WO2019064456A1/ja
Priority to JP2019545513A priority patent/JPWO2019064456A1/ja
Publication of WO2019064456A1 publication Critical patent/WO2019064456A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/006—Indicating maintenance
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D2045/0085—Devices for aircraft health monitoring, e.g. monitoring flutter or vibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/25—UAVs specially adapted for particular uses or applications for manufacturing or servicing
    • B64U2101/26—UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Definitions

  • the present invention relates to a maintenance device control system for controlling and maintaining maintenance devices, a maintenance device control method, and a program.
  • Patent Document 1 an in-facility inspection system using an unmanned aerial vehicle capable of inspecting equipment installed in a facility even if workers do not go to the site.
  • the present invention analyzes an image captured by a drone camera, determines a defect of an object, and controls maintenance equipment to pinpoint maintenance to an object determined to be defect. It is an object of the present invention to provide a maintenance device control system, a maintenance device control method, and a program.
  • the present invention provides the following solutions.
  • An invention for controlling a maintenance device to perform maintenance, comprising: an image acquisition unit for acquiring an image captured by a drone; and analyzing the image to obtain an object Apparatus for controlling the maintenance device so as to maintain the defects of the subject at the estimated position, and the position determining means for estimating the position of the subject determined to be defective
  • a maintenance device control system comprising: control means.
  • An invention is a maintenance device control method for controlling a maintenance device to perform maintenance, comprising: an image acquisition step of acquiring an image captured by a drone; analyzing the image; Apparatus for controlling the maintenance device so as to maintain the defects of the subject at the estimated position, and the position determining step of determining the position of the subject determined to be defective; And a control step of controlling the maintenance device.
  • the invention according to the first aspect includes an image acquisition step of acquiring an image captured by a drone, a defect determination step of analyzing the image and determining a defect of the object, and a position of the object determined as the defect. And a device control step of controlling the maintenance device to maintain the defect of the subject at the estimated position.
  • FIG. 1 is a schematic diagram of a maintenance device control system.
  • FIG. 2 is an example of a line determined to be defective.
  • the maintenance device control system of the present invention is a system for controlling a maintenance device to perform maintenance on an object.
  • FIG. 1 is a schematic view of a maintenance device control system according to a preferred embodiment of the present invention.
  • the maintenance device control system includes an image acquisition unit, a defect determination unit, a position estimation unit, and a maintenance device control unit, which are realized by the control unit reading a predetermined program.
  • drone control means may be provided similarly. These may be application based, cloud based or otherwise. Each means described above may be realized by a single computer or may be realized by two or more computers (for example, in the case of a server and a terminal).
  • An image acquisition means acquires the image imaged with the camera of the drone.
  • the image may be a moving image or a still image.
  • the camera may be any camera provided in the drone, either a digital camera or a camera of a smartphone. Real-time images are preferable for real-time maintenance.
  • the determination means analyzes the image to determine the defect of the subject.
  • Machine learning may improve the accuracy of image analysis. For example, machine learning is performed using past images as teacher data. For example, as shown in FIG. 2, image failure may be determined by image analysis. Of course, not only a track but also a defect in a building, a road, a terminal, or the like may be determined. For example, as compared with the field worker determining the defect while walking near the track, by analyzing the image captured by the drone to determine the defect, significant efficiency can be achieved.
  • the defect determination unit may analyze the image and determine that the subject is defective if the size satisfies a predetermined condition. For example, if the size of the track is smaller or larger than the reference value, there is a risk of derailment, which is dangerous. In this case, it is determined that the line is defective.
  • the defect determination unit may analyze the image and determine that the subject is defective if the color satisfies a predetermined condition. For example, if the color of the line is lighter or darker than the reference value, it may be dangerous if the line is broken due to rust, which may lead to derailment. In this case, it is determined that the line is defective.
  • the defect determining means may analyze the image and determine that the subject is defective if the shape satisfies a predetermined condition. For example, if the size of the track is smaller or larger than the reference value, there is a risk of derailment, which is dangerous. In this case, it is determined that the line is defective.
  • the position estimation means estimates the position of the subject determined to be defective.
  • the position of the subject determined to be defective can be inferred from the GPS provided in the drone, the shooting height in the drone, the shooting angle, and the shooting direction.
  • the position of the subject determined to be poor in breeding is the latitude and longitude obtained by adding Htan ⁇ in consideration of the shooting direction to the latitude and longitude of GPS.
  • the maintenance device control means controls the maintenance device to maintain the defect of the subject at the estimated position.
  • the maintenance equipment of the track is controlled to maintain the track at the estimated position.
  • a maintenance dedicated drone may be controlled to maintain the track at the inferred position. Efficient use of maintenance can be achieved by selectively using the imaging-specific drone and the maintenance-specific drone.
  • the drone control means controls the drone to fly again and image again at the estimated position. For example, since there is no possibility that the determination of the defect is an erroneous determination, the drone is re-flyed and photographed again to care for the erroneous determination. By analyzing the image captured again, it is possible to double check the determination of the defect. [Description of operation]
  • the maintenance device control method of the present invention is a method of controlling a maintenance device to cause a defective subject to perform maintenance.
  • the maintenance device control method includes an image acquisition step, a defect determination step, a position estimation step, and a maintenance device control step. Also, a drone control step may be provided.
  • the image acquisition step acquires an image captured by the drone camera.
  • the image may be a moving image or a still image.
  • the camera may be any camera provided in the drone, either a digital camera or a camera of a smartphone. Real-time images are preferable for real-time maintenance.
  • the determination step analyzes the image to determine the defect of the subject.
  • Machine learning may improve the accuracy of image analysis. For example, machine learning is performed using past images as teacher data. For example, as shown in FIG. 2, image failure may be determined by image analysis. Of course, not only a track but also a defect in a building, a road, a terminal, or the like may be determined. For example, as compared with the field worker determining the defect while walking near the track, by analyzing the image captured by the drone to determine the defect, significant efficiency can be achieved.
  • the defect determination step may analyze the image and determine that the subject is defective if the size satisfies a predetermined condition. For example, if the size of the track is smaller or larger than the reference value, there is a risk of derailment, which is dangerous. In this case, it is determined that the line is defective.
  • the defect determination step may analyze the image and determine that the subject is defective if the color satisfies a predetermined condition. For example, if the color of the line is lighter or darker than the reference value, it may be dangerous if the line is broken due to rust, which may lead to derailment. In this case, it is determined that the line is defective.
  • the defect determination step may analyze the image and determine that the subject is defective if the shape satisfies a predetermined condition. For example, if the size of the track is smaller or larger than the reference value, there is a risk of derailment, which is dangerous. In this case, it is determined that the line is defective.
  • the position estimation step estimates the position of the subject determined to be defective.
  • the position of the subject determined to be defective can be inferred from the GPS provided in the drone, the shooting height in the drone, the shooting angle, and the shooting direction.
  • the position of the subject determined to be poor in breeding is the latitude and longitude obtained by adding Htan ⁇ in consideration of the shooting direction to the latitude and longitude of GPS.
  • the maintenance device control step controls the maintenance device to maintain the defect of the subject at the estimated position.
  • the maintenance equipment of the track is controlled to maintain the track at the estimated position.
  • a maintenance dedicated drone may be controlled to maintain the track at the inferred position. Efficient use of maintenance can be achieved by selectively using the imaging-specific drone and the maintenance-specific drone.
  • the drone control step controls the drone to fly again and image again at the estimated position. For example, since there is a possibility that the determination of the defect is an erroneous determination, the drone is re-flyed and photographed again to care for the erroneous determination. By analyzing the image captured again, it is possible to double check the determination of the defect.
  • the above-described means and functions are realized by a computer (including a CPU, an information processing device, and various terminals) reading and executing a predetermined program.
  • the program may be, for example, an application installed on a computer, or a SaaS (software as a service) provided from a computer via a network, for example, a flexible disk, a CD It may be provided in the form of being recorded in a computer readable recording medium such as a CD-ROM or the like, a DVD (DVD-ROM, DVD-RAM or the like).
  • the computer reads the program from the recording medium, transfers the program to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as, for example, a magnetic disk, an optical disk, or a magneto-optical disk, and may be provided from the storage device to the computer via a communication line.
  • nearest neighbor method naive Bayes method
  • decision tree naive Bayes method
  • support vector machine e.g., support vector machine
  • reinforcement learning e.g., reinforcement learning, etc.
  • deep learning may be used in which feature quantities for learning are generated by using a neural network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】ドローンのカメラで撮像された画像を解析して、被写体の不良を判定し、不良と判定された被写体に対してピンポイントにメンテナンスするようにメンテナンス用機器を制御すること。 【解決手段】メンテナンス用機器を制御して、メンテナンスさせるメンテナンス用機器制御システムであって、ドローンで撮像された画像を取得する画像取得手段と、前記画像を解析して、被写体の不良を判定する不良判定手段と、前記不良と判定された被写体の位置を推測する位置推測手段と、前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御手段と、を備えるメンテナンス用機器制御システム

Description

メンテナンス用機器制御システム、メンテナンス用機器制御方法およびプログラム
　本発明は、メンテナンス用機器を制御してメンテナンスさせるメンテナンス用機器制御システム、メンテナンス用機器制御方法およびプログラムに関する。
　近年、効率化などの観点から、ドローンを利用したメンテナンスの技術が進化している。例えば、作業員が現場に出向かなくても施設内に設置された設備の点検をすることができる無人航空機を用いた施設内点検システムが提供されている（特許文献１）。
特開２０１７－１５４５７７号公報
　しかしながら、特許文献１の装置では、検出対象の装置の不良を検出し、ピンポイントにメンテナンス出来ない問題がある。すなわち、対象全体に対して網羅的にメンテナンスを行うのではなく、不良部分のみを抽出してメンテナンスを行うことが出来ない。
　本発明は、上記課題に鑑み、ドローンのカメラで撮像された画像を解析して、被写体の不良を判定し、不良と判定された被写体に対してピンポイントにメンテナンスするようにメンテナンス用機器を制御するメンテナンス用機器制御システム、メンテナンス用機器制御方法およびプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、メンテナンス用機器を制御して、メンテナンスさせるメンテナンス用機器制御システムであって、ドローンで撮像された画像を取得する画像取得手段と、前記画像を解析して、被写体の不良を判定する不良判定手段と、前記不良と判定された被写体の位置を推測する位置推測手段と、前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御手段と、を備えるメンテナンス用機器制御システムを提供する。
　第１の特徴に係る発明は、メンテナンス用機器を制御して、メンテナンスさせるメンテナンス用機器制御方法であって、ドローンで撮像された画像を取得する画像取得ステップと、前記画像を解析して、被写体の不良を判定する不良判定ステップと、前記不良と判定された被写体の位置を推測する位置推測ステップと、前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御ステップと、を備えるメンテナンス用機器制御方法を提供する。
　第１の特徴に係る発明は、ドローンで撮像された画像を取得する画像取得ステップと、前記画像を解析して、被写体の不良を判定する不良判定ステップと、前記不良と判定された被写体の位置を推測する位置推測ステップと、前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御ステップと、をさせるためのプログラムを提供する。
　不良の被写体に対してピンポイントにメンテナンスすることが可能となる。
図１は、メンテナンス用機器制御システムの概要図である。 図２は、不良と判定された線路の例である。
　以下、本発明を実施するための最良の形態について説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　本発明のメンテナンス用機器制御システムは、メンテナンス用機器を制御して、対象に対してメンテナンスを行うシステムである。
　本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるメンテナンス用機器制御システムの概要図である。
　図１にあるように、メンテナンス用機器制御システムは、制御部が所定のプログラムを読み込むことで実現される、画像取得手段、不良判定手段、位置推測手段、メンテナンス用機器制御手段を備える。また図示しないが、同様に、ドローン制御手段を備えてもよい。これらは、アプリケーション型、クラウド型またはその他であってもよい。上述の各手段が、単独のコンピュータで実現されてもよいし、２台以上のコンピュータ（例えば、サーバと端末のような場合）で実現されてもよい。
　画像取得手段は、ドローンのカメラで撮像された画像を取得する。画像は動画でも静止画でもよい。カメラは、ドローンに備えられたカメラであれば、デジタルカメラであっても、スマートフォンのカメラであっても、何でもよい。リアルタイムにメンテナンスさせるにはリアルタイムな画像の方が好ましい。
　判定手段は、画像を解析して被写体の不良を判定する。機械学習によって画像解析の精度を向上させてもよい。例えば、過去画像を教師データとして機械学習を行う。例えば図２のように、画像解析して線路の不良を判定してもよい。もちろん、線路に限らず、建物、道路、端末、などの不良を判定してもよい。例えば、現場作業員が線路の近くを歩きながら不良を判定するのに比べて、ドローンで撮像された画像を解析して不良を判定することで、大幅な効率化が図れる。
　また、不良判定手段は、画像を解析して、サイズが所定の条件を満たす場合に、被写体が不良であると判定してもよい。例えば、線路のサイズが基準値よりも小さかったり大きかったりすると脱線の恐れがあって危ない。この場合に、線路が不良であると判定する。
　また、不良判定手段は、画像を解析して、色が所定の条件を満たす場合に、被写体が不良であると判定してもよい。例えば、線路の色が基準値より薄かったり濃かったりすると、錆によって線路が破損したりすると脱線の恐れがあって危ない。この場合に、線路が不良であると判定する。
　また、不良判定手段は、画像を解析して、形状が所定の条件を満たす場合に、被写体が不良であると判定してもよい。例えば、線路のサイズが基準値よりも小さかったり大きかったりすると脱線の恐れがあって危ない。この場合に、線路が不良であると判定する。
　位置推測手段は、不良と判定された被写体の位置を推測する。ドローンに備えられたＧＰＳや、ドローンでの撮影高度、撮影角度、撮影向き、から不良と判定された被写体の位置を推測できる。例えば、撮影高度Ｈ、撮影角度θの場合、育成不良を判定された被写体の位置は、ＧＰＳの緯度経度に撮影向きを考慮してＨｔａｎθを加味した緯度経度となる。
　メンテナンス用機器制御手段は、推測された位置にある被写体の不良をメンテナンスするようにメンテナンス用機器を制御する。例えば、推測された位置にある線路をメンテナンスするように、線路のメンテナンス用機器を制御する。例えば、推測された位置にある線路をメンテナンスさせるようにメンテナンス専用ドローンを制御してもよい。撮像専用ドローンとメンテナンス専用ドローンとを使い分けることで、効率的なメンテナンスが可能となる。
　ドローン制御手段は、推測された位置に、ドローンを再度飛行させて再度撮像するように制御する。例えば、不良の判定が誤判定である可能性も無くはないので、誤判定をケアするためにも、ドローンを再度飛行させて再度撮影させる。再度撮像させた画像を解析することで、不良の判定の二重チェックが可能となる。
[動作の説明]
　次に、メンテナンス用機器制御方法について説明する。本発明のメンテナンス用機器制御方法は、メンテナンス用機器を制御して不良の被写体にメンテナンスさせる方法である。
　メンテナンス用機器制御方法は、画像取得ステップ、不良判定ステップ、位置推測ステップ、メンテナンス用機器制御ステップを備える。また、ドローン制御ステップを備えてもよい。
　画像取得ステップは、ドローンのカメラで撮像された画像を取得する。画像は動画でも静止画でもよい。カメラは、ドローンに備えられたカメラであれば、デジタルカメラであっても、スマートフォンのカメラであっても、何でもよい。リアルタイムにメンテナンスさせるにはリアルタイムな画像の方が好ましい。
　判定ステップは、画像を解析して被写体の不良を判定する。機械学習によって画像解析の精度を向上させてもよい。例えば、過去画像を教師データとして機械学習を行う。例えば図２のように、画像解析して線路の不良を判定してもよい。もちろん、線路に限らず、建物、道路、端末、などの不良を判定してもよい。例えば、現場作業員が線路の近くを歩きながら不良を判定するのに比べて、ドローンで撮像された画像を解析して不良を判定することで、大幅な効率化が図れる。
　また、不良判定ステップは、画像を解析して、サイズが所定の条件を満たす場合に、被写体が不良であると判定してもよい。例えば、線路のサイズが基準値よりも小さかったり大きかったりすると脱線の恐れがあって危ない。この場合に、線路が不良であると判定する。
　また、不良判定ステップは、画像を解析して、色が所定の条件を満たす場合に、被写体が不良であると判定してもよい。例えば、線路の色が基準値より薄かったり濃かったりすると、錆によって線路が破損したりすると脱線の恐れがあって危ない。この場合に、線路が不良であると判定する。
　また、不良判定ステップは、画像を解析して、形状が所定の条件を満たす場合に、被写体が不良であると判定してもよい。例えば、線路のサイズが基準値よりも小さかったり大きかったりすると脱線の恐れがあって危ない。この場合に、線路が不良であると判定する。
　位置推測ステップは、不良と判定された被写体の位置を推測する。ドローンに備えられたＧＰＳや、ドローンでの撮影高度、撮影角度、撮影向き、から不良と判定された被写体の位置を推測できる。例えば、撮影高度Ｈ、撮影角度θの場合、育成不良を判定された被写体の位置は、ＧＰＳの緯度経度に撮影向きを考慮してＨｔａｎθを加味した緯度経度となる。
　メンテナンス用機器制御ステップは、推測された位置にある被写体の不良をメンテナンスするようにメンテナンス用機器を制御する。例えば、推測された位置にある線路をメンテナンスするように、線路のメンテナンス用機器を制御する。例えば、推測された位置にある線路をメンテナンスさせるようにメンテナンス専用ドローンを制御してもよい。撮像専用ドローンとメンテナンス専用ドローンとを使い分けることで、効率的なメンテナンスが可能となる。
　ドローン制御ステップは、推測された位置に、ドローンを再度飛行させて再度撮像するように制御する。例えば、不良の判定が誤判定である可能性もあり得るので、誤判定をケアするためにも、ドローンを再度飛行させて再度撮影させる。再度撮像させた画像を解析することで、不良の判定の二重チェックが可能となる。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータにインストールされるアプリケーションであってもよいし、コンピュータからネットワーク経由で提供されるＳａａＳ（ソフトウェア・アズ・ア・サービス）形態であってもよいし、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供されてもよい。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　上述した機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン、強化学習などを利用してよい。また、ニューラルネットワークを利用して、学習するための特徴量を自ら生成する深層学習（ディープラーニング）であってもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

 

Claims (8)

  1. 　メンテナンス用機器を制御して、メンテナンスさせるメンテナンス用機器制御システムであって、
    　ドローンで撮像された画像を取得する画像取得手段と、
    　前記画像を解析して、被写体の不良を判定する不良判定手段と、
    　前記不良と判定された被写体の位置を推測する位置推測手段と、
    　前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御手段と、を備えるメンテナンス用機器制御システム。
  2. 　前記不良判定手段は、前記画像を解析して、サイズが所定の条件を満たす場合に、被写体が不良であると判定する請求項１に記載のメンテナンス用機器制御システム。
  3. 　前記不良判定手段は、前記画像を解析して、色が所定の条件を満たす場合に、被写体が不良であると判定する請求項１に記載のメンテナンス用機器制御システム。
  4. 　前記不良判定手段は、前記画像を解析して、形状が所定の条件を満たす場合に、被写体が不良であると判定する請求項１に記載のメンテナンス用機器制御システム。
  5. 　前記位置推測手段は、ドローンのＧＰＳ、撮影高度、撮影角度、撮影向き、から前記不良と判定された被写体の位置を推測する請求項１に記載のメンテナンス用機器制御システム。
  6. 　前記推測された位置に、ドローンを再度飛行させて再度撮像するように制御するドローン制御手段を備える請求項１に記載のメンテナンス用機器制御システム。
  7. 　メンテナンス用機器を制御して、メンテナンスさせるメンテナンス用機器制御方法であって、
    　ドローンで撮像された画像を取得する画像取得ステップと、
    　前記画像を解析して、被写体の不良を判定する不良判定ステップと、
    　前記不良と判定された被写体の位置を推測する位置推測ステップと、
    　前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御ステップと、を備えるメンテナンス用機器制御方法。
  8. 　コンピュータに、
    　ドローンで撮像された画像を取得する画像取得ステップと、
    　前記画像を解析して、被写体の不良を判定する不良判定ステップと、
    　前記不良と判定された被写体の位置を推測する位置推測ステップと、
    　前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御ステップと、を実行させるためのプログラム。 
PCT/JP2017/035307 2017-09-28 2017-09-28 メンテナンス用機器制御システム、メンテナンス用機器制御方法およびプログラム Ceased WO2019064456A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/651,732 US20200364954A1 (en) 2017-09-28 2017-09-28 Maintenance device control system, maintenance device control method, and program
CN201780095476.XA CN111164012A (zh) 2017-09-28 2017-09-28 维护用设备控制系统、维护用设备控制方法以及程序
PCT/JP2017/035307 WO2019064456A1 (ja) 2017-09-28 2017-09-28 メンテナンス用機器制御システム、メンテナンス用機器制御方法およびプログラム
JP2019545513A JPWO2019064456A1 (ja) 2017-09-28 2017-09-28 メンテナンス用機器制御システム、メンテナンス用機器制御方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/035307 WO2019064456A1 (ja) 2017-09-28 2017-09-28 メンテナンス用機器制御システム、メンテナンス用機器制御方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2019064456A1 true WO2019064456A1 (ja) 2019-04-04

Family

ID=65901422

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/035307 Ceased WO2019064456A1 (ja) 2017-09-28 2017-09-28 メンテナンス用機器制御システム、メンテナンス用機器制御方法およびプログラム

Country Status (4)

Country Link
US (1) US20200364954A1 (ja)
JP (1) JPWO2019064456A1 (ja)
CN (1) CN111164012A (ja)
WO (1) WO2019064456A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022087851A (ja) * 2020-12-01 2022-06-13 勇祐 鈴木 検査方法および検査システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190054937A1 (en) * 2017-08-15 2019-02-21 Bnsf Railway Company Unmanned aerial vehicle system for inspecting railroad assets
CN119721657A (zh) * 2025-02-28 2025-03-28 浙江广成建设发展集团有限公司 一种基于物联网的绿色环保幕墙智能监控管理系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348463A (ja) * 2004-05-31 2005-12-15 Hitachi Ltd 可動部材の搬送方法及び搬送装置
JP2016015628A (ja) * 2014-07-02 2016-01-28 三菱重工業株式会社 構造物の屋内監視システム及び方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3098562B1 (en) * 2014-04-25 2019-06-05 Sony Corporation Information processing device, information processing method, and computer program
JP6784261B2 (ja) * 2015-10-07 2020-11-11 日本電気株式会社 情報処理装置、画像処理システム、画像処理方法及びプログラム
WO2017127711A1 (en) * 2016-01-20 2017-07-27 Ez3D, Llc System and method for structural inspection and construction estimation using an unmanned aerial vehicle
US10511676B2 (en) * 2016-03-17 2019-12-17 Conduent Business Services, Llc Image analysis system for property damage assessment and verification
CN106741890B (zh) * 2016-11-28 2019-03-15 北京交通大学 一种基于空轨两用无人机的高速铁路安全检测系统
CN106954042B (zh) * 2017-03-13 2023-04-28 兰州交通大学 一种无人机铁路线路巡检装置、系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348463A (ja) * 2004-05-31 2005-12-15 Hitachi Ltd 可動部材の搬送方法及び搬送装置
JP2016015628A (ja) * 2014-07-02 2016-01-28 三菱重工業株式会社 構造物の屋内監視システム及び方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022087851A (ja) * 2020-12-01 2022-06-13 勇祐 鈴木 検査方法および検査システム
JP7677632B2 (ja) 2020-12-01 2025-05-15 勇祐 鈴木 検査方法および検査システム
JP2025100862A (ja) * 2020-12-01 2025-07-03 勇祐 鈴木 検査方法および検査システム

Also Published As

Publication number Publication date
US20200364954A1 (en) 2020-11-19
CN111164012A (zh) 2020-05-15
JPWO2019064456A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
US20190095877A1 (en) Image recognition system for rental vehicle damage detection and management
US11164370B2 (en) Information processing apparatus and accumulated images selecting method
US20090290761A1 (en) Upper troposphere and lower stratosphere wind direction, speed, and turbidity monitoring using digital imaging and motion tracking
CN111655562A (zh) 使用机器学习检查轨道的系统和方法
US20190370543A1 (en) Land use determination system, land use determination method and program
CN110009614A (zh) 用于输出信息的方法和装置
CN120411120B (zh) 一种基于深度学习图像分割算法的输电图像缺陷检测及缺陷去重的方法及系统
CN111091023B (zh) 一种车辆检测方法、装置及电子设备
CN114267012B (zh) 船舶类型检测方法、装置、电子设备及可读存储介质
CN111951328A (zh) 一种物体位置检测方法、装置、设备和存储介质
WO2019064456A1 (ja) メンテナンス用機器制御システム、メンテナンス用機器制御方法およびプログラム
JP2017102672A (ja) 地理位置情報特定システム及び地理位置情報特定方法
JP2022019737A (ja) 巡視点検システムおよび巡視点検方法
CN114898273A (zh) 一种视频监控异常检测方法、装置及设备
KR20200039853A (ko) 벡터맵과 카메라를 이용한 자율주행 차량이 위치한 차선 추정 방법
US11656328B2 (en) Validating object detection hardware and algorithms
US20140141823A1 (en) Communication device, comunication method and computer program product
CN120236216A (zh) 配电网的无人机自主巡检方法、装置、设备及存储介质
GB2602896A (en) Automatic digital inspection of railway environment
CN109903308B (zh) 用于获取信息的方法及装置
WO2018061176A1 (ja) ドローン制御システム、ドローン制御方法及びプログラム
CN111164377B (zh) 计算机系统、位置推测方法以及程序
CN118379667B (zh) 索道轮组运行状态的检测方法、装置、设备及储存介质
KR20240109225A (ko) 구조물 점검을 위한 제어 장치 및 그 동작 방법
WO2021186640A1 (ja) 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17926715

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019545513

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 28.07.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 17926715

Country of ref document: EP

Kind code of ref document: A1