WO2019187229A1 - 設備監視システム - Google Patents

設備監視システム Download PDF

Info

Publication number
WO2019187229A1
WO2019187229A1 PCT/JP2018/035338 JP2018035338W WO2019187229A1 WO 2019187229 A1 WO2019187229 A1 WO 2019187229A1 JP 2018035338 W JP2018035338 W JP 2018035338W WO 2019187229 A1 WO2019187229 A1 WO 2019187229A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
equipment
new
monitoring system
processing unit
Prior art date
Application number
PCT/JP2018/035338
Other languages
English (en)
French (fr)
Inventor
理佐 酒井
山田　渉
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to DE112018007348.3T priority Critical patent/DE112018007348T5/de
Priority to US16/565,669 priority patent/US11062438B2/en
Publication of WO2019187229A1 publication Critical patent/WO2019187229A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • Embodiment of this invention is related with an equipment monitoring system.
  • the problem to be solved by the present invention is to provide an equipment monitoring system that can more easily determine an abnormality of equipment.
  • the facility monitoring system includes an imaging unit and a processing unit.
  • the said imaging part repeatedly acquires the 1st image which image
  • the processing unit determines an abnormality of the equipment included in the new first image based on the plurality of past first images.
  • FIG. 1 is a block diagram illustrating a configuration of a facility monitoring system according to the embodiment.
  • the facility monitoring system 1 includes an imaging unit 10, a processing unit 20, an output unit 30, and a storage unit 40.
  • the imaging unit 10 captures a facility that repeats a certain first operation, and acquires a still image. Specifically, the imaging unit 10 repeatedly captures the state of the facility at the first timing after the first time has elapsed since the facility started the first operation. Thereby, the 1st image showing the equipment in the 1st timing is acquired repeatedly. The imaging unit 10 stores the captured image in the storage unit 40.
  • the processing unit 20 refers to the storage unit 40 and acquires a past first image.
  • the processing unit 20 determines whether there is an abnormality in the equipment included in the new first image based on the plurality of past first images. For example, when the state of the equipment copied in the past first image and the state of the equipment copied in the new first image are substantially the same, the equipment is determined to be normal. When the state of the equipment in the past first image and the state of the equipment in the new first image are greatly different, the equipment is determined to be abnormal.
  • the processing unit 20 transmits a signal to the equipment to be monitored.
  • the facility stops operating when it receives the signal.
  • the processing unit 20 may issue a notification to a preset registration destination.
  • the processing unit 20 may transmit a result determined to be abnormal to the output unit 30.
  • the output unit 30 notifies that there is an abnormality in the facility, for example, by emitting sound or light.
  • the output unit 30 may display the first image determined to be abnormal, or may transmit the first image to a preset destination.
  • the imaging unit 10 is, for example, a camera.
  • the processing unit 20 includes a CPU (Central Processing Unit), a memory, and the like.
  • the output unit 30 is, for example, a monitor, a printer, a speaker, or illumination.
  • an abnormality of the facility is determined based on a comparison between a new first image and a plurality of past first images. There is no need to prepare reference data or the like for determining an abnormality in the facility. Therefore, the facility can be monitored more easily.
  • the equipment monitoring system 1 can be applied to equipment that has just been operated without preparing reference data. Equipment monitoring can be started earlier than other methods. According to the equipment monitoring system 1, since equipment abnormality is determined when a new first image is acquired, the equipment can be monitored in real time.
  • the imaging unit 10 may shoot the equipment as a video.
  • the processing unit 20 acquires a plurality of first images by cutting out a part of the moving image. In this case, the data amount becomes very large. For this reason, it is desirable that the imaging unit 10 captures the equipment at the first timing of the first operation and acquires a still image. That is, the imaging unit 10 does not photograph the facility at least at a part other than the first timing of the first operation.
  • the amount of data can be reduced by acquiring only a still image at a specific moment.
  • the imaging unit 10 may repeatedly shoot the equipment at another timing of the first operation. For example, the imaging unit 10 captures equipment at the second timing and the third timing of the first operation, and acquires the second image and the third image.
  • the second timing is before the first timing.
  • the third timing is before the second timing.
  • the processing unit 20 may perform the above-described operation for the second image and the third image. That is, when the new second image is acquired, the processing unit 20 may determine an abnormality of the equipment included in the new second image based on the plurality of past second images. When the new third image is acquired, the processing unit 20 may determine an abnormality of the equipment included in the new third image based on the plurality of past third images.
  • FIGS. 2 to 7 are schematic diagrams for explaining the equipment monitoring system. Details of the equipment monitoring system 1 will be described below with reference to FIGS.
  • the facility 90 is processing the workpiece 91 flowing on the conveyor.
  • the work 91 is a work in progress during assembly.
  • the imaging unit 10 images the equipment 90 and the work 91.
  • the image may include a subject other than the equipment to be monitored and the workpiece. However, in order to improve the monitoring accuracy, it is desirable that the movement of other subjects is small or absent.
  • FIGS. 3A to 3C illustrate images obtained by photographing normal operation of the facility 90.
  • FIG. FIGS. 3A to 3C illustrate a third image A3, a second image A2, and a first image A1, respectively.
  • the first image A1 to the third image A3 are respectively acquired by photographing the equipment 90 at the first timing, the second timing, and the third timing of the first operation.
  • the facility 90 repeatedly executes a series of operations (first operations) shown in FIGS. 3 (a) to 3 (c).
  • the imaging unit 10 repeatedly captures the equipment 90 and the work 91 at a specific timing each time the first operation is performed.
  • the horizontal axis represents time T.
  • the imaging unit 10 captures the equipment 90 and the work 91 at the third timing T3, the second timing T2, and the first timing T1. Thereby, 3rd image A3, 2nd image A2, and 1st image A1 showing the equipment 90 and the workpiece
  • the processing unit 20 performs, for example, unsupervised learning using the plurality of first images A1.
  • unsupervised learning principal component analysis or clustering can be used.
  • the processing unit 20 stores, in the storage unit 40, a model that is generated by unsupervised learning and is used to determine an equipment abnormality in the first image A1.
  • FIG. 5A to FIG. 5C illustrate the first operation when the equipment 90 has an abnormality.
  • 5 (a) and 5 (b) are the same as the normal operations shown in FIGS. 3 (a) and 3 (b), respectively.
  • FIG.5 (c) the position (angle) of the arm 90a of the installation 90 and the position of the hand 90b differ from the state represented to FIG.3 (c).
  • the equipment monitoring system 1 detects such a change (abnormality) in the operation of the equipment 90.
  • the processing unit 20 calculates a difference in feature amount between the new first image and one of the plurality of past first images.
  • the one of the plurality of past first images is, for example, the first image acquired immediately before the new first image.
  • a feature quantity extraction method for example, SIFT (Scale-Invariant Feature Transform) or SURF (Speed-Upped Robust Feature) can be used.
  • the processing unit 20 compares the calculated difference with the first threshold value. When the difference exceeds the first threshold, the processing unit 20 determines that there is an abnormality in the equipment that is the subject of the new first image.
  • the first threshold is set based on the feature data. For example, the average value and standard deviation are calculated based on past feature data. 3 ⁇ is calculated and set as the first threshold.
  • the set first threshold value is compared with the feature amount based on the newly acquired first image, and it is determined whether the value falls within the threshold value.
  • the feature amount difference is small between the images shown in FIG.
  • the positions of the arm 90a and the hand 90b are greatly different between the image shown in FIG. 3C and the image shown in FIG. For this reason, there is a large difference in the feature amount between these images, and it is determined that the equipment 90 in the image shown in FIG. 5C is abnormal.
  • the processing unit 20 may perform mesh processing on the acquired first image and calculate a difference in feature amount.
  • each image is divided into a plurality of meshes, and a feature amount is calculated for each mesh.
  • the processing unit 20 calculates a feature amount difference between corresponding meshes between the new first image and the past first image.
  • the processing unit 20 determines that the equipment is abnormal when the difference between the feature values in any of the meshes is equal to or greater than the first threshold value.
  • the processing unit 20 may divide a portion with a large subject movement into smaller meshes and a portion with a small (or no) subject movement into large meshes. .
  • the feature amount can be weighted, and a change in the feature amount can be easily detected.
  • the area to be finely meshed and the area to be coarsely meshed are determined based on, for example, a change in feature amount between the first image and the immediately preceding image.
  • the second timing is before the first timing.
  • the processing unit 20 divides the first image captured at the n-th first timing into a plurality of meshes.
  • the processing unit 20 calculates a difference in feature amount between corresponding meshes between the first image and the second image. The larger the feature amount difference, the greater the movement of the subject in the mesh.
  • the processing unit 20 combines meshes having a small feature amount difference to obtain a larger mesh.
  • the processing unit 20 divides a mesh having a large feature amount difference into a plurality of meshes to obtain a smaller mesh. Thereby, the feature amount can be weighted more as the subject moves more.
  • the processing unit 20 may determine an abnormality of the facility using, for example, a signal indicating a pressure or a gas flow rate in the facility.
  • the processing unit 20 may calculate the similarity between the new first image and one of the past plurality of first images.
  • the processing unit 20 compares the calculated similarity with a preset threshold value. When the similarity is less than the threshold, the processing unit 20 determines that there is an abnormality in the equipment that is the subject of the new first image.
  • the processing unit 20 may perform mesh processing on each of the plurality of first images and calculate the similarity between corresponding meshes.
  • the processing unit 20 may change the size of the mesh according to the size of the movement of the subject when meshing the first image.
  • the processing unit 20 may use a signal generated in the facility for determining abnormality.
  • the output content by the output unit 30 can be changed as appropriate according to the processing in the processing unit 20.
  • the output unit 30 may specifically indicate a location where an abnormality has occurred in the first image. For example, when the first image is mesh-processed by the processing unit 20, a location (mesh) where an abnormality has occurred in the first image can be specified.
  • the output unit 30 indicates a location specified by the processing unit 20. Thereby, the user can easily grasp where the facility is determined to be abnormal by the facility monitoring system 1.
  • the processing unit 20 may determine the classification of the abnormality when the facility is determined to be abnormal. This point will be described below with reference to FIGS. 6 and 7.
  • FIG. 6 (a) to 6 (c) show a normal first operation.
  • FIG. 6D to FIG. 6F show the first operation at least partly abnormal.
  • FIG. 6A and FIG. 6D show the third image A3 taken at the same third timing T3.
  • FIG. 6B and FIG. 6E show the second image A2 taken at the same second timing T2.
  • FIG. 6C and FIG. 6F show the first image A1 taken at the same first timing T1.
  • the relative positional relationship between the hand 90b and the work 91 is between the third images A3 in FIGS. 6 (a) and 6 (d), and in the second images in FIGS. 6 (b) and 6 (e). There is a slight difference between A2.
  • the processing unit 20 determines that the third image A3 and the second image A2 in FIGS. 6D and 6E are normal, and determines that the first image A1 in FIG. 6F is abnormal. Is done.
  • the processing unit 20 determines that FIG. 6F is abnormal, the processing unit 20 refers to the third image A3 and the second image A2 of FIG. 6D and FIG.
  • the processing unit 20 calculates how much the equipment in the images of FIGS. 6D and 6E is different from the equipment in the images of FIGS. 6A and 6B, respectively.
  • the deviation is represented by, for example, a feature amount difference.
  • the processing unit 20 may refer to the calculation results when the abnormality determination is performed on the third image A3 in FIG. 6D and the second image A2 in FIG.
  • the storage unit 40 stores the difference in feature quantity between the third images A3 in FIGS. 6A and 6D and the second image A2 in FIGS. 6B and 6E.
  • the calculation result of the difference in feature quantity between them is stored.
  • the processing unit 20 may refer to the calculation result.
  • the processing unit 20 detects that there is a shift in the equipment 90 in the images of FIG. 6 (d) and FIG. 6 (e) as compared to other normal images. That is, from the images of FIGS. 6D and 6E, the operation of the equipment 90 is slightly delayed at each timing, and the delay is accumulated, and the first image A1 of FIG. 6F is determined to be abnormal. You can see that Such an abnormality is classified, for example, as a delay in equipment operation.
  • FIGS. 7A to 7C show a normal first operation.
  • FIG. 7D to FIG. 7F show the first operation at least partly abnormal.
  • FIG. 7A to FIG. 7C show the normal first operation.
  • FIG. 7D to FIG. 7F show the first operation at least partly abnormal.
  • FIG. 7A and FIG. 7D show the third image A3 taken at the same third timing T3.
  • FIG. 7B and FIG. 7E show the second image A2 taken at the same second timing T2.
  • FIG. 7C and FIG. 7F show the first image A1 taken at the same first timing T1.
  • the relative positional relationship between the hand 90b and the workpiece 91 is between the third images A3 in FIGS. 7A and 7D, and in the second images in FIGS. 7B and 7E. It is the same between A2.
  • FIG.7 (c) and FIG.7 (f) are contrasted, the relative positional relationship of the hand 90b and the workpiece
  • the processing unit 20 determines that the third image A3 in FIG. 7D and the second image A2 in FIG. 7E are normal, and the first image A1 in FIG. 7F is determined to be abnormal. .
  • the processing unit 20 uses the third image A3 in FIG. 7D and the second image A2 in FIG. 7E as described above. refer.
  • the processing unit 20 compares the subject in the images of FIGS. 7D and 7E with the subject in the images of FIGS. 7A and 7B, respectively.
  • the third image A3 in FIG. 7D and the second image A2 in FIG. 7E are sufficiently small in deviation compared to other normal images. That is, the operation (position) of the equipment 90 is greatly different only at the first timing T1 when the first image A1 of FIG. For example, the equipment 90 cannot change from the state shown in FIG. 7B to the state shown in FIG. 7C due to some cause, and the range of motion is considered to have changed. Such an abnormality is classified as a change in the range of motion of the facility 90, for example.
  • the processing unit 20 determines that the equipment in the first image captured at the first timing is abnormal in the n-th first operation.
  • the processing unit 20 compares the second image captured at the second timing in the n-th first operation and the second image captured at the second timing in the n ⁇ 1th first operation. Based on the above, the classification of the abnormality is determined.
  • the processing unit 20 has a feature amount difference between the second image of the n-th first operation and the second image of the (n ⁇ 1) -th first operation being less than the first threshold, If the threshold value is exceeded, it is determined that an abnormality of the first classification has occurred.
  • the first category is a delay in the operation of the equipment.
  • the processing unit 20 determines that the abnormality of the second classification has occurred when the difference in the feature amount is less than the second threshold value.
  • the second classification is a change in the range of motion of the equipment.
  • the processing unit 20 outputs the abnormality classification to the user.
  • the processing unit 20 may output the first image and the second image of the n-th first operation in addition to the abnormality classification. By outputting the second image determined to be normal in addition to the first image determined to be abnormal, the user can easily grasp the details of the abnormality.
  • the processing unit 20 may further output the time when the first image was taken, the time from the start of the first operation, and the like.
  • the processing unit 20 may attach a mark to a portion that is determined to be abnormal in the first image, and may add a mark to a portion that may be related to the abnormality in the first image in the second image. This makes it easier for the user to grasp the details of the abnormality.
  • FIG. 8 is a flowchart illustrating an example of the operation of the facility monitoring system according to the embodiment.
  • the imaging unit 10 For the equipment that repeats the first operation, the imaging unit 10 repeatedly acquires a first image obtained by photographing the equipment at the first timing of the first operation (step S1).
  • the processing unit 20 acquires information related to the operation of the monitoring target facility (step S2). This information is, for example, a signal output from the facility.
  • the processing unit 20 compares the new first image with a plurality of past first images and performs machine learning (step S3).
  • the processing unit 20 determines whether the operation of the facility is normal based on a comparison result between the new first image and the plurality of past first images and information on the operation of the facility (step S4).
  • step S1 is executed again.
  • the processing unit 20 classifies the abnormality (step S5). For example, the processing unit 20 outputs the abnormality classification and the first image determined to be abnormal (step S6).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Manipulator (AREA)
  • Alarm Systems (AREA)

Abstract

実施形態に係る設備監視システムは、撮像部及び処理部を備える。前記撮像部は、第１動作を繰り返す設備について、前記第１動作の第１タイミングにおける前記設備を撮影した第１画像を繰り返し取得する。前記処理部は、新規の前記第１画像が取得された際に、過去の複数の前記第１画像に基づき、前記新規の第１画像に含まれる前記設備の異常を判定する。

Description

設備監視システム
　本発明の実施形態は、設備監視システムに関する。
　稼働時の設備の異常を監視するシステムがある。このような設備監視システムについて、より簡便に設備の異常を判定できる技術の開発が望まれている。
特開２０１７－１４４５３２号公報
　本発明が解決しようとする課題は、より簡便に設備の異常を判定できる設備監視システムを提供することである。
　実施形態に係る設備監視システムは、撮像部及び処理部を備える。前記撮像部は、第１動作を繰り返す設備について、前記第１動作の第１タイミングにおける前記設備を撮影した第１画像を繰り返し取得する。前記処理部は、新規の前記第１画像が取得された際に、過去の複数の前記第１画像に基づき、前記新規の第１画像に含まれる前記設備の異常を判定する。
実施形態に係る設備監視システムの構成を表すブロック図である。 設備監視システムを説明するための模式図である。 設備監視システムを説明するための模式図である。 設備監視システムを説明するための模式図である。 設備監視システムを説明するための模式図である。 設備監視システムを説明するための模式図である。 設備監視システムを説明するための模式図である。 実施形態に係る設備監視システムの動作の一例を表すフローチャートである。
　以下に、本発明の各実施形態について図面を参照しつつ説明する。
　本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
　図１は、実施形態に係る設備監視システムの構成を表すブロック図である。
　図１に表したように、実施形態に係る設備監視システム１は、撮像部１０、処理部２０、出力部３０、及び記憶部４０を備える。
　設備監視システム１は、設備を監視し、異常の有無を調べるために用いられる。異常とは、例えば、設備の通常の動作に対して、特定の動作の遅れ、設備の特定部位の可動域の変化、処理されるワークの位置や傾きの変化などを含む。
　撮像部１０は、ある第１動作を繰り返す設備を撮影し、静止画を取得する。具体的には、撮像部１０は、設備が第１動作を開始してから第１時間が経過した、第１タイミングにおける設備の様子を繰り返し撮影する。これにより、第１タイミングにおける設備を表す第１画像が繰り返し取得されていく。撮像部１０は、撮影した画像を、記憶部４０に記憶する。
　撮像部１０で新規の第１画像が取得されると、処理部２０は、記憶部４０を参照し、過去の第１画像を取得する。処理部２０は、過去の複数の第１画像に基づき、新規の第１画像に含まれる設備に異常が有るか判定する。例えば、過去の第１画像に写された設備の状態と、新規の第１画像に写された設備の状態と、が実質的に同じ場合、設備は正常と判定される。過去の第１画像中の設備の状態と、新規の第１画像中の設備の状態と、が大きく異なる場合、設備は異常と判定される。
　例えば、設備が異常と判定されると、処理部２０は、監視対象の設備に対して信号を送信する。当該設備は、その信号を受信すると、動作を停止する。設備が異常と判定されると、処理部２０は、予め設定された登録先に通知を発しても良い。又は、処理部２０は、異常と判定された結果を出力部３０へ送信しても良い。
　出力部３０は、例えば、設備に異常が有ることを、音や光などを発して報知する。出力部３０は、異常と判定された第１画像を表示させる、又は、第１画像を予め設定された宛先に送信しても良い。
　撮像部１０は、例えばカメラである。処理部２０は、ＣＰＵ(Central Processing Unit)及びメモリなどを含む。出力部３０は、例えば、モニタ、プリンタ、スピーカ、又は照明などである。
　実施形態に係る設備監視システム１によれば、設備の異常が、新しい第１画像と、過去の複数の第１画像と、の比較に基づいて判定される。設備の異常を判定するための参照データ等を用意する必要が無い。従って、より簡便に設備を監視できる。例えば、稼働したばかりの設備に対しても、参照データを用意することなく、設備監視システム１を適用できる。設備の監視を、他の方法に比べて早く開始できる。設備監視システム１によれば、新しい第１画像を取得した際に設備の異常が判定されるため、設備をリアルタイムに監視できる。
　撮像部１０は、設備を動画撮影しても良い。処理部２０は、その動画の一部を切り出すことで複数の第１画像を取得する。この場合、データ量が非常に大きくなる。このため、撮像部１０は、第１動作の第１タイミングで設備を撮影し、静止画を取得することが望ましい。すなわち、撮像部１０は、第１動作の第１タイミング以外の少なくとも一部では、設備を撮影しない。特定の瞬間の静止画のみを取得することで、データ量を小さくできる。
　撮像部１０は、さらに、第１動作の別のタイミングにおいて、設備を繰り返し撮影しても良い。例えば、撮像部１０は、第１動作の第２タイミング及び第３タイミングにおいて設備を撮影し、第２画像及び第３画像を取得する。第２タイミングは、第１タイミングよりも前である。第３タイミングは、第２タイミングよりも前である。
　処理部２０は、第２画像及び第３画像についても、上述した動作を行っても良い。すなわち、処理部２０は、新規の第２画像が取得されると、過去の複数の第２画像に基づき、新規の第２画像に含まれる設備の異常を判定しても良い。処理部２０は、新規の第３画像が取得されると、過去の複数の第３画像に基づき、新規の第３画像に含まれる設備の異常を判定しても良い。
　図２～図７は、設備監視システムを説明するための模式図である。
　以下で、設備監視システム１の詳細を、図２～図７を参照しつつ説明する。
　図２に表した例では、設備９０が、コンベヤ上を流れるワーク９１を処理している。この例では、ワーク９１は、組み立て途中の仕掛品である。撮像部１０は、設備９０及びワーク９１を撮影する。画像には、監視対象の設備及びワーク以外の他の被写体が含まれていても良い。ただし、監視の精度を向上させるためには、他の被写体の動きが小さい又は無いことが望ましい。
　図３（ａ）～図３（ｃ）は、設備９０の正常な動作を撮影して取得された画像を例示している。図３（ａ）～図３（ｃ）は、それぞれ、第３画像Ａ３、第２画像Ａ２、及び第１画像Ａ１を例示する。第１画像Ａ１～第３画像Ａ３は、それぞれ、第１動作の、第１タイミング、第２タイミング、及び第３タイミングにおける設備９０を撮影することで取得される。設備９０は、図３（ａ）～図３（ｃ）に表した一連の動作（第１動作）を、繰り返し実行する。撮像部１０は、第１動作が行われるたびに、特定のタイミングにおける設備９０及びワーク９１を繰り返し撮影する。
　撮像部１０は、例えば、設備９０の動作に関連する信号を受信する。この信号を受信したタイミングを基準に、設備９０を撮影するタイミングを特定する。一例として、撮像部１０は、第１動作を開始させる際に、設備９０に入力される制御信号を受信する。撮像部１０は、この制御信号の受信を、時間の測定の起点とする。撮像部１０は、この起点から所定時間経過後の特定のタイミングで、設備９０を撮影する。又は、撮像部１０は、設備９０の動画を撮影し、設備９０又はワーク９１が特定の状態となったときを、時間の測定の起点としても良い。
　図４において、横軸は時間Ｔを表す。撮像部１０は、例えば図４に表したように、第３タイミングＴ３、第２タイミングＴ２、及び第１タイミングＴ１で、設備９０及びワーク９１を撮影する。これにより、それぞれのタイミングにおける設備９０及びワーク９１を表す第３画像Ａ３、第２画像Ａ２、及び第１画像Ａ１が取得される。設備９０が第１動作を行うたびに、撮像部１０による撮影が行われる。この結果、図４に表したように、複数の第１画像Ａ１、複数の第２画像Ａ２、及び複数の第３画像Ａ３が取得される。
　以降では、第１画像Ａ１中の設備の異常を判定する方法について説明する。後述する方法は、第２画像Ａ２を用いた設備の異常の判定、及び第３画像Ａ３を用いた設備の異常の判定にも、同様に適用できる。
　処理部２０は、複数の第１画像Ａ１を用いて、例えば、教師無し学習を行う。教師無し学習の具体的な手法としては、主成分分析又はクラスタリングなどを用いることができる。処理部２０は、教師無し学習により生成された、第１画像Ａ１中の設備の異常を判定するためのモデルを、記憶部４０に記憶する。
　図５（ａ）～図５（ｃ）は、設備９０に異常が有る場合の第１動作を例示している。図５（ａ）及び図５（ｂ）は、それぞれ、図３（ａ）及び図３（ｂ）に表した正常時の動作と同じである。図５（ｃ）では、設備９０のアーム９０ａの位置（角度）及びハンド９０ｂの位置が、図３（ｃ）に表した状態と異なる。設備監視システム１は、このような設備９０の動作の変化（異常）を検知する。
　例えば、処理部２０は、新規の第１画像と、過去の複数の第１画像の１つと、の特徴量の差を算出する。過去の複数の第１画像の当該１つは、例えば、新規の第１画像の直前に取得された第１画像である。特徴量の抽出方法（アルゴリズム）としては、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）又はＳＵＲＦ（Speed-Upped Robust Feature）などを用いることができる。処理部２０は、算出された差と、第１閾値と、を比較する。当該差が第１閾値を超えているときに、処理部２０は、新規の第１画像の被写体である設備に異常が有ると判定する。
　第１閾値は、特徴量データに基づいて設定される。例えば、過去の特徴量データを基に、その平均値及び標準偏差を算出する。３σを計算し、それを第１閾値と設定する。機械学習により、設定された第１閾値と、新たに取得された第１画像に基づく特徴量と、が比較され、閾値内に入っているか判定される。
　例えば、図３（ｃ）に表した画像同士の間では、特徴量の差が小さい。図３（ｃ）に表した画像と、図５（ｃ）に表した画像と、では、アーム９０ａ及びハンド９０ｂの位置が大きく異なる。このため、これらの画像の間では特徴量の差が大きく、図５（ｃ）に表した画像中の設備９０が異常と判定される。
　処理部２０は、取得した第１画像をメッシュ処理し、特徴量の差を算出しても良い。メッシュ処理では、各画像が複数のメッシュに分割され、メッシュごとに特徴量が算出される。処理部２０は、新規の第１画像と、過去の第１画像と、の間で、対応するメッシュ同士の間で特徴量の差を算出する。処理部２０は、いずれかのメッシュにおける特徴量の差が第１閾値以上の場合、設備が異常と判定する。第１画像をメッシュ処理することで、第１画像において設備の異常が生じている箇所（メッシュ）を特定できる。
　処理部２０は、第１画像をメッシュ処理する際に、被写体の動きが大きい部分は、より小さなメッシュに分割し、被写体の動きが小さい（又は無い）部分は、大きなメッシュに分割しても良い。こうすることで、特徴量に重み付けすることができ、特徴量の変化を検出し易くなる。画像中における、細かくメッシュ処理する領域と粗くメッシュ処理する領域は、例えば、第１画像と、その直前の画像と、の間の特徴量の変化を基に決定される。
　例えば、処理部２０は、ｎ回目（ｎ＝１、２、３・・・）の第２タイミングで撮影された第２画像を複数のメッシュに分割する。第２タイミングは、第１タイミングの前である。処理部２０は、ｎ回目の第１タイミングで撮影された第１画像を複数のメッシュに分割する。処理部２０は、第１画像と第２画像との間で、対応するメッシュ同士の間の特徴量の差をそれぞれ算出する。特徴量の差が大きいほど、そのメッシュにおける被写体の動きが大きいことを示す。
　処理部２０は、特徴量の差が小さかったメッシュ同士を結合させ、より大きなメッシュとする。処理部２０は、特徴量の差が大きかったメッシュを複数に分割し、より小さなメッシュとする。これにより、被写体の動きが大きい部分ほど、特徴量をより大きく重み付けできる。
　処理部２０は、設備の異常を判定する際に、第１画像に加えて、設備で発生する信号を利用しても良い。例えば、設備９０では、アーム９０ａ及びハンド９０ｂを駆動させる際、設備９０における電圧値又は電流値の変化が生じるとする。この場合、処理部２０は、設備９０における電圧値又は電流値を検出するセンサから、電圧値又は電流値を示す信号を受信する。処理部２０は、受信した信号の強度を、予め設定された第１範囲と比較する。処理部２０は、例えば、新規の第１画像と過去の第１画像との特徴量の差が第１閾値を超え、且つ、信号強度が第１範囲を外れていた場合に、設備９０が異常と判定する。
　設備に異常が生じている場合、典型的には、設備から出力される信号にも異常が生じる。撮影された画像と、設備から出力される信号と、に基づいて設備の異常を判定することで、判定の精度を向上させることができる。これにより、例えば、設備に異常が生じていないにも拘わらず異常と判定される可能性を低減できる。処理部２０は、電圧値及び電流値以外に、例えば、設備における圧力やガス流量などを示す信号を利用し、設備の異常を判定しても良い。
　以上では、処理部２０が、特徴量の差を算出する場合を説明した。この方法に代えて、処理部２０は、新規の第１画像と、過去の複数の第１画像の１つと、の間の類似度を算出しても良い。処理部２０は、算出された類似度と、予め設定された閾値と、を比較する。類似度が閾値未満であるときに、処理部２０は、新規の第１画像の被写体である設備に異常が有ると判定する。
　または、処理部２０は、複数の第１画像をそれぞれメッシュ処理し、対応するメッシュ同士の間の類似度をそれぞれ算出しても良い。処理部２０は、第１画像をメッシュ処理する際に、被写体の動きの大きさに応じて、メッシュの大きさを変化させても良い。処理部２０は、類似度に加えて、設備で発生する信号を異常の判定に用いても良い。
　出力部３０による出力内容は、処理部２０における処理に応じて適宜変更できる。出力部３０は、第１画像において、異常が生じている箇所を具体的に示しても良い。例えば、処理部２０で第１画像がメッシュ処理された場合、第１画像において異常が生じている箇所（メッシュ）を特定できる。出力部３０は、処理部２０により特定された箇所を示す。これにより、設備のどこが設備監視システム１により異常と判定されたか、ユーザが容易に把握できる。
　処理部２０は、設備が異常と判定された際に、異常の分類を判定しても良い。この点について、以下で、図６及び図７を参照して説明する。
　図６（ａ）～図６（ｃ）は、正常な第１動作を表す。図６（ｄ）～図６（ｆ）は、少なくとも一部が異常な第１動作を表す。図６（ａ）と図６（ｄ）は、同じ第３タイミングＴ３で撮影された第３画像Ａ３を表す。図６（ｂ）と図６（ｅ）は、同じ第２タイミングＴ２で撮影された第２画像Ａ２を表す。図６（ｃ）と図６（ｆ）は、同じ第１タイミングＴ１で撮影された第１画像Ａ１を表す。
　ハンド９０ｂとワーク９１との相対的な位置関係は、図６（ａ）と図６（ｄ）の第３画像Ａ３同士の間、及び図６（ｂ）と図６（ｅ）の第２画像Ａ２同士の間で、少し異なっている。図６（ｃ）の第１画像Ａ１と図６（ｆ）の第１画像Ａ１とを対比すると、ハンド９０ｂとワーク９１との相対的な位置関係が大きく異なっている。例えば、処理部２０により、図６（ｄ）及び図６（ｅ）の第３画像Ａ３及び第２画像Ａ２は、正常と判定され、図６（ｆ）の第１画像Ａ１は、異常と判定される。
　処理部２０は、図６（ｆ）を異常と判定すると、その前に撮影された図６（ｄ）及び図６（ｅ）の第３画像Ａ３及び第２画像Ａ２を参照する。処理部２０は、図６（ｄ）及び図６（ｅ）の画像中の設備が、それぞれ、図６（ａ）及び図６（ｂ）の画像中の設備とどの程度ずれているか算出する。ずれは、例えば、特徴量の差で表される。
　又は、処理部２０は、図６（ｄ）の第３画像Ａ３及び図６（ｅ）の第２画像Ａ２の異常判定を行った際の算出結果を参照しても良い。例えば、記憶部４０には、図６（ａ）と図６（ｄ）の第３画像Ａ３同士の間の特徴量の差、及び図６（ｂ）と図６（ｅ）の第２画像Ａ２同士の間の特徴量の差の算出結果が記憶されている。処理部２０は、その算出結果を参照しても良い。
　算出結果から、処理部２０は、他の正常な画像と比べて、図６（ｄ）及び図６（ｅ）の画像中の設備９０にずれが存在することを検出する。すなわち、図６（ｄ）及び図６（ｅ）の画像から、各タイミングで設備９０の動作が少しずつ遅れ、その遅れが蓄積されて、図６（ｆ）の第１画像Ａ１が異常と判定されたことが分かる。このような異常は、例えば、設備の動作の遅れ、と分類される。
　図７（ａ）～図７（ｃ）は、正常な第１動作を表す。図７（ｄ）～図７（ｆ）は、少なくとも一部が異常な第１動作を表す。図７（ａ）～図７（ｃ）は、正常な第１動作を表す。図７（ｄ）～図７（ｆ）は、少なくとも一部が異常な第１動作を表す。図７（ａ）と図７（ｄ）は、同じ第３タイミングＴ３で撮影された第３画像Ａ３を表す。図７（ｂ）と図７（ｅ）は、同じ第２タイミングＴ２で撮影された第２画像Ａ２を表す。図７（ｃ）と図７（ｆ）は、同じ第１タイミングＴ１で撮影された第１画像Ａ１を表す。
　ハンド９０ｂとワーク９１との相対的な位置関係が、図７（ａ）と図７（ｄ）の第３画像Ａ３同士の間、及び図７（ｂ）と図７（ｅ）の第２画像Ａ２同士の間で、同じである。一方、図７（ｃ）と図７（ｆ）を対比すると、ハンド９０ｂとワーク９１との相対的な位置関係が大きく異なっている。処理部２０により、図７（ｄ）の第３画像Ａ３及び図７（ｅ）の第２画像Ａ２は、正常と判定され、図７（ｆ）の第１画像Ａ１は、異常と判定される。
　図７（ｆ）の第１画像Ａ１が異常と判定された際、上述したように、処理部２０は、図７（ｄ）の第３画像Ａ３及び図７（ｅ）の第２画像Ａ２を参照する。処理部２０は、図７（ｄ）及び図７（ｅ）の画像中の被写体を、それぞれ、図７（ａ）及び図７（ｂ）の画像中の被写体と比較する。
　比較の結果から、図７（ｄ）の第３画像Ａ３及び図７（ｅ）の第２画像Ａ２は、それぞれ、他の正常な画像と比べて、ずれが十分に小さいことが検出される。すなわち、図７（ｆ）の第１画像Ａ１が撮影された第１タイミングＴ１でのみ、設備９０の動作（位置）が大きく異なっている。例えば、設備９０が何らかの原因により、図７（ｂ）に表した状態から図７（ｃ）に表した状態へ変化できず、可動域が変化していると考えられる。このような異常は、例えば、設備９０の可動域の変化、と分類される。
　上述した例を換言すると、例えば、処理部２０により、ｎ回目の第１動作において、第１タイミングで撮影された第１画像中の設備が異常と判定される。処理部２０は、ｎ回目の第１動作において、第２タイミングで撮影された第２画像と、ｎ－１回目の第１動作において、第２タイミングで撮影された第２画像と、の比較結果に基づき、異常の分類を決定する。例えば、処理部２０は、ｎ回目の第１動作の第２画像と、ｎ－１回目の第１動作の第２画像と、の間の特徴量の差が、第１閾値未満であり、第２閾値を超えている場合、第１分類の異常が生じていると判定する。第１分類は、設備の動作の遅れである。処理部２０は、特徴量の当該差が第２閾値未満の場合、第２分類の異常が生じていると判定する。第２分類は、設備の可動域の変化である。処理部２０は、その異常の分類を、ユーザに向けて出力する。
　処理部２０は、異常の分類に加えて、ｎ回目の第１動作の第１画像及び第２画像を出力しても良い。異常と判定された第１画像に加えて、正常と判定された第２画像を出力することで、ユーザが異常の詳細を把握し易くなる。処理部２０は、さらに、第１画像が撮影された時刻、第１動作の開始からの時間などを出力しても良い。
　処理部２０は、第１画像において異常と判定された箇所に目印を付すとともに、第２画像において第１画像の異常と関連しうる箇所に目印を付しても良い。こうすることで、ユーザが異常の詳細をより把握し易くなる。
　図８は、実施形態に係る設備監視システムの動作の一例を表すフローチャートである。
　撮像部１０は、第１動作を繰り返す設備について、第１動作の第１タイミングにおける設備を撮影した第１画像を繰り返し取得する（ステップＳ１）。処理部２０は、監視対象の設備の動作に関する情報を取得する（ステップＳ２）。この情報は、例えば、設備から出力される信号である。処理部２０は、新規の第１画像を、過去の複数の第１画像と比較し、機械学習を行う（ステップＳ３）。処理部２０は、新規の第１画像と過去の複数の第１画像との比較結果、及び設備の動作に関する情報に基づき、設備の動作が正常か判定する（ステップＳ４）。
　設備の動作が正常と判定されると、再びステップＳ１が実行される。設備の動作が異常と判定されると、処理部２０は、異常を分類する（ステップＳ５）。処理部２０は、例えば、異常の分類と、異常と判定された第１画像と、を出力する（ステップＳ６）。
　以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。前述の各実施形態は、相互に組み合わせて実施することができる。

Claims (12)

  1. 　第１動作を繰り返す設備について、前記第１動作の第１タイミングにおける前記設備を撮影した第１画像を繰り返し取得する撮像部と、
    　新規の前記第１画像が取得された際に、過去の複数の前記第１画像に基づき、前記新規の第１画像に写された前記設備の異常を判定する処理部と、
    　を備えた設備監視システム。
  2. 　前記処理部は、
    　　前記新規の第１画像と、前記過去の複数の第１画像の１つと、の特徴量の差を算出し、
    　　前記差が第１閾値を超えている場合に、前記新規の第１画像に写された前記設備を異常と判定する
    　請求項１記載の設備監視システム。
  3. 　前記処理部は、
    　　前記新規の第１画像と、前記過去の複数の第１画像の１つと、の特徴量の差を算出し、
    　　前記第１動作に関連する前記設備の第１信号を検出し、
    　　前記差が予め設定された第１閾値を超え、且つ、前記第１信号の強度が第１範囲を外れている場合に、前記新規の第１画像に写された前記設備を異常と判定する
    　請求項１記載の設備監視システム。
  4. 　前記処理部は、
    　　前記新規の第１画像と、前記過去の複数の第１画像の１つと、をそれぞれ複数のメッシュに分割し、
    　　対応する前記メッシュ同士の間の前記特徴量の差をそれぞれ算出し、
    　　いずれかの前記差が、前記第１閾値を超えている場合に、前記新規の第１画像に写された前記設備を異常と判定する
    　請求項２又は３に記載の設備監視システム。
  5. 　前記撮像部は、前記第１動作の第２タイミングにおける前記設備を撮影した第２画像を繰り返し取得し、
    　前記第２タイミングは、前記第１タイミングよりも前であり、
    　前記処理部は、
    　　前記新規の第１画像と、前記新規の第１画像の直前の前記第２画像と、をそれぞれ複数のメッシュに分割し、
    　　対応する前記メッシュ同士の間の前記特徴量の差をそれぞれ算出し、
    　　前記新規の第１画像に含まれる複数のメッシュに対して、前記差が相対的に小さいメッシュ同士を結合させ、前記差が相対的に大きいメッシュを複数に分割する
    　請求項４記載の設備監視システム。
  6. 　前記処理部は、前記新規の第１画像に写された前記設備が異常と判定されたとき、前記設備に対して信号を送信する請求項１～５のいずれか１つに記載の設備監視システム。
  7. 　前記処理部は、前記新規の第１画像に写された前記設備が異常と判定されたとき、前記新規の第１画像を出力する請求項１～６のいずれか１つに記載の設備監視システム。
  8. 　前記撮像部は、前記第１動作の前記第１タイミングよりも前の第２タイミングにおける前記設備を写した第２画像を繰り返し取得し、
    　前記処理部は、前記新規の第１画像に写された前記設備を異常と判定されたとき、前記新規の第１画像の直前の前記第２画像と、過去の別の前記第２画像と、の比較結果に基づき、前記異常を分類する請求項１記載の設備監視システム。
  9. 　前記処理部は、前記新規の第１画像に写された前記設備を異常と判定されたとき、前記新規の第１画像と、前記異常の分類と、を出力する請求項８記載の設備監視システム。
  10. 　前記処理部は、前記直前の第２画像をさらに出力する請求項９記載の設備監視システム。
  11. 　前記処理部は、前記新規の第１画像の一部に異常を示す目印を付して、前記新規の第１画像を出力する請求項７、９、又は１０に記載の設備監視システム。
  12. 　前記撮像部は、前記第１動作の前記第１タイミング以外の少なくとも一部において、前記設備を撮影しない請求項１～１１のいずれか１つに記載の設備監視システム。
PCT/JP2018/035338 2018-03-26 2018-09-25 設備監視システム WO2019187229A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112018007348.3T DE112018007348T5 (de) 2018-03-26 2018-09-25 Geräteüberwachungssystem
US16/565,669 US11062438B2 (en) 2018-03-26 2019-09-10 Equipment monitoring system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-057424 2018-03-26
JP2018057424A JP6805199B2 (ja) 2018-03-26 2018-03-26 設備監視システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/565,669 Continuation US11062438B2 (en) 2018-03-26 2019-09-10 Equipment monitoring system

Publications (1)

Publication Number Publication Date
WO2019187229A1 true WO2019187229A1 (ja) 2019-10-03

Family

ID=68058712

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/035338 WO2019187229A1 (ja) 2018-03-26 2018-09-25 設備監視システム

Country Status (4)

Country Link
US (1) US11062438B2 (ja)
JP (1) JP6805199B2 (ja)
DE (1) DE112018007348T5 (ja)
WO (1) WO2019187229A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020006146A1 (en) * 2018-06-26 2020-01-02 Fanuc America Corporation Augmented reality visualization for robotic picking system
JP6786136B1 (ja) * 2020-04-17 2020-11-18 リンクウィズ株式会社 情報処理方法、情報処理システム、プログラム
WO2024014199A1 (ja) * 2022-07-15 2024-01-18 コニカミノルタ株式会社 画像識別方法、画像識別プログラムおよび画像識別装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH046404A (ja) * 1990-04-25 1992-01-10 Seikosha Co Ltd 画像監視方法
JPH08288642A (ja) * 1995-04-20 1996-11-01 Hochiki Corp プリント配線板実装状態検出装置
JPH09200734A (ja) * 1996-01-12 1997-07-31 Fuji Photo Film Co Ltd 監視装置
JP2007222997A (ja) * 2006-02-24 2007-09-06 Mitsubishi Electric Corp 工具異常検出装置及び工具異常検出システム
JP2017215239A (ja) * 2016-06-01 2017-12-07 ティー・エス・ビー株式会社 太陽電池検査システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4210270B2 (ja) * 2005-06-07 2009-01-14 ファナック株式会社 ロボット制御装置及びロボット制御方法
US20100091103A1 (en) * 2007-04-18 2010-04-15 Metso Minerals Inc. User interface of mineral material processing equipment
JP5622461B2 (ja) * 2010-07-07 2014-11-12 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5803155B2 (ja) * 2011-03-04 2015-11-04 セイコーエプソン株式会社 ロボット位置検出装置及びロボットシステム
LU92763B1 (en) * 2015-07-06 2017-04-03 Luxembourg Inst Science & Tech List Hierarchical tiling method for identifying a type of surface in a digital image
JP6088679B1 (ja) 2016-02-19 2017-03-01 ファナック株式会社 カメラの画像により故障を判定するロボットシステムの故障診断装置
JP6903922B2 (ja) * 2017-01-18 2021-07-14 横浜ゴム株式会社 コンベヤベルトのモニタリングシステム
JP6790861B2 (ja) * 2017-01-20 2020-11-25 オムロン株式会社 検査システム、コントローラ、検査方法、および検査プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH046404A (ja) * 1990-04-25 1992-01-10 Seikosha Co Ltd 画像監視方法
JPH08288642A (ja) * 1995-04-20 1996-11-01 Hochiki Corp プリント配線板実装状態検出装置
JPH09200734A (ja) * 1996-01-12 1997-07-31 Fuji Photo Film Co Ltd 監視装置
JP2007222997A (ja) * 2006-02-24 2007-09-06 Mitsubishi Electric Corp 工具異常検出装置及び工具異常検出システム
JP2017215239A (ja) * 2016-06-01 2017-12-07 ティー・エス・ビー株式会社 太陽電池検査システム

Also Published As

Publication number Publication date
US20200005450A1 (en) 2020-01-02
US11062438B2 (en) 2021-07-13
DE112018007348T5 (de) 2021-04-22
JP2019169021A (ja) 2019-10-03
JP6805199B2 (ja) 2020-12-23

Similar Documents

Publication Publication Date Title
US20160142680A1 (en) Image processing apparatus, image processing method, and storage medium
WO2019187229A1 (ja) 設備監視システム
US10070047B2 (en) Image processing apparatus, image processing method, and image processing system
US10132913B2 (en) Photographing apparatus, photographing method, template creation apparatus, template creation method, and program
US10079976B2 (en) Display processing apparatus and method
CN108810400A (zh) 控制设备、控制方法和记录介质
WO2019187228A1 (ja) 品質監視システム
JP5155110B2 (ja) 監視装置
US20220321792A1 (en) Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
US20200134840A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP6939065B2 (ja) 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法
US11575841B2 (en) Information processing apparatus, imaging apparatus, method, and storage medium
US10789705B2 (en) Quality monitoring system
US20160162754A1 (en) Image processing apparatus and image processing method
TWI510058B (zh) 能推測不正常元件的視訊信號錯誤偵測系統
KR101538978B1 (ko) 감시 카메라 장치 및 이를 이용한 적외전 ｌｅｄ 광원의 이상을 감지하는 방법
JP2018055151A (ja) 炎検出装置及びプログラム
JP2017192114A5 (ja)
JP6702736B2 (ja) 撮像制御装置および撮像装置の制御方法、プログラム
JP7075496B2 (ja) 監視システム及び監視装置
JP7130170B1 (ja) 異常検知プログラム、異常検知装置及び異常検知方法
EP3965073A2 (en) Apparatus, method, and storage medium
JP6833558B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20130287362A1 (en) Recording control apparatus, recording control method, storage medium storing recording control program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18911873

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18911873

Country of ref document: EP

Kind code of ref document: A1