WO2018179221A1 - コンピュータシステム、物体診断方法及びプログラム - Google Patents

コンピュータシステム、物体診断方法及びプログラム Download PDF

Info

Publication number
WO2018179221A1
WO2018179221A1 PCT/JP2017/013254 JP2017013254W WO2018179221A1 WO 2018179221 A1 WO2018179221 A1 WO 2018179221A1 JP 2017013254 W JP2017013254 W JP 2017013254W WO 2018179221 A1 WO2018179221 A1 WO 2018179221A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
result
analysis
image information
correlation
Prior art date
Application number
PCT/JP2017/013254
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
佳雄 奥村
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2017/013254 priority Critical patent/WO2018179221A1/ja
Priority to JP2018522156A priority patent/JPWO2018179221A1/ja
Publication of WO2018179221A1 publication Critical patent/WO2018179221A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Definitions

  • the present invention relates to a computer system, an object diagnosis method, and a program for diagnosing an object.
  • thermo image diagnosis it is possible for an operator to know the temperature distribution without contacting facilities or equipment (see Non-Patent Document 1). Moreover, it is also possible for an operator to grasp the damage or discoloration of facilities or devices by monitoring the visible light image.
  • Non-Patent Document 1 or 2 an abnormality such as a facility or a device is determined only by the acquired image data or non-image data, and a prediction is performed by analyzing a plurality of data resources. There wasn't.
  • the present invention relates to a computer system and an object diagnostic method for analyzing a correlation between possible prediction results (for example, anomalies) from image analysis and a plurality of data resources, and performing prediction with higher accuracy than analysis of a single image. And to provide a program.
  • possible prediction results for example, anomalies
  • the present invention provides the following solutions.
  • the present invention is a computer system for diagnosing an object, Object image acquisition means for acquiring an object image of the object; Object image analysis means for image analysis of the acquired object image; Non-image information acquisition means for acquiring non-image information of the object; A non-image information analyzing means for analyzing the acquired non-image information; Correlation analysis means for analyzing the correlation between the image analysis result and the analysis result; An object diagnostic means for diagnosing the object based on the analyzed result of the correlation; A computer system is provided.
  • a computer system for diagnosing an object acquires an object image of the object, performs image analysis on the acquired object image, acquires information outside the image of the object, and uses the acquired information outside the image. Analyzing and analyzing the correlation between the image analysis result and the analyzed result, and diagnosing the object based on the analyzed correlation result.
  • the present invention is a category of a computer system, but also in other categories such as an object diagnosis method and a program, the same actions and effects according to the category are exhibited.
  • a computer system for analyzing a correlation between possible prediction results from image analysis and a plurality of data resources, and performing prediction with higher accuracy than analysis of a single image. It becomes possible to provide.
  • FIG. 1 is a diagram showing an outline of the object diagnostic system 1.
  • FIG. 2 is an overall configuration diagram of the object diagnostic system 1.
  • FIG. 3 is a functional block diagram of the computer 10.
  • FIG. 4 is a flowchart showing the image analysis learning process executed by the computer 10.
  • FIG. 5 is a flowchart showing a learning process for analyzing out-of-image information executed by the computer 10.
  • FIG. 6 is a flowchart illustrating object diagnosis processing executed by the computer 10. It is.
  • FIG. 1 is a diagram for explaining an outline of an object diagnosis system 1 which is a preferred embodiment of the present invention.
  • the object diagnosis system 1 is a computer system that includes a computer 10 and diagnoses an object.
  • Objects include facilities such as infrastructure, equipment, and devices, buildings such as buildings, houses, and stores, moving objects such as vehicles and trains, electrical appliances, computers, and the like.
  • the object diagnosis system 1 is a computer system that diagnoses piping provided in a factory or facility.
  • the computer 10 is communicably connected to various imaging devices such as a visible light camera, a thermal image camera, an infrared camera, and an ultrasonic camera (not shown), various sensor devices that measure temperature data, flow rate change data, and the like.
  • imaging devices such as a visible light camera, a thermal image camera, an infrared camera, and an ultrasonic camera (not shown), various sensor devices that measure temperature data, flow rate change data, and the like.
  • the computer 10 acquires an object image of an object (step S01).
  • the computer 10 acquires at least one of a visible light image, a thermo image, an infrared image, or an ultrasonic image as an object image.
  • a thermo image of a pipe provided in a factory or facility is acquired.
  • the computer 10 performs image analysis on the acquired object image (step S02).
  • the computer 10 analyzes the feature amount (temperature, luminance, color, particle, shape, etc.) of the object image. For example, the computer 10 analyzes the temperature at each part from the thermo image of the pipe, and analyzes whether it is different from the normal temperature. Note that the computer 10 learns by associating the object image stored in advance with the diagnosis result performed on the object image, and based on the learned result, image analysis is performed on the object image acquired this time. Good.
  • the computer 10 acquires information outside the image of the object (step S03).
  • the computer 10 acquires at least one of temperature data or flow rate change data acquired by various sensor devices as information outside the image. In the following description, it is assumed that temperature data has been acquired.
  • the computer 10 analyzes the acquired out-of-image information (step S04).
  • the computer 10 analyzes whether, for example, temperature data or flow rate change data is different from a normal value.
  • the computer 10 learns by associating the pre-stored non-image information with the diagnosis result performed on the non-image information, and analyzes the non-image information acquired this time based on the learned result. Also good.
  • the computer 10 analyzes the correlation between the image analysis result and the analysis result (step S05). For example, when the computer 10 acquires a result with a normal value as a result of the image analysis and acquires a result with a high temperature abnormality as a result of the analysis, the computer 10 analyzes these correlations.
  • the computer 10 diagnoses the object based on the analyzed correlation result (step S06). For example, the computer 10 determines that there is a temporary temperature rise and no abnormality has occurred based on the analyzed correlation result.
  • FIG. 2 is a diagram showing a system configuration of the object diagnostic system 1 which is a preferred embodiment of the present invention.
  • the object diagnosis system 1 is a computer system that includes a computer 10 and a public line network (Internet network, third generation, fourth generation communication network, etc.) 5 and diagnoses an object.
  • Objects include facilities such as infrastructure, equipment, and devices, buildings such as buildings, houses, and stores, moving objects such as vehicles and trains, electrical appliances, computers, and the like.
  • the computer 10 is the above-described computing device having the functions described later.
  • FIG. 3 is a functional block diagram of the computer 10.
  • the computer 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 11, and a device for enabling communication with other devices as the communication unit 12. For example, a WiFi (Wireless Fidelity) compatible device compliant with IEEE 802.11 is provided.
  • the computer 10 also includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as the storage unit 13. Further, the computer 10 includes, as the processing unit 14, a device for executing various processes such as image processing, state diagnosis, and learning process.
  • control unit 11 reads a predetermined program, thereby realizing the object image acquisition module 20, the diagnosis result acquisition module 21, and the outside image information acquisition module 22 in cooperation with the communication unit 12. Further, in the computer 10, the control unit 11 reads a predetermined program, thereby realizing the storage module 30 in cooperation with the storage unit 13. Further, in the computer 10, the control unit 11 reads a predetermined program, so that the learning module 40, the image analysis module 41, the extra-image information analysis module 42, the correlation analysis module 43, the diagnosis are cooperated with the processing unit 14. A module 44 is realized.
  • FIG. 4 is a flowchart of the image analysis learning process executed by the computer 10. Processing executed by each module described above will be described together with this processing.
  • the object image acquisition module 20 acquires the object image of the object (step S10).
  • the object image acquired by the object image acquisition module 20 is, for example, at least one of a visible light image, a thermo image, an infrared image, and an ultrasonic image.
  • the object image acquisition module 20 may acquire these object images from a corresponding imaging device, or may acquire via a computer or the like (not shown). In the following description, it is assumed that the object image acquisition module 20 has acquired a thermo image of a pipe provided in a factory or facility as an object image.
  • the object image acquisition module 20 may acquire an object image from a database or the like stored in an external computer (not shown).
  • the storage module 30 stores the object image (step S11).
  • the storage module 30 identifies the identifier of the object that acquired the object image this time (object name, management number, preset reference number, identifier that can uniquely identify other objects, etc.), the object image, Are stored in association with each other. Note that the storage module 30 may store only the object image.
  • the diagnosis result acquisition module 21 acquires the diagnosis result of the object corresponding to the object image acquired this time (step S12).
  • the diagnosis result acquisition module 21 acquires a diagnosis result from, for example, an external computer (not shown) that stores a database or the like related to the abnormality of the object, a terminal device held by the worker, or the like.
  • the diagnosis result in the present embodiment is, for example, presence / absence of abnormality, content of abnormality, identification of symptoms, identification of necessary treatment, and the like.
  • the learning module 40 learns by associating the object image stored in the storage module 30 with the diagnosis result acquired by the diagnosis result acquisition module 21 (step S13). In step S13, the learning module 40 learns by associating at least one of the above-described visible light image, thermo image, infrared image, or ultrasonic image with the diagnosis result.
  • the storage module 30 stores the learned result (step S14).
  • the object diagnosis system 1 executes the above-described image analysis learning process a sufficient number of times and stores the learning result.
  • FIG. 5 is a diagram illustrating a flowchart of the extra-image information analysis learning process executed by the computer 10. Processing executed by each module described above will be described together with this processing.
  • the non-image information acquisition module 22 acquires the non-image information of the object (step S20).
  • the non-image information acquired by the non-image information acquisition module 22 is, for example, at least one of temperature data and flow rate change data measured by various sensors.
  • the non-image information acquisition module 22 may acquire these non-image information from various corresponding devices or the like, or may acquire via a computer or the like not shown. In the following description, the non-image information acquisition module 22 will be described as acquiring temperature data as non-image information.
  • the storage module 30 stores information outside the image (step S21).
  • the storage module 30 associates the identifier of the object that acquired the information outside the image this time (the name of the object, the management number, a preset reference number, an identifier that can uniquely identify other objects, etc.) and the information outside the image. Add and remember. Note that the storage module 30 may store only non-image information.
  • the diagnosis result acquisition module 21 acquires the diagnosis result of the object corresponding to the information outside the image acquired this time (step S22).
  • the diagnosis result acquisition module 21 acquires a diagnosis result from, for example, an external computer (not shown) that stores a database or the like regarding the abnormality of the object, a terminal device owned by an operator, or the like.
  • the diagnosis result in the present embodiment is, for example, presence / absence of abnormality, content of abnormality, identification of symptoms, identification of necessary treatment, and the like.
  • the learning module 40 learns by associating the non-image information stored in the storage module 30 with the diagnosis result acquired by the diagnosis result acquisition module 21 (step S23). In step S23, the learning module 40 learns by associating at least one of the above-described temperature data or flow rate change data with the diagnosis result.
  • the storage module 30 stores the learned result (step S24).
  • the object diagnosis system 1 executes the above-described outside-image information analysis learning process a sufficient number of times, and stores the learning result.
  • the above is the learning process for analyzing information outside the image.
  • FIG. 6 is a diagram illustrating a flowchart of object diagnosis processing executed by the computer 10. Processing executed by each module described above will be described together with this processing.
  • the object diagnosis system 1 is described as diagnosing an object based on a thermo image of piping and temperature data.
  • the object image acquisition module 20 acquires the object image of the object (step S30).
  • the object image acquired by the object image acquisition module 20 acquires, for example, at least one of a visible light image, a thermo image, an infrared image, or an ultrasonic image.
  • the object image acquisition module 20 may acquire these object images from a corresponding imaging device, or may acquire via a computer or the like (not shown).
  • the image analysis module 41 performs image analysis on the acquired object image (step S31).
  • step S31 the object image is image-analyzed based on the result learned by the learning module 40.
  • the image analysis module 41 analyzes the feature amount (temperature, luminance, color, particle, shape, etc.) of the object image acquired this time.
  • the image analysis module 41 analyzes a plurality of candidates such as image parts and features necessary for making a diagnosis from the learning result. For example, the image analysis module 41 analyzes the temperature at each part and analyzes whether it is different from the normal temperature. Further, the image analysis module 41 analyzes the RGB values of the object image.
  • the image analysis module 41 analyzes the shape by executing edge extraction or the like.
  • the image analysis module 41 analyzes temperature abnormality and fluid flow rate change from the object image, and analyzes temperature abnormality, heat dissipation loss, and fluid flow rate.
  • the image analysis module 41 is not necessarily limited to identifying an abnormality as a result of image analysis, and may only obtain information for diagnosis described later.
  • the image analysis module 41 may obtain preliminary information for diagnosis from the result of image analysis.
  • the non-image information acquisition module 22 acquires the non-image information of the object (step S32). In step S32, the non-image information acquisition module 22 acquires at least one of temperature data or flow rate change data measured by various sensor devices as the non-image information. The non-image information acquisition module 22 may acquire these non-image information from various corresponding devices or the like, or may acquire via a computer or the like not shown.
  • the non-image information analysis module 42 analyzes the acquired non-image information (step S33).
  • step S33 the non-image information analysis module 42 analyzes the non-image information based on the result learned by the learning module 40.
  • the extra-image information analysis module 42 analyzes a plurality of candidates for extra-image information necessary for making a diagnosis from the learned result.
  • the out-of-image information analysis module 42 determines, for example, whether the out-of-image information is a temporary temperature change, whether it is a partial temperature change, or whether the flow rate change is different from the original fluid. Analyze whether or not.
  • the non-image information analysis module 42 acquires temperature data as, for example, non-image information, and analyzes that there is a possibility that some abnormality has occurred when the temperature data is not normal.
  • the non-image information analysis module 42 is not necessarily limited to identifying an abnormality as a result of the analysis, and may only obtain information for diagnosis described later. For example, the extra-image information analysis module 42 may obtain preliminary information for diagnosis from the analysis
  • the correlation analysis module 43 analyzes the correlation between the result of the image analysis by the image analysis module 41 and the result of the analysis by the extra-image information analysis module 42 (step S34).
  • step S34 for example, as a result of image analysis performed by the image analysis module 41, the correlation analysis module 43 analyzes an analysis result that only the vicinity of the temperature sensor has a high temperature and the other temperature is a normal temperature, and an off-image information analysis.
  • the correlation analysis module 43 analyzes the result of image analysis by the image analysis module 41, the analysis result that other objects are attached around the temperature sensor, and the result of analysis by the outside image information analysis module 42.
  • the correlation analysis module 43 blows out steam as a result of analysis by the image analysis module 41 as a result of image analysis by the image analysis module 41 and as a result of analysis by the non-image information analysis module 42 as a result of analysis. Analyze the correlation with the analysis result that the water supply is abnormal value.
  • the correlation analysis module 43 analyzes the correlation as a score. That is, the correlation analysis module 43 evaluates as a score how much the diagnosis obtained from the analysis result and the diagnosis obtained from the analysis result have a correlation.
  • the correlation analysis module 43 evaluates the degree of correlation between the diagnosis results of the respective items obtained as a result of the analysis and the diagnosis results of the respective items obtained as a result of the analysis.
  • the correlation analysis module 43 evaluates a high correlation as a high score, and evaluates a low correlation as a low score.
  • the diagnosis module 44 diagnoses an object based on the analyzed correlation result (step S35).
  • step S ⁇ b> 35 the diagnosis module 44 specifies the presence / absence of an abnormality of the object based on the combination of the evaluation results having the highest score as the result of the analyzed correlation. For example, the diagnostic module 44 determines that the current object has a temporary temperature rise based on the result of the image analysis described above, the result of the analysis of non-image information described above, and the result of the analysis of the correlation. Identify it as not abnormal.
  • the diagnostic module 44 specifies that another object (for example, a fallen object such as a stone) is attached to the periphery of the temperature sensor, so that the temperature has dropped due to a part of the heat being removed. . Further, the diagnosis module 44 specifies that the current object is not an abnormal flow rate.
  • the learning module 40 learns the current diagnosis result in association with the object image and the information outside the image (step S36).
  • the storage module 30 stores the learned result (step S37).
  • the computer 10 performs a diagnosis in consideration of the result learned this time at the subsequent diagnosis.
  • the computer 10 may transmit the diagnosis result to a terminal device or the like owned by an operator (not shown).
  • the diagnosis result may be transmitted to this terminal device.
  • various information such as a specific treatment method and a risk level may be transmitted together with the diagnosis result.
  • the terminal device that has received the various types of information may notify the various types of information by display or voice.
  • the above is the object diagnosis process.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided, for example, in a form (SaaS: Software as a Service) provided from a computer via a network.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Biochemistry (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

【課題】画像解析と複数のデータリソースとから、起こりえる予測結果の相関関係を解析し、単体の画像の解析よりも高度な精度の予測を行うコンピュータシステム、物体診断方法及びプログラムを提供することを目的とする。 【解決手段】物体を診断するコンピュータシステムは、前記物体の物体画像を取得し、取得した前記物体画像を画像解析し、前記物体の画像外情報を取得し、取得した前記画像外情報を分析し、前記画像解析した結果と、前記分析した結果との相関関係を分析し、分析した前記相関関係の結果に基づいて、前記物体を診断する。

Description

コンピュータシステム、物体診断方法及びプログラム
 本発明は、物体を診断するコンピュータシステム、物体診断方法及びプログラムに関する。
 近年、画像診断により、インフラとなる道路や工場の施設や配管や装置等を診断する方法が知られている。例えば、サーモ画像診断では、作業者が施設や装備等に接触せずに温度分布を知ることが可能である(非特許文献1参照)。また、作業者が可視光画像を監視することにより、施設や装置等の破損や変色等を把握することも可能である。1
 一方、工場や施設では、画像外データ(配管の温度データ、配管を流れる流体の流量変化データ)等の画像とは異なる外部リソースとなるデータで、施設や装備等の診断を行うことも可能となっている(非特許文献2参照)。
http://www.tts-inspection.com/ja/inspection/samo_seikiki01.html http://www.fish-jfrca.jp/02/pdf/pamphlet/075.pdf
 しかしながら、非特許文献1又は2の構成では、取得できた画像データ又は画像外データのみで施設や装置等の異常を判定するものであり、複数のデータリソースを解析して、予測を行うものではなかった。
 本発明は、画像解析と複数のデータリソースとから、起こりえる予測結果(例えば、異常)の相関関係を解析し、単体の画像の解析よりも高度な精度の予測を行うコンピュータシステム、物体診断方法及びプログラムを提供することを目的とする。
 本発明では、以下のような解決手段を提供する。
 本発明は、物体を診断するコンピュータシステムであって、
 前記物体の物体画像を取得する物体画像取得手段と、
 取得した前記物体画像を画像解析する物体画像解析手段と、
 前記物体の画像外情報を取得する画像外情報取得手段と、
 取得した前記画像外情報を分析する画像外情報分析手段と、
 前記画像解析した結果と、前記分析した結果との相関関係を分析する相関関係分析手段と、
 分析した前記相関関係の結果に基づいて、前記物体を診断する物体診断手段と、
 を備えることを特徴とするコンピュータシステムを提供する。
 本発明によれば、物体を診断するコンピュータシステムは、前記物体の物体画像を取得し、取得した前記物体画像を画像解析し、前記物体の画像外情報を取得し、取得した前記画像外情報を分析し、前記画像解析した結果と、前記分析した結果との相関関係を分析し、分析した前記相関関係の結果に基づいて、前記物体を診断する。
 本発明は、コンピュータシステムのカテゴリであるが、物体診断方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
 本発明によれば、画像解析と複数のデータリソースとから、起こりえる予測結果の相関関係を解析し、単体の画像の解析よりも高度な精度の予測を行うコンピュータシステム、物体診断方法及びプログラムを提供することが可能となる。
図1は、物体診断システム1の概要を示す図である。 図2は、物体診断システム1の全体構成図である。 図3は、コンピュータ10の機能ブロック図である。 図4は、コンピュータ10が実行する画像解析用学習処理を示すフローチャートである。 図5は、コンピュータ10が実行する画像外情報分析用学習処理を示すフローチャートである。 図6は、コンピュータ10が実行する物体診断処理を示すフローチャートである。である。
 以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
 [物体診断システム1の概要]
 本発明の好適な実施形態の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態である物体診断システム1の概要を説明するための図である。物体診断システム1は、コンピュータ10から構成され、物体を診断するコンピュータシステムである。物体には、インフラ等の施設、設備、装置に加え、ビルや家、店舗等の建築物や、車両、電車等の移動体や、電化製品、コンピュータ等が含まれる。本実施形態において、物体診断システム1は、工場や施設等に設けられた配管を診断するコンピュータシステムである。
 コンピュータ10は、図示していない可視光カメラ、熱画像カメラ、赤外線カメラ、超音波カメラ等の各種撮像装置等や、温度データ、流量変化データ等を計測する各種センサ装置等に通信可能に接続された計算装置である。
 はじめに、コンピュータ10は、物体の物体画像を取得する(ステップS01)。コンピュータ10は、物体画像として、可視光画像、サーモ画像、赤外線画像又は超音波画像の少なくとも一つを取得する。以下の説明において、工場や施設等に設けられた配管のサーモ画像を取得したものとして説明する。
 コンピュータ10は、取得した物体画像を画像解析する(ステップS02)。コンピュータ10は、物体画像の特徴量(温度、輝度、色彩、粒子、形状等)を解析する。コンピュータ10は、例えば、配管のサーモ画像から、各部位における温度を分析し、通常の温度と異なっているか等について解析する。なお、コンピュータ10は、予め記憶した物体画像と、この物体画像に対して行われた診断結果とを対応付けて学習し、学習した結果に基づいて、今回取得した物体画像を画像解析してもよい。
 コンピュータ10は、物体の画像外情報を取得する(ステップS03)。コンピュータ10は、画像外情報として、各種センサ装置が取得する温度データ又は流量変化データの少なくとも一つを取得する。以下の説明において、温度データを取得したものとして説明する。
 コンピュータ10は、取得した画像外情報を分析する(ステップS04)。コンピュータ10は、例えば、温度データ又は流量変化データ等が、正常な値と異なっているか等について分析する。なお、コンピュータ10は、予め記憶した画像外情報とこの画像外情報に対して行われた診断結果とを対応付けて学習し、学習した結果に基づいて、今回取得した画像外情報を分析してもよい。
 コンピュータ10は、画像解析した結果と、分析した結果との相関関係を分析する(ステップS05)。コンピュータ10は、例えば、画像解析の結果として、通常の値との結果を取得し、分析した結果として、高温異常との結果を取得した場合、これらの相関関係を分析する。
 コンピュータ10は、分析した相関関係の結果に基づいて、物体を診断する(ステップS06)。コンピュータ10は、例えば、分析した相関関係の結果に基づいて、一時的な温度上昇であり、異常は発生していないと決定する。
 以上が、物体診断システム1の概要である。
 [物体診断システム1のシステム構成]
 図2に基づいて、本発明の好適な実施形態である物体診断システム1のシステム構成について説明する。図2は、本発明の好適な実施形態である物体診断システム1のシステム構成を示す図である。物体診断システム1は、コンピュータ10、公衆回線網(インターネット網や、第3、第4世代通信網等)5から構成され、物体を診断するコンピュータシステムである。物体には、インフラ等の施設、設備、装置に加え、ビルや家、店舗等の建築物や、車両、電車等の移動体や、電化製品、コンピュータ等が含まれる。
 コンピュータ10は、後述の機能を備えた上述した計算装置である。
 [各機能の説明]
 図3に基づいて、本発明の好適な実施形態である物体診断システム1の機能について説明する。図3は、コンピュータ10の機能ブロック図を示す図である。
 コンピュータ10は、制御部11として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部12として、他の機器と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイスを備える。また、コンピュータ10は、記憶部13として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ10は、処理部14として、画像処理、状態診断、学習処理等の各種処理を実行するためのデバイス等を備える。
 コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、通信部12と協働して、物体画像取得モジュール20、診断結果取得モジュール21、画像外情報取得モジュール22を実現する。また、コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、記憶部13と協働して、記憶モジュール30を実現する。また、コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、処理部14と協働して、学習モジュール40、画像解析モジュール41、画像外情報分析モジュール42、相関関係分析モジュール43、診断モジュール44を実現する。
 [画像解析用学習処理]
 図4に基づいて、物体診断システム1が実行する画像解析用学習処理について説明する。図4は、コンピュータ10が実行する画像解析用学習処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
 物体画像取得モジュール20は、物体の物体画像を取得する(ステップS10)。ステップS10において、物体画像取得モジュール20が取得する物体画像とは、例えば、可視光画像、サーモ画像、赤外線画像又は超音波画像の少なくとも一つである。物体画像取得モジュール20は、これらの物体画像を、対応する撮像装置から取得してもよいし、図示していないコンピュータ等を介して取得してもよい。以下の説明において、物体画像取得モジュール20は、物体画像として、工場や施設等に設けられた配管のサーモ画像を取得したものとして説明する。
 なお、物体画像取得モジュール20は、図示していない外部コンピュータ等に記憶されたデータベース等から、物体画像を取得してもよい。
 記憶モジュール30は、物体画像を記憶する(ステップS11)。ステップS11において、記憶モジュール30は、今回物体画像を取得した物体の識別子(物体の名称、管理番号、予め設定された整理番号、その他の物体を一意に特定可能な識別子等)と、物体画像とを対応付けて記憶する。なお、記憶モジュール30は、物体画像のみを記憶してもよい。
 診断結果取得モジュール21は、今回取得した物体画像に該当する物体の診断結果を取得する(ステップS12)。ステップS12において、診断結果取得モジュール21は、例えば、物体の異常に関するデータベース等を記憶する図示していない外部コンピュータや、作業者が保有する端末装置等から、診断結果を取得する。本実施形態における診断結果とは、例えば、異常の有無、異常の内容、症状の特定、必要な処置の特定等である。
 学習モジュール40は、記憶モジュール30が記憶した物体画像と、診断結果取得モジュール21が取得した診断結果とを対応付けて学習する(ステップS13)。ステップS13において、学習モジュール40は、上述した可視光画像、サーモ画像、赤外線画像又は超音波画像の少なくとも一つを診断結果と対応付けて学習する。
 記憶モジュール30は、学習した結果を、記憶する(ステップS14)。
 物体診断システム1は、上述した画像解析用学習処理を、十分な回数実行し、学習した結果を記憶する。
 以上が、画像解析用学習処理である。
 [画像外情報分析用学習処理]
 図5に基づいて、物体診断システム1が実行する画像外情報分析用学習処理について説明する。図5は、コンピュータ10が実行する画像外情報分析用学習処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
 画像外情報取得モジュール22は、物体の画像外情報を取得する(ステップS20)。ステップS20において、画像外情報取得モジュール22が取得する画像外情報とは、例えば、各種センサが計測する温度データ又は流量変化データの少なくとも一つである。画像外情報取得モジュール22は、これらの画像外情報を、対応する各種装置等から取得してもよいし、図示していないコンピュータ等を介して取得してもよい。以下の説明において、画像外情報取得モジュール22は、画像外情報として、温度データを取得するものとして説明する。
 記憶モジュール30は、画像外情報を記憶する(ステップS21)。記憶モジュール30は、今回画像外情報を取得した物体の識別子(物体の名称、管理番号、予め設定された整理番号、その他の物体を一意に特定可能な識別子等)と、画像外情報とを対応付けて記憶する。なお、記憶モジュール30は、画像外情報のみを記憶してもよい。
 診断結果取得モジュール21は、今回取得した画像外情報に該当する物体の診断結果を取得する(ステップS22)。ステップS22において、診断結果取得モジュール21は、例えば、物体の異常に関するデータベース等を記憶する図示していない外部コンピュータや、作業者が保有する端末装置等から、診断結果を取得する。本実施形態における診断結果とは、例えば、異常の有無、異常の内容、症状の特定、必要な処置の特定等である。
 学習モジュール40は、記憶モジュール30が記憶した画像外情報と、診断結果取得モジュール21が取得した診断結果とを対応付けて学習する(ステップS23)。ステップS23において、学習モジュール40は、上述した温度データ又は流量変化データの少なくとも一つを診断結果と対応付けて学習する。
 記憶モジュール30は、学習した結果を、記憶する(ステップS24)。
 物体診断システム1は、上述した画像外情報分析用学習処理を、十分な回数実行し、学習した結果を記憶する。
 以上が、画像外情報分析用学習処理である。
 [物体診断処理]
 図6に基づいて、物体診断システム1が実行する物体診断処理について説明する。図6は、コンピュータ10が実行する物体診断処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。なお、以下の説明において、物体診断システム1は、配管のサーモ画像及び温度データに基づいて物体を診断するものとして説明する。
 物体画像取得モジュール20は、物体の物体画像を取得する(ステップS30)。ステップS30において、物体画像取得モジュール20が取得する物体画像とは、例えば、可視光画像、サーモ画像、赤外線画像又は超音波画像の少なくとも一つを取得する。物体画像取得モジュール20は、これらの物体画像を、対応する撮像装置から取得してもよいし、図示していないコンピュータ等を介して取得してもよい。
 画像解析モジュール41は、取得した物体画像を画像解析する(ステップS31)。ステップS31において、学習モジュール40が学習した結果に基づいて、物体画像を画像解析する。画像解析モジュール41は、今回取得した物体画像の特徴量(温度、輝度、色彩、粒子、形状等)を解析する。画像解析モジュール41は、学習した結果から、診断を下すために必要な画像の部位や特徴等の複数の候補を解析する。画像解析モジュール41は、例えば、各部位における温度を分析し、通常の温度と異なっているかを解析する。また、画像解析モジュール41は、物体画像のRGB値を解析する。また、画像解析モジュール41は、エッジ抽出等を実行することにより、形状を解析する。画像解析モジュール41は、例えば、物体画像から、温度の異常、流体の流量変化を分析し、温度異常、放熱ロス、流体の流量を解析する。画像解析モジュール41は、画像解析の結果として、必ずしも異常の特定を行うものに限らず、後述する診断のための情報を得ることのみであってもよい。例えば、画像解析モジュール41は、診断のための予備情報を画像解析の結果から得てもよい。
 画像外情報取得モジュール22は、物体の画像外情報を取得する(ステップS32)。ステップS32において、画像外情報取得モジュール22は、画像外情報として、各種センサ装置が計測した、温度データ又は流量変化データの少なくとも一つを取得する。画像外情報取得モジュール22は、これらの画像外情報を、対応する各種装置等から取得してもよいし、図示していないコンピュータ等を介して取得してもよい。
 画像外情報分析モジュール42は、取得した画像外情報を分析する(ステップS33)。ステップS33において、画像外情報分析モジュール42は、学習モジュール40が学習した結果に基づいて、画像外情報を分析する。画像外情報分析モジュール42は、学習した結果から、診断を下すために必要な画像外情報の複数の候補を分析する。画像外情報分析モジュール42は、例えば、画像外情報が、一時的な温度変化であるか否か、部分的な温度変化であるか否か、流量変化が流体そのもとは異なる原因があるか否かを分析する。画像外情報分析モジュール42は、例えば、画像外情報として、温度データを取得し、この温度データが正常でない場合、何らかの異常が発生している可能性があると分析する。画像外情報分析モジュール42は、分析の結果として、必ずしも、異常の特定を行うものに限らず、後述する診断のための情報を得ることのみであってもよい。例えば、画像外情報分析モジュール42は、診断のための予備情報を分析の結果から得てもよい。
 相関関係分析モジュール43は、画像解析モジュール41が画像解析した結果と、画像外情報分析モジュール42が分析した結果との相関関係を分析する(ステップS34)。ステップS34において、例えば、相関関係分析モジュール43は、画像解析モジュール41が画像解析した結果として、温度センサ周辺のみが高温でありそれ以外は通常の温度であったとの解析結果と、画像外情報分析モジュール42が分析した結果として、温度データが異常な値であったとの分析結果との相関関係を分析する。また、相関関係分析モジュール43は、画像解析モジュール41が画像解析した結果として、温度センサの周辺に他の物体が付着しているとの解析結果と、画像外情報分析モジュール42が分析した結果として、温度データが異常な値であったとの分析結果との相関関係を分析する。また、相関関係分析モジュール43は、画像解析モジュール41が画像解析した結果として、蒸気の吹出流量が異常であるとの解析結果と、画像外情報分析モジュール42が分析した結果として、蒸気を吹き出すための供給水が異常な値であるとの分析結果との相関関係を分析する。ここで、相関関係分析モジュール43は、相関関係をスコアとして分析する。すなわち、相関関係分析モジュール43は、解析結果から得られた診断と、分析結果から得られた診断とがどの程度相関があるかをスコアとして評価する。相関関係分析モジュール43は、上述した画像解析の結果得られた各項目の診断結果の其々に対して、分析の結果得られた各項目の診断結果との相関の程度を評価する。相関関係分析モジュール43は、相関関係が高いものを高スコアとして評価し、相関関係が低いものを低スコアとして評価する。
 診断モジュール44は、分析した相関関係の結果に基づいて、物体を診断する(ステップS35)。ステップS35において、診断モジュール44は、分析した相関関係の結果として、スコアが最も高い評価の診断結果の組み合わせに基づいて、物体の異常の有無を特定する。例えば、診断モジュール44は、上述した画像解析の結果と、上述した画像外情報の分析の結果と、その相関関係の分析の結果とに基づいて、今回の物体は、一時的な温度上昇であり、異常ではないと特定する。また、診断モジュール44は、今回の物体は、温度センサの周辺に他の物体(例えば、石等の落下物)が付着していたので、一部だけ熱を奪われ温度が下がっていたと特定する。また、診断モジュール44は、今回の物体は、流量過多の異常ではないと特定する。
 学習モジュール40は、今回の診断結果を物体画像と画像外情報とに対応付けて学習する(ステップS36)。
 記憶モジュール30は、学習した結果を記憶する(ステップS37)。コンピュータ10は、次以降の診断の際に、今回学習した結果も加味した診断を行う。
 なお、コンピュータ10は、診断結果を、図示してない作業者が保有する端末装置等に送信してもよい。この場合、予め登録された端末装置からの要求や診断の結果、異常が発見された場合等において、この端末装置に対して、診断結果を送信すればよい。このとき、診断結果とともに、具体的な処置の方法、危険度等の各種情報を合わせて送信してもよい。この各種情報を受信した端末装置は、各種情報を表示又は音声等により通知してもよい。
 以上が、物体診断処理である。
 上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される(SaaS:ソフトウェア・アズ・ア・サービス)形態で提供される。また、プログラムは、例えば、フレキシブルディスク、CD(CD-ROMなど)、DVD(DVD-ROM、DVD-RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
 以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
 1 物体診断システム10 コンピュータ

Claims (6)

  1.  物体を診断するコンピュータシステムであって、
     前記物体の物体画像を取得する物体画像取得手段と、
     取得した前記物体画像を画像解析する物体画像解析手段と、
     前記物体の画像外情報を取得する画像外情報取得手段と、
     取得した前記画像外情報を分析する画像外情報分析手段と、
     前記画像解析した結果と、前記分析した結果との相関関係を分析する相関関係分析手段と、
     分析した前記相関関係の結果に基づいて、前記物体を診断する物体診断手段と、
     を備えることを特徴とするコンピュータシステム。
  2.  前記物体画像解析手段は、予め記憶した物体画像と診断結果とを対応付けて学習し、学習した結果に基づいて、前記物体画像を画像解析する、
     ことを特徴とする請求項1に記載のコンピュータシステム。
  3.  前記画像外情報分析手段は、予め記憶した画像外情報と診断結果とを対応付けて学習し、学習した結果に基づいて、前記画像外情報を分析する、
     ことを特徴とする請求項1に記載のコンピュータシステム。
  4.  前記物体画像解析手段は、予め記憶した可視光画像又はサーモ画像の少なくとも一つを診断結果と対応付けて学習し、
     前記画像外情報分析手段は、予め記憶した温度データ又は流量変化データの少なくとも一つを診断結果と対応付けて学習する、
     ことを特徴とする請求項1に記載のコンピュータシステム。
  5.  物体を診断する物体診断方法であって、
     前記物体の物体画像を取得するステップと、
     取得した前記物体画像を画像解析するステップと、
     前記物体の画像外情報を取得するステップと、
     取得した前記画像外情報を分析するステップと、
     前記画像解析した結果と、前記分析した結果との相関関係を分析するステップと、
     分析した前記相関関係の結果に基づいて、前記物体を診断するステップと、
     を備えることを特徴とする物体診断方法。
  6.  物体を診断するコンピュータシステムに、
     前記物体の物体画像を取得するステップ、
     取得した前記物体画像を画像解析するステップ、
     前記物体の画像外情報を取得するステップ、
     取得した前記画像外情報を分析するステップ、
     前記画像解析した結果と、前記分析した結果との相関関係を分析するステップ、
     分析した前記相関関係の結果に基づいて、前記物体を診断するステップ、
     を実行させるためのプログラム。
PCT/JP2017/013254 2017-03-30 2017-03-30 コンピュータシステム、物体診断方法及びプログラム WO2018179221A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/013254 WO2018179221A1 (ja) 2017-03-30 2017-03-30 コンピュータシステム、物体診断方法及びプログラム
JP2018522156A JPWO2018179221A1 (ja) 2017-03-30 2017-03-30 コンピュータシステム、物体診断方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/013254 WO2018179221A1 (ja) 2017-03-30 2017-03-30 コンピュータシステム、物体診断方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2018179221A1 true WO2018179221A1 (ja) 2018-10-04

Family

ID=63674462

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013254 WO2018179221A1 (ja) 2017-03-30 2017-03-30 コンピュータシステム、物体診断方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2018179221A1 (ja)
WO (1) WO2018179221A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210153851A (ko) * 2020-06-11 2021-12-20 한국생산기술연구원 딥러닝 기반 열전대 온도센서 실측을 통한 측정대상의 전체 온도 분포 예측 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006042962A (ja) * 2004-08-02 2006-02-16 Matsushita Electric Ind Co Ltd 携帯端末装置、当該携帯端末装置を用いた対話式診察システム及び診察用データ通信方法
JP2006084425A (ja) * 2004-09-17 2006-03-30 Tokyo Institute Of Technology マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法
WO2009041534A1 (ja) * 2007-09-25 2009-04-02 Gifu University 磁気共鳴イメージング装置及びその作動方法、画像診断システム並びに診断方法
JP2010256219A (ja) * 2009-04-27 2010-11-11 Shiseido Co Ltd 「ニキビ」のリスク評価法
WO2015060376A1 (ja) * 2013-10-23 2015-04-30 日立マクセル株式会社 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001678A1 (ja) * 2011-06-30 2013-01-03 パナソニック株式会社 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
JP6450085B2 (ja) * 2014-04-14 2019-01-09 フェムトディプロイメンツ株式会社 健康状態検査装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006042962A (ja) * 2004-08-02 2006-02-16 Matsushita Electric Ind Co Ltd 携帯端末装置、当該携帯端末装置を用いた対話式診察システム及び診察用データ通信方法
JP2006084425A (ja) * 2004-09-17 2006-03-30 Tokyo Institute Of Technology マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法
WO2009041534A1 (ja) * 2007-09-25 2009-04-02 Gifu University 磁気共鳴イメージング装置及びその作動方法、画像診断システム並びに診断方法
JP2010256219A (ja) * 2009-04-27 2010-11-11 Shiseido Co Ltd 「ニキビ」のリスク評価法
WO2015060376A1 (ja) * 2013-10-23 2015-04-30 日立マクセル株式会社 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NIMURA YUKITAKA ET AL.: "A study on quantifying emphysema severity by using multi-class classifier based on combining CT image and spirometric measurements", IEICE TECHNICAL REPORT, vol. 110, no. 121, 2 July 2010 (2010-07-02), pages 57 - 62 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210153851A (ko) * 2020-06-11 2021-12-20 한국생산기술연구원 딥러닝 기반 열전대 온도센서 실측을 통한 측정대상의 전체 온도 분포 예측 장치 및 방법
KR102452394B1 (ko) * 2020-06-11 2022-10-11 한국생산기술연구원 딥러닝 기반 열전대 온도센서 실측을 통한 측정대상의 전체 온도 분포 예측 장치 및 방법

Also Published As

Publication number Publication date
JPWO2018179221A1 (ja) 2019-04-11

Similar Documents

Publication Publication Date Title
KR102017561B1 (ko) 기계학습 기법에 기반한 기계의 오류 데이터를 검출하기 위한 알고리즘 및 방법
JP6356920B2 (ja) 故障診断装置、故障診断方法、及び故障診断プログラム
US11580629B2 (en) System and method for determining situation of facility by imaging sensing data of facility
JP6441546B2 (ja) コンピュータシステム、物体の診断方法及びプログラム
CN103954011B (zh) 空调机组的室内、外机匹配方法和装置以及空调机组
US8908046B1 (en) Reliability determination of camera fault detection tests
CN108875857B (zh) 巡检方法、装置及系统
WO2018179221A1 (ja) コンピュータシステム、物体診断方法及びプログラム
US20210397837A1 (en) Apparatus for monitoring a switchgear
WO2018179219A1 (ja) コンピュータシステム、動物診断方法及びプログラム
EP3706270B1 (en) Artificial intelligence monitoring system using infrared images to identify hotspots in a switchgear
CN115618427B (zh) 数据上链方法、装置及数据平台
JP2009193207A (ja) 情報採取手順管理システム
WO2018179421A1 (ja) コンピュータシステム、人工物診断方法及びプログラム
WO2018003028A1 (ja) ボイラーの故障判定装置、故障判定方法およびサービス方法
WO2018179220A1 (ja) コンピュータシステム、植物診断方法及びプログラム
JP6554129B2 (ja) 保守管理システム
CN112650557A (zh) 一种命令执行方法以及装置
JP7375909B2 (ja) 設備診断システム、及び、設備診断方法
WO2017124926A1 (zh) 传感器测试方法及装置
US10990299B2 (en) Storing data based on the physical accessibility of data storage devices
TWI792086B (zh) 行動式設備診斷裝置及設備診斷資訊顯示方法
US20220196737A1 (en) Test assistance device, test assistance method and storage medium storing program
US10481968B2 (en) Method and system for determining and reporting equipment operating conditions and health status
KR20240014123A (ko) 인공지능과 신속진단키트 융복합 기반 성병 검사 보조 장치 및 그 동작방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018522156

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17902894

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17902894

Country of ref document: EP

Kind code of ref document: A1