WO2020162465A1 - 診断システム、診断装置、診断方法及び診断プログラム - Google Patents
診断システム、診断装置、診断方法及び診断プログラム Download PDFInfo
- Publication number
- WO2020162465A1 WO2020162465A1 PCT/JP2020/004183 JP2020004183W WO2020162465A1 WO 2020162465 A1 WO2020162465 A1 WO 2020162465A1 JP 2020004183 W JP2020004183 W JP 2020004183W WO 2020162465 A1 WO2020162465 A1 WO 2020162465A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- diagnostic
- data
- unit
- score
- feature
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N17/00—Investigating resistance of materials to the weather, to corrosion, or to light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
Definitions
- the present invention relates to a diagnostic system, a diagnostic device, a diagnostic method, and a diagnostic program.
- Non-Patent Document 1 As a method of evaluating the degree of deterioration of a steel material that causes deterioration such as corrosion, the appearance of the steel material is photographed, and based on the hue and saturation of the surface of the steel material displayed in the photographed image, image processing and mechanical A method for evaluating the degree of deterioration of steel by learning is known (for example, Non-Patent Document 1).
- the image used for evaluation is obtained by an inspector or the like taking an image of the inspection target using a mobile device such as a digital camera, a smartphone or a tablet terminal. Therefore, there is a problem in that the images used for evaluation tend to vary in appropriateness as evaluation data depending on the skill of the inspector.
- image processing if the image to be judged is not an effective image for diagnosing deterioration of steel, the accuracy of image deterioration is low even if the accuracy of image processing is high.
- the problem is that In particular, when evaluating deterioration of steel by machine learning, the accuracy of the model used for machine learning does not improve when the image to be diagnosed is not an image suitable for deterioration of steel, and the accuracy of determining the degree of deterioration of the entire steel is low. turn into. Such a problem may occur even when the evaluation is performed using sensor data other than the image, such as acceleration, angular velocity, sound waves, magnetism, atmospheric pressure or pressure.
- the present invention has been made in view of such a problem, and an object thereof is to obtain a sensor system more suitable for evaluation from a test target when evaluating deterioration, a diagnostic system, a diagnostic device, and a diagnostic method. And to obtain a diagnostic program.
- a diagnostic system for diagnosing a state of an inspection target, and a data acquisition unit that acquires diagnostic sensor data from the inspection target, and a data acquisition unit.
- a feature extraction unit that extracts at least one predetermined feature based on the acquired diagnostic sensor data, and a diagnostic score of the diagnostic sensor data is calculated based on the feature input from the feature extraction unit.
- the score calculation unit and the diagnostic sensor data, the characteristic and the diagnostic score are input, and the display data in which the characteristic is combined with the diagnostic sensor data is generated, and the diagnostic sensor data, the characteristic and the diagnostic score are included.
- a data generation unit that generates storage data including at least one, a display unit that displays a display image based on the display data, and a transmission that outputs a transmission instruction signal according to at least one predetermined trigger.
- the feature extraction unit has an inference model and a transmission unit that outputs the display data to the display unit and transmits the storage data to the data storage unit when the transmission instruction signal is received.
- And has an inference unit that outputs the inference result of the inference model based on the diagnostic sensor data as a feature.
- a diagnostic device is a diagnostic device for diagnosing a state of an inspection target, and features extraction for extracting at least one predetermined feature based on diagnostic sensor data acquired from the inspection target.
- Section based on the features input from the feature extraction unit, a score calculation unit that calculates a diagnostic score of the diagnostic sensor data, the diagnostic sensor data, the features and the diagnostic score are input, to the diagnostic sensor data
- a data generation unit that generates display data in which features are combined, or storage data that includes at least one of diagnostic sensor data, a feature, and a diagnostic score, and at least one predetermined
- the feature extraction unit includes a transmission instruction unit that outputs a transmission instruction signal in response to a trigger, and a transmission unit that transmits display data to the outside and transmits storage data to the outside when the transmission instruction signal is received. Is characterized by having an inference unit that outputs an inference result of an inference model based on diagnostic sensor data as a feature.
- a diagnostic method is a diagnostic method for diagnosing a state of an inspection target, and is determined in advance based on an acquisition step of acquiring diagnostic sensor data from the inspection target and the acquired diagnostic sensor data.
- a feature extraction step of extracting at least one feature thus obtained as an inference result of an inference model based on the diagnostic sensor data, and a diagnostic score of the diagnostic sensor data is calculated based on the feature extracted in the feature extraction step.
- a score calculation step a display data combination step of generating display data in which features are combined with the diagnostic sensor data, a display step of displaying the display data, a diagnostic sensor data, a feature and a diagnostic
- a transmission step of transmitting the usage data to the data storage unit
- a diagnostic program is a diagnostic program for diagnosing a state of an inspection target, and is predetermined based on acquiring diagnostic sensor data from the inspection target and the acquired diagnostic sensor data. Extracting at least one feature as an inference result of an inference model based on the diagnostic sensor data; calculating a diagnostic score of the diagnostic sensor data based on the extracted feature; Generating display data in which features are combined with data, displaying display data, and generating storage data including at least one of diagnostic sensor data, features, and diagnostic score. That the transmission instruction signal is output in response to at least one predetermined trigger, and that the storage data is transmitted to the data accumulation unit based on the transmission instruction signal. And
- a diagnostic system it is possible to obtain a diagnostic system, a diagnostic device, a diagnostic method, and a diagnostic program that obtain sensor data more suitable for evaluation from an inspection target when evaluating deterioration.
- Such a diagnostic system is realized by cooperation between hardware, which is an information processing device such as a general-purpose computer, and software, which is a computer program.
- the computer program can be read by one or more processors included in the information processing device, and the processor functions as each unit of the diagnostic system by being installed in the hard disk.
- the diagnostic system according to the present embodiment extracts features from sensor data such as image data acquired from an inspection target, and presents the extracted features to a user (inspector) who collects the sensor data. It has a function to obtain suitable sensor data.
- the diagnostic system 1 according to the present embodiment is, for example, a diagnostic system that diagnoses a deterioration state or the like of an inspection target based on image data of an external image obtained from the inspection target such as a pipe.
- the diagnostic system according to the present embodiment may use sensor data indicating acceleration, angular velocity, sound waves, magnetism, atmospheric pressure, pressure, or the like as the sensor data, in addition to the image data, to diagnose the inspection target.
- the diagnostic system 1 includes terminals 10 (10A, 10B, 10C, and 10D) that have a display unit that takes an external image of an inspection target and displays the taken image.
- the diagnostic system 1 also includes a diagnostic device 100 (100A, 100B, 100C) that diagnoses an external image of the inspection target acquired from the terminal 10 and extracts the characteristics of the inspection target.
- the terminal 10D illustrated in FIG. 1 is an example of a terminal that has a function as a diagnostic device 100D that extracts a feature of an inspection target together with a function of capturing an external image of the inspection target.
- the terminal 10 is directly connected (priority connected) to the diagnostic device 100 by a cable or is configured integrally with the diagnostic device 100, but is not limited to this. ..
- the terminal 10 may be connected to the diagnostic device 100 via a wireless connection.
- the diagnostic system 1 also includes a server 20 that is connected to each of the diagnostic devices 100A, 100B, 100C, and 100D via a network and that transmits and receives information to and from the diagnostic devices 100A, 100B, 100C, and 100D. ..
- the server 20 is connected to the diagnostic devices 100A, 100B, 100C, and 100D (terminal 10D) via a wireless network, but is not limited to this.
- the diagnostic device 100 may be directly connected to the server 20 by a cable or the like, or may be connected via a wired network.
- the diagnostic system 1 includes a computer 50 that is connected to the server 20 and is provided with an input unit 52 (for example, a keyboard 52a and a mouse 52b) that allows a user to input an instruction.
- an input unit 52 for example, a keyboard 52a and a mouse 52b
- the terminal 10 captures a moving image including an inspection target such as a pipe.
- the diagnostic device 100 extracts at least one predetermined characteristic from a plurality of still images that form the moving image of the inspection target acquired by the terminal 10, and transmits information indicating the characteristic to the terminal 10.
- the extracted features are displayed on the display unit and shown to the user.
- the terminal 10 displays a display image (moving image) in which a mark indicating the extracted feature is combined with each of a plurality of still images included in the moving image to be inspected.
- the display image is generated by combining, for example, a mark indicating a rusted area (a line surrounding the rusted area) with the image to be inspected.
- the diagnostic device 100 receives the image of the inspection target from the terminal 10 immediately after the image of the inspection target is captured by the terminal 10, and the information regarding the alteration occurring in the inspection target in association with the deterioration of the inspection target is received from the external image of the inspection target. Extracted as a feature of the appearance of.
- the diagnostic device 100 generates a display image using the extracted features and transmits the display image to the terminal 10.
- the display image is displayed on the display unit of the terminal 10 almost at the same time as the photographing of the inspection target. Therefore, the user who captures the image of the inspection target using the terminal 10 can recognize the appearance feature of the inspection target almost at the same time as the capturing of the inspection target by looking at the display unit of the terminal 10.
- the diagnostic device 100 extracts, as a feature of the appearance of the inspection target, information about alteration that occurs in the inspection target in association with the deterioration of the inspection target.
- the user can give an instruction to save the image data of the inspection target via the input unit of the terminal 10 based on the characteristics of the inspection target displayed on the display unit.
- the diagnostic device 100 transmits the appearance image of the inspection target to the server 20 based on the input storage instruction.
- the image data transmitted from the diagnostic device 100 is accumulated in the server 20.
- the image data stored in the server 20 is effective image data in the evaluation of the deterioration of the inspection target.
- the diagnostic system 1 can collect image data that is effective in evaluating the deterioration of the inspection target.
- FIG. 2 is a block diagram showing a configuration example of the functional blocks of the diagnostic system 1, that is, the functional blocks formed in the information processing device when the computer program is executed.
- FIG. 3 is a diagram illustrating a method of calculating a diagnostic score of diagnostic image data in the diagnostic device 100.
- FIG. 4 is a block diagram showing the configuration of the learning unit 40 of the server 20.
- Each block stores predetermined data and a predetermined program stored in at least one of the storage devices included in each of the diagnostic device 100 and the terminal 10 by at least one of the arithmetic devices included in each of the diagnostic device 100 and the terminal 10.
- Each block executes predetermined arithmetic processing based on predetermined software stored in at least one of the storage devices of the diagnostic device 100 and the terminal 10 as well as other software received from an external device. It may be realized by The hardware configurations of the diagnostic device 100 and the terminal 10 will be described later.
- the terminal 10 is a known imaging device, and generates image data (diagnostic image data) by photographing an inspection target and its periphery.
- the terminal 10 is, for example, a terminal 10A that is a mobile device such as a smartphone or a tablet terminal including a camera, a terminal 10B that is a wearable display device such as a glasses-type display device including a camera, or a digital camera.
- An example is a terminal 10C.
- the terminal 10 may be the terminal 10D having the function of the diagnostic device 100 (100D).
- the terminal 10 includes a data acquisition unit 12, a display unit 14, and an input unit 16.
- the terminal 10 also includes a control unit (not shown), a transmission/reception unit for transmitting/receiving signals to/from the diagnostic device 100, and the like.
- the data acquisition unit 12 is, for example, a camera, and acquires diagnostic image data, which is an example of diagnostic sensor data, from an inspection target.
- diagnostic image data An image obtained by photographing the appearance of an inspection object such as a pipe or the altered portion around the inspection is called a diagnostic image, and the image data of the diagnostic image is called diagnostic image data.
- the display unit 14 displays a display image in which marks or the like indicating the features extracted from the diagnostic image data acquired by the data acquisition unit 12 are combined with the diagnostic image to be inspected. More specifically, the display unit 14 displays, as a preview moving image, a moving image in which the display image is processed at a predetermined frame rate. Examples of the display unit 14 include a display device applied to a mobile terminal such as a liquid crystal display (LCD: Liquid Crystal Display) and an organic EL display (OELD: Organic Electro-Luminescence Display).
- the display image is a moving image obtained by processing at a predetermined frame rate a still image to be inspected, in which marks indicating features are combined.
- the input unit 16 receives an instruction to acquire or store diagnostic image data to be inspected and various other instructions from a user, and outputs the instruction to the control unit.
- the input unit 16 may be, for example, a button provided on the terminal 10 or an input area of a touch panel displayed on the display unit 14.
- the input unit 16 may be, for example, a priority connection with the terminal 10 or Bluetooth (registered trademark), IEEE 802.11 (for example, Wi-Fi (Wireless Fidelity, registered trademark)), NFC (Near Field Communication), IrDA (InfraRed Data Association, registration). It may be provided in a remote controller connected by wireless communication such as trademark.
- the terminal 10 accepts an instruction input from the user through the input unit 16 to start photographing the external appearance of the inspection target, or transmits to the diagnostic device 100 an instruction to store diagnostic image data used for deterioration diagnosis of the inspection target. Can be done.
- the input unit 16 is operated.
- the input unit 16 is used for diagnosis when a button provided on the terminal 10 is pressed or when an input area (for example, an area displayed as “save”) on the touch panel displayed on the display unit 14 is pressed.
- a storage instruction for storing image data and its characteristics is accepted.
- the diagnostic device 100 diagnoses the diagnostic image data transmitted from the terminal 10, synthesizes the diagnostic result with the diagnostic image data to generate display image data, and converts the diagnostic image data selected by the user into diagnostic image data. Generate storage data including related information.
- the diagnostic device 100 will be described.
- the image of the inspection target acquired by the terminal 10 is referred to as “diagnostic image”, and the image data of the diagnostic image is referred to as “diagnostic image data”.
- an image generated by the diagnostic device 100, in which the features of the inspection target extracted from the diagnostic image are combined with the diagnostic image is referred to as a “display image”, and the image data of the display image is referred to as a “display image”.
- the “display image” is a so-called preview image.
- the data generated by the diagnostic device 100 and including at least one of the diagnostic image data, the feature of the inspection target extracted from the diagnostic image, and the diagnostic score described later is referred to as “accumulation data”.
- the diagnostic device 100 includes a feature extraction unit 110, a score calculation unit 140, a data generation unit 150, a transmission instruction unit 160, and a transmission unit 170. Hereinafter, each part of the diagnostic device 100 will be described.
- the feature extraction unit 110 has a data analysis unit 120 and an inference unit 130.
- the feature extraction unit 110 extracts at least one predetermined feature based on the diagnostic image data acquired by the data acquisition unit 12 of the terminal 10.
- the data analysis unit 120 analyzes the diagnostic image data input from the terminal 10. That is, the data analysis unit 120 performs image analysis when the input diagnostic sensor data is image data.
- the data analysis unit 120 determines an index of deterioration (element used for score calculation) of the inspection target appearing in the diagnostic image based on the color, line and shape in the diagnostic image corresponding to the diagnostic image data, and a combination thereof. Calculate as a feature.
- the inspection target is a pipe covered with a protective material
- the deterioration of the inspection object or its surroundings may include the color of the coating on the protective material or the frame (discoloration), peeling of the protective material, deformation of the protective material surface, etc. Can be mentioned.
- the index indicating the altered portion in the diagnostic image data for example, the area of discoloration of the protective material surface or the coating of the frame reflected in the diagnostic image, the size of the protective material peeled, the number or area of deformation of the protective material surface, etc. Can be mentioned.
- the data analysis unit 120 may extract the feature amount from the input diagnostic image data.
- an algorithm for extracting feature points for example, ORB (Oriented FAST and Rotated BRIEF), SIFT (Scale-invariant feature transform), SURF (Speed-Upped Robust Feature), Harris corner, KAZE, etc. can be used.
- ORB Oriented FAST and Rotated BRIEF
- SIFT Scale-invariant feature transform
- SURF Speed-Upped Robust Feature
- Harris corner KAZE, etc.
- Such an algorithm is stored as a feature amount extraction program in a storage unit (not shown) in the data analysis unit 120, and is expanded in a RAM (Random Access Memory) (not shown) during the feature amount extraction processing.
- RAM Random Access Memory
- the data analysis unit 120 performs a resizing process for enlarging or reducing the input diagnostic image data to a predetermined size in addition to performing the feature amount extracting process or in place of performing the feature amount extracting process.
- preprocessing such as smoothing processing for reducing noise in the input diagnostic image data may be performed.
- the pre-processed image may be used as the diagnostic image data in the feature extraction process in the inference unit 130 described later.
- the data analysis unit 120 outputs the analysis result of the diagnostic image data to the inference unit 130 or the score calculation unit 140.
- the data analysis unit 120 analyzes the diagnostic image data to extract a predetermined element effective for the state evaluation of the inspection target.
- the data analysis unit 120 outputs the characteristics of the diagnostic image data obtained as a result of the image analysis of the diagnostic image data to the score calculation unit 140.
- the characteristics of the diagnostic image data obtained as a result of the image analysis include alteration of the inspection target (for example, discoloration, rust, coating deterioration occurring in the inspection target).
- the data analysis unit 120 also outputs the size of the feature to the score calculation unit 140 as a result of the image analysis.
- the amount of the altered portion to be inspected (for example, the area of a discoloration, rust, or coating deterioration area or a numerical value corresponding to the area) can be mentioned.
- the alteration that has occurred in the inspection target is detected as an area surrounded by the edges by performing edge detection of the diagnostic image data by image analysis.
- the data analysis unit 120 outputs the result of image analysis to the inference unit 130 as a feature amount in order to obtain a feature that cannot be extracted only by image analysis.
- Features that cannot be extracted only by image analysis include the presence or absence of deformation or peeling of the surface of the protective material when the inspection target is a pipe covered with the protective material. Such features are inferred by the inference unit 130, which will be described later, based on the feature amounts of the plurality of features.
- the data analysis unit 120 outputs the feature and the feature amount extracted as a result of the image analysis to the data generation unit 150.
- the inference unit 130 has an inference model 132 obtained by machine learning.
- the inference model 132 is a learned model generated by machine learning using learning image data including a predetermined feature as teacher data.
- the learning image data is, for example, image data of an image of an altered portion which is estimated to have occurred on the surface of the inspection target or its peripheral portion in association with the deterioration of the inspection target.
- the inference model 132 is generated, for example, by copying the inference model 132 generated by the learning unit 40 described later to the inference unit 130.
- the inference model 132 outputs the inference result based on the feature amount input from the data analysis unit 120 as the feature of the diagnostic image data.
- the diagnostic image data itself may be input instead of the analysis result (feature amount) of the data analysis unit 120.
- the inference unit 130 outputs the inference result of the inference model 132 (feature output from the inference model 132) to the score calculation unit 140 as the feature of the diagnostic image data.
- the inference unit 130 also outputs the inference result of the inference model 132 (feature that is the output of the inference model 132) to the data generation unit 150.
- the data analysis unit 120 may be configured to perform a calculation process of extracting a feature on image data by a predetermined rule-based process.
- the inference unit 130 may be configured to execute arithmetic processing that receives image data as an input and extracts (outputs) a feature based on an inference model generated by machine learning.
- the score calculation unit 140 calculates the diagnostic score of the diagnostic image data based on the features input from the data analysis unit 120 and the inference unit 130 of the feature extraction unit 110.
- the “diagnostic score” is a score indicating the state (for example, deterioration state) of the inspection target calculated based on certain diagnostic image data.
- the “diagnostic score” is a score (total score) indicating a comprehensive diagnostic criterion of diagnostic image data or a score (diagnostic partial score) indicating a diagnostic criterion for each feature (alteration appearing in an inspection target). The total score is obtained by weighting and adding the diagnostic partial scores.
- the score calculation unit 140 has a calculation formula in advance for weighting and adding the diagnostic partial scores to obtain a total score.
- the score calculation unit 140 generates a feature-specific score (coefficient) preset for each feature (feature A to feature H shown in FIG. 3) extracted from the diagnostic image data.
- the score calculation unit 140 presets the diagnostic partial score for each feature size (values ya to yh shown in FIG. 3) input from the data analysis unit 120 and the inference unit 130, respectively. It is determined based on the feature-specific scores (values xa to xh shown in FIG. 3).
- the diagnostic partial score is obtained, for example, by multiplying the feature-specific score by the feature size.
- the score calculation unit 140 determines the total score based on the diagnostic partial score and the above-described calculation formula.
- the score calculation unit 140 outputs at least one of the total score and the diagnostic partial score to the data generation unit 150.
- the score calculation unit 140 calculates a diagnostic score based on the data input from the data analysis unit 120 and the inference unit 130, data related to the surrounding environment of the inspection target, data related to the contents of the inspection target, and the like. It may be calculated.
- a place where the diagnosis target is installed weather of the place, temperature, atmospheric pressure, humidity and the like can be used.
- the data related to the contents to be inspected the kind of contents, temperature, pressure, flow velocity, etc. can be used.
- the data generation unit 150 synthesizes (displays) the feature by synthesizing the mark indicating the feature extracted by the data analysis unit 120 or the inference unit 130 with the image corresponding to the input diagnostic image data. Generate a display image. Further, the data generation unit 150 further synthesizes the diagnostic score (at least one of the total score and the partial score) with the image corresponding to the diagnostic image data to generate the display image in which the diagnostic score is displayed. It may be generated.
- the mark indicating a feature refers to, for example, a line indicating an edge in a diagnostic image, a circle or a figure indicating a deformation or discolored portion of an inspection target, and is indicated by a different color or shape for each feature. Is also good.
- the display image data generated by the data generation unit 150 is output to the terminal 10.
- the data generation unit 150 transmits the display image data to the terminal 10 via the transmission unit 170 described below.
- the data generator 150 stores at least one of diagnostic image data, features (features obtained as a result of image analysis, features obtained as an inference result of the inference model 132), and diagnostic scores. Generate data.
- the data generation unit 150 may further generate storage data including a feature amount.
- the accumulated data is data in which, when a plurality of pieces of information such as diagnostic image data, a feature, a feature amount, and a diagnostic score are included, these pieces of information are associated with each other.
- the data generation unit 150 transmits the storage data to the server 20 via the transmission unit 170 based on a transmission instruction signal from the transmission instruction unit 160 described later.
- the data generation unit 150 starts generation of storage data. Further, the data generation unit 150 acquires the diagnostic image data, the feature, the feature amount, the diagnostic score, and the like immediately (that is, regardless of whether or not the transmission instruction signal is received from the transmission instruction unit 160) of the accumulation data. The generation may start. In this case, it is preferable that the data generation unit 150 discard the untransmitted storage data if the transmission instruction signal is not received within the predetermined time even if the storage data is generated.
- the transmission instruction unit 160 outputs a transmission instruction signal to the transmission unit 170 according to at least one predetermined trigger.
- the transmission instruction unit 160 uses the transmission instruction signal input from the terminal 10 as a trigger to instruct the data generation unit 150 to transmit the storage data to the server 20.
- the transmission instruction unit 160 instructs the transmission unit 170 to transmit the storage data generated by the data generation unit 150 to the server 20 by using the transmission instruction signal input from the terminal 10 as a trigger. May be.
- the transmission instruction signal is a signal for instructing the accumulation of diagnostic image data input by the user via the input unit 16 of the terminal 10.
- the transmission unit 170 outputs the display image data to the display unit 14 of the terminal 10.
- the transmission unit 170 also transmits the storage data output from the data generation unit 150 in response to the transmission instruction signal from the transmission instruction unit 160 to the storage unit 30 (corresponding to the data storage unit) of the server 20.
- the transmitted storage data is used as evaluation data suitable for evaluation of deterioration diagnosis.
- the transmission unit 170 may transmit the storage data generated by the data generation unit 150 to the storage unit 30 (corresponding to the data storage unit) of the server 20 when the transmission instruction signal from the transmission instruction unit 160 is received.
- the transmission unit 170 has a display image data transmission unit 172 and a storage data transmission unit 174.
- the display image data transmission unit 172 transmits the display image data input from the data generation unit 150 to the terminal 10.
- the display image data generated by the data generation unit 150 is continuously transmitted to the terminal 10 so that the display unit 14 displays the display image as a preview moving image processed at a predetermined frame rate.
- the storage data transmission unit 174 transmits the storage data input from the data generation unit 150 to the server 20.
- the server 20 includes a storage unit 30 that stores storage data and a learning unit 40 that generates a learned model (inference model 132).
- the storage unit 30 stores the storage data transmitted from the diagnostic device 100.
- the storage data stored in the storage unit 30 is data indicating an inspection target with a high possibility of deterioration. That is, by referring to the storage data stored in the storage unit 30, the user can confirm the inspection target that needs to be directly evaluated for deterioration by a method such as ultrasonic inspection.
- the learning unit 40 has a data processing unit 42 and a feature learning unit 44.
- the data processing unit 42 receives the image data for learning (an example of sensor data for learning) prepared in advance and the features (labels) included in the image data for learning, and performs image analysis of the image data for learning. ..
- the learning image data is image data of an image of an altered portion of the inspection target that has occurred on the surface of the inspection target or the peripheral portion thereof.
- the feature (label) included in the learning image data is information indicating the correct answer value of the feature of the altered portion generated in the inspection target in the learning image.
- the altered portion shown in the learning image is an effective element for extracting the characteristics of the altered portion caused by the deterioration of the inspection target shown in the learning image.
- effective elements include the color of coating (discoloration) on the surface to be inspected and its periphery, peeling of the protective material, deformation of the surface of the protective material, and rust adhering to the mount supporting the object to be inspected.
- the data processing unit 42 outputs the feature amount extracted from the learning image data to the feature learning unit 44.
- the learning image data may be trimmed based on a user's instruction input via the computer 50, and only the altered portion to be inspected may be cut out.
- the data processing unit 42 reduces the noise of the input diagnostic image data and the size changing process of enlarging and reducing the input diagnostic image data to a predetermined size when performing the feature amount extracting process. Pre-processing such as smoothing processing may be performed.
- the feature learning unit 44 receives the initial model and the learning parameters, and uses the learning image data and the machine learning with the feature amounts and the features extracted from the learning image data as the teacher data to perform the inference model as a learned model. 442 is generated.
- the feature learning unit 44 sends a copy of the inference model 442 to the feature extraction unit 110.
- the inference model 130 is generated in the inference unit 130.
- the initial model and the learning parameters may be stored in advance in a storage unit (not shown) of the feature learning unit 44.
- FIG. 5 is a flowchart showing a process of generating the inference model 132.
- a plurality of learning image data obtained by photographing the appearance of the inspection target or the altered portion around the inspection target is input to the data processing unit 42 of the learning unit 40 as teacher data (step S11). That is, as the learning image data, it is preferable that a plurality of learning image data are input for each characteristic change.
- the input learning image data is subjected to image analysis using an ORB algorithm or the like, and the characteristic amount of the altered portion of the learning image data is extracted (step S12).
- the data processing unit 42 outputs the feature amount (for example, the magnitude and direction of the brightness change) extracted by the image analysis to the feature learning unit 44.
- the feature learning unit 44 performs machine learning using the feature amount input from the data processing unit 42 and the feature (label indicating alteration) of the learning image data to generate an inference model 442 ( Step S13).
- a machine learning algorithm a known algorithm can be used according to the initial model used.
- the initial model and learning parameters are input to the feature learning unit 44.
- the initial model may be stored in advance in a storage unit (not shown) of the feature learning unit 44.
- the initial model input to the feature learning unit 44 may be any model as long as learning image data can be used as an input.
- a model such as a support vector machine, a neural network, or a random forest can be used.
- the learning parameter is a setting value set to obtain the inference model 442.
- the feature learning unit 44 scans and sets the parameters with which the inference model 442 can provide the optimum solution.
- a grid search that tries all combinations of parameters that are considered to be appropriate, a random search that randomly tries combinations of parameters, or the like is used to adjust learning parameters, and these combinations of parameters are input as learning parameters. ..
- the inference model 442 generated in step S13 is stored in a storage unit (not shown) of the feature learning unit 44 (or the data processing unit 42) (step S14). As described above, the inference model 442 is generated by machine learning using the learning image data.
- FIG. 6 is a flowchart for explaining the operation at the time of diagnosing the diagnostic image data.
- the inference model 442 generated by the learning unit 40 prior to the diagnosis is copied and stored in the inference unit 130, and the inference model 132 is generated (step S21).
- the data acquisition unit 12 of the terminal 10 acquires diagnostic image data from the inspection target (step S22).
- the diagnostic image data is acquired by capturing an image of the area including the inspection target.
- the diagnostic device 100 acquires diagnostic image data from the terminal 10, and the data analysis unit 120 of the feature extraction unit 110 performs image analysis on the diagnostic image data (step S23).
- the data analysis unit 120 outputs the characteristic amount of the diagnostic image data to the inference unit 130 and the data generation unit 150, and outputs the characteristic of the diagnostic image data to the score calculation unit 140 and the data generation unit 150. To do.
- step S23 when the obtained analysis result is a feature (alteration of inspection object, rust) or its amount (alteration of inspection object, area of rust, etc.), the data analysis unit 120 calculates a score based on the analysis result. The data is output to the unit 140 and the data generation unit 150. Further, in step S23, when the obtained analysis result is the feature amount, the data analysis unit 120 outputs the feature amount to the inference unit 130 and the data generation unit 150. When it is necessary for the inference unit 130 to obtain the inference result of the inference model 132, the features and the amount thereof may be input to the inference unit 130 together with the feature amount.
- the inference unit 130 of the feature extraction unit 110 obtains a feature as an inference result of the inference model 132 with respect to the input feature amount (step S24).
- the inference unit 130 infers the feature of the diagnostic image data based on the feature amount and outputs the inference result as the feature.
- the score calculation unit 140 calculates a diagnostic score based on the characteristics input from the data analysis unit 120 and the inference unit 130 (step S25). For example, as shown in FIG. 4, the score calculation unit 140 multiplies the feature-specific scores (xa to xh) and the feature sizes (ya to yh) to diagnose each feature (feature A to feature H). Each partial score is calculated, and each diagnostic partial score is weighted and added to calculate the total score of the diagnostic image data. That is, the diagnostic partial score A of the diagnostic image data having the characteristic A is represented by xa ⁇ ya. Similarly, the diagnostic partial score B having the characteristic B to the diagnostic partial score H having the characteristic H are respectively represented by xb ⁇ yb, xc ⁇ yc,..., Xh ⁇ yh.
- the total score is obtained by adding or weighting and adding the diagnostic partial score A to the diagnostic partial score H.
- the total score may be a score adjusted to have a predetermined number of digits by multiplying a coefficient after adding the diagnostic partial score A to the diagnostic partial score H.
- the score calculation unit 140 outputs at least one of the feature-based score and the total score as the diagnostic score to the data generation unit 150.
- the display image data is generated in the data generation unit 150 (step S26).
- the data generation unit 150 combines the image corresponding to the input diagnostic image data with the mark indicating the feature extracted by the data analysis unit 120 or the inference unit 130 to generate a display image.
- the data generation unit 150 transmits the generated display image data to the terminal 10.
- the display image is displayed on the display unit 14 of the terminal 10 (step S27).
- the terminal 10 acquires the display image data from the data generation unit 150, processes the display image data at a predetermined frame rate, and displays the display image on the display unit 14 as a preview moving image.
- the transmission instruction unit 160 determines whether or not there is a transmission instruction from the terminal 10 (step S28). The transmission instruction unit 160 determines whether there is a transmission instruction according to the trigger transmitted from the input unit 16 of the terminal 10. The transmission instruction unit 160 determines the presence/absence of the transmission instruction according to the presence/absence of the signal transmitted from the input unit 16 of the terminal 10.
- the transmission instruction unit 160 determines that there is no transmission instruction (no in step S28), the process returns to step S22, and the diagnostic data acquisition in the terminal 10 continues.
- the transmission instruction unit 160 determines that there is a transmission instruction (yes in step S28)
- the transmission instruction unit 160 outputs a transmission instruction signal for instructing the data generation unit 150 to transmit the storage data.
- the data generation unit 150 Upon receiving the transmission instruction signal, the data generation unit 150 generates storage data (step S29), and transmits the generated storage data to the storage unit 30 of the server 20 via the storage data transmission unit 174 ( Step S30).
- the data generator 150 may transmit the storage data to the server 20 each time the transmission instruction signal is received.
- the data generation unit 150 may store the generated storage data in a storage unit (not shown) and transmit the storage data to the server 20 at a timing different from the timing at which the transmission instruction signal is received from the transmission instruction unit 160. That is, the storage data may be generated at the timing when the transmission instruction signal is received, and the storage data may be transmitted to the server 20 after a certain time has elapsed or at the timing when a certain amount of the storage data is stored.
- the data generator 150 may determine whether or not to transmit the storage data each time the transmission instruction signal is received, based on the data size of the generated storage data and the communication bandwidth.
- the process returns to step S22 and continues to acquire the diagnostic data. It is preferable that the process of combining/transmitting the storage data in steps S29 and S30 and the process of acquiring the diagnostic data in step S22 are performed in parallel.
- the diagnostic device 100 diagnoses the state of the inspection target according to a diagnostic program that causes a computer to execute the following operations (a) to (h).
- the following diagnostic program is recorded in a recording medium such as a hard disk drive or a memory, a DVD disk or an optical disk such as Blu-ray (registered trademark).
- the following programs may be distributed via the Internet. Further, the following program may be recorded in the cloud server and each operation may be executed via the Internet.
- A Acquiring diagnostic sensor data from an inspection target
- At least one predetermined feature based on the acquired diagnostic sensor data is used as an inference result of an inference model based on the diagnostic sensor data.
- Extracting (c) calculating a diagnostic score of the diagnostic sensor data based on the extracted features (d) generating display data in which the features are combined with the diagnostic sensor data (e ) Displaying display data (f) Generating storage data including at least one of diagnostic sensor data, characteristics and diagnostic score
- g Transmission in response to at least one predetermined trigger Outputting an instruction signal
- h Transmitting storage data to the data storage unit based on the transmission instruction signal
- the diagnostic system 1 has the following effects.
- the diagnostic system 1 generates display image data in which the features extracted from the diagnostic image data are combined with the diagnostic image data acquired from the inspection target, and displays the display image data on the display unit as a preview image. Display as (video).
- the diagnostic system 1 can show the user at a glance what characteristics are included in the diagnostic image data acquired from the inspection target. Therefore, in the diagnostic system 1, the user can select the sensor data more suitable for the deterioration evaluation from the inspection target based on the display image data.
- the diagnostic system 1 has an inference model 132 obtained by machine learning using learning image data, and the inference model 132 outputs the inference result for the diagnostic image data to the diagnostic image data. Extract as a feature. Therefore, the diagnostic system 1 can accurately extract the characteristics of the diagnostic image data. (3) The diagnostic system 1 can selectively use both feature extraction by image processing on diagnostic image data and feature extraction (using the inference model 132) by machine learning on diagnostic image data. .. Therefore, the diagnosis system 1 can perform more accurate and quick diagnosis.
- the inspection target is a pipe or a tank
- the pipe or tank is often placed on a pedestal in the plant, and corrosion is often found at the place where the inspection target is in contact with the pedestal.
- a scaffold, lift an inspection target, and the like which is very costly.
- the degree of deterioration of an inspection target has been determined by an inspector based on an empirical relationship with the appearance state of the inspection target. For this reason, depending on the skill of the inspector, the inspection target that originally does not require quantitative inspection may be extracted as an inspection target with a high possibility of deterioration, or the inspection target that requires quantitative inspection may deteriorate.
- the diagnostic system 1 when collecting the appearance image from the inspection target, the display image data in which the features extracted from the appearance image are combined is displayed as a preview image (moving image). Therefore, the inspector can extract and save the appearance image of the inspection target that is highly likely to deteriorate while checking the preview image (moving image). Therefore, it is possible to prevent unnecessary inspection cost and oversight of deterioration of the inspection target.
- the score calculation unit 140 calculates the diagnostic score using a calculation formula, but the present invention is not limited to this.
- the score calculation unit 140 has a calculation model (not shown), and outputs the inference result of the calculation model based on the features extracted by the feature extraction unit 110 as a diagnostic score (diagnostic partial score and total score). It may be a system.
- the calculation model is a learned model generated by machine learning using the storage data stored in the storage unit 30 described later as teacher data.
- the accumulated data includes diagnostic image data, features, characteristic amounts, etc., which the user has determined to include effective elements for deterioration diagnosis of the inspection target, and a data set for machine learning. Can be used as
- the score calculation unit 140 calculates a diagnostic score using a calculation formula that it has in advance at the initial stage of diagnosis, and when a predetermined amount of accumulation data is accumulated in the accumulation unit 30, it is generated by machine learning. A diagnostic score can be obtained using the calculated model.
- the learning unit 40 generates a score calculation model that is a learned model by machine learning using the storage data input from the storage unit 30 as teacher data.
- the learning unit 40 generates the score calculation model, the generated inference model is copied and stored in the score calculation unit 140.
- the data processing unit 42 performs image analysis of the diagnostic image data included in the storage data.
- the learning image data is image data of an image of an altered portion of the inspection target that has occurred on the surface of the inspection target or the peripheral portion thereof.
- the feature (label) included in the learning image data is information indicating the correct answer value of the feature of the altered portion generated in the inspection target in the learning image.
- the diagnostic image data, the characteristic amount, and the characteristic included in the storage data are input to the characteristic learning unit 44. Further, the characteristic learning unit 44 is input with an actual measurement value obtained by actually measuring the deterioration of the inspection target in the diagnostic image.
- the feature learning unit 44 receives the initial model and the learning parameters, and calculates the score as the learned model by machine learning using the learning image data, the feature amount and the feature, and the actual measurement value of the deterioration of the inspection target as the teacher data.
- a model for use (not shown) is generated.
- the feature learning unit 44 sends a copy of the score calculation model to the feature extraction unit 110.
- the score calculation unit 140 generates a score calculation model (not shown).
- the generation of the score calculation model in the feature learning unit 44 may be performed in parallel with the acquisition of the diagnostic image data of the inspection target and the diagnosis of the diagnostic image data in the terminal 10 and the diagnostic device 100, and a fixed amount. It may be performed independently after the storage data of 1. is stored. Further, as the inference result of the calculation model when the features are input, the evaluation (degree of deterioration) of the inspection target may be directly obtained instead of the “diagnosis score”.
- the stored data is data that is selected and stored by the user based on the diagnosed diagnostic image data (display image data in which the characteristics are displayed). Therefore, the diagnostic system of the modified example has the following effects in addition to the effects (1) to (4) of the first embodiment described above. (5) In the diagnostic system of the modified example, it is possible to collect highly accurate data as teacher data for generating the score calculation model. Therefore, the accuracy of scoring the diagnostic score to the diagnostic image data in the diagnostic system is improved by obtaining the diagnostic score using the calculation model obtained by machine learning using the accumulated data as the teacher data. ..
- the diagnostic system 2 according to the second embodiment relates to the first embodiment in that alert information is combined with a display image according to a diagnostic score (at least one of a partial score and a total score) of diagnostic image data.
- the diagnostic system 2 includes a terminal 10, a diagnostic device 200, and a server 20.
- the diagnostic device 200 includes a feature extraction unit 110, a score calculation unit 240, a data generation unit 250, a transmission instruction unit 160, a transmission unit 170, and a score determination unit 280.
- the score calculation unit 240, the data generation unit 250, and the score determination unit 280 will be described using the block diagram of the diagnostic system 2 shown in FIG. 7. Further, regarding the terminal 10, the feature extraction unit 110, the transmission instruction unit 160, the transmission unit 170, and the server 20 of the diagnostic system 2, the terminal 10, the feature extraction unit 110, the transmission instruction unit 160, the transmission unit 170, and the server of the diagnostic system 1 are described. Since the configuration is the same as that of 20, the description is omitted.
- the score calculation unit 240 calculates the diagnostic score of the diagnostic image data based on the features input from the data analysis unit 120 and the inference unit 130 of the feature extraction unit 110. calculate.
- the score calculation unit 240 outputs the diagnostic score (at least one of the total score and the diagnostic partial score) to the score determination unit 280 in addition to the data generation unit 150.
- the score determination unit 280 has a threshold value that serves as a diagnostic reference for the diagnostic sensor data, and compares the diagnostic score input from the score calculation unit 240 with the threshold value to determine the score of the diagnostic image data.
- the score determination unit 280 outputs an alert signal to the data generation unit 250 based on the comparison result.
- the “threshold value” is a value indicating that there is a high possibility of deterioration of the diagnosis target in the diagnostic image data when the diagnostic score of the diagnostic image data is higher (or lower) than the threshold.
- the "alert signal” is a signal indicating that the diagnostic score of the diagnostic image data has exceeded the threshold value.
- the score determination unit 280 may set a threshold value for the total score, or may set a threshold value for at least one of the diagnostic partial scores. In addition, the score determination unit 280 may set a plurality of diagnostic partial scores weighted and added together as a threshold value. For example, the score determination unit 280 transmits an alert signal to the data generation unit 250 when the diagnostic score of the diagnostic image data exceeds the threshold value.
- the data generation unit 250 generates a display image similarly to the data generation unit 150 of the first embodiment.
- the data generation unit 250 receives the alert signal from the score determination unit 280, the data generation unit 250, together with the mark indicating the characteristic extracted by the data analysis unit 120 or the inference unit 130, with respect to the diagnostic image input from the terminal 10, the alert information.
- an image for display is generated to generate a display image.
- the alert information is combined, for example, so as to be the forefront in the display image (that is, in front of the diagnostic image and the mark indicating the characteristic).
- the display image combined by the data generation unit 250 is transmitted to the terminal 10 and displayed on the display unit 14.
- the user visually recognizes the display image displayed on the display unit 14 and operates the input unit 16 when the display image combined with the alert information is displayed.
- the transmission instruction unit 160 outputs a transmission instruction signal to the transmission unit 170 using the operation of the input unit 16 as a trigger.
- the transmission unit 170 transmits the storage data to the storage unit 30 of the server 20 when receiving the transmission instruction signal from the transmission instruction unit 160.
- FIG. 8 is a flowchart for explaining the operation at the time of diagnosing the diagnostic image data.
- the inference model 132 is stored in the inference unit 130 (step S31), the diagnostic image data is acquired by the data acquisition unit 12 of the terminal 10 (step S32), and the image analysis of the diagnostic image data is performed by the data analysis unit 120. Is performed (step S33). Subsequently, the inference unit 130 outputs the characteristics of the diagnostic image data as the inference result of the inference model 132 (step S34), and the score calculation unit 240 calculates the diagnostic score of the diagnostic image data (step S35). ).
- the specific operation from step S31 to step S35 is the same as step S21 to step S25 of the operation at the time of diagnosis in the first embodiment, and thus detailed description will be omitted.
- the score of the diagnostic image data is determined by comparing the diagnostic score input from the score calculation unit 240 with the threshold value (step S36). In the score determination unit 280, when the diagnostic score input from the score calculation unit 240 is larger than the threshold value (yes in step S36), the score determination unit 280 outputs an alert signal to the data generation unit 250 (step S37). ). After that, the process proceeds to combine the display image data (step S38).
- the score determination unit 280 when the diagnostic score input from the score calculation unit 240 is smaller than the threshold value (no in step S36), the score determination unit 280 does not output the alert signal and synthesizes the display image data. The process proceeds to step S38.
- the display image data is generated in the data generation unit 250 (step S38).
- the data generation unit 250 combines the diagnostic image corresponding to the input diagnostic image data with the mark indicating the feature extracted by the data analysis unit 120 or the inference unit 130 to generate a display image.
- the data generation unit 250 generates a display image in which the alert information is combined with the feature.
- the data generation unit 250 transmits the generated display image data to the terminal 10. Then, the display image is displayed on the display unit 14 of the terminal 10 (step S39).
- the transmission instruction unit 160 determines whether or not there is a transmission instruction from the terminal 10 (step S40). When the transmission instruction unit 160 determines that there is no transmission instruction (no in step S40), the process returns to step S22, and the diagnostic data acquisition in the terminal 10 continues. If the transmission instruction unit 160 determines that there is a transmission instruction (yes in step S40), the process proceeds to step S41, the data generation unit 150 generates storage data (step S41), and transmits the storage data. The storage data generated via the unit 174 is transmitted to the storage unit 30 of the server 20 (step S42). When the storage data is transmitted to the server 20, the process returns to step S32 to continue the acquisition of the diagnostic data.
- the diagnostic system 2 according to the second embodiment has the following effects in addition to the effects (1) to (5) in the diagnostic system 1 according to the first embodiment and the modification.
- the diagnostic system 1 displays the display image on which the alert information is combined on the display unit 14 according to the comparison result between the diagnostic score of the diagnostic image data and the threshold value.
- the diagnostic system 1 indicates to the user that there is a high possibility of deterioration of the diagnosis target in the diagnostic image data, and the user determines the adequacy as evaluation data when using the accumulated data for deterioration evaluation. It is possible to make it difficult to cause variations in each.
- the diagnostic system 3 according to the third embodiment automatically generates the storage data according to the diagnostic score (at least one of the partial score and the total score) of the diagnostic image data, and stores the data in the storage unit 30. It is different from the diagnostic system 1 according to the first embodiment. That is, in the diagnostic system 3 according to the third embodiment, the possibility of deterioration is high based on the diagnostic score instead of generating and accumulating the accumulating data in response to the user operating the input unit 16. When it is determined, the storage data is generated and stored.
- the diagnostic system 3 includes a terminal 10, a diagnostic device 300, and a server 20.
- the diagnostic device 300 includes a feature extraction unit 110, a score calculation unit 240, a data generation unit 150, a transmission instruction unit 360, a transmission unit 170, and a score determination unit 380.
- the score determination unit 380 and the transmission instruction unit 360 will be described with reference to the block diagram of the diagnostic system 3 illustrated in FIG. 9.
- the terminal 10 the feature extraction unit 110, the data generation unit 150, the transmission unit 170, and the server 20 of the diagnostic system 3
- the terminal 10 Since the configuration is the same as that of the transmission unit 170 and the server 20, description thereof will be omitted.
- the score calculation unit 240 of the diagnosis system 3 has the same configuration as the score calculation unit 240 of the diagnosis system 2 in the second embodiment, and thus the description thereof will be omitted.
- the score determination unit 380 has a threshold value that serves as a diagnostic reference for the diagnostic sensor data, and compares the diagnostic score input from the score calculation unit 240 with the threshold value to determine the score of the diagnostic image data.
- the score determination unit 380 outputs an alert signal to the transmission instruction unit 360 based on the comparison result obtained by comparing the diagnostic score with the threshold value. For example, the score determination unit 380 transmits an alert signal to the data generation unit 250 when the diagnostic score of the diagnostic image data exceeds the threshold value.
- the transmission instruction unit 360 outputs a transmission instruction signal to the transmission unit 170 according to at least one predetermined trigger.
- the “trigger” is an alert signal transmitted from the score determination unit 380.
- the data generation unit 150 generates a display image and transmits the display image to the storage unit 30 via the storage data transmission unit 174.
- FIG. 10 is a flowchart illustrating an operation at the time of diagnosis of diagnostic image data.
- the inference model 132 is stored in the inference unit 130 (step S51), the diagnostic image data is acquired by the data acquisition unit 12 of the terminal 10 (step S52), and the image analysis of the diagnostic image data is performed by the data analysis unit 120. Is performed (step S53). Subsequently, the inference unit 130 outputs the characteristics of the diagnostic image data as the inference result of the inference model 132 (step S54), and the score calculation unit 240 calculates the diagnostic score of the diagnostic image data (step S55). ).
- the specific operation of steps S51 to S55 is the same as steps S21 to S25 of the operation at the time of diagnosis in the first embodiment, and thus detailed description thereof will be omitted.
- the score of the diagnostic image data is judged by comparing the diagnostic score input from the score calculation unit 240 with the threshold value (step S56).
- the score determination unit 380 when the diagnostic score input from the score calculation unit 240 is smaller than the threshold value (no in step S56), the score determination unit 380 does not output an alert signal and processes the image data for display to be combined. Proceeds (step S57).
- the display image data is generated in the data generation unit 250 (step S57).
- the data generation unit 250 combines the diagnostic image corresponding to the input diagnostic image data with the mark indicating the feature extracted by the data analysis unit 120 or the inference unit 130 to generate a display image.
- the data generation unit 250 transmits the generated display image data to the terminal 10. Then, the display image is displayed on the display unit 14 of the terminal 10 (step S58), and the process returns to the acquisition of diagnostic data (step S52).
- the score determination unit 380 when the diagnostic score input from the score calculation unit 240 is larger than the threshold (yes in step S56), the score determination unit 380 outputs an alert signal to the transmission instruction unit 360.
- the display image data is generated in the data generation unit 250 (step S59).
- the data generation unit 250 combines the diagnostic image corresponding to the input diagnostic image data with the mark indicating the feature extracted by the data analysis unit 120 or the inference unit 130 to generate a display image.
- the data generation unit 250 transmits the generated display image data to the terminal 10. Then, the display image is displayed on the display unit 14 of the terminal 10 (step S60).
- the transmission instruction unit 360 receives the alert signal from the score determination unit 380, the transmission instruction unit 360 determines that there is a transmission instruction, and transmits the transmission instruction signal to the transmission unit 170.
- the process moves to step S61, the data generation unit 150 generates storage data (step S61), and transmits the storage data generated via the storage data transmission unit 174 to the storage unit 30 of the server 20 ( Step S62).
- the process returns to step S52 and continues to acquire the diagnostic data.
- the diagnostic system 3 according to the third embodiment has the following effects in addition to the effects (1) to (6) in the diagnostic system 1 according to the first embodiment and the modification and the diagnostic system 2 according to the second embodiment. Have. (7) The diagnostic system 3 determines that the diagnostic image is highly likely to be deteriorated without the user operating the input unit 16 according to the comparison result between the diagnostic score of the diagnostic image data and the threshold value. Data for storage including data is generated and stored. For this reason, the diagnostic system 3 can collect the storage data with little variation among the users regarding the appropriateness as the evaluation data when used for the deterioration evaluation.
- the diagnostic system 4 according to the fourth embodiment automatically generates the storage data according to the diagnostic score of the diagnostic image data and stores the storage data in the storage unit 30, and a display unit that displays the storage data in the storage unit 30. 14 is different from the diagnostic system 1 according to the first embodiment in that it is displayed on the screen 14. That is, in the diagnostic system 4 according to the fourth embodiment, the possibility of deterioration is high based on the diagnostic score instead of generating and accumulating the accumulating data in response to the user operating the input unit 16. When it is determined, the storage data is generated and stored. Further, in the diagnostic system 4, when the display image data is generated using the diagnostic image data included in the storage data, the storage information indicating that the data is automatically stored is also combined to display the display image data. Is generated and displayed on the display unit.
- the diagnostic system 4 includes a terminal 10, a diagnostic device 400, and a server 20.
- the diagnostic device 400 has a feature extraction unit 110, a score calculation unit 240, a data generation unit 150, a transmission instruction unit 460, a transmission unit 170, and a score determination unit 480.
- the score determination unit 480 and the transmission instruction unit 460 will be described with reference to the block diagram of the diagnostic system 4 shown in FIG. 11.
- the terminal 10 the feature extraction unit 110, the data generation unit 150, the transmission unit 170, and the server 20 of the diagnosis system 4
- the terminal 10 the feature extraction unit 110, and the data generation unit 150 of the diagnosis system 1 according to the first embodiment.
- the score calculation unit 240 of the diagnosis system 4 has the same configuration as the score calculation unit 240 of the diagnosis system 2 in the second embodiment, and thus the description thereof will be omitted.
- the score determination unit 480 has a threshold value that serves as a diagnostic reference for the diagnostic sensor data, and compares the diagnostic score input from the score calculation unit 240 with the threshold value to determine the score of the diagnostic image data.
- the score determination unit 480 outputs an alert signal to the transmission instruction unit 460 and an accumulation signal to the data generation unit based on the comparison result obtained by comparing the diagnostic score with the threshold value. For example, the score determination unit 480 transmits an alert signal to the data generation unit 250 and a storage signal to the data generation unit when the diagnostic score of the diagnostic image data exceeds the threshold value.
- Transmission instruction section 460 outputs a transmission instruction signal to transmission section 170 in response to at least one predetermined trigger.
- the “trigger” is an alert signal transmitted from the score determination unit 480.
- the data generation unit 150 When the transmission unit 170 receives the transmission instruction signal, the data generation unit 150 generates a display image and transmits the display image to the storage unit 30 via the storage data transmission unit 174.
- the “trigger” may be an operation signal indicating that the user has operated the input unit 16 of the terminal 10, in addition to the alert signal transmitted from the score determination unit 480. In this case, even if the diagnostic image data is not automatically accumulated based on the diagnostic score, the user visually recognizes the display image data for which the accumulated information is not displayed and operates the input unit 16 to cause the accumulation unit 30 to operate. Can be stored in.
- FIG. 12 is a flowchart illustrating an operation at the time of diagnosing diagnostic image data.
- the inference model 132 is stored in the inference unit 130 (step S71), the diagnostic image data is acquired by the data acquisition unit 12 of the terminal 10 (step S72), and the image analysis of the diagnostic image data is performed by the data analysis unit 120. Is performed (step S73). Subsequently, the inference unit 130 outputs the characteristics of the diagnostic image data as the inference result of the inference model 132 (step S74), and the score calculation unit 240 calculates the diagnostic score of the diagnostic image data (step S75). ).
- the specific operation of steps S71 to S75 is the same as steps S21 to S25 of the operation at the time of diagnosis in the first embodiment, and thus detailed description thereof will be omitted.
- the score determination unit 480 compares the diagnostic score input from the score calculation unit 240 with the threshold value to determine the score of the diagnostic image data (step S76). In the score determination unit 480, when the diagnostic score input from the score calculation unit 240 is smaller than the threshold value (no in step S76), the score determination unit 480 does not output an alert signal and processes the image data for display to be combined. Proceeds (step S77).
- the display image data is generated in the data generation unit 250 (step S77).
- the data generation unit 250 transmits the generated display image data to the terminal 10.
- the display image is displayed on the display unit 14 of the terminal 10 (step S78).
- the transmission instruction unit 460 determines whether or not there is a transmission instruction from the terminal 10 (step S79). If there is no transmission instruction from the terminal 10, that is, if the user who is the inspector does not determine that the deterioration degree of the inspection target included in the display image is high (no in step S79), the process returns to step S72. And continue to acquire diagnostic data. If there is a transmission instruction from the terminal 10 (yes in step S79), the process proceeds to step S83 described below.
- the score determination unit 480 when the diagnostic score input from the score calculation unit 240 is larger than the threshold value (yes in step S76), the score determination unit 480 outputs an alert signal to the transmission instruction unit 460 ( Step S80).
- the transmission instruction unit 460 determines that there is a transmission instruction, transmits the transmission instruction signal to the transmission unit 170, and the process proceeds to step S61.
- the display image data is generated in the data generation unit 250 (step S81).
- the data generation unit 250 transmits the generated display image data to the terminal 10. Then, the display image is displayed on the display unit 14 of the terminal 10 (step S82).
- the data generation unit 150 generates storage data (step S83), and transmits the storage data generated via the storage data transmission unit 174 to the storage unit 30 of the server 20 (step S84). Even if the diagnostic score input from the score calculation unit 240 is smaller than the threshold value (no in step S76), the user subsequently operates the input unit 16 of the terminal 10 to instruct the accumulation of diagnostic image data. If there is (Yes in step S79), the process proceeds to step S83, and the storage data is generated (step S83) and the storage data is transmitted (step S84). When the storage data is transmitted to the server 20, the process returns to step S72 to continue the acquisition of the diagnostic data.
- the diagnostic system 4 according to the fourth embodiment has effects (1) to (in the diagnostic system 1 according to the first embodiment and the modification, the diagnostic system 2 according to the second embodiment, and the diagnostic system 3 according to the third embodiment. In addition to 7), it has the following effects.
- the diagnostic system 4 generates and accumulates storage data including the diagnostic image data determined to have a high possibility of deterioration according to the comparison result between the diagnostic score of the diagnostic image data and the threshold value. To do. At this time, the display unit 14 displays the storage information indicating that the storage data including the diagnostic image data is automatically stored. Therefore, the diagnostic system 4 can show to the user at a glance which diagnostic image data has been stored as the storage data.
- the diagnostic system 4 can show to the user at a glance which diagnostic image data has been stored as the storage data. Therefore, the diagnostic system 4 can accept an instruction from the user for accumulating diagnostic image data that has been determined to have a high possibility of deterioration even if the diagnostic image data has not been automatically accumulated. .. Therefore, the diagnosis system 4 is not limited to the diagnostic image data determined to have a high possibility of deterioration based on the diagnostic score obtained based on the features extracted by the image analysis or inference model, and the inspector. It is also possible to collect diagnostic image data that is highly likely to be deteriorated based on the experience of the user, and the evaluation system of the inspection target is improved.
- the diagnostic device 100 and the terminal 10 include a storage device, a computing device including a processor, a communication path (a communication interface (I/F) that transmits and receives information to and from an external device via a network, an input device, a display device,
- the diagnostic device 100 includes hardware resources such as an output device as a display device, etc.
- the arithmetic device executes arithmetic processing based on software including predetermined data and a predetermined program stored in a storage device. ..
- the diagnostic device 100 and the terminal 10 include a communication interface (I/F) that transmits/receives information to/from an external device via a storage device 1001, a computing device 1002 including a processor, and a communication path (network) 1110. It has hardware resources such as 1003.
- the external device may be, for example, a computer 1120 that stores an image, or may be an imaging device (not shown).
- the diagnostic device 100 or the terminal 10 executes the information processing based on the predetermined program 1001A and the data 100B stored in the storage device 1001, thereby at least evaluating the deterioration from the sensor data acquired from the inspection target. Is obtained, and based on the extracted characteristics, sensor data more suitable for evaluation is obtained from the sensor data.
- the arithmetic unit 1002 includes a CPU (Central Processing Unit) as a hardware processor, 1002A, a RAM (Random Access Memory) 1002B, and a ROM (Read-Only Memory) 1002C.
- the arithmetic device 1002 executes specific information processing using software including predetermined data and a predetermined program stored in the storage device 1001.
- the hardware processor is not limited to the CPU, and various processors such as GPU (Graphics Processing Unit), ASIC (Application Specific Integrated Circuit), and FPGA (Field-Programmable Gate Array) can be used.
- the storage device 1001 is an auxiliary storage device including a memory such as a hard disk drive and a solid state drive.
- the storage device 1001 stores a predetermined program and predetermined data necessary for specific information processing by the arithmetic device 1002.
- the predetermined data 1001A and the predetermined program 1001B may not always be stored in the storage device 1001. For example, when the arithmetic device 1002 executes specific information processing, part or all of the information may be acquired from another device via the communication path 1110. Further, the predetermined data 1001A and the predetermined program 1001B may be read from the storage medium 1005 via the drive 1004, which will be described later, when the arithmetic device 1002 executes specific information processing.
- the communication I/F 1003 is, for example, a wired LAN module, a wireless LAN module, or the like, and is an interface for performing wired or wireless communication with another device via the communication path 1110.
- the communication I/F 1003 is configured to receive predetermined data and the like from the computer 1120 and other devices (not shown) described below via the communication path 1110.
- the diagnostic device 100 and the terminal 10 further include an input device 113 and an output device 1006 such as a display device.
- an input device 113 such as a keyboard, a touch panel, or the like can be used as the input device 1006.
- a display, a speaker, or the like can be used as the output device 1007.
- the diagnostic device 100 or the terminal 10 may further include a drive 1004 such as a CD drive or a DVD drive for reading data and programs stored in the storage medium 112.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental & Geological Engineering (AREA)
- Environmental Sciences (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
検査対象から取得したセンサデータから、劣化の評価により評価に適したセンサデータを得る。診断システムは、検査対象から診断用センサデータを取得するデータ取得部と、診断用センサデータに基づいて予め定められた少なくとも1つの特徴を抽出する特徴抽出部と、特徴抽出部から入力された特徴に基づいて、診断用センサデータの診断用スコアを算出するスコア算出部と、診断用センサデータに対して特徴が合成された表示用データ、並びに診断用センサデータ、特徴及び診断用スコアのうち少なくとも一つを含む蓄積用データを生成するデータ生成部と、表示用画像を表示する表示部と、送信指示信号を受信した場合に蓄積用データをデータ蓄積部に送信する送信部と、を備え、特徴抽出部は、推論用モデルを有し、診断用センサデータに基づく推論用モデルの推論結果を特徴として出力する推論部を有する。
Description
本発明は、診断システム、診断装置、診断方法及び診断プログラムに関する。
従来、例えば腐食等の劣化が生じる鋼材の劣化度を評価する方法として、鋼材の外観を撮影し、撮影した画像に表示される鋼材の表面の色相や彩度等に基づいて、画像処理や機械学習により鋼材の劣化度を評価する方法が知られている(例えば、非特許文献1)。
Bondada, Pratihar and Kumar, "Detection and quantitative assessment of corrosion on pipelines through image analysis", Procedia Computer Science Volume 133, 2018, Pages 804-811
このような評価方法を用いる場合、評価に用いる画像は、デジタルカメラ、スマートフォンやタブレット端末等の携帯機器を用いて検査員等が検査対象を撮影することにより得られる。したがって、評価に用いる画像は、検査員の熟練度によって評価用データとしての適切度にバラつきが生じやすいという問題がある。画像処理により鋼材の劣化を評価する際に、判定対象である画像が鋼材の劣化診断に有効な画像でない場合には、画像処理の精度が高くても鋼材全体の劣化度の判定精度が低くなってしまうという問題がある。特に、機械学習により鋼材の劣化を評価する場合、診断対象である画像が鋼材の劣化に適した画像でないときには機械学習に用いるモデルの精度が向上せず、鋼材全体の劣化度の判定精度が低くなってしまう。このような問題は、画像以外の加速度、角速度、音波、磁気、気圧又は圧力等のセンサデータを用いて評価を行う場合であっても同様に生じ得る。
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、劣化の評価を行う際に検査対象からより評価に適したセンサデータを得る診断システム、診断装置、診断方法及び診断プログラムを得ることにある。
上記課題を解決するために、本発明の一態様に係る診断システムは、検査対象の状態を診断する診断システムであって、検査対象から診断用センサデータを取得するデータ取得部と、データ取得部が取得した診断用センサデータに基づいて、予め定められた少なくとも1つの特徴を抽出する特徴抽出部と、特徴抽出部から入力された特徴に基づいて、診断用センサデータの診断用スコアを算出するスコア算出部と、診断用センサデータ、特徴及び診断用スコアが入力され、診断用センサデータに対して特徴が合成された表示用データを生成し、診断用センサデータ、特徴及び診断用スコアのうち少なくとも一つを含む蓄積用データを生成するデータ生成部と、表示用データに基づいて表示用画像を表示する表示部と、予め定められた少なくとも一つのトリガに応じて送信指示信号を出力する送信指示部と、表示用データを表示部に出力し、送信指示信号を受信した場合に蓄積用データをデータ蓄積部に送信する送信部と、を備え、特徴抽出部は、推論用モデルを有し、診断用センサデータに基づく推論用モデルの推論結果を特徴として出力する推論部を有することを特徴とする。
本発明の一態様に係る診断装置は、検査対象の状態を診断する診断装置であって、検査対象から取得した診断用センサデータに基づいて、予め定められた少なくとも1つの特徴を抽出する特徴抽出部と、特徴抽出部から入力された特徴に基づいて、診断用センサデータの診断用スコアを算出するスコア算出部と、診断用センサデータ、特徴及び診断用スコアが入力され、診断用センサデータに対して特徴が合成された表示用データを生成し、または診断用センサデータ、特徴及び診断用スコアのうち少なくとも一つを含む蓄積用データを生成するデータ生成部と、予め定められた少なくとも一つのトリガに応じて送信指示信号を出力する送信指示部と、表示用データを外部に送信し、送信指示信号を受信した場合に蓄積用データを外部に送信する送信部と、を備え、特徴抽出部は、診断用センサデータに基づく推論用モデルの推論結果を特徴として出力する推論部を有することを特徴とする。
本発明の一態様に係る診断方法は、検査対象の状態を診断する診断方法であって、検査対象から診断用センサデータを取得する取得工程と、取得した診断用センサデータに基づいて、予め定められた少なくとも1つの特徴を、診断用センサデータに基づく推論用モデルの推論結果として抽出する特徴抽出工程と、特徴抽出工程で抽出された特徴に基づいて、診断用センサデータの診断用スコアを算出するスコア算出工程と、診断用センサデータに対して特徴が合成された表示用データを生成する表示用データ合成工程と、表示用データを表示する表示工程と、診断用センサデータ、特徴及び診断用スコアのうち少なくとも一つを含む蓄積用データを生成する蓄積用データ合成工程と、予め定められた少なくとも一つのトリガに応じて送信指示信号を出力する送信指示工程と、送信指示信号に基づいて蓄積用データをデータ蓄積部に送信する送信工程と、を備える、を備えることを特徴とする。
本発明の一態様に係る診断プログラムは、検査対象の状態を診断する診断プログラムであって、検査対象から診断用センサデータを取得することと、取得した診断用センサデータに基づいて、予め定められた少なくとも1つの特徴を、診断用センサデータに基づく推論用モデルの推論結果として抽出することと、抽出された特徴に基づいて、診断用センサデータの診断用スコアを算出することと、診断用センサデータに対して特徴が合成された表示用データを生成することと、表示用データを表示することと、診断用センサデータ、特徴及び診断用スコアのうち少なくとも一つを含む蓄積用データを生成することと、予め定められた少なくとも一つのトリガに応じて送信指示信号を出力することと、送信指示信号に基づいて蓄積用データをデータ蓄積部に送信することと、をコンピュータに実行させることを特徴とする。
本発明の一態様によれば、劣化の評価を行う際に検査対象からより評価に適したセンサデータを得る診断システム、診断装置、診断方法及び診断プログラムを得ることができる。
以下、実施形態を通じて本実施形態に係る診断システムを説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
また、このような診断システムは、汎用のコンピュータなどの情報処理装置であるハードウェアと、コンピュータプログラムであるソフトウェアとの協働によって実現される。コンピュータプログラムは、情報処理装置が備える一又は複数のプロセッサによって読み取り可能であり、ハードディスクにインストールされることによりプロセッサが診断システムの各部として機能する。
1.第一実施形態
以下、本実施形態に係る診断システム、診断装置、診断方法及び診断プログラムについて、図1から図6を参照して説明する。本実施形態に係る診断システムは、検査対象から取得した画像データ等のセンサデータから特徴を抽出し、センサデータを収集するユーザ(検査員)に抽出した特徴を示すことで、検査対象の評価により適したセンサデータを得る機能を有する。本実施形態に係る診断システム1は、一例として、配管等の検査対象から得られた外観画像の画像データに基づいて、検査対象の劣化状態等を診断する診断システムである。
なお、本実施形態に係る診断システムは、センサデータとして、画像データ以外に加速度、角速度、音波、磁気、気圧又は圧力等を示すセンサデータを用いて検査対象の診断を行ってもよい。
以下、本実施形態に係る診断システム、診断装置、診断方法及び診断プログラムについて、図1から図6を参照して説明する。本実施形態に係る診断システムは、検査対象から取得した画像データ等のセンサデータから特徴を抽出し、センサデータを収集するユーザ(検査員)に抽出した特徴を示すことで、検査対象の評価により適したセンサデータを得る機能を有する。本実施形態に係る診断システム1は、一例として、配管等の検査対象から得られた外観画像の画像データに基づいて、検査対象の劣化状態等を診断する診断システムである。
なお、本実施形態に係る診断システムは、センサデータとして、画像データ以外に加速度、角速度、音波、磁気、気圧又は圧力等を示すセンサデータを用いて検査対象の診断を行ってもよい。
[診断システムの構成]
図1に示すように、診断システム1は、検査対象の外観画像を撮影するとともに、撮影した画像を表示する表示部を有する端末10(10A、10B、10C及び10D)を備えている。
また、診断システム1は、端末10から取得した検査対象の外観画像を診断し、検査対象の特徴を抽出する診断装置100(100A、100B、100C)を備えている。なお、図1に示す端末10Dは、検査対象の外観画像を撮影する機能と併せて、検査対象の特徴の抽出を行う診断装置100Dとしての機能を有する端末の一例である。本実施形態において、端末10は、診断装置100に対してケーブルにより直接接続されている(優先接続されている)か、又は診断装置100と一体的に構成されているが、これに限られない。例えば、端末10は、診断装置100に対してそれぞれ無線接続を介して接続されていても良い。
図1に示すように、診断システム1は、検査対象の外観画像を撮影するとともに、撮影した画像を表示する表示部を有する端末10(10A、10B、10C及び10D)を備えている。
また、診断システム1は、端末10から取得した検査対象の外観画像を診断し、検査対象の特徴を抽出する診断装置100(100A、100B、100C)を備えている。なお、図1に示す端末10Dは、検査対象の外観画像を撮影する機能と併せて、検査対象の特徴の抽出を行う診断装置100Dとしての機能を有する端末の一例である。本実施形態において、端末10は、診断装置100に対してケーブルにより直接接続されている(優先接続されている)か、又は診断装置100と一体的に構成されているが、これに限られない。例えば、端末10は、診断装置100に対してそれぞれ無線接続を介して接続されていても良い。
また、診断システム1は、各診断装置100A、100B、100C及び100Dとネットワークを介して接続され、診断装置100A、100B、100C及び100Dとの間で情報の送受信を行うサーバ20を有している。本実施形態において、サーバ20は、診断装置100A、100B、100C及び100D(端末10D)と無線ネットワークを介して接続されているが、これに限られない。例えば、診断装置100は、サーバ20に対してケーブル等により直接接続されたり、有線ネットワークを介して接続されていても良い。
さらに、診断システム1は、サーバ20と接続されてユーザが指示を入力可能な入力部52(例えばキーボード52a及びマウス52b)が設けられたコンピュータ50を有している。
さらに、診断システム1は、サーバ20と接続されてユーザが指示を入力可能な入力部52(例えばキーボード52a及びマウス52b)が設けられたコンピュータ50を有している。
本実施形態における診断システム1では、端末10で配管等の検査対象が含まれた動画像が撮影される。診断装置100は、端末10で取得された検査対象の動画像を構成する複数の静止画像から、予め定められた少なくとも1つの特徴を抽出し、当該特徴を示す情報を端末10に送信する。端末10では、抽出された特徴を表示部に表示してユーザに示す。例えば、端末10では、抽出された特徴を示すマークを検査対象の動画像を構成する複数の静止画像にそれぞれ合成した表示用画像(動画像)が表示される。表示用画像は、検査対象の画像に対して、例えば錆が生じた領域を示すマーク(錆が生じた領域を取り囲む線等)が合成されて生成される。
診断装置100は、端末10での検査対象の撮影後直ちに端末10から検査対象の画像を受信し、検査対象の外観画像から検査対象の劣化に関連して検査対象に生じる変質に関する情報を検査対象の外観の特徴として抽出する。診断装置100は、抽出した特徴を用いて表示用画像を生成し、表示用画像を端末10に送信する。表示用画像は、端末10の表示部に、検査対象の撮影とほぼ同時に表示される。したがって、端末10を用いて検査対象の画像を撮影するユーザは、端末10の表示部を見ることで、検査対象の撮影とほぼ同時に検査対象の外観の特徴を認識することができる。診断装置100は、検査対象の劣化に関連して検査対象に生じる変質に関する情報を検査対象の外観の特徴として抽出する。
ユーザは、表示部に表示された検査対象の特徴に基づいて、端末10の入力部を介して検査対象の画像データの保存指示を行うことができる。診断装置100は、入力された保存指示に基づき、検査対象の外観画像をサーバ20に送信する。サーバ20には、診断装置100から送信された画像データが蓄積される。サーバ20に蓄積された画像データは、検査対象の劣化の評価において有効な画像データである。診断システム1は、検査対象の劣化の評価において有効な画像データを収集することができる。
以下、図1を参照しつつ、図2から図4を用いて、診断システム1を構成する端末10、診断装置100、サーバ20の各部について、詳細に説明する。図2は、診断システム1が有する機能ブロック、すなわちコンピュータプログラムが実行されるときに情報処理装置内に形成される機能ブロックの構成例を示すブロック図である。図3は、診断装置100における診断用画像データの診断用スコアの算出方法を説明する図である。図4は、サーバ20の学習部40の構成を示すブロック図である。各ブロックは、診断装置100、端末10のそれぞれが有する演算装置の少なくともいずれかが、診断装置100、端末10のそれぞれが有する記憶装置の少なくともいずれかに記憶された所定のデータおよび所定のプログラムを含むソフトウェアに基づいた所定の演算処理を実行することにより実現されてよい。なお、各ブロックは、診断装置100、端末10のそれぞれが有する記憶装置の少なくともいずれかに記憶された所定のソフトウェアに加え、外部装置から受信した他のソフトウェアに基づいて所定の演算処理を実行することにより実現されてもよい。診断装置100、端末10のハードウェア構成は後述する。
<端末>
端末10は、公知の撮像装置であり、検査対象及びその周辺を撮影することで、画像データ(診断用画像データ)を生成する。図1に示すように、端末10は、例えばカメラを備えたスマートフォンやタブレット端末等の携帯機器である端末10A、カメラを備えたメガネ型表示装置等のウェアラブル表示装置である端末10B、デジタルカメラである端末10C等が挙げられる。また、上述したように、端末10は、診断装置100(100D)の機能を有する端末10Dであっても良い。
端末10は、データ取得部12と、表示部14と、入力部16とを備えている。また、端末10は、図示しない制御部や、診断装置100との間で信号を送受信するための送受信部等を備えている。
端末10は、公知の撮像装置であり、検査対象及びその周辺を撮影することで、画像データ(診断用画像データ)を生成する。図1に示すように、端末10は、例えばカメラを備えたスマートフォンやタブレット端末等の携帯機器である端末10A、カメラを備えたメガネ型表示装置等のウェアラブル表示装置である端末10B、デジタルカメラである端末10C等が挙げられる。また、上述したように、端末10は、診断装置100(100D)の機能を有する端末10Dであっても良い。
端末10は、データ取得部12と、表示部14と、入力部16とを備えている。また、端末10は、図示しない制御部や、診断装置100との間で信号を送受信するための送受信部等を備えている。
(データ取得部)
データ取得部12は、例えばカメラであり、検査対象から診断用センサデータの一例である診断用画像データを取得する。配管等の検査対象の外観又はその周辺部に生じた変質部分が撮影された画像を診断用画像といい、診断用画像の画像データを診断用画像データという。
データ取得部12は、例えばカメラであり、検査対象から診断用センサデータの一例である診断用画像データを取得する。配管等の検査対象の外観又はその周辺部に生じた変質部分が撮影された画像を診断用画像といい、診断用画像の画像データを診断用画像データという。
(表示部)
表示部14には、データ取得部12で取得した診断用画像データから抽出した特徴を示すマーク等が検査対象の診断用画像に合成された表示用画像を表示する。より具体的には、表示部14は、表示用画像が所定のフレームレートで処理された動画をプレビュー動画として表示する。表示部14としては、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro-Luminescence Display)等の携帯端末に適用される表示装置が挙げられる。表示用画像は、特徴を示すマークが合成された検査対象の静止画像を所定のフレームレートで処理した動画像である。
表示部14には、データ取得部12で取得した診断用画像データから抽出した特徴を示すマーク等が検査対象の診断用画像に合成された表示用画像を表示する。より具体的には、表示部14は、表示用画像が所定のフレームレートで処理された動画をプレビュー動画として表示する。表示部14としては、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro-Luminescence Display)等の携帯端末に適用される表示装置が挙げられる。表示用画像は、特徴を示すマークが合成された検査対象の静止画像を所定のフレームレートで処理した動画像である。
(入力部)
入力部16は、ユーザから検査対象の診断用画像データの取得又は蓄積の指示及びその他の各種指示を受け付け、指示を制御部に出力する。入力部16は、例えば、端末10に設けられたボタンや表示部14に表示されたタッチパネルの入力領域が挙げられる。また、入力部16は、例えば端末10と優先接続又はBluetooth(登録商標)、IEEE 802.11(例えばWi-Fi(Wireless Fidelity、登録商標))、NFC(Near Field Communication)、IrDA(InfraRed Data Association、登録商標)等の無線通信で接続されたリモートコントローラに設けられていても良い。
端末10は、入力部16においてユーザからの指示入力を受け付けることにより、検査対象外観の撮影を開始したり、診断装置100に対して検査対象の劣化診断に用いる診断用画像データの保存指示の送信を行ったりすることができる。
入力部16は、ユーザから検査対象の診断用画像データの取得又は蓄積の指示及びその他の各種指示を受け付け、指示を制御部に出力する。入力部16は、例えば、端末10に設けられたボタンや表示部14に表示されたタッチパネルの入力領域が挙げられる。また、入力部16は、例えば端末10と優先接続又はBluetooth(登録商標)、IEEE 802.11(例えばWi-Fi(Wireless Fidelity、登録商標))、NFC(Near Field Communication)、IrDA(InfraRed Data Association、登録商標)等の無線通信で接続されたリモートコントローラに設けられていても良い。
端末10は、入力部16においてユーザからの指示入力を受け付けることにより、検査対象外観の撮影を開始したり、診断装置100に対して検査対象の劣化診断に用いる診断用画像データの保存指示の送信を行ったりすることができる。
ユーザは、表示部14に表示された表示用画像データ(表示用データの一例)が検査対象の劣化診断に用いる診断用画像データとして有効な要素を含んでいると判断した場合には、入力部16を操作する。入力部16は、端末10に設けられたボタンが押下された場合や、表示部14に表示されたタッチパネルの入力領域(例えば「保存」と表示された領域)が押圧された場合に、診断用画像データやその特徴を蓄積する蓄積指示を受け付ける。
<診断装置>
診断装置100は、端末10から送信された診断用画像データの診断を行い、診断結果を診断用画像データに合成して表示用画像データを生成するとともに、ユーザによって選択された診断用画像データに関連する情報を含む蓄積用データを生成する。
以下、診断装置100について説明する。
診断装置100は、端末10から送信された診断用画像データの診断を行い、診断結果を診断用画像データに合成して表示用画像データを生成するとともに、ユーザによって選択された診断用画像データに関連する情報を含む蓄積用データを生成する。
以下、診断装置100について説明する。
なお、診断装置100の説明において、端末10によって取得された検査対象の画像を「診断用画像」といい、診断用画像の画像データを「診断用画像データ」という。また、診断装置100において生成される、診断用画像に対して診断用画像から抽出した検査対象の特徴を合成した画像を「表示用画像」といい、表示用画像の画像データを「表示用画像データ」という。「表示用画像」は、いわゆるプレビュー画像である。さらに、診断装置100において生成される、診断用画像データ、診断用画像から抽出した検査対象の特徴及び後述する診断用スコアのうち少なくとも一つを含むデータを「蓄積用データ」という。
診断装置100は、特徴抽出部110と、スコア算出部140と、データ生成部150と、送信指示部160と、送信部170とを備えている。以下、診断装置100の各部について説明する。
(特徴抽出部)
特徴抽出部110は、データ解析部120及び推論部130を有している。特徴抽出部110は、端末10のデータ取得部12が取得した診断用画像データに基づいて、予め定められた少なくとも1つの特徴を抽出する。
特徴抽出部110は、データ解析部120及び推論部130を有している。特徴抽出部110は、端末10のデータ取得部12が取得した診断用画像データに基づいて、予め定められた少なくとも1つの特徴を抽出する。
(データ解析部)
データ解析部120は、端末10から入力された診断用画像データを解析する。すなわち、データ解析部120は、入力された診断用センサデータが画像データである場合には、画像解析を行う。データ解析部120は、診断用画像データに対応する診断用画像における色、線及び形状、ならびにこれらの組合せに基づいて、診断用画像に現れる検査対象の変質の指標(スコア算出に用いる要素)を特徴として算出する。
検査対象が保護材で被覆された配管の場合、検査対象又はその周辺に生じた変質としては、保護材表面や架台の塗装の色(変色)、保護材の剥がれ、保護材表面の変形等が挙げられる。診断用画像データにおいて変質部分を示す指標としては、例えば診断用画像に写る保護材表面や架台の塗装の変色の面積、保護材の剥がれの大きさ、保護材表面の変形の個数や面積等が挙げられる。
データ解析部120は、端末10から入力された診断用画像データを解析する。すなわち、データ解析部120は、入力された診断用センサデータが画像データである場合には、画像解析を行う。データ解析部120は、診断用画像データに対応する診断用画像における色、線及び形状、ならびにこれらの組合せに基づいて、診断用画像に現れる検査対象の変質の指標(スコア算出に用いる要素)を特徴として算出する。
検査対象が保護材で被覆された配管の場合、検査対象又はその周辺に生じた変質としては、保護材表面や架台の塗装の色(変色)、保護材の剥がれ、保護材表面の変形等が挙げられる。診断用画像データにおいて変質部分を示す指標としては、例えば診断用画像に写る保護材表面や架台の塗装の変色の面積、保護材の剥がれの大きさ、保護材表面の変形の個数や面積等が挙げられる。
データ解析部120は、入力された診断用画像データから特徴量を抽出してもよい。特徴点を抽出するアルゴリズムとして、例えばORB(Oriented FAST and Rotated BRIEF)、SIFT(Scale-invariant feature transform)、SURF(Speed-Upped Robust Feature)、Harrisコーナ、KAZE等を用いることができる。このようなアルゴリズムは、特徴量抽出プログラムとしてデータ解析部120内の図示しない記憶部に記憶されており、特徴量の抽出処理時には、例えば図示しないRAM(Random Access Memory)に展開される。
データ解析部120は、特徴量の抽出処理を行うのに加えて、または、特徴量の抽出処理を行うのに変えて、入力された診断用画像データを所定サイズに拡大、縮小するサイズ変更処理や、入力された診断用画像データのノイズを軽減するための平滑化処理等の前処理を行っても良い。前処理された画像は、診断用画像データとして、後述する推論部130における特徴の抽出処理に用いられてよい。
データ解析部120は、特徴量の抽出処理を行うのに加えて、または、特徴量の抽出処理を行うのに変えて、入力された診断用画像データを所定サイズに拡大、縮小するサイズ変更処理や、入力された診断用画像データのノイズを軽減するための平滑化処理等の前処理を行っても良い。前処理された画像は、診断用画像データとして、後述する推論部130における特徴の抽出処理に用いられてよい。
データ解析部120は、診断用画像データの解析結果を、推論部130又はスコア算出部140に出力する。データ解析部120は、診断用画像データを解析することにより、予め定められた検査対象の状態評価に有効な要素を抽出する。
データ解析部120は、診断用画像データの画像解析の結果として得られる診断用画像データの特徴を、スコア算出部140に出力する。画像解析の結果として得られる診断用画像データの特徴としては、検査対象の変質(例えば、検査対象に発生した変色、錆、塗装劣化)が挙げられる。また、データ解析部120は、画像解析の結果として、当該特徴の大きさをスコア算出部140に出力する。特徴の大きさとしては、検査対象の変質部分の量(例えば、変色、錆、塗装劣化領域の面積又は面積に対応する数値)が挙げられる。検査対象に生じた変質は、画像解析により診断用画像データのエッジ検出を行うことで、エッジに囲まれた領域として検出される。
データ解析部120は、診断用画像データの画像解析の結果として得られる診断用画像データの特徴を、スコア算出部140に出力する。画像解析の結果として得られる診断用画像データの特徴としては、検査対象の変質(例えば、検査対象に発生した変色、錆、塗装劣化)が挙げられる。また、データ解析部120は、画像解析の結果として、当該特徴の大きさをスコア算出部140に出力する。特徴の大きさとしては、検査対象の変質部分の量(例えば、変色、錆、塗装劣化領域の面積又は面積に対応する数値)が挙げられる。検査対象に生じた変質は、画像解析により診断用画像データのエッジ検出を行うことで、エッジに囲まれた領域として検出される。
また、データ解析部120は、画像解析のみでは抽出できない特徴を得るために、画像解析の結果を特徴量として推論部130に出力する。画像解析のみでは抽出できない特徴としては、検査対象が保護材で被覆された配管である場合、保護材の表面の変形や剥がれの有無等が挙げられる。このような特徴は、後述する推論部130において、複数の特徴の特徴量に基づいて推論される。
さらに、データ解析部120は、画像解析の結果として抽出した特徴及び特徴量を、データ生成部150に出力する。
さらに、データ解析部120は、画像解析の結果として抽出した特徴及び特徴量を、データ生成部150に出力する。
(推論部)
推論部130は、機械学習により得られた推論用モデル132を有している。推論用モデル132は、予め定められた特徴を含む学習用画像データを教師データとして機械学習することにより生成された学習済モデルである。ここで、学習用画像データは、例えば検査対象の劣化に関連して検査対象の表面又はその周辺部に生じたと推定される変質部分の画像の画像データである。推論用モデル132は、例えば後述する学習部40で生成された推論用モデル132が推論部130にコピーされて生成される。
推論用モデル132は、データ解析部120から入力された特徴量に基づく推論結果を、診断用画像データの特徴として出力する。また、推論用モデル132への入力として、データ解析部120の解析結果(特徴量)の代わりに、診断用画像データそのものを入力してもよい。推論部130は、推論用モデル132の推論結果(推論用モデル132の出力である特徴)を、診断用画像データの特徴としてスコア算出部140に出力する。
推論部130は、推論用モデル132の推論結果(推論用モデル132の出力である特徴)を、データ生成部150にも出力する。
推論部130は、機械学習により得られた推論用モデル132を有している。推論用モデル132は、予め定められた特徴を含む学習用画像データを教師データとして機械学習することにより生成された学習済モデルである。ここで、学習用画像データは、例えば検査対象の劣化に関連して検査対象の表面又はその周辺部に生じたと推定される変質部分の画像の画像データである。推論用モデル132は、例えば後述する学習部40で生成された推論用モデル132が推論部130にコピーされて生成される。
推論用モデル132は、データ解析部120から入力された特徴量に基づく推論結果を、診断用画像データの特徴として出力する。また、推論用モデル132への入力として、データ解析部120の解析結果(特徴量)の代わりに、診断用画像データそのものを入力してもよい。推論部130は、推論用モデル132の推論結果(推論用モデル132の出力である特徴)を、診断用画像データの特徴としてスコア算出部140に出力する。
推論部130は、推論用モデル132の推論結果(推論用モデル132の出力である特徴)を、データ生成部150にも出力する。
以上によれば、データ解析部120は、例えば、画像データに対し、予め定められたルールベースの処理によって特徴を抽出する演算処理を行うように構成されていてよい。また、推論部130は、例えば、画像データを入力とし、機械学習によって生成された推論モデルによって特徴を抽出(出力)する演算処理を実行するように構成されていてよい。
(スコア算出部)
スコア算出部140は、特徴抽出部110のデータ解析部120及び推論部130から入力された特徴に基づいて、診断用画像データの診断用スコアを算出する。「診断用スコア」とは、ある診断用画像データに基づいて算出された検査対象の状態(例えば劣化状態)を示すスコアである。「診断用スコア」は、診断用画像データの総合的な診断基準を示したスコア(トータルスコア)又は特徴(検査対象に現れる変質)ごとの診断基準を示したスコア(診断用部分スコア)である。トータルスコアは、診断用部分スコアを重み付けして加算することにより得られる。
スコア算出部140は、特徴抽出部110のデータ解析部120及び推論部130から入力された特徴に基づいて、診断用画像データの診断用スコアを算出する。「診断用スコア」とは、ある診断用画像データに基づいて算出された検査対象の状態(例えば劣化状態)を示すスコアである。「診断用スコア」は、診断用画像データの総合的な診断基準を示したスコア(トータルスコア)又は特徴(検査対象に現れる変質)ごとの診断基準を示したスコア(診断用部分スコア)である。トータルスコアは、診断用部分スコアを重み付けして加算することにより得られる。
スコア算出部140は、診断用部分スコアを重み付け加算してトータルスコアを得るための算出式を予め有している。また、図3に示すように、スコア算出部140は、診断用画像データから抽出された各特徴(図3に示す特徴A~特徴H)に対して予め設定された特徴別スコア(係数)を有している。
スコア算出部140は、診断用部分スコアを、データ解析部120及び推論部130からそれぞれ入力された各特徴の大きさ(図3に示す値ya~yh)と、当該特徴に対して予め設定された特徴別スコア(図3に示す値xa~xh)とに基づいて決定する。診断用部分スコアは、例えば、特徴別スコアと特徴の大きさとを乗算することにより得られる。また、スコア算出部140は、トータルスコアを、診断用部分スコアと上述の算出式とに基づいて決定する。
スコア算出部140は、トータルスコア及び診断用部分スコアの少なくとも一方を、データ生成部150に出力する。
スコア算出部140は、診断用部分スコアを、データ解析部120及び推論部130からそれぞれ入力された各特徴の大きさ(図3に示す値ya~yh)と、当該特徴に対して予め設定された特徴別スコア(図3に示す値xa~xh)とに基づいて決定する。診断用部分スコアは、例えば、特徴別スコアと特徴の大きさとを乗算することにより得られる。また、スコア算出部140は、トータルスコアを、診断用部分スコアと上述の算出式とに基づいて決定する。
スコア算出部140は、トータルスコア及び診断用部分スコアの少なくとも一方を、データ生成部150に出力する。
スコア算出部140は、データ解析部120及び推論部130から入力された特徴に加えて、検査対象の周囲環境に関連するデータ、検査対象の内容物に関連するデータ等に基づいて診断用スコアを算出してもよい。検査対象の周囲環境に関するデータとしては、診断対象が設置されている場所、当該場所の天候、気温、気圧、湿度等を用いることができる。検査対象の内容物に関連するデータとしては、内容物の種類、温度、圧力、流速等を用いることができる。
(データ生成部)
データ生成部150は、入力された診断用画像データに対応する画像に対して、データ解析部120又は推論部130で抽出した特徴を示すマークを合成することにより、特徴が合成(表示)された表示用画像を生成する。また、データ生成部150は、診断用画像データに対応する画像に対して、診断用スコア(トータルスコア、部分スコアの少なくとも一方)をさらに合成することにより、診断用スコアが表示された表示用画像を生成してもよい。ここで、特徴を示すマークとは、例えば、診断用画像内のエッジを示す線、検査対象の変形や変色部分を示す円や図形等をいい、特徴毎に異なる色や形で示されていても良い。データ生成部150で生成された表示用画像データは、端末10に出力される。
データ生成部150は、後述する送信部170を介して表示用画像データを端末10に送信する。
データ生成部150は、入力された診断用画像データに対応する画像に対して、データ解析部120又は推論部130で抽出した特徴を示すマークを合成することにより、特徴が合成(表示)された表示用画像を生成する。また、データ生成部150は、診断用画像データに対応する画像に対して、診断用スコア(トータルスコア、部分スコアの少なくとも一方)をさらに合成することにより、診断用スコアが表示された表示用画像を生成してもよい。ここで、特徴を示すマークとは、例えば、診断用画像内のエッジを示す線、検査対象の変形や変色部分を示す円や図形等をいい、特徴毎に異なる色や形で示されていても良い。データ生成部150で生成された表示用画像データは、端末10に出力される。
データ生成部150は、後述する送信部170を介して表示用画像データを端末10に送信する。
また、データ生成部150は、診断用画像データ、特徴(画像解析の結果として得られた特徴、推論用モデル132の推論結果として得られた特徴)、診断用スコアの少なくとも一つを含む蓄積用データを生成する。データ生成部150は、さらに特徴量を含む蓄積用データを生成してもよい。蓄積用データは、診断用画像データ、特徴、特徴量、診断用スコア等の複数の情報が含まれる場合、これら複数の情報が互いに関連付けられたデータである。
データ生成部150は、後述する送信指示部160からの送信指示信号に基づき、蓄積用データを送信部170を介してサーバ20に送信する。データ生成部150は、送信指示部160からの送信指示信号を受信した場合に、蓄積用データの生成を開始する。また、データ生成部150は、診断用画像データ、特徴、特徴量及び診断用スコア等を取得した後直ちに(すなわち送信指示部160からの送信指示信号の受信の有無に関わらず)蓄積用データの生成を開始してもよい。この場合、データ生成部150は、蓄積用データを生成しても、所定時間内に送信指示信号を受信しない場合には、未送信の蓄積用データを破棄することが好ましい。
(送信指示部)
送信指示部160は、予め定められた少なくとも一つのトリガに応じて送信部170に送信指示信号を出力する。送信指示部160は、端末10から入力された送信指示信号をトリガとして、データ生成部150に対して、蓄積用データをサーバ20に対して送信するように指示する。なお、送信指示部160は、端末10から入力された送信指示信号をトリガとして、送信部170に対して、データ生成部150が生成する蓄積用データをサーバ20に対して送信するように指示してもよい。送信指示信号は、端末10の入力部16を介してユーザにより入力された診断用画像データの蓄積を指示する信号である。
送信指示部160は、予め定められた少なくとも一つのトリガに応じて送信部170に送信指示信号を出力する。送信指示部160は、端末10から入力された送信指示信号をトリガとして、データ生成部150に対して、蓄積用データをサーバ20に対して送信するように指示する。なお、送信指示部160は、端末10から入力された送信指示信号をトリガとして、送信部170に対して、データ生成部150が生成する蓄積用データをサーバ20に対して送信するように指示してもよい。送信指示信号は、端末10の入力部16を介してユーザにより入力された診断用画像データの蓄積を指示する信号である。
(送信部)
送信部170は、表示用画像データを端末10の表示部14に出力する。また、送信部170は、送信指示部160からの送信指示信号を受けてデータ生成部150が出力した蓄積用データを、サーバ20の蓄積部30(データ蓄積部に該当)に送信する。送信された蓄積用データは、劣化診断の評価に適した評価用データとして用いられる。なお、送信部170は、送信指示部160からの送信指示信号を受信した場合にデータ生成部150が生成する蓄積用データをサーバ20の蓄積部30(データ蓄積部に該当)に送信してもよい。送信部170は、表示用画像データ送信部172及び蓄積用データ送信部174を有している。
送信部170は、表示用画像データを端末10の表示部14に出力する。また、送信部170は、送信指示部160からの送信指示信号を受けてデータ生成部150が出力した蓄積用データを、サーバ20の蓄積部30(データ蓄積部に該当)に送信する。送信された蓄積用データは、劣化診断の評価に適した評価用データとして用いられる。なお、送信部170は、送信指示部160からの送信指示信号を受信した場合にデータ生成部150が生成する蓄積用データをサーバ20の蓄積部30(データ蓄積部に該当)に送信してもよい。送信部170は、表示用画像データ送信部172及び蓄積用データ送信部174を有している。
表示用画像データ送信部172は、データ生成部150から入力された表示用画像データを端末10に送信する。データ生成部150で生成された表示用画像データは、表示部14において表示用画像が所定のフレームレートで処理されたプレビュー動画として表示されるように、連続的に端末10に送信される。
蓄積用データ送信部174は、送信指示部160からの送信指示信号を受信した場合に、データ生成部150から入力された蓄積用データをサーバ20に送信する。
蓄積用データ送信部174は、送信指示部160からの送信指示信号を受信した場合に、データ生成部150から入力された蓄積用データをサーバ20に送信する。
<サーバ>
サーバ20は、蓄積用データを蓄積する蓄積部30と、学習済モデル(推論用モデル132)を生成する学習部40とを備えている。
サーバ20は、蓄積用データを蓄積する蓄積部30と、学習済モデル(推論用モデル132)を生成する学習部40とを備えている。
(蓄積部)
蓄積部30は、診断装置100から送信された蓄積用データを蓄積する。蓄積部30に蓄積された蓄積用データは、劣化の可能性が高い検査対象を示すデータである。すなわち、蓄積部30に蓄積された蓄積用データを参照することにより、ユーザは、超音波検査等の方法により直接劣化の評価を行う必要のある検査対象を確認することができる。
蓄積部30は、診断装置100から送信された蓄積用データを蓄積する。蓄積部30に蓄積された蓄積用データは、劣化の可能性が高い検査対象を示すデータである。すなわち、蓄積部30に蓄積された蓄積用データを参照することにより、ユーザは、超音波検査等の方法により直接劣化の評価を行う必要のある検査対象を確認することができる。
(学習部)
図4に示すように、学習部40は、データ加工部42と、特徴学習部44とを有している。
データ加工部42は、予め準備された学習用画像データ(学習用センサデータの一例)とその学習用画像データに含まれる特徴(ラベル)とが入力されて、学習用画像データの画像解析を行う。学習用画像データは、検査対象の表面又はその周辺部に生じた検査対象の変質部分の画像の画像データである。学習用画像データに含まれる特徴(ラベル)は、学習用画像中の検査対象に生じた変質部分の特徴の正解値を示す情報である。
図4に示すように、学習部40は、データ加工部42と、特徴学習部44とを有している。
データ加工部42は、予め準備された学習用画像データ(学習用センサデータの一例)とその学習用画像データに含まれる特徴(ラベル)とが入力されて、学習用画像データの画像解析を行う。学習用画像データは、検査対象の表面又はその周辺部に生じた検査対象の変質部分の画像の画像データである。学習用画像データに含まれる特徴(ラベル)は、学習用画像中の検査対象に生じた変質部分の特徴の正解値を示す情報である。
学習用画像に表された変質部分は、当該学習用画像に表された検査対象の劣化に起因する変質部分の特徴の抽出に有効な要素である。有効な要素としては、例えば、検査対象表面やその周辺部の塗装の色(変色)、保護材の剥がれ、保護材表面の変形、検査対象を支持する架台に付着した錆等が挙げられる。データ加工部42は、学習用画像データから抽出した特徴量を特徴学習部44に出力する。
データ加工部42では、コンピュータ50を介して入力されたユーザの指示に基づいて、学習用画像データのトリミングを行い、検査対象の変質部分のみを切り出してもよい。また、データ加工部42は、特徴量の抽出処理を行う際に、入力された診断用画像データを所定サイズに拡大、縮小するサイズ変更処理や、入力された診断用画像データのノイズを軽減するための平滑化処理等の前処理を行っても良い。
特徴学習部44は、初期モデル及び学習用パラメータが入力され、学習用画像データ並びに学習用画像データから抽出された特徴量及び特徴を教師データとする機械学習により、学習済みモデルである推論用モデル442を生成する。特徴学習部44は、推論用モデル442のコピーを特徴抽出部110に送信する。これにより、推論部130には、推論用モデル132が生成される。初期モデル及び学習用パラメータは、特徴学習部44の図示しない記憶部に予め保存されていても良い。
<診断システムの各部の動作>
以下、診断システム1の各部の動作について説明する。
まず、学習用画像データを用いた特徴の学習時の動作(推論用モデル132生成時の動作)及び診断用画像データの特徴の診断時の動作についてそれぞれ説明する。
以下、診断システム1の各部の動作について説明する。
まず、学習用画像データを用いた特徴の学習時の動作(推論用モデル132生成時の動作)及び診断用画像データの特徴の診断時の動作についてそれぞれ説明する。
(学習時の動作)
まず、図5を参照して、特徴の学習時の動作を説明する。特徴の学習時には、機械学習により推論用モデル132を生成する。図5は、推論用モデル132を生成する工程を示すフローチャートである。
まず、図5を参照して、特徴の学習時の動作を説明する。特徴の学習時には、機械学習により推論用モデル132を生成する。図5は、推論用モデル132を生成する工程を示すフローチャートである。
まず、学習部40のデータ加工部42に、検査対象の外観又はその周辺部に生じた変質部分を撮影した複数の学習用画像データを教師データとして入力する(ステップS11)。すなわち、学習用画像データは、特徴となる変質ごとに複数の学習用画像データが入力されることが好ましい。
次に、データ加工部42において、入力された学習用画像データに対してORBアルゴリズム等を用いた画像解析を行い、学習用画像データの変質部分の特徴量を抽出する(ステップS12)。データ加工部42は、画像解析により抽出された特徴量(例えば、輝度変化の大きさと向き)を、特徴学習部44に出力する。
続いて、特徴学習部44において、データ加工部42から入力された特徴量と、学習用画像データの特徴(変質を示すラベル)とを用いた機械学習を行い、推論用モデル442を生成する(ステップS13)。機械学習のアルゴリズムとしては、用いる初期モデルに合わせて公知のものを用いることができる。このとき、図4に示すように、特徴学習部44には、初期モデル及び学習用パラメータが入力される。なお、初期モデルは、特徴学習部44の図示しない記憶部に予め保存されていても良い。
特徴学習部44に入力される初期モデルとしては、学習用画像データを入力として利用可能であればいずれのモデルであっても良い。特徴学習部44に入力される初期モデルとしては、例えばサポートベクターマシン、ニューラルネットワーク又はランダムフォレスト等のモデルを用いることができる。
また、学習用パラメータは、推論用モデル442を得るために設定される設定値である。特徴学習部44は、推論用モデル442が最適解を出すことができるパラメータを走査して設定する。学習用パラメータの調整には、適切と考えられるパラメータの組み合わせをすべて試すグリッドサーチや、パラメータの組み合わせを無作為に試すランダムサーチ等が用いられ、これらのパラメータの組み合わせが学習用パラメータとして入力される。
最後に、ステップS13において生成された推論用モデル442が特徴学習部44(又はデータ加工部42)の図示しない記憶部に保存される(ステップS14)。以上により、学習用画像データを用いた機械学習により推論用モデル442が生成される。
(診断時の動作)
次に、図2及び図6を参照して、診断用画像データの診断時の動作について説明する。図6は、診断用画像データの診断時の動作を説明するフローチャートである。
次に、図2及び図6を参照して、診断用画像データの診断時の動作について説明する。図6は、診断用画像データの診断時の動作を説明するフローチャートである。
まず、診断の開始時に、診断に先立って学習部40で生成された推論用モデル442を、推論部130にコピーして保存し、推論用モデル132を生成する(ステップS21)。
端末10のデータ取得部12において、検査対象から診断用画像データを取得する(ステップS22)。診断用画像データは、検査対象を含む領域を撮影して取得する。
診断装置100は、端末10から診断用画像データを取得し、特徴抽出部110のデータ解析部120において、診断用画像データに対する画像解析を行う(ステップS23)。データ解析部120は、画像解析の結果として、診断用画像データの特徴量を推論部130及びデータ生成部150に出力し、診断用画像データの特徴をスコア算出部140及びデータ生成部150に出力する。
診断装置100は、端末10から診断用画像データを取得し、特徴抽出部110のデータ解析部120において、診断用画像データに対する画像解析を行う(ステップS23)。データ解析部120は、画像解析の結果として、診断用画像データの特徴量を推論部130及びデータ生成部150に出力し、診断用画像データの特徴をスコア算出部140及びデータ生成部150に出力する。
ステップS23では、得られた解析結果が特徴(検査対象の変質、錆)やその量(検査対象の変質、錆の面積等)である場合、データ解析部120は当該解析結果を特徴としてスコア算出部140及びデータ生成部150に出力する。
また、ステップS23では、得られた解析結果が特徴量である場合、データ解析部120は当該特徴量を推論部130及びデータ生成部150に出力する。推論部130において推論用モデル132の推論結果を得るために必要である場合には、特徴量とともに、特徴やその量を推論部130に入力しても良い。
また、ステップS23では、得られた解析結果が特徴量である場合、データ解析部120は当該特徴量を推論部130及びデータ生成部150に出力する。推論部130において推論用モデル132の推論結果を得るために必要である場合には、特徴量とともに、特徴やその量を推論部130に入力しても良い。
特徴抽出部110の推論部130において、入力した特徴量に対する推論用モデル132の推論結果として特徴を得る(ステップS24)。推論部130は、特徴量が入力されると、その特徴量に基づいて診断用画像データが持つ特徴を推論し、推論結果を特徴として出力する。
スコア算出部140において、データ解析部120及び推論部130のそれぞれから入力された特徴に基づいて、診断用スコアが算出される(ステップS25)。スコア算出部140は、例えば図4に示すように、特徴別スコア(xa~xh)と特徴の大きさ(ya~yh)とを乗算して、特徴(特徴A~特徴H)毎の診断用部分スコアをそれぞれ算出し、各診断用部分スコアを重み付け加算して診断用画像データのトータルスコアを算出する。すなわち、特徴Aを有する診断用画像データの診断用部分スコアAはxa・yaで示される。また、特徴Bを有する診断用部分スコアB~特徴Hを有する診断用部分スコアHも同様に、それぞれxb・yb、xc・yc、・・・xh・yhで示される。また、トータルスコアは、診断用部分スコアA~診断用部分スコアHを加算又は重み付けして加算することにより得られる。トータルスコアは、診断用部分スコアA~診断用部分スコアHを加算後に係数を乗算して、所定の桁数のスコアとなるように調整されたスコアであっても良い。スコア算出部140は、診断用スコアとして、特徴別スコア及びトータルスコアの少なくとも一方をデータ生成部150に出力する。
データ生成部150において、表示用画像データが生成される(ステップS26)。データ生成部150は、入力された診断用画像データに対応する画像に対して、データ解析部120又は推論部130で抽出した特徴を示すマークを合成して表示用画像を生成する。データ生成部150は、生成した表示用画像データを端末10に送信する。
続いて、端末10の表示部14において、表示用画像が表示される(ステップS27)。端末10は、データ生成部150から表示用画像データを取得し、当該表示用画像データを所定のフレームレートで処理して表示部14に表示用画像をプレビュー動画として表示する。
送信指示部160において、端末10からの送信指示の有無を判断する(ステップS28)。送信指示部160は、端末10の入力部16から送信されたトリガに応じて送信指示の有無を判断する。送信指示部160は、端末10の入力部16から送信された信号の受信の有無に応じて送信指示の有無を判断する。
送信指示部160において、送信指示無しと判断した場合(ステップS28のno)、ステップS22に処理が戻り、端末10での診断用データ取得が継続する。
また、送信指示部160において、送信指示有りと判断した場合(ステップS28のyes)、送信指示部160は、データ生成部150に蓄積用データの送信を指示する送信指示信号を出力する。データ生成部150は、送信指示信号を受信すると蓄積用データを生成し(ステップS29)、蓄積用データ送信部174を介して、生成された蓄積用データをサーバ20の蓄積部30に送信する(ステップS30)。なお、データ生成部150は送信指示信号を受信した都度サーバ20に蓄積用データを送信してよい。また、データ生成部150は、生成した蓄積用データを図示しない記憶部に保存しておき、送信指示部160から送信指示信号を受信したタイミングとは異なるタイミングでサーバ20に送信してもよい。すなわち、送信指示信号を受信したタイミングで蓄積用データを生成し、一定時間経過後又は一定量の蓄積用データが保存されたタイミングで蓄積用データをサーバ20に送信してもよい。データ生成部150は、送信指示信号受信時に都度蓄積用データを送信するか否かを、生成した蓄積用データのデータサイズと通信帯域幅で判定してもよい。
蓄積用データがサーバ20に送信されると、処理がステップS22に戻り、診断用データの取得を継続する。ステップS29、ステップS30における蓄積用データの合成・送信処理と、ステップS22の診断用データの取得処理とは、並行して行われることが好ましい。
また、送信指示部160において、送信指示有りと判断した場合(ステップS28のyes)、送信指示部160は、データ生成部150に蓄積用データの送信を指示する送信指示信号を出力する。データ生成部150は、送信指示信号を受信すると蓄積用データを生成し(ステップS29)、蓄積用データ送信部174を介して、生成された蓄積用データをサーバ20の蓄積部30に送信する(ステップS30)。なお、データ生成部150は送信指示信号を受信した都度サーバ20に蓄積用データを送信してよい。また、データ生成部150は、生成した蓄積用データを図示しない記憶部に保存しておき、送信指示部160から送信指示信号を受信したタイミングとは異なるタイミングでサーバ20に送信してもよい。すなわち、送信指示信号を受信したタイミングで蓄積用データを生成し、一定時間経過後又は一定量の蓄積用データが保存されたタイミングで蓄積用データをサーバ20に送信してもよい。データ生成部150は、送信指示信号受信時に都度蓄積用データを送信するか否かを、生成した蓄積用データのデータサイズと通信帯域幅で判定してもよい。
蓄積用データがサーバ20に送信されると、処理がステップS22に戻り、診断用データの取得を継続する。ステップS29、ステップS30における蓄積用データの合成・送信処理と、ステップS22の診断用データの取得処理とは、並行して行われることが好ましい。
[診断プログラム]
本実施形態に係る診断装置100により実行される診断プログラムについて説明する。診断装置100は、以下の(a)~(h)の各動作をコンピュータに実行させる診断プログラムに従って、検査対象の状態の診断を行う。以下の診断プログラムは、例えばハードディスクドライブ又はメモリ、DVDディスク又はBlu-ray(登録商標)等の光ディスク等の記録媒体に記録される。以下のプログラムは、インターネットを介して配布されても良い。さらに、以下のプログラムは、クラウドサーバに記録され、インターネットを介して各動作が実行されても良い。
本実施形態に係る診断装置100により実行される診断プログラムについて説明する。診断装置100は、以下の(a)~(h)の各動作をコンピュータに実行させる診断プログラムに従って、検査対象の状態の診断を行う。以下の診断プログラムは、例えばハードディスクドライブ又はメモリ、DVDディスク又はBlu-ray(登録商標)等の光ディスク等の記録媒体に記録される。以下のプログラムは、インターネットを介して配布されても良い。さらに、以下のプログラムは、クラウドサーバに記録され、インターネットを介して各動作が実行されても良い。
(a)検査対象から診断用センサデータを取得すること
(b)取得した診断用センサデータに基づいて、予め定められた少なくとも1つの特徴を、診断用センサデータに基づく推論用モデルの推論結果として抽出すること
(c)抽出された特徴に基づいて、診断用センサデータの診断用スコアを算出すること
(d)診断用センサデータに対して特徴が合成された表示用データを生成すること
(e)表示用データを表示すること
(f)診断用センサデータ、特徴及び診断用スコアのうち少なくとも一つを含む蓄積用データを生成すること
(g)予め定められた少なくとも一つのトリガに応じて送信指示信号を出力すること
(h)送信指示信号に基づいて蓄積用データをデータ蓄積部に送信すること
(b)取得した診断用センサデータに基づいて、予め定められた少なくとも1つの特徴を、診断用センサデータに基づく推論用モデルの推論結果として抽出すること
(c)抽出された特徴に基づいて、診断用センサデータの診断用スコアを算出すること
(d)診断用センサデータに対して特徴が合成された表示用データを生成すること
(e)表示用データを表示すること
(f)診断用センサデータ、特徴及び診断用スコアのうち少なくとも一つを含む蓄積用データを生成すること
(g)予め定められた少なくとも一つのトリガに応じて送信指示信号を出力すること
(h)送信指示信号に基づいて蓄積用データをデータ蓄積部に送信すること
<第一実施形態の効果>
第一実施形態に係る診断システム1は、以下の効果を有する。
(1)診断システム1は、検査対象から取得した診断用画像データに対して、診断用画像データから抽出した特徴を合成した表示用画像データを生成し、表示部に表示用画像データをプレビュー画像(動画)として表示する。診断システム1では、検査対象から取得した診断用画像データにどのような特徴が含まれているかをユーザに対して一見して示すことができる。このため、診断システム1では、表示用画像データに基づいてユーザに検査対象からより劣化評価に適したセンサデータを選択させることができる。
第一実施形態に係る診断システム1は、以下の効果を有する。
(1)診断システム1は、検査対象から取得した診断用画像データに対して、診断用画像データから抽出した特徴を合成した表示用画像データを生成し、表示部に表示用画像データをプレビュー画像(動画)として表示する。診断システム1では、検査対象から取得した診断用画像データにどのような特徴が含まれているかをユーザに対して一見して示すことができる。このため、診断システム1では、表示用画像データに基づいてユーザに検査対象からより劣化評価に適したセンサデータを選択させることができる。
(2)診断システム1は、学習用画像データを用いた機械学習により得られた推論用モデル132を有しており、推論用モデル132は、診断用画像データに対する推論結果を診断用画像データの特徴として抽出する。このため、診断システム1は、診断用画像データの特徴を精度よく抽出することができる。
(3)診断システム1は、診断用画像データに対する画像処理による特徴の抽出と、診断用画像データに対する機械学習による(推論用モデル132を用いた)特徴の抽出と、の双方を使い分けることができる。このため、診断システム1は、より正確で、早い診断を行うことができる。
(3)診断システム1は、診断用画像データに対する画像処理による特徴の抽出と、診断用画像データに対する機械学習による(推論用モデル132を用いた)特徴の抽出と、の双方を使い分けることができる。このため、診断システム1は、より正確で、早い診断を行うことができる。
(4)検査対象が配管やタンクである場合、配管やタンクはプラント内において架台上に配置されている場合が多く、検査対象が架台に接触している箇所には腐食が多く見られる。このような箇所に対して測定器を用いた定量的な検査を行うには、足場の設置や検査対象の吊り上げ等が必要であり、多大なコストがかかる。従来、検査対象の劣化の程度は、検査員が検査対象の外観の状態との経験的関係に基づいて判断していた。このため、検査員の熟練度によっては、本来は定量検査が不要な状態の検査対象についても劣化の可能性が高い検査対象として抽出されたり、定量検査が必要な状態の検査対象が劣化の可能性が低い検査対象として抽出される場合があった。この場合、不要な検査コストがかかったり、検査対象の劣化の見落としが生じるおそれがあった。
診断システム1では、検査対象から外観画像を収集する際に、外観画像から抽出した特徴を合成した表示用画像データをプレビュー画像(動画)として表示する。このため、検査員は、プレビュー画像(動画)を確認しながら劣化の可能性が高い検査対象の外観画像を抽出して保存することができる。このため、不要な検査コストがかかったり、検査対象の劣化の見落としが生じることを抑制することができる。
診断システム1では、検査対象から外観画像を収集する際に、外観画像から抽出した特徴を合成した表示用画像データをプレビュー画像(動画)として表示する。このため、検査員は、プレビュー画像(動画)を確認しながら劣化の可能性が高い検査対象の外観画像を抽出して保存することができる。このため、不要な検査コストがかかったり、検査対象の劣化の見落としが生じることを抑制することができる。
<第一実施形態の変形例>
第一実施形態の診断システム1において、スコア算出部140は、算出式を用いて診断用スコアを算出しているが、これに限られない。
例えば、スコア算出部140は、図示しない算出用モデルを有し、特徴抽出部110で抽出された特徴に基づく算出用モデルの推論結果を診断用スコア(診断用部分スコア及びトータルスコア)として出力する診断システムであってもよい。
算出用モデルは、後述する蓄積部30に蓄積された蓄積用データを教師データとして機械学習することにより生成された学習済モデルである。ここで、蓄積用データは、ユーザが検査対象の劣化診断のための有効な要素を含んでいると判断した診断用画像データ、特徴、特徴量等を含んでおり、機械学習のためのデータセットとして用いることができる。
第一実施形態の診断システム1において、スコア算出部140は、算出式を用いて診断用スコアを算出しているが、これに限られない。
例えば、スコア算出部140は、図示しない算出用モデルを有し、特徴抽出部110で抽出された特徴に基づく算出用モデルの推論結果を診断用スコア(診断用部分スコア及びトータルスコア)として出力する診断システムであってもよい。
算出用モデルは、後述する蓄積部30に蓄積された蓄積用データを教師データとして機械学習することにより生成された学習済モデルである。ここで、蓄積用データは、ユーザが検査対象の劣化診断のための有効な要素を含んでいると判断した診断用画像データ、特徴、特徴量等を含んでおり、機械学習のためのデータセットとして用いることができる。
スコア算出部140は、例えば、診断初期には予め有している算出式を用いて診断用スコアを算出し、蓄積部30に所定量の蓄積用データが蓄積された時点で、機械学習により生成された算出用モデルを用いて診断用スコアを得ることができる。
この場合、学習部40では、蓄積部30から入力された蓄積用データを教師データとする機械学習により学習済みモデルであるスコア算出用モデルを生成する。学習部40においてスコア算出用モデルを生成した場合には、生成された推論用モデルをスコア算出部140にコピーして保存する。
データ加工部42は、蓄積用データに含まれる診断用画像データの画像解析を行う。学習用画像データは、検査対象の表面又はその周辺部に生じた検査対象の変質部分の画像の画像データである。学習用画像データに含まれる特徴(ラベル)は、学習用画像中の検査対象に生じた変質部分の特徴の正解値を示す情報である。
特徴学習部44には、蓄積用データに含まれる診断用画像データ、特徴量及び特徴が入力される。また、特徴学習部44には、診断用画像中の検査対象の劣化を実測した実測値が入力される。
特徴学習部44は、初期モデル及び学習用パラメータが入力され、学習用画像データ、特徴量及び特徴、並びに検査対象の劣化の実測値を教師データとする機械学習により、学習済みモデルであるスコア算出用モデル(図示せず)を生成する。特徴学習部44は、スコア算出用モデルのコピーを特徴抽出部110に送信する。これにより、スコア算出部140には、スコア算出用モデル(図示せず)が生成される。
特徴学習部44は、初期モデル及び学習用パラメータが入力され、学習用画像データ、特徴量及び特徴、並びに検査対象の劣化の実測値を教師データとする機械学習により、学習済みモデルであるスコア算出用モデル(図示せず)を生成する。特徴学習部44は、スコア算出用モデルのコピーを特徴抽出部110に送信する。これにより、スコア算出部140には、スコア算出用モデル(図示せず)が生成される。
なお、特徴学習部44におけるスコア算出用モデルの生成は、端末10及び診断装置100における検査対象の診断用画像データの取得及び診断用画像データの診断と並行して行われても良く、一定量の蓄積用データが蓄積された後に単独で行われても良い。
また、特徴を入力した場合の算出用モデルの推論結果として、「診断用スコア」の代わりに検査対象の評価(劣化の程度)を直接得ても良い。
また、特徴を入力した場合の算出用モデルの推論結果として、「診断用スコア」の代わりに検査対象の評価(劣化の程度)を直接得ても良い。
蓄積用データは、診断済みの診断用画像データ(特徴が表示された表示用画像データ)に基づいてユーザが選択することにより蓄積されたデータである。このため、変形例の診断システムは、上述した第一実施形態の効果(1)から(4)に加えて、以下の効果を有する。
(5)変形例の診断システムでは、スコア算出モデル生成用の教師データとして精度の高いデータを収集することが可能となる。このため、蓄積用データを教師データとする機械学習により得られた算出用モデルを用いて診断用スコアを得ることで、診断システムにおける診断用画像データに対する診断用スコアのスコア付けの精度が向上する。
(5)変形例の診断システムでは、スコア算出モデル生成用の教師データとして精度の高いデータを収集することが可能となる。このため、蓄積用データを教師データとする機械学習により得られた算出用モデルを用いて診断用スコアを得ることで、診断システムにおける診断用画像データに対する診断用スコアのスコア付けの精度が向上する。
2.第二実施形態
以下、本発明の第二実施形態に係る診断システム2について、図1から図6を参照しつつ図7及び図8を用いて説明する。
第二実施形態に係る診断システム2は、診断用画像データの診断用スコア(部分スコア及びトータルスコアの少なくとも一方)に応じて、表示用画像にアラート情報を合成する点で、第一実施形態に係る診断システム1と異なる。
診断システム2は、端末10、診断装置200及びサーバ20を備えている。診断装置200は、特徴抽出部110、スコア算出部240、データ生成部250、送信指示部160、送信部170及びスコア判断部280を有している。
以下、図7に示す診断システム2のブロック図を用いて、スコア算出部240、データ生成部250及びスコア判断部280について説明する。また、診断システム2の端末10、特徴抽出部110、送信指示部160、送信部170及びサーバ20については、診断システム1の端末10、特徴抽出部110、送信指示部160、送信部170及びサーバ20と同様の構成であるため説明を省略する。
以下、本発明の第二実施形態に係る診断システム2について、図1から図6を参照しつつ図7及び図8を用いて説明する。
第二実施形態に係る診断システム2は、診断用画像データの診断用スコア(部分スコア及びトータルスコアの少なくとも一方)に応じて、表示用画像にアラート情報を合成する点で、第一実施形態に係る診断システム1と異なる。
診断システム2は、端末10、診断装置200及びサーバ20を備えている。診断装置200は、特徴抽出部110、スコア算出部240、データ生成部250、送信指示部160、送信部170及びスコア判断部280を有している。
以下、図7に示す診断システム2のブロック図を用いて、スコア算出部240、データ生成部250及びスコア判断部280について説明する。また、診断システム2の端末10、特徴抽出部110、送信指示部160、送信部170及びサーバ20については、診断システム1の端末10、特徴抽出部110、送信指示部160、送信部170及びサーバ20と同様の構成であるため説明を省略する。
(スコア算出部)
スコア算出部240は、第一実施形態のスコア算出部140と同様に、特徴抽出部110のデータ解析部120及び推論部130から入力された特徴に基づいて、診断用画像データの診断用スコアを算出する。スコア算出部240は、診断用スコア(トータルスコア及び診断用部分スコアの少なくとも一方)を、データ生成部150に加えてスコア判断部280にも出力する。
スコア算出部240は、第一実施形態のスコア算出部140と同様に、特徴抽出部110のデータ解析部120及び推論部130から入力された特徴に基づいて、診断用画像データの診断用スコアを算出する。スコア算出部240は、診断用スコア(トータルスコア及び診断用部分スコアの少なくとも一方)を、データ生成部150に加えてスコア判断部280にも出力する。
(スコア判断部)
スコア判断部280は、診断用センサデータの診断基準となる閾値を有し、スコア算出部240から入力された診断用スコアと閾値とを比較して診断用画像データのスコア判断を行う。スコア判断部280は、比較結果に基づいてデータ生成部250にアラート信号を出力する。ここで、「閾値」とは、診断用画像データの診断用スコアが当該閾値よりも高い(又は低い)場合に、診断用画像データ中の診断対象の劣化の可能性が高いこと示す値である。また、「アラート信号」とは、診断用画像データの診断用スコアが閾値を超えたことを示す信号である。なお、スコア判断部280は、トータルスコアに対して閾値を設定してもよいし、診断用部分スコアの少なくとも一つに対して閾値を設定してもよい。また、スコア判断部280は、複数の診断用部分スコアに重みづけして足し合わせたものを閾値として設定してもよい。
例えば、スコア判断部280は、診断用画像データの診断用スコアが閾値を超えた場合、データ生成部250にアラート信号を送信する。
スコア判断部280は、診断用センサデータの診断基準となる閾値を有し、スコア算出部240から入力された診断用スコアと閾値とを比較して診断用画像データのスコア判断を行う。スコア判断部280は、比較結果に基づいてデータ生成部250にアラート信号を出力する。ここで、「閾値」とは、診断用画像データの診断用スコアが当該閾値よりも高い(又は低い)場合に、診断用画像データ中の診断対象の劣化の可能性が高いこと示す値である。また、「アラート信号」とは、診断用画像データの診断用スコアが閾値を超えたことを示す信号である。なお、スコア判断部280は、トータルスコアに対して閾値を設定してもよいし、診断用部分スコアの少なくとも一つに対して閾値を設定してもよい。また、スコア判断部280は、複数の診断用部分スコアに重みづけして足し合わせたものを閾値として設定してもよい。
例えば、スコア判断部280は、診断用画像データの診断用スコアが閾値を超えた場合、データ生成部250にアラート信号を送信する。
(データ生成部)
データ生成部250は、第一実施形態のデータ生成部150と同様に、表示用画像を生成する。データ生成部250は、スコア判断部280からアラート信号を受信した場合に、端末10から入力された診断用画像に対して、データ解析部120又は推論部130で抽出した特徴を示すマークとともにアラート情報を示す画像を合成して表示用画像を生成する。
アラート情報は、例えば表示用画像において最前面となるように(すなわち、診断用画像及び特徴を示すマークの前面に)合成される。データ生成部250で合成された表示用画像は、端末10に送信され、表示部14に表示される。
データ生成部250は、第一実施形態のデータ生成部150と同様に、表示用画像を生成する。データ生成部250は、スコア判断部280からアラート信号を受信した場合に、端末10から入力された診断用画像に対して、データ解析部120又は推論部130で抽出した特徴を示すマークとともにアラート情報を示す画像を合成して表示用画像を生成する。
アラート情報は、例えば表示用画像において最前面となるように(すなわち、診断用画像及び特徴を示すマークの前面に)合成される。データ生成部250で合成された表示用画像は、端末10に送信され、表示部14に表示される。
ユーザは、例えば、表示部14に表示された表示用画像を視認して、アラート情報が合成された表示用画像が表示された場合に入力部16を操作する。送信指示部160は、入力部16の操作をトリガとして送信部170に送信指示信号を出力する。送信部170は、送信指示部160からの送信指示信号を受信した場合に蓄積用データをサーバ20の蓄積部30に送信する。
<診断システムの各部の動作>
以下、診断システム2の各部の動作について説明する。
なお、特徴の学習時の動作については、第一実施形態での説明と同様であるため、説明を省略する。
以下、診断システム2の各部の動作について説明する。
なお、特徴の学習時の動作については、第一実施形態での説明と同様であるため、説明を省略する。
(診断時の動作)
図8を参照して、診断用画像データの診断時の動作について説明する。図8は、診断用画像データの診断時の動作を説明するフローチャートである。
図8を参照して、診断用画像データの診断時の動作について説明する。図8は、診断用画像データの診断時の動作を説明するフローチャートである。
まず、推論部130に推論用モデル132を保存し(ステップS31)、端末10のデータ取得部12において診断用画像データを取得し(ステップS32)、データ解析部120において診断用画像データの画像解析を行う(ステップS33)。続いて、推論部130において、推論用モデル132の推論結果として診断用画像データの特徴を出力し(ステップS34)、スコア算出部240において診断用画像データの診断用スコアが算出される(ステップS35)。ステップS31からステップS35の具体的な動作については、第一実施形態における診断時の動作のステップS21からステップS25と同様であるため、詳細な説明は省略する。
スコア判断部280において、スコア算出部240から入力された診断用スコアと閾値とを比較して診断用画像データのスコア判断を行う(ステップS36)。スコア判断部280において、スコア算出部240から入力された診断用スコアが閾値よりも大きい場合(ステップS36のyes)、スコア判断部280はデータ生成部250に対してアラート信号を出力する(ステップS37)。この後、表示用画像データの合成に処理が進む(ステップS38)。
一方、スコア判断部280において、スコア算出部240から入力された診断用スコアが閾値よりも小さい場合(ステップS36のno)、スコア判断部280はアラート信号を出力せずに表示用画像データの合成に処理が進む(ステップS38)。
データ生成部250において、表示用画像データが生成される(ステップS38)。データ生成部250は、入力された診断用画像データに対応する診断用画像に対して、データ解析部120又は推論部130で抽出した特徴を示すマークを合成して表示用画像を生成する。また、データ生成部250は、スコア判断部280からアラート信号が入力された場合には、特徴とともにアラート情報が合成された表示用画像を生成する。データ生成部250は、生成した表示用画像データを端末10に送信する。
続いて、端末10の表示部14において、表示用画像を表示する(ステップS39)。
続いて、端末10の表示部14において、表示用画像を表示する(ステップS39)。
この後、送信指示部160において、端末10からの送信指示の有無を判断する(ステップS40)。送信指示部160において、送信指示無しと判断した場合(ステップS40のno)、ステップS22に処理が戻り、端末10での診断用データ取得が継続する。
また、送信指示部160において、送信指示有りと判断した場合(ステップS40のyes)、ステップS41に処理が移り、データ生成部150は、蓄積用データを生成し(ステップS41)、蓄積用データ送信部174を介して生成された蓄積用データをサーバ20の蓄積部30に送信する(ステップS42)。
蓄積用データがサーバ20に送信されると、処理がステップS32に戻り、診断用データの取得を継続する。
また、送信指示部160において、送信指示有りと判断した場合(ステップS40のyes)、ステップS41に処理が移り、データ生成部150は、蓄積用データを生成し(ステップS41)、蓄積用データ送信部174を介して生成された蓄積用データをサーバ20の蓄積部30に送信する(ステップS42)。
蓄積用データがサーバ20に送信されると、処理がステップS32に戻り、診断用データの取得を継続する。
<第二実施形態の効果>
第二実施形態に係る診断システム2は、第一実施形態及び変形例に係る診断システム1における効果(1)~(5)に加えて、以下の効果を有する。
(6)診断システム1は、診断用画像データの診断用スコアと閾値との比較結果に応じて、アラート情報を合成した表示用画像を表示部14に表示する。これにより、診断システム1は、ユーザに対して診断用画像データ中の診断対象の劣化の可能性が高いことを表示し、蓄積用データを劣化評価に用いる際の評価データとしての適切度についてユーザごとのばらつきを生じにくくすることができる。
第二実施形態に係る診断システム2は、第一実施形態及び変形例に係る診断システム1における効果(1)~(5)に加えて、以下の効果を有する。
(6)診断システム1は、診断用画像データの診断用スコアと閾値との比較結果に応じて、アラート情報を合成した表示用画像を表示部14に表示する。これにより、診断システム1は、ユーザに対して診断用画像データ中の診断対象の劣化の可能性が高いことを表示し、蓄積用データを劣化評価に用いる際の評価データとしての適切度についてユーザごとのばらつきを生じにくくすることができる。
3.第三実施形態
以下、本発明の第三実施形態に係る診断システム3について、図1から図8を参照しつつ図9及び図10を用いて説明する。
第三実施形態に係る診断システム3は、診断用画像データの診断用スコア(部分スコア及びトータルスコアの少なくとも一方)に応じて、自動で蓄積用データを生成し、蓄積部30に蓄積する点で、第一実施形態に係る診断システム1と異なる。すなわち、第三実施形態に係る診断システム3では、ユーザによって入力部16が操作されたことに応じて蓄積用データを生成、蓄積する代わりに、診断用スコアに基づいて劣化の可能性が高いと判断された場合に、蓄積用データを生成して蓄積する。
以下、本発明の第三実施形態に係る診断システム3について、図1から図8を参照しつつ図9及び図10を用いて説明する。
第三実施形態に係る診断システム3は、診断用画像データの診断用スコア(部分スコア及びトータルスコアの少なくとも一方)に応じて、自動で蓄積用データを生成し、蓄積部30に蓄積する点で、第一実施形態に係る診断システム1と異なる。すなわち、第三実施形態に係る診断システム3では、ユーザによって入力部16が操作されたことに応じて蓄積用データを生成、蓄積する代わりに、診断用スコアに基づいて劣化の可能性が高いと判断された場合に、蓄積用データを生成して蓄積する。
診断システム3は、端末10、診断装置300及びサーバ20を備えている。診断装置300は、特徴抽出部110、スコア算出部240、データ生成部150、送信指示部360、送信部170及びスコア判断部380を有している。
以下、図9に示す診断システム3のブロック図を用いて、スコア判断部380及び送信指示部360について説明する。ここで、診断システム3の端末10、特徴抽出部110、データ生成部150、送信部170及びサーバ20については、第一実施形態における診断システム1の端末10、特徴抽出部110、データ生成部150、送信部170及びサーバ20と同様の構成であるため説明を省略する。また、診断システム3のスコア算出部240は、第二実施形態における診断システム2のスコア算出部240と同様の構成であるため説明を省略する。
以下、図9に示す診断システム3のブロック図を用いて、スコア判断部380及び送信指示部360について説明する。ここで、診断システム3の端末10、特徴抽出部110、データ生成部150、送信部170及びサーバ20については、第一実施形態における診断システム1の端末10、特徴抽出部110、データ生成部150、送信部170及びサーバ20と同様の構成であるため説明を省略する。また、診断システム3のスコア算出部240は、第二実施形態における診断システム2のスコア算出部240と同様の構成であるため説明を省略する。
(スコア判断部)
スコア判断部380は、診断用センサデータの診断基準となる閾値を有し、スコア算出部240から入力された診断用スコアと閾値とを比較して診断用画像データのスコア判断を行う。スコア判断部380は、診断用スコアと閾値とを比較した比較結果に基づいて、送信指示部360にアラート信号を出力する。
例えば、スコア判断部380は、診断用画像データの診断用スコアが閾値を超えた場合、データ生成部250にアラート信号を送信する。
スコア判断部380は、診断用センサデータの診断基準となる閾値を有し、スコア算出部240から入力された診断用スコアと閾値とを比較して診断用画像データのスコア判断を行う。スコア判断部380は、診断用スコアと閾値とを比較した比較結果に基づいて、送信指示部360にアラート信号を出力する。
例えば、スコア判断部380は、診断用画像データの診断用スコアが閾値を超えた場合、データ生成部250にアラート信号を送信する。
(送信指示部360)
送信指示部360は、予め定められた少なくとも一つのトリガに応じて送信部170に送信指示信号を出力する。第三実施形態において、「トリガ」は、スコア判断部380から送信されるアラート信号である。送信部170に送信指示信号を受信すると、データ生成部150は表示用画像を生成し、蓄積用データ送信部174を介して表示用画像を蓄積部30に送信する。
送信指示部360は、予め定められた少なくとも一つのトリガに応じて送信部170に送信指示信号を出力する。第三実施形態において、「トリガ」は、スコア判断部380から送信されるアラート信号である。送信部170に送信指示信号を受信すると、データ生成部150は表示用画像を生成し、蓄積用データ送信部174を介して表示用画像を蓄積部30に送信する。
<診断システムの各部の動作>
以下、診断システム3の各部の動作について説明する。
なお、特徴の学習時の動作については、第一実施形態での説明と同様であるため、説明を省略する。
以下、診断システム3の各部の動作について説明する。
なお、特徴の学習時の動作については、第一実施形態での説明と同様であるため、説明を省略する。
(診断時の動作)
図10を参照して、診断用画像データの診断時の動作について説明する。図10は、診断用画像データの診断時の動作を説明するフローチャートである。
図10を参照して、診断用画像データの診断時の動作について説明する。図10は、診断用画像データの診断時の動作を説明するフローチャートである。
まず、推論部130に推論用モデル132を保存し(ステップS51)、端末10のデータ取得部12において診断用画像データを取得し(ステップS52)、データ解析部120において診断用画像データの画像解析を行う(ステップS53)。続いて、推論部130において、推論用モデル132の推論結果として診断用画像データの特徴を出力し(ステップS54)、スコア算出部240において診断用画像データの診断用スコアが算出される(ステップS55)。ステップS51からステップS55の具体的な動作については、第一実施形態における診断時の動作のステップS21からステップS25と同様であるため、詳細な説明は省略する。
スコア判断部380において、スコア算出部240から入力された診断用スコアと閾値とを比較して診断用画像データのスコア判断を行う(ステップS56)。スコア判断部380において、スコア算出部240から入力された診断用スコアが閾値よりも小さい場合(ステップS56のno)、スコア判断部380はアラート信号を出力せずに表示用画像データの合成に処理が進む(ステップS57)。
データ生成部250において、表示用画像データが生成される(ステップS57)。データ生成部250は、入力された診断用画像データに対応する診断用画像に対して、データ解析部120又は推論部130で抽出した特徴を示すマークを合成して表示用画像を生成する。データ生成部250は、生成した表示用画像データを端末10に送信する。
続いて、端末10の表示部14において、表示用画像を表示し(ステップS58)、処理が診断用データの取得(ステップS52)に戻る。
続いて、端末10の表示部14において、表示用画像を表示し(ステップS58)、処理が診断用データの取得(ステップS52)に戻る。
一方、スコア判断部380において、スコア算出部240から入力された診断用スコアが閾値よりも大きい場合(ステップS56のyes)、スコア判断部380は送信指示部360に対してアラート信号を出力する。
データ生成部250において、表示用画像データが生成される(ステップS59)。データ生成部250は、入力された診断用画像データに対応する診断用画像に対して、データ解析部120又は推論部130で抽出した特徴を示すマークを合成して表示用画像を生成する。データ生成部250は、生成した表示用画像データを端末10に送信する。
続いて、端末10の表示部14において、表示用画像を表示する(ステップS60)。
データ生成部250において、表示用画像データが生成される(ステップS59)。データ生成部250は、入力された診断用画像データに対応する診断用画像に対して、データ解析部120又は推論部130で抽出した特徴を示すマークを合成して表示用画像を生成する。データ生成部250は、生成した表示用画像データを端末10に送信する。
続いて、端末10の表示部14において、表示用画像を表示する(ステップS60)。
また、送信指示部360は、スコア判断部380からアラート信号を受信すると、送信指示有りと判断し、送信部170に送信指示信号を送信する。ステップS61に処理が移り、データ生成部150は、蓄積用データを生成し(ステップS61)、蓄積用データ送信部174を介して生成された蓄積用データをサーバ20の蓄積部30に送信する(ステップS62)。
蓄積用データがサーバ20に送信されると、処理がステップS52に戻り、診断用データの取得を継続する。
蓄積用データがサーバ20に送信されると、処理がステップS52に戻り、診断用データの取得を継続する。
<第三実施形態の効果>
第三実施形態に係る診断システム3は、第一実施形態及び変形例に係る診断システム1並びに第二実施形態に係る診断システム2における効果(1)~(6)に加えて、以下の効果を有する。
(7)診断システム3は、診断用画像データの診断用スコアと閾値との比較結果に応じて、ユーザが入力部16を操作することなく、劣化の可能性が高いと判断された診断用画像データを含む蓄積用データを生成して蓄積する。このため、診断システム3は、劣化評価に用いる際の評価データとしての適切度についてユーザごとのばらつきが少ない蓄積用データを収集することができる。
第三実施形態に係る診断システム3は、第一実施形態及び変形例に係る診断システム1並びに第二実施形態に係る診断システム2における効果(1)~(6)に加えて、以下の効果を有する。
(7)診断システム3は、診断用画像データの診断用スコアと閾値との比較結果に応じて、ユーザが入力部16を操作することなく、劣化の可能性が高いと判断された診断用画像データを含む蓄積用データを生成して蓄積する。このため、診断システム3は、劣化評価に用いる際の評価データとしての適切度についてユーザごとのばらつきが少ない蓄積用データを収集することができる。
4.第四実施形態
以下、本発明の第四実施形態に係る診断システム4について、図1から図8を参照しつつ図11及び図12を用いて説明する。
第四実施形態に係る診断システム4は、診断用画像データの診断用スコアに応じて、自動で蓄積用データを生成し蓄積部30に蓄積するとともに、蓄積部30に蓄積されたことを表示部14に表示する点で、第一実施形態に係る診断システム1と異なる。すなわち、第四実施形態に係る診断システム4では、ユーザによって入力部16が操作されたことに応じて蓄積用データを生成、蓄積する代わりに、診断用スコアに基づいて劣化の可能性が高いと判断された場合に、蓄積用データを生成して蓄積する。また、診断システム4では、蓄積用データに含まれる診断用画像データを用いて表示用画像データを生成する際に、自動蓄積されたデータであることを示す蓄積情報も合成して表示用画像データを生成し、表示部に表示する。
以下、本発明の第四実施形態に係る診断システム4について、図1から図8を参照しつつ図11及び図12を用いて説明する。
第四実施形態に係る診断システム4は、診断用画像データの診断用スコアに応じて、自動で蓄積用データを生成し蓄積部30に蓄積するとともに、蓄積部30に蓄積されたことを表示部14に表示する点で、第一実施形態に係る診断システム1と異なる。すなわち、第四実施形態に係る診断システム4では、ユーザによって入力部16が操作されたことに応じて蓄積用データを生成、蓄積する代わりに、診断用スコアに基づいて劣化の可能性が高いと判断された場合に、蓄積用データを生成して蓄積する。また、診断システム4では、蓄積用データに含まれる診断用画像データを用いて表示用画像データを生成する際に、自動蓄積されたデータであることを示す蓄積情報も合成して表示用画像データを生成し、表示部に表示する。
診断システム4は、端末10、診断装置400及びサーバ20を備えている。診断装置400は、特徴抽出部110、スコア算出部240、データ生成部150、送信指示部460、送信部170及びスコア判断部480を有している。
以下、図11に示す診断システム4のブロック図を用いて、スコア判断部480及び送信指示部460について説明する。ここで、診断システム4の端末10、特徴抽出部110、データ生成部150、送信部170及びサーバ20については、第一実施形態における診断システム1の端末10、特徴抽出部110、データ生成部150、送信部170及びサーバ20と同様の構成であるため説明を省略する。また、診断システム4のスコア算出部240は、第二実施形態における診断システム2のスコア算出部240と同様の構成であるため説明を省略する。
以下、図11に示す診断システム4のブロック図を用いて、スコア判断部480及び送信指示部460について説明する。ここで、診断システム4の端末10、特徴抽出部110、データ生成部150、送信部170及びサーバ20については、第一実施形態における診断システム1の端末10、特徴抽出部110、データ生成部150、送信部170及びサーバ20と同様の構成であるため説明を省略する。また、診断システム4のスコア算出部240は、第二実施形態における診断システム2のスコア算出部240と同様の構成であるため説明を省略する。
(スコア判断部)
スコア判断部480は、診断用センサデータの診断基準となる閾値を有し、スコア算出部240から入力された診断用スコアと閾値とを比較して診断用画像データのスコア判断を行う。スコア判断部480は、診断用スコアと閾値とを比較した比較結果に基づいて、送信指示部460にアラート信号を出力するとともに、データ生成部に蓄積信号を出力する。
例えば、スコア判断部480は、診断用画像データの診断用スコアが閾値を超えた場合、データ生成部250にアラート信号を送信し、データ生成部に蓄積信号を送信する。
スコア判断部480は、診断用センサデータの診断基準となる閾値を有し、スコア算出部240から入力された診断用スコアと閾値とを比較して診断用画像データのスコア判断を行う。スコア判断部480は、診断用スコアと閾値とを比較した比較結果に基づいて、送信指示部460にアラート信号を出力するとともに、データ生成部に蓄積信号を出力する。
例えば、スコア判断部480は、診断用画像データの診断用スコアが閾値を超えた場合、データ生成部250にアラート信号を送信し、データ生成部に蓄積信号を送信する。
(送信指示部460)
送信指示部460は、予め定められた少なくとも一つのトリガに応じて送信部170に送信指示信号を出力する。第四実施形態において、「トリガ」は、スコア判断部480から送信されるアラート信号である。送信部170に送信指示信号を受信すると、データ生成部150は表示用画像を生成し、蓄積用データ送信部174を介して表示用画像を蓄積部30に送信する。また、第四実施形態において、「トリガ」は、スコア判断部480から送信されるアラート信号に加えて、端末10の入力部16をユーザが操作したことを示す操作信号であっても良い。この場合、診断用スコアに基づいて自動蓄積されなかった診断用画像データであっても、ユーザが蓄積情報が表示されない表示用画像データを視認して入力部16を操作することにより、蓄積部30に蓄積することができる。
送信指示部460は、予め定められた少なくとも一つのトリガに応じて送信部170に送信指示信号を出力する。第四実施形態において、「トリガ」は、スコア判断部480から送信されるアラート信号である。送信部170に送信指示信号を受信すると、データ生成部150は表示用画像を生成し、蓄積用データ送信部174を介して表示用画像を蓄積部30に送信する。また、第四実施形態において、「トリガ」は、スコア判断部480から送信されるアラート信号に加えて、端末10の入力部16をユーザが操作したことを示す操作信号であっても良い。この場合、診断用スコアに基づいて自動蓄積されなかった診断用画像データであっても、ユーザが蓄積情報が表示されない表示用画像データを視認して入力部16を操作することにより、蓄積部30に蓄積することができる。
<診断システムの各部の動作>
以下、診断システム3の各部の動作について説明する。
なお、特徴の学習時の動作については、第一実施形態での説明と同様であるため、説明を省略する。
以下、診断システム3の各部の動作について説明する。
なお、特徴の学習時の動作については、第一実施形態での説明と同様であるため、説明を省略する。
(診断時の動作)
図12を参照して、診断用画像データの診断時の動作について説明する。図12は、診断用画像データの診断時の動作を説明するフローチャートである。
図12を参照して、診断用画像データの診断時の動作について説明する。図12は、診断用画像データの診断時の動作を説明するフローチャートである。
まず、推論部130に推論用モデル132を保存し(ステップS71)、端末10のデータ取得部12において診断用画像データを取得し(ステップS72)、データ解析部120において診断用画像データの画像解析を行う(ステップS73)。続いて、推論部130において、推論用モデル132の推論結果として診断用画像データの特徴を出力し(ステップS74)、スコア算出部240において診断用画像データの診断用スコアが算出される(ステップS75)。ステップS71からステップS75の具体的な動作については、第一実施形態における診断時の動作のステップS21からステップS25と同様であるため、詳細な説明は省略する。
スコア判断部480において、スコア算出部240から入力された診断用スコアと閾値とを比較して診断用画像データのスコア判断を行う(ステップS76)。スコア判断部480において、スコア算出部240から入力された診断用スコアが閾値よりも小さい場合(ステップS76のno)、スコア判断部480はアラート信号を出力せずに表示用画像データの合成に処理が進む(ステップS77)。
データ生成部250において、表示用画像データが生成される(ステップS77)。データ生成部250は、生成した表示用画像データを端末10に送信する。
続いて、端末10の表示部14において、表示用画像を表示する(ステップS78)。このあと、送信指示部460は、端末10からの送信指示の有無を判断する(ステップS79)。端末10からの送信指示が無い場合、すなわち、検査員であるユーザが表示用画像に含まれる検査対象の劣化度が高いと判断しなかった場合(ステップS79のno)、処理がステップS72に戻って診断用データの取得を継続する。また、端末10からの送信指示が有る場合(ステップS79のyes)、処理が後述するステップS83に移る。
続いて、端末10の表示部14において、表示用画像を表示する(ステップS78)。このあと、送信指示部460は、端末10からの送信指示の有無を判断する(ステップS79)。端末10からの送信指示が無い場合、すなわち、検査員であるユーザが表示用画像に含まれる検査対象の劣化度が高いと判断しなかった場合(ステップS79のno)、処理がステップS72に戻って診断用データの取得を継続する。また、端末10からの送信指示が有る場合(ステップS79のyes)、処理が後述するステップS83に移る。
一方、スコア判断部480において、スコア算出部240から入力された診断用スコアが閾値よりも大きい場合(ステップS76のyes)、スコア判断部480は送信指示部460に対してアラート信号を出力する(ステップS80)。送信指示部460は、スコア判断部380からアラート信号を受信すると、送信指示有りと判断し、送信部170に送信指示信号を送信し、処理がステップS61に移る。
データ生成部250において、表示用画像データが生成される(ステップS81)。データ生成部250は、生成した表示用画像データを端末10に送信する。
続いて、端末10の表示部14において、表示用画像を表示する(ステップS82)。
続いて、端末10の表示部14において、表示用画像を表示する(ステップS82)。
続いて、データ生成部150は、蓄積用データを生成し(ステップS83)、蓄積用データ送信部174を介して生成された蓄積用データをサーバ20の蓄積部30に送信する(ステップS84)。
なお、スコア算出部240から入力された診断用スコアが閾値よりも小さい場合(ステップS76のno)であっても、その後ユーザにより端末10の入力部16が操作されて診断用画像データの蓄積指示が有った場合(ステップS79のyes)には、処理がステップS83に移り、蓄積用データの生成(ステップS83)及び蓄積用データの送信(ステップS84)が行われる。
蓄積用データがサーバ20に送信されると、処理がステップS72に戻り、診断用データの取得を継続する。
なお、スコア算出部240から入力された診断用スコアが閾値よりも小さい場合(ステップS76のno)であっても、その後ユーザにより端末10の入力部16が操作されて診断用画像データの蓄積指示が有った場合(ステップS79のyes)には、処理がステップS83に移り、蓄積用データの生成(ステップS83)及び蓄積用データの送信(ステップS84)が行われる。
蓄積用データがサーバ20に送信されると、処理がステップS72に戻り、診断用データの取得を継続する。
<第四実施形態の効果>
第四実施形態に係る診断システム4は、第一実施形態及び変形例に係る診断システム1、第二実施形態に係る診断システム2並びに第三実施形態に係る診断システム3における効果(1)~(7)に加えて、以下の効果を有する。
(8)診断システム4は、診断用画像データの診断用スコアと閾値との比較結果に応じて、劣化の可能性が高いと判断された診断用画像データを含む蓄積用データを生成して蓄積する。このとき、表示部14に、当該診断用画像データを含む蓄積用データが自動で蓄積されたことを示す蓄積情報が表示される。このため、診断システム4は、ユーザに対してどの診断用画像データが蓄積用データとして蓄積されたかを一見して示すことができる。
第四実施形態に係る診断システム4は、第一実施形態及び変形例に係る診断システム1、第二実施形態に係る診断システム2並びに第三実施形態に係る診断システム3における効果(1)~(7)に加えて、以下の効果を有する。
(8)診断システム4は、診断用画像データの診断用スコアと閾値との比較結果に応じて、劣化の可能性が高いと判断された診断用画像データを含む蓄積用データを生成して蓄積する。このとき、表示部14に、当該診断用画像データを含む蓄積用データが自動で蓄積されたことを示す蓄積情報が表示される。このため、診断システム4は、ユーザに対してどの診断用画像データが蓄積用データとして蓄積されたかを一見して示すことができる。
(9)診断システム4は、ユーザに対してどの診断用画像データが蓄積用データとして蓄積されたかを一見して示すことができる。このため、診断システム4は、ユーザから、自動で蓄積されていない診断用画像データであっても、ユーザが劣化の可能性が高いと判断された診断用画像データの蓄積指示を受け付けることができる。したがって、診断システム4は、画像解析や推論用モデルで抽出された特徴に基づいて得られた診断用スコアを根拠に劣化の可能性が高いと判断された診断用画像データのみでなく、検査員であるユーザの経験に基づいて劣化の可能性が高いと判断された診断用画像データも収集することが可能となり、検査対象の評価制度が向上する。
5.ハードウェア構成
以下、本開示における診断装置100、端末10のハードウェア構成の一例について詳細に説明する。
本開示において、診断装置100および端末10は、記憶装置、プロセッサを含む演算装置、通信路(ネットワークを介して外部装置と情報の送受信を行う通信インタフェース(I/F)、入力装置、表示装置、表示装置としての出力装置、等のハードウェア資源を備えている。診断装置100は、演算装置が、記憶装置に記憶された所定のデータおよび所定のプログラムを含むソフトウェアに基づいて演算処理を実行する。
以下、本開示における診断装置100、端末10のハードウェア構成の一例について詳細に説明する。
本開示において、診断装置100および端末10は、記憶装置、プロセッサを含む演算装置、通信路(ネットワークを介して外部装置と情報の送受信を行う通信インタフェース(I/F)、入力装置、表示装置、表示装置としての出力装置、等のハードウェア資源を備えている。診断装置100は、演算装置が、記憶装置に記憶された所定のデータおよび所定のプログラムを含むソフトウェアに基づいて演算処理を実行する。
以下、図13に基づき、診断装置100及び端末10のハードウェア構成の一例について詳細に説明する。
図13に示すように、診断装置100及び端末10は、記憶装置1001、プロセッサを含む演算装置1002及び通信路(ネットワーク)1110を介して外部装置と情報の送受信を行う通信インタフェース(I/F)1003等のハードウェア資源を備えている。外部装置は、例えば、画像を記憶するコンピュータ1120であってよく、また、撮像装置(不図示)であってよい。診断装置100または端末10は、記憶装置1001に記憶された所定のプログラム1001A及びデータ100Bに基づく情報処理を実行することにより、少なくとも、劣化の評価を行うに際し、検査対象から取得したセンサデータから特徴を抽出し、抽出された特徴に基づいて、センサデータからより評価に適したセンサデータを得るように構成されている。
図13に示すように、診断装置100及び端末10は、記憶装置1001、プロセッサを含む演算装置1002及び通信路(ネットワーク)1110を介して外部装置と情報の送受信を行う通信インタフェース(I/F)1003等のハードウェア資源を備えている。外部装置は、例えば、画像を記憶するコンピュータ1120であってよく、また、撮像装置(不図示)であってよい。診断装置100または端末10は、記憶装置1001に記憶された所定のプログラム1001A及びデータ100Bに基づく情報処理を実行することにより、少なくとも、劣化の評価を行うに際し、検査対象から取得したセンサデータから特徴を抽出し、抽出された特徴に基づいて、センサデータからより評価に適したセンサデータを得るように構成されている。
演算装置1002は、ハードウェアプロセッサとしてのCPU(Central Processing Unit)、1002A、RAM(Random Access Memory)1002B、及びROM(Read-Only Memory)1002Cを含む。演算装置1002は、記憶装置1001に記憶された所定のデータ及び所定のプログラムを含むソフトウェアを用いた、特定の情報処理を実行する。なお、ハードウェアプロセッサとしては、CPUに限定されず、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等の各種プロセッサを用いることができる。
記憶装置1001は、ハードディスクドライブ、ソリッドステートドライブ等のメモリにより構成される補助記憶装置である。記憶装置1001は、演算装置1002による特定の情報処理に必要な所定のプログラム、および、所定のデータを記憶している。
なお、所定のデータ1001A及び所定のプログラム1001Bは、記憶装置1001に常時記憶されていなくてもよい。例えば、演算装置1002が特定の情報処理を実行するときに、その一部または全部を、通信路1110を介して他の装置から取得してもよい。また、所定のデータ1001A及び所定のプログラム1001Bは、演算装置1002が特定の情報処理を実行するときに、後述のドライブ1004を介して記憶媒体1005から読み込んでもよい。
通信I/F1003は、例えば、有線LANモジュール、無線LANモジュール等であり、通信路1110を介して他の装置と有線又は無線通信を行うためのインタフェースである。本開示において、通信I/F1003は、通信路1110を介して、後述のコンピュータ1120及び他の装置(図示せず)から所定のデータ等を受信するように構成されている。
診断装置100及び端末10は、入力装置113及び例えば表示装置等の出力装置1006をさらに備えている。入力装置1006としては、マウス、キーボード、タッチパネル等を用いることができる。また、出力装置1007としては、ディスプレイ、スピーカ等を用いることができる。また、診断装置100又は端末10は、CDドライブ、DVDドライブ等の、記憶媒体112に記憶されたデータおよびプログラムを読み込むためのドライブ1004をさらに備えていてもよい。
以上、各実施形態により本開示の具体的な構成を説明したが、本開示の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本開示が目的とするものと均等な効果をもたらす全ての実施形態をも含む。さらに、本開示の範囲は、請求項により画される発明の特徴の組み合わせに限定されるものではなく、全ての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
1、2,3,4 診断システム
10,10A,10B,10C,10D 端末
12 データ取得部
14 表示部
16 入力部
20 サーバ
30 蓄積部
40 学習部
42 データ加工部
44 特徴学習部
50 コンピュータ
52 入力部
52a キーボード
52b マウス
100,100A,100B,100C,100D 診断装置
110 特徴抽出部
120 データ解析部
130 推論部
132 推論用モデル
140,240 スコア算出部
150,250 データ生成部
160,360,460 送信指示部
170 送信部
172 表示用画像データ送信部
174 蓄積用データ送信部
280,380,480 スコア判断部
442 推論用モデル
10,10A,10B,10C,10D 端末
12 データ取得部
14 表示部
16 入力部
20 サーバ
30 蓄積部
40 学習部
42 データ加工部
44 特徴学習部
50 コンピュータ
52 入力部
52a キーボード
52b マウス
100,100A,100B,100C,100D 診断装置
110 特徴抽出部
120 データ解析部
130 推論部
132 推論用モデル
140,240 スコア算出部
150,250 データ生成部
160,360,460 送信指示部
170 送信部
172 表示用画像データ送信部
174 蓄積用データ送信部
280,380,480 スコア判断部
442 推論用モデル
Claims (11)
- 検査対象の状態を診断する診断システムであって、
前記検査対象から診断用センサデータを取得するデータ取得部と、
前記データ取得部が取得した前記診断用センサデータに基づいて、予め定められた少なくとも1つの特徴を抽出する特徴抽出部と、
前記特徴抽出部から入力された前記特徴に基づいて、前記診断用センサデータの診断用スコアを算出するスコア算出部と、
前記診断用センサデータ、前記特徴及び前記診断用スコアが入力され、前記診断用センサデータに対して前記特徴が合成された表示用データを生成し、前記診断用センサデータ、前記特徴及び前記診断用スコアのうち少なくとも一つを含む蓄積用データを生成するデータ生成部と、
前記表示用データに基づいて表示用画像を表示する表示部と、
予め定められた少なくとも一つのトリガに応じて送信指示信号を出力する送信指示部と、
前記表示用データを前記表示部に出力し、前記送信指示信号を受信した場合に前記蓄積用データをデータ蓄積部に送信する送信部と、
を備え、
前記特徴抽出部は、推論用モデルを有し、前記診断用センサデータに基づく前記推論用モデルの推論結果を前記特徴として出力する推論部を有する診断システム。 - 前記診断用スコアと前記診断用センサデータの診断基準となる閾値とを比較した比較結果に基づいて、前記データ生成部にアラート信号を出力するスコア判断部を備え、
前記データ生成部は、前記アラート信号を受信した場合に、前記表示用データに対して前記比較結果を示すアラート情報を合成する
請求項1に記載の診断システム。 - 前記診断用スコアと前記診断用センサデータの診断基準となる閾値とを比較した比較結果に基づいて、前記送信指示部にアラート信号を出力するスコア判断部を備え、
前記送信指示部は、前記アラート信号を前記トリガとして、前記送信指示信号を出力する請求項1又は2に記載の診断システム。 - 前記スコア判断部は、前記送信指示部にアラート信号を出力する場合に前記データ生成部に蓄積信号を出力し、
前記データ生成部は、前記蓄積信号を受信した場合に、前記表示用データに対して前記蓄積用データが前記データ蓄積部に送信されたことを示す蓄積情報を合成する
請求項2又は3に記載の診断システム。 - 前記推論用モデルは、予め定められた前記特徴を含む学習用センサデータを教師データとして機械学習することにより得られた学習済モデルである
請求項1から4のいずれか一項に記載の診断システム。 - 前記推論用モデルを生成する特徴学習部を備え、
前記推論部は、前記特徴学習部から前記推論用モデルを受信する
請求項1から5のいずれか一項に記載の診断システム。 - 前記スコア算出部は、算出用モデルを有し、前記特徴に基づく前記算出用モデルの推論結果を前記診断用スコアとして出力する
請求項1から6のいずれか1項に記載の診断システム。 - 前記特徴学習部は、前記蓄積用データに含まれる情報の少なくとも一つを教師データとして機械学習することにより得られた学習済モデルである算出用モデルを生成し、
前記スコア算出部は、前記特徴学習部から前記算出用モデルを受信する
請求項6に記載の診断システム。 - 検査対象の状態を診断する診断装置であって、
前記検査対象から取得した診断用センサデータに基づいて、予め定められた少なくとも1つの特徴を抽出する特徴抽出部と、
前記特徴抽出部から入力された前記特徴に基づいて、前記診断用センサデータの診断用スコアを算出するスコア算出部と、
前記診断用センサデータ、前記特徴及び前記診断用スコアが入力され、前記診断用センサデータに対して前記特徴が合成された表示用データを生成し、または前記診断用センサデータ、前記特徴及び前記診断用スコアのうち少なくとも一つを含む蓄積用データを生成するデータ生成部と、
予め定められた少なくとも一つのトリガに応じて送信指示信号を出力する送信指示部と、
前記表示用データを外部に送信し、前記送信指示信号を受信した場合に前記蓄積用データを外部に送信する送信部と、
を備え、
前記特徴抽出部は、前記診断用センサデータに基づく推論用モデルの推論結果を前記特徴として出力する推論部を有する
診断装置。 - 検査対象の状態を診断する診断方法であって、
前記検査対象から診断用センサデータを取得し、
取得した前記診断用センサデータに基づいて、予め定められた少なくとも1つの特徴を、前記診断用センサデータに基づく推論用モデルの推論結果として抽出し、
抽出された前記特徴に基づいて、前記診断用センサデータの診断用スコアを算出し、
前記診断用センサデータに対して前記特徴が合成された表示用データを生成し、
前記表示用データを表示し、
前記診断用センサデータ、前記特徴及び前記診断用スコアのうち少なくとも一つを含む蓄積用データを生成し、
予め定められた少なくとも一つのトリガに応じて送信指示信号を出力し、
前記送信指示信号に基づいて前記蓄積用データをデータ蓄積部に送信する、診断方法。 - 検査対象の状態を診断する診断プログラムであって、
前記検査対象から診断用センサデータを取得することと、
取得した前記診断用センサデータに基づいて、予め定められた少なくとも1つの特徴を、前記診断用センサデータに基づく推論用モデルの推論結果として抽出することと、
抽出された前記特徴に基づいて、前記診断用センサデータの診断用スコアを算出することと、
前記診断用センサデータに対して前記特徴が合成された表示用データを生成することと、
前記表示用データを表示することと、
前記診断用センサデータ、前記特徴及び前記診断用スコアのうち少なくとも一つを含む蓄積用データを生成することと、
予め定められた少なくとも一つのトリガに応じて送信指示信号を出力することと、
前記送信指示信号に基づいて前記蓄積用データをデータ蓄積部に送信することと、
をコンピュータに実行させる診断プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-018105 | 2019-02-04 | ||
JP2019018105 | 2019-02-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020162465A1 true WO2020162465A1 (ja) | 2020-08-13 |
Family
ID=71947803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/004183 WO2020162465A1 (ja) | 2019-02-04 | 2020-02-04 | 診断システム、診断装置、診断方法及び診断プログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2020162465A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001264260A (ja) * | 2000-03-16 | 2001-09-26 | Tomoe Corp | 管内面腐食点検における劣化度合評価方法 |
JP2004279322A (ja) * | 2003-03-18 | 2004-10-07 | Toshiba Corp | 回転機の軸受診断装置、回転機の軸受診断システム、携帯端末及び機能拡張用カード |
US20140114612A1 (en) * | 2012-10-22 | 2014-04-24 | Augury Systems Ltd. | Automatic mechanical system diagnosis |
JP5764238B2 (ja) * | 2010-05-31 | 2015-08-19 | 東北電力株式会社 | 鋼管内部腐食解析装置及び鋼管内部腐食解析方法 |
-
2020
- 2020-02-04 WO PCT/JP2020/004183 patent/WO2020162465A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001264260A (ja) * | 2000-03-16 | 2001-09-26 | Tomoe Corp | 管内面腐食点検における劣化度合評価方法 |
JP2004279322A (ja) * | 2003-03-18 | 2004-10-07 | Toshiba Corp | 回転機の軸受診断装置、回転機の軸受診断システム、携帯端末及び機能拡張用カード |
JP5764238B2 (ja) * | 2010-05-31 | 2015-08-19 | 東北電力株式会社 | 鋼管内部腐食解析装置及び鋼管内部腐食解析方法 |
US20140114612A1 (en) * | 2012-10-22 | 2014-04-24 | Augury Systems Ltd. | Automatic mechanical system diagnosis |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3480618B1 (en) | Multi-modal acoustic imaging tool | |
CN101888535B (zh) | 运动对象检测装置、运动对象检测方法和计算机程序 | |
US11913829B2 (en) | Portable acoustic imaging tool with scanning and analysis capability | |
CN109756720B (zh) | 使用距离信息的声学成像中的焦点和/或视差调整 | |
CN110827249A (zh) | 电子设备背板外观瑕疵检测方法及设备 | |
CN107566749B (zh) | 拍摄方法及移动终端 | |
CN107621932B (zh) | 显示图像的局部放大方法和装置 | |
US10762369B2 (en) | Image analysis and processing pipeline with real-time feedback and autocapture capabilities, and visualization and configuration system | |
JP2011146796A5 (ja) | ||
US11625956B2 (en) | Monitoring system | |
WO2017051735A1 (ja) | 撮像支援システム及び装置及び方法、並びに撮像端末 | |
CN116630327B (zh) | 基于热力图的锅炉状态异常监测系统 | |
JP2017130794A (ja) | 情報処理装置、評価用チャート、評価システム、および性能評価方法 | |
KR20220037108A (ko) | 대상 객체의 크기를 식별하는 방법 및 장치 | |
CN111145151A (zh) | 一种运动区域确定方法及电子设备 | |
WO2020162465A1 (ja) | 診断システム、診断装置、診断方法及び診断プログラム | |
CN110675427A (zh) | 智能振动检测方法及相关产品 | |
JP2020095017A (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
JP2011035472A (ja) | 画像表示装置 | |
JP7451392B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
KR100782082B1 (ko) | 휴대 단말기의 미생물 또는 미세 동물 검사 방법과 장치 | |
US20210134021A1 (en) | Display system and display method | |
CN114596303A (zh) | 一种工业产品的缺陷检测方法及系统 | |
CN113706429A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN115908837A (zh) | 图像清晰度评价方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20751940 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20751940 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |