WO2023136030A1 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
WO2023136030A1
WO2023136030A1 PCT/JP2022/045978 JP2022045978W WO2023136030A1 WO 2023136030 A1 WO2023136030 A1 WO 2023136030A1 JP 2022045978 W JP2022045978 W JP 2022045978W WO 2023136030 A1 WO2023136030 A1 WO 2023136030A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
flaw
information processing
processor
image
Prior art date
Application number
PCT/JP2022/045978
Other languages
English (en)
French (fr)
Inventor
允俊 平良
誠 與那覇
瑛一 田中
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2023136030A1 publication Critical patent/WO2023136030A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18—Investigating the presence of flaws defects or foreign matter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an information processing device, an information processing method, and an information processing program for processing flaw information on a subject.
  • Patent Literature 1 describes extracting defect candidates from an image using first and second threshold values.
  • Patent Document 1 it is a heavy burden for inspectors to judge defects and flaws individually, and simply extracting defects as in Patent Document 1 makes it difficult to utilize or analyze information on flaws that are not defects. The usefulness of the extracted information was low.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide an information processing device, an information processing method, and an information processing program capable of recording useful flaw information on a subject.
  • an information processing apparatus is an information processing apparatus including a processor, the processor analyzing an image of a subject according to a first criterion.
  • the second flaw information obtained by acquiring the first flaw information including the information indicating the characteristics of the flaw, and analyzing the image of the object according to a second criterion that is stricter than the first criterion.
  • Second flaw information including information indicating characteristics of the flaw is obtained, and the second flaw information is recorded in association with the first flaw information.
  • the second flaw information obtained by analyzing the image of the subject according to the second criterion, which is stricter than the first criterion is recorded in association with the first flaw information. Not only the first flaw information but also the second flaw information is recorded, and the relationship between the first flaw information and the second flaw information can be grasped.
  • Such first and second flaw information can be utilized for analysis and prediction of flaws on the subject.
  • the processor can record the first flaw information and the second flaw information in various recording devices (magneto-optical recording device and semiconductor recording device). These recording devices may use non-transitory and tangible recording media.
  • a discontinuous portion in an inspected object (object) such as a product can be defined as a "discontinuity".
  • "flaws” those that exceed the judgment criteria stipulated in standards and specifications, etc., and fail the product, etc. (subject) in tests and inspections
  • a defect is one of the detected "flaws” that is determined as a "flaw” by the radiologist or automatically.
  • a flaw having a determined major axis can be determined as a "defect".
  • the first flaw information and the second flaw information each have information about the arrangement of a plurality of subjects, and the processor performs the first flaw based on the information about the arrangement. and second flaw information.
  • the 'arrangement information' may be information with which the order of subjects can be determined based on that information.
  • the information regarding the arrangement has a component regarding time.
  • the "time-related component" is, for example, a specific period, manufacturing time, inspection time, and image capturing time, but is not limited to these.
  • the processor obtains the range of the first flaw information and/or the second flaw information to be recorded based on the information about the arrangement.
  • the information processing apparatus is configured such that the processor calculates the recording condition based on the first flaw information, and calculates the second flaw information based on the recording condition. Acquire and/or record flaw information.
  • the processor calculates conditions for at least one of a specific period, a manufacturing number, a lot number, an inspection time, an inspection number, and an image capturing time as recording conditions, and the calculated recording conditions Information can be recorded without any delay.
  • the processor associates the first flaw condition with the second flaw information based on the recording condition.
  • the image is a radiographic image. Radiographic images can be used for non-destructive inspection of objects.
  • the information processing apparatus is characterized in that the first criterion is the type, number, position, size, shape, existence density, etc. of the flaw on the subject.
  • a reference for at least one of the distance to the flaw, and the processor provides information indicating at least one of the type, number, position, size, shape, existence density, and distance to other flaws in the subject.
  • a record is made as a feature of the flaw.
  • the second aspect defines a specific aspect of the "first criterion" for the "flaw". Note that the reference value may differ depending on the type of flaw.
  • a ninth aspect of the information processing apparatus wherein the second criterion is the type, number, position, size, shape, existence density, etc. of the flaw in the subject.
  • a reference for at least one of the distance to the flaw, and the processor provides information indicating at least one of the type, number, position, size, shape, existence density, and distance to other flaws in the subject.
  • a record is made as a feature of the flaw.
  • the third aspect defines a specific aspect of the "second criterion" for the "flaw", and the criterion value may differ depending on the type of flaw.
  • the information processing apparatus is characterized by For low impact flaws, second flaw information is obtained according to a second criterion.
  • second flaw information is obtained according to a second criterion.
  • the "flaw" that is the acquisition target of the second flaw information is determined according to the "second criterion that is stricter than the first criterion" defined in the first aspect. It stipulates.
  • the information processing device is the information processing device in which the first flaw information and the second flaw information include information related to when the flaw occurred, and the processor comprises: At least one of the subject's manufacturing time, manufacturing number, lot number, inspection time, inspection number, and image capturing time is acquired as information related to the time of occurrence of the flaw.
  • the "information related to the time of occurrence of the flaw" may be information obtained in chronological order instead of the time itself.
  • the processor records a determined area of the subject.
  • the processor records for a period in which the frequency of occurrence of flaws is higher than the criterion value. Recording for a period in which the frequency of occurrence of flaws is higher than the criterion value is one mode of recording according to recording conditions.
  • the processor records for a period in which the frequency of occurrence of flaws is equal to or lower than the criterion value. Recording for a period in which the frequency of occurrence of flaws is equal to or less than the criterion is one mode of recording according to recording conditions.
  • the processor records for a period in which the frequency of occurrence of flaws is within the criterion range. Recording for a period in which the frequency of occurrence of flaws is within the criterion range is one mode of recording according to recording conditions.
  • the processor records a first period in which the first flaw information exists. Recording for the first period in which the first flaw information exists is one mode of recording according to recording conditions.
  • the processor records the first period and the second period prior to the first period. Recording for the first period and the second period before the first period is one mode of recording according to the recording conditions.
  • An information processing apparatus is, in any one of the first to seventeenth aspects, further comprising an image analyzer constructed using a machine learning algorithm and configured to analyze an image of a subject, wherein the processor comprises , obtaining first flaw information and/or second flaw information using an image analyzer.
  • the image analyzer can be constructed by neural networks, for example.
  • the image analyzer performs one or more of detection, classification, and measurement as the analysis, and the processor obtains the first flaw information and the / Or obtain second flaw information.
  • the processor modifies the analysis result according to the user's operation.
  • Analysis results of the image analyzer may include errors, inappropriate results, unnecessary information, etc., but according to the twentieth aspect, the user can correct such analysis results and obtain appropriate Information can be obtained.
  • the information processing device is configured such that the processor outputs the recorded information and/or information extracted from the recorded information to the recording device and/or the display device. output.
  • the extracted information may be displayed in correspondence with or superimposed on the image of the subject, the design drawing, or the like.
  • the processor extracts information from the recorded information under a condition specified by a user's operation, and outputs the extracted information.
  • the user can extract and refer to information according to desired conditions.
  • an information processing method is an information processing method executed by an information processing apparatus including a processor, wherein the processor uses an image of a subject as a first reference.
  • the information processing method according to the twenty-third aspect may have the same configuration as those of the second to twenty-second aspects.
  • an information processing program is an information processing program that causes an information processing apparatus including a processor to execute an information processing method, the information processing method comprising: a first information obtaining step of obtaining first flaw information obtained by analyzing an image of a subject according to a first criterion and including information indicating characteristics of the flaw; second information acquisition for acquiring second flaw information obtained by analyzing the image of the subject according to a second criterion stricter than the criterion of the second flaw information including information indicating characteristics of the flaw and a recording step of recording the second flaw information in association with the first flaw information.
  • the information processing program according to the twenty-fourth aspect may have the same configuration as those of the second to twenty-second aspects.
  • a non-temporary and tangible recording medium in which the computer-readable code of the information processing program of these aspects is recorded can also be cited as an aspect of the present invention.
  • the information processing device As described above, according to the information processing device, information processing method, and information processing program of the present invention, it is possible to record useful blemish information on a subject.
  • FIG. 1 is a block diagram showing the configuration of an inspection apparatus according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an example of functions of a processing unit;
  • FIG. 3 is a diagram showing an example of a flaw size calculation method.
  • FIG. 4 is a block diagram showing an example of subject imaging data.
  • FIG. 5 is a block diagram showing an example of product data.
  • FIG. 6 is a block diagram showing an example of inspection result data of an object to be inspected.
  • FIG. 7 is a block diagram showing an example of an imaging system.
  • FIG. 8 is a diagram showing an example of acquiring time-series flaw information.
  • FIG. 9 is a table showing an example of flaw information on an object to be inspected (subject).
  • FIG. 10 is a diagram showing another example of flaw information.
  • FIG. 11 is a diagram showing an example of recording, extracting, and displaying flaw information.
  • FIG. 12 is a diagram showing another output example (display example) of flaw information.
  • FIG. 13 is a diagram showing still another output example (display example) of flaw information.
  • FIG. 14 is a diagram showing still another output example of flaw information (an example of displaying a plurality of types of flaw information).
  • FIG. 15 is a diagram showing still another output example (display example) of flaw information.
  • FIG. 16 is a diagram showing still another output example (display example) of flaw information.
  • FIG. 17 is a diagram illustrating an example of a layer configuration of CNN.
  • FIG. 18 is a diagram showing how the CNN processes.
  • FIG. 1 is a block diagram showing an inspection apparatus 10 according to the first embodiment.
  • the inspection apparatus 10 acquires flaw information from an image of an inspection object (object to be inspected, subject), and records and outputs (displays) the acquired information under specified conditions. etc.), and assists the radiologist in diagnosing and analyzing flaws on the object to be examined.
  • the "object to be inspected” means an object to be inspected, and various articles are assumed.
  • the inspection apparatus 10 is used for industrial inspection, industrial parts and industrial products that require high-precision design and manufacturing can be assumed as inspected objects (subjects).
  • the scope of application of the present invention is not limited to these objects to be inspected (for other examples of objects to be inspected, see the section "Other examples of objects to be inspected (subjects)" described later). .
  • a "received image” is an image created based on transmitted light or reflected light of an object to be inspected, obtained by irradiating the object with radiation, visible light, infrared light, or the like.
  • the inspection apparatus 10 includes a control unit 12, an operation unit 14, an I/F 16 (I/F: interface), a display unit 18, a buffer memory 20, a processing unit 22, and a storage unit. 24, and can be connected to the imaging system 100 and the product DB 200 (DB: database) via a network NW (NW: network).
  • NW network
  • the control unit 12 includes a processor (for example, a CPU (Central Processing Unit)) that controls the operation of each unit of the inspection apparatus 10 .
  • the control unit 12 receives an operation input from the radiologist via the operation unit 14, transmits a control signal corresponding to the operation input to each unit of the examination apparatus 10, and controls the operation of each unit including the processing unit 22.
  • the control unit 12 causes the display unit 18 to display display images, flaw information, product information, inspection information, and the like. This enables the radiogram interpreter to interpret the image displayed on the display unit 18 and inspect the object to be inspected OBJ.
  • the control unit 12 also controls a memory (non-temporary and tangible recording media).
  • the computer-readable code of the information processing program according to the present invention is recorded in this memory, and the control section 12 refers to this memory to execute the information processing method according to the present invention.
  • the operation unit 14 is an input device that receives operation input from the radiogram interpreter, and includes a keyboard for character input and a pointing device (mouse, trackball, etc.) for operating pointers, icons, etc. displayed on the display unit 18 . (not shown).
  • a touch panel may be provided on the surface of the display unit 18 instead of or in addition to the means enumerated above. Via these devices, the user can perform operations necessary for executing the information processing method and information processing program according to the present invention. This operation includes, for example, the setting of flaw criteria (first and second criteria), the modification of flaw information, and the setting of conditions such as extraction and display of flaw information.
  • the I/F 16 is means for communicating with external devices via the network NW.
  • wired communication for example, LAN (Local Area Network), WAN (Wide Area Network), Internet connection, etc.
  • wireless communication for example, LAN, WAN, Internet connection, etc.
  • the I/F 16 functions as an image acquisition unit, and is created based on reflected light or transmitted light from the object to be inspected obtained by irradiating the object with light (visible light, infrared light, etc.) or radiation. Acquire the received light image.
  • the inspection apparatus 10 can accept input of object-to-be-inspected photographed data D100 including photographed image data of the object to be inspected OBJ (subject) photographed by the photographing system 100 via the I/F 16 .
  • the photographed image data is image data forming a received light image.
  • the method of inputting the subject imaging data D100 from the imaging system 100 to the inspection apparatus 10 is not limited to communication via the network NW listed above.
  • the inspection apparatus 10 and the imaging system 100 may be connected via a USB (Universal Serial Bus) cable, Bluetooth (registered trademark), infrared communication, or the like, and the imaging data D100 of the subject to be inspected may be attached to and detached from the inspection apparatus 10.
  • the image data may be stored in a readable memory card and input to the inspection apparatus 10 via this memory card.
  • the inspection device 10 can communicate with the product database (product DB 200) via the network NW.
  • the product DB 200 stores product data D200 for each industrial product that can be inspected.
  • the control unit 12 retrieves and reads object-to-be-inspected information for specifying the object from the imaging data of the object to be inspected OBJ acquired from the imaging system 100, and corresponds to the read-out object-to-be-examined object specification information. It is possible to acquire the product data D200 to be used from the product DB200. By using this product data D200, it is possible to obtain defect information and flaw information according to the type or characteristics of the object to be inspected OBJ.
  • the product DB 200 may be installed on the network NW as in the present embodiment so that the product data D200 can be updated by the manufacturer or the like, or may be installed in the inspection device 10 .
  • the display unit 18 is a device that is controlled by the control unit 12 and displays received light images (images), inspection information, product information, flaw information, and the like.
  • a liquid crystal monitor can be used, but a screen of a device such as a smart phone or a tablet terminal may be used as the display unit 18 .
  • the buffer memory 20 is composed of a storage device such as a RAM (random access memory), and is used as a work area for the control unit 12 and an area for temporarily storing image data and the like output to the display unit 18 .
  • a RAM random access memory
  • FIG. 2 is a block diagram showing an example of functions of the processing unit 22 (processor, information processing device).
  • the processing unit 22 includes an extraction unit 220, a measurement unit 222, and a classification unit 224, and acquires time-series defect information and flaw information from the image of the inspection object (subject).
  • the processing unit 22 also includes a condition calculation unit 226, a recording control unit 228, an information extraction unit 230, and an output control unit 232, and records and outputs flaw information.
  • the processing unit 22 may detect, classify, and measure flaws using an image analyzer (learning model) constructed by a machine learning algorithm ("flaw using image analyzer (see section on obtaining information).
  • the extraction unit 220 functions as an image processing unit, and performs image processing (for example, color conversion processing, monochrome conversion processing, edge enhancement processing, conversion processing into three-dimensional data, etc.) on the photographed image data to obtain the object to be inspected OBJ.
  • image processing for example, color conversion processing, monochrome conversion processing, edge enhancement processing, conversion processing into three-dimensional data, etc.
  • flaws for example, flaws, cracks, wear, rust, etc.
  • the extraction unit 220 analyzes the image based on first and second criteria, which will be described later, and detects defects and flaws based on color change, edge detection results, and the like. This identifies the position and shape of the flaw.
  • the extracting unit 220 includes product image data including an image of a (new) product in which the same defect of the object to be inspected OBJ is not detected, for example, in the product data D200. A flaw may be detected by comparing it with photographed image data of the body OBJ.
  • a discontinuous portion in an object to be inspected (object) such as a product can be defined as a "discontinuity".
  • "flaws” those that exceed the judgment criteria stipulated in standards and specifications, etc., and fail the product, etc. (subject) in tests and inspections
  • a defect is one of the detected "flaws” that is determined as a "flaw” by the radiologist or automatically.
  • a flaw having a determined major axis can be determined as a "defect”. Therefore, similar processing (including analysis such as detection, classification, measurement, etc.) can be performed on "defects" and "flaws”.
  • the measurement unit 222 measures (measures) the dimensions of each part of the object to be inspected OBJ based on the photographed image data and the photographing condition data of the object to be inspected OBJ.
  • the measurement unit 222 for example, based on the photographing condition data such as the distance between the camera and the object to be inspected OBJ at the time of photographing, the focal length, and the zoom magnification, and the size of the object to be inspected OBJ in the photographed image data,
  • the size of the object to be inspected OBJ is measured (the size of the object to be inspected OBJ may be acquired via the product data D200).
  • the measurement unit 222 uses the measured size of the object to be inspected OBJ, the size of the object to be inspected OBJ in the photographed image data, and the size of the flaw in the photographed image data to determine the size of the flaw (for example, the maximum dimension, minimum dimension, crack depth, angle, etc.).
  • the measurement unit 222 measures at least one of the type and number of flaws, the position, size, shape, existence density, and distance to other flaws on the object to be inspected OBJ (subject).
  • the measurement unit 222 measures the dimensions of each part of the object to be inspected OBJ and, for example, information indicating the reflectance and transmittance (transmission attenuation) of the irradiation light when the object to be inspected OBJ is photographed. You may measure the wall thickness for each position. The thickness may be measured by the imaging system 100 at the time of imaging and included in the subject imaging data D100.
  • FIG. 3 is a diagram showing an example of a flaw size calculation method.
  • the measurement unit 222 can determine the size of the flaw as the length of the diagonal line of a rectangle that includes the flaw and indicates the minimum area in the image. Note that the measurement unit 222 may calculate the size of the flaw using another method (see, for example, modified examples described later).
  • the classification unit 224 assigns the classification of the extracted flaws. For example, the classification unit 224 calculates the degree of similarity between the flaw extracted by the processing unit 22 and at least one of the flaw image corresponding to the flaw extracted in the past and information indicating the characteristics of the flaw image. gives classification of flaws based on their similarity.
  • the degree of similarity calculated by the classification unit 224 is calculated by a known method.
  • the classification unit 224 can calculate the degree of similarity by block matching between the flaw image extracted by the processing unit 22 and the flaw image extracted in the past.
  • the classification unit 224 calculates the degree of similarity between the extracted flaw candidate image and the flaw image (or information indicating the feature of the flaw image) stored in the storage unit 24, and determines the flaw having the highest degree of similarity.
  • the classification result given to the image can be given as the classification of the flaw in the flaw candidate image.
  • processors include, for example, a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) to realize various functions.
  • the various processors described above also include programmable logic devices (PLDs), which are processors whose circuit configuration can be changed after manufacturing, such as FPGAs (Field Programmable Gate Arrays).
  • PLDs programmable logic devices
  • FPGAs Field Programmable Gate Arrays
  • a dedicated electric circuit such as an ASIC (Application Specific Integrated Circuit), which is a processor having a circuit configuration specially designed to execute specific processing, is also included in the various processors described above.
  • ASIC Application Specific Integrated Circuit
  • each part may be realized by one processor, or may be realized by combining multiple processors.
  • a plurality of functions may be realized by one processor.
  • a processor As an example of configuring a plurality of functions in one processor, first, as represented by computers such as clients and servers, one processor is configured by combining one or more CPUs and software, and this processor is implemented as multiple functions.
  • a processor that realizes the functions of the entire system with one IC (Integrated Circuit) chip, as typified by System On Chip (SoC).
  • SoC System On Chip
  • various functions are configured using one or more of the various processors described above as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • the processor or computer built using the processor
  • readable code of the software to be executed is stored in a non-temporary and tangible record such as ROM.
  • the software is stored on a medium and the processor refers to the software.
  • Software stored in such a recording medium includes a program (information processing program) for executing the information processing method according to the present invention.
  • the code may be recorded in non-temporary and tangible recording media such as various magneto-optical recording devices and semiconductor memories.
  • the buffer memory 20 is used as a temporary storage area during processing using software, and data stored in an EEPROM (Electronically Erasable and Programmable Read Only Memory) (not shown) can also be referred to.
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • non-temporary and tangible recording medium does not include non-tangible recording media such as carrier wave signals and propagation signals themselves.
  • the storage unit 24 is means for storing data including control programs used by the control unit 12 .
  • a device including a magnetic disk such as a HDD (Hard Disk Drive), a device including a flash memory such as an eMMC (embedded Multi Media Card), an SSD (Solid State Drive), or the like can be used. These devices are examples of recording devices or non-transitory tangible recording media.
  • the storage unit 24 stores imaging data D100 of the object to be inspected, product data D200, flaw information, and the like.
  • the storage unit 24 can store the flaw classification results input via the operation unit 14 .
  • the operation unit 14 functions as an input unit for inputting the classification result to be stored in the storage unit 24, and the storage unit 24 stores the classification result based on the separation input by the input unit.
  • the storage unit 24 may input the types of flaws (defects) described in "JIS Z 2300" for classification, or the types of flaws uniquely determined by the user may be input to the operation unit 14. type of flaw may be stored if input via Further, for example, the storage unit 24 may store classification results classified based on the causes of the flaws.
  • the "cause of flaw generation” includes air bubbles due to gas entrainment, cracks in members, adherence of foreign matter, adhesion, poor welding, and the like.
  • the information (data) stored in the storage unit 24 may be updated.
  • the information stored in the storage unit 24 may be updated by sequentially storing in the storage unit 24 interpretation results obtained by the radiogram interpreter using the examination apparatus 10 .
  • the radiogram interpreter via the operation unit 14, responds to each piece of information about the defect candidate image attached to the image displayed on the display unit 18, for example, "Immediately replace the object to be inspected OBJ with a new one". , ⁇ Observe progress (reexamine)'', ⁇ Leave alone (no flaw)'', etc. can be input.
  • the control unit 12 creates inspection result data D ⁇ b>10 (see FIG. 6 ) of the object to be inspected including the diagnostic result data, and stores it in the storage unit 24 . Thereby, the information (data) stored in the storage unit 24 is updated.
  • FIG. 4 is a block diagram showing an example of subject imaging data.
  • the subject imaging data D100 includes subject identification information, captured image data, imaging condition data, and illumination condition data.
  • the inspection object identification information is information for specifying the inspection object OBJ, and includes, for example, information indicating the product name, product number, manufacturer name, and technical classification of the inspection object OBJ.
  • the photographed image data is image data (eg, X-ray image (radiation transmission image), visible light image, infrared light image) obtained by photographing the object to be inspected OBJ.
  • image data eg, X-ray image (radiation transmission image), visible light image, infrared light image
  • the imaging condition data is stored for each photographed image data of the object to be inspected OBJ, and includes the photographing date and time, the photographing target location of each piece of photographed image data, the distance between the object to be inspected OBJ and the camera at the time of photographing, and the angle with respect to the camera. contains information indicating
  • the illumination condition data includes information indicating the type of radiation or light (for example, X-rays, visible light, infrared rays, transmitted light, reflected light), irradiation intensity, and irradiation angle used for imaging the object OBJ to be inspected.
  • FIG. 5 is a block diagram showing an example of product data.
  • product information includes product identification information, product attribute information, and inspection area designation information.
  • the product data D200 may be recorded in the storage unit 24 in association with the subject imaging data D100 and the subject inspection result data D10 via the subject identification information and the product identification information, or may be recorded in the storage unit 24 each time an inspection is performed. , may be acquired from the product DB 200 .
  • Product identification information is information for identifying a product, and includes, for example, information indicating the product name, product number, manufacturer name, and technical classification.
  • Product attribute information includes, for example, information indicating the materials, dimensions, and usage of each part of the product.
  • Information indicating the use of the product includes, for example, information on the name, type, processing state, and mounting method (for example, joints, welds, screwing, fitting, and soldering) of equipment to which the product is attached.
  • the product attribute information also includes flaw occurrence information.
  • the flaw occurrence information includes, for example, the past inspection date and time, the material of the object to be inspected OBJ, the types of flaws that occurred in the past (eg, gas hole, porosity, FMLD (Foreign Material Less Dense), FMMD (Foreign Material More Dense (high-density foreign matter defect), cracks, delamination, etc.), shape, size, depth, location of occurrence (coordinates of location, material thickness, processing state (e.g., joints, welds, etc.)), flaws and at least one information of the image of the flaw.
  • the material of the object to be inspected OBJ e.g, the material of the object to be inspected OBJ
  • the types of flaws that occurred in the past eg, gas hole, porosity, FMLD (Foreign Material Less Dense), FMMD (Foreign Material More Dense (high-density foreign matter defect), cracks, delamination, etc.
  • the inspection area specification information includes information indicating the inspection area of the object to be inspected, which is specified by the manufacturer of each product.
  • the inspection area designation information is created, for example, by specifying locations where flaws are likely to occur statistically or structurally, based on information obtained when the manufacturer or the like repaired the product in the past.
  • FIG. 6 is a block diagram showing an example of inspection result data of an object to be inspected.
  • the object inspection result data D10 includes object measurement data, information about flaws (flaw information), and diagnosis result data in addition to the above-described object specifying information.
  • the subject inspection result data D10 is recorded in the storage unit 24 in association with the subject imaging data D100 via the subject identification information.
  • the object measurement data includes information indicating the size of the object to be inspected OBJ and the results of measurement by the measurement unit 222 of the thickness of the object to be inspected OBJ for each position.
  • Information about flaws includes information indicating the characteristics of flaws (for example, flaw location, size, amount of change in wall thickness, type).
  • the position of a flaw can be represented by coordinates on a coordinate system (eg, a three-dimensional orthogonal coordinate system, a polar coordinate system, a cylindrical coordinate system, etc.) set according to the shape of the object to be inspected OBJ, for example.
  • the information indicating the type of flaw is information given to the classification unit 224 as described above, and is, for example, information about granular flaws, spot-like flaws, crack-like flaws, and the like.
  • Diagnosis result data may include inspection date and time, and information additionally input or corrected by the radiologist for the flaw.
  • the diagnosis result data is, for example, "flaw. Classification is foreign matter shadow", “not flaw”, and the like.
  • the diagnosis result data includes, for example, “immediately replace the object to be inspected OBJ with a new one", “observe the progress (reinspect)", “leave as it is”, and “cannot be rejected due to defects”. It may include information indicating the diagnosis result input by the radiologist, such as "Yes".
  • FIG. 7 is a block diagram showing an example of the imaging system 100.
  • the imaging system 100 is a system for imaging an object to be inspected OBJ placed in an imaging room 114.
  • radiation sources 110 and 112 As shown in FIG. and radiation sources 110 and 112 .
  • the imaging control unit 102 includes a CPU (Central Processing Unit) that controls the operation of each unit of the imaging system 100 .
  • the imaging control unit 102 receives an operation input from an operator (photographer) via the imaging operation unit 104, and transmits a control signal corresponding to the operation input to each unit of the imaging system 100 to control the operation of each unit.
  • the imaging operation unit 104 is an input device that receives operation inputs from the operator, and includes a keyboard for character input, a pointer displayed on the display unit 18, and a pointing device (mouse, trackball, etc.) for operating icons and the like. contains.
  • the operator inputs information about the object to be inspected OBJ and commands the camera 108 to execute imaging (setting of imaging conditions such as exposure time, focal length, and aperture, imaging angle, imaging location, etc.) via the imaging operation unit 104 .
  • the image recording unit 106 records image data (light receiving image) of the object to be inspected OBJ photographed by the camera 108 .
  • Information for specifying the object to be inspected OBJ is recorded in the image recording unit 106 in association with the image data.
  • a camera 108 and radiation sources 110 and 112 are arranged inside an imaging room 114 .
  • the radiation sources 110 and 112 are, for example, X-ray sources, and the partition walls and doorway between the imaging room 114 and the outside are X-ray protected by X-ray protective materials (for example, lead, concrete, etc.). there is In the case of irradiating the object OBJ with visible light for imaging, it is not necessary to use the protected imaging room 114 .
  • the radiation sources 110 and 112 irradiate the subject OBJ placed in the imaging room 114 with radiation according to instructions from the imaging control unit 102 .
  • the camera 108 irradiates the object OBJ to be inspected from the radiation source 110 and is reflected by the object OBJ to be inspected, or irradiates the object OBJ to be inspected from the radiation source 112 in accordance with an instruction to execute imaging from the imaging control unit 102 .
  • the object to be inspected OBJ is imaged by receiving the radiation transmitted through the object to be inspected OBJ.
  • the object to be inspected OBJ is held in an imaging room 114 by a holding member (for example, a manipulator, a mounting table, a movable mounting table) (not shown).
  • the distance and angle to the are adjustable.
  • the operator can control the relative positions of the object to be inspected OBJ, the camera 108, and the radiation sources 110 and 112 via the imaging control unit 102 to image a desired portion of the object to be inspected OBJ.
  • the radiation sources 110 and 112 finish irradiating radiation to the object to be inspected OBJ in synchronization with the end of execution of imaging by the camera 108 .
  • the camera 108 is arranged inside the imaging room 114, but the camera 108 can be arranged outside if the object to be inspected OBJ in the imaging room 114 can be photographed.
  • one camera 108 and two radiation sources 110 and 112 are provided, but the number of cameras and radiation sources is not limited to this. For example, there may be multiple cameras and radiation sources, or there may be one each.
  • FIG. 8 is a diagram showing an example of acquiring time-series flaw information. This figure shows how time-series images of a product (object to be inspected, subject) are acquired in association with manufacturing time.
  • the production time is an example of "information on the arrangement of subjects" in the present invention.
  • Information about the arrangement of subjects is information that can determine the order of subjects based on that information, and may have a time-related component, such as information about the time of occurrence of a flaw.
  • Examples of the "information on the arrangement of the object” and the “information on the occurrence time of the flaw” include, for example, the manufacturing time, manufacturing number (serial number), lot number, inspection time, inspection number, image at least one of the imaging times of . "Time” does not have to be specified to the hour, minute, and second.
  • Size of flaw/defect is the size of flaw (or defect) in the image of each product (first flaw information and first 2) is shown by the number of pixels.
  • the defect criterion is 10 pixels or more (an example of the "first criterion"), and if there is even one defect, the product is rejected (NG: no good).
  • the criterion for determining a flaw is 3 pixels or more (an example of a “second criterion that is stricter than the first criterion”), and even if there is a flaw, the product is accepted (OK).
  • an image 500 taken from time t1 to time t2 has 10 flaws of 5 pixels, an image 502 has 35 flaws of 1 pixel, and an image 504 has flaws of 1 pixel.
  • there are 43 defects one of which has a size of 12 pixels and corresponds to a defect
  • the product in image 500 and the product in image 502 pass, and the product in image 504 fails because there is a defect.
  • the frequency of defect occurrence here, the ratio of rejected products to the total number of products
  • the criterion value is 1/10
  • the frequency of defect occurrence is higher than the criterion value. expensive. Therefore, in the example of FIG.
  • the condition calculation unit 226 calculates the period from time t1 to time t2 as the recording target period based on the existence of the defect (first flaw information) (period calculation step , condition calculation step, condition calculation process), and the recording control unit 228 (processor) calculates the number of flaws (10, 35, 43; second flaw information) in the images 500 to 504 at times t1 and t2 ( (recording control step, recording control process) in association with the recording condition information).
  • recording flaw information for a period (specific period) from time t1 to time t2 is an example of recording condition calculation and recording control. , lot number, inspection time, inspection number, image pickup time, etc. may be calculated as recording conditions, and information may be recorded under these conditions.
  • the imaging system 100 and the inspection apparatus 10 can acquire an image of an object to be inspected OBJ (subject). Acquisition of images can be performed in chronological order. Shooting may be performed at a predetermined timing such as daily, weekly, monthly, or once a week. In addition, images of different individuals of the same type of object to be inspected OBJ (continuously manufactured parts, products, etc.) may be sequentially captured, or images of the same individual may be repeatedly captured (acquisition of information that changes over time). You may In addition, it is preferable to photograph the object to be inspected OBJ from the same direction (either from one direction or from a plurality of directions).
  • the processing unit 22 can acquire flaw information (first flaw information) by analyzing the obtained time-series images of the object to be inspected OBJ (subject) according to the first criteria (first information acquisition step, first information acquisition processing).
  • first reference is a reference for at least one of the type, number, position, size, shape, existence density, and distance to other flaws on the object.
  • the flaw information includes information indicating the characteristics of the flaw and information related to when the flaw occurred.
  • “Information indicating flaw characteristics” is information indicating at least one of the flaw type, number, position, size, shape, existence density, and distance to other flaws on the object to be inspected OBJ (subject).
  • the "information corresponding to the occurrence time of the flaw" may be the occurrence time itself (for example, the occurrence time), or other information related to the occurrence time (for example, the manufacturing time of the inspection object OBJ (subject), the manufacturing number, etc.). (serial number), lot number, inspection time, inspection number, and image capturing time).
  • the time of occurrence or the time of occurrence may not be strictly specified (for example, the date and time or the hour, minute, and second may not be specified).
  • the processing unit 22 selects "defect” as the "first defect information” (the product is rejected). It is also possible to acquire information on various levels of flaws).
  • the condition calculation unit 226 can obtain the range of defect information to be recorded based on the information on the arrangement and/or the first defect information. For example, the condition calculation unit 226 (processor) calculates a recording target period (a period for recording the first flaw information and/or the second flaw information), a recording condition (condition calculation process, condition calculation process) The condition calculation unit 226 determines that, for example, the frequency of occurrence of a flaw (for example, size) having a predetermined characteristic is higher than the criterion value, is equal to or less than the criterion value, and is within the criterion range. The condition calculation unit 226 may calculate a period in which the first flaw information exists (first period) as the recording period, or the first period, and a second period preceding the first period may be calculated as the recording target period.
  • a recording target period a period for recording the first flaw information and/or the second flaw information
  • condition calculation process condition calculation process
  • condition calculation unit 226 uses a determined period (one day, one week, one month, etc.) or a determined number of subjects (one, ten , 100, etc.) can be used.
  • condition calculation unit 226 can record the flaw information about the objects with the manufacturing numbers and lot numbers in the specified range, for example.
  • Such flaw information about the recording target period is effective for predicting the occurrence of flaws (or defects) and analyzing flaw information before the occurrence of defects. That is, according to the above-described aspect, it is possible to record useful defect information of the subject.
  • condition calculation unit 226 can calculate conditions for at least one of the specific period, manufacturing number, lot number, inspection time, inspection number, and image capturing time as the "recording condition”.
  • the processing unit 22 analyzes the image of the object to be inspected OBJ (subject) according to a second criterion that is stricter than the first criterion, thereby generating second flaw information (information indicating the characteristics of the flaw and information indicating the characteristics of the flaw). including information corresponding to the time of occurrence) can be obtained (second information obtaining step, second information obtaining process).
  • the processing unit 22 may acquire the second flaw information based on the recording conditions described above.
  • the second flaw information may be time-series information.
  • the items of "information indicating the characteristics of the flaw" and "information related to the occurrence time of the flaw" may be the same as in the case of the first information.
  • the second criterion is at least one of the type and number of flaws, the position, size, shape, existence density, and distance to other flaws on the object to be inspected OBJ (subject), as in the first criterion.
  • This standard is stricter than the first standard.
  • the second criterion is stricter than the first criterion refers to a flaw that affects the quality and/or performance of the object OBJ (object) to be inspected less than the flaw obtained by analysis according to the first criterion. It means that the flaw information is obtained according to the second criterion.
  • the processing unit 22 can use the criteria set by the user via the operation unit 14 as the first criteria and the second criteria.
  • FIG. 9 is a table showing an example of flaw information (first flaw information and second flaw information) in an object to be inspected OBJ (subject).
  • the flaw information includes an ID (Identification) of each flaw, the type of flaw (kind), major diameter (size), position x and position y (position in the subject), defect/non-defect Includes classification.
  • the classification unit 224 (processor) classifies a flaw having a major diameter of 4 mm (first criterion) or more as a defect.
  • the flaw information may include the number of flaws (which may be determined by assigning IDs with serial numbers), existence density, distance to other flaws, and the like.
  • the recording control unit 228 (processor) can record the flaw information in a recording device such as the storage unit 24 in association with the information indicating the recording target period.
  • FIG. 10 is a table showing another example of flaw information. Numerical values in the example shown in FIG. 10 are the same as those in FIG. 9, but the classification unit 224 (processor) classifies "flaws (flaws that are not defects)" as “flaws to be noted” (denoted as “YES” in the figure). and "other flaws”.
  • the classification unit 224 in addition to the "first standard” (longer diameter 4 mm or more) and “second standard stricter than the first standard” (longer diameter less than 1.5 mm), "first standard A third criterion (major axis of 1.5 mm or more and less than 4 mm), which is stricter than the second criterion and less strict than the second criterion, is provided, and flaws that satisfy the third criterion are classified as “notable flaws”.
  • the classification unit 224 may set criteria for "notable flaws" for other items such as combinations of types and major diameters, areas, etc., and use those criteria.
  • the processing unit 22 may set or change the values of the first to third criteria based on the user's operation via the operation unit 14 .
  • the recording control unit 228 causes the storage unit 24 (recording device) to record the defect information (second defect information) in the recording target period in association with the information indicating the recording target period (recording step, recording process).
  • the "information indicating the period to be recorded” is not the occurrence time itself but other information (for example, the manufacturing time of the object to be inspected OBJ (object), At least one of a manufacturing number (serial number), lot number, inspection time, inspection number, and image capturing time) may be used.
  • the recording format is not particularly limited, but the formats illustrated in FIGS. 9 and 10 may be used.
  • the recording control unit 228 can associate the first flaw information with the second flaw information based on the recording conditions during recording. Examples of association include making different files and sharing part of the file name, storing two flaw information in the same folder, or recording both pieces of information in the recording target period in one file. can be mentioned.
  • the recording control unit 228 may record a predetermined area in the object to be inspected OBJ (object).
  • the "predetermined area” is a part of the object to be inspected OBJ (for example, an area where it has been found that failures to be inspected occurred frequently in the past, or an area that has a high impact on the performance and quality of the entire product). area, area specified by the user, etc.). By recording such an area, useful flaw information can be recorded. It should be noted that "whether or not the area is determined” can be determined based on the measured position. Also, the recording control unit 228 may refer to the “inspection area designation information” included in the product data D200 shown in FIG. 5 when recording.
  • the information extraction unit 230 (processor) and the output control unit 232 (processor) can extract information from the recorded information under conditions specified by user's operation and output the extracted information. Also, the information extraction unit 230 and the output control unit 232 may extract and output information without depending on the user's operation.
  • An example of information extraction and output (recording, display) will be described below. In the following example, it is assumed that objects to be inspected OBJ of the same type are continuously manufactured and photographed, and time-series flaw information as shown in FIGS.
  • FIG. 11 is a diagram showing an example of recording, extracting, and displaying flaw information.
  • flaws that do not lead to defects continue to occur.
  • defects start to occur at time t2, and the number of defects increases after time t3. It is assumed that the number of defects (or the frequency of occurrence of defects) is higher than the criterion value from time t3 to time t4.
  • the height H1 indicates the number of flaws that do not reach the defect level
  • the height H2 indicates the number of flaws corresponding to "defect”
  • the height H0 indicates the total number of flaws.
  • the information extraction unit 230 extracts the information recorded in the storage unit 24, for example, the flaw information (including information on defects and information on flaws that do not lead to defects) during the period from time t3 to time t4. The same applies hereinafter) is extracted, and the output control unit 232 outputs the extracted flaw information.
  • the output control section 232 may output the flaw information to a recording device such as the storage section 24 or to a display device such as the display section 18 .
  • the information extraction unit 230 and the output control unit 232 may extract and output flaw information for a period after time t2 when defects began to occur. Information may also be extracted and output for a period before time t2, for example, a period after time t1, or the entire period of the graph in FIG. 11 (the same applies to examples described later). Flaw information for such a period is effective for prediction of defects and flaw occurrence, and analysis of flaw information when a defect occurs (or before the defect occurs). That is, according to the present invention, useful flaw information on the subject can be recorded.
  • FIG. 11 illustrates a case where no defect occurs until time t2 and occurs after time t2. There is a possibility that it will occur randomly (rejected products will occur intermittently). In such a case, flaw information may be individually recorded, extracted, and output for multiple periods in which defects occur, or flaw information may be recorded and extracted for a period that includes multiple periods in which defects occur. , and so on.
  • the information extraction unit 230 and the output control unit 232 display the manufacturing time, manufacturing number (serial number), lot number, inspection At least one of the time, examination number, and imaging time of the image (information related to the time of occurrence of the flaw) may be used as a variable on the horizontal axis. Also, the information extraction unit 230 and the output control unit 232 may use other variables such as the area of flaws as the vertical axis of the graph display in addition to the number of flaws and defects.
  • the output format of the flaw information is not limited to the graph format, and the output control unit 232 may output information in other formats (for example, table format, diagram format, etc.). good.
  • the output control unit 232 can add or change line types, colors, characters, graphics, symbols, numbers, etc. to detect flaws at a level corresponding to a defect, flaws at a level not reaching a defect, and/or " It is also possible to discriminate between "flaws to be removed" and "flaws other than that".
  • FIG. 12 is a diagram showing another output example (display example) of flaw information.
  • the processing unit 22 designates the display target period and the reference value (here, the flaw size is 3 mm) according to the user's operation via the operation unit 14, and the output control unit 232 controls the graph
  • flaws above the reference value and flaws below the reference value are distinguished by the color of the graph.
  • the height H1 indicates the number of flaws less than the reference value
  • the height H2 indicates the number of flaws equal to or greater than the reference value
  • the height H0 indicates the total number of flaws.
  • the period for extracting and displaying information can be set in the same way as in the example of FIG. Such display of flaw information allows the user to easily grasp the occurrence of flaws.
  • FIG. 13 is a diagram showing still another output example (display example) of flaw information.
  • the processing unit 22 selects the type of flaw from the drop-down list 600 and sets the reference value for the size of the flaw according to the user's operation via the operation unit 14.
  • the type of flaw here, porosity
  • the output control unit 232 graphically displays the change in the number of flaws (porosity) over time on the display unit 18 . 12, the output control unit 232 discriminately displays the flaws of the reference value (3 mm) or more and the flaws of less than the reference value.
  • FIG. 14 is a diagram showing still another output example of flaw information (an example of displaying a plurality of types of flaw information).
  • the processing unit 22 sets the display target period and the type of flaw (here, porosity and gas hole) according to the user's operation via the operation unit 14, and the information extraction unit 230 according to the set conditions. Extract the crack information.
  • the output control unit 232 graphically displays the change in the number of flaws (porosity and gas holes) over time on the display unit 18 .
  • the output control unit 232 displays the graph in a discriminative manner (in different colors) according to the type of flaw.
  • the height H3 indicates the number of gas holes
  • the height H4 indicates the number of porosities
  • the height H0 indicates the total number of flaws.
  • FIG. 15 is a diagram showing still another output example (display example) of flaw information.
  • a plurality of types of flaw information are displayed (a graph is drawn for each type of flaw).
  • defects here, flaws (Porosity) exceeding the reference value
  • the height H3 indicates the number of gas holes
  • the height H4A indicates the number of porosities at a level not reaching the "defect”
  • the height H4B indicates the number of porosities corresponding to the "defect”
  • the height H4 indicates the total number of porosities.
  • FIG. 16 is a diagram showing still another output example (display example) of flaw information.
  • the output control unit 232 displays inspection information in addition to the display period and flaw information (Porosity, Gas Hole).
  • the output control unit 232 can display the inspection information by referring to the object inspection result data D10 shown in FIG.
  • a timeline bar 610 for designating time is displayed, and the user can operate this timeline bar 610 via the operation unit 14 .
  • the information extraction unit 230 and the output control unit 232 extract the flaw information at the time when the timeline bar 610 is set, and display the flaw occurrence position (occurrence region) superimposed on the image 510 of the object to be inspected OBJ. .
  • the output control unit 232 may superimpose the flaw information on a CAD (computer aided design) drawing or the like instead of the image.
  • the "flaw" level Porosity, the "defect” level (the level at which the object to be inspected OBJ is rejected) Porosity, and the "flaw” level Gas Hole are extracted and displayed. . Note that, even in such a superimposed display, it is preferable that the output control unit 232 performs identification display according to the type and degree (size, etc.) of the flaw.
  • the processing unit 22 may, for example, automatically move the timeline bar 610 in the direction of the time axis according to the user's information reproduction operation, and continuously change the superimposed display accordingly.
  • the processing unit 22 acquires flaw information by image processing has been described.
  • the extracting unit 220, the measuring unit 222, and the classifying unit 224 may be constructed by an image analyzer.
  • FIG. 17 is a diagram showing an example of the layer configuration of the learning model 240 (image analyzer).
  • the learning model 240 includes an input layer 250 , an intermediate layer 252 and an output layer 254 .
  • the input layer 250 inputs the image of the object to be inspected OBJ and outputs the feature quantity.
  • the intermediate layer 252 includes a convolutional layer 256 and a pooling layer 258, and receives the features output by the input layer 250 to calculate other features.
  • the learning model 240 may include a fully connected layer 260 as in the example shown in part (b) of FIG.
  • the layer configuration of the learning model 240 is not limited to repeating the convolutional layer 256 and the pooling layer 258 one by one, and any layer (for example, the convolutional layer 256) may be included continuously. Also, multiple contiguous all-bonded layers 260 may be included.
  • the intermediate layer 252 calculates the feature amount by convolution operation and pooling processing.
  • the convolution operation performed in the convolution layer 256 is processing for obtaining a feature map by convolution operation using a filter, and plays a role of feature extraction such as edge extraction from an image.
  • a "feature map" of one channel (one sheet) is generated for one filter by a convolution operation using this filter.
  • the size of the "feature map” is downscaled by the convolution, getting smaller with each layer of convolution.
  • the pooling process performed in the pooling layer 258 is a process of reducing (or enlarging) the feature map output by the convolution operation to create a new feature map. It plays the role of giving robustness to Intermediate layer 252 may consist of one or more layers that perform these operations.
  • FIG. 18 is a diagram showing how the convolution operation is performed in the learning model 240 shown in FIG.
  • an image set composed of a plurality of images an image set for learning at the time of learning and an image set for recognition at the time of recognition such as detection
  • An image set can be composed of N images (N channels) having an image size of H in the vertical direction and W in the horizontal direction.
  • N images N channels
  • the images that make up the image set are three-channel images of R (red), G (green), and B (blue).
  • the case is a 1-channel image (monochrome, grayscale).
  • This image set and the filter F1 that is convoluted with this image set have N channels (N images). Become. A "feature map" of one channel (one sheet) is generated for one filter F1 by a convolution operation using this filter F1 .
  • the filter F2 used in the second convolutional layer has a filter size of 3x3xM, for example for a filter of size 3 (3x3).
  • the second to nth convolutional layers perform convolution operations using filters F 2 to F n .
  • the reason why the size of the "feature map" in the nth convolutional layer is smaller than the size of the "feature map” in the second convolutional layer is that it has been downscaled by the previous convolutional layers or pooling layers. is.
  • low-order feature extraction (edge extraction, etc.) is performed in the convolution layer closer to the input side, and higher-order feature extraction (features related to the shape, structure, etc. of the object) is performed as it approaches the output side. extraction) is performed.
  • segmentation is performed for the purpose of measuring a region of interest (for example, a flaw)
  • it is upscaled in the latter half of the convolutional layer, and in the final convolutional layer, a "feature map" of the same size as the input image set is obtained.
  • upscaling is not essential when detecting a region of interest because it is sufficient to output position information.
  • the intermediate layer 252 may include a layer that performs batch normalization.
  • Batch normalization is a process that normalizes the distribution of data in units of mini-batch during learning, and plays the role of speeding up learning, reducing dependence on initial values, and suppressing over-learning.
  • the output layer 254 is a layer that detects the position of an attention area appearing in an input image (patch image or the like) based on the feature amount output from the intermediate layer 252 and outputs the result.
  • the output layer 254 uses the “feature map” obtained from the intermediate layer 252 to grasp the position of the region of interest in the image at the pixel level. That is, it is possible to detect whether each pixel of the image belongs to the region of interest (whether it belongs to a specific class) and output the detection result.
  • the output layer 254 may finely classify and output flaws (gas holes, porosity, FMLD (Foreign Material Less Dense), FMMD (Foreign Material More Dense), cracks, peeling, etc.).
  • the output layer 254 (learning model 240) outputs detection results (segmentation results, class classification results) for unit regions (each region when the image of the object to be inspected OBJ is divided into a plurality of regions). can be done. Also, the output layer 254 can output the certainty (probability, reliability) of the detection result.
  • a "unit area" may be composed of one pixel, or may be composed of a plurality of pixels.
  • the learning model 240 may use an area obtained by dividing an image of a subject into predetermined shapes and sizes as a unit area.
  • the output layer 254 may perform discrimination (classification) of the region of interest and output the discrimination result. For example, the output layer 254 classifies the image into two categories of "normal” and "flaw", and as a discrimination result, two scores corresponding to "normal” and “flaw” (the sum of the two scores is 100%, or 1), or if the two scores can be clearly classified, the classification result may be output.
  • the classification may be two classes or multiple classes. For example, the output layer 254 may classify the image into three categories: “Normal”, “Flaw that is not a defect", and "Flaw that corresponds to a defect". Also, the output layer 254 may classify the "flaws" into “flaws corresponding to defects", "flaws to be noted", and “other flaws”.
  • intermediate layer 252 or output layer 254 may or may not include a fully connected layer as the last layer or layers (see part (b) of FIG. 17).
  • the output layer 254 may output the measurement result of the attention area.
  • the learning model 240 can directly output the measured value of the target region of interest.
  • the target region of interest may be segmented, for example, as described above, and then measured based on the results.
  • the measured values themselves are learned by the image, resulting in a regression problem of the measured values.
  • the result output by the output layer 254 is compared with the correct recognition for the image set to calculate the loss function (error function), and the weight in the intermediate layer 252 It is preferable to reduce (minimize) the loss function by performing processing (error backpropagation) for updating the parameters from the layer on the output side to the layer on the input side.
  • the learning model 240 After learning, the learning model 240 performs one or more of detection, classification, and measurement as image analysis, and the processing unit 22 (processor) acquires flaw information based on the analysis results of the learning model 240. can be done.
  • the processing unit 22 may correct the analysis result of the learning model 240 according to the user's operation via the operation unit 14 or the like. This modification may include, for example, adding defect information, deleting unnecessary information, correcting errors, grouping information, and the like.
  • the inspected object (subject) is an industrial part or an industrial product
  • the inspected object (subject) in the present invention is not limited to these articles.
  • structures such as bridges, roads, tunnels, buildings, dams, and other structures (including concrete structures) can be taken as subjects, and cracks, delamination, and the like in these subjects can be handled as flaws.
  • the image may be a radiographic image (or a radiographic image), a visible light image, or an infrared light image.
  • Imaging device 12 Control unit 14 Operation unit 16 I/F 18 display unit 20 buffer memory 22 processing unit 24 storage unit 100 imaging system 102 imaging control unit 104 imaging operation unit 106 image recording unit 108 camera 110 radiation source 112 radiation source 114 imaging room 200 product DB 220 extraction unit 222 measurement unit 224 classification unit 226 condition calculation unit 228 recording control unit 230 information extraction unit 232 output control unit 240 learning model 250 input layer 252 intermediate layer 254 output layer 256 convolution layer 258 pooling layer 260 fully connected layer 500 image 501 Image 502 Image 503 Image 504 Image 510 Image 600 Drop-down list 610 Timeline bar D10 Subject inspection result data D100 Subject imaging data D200 Product data F 1 Filter F 2 Filter H0 Height H1 Height H2 Height H3 Height Height H4 Height H4A Height H4B Height NW Network OBJ Object to be inspected

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本発明の一つの実施形態は、被写体の有用なきず情報を記録することができる情報処理装置、情報処理方法、及び情報処理プログラムを提供する。本発明の一の態様に係る情報処理装置は、プロセッサを備える情報処理装置であって、プロセッサは、被写体の画像を第１の基準で解析して得られた第１のきず情報であって、きずの特徴を示す情報を含む第１のきず情報を取得し、第１の基準よりも厳しい第２の基準で被写体の画像を解析して得られた第２のきず情報であって、きずの特徴を示す情報を含む第２のきず情報を取得し、第２のきず情報を、第１のきず情報と関連付けて記録させる。

Description

情報処理装置、情報処理方法、及び情報処理プログラム
　本発明は被写体のきず情報を処理する情報処理装置、情報処理方法、及び情報処理プログラムに関する。
　種々の技術分野において、検査員が目視で被写体のきずや欠陥を判定して、欠陥があれば不合格品とすることが行われている。このような検査では、被写体の画像が用いられることもある。また、画像処理装置等が被写体の画像から欠陥情報やきず情報を取得する技術も知られている。例えば、特許文献１には、画像から第１，第２の閾値で欠陥候補を抽出することが記載されている。
特許第４２５０８９８号公報
　しかしながら、検査員が個々に欠陥やきずを判断するのは負担が高く、また特許文献１のように単に欠陥を抽出するだけでは、欠陥に満たないきずの情報を活用あるいは分析することが困難であり、抽出された情報の有用性が低かった。
　本発明はこのような事情に鑑みてなされたもので、被写体の有用なきず情報を記録できる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
　上述した目的を達成するため、本発明の第１の態様に係る情報処理装置は、プロセッサを備える情報処理装置であって、プロセッサは、被写体の画像を第１の基準で解析して得られた第１のきず情報であって、きずの特徴を示す情報を含む第１のきず情報を取得し、第１の基準よりも厳しい第２の基準で被写体の画像を解析して得られた第２のきず情報であって、きずの特徴を示す情報を含む第２のきず情報を取得し、第２のきず情報を、第１のきず情報と関連付けて記録させる。
　第１の態様によれば、第１の基準よりも厳しい第２の基準で被写体の画像を解析して得られた第２のきず情報を、第１のきず情報と関連付けて記録させるので、第１のきず情報だけでなく第２のきず情報が記録され、また第１のきず情報と第２のきず情報との関係を把握することができる。このような第１，第２のきず情報は、被写体のきずの分析や予測等に活用することができる。このように、第１の態様によれば、被写体の有用なきず情報を記録することができる。
　なお、プロセッサは、第１のきず情報及び第２のきず情報を各種の記録装置（光磁気記録装置や、半導体記録装置）に記録させることができる。それら記録装置は、非一時的かつ有体の記録媒体を用いるものであってもよい。
　第１の態様及び後述する各態様において、例えば、製品等の被検査体（被写体）における不連続部分を「きず（discontinuity）」と定義することができる。また、「きず」のうち、規格や仕様書などで規定された判定基準を超え、試験や検査で製品等（被写体）が不合格となるものを「欠陥（defect）」と定義することができる。この場合、欠陥は、検出された「きず」のうち読影者により、または自動で「欠陥」と判定されたものである。例えば、決められた長径を有するきずを「欠陥」として判定することができる。
　第２の態様に係る情報処理装置は第１の態様において、第１のきず情報及び第２のきず情報はそれぞれ複数の被写体の配列に関する情報を持ち、プロセッサは、配列に関する情報に基づいて第１のきず情報及び第２のきず情報を関連付ける。「配列に関する情報」は、その情報に基づいて被写体の順序を決められる情報であってもよい。
　第３の態様に係る情報処理装置は第２の態様において、配列に関する情報が時間に関する成分を持つ。「時間に関する成分」は例えば特定の期間、製造時刻、検査時刻、画像の撮像時刻であるが、これらに限定されるものではない。
　第４の態様に係る情報処理装置は第２または第３の態様において、プロセッサは、配列に関する情報に基づいて、記録させる第１のきず情報及び／または第２のきず情報の範囲を求める。
　第５の態様に係る情報処理装置は第１から第４の態様のいずれか１つにおいて、プロセッサは、第１のきず情報に基づいて記録条件を算出し、記録条件に基づいて、第２のきず情報を取得及び／または記録する。第５の態様において、プロセッサは、特定の期間、製造番号、ロット番号、検査時刻、検査番号、画像の撮像時刻のうち少なくとも１つについての条件を記録条件として算出し、その算出した記録条件の下できず情報を記録することができる。
　第６の態様に係る情報処理装置は第５の態様において、プロセッサは、記録条件に基づいて、第１のきず条件と第２のきず情報との関連付けを行う。
　第７の態様に係る情報処理装置は第１から第６の態様のいずれか１つにおいて、画像は放射線透過画像である。放射線透過画像は、被写体の非破壊検査に用いることができる。
　第８の態様に係る情報処理装置は第１から第７の態様のいずれか１つにおいて、第１の基準は、きずの種類、数、被写体における位置、大きさ、形状、存在密度、他のきずとの距離のうち少なくとも１つに対する基準であり、プロセッサは、きずの種類、数、被写体における位置、大きさ、形状、存在密度、他のきずとの距離のうち少なくとも１つを示す情報をきずの特徴として記録を行う。第２の態様は、「きず」についての「第１の基準」の具体的態様を規定するものである。なお、きずの種類によって基準の値が違っていてもよい。
　第９の態様に係る情報処理装置は第１から第８の態様のいずれか１つにおいて、第２の基準は、きずの種類、数、被写体における位置、大きさ、形状、存在密度、他のきずとの距離のうち少なくとも１つに対する基準であり、プロセッサは、きずの種類、数、被写体における位置、大きさ、形状、存在密度、他のきずとの距離のうち少なくとも１つを示す情報をきずの特徴として記録を行う。第３の態様は、「きず」についての「第２の基準」の具体的態様を規定するもので、きずの種類によって基準の値が違っていてもよい。
　第１０の態様に係る情報処理装置は第１から第９の態様のいずれか１つにおいて、第１のきず情報におけるきず、及び第１のきず情報におけるきずよりも被写体の品質及び／または性能に対する影響が低いきずについて、第２の基準により第２のきず情報を取得する。第４の態様は、第２のきず情報の取得対象である「きず」が、第１の態様で規定する「第１の基準よりも厳しい第２の基準」で判断されることを具体的に規定するものである。
　第１１の態様に係る情報処理装置は第１から第１０の態様のいずれか１つにおいて、第１のきず情報及び第２のきず情報はきずの発生時期に関連する情報を含み、プロセッサは、きずの発生時期に関連する情報として、被写体の製造時刻、製造番号、ロット番号、検査時刻、検査番号、画像の撮像時刻のうち少なくとも１つを取得する。第１１の態様に規定するように、「きずの発生時期に関連する情報」は時刻そのものでなく時系列に取得される情報であってもよい。
　第１２の態様に係る情報処理装置は第１から第１１の態様のいずれか１つにおいて、プロセッサは、被写体における決められた領域について記録を行う。
　第１３の態様に係る情報処理装置は第１から第１２の態様のいずれか１つにおいて、プロセッサは、きずの発生頻度が判定基準値より高い期間について記録を行う。きずの発生頻度が判定基準値より高い期間について記録を行うことは、記録条件に従った記録の一態様である。
　第１４の態様に係る情報処理装置は第１から第１２の態様のいずれか１つにおいて、プロセッサは、きずの発生頻度が判定基準値以下の期間について記録を行う。きずの発生頻度が判定基準以下の期間について記録を行うことは、記録条件に従った記録の一態様である。
　第１５の態様に係る情報処理装置は第１から第１２の態様のいずれか１つにおいて、プロセッサは、きずの発生頻度が判定基準範囲内である期間について記録を行う。きずの発生頻度が判定基準範囲内である期間について記録を行うことは、記録条件に従った記録の一態様である。
　第１６の態様に係る情報処理装置は第１から第１５の態様のいずれか１つにおいて、プロセッサは、第１のきず情報が存在する第１の期間について記録を行う。第１のきず情報が存在する第１の期間について記録を行うことは、記録条件に従った記録の一態様である。
　第１７の態様に係る情報処理装置は第１６の態様において、プロセッサは、第１の期間、及び第１の期間より前の第２の期間について記録を行う。第１の期間、及び第１の期間より前の第２の期間について記録を行うことは、記録条件に従った記録の一態様である。
　第１８の態様に係る情報処理装置は第１から第１７の態様のいずれか１つにおいて、機械学習のアルゴリズムを用いて構築され、被写体の画像について解析を行う画像解析器をさらに備え、プロセッサは、画像解析器を用いて第１のきず情報及び／または第２のきず情報を取得する。画像解析器は、例えばニューラルネットワークにより構築することができる。
　第１９の態様に係る情報処理装置は第１８の態様において、画像解析器は、解析として検出、分類、計測のうち１つ以上を行い、プロセッサは解析の結果に基づいて第１のきず情報及び／または第２のきず情報を取得する。
　第２０の態様に係る情報処理装置は第１８または第１９の態様において、プロセッサは、解析の結果をユーザの操作に応じて修正する。画像解析器の解析結果には誤りや不適切な結果、不要な情報等が含まれている場合があるが、第２０の態様によれば、ユーザはそのような解析結果を修正し、適切な情報を取得することができる。
　第２１の態様に係る情報処理装置は第１から第２０の態様のいずれか１つにおいて、プロセッサは、記録した情報及び／または記録した情報から抽出した情報を、記録装置及び／または表示装置に出力させる。抽出した情報を、被写体の画像や設計図面等と対応あるいは重畳させて表示してもよい。
　第２２の態様に係る情報処理装置は第２１の態様において、プロセッサは、記録した情報から、ユーザの操作により指定された条件で情報を抽出し、抽出した情報を出力させる。第２１の態様によれば、ユーザは所望の条件により情報を抽出して参照することができる。
　上述した目的を達成するため、本発明の第２３の態様に係る情報処理方法は、プロセッサを備える情報処理装置により実行される情報処理方法であって、プロセッサは、被写体の画像を第１の基準で解析して得られた第１のきず情報であって、きずの特徴を示す情報を含む第１のきず情報を取得する第１の情報取得工程と、第１の基準よりも厳しい第２の基準で被写体の画像を解析して得られた第２のきず情報であって、きずの特徴を示す情報を含む第２のきず情報を取得する第２の情報取得工程と、第２のきず情報を、第１のきず情報と関連付けて記録させる記録工程と、を実行する。
　第２３の態様によれば、第１の態様と同様に被写体の有用なきず情報を記録することができる。なお、第２３の態様に係る情報処理方法は、第２～第２２の態様と同様の構成を備えていてもよい。
　上述した目的を達成するため、本発明の第２４の態様に係る情報処理プログラムは、プロセッサを備える情報処理装置に情報処理方法を実行させる情報処理プログラムであって、情報処理方法において、プロセッサは、被写体の画像を第１の基準で解析して得られた第１のきず情報であって、きずの特徴を示す情報を含む第１のきず情報を取得する第１の情報取得工程と、第１の基準よりも厳しい第２の基準で被写体の画像を解析して得られた第２のきず情報であって、きずの特徴を示す情報を含む第２のきず情報を取得する第２の情報取得工程と、第２のきず情報を、第１のきず情報と関連付けて記録させる記録工程と、を実行する。
　第２４の態様によれば、第１，第２３の態様と同様に被写体の有用なきず情報を記録することができる。なお、第２４の態様に係る情報処理プログラムは、第２～第２２の態様と同様の構成を備えていてもよい。また、これら態様の情報処理プログラムのコンピュータ読み取り可能なコードを記録した非一時的かつ有体の記録媒体も、本発明の態様として挙げることができる。
　以上説明したように、本発明の情報処理装置、情報処理方法、及び情報処理プログラムによれば、被写体の有用なきず情報を記録することができる。
図１は、第１の実施形態に係る検査装置の構成を示すブロック図である。 図２は、処理部が有する機能の一例を示すブロック図である。 図３は、きずのサイズの算出手法の例を示す図である。 図４は、被検査体撮影データの例を示すブロック図である。 図５は、製品データの例を示すブロック図である。 図６は、被検査体検査結果データの例を示すブロック図である。 図７は、撮影システムの例を示すブロック図である。 図８は、時系列のきず情報を取得する例を示す図である。 図９は、被検査体（被写体）におけるきず情報の例を示す表である。 図１０は、きず情報の他の例を示す図である。 図１１は、きず情報の記録、抽出、及び表示の例を示す図である。 図１２は、きず情報の他の出力例（表示例）を示す図である。 図１３は、きず情報のさらに他の出力例（表示例）を示す図である。 図１４は、きず情報のさらに他の出力例（複数種類のきず情報を表示する例）を示す図である。 図１５は、きず情報のさらに他の出力例（表示例）を示す図である。 図１６は、きず情報のさらに他の出力例（表示例）を示す図である。 図１７は、ＣＮＮの層構成の例を示す図である。 図１８は、ＣＮＮによる処理の様子を示す図である。
　［第１の実施形態］
　［検査装置の構成］
　図１は、第１の実施形態に係る検査装置１０を示すブロック図である。
　本実施形態に係る検査装置１０（情報処理装置）は、検査対象（被検査体、被写体）を撮影した画像からきず情報を取得するとともに、取得した情報を指定された条件で記録、出力（表示等）する装置であり、読影者による被検査体のきずの診断、分析等を支援するための装置である。ここで「被検査体」とは検査の対象物のことであり、様々な物品が想定される。例えば、検査装置１０を工業検査に用いる場合、高精密度の設計及び製造が必要とされる工業部品や工業製品を被検査体（被写体）として想定することができる。ただし、本発明の適用範囲はこれらの被検査体に限定されるものではない（被検査体の他の例については、後述する「被検査体（被写体）の他の例」の項を参照）。
　また「受光画像」とは、被検査体に放射線、可視光、赤外光等を照射することにより得られた、被検査体の透過光または反射光に基づいて作成された画像である。
　図１に示すように、本実施形態に係る検査装置１０は制御部１２、操作部１４、Ｉ／Ｆ１６（Ｉ／Ｆ：interface）、表示部１８、バッファメモリ２０、処理部２２、及び記憶部２４を備えており、ネットワークＮＷ（ＮＷ：network）を介して撮影システム１００や製品ＤＢ２００（ＤＢ：database）と接続することができる。以下、検査装置１０の各要素について説明する。
　［制御部］
　制御部１２（プロセッサ）は、検査装置１０の各部の動作を制御するプロセッサ（例えば、ＣＰＵ（Central Processing Unit））を含んでいる。制御部１２は、操作部１４を介して読影者からの操作入力を受け付け、この操作入力に応じた制御信号を検査装置１０の各部に送信して、処理部２２を含む各部の動作を制御する。また、制御部１２は、表示用画像、きず情報、製品情報、検査情報等を表示部１８に表示させる。これにより、読影者は、表示部１８に表示された画像を読影して被検査体ＯＢＪの検査を行うことが可能となる。
　また、制御部１２は、フラッシュメモリやＲＯＭ（read only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）、あるいは各種の半導体記憶素子等により構成される図示せぬメモリ（非一時的かつ有体の記録媒体）を含む。このメモリには、本発明に係る情報処理プログラムのコンピュータ読み取り可能なコードが記録されており、制御部１２はこのメモリを参照して本発明に係る情報処理方法を実行する。
　［操作部］
　操作部１４は、読影者からの操作入力を受け付ける入力装置であり、文字入力のためのキーボード、表示部１８に表示されるポインタやアイコン等を操作するためのポインティングデバイス（マウス、トラックボール等）を含んでいる（不図示）。なお、操作部１４としては、上記に列挙した手段に代えて、または、上記に列挙した手段に加えて、表示部１８の表面にタッチパネルを設けることもできる。ユーザは、これらのデバイスを介して、本発明に係る情報処理方法及び情報処理プログラムの実行に必要な操作を行うことができる。この操作には、例えばきずの基準（第１の基準、第２の基準）の設定、きず情報の修正、きず情報の抽出や表示等の条件設定等の操作が含まれる。
　［Ｉ／Ｆ（インタフェース）］
　Ｉ／Ｆ１６は、ネットワークＮＷを介して外部装置との間で通信を行うための手段である。検査装置１０と外部装置との間のデータの送受信方法としては、有線通信（例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット接続等）または無線通信（例えば、ＬＡＮ、ＷＡＮ、インターネット接続等）を用いることができる。Ｉ／Ｆ１６は、画像取得部として機能し、被検査体に光線（可視光、赤外光等）または放射線を照射することにより得られる被検査体からの反射光または透過光に基づいて作成された受光画像を取得する。
　検査装置１０は、Ｉ／Ｆ１６を介して、撮影システム１００によって撮影された被検査体ＯＢＪ（被写体）の撮影画像データを含む被検査体撮影データＤ１００の入力を受け付けることが可能である。ここで撮影画像データは、受光画像を構成する画像データである。また、被検査体撮影データＤ１００を撮影システム１００から検査装置１０に入力する方法は、上記に列挙したネットワークＮＷを介した通信に限定されるものではない。例えば、検査装置１０と撮影システム１００を、ＵＳＢ（Universal Serial Bus）ケーブル、Bluetooth（登録商標）、赤外線通信等により接続してもよいし、被検査体撮影データＤ１００を、検査装置１０に着脱および読取可能なメモリカードに格納して、このメモリカードを介して検査装置１０に画像データを入力してもよい。
　さらに、検査装置１０は、ネットワークＮＷを介して製品データベース（製品ＤＢ２００）と通信可能となっている。製品ＤＢ２００には、検査対象となり得る工業製品ごとの製品データＤ２００が格納されている。制御部１２は、撮影システム１００から取得した被検査体ＯＢＪの被検査体撮影データから被検査体を特定するための被検査体特定情報を検索して読み出し、読み出した被検査体特定情報に対応する製品データＤ２００を製品ＤＢ２００から取得することが可能となっている。この製品データＤ２００を用いることにより、被検査体ＯＢＪの種類または特徴に応じた欠陥情報及びきず情報を取得することができる。
　なお、製品ＤＢ２００は、本実施形態のように、ネットワークＮＷ上に設置して、製品データＤ２００をメーカー等が更新可能としてもよいし、検査装置１０の中に設けられていてもよい。
　［表示部］
　表示部１８（表示装置）は、制御部１２により制御され、受光画像（画像）、検査情報、製品情報、きず情報等を表示するための装置である。表示部１８としては、例えば液晶モニタを用いることができるが、スマートフォンやタブレット端末等のデバイスの画面を表示部１８として用いてもよい。
　［バッファメモリ］
　バッファメモリ２０は例えばＲＡＭ（random access memory）等の記憶デバイスにより構成され、制御部１２の作業領域、及び表示部１８に出力される画像データ等を一時記憶するための領域として用いられる。
　［処理部］
　図２は、処理部２２（プロセッサ、情報処理装置）が有する機能の一例を示すブロック図である。図２に示すように、処理部２２は、抽出部２２０、測定部２２２、及び分類部２２４を備え、被検査体（被写体）の画像から時系列の欠陥情報及びきず情報を取得する。また、処理部２２は条件算出部２２６、記録制御部２２８、情報抽出部２３０、及び出力制御部２３２を備え、きず情報の記録や出力を行う。なお、後述するように、処理部２２は機械学習のアルゴリズムにより構築された画像解析器（学習モデル）を用いてきずの検出、分類、計測を行ってもよい（「画像解析器を用いたきず情報の取得」の項を参照）。
　［抽出部］
　抽出部２２０は画像処理部として機能し、撮影画像データに画像処理（例えば、色変換処理、モノクロ変換処理、エッジ強調処理、３次元データへの変換処理等）を施して、被検査体ＯＢＪの色および輝度値等の変化を検出することにより、被検査体ＯＢＪのきず（例えば、傷、ひび割れ（クラック）、磨耗、さび等）を検出する。抽出部２２０は、後述する第１の基準、第２の基準で画像を解析して、例えば、色の変化、エッジの検出結果等に基づいて欠陥及びきずを検出する。これにより、きずの位置および形状が特定される。
　なお、抽出部２２０は、例えば、被検査体ＯＢＪの同一の欠陥が検出されていない（新品の）製品の画像を含む製品画像データを製品データＤ２００に含めておき、この製品画像データと被検査体ＯＢＪの撮影画像データとを比較することによりきずを検出してもよい。
　［きず及び欠陥の定義］
　本発明において、例えば、製品等の被検査体（被写体）における不連続部分を「きず（discontinuity）」と定義することができる。また、「きず」のうち、規格や仕様書などで規定された判定基準を超え、試験や検査で製品等（被写体）が不合格となるものを「欠陥（defect）」と定義することができる。この場合、欠陥は、検出された「きず」のうち読影者により、または自動で「欠陥」と判定されたものである。例えば、決められた長径を有するきずを「欠陥」として判定することができる。このため、「欠陥」と「きず」は同様の処理（検出、分類、計測等の解析を含む）を行うことができる。
　［測定部］
　測定部２２２は、被検査体ＯＢＪの撮影画像データおよび撮影条件データに基づいて、被検査体ＯＢＪの各部の寸法を測定（計測）する。測定部２２２は、例えば、撮影時のカメラと被検査体ＯＢＪとの間の距離、焦点距離、ズーム倍率等の撮影条件データと、撮影画像データ中の被検査体ＯＢＪの大きさに基づいて、被検査体ＯＢＪのサイズを測定する（製品データＤ２００を介して被検査体ＯＢＪのサイズを取得してもよい）。測定部２２２は、測定した被検査体ＯＢＪのサイズと、撮影画像データ中の被検査体ＯＢＪの大きさと、撮影画像データ中のきずの大きさとを用いて、きずのサイズ（例えば、最大寸法、最小寸法、ひび割れの深さ、角度等）を算出する。測定部２２２は、きずの種類、数、被検査体ＯＢＪ（被写体）における位置、大きさ、形状、存在密度、他のきずとの距離のうち少なくとも１つを測定する。
　なお、測定部２２２は、被検査体ＯＢＪの各部の寸法と、例えば、被検査体ＯＢＪの撮影時の照射光の反射率、透過率（透過減衰）を示す情報を用いて、被検査体ＯＢＪの位置ごとの肉厚を測定してもよい。なお、肉厚については、撮影時に撮影システム１００で測定して、被検査体撮影データＤ１００に含めてもよい。
　［測定部による測定の一例］
　測定部２２２が行う測定の一例に関して説明する。図３は、きずのサイズの算出手法の例を示す図である。図３に示すように、測定部２２２は、画像においてきずを内包して最小面積を示す矩形の対角線の長さをきずのサイズとすることができる。なお測定部２２２は、他の方法によってきずのサイズを算出してもよい（例えば、後述する変形例を参照）。
　［分類部］
　分類部２２４は、記憶部２４に記憶された分類情報に基づいて、抽出したきずにきずの分類を付与する。例えば分類部２２４は、処理部２２で抽出されたきずと、過去に抽出されたきずに対応するきず画像及びきず画像の特徴を示す情報のうち少なくとも一方との類似度を算出し、分類部２２４は、その類似度に基づいてきずの分類を付与する。ここで分類部２２４が算出する類似度は、公知の手法で算出される。例えば分類部２２４は、処理部２２により抽出されたきず画像と過去に抽出されたきず画像とのブロックマッチングにより類似度を算出することができる。また例えば分類部２２４は、抽出されたきず候補画像と記憶部２４に記憶されているきず画像（あるいは、きず画像の特徴を示す情報）との類似度を算出し、その類似度が最も高いきず画像に付されている分類結果を、きず候補画像におけるきずの分類として付与することができる。
　［処理部の機能の実現］
　上述した処理部２２の各部の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、ＦＰＧＡ（Field Programmable Gate Array）などの、製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの、特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども、上述した各種のプロセッサに含まれる。
　各部の機能は１つのプロセッサにより実現されてもよいし、複数のプロセッサを組み合わせて実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（あるいは、プロセッサを用いて構築されるコンピュータ）読み取り可能なコードをＲＯＭ等の非一時的かつ有体の記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。斯かる記録媒体に記憶しておくソフトウェアは、本発明に係る情報処理方法を実行するためのプログラム（情報処理プログラム）を含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的かつ有体の記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばバッファメモリ２０が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。
　なお、上述の「非一時的かつ有体の記録媒体」は、搬送波信号や伝播信号そのもののような非有体の記録媒体を含まない。
　［記憶部］
　記憶部２４は、制御部１２が使用する制御プログラムを含むデータを格納するための手段である。記憶部２４としては、例えば、ＨＤＤ（Hard Disk Drive）等の磁気ディスクを含む装置、ｅＭＭＣ（embedded Multi Media Card）、ＳＳＤ（Solid State Drive）等のフラッシュメモリを含む装置等を用いることができる。これらの装置は、記録装置あるいは非一時的かつ有体の記録媒体の一例である。記憶部２４には、被検査体撮影データＤ１００、製品データＤ２００、きず情報等が格納される。
　また記憶部２４は、操作部１４を介して入力されるきずの分類結果を記憶することができる。この場合、操作部１４は記憶部２４に記憶させる分類結果を入力する入力部として機能し、記憶部２４は入力部で入力された分離に基づいて分類結果を記憶する。例えば記憶部２４は、「ＪＩＳ Ｚ ２３００」で記載されているようなきず（欠陥）の種類を分類付与のために入力してもよいし、ユーザが独自に定めるきずの種類が操作部１４を介して入力された場合には、そのきずの種類を記憶してもよい。また例えば記憶部２４は、きずの発生原因に基づいて分類された分類結果を記憶してもよい。ここで「きずの発生原因」とは、ガス混入による気泡、部材の亀裂、異物付着、溶着、及び溶接不良などが挙げられる。
　さらに記憶部２４に記憶された情報（データ）は更新されてもよい。例えば記憶部２４に記憶された情報は、検査装置１０で読影者が読影した読影結果を記憶部２４に逐次記憶させることにより更新されてもよい。
　読影者は、操作部１４を介して、表示部１８に表示された画像に付された欠陥候補画像に関する情報のそれぞれに対して、例えば、「すぐに被検査体ＯＢＪを新しいものと交換する」、「経過を観察する（再検査する）」、「放置する（きずではない）」等の診断結果を入力することができる。制御部１２は、上記診断結果データを含む被検査体検査結果データＤ１０（図６参照）を作成して記憶部２４に格納する。これにより、記憶部２４に記憶されている情報（データ）が更新される。
　図４は、被検査体撮影データの例を示すブロック図である。図４に示すように、被検査体撮影データＤ１００は、被検査体特定情報、撮影画像データ、撮影条件データおよび照明条件データを含んでいる。
　被検査体特定情報は、被検査体ＯＢＪを特定するための情報であり、例えば、被検査体ＯＢＪの製品名、製品番号、メーカー名、技術分類を示す情報を含んでいる。
　撮影画像データは、被検査体ＯＢＪを撮影した画像データ（例えば、Ｘ線画像（放射線透過画像）、可視光画像、赤外光画像）である。
　撮影条件データは、被検査体ＯＢＪの撮影画像データごとに格納されており、撮影日時、各撮影画像データの撮影対象箇所、撮影時における被検査体ＯＢＪとカメラとの間の距離およびカメラに対する角度を示す情報を含んでいる。
　照明条件データは、被検査体ＯＢＪの撮影に用いた放射線あるいは光の種類（例えば、Ｘ線、可視光線、赤外線、透過光線、反射光線）、照射強度、照射角度を示す情報を含んでいる。
　図５は、製品データの例を示すブロック図である。図５に示すように、製品情報には、製品特定情報、製品属性情報、検査領域指定情報が含まれている。製品データＤ２００は、被検査体特定情報及び製品特定情報を介して、被検査体撮影データＤ１００及び被検査体検査結果データＤ１０と関連付けられて記憶部２４に記録されてもよいし、検査の都度、製品ＤＢ２００から取得してもよい。
　製品特定情報は、製品を特定するための情報であり、例えば、製品名、製品番号、メーカー名、技術分類を示す情報を含んでいる。
　製品属性情報は、例えば、製品の各部の材質、寸法、製品の用途を示す情報を含んでいる。製品の用途を示す情報は、例えば、製品が取り付けられる装置等の名称、種類、加工状態および取付方法（例えば、接合部、溶接部、ねじ止め、はめ込み、ハンダ付け）に関する情報を含んでいる。また、製品属性情報は、きず発生情報を含んでいる。きず発生情報は、例えば、過去の検査日時、被検査体ＯＢＪの材質、過去に発生したきずの種類（例えば、Ｇａｓ Ｈｏｌｅ、Ｐｏｒｏｓｉｔｙ、ＦＭＬＤ（Foreign Material Less Dense：低密度異物欠陥）、ＦＭＭＤ（Foreign Material More Dense：高密度異物欠陥）、ひびわれ、剥離等）、形状、大きさ、深さ、発生部位（部位座標、材質の肉厚、加工状態（例えば、接合部、溶接部等））、きずの発生頻度に関する頻度情報、きずの画像のうち少なくとも１つの情報を含んでいる。
　検査領域指定情報は、各製品のメーカー等によって指定された、被検査体における検査領域を示す情報を含んでいる。検査領域指定情報は、例えば、メーカー等が製品を過去に修理したときの情報に基づいて、統計的あるいは構造的にきずが生じやすい箇所を特定することにより作成される。
　図６は、被検査体検査結果データの例を示すブロック図である。図６に示すように、被検査体検査結果データＤ１０は、上記の被検査体特定情報に加えて、被検査体測定データ、きずに関する情報（きず情報）、及び診断結果データを含んでいる。被検査体検査結果データＤ１０は、被検査体特定情報を介して被検査体撮影データＤ１００と関連付けられて記憶部２４に記録される。
　被検査体測定データは、被検査体ＯＢＪのサイズ、被検査体ＯＢＪの位置ごとの肉厚の測定部２２２による測定結果を示す情報を含んでいる。
　きずに関する情報は、きずの特徴（例えば、きずの位置、サイズ、肉厚の変化量、種類）を示す情報を含んでいる。きずの位置は、例えば、被検査体ＯＢＪの形状に応じて設定された座標系（例えば、３次元直交座標系、極座標系、円柱座標系等）上の座標により表すことが可能である。きずの種類を示す情報は、上述したように分類部２２４に付与される情報であり、例えば、粒状きず、シミ状きず、ヒビ状きず等の情報である。
　診断結果データは、検査日時、及びきずに対して読影者が追加入力あるいは修正した情報を含んでいてもよい。診断結果データは、例えば「きずである。分類は異物影である。」、「きずでない」等である。さらに診断結果データは、例えば「被検査体ＯＢＪを、すぐに新しいものと交換する」、「経過を観察する（再検査する）」、「放置する」、「欠陥が存在するので不合格品とする」等の、読影者により入力された診断結果を示す情報を含んでいてもよい。
　［撮影システムの構成］
　次に、被検査体ＯＢＪの画像を撮影するための撮影システム１００について説明する。図７は、撮影システム１００の例を示すブロック図である。撮影システム１００は、撮影室１１４内に置かれた被検査体ＯＢＪを撮影するためのシステムであり、図７に示すように、撮影制御部１０２、撮影操作部１０４、画像記録部１０６、カメラ１０８ならびに放射線源１１０および１１２を備えている。
　撮影制御部１０２は、撮影システム１００の各部の動作を制御するＣＰＵ（Central Processing Unit）を含んでいる。撮影制御部１０２は、撮影操作部１０４を介してオペレータ（撮影者）からの操作入力を受け付け、この操作入力に応じた制御信号を撮影システム１００の各部に送信して各部の動作を制御する。
　撮影操作部１０４は、オペレータからの操作入力を受け付ける入力装置であり、文字入力のためのキーボード、表示部１８に表示されるポインタ、アイコン等を操作するためのポインティングデバイス（マウス、トラックボール等）を含んでいる。オペレータは、撮影操作部１０４を介して、被検査体ＯＢＪに関する情報の入力、カメラ１０８に対する撮影実行の指示の入力（露出時間、焦点距離、絞り等の撮影条件、撮影角度、撮影箇所等の設定を含む）、放射線源１１０および１１２に対する放射線の照射の指示の入力（照射開始時間、照射継続時間、照射角度、照射強度等の設定を含む）、取得した画像データを画像記録部１０６に記録する指示の入力を行うことができる。
　画像記録部１０６は、カメラ１０８によって撮影された被検査体ＯＢＪの画像データ（受光画像）を記録する。画像記録部１０６には、被検査体ＯＢＪを特定するための情報が画像データと関連付けられて記録される。
　カメラ１０８、放射線源１１０および１１２は、撮影室１１４の内部に配置されている。放射線源１１０および１１２は、例えば、Ｘ線源であり、撮影室１１４と外部との間の隔壁および出入口には、Ｘ線防護材料（例えば、鉛、コンクリート等）によりＸ線防護が施されている。なお、被検査体ＯＢＪに可視光を照射して撮影を行う場合には、防護を施した撮影室１１４を用いる必要はない。
　放射線源１１０および１１２は、撮影制御部１０２からの指示にしたがって、撮影室１１４内に置かれた被検査体ＯＢＪに放射線を照射する。
　カメラ１０８は、撮影制御部１０２からの撮影実行の指示にしたがって、放射線源１１０から被検査体ＯＢＪに照射されて被検査体ＯＢＪにより反射された放射線、または放射線源１１２から被検査体ＯＢＪに照射されて被検査体ＯＢＪを透過した放射線を受光して被検査体ＯＢＪを撮影する。被検査体ＯＢＪは、不図示の保持部材（例えば、マニピュレーター、載置台、可動式の載置台）によって撮影室１１４内に保持されており、被検査体ＯＢＪは、カメラ１０８、放射線源１１０および１１２に対する距離および角度が調整可能となっている。操作者は、撮影制御部１０２を介して被検査体ＯＢＪ、カメラ１０８、放射線源１１０および１１２の相対位置を制御して、被検査体ＯＢＪの所望の箇所を撮影することができる。
　放射線源１１０および１１２は、カメラ１０８による撮影の実行の終了に同期して、被検査体ＯＢＪに対する放射線の照射を終了する。
　なお、図７に示す例では、カメラ１０８は、撮影室１１４の内部に配置されているが、カメラ１０８は、撮影室１１４内の被検査体ＯＢＪを撮影可能であれば、外部に配置されていてもよい。また、図７に示す例では、カメラ１０８が１台、放射線源１１０および１１２が２台設けられているが、カメラおよび放射線源の台数はこれに限定されるものではない。例えば、カメラおよび放射線源は、それぞれ複数台あってもよいし、１つずつであってもよい。
　［情報の取得及び記録の概要］
　図８は、時系列のきず情報を取得する例を示す図である。同図は、製品（被検査体、被写体）の時系列画像が、製造時刻と対応づけて取得される様子を示している。製造時刻は、本発明における「被写体の配列に関する情報」の一例である。「被写体の配列に関する情報」は、その情報に基づいて被写体の順序を決めることができる情報であり、きずの発生時期に関する情報のように時間に関する成分を持っていてもよい。「被写体の配列に関する情報」及び「きずの発生時期に関連する情報」としては、例えば被検査体ＯＢＪ（被写体）の製造時刻、製造番号（シリアル番号）、ロット番号、検査時刻、検査番号、画像の撮像時刻のうち少なくとも１つを取得することができる。「時刻」は時分秒まで特定されていなくてもよい。
　「きず／欠陥のサイズ」は、処理部２２（抽出部２２０、測定部２２２：プロセッサ）により抽出及び測定された、各製品の画像におけるきず（あるいは欠陥）のサイズ（第１のきず情報及び第２のきず情報の一例）を画素数で示している。図８の例では欠陥の判定基準は１０画素以上（「第１の基準」の一例）であり、欠陥が１つでもあったら製品として不合格（ＮＧ：no good）である。また、図８の例ではきずの判定基準は３画素以上（「第１の基準よりも厳しい第２の基準」の一例）であり、きずがあっても製品としては合格（ＯＫ）である。
　図８の例において、時刻ｔ１～時刻ｔ２において撮影された画像５００には５画素のきずが１０個存在し、画像５０２には１画素のきずが３５個存在し、画像５０４には、きずが４３個（そのうち１個は大きさが１２画素であり、欠陥に該当）存在するものとする（第１のきず情報、第２のきず情報）。この場合、画像５００の製品及び画像５０２の製品は合格であり、画像５０４には欠陥が存在するのでその製品は不合格である。また、欠陥の発生頻度（ここでは、総製品数に対する不合格品の比率）は３分の１であり、判定基準値が１０分の１であるとすると、欠陥の発生頻度が判定基準値より高い。そこで、図８の例では、条件算出部２２６（プロセッサ）は、欠陥の存在（第１のきず情報）に基づいて、時刻ｔ１から時刻ｔ２までの期間を記録対象期間として算出し（期間算出工程、条件算出工程、条件算出処理）、記録制御部２２８（プロセッサ）は、画像５００～５０４におけるきずの個数（１０個、３５個、４３個；第２のきず情報）を、時刻ｔ１，ｔ２（記録条件を示す情報）と関連付けて、記憶部２４（記録装置）に記録させる（記録制御工程、記録制御処理）。なお、時刻ｔ１から時刻ｔ２までの期間（特定の期間）についてきず情報を記録することは記録条件の算出及び記録制御の一例であり、条件算出部２２６及び記録制御部２２８は、特定の製造番号、ロット番号、検査時刻、検査番号、画像の撮像時刻等を記録条件として算出し、その条件の下できず情報を記録してもよい。
　［情報の取得及び記録の詳細］
　［画像の取得］
　第１の実施形態では、撮影システム１００及び検査装置１０により、被検査体ＯＢＪ（被写体）の画像を取得することができる。画像の取得は時系列に行うことができる。撮影は毎日、毎週、毎月、１週間に１回等の決められたタイミングで行ってもよい。また、同種の被検査体ＯＢＪの異なる個体（継続して製造される部品や製品等）の画像を順次撮影してもよいし、同一の個体の画像を繰り返し撮影（経年変化する情報の取得）してもよい。なお、同一の方向（一方向でもよいし、複数方向でもよい）から被検査体ＯＢＪを撮影することが好ましい。
　［第１のきず情報の取得］
　処理部２２は、得られた被検査体ＯＢＪ（被写体）の時系列画像を第１の基準で解析することにより、きず情報（第１のきず情報）を取得することができる（第１の情報取得工程、第１の報取得処理）。ここで「第１の基準」はきずの種類、数、被写体における位置、大きさ、形状、存在密度、他のきずとの距離のうち少なくとも１つに対する基準である。また、きず情報は、きずの特徴を示す情報及びきずの発生時期に関連する情報を含む。「きずの特徴を示す情報」はきずの種類、数、被検査体ＯＢＪ（被写体）における位置、大きさ、形状、存在密度、他のきずとの距離のうち少なくとも１つを示す情報である。また、「きずの発生時刻に対応する情報」は発生時期（例えば、発生時刻）そのものでもよいし、発生時期に関連する他の情報（例えば、被検査体ＯＢＪ（被写体）の製造時刻、製造番号（シリアル番号）、ロット番号、検査時刻、検査番号、画像の撮像時刻のうち少なくとも１つ）でもよい。発生時期あるいは発生時刻は、厳密に特定されていなくてもよい（例えば、日時あるいは時分秒まで特定されていなくてもよい）。
　なお、処理部２２（プロセッサ）は、「第１の基準」のレベルを設定することにより（例えば、大きさが４ｍｍ以上）、「第１のきず情報」として「欠陥」（製品が不合格になるレベルのきず）の情報を取得することもできる。
　［記録条件の算出］
　条件算出部２２６は、配列に関する情報及び／または第１のきず情報に基づいて記録させるきず情報の範囲を求めることができる。例えば、条件算出部２２６（プロセッサ）は、第１のきず情報に基づいて、記録対象期間（第１のきず情報及び／または第２のきず情報を記録する期間、記録条件を算出する（条件算出工程、条件算出処理）。条件算出部２２６は、例えば決められた特徴を有するきず（例えば大きさ）の発生頻度が判定基準値より高い期間、判定基準値以下の期間、判定基準範囲内である期間を記録対象期間として算出することができる。条件算出部２２６は、第１のきず情報が存在する期間（第１の期間）を記録対象期間として算出してもよいし、第１の期間、及び第１の期間より前の第２の期間を記録対象期間として算出してもよい。
　なお、条件算出部２２６は、発生頻度の判定基準値（判定基準範囲）として、決められた期間（１日、１週間、１ヶ月等）や決められた被検査体数（１個、１０個、１００個等）における、決められた特徴を有するきずの発生数に対して設定された基準を用いることができる。
　配列に関する情報に基づく場合、条件算出部２２６は、例えば指定された範囲の製造番号やロット番号の被写体についてきず情報を記録することができる。
　このような記録対象期間についてのきず情報は、きず（あるいは欠陥）発生の予測や、欠陥が発生する前のきず情報の分析に有効である。すなわち、上述の態様によれば、被写体の有用なきず情報を記録することができる。
　なお、条件算出部２２６は、特定の期間、製造番号、ロット番号、検査時刻、検査番号、画像の撮像時刻のうち少なくとも１つについての条件を「記録条件」として算出することができる。
　［第２のきず情報の取得］
　処理部２２（プロセッサ）は、被検査体ＯＢＪ（被写体）の画像を第１の基準よりも厳しい第２の基準で解析することにより、第２のきず情報（きずの特徴を示す情報及びきずの発生時刻に対応する情報を含む）を取得することができる（第２の情報取得工程、第２の情報取得処理）。処理部２２は、上述した記録条件に基づいて第２のきず情報を取得してもよい。第２のきず情報は、時系列の情報でもよい。また、「きずの特徴を示す情報」及び「きずの発生時期に関連する情報」の項目は第１の情報の場合と同じでもよい。
　また、第２の基準は、第１の基準と同様にきずの種類、数、被検査体ＯＢＪ（被写体）における位置、大きさ、形状、存在密度、他のきずとの距離のうち少なくとも１つに対する基準であるが、第１の基準よりも厳しい基準である。「第２の基準が第１の基準よりも厳しい」とは、第１の基準で解析して得られるきずよりも被検査体ＯＢＪ（被写体）の品質及び／または性能に対する影響が低いきずについて、第２の基準によりきず情報を取得することを意味する。例えば、気泡や孔、あるいはひび割れ等のきずは、大きい場合や密度が高い場合等は「欠陥」に該当し被検査体ＯＢＪが不合格となる場合があるが、微小である場合や密度が低い場合等は、被検査体ＯＢＪの品質及び／または性能に対する影響が低い（製品としては合格である）と考えることができる。処理部２２（プロセッサ）は、ユーザが操作部１４を介して設定した基準を第１の基準、第２の基準として用いることができる。
　［きず情報の例］
　図９は、被検査体ＯＢＪ（被写体）におけるきず情報（第１のきず情報、第２のきず情報）の例を示す表である。同図の例では、きず情報は、各きずのＩＤ（Identification：識別情報）、きずの種別（種類）、長径（大きさ）、位置ｘ及び位置ｙ（被写体における位置）、欠陥／非欠陥の分類を含んでいる。なお図９の例において、分類部２２４（プロセッサ）は、長径４ｍｍ（第１の基準）以上のきずを欠陥と分類している。
　きず情報は、図９に示す例の他に、きずの数（ＩＤを連続番号で付すことにより判断してもよい）、存在密度、他のきずとの距離等を含んでいてもよい。記録制御部２２８（プロセッサ）は、きず情報を、記録対象期間を示す情報と関連付けて記憶部２４等の記録装置に記録させることができる。
　図１０は、きず情報の他の例を示す表である。図１０に示す例の数値は図９と同じであるが、分類部２２４（プロセッサ）は、「きず（欠陥ではないきず）」を「着目すべききず」（図中に“ＹＥＳ”と記載）と「それ以外のきず」に分類している。詳細には、分類部２２４は、「第１の基準」（長径４ｍｍ以上）及び「第１の基準よりも厳しい第２の基準」（長径１．５ｍｍ未満）に加えて、「第１の基準よりも厳しく第２の基準よりも緩やかな第３の基準（長径１．５ｍｍ以上４ｍｍ未満）」を設け、第３の基準を満たすきずを「着目すべききず」と分類している。分類部２２４は、長径だけでなく、種別と長径の組合せ、面積等、他の項目について「着目すべききず」の基準を設け、その基準を使用してもよい。また、処理部２２は、操作部１４を介したユーザの操作に基づいて第１～第３の基準の値を設定あるいは変更してもよい。
　［きず情報の記録］
　記録制御部２２８（プロセッサ）は、記録対象期間におけるきず情報（第２のきず情報）を、記録対象期間を示す情報と関連付けて記憶部２４（記録装置）に記録させる（記録工程、記録処理）。ここで「記録対象期間を示す情報」は、上述した「きずの発生時期に関連する情報」と同様に、発生時期そのものでなく他の情報（例えば、被検査体ＯＢＪ（被写体）の製造時刻、製造番号（シリアル番号）、ロット番号、検査時刻、検査番号、画像の撮像時刻のうち少なくとも１つ）でもよい。また、記録の形式は特に限定されないが、図９，１０に例示する形式でもよい。
　記録制御部２２８は、記録の際に、記録条件に基づいて第１のきず情報と前記第２のきず情報との関連付けを行うことができる。関連付けの例としては、別ファイルにしてファイル名の一部を共通にする、２つのきず情報を同一のフォルダに格納する、あるいは記録対象期間における両方の情報を一つのファイルに記録する、等を挙げることができる。
　なお、記録制御部２２８（プロセッサ）は、被検査体ＯＢＪ（被写体）における決められた領域について記録を行ってもよい。「決められた領域」は、被検査体ＯＢＪの一部の領域（例えば、過去の検査できずの発生頻度が高いことが判明している領域や、製品全体の性能や品質への影響が高い領域、ユーザが指定した領域等）でもよい。このような領域について記録をすることで、有用なきず情報を記録することができる。なお、「決められた領域か否か」は、測定した位置に基づいて判断することができる。また、記録制御部２２８は、記録に際し図５に示す製品データＤ２００に含まれる「検査領域指定情報」を参照してもよい。
　［情報の抽出及び出力の例］
　情報抽出部２３０（プロセッサ）及び出力制御部２３２（プロセッサ）は、記録した情報から、ユーザの操作により指定された条件で情報を抽出し、抽出した情報を出力させることができる。また、情報抽出部２３０及び出力制御部２３２は、ユーザの操作によらずに情報の抽出及び出力を行ってもよい。以下、情報の抽出及び出力（記録、表示）の例を説明する。なお、以下の例では、同種の被検査体ＯＢＪが継続して製造、撮影されて、図９，１０に示すような時系列のきず情報が取得されているものとする。
　（例１）
　図１１は、きず情報の記録、抽出、及び表示の例を示す図である。同図の例では、欠陥に至らないレベルのきずは継続して発生している。また、時刻ｔ２から欠陥が発生し始め、時刻ｔ３以降で、欠陥の数が増加している。なお、時刻ｔ３から時刻ｔ４において、欠陥の数（あるいは欠陥の発生頻度）が判定基準値より高いものとする。なお、図１１において、高さＨ１は欠陥に至らないレベルのきずの数を示し、高さＨ２は「欠陥」に該当するきずの数を示し、高さＨ０はきずの総数を示す。
　上記状況で、情報抽出部２３０は、記憶部２４に記録されている情報のうち、例えば時刻ｔ３～時刻ｔ４までの期間におけるきず情報（欠陥の情報、及び欠陥には至らないきずの情報を含んでいてよい；以下同じ）を抽出し、出力制御部２３２は、抽出されたきず情報を出力させる。出力制御部２３２は、きず情報を記憶部２４のような記録装置に出力してもよいし、表示部１８のような表示装置に出力してもよい。
　図１１の例において、情報抽出部２３０及び出力制御部２３２は、欠陥が発生し始めた時刻ｔ２以降の期間についてのきず情報を抽出して出力してもよい。また、時刻ｔ２よりさらに前の期間、例えば時刻ｔ１以降の期間や、図１１のグラフの全期間についても情報を抽出して出力してもよい（後述する例においても同様である）。このような期間についてのきず情報は、欠陥及びきず発生の予測や、欠陥が発生した際の（あるいは欠陥が発生する前の）きず情報の分析に有効である。すなわち、本発明では、被写体の有用なきず情報を記録することができる。
　なお、図１１では時刻ｔ２までは欠陥が発生しておらず時刻ｔ２以降に欠陥が発生する場合について図示しているが、同種の部品や製品を継続的に製造する場合などにおいて、欠陥が断続的に発生する（不合格品が断続的に発生する）場合がありうる。このような場合、欠陥が発生した複数の期間についてきず情報を個別に記録、抽出、出力等してもよいし、欠陥が発生している複数の期間を包含する期間についてきず情報を記録、抽出、出力等してもよい。
　きず情報を図１１のようにグラフ表示する際、情報抽出部２３０及び出力制御部２３２は、時刻そのものでなく被検査体ＯＢＪ（被写体）の製造時刻、製造番号（シリアル番号）、ロット番号、検査時刻、検査番号、画像の撮像時刻のうち少なくとも１つ（きずの発生時期に関連する情報）を横軸の変数としてもよい。また、情報抽出部２３０及び出力制御部２３２は、についても、きずや欠陥の数だけでなく、きずの面積等他の変数をグラフ表示の縦軸としてもよい。
　なお、図１１及びこれ以降の例において、きず情報の出力形式はグラフ形式に限定されず、出力制御部２３２は他の形式（例えば、表形式、図形式、その他）で情報を出力してもよい。また、出力制御部２３２は、線種、色、文字、図形、記号、数字の付加や変更等により、欠陥に該当するレベルのきずと欠陥には至らないレベルのきず、及び／または「着目すべききず」と「それ以外のきず」等を識別表示してもよい。
　（例２）
　図１２は、きず情報の他の出力例（表示例）を示す図である。同図の例では、処理部２２（プロセッサ）は操作部１４を介したユーザの操作に従って表示対象期間及び基準値（ここでは、きずのサイズが３ｍｍ）を指定し、出力制御部２３２は、グラフにおいて基準値以上のきずと基準値未満のきずとをグラフの色で識別表示している。また、高さＨ１は基準値未満のきずの数を示し、高さＨ２は基準値以上のきずの数を示し、高さＨ０はきずの総数を示す。図１２の例において、情報を抽出及び表示する期間は、図１１の例と同様に設定することができる。このようなきず情報の表示により、ユーザはきずの発生状況を容易に把握することができる。
　（例３）
　図１３は、きず情報のさらに他の出力例（表示例）を示す図である。同図の例では、処理部２２は、操作部１４を介したユーザの操作（ドロップダウンリスト６００によるきずの種類の選択、及びきずの大きさの基準値の設定を含む）に従って表示対象期間及びきずの種類（ここでは、Porosity）を設定し、設定された条件に従って情報抽出部２３０がきず情報を抽出する。出力制御部２３２は、きず（Porosity）の数の時間変化を表示部１８にグラフ表示している。また出力制御部２３２は、図１２の例と同様に、基準値（３ｍｍ）以上のきずと基準値未満のきずとを識別表示している。
　（例４）
　図１４は、きず情報のさらに他の出力例（複数種類のきず情報を表示する例）を示す図である。同図の例では、処理部２２は、操作部１４を介したユーザの操作に従って表示対象期間及びきずの種類（ここでは、Porosity及びGas Hole）を設定し、設定された条件に従って情報抽出部２３０がきず情報を抽出する。出力制御部２３２は、きず（Porosity及びGas Hole）の数の時間変化を表示部１８にグラフ表示している。また出力制御部２３２は、グラフをきずの種類に応じて識別表示（異なる色で表示）している。また、高さＨ３はGas Holeの数を示し、高さＨ４はPorosityの数を示し、高さＨ０はきずの総数を示す。
　（例５）
　図１５は、きず情報のさらに他の出力例（表示例）を示す図である。図１５の例では、図１４と同様に複数種類のきず情報を表示している（きずの種類ごとにグラフを描画している）。また、図１５の例では欠陥（ここでは、基準値を超える大きさのきず（Porosity））を識別表示している。なお、高さＨ３はGas Holeの数を示し、高さＨ４Ａは「欠陥」には至らないレベルのPorosityの数を示し、高さＨ４Ｂは「欠陥」に該当するPorosityの数を示し、高さＨ４はPorosityの総数を示す。
　（例６）
　図１６は、きず情報のさらに他の出力例（表示例）を示す図である。図１６に示す例では、出力制御部２３２は、表示期間及びきず情報（Porosity、Gas Hole）に加えて検査情報を表示している。出力制御部２３２は、図６に示す被検査体検査結果データＤ１０等を参照して検査情報を表示することができる。
　図１６に示す例では、時刻を指定するためのタイムラインバー６１０が表示されており、ユーザは操作部１４を介してこのタイムラインバー６１０を操作することができる。情報抽出部２３０及び出力制御部２３２は、タイムラインバー６１０が設定された時刻におけるきず情報を抽出して、きずの発生位置（発生領域）を被検査体ＯＢＪの画像５１０に重畳させて表示する。出力制御部２３２は、画像でなくＣＡＤ（computer aided design）図等にきず情報を重畳表示させてもよい。
　図１６の例では、「きず」のレベルのPorosity、「欠陥」のレベル（被検査体ＯＢＪが不合格になるレベル）のPorosity、及び「きず」のレベルのGas Holeが抽出及び表示されている。なお、このような重畳表示においても、出力制御部２３２がきずの種類や程度（大きさ等）に応じて識別表示を行うことが好ましい。
　なお、処理部２２は、例えばユーザの情報再生操作に従ってタイムラインバー６１０を時間軸方向に自動的に移動させ、これに伴い重畳表示を連続的に変化させてもよい。
　［第１の実施形態の効果］
　以上説明したように、第１の実施形態に係る検査装置１０（情報処理装置）、情報処理方法、及び情報処理プログラムによれば、被写体の有用なきず情報を記録することができる。
　［変形例］
　上述した第１の実施形態の変形例について、以下に説明する。
　［画像解析器を用いたきず情報の取得］
　第１の実施形態では、処理部２２が画像処理によりきず情報を取得する態様について説明したが、機械学習のアルゴリズムを用いて構築され、被写体の画像について解析を行う画像解析器（学習モデル）を用いてきず情報を取得してもよい。即ち、処理部２２の機能のうち抽出部２２０、測定部２２２、及び分類部２２４を画像解析器により構築してもよい。
　［ＣＮＮの層構成の例］
　処理部２２において、ＣＮＮ（Convolutional Neural Network）を画像解析器として用いる場合の層構成の例について説明する。図１７は学習モデル２４０（画像解析器）の層構成の例を示す図である。図１７の（ａ）部分に示す例では、学習モデル２４０は入力層２５０と、中間層２５２と、出力層２５４とを含む。入力層２５０は被検査体ＯＢＪの画像を入力して特徴量を出力する。中間層２５２は畳み込み層２５６及びプーリング層２５８を含み、入力層２５０が出力する特徴量を入力して他の特徴量を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、複数の重みパラメータを保持している。重みパラメータの値は、学習が進むにつれて変化していく。学習モデル２４０は、図１７の（ｂ）部分に示す例のように全結合層２６０を含んでいてもよい。学習モデル２４０の層構成は畳み込み層２５６とプーリング層２５８とが１つずつ繰り返される場合に限定されず、いずれかの層（例えば、畳み込み層２５６）が複数連続して含まれていてもよい。また、全結合層２６０が複数連続して含まれていてもよい。
　［中間層における処理］
　中間層２５２は、畳み込み演算及びプーリング処理によって特徴量を算出する。畳み込み層２５６で行われる畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル（１枚）の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされ、各層で畳み込みが行われるにつれて小さくなって行く。プーリング層２５８で行われるプーリング処理は畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。中間層２５２は、これらの処理を行う１または複数の層により構成することができる。
　図１８は、図１７に示す学習モデル２４０における畳み込み演算の様子を示す図である。中間層２５２の最初（１番目）の畳み込み層では、複数の画像により構成される画像セット（学習時は学習用画像セット、検出等の認識時は認識用画像セット）とフィルタＦ１との畳み込み演算が行われる。画像セットは、縦がＨ、横がＷの画像サイズを有するＮ枚（Ｎチャンネル）の画像により構成することができる。可視光画像を入力する場合、画像セットを構成する画像はＲ（赤色），Ｇ（緑色），Ｂ（青色）の３チャンネルの画像であり、赤外光画像や放射線画像（放射線透過画像）の場合は１チャンネルの画像（モノクローム、グレースケール）である。この画像セットと畳み込み演算されるフィルタＦ１は、画像セットがＮチャンネル（Ｎ枚）であるため、例えばサイズ５（５×５）のフィルタの場合、フィルタサイズは５×５×Ｎのフィルタになる。このフィルタＦ１を用いた畳み込み演算により、１つのフィルタＦ１に対して１チャンネル(１枚)の「特徴マップ」が生成される。２番目の畳み込み層で使用されるフィルタＦ２は、例えばサイズ３（３×３）のフィルタの場合、フィルタサイズは３×３×Ｍになる。
　１番目の畳み込み層と同様に、２番目からｎ番目の畳み込み層ではフィルタＦ２～Ｆｎを用いた畳み込み演算が行われる。ｎ番目の畳み込み層における「特徴マップ」のサイズが、２番目の畳み込み層における「特徴マップ」のサイズよりも小さくなっているのは、前段までの畳み込み層またはプーリング層によりダウンスケーリングされているからである。
　中間層２５２の層のうち、入力側に近い畳み込み層では低次の特徴抽出（エッジの抽出等）が行われ、出力側に近づくにつれて高次の特徴抽出（対象物の形状、構造等に関する特徴の抽出）が行われる。なお、注目領域（例えば、きず）の計測を目的としてセグメンテーションを行う場合は後半部分の畳み込み層でアップスケーリングされ、最後の畳み込み層では、入力した画像セットと同じサイズの「特徴マップ」が得られる。一方、注目領域の検出を行う場合は位置情報を出力すればよいのでアップスケーリングは必須ではない。
　なお、中間層２５２は畳み込み層２５６及びプーリング層２５８の他にバッチノーマライゼーションを行う層を含んでいてもよい。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。
　［出力層における処理］
　出力層２５４は、中間層２５２から出力された特徴量に基づき、入力された画像（パッチ画像等）に映っている注目領域の位置検出を行ってその結果を出力する層である。セグメンテーション（きずのクラス分類等）を行う場合、出力層２５４は、中間層２５２から得られる「特徴マップ」により、画像に写っている注目領域の位置を画素レベルで把握する。すなわち、画像の画素ごとに注目領域に属するか否か（特定のクラスに属するか否か）を検出し、その検出結果を出力することができる。一方、物体検出（きずの検出）を行う場合は画素レベルでの判断は必要なく、出力層２５４が対象物（きず）の位置情報を出力する。なお、本発明において、各種の「きず」が「特定のクラス」であると考えることができる。出力層２５４は、きずを細かく分類して出力してもよい（Gas Hole、Porosity、ＦＭＬＤ（Foreign Material Less Dense）、ＦＭＭＤ（Foreign Material More Dense）、ひびわれ、剥離等）。
　なお、出力層２５４（学習モデル２４０）は、検出結果（セグメンテーションの結果、クラス分類の結果）を単位領域（被検査体ＯＢＪの画像を複数の領域に分割した場合の各領域）について出力することができる。また、出力層２５４は、検出結果の確からしさ（確率、信頼度）を出力することができる。「単位領域」は１画素で構成されていてもよいし、複数画素で構成されていてもよい。学習モデル２４０は、被写体の画像を決められた形状、大きさに分割して得られた領域を単位領域としてもよい。
　出力層２５４は注目領域の鑑別（分類）を実行して鑑別結果を出力するものでもよい。例えば、出力層２５４は画像を「正常」と「きず」の２つのカテゴリに分類し、鑑別結果として「正常」及び「きず」に対応する２つのスコア（２つのスコアの合計は１００％、あるいは１）として出力してもよいし、２つのスコアから明確に分類できる場合には分類結果を出力してもよい。なお、分類は２クラスでもよいし、多クラスでもよい。例えば、出力層２５４は画像を「正常」、「欠陥には至らないレベルのきず」、「欠陥に該当するきず」の３つのカテゴリに分類してもよい。また、出力層２５４は、「きず」を「欠陥に該当するきず」と「着目すべききず」と「それ以外のきず」に分類してもよい。
　鑑別結果を出力する場合、中間層２５２あるいは出力層２５４が最後の１層または複数の層として全結合層を含んでいてもよいし（図１７の（ｂ）部分を参照）、含んでいなくてもよい。
　出力層２５４は注目領域の計測結果を出力するものでもよい。計測を行う場合は、対象となる注目領域の計測値を学習モデル２４０から直接出力することができる。また、対象となる注目領域を例えば上述のようにセグメンテーションしてから、その結果を基に計測することもできる。計測値を直接出力させる場合、画像に対し計測値そのものを学習させるので、計測値の回帰問題となる。
　上述した構成の学習モデル２４０を用いる場合、学習の過程において、出力層２５４が出力する結果と画像セットに対する認識の正解とを比較して損失関数（誤差関数）を計算し、中間層２５２における重みパラメータを出力側の層から入力側の層に向けて更新していく処理（誤差逆伝播）を行うことにより、損失関数を小さくする（最小化する）ことが好ましい。
　学習終了後の学習モデル２４０は、画像の解析として検出、分類、計測のうち１つ以上を行い、処理部２２（プロセッサ）は、学習モデル２４０による解析の結果に基づいてきず情報を取得することができる。
　［解析結果の修正］
　処理部２２は、学習モデル２４０による解析の結果を、操作部１４等を介したユーザの操作に応じて修正してもよい。この修正は、例えばきず情報の追加、不要な情報の削除、誤りの訂正、情報のグループ化等を行うものであってよい。
　［被検査体（被写体）の他の例］
　第１の実施形態では被検査体（被写体）が工業部品あるいは工業製品である場合について説明したが、本発明において被検査体（被写体）はこれらの物品に限定されるものではない。例えば、橋梁、道路、トンネル、ビル、ダム等の建造物や建築物（コンクリート構造物を含む）を被写体とし、これら被写体におけるひび割れや剥離等をきずとして扱うことができる。この場合も、画像は放射線画像（あるいは放射線透過画像）、可視光画像、または赤外光画像であってよい。
　なお、上述した変形例においても、きず情報の記録、抽出、表示等は第１の実施形態と同様に行うことができ、被写体の有用なきず情報を記録することができる。
１０　　検査装置
１２　　制御部
１４　　操作部
１６　　Ｉ／Ｆ
１８　　表示部
２０　　バッファメモリ
２２　　処理部
２４　　記憶部
１００　撮影システム
１０２　撮影制御部
１０４　撮影操作部
１０６　画像記録部
１０８　カメラ
１１０　放射線源
１１２　放射線源
１１４　撮影室
２００　製品ＤＢ
２２０　抽出部
２２２　測定部
２２４　分類部
２２６　条件算出部
２２８　記録制御部
２３０　情報抽出部
２３２　出力制御部
２４０　学習モデル
２５０　入力層
２５２　中間層
２５４　出力層
２５６　畳み込み層
２５８　プーリング層
２６０　全結合層
５００　画像
５０１　画像
５０２　画像
５０３　画像
５０４　画像
５１０　画像
６００　ドロップダウンリスト
６１０　タイムラインバー
Ｄ１０　被検査体検査結果データ
Ｄ１００　被検査体撮影データ
Ｄ２００　製品データ
Ｆ１　　 フィルタ
Ｆ２　　 フィルタ
Ｈ０　　高さ
Ｈ１　　高さ
Ｈ２　　高さ
Ｈ３　　高さ
Ｈ４　　高さ
Ｈ４Ａ　高さ
Ｈ４Ｂ　高さ
ＮＷ　　ネットワーク
ＯＢＪ　被検査体

Claims (25)

  1. 　プロセッサを備える情報処理装置であって、
    　前記プロセッサは、
    　被写体の画像を第１の基準で解析して得られた第１のきず情報であって、きずの特徴を示す情報を含む第１のきず情報を取得し、
    　前記第１の基準よりも厳しい第２の基準で前記被写体の画像を解析して得られた第２のきず情報であって、きずの特徴を示す情報を含む第２のきず情報を取得し、
    　前記第２のきず情報を、前記第１のきず情報と関連付けて記録させる情報処理装置。
  2. 　前記第１のきず情報及び前記第２のきず情報はそれぞれ複数の前記被写体の配列に関する情報を持ち、前記プロセッサは、前記配列に関する情報に基づいて前記第１のきず情報及び前記第２のきず情報を関連付ける請求項１に記載の情報処理装置。
  3. 　前記配列に関する情報が時間に関する成分を持つ請求項２に記載の情報処理装置。
  4. 　前記プロセッサは、前記配列に関する情報に基づいて、記録させる前記第１のきず情報及び／または前記第２のきず情報の範囲を求める請求項２または３に記載の情報処理装置。
  5. 　前記プロセッサは、前記第１のきず情報に基づいて記録条件を算出し、前記記録条件に基づいて、前記第２のきず情報を取得及び／または記録する請求項１から４のいずれか１項に記載の情報処理装置。
  6. 　前記プロセッサは、前記記録条件に基づいて、前記第１のきず情報と前記第２のきず情報との関連付けを行う請求項５に記載の情報処理装置。
  7. 　前記画像は放射線透過画像である請求項１から６のいずれか１項に記載の情報処理装置。
  8. 　前記第１の基準は、きずの種類、数、前記被写体における位置、大きさ、形状、存在密度、他のきずとの距離のうち少なくとも１つに対する基準であり、
    　前記プロセッサは、きずの種類、数、前記被写体における位置、大きさ、形状、存在密度、他のきずとの距離のうち少なくとも１つを示す情報を前記きずの特徴として前記記録を行う請求項１から７のいずれか１項に記載の情報処理装置。
  9. 　前記第２の基準は、きずの種類、数、前記被写体における位置、大きさ、形状、存在密度、他のきずとの距離のうち少なくとも１つに対する基準であり、
    　前記プロセッサは、きずの種類、数、前記被写体における位置、大きさ、形状、存在密度、他のきずとの距離のうち少なくとも１つを示す情報を前記きずの特徴として前記記録を行う請求項１から８のいずれか１項に記載の情報処理装置。
  10. 　前記プロセッサは、前記第１のきず情報におけるきず、及び前記第１のきず情報におけるきずよりも前記被写体の品質及び／または性能に対する影響が低いきずについて、前記第２の基準により前記第２のきず情報を取得する請求項１から９のいずれか１項に記載の情報処理装置。
  11. 　前記第１のきず情報及び前記第２のきず情報はきずの発生時期に関連する情報を含み、
    　前記プロセッサは、前記きずの発生時期に関連する情報として、前記被写体の製造時刻、製造番号、ロット番号、検査時刻、検査番号、画像の撮像時刻のうち少なくとも１つを取得する請求項１から１０のいずれか１項に記載の情報処理装置。
  12. 　前記プロセッサは、前記被写体における決められた領域について前記記録を行う請求項１から１１のいずれか１項に記載の情報処理装置。
  13. 　前記プロセッサは、きずの発生頻度が判定基準値より高い期間について前記記録を行う請求項１から１２のいずれか１項に記載の情報処理装置。
  14. 　前記プロセッサは、きずの発生頻度が判定基準値以下の期間について前記記録を行う請求項１から１２のいずれか１項に記載の情報処理装置。
  15. 　前記プロセッサは、きずの発生頻度が判定基準範囲内である期間について前記記録を行う請求項１から１２のいずれか１項に記載の情報処理装置。
  16. 　前記プロセッサは、前記第１のきず情報が存在する第１の期間について前記記録を行う請求項１から１５のいずれか１項に記載の情報処理装置。
  17. 　前記プロセッサは、前記第１の期間、及び前記第１の期間より前の第２の期間について前記記録を行う請求項１６に記載の情報処理装置。
  18. 　機械学習のアルゴリズムを用いて構築され、前記被写体の画像について前記解析を行う画像解析器をさらに備え、
    　前記プロセッサは、前記画像解析器を用いて前記第１のきず情報及び／または前記第２のきず情報を取得する請求項１から１７のいずれか１項に記載の情報処理装置。
  19. 　前記画像解析器は、前記解析として検出、分類、計測のうち１つ以上を行い、
    　前記プロセッサは前記解析の結果に基づいて前記第１のきず情報及び／または前記第２のきず情報を取得する請求項１８に記載の情報処理装置。
  20. 　前記プロセッサは、前記解析の結果をユーザの操作に応じて修正する請求項１８または１９に記載の情報処理装置。
  21. 　前記プロセッサは、前記記録した情報及び／または前記記録した情報から抽出した情報を、記録装置及び／または表示装置に出力させる請求項１から２０のいずれか１項に記載の情報処理装置。
  22. 　前記プロセッサは、前記記録した情報から、ユーザの操作により指定された条件で情報を抽出し、前記抽出した情報を出力させる請求項２１に記載の情報処理装置。
  23. 　プロセッサを備える情報処理装置により実行される情報処理方法であって、
    　前記プロセッサは、
    　被写体の画像を第１の基準で解析して得られた第１のきず情報であって、きずの特徴を示す情報を含む第１のきず情報を取得する第１の情報取得工程と、
    　前記第１の基準よりも厳しい第２の基準で前記被写体の画像を解析して得られた第２のきず情報であって、きずの特徴を示す情報を含む第２のきず情報を取得する第２の情報取得工程と、
    　前記第２のきず情報を、前記第１のきず情報と関連付けて記録させる記録工程と、
    　を実行する情報処理方法。
  24. 　プロセッサを備える情報処理装置に情報処理方法を実行させる情報処理プログラムであって、
    　前記情報処理方法において、前記プロセッサは、
    　被写体の画像を第１の基準で解析して得られた第１のきず情報であって、きずの特徴を示す情報を含む第１のきず情報を取得する第１の情報取得工程と、
    　前記第１の基準よりも厳しい第２の基準で前記被写体の画像を解析して得られた第２のきず情報であって、きずの特徴を示す情報を含む第２のきず情報を取得する第２の情報取得工程と、
    　前記第２のきず情報を、前記第１のきず情報と関連付けて記録させる記録工程と、
    　を実行する情報処理プログラム。
  25. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項２４に記載のプログラムが記録された記録媒体。
PCT/JP2022/045978 2022-01-14 2022-12-14 情報処理装置、情報処理方法、及び情報処理プログラム WO2023136030A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-004404 2022-01-14
JP2022004404 2022-01-14

Publications (1)

Publication Number Publication Date
WO2023136030A1 true WO2023136030A1 (ja) 2023-07-20

Family

ID=87278933

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/045978 WO2023136030A1 (ja) 2022-01-14 2022-12-14 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2023136030A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034057A1 (ja) * 2016-08-18 2018-02-22 富士フイルム株式会社 欠陥検査装置、欠陥検査方法、およびプログラム
WO2020003917A1 (ja) * 2018-06-29 2020-01-02 富士フイルム株式会社 欠陥表示装置及び方法
WO2021241535A1 (ja) * 2020-05-29 2021-12-02 富士フイルム株式会社 構造物の検査方法及び検査システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034057A1 (ja) * 2016-08-18 2018-02-22 富士フイルム株式会社 欠陥検査装置、欠陥検査方法、およびプログラム
WO2020003917A1 (ja) * 2018-06-29 2020-01-02 富士フイルム株式会社 欠陥表示装置及び方法
WO2021241535A1 (ja) * 2020-05-29 2021-12-02 富士フイルム株式会社 構造物の検査方法及び検査システム

Similar Documents

Publication Publication Date Title
JP6810505B2 (ja) 教師データ作成方法及び装置並びに欠陥検査方法及び装置
JP6556266B2 (ja) 欠陥検査装置、方法およびプログラム
JP6767490B2 (ja) 欠陥検査装置、欠陥検査方法、およびプログラム
US8131107B2 (en) Method and system for identifying defects in NDT image data
US8660336B2 (en) Defect inspection system
US20100220910A1 (en) Method and system for automated x-ray inspection of objects
JP2017049974A (ja) 識別器生成装置、良否判定方法、およびプログラム
JP6078234B2 (ja) 荷電粒子線装置
JP6930926B2 (ja) 欠陥検査装置、方法およびプログラム
US20220244194A1 (en) Automated inspection method for a manufactured article and system for performing same
US8204291B2 (en) Method and system for identifying defects in a radiographic image of a scanned object
EP2951780B1 (en) Method for the non-destructive testing of the volume of a test object and testing device configured for carrying out such a method
JP6422573B2 (ja) 画像処理装置及び画像処理方法及びプログラム
KR102249836B1 (ko) 투과영상 기반의 비파괴검사 기능을 제공하기 위한 방법 및 컴퓨터 판독 가능한 저장 매체
US20210072165A1 (en) Defect display device and method
WO2023136030A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
KR102075872B1 (ko) 투과영상 기반의 비파괴검사 방법 및 이를 위한 장치
CN117120951A (zh) 生产线的异常预兆检测装置、方法及程序以及制造装置及检点装置
WO2023112497A1 (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
WO2023053728A1 (ja) 表示処理装置、表示処理方法、及び、表示処理プログラム
WO2023136031A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2023095520A1 (ja) 教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置
CN115876775A (zh) 检查装置及检查方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22920548

Country of ref document: EP

Kind code of ref document: A1