WO2022224657A1 - 製造ラインの異常予兆検知装置、方法及びプログラム並びに製造装置及び検品装置 - Google Patents

製造ラインの異常予兆検知装置、方法及びプログラム並びに製造装置及び検品装置 Download PDF

Info

Publication number
WO2022224657A1
WO2022224657A1 PCT/JP2022/012546 JP2022012546W WO2022224657A1 WO 2022224657 A1 WO2022224657 A1 WO 2022224657A1 JP 2022012546 W JP2022012546 W JP 2022012546W WO 2022224657 A1 WO2022224657 A1 WO 2022224657A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
defect
singularity
product
evaluation value
Prior art date
Application number
PCT/JP2022/012546
Other languages
English (en)
French (fr)
Inventor
遼 池田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202280027700.2A priority Critical patent/CN117120951A/zh
Priority to EP22791436.3A priority patent/EP4328691A1/en
Priority to JP2023516351A priority patent/JPWO2022224657A1/ja
Publication of WO2022224657A1 publication Critical patent/WO2022224657A1/ja
Priority to US18/484,898 priority patent/US20240045407A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/4184—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by fault tolerance, reliability of production system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/11—Plc I-O input output

Definitions

  • the present invention relates to a manufacturing line abnormality sign detection device, method, program, manufacturing device, and inspection device, and more particularly to a technology for predicting a manufacturing line abnormality sign from a product manufactured on the manufacturing line.
  • the manufacturing process includes a manufacturing process of assembling a plurality of parts to form a product, and an inspection process of inspecting each part or product as an inspection object.
  • the object is photographed, the image accompanying this photographing is processed, and the quality of the product is determined by comparing the processing result with the quality judgment value.
  • Patent Document 1 a production control method for a manufacturing line, which includes a control process for reflecting the determination result in the manufacturing process, has been proposed.
  • the production control method for a manufacturing line described in Patent Document 1 irradiates light from a lighting device toward the outer surface of a product, and receives the reflected light reflected by the outer surface with a camera. Take a picture of the external surface with a camera.
  • the upper limit level for detecting mainly bright scratches on the surface of the inspection object and the lower limit level for detecting black results and surface roughness on the surface of the inspection object are determined by the camera. It is set in relation to the brightness level of the obtained video signal, and the production control method for the manufacturing line sequentially accumulates information on the video signal obtained by photographing as digital data in a storage medium, and the level of the video signal reaches the standard value.
  • the assembly method in the manufacturing process can be changed based on this information to achieve the following: We are trying to prevent abnormalities from occurring in products that are manufactured in advance.
  • Japanese Patent Laid-Open No. 2002-200000 discloses that information about a video signal obtained by photographing a product or its parts is sequentially accumulated in a storage medium as digital data, and that the level of the video signal exceeds the standard value and tends to approach the upper limit level. or when the video signal level falls below the standard value and tends to approach the lower limit, it is possible to change the assembly method in the manufacturing process based on this information and cause abnormalities in the next manufactured product.
  • the present invention has been made in view of such circumstances, and an abnormality sign detection apparatus, method, and apparatus for a production line capable of detecting signs of abnormality in a production line early without delay and inspecting products.
  • the purpose is to provide a program, a manufacturing device and an inspection device.
  • the invention according to a first aspect is an abnormality sign detection device for a production line, comprising a processor, an imaging device, a first memory, and a second memory, wherein the processor comprises: A photographing process of photographing each product manufactured by the company to be inspected using a photographing device, and singularity information acquisition of obtaining singularity information related to the singularity of the product based on the image acquired by the photographing processing, singularity information storage processing for storing the acquired singularity information in the first memory, and out of the singularity information stored in the first memory, information that affects determination of the presence or absence of defects in the product is used as defect-related information.
  • Storage processing for storing information that is stored in the second memory and that does not affect the determination of the presence or absence of defects in the product as non-defect-related information in the second memory, and a product evaluation value that indicates the soundness of the product based on the defect-related information.
  • the defect detection process for detecting the presence or absence of defects in the product based on the product evaluation value calculated by the product evaluation value calculation process, and the defect-related information and defect-unrelated information a line evaluation value calculation process for calculating a line evaluation value indicating the soundness of the production line; an abnormality symptom detection process for detecting an abnormality symptom of the production line based on the line evaluation value calculated by the line evaluation value calculation process; and output processing for outputting feedback information including detection results of abnormality signs in the production line and detection results of product defects.
  • products manufactured by a production line are photographed one by one by a photographing device, and singularity information related to the singularity of each product is acquired based on the image acquired by photography,
  • the acquired peculiarity information is stored in a first memory, and among the peculiarity information stored in the first memory, information that affects the determination of the presence or absence of defects in the product is used as defect-related information to determine the presence or absence of defects in the product.
  • information that does not affect the defect is stored in a second memory as non-defect related information. Then, based on the defect-related information, a product evaluation value indicating the soundness of the product is calculated, and the presence or absence of defects in the product is detected based on the calculated product evaluation value.
  • a line evaluation value indicating the soundness of the production line is calculated based on the defect-related information and the defect-unrelated information (classified singularity information) stored in the second memory, and the production line evaluation value is calculated based on the calculated line evaluation value.
  • Detect signs of abnormalities in the line As a result, considering various singularity information that constitutes the inspection history of the product manufactured by the production line (also considering singularity information that does not affect the determination of the presence or absence of defects in the product), Signs can be detected early without delay.
  • feedback information including detection results of abnormal symptoms in the production line and detection results of product defects, it is possible to automatically take appropriate countermeasures against the production line or by the user, and , the product can be inspected.
  • the processor includes a defect predictor value calculation process for calculating a defect predictor value based on non-defect related information, a notification process for notifying the defect predictor value, and It is preferable to This makes it possible to predict the possibility of occurrence of defects in the future when products are continued to be manufactured on the production line or the timing of occurrence of defects.
  • the imaging device is preferably a radiation imaging device, an ultrasonic imaging device, or an infrared imaging device. This makes it possible to photograph even singular points inside the product, enabling non-destructive inspection of the product.
  • the singular point information is one or more of singular point type information, occurrence position information, size information, and shape information
  • the saving process includes: Based on one or more of singularity type information, occurrence position information, size information, and shape information, singularity information may be classified into defect-related information and defect-unrelated information and stored in the second memory. preferable.
  • the line evaluation value calculation process includes at least one defect-related information stored in the second memory and at least two or more defects stored in the second memory. It is preferable to calculate a line evaluation value indicating the soundness of the production line based on the unrelated information.
  • the line evaluation value calculation process includes two or more defect-related information stored in the second memory and two or more defect non-defect information stored in the second memory. It is preferable to calculate a line evaluation value indicating the soundness of the manufacturing line based on the related information.
  • the line evaluation value calculation process includes, based on the defect-related information and defect-unrelated information corresponding to the plurality of products stored in the second memory, It is preferable to calculate a line evaluation value that indicates the soundness of the production line.
  • the plurality of products is a group of products manufactured within a certain period of time, a group of a certain number of products manufactured in chronological order, or managed products. It is preferable that it is a product group of one lot, which is a unit to be manufactured. It should be noted that a product group manufactured within a certain period of time or a certain number of product groups may partially overlap with another product group.
  • the line evaluation value calculation process counts the defect-related information and the defect-unrelated information, and calculates the line evaluation value based on the counted count value.
  • the line evaluation value may be obtained as an average value obtained by dividing the count value by the number of target products, instead of using the count value itself as the line evaluation value.
  • the line evaluation value calculation process weights the defect-related information and the defect-unrelated information when counting the defect-related information and the defect-unrelated information. is preferably counted as
  • the singularity information classified as defect-related information may be weighted differently, and the singularity information classified as non-defect-related information may be weighted differently.
  • the line evaluation value calculation process weights according to the type of the defect-related information when counting the defect-related information.
  • the types of defect-related information include, for example, singular point type information, occurrence position information, size information, shape information, degree of defect-related information, and the like.
  • the abnormality sign detection process may compare two or more line evaluation values and detect an abnormality sign of the production line based on the comparison result. preferable.
  • the line evaluation values calculated from the inspection history of two or more products manufactured at different manufacturing times the products manufactured during a certain manufacturing period generally have more defect-related information than the products manufactured during other manufacturing periods. It is possible to extract feedback information such as that many
  • the manufacturing line includes a plurality of manufacturing processes
  • the singular point information includes singular point type information, occurrence position information, size information, and shape information.
  • a first correspondence table that associates specific singularity information included in the singularity information with specific singularity information and a specific manufacturing process related to the specific singularity information among the plurality of manufacturing processes of the production line
  • counting is performed for each of a plurality of manufacturing processes according to the first correspondence table, and the counted manufacturing
  • the count value for each process is calculated as a process evaluation value that indicates the soundness of each manufacturing process
  • the abnormal sign detection process detects abnormal signs for each manufacturing process on the manufacturing line based on the process evaluation value calculated for each manufacturing process. Detection is preferred. According to this, it is possible to identify a manufacturing process having a possibility of deterioration among the plurality of manufacturing processes, and to take appropriate countermeasures.
  • the singular point information is one or more of singular point type information, occurrence position information, size information, and shape information
  • the singular point information A fourth memory for storing a second correspondence table that associates specific singularity information contained therein with specific environmental information related to the specific singularity information among a plurality of environmental information indicating the manufacturing environment in the manufacturing line. wherein the processor acquires specific singularity information among the singularity information stored in the first memory; a process of acquiring specific environment information according to the second correspondence table, and the output process preferably outputs feedback information including the specific environment information.
  • the manufacturing line abnormality sign detection device further comprises a fifth memory for storing quality information indicating quality for each product group and additional information related to the quality information in association with each other, wherein the processor comprises: , acquiring quality information about the quality of the product group based on each inspection history of the inspection history group corresponding to the product group, and acquiring additional information corresponding to the quality information from the fifth memory based on the acquired quality information. It is preferable that the output processing outputs the acquired additional information corresponding to the product group. As the additional information acquired corresponding to the product group, it is conceivable that information such as the content of the post-processing of the product and the intended use of the product according to the quality of the product group.
  • the singularity information includes the occurrence position information and size information of the singularity of the product
  • the processor acquires the singularity information acquired by the singularity information acquisition process.
  • the information and the information corresponding to the number of minute singularities are superimposed and displayed on the display.
  • the minute singularity is difficult to see even if the area of the minute singularity is emphasized, it corresponds to the emphasis information for visually displaying an area larger than the singularity size of the minute singularity and the number of minute singularities.
  • the enhancement information is mask information that fills in at least one of a specific color and brightness an area larger than the singularity size of the minute singularity, or It is preferable that the information corresponding to the number of minute singularities, which is the frame information surrounding the area, is at least one of character information indicating the number, and color and brightness of emphasis information corresponding to the number.
  • the singular point information acquisition process extracts the feature amount of the image, acquires the defect probability of singular point information for each pixel of the image, and the output process It is preferable to add a color corresponding to the defect probability to the pixel corresponding to the singularity information and display it on the display.
  • the singularity area can be displayed as a gradation or a heat map according to the defect probability.
  • the color according to the defect probability of singularity information includes at least one of hue and saturation.
  • a nineteenth aspect of the invention is a manufacturing apparatus comprising a manufacturing line for manufacturing a product, a processor, an imaging device, a first memory, and a second memory, wherein the processor is manufactured by the manufacturing line
  • a photographing process of photographing the product one by one using a photographing device a singularity information acquisition process of acquiring singularity information related to the singularity of the product based on the image acquired by photography, and the acquired singularity information is stored in the first memory, and among the singularity information stored in the first memory, information that affects the determination of the presence or absence of defects in the product is stored in the second memory as defect-related information, and the product A storage process of storing information that does not affect the determination of the presence or absence of defects in the second memory as defect-unrelated information, and a product evaluation value calculation process of calculating a product evaluation value that indicates the soundness of the product based on the defect-related information.
  • a twentieth aspect of the invention is an inspection device comprising a processor, an imaging device, a first memory, and a second memory, wherein the processor captures an image of a product to be inspected manufactured on a production line.
  • a photographing process for photographing one by one using a device, a singular point information acquisition process for acquiring singular point information related to the singular point of the product based on the image acquired by photographing, and the acquired singular point information is stored in the first memory.
  • information that affects the determination of the presence or absence of defects in the product is stored in the second memory as defect-related information, and the presence or absence of defects in the product is stored in the second memory.
  • the invention according to a twenty-first aspect is a manufacturing line abnormality sign detection method in which a processor detects an abnormality sign in a production line by performing the following steps, comprising: a product to be inspected manufactured by the production line; are photographed one by one using a photographing device; obtaining singularity information related to the singularity of the product based on the photographed images; and storing the obtained singularity information in a first memory. and storing, among the singularity information stored in the first memory, information that affects the determination of the presence or absence of defects in the product as defect-related information in the second memory, and information that does not affect the determination of the presence or absence of defects in the product.
  • the imaging device is preferably a radiation imaging device, an ultrasonic imaging device, or an infrared imaging device. This is for non-destructive inspection of products.
  • a twenty-fourth aspect of the invention is a production line abnormality sign detection program that causes a computer to execute the production line abnormality sign detection method according to either the twenty-first aspect or the twenty-third aspect.
  • the present invention it is possible to detect signs of abnormality in a production line at an early stage without delay, and obtain feedback information including detection results and product defect detection results.
  • FIG. 1 is a schematic diagram showing the configuration of a manufacturing apparatus according to the present invention.
  • FIG. 2 is a diagram showing an example of a radiation imaging apparatus that images a product.
  • FIG. 3 is a block diagram showing an embodiment of a hardware configuration of an abnormality sign detection device for a production line according to the present invention.
  • FIG. 4 is a functional block diagram showing an embodiment of an abnormality sign detection device for a manufacturing line according to the present invention.
  • FIG. 5 is a chart showing an example of inspection history stored in memory.
  • FIG. 6 shows the first correspondence table of a first correspondence table in which specific singularity information included in singularity information and specific manufacturing processes related to specific singularity information among a plurality of manufacturing processes of a manufacturing line are associated with each other.
  • FIG. 3 is a chart showing an example
  • FIG. 7 is a second correspondence table of a first correspondence table that associates specific singularity information included in singularity information with specific manufacturing processes related to specific singularity information among a plurality of manufacturing processes of a manufacturing line.
  • Fig. 3 is a chart showing an example;
  • FIG. 8 is a table showing an example of count values (process evaluation values for each manufacturing process) when singular points of each product in a product group are counted for each manufacturing process.
  • FIG. 9 is a chart showing an example of a second correspondence table in which specific singularity information and related specific environment information are associated.
  • FIG. 10 is a chart showing an example of a correspondence table in which quality information indicating the quality of each product group is associated with additional information related to the quality information.
  • FIG. 10 is a chart showing an example of a correspondence table in which quality information indicating the quality of each product group is associated with additional information related to the quality information.
  • FIG. 11 is a diagram showing an example of an image of a product including minute singularities.
  • FIG. 12 is a diagram showing another example of an image of a product including minute singularities.
  • FIG. 13 is a flow chart showing an embodiment of a manufacturing line abnormality sign detection method according to the present invention.
  • FIG. 1 is a schematic diagram showing the configuration of a manufacturing apparatus according to the present invention.
  • the manufacturing apparatus shown in FIG. 1 is composed of a manufacturing line 10 and an abnormality sign detection device 30 for the manufacturing line.
  • the manufacturing line 10 has a plurality of manufacturing processes from manufacturing process 1 to manufacturing process N, and manufactures a product P made of metal parts via each manufacturing process 1 to N.
  • manufacturing process 1 manufactures part A
  • manufacturing process 2 manufactures part B and joins part A and part B
  • manufacturing process N manufactures part C and part B.
  • the part C is joined to manufacture the product P of the object to be manufactured by the manufacturing line 10 .
  • the manufacturing line abnormality sign detection device 30 includes a radiation imaging device (imaging device) 20, and serves as an inspection device for non-destructively inspecting the product P using an image captured by the radiation imaging device 20. Function.
  • the products P manufactured by the manufacturing line 10 are imaged one by one by the radiation imaging device 20 .
  • FIG. 2 is a diagram showing an example of a radiation imaging device that images a product.
  • the radiographic apparatus 20 shown in FIG. 2 is an X-ray apparatus that uses X-rays as radiation.
  • An imaging plate 24 is arranged in the .
  • the X-rays emitted from the X-ray source 22 pass through the product P and enter the imaging plate 24, and the imaging plate 24 stores energy information (X-ray image information) corresponding to the incident dose.
  • the X-ray image information stored in the imaging plate 24 is read by the image reader 40 shown in FIG.
  • the radiographic apparatus 20 is not limited to using the imaging plate 24, and may use an X-ray flat panel detector, an X-ray line sensor, an X-ray film, or the like. Also, the position and direction from which the product is photographed is determined according to the product, and a plurality of locations may be photographed for one product.
  • the manufacturing line abnormality sign detection device 30 non-destructively inspects the product P based on an X-ray fluoroscopic image (hereinafter simply referred to as an “image”) acquired by photographing the product P, and determines the manufacturing line based on the inspection result of the product P. 10 as a whole or each manufacturing process 1 to N of the manufacturing line 10 is detected.
  • image an X-ray fluoroscopic image
  • FIG. 3 is a block diagram showing an embodiment of a hardware configuration of an abnormality sign detection device for a production line according to the present invention.
  • the manufacturing line abnormality sign detection device 30 shown in FIG. 3 is composed of a personal computer, workstation, etc., and includes a processor 32, a memory 34, a display (display unit) 36, an input/output interface 38, an operation unit 39, and the like.
  • the processor 32 is composed of a CPU (Central Processing Unit), etc., and controls each part of the abnormality sign detection device 30 in the manufacturing line, and performs various processes based on the image of each product P captured by the radiation imaging device 20. to detect an abnormality symptom of the manufacturing line 10. Details of various processes by the processor 32 will be described later.
  • CPU Central Processing Unit
  • the memory 34 includes flash memory, ROM (Read-only Memory), RAM (Random Access Memory), hard disk device, and the like.
  • the flash memory, ROM, or hard disk device is a non-volatile memory that stores an operating system, various programs including the production line abnormality sign detection program according to the present invention, and the like.
  • the RAM functions as a working area for processing by the processor 32 . It also temporarily stores a structure state prediction program stored in a flash memory or the like.
  • the singularity information related to the singularity of the product acquired by the singularity information acquisition processing of the processor 32 is stored as an inspection history for each product, and various correspondence tables (tables) to be described later are stored. is stored.
  • the singularity information that affects the determination of the presence or absence of defects in the product is classified as defect-related information and stored in the memory 34, and the singularity information that does not affect the determination of the presence or absence of defects in the product is Stored in memory 34 classified as non-defect related information. Details of the singularity information will be described later.
  • the processor 32 acquires necessary data such as various singularity information included in the inspection history for each product from the memory 34 while using the RAM as a work area according to the production line abnormality sign detection program, and detects the abnormality of the production line. It controls and processes each part of the sign detection device 30 .
  • the display unit 36 displays feedback information including detection results of signs of abnormality in the production line 10 detected by the processor 32 .
  • the user can check the soundness of the production line 10 based on the feedback information displayed by the display unit 36, and can perform appropriate maintenance, maintenance, etc. on the production line 10.
  • the display unit 36 can display the image of the product P acquired by the processor 32, and the user can confirm various peculiarities of the product P while viewing the image displayed on the display unit 36. can.
  • the display unit 36 is also used as part of a GUI (Graphical User Interface) when receiving user instructions from the operation unit 39 .
  • GUI Graphic User Interface
  • the input/output interface 38 includes a connection section that can be connected to an external device, a communication section that can be connected to a network, and the like.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • HDMI High-Definition Multimedia Interface
  • An image reader 40 is connected to the input/output interface 38, and the image reader 40 reads the X-ray image information stored in the imaging plate 24 of the radiographic apparatus 20 shown in FIG.
  • a fluoroscopic image of the product P can be acquired via the output interface 38 .
  • the operation unit 39 includes a keyboard, a pointing device such as a mouse, a keyboard, etc., and functions as part of the GUI that receives various instructions from the user.
  • FIG. 4 is a functional block diagram showing an embodiment of an abnormality sign detection device for a manufacturing line according to the present invention.
  • the abnormality sign detection device for the production line shown in FIG. The processor 32 of the manufacturing line abnormality sign detection device 30 shown in FIG. Functions as a unit 52, a memory control unit 53, a line evaluation value calculation unit 54, an abnormality sign detection unit 55, an output unit 56, a product evaluation value calculation unit 57, a defect detection unit 58, a defect predictor value calculation unit 59, and a notification unit 60. do.
  • the imaging processing unit 51 performs imaging processing for imaging the products P to be inspected one by one using the radiation imaging apparatus 20, which are manufactured by the manufacturing line 10, automatically or by input of an imaging instruction from the user. , and acquires an image of the product P captured by the radiation imaging device 20 via the input/output interface 38 .
  • the singularity information acquisition unit 52 performs singularity information acquisition processing for acquiring singularity information related to the singularity of the product P based on the image acquired by the imaging processing unit 51 .
  • the peculiar point information acquired by the peculiar point information acquiring unit 52 is one or more of the peculiar point type information, the occurrence position information, the size information, and the shape information of the product P.
  • the peculiarities of the product P include minute heterogeneous parts that cannot be said to be defects. It is classified into non-defect-related information, which is information that does not affect the determination of the presence or absence of defects.
  • Singularity type information can include gas holes, air bubbles, high-density foreign matter, low-density foreign matter, cracks, and poor welding.
  • information on the part where the singular point occurs is also one of the singular point occurrence position information.
  • Welding defects include cavities (blowholes, pinholes) inside the weld metal, poor penetration, undercuts, overlaps, and the like.
  • the size information can be represented by the area (the number of pixels) of the singular region.
  • a spherical singularity can be represented by a diameter
  • a linear singularity can be represented by a length of the singularity.
  • the singular point information acquisition unit 52 can be configured by, for example, AI (Artificial Intelligence). Singularity information such as a recognition result of a singularity region and a recognition result of a singularity type is acquired by classifying whether or not it belongs. In addition, the user visually confirms the singular point from the image displayed on the display unit 36, inputs singular point type information, singular point occurrence position information, etc. using the operation unit 39, and the singular point information acquisition unit 52 , singularity information input by a user operation may be obtained.
  • AI Artificial Intelligence
  • the memory control unit 53 stores the singularity information related to the singularity of the product P acquired by the singularity information acquisition unit 52 in the memory (first memory) 34 as an inspection history for each product P.
  • information that affects the determination of the presence or absence of defects in the product is stored in the memory (second memory) 34 as defect-related information, and used to determine the presence or absence of defects in the product.
  • a storage process of identifiably storing non-influenced information in the memory (second memory) 34 as defect-unrelated information is performed, and a reading process of reading the inspection history and the like stored in the memory 34 is performed.
  • the first memory and the second memory are not limited to different storage areas within the same memory 34, and may be physically different memories.
  • FIG. 5 is a chart showing an example of inspection history stored in memory.
  • the inspection history shown in FIG. 5 is singular point information (singular point type information, singular point occurrence position information, singular point size information, and singular point shape information) associated with the product number for each product.
  • Other information may include product lot number, inspection image, inspection date and time, and the like.
  • one singularity information is stored for one product, but a plurality of singularity information (a plurality of singularity information of the same type and/or or including a plurality of different types of singularity information) are acquired, the plurality of singularity information are stored.
  • the number of pinholes is one, it is an isolated pinhole, and when there are a plurality of pinholes, it is a dense pinhole. If there are multiple isolated pinholes or dense pinholes, it is preferable to store them as multiple pieces of singular point information. When a plurality of pinholes are densely present, the region becomes the position of occurrence of the singularity.
  • the memory control unit 53 stores singularity information that affects the determination of the presence or absence of defects in the product as defect-related information in the memory, and stores singularity information that does not affect the determination of the presence or absence of defects in the product as defect information.
  • the information is identifiably stored in the memory as non-related information, flag information of defect-related information or defect-unrelated information may be added to each piece of singularity information.
  • one or more of singularity size information, type information, occurrence position information, number of singularities, etc. can be based on a combination of
  • the size of a singular point is very large, it can be classified as defect-related information regardless of the singular point type information and occurrence position information.
  • the singularity type information is pinholes (small air bubbles, etc.)
  • it can be classified into defect-related information or non-defect-related information based on information on the number of pinholes that are dense and/or the location of occurrence. For example, isolated pinholes can be classified as non-defect related information. If the pinholes are densely packed, if the number is less than an allowable number, or if the location of the pinholes is not a critical location where a large stress is applied, it can be classified as non-defect related information.
  • the line evaluation value calculation unit 54 extracts singularity information classified into defect-related information or defect-unrelated information, which constitutes the inspection history stored in the memory 34, from the memory 34 to the memory control unit 53. , and performs a line evaluation value calculation process for calculating a line evaluation value indicating the soundness of the production line 10 based on the read singularity information.
  • the singularity information used to calculate the line evaluation value includes singularity information classified as defect-related information and singularity information classified as defect-unrelated information. Therefore, the line evaluation value calculation unit 54 determines the health of the production line 10 based on the defect-related information stored in the memory 34 (second memory) and the defect-unrelated information stored in the memory 34 (second memory). A line evaluation value indicating the degree is calculated.
  • the line evaluation value calculation unit 54 calculates the soundness of the production line 10 based on the defect-related information stored in the memory 34 (second memory) and the defect-unrelated information stored in the memory 34 (second memory). A line evaluation value calculation process for calculating an evaluation value is performed.
  • the line evaluation value calculation unit 54 preferably calculates the production line 10 based on at least one defect-related information and at least two or more defect-unrelated information, more preferably two or more defect-related information and two or more defect-unrelated information. Calculate the line evaluation value that indicates the soundness of the
  • the line evaluation value calculation unit 54 may calculate the line evaluation value indicating the soundness of the production line 10 based on the non-defect related information stored in the memory 34 (second memory).
  • the singularity information used to calculate the line evaluation value is singularity information (defect-related information and non-defect-related information) corresponding to multiple products.
  • the plurality of products is preferably a group of products manufactured within a certain period of time, a group of a certain number of products manufactured in chronological order, or a group of products of one lot, which is a unit for managing products. .
  • the fixed period can be one week, one month, etc., and can be set by the user as appropriate.
  • the inspection history group for the product group manufactured in a certain period can be set with overlap allowed. For example, when the fixed period is one week, by shifting the week by one day, it is possible to acquire the inspection history group corresponding to the product group manufactured in the past one week every day. In this case, the inspection history for 6 days in the newly acquired inspection history group overlaps with the inspection history of the inspection history group acquired on the previous day.
  • the fixed number can be appropriately set by the user according to the product.
  • a certain number of inspection histories can be set by allowing duplication in the same manner as described above.
  • the quantity of products in one lot can be set by the user as appropriate, taking into consideration the number of items in stock and the purchase of raw materials.
  • the line evaluation value calculation unit 54 is individual singular point information in a plurality of inspection histories corresponding to a plurality of products, and based on the singular point information classified into defect-related information and defect-unrelated information, the production line 10 Calculate the line evaluation value that indicates the soundness of the Specifically, the line evaluation value calculation unit 54 can count the total number of defect-related information and non-defect-related information in the product group, and calculate the line evaluation value based on the counted count value.
  • the line evaluation value may be obtained as an average value obtained by dividing the count value by the number of target products, instead of using the count value itself as the line evaluation value.
  • the line evaluation value calculation unit 54 preferably weights the defect-related information and the defect-unrelated information.
  • the weight of the defect-related information and the defect-unrelated information is preferably determined according to one or more singular point information out of singular point type information, occurrence position information, size information, and shape information.
  • the line evaluation value calculation unit 54 preferably weights according to the type of the defect-related information.
  • the types of defect-related information include defect type information, defect location information, size information, shape information, or degree. It is preferable to count the defects after weighting according to the content of the defect-related information (for example, weighting is increased as the size of the defect increases, weighting according to the angle of the sharp portion of the shape, etc.).
  • the abnormality sign detection unit 55 performs abnormality sign detection processing for detecting an abnormality sign of the production line 10 based on the line evaluation value calculated by the line evaluation value calculation unit 54 . Since the abnormality symptom detection unit 55 can acquire a line evaluation value indicating the soundness of the production line 10 for each product group (inspection history group), the abnormality sign detection unit 55 can predict changes in the soundness of the production line 10 (manufacturing line 10 can be detected).
  • the abnormality symptom detection unit 55 can compare two or more line evaluation values corresponding to two or more product groups with different manufacturing periods, and detect an abnormality symptom of the production line 10 based on the comparison result. can. For example, when the line evaluation value for each product group does not fluctuate, it can be determined that there is no symptom of abnormality in the production line 10, and the line evaluation value for each product group tends to increase, indicating that the production line 10 is abnormal. If it approaches a threshold that can be seen, it can be determined that there is an abnormality symptom in the production line 10 .
  • the output unit 56 performs an output process of outputting feedback information including detection results of signs of abnormality in the manufacturing line 10 detected by the signs of abnormality detection unit 55 .
  • the output destination of the feedback information can be the display unit 36, the manufacturing line 10, or equipment related to the manufacturing line 10, or the like.
  • the user can check the feedback information displayed on the display unit 36, and can determine the necessity of maintenance and inspection work of the production line 10 in advance (before the defective product is manufactured).
  • the product evaluation value calculation unit 57 and the defect detection unit 58 function as a product P inspection unit.
  • the product evaluation value calculation unit 57 reads the defect-related information constituting the inspection history stored in the memory 34 for each product P from the memory 34 via the memory control unit 53, and based on the read defect-related information, the product This is a portion for performing product evaluation value calculation processing for calculating a product evaluation value indicating the soundness of the product for each P. It is preferable to calculate the product evaluation value according to the type of defect-related information (defect type information, occurrence position information, size information, shape information, degree, etc.).
  • the product evaluation value calculation unit 57 counts the defect-related information, or performs weighted counting according to the type of defect-related information, and based on the counted value, It is preferable to calculate the product evaluation value by
  • the defect detection unit 58 performs defect detection processing for detecting the presence or absence of defects in each product P based on the product evaluation value calculated by the product evaluation value calculation unit 57 . Further, the defect detection unit 58 may rank the products P that are detected as having no defects based on the product evaluation values.
  • the output unit 56 outputs feedback information including detection results of defects in the product P input from the defect detection unit 58 in addition to feedback information including detection results of signs of abnormality in the manufacturing line.
  • the feedback information of the defect detection result of the product P can be used as information for automatically or manually sorting the product P into non-defective products and defective products (defective products).
  • the defect predictor value calculation unit 59 and the notification unit 60 are portions for predicting and notifying the possibility of a defect occurring in the product P in the future when the product P continues to be manufactured on the production line 10, or the timing at which the defect will occur. be.
  • the defect predictor value calculation unit 59 reads the defect-unrelated information constituting the inspection history stored in the memory 34 from the memory 34 via the memory control unit 53 for each product P, and based on the read-out defect-unrelated information A defect predictor value calculation process for calculating a defect predictor value is performed.
  • the texture (reflected pattern) feature amount e.g. unevenness pattern of brightness, degree of contrast, and if a noise-like pattern appears, its density
  • the texture (reflected pattern) feature amount e.g. unevenness pattern of brightness, degree of contrast, and if a noise-like pattern appears, its density
  • the defect predictor value calculation unit 59 calculates the defect predictor value such as the number of products that can continue to be manufactured as non-defective products, or the manufacturing period, if the current production line 10 continues to manufacture the products P.
  • the notification unit 60 is a part that notifies the defect predictor value calculated by the defect predictor value calculator 59 . By notifying the defect predictor value, system maintenance can be performed systematically in advance, the manufacturing environment can be reviewed, and manufacturing can be performed efficiently. Note that the defect predictor value may be notified from the output unit 56 .
  • the production line abnormality sign detection device 30 detects specific singularity information included in the singularity information related to the singularity of the product P and specific singularity information among the plurality of manufacturing processes 1 to N of the production line 10. and a third memory (memory 34) for storing a first correspondence table that associates a specific manufacturing process associated with the product.
  • FIG. 6 is a first correspondence table in which specific singularity information included in singularity information and specific manufacturing processes related to specific singularity information among a plurality of manufacturing processes of a manufacturing line are associated with each other. It is a chart which shows one example.
  • the first correspondence table of the first example shown in FIG. 6 shows the relationship between the singularity information (in particular, the parts that generate singularity information classified as defect-related information) and the manufacturing process.
  • singularity information related to part A is associated with manufacturing process 1 (a specific manufacturing process).
  • singularity information related to part B of product P (for example, specific singularity information in which singularity occurrence position information is part B) is associated with manufacturing process 2 (specific manufacturing process)
  • Singularity information related to part C of product P (for example, specific singularity information whose singularity occurrence position information is part C) is associated with manufacturing process N (specific manufacturing process).
  • FIG. 7 is a first correspondence table in which specific singularity information included in singularity information and specific manufacturing processes related to specific singularity information among a plurality of manufacturing processes of a manufacturing line are associated with each other. It is a chart showing two examples.
  • the first correspondence table of the second example shown in FIG. 7 shows the relationship between the singularity information (type of singularity) and the manufacturing process.
  • the line evaluation value calculation unit 54 calculates each manufacturing process 1 to N of the manufacturing line 10 according to the first correspondence table shown in FIGS. , and the counted value for each of the manufacturing processes 1 to N can be calculated as a process evaluation value indicating the soundness of each manufacturing process 1 to N.
  • the anomaly sign detection unit 55 detects an anomaly sign of the entire manufacturing line 10 based on the count value (line evaluation value) obtained by weighting and counting the singularities (defect-related information and non-defect-related information) of the product group as described above. Not limited to the case of detection, it is possible to detect signs of abnormality in each manufacturing process 1 to N of the manufacturing line 10 based on the process evaluation value calculated for each manufacturing process.
  • the output unit 56 can output feedback information including detection results of signs of abnormality in the manufacturing processes 1 to N of the manufacturing line 10 detected by the sign-of-abnormality detection unit 55 .
  • FIG. 8 is a chart showing an example of the count value (process evaluation value for each manufacturing process) when the singularity of each product in the product group is counted for each manufacturing process.
  • a product group is a group of products by lot.
  • the singularity count value for each product group of Lot I, Lot II, and Lot III is counted for each manufacturing process 1 to N.
  • the count value (15) of the singularity related to the manufacturing process 2 is significantly increased in the lot III product group compared to the other lot I and II product groups. Therefore, it is considered that the manufacturing process 2 of the manufacturing line 10 has a defect (abnormal symptom).
  • the manufacturing line abnormality sign detection device 30 acquires feedback information associated with a defect in a specific manufacturing process, it notifies the user to that effect, and inspects the specific manufacturing process in the manufacturing line 10. can encourage
  • the processor 32 can calculate a product evaluation value indicating the soundness of each product based on the singularity information (in particular, defect-related information) of each product in the product group.
  • the line evaluation value may be calculated by integrating the product evaluation values indicating the soundness of the product.
  • the production line abnormality sign detection device 30 detects specific singularity information included in the singularity information related to the singularity of the product P and the specific singularity out of the plurality of environmental information indicating the manufacturing environment in the production line 10.
  • a fourth memory (memory 34) is provided for storing a second correspondence table that associates information with specific environmental information associated therewith.
  • FIG. 9 is a chart showing an example of a second correspondence table in which specific singularity information and related specific environment information are associated.
  • the second correspondence table shown in FIG. 9 shows the relationship between specific singularity information (type of singularity) and specific environmental information (manufacturing environment).
  • gas defects may occur due to entrainment of CO 2 or the like during filling of the molten metal.
  • a gas defect is associated with environmental information (CO 2 excess).
  • crack defects may occur under the influence of humidity and welding temperature.
  • a crack defect is associated with environmental information (humidity/welding temperature range inappropriate).
  • the processor 32 stores the specific environmental information related to the acquired specific singularity information in the second correspondence table (FIG. 9). Acquisition processing is performed according to
  • the output unit 56 can output feedback information including specific environmental information related to specific singularity information.
  • a control signal to the environmental controller can be generated. For example, when a specific type of singularity occurs frequently and the cause of the occurrence of that type of singularity can be narrowed down in general or based on product characteristics or experience (see FIG. 9 Gas defects are likely to occur due to a large amount of CO2 , and crack defects are likely to occur when the humidity or welding temperature exceeds a certain range. It transmits control signals to the equipment, welding temperature, and other external environment control devices, and automatically adjusts the humidity, welding temperature, raw material control environment, etc., to control the environment to the optimum level. In addition, the user may manually adjust the air conditioning equipment, the welding temperature, and the like.
  • the manufacturing line abnormality sign detection device 30 includes a fifth memory (memory 34) that stores quality information indicating the quality of each product group and additional information related to the quality information in association with each other.
  • FIG. 10 is a chart showing an example of a correspondence table that associates quality information indicating quality for each product group with additional information related to the quality information.
  • the correspondence table shown in FIG. 10 shows the relationship between quality information indicating the quality of each product group and additional information.
  • the quality information indicating the quality of the product group is, for example, ranks such as best product, excellent product, good product, etc.
  • additional information related to the quality information includes the joining method of the product in the post-process. These include the means of processing, the intended use of the product, and so on.
  • the quality information for each product group can be determined by the count value (line evaluation value) obtained by counting the singularities of the product group.
  • the processor 32 also performs a product evaluation value calculation process for calculating a product evaluation value indicating the soundness of the product based on the singularity information (especially defect-related information) of each product of the product group.
  • the product evaluation value of each product in the group may be integrated to calculate the quality information of the product group.
  • the additional information related to the quality information is not limited to that shown in FIG. 10, and the user can create a report for the product group in advance according to the product quality information and product type.
  • the product group can be provided with a report that it can be used in the initially planned equipment.
  • the product group is a good product that does not reach the level of a defect but contains a small scratch
  • additional information such as "press fit or high temperature shrink fit” that can reinforce the strength after the fact is added as a joining method.
  • a report will be given to the effect that it can be used for a specific use X under certain conditions.
  • the processor 32 performs processing for acquiring quality information regarding the quality of the product group based on each inspection history corresponding to the product group. Then, based on the obtained quality information, a process of obtaining additional information corresponding to the quality information from the correspondence table (see FIG. 10) stored in the memory 34 is performed.
  • the output unit 56 outputs the additional information acquired corresponding to the product group.
  • additional information (report) appropriately selected according to the quality of the inspected product group can be provided to the shipping destination of the product group.
  • FIG. 11 is a diagram showing an example of an image of a product including minute singularities.
  • the product or part of the product is a cast product, microscopic singularities (gas defect candidates) where fine air bubbles remain in the product may occur.
  • bubbles shown in FIG. 11(A) are shown large, they are actually of a size that is difficult to perceive visually. Even if image processing is performed to detect a bubble (singular point) region from an image and the bubble region is highlighted, some bubbles are of a size that is difficult to perceive visually.
  • the emphasis information shown in FIG. 11(B) is mask information that fills in at least one of a specific color and luminance a region larger than the size of the air bubble, which is a minute singularity.
  • Mask information is superimposed and filled in the area containing nine dense bubbles and the area containing three dense bubbles.
  • character information (numbers) indicating the number is superimposed and displayed.
  • the mask information of this example has information on at least one of color and brightness corresponding to the number of bubbles in the area of the mask information. In this case, even if character information indicating the number of minute singularities is not superimposed and displayed, the number can be grasped by color or the like.
  • the processor 32 performs a process of acquiring singular point information indicating a minute singular point with a singular point size smaller than the threshold based on the singular point information acquired by the singular point information acquisition unit 52 .
  • the threshold value is preferably set to a value for judging whether or not the singular point is a minute singular point of a size that is difficult to perceive visually.
  • the processor 32 When the processor 32 acquires the micro-singularity information indicating the micro-singularity, the processor 32 visually recognizes the highlighting information for highlighting the micro-singularity, which includes the micro-singularity and is larger than the singularity size of the micro-singularity. It is preferable to perform a process of generating emphasis information to be displayed as possible and information corresponding to the number of minute singularities.
  • the processor 32 can, for example, perform image processing (dilation) for enlarging the area of minute singularities, thereby obtaining an area containing closely spaced minute singularities.
  • image processing denotes image processing
  • the processor 32 can, for example, perform image processing (dilation) for enlarging the area of minute singularities, thereby obtaining an area containing closely spaced minute singularities.
  • image processing for enlarging the area of minute singularities, thereby obtaining an area containing closely spaced minute singularities.
  • the processor 32 generates emphasized information having an area larger than the singularity size, filled in with a color or shade corresponding to the number of minute singularities, and character information indicating the number of minute singularities ( numbers).
  • the output unit 56 causes the display unit 36 to superimpose the emphasis information and the information corresponding to the number of minute singularities on the image.
  • the emphasis information displayed on the display unit 36 is area information obtained by filling in an area larger than the singularity size, and the information corresponding to the number of minute singularities is the filled out area. and character information indicating the number of minute singularities.
  • the emphasis information displayed on the display unit 36 may be contour information indicating the contour of an area larger than the singularity size, or frame information (rectangular frame) surrounding the large area.
  • the information to be displayed may be at least one of the color and brightness of the filled area, or only character information indicating the number of minute singularities. Further, the density of minute singularities may be represented by information on at least one of the color and brightness of the region to be filled.
  • FIG. 12 is a diagram showing another example of a product image containing minute singularities.
  • the image shown in FIG. 12(A) is an image of a long and narrow product (part) or a weld line. This image includes four bubbles densely packed on the left side of the image and isolated bubbles on the right side of the image. There are 2 bubbles.
  • an image before superimposed display of emphasized information and an image with superimposed display may be displayed side by side on the display unit 36, or may be configured so that the display can be switched by user operation.
  • the singular point information acquisition unit 52 can be configured by AI as described above, and the AI can be configured by a singular point detection model such as a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the areas (4) and (3) are highlighted by displaying an arrow or other mark on the display, or by displaying the highlighting frame while blinking.
  • Two or more thresholds are provided, and the "maximum range of defects" when applying a low threshold and the “minimum range of defects" when applying a high threshold are defined as a double bounding box or a two-step It can be displayed with different colors.
  • the former peculiar point area can be displayed in a manner (color and brightness) that is doubtful whether it is a defect, and the latter peculiar point area can be displayed as a defect at the center.
  • the peripheral portion can be displayed in a questionable manner as to whether it is defective.
  • the singularity detection model outputs intermediate classes such as "normal”, “abnormal”, and “whether or not it is a defect" from the beginning, and the intermediate is judged by humans, giving flexibility to the output results. , you may clarify the part which a person should confirm preferentially.
  • the area exceeding the threshold is displayed by distinguishing whether it exists in an isolated part or in the entire image, or whether there are multiple areas concentrated within a certain range.
  • the crushed shape may be an unexpected defect, so it is regarded as a high degree of anomaly and a warning is issued. do.
  • the defect probability for each part or weld location is calculated. Calculate sequentially.
  • FIG. 13 is a flow chart showing an embodiment of a manufacturing line abnormality sign detection method according to the present invention. The processing of each step shown in FIG. 13 is performed by the processor 32 of the manufacturing line abnormality sign detection device 30 shown in FIG.
  • the product P manufactured by the manufacturing line 10 is imaged by the radiation imaging device 20 (step S10).
  • the imaging of the product P by the radiation imaging device 20 may be performed by installing the radiation imaging device 20 on the transport path of the products P manufactured by the manufacturing line 10 and automatically imaging the products P one by one. You may image
  • the processor 32 acquires an image (X-ray image information) captured by the radiation imaging device 20, which is an image of each product P manufactured by the manufacturing line 10 (step S12).
  • the processor 32 acquires singularity information related to the singularity of the product P based on the image acquired by photographing the product P (step S12).
  • Singularity information can be obtained by AI.
  • the singular point information is one or more of singular point type information, occurrence position information, size information, and shape information of the product P.
  • the processor 32 stores singularity information related to the singularity of the product P acquired in step S12 in the memory 34 (first memory) as an inspection history for each product (step S14). In addition, the processor 32 sets the information that affects the determination of the presence/absence of defects in the product among the singularity information as defect-related information, and sets the information that does not affect the determination of the presence/absence of defects in the product as non-defect-related information in the memory 34 (second 2 memory).
  • step S16 it is determined whether or not the singularity information of the product group for one lot (a plurality of products belonging to the lot number) has been saved in the memory 34 (step S16).
  • the singularity information of the product group for one lot is not acquired and stored (in the case of "No")
  • the process proceeds to step S10, the processing from step S10 to step S16 is repeated, and the product for one lot If the singularity information of the group has been acquired and saved ("Yes"), the process transitions to step S18.
  • step S18 the processor 32 performs line evaluation indicating the soundness of the production line 10 based on the singularity information (defect-related information and non-defect-related information) corresponding to the product group per lot stored in the memory 34. Calculate the value.
  • the line evaluation value indicating the soundness of the production line 10 can be calculated by counting the total number of defect-related information and non-defect-related information in the product group and calculating the count value as the line evaluation value.
  • it is preferable to weight the defect-related information and the non-defect related information and count the defect-related information and the non-defect related information. is preferably determined according to one or more singular point information out of singular point type information, occurrence position information, size information, and shape information.
  • the processor 32 detects signs of abnormality in the manufacturing line 10 based on the line evaluation value calculated in step S18 (step S20). That is, from the quantity of defect-related information and non-defect-related information of the product group, an abnormality sign of the production line 10 is indirectly detected. In addition, it is possible to compare the line evaluation values of two or more product groups manufactured at different times, and to detect signs of abnormality in the manufacturing line 10 based on the comparison results.
  • the processor 32 outputs feedback information including the detection results of the signs of abnormality in the production line 10 detected in step S20 (step S22).
  • the output destination of the feedback information is the display unit 36 that displays the feedback information, the manufacturing line 10 or equipment related to the manufacturing line 10, or the like.
  • the user can confirm the feedback information displayed on the display unit 36, and can determine the necessity of maintenance, inspection work, etc. of the production line 10 in advance.
  • FIG. 13 shows the processing for one lot of product group, the same processing is performed for the next one lot of product group. It can be detected each time a batch is manufactured.
  • the defect-related information and the defect-unrelated information corresponding to the product group in units of lots were used.
  • a plurality of inspection histories corresponding to a group of products manufactured within a period of time, or a certain number of groups of products manufactured over time can be used.
  • a plurality of inspection histories corresponding to a group of products manufactured within a certain period of time or a group of a certain number of products manufactured in chronological order can be set with overlap allowed.
  • the products manufactured by the manufacturing line are metal products, but are not limited to this, and may be non-metal products.
  • the imaging device is not limited to a radiation imaging device, and an ultrasonic imaging device or an infrared imaging device can be used.
  • the hardware structure of the processing unit (processing unit) that executes various processes is the following various processors .
  • processors include CPUs, which are general-purpose processors that run software (programs) and function as various processing units, and programmable processors, such as FPGAs (Field Programmable Gate Arrays), whose circuit configuration can be changed after manufacturing.
  • Logic device Programmable Logic Device: PLD
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (eg, multiple FPGAs, or combinations of CPUs and FPGAs).
  • a plurality of processing units may be configured by one processor.
  • a processor functions as multiple processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • a production line abnormality sign detection program that causes the computer to function as the production line abnormality sign detection device according to the present invention, and a production line abnormality sign detection program are recorded. Includes non-volatile storage media.

Abstract

製造ラインの異常兆候を検知することができる製造ラインの異常予兆検知装置、方法及びプログラム並びに製造装置及び検品装置を提供する。製造ラインの異常予兆検知装置（３０）のプロセッサは、放射線撮影装置（２０）により撮影された画像であって、製造ライン（１０）により製造された製品（Ｐ）を撮影した製品毎の画像を取得し、取得した画像に基づいて製品（Ｐ）の特異点に関連する特異点情報を取得する。プロセッサは、特異点情報のうちの製品（Ｐ）の欠陥の有無の判定に影響する情報を欠陥関連情報とし、製品の欠陥の有無の判定に影響しない情報を欠陥非関連情報としてメモリに保存する。プロセッサは、欠陥関連情報と欠陥非関連情報とに基づいて、製造ライン（１０）の健全度を示すライン評価値を算出し、算出したライン評価値に基づいて製造ライン（１０）の異常兆候を検知する。

Description

製造ラインの異常予兆検知装置、方法及びプログラム並びに製造装置及び検品装置
　本発明は製造ラインの異常予兆検知装置、方法及びプログラム並びに製造装置及び検品装置に係り、特に製造ラインにより製造された製品から、その製造ラインの異常兆候を予兆する技術に関する。
　金属部品の製造現場等では、出荷前に欠陥の有無の検査が行われる。一方、製品を製造する機械側の不具合を検査することは、検査コストや連続して生産を続ける必要性から、毎回行うことは難しく、一定期間ごとのメンテナンス等が行われるか、不具合が生じるようになってから点検するしかないため、早期の異常発見は困難であった。
　これに対し、従来、複数の部品を組み立てて製品を形成する製造工程と、各部品または製品を検査対象として検査対象を検査する検査工程とを含み、検査工程では、予め設定されたルールに従って検査対象を撮影し、この撮影に伴う画像を処理し、さらに、この処理結果と良否判定値とを比較して製品の良否を判定するとともに、画像の処理結果を順次蓄積してその内容を判定し、この判定結果を製造工程に反映させる管理工程を含む、製造ラインの生産管理方法が提案されている（特許文献１）。
　特許文献１に記載の製造ラインの生産管理方法は、具体的には製品の外形面に向けて照明装置から光を照射し、外形面で反射した反射光をカメラで受光することで、製品の外形面をカメラで撮影する。
　検査対象の表面に生じる傷のうち、主に光った傷を検出するための上限レベルと、検査対象の表面に生じる黒い結果や表面の粗さなどを検出するための下限レベルとが、カメラから得られるビデオ信号の輝度レベルに関連付けて設定され、製造ラインの生産管理方法は、撮影して得られたビデオ信号に関する情報をディジタルデータとして記憶媒体に順次蓄積し、ビデオ信号のレベルが規格値を超えて、上限レベルに近づく傾向を示すとき、あるいは、ビデオ信号のレベルが規格値を下回り、下限レベルに近づく傾向を示すときには、この情報を基に製造工程における組み立て方法を変更することで、次に製造される製品に異常が生じるのを未然に防止するようにしている。
特開２００８－１５９３０号公報
　特許文献１には、製品又はその部品を撮影して得られたビデオ信号に関する情報をディジタルデータとして記憶媒体に順次蓄積し、ビデオ信号のレベルが規格値を超えて、上限レベルに近づく傾向を示すとき、あるいは、ビデオ信号のレベルが規格値を下回り、下限レベルに近づく傾向を示すときには、この情報を基に製造工程における組み立て方法を変更することで、次に製造される製品に異常が生じるのを未然に防止する記載があるが、欠陥とまでは言えないビデオ信号のレベル（製品の欠陥の有無の判定に影響しない情報）をも考慮して、製造ラインの異常兆候を検知する記載がない。
　本発明はこのような事情に鑑みてなされたもので、製造ラインの異常兆候を早期に遅滞なく検知することができ、また製品の検品を行うことができる製造ラインの異常予兆検知装置、方法及びプログラム並びに製造装置及び検品装置を提供することを目的とする。
　上記目的を達成するために第１態様に係る発明は、プロセッサと、撮影装置と、第１メモリと、第２メモリとを備えた製造ラインの異常予兆検知装置であって、プロセッサは、製造ラインにより製造された検査対象である製品を、撮影装置を用いて１つずつ撮影する撮影処理と、撮影により取得した画像に基づいて製品の特異点に関連する特異点情報を取得する特異点情報取得処理と、取得した特異点情報を第１メモリに保存する特異点情報保存処理と、第１メモリに保存した特異点情報のうち、製品の欠陥の有無の判定に影響する情報を欠陥関連情報として第２メモリに保存し、製品の欠陥の有無の判定に影響しない情報を欠陥非関連情報として第２メモリに保存する保存処理と、欠陥関連情報に基づいて、製品の健全度を示す製品評価値を算出する製品評価値算出処理と、製品評価値算出処理により算出された製品評価値に基づいて製品の欠陥の有無を検知する欠陥検知処理と、欠陥関連情報と欠陥非関連情報とに基づいて、製造ラインの健全度を示すライン評価値を算出するライン評価値算出処理と、ライン評価値算出処理により算出されたライン評価値に基づいて製造ラインの異常兆候を検知する異常兆候検知処理と、製造ラインの異常兆候の検知結果及び製品の欠陥の検知結果を含むフィードバック情報を出力する出力処理と、を行う、製造ラインの異常予兆検知装置である。
　本発明の第１態様によれば、製造ラインにより製造された製品を撮影装置により１つずつ撮影し、撮影により取得した画像に基づいて各製品の特異点に関連する特異点情報を取得し、取得した特異点情報を第１メモリに保存し、更に第１メモリに保存した特異点情報のうち、製品の欠陥の有無の判定に影響する情報を欠陥関連情報とし、製品の欠陥の有無の判定に影響しない情報を欠陥非関連情報として第２メモリに保存する。そして、欠陥関連情報に基づいて、製品の健全度を示す製品評価値を算出し、算出した製品評価値に基づいて製品の欠陥の有無を検知する。また、第２メモリに保存した欠陥関連情報と欠陥非関連情報（分類された特異点情報）に基づいて製造ラインの健全度を示すライン評価値を算出し、算出したライン評価値に基づいて製造ラインの異常兆候を検知する。これにより、製造ラインにより製造される製品の検査履歴を構成する各種の特異点情報を考慮して（製品の欠陥の有無の判定に影響しない特異点情報をも考慮して）、製造ラインの異常兆候を早期に遅滞なく検知することができる。また、製造ラインの異常兆候の検知結果及び製品の欠陥の検知結果を含むフィードバック情報を出力することで、製造ラインに対して自動的に、又はユーザにより適切な対応策を講じることができ、また、製品の検品を行うことができる。
　本発明の第２態様に係る製造ラインの異常予兆検知装置において、プロセッサは、欠陥非関連情報に基づいて欠陥予兆値を算出する欠陥予兆値算出処理と、欠陥予兆値を報知する報知処理と、を行うことが好ましい。これにより、製造ラインで製品を製造し続けた場合における将来欠陥が発生する可能性もしくは欠陥が発生する時期についての予測が可能になる。
　本発明の第３態様に係る製造ラインの異常予兆検知装置において、撮影装置は、放射線撮影装置、超音波撮影装置、又は赤外線撮影装置であることが好ましい。これにより、製品の内部の特異点も撮影することができ、製品の非破壊検査が可能である。
　本発明の第４態様に係る製造ラインの異常予兆検知装置において、特異点情報は、特異点の種別情報、発生位置情報、サイズ情報、及び形状情報のうちの１以上であり、保存処理は、特異点の種別情報、発生位置情報、サイズ情報、及び形状情報のうちの１以上に基づいて、特異点情報を欠陥関連情報と欠陥非関連情報とに分類して第２メモリに保存することが好ましい。
　本発明の第５態様に係る製造ラインの異常予兆検知装置において、ライン評価値算出処理は、第２メモリに保存された少なくとも１つの欠陥関連情報と第２メモリに保存された少なくとも２以上の欠陥非関連情報とに基づいて、製造ラインの健全度を示すライン評価値を算出することが好ましい。
　本発明の第６態様に係る製造ラインの異常予兆検知装置において、ライン評価値算出処理は、第２メモリに保存された２以上の欠陥関連情報と第２メモリに保存された２以上の欠陥非関連情報とに基づいて、製造ラインの健全度を示すライン評価値を算出することが好ましい。
　本発明の第７態様に係る製造ラインの異常予兆検知装置において、ライン評価値算出処理は、第２メモリに記憶された複数の製品に対応する欠陥関連情報と欠陥非関連情報とに基づいて、製造ラインの健全度を示すライン評価値を算出することが好ましい。
　本発明の第８態様に係る製造ラインの異常予兆検知装置において、複数の製品は、一定期間内に製造された製品群、時系列に沿って製造された一定数の製品群、若しくは製品を管理する単位である１ロットの製品群であることが好ましい。尚、一定期間内に製造された製品群、又は一定数の製品群は、他の製品群との間で一部の製品が重複していてもよい。
　本発明の第９態様に係る製造ラインの異常予兆検知装置において、ライン評価値算出処理は、欠陥関連情報と欠陥非関連情報とをカウントし、カウントしたカウント値に基づいてライン評価値を算出することが好ましい。ライン評価値は、カウント値そのものをライン評価値とする場合の他、カウント値を対象とした製品の個数で割った平均値として求めてもよい。
　本発明の第１０態様に係る製造ラインの異常予兆検知装置において、ライン評価値算出処理は、欠陥関連情報と欠陥非関連情報とをカウントする際に、欠陥関連情報と欠陥非関連情報とを重み付けしてカウントすることが好ましい。尚、欠陥関連情報に分類される特異点情報の中でも更に異なる重み付けしてもよいし、欠陥非関連情報に分類される特異点情報の中でも更に異なる重み付けをしてもよい。
　本発明の第１１態様に係る製造ラインの異常予兆検知装置において、ライン評価値算出処理は、欠陥関連情報をカウントする際に、欠陥関連情報の種類に応じた重み付けを行いカウントすることが好ましい。欠陥関連情報の種類は、例えば、特異点の種別情報、発生位置情報、サイズ情報、形状情報、及び欠陥に関連する程度などを含む。
　本発明の第１２態様に係る製造ラインの異常予兆検知装置において、異常兆候検知処理は、２以上のライン評価値を比較し、比較した比較結果に基づいて製造ラインの異常兆候を検知することが好ましい。製造時期が異なる２以上の製品の検査履歴から算出されるライン評価値を比較することで、或る製造時期に生産された製品は、他の製造時期に生産された製品よりも総じて欠陥関連情報を多く含む、といったフィードバック情報を抽出することができ、製造ラインの異常兆候を検知して通知することができる。
　本発明の第１３態様に係る製造ラインの異常予兆検知装置において、製造ラインは、複数の製造工程を含み、特異点情報は、特異点の種別情報、発生位置情報、サイズ情報、及び形状情報のうちの１以上であり、特異点情報に含まれる特定の特異点情報と製造ラインの複数の製造工程のうちの特定の特異点情報と関連する特定の製造工程とを対応させた第１対応表を記憶する第３メモリを更に備え、ライン評価値算出処理は、欠陥関連情報と欠陥非関連情報とをカウントする際に、第１対応表にしたがって複数の製造工程ごとにカウントし、カウントした製造工程ごとのカウント値を、各製造工程の健全度を示す工程評価値として算出し、異常兆候検知処理は、製造工程ごとに算出した工程評価値に基づいて製造ラインの各製造工程の異常兆候を検知することが好ましい。これによれば、複数の製造工程のうちの劣化可能性のある製造工程を特定することができ、適切な対応策を講じることができる。
　本発明の第１４態様に係る製造ラインの異常予兆検知装置において、特異点情報は、特異点の種別情報、発生位置情報、サイズ情報、及び形状情報のうちの１以上であり、特異点情報に含まれる特定の特異点情報と、製造ラインにおける製造環境を示す複数の環境情報のうちの特定の特異点情報と関連する特定の環境情報とを対応させた第２対応表を記憶する第４メモリを更に備え、プロセッサは、第１メモリに保存した特異点情報のうち、特定の特異点情報を取得する処理と、特定の特異点情報を取得した場合に、取得した特定の特異点情報に関連する特定の環境情報を第２対応表にしたがって取得する処理と、を行い、出力処理は、特定の環境情報を含むフィードバック情報を出力することが好ましい。これによれば、特定の特異点情報を取得すると、第４メモリからその特定の特異点情報と関連する特定の環境情報を取得し、特定の環境情報を含むフィードバック情報を出力するため、特定の環境情報に応じて製造ラインの環境を整えることにより、環境に起因する製品の欠陥の発生を低減することができる。
　本発明の第１５態様に係る製造ラインの異常予兆検知装置において、製品群ごとの品質を示す品質情報と品質情報に関連する付加情報とを対応させて記憶する第５メモリを更に備え、プロセッサは、製品群に対応する検査履歴群の各検査履歴に基づいて製品群の品質に関する品質情報を取得する処理と、取得した品質情報に基づいて第５メモリから品質情報に対応する付加情報を取得する処理と、を行い、出力処理は、製品群に対応して取得した付加情報を出力することが好ましい。製品群に対応して取得される付加情報としては、その製品群の品質に応じた、製品の事後処理の内容や利用用途などの情報が考えられる。
　本発明の第１６態様に係る製造ラインの異常予兆検知装置において、特異点情報は、製品の特異点の発生位置情報及びサイズ情報を含み、プロセッサは、特異点情報取得処理により取得した特異点情報に基づいて閾値よりも小さい特異点サイズの微小特異点を示す微小特異点情報を取得する処理と、取得した微小特異点情報に基づいて微小特異点を強調表示させる強調情報であって、微小特異点を含み、微小特異点の特異点サイズよりも大きい領域を視認可能に表示させる強調情報と微小特異点の個数に対応する情報とを生成する処理と、を行い、出力処理は、画像に強調情報及び微小特異点の個数に対応する情報を重畳してディスプレイに表示させることが好ましい。微小特異点は、その微小特異点の領域を強調しても視認しづらいため、微小特異点の特異点サイズよりも大きい領域を視認可能に表示させる強調情報、及び微小特異点の個数に対応する情報を生成し、これらの情報を画像に重畳してディスプレイに表示させることで、微小特異点の発生箇所等を確認しやすくする。
　本発明の第１７態様に係る製造ラインの異常予兆検知装置において、強調情報は、微小特異点の特異点サイズよりも大きい領域を特定の色及び輝度のうちの少なくとも一方で塗り潰すマスク情報、又は領域を囲む枠情報であり、微小特異点の個数に対応する情報は、個数を示す文字情報、又は個数に応じた強調情報の色及び輝度のうちの少なくとも一方の情報であることが好ましい。
　本発明の第１８態様に係る製造ラインの異常予兆検知装置において、特異点情報取得処理は、画像の特徴量を抽出し、画像の画素ごとに特異点情報の欠陥確率を取得し、出力処理は、特異点情報に対応する画素に、欠陥確率に応じた色を付加してディスプレイに表示させることが好ましい。欠陥確率に応じた色を特異点情報に対応する画素に付加することで、特異点領域を欠陥確率に応じたグラデーションやヒートマップとして表示することができる。特異点情報の欠陥確率に応じた色は、色相及び彩度の少なくとも一方を含む。
　第１９態様に係る発明は、製品を製造する製造ラインと、プロセッサと、撮影装置と、第１メモリと、第２メモリとを備えた製造装置であって、プロセッサは、製造ラインにより製造された製品を、撮影装置を用いて１つずつ撮影する撮影処理と、撮影により取得した画像に基づいて製品の特異点に関連する特異点情報を取得する特異点情報取得処理と、取得した特異点情報を第１メモリに保存する特異点情報保存処理と、第１メモリに保存した特異点情報のうち、製品の欠陥の有無の判定に影響する情報を欠陥関連情報として第２メモリに保存し、製品の欠陥の有無の判定に影響しない情報を欠陥非関連情報として第２メモリに保存する保存処理と、欠陥関連情報に基づいて、製品の健全度を示す製品評価値を算出する製品評価値算出処理と、製品評価値算出処理により算出された製品評価値に基づいて製品の欠陥の有無を検知する欠陥検知処理と、欠陥関連情報と欠陥非関連情報とに基づいて、製造ラインの健全度を示すライン評価値を算出するライン評価値算出処理と、算出されたライン評価値に基づいて製造ラインの異常兆候を検知する異常兆候検知処理と、製造ラインの異常兆候の検知結果及び製品の欠陥の検知結果を含むフィードバック情報を出力する出力処理と、を行う、製造装置である。
　第２０態様に係る発明は、プロセッサと、撮影装置と、第１メモリと、第２メモリとを備えた検品装置であって、プロセッサは、製造ラインにより製造された検査対象である製品を、撮影装置を用いて１つずつ撮影する撮影処理と、撮影により取得した画像に基づいて製品の特異点に関連する特異点情報を取得する特異点情報取得処理と、取得した特異点情報を第１メモリに保存する特異点情報保存処理と、第１メモリに保存した特異点情報のうち、製品の欠陥の有無の判定に影響する情報を欠陥関連情報として第２メモリに保存し、製品の欠陥の有無の判定に影響しない情報を欠陥非関連情報として第２メモリに保存する保存処理と、欠陥関連情報に基づいて、製品の健全度を示す製品評価値を算出する製品評価値算出処理と、製品評価値算出処理により算出された製品評価値に基づいて製品の欠陥の有無を検知する欠陥検知処理と、欠陥関連情報と欠陥非関連情報とに基づいて、製造ラインの健全度を示すライン評価値を算出するライン評価値算出処理と、ライン評価値算出処理により算出されたライン評価値に基づいて製造ラインの異常兆候を検知する異常兆候検知処理と、製造ラインの異常兆候の検知結果及び製品の欠陥の検知結果を含むフィードバック情報を出力する出力処理と、を行う、検品装置である。
　第２１態様に係る発明は、プロセッサが、以下のステップの処理を行うことにより製造ラインの異常兆候を検知する製造ラインの異常予兆検知方法であって、製造ラインにより製造された検査対象である製品を、撮影装置を用いて１つずつ撮影するステップと、撮影により取得した画像に基づいて製品の特異点に関連する特異点情報を取得するステップと、取得した特異点情報を第１メモリに保存するステップと、第１メモリに保存した特異点情報のうち、製品の欠陥の有無の判定に影響する情報を欠陥関連情報として第２メモリに保存し、製品の欠陥の有無の判定に影響しない情報を欠陥非関連情報として第２メモリに保存するステップと、欠陥関連情報に基づいて、製品の健全度を示す製品評価値を算出するステップと、製品評価値に基づいて製品の欠陥の有無を検知するステップと、欠陥関連情報と欠陥非関連情報とに基づいて、製造ラインの健全度を示すライン評価値を算出するステップと、ライン評価値に基づいて製造ラインの異常兆候を検知するステップと、製造ラインの異常兆候の検知結果及び製品の欠陥の検知結果を含むフィードバック情報を出力するステップと、を含む、製造ラインの異常予兆検知方法である。
　本発明の第２３態様に係る製造ラインの異常予兆検知方法において、撮影装置は、放射線撮影装置、超音波撮影装置、又は赤外線撮影装置であることが好ましい。製品を非破壊検査するためである。
　第２４態様に係る発明は、第２１態様又は第２３態様のいずれかに記載の製造ラインの異常予兆検知方法をコンピュータに実行させる製造ラインの異常予兆検知プログラムである。
　本発明によれば、製造ラインの異常兆候を早期に遅滞なく検知することができ、その検知結果及び製品の欠陥の検知結果を含むフィードバック情報を取得することができる。
図１は、本発明に係る製造装置の構成を示す概略図である。 図２は、製品を撮影する放射線撮影装置の一例を示す図である。 図３は、本発明に係る製造ラインの異常予兆検知装置のハードウェア構成の実施形態を示すブロック図である。 図４は、本発明に係る製造ラインの異常予兆検知装置の実施形態を示す機能ブロック図である。 図５は、メモリに保存される検査履歴の一例を示す図表である。 図６は、特異点情報に含まれる特定の特異点情報と製造ラインの複数の製造工程のうちの特定の特異点情報と関連する特定の製造工程とを対応させた第１対応表の第１例を示す図表である。 図７は、特異点情報に含まれる特定の特異点情報と製造ラインの複数の製造工程のうちの特定の特異点情報と関連する特定の製造工程とを対応させた第１対応表の第２例を示す図表である。 図８は、製品群における各製品の特異点を製造工程ごとにカウントした場合のカウント値（製造工程ごとの工程評価値）の一例を示す図表である。 図９は、特定の特異点情報と関連する特定の環境情報とを対応させた第２対応表の一例を示す図表である。 図１０は、製品群ごとの品質を示す品質情報と品質情報に関連する付加情報とを対応させた対応表の一例を示す図表である。 図１１は、微小特異点を含む製品の画像の一例を示す図である。 図１２は、微小特異点を含む製品の画像の他の例を示す図である。 図１３は、本発明に係る製造ラインの異常予兆検知方法の実施形態を示すフローチャートである。
　以下、添付図面に従って本発明に係る製造ラインの異常予兆検知装置、方法及びプログラム並びに製造装置及び検品装置の好ましい実施形態について説明する。
　［製造装置の構成］
　図１は、本発明に係る製造装置の構成を示す概略図である。
　図１に示す製造装置は、製造ライン１０、及び製造ラインの異常予兆検知装置３０から構成されている。
　製造ライン１０は、製造工程１から製造工程Ｎの複数の製造工程を備え、各製造工程１～Ｎを経由して金属部品からなる製品Ｐを製造する。例えば、製造工程１は、部品Ａを製造し、製造工程２は、部品Ｂを製造するとともに、部品Ａと部品Ｂとを接合し、製造工程Ｎは、部品Ｃを製造するとともに、部品Ｂと部品Ｃとを接合して、この製造ライン１０による製造対象物の製品Ｐを製造する。
　本発明に係る製造ラインの異常予兆検知装置３０は、放射線撮影装置（撮影装置）２０を含んで構成されており、放射線撮影装置２０により撮影された画像により製品Ｐを非破壊検査する検品装置として機能する。
　製造ライン１０により製造された製品Ｐは、放射線撮影装置２０により１つずつ撮影される。
　図２は、製品を撮影する放射線撮影装置の一例を示す図である。
　図２に示す放射線撮影装置２０は、放射線としてＸ線を使用するＸ線撮影装置であり、Ｘ線源２２と、イメージングプレート２４とを備え、製品Ｐを挟んでＸ線源２２と対向する位置にイメージングプレート２４が配置されている。
　Ｘ線源２２から照射されるＸ線は、製品Ｐを透過してイメージングプレート２４に入射し、イメージングプレート２４には、入射線量に応じたエネルギ情報（Ｘ線画像情報）が蓄えられる。イメージングプレート２４に蓄えられたＸ線画像情報は、図３に示す画像読取装置４０により読み取られ、製造ラインの異常予兆検知装置３０に製品ＰのＸ線透視画像として取り込まれる。
　放射線撮影装置２０は、イメージングプレート２４を使用するものに限らず、Ｘ線フラットパネルディテクタ、Ｘ線ラインセンサ、Ｘ線フィルム等を使用したものでもよい。また、製品に対して、どの位置及びどの方向から撮影するかは製品に応じて決定され、１つの製品に対して複数箇所の撮影を行うようにしてもよい。
　製造ラインの異常予兆検知装置３０は、製品Ｐを撮影して取得したＸ線透視画像（以下、単に「画像」という）に基づいて製品Ｐを非破壊検査し、製品Ｐの検査結果から製造ライン１０全体、あるいは製造ライン１０の各製造工程１～Ｎの異常兆候を検知するものである。
　［製造ラインの異常予兆検知装置のハードウェア構成］
　図３は、本発明に係る製造ラインの異常予兆検知装置のハードウェア構成の実施形態を示すブロック図である。
　図３に示す製造ラインの異常予兆検知装置３０は、パーソナルコンピュータ、ワークステーション等により構成され、プロセッサ３２、メモリ３４、ディスプレイ（表示部）３６、入出力インターフェース３８、及び操作部３９等を備える。
　プロセッサ３２は、ＣＰＵ（Central Processing Unit）等から構成され、製造ラインの異常予兆検知装置３０の各部を統括制御するとともに、放射線撮影装置２０により撮影された製品Ｐごとの画像に基づいて各種の処理を行い、製造ライン１０の異常兆候を検知するが、プロセッサ３２による各種の処理の詳細については後述する。
　メモリ３４は、フラッシュメモリ、ＲＯＭ（Read-only Memory）、及びＲＡＭ(Random Access Memory)、ハードディスク装置等を含む。フラッシュメモリ、ＲＯＭ又はハードディスク装置は、オペレーションシステム、本発明に係る製造ラインの異常予兆検知プログラムを含む各種のプログラム等を記憶する不揮発性メモリである。ＲＡＭは、プロセッサ３２による処理の作業領域として機能する。また、フラッシュメモリ等に格納された構造物の状態予測プログラム等を一時的に記憶する。
　メモリ３４には、プロセッサ３２の特異点情報取得処理により取得した、製品の特異点に関連する特異点情報が、製品ごとの検査履歴として保存され、また、後述する各種の対応表（テーブル）等が記憶される。
　特異点情報のうちの、製品の欠陥の有無の判定に影響する特異点情報は、欠陥関連情報として分類されてメモリ３４に保存され、製品の欠陥の有無の判定に影響しない特異点情報は、欠陥非関連情報として分類されたメモリ３４に保存される。尚、特異点情報の詳細については後述する。
　プロセッサ３２は、製造ラインの異常予兆検知プログラムにしたがって、ＲＡＭを作業領域としながら、メモリ３４から製品ごとの検査履歴に含まれる各種の特異点情報等の必要なデータを取得し、製造ラインの異常予兆検知装置３０の各部の制御及び処理を行う。
　表示部３６は、プロセッサ３２により検知された、製造ライン１０の異常兆候の検知結果を含むフィードバック情報を表示する。ユーザは、表示部３６により表示されたフィードバック情報により、製造ライン１０の健全度を確認することができ、製造ライン１０に対して適切な保守、保全等を行うことができる。
　また、表示部３６は、プロセッサ３２が取得した製品Ｐの画像を表示させることができ、ユーザは、表示部３６に表示された画像を見ながら、製品Ｐの各種の特異点を確認することができる。尚、表示部３６は、操作部３９からユーザ指示を受け付ける場合のＧＵＩ（Graphical User Interface）の一部としても使用される。
　入出力インターフェース３８は、外部機器と接続可能な接続部、及びネットワークと接続可能な通信部等を含む。外部機器と接続可能な接続部としては、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（ＨＤＭＩは登録商標）等を適用することができる。入出力インターフェース３８に画像読取装置４０を接続し、画像読取装置４０が、図２に示した放射線撮影装置２０のイメージングプレート２４に蓄えられたＸ線画像情報を読み取ることで、プロセッサ３２は、入出力インターフェース３８を介して製品ＰのＸ線透視画像を取得することができる。
　操作部３９は、キーボード、マウス等のポインティングデバイス、キーボード等を含み、ユーザによる各種の指示を受け付けるＧＵＩの一部として機能する。
　［製造ラインの異常予兆検知装置の実施形態］
　図４は、本発明に係る製造ラインの異常予兆検知装置の実施形態を示す機能ブロック図である。
　図４に示す製造ラインの異常予兆検知装置は、撮影処理部５１、特異点情報取得部５２、メモリ制御部５３、ライン評価値算出部５４、異常兆候検知部５５、出力部５６、製品評価値算出部５７、欠陥検知部５８、欠陥予兆値算出部５９、及び報知部６０を備え、図３に示した製造ラインの異常予兆検知装置３０のプロセッサ３２が、撮影処理部５１、特異点情報取得部５２、メモリ制御部５３、ライン評価値算出部５４、異常兆候検知部５５、出力部５６、製品評価値算出部５７、欠陥検知部５８、欠陥予兆値算出部５９、及び報知部６０として機能する。
　撮影処理部５１は、製造ライン１０により製造された検査対象である製品Ｐを、放射線撮影装置２０を用いて１つずつ撮影する撮影処理を、自動的に又はユーザからの撮影指示入力により行う部分であり、放射線撮影装置２０により撮影された製品Ｐの画像を、入出力インターフェース３８を介して取得する。
　特異点情報取得部５２は、撮影処理部５１が取得した画像に基づいて製品Ｐの特異点に関連する特異点情報を取得する特異点情報取得処理を行う。特異点情報取得部５２により取得される特異点情報は、製品Ｐの特異点の種別情報、発生位置情報、サイズ情報、及び形状情報のうちの１以上である。製品Ｐの特異点には、欠陥とまでは言えない微細な異質な部分も含まれ、特異点情報は、製品Ｐの欠陥の有無の判定に影響する情報である欠陥関連情報と、製品Ｐの欠陥の有無の判定に影響しない情報である欠陥非関連情報とに分類される。
　特異点の種別情報は、ガスホール、気泡、高密度異物、低密度異物、クラック、溶接不良などが考えられる。特異点の発生位置情報は、製品Ｐが複数の部品から構成されている場合には、特異点が発生した部品の情報も特異点の発生位置情報の一つである。溶接不良には、溶接金属内部の空洞部（ブローホール、ピンホール）、溶け込み不良、アンダーカット、オーバーラップ等がある。サイズ情報は、特異点領域の面積（画素数）で表すことができる。また、球形の特異点の場合は直径で表し、線状の特異点の場合は特異点の長さで表すことができる。
　特異点情報取得部５２は、例えば、ＡＩ（Artificial Intelligence）により構成することができ、製品Ｐの画像を入力すると、画像の特徴量を抽出し、画像の各画素が、どの特異点の種類に属するかのクラス分類を行うことで、特異点領域の抽出、及び特異点種別の認識結果等の特異点情報を取得する。また、ユーザが、表示部３６に表示された画像から目視により特異点を確認し、操作部３９により特異点の種別情報、特異点の発生位置情報等を入力し、特異点情報取得部５２は、ユーザ操作により入力された特異点情報を取得するようにしてもよい。
　メモリ制御部５３は、特異点情報取得部５２により取得された、製品Ｐの特異点に関連する特異点情報を、製品Ｐごとの検査履歴としてメモリ（第１メモリ）３４に保存させる特異点情報保存処理と、メモリ３４に保存した特異点情報のうち、製品の欠陥の有無の判定に影響する情報を欠陥関連情報としてメモリ（第２メモリ）３４に保存し、製品の欠陥の有無の判定に影響しない情報を欠陥非関連情報としてメモリ（第２メモリ）３４に識別可能に保存する保存処理とを行うとともに、メモリ３４に保存された検査履歴等を読み出す読出処理を行う。尚、第１メモリと第２メモリとは、同じメモリ３４内の異なる記憶領域に限らず、物理的に異なるメモリでもよい。
　図５は、メモリに保存される検査履歴の一例を示す図表である。
　図５に示す検査履歴は、製品ごとに製品番号に関連付けられた特異点情報（特異点の種別情報、特異点の発生位置情報、特異点のサイズ情報、及び特異点の形状情報）であり、その他の情報として、製品のロット番号、検査画像、検査日時等を含んでいてもよい。
　また、図５に示す例では、１つの製品に対して、１つの特異点情報が保存されているが、１つの製品に対して複数の特異点情報（複数の同種の特異点情報、及び／又は複数の異種の特異点情報を含む）が取得されている場合には、複数の特異点情報が保存される。
　更に、微小特異点の１つである径の小さいピンホールの場合、ピンホールの個数の情報も保存することが好ましい。尚、ピンホールの個数が１個の場合は、孤立したピンホールであり、複数個の場合は、密集したピンホールである。孤立したピンホール、又は密集したピンホールが複数存在する場合は、複数の特異点情報として保存することが好ましい。密集して複数のピンホールが存在する場合、その領域が特異点の発生位置となる。
　また、特異点が検出されない製品についても、検査履歴（「特異点無し」）として保存してもよい。
　メモリ制御部５３は、特異点情報のうち、製品の欠陥の有無の判定に影響する特異点情報を欠陥関連情報としてメモリに保存し、製品の欠陥の有無の判定に影響しない特異点情報を欠陥非関連情報としてメモリに識別可能に保存するが、各特異点情報に対して、欠陥関連情報又は欠陥非関連情報のフラグ情報を付加するようにしてもよい。
　ここで、欠陥関連情報又は欠陥非関連情報に特異点情報を分類する場合、特異点のサイズ情報、種別情報、発生位置情報、及び特異点の個数等のうちの１つの情報、又は複数の情報の組合せに基づいて行うことができる。
　例えば、特異点のサイズが非常に大きい場合、特異点の種別情報及び発生位置情報にかかわらず、欠陥関連情報として分類することができる。また、特異点の種別情報がピンホール（小さい気泡等）の場合、密集するピンホールの個数、及び／又は発生位置の情報に基づいて欠陥関連情報又は欠陥非関連情報に分類することができる。例えば、孤立したピンホールは、欠陥非関連情報に分類することができる。密集するピンホールの場合、許容できる個数よりも少ない場合、あるいはピンホールの発生位置が大きな応力が加わる重要箇所ではない場合、欠陥非関連情報に分類することができる。
　図４に戻って、ライン評価値算出部５４は、メモリ３４に保存された検査履歴を構成する、欠陥関連情報又は欠陥非関連情報に分類された特異点情報を、メモリ３４からメモリ制御部５３を介して読み出し、読み出した特異点情報に基づいて製造ライン１０の健全度を示すライン評価値を算出するライン評価値算出処理を行う。
　ライン評価値の算出に使用される特異点情報は、欠陥関連情報に分類された特異点情報と欠陥非関連情報に分類された特異点情報とを含む。したがって、ライン評価値算出部５４は、メモリ３４（第２メモリ）に保存された欠陥関連情報とメモリ３４（第２メモリ）に保存された欠陥非関連情報とに基づいて、製造ライン１０の健全度を示すライン評価値を算出する。
　ライン評価値算出部５４は、メモリ３４（第２メモリ）に保存された欠陥関連情報とメモリ３４（第２メモリ）に保存された欠陥非関連情報に基づいて製造ライン１０の健全度を示すライン評価値を算出するライン評価値算出処理を行う。
　ライン評価値算出部５４は、好ましくは少なくとも１つの欠陥関連情報と少なくとも２以上の欠陥非関連情報、より好ましくは２以上の欠陥関連情報と２以上の欠陥非関連情報に基づいて、製造ライン１０の健全度を示すライン評価値を算出する。
　尚、ライン評価値算出部５４は、メモリ３４（第２メモリ）に保存された欠陥非関連情報に基づいて製造ライン１０の健全度を示すライン評価値を算出するようにしてもよい。
　また、ライン評価値の算出に使用される特異点情報は、複数の製品に対応する特異点情報（欠陥関連情報と欠陥非関連情報）である。
　ここで、複数の製品は、一定期間内に製造された製品群、時系列に沿って製造された一定数の製品群、若しくは製品を管理する単位である１ロットの製品群であることが好ましい。
　一定期間は、１週間、１カ月等が考えられ、ユーザが適宜設定することが可能である。また、一定期間に製造される製品群に対する検査履歴群は、重複を許して設定することができる。例えば、一定期間が１週間の場合において、１週間を１日ずつずらすことで、過去１週間の間に製造された製品群に対応する検査履歴群を、毎日取得することができる。この場合、新規に取得した検査履歴群のうちの６日分の検査履歴は、前日に取得した検査履歴群の検査履歴と重複することになる。
　また、一定数は、ユーザが製品に応じて適宜設定することができる。一定数の検査履歴は、上記と同様に重複を許して設定することができる。
　１ロットの製品の数量は、在庫数や原材料の仕入れ等を考慮して、ユーザが適宜設定することができる。
　ライン評価値算出部５４は、複数の製品に対応する複数の検査履歴における個々の特異点情報であり、欠陥関連情報と欠陥非関連情報とに分類された特異点情報に基づいて、製造ライン１０の健全度を示すライン評価値を算出する。具体的には、ライン評価値算出部５４は、製品群における欠陥関連情報と欠陥非関連情報との総数をカウントし、カウントしたカウント値に基づいてライン評価値を算出することができる。ライン評価値は、カウント値そのものをライン評価値とする場合の他、カウント値を対象とした製品の個数で割った平均値として求めてもよい。
　また、ライン評価値算出部５４は、製品群における欠陥関連情報と欠陥非関連情報との総数をカウントする際に、欠陥関連情報と欠陥非関連情報とを重み付けしてカウントすることが好ましい。欠陥関連情報と欠陥非関連情報との重みは、特異点の種別情報、発生位置情報、サイズ情報、及び形状情報のうちの１以上の特異点情報に応じて決定することが好ましい。
　更に、ライン評価値算出部５４は、欠陥関連情報をカウントする際に、欠陥関連情報の種類に応じた重み付けを行いカウントすることが好ましい。欠陥関連情報の種類は、欠陥の種別情報、発生位置情報、サイズ情報、形状情報、又は程度を含み、ライン評価値算出部５４は、欠陥関連情報の種類自体に応じた重みづけの他に、欠陥関連情報の内容に応じた重み付け（例えば、欠陥のサイズが大きいものほど重み付けを大きくするや、形状で尖った部分の角度に応じた重み付けなど）を行いカウントすることが好ましい。
　異常兆候検知部５５は、ライン評価値算出部５４により算出したライン評価値に基づいて製造ライン１０の異常兆候を検知する異常兆候検知処理を行う。異常兆候検知部５５は、製造ライン１０の健全度を示すライン評価値を、製品群（検査履歴群）ごとに取得することができるため、製造ライン１０の健全度の変化を予測（製造ライン１０の異常兆候を検知）することができる。
　また、異常兆候検知部５５は、例えば、製造時期が異なる２以上の製品群に対応する２以上のライン評価値を比較し、その比較結果に基づいて製造ライン１０の異常兆候を検知することができる。例えば、製品群ごとのライン評価値が変動しない場合には、製造ライン１０の異常兆候がないと判断することができ、製品群ごとのライン評価値が増加傾向にあり、製造ライン１０の異常と見なせる閾値に近づいてきた場合には、製造ライン１０に異常兆候があると判断することができる。
　出力部５６は、異常兆候検知部５５により検知された製造ライン１０の異常兆候の検知結果を含むフィードバック情報を出力する出力処理を行う。フィードバック情報の出力先は、表示部３６、あるいは製造ライン１０又は製造ライン１０と関連する設備等とすることができる。
　ユーザは、表示部３６に表示されるフィードバック情報を確認することができ、製造ライン１０の保守、点検作業の必要性等を事前に（欠陥製品が製造される前に）判断することができる。
　また、製造ライン１０又は製造ライン１０に関連する設備にフィードバック情報を出力することで、製造ライン１０における各種金型、溶融金属の温度、圧力、溶接温度等を自動制御し、製造ライン１０に関連する設備（例えば、空調設備、原材料の保管設備等の温度、湿度等）を自動制御することも可能である。
　＜検品部＞
　製品評価値算出部５７及び欠陥検知部５８は、製品Ｐの検品部として機能する。
　製品評価値算出部５７は、メモリ３４に保存された検査履歴を構成する欠陥関連情報を、製品Ｐごとにメモリ３４からメモリ制御部５３を介して読み出し、読み出した欠陥関連情報に基づいて、製品Ｐごとに製品の健全度を示す製品評価値を算出する製品評価値算出処理を行う部分である。尚、欠陥関連情報の種類（欠陥の種別情報、発生位置情報、サイズ情報、形状情報、程度など）に応じて製品評価値を算出することが好ましい。
　製品評価値算出部５７は、１つの製品Ｐについて、複数の欠陥関連情報がある場合、欠陥関連情報をカウントし、あるいは欠陥関連情報の種類の応じた重み付けカウントを行い、カウントしたカウント値に基づいて製品評価値を算出することが好ましい。
　欠陥検知部５８は、製品評価値算出部５７により算出された製品評価値に基づいて１つ１つの製品Ｐの欠陥の有無を検知する欠陥検知処理を行う。また、欠陥検知部５８は、欠陥がないと検知した製品Ｐであって、製品評価値に基づいて製品のランク付けを行うようにしてもよい。
　出力部５６は、製造ラインの異常兆候の検知結果を含むフィードバック情報に加えて、欠陥検知部５８から入力する製品Ｐの欠陥の検知結果を含むフィードバック情報を出力する。製品Ｐの欠陥の検知結果のフィードバック情報は、製品Ｐを良品と不良品（欠陥品）とに自動又は手動で選別するための情報として使用することができる。
　＜欠陥予兆＞
　欠陥予兆値算出部５９及び報知部６０は、製造ライン１０で製品Ｐを製造し続けた場合における、将来、製品Ｐに欠陥が発生する可能性もしくは欠陥が発生する時期について予測及報知する部分である。
　欠陥予兆値算出部５９は、メモリ３４に保存された検査履歴を構成する欠陥非関連情報を、製品Ｐごとにメモリ３４からメモリ制御部５３を介して読み出し、読み出した欠陥非関連情報に基づいて欠陥予兆値を算出する欠陥予兆値算出処理を行う。
　製品（部品）の正常な領域であっても、そのテクスチャ（映り込む模様）の特徴量（例：輝度の凹凸のパターンやコントラストの程度、ノイズのようなパターンが表れる場合はその密度）などから，欠陥発生の予兆傾向が見い出せる場合がある。
　また、許容範囲の特異点（製品の欠陥の有無の判定に影響しない特異点）であり、現時点では欠陥と判断されないレベルのものであっても、経時的観察から、将来欠陥と評価されてしまうレベルに到達することが予測される場合もある。
　欠陥予兆値算出部５９は、現在の製造ライン１０で製品Ｐを製造し続けた場合、良品の製造を引き続き製造できる製品の個数、あるいは製造期間等の欠陥予兆値を算出する。
　報知部６０は、欠陥予兆値算出部５９により算出された欠陥予兆値を報知処理する部分である。欠陥予兆値の報知により、事前に計画的にシステムのメンテナンスを行ったり、製造環境の見直しを行うことができ、効率的に製造を行うことできる。尚、欠陥予兆値の報知は、出力部５６から行うようにしてもよい。
　＜製造ラインの各製造工程の異常兆候の検知＞
　製造ラインの異常予兆検知装置３０は、製品Ｐの特異点に関連する特異点情報に含まれる特定の特異点情報と、製造ライン１０の複数の製造工程１～Ｎのうちの特定の特異点情報と関連する特定の製造工程とを対応させた第１対応表を記憶する第３メモリ（メモリ３４）を備えている。
　図６は、特異点情報に含まれる特定の特異点情報と製造ラインの複数の製造工程のうちの特定の特異点情報と関連する特定の製造工程とを対応させた、第１対応表の第１例を示す図表である。
　図６に示す第１例の第１対応表は、特異点情報（特に欠陥関連情報に分類される特異点情報の発生部品）と製造工程との関係を示す。
　図６に示すように、例えば、製品Ｐの部品Ａが製造工程１により製造される場合、部品Ａに関連する特異点情報（例えば、特異点の発生位置情報が部品Ａである特定の特異点情報）と、製造工程１（特定の製造工程）とが対応付けられる。
　同様に製品Ｐの部品Ｂに関連する特異点情報（例えば、特異点の発生位置情報が部品Ｂである特定の特異点情報）と、製造工程２（特定の製造工程）とが対応付けられ、製品Ｐの部品Ｃに関連する特異点情報（例えば、特異点の発生位置情報が部品Ｃである特定の特異点情報）と、製造工程Ｎ（特定の製造工程）とが対応付けられる。
　図７は、特異点情報に含まれる特定の特異点情報と製造ラインの複数の製造工程のうちの特定の特異点情報と関連する特定の製造工程とを対応させた、第１対応表の第２例を示す図表である。
　図７に示す第２例の第１対応表は、特異点情報（特異点の種類）と製造工程との関係を示す。
　図７に示すように、例えば、製造工程３が鋳造工程を含み、ピンホールが発生する可能性がある場合、ピンホール（特定の特異点情報）と、製造工程３（特定の製造工程）とが対応付けられる。同様に、製造工程４が溶接工程を含み溶接欠陥が発生する可能性がある場合、溶接欠陥（特定の特異点情報）と、溶接工程を含む製造工程４（特定の製造工程）とが対応付けられる。
　ライン評価値算出部５４は、製品群における欠陥関連情報と欠陥非関連情報とをカウントする際に、図６及び図７に示した第１対応表にしたがって製造ライン１０の製造工程１～Ｎごとにカウントし、カウントした製造工程１～Ｎごとのカウント値を、各製造工程１～Ｎの健全度を示す工程評価値として算出することができる。
　異常兆候検知部５５は、前述したように製品群の特異点（欠陥関連情報と欠陥非関連情報）を重み付けしてカウントしたカウント値（ライン評価値）に基づいて製造ライン１０全体の異常兆候を検知する場合に限らず、製造工程ごとに算出した工程評価値に基づいて、製造ライン１０の各製造工程１～Ｎの異常兆候を検知することができる。
　また、出力部５６は、異常兆候検知部５５により検知された製造ライン１０の各製造工程１～Ｎの異常兆候の検知結果を含むフィードバック情報を出力することができる。
　図８は、製品群における各製品の特異点を製造工程ごとにカウントした場合のカウント値（製造工程ごとの工程評価値）の一例を示す図表である。
　製品群は、ロット単位の製品群であり、図８に示す例では、ロットI、ロットII、ロットIIIの製品群ごとの特異点のカウント値が、製造工程１～Ｎ別にカウントされている。
　図８に示す例によれば、ロットIIIの製品群では、他のロットI、IIの製品群と比較して、製造工程２に関連した特異点のカウント値（１５）が大幅に多くなっており、製造ライン１０の製造工程２に不具合（異常兆候）があると考えられる。
　したがって、製造ラインの異常予兆検知装置３０は、特定の製造工程の不具合と関連付けられたフィードバック情報を取得した場合には、その旨をユーザに通知して、製造ライン１０の特定の製造工程の点検を促すことができる。
　尚、プロセッサ３２は、製品群の製品ごとに、各製品の特異点情報（特に欠陥関連情報）に基づいて、製品の健全度を示す製品評価値を算出することができ、製品群の各製品の健全度を示す製品評価値を総合して、ライン評価値を算出するようにしてもよい。
　＜特異点情報に関連する特定の環境情報の取得＞
　製造ラインの異常予兆検知装置３０は、製品Ｐの特異点に関連する特異点情報に含まれる特定の特異点情報と、製造ライン１０における製造環境を示す複数の環境情報のうちの特定の特異点情報と関連する特定の環境情報とを対応させた、第２対応表を記憶する第４メモリ（メモリ３４）を備えている。
　図９は、特定の特異点情報と関連する特定の環境情報とを対応させた第２対応表の一例を示す図表である。
　図９に示す第２対応表は、特定の特異点情報（特異点の種類）と特定の環境情報（製造環境）との関係を示す。
　例えば、鋳造プロセスにおいて、溶湯の充填時にＣＯ２の巻き込み等によりガス欠陥が発生する場合がある。図９に示す例では、ガス欠陥と環境情報（ＣＯ２過多）とが対応付けられている。
　また、クラック欠陥は、湿度、溶接温度の影響を受けて発生する場合がある。図９に示す例では、クラック欠陥と環境情報（湿度／溶接温度範囲不適）とが対応付けられている。
　プロセッサ３２は、製品群に対応する各検査履歴に基づいて特定の特異点情報を取得した場合に、取得した特定の特異点情報に関連する特定の環境情報を、第２対応表（図９）にしたがって取得する処理を行う。
　出力部５６は、特定の特異点情報に関連する特定の環境情報を含むフィードバック情報を出力することができる。
　製品Ｐの特異点と製造環境とを関連付けることが可能なフィードバック情報が取得された場合、環境制御装置への制御信号を生成することができる。例えば、特定の種類の特異点が多く発生しており、かつ、その種類の特異点が発生する原因が、一般に、あるいは製品の特性や経験上、絞り込むことが可能な場合（図９に示したようにガス欠陥はＣＯ２が多く含まれていることが原因で生じやすく、クラック欠陥は、湿度や溶接の温度がある幅を超えた数値のときに生じやすいなどの場合）は、自動で空調設備、溶接温度、その他の外部環境制御装置に制御信号を伝達し、湿度、溶接温度、原材料の管理環境等を自動で調整し、最適な環境に制御する。尚、ユーザが手動で空調設備、溶接温度等を調整してもよい。
　＜製品群の品質に対応する付加情報の取得＞
　製造ラインの異常予兆検知装置３０は、製品群ごとの品質を示す品質情報と品質情報に関連する付加情報とを対応させて記憶する第５メモリ（メモリ３４）を備えている。
　図１０は、製品群ごとの品質を示す品質情報と品質情報に関連する付加情報とを対応させた対応表の一例を示す図表である。
　図１０に示す対応表は、製品群ごとの品質を示す品質情報と付加情報との関係を示す。
　図１０に示すように製品群の品質を示す品質情報は、例えば、最優良品、優良品、良品等のランクであり、品質情報に関連する付加情報は、後工程における製品の接合方法を含む加工手段、製品の利用用途等である。
　尚、製品群ごとの品質情報は、製品群の特異点をカウントしたカウント値（ライン評価値）により決定することができる。また、プロセッサ３２は、製品群の製品ごとに、各製品の特異点情報（特に欠陥関連情報）に基づいて、製品の健全度を示す製品評価値を算出する製品評価値算出処理を行い、製品群における各製品の製品評価値を総合して、製品群の品質情報を算出するようにしてもよい。
　また、品質情報に関連する付加情報は、図１０に示したものに限らず、製品の品質情報及び製品の種類に応じて、予めユーザが製品群に対するレポートとして作成することができる。
　微小な傷すら含まれない最優良品の製品群であれば、後工程である接合時に比較的簡易な「ネジ接合」で十分な強度を保証できるため、接合方法として「ネジ接合」という付加情報を付与する。また、その製品群は、当初予定された装置に使用できる旨のレポートを付与することができる。
　欠陥というレベルには至らないものの微小な傷を含む良品の製品群であれば、接合方法として、強度を事後的に補強可能な「圧入や高温による焼き嵌め」等の付加情報を付与する。また、より複雑で強固な接合方法を用いることで十分な強度が保証できる場合は、利用用途として、一定の条件のもとで特定の用途Ｘに利用可能である旨のレポートを付与する。
　また、最優良品と良品の中間の優良品の製品群であれば、接合方法として「圧入や高温による焼き嵌め」等の付加情報を付与した上で、当初予定された装置に使用できる旨のレポートを付与することができる。
　プロセッサ３２は、製品群に対応する各検査履歴に基づいて、製品群の品質に関する品質情報を取得する処理を行う。そして、取得した品質情報に基づいてメモリ３４に記憶された対応表（図１０参照）から品質情報に対応する付加情報を取得する処理を行う。
　出力部５６は、製品群に対応して取得した付加情報を出力する。これにより、検査された製品群の品質に応じて適切に選択した付加情報（レポート）を製品群の出荷先に提供することができる。
　＜微小特異点の強調表示＞
　図１１は、微小特異点を含む製品の画像の一例を示す図である。
　製品又は製品の一部が鋳造品の場合、製品内に微細な気泡が残る微小特異点（ガス欠陥候補）が発生し得る。
　図１１（Ａ）に示す画像には、画像の左側に密集した９個の気泡と、画像の右側に密集した３個の気泡とが存在する。
　図１１（Ａ）に示す気泡は、大きく図示されているが、実際には視覚的に捉えにくいサイズのものである。画像から気泡（特異点）の領域を検出する画像処理を行い、気泡の領域を強調表示しても、視覚的に捉えにくいサイズのものがある。
　そこで、視覚的に判別が容易でない微小特異点の場合には、検出された微小特異点の大きさや形状を強調表示することで、撮影された製品の全体像を見ながら、同時に全体像に含まれる微小特異点の位置、個数を視覚的に容易に認識できるようにする。
　図１１（Ｂ）に示す画像には、微小特異点の発生領域等を視覚的に容易に判別可能にする強調情報が重畳表示されている。
　図１１（Ｂ）に示す強調情報は、微小特異点である気泡のサイズよりも大きい領域を特定の色及び輝度のうちの少なくとも一方で塗り潰すマスク情報である。密集した９個の気泡を包含する領域、及び密集した３個の気泡を包含する領域は、それぞれマスク情報が重畳され、塗り潰されている。
　また、微小特異点の個数に対応する情報として、その個数を示す文字情報（数字）が重畳表示されている。尚、本例のマスク情報は、マスク情報の領域内の気泡の数に応じた色及び輝度のうちの少なくとも一方の情報を有している。この場合、微小特異点の個数を示す文字情報が重畳表示されていなくても、その個数を色等により把握することができる。
　プロセッサ３２は、特異点情報取得部５２により取得した特異点情報に基づいて閾値よりも小さい特異点サイズの微小特異点を示す特異点情報を取得する処理を行う。閾値は、特異点が視覚的に捉えにくいサイズの微小特異点か否かを判断するための値に設定することが好ましい。
　プロセッサ３２は、微小特異点を示す微小特異点情報を取得した場合、微小特異点を強調表示させる強調情報であって、微小特異点を含み、微小特異点の特異点サイズよりも大きい領域を視認可能に表示させる強調情報と、微小特異点の個数に対応する情報とを生成する処理とを行うことが好ましい。
　密集して面的に発生する微小特異点（本例では「気泡」）の場合、どの領域に、どの程度の頻度で発生しているかという情報を把握することが重要である。そこで、一つひとつの気泡の検出結果を総合し、密集した気泡を包含する領域を特定する。
　プロセッサ３２は、例えば、微小特異点の領域を拡大させる画像処理（膨張処理(Dilation)）を行うことで、密集した微小特異点を包含する領域を取得することができる。一つひとつの微小特異点の領域を所定の拡大率で拡大させると、微小特異点が密集している場合には、拡大させた各領域が連結し、密集した微小特異点を包含する領域となる。尚、所定の拡大率は、微小特異点が密集している場合には、拡大させた各領域が連結し、孤立した微小特異点同士が連結しないように設定することが好ましい。
　プロセッサ３２は、特異点サイズよりも大きい領域を有する強調情報であって、微小特異点の個数に対応する色又は濃淡で塗り潰した強調情報を生成し、更に微小特異点の個数を示す文字情報（数字）を生成する。
　出力部５６は、画像上に強調情報及び微小特異点の個数に対応する情報を重畳して表示部３６に表示させる。図１１（Ｂ）に示す例では、表示部３６に表示される強調情報は、特異点サイズよりも大きい領域を塗り潰した領域情報であり、微小特異点の個数に対応する情報は、塗り潰した領域の色又は濃淡情報と、微小特異点の個数を示す文字情報である。
　尚、表示部３６に表示される強調情報は、特異点サイズよりも大きい領域の輪郭を示す輪郭情報、あるいは大きい領域を囲む枠情報（矩形枠）でもよく、また、微小特異点の個数に対応する情報は、塗り潰した領域の色及び輝度のうちの少なくとも一方の情報、又は微小特異点の個数を示す文字情報だけでもよい。更に微小特異点の密度を、塗り潰す領域の色及び輝度のうちの少なくとも一方の情報で表すようにしてもよい。
　図１２は、微小特異点を含む製品の画像の他の例を示す図である。
　図１２（Ａ）に示す画像は、細長い製品（部品）、又は溶接線が撮影された画像であり、この画像には、画像の左側に密集した４個の気泡と、画像の右側に孤立した２個の気泡とが存在する。
　これらの気泡からなる微小特異点は、視覚的に判別することが難しいが、図１２（Ｂ）に示すように画像上に、気泡のサイズよりも大きい領域を塗り潰してなる強調情報を重畳表示し、更に微小特異点の個数を示す数字を、各強調情報に隣接して表示させることで、微小特異点の位置、及び個数を視覚的に容易に認識することができる。
　尚、強調情報等を重畳表示する前の画像と重畳表示した画像とを表示部３６に並べて表示させ、又はユーザ操作により切り替え表示できるように構成してもよい。
　ユーザが、表示部３６に表示された画像から目視により特異点を確認し、操作部３９により特異点情報（特異点の種別情報、特異点の発生位置情報等）を入力する際に、特に微小特異点に対する特異点情報を入力する際に、上記の微小特異点の強調表示は有効である。
　＜特異点のその他の表示例＞
　特異点情報取得部５２は、前述したようにＡＩにより構成することができるが、ＡＩとして、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等の特異点検出モデルで構成することができる。
　特異点検出モデルは、製品Ｐの画像を入力すると、画像の特徴量を抽出し、画像の各画素が、どの特異点の種類に属するかのクラス分類を行うことで、特異点領域の抽出、及び特異点種別を推定するが、特異点検出モデルによって推定されるスコア（＝欠陥確率）を、以下のように活用し、ディスプレイにおける表示処理を行うことができる。
　（１）画素ごとに、推定された欠陥確率が高いほど色を濃くしたり、欠陥確率に応じて色相を変化させることで、グラデーションやヒートマップとして、ディスプレイ上に欠陥やその候補の分布を表示する。
　（２）閾値を定め、欠陥確率が一定以上である領域を特定した上で、二値化してディスプレイにその領域を表示する。
　（３）画素ごとの詳細な形状をユーザが知る必要がない場面では、１画素単位よりも広い範囲（例えば、24×24ピクセルの矩形）で、閾値以上の画素を含む領域を特定し、強調枠（＝バウンディングボックス）で囲み表示する。
　（４）（３）の領域を、矢印その他のマークをディスプレイ上に表示させて示したり、強調枠を点滅させながら表示して、その領域を強調表示する。
　（５）閾値以上であると判定された領域の一覧情報（重心座標と、必要に応じて、検出したサイズや形状という付随情報）を、表形式やＣＳＶ（Comma Separated Value）形式で出力する。
　特異点に対応する画素だけを強調しても、画像全体に対して微小なため見落としが生じやすい微小特異点であっても、上記のように強調表示や一覧表示することで、見落としの可能性が減少し、検査の効率化を図ることができる。
　（６）強調表示や一覧表示を行った領域それぞれに対して、確認済みのものにはフラグを立てたり、色を変更することができる。また、再確認が必要などの付加情報を付けることもできる。
　網羅的に確認作業を行う場合に、見落としが防止され、検査が効率化される。
　（７）閾値を２以上設けて、低い閾値を適用する場合の「欠陥の最大範囲」と、高い閾値を適用する場合の「欠陥の最小範囲」を、２重のバウンディングボックスや、２段階の色で塗分けて表示することができる。
　これにより、より表現能力が高い、検出領域の表示が可能になる。
　例えば、領域全体の欠陥確率が低い特異点領域と、中心部分の欠陥確率が高く、その周辺部分の欠陥確率が低い特異点領域が存在する場合、これらの２つの特異点領域は、ある１つの閾値だけで二値化すると、全く同じ大きさの特異点領域として表示されることがある。
　一方、閾値を２以上設けることで、前者の特異点領域は、欠陥であるかどうか疑わしい態様（色や輝度）で表示することができ、後者の特異点領域は、中心部分は欠陥であることが確実である態様で、周辺部分は欠陥であるかどうか疑わしい態様で表示することができる。
　このように、閾値を２以上設けることで、２つの特異点領域の表示形態を異ならせることができ、ユーザは、両者を区別して、欠陥であることは確実な後者を重点的に確認することができる。全数を同等に扱う場合よりも、確認すべき優先度が付くため、作業が効率化される。
　また、特異点検出モデルが、はじめから「正常」「異常」「欠陥であるかどうかがあいまい」という中間のクラスを出力して、中間は人が判断することで、出力結果に柔軟性をもたせ、人が優先的に確認すべき箇所を明確化してもよい。
　（８）閾値を超えた領域が、部品や画像全体の中で、孤立して存在するのか、または一定範囲内に集中して複数存在するのかを、区別して表示する。
　（９）（８）で複数の欠陥が一定範囲に集中して存在すると認められるとき、その領域が具体的に、どこまでの広がりを持つのか、を特定して表示する。
　（１０）（９）の領域内に存在する複数の特異点の個数や面積、または密度を算出して、数値を表示する。
　（１１）（１０）で算出された数値と対応した明るさや色相、彩度で領域を塗分けて、ディスプレイ上で領域を区別して表示する。
　例えば、Porosity（＝小さな気泡の）欠陥候補は、その一つひとつを把握する必要性は比較的低く、まとまった気泡の発生が、どこにどの程度存在するのか、という情報を把握する必要性が比較的高いため、上記の表示により、検査が効率化される。
　（１２）欠陥確率の閾値処理後の画素分布において、閾値を超えた領域の面積やサイズを計測する。
　（１３）（１２）に加えて、閾値を超えた領域が「円形」に広がっているのか、「つぶれた形状」であるのか、という円形度など、特定の形状との類似度を算出する。
　（１４）（１２）及び／又は（１３）に基づき、注目領域ごとの異常度や、重症度を推定する。
　例えば、発生するガス欠陥が「円」に近い形で映り込むという事前情報がある場合に、つぶれた形状は、想定していない欠陥である可能性があるため、異常度が高いとみなし、警告する。
　また、例えば「つぶれた形状」の欠陥や、「サイズの大きな」欠陥の方が、そうでない欠陥と比べて損傷が進行していて、早期に発見する必要性・緊急性が高い（＝重症である）とみなし、確認を促す。
　（１５）算出した重症度、または検出された欠陥領域のサイズを、特定の領域（例えば、溶接ライン）に沿って平均や和を取ることで、部品単位や溶接個所ごと、の欠陥可能性を逐次算出する。
　重症度や人が再度確認する必要性が高いところを優先的に確認することで、異常に早期に対応しやすくなる。
　［製造ラインの異常予兆検知方法］
　図１３は、本発明に係る製造ラインの異常予兆検知方法の実施形態を示すフローチャートである。尚、図１３に示す各ステップの処理は、図３に示した製造ラインの異常予兆検知装置３０のプロセッサ３２により行われる。
　図１３において、製造ライン１０により製造された製品Ｐを、放射線撮影装置２０により撮影する（ステップＳ１０）。製品Ｐの放射線撮影装置２０による撮影は、製造ライン１０により製造された製品Ｐの搬送路に放射線撮影装置２０を設置し、製品Ｐを１つずつ自動的に撮影してもよいし、ユーザからの撮影指示入力に基づいて製品Ｐを１つずつ撮影してもよい。
　プロセッサ３２は、放射線撮影装置２０により撮影された画像（Ｘ線画像情報）であり、製造ライン１０により製造された製品Ｐを撮影した製品ごとの画像を取得する（ステップＳ１２）。
　続いて、プロセッサ３２は、製品Ｐの撮影により取得した画像に基づいて製品Ｐの特異点に関連する特異点情報を取得する（ステップＳ１２）。特異点情報は、ＡＩにより取得することができる。また、特異点情報は、製品Ｐの特異点の種別情報、発生位置情報、サイズ情報、及び形状情報のうちの１以上である。
　プロセッサ３２は、ステップＳ１２で取得した製品Ｐの特異点に関連する特異点情報を、製品ごとの検査履歴としてメモリ３４（第１メモリ）に保存する（ステップＳ１４）。また、プロセッサ３２は、特異点情報のうち、製品の欠陥の有無の判定に影響する情報を欠陥関連情報とし、製品の欠陥の有無の判定に２９しない情報を欠陥非関連情報としてメモリ３４（第２メモリ）に保存する。
　次に、１ロット分の製品群（ロット番号に属する複数の製品）の特異点情報がメモリ３４に保存されたか否かが判別される（ステップＳ１６）。１ロット分の製品群の特異点情報が取得及び保存されていない場合（「No」の場合）には、ステップＳ１０に遷移し、ステップＳ１０からステップＳ１６の処理が繰り返され、１ロット分の製品群の特異点情報が取得及び保存された場合（「Yes」の場合）には、ステップＳ１８に遷移する。
　ステップＳ１８において、プロセッサ３２は、メモリ３４に保存された１ロット単位の製品群に対応する特異点情報（欠陥関連情報と欠陥非関連情報）に基づいて、製造ライン１０の健全度を示すライン評価値を算出する。製造ライン１０の健全度を示すライン評価値は、製品群における欠陥関連情報と欠陥非関連情報との総数をカウントし、そのカウント値をライン評価値として算出することができる。製品群における欠陥関連情報と欠陥非関連情報との総数をカウントする際に、欠陥関連情報と欠陥非関連情報とを重み付けしてカウントすることが好ましく、更に、欠陥関連情報と欠陥非関連情報との重みは、特異点の種別情報、発生位置情報、サイズ情報、及び形状情報のうちの１以上の特異点情報に応じて決定することが好ましい。
　プロセッサ３２は、ステップＳ１８により算出されたライン評価値に基づいて製造ライン１０の異常兆候を検知する（ステップＳ２０）。即ち、製品群の欠陥関連情報と欠陥非関連情報との数量から、製造ライン１０の異常兆候を間接的に検知する。また、製造時期が異なる２以上の製品群のライン評価値を比較し、その比較結果に基づいて製造ライン１０の異常兆候を検知することができる。
　プロセッサ３２は、ステップＳ２０により検知した、製造ライン１０の異常兆候の検知結果を含むフィードバック情報を出力する（ステップＳ２２）。フィードバック情報の出力先は、フィードバック情報を表示する表示部３６、あるいは製造ライン１０又は製造ライン１０と関連する設備等である。
　ユーザは、表示部３６に表示されるフィードバック情報を確認することができ、製造ライン１０の保守、点検作業の必要性等を事前に判断することができる。
　また、製造ライン１０又は製造ライン１０に関連する設備にフィードバック情報を出力することで、製造ライン１０における各種金型、溶融金属の温度、圧力、溶接温度等を自動制御し、製造ライン１０に関連する設備（例えば、空調設備、原材料の保管設備等の温度、湿度等）を自動制御することが可能である。
　図１３では、１ロット分の製品群に対する処理が示されているが、次の１ロット分の製品群に対しても同様な処理が行われ、製造ラインの異常兆候を、１ロット分の製品群が製造されるごとに検知することができる。
　尚、本例では、製造ライン１０の健全度を示すライン評価値を算出する際に、ロット単位の製品群に対応する欠陥関連情報と欠陥非関連情報を使用したが、これに限らず、一定期間内に製造された製品群、又は時系列に沿って製造された一定数の製品群に対応する複数の検査履歴を使用することができる。また、一定期間内に製造された製品群、又は時系列に沿って製造された一定数の製品群に対応する複数の検査履歴は、重複を許して設定することができる。
　［その他］
　本実施形態において、製造ラインにより製造された製品は、金属製品であるが、これに限らず、非金属製品であってもよい。
　また、撮影装置は、放射線撮影装置に限らず、超音波撮影装置、又は赤外線撮影装置を使用することができる。
　更に、本実施形態において、例えば、ＣＰＵ（Central Processing Unit）等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　また、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る製造ラインの異常予兆検知装置として機能させる製造ラインの異常予兆検知プログラム、及び製造ラインの異常予兆検知プログラムが記録された不揮発性の記憶媒体を含む。
　更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１－Ｎ　製造工程
１０　製造ライン
２０　放射線撮影装置
２２　Ｘ線源
２４　イメージングプレート
３０　製造ラインの異常予兆検知装置
３２　プロセッサ
３４　メモリ
３６　表示部
３８　入出力インターフェース
３９　操作部
４０　画像読取装置
５１　撮影処理部
５２　特異点情報取得部
５３　メモリ制御部
５４　ライン評価値算出部
５５　異常兆候検知部
５６　出力部
５７　製品評価値算出部
５８　欠陥検知部
５９　欠陥予兆値算出部
６０　報知部
Ａ、Ｂ、Ｃ　部品
Ｐ　製品
Ｓ１０－Ｓ２２　ステップ

Claims (25)

  1. 　プロセッサと、撮影装置と、第１メモリと、第２メモリとを備えた製造ラインの異常予兆検知装置であって、
    　前記プロセッサは、
    　製造ラインにより製造された検査対象である製品を、前記撮影装置を用いて１つずつ撮影する撮影処理と、
    　前記撮影により取得した画像に基づいて前記製品の特異点に関連する特異点情報を取得する特異点情報取得処理と、
    　前記取得した特異点情報を第１メモリに保存する特異点情報保存処理と、
    　前記第１メモリに保存した特異点情報のうち、製品の欠陥に影響する情報を欠陥関連情報として前記第２メモリに保存し、製品の欠陥に影響しない情報を欠陥非関連情報として前記第２メモリに保存する保存処理と、
    　前記欠陥関連情報に基づいて、前記製品の健全度を示す製品評価値を算出する製品評価値算出処理と、
    　前記製品評価値算出処理により算出された製品評価値に基づいて前記製品の欠陥の有無を検知する欠陥検知処理と、
    　前記欠陥関連情報と前記欠陥非関連情報とに基づいて、前記製造ラインの健全度を示すライン評価値を算出するライン評価値算出処理と、
    　前記ライン評価値算出処理により算出されたライン評価値に基づいて前記製造ラインの異常兆候を検知する異常兆候検知処理と、
    　前記製造ラインの異常兆候の検知結果及び前記製品の欠陥の検知結果を含むフィードバック情報を出力する出力処理と、を行う、
    　製造ラインの異常予兆検知装置。
  2. 　前記プロセッサは、
    　前記欠陥非関連情報に基づいて欠陥予兆値を算出する欠陥予兆値算出処理と、
    　前記欠陥予兆値を報知する報知処理と、を行う、
    　請求項１に記載の製造ラインの異常予兆検知装置。
  3. 　前記撮影装置は、放射線撮影装置、超音波撮影装置、又は赤外線撮影装置である、
    　請求項１又は２に記載の製造ラインの異常予兆検知装置。
  4. 　前記特異点情報は、前記特異点の種別情報、発生位置情報、サイズ情報、及び形状情報のうちの１以上であり、
    　前記保存処理は、前記特異点の種別情報、発生位置情報、サイズ情報、及び形状情報のうちの１以上に基づいて、前記特異点情報を前記欠陥関連情報と前記欠陥非関連情報とに分類して前記第２メモリに保存する、
    　請求項１から３のいずれか１項に記載の製造ラインの異常予兆検知装置。
  5. 　前記ライン評価値算出処理は、
    　前記第２メモリに保存された少なくとも１つの欠陥関連情報と前記第２メモリに保存された少なくとも２以上の欠陥非関連情報とに基づいて、前記製造ラインの健全度を示すライン評価値を算出する、
    　請求項１から４のいずれか１項に記載の製造ラインの異常予兆検知装置。
  6. 　前記ライン評価値算出処理は、
    　前記第２メモリに保存された２以上の欠陥関連情報と前記第２メモリに保存された２以上の欠陥非関連情報とに基づいて、前記製造ラインの健全度を示すライン評価値を算出する、
    　請求項１から４のいずれか１項に記載の製造ラインの異常予兆検知装置。
  7. 　前記ライン評価値算出処理は、
    　前記第２メモリに記憶された複数の製品に対応する前記欠陥関連情報と前記欠陥非関連情報とに基づいて、前記製造ラインの健全度を示すライン評価値を算出する、
    　請求項１から４のいずれか１項に記載の製造ラインの異常予兆検知装置。
  8. 　前記複数の製品は、一定期間内に製造された製品群、時系列に沿って製造された一定数の製品群、若しくは製品を管理する単位である１ロットの製品群である、
    　請求項７に記載の製造ラインの異常予兆検知装置。
  9. 　前記ライン評価値算出処理は、前記欠陥関連情報と前記欠陥非関連情報とをカウントし、前記カウントしたカウント値に基づいて前記ライン評価値を算出する、
    　請求項１から８のいずれか１項に記載の製造ラインの異常予兆検知装置。
  10. 　前記ライン評価値算出処理は、前記欠陥関連情報と前記欠陥非関連情報とをカウントする際に、前記欠陥関連情報と前記欠陥非関連情報とを重み付けしてカウントする、
    　請求項９に記載の製造ラインの異常予兆検知装置。
  11. 　前記ライン評価値算出処理は、前記欠陥関連情報をカウントする際に、前記欠陥関連情報の種類に応じた重み付けを行いカウントする、
    　請求項８又は９に記載の製造ラインの異常予兆検知装置。
  12. 　前記異常兆候検知処理は、２以上の前記ライン評価値を比較し、前記比較した比較結果に基づいて前記製造ラインの異常兆候を検知する、
    　請求項１から１１のいずれか１項に記載の製造ラインの異常予兆検知装置。
  13. 　前記製造ラインは、複数の製造工程を含み、
    　前記特異点情報は、前記特異点の種別情報、発生位置情報、サイズ情報、及び形状情報のうちの１以上であり、
    　前記特異点情報に含まれる特定の特異点情報と前記製造ラインの前記複数の製造工程のうちの前記特定の特異点情報と関連する特定の製造工程とを対応させた第１対応表を記憶する第３メモリを更に備え、
    　前記ライン評価値算出処理は、前記欠陥関連情報と前記欠陥非関連情報とをカウントする際に、前記第１対応表にしたがって前記複数の製造工程ごとにカウントし、前記カウントした製造工程ごとのカウント値を、各製造工程の健全度を示す工程評価値として算出し、
    　前記異常兆候検知処理は、前記製造工程ごとに算出した前記工程評価値に基づいて前記製造ラインの各製造工程の異常兆候を検知する、
    　請求項９から１１のいずれか１項に記載の製造ラインの異常予兆検知装置。
  14. 　前記特異点情報は、前記特異点の種別情報、発生位置情報、サイズ情報、及び形状情報のうちの１以上であり、
    　前記特異点情報に含まれる特定の特異点情報と、前記製造ラインにおける製造環境を示す複数の環境情報のうちの前記特定の特異点情報と関連する特定の環境情報とを対応させた第２対応表を記憶する第４メモリを更に備え、
    　前記プロセッサは、
    　前記第１メモリに保存した特異点情報のうち、前記特定の特異点情報を取得する処理と、
    　前記特定の特異点情報を取得した場合に、前記取得した前記特定の特異点情報に関連する前記特定の環境情報を前記第２対応表にしたがって取得する処理と、を行い、
    　前記出力処理は、前記特定の環境情報を含むフィードバック情報を出力する、
    　請求項１から１３のいずれか１項に記載の製造ラインの異常予兆検知装置。
  15. 　前記製品群ごとの品質を示す品質情報と前記品質情報に関連する付加情報とを対応させて記憶する第５メモリを更に備え、
    　前記プロセッサは、
    　前記製品群に対応する検査履歴群の各検査履歴に基づいて前記製品群の品質に関する前記品質情報を取得する処理と、
    　前記取得した前記品質情報に基づいて前記第５メモリから前記品質情報に対応する前記付加情報を取得する処理と、を行い、
    　前記出力処理は、前記製品群に対応して取得した前記付加情報を出力する、
    　請求項８に記載の製造ラインの異常予兆検知装置。
  16. 　前記特異点情報は、前記製品の特異点の発生位置情報及びサイズ情報を含み、
    　前記プロセッサは、
    　前記特異点情報取得処理により取得した前記特異点情報に基づいて閾値よりも小さい特異点サイズの微小特異点を示す微小特異点情報を取得する処理と、
    　前記取得した微小特異点情報に基づいて前記微小特異点を強調表示させる強調情報であって、前記微小特異点を含み、前記微小特異点の特異点サイズよりも大きい領域を視認可能に表示させる前記強調情報と前記微小特異点の個数に対応する情報とを生成する処理と、を行い、
    　前記出力処理は、前記画像に前記強調情報及び前記微小特異点の個数に対応する情報を重畳してディスプレイに表示させる、
    　請求項１から１５のいずれか１項に記載の製造ラインの異常予兆検知装置。
  17. 　前記強調情報は、前記微小特異点の特異点サイズよりも大きい領域を特定の色及び輝度のうちの少なくとも一方で塗り潰すマスク情報、又は前記領域を囲む枠情報であり、
    　前記微小特異点の個数に対応する情報は、前記個数を示す文字情報、又は前記個数に応じた前記強調情報の色及び輝度のうちの少なくとも一方の情報である、
    　請求項１６に記載の製造ラインの異常予兆検知装置。
  18. 　前記特異点情報取得処理は、前記画像の特徴量を抽出し、前記画像の画素ごとに前記特異点情報の欠陥確率を取得し、
    　前記出力処理は、前記特異点情報に対応する画素に、前記欠陥確率に応じた色を付加してディスプレイに表示させる、
    　請求項１から１７のいずれか１項に記載の製造ラインの異常予兆検知装置。
  19. 　製品を製造する製造ラインと、プロセッサと、撮影装置と、第１メモリと、第２メモリとを備えた製造装置であって、
    　前記プロセッサは、
    　前記製造ラインにより製造された製品を、前記撮影装置を用いて１つずつ撮影する撮影処理と、
    　前記撮影により取得した画像に基づいて前記製品の特異点に関連する特異点情報を取得する特異点情報取得処理と、
    　前記取得した特異点情報を第１メモリに保存する特異点情報保存処理と、
    　前記第１メモリに保存した特異点情報のうち、製品の欠陥に影響する情報を欠陥関連情報として前記第２メモリに保存し、製品の欠陥に影響しない情報を欠陥非関連情報として前記第２メモリに保存する保存処理と、
    　前記欠陥関連情報に基づいて、前記製品の健全度を示す製品評価値を算出する製品評価値算出処理と、
    　前記製品評価値算出処理により算出された製品評価値に基づいて前記製品の欠陥の有無を検知する欠陥検知処理と、
    　前記欠陥関連情報と前記欠陥非関連情報とに基づいて、前記製造ラインの健全度を示すライン評価値を算出するライン評価値算出処理と、
    　前記算出されたライン評価値に基づいて前記製造ラインの異常兆候を検知する異常兆候検知処理と、
    　前記製造ラインの異常兆候の検知結果及び前記製品の欠陥の検知結果を含むフィードバック情報を出力する出力処理と、を行う、
    　製造装置。
  20. 　プロセッサと、撮影装置と、第１メモリと、第２メモリとを備えた検品装置であって、
    　前記プロセッサは、
    　製造ラインにより製造された検査対象である製品を、前記撮影装置を用いて１つずつ撮影する撮影処理と、
    　前記撮影により取得した画像に基づいて前記製品の特異点に関連する特異点情報を取得する特異点情報取得処理と、
    　前記取得した特異点情報を第１メモリに保存する特異点情報保存処理と、
    　前記第１メモリに保存した特異点情報のうち、製品の欠陥に影響する情報を欠陥関連情報として前記第２メモリに保存し、製品の欠陥に影響しない情報を欠陥非関連情報として前記第２メモリに保存する保存処理と、
    　前記欠陥関連情報に基づいて、前記製品の健全度を示す製品評価値を算出する製品評価値算出処理と、
    　前記製品評価値算出処理により算出された製品評価値に基づいて前記製品の欠陥の有無を検知する欠陥検知処理と、
    　前記欠陥関連情報と前記欠陥非関連情報とに基づいて、前記製造ラインの健全度を示すライン評価値を算出するライン評価値算出処理と、
    　前記ライン評価値算出処理により算出されたライン評価値に基づいて前記製造ラインの異常兆候を検知する異常兆候検知処理と、
    　前記製造ラインの異常兆候の検知結果及び前記製品の欠陥の検知結果を含むフィードバック情報を出力する出力処理と、を行う、
    　検品装置。
  21. 　プロセッサが、以下のステップの処理を行うことにより製造ラインの異常兆候を検知する製造ラインの異常予兆検知方法であって、
    　前記製造ラインにより製造された検査対象である製品を、撮影装置を用いて１つずつ撮影するステップと、
    　前記撮影により取得した画像に基づいて前記製品の特異点に関連する特異点情報を取得するステップと、
    　前記取得した特異点情報を第１メモリに保存するステップと、
    　前記第１メモリに保存した特異点情報のうち、製品の欠陥に影響する情報を欠陥関連情報として第２メモリに保存し、製品の欠陥に影響しない情報を欠陥非関連情報として前記第２メモリに保存するステップと、
    　前記欠陥関連情報に基づいて、前記製品の健全度を示す製品評価値を算出するステップと、
    　前記製品評価値に基づいて前記製品の欠陥の有無を検知するステップと、
    　前記欠陥関連情報と前記欠陥非関連情報とに基づいて、前記製造ラインの健全度を示すライン評価値を算出するステップと、
    　前記ライン評価値に基づいて前記製造ラインの異常兆候を検知するステップと、
    　前記製造ラインの異常兆候の検知結果及び前記製品の欠陥の検知結果を含むフィードバック情報を出力するステップと、
    　を含む、製造ラインの異常予兆検知方法。
  22. 　前記欠陥非関連情報に基づいて欠陥予兆値を算出するステップと、
    　前記欠陥予兆値を報知するステップと、
    　を更に含む請求項２１に記載の製造ラインの異常予兆検知方法。
  23. 　前記撮影装置は、放射線撮影装置、超音波撮影装置、又は赤外線撮影装置である、
    　請求項２１又は２２に記載の製造ラインの異常予兆検知方法。
  24. 　請求項２１から２３のいずれか１項に記載の製造ラインの異常予兆検知方法をコンピュータに実行させる製造ラインの異常予兆検知プログラム。
  25. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項２４に記載のプログラムが記録された記録媒体。
PCT/JP2022/012546 2021-04-19 2022-03-18 製造ラインの異常予兆検知装置、方法及びプログラム並びに製造装置及び検品装置 WO2022224657A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280027700.2A CN117120951A (zh) 2021-04-19 2022-03-18 生产线的异常预兆检测装置、方法及程序以及制造装置及检点装置
EP22791436.3A EP4328691A1 (en) 2021-04-19 2022-03-18 Device, method, and program for detecting signs of abnormality in production line, production device, and inspection device
JP2023516351A JPWO2022224657A1 (ja) 2021-04-19 2022-03-18
US18/484,898 US20240045407A1 (en) 2021-04-19 2023-10-11 Manufacturing line abnormality portent detection apparatus, manufacturing line abnormality portent detection method, manufacturing line abnormality portent detection program, manufacturing apparatus, and inspection apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-070135 2021-04-19
JP2021070135 2021-04-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/484,898 Continuation US20240045407A1 (en) 2021-04-19 2023-10-11 Manufacturing line abnormality portent detection apparatus, manufacturing line abnormality portent detection method, manufacturing line abnormality portent detection program, manufacturing apparatus, and inspection apparatus

Publications (1)

Publication Number Publication Date
WO2022224657A1 true WO2022224657A1 (ja) 2022-10-27

Family

ID=83722907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/012546 WO2022224657A1 (ja) 2021-04-19 2022-03-18 製造ラインの異常予兆検知装置、方法及びプログラム並びに製造装置及び検品装置

Country Status (5)

Country Link
US (1) US20240045407A1 (ja)
EP (1) EP4328691A1 (ja)
JP (1) JPWO2022224657A1 (ja)
CN (1) CN117120951A (ja)
WO (1) WO2022224657A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151554A (zh) * 2023-11-01 2023-12-01 豆黄金食品有限公司 一种用于腐竹输送线的智能控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015930A (ja) 2006-07-07 2008-01-24 Nsk Ltd 製造ラインの生産管理方法および生産管理システム
JP2008294361A (ja) * 2007-05-28 2008-12-04 Hitachi High-Technologies Corp 欠陥観察装置及び欠陥観察方法
JP2012242982A (ja) * 2011-05-18 2012-12-10 Mitsubishi Electric Corp プラントの機器維持管理システム
JP2020027425A (ja) * 2018-08-10 2020-02-20 東京エレクトロンデバイス株式会社 予防保全装置及び予防保全システム
JP2020061109A (ja) * 2018-10-04 2020-04-16 山本　隆義 生産ラインにおける品質と設備の統合的監視方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015930A (ja) 2006-07-07 2008-01-24 Nsk Ltd 製造ラインの生産管理方法および生産管理システム
JP2008294361A (ja) * 2007-05-28 2008-12-04 Hitachi High-Technologies Corp 欠陥観察装置及び欠陥観察方法
JP2012242982A (ja) * 2011-05-18 2012-12-10 Mitsubishi Electric Corp プラントの機器維持管理システム
JP2020027425A (ja) * 2018-08-10 2020-02-20 東京エレクトロンデバイス株式会社 予防保全装置及び予防保全システム
JP2020061109A (ja) * 2018-10-04 2020-04-16 山本　隆義 生産ラインにおける品質と設備の統合的監視方法

Also Published As

Publication number Publication date
JPWO2022224657A1 (ja) 2022-10-27
CN117120951A (zh) 2023-11-24
EP4328691A1 (en) 2024-02-28
US20240045407A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
US10885618B2 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
JP6560220B2 (ja) 表面欠陥の検出のための検査システムを点検する方法及び装置
US10043257B2 (en) Method and device for the quality evaluation of a component produced by means of an additive manufacturing method
US20060093082A1 (en) Method of inspection for inner defects of an object and apparatus for same
JP6556266B2 (ja) 欠陥検査装置、方法およびプログラム
JP2010538258A (ja) 映像処理方法を用いた鋼橋の塗膜検査システム及びその処理方法
JP2021509716A (ja) 生産ライン検査の設定のためのシステムおよび方法
JP5168215B2 (ja) 外観検査装置
US20240045407A1 (en) Manufacturing line abnormality portent detection apparatus, manufacturing line abnormality portent detection method, manufacturing line abnormality portent detection program, manufacturing apparatus, and inspection apparatus
CN109741295B (zh) 产品质量检测方法及装置
WO2020071162A1 (ja) 教師データ生成装置及び教師データ生成プログラム
JP2020112456A (ja) 検査装置及び検査方法
Hashmi et al. Computer-vision based visual inspection and crack detection of railroad tracks
US11574400B2 (en) System and method for automated visual inspection
JP2009264882A (ja) 外観検査装置
JP7449739B2 (ja) 検査システム、学習装置、学習プログラム、学習方法、検査装置、検査プログラム、検査方法
JPWO2022224657A5 (ja)
Trofimov Multi-structural instrument for identifying surface defects on rails
KR102075872B1 (ko) 투과영상 기반의 비파괴검사 방법 및 이를 위한 장치
WO2023112497A1 (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
JP2006266845A (ja) 画像判定装置及び画像判定方法
JP2011232302A (ja) 画像検査方法及び画像検査装置
Kasban et al. Automatic segmentation of industrial radiographic images
WO2023136030A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
EP4010873B1 (en) Use of an hdr image in a visual inspection process

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22791436

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023516351

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022791436

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022791436

Country of ref document: EP

Effective date: 20231120