WO2021256389A1 - 欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷装置、印刷物の製造方法 - Google Patents

欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷装置、印刷物の製造方法 Download PDF

Info

Publication number
WO2021256389A1
WO2021256389A1 PCT/JP2021/022233 JP2021022233W WO2021256389A1 WO 2021256389 A1 WO2021256389 A1 WO 2021256389A1 JP 2021022233 W JP2021022233 W JP 2021022233W WO 2021256389 A1 WO2021256389 A1 WO 2021256389A1
Authority
WO
WIPO (PCT)
Prior art keywords
nozzle
defect inspection
data
reference data
printed matter
Prior art date
Application number
PCT/JP2021/022233
Other languages
English (en)
French (fr)
Inventor
将輝 関
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022531759A priority Critical patent/JP7361219B2/ja
Priority to EP21825668.3A priority patent/EP4169721A4/en
Publication of WO2021256389A1 publication Critical patent/WO2021256389A1/ja
Priority to US18/064,544 priority patent/US20230103391A1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01Ink jet
    • B41J2/21Ink jet for multi-colour printing
    • B41J2/2132Print quality control characterised by dot disposition, e.g. for reducing white stripes or banding
    • B41J2/2142Detection of malfunctioning nozzles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01Ink jet
    • B41J2/21Ink jet for multi-colour printing
    • B41J2/2132Print quality control characterised by dot disposition, e.g. for reducing white stripes or banding
    • B41J2/2135Alignment of dots
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01Ink jet
    • B41J2/21Ink jet for multi-colour printing
    • B41J2/2132Print quality control characterised by dot disposition, e.g. for reducing white stripes or banding
    • B41J2/2146Print quality control characterised by dot disposition, e.g. for reducing white stripes or banding for line print heads
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01Ink jet
    • B41J2/21Ink jet for multi-colour printing
    • B41J2/2132Print quality control characterised by dot disposition, e.g. for reducing white stripes or banding
    • B41J2/2139Compensation for malfunctioning nozzles creating dot place or dot size errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Definitions

  • the present invention relates to a defect inspection apparatus, a defect inspection method and a program, and a printing apparatus and a method for manufacturing a printed matter. Regarding detection technology.
  • a defect inspection device that inspects a defect of an object by comparing the imaged data obtained by imaging the object with a scanner and the reference data as a reference is widely used.
  • An application of the inspection method by this method is a printed matter defect inspection device for inspecting print defects such as streaks and ink chips in a printed matter printed by a printing apparatus (see Patent Document 1).
  • the reference data is obtained from the printed matter using gloss paper, the printed matter of gloss paper is inspected, and then the printed matter of high-quality paper printed with the same pattern is inspected.
  • there is a large difference between the acquired reference data of the printed matter of glossy paper and the imaging data of the printed matter of high-quality paper and it is necessary to reduce the inspection performance when comparing as it is.
  • the conventional alignment method is generally a matching method for matching features in an image, but there is a problem that processing becomes slow when it is performed on a large-sized image such as a captured image of printed matter.
  • the more accurately the alignment is performed the more the processing time becomes a trade-off relationship, and the problem is that the processing becomes slower.
  • the present invention has been made in view of such circumstances, and is a defect inspection for inspecting defects in printed matter by aligning the positions of the captured image data and the reference data of the printed matter printed based on the reference data with high accuracy and high speed. It is an object of the present invention to provide an apparatus, a defect inspection method and a program, and a printing apparatus, a method for manufacturing a printed matter.
  • a defect inspection device for achieving the above object is an inkjet head in which a plurality of nozzles are arranged in the nozzle direction, and a movement in which the inkjet head and the print medium are relatively moved in a relative movement direction intersecting the nozzle direction.
  • a defect inspection device that inspects defects in printed matter printed based on reference data by a single-pass printing device equipped with a mechanism, which is a memory for storing instructions to be executed by a processor and a memory stored in the memory.
  • the processor includes a processor that executes the command, and the processor acquires image data and reference data based on the image captured by the printed matter, and determines the positions of a plurality of nozzles and the pixel positions of the image data in the nozzle direction.
  • the nozzle mapping information which is the correspondence of the above, is acquired, and the nozzle direction alignment processing is performed to align the position of the imaging data and the reference data in the nozzle direction using the nozzle mapping information. It is a defect inspection device that performs defect inspection processing to calculate defect information by inputting and reference data.
  • the processor acquires print timing information, which is the correspondence between the print timing of the reference data and the pixel position in the relative movement direction of the imaging data, and uses the print timing information to determine the position in the relative movement direction of the imaging data and the reference data. It is preferable to perform the relative movement direction alignment process to be aligned, perform the nozzle direction alignment process and the relative movement direction alignment process, and then perform the defect inspection process to calculate the defect information by inputting the imaging data and the reference data. As a result, the positions of the imaging data and the reference data in the relative moving direction can be aligned with high accuracy and high speed.
  • the relative movement direction alignment process includes a start timing calculation process for calculating the print start timing of the reference data among the print timing information.
  • start timing calculation process it is preferable to analyze the chart captured image in which the correction chart having the reference line is captured and use the position of the reference line. This makes it possible to appropriately calculate the printing start timing of the reference data.
  • the print timing information is preferably information based on the encoder value of the moving mechanism. As a result, print timing information can be appropriately acquired.
  • the encoder value is embedded in the captured image. As a result, print timing information can be appropriately acquired.
  • the nozzle mapping information includes at least one of a plurality of information according to the thickness of the print medium and information corrected by the correction process according to the thickness. Thereby, the nozzle mapping information can be appropriately acquired.
  • the processor performs defect inspection processing using a deep learning model in which imaging data and reference data are input.
  • This embodiment is suitable for defect inspection processing using a deep learning model.
  • One aspect of the printing apparatus for achieving the above object is an inkjet head in which a plurality of nozzles are arranged in the nozzle direction, and a moving mechanism for relatively moving the inkjet head and the printing medium in a relative moving direction intersecting the nozzle direction. It is a single-pass type printing apparatus including the above, and is a printing apparatus including a scanner that captures a printed matter and generates an captured image, and the defect inspection apparatus described above.
  • a defect inspection method for inspecting defects in printed matter printed based on reference data by a single-pass printing device equipped with a mechanism which includes imaging data and reference data based on the captured image obtained by capturing the printed matter.
  • the data acquisition process for acquiring nozzle mapping information which is the correspondence between the positions of multiple nozzles and the pixel positions in the nozzle direction of the imaging data, and the nozzle mapping information acquisition process for acquiring the nozzle mapping information, and the imaging data using the nozzle mapping information.
  • One aspect of the method for manufacturing printed matter for achieving the above object is to move an inkjet head in which a plurality of nozzles are arranged in the nozzle direction, and the inkjet head and the print medium in a relative movement direction intersecting the nozzle direction.
  • a printing process of printing printed matter based on reference data by a single-pass printing apparatus equipped with a moving mechanism, a defect inspection method described above, and a quality determination step of determining the quality of printed matter based on defect information. Is a method for manufacturing a printed matter.
  • the quality of the printed matter can be appropriately determined.
  • One aspect of the program for achieving the above object is a program for causing a computer to execute the defect inspection method described above.
  • a computer-readable non-temporary storage medium on which this program is recorded may also be included in this embodiment.
  • the present invention it is possible to inspect the defects of the printed matter by aligning the positions of the captured image data and the reference data of the printed matter printed based on the reference data with high accuracy and at high speed. It is possible to prevent the decrease.
  • FIG. 1 is a block diagram showing a configuration of a defect inspection device.
  • FIG. 2 is an overall configuration diagram of the inkjet printing apparatus.
  • FIG. 3 is a plan view showing the nozzle surface of the inkjet head.
  • FIG. 4 is a plan view showing the reading surface of the scanner.
  • FIG. 5 is a block diagram showing a configuration of a control system of an inkjet printing apparatus.
  • FIG. 6 is a diagram showing an example of imaging data and reference data.
  • FIG. 7 is a diagram showing an example of imaging data and reference data.
  • FIG. 8 is a diagram showing an example of imaging data and reference data.
  • FIG. 9 is a flowchart showing a process of a method for manufacturing a printed matter.
  • FIG. 1 is a block diagram showing a configuration of a defect inspection device 10.
  • the defect inspection device 10 is a device that inspects defects in printed matter printed based on reference data by a single-pass printing device (for example, the inkjet printing device 100 shown in FIG. 2).
  • the defect inspection device 10 inspects defects in the printed matter by comparing the imaged data based on the captured image obtained by capturing the printed matter with the image pickup device (for example, the scanner 132 shown in FIG. 2) with the reference data.
  • the defect inspection device 10 includes a processor 12 and a memory 14.
  • the processor 12 executes the instruction stored in the memory 14.
  • the memory 14 stores an instruction for the processor 12 to execute.
  • the hardware structure of the processor 12 is various processors (processors) as shown below.
  • Various processors include a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) and functions as various processing units, and a GPU (Graphics Processing Unit), which is a processor specialized in image processing.
  • Dedicated to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose circuit configuration can be changed after manufacturing FPGA (Field Programmable Gate Array), etc.
  • the processor 12 may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA, or a CPU and a GPU). It may be composed of a combination).
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the processor 12 includes an alignment processing unit 16. Imaging data and reference data are input to the alignment processing unit 16.
  • the alignment processing unit 16 performs alignment processing of the image pickup data and the reference data, and outputs post-alignment image data including the aligned image pickup data and the reference data.
  • the alignment process between the imaging data and the reference data refers to acquiring the correspondence between each pixel of the imaging data and each pixel of the reference data.
  • the alignment processing unit 16 includes a nozzle direction alignment processing unit 18, a nozzle mapping information holding unit 20, a transport direction alignment processing unit 22, and a print timing information holding unit 24.
  • the nozzle direction alignment processing unit 18 performs nozzle direction alignment processing for aligning the positions of the imaging data and the reference data in the nozzle direction. That is, the nozzle direction alignment processing unit 18 acquires the correspondence between each pixel of the imaging data and each pixel of the reference data in the nozzle direction.
  • the nozzle mapping information holding unit 20 holds the nozzle mapping information necessary for the nozzle direction alignment process.
  • the nozzle mapping information holding unit 20 may be provided in the memory 14. Details of the nozzle mapping information will be described later.
  • the transport direction alignment processing unit 22 performs transport direction alignment processing (an example of relative movement direction alignment processing) for aligning the positions of the imaging data and the reference data in the transport direction (an example of the relative movement direction intersecting the nozzle direction). conduct. That is, the transport direction alignment processing unit 22 acquires the correspondence between each pixel of the imaging data and each pixel of the reference data in the transport direction.
  • transport direction alignment processing an example of relative movement direction alignment processing
  • the print timing information holding unit 24 holds the print timing information necessary for the transport direction alignment process.
  • the print timing information holding unit 24 may be provided in the memory 14. The details of the print timing information will be described later.
  • the processor 12 includes a defect inspection processing unit 26.
  • Image data after alignment is input to the defect inspection processing unit 26.
  • the defect inspection processing unit 26 performs defect inspection processing for calculating defect information by inputting image data after alignment, and outputs the calculated defect information.
  • the defect inspection processing unit 26 includes a deep learning model 28.
  • the deep learning model 28 is a trained model that inputs image data and reference data and outputs defect information of printed matter.
  • the deep learning model 28 has a plurality of layer structures and holds a plurality of weight parameters.
  • the deep learning model 28 can change from an unlearned model to a trained model by updating the weight parameter from the initial value to the optimum value.
  • the defect information includes at least one of the presence / absence of a defect, the position of the defect, and the recognition intensity value of the defect.
  • FIG. 2 is an overall configuration diagram of the inkjet printing apparatus 100.
  • the X, Y, and Z directions are orthogonal to each other, the X and Y directions are horizontal, and the Z direction is vertical.
  • the inkjet printing apparatus 100 prints a color image by ejecting four colors of inks of cyan (C), magenta (M), yellow (Y), and black (K) onto sheet-fed paper P, which is a printing medium. It is a printing machine.
  • General-purpose printing paper is used for paper P.
  • the general-purpose printing paper is not a so-called inkjet-only paper, but a paper mainly composed of cellulose such as coated paper used for general offset printing and the like.
  • water-based ink is used as the ink.
  • the water-based ink refers to an ink in which a coloring material such as a dye or a pigment is dissolved or dispersed in water and a solvent soluble in water.
  • the inkjet printing apparatus 100 includes a transport unit 110, a printing unit 120, an imaging unit 130, a drying unit 140, a sorting unit 150, and a paper ejection unit 160.
  • the transport unit 110 is a transport mechanism that transports the paper P fed from a paper feed unit (not shown) in the transport direction (Y direction).
  • the transport unit 110 corresponds to a moving mechanism that relatively moves the printing unit 120 and the paper P in the relative moving direction.
  • the transport unit 110 includes an upstream pulley 112, a rotary encoder 113, a downstream pulley 114, and a transport belt 116.
  • the upstream pulley 112 has a rotation axis (not shown) extending in the horizontal direction, and the rotation axis is rotatably supported.
  • a rotary encoder 113 is arranged on the upstream pulley 112. The rotary encoder 113 outputs an encoder value according to the rotation of the upstream pulley 112.
  • the downstream side pulley 114 has a rotation axis (not shown) parallel to the rotation axis of the upstream side pulley 112, and the rotation axis is rotatably supported.
  • the transport belt 116 is a stainless steel endless belt.
  • the transport belt 116 is bridged between the upstream pulley 112 and the downstream pulley 114.
  • the transport unit 110 can maintain good flatness of the paper P by using the transport belt 116 made of stainless steel.
  • the downstream pulley 114 has a motor (not shown) as a driving means. When the motor is driven, the downstream pulley 114 rotates counterclockwise in FIG.
  • the upstream pulley 112 rotates counterclockwise in FIG. 2 in accordance with the rotation of the downstream pulley 114. Due to the rotation of the upstream pulley 112 and the downstream pulley 114, the transport belt 116 travels between the upstream pulley 112 and the downstream pulley 114 along the traveling path.
  • Paper P supplied from a paper feed unit (not shown) is placed on the transport surface of the transport belt 116.
  • the transport unit 110 transports the paper P placed on the transport belt 116 along the transport path from the upstream pulley 112 to the downstream pulley 114, and delivers the paper P to the paper discharge unit 160.
  • the paper P is conveyed while the printed surface is held horizontally at positions facing the printing unit 120, the imaging unit 130, the drying unit 140, and the sorting unit 150 in this transfer path.
  • the paper P placed on the transport surface of the transport belt 116 is sucked and held on the transport surface. You may.
  • the printing unit 120 prints an image on the paper P based on the reference data.
  • the printing unit 120 includes inkjet heads 122C, 122M, 122Y, and 122K.
  • the inkjet head 122C ejects cyan ink droplets by an inkjet method.
  • the inkjet heads 122M, 122Y, and 122K eject magenta, yellow, and black ink droplets by an inkjet method, respectively.
  • the inkjet heads 122C, 122M, 122Y, and 122K are arranged at regular intervals along the transport path of the paper P by the transport belt 116.
  • the inkjet heads 122C, 122M, 122Y, and 122K are line heads having lengths corresponding to the paper widths, respectively.
  • the inkjet heads 122C, 122M, 122Y, and 122K are arranged so that the nozzle surface 124 (see FIG. 3) faces the transport belt 116.
  • the inkjet heads 122C, 122M, 122Y, and 122K eject ink droplets from a plurality of nozzles 126 (see FIG. 3) arranged on the nozzle surface 124 toward the paper P conveyed by the transfer belt 116. An image is printed on the print surface of the paper P with a predetermined mesh type.
  • the timing at which each of the inkjet heads 122C, 122M, 122Y, and 122K ejects ink droplets is synchronized with the encoder value obtained from the rotary encoder 113 arranged on the upstream pulley 112.
  • the printing unit 120 produces printed matter by a so-called single-pass method by scanning the paper P conveyed in the Y direction by the conveying belt 116 once.
  • FIG. 3 is a plan view showing the nozzle surface 124 of the inkjet head 122C. As shown in FIG. 3, a plurality of nozzles 126 are arranged on the nozzle surface 124 in the nozzle direction (X direction). In FIG. 3, for the sake of simplification of the illustration, an example in which a plurality of nozzles 126 are arranged in a row in the X direction is shown, but the plurality of nozzles 126 may be two-dimensionally arranged on the nozzle surface 124.
  • the plurality of nozzles 126 arranged in two dimensions are nozzles having substantially one row of nozzle rows (projection nozzle rows) that are orthodoxly projected on a straight line along a direction orthogonal to the relative movement direction between the inkjet head 122C and the paper P. Make up the columns.
  • the direction orthogonal to the relative moving direction between the inkjet head 122C and the paper P can be defined as the nozzle direction.
  • the configurations of the inkjet heads 122M, 122Y, and 122K are the same as those of the inkjet head 122C.
  • the image pickup unit 130 acquires an image of the printed surface of the paper P.
  • the image pickup unit 130 is arranged on the downstream side of the printing unit 120 with respect to the transport direction of the paper P.
  • the image pickup unit 130 includes a scanner 132.
  • the scanner 132 is arranged so that the reading surface 134 (see FIG. 4) faces the conveyor belt 116.
  • the scanner 132 is a line sensor in which a plurality of light receiving elements 136 (see FIG. 4) are arranged side by side in the X direction on the reading surface 134.
  • As the line sensor for example, a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor is used.
  • the scanner 132 optically reads an image printed on paper P using the inkjet heads 122C, 122M, 122Y, and 122K by a plurality of light receiving elements 136, and generates image pickup data based on the image captured image.
  • FIG. 4 is a plan view showing the reading surface 134 of the scanner 132. As shown in FIG. 4, a plurality of light receiving elements 136 are arranged on the reading surface 134 in the nozzle direction (X direction). Here, the reading resolution of the scanner 132 is lower than the printing resolutions of the inkjet heads 122M, 122Y, and 122K, respectively.
  • the image pickup unit 130 may include a light source that irradiates the image printed on the paper P with illumination light.
  • the drying unit 140 dries the ink on the paper P.
  • the drying unit 140 is arranged on the downstream side of the image pickup unit 130 with respect to the transport direction of the paper P.
  • the drying unit 140 is provided with a heater 142.
  • the heater 142 for example, at least one of a halogen heater and an infrared heater is used.
  • the heater 142 heats the printed surface of the paper P to dry the ink of the paper P.
  • the drying unit 140 may include a blowing means such as a fan or a blower.
  • the sorting unit 150 determines the quality of the printed matter according to the defect information regarding the paper P conveyed by the conveying belt 116, and sorts the printed matter.
  • the sorting unit 150 is arranged on the downstream side of the drying unit 140 with respect to the transport direction of the paper P.
  • the sorting unit 150 includes a stamper 152.
  • the stamper 152 performs a stamping process for adhering ink to the tip edge of the paper P determined to be a defective printed matter according to the quality determination of the paper P conveyed by the transport belt 116.
  • the paper ejection unit 160 collects the dried paper P (printed matter) on which the image is printed.
  • the paper ejection unit 160 is located on the downstream side of the sorting unit 150 with respect to the transport direction of the paper P, and is arranged at the end point of the transport path of the transport unit 110.
  • the paper ejection unit 160 includes a paper ejection table 162.
  • the paper discharge table 162 stacks and collects the paper P transported by the transport belt 116.
  • the paper ejection table 162 is provided with a front paper pad (not shown), a rear paper pad, and a horizontal paper pad, and the papers P are stacked in an orderly manner.
  • the paper discharge table 162 is provided so as to be able to be raised and lowered by an elevating device (not shown).
  • the drive of the elevating device is controlled in conjunction with the increase / decrease of the paper P stacked on the output table 162.
  • the paper P located at the highest position among the paper P stacked on the paper ejection table 162 always has a constant height.
  • the inkjet printing apparatus 100 conveys the paper P to move the inkjet heads 122C, 122M, 122Y, and 122K relative to the paper P, but moves the inkjet heads 122C, 122M, 122Y, and 122K in the moving direction.
  • the inkjet heads 122C, 122M, 122Y, and 122K may be moved relative to each other.
  • FIG. 5 is a block diagram showing a configuration of a control system of the inkjet printing apparatus 100.
  • the inkjet printing device 100 includes a defect inspection device 10, a user interface 170, a storage unit 172, a general control unit 174, a transfer control unit 176, a print control unit 178, an image pickup control unit 180, and a drying control unit 182. And a sorting control unit 184, and a paper ejection control unit 186.
  • the user interface 170 includes an input unit (not shown) for the user to operate the inkjet printing device 100, and a display unit (not shown) for presenting information to the user.
  • the input unit is, for example, an operation panel that receives input from the user.
  • the display unit is, for example, a display that displays image data and various types of information. The user can have the inkjet printing apparatus 100 print a desired image by using the user interface 170.
  • the storage unit 172 stores a program for controlling the inkjet printing device 100 and information necessary for executing the program.
  • the storage unit 172 is composed of a hard disk (not shown) or a non-temporary storage medium such as various semiconductor memories.
  • the storage unit 172 may store reference data.
  • the defect inspection device 10 may acquire reference data from the storage unit 172.
  • the integrated control unit 174 performs various processes according to the program stored in the storage unit 172, and controls the overall operation of the inkjet printing apparatus 100 in an integrated manner.
  • the transport control unit 176 controls a motor (not shown) of the transport unit 110 to transport the paper P in the transport direction by the transport unit 110.
  • the paper P supplied from the paper feeding unit passes through the positions facing the printing unit 120, the imaging unit 130, the drying unit 140, and the sorting unit 150, and finally the paper ejection unit.
  • the paper is discharged to 160.
  • the transfer control unit 176 acquires an encoder value from the rotary encoder 113.
  • the print control unit 178 controls ink ejection by the inkjet heads 122C, 122M, 122Y, and 122K based on the reference data based on the print source image.
  • the print control unit 178 transfers cyan, magenta, yellow, and black ink droplets to the paper P by the inkjet heads 122C, 122M, 122Y, and 122K, respectively, in synchronization with the encoder value acquired via the transport control unit 176. Discharge toward. As a result, a color image is printed on the printed surface of the paper P, and the paper P becomes a "printed matter".
  • the print control unit 178 may output information on the location of the nozzle 126 having a ejection failure to the control unit 174.
  • the defect inspection device 10 acquires information on the location of the nozzle 126 having a ejection defect from the print control unit 178.
  • the print control unit 178 may have a compensation function of correcting the print source image and compensating for printing by the nozzle 126 having a ejection defect.
  • a compensation function for compensating for a nozzle 126 having a defective ejection by increasing the volume of ink droplets of a plurality of adjacent nozzles 126.
  • the print control unit 178 outputs information on the portion compensated by the compensation function of the printed matter to the integrated control unit 174.
  • the defect inspection device 10 acquires information on the portion compensated by the compensation function of the printed matter from the print control unit 178.
  • the image pickup control unit 180 controls the image pickup by the scanner 132, so that the image pickup unit 130 reads the image of the paper P (printed matter).
  • the image pickup control unit 180 causes the scanner 132 to read the image printed on the paper P in synchronization with the encoder value acquired via the transport control unit 176.
  • the defect inspection device 10 acquires image pickup data based on the image captured image read by the scanner 132.
  • the inkjet printing apparatus 100 may print a nozzle defect detection pattern by the print control unit 178 and analyze the captured image read by the scanner 132 to acquire information on the location of the nozzle 126 with ejection failure.
  • the drying control unit 182 controls the heating by the heater 142, so that the paper P is dried by the drying unit 140.
  • the heater 142 heats the paper P when the paper P passes through a position facing the heater 142.
  • the sorting control unit 184 controls the stamp processing by the stamper 152, so that the paper P is sorted by the sorting unit 150.
  • the sorting control unit 184 classifies the printed matter into a non-defective printed matter and a defective printed matter according to the defect information output from the defect inspection device 10.
  • the sorting control unit 184 performs stamp processing by the stamper 152.
  • the paper ejection control unit 186 controls the loading of paper P by the paper ejection table 162.
  • the paper P is discharged to the paper ejection table 162 and stacked. Ink adheres to the tip edge of the defective printed matter paper P. Therefore, the user can identify the defective printed matter from the paper P loaded on the output table 162.
  • the nozzle mapping information held by the nozzle mapping information holding unit 20 has a correspondence relationship between the pixel position (pixel position) of the imaging data in the nozzle direction and the position of each nozzle 126 of the inkjet heads 122C, 122M, 122Y, and 122K. Information to show. That is, the nozzle mapping information indicates which pixel of the imaging data based on the captured image read by the scanner 132 captures the dots ejected from which nozzle 126.
  • nozzle numbers 1, 2, 3, ... are assigned to each of the plurality of nozzles 126 of the inkjet heads 122C, 122M, 122Y, and 122K in order from one of the nozzle directions to the other. ..
  • the inkjet head 122C by continuously ejecting ink from the nozzles 126 at sufficiently distant intervals in the captured image, a cyan line segment extending in the transport direction is formed on the paper P. Is printed.
  • the inkjet head 122C By acquiring the imaging data obtained by reading this line segment by the scanner 132 and detecting which light receiving element 136 the printed line segment was read by, the inkjet head 122C has the nozzle number of the nozzle 126 that ejects the ink. It is possible to acquire the correspondence relationship with each pixel of the image pickup data.
  • This process is ejected from one nozzle 126 for every 100 nozzles 126 of the inkjet head 122C, for example, and a plurality of line segments extending in the transport direction at equal intervals in the nozzle direction are printed.
  • the scanner 132 By having the scanner 132 read the plurality of line segments, it is possible to estimate at which position of the light receiving element 136 in the imaging data the line segment by each nozzle 126 of the inkjet head 122C is printed.
  • the nozzle mapping information is held as a table showing, for example, which pixel of the imaging data the line segment by each nozzle 126 corresponds to.
  • the nozzle mapping information may retain the pixel positions of the imaging data with respect to the nozzles 126 at regular intervals.
  • the nozzle mapping information held in this way may be converted into a linear form and used.
  • the nozzle mapping information may hold only information on which pixel position of the imaging data the line segment formed by the nozzles 126 at both ends in the nozzle direction corresponds to.
  • the nozzle mapping information held in this way may interpolate the pixel positions of the imaging data for each nozzle 126, assuming that all the nozzles 126 between both ends are evenly spaced.
  • the nozzle 126 that outputs each pixel in the nozzle direction in the reference data is always fixed. Therefore, it is possible to determine from which position of the plurality of nozzles 126 the reference data is output. On the other hand, which pixel position of the imaging data corresponds to the line segment by each nozzle 126 can be obtained from the nozzle mapping information. Therefore, it is possible to determine which pixel position of the imaging data the pixel in the nozzle direction of the reference data corresponds to.
  • Figure 6 is a view showing an example of the imaging data D S and the reference data D R. As shown in FIG. 6, in this example, the reference data D R, and printing the left edge of the nozzle direction in the nozzle number 2 in the nozzle 126, is printing the right edge of the nozzle direction in the nozzle 126 of the nozzle number 1000 ..
  • the fifth pixel of the imaging data corresponds to the area printed by the nozzles 126 of the nozzle numbers 2 and 3
  • the 100th pixel of the imaging data corresponds to the nozzles 126 of the nozzle numbers 999 and 1000. It is known to correspond to the area printed in. Interpolation may be performed between these to associate the pixels with the nozzle numbers.
  • nozzle mapping information can nozzle direction positioning of the imaging data D S and the reference data D R.
  • a nozzle defect detection pattern is printed and a scanner is used to determine whether or not each of the plurality of nozzles 126 of the inkjet heads 122C, 122M, 122Y, and 122K is defective.
  • the nozzle mapping information is changed according to the thickness of the paper P.
  • the difference in the thickness of the paper P causes a slight deviation from the focal length of the light receiving element 136, causing scaling in the captured image and a deviation in the nozzle mapping information. Therefore, by holding a plurality of nozzle mapping information according to the thickness of the paper P or performing a correction process for correcting the nozzle mapping information according to the thickness of the paper P, more accurate alignment can be achieved. It will be possible to do.
  • the print timing information held by the print timing information holding unit 24 indicates a correspondence relationship between the pixel position of the imaging data in the transport direction and the print timing of the reference data in each of the inkjet heads 122C, 122M, 122Y, and 122K. Information. That is, the print timing information indicates in which pixel the dots ejected from the nozzle 126 are captured in the image pickup data based on the image captured image read by the scanner 132.
  • the inkjet printing device 100 may print a line segment extending in the nozzle direction based on the encoder value of the rotary encoder 113.
  • the print timing information can be acquired by taking the correspondence between the print timing of each line segment of the reference data and the pixel of each line segment of the imaging data by using the encoder value.
  • Figure 7 is a view showing an example of the imaging data D S and the reference data D R. As shown in FIG. 7, in this example, the encoder value when printing the front end in the conveying direction of the reference data D R is 2, the encoder value when printing the rear end of 1000.
  • the printing by the timing information, the reference encoder value of the tip reference data the fifth pixel from the D R of the conveying direction corresponds to the printing areas in two, 100-th pixel from the tip of the conveying direction of the image pickup data D S encoder value data D R is found to correspond to a region printed with 1000. Interpolation may be performed between these to make the pixels correspond to the encoder values.
  • the print timing information may use a value other than the encoder value.
  • the elapsed time from the print start timing may be used as the print timing information.
  • the print timing information may have a profile different from that of the captured image, or may be retained in a form of being added to the captured image.
  • a processing device that processes the information of the line sensor rather than generating a profile for example, the image pickup control unit 180). ) Is lower cost and lower risk to embed in the image.
  • the print start timing of the reference data is calculated based on the position of the reference line of the imaging data calculated when analyzing the correction pattern and the print start timing of the reference line.
  • Processing an example of the start timing calculation processing for calculating the printing start timing of the reference data
  • the reference line for obtaining the analysis position of the correction pattern can be obtained from the coordinates of the captured image (chart captured image).
  • the offset value can be obtained based on the encoder value at the time of printing on which the reference line is printed and the encoder value when the reference line position of the image pickup data is read. As a result, it is possible to acquire print timing information in which the print start timings of the reference data and the image pickup data are synchronized.
  • Figure 8 is a view showing an example of the imaging data D S and the reference data D R. As shown in FIG. 8, in this example, the upstream side in the conveying direction of the sheet P in the printing areas of the reference data D R, is printing test patterns T.
  • the reading start position of the scanner 132 and the start of the test pattern T in the transport direction vary depending on the dimensions of the machine and the like. Therefore, the relationship between the start position in the conveying direction of the conveying direction of the starting position and the imaging data D S of the test pattern T, is calculated from the encoder value at the time of printing.
  • the imaging data of the test pattern T is analyzed, and which position of the imaging data is the start position of the test pattern T can be known from the reference line position of the test pattern T (the beginning of the test pattern TP). From this, the correspondence between the encoder value in the image pickup data and the encoder value at the time of printing can be understood.
  • the encoder value for the start position of the test pattern T is the printing of the reference data D R 20 advanced position is started.
  • the encoder value of the imaging data from the start position of the test pattern T is 20 advanced position is printed reference data D R It turns out that it is the start of the area.
  • Test pattern T may be printed after the printing of the reference data D R. That is, the test pattern T may be arranged on the downstream side of the printing region of the reference data D R.
  • FIG. 9 is a flowchart showing a process of a method for manufacturing a printed matter.
  • the manufacturing method of the printing unit is stored in the storage unit 172 as a program for being executed by the computer.
  • step S1 (an example of a data acquisition process) the alignment processing unit 16 of the processor 12 acquires reference data based on the print source image of the printed matter to be inspected for defects from the storage unit 172.
  • the alignment processing unit 16 may acquire reference data from the memory 14.
  • the alignment processing unit 16 may acquire reference data before the start of printing on the paper P.
  • step S2 (an example of the printing process), the inkjet printing apparatus 100 prints a printed matter based on the reference data acquired in step S1.
  • step S3 (an example of a data acquisition process) the alignment processing unit 16 acquires image pickup data of a printed matter to be inspected for defects. That is, the image pickup control unit 180 causes the scanner 132 to read the image printed on the paper P in synchronization with the encoder value acquired via the transport control unit 176. The alignment processing unit 16 acquires the captured image read by the scanner 132 as captured data.
  • step S4 (an example of the nozzle mapping information acquisition process) the nozzle direction alignment processing unit 18 of the alignment processing unit 16 acquires nozzle mapping information from the nozzle mapping information holding unit 20.
  • the nozzle direction alignment processing unit 18 may acquire nozzle mapping information from the memory 14 or the storage unit 172.
  • the defect inspection device 10 prints a nozzle defect detection pattern on paper P in advance, acquires nozzle mapping information by analyzing the nozzle defect detection pattern, and causes the nozzle mapping information holding unit 20 to hold the acquired nozzle mapping information. Keep it.
  • step S5 an example of the nozzle direction alignment step
  • the nozzle direction alignment processing unit 18 uses the nozzle mapping information acquired in step S4 to obtain the reference data acquired in step S1 and the imaging data acquired in step S3. Nozzle direction alignment processing is performed.
  • step S6 the transport direction alignment processing unit 22 of the alignment processing unit 16 acquires print timing information from the print timing information holding unit 24.
  • the transport direction alignment processing unit 22 may acquire print timing information from the memory 14 or the storage unit 172.
  • the defect inspection device 10 prints a chart having a reference line on the paper P in advance, acquires print timing information by analyzing the position of the reference line, and holds the acquired print timing information in the print timing information holding unit 24. Let me do it.
  • step S7 (an example of the transport direction alignment process) the transport direction alignment processing unit 22 uses the print timing information acquired in step S6 to align the position in the nozzle direction in step S4, and the reference data and the imaging data. Performs transport direction alignment processing to align the position in the transport direction with.
  • step S8 the defect inspection processing unit 26 of the processor 12 inputs the post-alignment image data including the aligned image data and the reference data into the deep learning model 28, and defects in the printed matter. Defect inspection processing for calculating information is performed, and the calculated defect information is output.
  • the inkjet printing apparatus 100 performs the processes up to step S8 until the paper P printed in step S2 reaches the sorting unit 150.
  • step S9 the sorting unit 150 determines the quality of the printed matter based on the defect information output in step S8, and controls the stamper 152 according to the determination.
  • step S1 and steps S3 to S8 constitute the defect inspection method according to the present embodiment.
  • the defect inspection method may be stored in the memory 14 as a program to be executed by the computer, or may be executed by the processor 12.
  • CMYK and RGB conventionally, a method of matching the color characteristics by creating a table for matching the color profile between the print data and the image pickup data has been used.
  • the color profile differs depending on the above printing conditions, and there are various conditions such as differences in printing equipment and papers depending on the country, so it takes time to individually create a table corresponding to each. There is a problem that is complicated and complicated.
  • Deep learning is one of the machine learning methods, and is known to have much higher performance than conventional machine learning methods in the field of image recognition.
  • the pooling layer is a layer that aggregates the pixel values of nearby pixels into one and compresses the image size.
  • Correspondence of position variation by the pooling layer is effective, for example, when the recognition target exists near the edge of the training data and when the size of the recognition target is small, but when two different data are input, 2
  • the misalignment between two data cannot be dealt with. For example, when considering a learning model in which print data and imaging data are input and defects are determined from the imaging data, if the positions of the print data and the imaging data are misaligned, it becomes impossible to determine whether the print data is a defect or a pattern. ..
  • the defects of the printed matter are inspected by aligning the positions of the image pickup data and the reference data of the printed matter printed based on the reference data with high accuracy and high speed. Is possible. Therefore, deep learning can be used to properly inspect printed matter.

Abstract

基準データに基づいて印刷された印刷物の撮像データと基準データとの位置を高精度でかつ高速に合わせて印刷物の欠陥を検査する欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷装置、印刷物の製造方法を提供する。ノズル方向に複数のノズルが配置されたインクジェットヘッドを備えるシングルパス方式の印刷装置によって基準データに基づいて印刷された印刷物の撮像データと基準データとを取得し、複数のノズルの位置と撮像データのノズル方向の画素位置との対応関係であるノズルマッピング情報を用いて撮像データと基準データとのノズル方向の位置を合わせ、位置を合わせた撮像データと基準データとを入力として印刷物の欠陥を検査する。

Description

欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷装置、印刷物の製造方法
 本発明は欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷装置、印刷物の製造方法に係り、特に検査対象を撮像した撮像データと基準となる基準データとを比較することで、検査対象の欠陥を検出する技術に関する。
 スキャナを用いて対象を撮像した撮像データと基準となる基準データとを比較することで、対象の欠陥を検査する欠陥検査装置が広く用いられている。この手法による検査方法の応用先に、印刷装置によって印刷された印刷物にスジ及びインクの欠け等の印刷欠陥を検査するための印刷物欠陥検査装置がある(特許文献1参照)。
 従来の印刷物欠陥検査では、同じ条件で印刷された基準とする印刷物の撮像データである基準データを予め取得し、印刷中の印刷物の撮像データと比較することで印刷物の欠陥検査を行う手法が広く行われている。しかしながら、この手法では、バリアブル印刷等の1枚ごとに絵柄が変わる印刷物の欠陥検査、及び印刷条件を変更した後の1枚目の印刷物の欠陥検査ができないという問題がある。
 例えば、用紙が異なるとデータ全体の輝度値が異なるため、グロス紙を用いた印刷物から基準データを取得し、グロス紙の印刷物の検査を行った後に、同じ絵柄を印刷した上質紙の印刷物を検査する場合には、取得していたグロス紙の印刷物の基準データと上質紙の印刷物の撮像データとでは差異が大きく、そのまま比較をする場合は検査性能を落とす必要がある。また、検査性能を落とさずに検査を実施するためには、再度上質紙を用いた印刷物から基準データを取得しなおす必要がある。
 このような問題に対し、印刷物の印刷元画像を基とする印刷データを基準データとして検査を行うことが考えられる。
特開平07-186375号公報
 しかしながら、印刷データを基準データとして検査を行う場合、基準データと撮像データとの位置合わせが難しいという問題がある。
 従来の位置合わせ手法は、画像内の特徴をマッチングさせるマッチング手法が一般的であるが、印刷物の撮像画像のような大サイズ画像に対して実施する場合、処理が遅くなるという問題がある。特に、高精度に位置合わせを行うほど処理時間がトレードオフの関係となり、処理が遅くなることが問題である。
 本発明はこのような事情に鑑みてなされたもので、基準データに基づいて印刷された印刷物の撮像データと基準データとの位置を高精度でかつ高速に合わせて印刷物の欠陥を検査する欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷装置、印刷物の製造方法を提供することを目的とする。
 上記目的を達成するための欠陥検査装置の一の態様は、ノズル方向に複数のノズルが配置されたインクジェットヘッドと、インクジェットヘッドと印刷媒体とをノズル方向と交差する相対移動方向に相対移動させる移動機構と、を備えるシングルパス方式の印刷装置によって基準データに基づいて印刷された印刷物の欠陥を検査する欠陥検査装置であって、プロセッサに実行させるための命令を記憶するメモリと、メモリに記憶された命令を実行するプロセッサと、を備え、プロセッサは、印刷物が撮像された撮像画像を基とする撮像データと基準データとを取得し、複数のノズルの位置と撮像データのノズル方向の画素位置との対応関係であるノズルマッピング情報を取得し、ノズルマッピング情報を用いて撮像データと基準データとのノズル方向の位置を合わせるノズル方向位置合わせ処理を行い、ノズル方向位置合わせ処理を行った後に撮像データと基準データとを入力として、欠陥情報を算出する欠陥検査処理を行う欠陥検査装置である。
 本態様によれば、基準データに基づいて印刷された印刷物の撮像データと基準データとの位置を高精度でかつ高速に合わせて印刷物の欠陥を検査することができる。
 プロセッサは、基準データの印字タイミングと撮像データの相対移動方向の画素位置との対応関係である印字タイミング情報を取得し、印字タイミング情報を用いて撮像データと基準データとの相対移動方向の位置を合わせる相対移動方向位置合わせ処理を行い、ノズル方向位置合わせ処理と相対移動方向位置合わせ処理を行った後に撮像データと基準データとを入力として、欠陥情報を算出する欠陥検査処理を行うことが好ましい。これにより、撮像データと基準データとの相対移動方向の位置を高精度でかつ高速に合わせることができる。
 相対移動方向位置合わせ処理は、印字タイミング情報のうち、基準データの印字開始タイミングを計算する開始タイミング算出処理を有することが好ましい。これにより、撮像データと基準データとの相対移動方向の位置を適切に合わせることができる。
 開始タイミング算出処理は、基準線を有する補正用チャートが撮像されたチャート撮像画像を解析し、基準線の位置を使用することが好ましい。これにより、基準データの印字開始タイミングを適切に計算することができる。
 印字タイミング情報は、移動機構のエンコーダ値に基づく情報であることが好ましい。これにより、印字タイミング情報を適切に取得することができる。
 エンコーダ値は、撮像画像に埋め込まれていることが好ましい。これにより、印字タイミング情報を適切に取得することができる。
 ノズルマッピング情報は、印刷媒体の厚さに応じた複数の情報、及び厚さに応じた補正処理により補正された情報の少なくとも一方を含むことが好ましい。これにより、ノズルマッピング情報を適切に取得することができる。
 プロセッサは、撮像データと基準データとを入力とした深層学習モデルを用いて欠陥検査処理を行うことが好ましい。本実施形態は、深層学習モデルを用いた欠陥検査処理に好適である。
 上記目的を達成するための印刷装置の一の態様は、ノズル方向に複数のノズルが配置されたインクジェットヘッドと、インクジェットヘッドと印刷媒体とをノズル方向と交差する相対移動方向に相対移動させる移動機構と、を備えるシングルパス方式の印刷装置であって、印刷物を撮像して撮像画像を生成するスキャナと、上記に記載の欠陥検査装置と、を備えた印刷装置である。
 本態様によれば、基準データに基づいてインクジェットヘッドによって印刷された印刷物の撮像データと基準データとの位置を高精度でかつ高速に合わせて印刷物の欠陥を検査することができる。
 上記目的を達成するための欠陥検査方法の一の態様は、ノズル方向に複数のノズルが配置されたインクジェットヘッドと、インクジェットヘッドと印刷媒体とをノズル方向と交差する相対移動方向に相対移動させる移動機構と、を備えるシングルパス方式の印刷装置によって基準データに基づいて印刷された印刷物の欠陥を検査する欠陥検査方法であって、印刷物が撮像された撮像画像を基とする撮像データと基準データとを取得するデータ取得工程と、複数のノズルの位置と撮像データのノズル方向の画素位置との対応関係であるノズルマッピング情報を取得するノズルマッピング情報取得工程と、ノズルマッピング情報を用いて撮像データと基準データとのノズル方向の位置を合わせるノズル方向位置合わせ処理を行うノズル方向位置合わせ工程と、ノズル方向位置合わせ処理を行った後に撮像データと基準データとを入力として、欠陥情報を算出する欠陥検査処理を行う欠陥検査工程と、を備える欠陥検査方法である。
 本態様によれば、基準データに基づいて印刷された印刷物の撮像データと基準データとの位置を高精度でかつ高速に合わせて印刷物の欠陥を検査することができる。
 上記目的を達成するための印刷物の製造方法の一の態様は、ノズル方向に複数のノズルが配置されたインクジェットヘッドと、インクジェットヘッドと印刷媒体とをノズル方向と交差する相対移動方向に相対移動させる移動機構と、を備えるシングルパス方式の印刷装置によって基準データに基づいて印刷物を印刷する印刷工程と、上記に記載の欠陥検査方法と、欠陥情報に基づいて印刷物の良否を判定する良否判定工程と、を備える印刷物の製造方法である。
 本態様によれば、印刷物の良否を適切に判定することができる。
 上記目的を達成するためのプログラムの一の態様は、上記に記載の欠陥検査方法をコンピュータに実行させるためのプログラムである。このプログラムが記録された、コンピュータが読み取り可能な非一時的記憶媒体も本態様に含んでよい。
 本態様によれば、基準データに基づいて印刷された印刷物の撮像データと基準データとの位置を高精度でかつ高速に合わせて印刷物の欠陥を検査することができる。
 本発明によれば、基準データに基づいて印刷された印刷物の撮像データと基準データとの位置を高精度でかつ高速に合わせて印刷物の欠陥を検査することができるので、位置ずれによる検査性能の低下を防ぐことができる。
図1は、欠陥検査装置の構成を示すブロック図である。 図2は、インクジェット印刷装置の全体構成図である。 図3は、インクジェットヘッドのノズル面を示す平面図である。 図4は、スキャナの読取面を示す平面図である。 図5は、インクジェット印刷装置の制御系の構成を示すブロック図である。 図6は、撮像データと基準データとの一例を示す図である。 図7は、撮像データと基準データとの一例を示す図である。 図8は、撮像データと基準データとの一例を示す図である。 図9は、印刷物の製造方法の処理を示すフローチャートである。
 以下、添付図面に従って本発明の好ましい実施形態について詳説する。
 <欠陥検査装置の構成>
 図1は、欠陥検査装置10の構成を示すブロック図である。欠陥検査装置10は、シングルパス方式の印刷装置(例えば図2に示すインクジェット印刷装置100)によって基準データに基づいて印刷された印刷物の欠陥を検査する装置である。欠陥検査装置10は、撮像装置(例えば図2に示すスキャナ132)を用いて印刷物を撮像した撮像画像を基とする撮像データと基準データとを比較することで、印刷物の欠陥を検査する。図1に示すように、欠陥検査装置10は、プロセッサ12と、メモリ14とを備える。
 プロセッサ12は、メモリ14に記憶された命令を実行する。メモリ14は、プロセッサ12に実行させるための命令を記憶する。
 プロセッサ12のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 プロセッサ12は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、或いはCPUとFPGAの組み合わせ、又はCPUとGPUの組み合わせ)で構成されてもよい。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
 プロセッサ12は、位置合わせ処理部16を備える。位置合わせ処理部16には、撮像データと基準データとが入力される。位置合わせ処理部16は、撮像データと基準データとの位置合わせ処理を行い、位置合わせされた撮像データと基準データとからなる位置合わせ後画像データを出力する。撮像データと基準データとの位置合わせ処理とは、撮像データの各画素と基準データの各画素との対応関係を取得することを指す。
 位置合わせ処理部16は、ノズル方向位置合わせ処理部18と、ノズルマッピング情報保持部20と、搬送方向位置合わせ処理部22と、印字タイミング情報保持部24とを備える。
 ノズル方向位置合わせ処理部18は、撮像データと基準データとのノズル方向の位置を合わせるノズル方向位置合わせ処理を行う。すなわち、ノズル方向位置合わせ処理部18は、撮像データの各画素と基準データの各画素とのノズル方向の対応関係を取得する。
 ノズルマッピング情報保持部20は、ノズル方向位置合わせ処理に必要なノズルマッピング情報を保持する。ノズルマッピング情報保持部20は、メモリ14に設けられてもよい。ノズルマッピング情報の詳細については後述する。
 搬送方向位置合わせ処理部22は、撮像データと基準データとの搬送方向(ノズル方向と交差する相対移動方向の一例)の位置を合わせる搬送方向位置合わせ処理(相対移動方向位置合わせ処理の一例)を行う。すなわち、搬送方向位置合わせ処理部22は、撮像データの各画素と基準データの各画素との搬送方向の対応関係を取得する。
 印字タイミング情報保持部24は、搬送方向位置合わせ処理に必要な印字タイミング情報を保持する。印字タイミング情報保持部24は、メモリ14に設けられてもよい。印字タイミング情報の詳細については後述する。
 また、プロセッサ12は、欠陥検査処理部26を備える。欠陥検査処理部26には、位置合わせ後画像データが入力される。欠陥検査処理部26は、位置合わせ後画像データを入力として欠陥情報を算出する欠陥検査処理を行い、算出された欠陥情報を出力する。
 欠陥検査処理部26は、深層学習モデル28を備える。深層学習モデル28は、撮像データと基準データとを入力として印刷物の欠陥情報を出力とする学習済みモデルである。深層学習モデル28は、複数のレイヤー構造を有し、複数の重みパラメータを保持している。深層学習モデル28は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化しうる。欠陥情報は、欠陥の有無、欠陥の位置、及び欠陥の認識強度値の少なくとも1つを含む。
 <印刷装置の構成>
 次に、欠陥検査装置10を適用したシングルパス方式の印刷装置について説明する。図2は、インクジェット印刷装置100の全体構成図である。図2において、X方向、Y方向、及びZ方向は互いに直交する方向であり、X方向及びY方向は水平方向であり、Z方向は鉛直方向である。インクジェット印刷装置100は、印刷媒体である枚葉の用紙Pにシアン(C)、マゼンタ(M)、イエロー(Y)、及びブラック(K)の4色のインクを吐出してカラー画像を印刷する印刷機である。
 用紙Pには汎用の印刷用紙が使用される。汎用の印刷用紙とは、いわゆるインクジェット専用紙ではなく、一般のオフセット印刷等に用いられる塗工紙等のセルロースを主体とした用紙をいう。また、インクには水性インクが使用される。水性インクとは、水と水に可溶な溶媒に染料、顔料等の色材とを溶解又は分散させたインクをいう。
 図2に示すように、インクジェット印刷装置100は、搬送部110と、印刷部120と、撮像部130と、乾燥部140と、選別部150と、排紙部160と、を備える。
 〔搬送部〕
 搬送部110は、不図示の給紙部から給紙された用紙Pを搬送方向(Y方向)に搬送する搬送機構である。搬送部110は、印刷部120と用紙Pとを相対移動方向に相対移動させる移動機構に相当する。搬送部110は、上流側プーリ112と、ロータリエンコーダ113と、下流側プーリ114と、搬送ベルト116と、を備える。
 上流側プーリ112は、水平方向に延びる不図示の回転軸を有し、回転軸が回転自在に軸支される。上流側プーリ112には、ロータリエンコーダ113が配置される。ロータリエンコーダ113は、上流側プーリ112の回転に応じたエンコーダ値を出力する。
 下流側プーリ114は、上流側プーリ112の回転軸と平行な不図示の回転軸を有し、回転軸が回転自在に軸支される。
 搬送ベルト116は、ステンレス製の無端状のベルトである。搬送ベルト116は、上流側プーリ112と下流側プーリ114とに架け渡されている。搬送部110は、ステンレス製の搬送ベルト116を使用することで、用紙Pの平坦性を良好に保つことができる。
 下流側プーリ114は、駆動手段として不図示のモータを有している。モータが駆動すると、下流側プーリ114が図2において左回りに回転する。上流側プーリ112は、下流側プーリ114の回転に従動して図2において左回りに回転する。上流側プーリ112と下流側プーリ114との回転により、搬送ベルト116は上流側プーリ112と下流側プーリ114との間を走行経路に沿って走行する。
 搬送ベルト116の搬送面には、不図示の給紙部から供給された用紙Pが載置される。搬送部110は、搬送ベルト116に載置された用紙Pを上流側プーリ112から下流側プーリ114に向かう搬送経路に沿って搬送し、排紙部160に受け渡す。この搬送経路の、印刷部120と、撮像部130と、乾燥部140と、選別部150と、に対向する位置において、用紙Pは印刷面を水平に保持されて搬送される。
 搬送ベルト116に不図示の複数の吸着孔を設け、不図示のポンプにより搬送ベルト116の吸着孔を吸引することで、搬送ベルト116の搬送面に載置された用紙Pを搬送面に吸着保持してもよい。
 〔印刷部〕
 印刷部120は、基準データに基づいて用紙Pに画像を印刷する。印刷部120は、インクジェットヘッド122C、122M、122Y、及び122Kを備える。インクジェットヘッド122Cは、シアンのインク滴をインクジェット方式で吐出する。同様に、インクジェットヘッド122M、122Y、122Kは、それぞれマゼンタ、イエロー、ブラックのインク滴をインクジェット方式で吐出する。
 インクジェットヘッド122C、122M、122Y、及び122Kは、搬送ベルト116による用紙Pの搬送経路に沿って一定の間隔をもって配置される。インクジェットヘッド122C、122M、122Y、及び122Kは、それぞれ用紙幅に対応する長さを有するラインヘッドである。インクジェットヘッド122C、122M、122Y、及び122Kは、ノズル面124(図3参照)が搬送ベルト116に対向するように配置される。
 インクジェットヘッド122C、122M、122Y、及び122Kは、ノズル面124に配置された複数のノズル126(図3参照)から、搬送ベルト116によって搬送される用紙Pに向けてインク滴を吐出することにより、用紙Pの印刷面に所定の網種で画像を印刷する。インクジェットヘッド122C、122M、122Y、及び122Kのそれぞれがインクの液滴を吐出するタイミングは、上流側プーリ112に配置されたロータリエンコーダ113から得られるエンコーダ値に同期する。
 このように、印刷部120は、搬送ベルト116によってY方向に搬送される用紙Pに対して1回の走査によって、いわゆるシングルパス方式によって印刷物を生成する。
 図3は、インクジェットヘッド122Cのノズル面124を示す平面図である。図3に示すように、ノズル面124にはノズル方向(X方向)に複数のノズル126が配置される。図3では、図示の簡略化のために、複数のノズル126がX方向に1列に並んだ例を示したが、複数のノズル126はノズル面124に2次元配置されてもよい。2次元配置された複数のノズル126は、インクジェットヘッド122Cと用紙Pとの相対移動方向と直交する方向に沿う直線上に正射影されるノズル列(投影ノズル列)が実質的に1列のノズル列を構成する。本実施形態では、インクジェットヘッド122Cと用紙Pとの相対移動方向と直交する方向をノズル方向と定義することができる。
 インクジェットヘッド122M、122Y、及び122Kの構成についても、インクジェットヘッド122Cと同様である。
 〔撮像部〕
 図2の説明に戻り、撮像部130は、用紙Pの印刷面の画像を取得する。撮像部130は、用紙Pの搬送方向に対して印刷部120の下流側に配置される。撮像部130は、スキャナ132を備える。
 スキャナ132は、読取面134(図4参照)が搬送ベルト116に対向するように配置される。スキャナ132は、読取面134に複数の受光素子136(図4参照)がX方向に並べて配置されるラインセンサである。ラインセンサとしては、例えば、CCD(Charge Coupled Device)センサ、又はCMOS(Complementary Metal Oxide Semiconductor)センサが用いられる。スキャナ132は、インクジェットヘッド122C、122M、122Y、及び122Kを用いて用紙Pに印刷された画像を複数の受光素子136によって光学的に読み取り、その撮像画像を基とする撮像データを生成する。
 図4は、スキャナ132の読取面134を示す平面図である。図4に示すように、読取面134にはノズル方向(X方向)に複数の受光素子136が配置される。ここでは、スキャナ132の読取解像度は、インクジェットヘッド122M、122Y、及び122Kのそれぞれの印刷解像度よりも低い。
 撮像部130は、用紙Pに印刷された画像に照明光を照射する光源を含んでもよい。
 〔乾燥部〕
 乾燥部140は、用紙Pのインクを乾燥させる。乾燥部140は、用紙Pの搬送方向に対して撮像部130の下流側に配置される。
 乾燥部140は、ヒータ142を備えている。ヒータ142としては、例えば、ハロゲンヒータと赤外線ヒータとのうち少なくとも一方が使用される。ヒータ142は、用紙Pの印刷面を加熱して、用紙Pのインクを乾燥させる。乾燥部140は、ファン又はブロア等の送風手段を含んでいてもよい。
 〔選別部〕
 選別部150は、搬送ベルト116によって搬送される用紙Pに関する欠陥情報に応じて印刷物の良否判定を行い、印刷物を選別する。選別部150は、用紙Pの搬送方向に対して乾燥部140の下流側に配置される。選別部150は、スタンパ152を備えている。
 スタンパ152は、搬送ベルト116によって搬送される用紙Pに関する良否判定に応じて、不良品印刷物と判定された用紙Pの先端エッジにインクを付着させるスタンプ処理を行う。
 〔排紙部〕
 排紙部160は、画像が印刷され、乾燥された用紙P(印刷物)を回収する。排紙部160は、用紙Pの搬送方向に対して選別部150の下流側であって、搬送部110の搬送経路の終点に配置される。排紙部160は、排紙台162を備えている。
 排紙台162は、搬送ベルト116によって搬送された用紙Pを積み重ねて回収する。排紙台162には、不図示の前用紙当てと、後用紙当てと、横用紙当てと、が備えられており、用紙Pを整然と積み重ねる。
 また、排紙台162は、不図示の昇降装置によって昇降可能に設けられる。昇降装置は、排紙台162に積み重ねられる用紙Pの増減に連動して駆動が制御される。これにより、排紙台162に積み重ねられた用紙Pのうち最上位に位置する用紙Pが常に一定の高さとなる。
 インクジェット印刷装置100は、用紙Pを搬送してインクジェットヘッド122C、122M、122Y、及び122Kと用紙Pとを相対移動させているが、インクジェットヘッド122C、122M、122Y、及び122Kを移動方向に移動させてインクジェットヘッド122C、122M、122Y、及び122Kと用紙Pとを相対移動させてもよい。
 〔インクジェット印刷装置の制御系〕
 図5は、インクジェット印刷装置100の制御系の構成を示すブロック図である。インクジェット印刷装置100は、欠陥検査装置10と、ユーザインターフェース170と、記憶部172と、統括制御部174と、搬送制御部176と、印刷制御部178と、撮像制御部180と、乾燥制御部182と、選別制御部184と、排紙制御部186とを備える。
 ユーザインターフェース170は、使用者がインクジェット印刷装置100を操作するための不図示の入力部と、使用者に情報を提示するための不図示の表示部とを備える。入力部は、例えば使用者からの入力を受け付ける操作パネルである。表示部は、例えば画像データと各種の情報とを表示するディスプレイである。使用者は、ユーザインターフェース170を使用することで、インクジェット印刷装置100に所望の画像を印刷させることができる。
 記憶部172は、インクジェット印刷装置100を制御するためのプログラムと、プログラムの実行に必要な情報と、を記憶する。記憶部172は、不図示のハードディスク、又は各種半導体メモリ等の非一時的記憶媒体により構成される。記憶部172は、基準データを記憶してもよい。欠陥検査装置10は、記憶部172から基準データを取得してもよい。
 統括制御部174は、記憶部172に記憶されたプログラムに従って各種の処理を行い、インクジェット印刷装置100の全体の動作を統括制御する。
 搬送制御部176は、搬送部110の不図示のモータを制御することで、搬送部110によって用紙Pを搬送方向に搬送させる。これにより、不図示の給紙部から供給された用紙Pは、印刷部120と、撮像部130と、乾燥部140と、選別部150と、に対向する位置を通過し、最後に排紙部160に排紙される。また、搬送制御部176は、ロータリエンコーダ113からエンコーダ値を取得する。
 印刷制御部178は、印刷元画像を基とする基準データに基づいて、インクジェットヘッド122C、122M、122Y、及び122Kによるインクの吐出を制御する。印刷制御部178は、搬送制御部176を介して取得したエンコーダ値に同期させて、インクジェットヘッド122C、122M、122Y、及び122Kによって、それぞれシアン、マゼンタ、イエロー、及びブラックのインク滴を用紙Pに向けて吐出させる。これにより、用紙Pの印刷面にカラー画像が印刷され、用紙Pは「印刷物」となる。
 なお、印刷制御部178は、吐出不良のノズル126の箇所の情報を統括制御部174に出力してもよい。欠陥検査装置10は、印刷制御部178から吐出不良のノズル126の箇所の情報を取得する。
 また、印刷制御部178は、印刷元画像を補正して吐出不良のノズル126による印刷を補償する補償機能を有してもよい。一例として、吐出不良のノズル126に対し、隣り合う複数のノズル126のインク滴の体積を増大させることによって補償する補償機能がある。印刷制御部178は、印刷物の補償機能により補償された箇所の情報を統括制御部174に出力する。欠陥検査装置10は、印刷制御部178から印刷物の補償機能により補償された箇所の情報を取得する。
 撮像制御部180は、スキャナ132による撮像を制御することで、撮像部130によって用紙P(印刷物)の画像を読み取らせる。撮像制御部180は、搬送制御部176を介して取得したエンコーダ値に同期させて、スキャナ132によって用紙Pに印刷された画像を読み取らせる。欠陥検査装置10は、スキャナ132が読み取った撮像画像を基とする撮像データを取得する。
 インクジェット印刷装置100は、印刷制御部178によってノズル不良検知パターンを印刷させ、スキャナ132で読み込んだ撮像画像を解析することで吐出不良のノズル126の箇所の情報を取得してもよい。
 乾燥制御部182は、ヒータ142による加熱を制御することで、乾燥部140によって用紙Pを乾燥させる。ヒータ142は、ヒータ142と対向する位置を用紙Pが通過する際に用紙Pを加熱させる。
 選別制御部184は、スタンパ152によるスタンプ処理を制御することで、選別部150によって用紙Pを選別させる。選別制御部184は、欠陥検査装置10から出力された欠陥情報に応じて印刷物を良品印刷物と不良品印刷物とに分類する。選別制御部184は、スタンパ152と対向する位置を通過する用紙Pが不良品印刷物と判定された用紙Pである場合は、スタンパ152によってスタンプ処理を行う。
 排紙制御部186は、排紙台162による用紙Pの積載を制御する。用紙Pは、排紙台162に排紙され、積み重ねられる。不良品印刷物の用紙Pには先端エッジにインクが付着している。このため、使用者は、排紙台162に積載された用紙Pの中から不良品印刷物を特定することができる。
 <ノズルマッピング情報>
 ノズルマッピング情報保持部20が保持するノズルマッピング情報は、ノズル方向における撮像データの画素の位置(画素位置)とインクジェットヘッド122C、122M、122Y、及び122Kのそれぞれのノズル126の位置との対応関係を示す情報である。すなわち、ノズルマッピング情報は、スキャナ132が読み取った撮像画像を基とする撮像データのどの画素にどのノズル126から吐出されたドットが撮像されているかを示している。
 ここで、説明のために、インクジェットヘッド122C、122M、122Y、及び122Kのそれぞれの複数のノズル126に、ノズル方向の一方から他方に向けて順に1、2、3、…とノズル番号を付与する。
 例えば、インクジェットヘッド122Cの複数のノズル126のうち、撮像画像内で十分に離れた間隔をあけたノズル126からインクを連続して吐出することで、用紙Pには搬送方向に延びるシアンの線分が印刷される。この線分をスキャナ132によって読み取った撮像データを取得し、印刷された線分がどの受光素子136で読み取られたかを検出することで、インクジェットヘッド122Cについて、インクを吐出したノズル126のノズル番号と撮像データの各画素との対応関係を取得することができる。
 本処理を、インクジェットヘッド122Cの例えば100個のノズル126ごとに1個のノズル126から吐出させ、ノズル方向に等間隔な搬送方向に延びる複数の線分を印刷させる。この複数の線分をスキャナ132において読み取らせることで、インクジェットヘッド122Cの各ノズル126による線分が撮像データのどの受光素子136の位置に印刷されるかを推測することが可能となる。インクジェットヘッド122M、122Y、及び122Kについても同様である。
 ノズルマッピング情報は、例えば各ノズル126による線分が撮像データのどの画素に対応するかをすべて示すテーブルとして保持される。ノズルマッピング情報は、一定間隔のノズル126に対する撮像データの画素位置が保持されてもよい。このように保持されるノズルマッピング情報は、線形式に変換されて使用されてもよい。
 また、ノズルマッピング情報は、ノズル方向における両端のノズル126による線分が撮像データのどの画素位置に対応するかの情報だけ保持されてもよい。このように保持されるノズルマッピング情報は、両端の間のノズル126がすべて等間隔であると仮定して各ノズル126に対する撮像データの画素位置が補間されてもよい。
 シングルパス方式のインクジェット印刷装置100であれば、基準データにおけるノズル方向の各画素を出力するノズル126は、常に固定である。そのため、基準データが複数のノズル126のどの位置のノズル126から出力されるかを求めることができる。一方、各ノズル126による線分が撮像データのどの画素位置に対応するかはノズルマッピング情報により求めることができる。したがって、基準データのノズル方向の画素が、撮像データのどの画素位置に対応するかを求めることが可能となる。
 図6は、撮像データDと基準データDとの一例を示す図である。図6に示すように、この例では、基準データDについて、ノズル方向の左端をノズル番号2番のノズル126で印刷し、ノズル方向の右端をノズル番号1000番のノズル126で印刷している。
 ここでは、ノズルマッピング情報により、撮像データの5画素目がノズル番号2番及び3番のノズル126で印刷した領域に対応し、撮像データの100画素目がノズル番号999番及び1000番のノズル126で印刷した領域に対応することがわかっている。これらの間については、補間して画素とノズル番号とを対応させればよい。
 このように、ノズルマッピング情報を使用することで、撮像データDと基準データDとのノズル方向の位置合わせが可能である。
 前述のように、インクジェット印刷装置100において、インクジェットヘッド122C、122M、122Y、及び122Kのそれぞれの複数のノズル126に不良があるか否かを判断するために、ノズル不良検知パターンを印刷し、スキャナ132で読み込んだ撮像画像を解析することでノズル検査を行う手法がある。その際、ノズル126を特定するために、どのノズル126が撮像画像のどの画素位置に印字するかの対応関係テーブルを保存しておく必要がある。この対応関係テーブルによるノズルマッピング情報を用いてもよい。
 なお、ノズルマッピング情報は、用紙Pの厚さに応じて変化させることが好ましい。固定されたスキャナ132において印刷物を撮像する場合、用紙Pの厚さの違いにより受光素子136の焦点距離からわずかにずれ、撮像画像内での拡縮が発生し、ノズルマッピング情報にずれが生じる。このため、用紙Pの厚さに応じて複数のノズルマッピング情報を保持させるか、あるいは用紙Pの厚さに応じてノズルマッピング情報を補正する補正処理を行うことで、より高精度な位置合わせを行うことが可能となる。
 <印字タイミング情報>
 印字タイミング情報保持部24が保持する印字タイミング情報は、搬送方向における撮像データの画素位置とインクジェットヘッド122C、122M、122Y、及び122Kのそれぞれにおける基準データの印字(印刷)タイミングとの対応関係を示す情報である。すなわち、印字タイミング情報は、スキャナ132が読み取った撮像画像を基とする撮像データにおいて、どの画素にどのタイミングでノズル126から吐出されたドットが撮像されているかを示している。
 インクジェット印刷装置100は、ロータリエンコーダ113のエンコーダ値をもとに、ノズル方向に延びる線分を印刷する場合がある。その場合において、エンコーダ値を用いて、基準データの各線分の印字タイミングと撮像データの各線分の画素との対応関係を取ることで、印字タイミング情報を取得することができる。
 図7は、撮像データDと基準データDとの一例を示す図である。図7に示すように、この例では、基準データDのうち搬送方向の先端を印刷した際のエンコーダ値は2であり、後端を印刷した際のエンコーダ値は1000である。
 ここでは、印字タイミング情報により、撮像データDのうち搬送方向の先端から5画素目が基準データDのエンコーダ値が2で印刷した領域に対応し、搬送方向の先端から100画素目が基準データDのエンコーダ値が1000で印刷した領域に対応することがわかっている。これらの間については、補間して画素とエンコーダ値とを対応させればよい。
 このように、印字タイミング情報を使用することで、撮像データDと基準データDとの搬送方向の位置合わせが可能である。
 印字タイミング情報は、エンコーダ値以外の値を用いてもよい。例えば、印字開始タイミングから一定のクロックで印刷を行うインクジェット印刷装置100の場合、印字開始タイミングからの経過時間を印字タイミング情報として用いてもよい。
 また、印字タイミング情報は、撮像画像とは別のプロファイルであってもよいし、撮像画像に追加される形で保持されてもよい。本実施形態のように、スキャナ132としてラインセンサを使用する場合は、各ラインの処理が高速であるため、プロファイルを生成するよりも、ラインセンサの情報を処理する処理装置(例えば撮像制御部180)において画像に埋め込みを行う方が低コスト及び低リスクである。
 印字開始タイミングにて基準データの印刷が開始される場合、印字開始タイミングに合わせることで撮像データと基準データとの搬送方向の位置合わせを行うことが可能である。しかしながら、スキャナ132の読み取り開始位置と基準データの印字開始位置との関係は、スキャナ132の取り付け位置により異なるため、設置時の取り付け寸法のばらつきにより機体ごとに異なる。この場合は、基準データの印字開始位置を算出、あるいは絶対情報へと変換する必要がある。
 印字開始位置の算出方法の具体例として、補正用パターンを解析する際に算出される撮像データの基準線の位置と、基準線の印字開始タイミングをもとに、基準データの印字開始タイミングを算出する処理(基準データの印字開始タイミングを計算する開始タイミング算出処理の一例)が例として挙げられる。印刷前に行う補正用チャート、あるいは印刷中に印字される補正用パターンを解析する際に、補正用パターンの解析位置を求めるための基準線を撮像画像(チャート撮像画像)の座標で求めることで、基準線が印字される印字時のエンコーダ値と、撮像データの基準線位置が読み込まれた際のエンコーダ値をもとにオフセット値(補正係数)を求めることができる。これにより、基準データと撮像データとの印字開始タイミングの同期をとった印字タイミング情報を取得することができる。
 図8は、撮像データDと基準データDとの一例を示す図である。図8に示すように、この例では、基準データDの印刷領域の用紙Pの搬送方向上流側に、テストパターンTを印刷している。
 スキャナ132の読取開始位置とテストパターンTの搬送方向の開始とは、機械の寸法等によりばらつく。したがって、テストパターンTの搬送方向の開始位置と撮像データDの搬送方向の開始位置との関係を、印刷時のエンコーダ値から算出する。
 テストパターンTの撮像データを解析し、テストパターンTの基準線位置(テストパターンTPの先頭)から撮像データのどの位置がテストパターンTの開始位置かがわかる。これにより、撮像データ内のエンコーダ値と印刷時のエンコーダ値の対応がわかる。
 例えば、テストパターンTの開始位置に対してエンコーダ値が20進んだ位置から基準データDの印刷が開始されているとする。この場合、撮像データからテストパターンTの開始位置を検出することで、印字タイミング情報によって、テストパターンTの開始位置から撮像データ内のエンコーダ値が20進んだ位置が基準データDの印刷された領域の開始であることがわかる。
 テストパターンTは、基準データDの印刷後に印刷してもよい。すなわち、テストパターンTは、基準データDの印刷領域の下流側に配置さてもよい。
 <印刷物の製造方法>
 図9は、印刷物の製造方法の処理を示すフローチャートである。印刷部の製造方法は、コンピュータに実行させるためのプログラムとして記憶部172に記憶されている。
 ステップS1(データ取得工程の一例)では、プロセッサ12の位置合わせ処理部16は、記憶部172から欠陥検査を行う印刷物の印刷元画像を基とする基準データを取得する。位置合わせ処理部16は、メモリ14から基準データを取得してもよい。位置合わせ処理部16は、用紙Pの印刷の開始以前に基準データを取得してもよい。
 ステップS2(印刷工程の一例)では、インクジェット印刷装置100は、ステップS1で取得した基準データに基づいて印刷物を印刷する。
 ステップS3(データ取得工程の一例)では、位置合わせ処理部16は、欠陥検査を行う印刷物の撮像データを取得する。すなわち、撮像制御部180は、搬送制御部176を介して取得したエンコーダ値に同期させて、スキャナ132によって用紙Pに印刷された画像を読み取らせる。位置合わせ処理部16は、スキャナ132が読み取った撮像画像を撮像データとして取得する。
 ステップS4(ノズルマッピング情報取得工程の一例)では、位置合わせ処理部16のノズル方向位置合わせ処理部18は、ノズルマッピング情報保持部20からノズルマッピング情報を取得する。ノズル方向位置合わせ処理部18は、メモリ14又は記憶部172からノズルマッピング情報を取得してもよい。欠陥検査装置10は、事前に用紙Pにノズル不良検知パターンを印刷し、ノズル不良検知パターンを解析することでノズルマッピング情報を取得し、取得したノズルマッピング情報をノズルマッピング情報保持部20に保持させておく。
 ステップS5(ノズル方向位置合わせ工程の一例)では、ノズル方向位置合わせ処理部18は、ステップS4で取得したノズルマッピング情報を用いて、ステップS1で取得した基準データとステップS3で取得した撮像データとのノズル方向の位置を合わせるノズル方向位置合わせ処理を行う。
 ステップS6(印字タイミング情報取得工程の一例)では、位置合わせ処理部16の搬送方向位置合わせ処理部22は、印字タイミング情報保持部24から印字タイミング情報を取得する。搬送方向位置合わせ処理部22は、メモリ14又は記憶部172から印字タイミング情報を取得してもよい。欠陥検査装置10は、事前に用紙Pに基準線を有するチャートを印刷し、基準線の位置を解析することで印字タイミング情報を取得し、取得した印字タイミング情報を印字タイミング情報保持部24に保持させておく。
 ステップS7(搬送方向位置合わせ工程の一例)では、搬送方向位置合わせ処理部22は、ステップS6で取得した印字タイミング情報を用いて、ステップS4でノズル方向の位置を合わせられた基準データと撮像データとの搬送方向の位置を合わせる搬送方向位置合わせ処理を行う。
 ステップS8(欠陥検査工程の一例)では、プロセッサ12の欠陥検査処理部26は、位置合わせされた撮像データと基準データとからなる位置合わせ後画像データを深層学習モデル28に入力して印刷物の欠陥情報を算出する欠陥検査処理を行い、算出された欠陥情報を出力する。インクジェット印刷装置100は、ステップS2で印刷した用紙Pが選別部150に到達するまでの間にステップS8までの処理を行う。
 ステップS9(良否判定工程の一例)では、選別部150は、ステップS8で出力された欠陥情報に基づいて印刷物の良否判定を行い、判定に応じてスタンパ152を制御する。
 以上で、印刷物の製造方法の処理を終了する。なお、図9に示すフローチャートのうち、ステップS1及びステップS3~ステップS8が本実施形態に係る欠陥検査方法を構成する。欠陥検査方法は、コンピュータに実行させるためのプログラムとしてメモリ14に記憶してもよいし、プロセッサ12が実行してもよい。
 <深層学習を用いた欠陥検査>
 印刷物の印刷元画像を基とする印刷データを基準データとする場合、シアン(C)、マゼンタ(M)、イエロー(Y)、及びブラック(K)の4チャンネルとレッド(R)、グリーン(G)、及びブルー(B)の3チャンネルとでデータフォーマットが異なる等の差異が発生するため、それらの特性を一致させるための前処理が必要となる。
 CMYKとRGB間の差異に関して、従来は印刷データと撮像データとの間でのカラープロファイルを一致させるためのテーブルを作成することで、色特性を一致させる手法が用いられている。しかしながら、カラープロファイルは上記の印刷条件の違いにより異なり、印刷装置の違い及び国による用紙の違い等、条件が多岐にわたり存在しているため、それぞれに対応するテーブルを個別に作成することは時間がかかり、煩雑である問題が存在する。
 上記の問題に対し、パラメータ及び特徴量の抽出の自動化のために近年広く利用されている深層学習に着目した。深層学習は機械学習手法の一つであり、画像認識分野で従来の機械学習手法より非常に高性能であることが知られている。
 深層学習では、学習するデータにおける認識対象のサイズ及び位置のばらつきへ対応するために、プーリング層を導入するのが一般的に行われている。プーリング層は、近接画素の画素値を1つに集約し、画像サイズを圧縮していく処理を行う層のことで、プーリング層を複数導入することによりデータ内の位置に依らず認識対象を識別することが可能となる。
 プーリング層による位置ばらつき対応は、例えば、学習データの端の方に認識対象が存在する場合、及び認識対象のサイズが小さい場合には有効であるが、異なる2つのデータを入力とした場合における2つのデータ間の位置ずれには対応できない問題がある。例えば、印刷データと撮像データとを入力し、撮像データから欠陥を判断する学習モデルを考えた場合、印刷データと撮像データとの位置がずれていると、欠陥か絵柄かを判断できなくなってしまう。
 これに対し、欠陥検査装置10による欠陥検査方法によれば、基準データに基づいて印刷された印刷物の撮像データと基準データとの位置を高精度でかつ高速に合わせて印刷物の欠陥を検査することが可能となる。したがって、深層学習を用いて印刷物を適切に検査することができる。
 <その他>
 本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
10…欠陥検査装置
12…プロセッサ
14…メモリ
16…処理部
18…処理部
20…ノズルマッピング情報保持部
22…処理部
24…印字タイミング情報保持部
26…欠陥検査処理部
28…深層学習モデル
100…インクジェット印刷装置
110…搬送部
112…上流側プーリ
113…ロータリエンコーダ
114…下流側プーリ
116…搬送ベルト
120…印刷部
122C…インクジェットヘッド
122K…インクジェットヘッド
122M…インクジェットヘッド
122Y…インクジェットヘッド
124…ノズル面
126…ノズル
130…撮像部
132…スキャナ
134…読取面
136…受光素子
140…乾燥部
142…ヒータ
150…選別部
152…スタンパ
160…排紙部
162…排紙台
170…ユーザインターフェース
172…記憶部
174…統括制御部
176…搬送制御部
178…印刷制御部
180…撮像制御部
182…乾燥制御部
184…選別制御部
186…排紙制御部
S1~S7…欠陥検査方法の各ステップ

Claims (13)

  1.  ノズル方向に複数のノズルが配置されたインクジェットヘッドと、前記インクジェットヘッドと印刷媒体とを前記ノズル方向と交差する相対移動方向に相対移動させる移動機構と、を備えるシングルパス方式の印刷装置によって基準データに基づいて印刷された印刷物の欠陥を検査する欠陥検査装置であって、
     プロセッサに実行させるための命令を記憶するメモリと、
     メモリに記憶された命令を実行するプロセッサと、
     を備え、
     前記プロセッサは、
     前記印刷物が撮像された撮像画像を基とする撮像データと前記基準データとを取得し、
     前記複数のノズルの位置と前記撮像データの前記ノズル方向の画素位置との対応関係であるノズルマッピング情報を取得し、
     前記ノズルマッピング情報を用いて前記撮像データと前記基準データとの前記ノズル方向の位置を合わせるノズル方向位置合わせ処理を行い、
     前記ノズル方向位置合わせ処理を行った後に前記撮像データと前記基準データとを入力として、欠陥情報を算出する欠陥検査処理を行う、
     欠陥検査装置。
  2.  前記プロセッサは、
     前記基準データの印字タイミングと前記撮像データの前記相対移動方向の画素位置との対応関係である印字タイミング情報を取得し、
     前記印字タイミング情報を用いて前記撮像データと前記基準データとの前記相対移動方向の位置を合わせる相対移動方向位置合わせ処理を行い、
     前記ノズル方向位置合わせ処理と前記相対移動方向位置合わせ処理を行った後に前記撮像データと前記基準データとを入力として、欠陥情報を算出する欠陥検査処理を行う、
     請求項1に記載の欠陥検査装置。
  3.  前記相対移動方向位置合わせ処理は、前記印字タイミング情報のうち、前記基準データの印字開始タイミングを計算する開始タイミング算出処理を有する、
     請求項2に記載の欠陥検査装置。
  4.  前記開始タイミング算出処理は、基準線を有する補正用チャートが撮像されたチャート撮像画像を解析し、前記基準線の位置を使用する、
     請求項3に記載の欠陥検査装置。
  5.  前記印字タイミング情報は、前記移動機構のエンコーダ値に基づく情報である、
     請求項2から4のいずれか1項に記載の欠陥検査装置。
  6.  前記エンコーダ値は、前記撮像画像に埋め込まれている、
     請求項5に記載の欠陥検査装置。
  7.  前記ノズルマッピング情報は、前記印刷媒体の厚さに応じた複数の情報、及び厚さに応じた補正処理により補正された情報の少なくとも一方を含む、
     請求項1から6のいずれか1項に記載の欠陥検査装置。
  8.  前記プロセッサは、前記撮像データと前記基準データとを入力とした深層学習モデルを用いて前記欠陥検査処理を行う、
     請求項1から7のいずれか1項に記載の欠陥検査装置。
  9.  ノズル方向に複数のノズルが配置されたインクジェットヘッドと、前記インクジェットヘッドと印刷媒体とを前記ノズル方向と交差する相対移動方向に相対移動させる移動機構と、を備えるシングルパス方式の印刷装置であって、
     前記印刷物を撮像して撮像画像を生成するスキャナと、
     請求項1から8のいずれか1項に記載の欠陥検査装置と、
     を備えた印刷装置。
  10.  ノズル方向に複数のノズルが配置されたインクジェットヘッドと、前記インクジェットヘッドと印刷媒体とを前記ノズル方向と交差する相対移動方向に相対移動させる移動機構と、を備えるシングルパス方式の印刷装置によって基準データに基づいて印刷された印刷物の欠陥を検査する欠陥検査方法であって、
     前記印刷物が撮像された撮像画像を基とする撮像データと前記基準データとを取得するデータ取得工程と、
     前記複数のノズルの位置と前記撮像データの前記ノズル方向の画素位置との対応関係であるノズルマッピング情報を取得するノズルマッピング情報取得工程と、
     前記ノズルマッピング情報を用いて前記撮像データと前記基準データとの前記ノズル方向の位置を合わせるノズル方向位置合わせ処理を行うノズル方向位置合わせ工程と、
     前記ノズル方向位置合わせ処理を行った後に前記撮像データと前記基準データとを入力として、欠陥情報を算出する欠陥検査処理を行う欠陥検査工程と、
     を備える欠陥検査方法。
  11.  ノズル方向に複数のノズルが配置されたインクジェットヘッドと、前記インクジェットヘッドと印刷媒体とを前記ノズル方向と交差する相対移動方向に相対移動させる移動機構と、を備えるシングルパス方式の印刷装置によって基準データに基づいて印刷物を印刷する印刷工程と、
     請求項10に記載の欠陥検査方法と、
     前記欠陥情報に基づいて前記印刷物の良否を判定する良否判定工程と、
     を備える印刷物の製造方法。
  12.  請求項10に記載の欠陥検査方法をコンピュータに実行させるためのプログラム。
  13.  非一時的かつコンピュータ読取可能な記録媒体であって、請求項12に記載のプログラムが記録された記録媒体。
PCT/JP2021/022233 2020-06-19 2021-06-11 欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷装置、印刷物の製造方法 WO2021256389A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022531759A JP7361219B2 (ja) 2020-06-19 2021-06-11 欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷装置、印刷物の製造方法
EP21825668.3A EP4169721A4 (en) 2020-06-19 2021-06-11 DEFECT INSPECTION APPARATUS, DEFECT INSPECTION METHOD AND PROGRAM, PRINTING APPARATUS AND PRINTED MATERIAL PRODUCTION METHOD
US18/064,544 US20230103391A1 (en) 2020-06-19 2022-12-12 Defect inspection device, defect inspection method, and program, and printing device and method of manufacturing printed matter

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-106155 2020-06-19
JP2020106155 2020-06-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/064,544 Continuation US20230103391A1 (en) 2020-06-19 2022-12-12 Defect inspection device, defect inspection method, and program, and printing device and method of manufacturing printed matter

Publications (1)

Publication Number Publication Date
WO2021256389A1 true WO2021256389A1 (ja) 2021-12-23

Family

ID=79268009

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/022233 WO2021256389A1 (ja) 2020-06-19 2021-06-11 欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷装置、印刷物の製造方法

Country Status (4)

Country Link
US (1) US20230103391A1 (ja)
EP (1) EP4169721A4 (ja)
JP (1) JP7361219B2 (ja)
WO (1) WO2021256389A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023098640A (ja) * 2021-12-28 2023-07-10 セメス株式会社 ノズル検査ユニットおよびそれを含む基板処理装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115561244A (zh) * 2022-09-30 2023-01-03 华中科技大学 一种薄膜制备雾化喷印制造全过程质量检测方法与系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07186375A (ja) 1993-12-28 1995-07-25 Toppan Printing Co Ltd 印刷物の検査方法
US20060203028A1 (en) * 2005-03-10 2006-09-14 Manish Agarwal Apparatus and method for print quality control
JP2014066618A (ja) * 2012-09-26 2014-04-17 Dainippon Screen Mfg Co Ltd 画像検査装置及び画像検査方法並びに画像検査プログラム
JP2019101540A (ja) * 2017-11-29 2019-06-24 大日本印刷株式会社 設備診断装置、設備診断方法、プログラム
JP2019111693A (ja) * 2017-12-22 2019-07-11 コニカミノルタ株式会社 相対位置検出方法及びインクジェット記録装置
US20190236738A1 (en) * 2018-02-01 2019-08-01 Fst21 Ltd System and method for detection of identity fraud

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000280461A (ja) * 1999-03-31 2000-10-10 Seiko Epson Corp 印刷装置、印刷装置の調整方法、および記録媒体
JP5623192B2 (ja) * 2010-08-31 2014-11-12 キヤノン株式会社 画像処理装置および画像処理方法
JP5283685B2 (ja) * 2010-12-17 2013-09-04 富士フイルム株式会社 不良記録素子の検出装置及び方法、並びに画像形成装置及び方法
JP5584733B2 (ja) * 2012-06-08 2014-09-03 キヤノン株式会社 記録装置及び印刷物の排出方法
WO2020022024A1 (ja) * 2018-07-25 2020-01-30 富士フイルム株式会社 機械学習モデルの生成装置、方法、プログラム、検査装置及び検査方法、並びに印刷装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07186375A (ja) 1993-12-28 1995-07-25 Toppan Printing Co Ltd 印刷物の検査方法
US20060203028A1 (en) * 2005-03-10 2006-09-14 Manish Agarwal Apparatus and method for print quality control
JP2014066618A (ja) * 2012-09-26 2014-04-17 Dainippon Screen Mfg Co Ltd 画像検査装置及び画像検査方法並びに画像検査プログラム
JP2019101540A (ja) * 2017-11-29 2019-06-24 大日本印刷株式会社 設備診断装置、設備診断方法、プログラム
JP2019111693A (ja) * 2017-12-22 2019-07-11 コニカミノルタ株式会社 相対位置検出方法及びインクジェット記録装置
US20190236738A1 (en) * 2018-02-01 2019-08-01 Fst21 Ltd System and method for detection of identity fraud

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4169721A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023098640A (ja) * 2021-12-28 2023-07-10 セメス株式会社 ノズル検査ユニットおよびそれを含む基板処理装置
JP7372432B2 (ja) 2021-12-28 2023-10-31 セメス株式会社 ノズル検査ユニットおよびそれを含む基板処理装置

Also Published As

Publication number Publication date
US20230103391A1 (en) 2023-04-06
JP7361219B2 (ja) 2023-10-13
EP4169721A1 (en) 2023-04-26
EP4169721A4 (en) 2023-12-06
JPWO2021256389A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
JP7110349B2 (ja) 機械学習モデルの生成装置、方法、プログラム、検査装置及び検査方法、並びに印刷装置
JP6694362B2 (ja) 画像検査方法及び装置、プログラム並びに画像記録システム
US20230103391A1 (en) Defect inspection device, defect inspection method, and program, and printing device and method of manufacturing printed matter
JP6472058B2 (ja) 画像形成装置及び画像補正方法
JP6472083B2 (ja) インクジェット印刷装置及びインクジェットヘッド吐出性能評価方法
JP6544858B2 (ja) インクジェット印刷装置及びインクジェットヘッド吐出性能評価方法
US20220198638A1 (en) Printed matter inspection device, printed matter inspection method, program, and printing apparatus
CN113924212B (zh) 喷墨印刷中的故障喷嘴补偿和非均匀性校正的方法和系统
US9718289B2 (en) Inkjet recording apparatus
JP6848663B2 (ja) 印刷装置、及び、制御方法
US10486422B2 (en) Printer and control method
JP5303503B2 (ja) 画像検査装置および印刷装置、並びに、画像検査方法
WO2019188911A1 (ja) 画像形成装置及び方法、異常ノズル検出方法並びに印刷物の製造方法
JP6184386B2 (ja) 画像欠陥検出装置及び方法、画像記録装置並びにプログラム
WO2020012826A1 (ja) 印刷装置、検査装置、検査方法及びプログラム
JP7256139B2 (ja) 印刷物の欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷システム
WO2019142517A1 (ja) 印刷装置、画像欠陥検出装置、方法及びプログラム
JP7225068B2 (ja) 印刷物の欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷システム
JP7126477B2 (ja) 画像検査方法及び装置、プログラム並びに画像記録システム
WO2021234509A1 (en) Detecting a defective nozzle in a digital printing system
JP2014066618A (ja) 画像検査装置及び画像検査方法並びに画像検査プログラム
JP7259265B2 (ja) 画像形成装置及び白補正方法
JP2017140775A (ja) インクジェットプリンター
WO2022186107A1 (ja) 不良ノズル推定装置、不良ノズル推定方法及びプログラム、並びに印刷装置、印刷物の製造方法
JP6379908B2 (ja) ノズル検査装置、画像形成装置およびノズル検査方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21825668

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022531759

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021825668

Country of ref document: EP

Effective date: 20230119

NENP Non-entry into the national phase

Ref country code: DE