WO2022118797A1 - シート特定装置、画像処理装置及びシート特定方法 - Google Patents

シート特定装置、画像処理装置及びシート特定方法 Download PDF

Info

Publication number
WO2022118797A1
WO2022118797A1 PCT/JP2021/043674 JP2021043674W WO2022118797A1 WO 2022118797 A1 WO2022118797 A1 WO 2022118797A1 JP 2021043674 W JP2021043674 W JP 2021043674W WO 2022118797 A1 WO2022118797 A1 WO 2022118797A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sheet
unevenness
unit
pattern
Prior art date
Application number
PCT/JP2021/043674
Other languages
English (en)
French (fr)
Inventor
眞一郎 山田
一徳 田中
晃司 佐藤
一博 中地
Original Assignee
京セラドキュメントソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラドキュメントソリューションズ株式会社 filed Critical 京セラドキュメントソリューションズ株式会社
Priority to JP2022566905A priority Critical patent/JPWO2022118797A1/ja
Publication of WO2022118797A1 publication Critical patent/WO2022118797A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated

Definitions

  • the present invention relates to a sheet specifying device, an image processing device, and a sheet specifying method.
  • the image reading device includes a light emitting element that irradiates the surface of the sheet with light from an oblique direction, and an area sensor that reads the inside of the irradiation area as an image, and reads information about the sheet from the reading result.
  • This image reader estimates the surface roughness of the sheet by detecting the shadow image caused by the unevenness of the surface of the sheet from the image in the irradiation area.
  • the contrast is higher than when the unevenness is small, so that the size of the unevenness on the surface can be estimated from the contrast.
  • this image reading device keeps the fiber direction of the sheet and the light incident direction at approximately 45 degrees by making the incident direction of the light from the light emitting element at an angle of 45 degrees with respect to the transport direction of the sheet, and the fiber direction.
  • the configuration is such that there is little variation in detection accuracy.
  • An object of the present invention is to provide a sheet specifying device, an image processing device, and a sheet specifying method that can easily improve the accuracy of specifying unevenness on the surface of a sheet.
  • the sheet specifying device includes an acquisition unit and an unevenness specifying unit.
  • the acquisition unit acquires a specific image which is an image of a specific area.
  • the specific region is a region on the surface of a sheet that is an image formation target or an image reading target, on which pattern light is projected.
  • the unevenness specifying portion specifies unevenness information regarding the unevenness of the surface of the sheet based on the specific image.
  • the present invention it is possible to provide a sheet specifying device, an image processing device, and a sheet specifying method that can easily improve the accuracy of specifying unevenness on the surface of a sheet.
  • FIG. 1 is a schematic block diagram of the image processing apparatus according to the first embodiment.
  • FIG. 2 is a schematic view showing the appearance and internal configuration of the image processing apparatus according to the first embodiment.
  • FIG. 3 is a schematic view showing a light irradiation unit and an image pickup unit of the sheet specifying device according to the first embodiment.
  • FIG. 4 is a schematic view showing a light irradiation unit and a sheet of the sheet specifying device according to the first embodiment.
  • FIG. 5 is a schematic view showing the principle of detecting the unevenness of the surface of the sheet in the sheet specifying device according to the first embodiment.
  • FIG. 6 is a diagram showing an example of a specific image obtained by the sheet specifying device according to the first embodiment.
  • FIG. 7 is a flowchart of an operation example of the sheet specifying device according to the first embodiment.
  • FIG. 8 is a diagram showing an example of a specific image when a predetermined angle obtained by the sheet specifying device according to the first embodiment is changed.
  • FIG. 9 is a graph showing the relationship between the standard deviation obtained by the sheet specifying device according to the first embodiment and the arithmetic mean height.
  • FIG. 10 is a table showing the results of calculating the coefficient of determination while changing the line width of the pattern light and the relationship between the irradiation direction of the pattern light and the fiber direction in the sheet specifying device according to the first embodiment.
  • FIG. 11 is a schematic diagram showing pattern light that produces a grid pattern in the sheet specifying device according to the first embodiment.
  • FIG. 12 is a schematic block diagram of the image processing apparatus according to the second embodiment.
  • FIG. 13 is a schematic view showing a light irradiation unit and a sheet of the sheet specifying device according to the third embodiment.
  • FIG. 14 is a diagram showing an example of a specific image and an integrated image obtained by the sheet specifying device according to the third embodiment.
  • FIG. 15 is a diagram showing an example of a specific image and an integrated image obtained by the sheet specifying device according to the third embodiment.
  • FIG. 16 is a graph showing the pixel values of each pixel focusing on one row of the integrated image obtained by the sheet specifying device according to the third embodiment.
  • FIG. 17 is a graph showing the relationship between the width of the intermediate layer obtained by the sheet specifying device according to the third embodiment and the arithmetic mean height.
  • FIG. 18 is a flowchart of an operation example of the sheet specifying device according to the third embodiment.
  • the image processing apparatus 10 has a plurality of functions such as a scanning function for reading an image (image data) from a document, a printing function for forming an image based on the image data, a facsimile function, and a copying function. It is a multifunction device that has.
  • the image processing device 10 may have an image processing function including at least one of a function of forming an image and a function of reading an image, and may be a printer, a scanner, a facsimile machine, a copier, or the like.
  • the image processing device 10 includes an automatic document transfer device 11, an image reading unit 12, an image forming unit 13, a paper feeding unit 14, an operation display unit 15, and a control unit 16. Be prepared. Since the automatic document transfer device 11 is an ADF (Auto Document Feeder), it is referred to as "ADF” in FIG. 1 and also referred to as "ADF 11" in the following description.
  • the image processing device 10 includes a housing 100. The ADF 11, the image reading unit 12, the image forming unit 13, the paper feeding unit 14, the operation display unit 15, and the control unit 16 are provided in the housing 100.
  • the ADF 11 conveys a sheet (original) from which an image is read by the image reading unit 12.
  • the ADF 11 has a document setting unit, a plurality of transport rollers, a document retainer, a paper ejection unit, and the like.
  • the image reading unit 12 reads an image from the sheet and outputs image data corresponding to the read image.
  • the image reading unit 12 includes a platen, a light source, a plurality of mirrors, an optical lens, a CCD (Charge Coupled Device), and the like.
  • the image forming unit 13 forms an image on the sheet Sh1 (see FIG. 2) based on the image data output from the image reading unit 12. Further, the image forming unit 13 forms an image on the sheet Sh1 based on the image data input from an information processing device external to the image processing device 10 such as a personal computer. As an example in the present embodiment, as shown in FIG. 2, the image forming unit 13 includes a transfer device 131, a fixing device 132, a paper ejection tray 133, and the like, and forms an image on the sheet Sh1 by an electrophotographic method.
  • the image forming unit 13 is not limited to the configuration for forming a monochrome image, but is configured to form a full-color image using four colors of C (cyan), M (magenta), Y (yellow), and K (black). There may be. Further, the image forming unit 13 may be configured to form an image on the sheet by an image forming method other than the electrophotographic method, such as an inkjet method.
  • the image forming unit 13 forms an image on the sheet Sh1 by using toner as a developer. Specifically, the image forming unit 13 forms an electrostatic latent image by irradiating the surface of the charged photoconductor drum with a laser beam, and develops the electrostatic latent image with toner to develop the photoconductor. A toner image is formed on the surface of the drum.
  • the transfer device 131 transfers the toner image to the sheet Sh1 transported through the transport path T1 (see FIG. 2).
  • the fixing device 132 melts and fixes the toner image transferred to the sheet Sh1 to the sheet Sh1.
  • the fixing device 132 includes a fixing roller and a pressure roller, and heats the toner image transferred to the sheet Sh1 and pressurizes the sheet Sh1 to fix the toner image to the sheet Sh1.
  • the sheet Sh1 after image formation is ejected to the output tray 133.
  • ink another example of a developing agent
  • the paper feeding unit 14 supplies the sheet Sh1 to the image forming unit 13.
  • the paper feed unit 14 has a plurality of paper feed cassettes 141, a manual feed tray, a plurality of transport rollers, and the like.
  • the paper feed unit 14 conveys the sheet Sh1 from the plurality of paper cassettes 141, the manual feed tray, or the like through the transfer path T1 by a plurality of transfer rollers or the like, and supplies the sheet Sh1 to the image forming unit 13.
  • the image forming unit 13 forms an image on the sheet Sh1 supplied from the paper feeding unit 14 through the transport path T1.
  • the operation display unit 15 is a user interface in the image processing device 10.
  • the operation display unit 15 includes a display unit such as a liquid crystal display that displays various information in response to a control instruction from the control unit 16, and a switch or touch panel that inputs various information to the control unit 16 in response to a user operation. It has an operation unit of.
  • the image processing device 10 may include, for example, a voice output unit, a voice input unit, or the like as a user interface in addition to or in place of the operation display unit 15.
  • the control unit 16 comprehensively controls the image processing device 10.
  • the control unit 16 mainly comprises a computer system having one or more processors and one or more memories.
  • the function of the control unit 16 is realized by executing a program by one or more processors.
  • the program may be pre-recorded in one or more memories, may be provided through a telecommunication line such as the Internet, and may be recorded on a non-temporary recording medium such as a memory card or optical disk that can be read by a computer system. May be provided.
  • One or more processors are composed of one or more electronic circuits including semiconductor integrated circuits.
  • the computer system referred to in the present disclosure includes a microcontroller having one or more processors and one or more memories.
  • the control unit 16 may be a control unit provided separately from the main control unit that collectively controls the image processing device 10.
  • the image processing device 10 further includes a storage unit, a communication unit, a power supply unit, and the like.
  • the storage unit includes one or more non-volatile memories, and information such as a control program for causing the control unit 16 to execute various processes is stored in advance.
  • the communication unit is an interface for executing data communication between the image processing device 10 and an external device connected via a communication network such as the Internet or a LAN (Local Area Network).
  • the power supply unit is a power supply circuit that generates (outputs) electric power for the operation of the image processing device 10.
  • the image reading device includes a light emitting element that irradiates the surface of the sheet with light from an oblique direction, and an area sensor that reads the inside of the irradiation area as an image, and reads information about the sheet from the reading result.
  • This image reader estimates the surface roughness of the sheet by detecting the shadow image caused by the unevenness of the surface of the sheet from the image in the irradiation area.
  • the contrast is higher than when the unevenness is small, so that the size of the unevenness on the surface can be estimated from the contrast.
  • this image reading device keeps the fiber direction of the sheet and the light incident direction at approximately 45 degrees by making the incident direction of the light from the light emitting element at an angle of 45 degrees with respect to the transport direction of the sheet, and the fiber direction.
  • the configuration is such that there is little variation in detection accuracy.
  • the image processing device 10 that can easily improve the accuracy of specifying the unevenness of the surface of the sheet is realized by the configuration described below.
  • the image processing device 10 includes the sheet specifying device 2 as shown in FIG.
  • the sheet specifying device 2 according to the present embodiment is integrated with the image processing device 10.
  • the sheet specifying device 2 includes an acquisition unit 21 and an unevenness specifying unit 22.
  • the acquisition unit 21 acquires the specific image Im1 (see FIG. 4).
  • the specific image Im1 is an image of a specific region R1 (see FIG. 4) of the surface A1 (see FIG. 3) of the sheet Sh1 which is an image formation target or an image reading target.
  • the specific region R1 is a region of the surface A1 of the sheet Sh1 on which the pattern light P1 (see FIG. 3) is projected.
  • the unevenness specifying portion 22 specifies unevenness information regarding the unevenness of the surface A1 of the sheet Sh1 based on the specific image Im1.
  • the acquisition unit 21 and the unevenness specifying unit 22, which are the components of the sheet specifying device 2 are provided in the control unit 16 as one function of the control unit 16.
  • the sheet specifying device 2 and the image processing device 10 provided with the sheet specifying device 2 according to the present embodiment have an advantage that the accuracy of specifying the unevenness of the surface A1 of the sheet Sh1 can be easily improved. That is, the pattern light P1 is projected onto the specific region R1 of the surface A1 of the sheet Sh1 instead of uniformly irradiating the light from the light emitting element. Therefore, the unevenness specifying portion 22 can specify the unevenness information regarding the unevenness of the surface A1 of the sheet Sh1 from the degree of deformation or distortion of the pattern light P1 in the specific image Im1.
  • the sheet specifying device 2 constitutes an image processing device 10 together with an image processing unit (image reading unit 12 and image forming unit 13).
  • the image processing device 10 includes a sheet specifying device 2 and an image processing unit that performs at least one of image formation and image reading for the sheet Sh1.
  • the "sheet” referred to in the present disclosure is a sheet that is an image formation target or an image reading target.
  • the sheet Sh1 to be irradiated with the pattern light P1 is the sheet Sh1 to be an image forming target by the image forming unit 13. That is, in the present embodiment, the sheet Sh1 conveyed through the transfer path T1 by the paper feed unit 14 is the irradiation target of the pattern light P1.
  • the sheet to be irradiated with the pattern light P1 may be a sheet (original) as an image to be read by the image reading unit 12, that is, a sheet conveyed by the ADF 11.
  • the sheet Sh1 is not limited to paper as an example in the present embodiment, but may be, for example, a resin film or the like.
  • the "patterned light” referred to in the present disclosure is, for example, light that is projected onto a projection surface (here, the surface A1 of the sheet Sh1) whose shape and direction are controlled from the light irradiation unit 3 (see FIG. 1). It is a so-called structured light. That is, in the region irradiated by the pattern light P1 (specific region R1), the figure, the pattern, the pattern, the pattern, the symbol, the character, the number, etc. corresponding to the pattern light P1 are not uniformly illuminated by the pattern light P1. Is projected.
  • the pattern light P1 when the pattern light P1 irradiates the specific region R1, the luminance distribution of the pattern corresponding to the pattern light P1 such as a fringe pattern, a grid pattern, or an arc pattern is generated in the specific region R1.
  • the pattern light P1 is not limited to a fixed pattern such as a still image, but causes a luminance distribution of a pattern that changes with the passage of time such as a moving image (including animation) in a specific region R1. May be good.
  • the "specific image” referred to in the present disclosure is, for example, an image of a specific region R1 in a state where the pattern light P1 is projected, which is captured by the image pickup unit 4. That is, on the specific image Im1, the pattern light P1 projected on the specific region R1, strictly speaking, the luminance distribution of the pattern corresponding to the pattern light P1 generated in the specific region R1 by the projection of the pattern light P1 is obtained. included.
  • the specific image Im1 may be either a monochrome image or a color image, and may be either a still image or a moving image.
  • the "unevenness information" referred to in the present disclosure is information on the unevenness of the surface A1 of the sheet Sh1, and includes, for example, information such as the height (or depth) of the unevenness and / or the size of the unevenness in a plan view.
  • the surface A1 of the sheet Sh1 has irregularities including at least one of a concave portion and a convex portion. That is, the surface A1 may include only a plurality of concave portions, or may include only a plurality of convex portions. Further, the surface A1 may include a plurality of concave portions and one convex portion.
  • the surface A1 includes one mesh-like convex portion and a plurality of concave portions composed of mesh portions surrounded by the convex portions.
  • the surface A1 may include one mesh-like recess and a plurality of protrusions composed of mesh portions surrounded by the recesses.
  • the unevenness (concave and convex portions) on the surface A1 has an extremely small size that cannot be individually identified by the naked eye, and the surface A1 of one sheet Sh1 contains a large number of irregularities. That is, the unevenness is finer than the entire surface A1, and when a person looks at the surface A1, the unevenness makes the surface A1 look like a rough "pear-skin texture".
  • Such a large number of fine irregularities are formed, for example, by a large number of fibers constituting the paper in the case of the paper sheet Sh1, or by embossing or the like in the case of the resin film.
  • the information regarding such fine irregularities includes an index indicating the surface roughness such as the arithmetic mean height (Sa) or the arithmetic mean height (Ra) of the line.
  • the "fiber direction” referred to in the present disclosure is the direction of the fibers on the surface A1 of the sheet Sh1, for example, in the case of the paper sheet Sh1, the extension direction of a large number of fibers constituting the paper, that is, the flow of the paper (paper).
  • the sheet Sh1 has "vertical stitches” in which the fiber direction is along the long side of the sheet Sh1 and “horizontal stitches” in which the fiber direction is along the short sides of the sheet Sh1.
  • the transport direction D1 (see FIG. 2) of the sheet Sh1 in the image processing apparatus 10 is a direction along the long side or the short side of the sheet Sh1. Therefore, basically, the fiber direction is along the transport direction D1 of the sheet Sh1 or along the direction orthogonal to the transport direction D1.
  • the sheet specifying device 2 includes an acquisition unit 21, an unevenness specifying unit 22, a condition determining unit 23, a direction specifying unit 24, a thickness specifying unit 25, a light irradiation unit 3, and an imaging unit 4. , The thickness sensor 5.
  • the acquisition unit 21, the unevenness specifying unit 22, the condition determining unit 23, the direction specifying unit 24, and the thickness specifying unit 25 are provided in the control unit 16 as one function of the control unit 16. That is, in the present embodiment, the image processing device 10 includes the condition determination unit 23, the direction specifying unit 24, and the thickness specifying unit 25 as one function of the control unit 16 in addition to the acquisition unit 21 and the unevenness specifying unit 22.
  • the light irradiation unit 3 irradiates the pattern light P1 toward the surface A1 of the sheet Sh1. That is, the light irradiation unit 3 generates the pattern light P1 whose shape and direction are controlled, and by irradiating the surface A1 of the sheet Sh1 with the pattern light P1, the pattern light P1 is applied to the specific region R1 of the surface A1 of the sheet Sh1. To project.
  • the pattern light P1 from the light irradiation unit 3 projects a figure, a pattern, a pattern, a pattern, a symbol, a character, a number, or the like corresponding to the pattern light P1 on the specific area R1 of the surface A1 of the sheet Sh1. ..
  • the pattern light P1 forms a striped pattern in which bright portions L1 and dark portions L2 are alternately arranged on a specific region R1 as shown in FIG. That is, when the pattern light P1 is projected, the luminance distribution of the fringe pattern including the bright portion L1 and the dark portion L2 is generated in the specific region R1.
  • the bright portion L1 is a brighter region than the dark portion L2, in other words, the striped pattern is a pattern in which a plurality of bright portions L1 are arranged at intervals, or a plurality of dark portions L2 are spaced apart from each other. It is a pattern lined up with a space.
  • the pattern light P1 is projected to form a striped pattern in which the linear bright portion L1 and the linear dark portion L2 are alternately arranged in the directions orthogonal to the respective longitudinal directions. ..
  • linear bright portions L1 and dark portions L2 orthogonal to the transport direction D1 of the sheet Sh1 are arranged so as to be alternately arranged in the transport direction D1.
  • the bright part L1 is shown by shading (dot hatching), and the dark part L2 is shown by black.
  • the striped pattern on the specific region R1 is likely to be deformed or distorted according to the unevenness of the surface A1.
  • the pattern light P1 that produces the fringe pattern as shown in FIG. 4 is merely an example of the pattern light P1, and the pattern light P1 can be appropriately changed.
  • the light irradiation unit 3 has a light source 31 and a shield 32.
  • the shield 32 transmits the pattern light P1 by blocking a part of the light output from the light source 31.
  • the light source 31 includes a light emitting element that emits light when electric power is supplied, and outputs the light generated by the light emitting element toward the shield 32.
  • the light source 31 is controlled by a control signal from the control unit 16, and at least the control unit 16 can switch on / off.
  • the shield 32 is a component that is arranged between the light source 31 and the specific region R1 of the surface A1 of the sheet Sh1 to shield a part of the light from the light source 31 and transmit the rest.
  • the pattern light P1 can be realized with a relatively simple configuration.
  • the light source 31 has one or more light emitting elements such as a light emitting diode (LED: Light Emitting Diode) or an organic EL (Electroluminescence), and has a light emitting surface 311 having a rectangular shape in a plan view (see FIG. 3). By making the entire area emit light almost uniformly, surface emission is performed. Further, in the present embodiment, the light source 31 outputs parallel light or light close to parallel light. Therefore, the optical axis Ax1 (see FIG. 3) of the pattern light P1 output from the light irradiation unit 3 is a perpendicular line of the light emitting surface 311 passing through the center (center of gravity) of the light emitting surface 311 of the light source 31.
  • LED Light Emitting Diode
  • organic EL Electrode
  • the light source 31 may have an optical component such as a collimator lens that converts light from a light emitting element into parallel light. As an example in this embodiment, the light source 31 outputs visible light, specifically white light. However, the light source 31 may output light having a wavelength that the imaging unit 4 has sensitivity, and may output light other than white light. For example, light in a wavelength range other than visible light such as infrared rays or ultraviolet rays. May be output.
  • the shield 32 is a rectangular plate-shaped component that absorbs or reflects light from the light source 31, and one or more slits 321 (see FIG. 4) are formed. As a result, a part of the light output from the light source 31 is shielded by the shield 32, and the rest is transmitted through the shield 32 through the slit 321 of the shield 32.
  • the shield 32 has a plurality of linear slits 321 in order to realize the pattern light P1 that forms a striped pattern in the specific region R1.
  • the configuration is not limited to the configuration in which the light transmitted through the slit 321 becomes the bright portion L1, and for example, the pattern light P1 may be realized by "interference fringes" utilizing the interference of light.
  • the first virtual straight line connecting the light irradiation unit 3 that irradiates the pattern light P1 and the center of the specific region R1 is inclined at a predetermined angle ⁇ 1 with respect to the second virtual straight line along the transport direction D1 of the sheet Sh1. is doing.
  • the angle between the first virtual straight line and the surface A1 of the sheet Sh1 is a predetermined angle ⁇ 1. ..
  • the optical axis Ax1 of the pattern light P1 is inclined at a predetermined angle ⁇ 1 with respect to the surface A1 of the sheet Sh1.
  • the light irradiation unit 3 obliquely irradiates the specific region R1 with the pattern light P1 at a predetermined angle ⁇ 1 from the downstream side in the transport direction D1, that is, the front side in the traveling direction of the sheet Sh1. It is configured as follows. As a result, the pattern on the specific region R1 is likely to be deformed or distorted according to the unevenness of the surface A1.
  • the image pickup unit 4 captures an image of the specific region R1 of the surface A1 of the sheet Sh1 as a specific image Im1.
  • the light irradiation section 3 is at least at the imaging timing of the image pickup section 4. Irradiates the specific region R1 with the pattern light P1.
  • the image pickup unit 4 and the light irradiation unit 3 are synchronized, and the light irradiation unit 3 irradiates the pattern light P1 in accordance with the image pickup timing of the image pickup unit 4. That is, during the period when the image pickup unit 4 does not perform imaging, the light irradiation unit 3 does not output the pattern light P1, which suppresses unnecessary power consumption in the light irradiation unit 3.
  • the image pickup unit 4 includes an image pickup element 41 and an optical component 42.
  • the image pickup element 41 includes an area sensor or a line sensor, and outputs the image data of the captured specific image Im1 to the control unit 16 as an electric signal.
  • the image pickup unit 4 is a CIS (Contact Image Sensor) type area sensor using a CMOS (Complementary Metal Oxide Semiconductor) sensor as the image pickup element 41.
  • CMOS Complementary Metal Oxide Semiconductor
  • the present invention is not limited to this example, and the image pickup unit 4 may be, for example, a CCD system using a CCD (Charge Coupled Device) as the image pickup element 41.
  • the optical component 42 includes, for example, an image pickup lens, and is arranged between the image pickup element 41 and the specific region R1 of the surface A1 of the sheet Sh1. As a result, the light in the specific region R1 is incident on the image sensor 41 through the optical component 42.
  • the image sensor 41 and the optical component 42 are aligned on the perpendicular line of the specific region R1 passing through the center (center of gravity) of the specific region R1. Further, the light receiving surface 411 (see FIG. 3) of the image pickup device 41 is arranged in parallel with the specific region R1. Therefore, the optical axis Ax2 (see FIG.
  • the image pickup unit 4 is a perpendicular line of the light receiving surface 411 passing through the center (center of gravity) of the light receiving surface 411 of the image pickup element 41.
  • the optical axis Ax2 of the image pickup unit 4 is orthogonal to the specific region R1 and intersects the optical axis Ax1 of the light irradiation unit 3 (pattern light P1) at the center of the specific region R1.
  • the area of the specific region R1 imaged by the image sensor 41 is equal to the value obtained by dividing the area of the light receiving surface 411 of the image sensor 41 by the image magnification M of the optical component 42.
  • the image magnification M is "1" for the sake of simplicity.
  • the image magnification M may be a value other than 1.
  • the image pickup unit 4 is integrated with the light irradiation unit 3 to form a sensor unit 20 (see FIG. 2).
  • the sensor unit 20 includes a light irradiation unit 3 and an image pickup unit 4.
  • the sensor unit 20 is housed in the housing 100 of the image processing device 10, and is electrically connected to at least the control unit 16.
  • the sensor unit 20 including the light irradiation unit 3 and the image pickup unit 4 is arranged so as to face the transport path T1 between the paper feed unit 14 and the image forming unit 13. There is. Therefore, the imaging position of the specific region R1 is set on the transport path T1 between the paper feeding unit 14 and the image forming unit 13. That is, the light irradiation unit 3 and the image pickup unit 4 irradiate the pattern light P1 on the sheet Sh1 conveyed from the paper feed unit 14 to the image formation unit 13 at the position between the paper feed unit 14 and the image forming unit 13. Then, the specific image Im1 can be imaged.
  • the sensor unit 20 is arranged. Therefore, for the sheet Sh1 supplied from the plurality of paper cassettes 141 to the image forming unit 13, the specific image Im1 can be captured by one sensor unit 20, and it is necessary to provide the sensor unit 20 for each paper cassette 141. do not have.
  • the surface A1 of the sheet Sh1 including the specific region R1 is, as an example in the present embodiment, one surface on the side where the image is formed by the image forming unit 13 in the thickness direction of the sheet Sh1, but is not limited to this example.
  • the specific region R1 may be set, for example, on one surface (back surface) on the side where the image is not formed by the image forming unit 13 in the thickness direction of the sheet Sh1.
  • the light irradiation unit 3 and the image pickup unit 4 are arranged on the back surface side of the sheet Sh1.
  • the specific region R1 may be set on both sides of the sheet Sh1 in the thickness direction, for example.
  • two sets of the light irradiation unit 3 and the image pickup unit 4 may be provided and arranged on both sides of the sheet Sh1 in the thickness direction, or by turning over the sheet Sh1, one set of the light irradiation unit 3 and the image pickup unit 3 and the image pickup unit 4 are provided.
  • the specific image Im1 on both sides of the sheet Sh1 may be imaged.
  • the thickness sensor 5 detects a physical quantity related to the thickness of the sheet Sh1.
  • the thickness sensor 5 outputs the detected physical quantity as an electric signal to the control unit 16.
  • the control unit 16 can specify the thickness of the sheet Sh1.
  • the thickness sensor 5 includes an optical sensor that detects the thickness (or basis weight) of the sheet Sh1 by using transmitted light.
  • the thickness sensor 5 may be included in the sensor unit 20 or may be provided separately from the sensor unit 20.
  • the acquisition unit 21 acquires the specific image Im1 imaged by the image pickup unit 4. Specifically, the acquisition unit 21 acquires the image data of the specific image Im1 imaged by the image pickup unit 4 from the image pickup element 41 of the image pickup unit 4 as an electric signal.
  • the acquisition unit 21 controls the light irradiation unit 3 and the image pickup unit 4, and for example, the pattern light P1 is applied to the light irradiation unit 3 at the timing when the sheet Sh1 passes through the position corresponding to the sensor unit 20 in the transport path T1. And let the image pickup unit 4 take an image of the specific image Im1.
  • the specific image Im1 acquired by the acquisition unit 21 is temporarily stored in one or more memories.
  • the acquisition unit 21 may acquire the specific image Im1 from other than the image pickup unit 4.
  • the unevenness specifying unit 22 specifies unevenness information regarding the unevenness of the surface A1 of the sheet Sh1 based on the specific image Im1 acquired by the acquisition unit 21. Thereby, the state of the unevenness of the surface A1 of the sheet Sh1 can be specified.
  • the unevenness information includes information regarding at least one of the dimension in the direction orthogonal to the plane along the surface A1 of the unevenness of the surface A1 and the dimension in the direction along the plane. That is, the unevenness information is the height (or depth) of the unevenness which is the dimension in the direction orthogonal to the plane along the surface A1 and / or the size of the unevenness in the plan view which is the dimension in the direction along the plane. Contains information about.
  • the unevenness specifying portion 22 calculates a numerical value corresponding to the arithmetic mean height (Sa) of the surface A1 regarding the height (or depth) of the unevenness as unevenness information.
  • the unevenness specifying portion 22 specifies the unevenness information based on the degree of deformation or distortion of the pattern light P1 in the specific image Im1. That is, since the specific image Im1 includes the luminance distribution of the pattern (striped pattern in the present embodiment) corresponding to the pattern light P1 generated in the specific region R1 by the projection of the pattern light P1, due to the unevenness of the surface A1. Deformation or distortion occurs in the pattern. For example, even if the pattern light P1 forms a linear pattern, the pattern light P1 projected on the surface A1 undergoes deformation (meandering) or the like according to the unevenness of the surface A1.
  • the unevenness specifying portion 22 calculates the unevenness information regarding the unevenness of the surface A1 from the degree of deformation or distortion of the pattern light P1.
  • the unevenness specifying portion 22 specifies unevenness information at least based on the variation in the line width of the pattern light P1 on the specific region R1. Thereby, the state of the unevenness of the surface A1 of the sheet Sh1 can be specified by a relatively simple calculation process.
  • the condition determination unit 23 determines the image processing conditions based on the unevenness information specified by the unevenness specifying unit 22.
  • the image processing conditions referred to here are conditions relating to image formation or image reading. That is, various image processing conditions including an image forming condition relating to image formation executed by the image processing apparatus 10 and / or an image reading condition relating to image reading are determined by the condition determination unit 23.
  • the image processing conditions include, for example, the fixing pressure in the image forming unit 13, the fixing temperature, the transport speed of the sheet Sh1, the transfer voltage, the ink ejection amount by the inkjet method, and the like, and further, the image reading unit 12. Includes conditions such as sheet transport speed, light intensity or resolution in.
  • the condition determination unit 23 raises the fixing temperature, lowers the transfer speed, and raises the transfer voltage when the arithmetic mean height (Sa) becomes large (that is, coarse) based on the unevenness information.
  • Image processing conditions are set automatically. This enables image formation and / or image reading under appropriate image processing conditions according to the unevenness of the surface A1 of the sheet Sh1, leading to improvement in image formation and / or image reading quality (including image quality). ..
  • the condition determination unit 23 determines the image processing conditions related to image formation or image reading based on the fiber direction. That is, in the present embodiment, the direction specifying portion 24 specifies the fiber direction of the surface A1 of the sheet Sh1. Therefore, the condition determination unit 23 determines the image processing condition not only based on the unevenness information but also based on the fiber direction. For example, in the inkjet type image forming unit 13, since the curl behavior is different with respect to the fiber direction, the curl direction may be predicted according to the fiber direction and the curl may be corrected.
  • the image processing conditions determined by the condition determination unit 23 based on the fiber direction include the conditions for curl correction.
  • the condition determination unit 23 determines based on the fiber direction.
  • the image processing conditions to be performed may include the conditions for skew correction. This enables image formation and / or image reading under appropriate image processing conditions according to the fiber direction of the surface A1 of the sheet Sh1, and improves the quality (including image quality) of image formation and / or image reading. Connect.
  • the condition determination unit 23 may have a function of determining image processing conditions based on at least one of the unevenness information and the fiber direction. That is, the condition determination unit 23 determines the image processing condition based on only one of the unevenness information and the fiber direction, not limited to the configuration of determining the image processing condition based on both the unevenness information and the fiber direction. You may. Further, in the present embodiment, the thickness of the sheet Sh1 is specified by the thickness specifying portion 25. Therefore, the condition determination unit 23 may determine the image processing condition based on the thickness of the sheet Sh1 in addition to or in place of at least one of the unevenness information and the fiber direction.
  • the direction specifying unit 24 specifies the fiber direction of the surface A1 of the sheet Sh1 based on the specific image Im1.
  • the direction specifying unit 24 specifies the fiber direction based on the deformation or distortion of the pattern light P1 in the specific image Im1. That is, depending on the line width of the pattern light P1 on the specific region R1, the degree of deformation or distortion of the unevenness of the surface A1 due to the pattern light P1 differs depending on the relationship between the extension direction of the pattern light P1 and the fiber direction. .. Therefore, in the present embodiment, the direction specifying unit 24 specifies the fiber direction at least based on the variation in the line width of the pattern light P1 on the specific region R1. Thereby, the fiber direction of the surface A1 of the sheet Sh1 can be specified by a relatively simple arithmetic process.
  • the thickness specifying unit 25 specifies the thickness of the sheet Sh1 based on the output of the thickness sensor 5. That is, the thickness specifying portion 25 receives an electric signal representing a physical quantity relating to the thickness of the sheet Sh1 from the thickness sensor 5 and calculates the thickness of the sheet Sh1.
  • the sheet specifying device 2 according to the present embodiment is provided with the thickness specifying portion 25, so that it is possible to estimate the type (paper type) of the sheet Sh1 including the thickness in addition to the state of the surface A1 of the sheet Sh1. Is.
  • the unevenness specifying unit 22 specifies the unevenness information based on the specific image Im1 will be described with reference to FIGS. 5 and 6.
  • the bright portion L1 of the pattern light P1 is schematically shown by a dotted line
  • the dark portion L2 is schematically shown by a two-dot chain line.
  • convex portion 1 As shown as “convex portion 1" in the upper part of FIG. 5, it is assumed that a rectangular parallelepiped convex portion A11 having a height ⁇ Z from the surface A1 exists on the surface A1 of the sheet Sh1.
  • the pattern light P1 is obliquely incident on the surface A1 of the sheet Sh1 at a predetermined angle ⁇ 1. Therefore, the pattern light P1 is projected on the same plane as the surface A1 except for the convex portion A11, and is projected on the convex portion A11 by the height ⁇ Z from the surface A1.
  • the projection position of the light P1 is deviated only by the portion of the convex portion A11.
  • the height ⁇ Z of the convex portion A11 can be calculated from the shift amount ⁇ X and the above equation 1. Then, from the shift amount ⁇ X for the entire area of the specific area R1, the unevenness information of the entire area of the specific area R1 can be obtained.
  • the unevenness information calculated in this way has a correlation with the arithmetic mean height (Sa) of the surface A1.
  • the height ⁇ Z of each part of the part A12 can be calculated. That is, similarly to the above example, the height ⁇ Z of the convex portion A12 can be calculated from the above equation 1 by obtaining the shift amount ⁇ X from the specific image Im1. Therefore, for example, as in the case of the paper sheet Sh1, it is possible to calculate the unevenness information even for the unevenness caused by the waviness component generated by the continuous entanglement of a large number of fibers.
  • the local unevenness of the fiber is strongly reflected in the calculation result.
  • the calculation result does not necessarily have a linear relationship with the arithmetic mean height (Sa). Therefore, in the method of the above-mentioned related technique, for example, if only the glossy paper (gloss paper) having a high flatness is distinguished from the plain paper, the surface roughness of the sheet Sh1 of the same type (for example, the plain paper) may be different. It is difficult to distinguish from the calculation result.
  • a table in which the calculation results for various sheets Sh1 and the arithmetic mean height (Sa) are associated with each other is prepared in advance. It is necessary to do.
  • the line width of the pattern light P1 and the predetermined angle ⁇ 1 are optimized to reduce the influence of local fibers and the arithmetic mean height.
  • Concavo-convex information having high linearity with (Sa) can be calculated. Therefore, in the method of the present embodiment, even if a table (database) in which the calculation result (unevenness information) and the arithmetic mean height (Sa) are associated with each other is not prepared in advance, the calculation result of the unevenness specifying unit 22 can be used. , The arithmetic mean height (Sa) can be uniquely obtained.
  • FIG. 6 shows an example of the specific image Im1 obtained by the sheet specifying device 2 according to the present embodiment.
  • the predetermined angle ⁇ 1 is 40 degrees
  • the resolution (number of pixels) of the imaging element 41 is 100 ⁇ 100
  • the line width W1 of the bright portion L1 of the striped pattern by the pattern light P1 is 120 ⁇ m
  • the line width W2 of the dark part L2 is 120 ⁇ m.
  • the image magnification M is "1"
  • the irradiation direction of the pattern light P1 that is, the arrangement direction of the bright portion L1 and the dark portion L2 is the same as the fiber direction.
  • the specific image Im1 is composed of a plurality of pixels, and each of the plurality of pixels has a pixel value corresponding to the luminance.
  • the relationship between the luminance and the pixel value is defined so that the pixel value increases as the luminance increases. Therefore, in the specific image Im1 in which the specific region R1 on which the pattern light P1 is projected is captured, the pixel value of the pixel corresponding to the bright portion L1 is relatively large, and the pixel value of the pixel corresponding to the dark portion L2 is relatively large. It will be a small value.
  • the upper part (“Sa: small”) of FIG. 6 shows a specific image when the pattern light P1 is projected onto a specific area R1 of glossy paper (gloss paper) having a small arithmetic mean height (Sa), that is, high flatness. Shows Im1.
  • the specific image Im1 of the above is shown. As shown in FIG.
  • steps S1, S2 ... represent the number of the processing procedure (step) executed by the control unit 16.
  • the process described below is started, for example, at the position (monitor position) corresponding to the sensor unit 20 in the transport path T1 at the timing when the sheet Sh1 passes through.
  • the analysis of the specific image Im1 including the pattern light P1 is aimed at restoring the three-dimensional shape, for example, a plurality of pattern lights P1 are continuously projected and the specific image is calculated to calculate the phase change of the pattern light P1.
  • the calculation load is relatively high, it takes a relatively long time to calculate the roughness (unevenness information) of the surface A1, and the cost of hardware (CPU, GPU, memory, etc.) is also compared. It will be high. Therefore, in the present embodiment, instead of the above method, the following method is adopted so that the roughness (concavo-convex information) of the surface A1 can be calculated by a relatively simple arithmetic process.
  • the unevenness specifying portion 22 has one row (1 line) of the specific image Im1 with the alignment direction (horizontal direction in FIG. 6) of the bright portion L1 and the dark portion L2 in the specific image Im1 as the “row direction”.
  • the width (line width) of at least one of the bright portion L1 and the dark portion L2 is calculated.
  • the specific image Im1 is an image of "N pixels ⁇ M rows" in which N pixels are arranged in the arrangement direction of the bright portion L1 and the dark portion L2, and the unevenness specific portion 22 is each row of the M rows included in the specific image Im1.
  • the line width is calculated for.
  • the unevenness specifying portion 22 obtains the line width of at least one of the bright portion L1 and the dark portion L2 calculated for each row for the entire specific image Im1, and the variation in the line width within the specific image Im1 is large. Is calculated as unevenness information. As a result, the unevenness specifying portion 22 can obtain unevenness information having a correlation with the arithmetic mean height (Sa) of the surface A1 based on the variation in the line width of the pattern light P1.
  • step S1 the control unit 16 determines whether the seat Sh1 reaches the monitor position, that is, the position corresponding to the sensor unit 20 in the transport path T1.
  • the sheet Sh1 is detected by the sensor at the monitor position, and the control unit 16 determines that the sheet Sh1 reaches the monitor position (S1: Yes). ), The process is shifted to step S2.
  • the control unit 16 determines that the seat Sh1 has not reached the monitor position (S1: No), and shifts the process to step S1.
  • step S2 the control unit 16 controls the light irradiation unit 3 by the acquisition unit 21 to irradiate the light irradiation unit 3 with the pattern light P1.
  • step S3 the control unit 16 controls the image pickup unit 4 by the acquisition unit 21, and causes the image pickup unit 4 to image the specific region R1 in the state where the pattern light P1 is projected.
  • the specific image Im1 which is an image of the specific region R1 of the surface A1 of the sheet Sh1 is generated by the image pickup unit 4.
  • step S4 the control unit 16 acquires one line (one line) of the specific image Im1 from the image pickup unit 4 by the acquisition unit 21. That is, the acquisition unit 21 acquires the specific image Im1 for one row, which is one pixel in the column direction. Since the image pickup unit 4 (image sensor 41) generally has a specification in which images are sequentially read out line by line, a specific image Im1 is acquired and analyzed line by line in this way (step S5, By performing S6), the amount of memory used can be reduced.
  • step S5 the control unit 16 executes preprocessing for the specific image Im1 in the acquisition unit 21.
  • the target of the preprocessing is the specific image Im1 for one line (one line) acquired in step S4. That is, the control unit 16 executes preprocessing for the specific image Im1 line by line.
  • the pre-processing includes, for example, a filtering process and a binarization process. Specifically, the control unit 16 performs noise removal or the like by a filtering process on the specific image Im1 for one line, and further binarizes it with a certain reference value.
  • the reference value used for the binarization process is, for example, an average value of a plurality of pixels, a predetermined value (predetermined value), or the like.
  • the pixel corresponding to the bright portion L1 is a “white pixel” as a pixel having a pixel value equal to or higher than the reference value
  • the pixel corresponding to the dark portion L2 is a “black pixel” as a pixel having a pixel value less than the reference value.
  • the pre-processing may include a trimming process for cutting out only a part of the specific image Im1, and may narrow down the range to be processed in step S6. Further, the filtering process and the like are not essential and can be omitted as appropriate.
  • step S6 the control unit 16 extracts the width data indicating the width (line width) of at least one of the bright portion L1 and the dark portion L2 from the specific image Im1 in the unevenness specifying unit 22.
  • the target for extracting the width data is the specific image Im1 for one line (one line) acquired in step S4. That is, the control unit 16 extracts the width data for the specific image Im1 line by line. Specifically, the control unit 16 calculates, as width data, how many white pixels correspond to the bright part L1 and black pixels corresponding to the dark part L2 in the specific image Im1 for one line. ..
  • control unit 16 extracts the number of white pixels and the number of black pixels for the entire specific image Im1 for one line, thereby summing up the line widths of the plurality of bright portions L1 and a plurality of them. The total line width of the dark part L2 of the book is extracted.
  • both the number of pixels of white pixels corresponding to the line width of the bright part L1 and the number of pixels of black pixels corresponding to the line width of the dark part L2 are used as width data.
  • only one of the number of pixels may be used as the width data. That is, the control unit 16 may specify the unevenness information by paying attention to the line width of either the bright portion L1 or the dark portion L2. Further, the control unit 16 extracts the number of pixels of white pixels continuous in the row direction and the number of pixels of black pixels continuous in the row direction, so that each bright portion L1 and one dark portion L2 can be used. The line width may be extracted.
  • control unit 16 may use the line width of each of the plurality of bright portions L1 (or the dark portion L2) as the width data, or may use the representative value of the line width of the plurality of bright portions L1 (or the dark portion L2) ( For example, the mean value, the mode value, the median value, etc.) may be used as the width data.
  • step S7 the control unit 16 determines whether or not the processing is completed up to the final line of the specific image Im1. That is, for the specific image Im1 of "N pixel x M row", the control unit 16 determines that the processing is completed up to the final row if the processing target is the Mth row which is the final row (S7: Yes). ), The process is shifted to step S8. On the other hand, the control unit 16 determines that the processing is not completed up to the final row unless the processing target is the Mth row which is the final row (S7: No), shifts the processing to step S4, and next Acquires a specific image Im1 for one line.
  • step S8 the control unit 16 calculates the standard deviation ⁇ of the width data for M rows of the specific image Im1 in the unevenness specifying unit 22.
  • the arithmetic mean height (Sa) increases, the undulation component of the height of the surface A1 increases, so that the line widths of the bright part L1 and the dark part L2 vary widely (see FIG. 6), and the standard deviation ⁇ . Becomes larger. That is, the unevenness specifying portion 22 calculates the standard deviation ⁇ as unevenness information.
  • step S9 the control unit 16 determines the image processing conditions in the condition determination unit 23. That is, the condition determination unit 23 determines the image processing conditions including the image formation conditions according to the standard deviation ⁇ calculated in step S8. As an example, when the standard deviation ⁇ becomes large, the condition determination unit 23 sets the image formation conditions so as to raise the fixing temperature, lower the transport speed, or raise the transfer voltage. As a result, when an image is formed on the sheet Sh1 by the image forming unit 13, the image forming conditions corresponding to the unevenness of the surface A1 of the sheet Sh1 are automatically applied.
  • the irradiation angle of the pattern light P1 will be described with reference to FIG. 8 showing an example of the specific image Im1 when the predetermined angle ⁇ 1 is changed.
  • the imaging conditions of the specific image Im1 the arithmetic mean height (Sa) of the specific region R1 is 6 ⁇ m
  • the resolution (number of pixels) of the image sensor 41 is 100 ⁇ 100
  • the line width W1 of the dark portion L2 is 100 ⁇ m
  • the line width W2 of the dark portion L2 is 100 ⁇ m.
  • the irradiation direction of the pattern light P1, that is, the arrangement direction of the bright portion L1 and the dark portion L2 is set to be the same as the fiber direction.
  • the optical axis Ax1 of the pattern light P1 is tilted at a predetermined angle ⁇ 1 with respect to the surface A1 of the sheet Sh1 (see FIG. 3).
  • the predetermined angle ⁇ 1 greatly affects the brightness of the specific image Im1.
  • the irradiation angle (predetermined angle) of light on the surface A1 of the sheet Sh1 is taken in order to image the unevenness on the order of several ⁇ m as a shadow image. (Corresponding to ⁇ 1) is set relatively shallow (small).
  • the irradiation angle is set to a very shallow angle of about 10 degrees.
  • the specific image Im1 becomes a relatively dark image, and it is relatively expensive to obtain the roughness of the surface A1 from the dark image.
  • An image sensor 41 with sensitivity is required.
  • the roughness of the surface A1 is obtained from the degree of deformation or distortion of the pattern light P1 in the specific image Im1, so that the pattern light P1 is deformed or distorted due to unevenness. And so on. Therefore, in the present embodiment, the predetermined angle ⁇ 1 can be set larger than that of the method of the related technique, and a bright image can be realized as the specific image Im1. Therefore, even with the relatively inexpensive image pickup device 41, the roughness of the surface A1 can be obtained from the specific image Im1.
  • the shape of the pattern light P1 projected on the specific region R1 is deformed, and the boundary between the bright part L1 and the dark part L2 of the fringe pattern is broken.
  • the shape of the pattern light P1 collapses when the predetermined angle ⁇ 1 is 30 degrees rather than 40 degrees, and when the predetermined angle ⁇ 1 becomes 20 degrees, the shape of the pattern light P1 further collapses and the predetermined angle.
  • ⁇ 1 becomes 10 degrees the shape of the pattern light P1 further collapses.
  • the inventors have verified various predetermined angles ⁇ 1 and when the sheet Sh1 having an arithmetic mean height (Sa) of the surface A1 of about several ⁇ m is targeted, the predetermined angle ⁇ 1 is 20 degrees or more. Was found to be preferable.
  • the predetermined angle ⁇ 1 is preferably 10 degrees or more, and more preferably 15 degrees or more. Further, in the present embodiment, the predetermined angle ⁇ 1 is set to 20 degrees or more so that the shape of the pattern light P1 does not collapse too much. That is, the predetermined angle ⁇ 1 is 20 degrees or more and 90 degrees or less.
  • the lower limit of the predetermined angle ⁇ 1 is not limited to 20 degrees, and is, for example, 25 degrees, 30 degrees, 35 degrees, 40 degrees, 45 degrees, 50 degrees, 55 degrees, 60 degrees, 65 degrees, 70 degrees, and 75 degrees. It may be degrees or 80 degrees.
  • the upper limit of the predetermined angle ⁇ 1 is not limited to 90 degrees, and may be, for example, 85 degrees, 80 degrees, 75 degrees, 70 degrees, 65 degrees, 60 degrees, 55 degrees, 50 degrees, or 45 degrees.
  • the incident angle of the pattern light P1 is 0 degrees.
  • FIG. 9 is a graph showing the relationship between the standard deviation ⁇ as the unevenness information calculated according to the flowchart of FIG. 7 and the actual arithmetic mean height Sa for 48 types of sheets Sh1.
  • the horizontal axis is the arithmetic mean height Sa
  • the vertical axis is the standard deviation ⁇ (the standard deviation ⁇ is the average value of the five points of the bright part L1 or the dark part L2).
  • the standard deviation ⁇ is the average value of the five points of the bright part L1 or the dark part L2.
  • the resolution (number of pixels) of the image pickup element 41 is 100 ⁇ 100
  • the line width W1 of the bright portion L1 of the striped pattern by the pattern light P1 is 80 ⁇ m
  • the line width W2 of the dark portion L2 is set. It is set to 80 ⁇ m.
  • the irradiation direction of the pattern light P1, that is, the arrangement direction of the bright portion L1 and the dark portion L2 is set to be the same as the fiber direction.
  • the coefficient of determination R2 of the linear regression model of the arithmetic mean height Sa and the standard deviation ⁇ is “0.9684”, and is between the standard deviation ⁇ as unevenness information and the arithmetic mean height Sa. It can be confirmed that it has high linearity.
  • FIG. 10 shows the result of calculating the coefficient of determination R2 while changing the line width of the pattern light P1 and the relationship between the irradiation direction of the pattern light P1 and the fiber direction.
  • the predetermined angle ⁇ 1 is 40 degrees
  • the resolution (number of pixels) of the image pickup element 41 is 100 ⁇ 100.
  • the line width W1 of the bright part L1 and the line width W2 of the dark part L2 of the striped pattern by the pattern light P1 are changed in the range of 40 ⁇ m to 200 ⁇ m, and the relationship between the irradiation direction of the pattern light P1 and the fiber direction is changed to “. Change by "identical” (that is, parallel) and "90 °" (that is, orthogonal).
  • FIG. 10 it is presumed that the influence of the relationship between the irradiation direction of the pattern light P1 and the fiber direction on the standard deviation ⁇ as unevenness information changes depending on the line width of the pattern light P1. That is, in FIG. 10, it is confirmed that the smaller (thinner) the line width of the pattern light P1, the greater the influence of the relationship between the irradiation direction of the pattern light P1 and the fiber direction on the standard deviation ⁇ as unevenness information. can.
  • the width of the fiber of the sheet Sh1 is several tens of ⁇ m or less, and the line width of the pattern light P1 approaches the fiber width, so that the undulation component of the local surface A1 height becomes the bright part L1 and the dark part. It is considered that this is because it tends to occur as a variation in the line width of each of L2.
  • the coefficient of determination R2 is “0.85” or more regardless of the relationship between the irradiation direction of the pattern light P1 and the fiber direction. Therefore, when the line width of the pattern light P1 is 100 ⁇ m or more, the influence of the relationship between the irradiation direction of the pattern light P1 and the fiber direction on the standard deviation ⁇ as unevenness information is relatively small, and the effect is relatively small with the irradiation direction of the pattern light P1. The relationship with the fiber direction can be ignored.
  • the relationship between the irradiation direction of the pattern light P1 and the fiber direction affects the unevenness information depending on whether the line width W1 of the bright portion L1 and the line width W2 of the dark portion L2 of the striped pattern by the pattern light P1 are 100 ⁇ m or more or less than 100 ⁇ m. Whether or not to do it is decided. That is, when the line width is 100 ⁇ m or more, the relationship between the irradiation direction and the fiber direction does not easily affect the unevenness information, so that the calculated unevenness information can be regarded as “independent of the fiber direction”. On the other hand, if the line width is less than 100 ⁇ m, the relationship between the irradiation direction and the fiber direction tends to affect the unevenness information, so that the calculated unevenness information can be regarded as “depending on the fiber direction”.
  • the relationship between the irradiation direction of the pattern light P1 and the fiber direction has a standard deviation ⁇ as unevenness information depending on the line width of the pattern light P1. It can have an impact. Then, by making the line width of the pattern light P1 relatively larger than the width of the fiber of the sheet Sh1, the influence can be reduced, and the standard deviation ⁇ as unevenness information and the arithmetic mean height Sa can be reduced. It will have high linearity.
  • the width of at least one of the bright part L1 and the dark part L2 is preferably 60 ⁇ m or more and 500 ⁇ m or less. Further, in order to make the unevenness information less susceptible to the influence of the relationship between the irradiation direction of the pattern light P1 and the fiber direction, the line width W1 of the bright portion L1 and the line width W2 of the dark portion L2 of the striped pattern by the pattern light P1 are used. At least one is preferably 100 ⁇ m or more.
  • the line width W1 of the bright portion L1 and the line width W2 of the dark portion L2 of the striped pattern by the pattern light P1 are used. At least one of them is preferably less than 100 ⁇ m.
  • the lower limit of the width of at least one of the bright portion L1 and the dark portion L2 is not limited to 60 ⁇ m, and may be, for example, 65 ⁇ m, 70 ⁇ m, 75 ⁇ m, 80 ⁇ m, 85 ⁇ m, 90 ⁇ m, or 95 ⁇ m.
  • the upper limit of the width of at least one of the bright portion L1 and the dark portion L2 is not limited to 500 ⁇ m, and may be, for example, 450 ⁇ m, 400 ⁇ m, 350 ⁇ m, 300 ⁇ m, 250 ⁇ m, 200 ⁇ m, 180 ⁇ m, 160 ⁇ m, 140 ⁇ m or 120 ⁇ m. ..
  • the grid pattern is a superposition of vertical stripe patterns and horizontal stripe patterns that are orthogonal to each other. Therefore, as shown in FIG. 11, the pattern light P1 that produces the grid pattern is the first pattern light P11 that produces the first stripe pattern (vertical stripe pattern) and the second pattern light P12 that produces the second stripe pattern (horizontal stripe pattern). It can be regarded as a synthetic light of.
  • the dark portion L2 is prioritized for the portion where the bright portion L1 and the dark portion L2 of the first pattern light P11 and the second pattern light P12 overlap, but the dark portion L2 is prioritized. May be done. That is, the light portion L1 (shaded) and the dark portion L2 (blackened) of the grid pattern shown in FIG. 11 may be reversed.
  • the line width of the first pattern light P11 and the line width of the second pattern light P12 are different from each other. That is, the line width is different between the vertical stripes and the horizontal stripes of the grid pattern.
  • the line width W11 of the bright portion L1 of the first pattern light P11 and the line width W12 of the dark portion L2 are compared with the line width W21 of the bright portion L1 and the line width W22 of the dark portion L2 of the second pattern light P12. Is big.
  • the line width W11 of the bright portion L1 of the first pattern light P11 and the line width W12 of the dark portion L2 are both 100 ⁇ m
  • the line width W22 of is 80 ⁇ m. Therefore, in the example of FIG. 11, the vertical stripe pattern among the grid patterns is wider than the horizontal stripe pattern.
  • the fringe pattern includes a first fringe pattern (vertical fringe pattern) and a second fringe pattern (horizontal fringe pattern) that are orthogonal to each other.
  • the width of at least one of the bright portion L1 and the dark portion L2 is different between the first striped pattern and the second striped pattern.
  • the first fringe pattern is wider than the second fringe pattern for both the bright portion L1 and the dark portion L2, but the present invention is not limited to this example, and only the bright portion L1 or the dark portion L2 is the first.
  • the one-striped pattern may be wider than the second-striped pattern.
  • the second fringe pattern may be wider than the first fringe pattern for at least one of the bright portion L1 and the dark portion L2.
  • the pattern light P1 that produces the grid pattern as described above may be realized by using the grid-shaped shield 32, or may be realized by using two shields 32 in which the slits 321 are formed. .. In the latter case, the lattice pattern as shown in FIG. 11 can be realized by arranging the two shields 32 having different widths of the slits 321 so as to be overlapped with each other so that the directions of the slits 321 are orthogonal to each other.
  • the control unit 16 analyzes the line width of the first stripe pattern (vertical stripe pattern) and also analyzes the second stripe pattern (horizontal stripe pattern) when analyzing the specific image Im1. It is possible to analyze the line width of. That is, the control unit 16 can calculate the variation in the line width in the horizontal direction from the first fringe pattern, and can calculate the variation in the line width in the vertical direction from the second fringe pattern. In this way, it is possible to acquire the specific image Im1 necessary for analysis in two directions orthogonal to each other in the vertical direction and the horizontal direction at one time.
  • control unit 16 can specify the fiber direction of the surface A1 of the sheet Sh1 by the direction specifying unit 24 from the difference between the calculation result in the vertical direction and the calculation result in the horizontal direction.
  • the lateral unevenness information calculated from the first pattern light P11. Is considered "fiber direction independent”.
  • the vertical unevenness information calculated from the second pattern light P12 is “fiber direction”. Depends on. "
  • the direction specifying unit 24 has the fiber direction orthogonal to the second fringe pattern (horizontal fringe pattern) by the second pattern light P12. Judge that there is. In other words, it is determined that the fiber direction is the same as the arrangement direction of the bright portion L1 and the dark portion L2 of the second pattern light P12. On the other hand, when different results (concavo-convex information) are obtained in the vertical direction and the horizontal direction, the direction specifying portion 24 states that the fiber direction is along the second stripe pattern (horizontal stripe pattern) by the second pattern light P12. to decide.
  • the fiber direction is orthogonal to the alignment direction of the bright portion L1 and the dark portion L2 of the second pattern light P12.
  • whether or not the unevenness information is the same in the vertical direction and the horizontal direction is determined by whether or not the difference between the unevenness information in the vertical direction and the unevenness information in the horizontal direction is equal to or less than a predetermined value. If the difference is equal to or less than a predetermined value, it is determined that the unevenness information is the same in the vertical direction and the horizontal direction.
  • the unevenness information and the fiber direction can be obtained from the specific image Im1. Both can be identified. If the fiber direction is specified, for example, in the inkjet type image forming unit 13, the curl direction can be predicted according to the fiber direction, and the curl correction can be performed by the condition determination unit 23.
  • the plurality of components included in the image processing apparatus 10 may be dispersedly provided in a plurality of housings.
  • at least one of the acquisition unit 21, the unevenness specifying unit 22, the condition determining unit 23, the direction specifying unit 24, the thickness specifying unit 25, and the like, which are the components of the sheet specifying device 2 is realized as one function of the control unit 16.
  • the control unit 16 may be provided in a different housing from the control unit 16. That is, the sheet specifying device 2 does not have to be integrated with the image processing device 10, and at least a part of the sheet specifying device 2 may be provided in a housing different from the image processing device 10.
  • the sheet specifying device 2 only needs to have a function of specifying at least the unevenness information regarding the unevenness of the surface A1 of the sheet Sh1, and the function of specifying the fiber direction of the sheet Sh1 and the thickness of the sheet Sh1 can be omitted as appropriate. be.
  • the thickness sensor 5 and the thickness specifying portion 25 may be omitted.
  • the optical axis Ax1 of the light irradiation unit 3 is tilted at a predetermined angle ⁇ 1 with respect to the specific region R1 of the sheet Sh1, and the optical axis Ax2 of the image pickup unit 4 is orthogonal to the specific region R1 of the sheet Sh1.
  • the optical axis Ax1 of the light irradiation unit 3 may be orthogonal to the specific region R1 of the sheet Sh1, and the optical axis Ax2 of the image pickup unit 4 may be inclined with respect to the specific region R1 of the sheet Sh1.
  • Both axes Ax2 may be tilted with respect to the specific region R1 of the sheet Sh1.
  • the light irradiation unit 3 may include, for example, a projector, and may project an arbitrary pattern light P1 input as projection data onto the specific region R1. That is, the image projected from the projector may be projected onto the specific region R1 as the pattern light P1. In this case, it is easy to adopt a moving image as the pattern light P1.
  • the sheet Sh1 to be irradiated with the pattern light P1 is not limited to the sheet being conveyed, and may be, for example, the sheet Sh1 set in the paper feed cassette 141.
  • the image magnification is reduced.
  • a wide range of the sheet Sh1 can be imaged.
  • the image processing device 10A according to the present embodiment is different from the image processing device 10 according to the first embodiment in that the sheet specifying device 2A includes the output unit 26.
  • the same configurations as those in the first embodiment will be designated by a common reference numeral and description thereof will be omitted as appropriate.
  • the output unit 26 outputs at least one specific result of the unevenness specifying part 22, the direction specifying part 24, and the thickness specifying part 25.
  • the output unit 26 outputs the specific result by displaying it on the operation display unit 15 and notifies the user.
  • the mode of outputting the specific result by the output unit 26 is not limited to the display on the operation display unit 15, but may be transmission to an external device, writing to a non-temporary recording medium readable by a computer system, or the like.
  • the output unit 26 is provided in the control unit 16 as a function of the control unit 16.
  • the content output by the output unit 26 is, for example, the standard deviation ⁇ as the unevenness information, the arithmetic mean height (Sa), or the information indicating the type of the sheet Sh1 in the case of the specific result of the unevenness specifying unit 22.
  • the content output by the output unit 26 is, for example, the fiber direction, or information indicating whether the grain is “vertical” or “horizontal”.
  • the output unit 26 may output information such as a life estimation result, a maintenance time recommendation, or a recommendation of the type of the sheet Sh1, which is estimated from the specific result of the unevenness specifying unit 22 or the like.
  • the parts of the image processing apparatus 10A may be worn when the sheet Sh1 is conveyed, but the rougher the surface A1 of the sheet Sh1 to be conveyed, the easier the wear progresses. That is, the progress of deterioration of the image processing device 10A differs depending on the surface roughness of the sheet Sh1 to be used. Therefore, for example, if the unevenness information of the sheet Sh1 is known in addition to the number of sheets to be conveyed, the image processing device 10A The accuracy of life estimation is improved.
  • the output unit 26 outputs information such as the life estimation result of the image processing device 10A or the recommendation of the maintenance time of the image processing device 10A by displaying it on the operation display unit 15, for example, and notifies the user. Is possible. Further, in order to extend the life of the image processing device 10A, the output unit 26 can notify the user, for example, information such as a recommendation of the sheet Sh1 having a higher flatness than the sheet Sh1 in use. ..
  • the sheet specifying device 2A as described in the first embodiment, it is possible to calculate unevenness information having high linearity with the arithmetic mean height (Sa). Therefore, even if the sheet Sh1 is not registered in the database or the like in advance, it can be reflected in, for example, the life estimation of the image processing apparatus 10A.
  • the output unit 26 may output information such as the estimation results of the front and back surfaces of the sheet Sh1 estimated from the specific results of the unevenness specifying unit 22 and the like. That is, depending on the type of the sheet Sh1, the back surface may be coarser than the front surface, and the roughness may differ between the front and back surfaces of the sheet Sh1. Therefore, if the unevenness information of each of the front and back surfaces of the sheet Sh1 is known, the front and back surfaces of the sheet Sh1 can be estimated. Therefore, the output unit 26 can output information such as the estimation results of the front and back sides of the sheet Sh1 by displaying it on the operation display unit 15, for example, and notify the user. In this case, it is necessary to take a specific image Im1 on both sides of the sheet Sh1 in the thickness direction. Therefore, the two sensor units 20 may be arranged so as to sandwich the transport path T1, the specific image Im1 on both sides may be imaged by one sensor unit 20 using a mirror or the like, and the sheet Sh1 may be turned inside out. You may.
  • condition determination unit 23 may be omitted as appropriate.
  • the unevenness specifying portion 22 does not use the specific image Im1 as it is, but specifies the unevenness information regarding the unevenness of the surface A1 of the sheet Sh1 based on the integrated image Im10.
  • the integrated image Im10 is an image obtained by integrating the specific image Im1 when the specific area R1 moves by a certain movement amount in the surface A1 of the sheet Sh1. In this way, by specifying the unevenness information using the integrated image Im10 obtained by integrating the specific image Im1 instead of the specific image Im1 itself, even if there is "blurring" in the specific image Im1, the unevenness information is specified. It will be easier.
  • the unevenness information is specified based on the integrated image Im10 which can include the component of "blurring” by integrating in the first place, the unevenness information can be specified regardless of the "blurring” in the specific image Im1. , It becomes easier to improve the identification accuracy of unevenness compared to related technologies.
  • the same configurations as those in the first embodiment will be designated by a common reference numeral and description thereof will be omitted as appropriate.
  • the "blurring" of an image such as the specific image Im1 referred to in the present disclosure means that the subject in the image obtained by the relative movement of the subject and the image pickup unit 4 during the image pickup of the subject by the image pickup unit 4. It means that the image looks unclear because it looks like multiple layers. For example, if a high-speed camera or the like is used for the image pickup unit 4, such "blurring" is less likely to occur, but this type of image pickup unit 4 tends to be expensive.
  • Image integration in the present disclosure means integrating pixel values (brightness values) for each pixel.
  • Pixel values for example, when the exposure time of the image pickup unit 4 for capturing a specific image Im1 is 10 ms, pixels are used. It is realized by continuously integrating the pixel values for 10 ms each time. That is, by setting the time required to move the specific region R1 by a certain movement amount as the exposure time and continuously integrating the pixel values during the exposure time, the movement amount of the specific region R1 within the surface A1 of the sheet Sh1.
  • An integrated image Im10 is obtained by accumulating the specific image Im1 when moving only.
  • image integration not only such continuous integration of pixel values, but also discontinuous integration such as integration (addition) of pixel values for each pixel for a plurality of specific images Im1 is included in "image integration". That is, by integrating the pixel values for a plurality of specific images Im1 intermittently acquired while the specific area R1 moves by a certain movement amount, the specific area R1 moves by a certain movement amount in the surface A1 of the sheet Sh1.
  • An integrated image Im10 is obtained by integrating the specific image Im1 at the time of performing. Further, it is possible to obtain the average value of the pixel values for a predetermined number of pixels by integrating the pixel values for a predetermined number of pixels and then dividing the pixel values by the predetermined number of pixels. The process of averaging to obtain such an average value is also included in "image integration".
  • the pattern light P1 forms a striped pattern in which bright portions L1 and dark portions L2 are alternately arranged on a specific region R1 as shown in FIG. That is, when the pattern light P1 is projected, the luminance distribution of the fringe pattern including the bright portion L1 and the dark portion L2 is generated in the specific region R1.
  • the bright portion L1 is a brighter region than the dark portion L2, in other words, the striped pattern is a pattern in which a plurality of bright portions L1 are arranged at intervals, or a plurality of dark portions L2 are spaced apart from each other. It is a pattern lined up with a space.
  • the pattern light P1 is projected to form a striped pattern in which the linear bright portion L1 and the linear dark portion L2 are alternately arranged in the directions orthogonal to the respective longitudinal directions. ..
  • linear bright portions L1 and dark portions L2 extending along the transport direction D1 of the sheet Sh1 are arranged so as to be alternately arranged in the transport direction D1.
  • the sheet Sh1 is transported along the transport path T1 in the transport direction D1, so that the sheet Sh1 moves relative to the sensor unit 20 including the light irradiation unit 3 and the image pickup unit 4. Therefore, the specific region R1 to be irradiated by the pattern light P1 by the light irradiation unit 3 and to be imaged by the image pickup unit 4 for the specific image Im1 moves in the surface A1 of the sheet Sh1 along the transport direction D1. Become. Therefore, the transport direction D1 is the movement direction of the specific region R1 in the surface A1 of the sheet Sh1. Therefore, in the present embodiment, in the striped pattern, at least one of the bright portion L1 and the dark portion L2 extends along the moving direction of the specific region R1 in the surface A1 of the sheet Sh1.
  • both the bright portion L1 and the dark portion L2 are along the transport direction D1 which is the movement direction of the specific region R1. It has an extended shape.
  • the angle between the moving direction of the specific region R1 is a tolerance (10). If it is within the range of (several degrees), it is considered to be along the moving direction of the specific area R1.
  • the local unevenness of the fiber is strongly reflected in the calculation result.
  • the calculation result does not necessarily have a linear relationship with the arithmetic mean height (Sa). Therefore, in the method of the above-mentioned related technique, for example, if only the glossy paper (gloss paper) having a high flatness is distinguished from the plain paper, the surface roughness of the sheet Sh1 of the same type (for example, the plain paper) may be different. It is difficult to distinguish from the calculation result.
  • a table in which the calculation results for various sheets Sh1 and the arithmetic mean height (Sa) are associated with each other is prepared in advance. It is necessary to do.
  • the line width of the pattern light P1 and the predetermined angle ⁇ 1 are optimized to reduce the influence of local fibers and the arithmetic mean height.
  • Concavo-convex information having high linearity with (Sa) can be calculated. Therefore, in the method of the present embodiment, even if a table (database) in which the calculation result (unevenness information) and the arithmetic mean height (Sa) are associated with each other is not prepared in advance, the calculation result of the unevenness specifying unit 22 can be used. , The arithmetic mean height (Sa) can be uniquely obtained.
  • the imaging conditions of the specific image Im1 the predetermined angle ⁇ 1 is 40 degrees
  • the resolution (number of pixels) of the imaging element 41 is 100 ⁇ 100
  • the line width W1 of the bright portion L1 of the striped pattern by the pattern light P1 (see FIG. 13).
  • the line width W2 of the dark part L2 (see FIG. 13) is 120 ⁇ m.
  • the image magnification M is "1", and the extension direction (longitudinal direction) of each of the bright portion L1 and the dark portion L2 of the striped pattern by the pattern light P1 is the same as the transport direction D1 (movement direction of the specific region R1). do.
  • FIG. 14 shows two types of arithmetic mean height Sa of 0.8 ⁇ m and 2.3 ⁇ m
  • FIG. 15 shows two types of arithmetic mean height Sa of 5.16 ⁇ m and 6.1 ⁇ m, for a total of four types.
  • the specific image Im1 and the integrated image Im10 are shown for the type of sheet Sh1.
  • the specific image Im1 is shown on the left side
  • the integrated image Im10 obtained by integrating the specific image Im1 is shown on the right side.
  • the specific image Im1 is composed of a plurality of pixels, and each of the plurality of pixels has a pixel value corresponding to the luminance.
  • the relationship between the luminance and the pixel value is defined so that the pixel value increases as the luminance increases. Therefore, in the specific image Im1 in which the specific region R1 on which the pattern light P1 is projected is captured, the pixel value of the pixel corresponding to the bright portion L1 is relatively large, and the pixel value of the pixel corresponding to the dark portion L2 is relatively large. It will be a small value.
  • the integrated image Im10 is an image obtained by integrating the specific image Im1 when the specific area R1 moves by a predetermined number of pixels of the specific image Im1. Specifically, the integrated image Im10 is integrated by a predetermined number of pixels of the specific image Im1 in the transport direction D1 which is the moving direction of the specific region R1, and then the pixel value of each pixel is divided by the number of pixels. It is an averaged image.
  • the predetermined number of pixels integrated in the integrated image Im10 is 50 pixels (pix.). That is, each pixel of the integrated image Im10 has the average value of the pixel values for 50 pixels (pix.) In the transport direction D1 in the specific image Im1 as the pixel value.
  • the upper part of FIG. 14 is for glossy paper having an arithmetic mean height (Sa) of 0.8 ⁇ m, that is, high flatness
  • the lower part of FIG. 14 is for plain paper having an arithmetic mean height (Sa) of 2.3 ⁇ m.
  • Specific image Im1 and integrated image Im10 are shown.
  • the upper part of FIG. 15 is a specific image of plain paper having an arithmetic mean height (Sa) of 5.16 ⁇ m
  • the lower part of FIG. 15 is a specific image of plain paper having an arithmetic mean height (Sa) of 6.1 ⁇ m. Im1 and the integrated image Im10 are shown.
  • the deformation and distortion of the striped pattern become large, the boundary line between the bright portion L1 and the dark portion L2 of the striped pattern is distorted, and the variation in the line widths of the bright portion L1 and the dark portion L2 becomes large. That is, as the arithmetic mean height (Sa) increases, the undulation component of the height of the surface A1 increases, so that the line widths of the bright portion L1 and the dark portion L2 vary widely.
  • the fringe pattern due to the pattern light P1 is deformed or distorted depending on the unevenness of the surface A1.
  • the line width of the intermediate layer L3 on the boundary line between the bright part L1 and the dark part L2 becomes larger.
  • the boundary line between the bright part L1 and the dark part L2 of the fringe pattern is distorted, so this is integrated (averaged).
  • the line width of the intermediate layer L3 generated in the above becomes larger (thicker).
  • the unevenness information of the surface A1 of the sheet Sh1 is specified by analyzing the width (line width) of the intermediate layer L3 of the integrated image Im10.
  • the integrated image Im10 is the image obtained by integrating the specific image Im1 when the specific area R1 is moved by a certain movement amount, and the movement amount is the pixel pitch of the image pickup unit 4 that captures the specific image Im1. Is equal to or greater than the value obtained by dividing by the image magnification M.
  • the image magnification M is assumed to be "1”
  • the amount of movement of the specific region R1 is equal to or larger than the pixel pitch of the image pickup unit 4.
  • the integrated image Im10 can be obtained by integrating the specific image Im1 in which the specific area R1 moves by the amount of movement and the sheet Sh1 moves at least the pixel pitch or more. Therefore, in the integrated image Im10, the intermediate layer L3 is likely to be generated according to the variation in the line widths of the bright portion L1 and the dark portion L2.
  • the width (line width) of the intermediate layer L3 is not uniform over the entire area of the transport direction D1 in the integrated image Im10, as in the integrated image Im10 in the lower part of FIG. This is because even in the integrated image Im10, the variation in the line widths of the bright portion L1 and the dark portion L2 is not completely equalized, and the variation component of the line widths of the bright portion L1 and the dark portion L2 due to the unevenness of the surface A1 is present. It is due to the fact that it remains.
  • the waviness component generated by the continuous entanglement of a large number of fibers occurs in a relatively long period, and therefore, the integration is performed according to the unevenness of such a long period.
  • the line widths of the bright part L1 and the dark part L2 vary. Therefore, in order to make the width of the intermediate layer L3 uniform over the entire area of the transport direction D1 in the integrated image Im10, the movement amount of the specific region R1 for obtaining the integrated image Im10 is set to be equal to or greater than the period (distance) of the long-period unevenness. It is preferable to do so.
  • the integrated image Im10 is obtained by integrating the specific image Im1 over a range equal to or longer than the period (distance) of the long-period unevenness. Can be uniform.
  • FIG. 16 shows an arbitrary position (1 row) in the transport direction D1 of the integrated image Im10 when the predetermined number of pixels to be integrated is set to be equal to or greater than the period of the long-period unevenness of the sheet Sh1 for the above four types of sheets Sh1.
  • the pixel value of each pixel is shown.
  • the horizontal axis is the pixel number (pixel position) in the “row direction” in which the bright portion L1 and the dark portion L2 are arranged in the integrated image Im10 (horizontal direction in FIGS. 14 and 15), and the vertical axis is the pixel value (pixel value). Brightness value). That is, according to FIG.
  • the width of the intermediate layer L3 corresponds to the inclination of the rising edge (or falling edge) of the pixel value between the bright portion L1 and the dark portion L2, and the gentler the inclination, the larger the width of the intermediate layer L3.
  • the larger (coarse) the arithmetic mean height Sa of the surface A1 of the sheet Sh1 the gentler the inclination of the rising edge (or falling edge) of the pixel value between the bright portion L1 and the dark portion L2. That is, among the graphs for the four types of sheets Sh1 shown in FIG. 16, the slope of the graph in which the arithmetic mean height Sa is "6.1" is the gentlest.
  • the width of the intermediate layer L3 is extracted from the graph of FIG. 16 described above, and a representative value (for example, an average value, a mode value, a median value, etc.) of the widths of the plurality of intermediate layers L3 is calculated for each integrated image Im10. Therefore, the width of the intermediate layer L3 in the integrated image Im10 can be calculated.
  • the width of the intermediate layer L3 calculated in this way that is, the average value of the inclination width of the graph of FIG. 16 is as shown in FIG. 17 in terms of the number of pixels.
  • the horizontal axis is the arithmetic mean height Sa
  • the vertical axis is the width of the intermediate layer L3 (the average value of the inclination width).
  • at least the above four types of sheets Sh1 have high linearity between the width of the intermediate layer L3 of the integrated image Im10 and the arithmetic mean height Sa.
  • the transport speed of the sheet Sh1 is set to 500 mm / sec in order to improve the productivity of the image processing apparatus 10
  • the image pickup unit 4 having a frame rate of 100 Hz and the maximum exposure time is 10 ms
  • the exposure is performed.
  • the sheet Sh1 moves 5 mm in time. Therefore, in the specific image Im1, "blurring” occurs due to the movement of the sheet Sh1, and in the method of obtaining the roughness of the surface A1 from the shadow image of the specific image Im1 as in the above-mentioned related technique, the shadow is crushed by the "blurring". It is difficult to determine the roughness of the surface A1.
  • the transport speed of the sheet Sh1 may be slowed down, or the exposure time may be shortened by using a high-sensitivity image sensor 41 for the image pickup unit 4. There is a need to do. Then, there arises a problem that the productivity of the image processing apparatus 10 is lowered and the cost of the image pickup unit 4 is high.
  • the sheet specifying device 2 according to the present embodiment since the unevenness information is specified by using the integrated image Im10 that can include the component of "blurring" in the first place, it is necessary to suppress the "blurring" of the specific image Im1. do not have. Therefore, in the present embodiment, it is easy to improve the productivity of the image processing device 10 and reduce the cost of the image pickup unit 4.
  • the movement amount of the specific region R1 for obtaining the integrated image Im10 is set to be equal to or greater than the long-period unevenness cycle of the sheet Sh1.
  • the amount of movement is defined by at least one of the transport speed of the sheet Sh1 and the exposure time of the image pickup unit 4 that captures the specific image Im1.
  • the width of the intermediate layer L3 becomes uniform over the entire area of the transport direction D1 in the integrated image Im10. Therefore, even if attention is paid to an arbitrary position (1 row) in the transport direction D1 of the integrated image Im10, the width of the intermediate layer L3 Can be obtained. As a result, the calculation load for calculating the width of the intermediate layer L3 can be reduced.
  • steps S1, S2 ... represent the number of the processing procedure (step) executed by the control unit 16.
  • the process described below is started, for example, at the position (monitor position) corresponding to the sensor unit 20 in the transport path T1 at the timing when the sheet Sh1 passes through.
  • the analysis of the specific image Im1 including the pattern light P1 is aimed at restoring the three-dimensional shape, for example, a plurality of pattern lights P1 are continuously projected and the specific image is calculated to calculate the phase change of the pattern light P1.
  • the calculation load is relatively high, it takes a relatively long time to calculate the roughness (unevenness information) of the surface A1, and the cost of hardware (CPU, GPU, memory, etc.) is also compared. It will be high. Therefore, in the present embodiment, instead of the above method, the following method is adopted so that the roughness (concavo-convex information) of the surface A1 can be calculated by a relatively simple arithmetic process.
  • the unevenness specifying portion 22 is an arbitrary 1 of the integrated image Im10, with the arrangement direction (horizontal direction of FIGS. 14 and 15) of the bright portion L1 and the dark portion L2 in the integrated image Im10 as the “row direction”. Focusing on the row (1 line), the width (line width) of the intermediate layer L3 is calculated. That is, the integrated image Im10 is an image of “N pixels ⁇ M rows” in which N pixels are arranged in the arrangement direction of the bright portion L1 and the dark portion L2, and the unevenness specifying portion 22 is among the M rows included in the integrated image Im10. The line width is calculated for any one line of.
  • the unevenness specifying portion 22 calculates the line width of the intermediate layer L3, which is calculated by paying attention to one line in this way, as unevenness information. As a result, the unevenness specifying portion 22 can obtain unevenness information having a correlation with the arithmetic mean height (Sa) of the surface A1 based on the line width of the intermediate layer L3.
  • step S1 the control unit 16 determines whether the seat Sh1 reaches the monitor position, that is, the position corresponding to the sensor unit 20 in the transport path T1.
  • the sheet Sh1 is detected by the sensor at the monitor position, and the control unit 16 determines that the sheet Sh1 reaches the monitor position (S1: Yes). ), The process is shifted to step S2.
  • the control unit 16 determines that the seat Sh1 has not reached the monitor position (S1: No), and shifts the process to step S1.
  • step S2 the control unit 16 controls the light irradiation unit 3 by the acquisition unit 21 to irradiate the light irradiation unit 3 with the pattern light P1.
  • step S3 the control unit 16 controls the image pickup unit 4 by the acquisition unit 21, and causes the image pickup unit 4 to image the specific region R1 in the state where the pattern light P1 is projected.
  • the specific image Im1 which is an image of the specific region R1 of the surface A1 of the sheet Sh1 is generated by the image pickup unit 4.
  • step S4 the control unit 16 integrates the specific image Im1 when the specific region R1 moves by a certain movement amount in the surface A1 of the sheet Sh1 to generate the integrated image Im10.
  • the time required for the specific region R1 to move within the surface A1 by a certain movement amount (5 mm as an example) is set as the exposure time of the image pickup unit 4, and then the image pickup unit 4 performs imaging. Therefore, the image acquired by the acquisition unit 21 is the integrated image Im10 after integration.
  • the amount of movement of the specific region R1 for obtaining the integrated image Im10 is set to be equal to or greater than the period of the long-period unevenness of the sheet Sh1.
  • the integrated image Im10 may be generated in the control unit 16.
  • step S5 the control unit 16 acquires one line (one line) of the integrated image Im10 from the image pickup unit 4 by the acquisition unit 21. That is, the acquisition unit 21 acquires the integrated image Im10 for one row, which is one pixel in the column direction. Since the image pickup unit 4 (image sensor 41) generally has a specification in which images are sequentially read out line by line, the integrated image Im10 for one line is acquired and analyzed (step S6, step S6). By performing S7), the amount of memory used can be reduced.
  • the line to be acquired at this time may be, for example, predetermined or may be set by the user.
  • step S6 the control unit 16 executes preprocessing on the integrated image Im10 at the acquisition unit 21.
  • the target of the preprocessing is the integrated image Im10 for one line (one line) acquired in step S5. That is, the control unit 16 executes preprocessing for the integrated image Im10 line by line.
  • the preprocessing includes, for example, a filtering process. Specifically, the control unit 16 performs noise removal and the like by filtering processing for the integrated image Im10 for one line.
  • the pre-processing may include a trimming process for cutting out only a part of the integrated image Im10, and may narrow down the range to be processed in step S7. Further, the filtering process and the like are not essential and can be omitted as appropriate.
  • step S7 the control unit 16 extracts the width data indicating the width (line width) of the intermediate layer L3 from the integrated image Im10 by the unevenness specifying unit 22.
  • the target for extracting the width data is the integrated image Im10 for one line (one line) acquired in step S5. That is, the control unit 16 extracts the width data for the integrated image Im10 line by line.
  • the control unit 16 has a bright portion L1 for pixels having a pixel value of the first threshold value (“50” as an example) or more and a second threshold value (as an example) for the integrated image Im10 for one line.
  • Pixels less than 30 ") are classified as a dark portion L2, and each pixel is classified into a bright portion L1 and a dark portion L2.
  • the pixels that do not correspond to the bright part L1 or the dark part L2, that is, the pixels having the pixel values less than the first threshold value and the second threshold value or more are classified into the intermediate layer L3.
  • the control unit 16 calculates how many pixels the intermediate layer L3 has as width data.
  • the control unit 16 extracts the total line width of the plurality of intermediate layers L3 by extracting the number of pixels of the pixels corresponding to the intermediate layer L3 for the entire integrated image Im10 for one line.
  • the first threshold value and the second threshold value used for classifying pixels into the bright part L1, the dark part L2, and the intermediate layer L3 are, for example, a value determined based on the average value of a plurality of pixels, or a predetermined value (predetermined value). ) Etc.
  • the second threshold is smaller than the first threshold.
  • the control unit 16 may extract the line width for each intermediate layer L3 by extracting the number of pixels corresponding to the intermediate layer L3 continuous in the row direction.
  • the control unit 16 is not limited to the total of the plurality of intermediate layers L3, and the line widths of the plurality of intermediate layers L3 may be used as the width data, or may be representative of the line widths of the plurality of intermediate layers L3.
  • the value (for example, the mean value, the mode value, the median value, etc.) may be used as the width data.
  • step S8 the control unit 16 calculates the arithmetic mean height Sa from the width data of the intermediate layer L3 in the unevenness specifying unit 22. That is, since there is high linearity between the width (line width) of the intermediate layer L3 and the arithmetic mean height Sa in the integrated image Im10, the arithmetic mean height is calculated from the width of the intermediate layer L3 using a linear regression model. It is possible to uniquely obtain Sa.
  • step S9 the control unit 16 determines the image processing conditions in the condition determination unit 23. That is, the condition determination unit 23 determines the image processing conditions including the image formation conditions according to the arithmetic mean height Sa calculated in step S8. As an example, when the arithmetic mean height Sa becomes large, the condition determining unit 23 sets the image forming conditions so as to raise the fixing temperature, lower the transport speed, or raise the transfer voltage. As a result, when an image is formed on the sheet Sh1 by the image forming unit 13, the image forming conditions corresponding to the unevenness of the surface A1 of the sheet Sh1 are automatically applied.
  • the bright portion L1 and the dark portion L2 of the striped pattern extends along the moving direction (transport direction D1) of the specific region R1 in the surface A1 of the sheet Sh1, for example, the bright portion.
  • Both L1 and the dark portion L2 may be orthogonal to the transport direction D1.
  • the pattern light P1 projected on the surface A1 of the sheet Sh1 is dynamically deformed or distorted according to the unevenness of the surface A1. It will be. Therefore, even when such a pattern light P1 is used, the unevenness specifying portion 22 can specify the unevenness information based on the integrated image Im10, as in the third embodiment.
  • the present invention is not limited to this, and the specific image Im1 may be spatially integrated. .. That is, the integration such that the pixel values are integrated (added) for each pixel for the image (specific image Im1) in the specific area R1 while moving the specific area R1 in one image is also referred to as "image integration". include. That is, by integrating the pixel values for the image (specific image Im1) in the specific area R1 that is cut out while the specific area R1 moves by a certain movement amount in one image, only the movement amount of the specific area R1 is present. An integrated image Im10 obtained by integrating the specific image Im1 when moving is obtained.

Abstract

シート特定装置は、取得部と、凹凸特定部と、を備えている。取得部は、特定画像(Im1)を取得する。特定画像(Im1)は、画像の形成対象又は画像の読み取り対象であるシート(Sh1)の表面(A1)のうち特定領域(R1)の画像である。特定領域(R1)は、シート(Sh1)の表面(A1)のうちパターン光(P1)が投影されている領域である。凹凸特定部は、特定画像(Im1)に基づいて、シート(Sh1)の表面(A1)の凹凸に関する凹凸情報を特定する。

Description

シート特定装置、画像処理装置及びシート特定方法
 本発明は、シート特定装置、画像処理装置及びシート特定方法に関する。
 関連技術として、複写機又はレーザープリンター等の画像形成装置に用いられ、シート(紙)の表面の映像から、種類を自動で判別する技術が知られている(例えば、特許文献1参照)。関連技術に係る映像読取装置は、シートの表面に斜め方向より光を照射する発光素子と、その照射領域内を映像として読み取るエリアセンサーと、を備え、読取結果からシートに関する情報を読み取る。
 この映像読取装置では、シートの表面の凹凸によって生じる陰影像を照射領域内の映像から検出することで、シートの表面粗度を推定する。シートの表面の凹凸が大きい場合には、凹凸が小さい場合と比べてコントラストが高くなるので、コントラストから表面の凹凸の大きさを推定できる。さらに、この映像読取装置は、発光素子からの光の入射方向をシートの搬送方向に対して斜め45度にすることにより、シートの繊維方向と光入射方向とを略45度に保ち、繊維方向による検出精度のばらつきの少ない構成をとる。
特開2004-038879号公報
 しかし、上記関連技術の構成では、凹凸に対して感度が高い映像を得るためにはシートの表面に対する光入射方向の角度を浅く(小さく)する必要があり、これにより得られる映像が全体的に暗くなって、凸凹に起因する陰影がノイズに埋もれやすい。
 本発明の目的は、シートの表面の凹凸の特定精度を向上しやすいシート特定装置、画像処理装置及びシート特定方法を提供することにある。
 本発明の一の局面に係るシート特定装置は、取得部と、凹凸特定部と、を備える。前記取得部は、特定領域の画像である特定画像を取得する。前記特定領域は、画像の形成対象又は画像の読み取り対象であるシートの表面のうちパターン光が投影されている領域である。前記凹凸特定部は、前記特定画像に基づいて、前記シートの前記表面の凹凸に関する凹凸情報を特定する。
 本発明によれば、シートの表面の凹凸の特定精度を向上しやすいシート特定装置、画像処理装置及びシート特定方法を提供することができる。
図1は、実施形態1に係る画像処理装置の概略ブロック図である。 図2は、実施形態1に係る画像処理装置の外観及び内部構成を示す概略図である。 図3は、実施形態1に係るシート特定装置の光照射部及び撮像部を示す概略図である。 図4は、実施形態1に係るシート特定装置の光照射部及びシートを示す概略図である。 図5は、実施形態1に係るシート特定装置でのシートの表面の凹凸検知の原理を示す概略図である。 図6は、実施形態1に係るシート特定装置にて得られる特定画像の一例を示す図である。 図7は、実施形態1に係るシート特定装置の動作例のフローチャートである。 図8は、実施形態1に係るシート特定装置にて得られる所定角度を変えた場合の特定画像の一例を示す図である。 図9は、実施形態1に係るシート特定装置にて得られる標準偏差と、算術平均高さとの関係性を示すグラフである。 図10は、実施形態1に係るシート特定装置においてパターン光の線幅、及びパターン光の照射方向と繊維方向との関係を変えながら、決定係数を算出した結果を示す表である。 図11は、実施形態1に係るシート特定装置において格子パターンを生じるパターン光を示す概略図である。 図12は、実施形態2に係る画像処理装置の概略ブロック図である。 図13は、実施形態3に係るシート特定装置の光照射部及びシートを示す概略図である。 図14は、実施形態3に係るシート特定装置にて得られる特定画像及び積算画像の一例を示す図である。 図15は、実施形態3に係るシート特定装置にて得られる特定画像及び積算画像の一例を示す図である。 図16は、実施形態3に係るシート特定装置にて得られる積算画像の1行に着目した各画素の画素値を示すグラフである。 図17は、実施形態3に係るシート特定装置にて得られる中間層の幅と、算術平均高さとの関係性を示すグラフである。 図18は、実施形態3に係るシート特定装置の動作例のフローチャートである。
 以下、添付図面を参照しながら、本発明の実施形態について説明する。以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する趣旨ではない。
 (実施形態1)
[1]画像処理装置の全体構成
 まず、図1及び図2を参照しつつ、本実施形態に係る画像処理装置10の全体構成について説明する。
 本実施形態に係る画像処理装置10は、一例として、原稿から画像(画像データ)を読み取るスキャン機能、画像データに基づいて画像を形成するプリント機能、ファクシミリ機能、及びコピー機能等の複数の機能を有する複合機である。画像処理装置10は、画像を形成する機能と画像を読み取る機能との少なくとも一方を含む画像処理機能を有していればよく、プリンター、スキャナー、ファクシミリ装置、及びコピー機等であってもよい。
 画像処理装置10は、図1に示すように、自動原稿搬送装置11と、画像読取部12と、画像形成部13と、給紙部14と、操作表示部15と、制御部16と、を備える。自動原稿搬送装置11は、ADF(Auto Document Feeder)であるので、図1では「ADF」と表記し、かつ以下の説明でも「ADF11」と称する。本実施形態では、図2に示すように、画像処理装置10は筐体100を備えている。ADF11、画像読取部12、画像形成部13、給紙部14、操作表示部15及び制御部16は、筐体100に設けられている。
 ADF11は、画像読取部12によって画像が読み取られるシート(原稿)を搬送する。ADF11は、原稿セット部、複数の搬送ローラー、原稿押さえ及び排紙部等を有する。
 画像読取部12は、シートから画像を読み取り、読み取られた画像に対応する画像データを出力する。画像読取部12は、原稿台、光源、複数のミラー、光学レンズ及びCCD(Charge Coupled Device)等を有する。
 画像形成部13は、画像読取部12から出力される画像データに基づいて、シートSh1(図2参照)に画像を形成する。また、画像形成部13は、パーソナルコンピューター等の、画像処理装置10の外部の情報処理装置から入力される画像データに基づいて、シートSh1に画像を形成する。本実施形態では一例として、図2に示すように、画像形成部13は、転写装置131、定着装置132及び排紙トレイ133等を備え、電子写真方式でシートSh1に画像を形成する。画像形成部13は、モノクロの画像を形成する構成に限らず、C(シアン)、M(マゼンタ)、Y(イエロー)及びK(ブラック)の4色を用いてフルカラーの画像を形成する構成であってもよい。また、画像形成部13は、例えば、インクジェット方式等、電子写真方式以外の画像形成方式により、シートに画像を形成する構成であってもよい。
 画像形成部13は、現像剤としてのトナーを用いて、シートSh1に画像を形成する。具体的には、画像形成部13は、帯電した感光体ドラムの表面に、レーザー光を照射することで静電潜像を形成し、トナーにて静電潜像を現像することにより、感光体ドラムの表面にトナー像を形成する。転写装置131にて、搬送路T1(図2参照)を搬送されるシートSh1にトナー像を転写する。定着装置132は、シートSh1に転写されたトナー像をそのシートSh1に溶融定着させる。例えば、定着装置132は、定着ローラー及び加圧ローラーを含み、シートSh1に転写されたトナー像を加熱し、かつシートSh1加圧することで、トナー像をシートSh1に定着させる。排紙トレイ133には、画像形成後のシートSh1が排出される。画像形成部13がインクジェット方式で画像を形成する場合、トナーに代えてインク(現像剤の他の一例)が供給される。
 給紙部14は、画像形成部13にシートSh1を供給する。給紙部14は、複数の給紙カセット141、手差しトレイ及び複数の搬送ローラー等を有する。給紙部14は、複数の給紙カセット141又は手差しトレイ等から、複数の搬送ローラー等で搬送路T1を通してシートSh1を搬送し、画像形成部13に供給する。画像形成部13は、給紙部14から搬送路T1を通して供給されるシートSh1に画像を形成する。
 操作表示部15は、画像処理装置10におけるユーザーインターフェイスである。操作表示部15は、制御部16からの制御指示に応じて各種の情報を表示する液晶ディスプレー等の表示部、及びユーザーの操作に応じて制御部16に各種の情報を入力するスイッチ又はタッチパネル等の操作部を有する。また、画像処理装置10は、ユーザーインターフェイスとして、操作表示部15に加えて又は代えて、例えば、音声出力部及び音声入力部等を備えていてもよい。
 制御部16は、画像処理装置10を統括的に制御する。制御部16は、1以上のプロセッサー及び1以上のメモリーを有するコンピューターシステムを主構成とする。画像処理装置10では、1以上のプロセッサーがプログラムを実行することにより、制御部16の機能が実現される。プログラムは1以上のメモリーに予め記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリーカード又は光学ディスク等の、コンピューターシステムで読み取り可能な非一時的記録媒体に記録されて提供されてもよい。1以上のプロセッサーは、半導体集積回路を含む1以上の電子回路で構成される。さらに、本開示でいうコンピューターシステムは、1以上のプロセッサー及び1以上のメモリーを有するマイクロコントローラーを含む。制御部16は、画像処理装置10を統括的に制御するメイン制御部とは別に設けられた制御部であってもよい。
 また、画像処理装置10は、記憶部、通信部及び電源部等を更に備える。記憶部は、1以上の不揮発性のメモリーを含んでおり、制御部16に各種の処理を実行させるための制御プログラム等の情報が予め記憶されている。通信部は、画像処理装置10と、例えば、インターネット又はLAN(Local Area Network)等の通信ネットワークを介して接続される外部装置との間で、データ通信を実行するインターフェイスである。電源部は、画像処理装置10の動作のための電力を生成(出力)する電源回路である。
 ところで、この種の画像処理装置10の関連技術として、複写機又はレーザープリンター等の画像形成装置に用いられ、シート(紙)の表面の映像から、種類を自動で判別する技術が知られている。関連技術に係る映像読取装置は、シートの表面に斜め方向より光を照射する発光素子と、その照射領域内を映像として読み取るエリアセンサーと、を備え、読取結果からシートに関する情報を読み取る。
 この映像読取装置では、シートの表面の凹凸によって生じる陰影像を照射領域内の映像から検出することで、シートの表面粗度を推定する。シートの表面の凹凸が大きい場合には、凹凸が小さい場合と比べてコントラストが高くなるので、コントラストから表面の凹凸の大きさを推定できる。さらに、この映像読取装置は、発光素子からの光の入射方向をシートの搬送方向に対して斜め45度にすることにより、シートの繊維方向と光入射方向とを略45度に保ち、繊維方向による検出精度のばらつきの少ない構成をとる。
 しかし、上記関連技術の構成では、凹凸に対して感度が高い映像を得るためにはシートの表面に対する光入射方向の角度を浅く(小さく)する必要があり、これにより得られる映像が全体的に暗くなって、凸凹に起因する陰影がノイズに埋もれやすい。
 これに対し、本実施形態では、以下に説明する構成により、シートの表面の凹凸の特定精度を向上しやすい、画像処理装置10を実現する。
 すなわち、本実施形態に係る画像処理装置10は、図1に示すように、シート特定装置2を備えている。本実施形態に係るシート特定装置2は、画像処理装置10と一体化されている。
 シート特定装置2は、取得部21と、凹凸特定部22と、を備えている。取得部21は、特定画像Im1(図4参照)を取得する。特定画像Im1は、画像の形成対象又は画像の読み取り対象であるシートSh1の表面A1(図3参照)のうち特定領域R1(図4参照)の画像である。特定領域R1は、シートSh1の表面A1のうちパターン光P1(図3参照)が投影されている領域である。凹凸特定部22は、特定画像Im1に基づいて、シートSh1の表面A1の凹凸に関する凹凸情報を特定する。本実施形態では、シート特定装置2の構成要素である取得部21及び凹凸特定部22は、制御部16の一機能として制御部16に設けられている。
 上述した構成によれば、本実施形態に係るシート特定装置2、及びシート特定装置2を備える画像処理装置10は、シートSh1の表面A1の凹凸の特定精度を向上しやすい、という利点がある。すなわち、シートSh1の表面A1の特定領域R1には、発光素子からの光が一様に照射するのではなく、パターン光P1が投影される。したがって、凹凸特定部22では、特定画像Im1におけるパターン光P1の変形又は歪み等の度合いから、シートSh1の表面A1の凹凸に関する凹凸情報を特定することができる。よって、上記関連技術のようにシートSh1の表面A1に対する光入射方向の角度を浅く(小さく)しなくても、比較的明るい特定画像Im1からでも凹凸情報を特定可能であって、結果的に、関連技術に比較して凹凸の特定精度を向上しやすくなる。
 本実施形態に係るシート特定装置2は、画像処理部(画像読取部12及び画像形成部13)と共に、画像処理装置10を構成する。言い換えれば、本実施形態に係る画像処理装置10は、シート特定装置2と、シートSh1を対象として、画像の形成と画像の読み取りとの少なくとも一方を実行する画像処理部と、を備える。
[2]定義
 本開示でいう「シート」は、画像の形成対象又は画像の読み取り対象であるシートである。本実施形態では一例として、パターン光P1の照射対象となるシートSh1は、画像形成部13による画像の形成対象としてのシートSh1であることとする。つまり、本実施形態では、給紙部14により搬送路T1を搬送されるシートSh1を、パターン光P1の照射対象とする。ただし、この例に限らず、パターン光P1の照射対象となるシートは、画像読取部12による画像の読み取り対象としてのシート(原稿)、つまりADF11により搬送されるシートであってもよい。また、シートSh1は、本実施形態では一例として紙であるが、紙に限らず、例えば、樹脂フィルム等であってもよい。
 本開示でいう「パターン光」は、例えば、光照射部3(図1参照)から、形状及び方向を制御されて投影面(ここではシートSh1の表面A1)に投影される光であって、いわゆる構造化光(Structured Light)である。つまり、パターン光P1が照射する領域(特定領域R1)においては、パターン光P1により一様に照らされるのではなく、パターン光P1に応じた図形、図柄、絵柄、模様、記号、文字及び数字等が投影される。具体的には、パターン光P1が特定領域R1に照射することで、特定領域R1には、例えば、縞パターン、格子パターン又は円弧パターン等の、パターン光P1に応じたパターンの輝度分布が生じる。さらに、パターン光P1は、静止画像のように固定的なパターンに限らず、動画像(アニメーションを含む)のように時間経過に伴って変化するパターンの輝度分布を、特定領域R1に生じさせてもよい。
 本開示でいう「特定画像」は、例えば、撮像部4で撮像される、パターン光P1が投影されている状態の特定領域R1の画像である。つまり、特定画像Im1には、特定領域R1に投影されているパターン光P1、厳密には、パターン光P1が投影されることにより特定領域R1に生じる、パターン光P1に応じたパターンの輝度分布が含まれる。特定画像Im1は、モノクロ画像とカラー画像とのいずれでもよく、さらに、静止画像と動画像とのいずれであってもよい。
 本開示でいう「凹凸情報」は、シートSh1の表面A1の凹凸に関する情報であって、例えば、凹凸の高さ(又は深さ)及び/又は平面視における凹凸のサイズ等の情報を含む。シートSh1の表面A1は、凹部と凸部との少なくとも一方を含む凹凸を有している。つまり、表面A1には、複数の凹部のみが含まれていてもよいし、複数の凸部のみが含まれていてもよい。さらに、表面A1は、複数の凹部と1つの凸部とを含んでもよい。この場合、一例として、表面A1は、網状の1つの凸部と、この凸部で囲まれた網目の部位からなる複数の凹部とを含む。同様に、一例として、表面A1は、網状の1つの凹部と、この凹部で囲まれた網目の部位からなる複数の凸部とを含んでもよい。
 そして、表面A1における凹凸(凹部及び凸部)は、肉眼では個々の識別ができない程度の極めて小さなサイズを持ち、1枚のシートSh1の表面A1には、多数の凹凸が含まれる。つまり、凹凸は表面A1全体に比べて微細であって、人が表面A1を見たときに、凹凸があることで表面A1がざらざらした「梨地」のように見えることになる。このような多数の微細な凹凸は、例えば、紙のシートSh1であれば紙を構成する多数の繊維により、樹脂フィルムであればシボ加工等により、形成される。このような微細な凹凸に関する情報は、算術平均高さ(Sa)、又は線の算術平均高さ(Ra)等の、表面粗さを表す指標を含む。
 本開示でいう「繊維方向」は、シートSh1の表面A1の繊維の方向であって、例えば、紙のシートSh1であれば紙を構成する多数の繊維の延長方向、つまり紙の流れ目(紙の目)の方向である。一般的に、シートSh1には、繊維方向がシートSh1の長辺に沿った「縦目」と、繊維方向がシートSh1の短辺に沿った「横目」とがある。そして、画像処理装置10におけるシートSh1の搬送方向D1(図2参照)は、シートSh1の長辺又は短辺に沿った方向である。そのため、基本的には、繊維方向は、シートSh1の搬送方向D1に沿うか、又は搬送方向D1に直交する方向に沿うことになる。
[3]シート特定装置
 次に、図1~図4を参照しつつ、本実施形態に係るシート特定装置2の構成について、より詳細に説明する。
 本実施形態では、シート特定装置2は、取得部21と、凹凸特定部22と、条件決定部23と、方向特定部24と、厚み特定部25と、光照射部3と、撮像部4と、厚みセンサー5と、を備えている。取得部21、凹凸特定部22、条件決定部23、方向特定部24及び厚み特定部25は、制御部16の一機能として制御部16に設けられている。つまり、本実施形態では、画像処理装置10は、取得部21及び凹凸特定部22に加え、条件決定部23、方向特定部24及び厚み特定部25を制御部16の一機能として備えている。
 光照射部3は、シートSh1の表面A1に向けてパターン光P1を照射する。つまり、光照射部3は、形状及び方向が制御されたパターン光P1を生成し、パターン光P1をシートSh1の表面A1に照射することにより、シートSh1の表面A1の特定領域R1にパターン光P1を投影する。このような光照射部3からのパターン光P1により、シートSh1の表面A1の特定領域R1には、パターン光P1に応じた図形、図柄、絵柄、模様、記号、文字及び数字等が投影される。
 本実施形態では一例として、パターン光P1は、図4に示すように、特定領域R1上に明部L1と暗部L2とが交互に並ぶ縞パターンを形成する。つまり、パターン光P1が投影されることにより、特定領域R1には、明部L1及び暗部L2を含む縞パターンの輝度分布が生じる。ここで、明部L1は暗部L2に比べて明るい領域であって、言い換えれば、縞パターンは、複数本の明部L1が間隔を空けて並んだパターンであり、又は複数本の暗部L2が間隔を空けて並んだパターンである。つまり、特定領域R1においては、パターン光P1が投影されることで、直線状の明部L1と直線状の暗部L2とが各々の長手方向に直交する方向に交互に並ぶ縞パターンが形成される。本実施形態では一例として、シートSh1の搬送方向D1に直交する直線状の明部L1及び暗部L2が、搬送方向D1に交互に並ぶように配置されている。図4等においては、明部L1を網掛け(ドットハッチング)で示し、暗部L2を黒塗りで示している。これにより、特定領域R1上の縞パターンには、表面A1の凹凸に応じた変形又は歪み等が現れやすくなる。ただし、図4に示すような縞パターンを生じるパターン光P1は、あくまでパターン光P1の一例であって、パターン光P1は適宜変更可能である。
 本実施形態では、図3及び図4に示すように、光照射部3は、光源31と、遮蔽体32と、を有する。遮蔽体32は、光源31から出力される光の一部を遮ることにより、パターン光P1を透過させる。光源31は、電力が供給されることにより発光する発光素子を含み、発光素子で発生した光を遮蔽体32に向けて出力する。光源31は、制御部16からの制御信号によって制御され、少なくとも制御部16にて点灯/消灯の切り替えが可能である。遮蔽体32は、光源31とシートSh1の表面A1の特定領域R1との間に配置され、光源31からの光の一部を遮蔽し、残りを透過させる部品である。これにより、光源31から出力される光は、その一部が遮蔽体32で遮蔽され、残りは遮蔽体32を透過するので、遮蔽体32を透過する光は、遮蔽体32によって所望の形状に制御されたパターン光P1となる。これにより、比較的簡単な構成でパターン光P1を実現できる。
 本実施形態では一例として、光源31は、発光ダイオード(LED:Light Emitting Diode)又は有機EL(Electroluminescence)等の発光素子を1以上有し、平面視矩形状の発光面311(図3参照)の全域を略一様に発光させることで、面発光する。さらに、本実施形態では、光源31は、平行光又は平行光に近い光を出力する。そのため、光照射部3から出力されるパターン光P1の光軸Ax1(図3参照)は、光源31の発光面311の中心(重心)を通る発光面311の垂線となる。光源31は、コリメーターレンズ等の、発光素子からの光を平行光に変換する光学部品を有していてもよい。本実施形態では一例として、光源31は、可視光、具体的には白色光を出力する。ただし、光源31は、撮像部4が感度を有する波長の光を出力すればよく、白色光以外の光を出力してもよいし、例えば、赤外線又は紫外線等の可視光以外の波長域の光を出力してもよい。
 本実施形態では一例として、遮蔽体32は、光源31からの光を吸収又は反射する矩形板状の部品であって、1本以上のスリット321(図4参照)が形成されている。これにより、光源31から出力される光は、その一部が遮蔽体32で遮蔽され、残りは遮蔽体32のスリット321を通して遮蔽体32を透過する。本実施形態では、特定領域R1に縞パターンを形成するパターン光P1を実現するべく、遮蔽体32は、直線状の複数本のスリット321を有する。これにより、パターン光P1が照射する特定領域R1においては、スリット321を透過した光が明部L1となり、遮蔽体32の影が暗部L2となることで、縞パターンが投影される。ただし、このようにスリット321を透過した光が明部L1となる構成に限らず、例えば、光の干渉を利用した「干渉縞」によってパターン光P1を実現してもよい。
 ここで、パターン光P1を照射する光照射部3と特定領域R1の中心とを結ぶ第1仮想直線は、シートSh1の搬送方向D1に沿った第2仮想直線に対して、所定角度θ1で傾斜している。本実施形態では、特定領域R1において、シートSh1の表面A1はシートSh1の搬送方向D1に沿っているので、第1仮想直線とシートSh1の表面A1との間の角度が、所定角度θ1となる。さらに、第1仮想直線はパターン光P1の光軸Ax1であるので、パターン光P1の光軸Ax1は、シートSh1の表面A1に対して所定角度θ1で傾斜する。特に、本実施形態では、光照射部3は、特定領域R1に対して、搬送方向D1における下流側、つまりシートSh1の進行方向の前方側から、所定角度θ1で斜めにパターン光P1を照射するように構成されている。これにより、特定領域R1上のパターンには、表面A1の凹凸に応じた変形又は歪み等が現れやすくなる。
 撮像部4は、シートSh1の表面A1のうち特定領域R1の画像を特定画像Im1として撮像する。ここで、撮像部4が撮像するのは、パターン光P1が投影されている状態の特定領域R1の画像(特定画像Im1)であるので、少なくとも撮像部4の撮像タイミングにおいては、光照射部3は特定領域R1にパターン光P1を照射する。本実施形態では一例として、撮像部4と光照射部3とは同期しており、撮像部4の撮像タイミングに合わせて光照射部3がパターン光P1を照射する。つまり、撮像部4で撮像が行われない期間には、光照射部3はパターン光P1を出力せず、これにより、光照射部3での無駄な電力消費が抑制される。
 本実施形態では、図3に示すように、撮像部4は、撮像素子41と、光学部品42と、を有している。撮像素子41は、エリアセンサー又はラインセンサーを含み、撮像した特定画像Im1の画像データを、電気信号として制御部16に出力する。本実施形態では一例として、撮像部4は、撮像素子41としてCMOS(Complementary Metal Oxide Semiconductor)センサーを用いた、CIS(Contact Image Sensor)方式のエリアセンサーである。ただし、この例に限らず、撮像部4は、例えば、撮像素子41としてCCD(Charge Coupled Device)を用いたCCD方式であってもよい。
 光学部品42は、例えば、結像レンズを含み、撮像素子41とシートSh1の表面A1の特定領域R1との間に配置される。これにより、撮像素子41には、光学部品42を通して、特定領域R1の光が入射する。本実施形態では、撮像素子41及び光学部品42は、特定領域R1の中心(重心)を通る特定領域R1の垂線上に並んでいる。さらに、撮像素子41の受光面411(図3参照)は、特定領域R1と平行に配置されている。そのため、撮像部4の光軸Ax2(図3参照)は、撮像素子41の受光面411の中心(重心)を通る受光面411の垂線となる。撮像部4の光軸Ax2は、特定領域R1に対しても直交し、かつ特定領域R1の中心において光照射部3(パターン光P1)の光軸Ax1と交差する。撮像素子41で撮像される特定領域R1の面積は、撮像素子41の受光面411の面積を光学部品42の像倍率Mで除した数値に等しくなる。本実施形態では、説明を簡単にするため像倍率Mが「1」であると仮定する。ただし、像倍率Mは、1以外の値であってもよい。
 本実施形態では一例として、撮像部4は光照射部3と一体化されてセンサーユニット20(図2参照)を構成する。言い換えれば、センサーユニット20は、光照射部3及び撮像部4を含んでいる。センサーユニット20は、画像処理装置10の筐体100内に収容されており、少なくとも制御部16と電気的に接続されている。
 本実施形態では、図2に示すように、光照射部3及び撮像部4を含むセンサーユニット20は、給紙部14と画像形成部13との間の搬送路T1に対向して配置されている。そのため、特定領域R1の撮像位置は、給紙部14と画像形成部13との間の搬送路T1上に設定されることになる。つまり、光照射部3及び撮像部4は、給紙部14と画像形成部13との間の位置で、給紙部14から画像形成部13に搬送されるシートSh1について、パターン光P1を照射して特定画像Im1を撮像可能である。より詳細には、シートSh1の搬送方向D1において、画像形成部13の転写装置131よりも上流側であって、複数の給紙カセット141につながる搬送路T1の合流点よりも下流側の位置に、センサーユニット20が配置される。したがって、複数の給紙カセット141から画像形成部13に供給されるシートSh1についても、1つのセンサーユニット20にて特定画像Im1を撮像可能となり、給紙カセット141ごとにセンサーユニット20を設ける必要がない。
 特定領域R1を含むシートSh1の表面A1は、本実施形態では一例として、シートSh1の厚み方向において画像形成部13により画像が形成される側の一面であるが、この例に限らない。特定領域R1は、例えば、シートSh1の厚み方向において画像形成部13により画像が形成されない側の一面(裏面)に設定されてもよい。この場合、光照射部3及び撮像部4はシートSh1の裏面側に配置される。また、特定領域R1は、例えば、シートSh1の厚み方向の両面に設定されてもよい。この場合、光照射部3及び撮像部4は、2組設けられてシートSh1の厚み方向の両側に配置されてもよいし、シートSh1を裏返すことで、1組の光照射部3及び撮像部4にてシートSh1の両面の特定画像Im1を撮像してもよい。
 厚みセンサー5は、シートSh1の厚みに関する物理量を検出する。厚みセンサー5は、検出した物理量を、電気信号として制御部16に出力する。これにより、制御部16においては、シートSh1の厚みを特定可能となる。一例として、厚みセンサー5は、透過光を利用してシートSh1の厚み(又は坪量)を検出する光学センサーを含む。厚みセンサー5は、センサーユニット20に含まれていてもよいし、センサーユニット20とは別に設けられていてもよい。
 取得部21は、撮像部4で撮像される特定画像Im1を取得する。具体的には、取得部21は、撮像部4が撮像した特定画像Im1の画像データを、電気信号として撮像部4の撮像素子41から取得する。取得部21は、光照射部3及び撮像部4を制御し、例えば、搬送路T1のうちセンサーユニット20に対応する位置をシートSh1が通過するタイミングに合わせて、光照射部3にパターン光P1を照射させ、かつ撮像部4に特定画像Im1を撮像させる。取得部21で取得される特定画像Im1は、1以上のメモリーに一時的に記憶される。取得部21は、撮像部4以外から特定画像Im1を取得してもよい。
 凹凸特定部22は、取得部21で取得される特定画像Im1に基づいて、シートSh1の表面A1の凹凸に関する凹凸情報を特定する。これにより、シートSh1の表面A1の凹凸の状態を特定することができる。凹凸情報は、表面A1の凹凸の表面A1に沿った平面に直交する方向の寸法と、当該平面に沿った方向の寸法と、の少なくとも一方に関する情報を含む。つまり、凹凸情報は、表面A1に沿った平面に直交する方向の寸法である凹凸の高さ(又は深さ)、及び/又は、当該平面に沿った方向の寸法である平面視における凹凸のサイズに関する情報を含む。これにより、シートSh1の表面A1の凹凸の高さ(又は深さ)、及び/又は平面視における凹凸のサイズを特定することができる。本実施形態では一例として、凹凸特定部22は、凹凸の高さ(又は深さ)に関する表面A1の算術平均高さ(Sa)に相当する数値を、凹凸情報として算出する。
 ここで、凹凸特定部22は、特定画像Im1におけるパターン光P1の変形又は歪み等の度合いに基づいて、凹凸情報を特定する。すなわち、特定画像Im1は、パターン光P1が投影されることにより特定領域R1に生じる、パターン光P1に応じたパターン(本実施形態では縞パターン)の輝度分布を含むので、表面A1の凹凸により、当該パターンに変形又は歪み等が生じる。例えば、直線状のパターンを形成するパターン光P1であっても、表面A1に投影されるパターン光P1においては、表面A1の凹凸に応じた変形(蛇行)等が生じる。そこで、このようなパターン光P1の変形又は歪み等の度合いから、凹凸特定部22は、表面A1の凹凸に関する凹凸情報を算出する。本実施形態では、凹凸特定部22は、少なくとも特定領域R1上におけるパターン光P1の線幅のばらつきに基づいて、凹凸情報を特定する。これにより、比較的簡単な演算処理でシートSh1の表面A1の凹凸の状態を特定することができる。
 条件決定部23は、凹凸特定部22で特定される凹凸情報に基づいて、画像処理条件を決定する。ここでいう画像処理条件は、画像の形成又は画像の読み取りに関する条件である。つまり、画像処理装置10で実行される画像の形成に関する画像形成条件、及び/又は、画像の読み取りに関する画像読取条件を含む種々の画像処理条件が、条件決定部23にて決定される。具体的には、画像処理条件は、一例として、画像形成部13における定着圧力、定着温度、シートSh1の搬送速度、転写電圧、又はインクジェット方式でのインクの吐出量等、さらに、画像読取部12におけるシートの搬送速度、光量又は解像度等の条件を含む。例えば、シートSh1の表面A1の算術平均高さ(Sa)が大きく(つまり粗く)なると、画像形成部13による定着時に熱が伝わりにくくなったり、転写時に電気的な接触抵抗が高くなって電流が流れにくくなったりすることがある。そこで、条件決定部23は、凹凸情報に基づいて、算術平均高さ(Sa)が大きく(つまり粗く)なると、定着温度を上げたり、搬送速度を低下させたり、転写電圧を上げたりするように、画像処理条件を自動的に設定する。これにより、シートSh1の表面A1の凹凸に応じた適切な画像処理条件で、画像の形成及び/又は画像の読み取りが可能となり、画像形成及び/又は画像読取の品質(画質を含む)向上につながる。
 また、本実施形態では、条件決定部23は、繊維方向に基づいて、画像の形成又は画像の読み取りに関する画像処理条件を決定する。つまり、本実施形態では、方向特定部24により、シートSh1の表面A1の繊維方向が特定される。そこで、条件決定部23は、凹凸情報だけでなく、繊維方向に基づいても、画像処理条件を決定する。例えば、インクジェット方式の画像形成部13においては、繊維方向に対してカール挙動が異なるため、繊維方向に応じてカール方向を予測し、カール矯正することがある。繊維方向に基づいて、条件決定部23にて決定される画像処理条件は、カール矯正の条件を含む。また、繊維方向からは、搬送方向に対してシートSh1の長辺又は短辺が傾斜している「斜行」についても推定可能であるので、繊維方向に基づいて、条件決定部23にて決定される画像処理条件は、斜行補正の条件を含んでいてもよい。これにより、シートSh1の表面A1の繊維方向に応じた適切な画像処理条件で、画像の形成及び/又は画像の読み取りが可能となり、画像形成及び/又は画像読取の品質(画質を含む)向上につながる。
 ただし、条件決定部23は、凹凸情報と繊維方向との少なくとも一方に基づいて、画像処理条件を決定する機能があればよい。つまり、条件決定部23は、凹凸情報及び繊維方向の両方に基づいて、画像処理条件を決定する構成に限らず、凹凸情報又は繊維方向のいずれか一方のみに基づいて、画像処理条件を決定してもよい。さらに、本実施形態では、厚み特定部25により、シートSh1の厚みが特定される。そこで、条件決定部23は、凹凸情報と繊維方向との少なくとも一方に加えて又は代えて、シートSh1の厚みに基づいて、画像処理条件を決定してもよい。
 方向特定部24は、特定画像Im1に基づいて、シートSh1の表面A1の繊維方向を特定する。ここで、方向特定部24は、特定画像Im1におけるパターン光P1の変形又は歪み等に基づいて、繊維方向を特定する。すなわち、特定領域R1上におけるパターン光P1の線幅によっては、パターン光P1の延長方向と繊維方向との関係に応じて、表面A1の凹凸のパターン光P1による変形又は歪み等の発生度合いが異なる。そこで、本実施形態では、方向特定部24は、少なくとも特定領域R1上におけるパターン光P1の線幅のばらつきに基づいて、繊維方向を特定する。これにより、比較的簡単な演算処理でシートSh1の表面A1の繊維方向を特定することができる。
 厚み特定部25は、厚みセンサー5の出力に基づいて、シートSh1の厚みを特定する。つまり、厚み特定部25は、厚みセンサー5からシートSh1の厚みに関する物理量を表す電気信号を受けて、シートSh1の厚みを算出する。本実施形態に係るシート特定装置2は、厚み特定部25を備えることで、シートSh1の表面A1の状態に加えて、厚みも含めて、シートSh1の種類(紙種)を推定することが可能である。
[4]シート特定方法
 次に、図5~図7を参照しつつ、本実施形態に係るシート特定方法、つまりシート特定装置2の動作について説明する。
[4.1]原理
 まず、凹凸特定部22が、特定画像Im1に基づいて凹凸情報を特定する原理について、図5及び図6を参照して説明する。図5では、パターン光P1の明部L1を点線で模式的に示し、暗部L2を二点鎖線で模式的に示している。
 図5の上段に「凸部1」として示すように、シートSh1の表面A1上に、表面A1からの高さΔZを有する直方体状の凸部A11が存在すると仮定する。ここで、パターン光P1は、シートSh1の表面A1に対して、所定角度θ1で斜めに入射する。そのため、パターン光P1は、凸部A11以外では表面A1と同一平面上に投影され、凸部A11においては表面A1よりも高さΔZだけ手前に投影され、表面A1の垂線方向から見ると、パターン光P1の投影位置が凸部A11の部分だけずれることになる。つまり、撮像部4で撮像される特定画像Im1中においては、凸部A11がある部分のパターン光P1(明部L1及び暗部L2)が、下記の式1で表されるシフト量ΔXだけ、本来の表面A1上の投影位置からずれる。
 ΔX=ΔZ/tanθ1   ・・・(式1)
 所定角度θ1は既知であるので、特定画像Im1からシフト量ΔXが求まれば、当該シフト量ΔX及び上記式1から、凸部A11の高さΔZを算出可能である。そして、特定領域R1の全域についてのシフト量ΔXからは、特定領域R1の全域の凹凸情報を求めることができる。このようにして算出される凹凸情報は、表面A1の算術平均高さ(Sa)との間に相関を持つ。
 また、図5の下段に「凸部2」として示すように、シートSh1の表面A1上に、表面A1からの高さΔZが部位ごとに異なる三角柱状の凸部A12が存在する場合でも、凸部A12の各部位の高さΔZを算出可能である。すなわち、上記の例と同様に、特定画像Im1からシフト量ΔXを求めることで、上記式1より、凸部A12の高さΔZを算出可能である。よって、例えば、紙のシートSh1の場合のように、多数の繊維が連続的に絡み合うことで発生するうねり成分に起因する凹凸についても、凹凸情報を算出可能である。
 ところで、上記関連技術のように、凹凸によって生じる陰影像から表面A1の粗さを求める方法では、例えば、紙のシートSh1の場合に、算出結果に局所的な繊維の凸凹が強く反映されるため、算出結果は算術平均高さ(Sa)と必ずしも線形関係とならない。そのため、上記関連技術の方法では、例えば、平坦度の高い光沢紙(グロス紙)と普通紙とを判別するだけならまだしも、同種(例えば普通紙)のシートSh1の表面粗さの大小についてまで、算出結果から判別することは困難である。よって、上記関連技術の方法において、表面粗さの大小まで判別するには、例えば、様々なシートSh1についての算出結果と算術平均高さ(Sa)とを対応付けたテーブル(データベース)を予め用意することが必要になる。
 これに対して、本実施形態に係るシート特定装置2では、パターン光P1の線幅及び所定角度θ1等を最適化することで、局所的な繊維の影響をも低減して、算術平均高さ(Sa)との間に高い線形性を有する凹凸情報を、算出可能となる。したがって、本実施形態の方法であれば、算出結果(凹凸情報)と算術平均高さ(Sa)とを対応付けたテーブル(データベース)を予め用意しなくても、凹凸特定部22の算出結果から、算術平均高さ(Sa)を一意に求めることが可能である。
 本実施形態に係るシート特定装置2にて得られる特定画像Im1の一例を、図6に示す。ここでは、特定画像Im1の撮像条件として、所定角度θ1を40度、撮像素子41の解像度(画素数)が100×100、パターン光P1による縞パターンの明部L1の線幅W1(図4参照)を120μm、暗部L2の線幅W2(図4参照)を120μmとする。さらに、像倍率Mが「1」であって、パターン光P1の照射方向、つまり明部L1及び暗部L2の並び方向を繊維方向と同一とする。
 特定画像Im1は、複数の画素からなり、複数の画素の各々が輝度に対応する画素値を有している。本実施形態では一例として、輝度が高いほど画素値が大きくなるように輝度と画素値との関係が規定されることとする。そのため、パターン光P1が投影される特定領域R1を撮像した特定画像Im1においては、明部L1に相当する画素の画素値は比較的大きな値となり、暗部L2に相当する画素の画素値は比較的小さな値となる。
 図6の上段(「Sa:小」)は、算術平均高さ(Sa)が小さい、つまり平坦度の高い光沢紙(グロス紙)の特定領域R1に、パターン光P1を投影した場合の特定画像Im1を示す。一方、図6の下段(「Sa:大」)は、算術平均高さ(Sa)が大きい、つまり平坦度の低い普通紙(Sa=6μm)の特定領域R1に、パターン光P1を投影した場合の特定画像Im1を示す。図6に示すように、算術平均高さ(Sa)が大きくなるほど、特定画像Im1中のパターン光P1による縞パターンの変形及び歪みが大きくなる。具体的には、縞パターンの変形及び歪みが大きくなると、縞パターンの明部L1と暗部L2との境界線が歪み、明部L1及び暗部L2の各々の線幅のばらつきが大きくなる。つまり、算術平均高さ(Sa)が大きくなると、表面A1の高さのうねり成分が大きくなるため、明部L1及び暗部L2の各々の線幅のばらつきが大きくなる。このように、図6では、特定画像Im1において、表面A1の凹凸に応じて、パターン光P1による縞パターンに、変形又は歪み等が生じることが明らかである。
[4.2]具体的処理
 次に、凹凸特定部22にて、特定画像Im1に基づいて凹凸情報を特定する具体的処理について、図7を参照して説明する。図7に示すフローチャートにおけるステップS1、S2・・・は、制御部16により実行される処理手順(ステップ)の番号を表している。以下に説明する処理は、例えば、搬送路T1のうちセンサーユニット20に対応する位置(モニター位置)をシートSh1が通過するタイミングに合わせて開始する。
 パターン光P1を含む特定画像Im1の分析は、三次元形状の復元を目的とする場合、例えば、複数のパターン光P1を連続的に投影し、パターン光P1の位相変化を算出するために特定画像Im1のフーリエ変換等を利用する手法で実現可能である。ただし、この手法では、演算負荷が比較的高く、表面A1の粗さ(凹凸情報)を算出するまでに比較的時間がかかり、さらには、ハードウェア(CPU、GPU及びメモリー等)のコストも比較的高くなる。そこで、本実施形態では、上記手法に代えて、比較的簡単な演算処理によって表面A1の粗さ(凹凸情報)を算出できるように下記の手法を採用する。
 すなわち、本実施形態では、凹凸特定部22は、特定画像Im1における明部L1及び暗部L2の並び方向(図6の左右方向)を「行方向」として、特定画像Im1の1行(1ライン)毎に、明部L1及び暗部L2の少なくとも一方の幅(線幅)を算出する。つまり、特定画像Im1は、明部L1及び暗部L2の並び方向にN画素が並ぶ「N画素×M行」の画像であって、凹凸特定部22は、特定画像Im1に含まれるM行の各行について、線幅を算出する。凹凸特定部22は、このように1行毎に算出される明部L1及び暗部L2の少なくとも一方の線幅を、特定画像Im1の全体について求め、特定画像Im1内での線幅のばらつきの大きさを、凹凸情報として算出する。これにより、凹凸特定部22は、パターン光P1の線幅のばらつきに基づいて、表面A1の算術平均高さ(Sa)との間に相関を持つ凹凸情報を求めることができる。
<ステップS1>
 具体的には、ステップS1において、制御部16は、シートSh1がモニター位置、つまり搬送路T1のうちセンサーユニット20に対応する位置に到達するかを判断する。給紙部14が画像形成部13にシートSh1を供給するに際して、シートSh1がモニター位置のセンサーで検知されることをもって、制御部16は、シートSh1がモニター位置に到達すると判断し(S1:Yes)、処理をステップS2に移行させる。一方、シートSh1がモニター位置のセンサーで検知されなければ、制御部16は、シートSh1がモニター位置に到達していないと判断し(S1:No)、処理をステップS1に移行させる。
<ステップS2、S3>
 ステップS2において、制御部16は、取得部21にて光照射部3を制御して、光照射部3にパターン光P1を照射させる。これにより、シートSh1の表面A1の特定領域R1にパターン光P1が投影される。ステップS3において、制御部16は、取得部21にて撮像部4を制御し、パターン光P1が投影されている状態の特定領域R1を撮像部4にて撮像させる。これにより、シートSh1の表面A1の特定領域R1の画像である特定画像Im1が、撮像部4にて生成される。
<ステップS4>
 ステップS4において、制御部16は、取得部21にて特定画像Im1のうち、1行(1ライン)分の画像を撮像部4から取得する。つまり、取得部21は、列方向において1画素分となる1行分の特定画像Im1を取得する。撮像部4(撮像素子41)としては、画像の読み出しが1行毎に順次行われる仕様が一般的であるため、このように、1行毎に特定画像Im1を取得して解析(ステップS5、S6)を行うことで、メモリーの使用量を少なく抑えることができる。
<ステップS5>
 ステップS5において、制御部16は、取得部21にて、特定画像Im1について前処理を実行する。このとき、前処理の対象となるのは、ステップS4で取得された1行(1ライン)分の特定画像Im1である。つまり、制御部16は、特定画像Im1について1行単位で前処理を実行する。前処理は、例えば、フィルタリング処理と、二値化処理と、を含む。具体的には、制御部16は、1行分の特定画像Im1について、フィルタリング処理にてノイズ除去等を行い、さらに、ある基準値にて二値化する。
 二値化処理に用いられる基準値は、例えば、複数画素の平均値、又はあらかじめ決められた値(所定値)等である。明部L1に相当する画素は、基準値以上の画素値を有する画素として「白画素」となり、暗部L2に相当する画素は、基準値未満の画素値を有する画素として「黒画素」となる。前処理は、特定画像Im1の一部のみを切り出すトリミング処理を含み、ステップS6での処理対象となる範囲を絞り込んでもよい。また、フィルタリング処理等は必須ではなく、適宜省略可能である。
<ステップS6>
 ステップS6において、制御部16は、凹凸特定部22にて、特定画像Im1から明部L1及び暗部L2の少なくとも一方の幅(線幅)を示す幅データを抽出する。このとき、幅データの抽出対象となるのは、ステップS4で取得された1行(1ライン)分の特定画像Im1である。つまり、制御部16は、特定画像Im1について1行単位で幅データの抽出を実行する。具体的には、制御部16は、1行分の特定画像Im1のうち、明部L1に相当する白画素、及び暗部L2に相当する黒画素が何画素ずつあるかを、幅データとして算出する。このとき、制御部16は、1行分の特定画像Im1の全体について、白画素の画素数及び黒画素の画素数を抽出することにより、複数本の明部L1の線幅の合計、及び複数本の暗部L2の線幅の合計を抽出する。
 本実施形態では一例として、明部L1の線幅に相当する白画素の画素数、及び暗部L2の線幅に相当する黒画素の画素数の両方を、幅データとして利用するが、この例に限らず、いずれか一方の画素数のみを幅データとして利用してもよい。つまり、制御部16は、明部L1と暗部L2とのいずれか一方の線幅に着目して、凹凸情報を特定してもよい。また、制御部16は、行方向に連続する白画素の画素数及び行方向に連続する黒画素の画素数を抽出することにより、1本の明部L1毎及び1本の暗部L2毎に、線幅を抽出してもよい。この場合、制御部16は、複数本の明部L1(又は暗部L2)のそれぞれの線幅を幅データとしてもよいし、複数本の明部L1(又は暗部L2)の線幅の代表値(例えば、平均値、最頻値又は中央値等)を幅データとしてもよい。
<ステップS7>
 ステップS7において、制御部16は、特定画像Im1の最終行まで処理が完了した否かを判断する。つまり、「N画素×M行」の特定画像Im1については、制御部16は、処理の対象が最終行となるM行目であれば、最終行まで処理が完了したと判断し(S7:Yes)、処理をステップS8に移行させる。一方、制御部16は、処理の対象が最終行となるM行目でなければ、最終行まで処理が完了していないと判断し(S7:No)、処理をステップS4に移行させ、次の1行分の特定画像Im1を取得する。
<ステップS8>
 ステップS8において、制御部16は、凹凸特定部22にて、特定画像Im1のM行分の幅データの標準偏差σを算出する。算術平均高さ(Sa)が大きくなると、表面A1の高さのうねり成分が大きくなるため、明部L1及び暗部L2の各々の線幅のばらつきが大きくなって(図6参照)、標準偏差σが大きくなる。つまり、凹凸特定部22は、標準偏差σを凹凸情報として算出する。
<ステップS9>
 ステップS9において、制御部16は、条件決定部23にて、画像処理条件を決定する。つまり、条件決定部23は、ステップS8で算出された標準偏差σに応じて、画像形成条件を含む画像処理条件を決定する。一例として、標準偏差σが大きくなると、条件決定部23は、定着温度を上げたり、搬送速度を低下させたり、転写電圧を上げたりするように、画像形成条件を設定する。これにより、画像形成部13にてシートSh1に画像が形成される際には、当該シートSh1の表面A1の凹凸に応じた画像形成条件が自動的に適用される。
 以上説明したシート特定方法の手順は一例に過ぎず、図7のフローチャートに示す処理の順番が適宜入れ替わってもよい。
[5]照射角度
 次に、パターン光P1の照射角度について、所定角度θ1を変えた場合の特定画像Im1の一例を示す図8を参照して説明する。図8では、特定画像Im1の撮像条件として、特定領域R1の算術平均高さ(Sa)が6μm、撮像素子41の解像度(画素数)が100×100、パターン光P1による縞パターンの明部L1の線幅W1を100μm、暗部L2の線幅W2を100μmとする。さらに、パターン光P1の照射方向、つまり明部L1及び暗部L2の並び方向を繊維方向と同一とする。
 パターン光P1の光軸Ax1は、シートSh1の表面A1に対して所定角度θ1で傾斜する(図3参照)。ここで、所定角度θ1は、特定画像Im1の明るさに大きく影響する。上記関連技術のように、凹凸によって生じる陰影像から表面A1の粗さを求める方法では、数μmオーダーの凸凹を陰影像として撮像するために、シートSh1の表面A1に対する光の照射角度(所定角度θ1に相当)は、比較的浅く(小さく)設定される。特に、凹凸に対する感度を挙げるためには、照射角度は、10度程度の非常に浅い角度に設定される。ただし、非常に小さな照射角度では、撮像部4に十分な光が届かず、特定画像Im1は比較的暗い画像となって、暗い画像から表面A1の粗さを求めるには、比較的高価な高感度の撮像素子41が必要となる。
 これに対して、本実施形態に係るシート特定装置2では、特定画像Im1におけるパターン光P1の変形又は歪み等の度合いから、表面A1の粗さを求めるので、凹凸によるパターン光P1の変形又は歪み等が生じればよい。そのため、本実施形態では、上記関連技術の方法に比較して、所定角度θ1を大きく設定でき、特定画像Im1として明るい画像を実現することが可能である。したがって、比較的安価な撮像素子41であっても、特定画像Im1から表面A1の粗さを求めることできる。
 むしろ、本実施形態の構成では、図8に示すように、所定角度θ1が小さくなると、特定領域R1に投影されるパターン光P1の形状が崩れ、縞パターンの明部L1と暗部L2との境界があいまいになる。つまり、図8から明らかなように、所定角度θ1が40度よりも30度の方がパターン光P1の形状が崩れ、所定角度θ1が20度になるとパターン光P1の形状が更に崩れ、所定角度θ1が10度になるとパターン光P1の形状が更に崩れる。このように形状が崩れたパターン光P1の特定画像Im1からでは、凹凸によるパターン光P1の変形又は歪み等を抽出しにくい。発明者らは、様々な所定角度θ1について検証を行い、表面A1の算術平均高さ(Sa)が数μm程度のシートSh1を対象とする場合には、所定角度θ1は20度以上であることが好ましいとの知見を得た。
 要するに、特定画像Im1の明るさを考慮すれば、所定角度θ1は、10度以上であることが好ましく、15度以上であることがより好ましい。さらに、本実施形態では、パターン光P1の形状が崩れ過ぎないように、所定角度θ1は、20度以上に設定される。つまり、所定角度θ1は、20度以上90度以下である。ここで、所定角度θ1の下限値は、20度に限らず、例えば、25度、30度、35度、40度、45度、50度、55度、60度、65度、70度、75度又は80度であってもよい。また、所定角度θ1の上限値は、90度に限らず、例えば、85度、80度、75度、70度、65度、60度、55度、50度又は45度であってもよい。
 90度と所定角度θ1との差分は、表面A1の垂線との間の角度である「入射角」に相当するので、所定角度θ1が20度のときのパターン光P1の「入射角」は70度(=90度-20度)となる。一方、所定角度が90度のときのパターン光P1の入射角は0度となる。
[6]線幅
 次に、パターン光P1の線幅について、図9及び図10を参照して説明する。図9は、48種類のシートSh1について、図7のフローチャートに従って算出される凹凸情報としての標準偏差σと、実際の算術平均高さSaとの関係性を示すグラフである。図9では、横軸を算術平均高さSaとし、縦軸を標準偏差σ(標準偏差σは、明部L1又は暗部L2の5箇所の平均値)とする。図9では、特定画像Im1の撮像条件として、撮像素子41の解像度(画素数)が100×100、パターン光P1による縞パターンの明部L1の線幅W1を80μm、暗部L2の線幅W2を80μmとする。さらに、パターン光P1の照射方向、つまり明部L1及び暗部L2の並び方向を繊維方向と同一とする。
 図9の例では、算術平均高さSa及び標準偏差σの線形回帰モデルの決定係数Rは「0.9684」であって、凹凸情報としての標準偏差σと算術平均高さSaとの間に高い線形性を有することが確認できる。
 一方で、図10は、パターン光P1の線幅、及びパターン光P1の照射方向と繊維方向との関係を変えながら、決定係数Rを算出した結果を示す。図10では、特定画像Im1の撮像条件として、所定角度θ1を40度、撮像素子41の解像度(画素数)が100×100とする。その上で、パターン光P1による縞パターンの明部L1の線幅W1及び暗部L2の線幅W2を40μm~200μmの範囲で変更し、かつパターン光P1の照射方向と繊維方向との関係を「同一」(つまり平行)及び「90°」(つまり直交)で変更する。
 図10によれば、パターン光P1の照射方向と繊維方向との関係が凹凸情報としての標準偏差σに与える影響は、パターン光P1の線幅によって変化する、との推測が成立する。つまり、図10では、パターン光P1の線幅が小さく(細く)なるほどに、パターン光P1の照射方向と繊維方向との関係が、凹凸情報としての標準偏差σに与える影響が大きくなることが確認できる。これは、シートSh1の繊維の幅が数十μm以下であって、パターン光P1の線幅が繊維幅に近づくことで、局所的な表面A1の高さのうねり成分が、明部L1及び暗部L2の各々の線幅のばらつきとして生じやすくなることに起因すると考えられる。
 そして、パターン光P1の線幅が100μm以上であれば、パターン光P1の照射方向と繊維方向との関係によらずに、決定係数Rは「0.85」以上となる。そのため、パターン光P1の線幅が100μm以上であれば、パターン光P1の照射方向と繊維方向との関係が凹凸情報としての標準偏差σに与える影響が比較的小さく、パターン光P1の照射方向と繊維方向との関係は無視できる。要するに、パターン光P1による縞パターンの明部L1の線幅W1及び暗部L2の線幅W2が、100μm以上か100μm未満かによって、パターン光P1の照射方向と繊維方向との関係が凹凸情報に影響するか否かが決まる。つまり、線幅が100μm以上であれば、照射方向と繊維方向との関係は凹凸情報に影響しにくいため、算出される凹凸情報は「繊維方向に依存しない」とみなすことできる。一方、線幅が100μm未満であれば、照射方向と繊維方向との関係は凹凸情報に影響しやすいため、算出される凹凸情報は「繊維方向に依存する」とみなすことできる。
 上述したように、本実施形態に係るシート特定装置2であっても、パターン光P1の線幅によっては、パターン光P1の照射方向と繊維方向との関係が、凹凸情報としての標準偏差σに影響を与えることはある。そして、シートSh1の繊維の幅に比べて、パターン光P1の線幅を相対的に大きくすることで、当該影響を小さくでき、凹凸情報としての標準偏差σと算術平均高さSaとの間に高い線形性を有することになる。
 上記より、本実施形態では、明部L1と暗部L2との少なくとも一方の幅は、60μm以上500μm以下であることが好ましい。さらに、凹凸情報が、パターン光P1の照射方向と繊維方向との関係の影響を受けにくくするには、パターン光P1による縞パターンの明部L1の線幅W1と暗部L2の線幅W2との少なくとも一方は、100μm以上であることが好ましい。反対に、凹凸情報が、パターン光P1の照射方向と繊維方向との関係の影響を受けやすくするには、パターン光P1による縞パターンの明部L1の線幅W1と暗部L2の線幅W2との少なくとも一方は、100μm未満であることが好ましい。ここで、明部L1と暗部L2との少なくとも一方の幅の下限値は、60μmに限らず、例えば、65μm、70μm、75μm、80μm、85μm、90μm又は95μmであってもよい。また、明部L1と暗部L2との少なくとも一方の幅の上限値は、500μmに限らず、例えば、450μm、400μm、350μm、300μm、250μm、200μm、180μm、160μm、140μm又は120μmであってもよい。
[7]格子パターン
 次に、格子パターンを生じるパターン光P1について、図11を参照して説明する。つまり、特定領域R1には、パターン光P1が投影されることにより、明部L1及び暗部L2を含む格子パターンの輝度分布が生じる。
 格子パターンは、互いに直交する縦縞パターンと横縞パターンとの重ね合わせである。したがって、図11に示すように、格子パターンを生じるパターン光P1は、第1縞パターン(縦縞パターン)を生じる第1パターン光P11と、第2縞パターン(横縞パターン)を生じる第2パターン光P12と、の合成光とみなすことができる。図11の例では、第1パターン光P11及び第2パターン光P12の明部L1と暗部L2とが重なる部位については、暗部L2が優先されているが、これに限らず、明部L1が優先されてもよい。つまり、図11に示す格子パターンの明部L1(網掛け)と暗部L2(黒塗り)とが逆転していてもよい。
 ここで、第1パターン光P11の線幅と、第2パターン光P12の線幅とは、互いに異なっている。つまり、格子パターンの縦縞と横縞とでは、線幅が異なっている。図11の例では、第1パターン光P11の明部L1の線幅W11及び暗部L2の線幅W12は、第2パターン光P12の明部L1の線幅W21及び暗部L2の線幅W22に比べて大きい。具体的には、第1パターン光P11の明部L1の線幅W11及び暗部L2の線幅W12は、いずれも100μmであって、第2パターン光P12の明部L1の線幅W21及び暗部L2の線幅W22はいずれも80μmである。よって、図11の例では、格子パターンのうちの縦縞パターンの方が、横縞パターンの方よりも幅広のパターンとなる。
 要するに、縞パターンは、互いに直交する第1縞パターン(縦縞パターン)と第2縞パターン(横縞パターン)とを含む。第1縞パターンと第2縞パターンとでは、明部L1と暗部L2との少なくとも一方の幅が異なる。これにより、凹凸情報に加えて、シートSh1の繊維方向の特定が可能となる。図11の例では、明部L1及び暗部L2の両方について、第1縞パターンが第2縞パターンよりも幅広であるが、この例に限らず、明部L1のみ、又は暗部L2のみで、第1縞パターンが第2縞パターンよりも幅広であってもよい。また、明部L1及び暗部L2の少なくとも一方について、第2縞パターンが第1縞パターンよりも幅広であってもよい。
 また、上述したような格子パターンを生じるパターン光P1は、格子状の遮蔽体32を用いて実現されてもよいし、スリット321が形成された遮蔽体32を2つ用いて実現されてもよい。後者の場合、スリット321の幅が異なる2つの遮蔽体32を、スリット321の向きが互いに直交するように重ねて配置することで、図11に示すような、格子パターンを実現可能である。
 このような格子パターンのパターン光P1が用いられる場合、制御部16では、特定画像Im1の解析時に、第1縞パターン(縦縞パターン)の線幅の解析に加え、第2縞パターン(横縞パターン)の線幅の解析を行うことができる。つまり、制御部16は、第1縞パターンから横方向の線幅のばらつきを算出でき、第2縞パターンから縦方向の線幅のばらつきを算出できる。このように、互いに直交する縦方向及び横方向の2方向についての解析に必要な特定画像Im1を、1度に取得することが可能となる。この場合、1行毎に特定画像Im1を取得して解析できないため、特定画像Im1の全体をメモリーに記憶する必要があるものの、縦方向の算出結果と横方向の算出結果とを比較することで、繊維方向を特定することが可能となる。
 すなわち、制御部16は、縦方向の算出結果と横方向の算出結果との差分から、方向特定部24にて、シートSh1の表面A1の繊維方向を特定できる。図11の例では、第1縞パターン(縦縞パターン)を投影する第1パターン光P11の線幅W11,W12は、100μm以上であるので、第1パターン光P11から算出される横方向の凹凸情報は「繊維方向に依存しない」とみなされる。一方、第2縞パターン(横縞パターン)を投影する第2パターン光P12の線幅W21,W22は、100μm未満であるので、第2パターン光P12から算出される縦方向の凹凸情報は「繊維方向に依存する」とみなされる。
 よって、方向特定部24は、縦方向と横方向とで同一の結果(凹凸情報)が得られる場合には、繊維方向が第2パターン光P12による第2縞パターン(横縞パターン)に直交していると判断する。言い換えれば、繊維方向が、第2パターン光P12の明部L1及び暗部L2の並び方向と、同一であると判断される。一方、縦方向と横方向とで異なる結果(凹凸情報)が得られる場合には、方向特定部24は、繊維方向が第2パターン光P12による第2縞パターン(横縞パターン)に沿っていると判断する。言い換えれば、繊維方向が、第2パターン光P12の明部L1及び暗部L2の並び方向と、直交すると判断される。ここで、縦方向と横方向とで凹凸情報が同一であるか否かは、縦方向の凹凸情報と横方向の凹凸情報との差分が、所定値以下であるか否かで判断され、当該差分が所定値以下であれば、縦方向と横方向とで凹凸情報が同一と判断される。
 このように、格子パターンの一方の縞パターンについてのみ、線幅を細くして「繊維方向に依存する」凹凸情報が得られるようにすることで、特定画像Im1からは、凹凸情報と繊維方向との両方を特定可能となる。繊維方向が特定されれば、例えば、インクジェット方式の画像形成部13においては、繊維方向に応じてカール方向を予測し、条件決定部23にてカール矯正することが可能となる。
[8]変形例
 画像処理装置10に含まれる複数の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、シート特定装置2の構成要素である取得部21、凹凸特定部22、条件決定部23、方向特定部24及び厚み特定部25等の少なくとも1つは、制御部16の一機能として実現される構成に限らず、制御部16とは、別の筐体に設けられていてもよい。つまり、シート特定装置2は、画像処理装置10と一体でなくてもよく、シート特定装置2の少なくとも一部が画像処理装置10とは別の筐体に設けられていてもよい。
 また、シート特定装置2は、少なくともシートSh1の表面A1の凹凸に関する凹凸情報を特定する機能があればよく、シートSh1の繊維方向及びシートSh1の厚み等を特定する機能については、適宜省略可能である。例えば、シートSh1の厚みを特定する機能が省略される場合には、厚みセンサー5及び厚み特定部25が省略されてもよい。
 また、実施形態1では、光照射部3の光軸Ax1がシートSh1の特定領域R1に対して所定角度θ1で傾斜し、撮像部4の光軸Ax2がシートSh1の特定領域R1に直交する例を示したが、この構成に限らない。例えば、光照射部3の光軸Ax1がシートSh1の特定領域R1に直交し、撮像部4の光軸Ax2がシートSh1の特定領域R1に対して傾斜してもよいし、光軸Ax1及び光軸Ax2の両方がシートSh1の特定領域R1に対して傾斜してもよい。
 また、光照射部3は、例えば、プロジェクターを含み、投影用データとして入力される任意のパターン光P1を特定領域R1に投影してもよい。つまり、プロジェクターから投影される映像が、パターン光P1として特定領域R1に投影されてもよい。この場合、パターン光P1として動画像を採用することも容易である。
 また、パターン光P1の照射対象となるシートSh1は、搬送中のシートに限らず、例えば、給紙カセット141内にセットされているシートSh1等であってもよい。この場合に、シートSh1と撮像部4との少なくとも一方を移動させて、シートSh1と撮像部4とを相対的に移動させた状態で特定画像Im1を撮像することで、像倍を小さくしつつシートSh1の広範囲を撮像可能となる。
 (実施形態2)
 本実施形態に係る画像処理装置10Aは、図12に示すように、シート特定装置2Aが出力部26を備える点で、実施形態1に係る画像処理装置10と相違する。以下、実施形態1と同様の構成については、共通の符号を付して説明を適宜省略する。
 出力部26は、凹凸特定部22と方向特定部24と厚み特定部25との少なくとも1つの特定結果を出力する。本実施形態では一例として、出力部26は、特定結果を、操作表示部15に表示させることで出力し、ユーザーに通知する。出力部26による特定結果の出力の態様は、操作表示部15での表示に限らず、外部装置への送信、コンピューターシステムで読み取り可能な非一時的記録媒体への書き込み等であってもよい。出力部26は、制御部16の一機能として制御部16に設けられている。
 出力部26が出力する内容は、例えば、凹凸特定部22の特定結果であれば、凹凸情報としての標準偏差σ、算術平均高さ(Sa)、又はシートSh1の種別を表す情報等である。同様に、方向特定部24の特定結果であれば、出力部26が出力する内容は、例えば、繊維方向、又は「縦目」か「横目」かを表す情報等である。
 また、出力部26は、凹凸特定部22等の特定結果から推定される、例えば、寿命推定結果、メンテナンス時期のリコメンド、又はシートSh1の種別のリコメンド等の情報の出力を行ってもよい。例えば、シートSh1の搬送時に画像処理装置10Aの部品に摩耗が生じることがあるが、搬送するシートSh1の表面A1が粗いほど、摩耗が進行しやすくなる。つまり、使用するシートSh1の表面粗さ等によって、画像処理装置10Aの劣化の進み具合が異なるので、例えば、シートSh1の搬送枚数に加えて、シートSh1の凹凸情報が分かれば、画像処理装置10Aの寿命推定の精度が向上する。よって、出力部26は、画像処理装置10Aの寿命推定結果、又は画像処理装置10Aのメンテナンス時期のリコメンド等の情報を、例えば、操作表示部15に表示させることで出力し、ユーザーに通知することが可能である。さらに、画像処理装置10Aの寿命を延ばすために、出力部26は、例えば、使用中のシートSh1よりも平坦度の高いシートSh1等のリコメンド等の情報を、ユーザーに通知することが可能である。
 特に、本実施形態に係るシート特定装置2Aでは、実施形態1で説明したように、算術平均高さ(Sa)との間に高い線形性を有する凹凸情報を算出可能である。したがって、事前にデータベース等に登録されていないシートSh1であっても、例えば、画像処理装置10Aの寿命推定等に、反映することが可能である。
 また、出力部26は、凹凸特定部22等の特定結果から推定される、シートSh1の表裏の推定結果等の情報の出力を行ってもよい。すなわち、シートSh1の種別によっては、裏面の方が表面よりも粗い等、シートSh1の表裏で粗さが異なる場合がある。そこで、シートSh1の表裏それぞれの凹凸情報が分かれば、シートSh1の表裏を推定可能となる。よって、出力部26は、シートSh1の表裏の推定結果等の情報を、例えば、操作表示部15に表示させることで出力し、ユーザーに通知することが可能である。この場合、シートSh1の厚み方向の両面の特定画像Im1を撮像する必要がある。そのため、2つのセンサーユニット20が搬送路T1を挟んで配置してもよいし、ミラー等を用いて1つのセンサーユニット20で両面の特定画像Im1を撮像してもよいし、シートSh1が裏返されてもよい。
 実施形態2の変形例として、条件決定部23は適宜省略されてもよい。
 (実施形態3)
 本実施形態では、凹凸特定部22は、特定画像Im1をそのまま用いるのではなく、積算画像Im10に基づいて、シートSh1の表面A1の凹凸に関する凹凸情報を特定する。積算画像Im10は、シートSh1の表面A1内で特定領域R1がある移動量だけ移動する際の特定画像Im1を積算して得られる画像である。このように、特定画像Im1そのものではなく、特定画像Im1を積算した積算画像Im10を用いて、凹凸情報を特定することで、特定画像Im1中に「ぶれ」があっても、凹凸情報を特定しやすくなる。すなわち、本実施形態では、そもそも積算することで「ぶれ」の成分を含み得る積算画像Im10に基づいて凹凸情報を特定するので、特定画像Im1中の「ぶれ」にかかわらずに凹凸情報を特定でき、関連技術に比較して凹凸の特定精度を向上しやすくなる。以下、実施形態1と同様の構成については、共通の符号を付して説明を適宜省略する。
 本開示でいう特定画像Im1等の画像の「ぶれ」は、撮像部4での被写体の撮像中に、被写体及び撮像部4が相対的に移動したりすることで、得られる画像中の被写体が何重にも重なって見え、不鮮明な画像となることを意味する。例えば、撮像部4に高速度カメラ等が用いられていれば、このような「ぶれ」が生じにくくなるものの、この種の撮像部4は高価になりやすい。
 本開示でいう「画像の積算」は、画素毎に画素値(輝度値)を積算することを意味し、例えば、特定画像Im1を撮像する撮像部4の露光時間を10msとする場合に、画素毎に10ms間の画素値を連続的に積算することで実現される。つまり、特定領域R1がある移動量だけ移動するのに要する時間を露光時間として、露光時間中の画素値を連続的に積算することで、シートSh1の表面A1内で特定領域R1がある移動量だけ移動する際の特定画像Im1を積算した積算画像Im10が得られる。また、このような画素値の連続的に積算だけでなく、例えば、複数の特定画像Im1について画素毎に画素値を積算(加算)するような不連続な積算も「画像の積算」に含む。つまり、特定領域R1がある移動量だけ移動する間に間欠的に取得される複数の特定画像Im1について画素値を積算することで、シートSh1の表面A1内で特定領域R1がある移動量だけ移動する際の特定画像Im1を積算した積算画像Im10が得られる。さらに、所定の画素数分の画素値を積算した上で、当該所定の画素数で画素値を除することにより、所定の画素数分の画素値の平均値を求めることが可能である。このような平均値を求める平均化の処理も、「画像の積算」に含まれる。
 本実施形態では一例として、パターン光P1は、図13に示すように、特定領域R1上に明部L1と暗部L2とが交互に並ぶ縞パターンを形成する。つまり、パターン光P1が投影されることにより、特定領域R1には、明部L1及び暗部L2を含む縞パターンの輝度分布が生じる。ここで、明部L1は暗部L2に比べて明るい領域であって、言い換えれば、縞パターンは、複数本の明部L1が間隔を空けて並んだパターンであり、又は複数本の暗部L2が間隔を空けて並んだパターンである。つまり、特定領域R1においては、パターン光P1が投影されることで、直線状の明部L1と直線状の暗部L2とが各々の長手方向に直交する方向に交互に並ぶ縞パターンが形成される。本実施形態では一例として、シートSh1の搬送方向D1に沿って延びる直線状の明部L1及び暗部L2が、搬送方向D1に交互に並ぶように配置されている。
 本実施形態では、シートSh1が搬送路T1を搬送方向D1に搬送されることで、光照射部3及び撮像部4を含むセンサーユニット20に対して、シートSh1が相対的に移動する。そのため、光照射部3によるパターン光P1の照射対象となり、かつ撮像部4による特定画像Im1の撮像対象となる特定領域R1は、シートSh1の表面A1内を搬送方向D1に沿って移動することになる。したがって、搬送方向D1は、シートSh1の表面A1内での特定領域R1の移動方向である。よって、本実施形態では、縞パターンは、明部L1と暗部L2との少なくとも一方が、シートSh1の表面A1内での特定領域R1の移動方向に沿って延びる。
 具体的には、パターン光P1がシートSh1の表面A1に投影されて形成される縞パターンは、明部L1と暗部L2との両方が、特定領域R1の移動方向である搬送方向D1に沿って延びた形状となる。ただし、縞パターンは、明部L1と暗部L2との少なくとも一方が、特定領域R1の移動方向に対して厳密に平行でなくても、特定領域R1の移動方向との間の角度が公差(十数度)の範囲内であれば、特定領域R1の移動方向に沿っているとみなす。これにより、シートSh1の表面A1内で特定領域R1が移動する際の特定画像Im1を積算した積算画像Im10において、表面A1の凹凸の影響が現れやすくなる。
 ところで、上記関連技術のように、凹凸によって生じる陰影像から表面A1の粗さを求める方法では、例えば、紙のシートSh1の場合に、算出結果に局所的な繊維の凸凹が強く反映されるため、算出結果は算術平均高さ(Sa)と必ずしも線形関係とならない。そのため、上記関連技術の方法では、例えば、平坦度の高い光沢紙(グロス紙)と普通紙とを判別するだけならまだしも、同種(例えば普通紙)のシートSh1の表面粗さの大小についてまで、算出結果から判別することは困難である。よって、上記関連技術の方法において、表面粗さの大小まで判別するには、例えば、様々なシートSh1についての算出結果と算術平均高さ(Sa)とを対応付けたテーブル(データベース)を予め用意することが必要になる。
 これに対して、本実施形態に係るシート特定装置2では、パターン光P1の線幅及び所定角度θ1等を最適化することで、局所的な繊維の影響をも低減して、算術平均高さ(Sa)との間に高い線形性を有する凹凸情報を、算出可能となる。したがって、本実施形態の方法であれば、算出結果(凹凸情報)と算術平均高さ(Sa)とを対応付けたテーブル(データベース)を予め用意しなくても、凹凸特定部22の算出結果から、算術平均高さ(Sa)を一意に求めることが可能である。
 本実施形態に係るシート特定装置2にて得られる特定画像Im1及び積算画像Im10の一例を、図14及び図15に示す。ここでは、特定画像Im1の撮像条件として、所定角度θ1を40度、撮像素子41の解像度(画素数)が100×100、パターン光P1による縞パターンの明部L1の線幅W1(図13参照)を120μm、暗部L2の線幅W2(図13参照)を120μmとする。さらに、像倍率Mが「1」であって、パターン光P1による縞パターンの明部L1及び暗部L2の各々の延長方向(長手方向)を搬送方向D1(特定領域R1の移動方向)と同一とする。ここで、図14には算術平均高さSaが0.8μm、2.3μmの2種類、図15には算術平均高さSaが5.16μm、6.1μmの2種類というように、計4種類のシートSh1について、特定画像Im1及び積算画像Im10を示す。図14及び図15では、いずれも左側に特定画像Im1を示し、右側に特定画像Im1を積算した積算画像Im10を示す。
 特定画像Im1は、複数の画素からなり、複数の画素の各々が輝度に対応する画素値を有している。本実施形態では一例として、輝度が高いほど画素値が大きくなるように輝度と画素値との関係が規定されることとする。そのため、パターン光P1が投影される特定領域R1を撮像した特定画像Im1においては、明部L1に相当する画素の画素値は比較的大きな値となり、暗部L2に相当する画素の画素値は比較的小さな値となる。
 積算画像Im10は、特定領域R1が特定画像Im1の所定の画素数分だけ移動する際の特定画像Im1を積算した画像である。具体的には、積算画像Im10は、特定領域R1の移動方向である搬送方向D1において特定画像Im1の所定の画素数分だけ積算した上で、当該画素数で各画素の画素値を除して平均化した画像である。ここでは一例として、積算画像Im10で積算される所定の画素数は50画素(pix.)とする。つまり、積算画像Im10の各画素は、特定画像Im1における搬送方向D1の50画素(pix.)分の画素値の平均値を、画素値として有している。
 図14の上段は、算術平均高さ(Sa)が0.8μm、つまり平坦度の高い光沢紙について、図14の下段は、算術平均高さ(Sa)が2.3μmである普通紙についての、特定画像Im1及び積算画像Im10を示す。同様に図15の上段は算術平均高さ(Sa)が5.16μmである普通紙について、図15の下段は、算術平均高さ(Sa)が6.1μmである普通紙についての、特定画像Im1及び積算画像Im10を示す。
 図14及び図15に示すように、算術平均高さ(Sa)が大きくなるほど、特定画像Im1中のパターン光P1による縞パターンの変形及び歪みが大きくなる。具体的には、縞パターンの変形及び歪みが大きくなると、縞パターンの明部L1と暗部L2との境界線が歪み、明部L1及び暗部L2の各々の線幅のばらつきが大きくなる。つまり、算術平均高さ(Sa)が大きくなると、表面A1の高さのうねり成分が大きくなるため、明部L1及び暗部L2の各々の線幅のばらつきが大きくなる。このように、図14及び図15では、特定画像Im1において、表面A1の凹凸に応じて、パターン光P1による縞パターンに、変形又は歪み等が生じることが明らかである。
 さらに、図14及び図15に示すように、積算画像Im10においては、算術平均高さ(Sa)が大きくなるほど、明部L1と暗部L2との境界線上の中間層L3の線幅が大きくなる。具体的には、特定画像Im1中のパターン光P1による縞パターンの変形及び歪みが大きくなると、縞パターンの明部L1と暗部L2との境界線が歪むため、これを積算(平均化)することで生じる中間層L3の線幅が大きく(太く)なる。このように、図14及び図15では、積算画像Im10において、表面A1の凹凸に応じた線幅の中間層L3が生じることが明らかである。本実施形態に係るシート特定装置2では、積算画像Im10の中間層L3の幅(線幅)を解析することにより、シートSh1の表面A1の凹凸情報を特定する。
 特に、本実施形態では、特定領域R1がある移動量だけ移動する際の特定画像Im1を積算した画像が積算画像Im10であるところ、移動量は、特定画像Im1を撮像する撮像部4の画素ピッチを像倍率Mで除した値以上である。本実施形態では、像倍率Mは「1」であると仮定しているので、特定領域R1の移動量は撮像部4の画素ピッチ以上である。これにより、特定領域R1が移動量だけ移動することによって、少なくとも画素ピッチ以上のシートSh1の移動が生じた特定画像Im1の積算により積算画像Im10が得られることとなる。したがって、積算画像Im10においては、明部L1及び暗部L2の各々の線幅のばらつきに応じた中間層L3が生じやすくなる。
 ただし、図15の下段の積算画像Im10のように、積算画像Im10における搬送方向D1の全域において、中間層L3の幅(線幅)が均一とならないケースもある。これは、積算画像Im10においても、明部L1及び暗部L2の各々の線幅のばらつきが均しきれておらず、表面A1の凹凸による明部L1及び暗部L2の各々の線幅のばらつき成分が残存していることに起因する。例えば、紙のシートSh1の場合のように、多数の繊維が連続的に絡み合うことで発生するうねり成分等にあっては比較的長周期で生じるため、このような長周期の凹凸に応じて積算画像Im10でも明部L1及び暗部L2の各々の線幅がばらつく。そこで、積算画像Im10における搬送方向D1の全域において中間層L3の幅を均一とするには、積算画像Im10を得るための特定領域R1の移動量を、長周期の凹凸の周期(距離)以上とすることが好ましい。これにより、長周期の凹凸の周期(距離)以上の範囲にわたって特定画像Im1の積算を行って積算画像Im10を得ることになるので、積算画像Im10における搬送方向D1の全域において中間層L3の幅を均一とできる。
 図16は、上記4種類のシートSh1について、積算される所定の画素数をシートSh1の長周期の凹凸の周期以上とした場合に、積算画像Im10の搬送方向D1の任意の位置(1行)に着目した、各画素の画素値を示している。図16では、横軸が積算画像Im10における明部L1及び暗部L2の並び方向(図14及び図15の左右方向)である「行方向」の画素番号(画素位置)、縦軸を画素値(輝度値)とする。すなわち、図16によれば、画素値が「50」以上の明部L1と、画素値が「30」未満の暗部L2との間に、中間層L3に相当する領域が存在することが分かる。そして、中間層L3の幅は、明部L1と暗部L2との間の画素値の立ち上がり(又は立ち下がり)の傾斜に相当し、傾斜が緩いほど中間層L3の幅が大きいことを表す。言い換えれば、シートSh1の表面A1の算術平均高さSaが大きい(粗い)ほどに、明部L1と暗部L2との間の画素値の立ち上がり(又は立ち下がり)の傾斜は緩くなる。つまり、図16に示す4種類のシートSh1についてのグラフの中では、算術平均高さSaが「6.1」であるグラフの傾斜が最も緩い。
 そして、上述した図16のグラフから中間層L3の幅を抽出し、積算画像Im10ごとに複数の中間層L3の幅の代表値(例えば、平均値、最頻値又は中央値等)を算出することで、積算画像Im10における中間層L3の幅を算出できる。このようにして算出される中間層L3の幅、つまり図16のグラフの傾斜幅の平均値は、画素数で表すと、図17に示すようになる。図17では、横軸を算術平均高さSaとし、縦軸を中間層L3の幅(傾斜幅の平均値)とする。図17の例では、少なくとも上記4種類のシートSh1について、積算画像Im10の中間層L3の幅と算術平均高さSaとの間に高い線形性を有することが確認できる。
 上述したように、特定画像Im1を積算した積算画像Im10を用いて凹凸情報を特定することで、特定画像Im1中に「ぶれ」があっても、凹凸情報を特定しやすくなる。すなわち、特定画像Im1を撮像する撮像部4において、極力明るい特定画像Im1を撮像するためには露光時間を比較的長くする必要があり、被写体(シートSh1)の移動により特定画像Im1に「ぶれ」が生じ得る。
 一例として、画像処理装置10の生産性を向上するためにシートSh1の搬送速度が500mm/secに設定される場合、フレームレートが100Hzの撮像部4で露光時間が最大の10msであると、露光時間内にシートSh1は5mm移動する。そのため、特定画像Im1においてはシートSh1の移動に伴う「ぶれ」が生じ、上記関連技術のように特定画像Im1の陰影像から表面A1の粗さを求める方法では、「ぶれ」によって陰影がつぶれて表面A1の粗さを求めることが困難である。上記関連技術を適用する場合、特定画像Im1の「ぶれ」を抑制するために、シートSh1の搬送速度を遅くしたり、撮像部4に高感度の撮像素子41を用いて露光時間を短くしたりする必要性が生じる。そうすると、画像処理装置10の生産性が低下したり、撮像部4が高コストになったりといった問題が生じる。これに対して、本実施形態に係るシート特定装置2では、そもそも「ぶれ」の成分を含み得る積算画像Im10を用いて凹凸情報を特定するので、特定画像Im1の「ぶれ」を抑制する必要がない。よって、本実施形態では、画像処理装置10の生産性の向上、及び撮像部4の低コスト化を図りやすい。
 さらに、本実施形態では、積算画像Im10を得るための特定領域R1の移動量を、シートSh1の長周期の凹凸の周期以上とする。移動量は、シートSh1の搬送速度と、特定画像Im1を撮像する撮像部4の露光時間と、の少なくとも一方で規定される。これにより、積算画像Im10における搬送方向D1の全域において中間層L3の幅が均一となるので、積算画像Im10の搬送方向D1の任意の位置(1行)に着目しても、中間層L3の幅を求めることが可能となる。結果的に、中間層L3の幅を算出するための演算負荷を低減できる。
 次に、凹凸特定部22にて、特定画像Im1に基づいて凹凸情報を特定する具体的処理について、図18を参照して説明する。図18に示すフローチャートにおけるステップS1、S2・・・は、制御部16により実行される処理手順(ステップ)の番号を表している。以下に説明する処理は、例えば、搬送路T1のうちセンサーユニット20に対応する位置(モニター位置)をシートSh1が通過するタイミングに合わせて開始する。
 パターン光P1を含む特定画像Im1の分析は、三次元形状の復元を目的とする場合、例えば、複数のパターン光P1を連続的に投影し、パターン光P1の位相変化を算出するために特定画像Im1のフーリエ変換等を利用する手法で実現可能である。ただし、この手法では、演算負荷が比較的高く、表面A1の粗さ(凹凸情報)を算出するまでに比較的時間がかかり、さらには、ハードウェア(CPU、GPU及びメモリー等)のコストも比較的高くなる。そこで、本実施形態では、上記手法に代えて、比較的簡単な演算処理によって表面A1の粗さ(凹凸情報)を算出できるように下記の手法を採用する。
 すなわち、本実施形態では、凹凸特定部22は、積算画像Im10における明部L1及び暗部L2の並び方向(図14及び図15の左右方向)を「行方向」として、積算画像Im10の任意の1行(1ライン)に着目して、中間層L3の幅(線幅)を算出する。つまり、積算画像Im10は、明部L1及び暗部L2の並び方向にN画素が並ぶ「N画素×M行」の画像であって、凹凸特定部22は、積算画像Im10に含まれるM行のうちの任意の1行について、線幅を算出する。凹凸特定部22は、このように1行に着目して算出される中間層L3の線幅を、凹凸情報として算出する。これにより、凹凸特定部22は、中間層L3の線幅に基づいて、表面A1の算術平均高さ(Sa)との間に相関を持つ凹凸情報を求めることができる。
<ステップS1>
 具体的には、ステップS1において、制御部16は、シートSh1がモニター位置、つまり搬送路T1のうちセンサーユニット20に対応する位置に到達するかを判断する。給紙部14が画像形成部13にシートSh1を供給するに際して、シートSh1がモニター位置のセンサーで検知されることをもって、制御部16は、シートSh1がモニター位置に到達すると判断し(S1:Yes)、処理をステップS2に移行させる。一方、シートSh1がモニター位置のセンサーで検知されなければ、制御部16は、シートSh1がモニター位置に到達していないと判断し(S1:No)、処理をステップS1に移行させる。
<ステップS2、S3>
 ステップS2において、制御部16は、取得部21にて光照射部3を制御して、光照射部3にパターン光P1を照射させる。これにより、シートSh1の表面A1の特定領域R1にパターン光P1が投影される。ステップS3において、制御部16は、取得部21にて撮像部4を制御し、パターン光P1が投影されている状態の特定領域R1を撮像部4にて撮像させる。これにより、シートSh1の表面A1の特定領域R1の画像である特定画像Im1が、撮像部4にて生成される。
<ステップS4>
 ステップS4において、制御部16は、シートSh1の表面A1内で特定領域R1がある移動量だけ移動する際の特定画像Im1を積算して積算画像Im10を生成する。具体的には、表面A1内を特定領域R1がある移動量(一例として5mm)だけ移動するのに要する時間を、撮像部4の露光時間に設定した上で、撮像部4にて撮像を行うので、取得部21で取得される画像は、積算後の積算画像Im10となる。ここで、本実施形態では、積算画像Im10を得るための特定領域R1の移動量を、シートSh1の長周期の凹凸の周期以上としている。積算画像Im10の生成は、制御部16内にて行われてもよい。
<ステップS5>
 ステップS5において、制御部16は、取得部21にて積算画像Im10のうち、1行(1ライン)分の画像を撮像部4から取得する。つまり、取得部21は、列方向において1画素分となる1行分の積算画像Im10を取得する。撮像部4(撮像素子41)としては、画像の読み出しが1行毎に順次行われる仕様が一般的であるため、このように、1行分の積算画像Im10を取得して解析(ステップS6、S7)を行うことで、メモリーの使用量を少なく抑えることができる。このとき取得する行は、例えば、あらかじめ決められていてもよいし、ユーザーにより設定されてもよい。
<ステップS6>
 ステップS6において、制御部16は、取得部21にて、積算画像Im10について前処理を実行する。このとき、前処理の対象となるのは、ステップS5で取得された1行(1ライン)分の積算画像Im10である。つまり、制御部16は、積算画像Im10について1行単位で前処理を実行する。前処理は、例えば、フィルタリング処理を含む。具体的には、制御部16は、1行分の積算画像Im10について、フィルタリング処理にてノイズ除去等を行う。前処理は、積算画像Im10の一部のみを切り出すトリミング処理を含み、ステップS7での処理対象となる範囲を絞り込んでもよい。また、フィルタリング処理等は必須ではなく、適宜省略可能である。
<ステップS7>
 ステップS7において、制御部16は、凹凸特定部22にて、積算画像Im10から中間層L3の幅(線幅)を示す幅データを抽出する。このとき、幅データの抽出対象となるのは、ステップS5で取得された1行(1ライン)分の積算画像Im10である。つまり、制御部16は、積算画像Im10について1行単位で幅データの抽出を実行する。具体的には、制御部16は、1行分の積算画像Im10について、画素値が第1閾値(一例として「50」)以上の画素を明部L1、画素値が第2閾値(一例として「30」)未満の画素を暗部L2として、各画素を明部L1及び暗部L2に分類する。ここで、明部L1にも暗部L2にも当たらない画素、つまり第1閾値未満、第2閾値以上の画素値を有する画素は、中間層L3に分類される。そして、制御部16は、中間層L3としての画素が何画素あるかを、幅データとして算出する。このとき、制御部16は、1行分の積算画像Im10の全体について、中間層L3に当たる画素の画素数を抽出することにより、複数本の中間層L3の線幅の合計を抽出する。
 明部L1、暗部L2及び中間層L3への画素の分類に用いられる第1閾値及び第2閾値は、例えば、複数画素の平均値を基に決められる値、又はあらかじめ決められた値(所定値)等である。第2閾値は第1閾値よりも小さい。また、制御部16は、行方向に連続する中間層L3に当たる画素の画素数を抽出することにより、1本の中間層L3毎に、線幅を抽出してもよい。この場合、制御部16は、複数本の中間層L3の合計に限らず、複数本の中間層L3のそれぞれの線幅を幅データとしてもよいし、複数本の中間層L3の線幅の代表値(例えば、平均値、最頻値又は中央値等)を幅データとしてもよい。
<ステップS8>
 ステップS8において、制御部16は、凹凸特定部22にて、中間層L3の幅データから算術平均高さSaを算出する。すなわち、積算画像Im10における中間層L3の幅(線幅)と算術平均高さSaとの間には、高い線形性があるので、線形回帰モデルを用いて、中間層L3の幅から算術平均高さSaを一意に求めることが可能である。
<ステップS9>
 ステップS9において、制御部16は、条件決定部23にて、画像処理条件を決定する。つまり、条件決定部23は、ステップS8で算出された算術平均高さSaに応じて、画像形成条件を含む画像処理条件を決定する。一例として、算術平均高さSaが大きくなると、条件決定部23は、定着温度を上げたり、搬送速度を低下させたり、転写電圧を上げたりするように、画像形成条件を設定する。これにより、画像形成部13にてシートSh1に画像が形成される際には、当該シートSh1の表面A1の凹凸に応じた画像形成条件が自動的に適用される。
 以上説明したシート特定方法の手順は一例に過ぎず、図18のフローチャートに示す処理の順番が適宜入れ替わってもよい。
 また、縞パターンの明部L1と暗部L2との少なくとも一方が、シートSh1の表面A1内での特定領域R1の移動方向(搬送方向D1)に沿って延びることは必須でなく、例えば、明部L1及び暗部L2の両方が搬送方向D1に直交していてもよい。この場合でも、表面A1内を特定領域R1が移動するのに伴って、シートSh1の表面A1に投影されたパターン光P1には、表面A1の凹凸に応じた変形又は歪み等が動的に生じることになる。したがって、このようなパターン光P1を用いた場合でも、凹凸特定部22は、積算画像Im10に基づいて、実施形態3と同様に、凹凸情報を特定することが可能である。
 また、実施形態3では、特定画像Im1の積算の方法として、特定画像Im1を時間的に積算する方法を採用しているが、これに限らず、特定画像Im1を空間的に積算してもよい。つまり、1枚の画像内で、特定領域R1を移動させつつ、特定領域R1内の画像(特定画像Im1)について画素毎に画素値を積算(加算)するような積算も「画像の積算」に含む。つまり、1枚の画像内で特定領域R1がある移動量だけ移動する間に切り出される特定領域R1内の画像(特定画像Im1)について画素値を積算することで、特定領域R1がある移動量だけ移動する際の特定画像Im1を積算した積算画像Im10が得られる。

 

Claims (21)

  1.  画像の形成対象又は画像の読み取り対象であるシートの表面のうちパターン光が投影されている特定領域の画像である特定画像を取得する取得部と、
     前記特定画像に基づいて、前記シートの前記表面の凹凸に関する凹凸情報を特定する凹凸特定部と、を備える、
     シート特定装置。
  2.  前記凹凸特定部で特定される前記凹凸情報に基づいて、画像の形成又は画像の読み取りに関する画像処理条件を決定する条件決定部を更に備える、
     請求項1に記載のシート特定装置。
  3.  前記パターン光を照射する光照射部と前記特定領域の中心とを結ぶ第1仮想直線は、前記シートの搬送方向に沿った第2仮想直線に対して、所定角度で傾斜している、
     請求項1に記載のシート特定装置。
  4.  前記所定角度は、20度以上90度以下である、
     請求項3に記載のシート特定装置。
  5.  前記パターン光を照射する光照射部は、
      光源と、
      前記光源から出力される光の一部を遮ることにより、前記パターン光を透過させる遮蔽体と、を有する、
     請求項1に記載のシート特定装置。
  6.  前記パターン光は、前記特定領域上に明部と暗部とが交互に並ぶ縞パターンを形成する、
     請求項1に記載のシート特定装置。
  7.  前記縞パターンは、互いに直交する第1縞パターンと第2縞パターンとを含み、
     前記第1縞パターンと前記第2縞パターンとでは、前記明部と前記暗部との少なくとも一方の幅が異なる、
     請求項6に記載のシート特定装置。
  8.  前記明部と前記暗部との少なくとも一方の幅は、60μm以上500μm以下である、
     請求項6に記載のシート特定装置。
  9.  前記凹凸情報は、前記表面の凹凸の前記表面に沿った平面に直交する方向の寸法と、前記平面に沿った方向の寸法と、の少なくとも一方に関する情報を含む、
     請求項1に記載のシート特定装置。
  10.  前記凹凸特定部は、少なくとも前記特定領域上における前記パターン光の線幅のばらつきに基づいて、前記凹凸情報を特定する、
     請求項1に記載のシート特定装置。
  11.  請求項1に記載のシート特定装置と、
     前記シートを対象として、画像の形成と画像の読み取りとの少なくとも一方を実行する画像処理部と、を備える、
     画像処理装置。
  12.  画像の形成対象又は画像の読み取り対象であるシートの表面のうちパターン光が投影されている特定領域の画像である特定画像を取得することと、
     前記特定画像に基づいて、前記シートの前記表面の凹凸に関する凹凸情報を特定することと、を有する、
     シート特定方法。
  13.  画像の形成対象又は画像の読み取り対象であるシートの表面のうちパターン光が投影されている特定領域の画像である特定画像を取得する取得部と、
     前記シートの前記表面内で前記特定領域がある移動量だけ移動する際の前記特定画像を積算して得られる積算画像に基づいて、前記シートの前記表面の凹凸に関する凹凸情報を特定する凹凸特定部と、を備える、
     シート特定装置。
  14.  前記凹凸特定部で特定される前記凹凸情報に基づいて、画像の形成又は画像の読み取りに関する画像処理条件を決定する条件決定部を更に備える、
     請求項13に記載のシート特定装置。
  15.  前記移動量は、前記シートの搬送速度と、前記特定画像を撮像する撮像部の露光時間と、の少なくとも一方で規定される、
     請求項13に記載のシート特定装置。
  16.  前記移動量は、前記特定画像を撮像する撮像部の画素ピッチを像倍率で除した値以上である、
     請求項13に記載のシート特定装置。
  17.  前記パターン光を照射する光照射部は、
      光源と、
      前記光源から出力される光の一部を遮ることにより、前記パターン光を透過させる遮蔽体と、を有する、
     請求項13に記載のシート特定装置。
  18.  前記パターン光は、前記特定領域上に明部と暗部とが交互に並ぶ縞パターンを形成する、
     請求項13に記載のシート特定装置。
  19.  前記縞パターンは、前記明部と前記暗部との少なくとも一方が、前記シートの前記表面内での前記特定領域の移動方向に沿って延びる、
     請求項18に記載のシート特定装置。
  20.  前記凹凸情報は、前記表面の凹凸の前記表面に沿った平面に直交する方向の寸法と、前記平面に沿った方向の寸法と、の少なくとも一方に関する情報を含む、
     請求項13に記載のシート特定装置。
  21.  前記凹凸特定部は、少なくとも前記特定領域上における前記パターン光の線幅のばらつきに基づいて、前記凹凸情報を特定する、
     請求項13に記載のシート特定装置。
PCT/JP2021/043674 2020-12-04 2021-11-29 シート特定装置、画像処理装置及びシート特定方法 WO2022118797A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022566905A JPWO2022118797A1 (ja) 2020-12-04 2021-11-29

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020-201452 2020-12-04
JP2020-201451 2020-12-04
JP2020201451 2020-12-04
JP2020201452 2020-12-04

Publications (1)

Publication Number Publication Date
WO2022118797A1 true WO2022118797A1 (ja) 2022-06-09

Family

ID=81853920

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/043674 WO2022118797A1 (ja) 2020-12-04 2021-11-29 シート特定装置、画像処理装置及びシート特定方法

Country Status (2)

Country Link
JP (1) JPWO2022118797A1 (ja)
WO (1) WO2022118797A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023203A (ja) * 1996-07-01 1998-01-23 Ricoh Co Ltd 紙分類装置
JP2004038879A (ja) * 2002-07-08 2004-02-05 Canon Inc 映像読取装置及び画像形成装置
JP2007078517A (ja) * 2005-09-14 2007-03-29 Oki Data Corp 表面平滑性測定装置
JP2009300085A (ja) * 2008-06-10 2009-12-24 Arc Harima Kk 表面性状測定装置
JP2011007576A (ja) * 2009-06-24 2011-01-13 Canon Inc 測定システム及び測定処理方法
JP2019191020A (ja) * 2018-04-26 2019-10-31 富士ゼロックス株式会社 表面特性取得装置、表面特性取得システム及びプログラム
JP2020036227A (ja) * 2018-08-30 2020-03-05 倉敷紡績株式会社 撮影タイミング制御装置、撮像システムおよび撮像方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023203A (ja) * 1996-07-01 1998-01-23 Ricoh Co Ltd 紙分類装置
JP2004038879A (ja) * 2002-07-08 2004-02-05 Canon Inc 映像読取装置及び画像形成装置
JP2007078517A (ja) * 2005-09-14 2007-03-29 Oki Data Corp 表面平滑性測定装置
JP2009300085A (ja) * 2008-06-10 2009-12-24 Arc Harima Kk 表面性状測定装置
JP2011007576A (ja) * 2009-06-24 2011-01-13 Canon Inc 測定システム及び測定処理方法
JP2019191020A (ja) * 2018-04-26 2019-10-31 富士ゼロックス株式会社 表面特性取得装置、表面特性取得システム及びプログラム
JP2020036227A (ja) * 2018-08-30 2020-03-05 倉敷紡績株式会社 撮影タイミング制御装置、撮像システムおよび撮像方法

Also Published As

Publication number Publication date
JPWO2022118797A1 (ja) 2022-06-09

Similar Documents

Publication Publication Date Title
JP4454914B2 (ja) 映像読取装置及び画像形成装置
JP5456098B2 (ja) 画像形成装置
US8358446B2 (en) Reading apparatus, image forming apparatus and image forming method
US9442413B2 (en) Image forming apparatus and exposure position adjusting method
US20130070277A1 (en) Detection of image quality defects in gloss
JP2016134774A (ja) 画像処理装置
WO2022118797A1 (ja) シート特定装置、画像処理装置及びシート特定方法
JP4905602B2 (ja) 画像形成装置
WO2022118799A1 (ja) シート特定装置、画像処理装置及びシート特定方法
US20050264638A1 (en) Image forming apparatus and method
WO2022118798A1 (ja) シート特定装置、画像処理装置及びシート特定方法
JP5812600B2 (ja) 画像形成装置
US20070236748A1 (en) Image processing apparatus
JP4440319B2 (ja) 紙表面検出装置及び画像形成装置
EP2840769B1 (en) Image forming apparatus and image noise prediction method
JP5609965B2 (ja) トナー情報検出方法および反射型光学センサ装置および画像形成装置
JP2022148378A (ja) チャート、画像形成装置、画像処理装置及びプログラム
US8824008B2 (en) Image forming apparatus and method, and non-transitory computer readable medium
JP7272124B2 (ja) 評価装置および評価方法
JP6939153B2 (ja) 画像形成装置
KR20170040997A (ko) 화상 획득 장치, 화상 획득 방법 및 화상 형성 장치
JP2005262710A (ja) 画像形成装置
US20130258363A1 (en) Image forming apparatus and method, and non-transitory computer readable medium
JP2021092433A (ja) 画像形成装置および光沢測定方法
JP5697423B2 (ja) トナー高さ測定装置、画像形成装置、測定方法およびプログラム。

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21900550

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022566905

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21900550

Country of ref document: EP

Kind code of ref document: A1