WO2020065980A1 - 画像処理装置、制御方法及び制御プログラム - Google Patents

画像処理装置、制御方法及び制御プログラム Download PDF

Info

Publication number
WO2020065980A1
WO2020065980A1 PCT/JP2018/036484 JP2018036484W WO2020065980A1 WO 2020065980 A1 WO2020065980 A1 WO 2020065980A1 JP 2018036484 W JP2018036484 W JP 2018036484W WO 2020065980 A1 WO2020065980 A1 WO 2020065980A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
thin line
pixel group
pixels
forgery
Prior art date
Application number
PCT/JP2018/036484
Other languages
English (en)
French (fr)
Inventor
継司 本田
清人 小坂
Original Assignee
株式会社Pfu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Pfu filed Critical 株式会社Pfu
Priority to US17/058,577 priority Critical patent/US11115560B2/en
Priority to JP2020547848A priority patent/JP6970834B2/ja
Priority to PCT/JP2018/036484 priority patent/WO2020065980A1/ja
Publication of WO2020065980A1 publication Critical patent/WO2020065980A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H04N1/411—Bandwidth or redundancy reduction for the transmission or storage or reproduction of two-tone pictures, e.g. black and white pictures
    • H04N1/413—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information
    • H04N1/417—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information using predictive or differential encoding
    • H04N1/4177—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information using predictive or differential encoding encoding document change data, e.g. form drop out data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • the present disclosure relates to an image processing device, a control method, and a control program, and more particularly, to an image processing device, a control method, and a control program for processing an image including a copy-forgery-inhibited pattern.
  • a form discriminating apparatus for discriminating the type of a document from image data has been disclosed (Japanese Patent Application Laid-Open No. H11-163,837).
  • This form discriminating apparatus is configured such that, among the line-shaped blobs included in the image data, a blob having a common line segment direction, a branch from the line segment not detected, and a line segment having a constant width is equal to or higher than a predetermined density.
  • a group of line-shaped blobs distributed by is extracted and removed from the image data.
  • Patent Document 2 a document image processing apparatus that detects and removes a subtle change in a pattern printed on a document.
  • This document image processing apparatus deletes a black run as a line segment noise when a white region exists on a scanning line above and below a target black run.
  • Patent Document 3 An image processing device that separates a character portion from a background portion of an image has been disclosed (Patent Document 3).
  • This image processing apparatus determines whether each connected component is a character portion or a background portion by comparing the line width of each connected component in the original image data with a threshold value, and determines whether the connected component is a background portion. , The connected component portion in the original image data is removed.
  • An object of the information processing apparatus, the control method, and the control program is to enable a ground pattern to be more accurately removed from an image including the ground pattern.
  • An image processing device includes an acquisition unit that acquires an input image, a multivalued image generation unit that generates a multivalued image from the input image, and generates a binary image obtained by binarizing the input image.
  • a binary image generation unit a detection unit that detects a thin line having a width equal to or less than a predetermined number of pixels from the multi-valued image, and a tint block that removes the thin line from the binary image based on the thin line detected from the multi-valued image It has a copy-forgery-inhibited pattern removal image generation unit that generates a removal image, and an output unit that outputs information generated using the copy-forgery-inhibited pattern removal image or the copy-forgery-inhibited pattern removal image.
  • a control method is a control method of an image processing apparatus having an output unit, wherein the image processing apparatus generates a multi-value image from an input image and binarizes the input image.
  • a value image is generated, a thin line having a width equal to or less than a predetermined number of pixels is detected from the multi-value image, and a tint block removed image is generated by removing the thin line from the binary image based on the thin line detected from the multi-value image.
  • control program is a control program for a computer having an output unit, which generates a multi-valued image from an input image, generates a binary image obtained by binarizing the input image, and From the value image, a thin line having a width equal to or less than a predetermined number of pixels is detected, and a tint block removal image in which the thin line is removed from the binary image is generated based on the thin line detected from the multi-value image, and the tint block removal image or the tint block image is generated. And outputting the information generated using the removed image from the output unit.
  • the information processing apparatus, the control method, and the control program can more accurately remove the copy-forgery-inhibited pattern from the image including the copy-forgery-inhibited pattern.
  • FIG. 1 is a diagram illustrating a schematic configuration of an image processing system 1 according to an embodiment.
  • FIG. 3 is a diagram illustrating a schematic configuration of a second storage device 210 and a second CPU 220.
  • 9 is a flowchart illustrating an operation of an image reading process. It is a flowchart which shows operation
  • FIG. 6 is a schematic diagram illustrating an example of an input image 500.
  • FIG. 9 is a schematic diagram illustrating an example of a multi-value image 510.
  • FIG. 9 is a schematic diagram illustrating an example of a binary image 600.
  • FIG. 11 is an enlarged view of a region 613 in the binary image 600.
  • FIG. 7 is an enlarged view of a region 614 in the binary image 600.
  • FIG. 6 is an enlarged view of a region 615 in the binary image 600. It is a schematic diagram for demonstrating a thin line. It is a schematic diagram for demonstrating a thin line. It is a schematic diagram for demonstrating a thin line. 9 is a graph showing the gradation values of pixels corresponding to a thin line and its surrounding area. 9 is a graph showing the gradation values of pixels corresponding to a thin line and its surrounding area. 9 is a graph showing the gradation values of pixels corresponding to a thin line and its surrounding area. It is a schematic diagram which shows a horizontal thin line candidate pixel group. It is a schematic diagram which shows a vertical thin line candidate pixel group. FIG. 9 is a schematic diagram showing an example of an image 900. FIG.
  • FIG. 9 is a schematic diagram illustrating an example of an image 910.
  • FIG. 4 is a schematic diagram illustrating an example of a thin line region image 1000.
  • FIG. 10 is a schematic diagram showing an example of an image 1010.
  • FIG. 9 is a schematic diagram showing an example of an image 1100. It is a schematic diagram which shows an example of the dot area image 1110.
  • FIG. 14 is a schematic diagram illustrating an example of an image 1200. It is a schematic diagram which shows an example of the copy-forgery-inhibited pattern removal image 1300.
  • FIG. 9 is a schematic diagram for explaining the significance of using a multi-value image.
  • FIG. 9 is a schematic diagram for explaining the significance of using a multi-value image.
  • FIG. 9 is a schematic diagram for explaining the significance of using a multi-value image.
  • FIG. 9 is a schematic diagram for explaining the significance of using a multi-value image.
  • FIG. 3 is a block diagram illustrating a schematic configuration of a processing
  • FIG. 1 is a diagram showing a schematic configuration of an image processing system according to the embodiment. As shown in FIG. 1, the image processing system 1 includes an image reading device 100 and an information processing device 200.
  • the image reading device 100 is, for example, a scanner device.
  • the image reading device 100 is connected to the information processing device 200.
  • the information processing device 200 is an example of an image processing device, such as a personal computer.
  • the image reading device 100 includes a first interface device 101, an imaging device 102, a first storage device 110, and a first CPU (Control Processing Unit) 120.
  • the first interface device 101 has an interface circuit conforming to a serial bus such as USB (Universal Serial Bus), and is electrically connected to the information processing device 200 to transmit and receive image data and various information. Further, instead of the first interface device 101, a communication device having an antenna for transmitting and receiving a wireless signal and a wireless communication interface circuit for transmitting and receiving a signal through a wireless communication line according to a predetermined communication protocol may be used. Good.
  • the predetermined communication protocol is, for example, a wireless LAN (Local Area Network).
  • the imaging apparatus 102 has a reduction optical system type imaging sensor including an imaging element using a CCD (Charge Coupled Device) linearly arranged in the main scanning direction. Further, the imaging device 102 includes a light source that irradiates light, a lens that forms an image on the imaging device, and an A / D converter that amplifies an electric signal output from the imaging device and performs analog / digital (A / D) conversion. And a container. In the imaging device 102, an imaging sensor captures an image of the surface of a sheet to be conveyed, generates and outputs an analog image signal, and an A / D converter A / D converts the analog image signal to a digital signal. Generate and output the input image of.
  • CCD Charge Coupled Device
  • the input image is a color multi-valued image composed of a total of 24 bits of R (red), G (green), and B (blue) values in which each pixel data is represented by, for example, 8 bits for each of RGB colors.
  • a CIS Contact Image Sensor
  • CMOS Complementary Metal Oxide Semiconductor
  • the first storage device 110 includes a memory device such as a RAM (Random Access Memory) and a ROM (Read Only Memory), a fixed disk device such as a hard disk, or a portable storage device such as a flexible disk and an optical disk. Further, the first storage device 110 stores computer programs, databases, tables, and the like used for various processes of the image reading device 100.
  • the computer program may be installed in the first storage device 110 from a computer-readable portable recording medium using a known setup program or the like.
  • the portable recording medium is, for example, a CD-ROM (compact disk read only memory), a DVD-ROM (digital versatile disk read only memory), or the like.
  • the first storage device 110 stores the input image and the like generated by the imaging device 102.
  • the first CPU 120 operates based on a program stored in the first storage device 110 in advance.
  • a DSP digital signal processor
  • an LSI large scale integration
  • an ASIC Application Specific Integrated Circuit
  • an FPGA Field-Programming Gate Array
  • the first CPU 120 is connected to the first interface device 101, the imaging device 102, the first storage device 110, and the like, and controls these units.
  • the first CPU 120 performs document reading control of the imaging device 102, data transmission / reception control with the information processing device 200 via the first interface device 101, and the like.
  • the information processing device 200 includes a second interface device 201, an input device 202, a display device 203, a second storage device 210, a second CPU 220, and a processing device 230.
  • a second interface device 201 an input device 202, a display device 203, a second storage device 210, a second CPU 220, and a processing device 230.
  • each unit of the information processing apparatus 200 will be described in detail.
  • the second interface device 201 has the same interface circuit as the first interface device 101 of the image reading device 100, and connects the information processing device 200 and the image reading device 100. Also, instead of the second interface device 201, a communication device having an antenna for transmitting and receiving wireless signals and a wireless communication interface circuit for transmitting and receiving signals through a wireless communication line according to a predetermined communication protocol such as a wireless LAN is provided. May be used.
  • the input device 202 includes an input device such as a keyboard and a mouse, and an interface circuit for acquiring a signal from the input device, and outputs a signal according to a user operation to the second CPU 220.
  • the display device 203 is an example of an output unit.
  • the display device 203 includes a display including liquid crystal, an organic EL, and the like, and an interface circuit that outputs image data to the display.
  • the display device 203 is connected to the second storage device 210 and stores image data stored in the second storage device 210. Is displayed on the display.
  • the second storage device 210 has the same memory device, fixed disk device, portable storage device, and the like as the first storage device 110 of the image reading device 100.
  • the second storage device 210 stores computer programs, databases, tables, and the like used for various processes of the information processing device 200.
  • the computer program may be installed in the second storage device 210 from a computer-readable portable recording medium such as a CD-ROM or a DVD-ROM, using a known setup program or the like.
  • the second storage device 210 stores the input image received from the image reading device 100, various processed images obtained by performing image processing on the input image by the processing device 230, and the like.
  • the second CPU 220 operates based on a program stored in the second storage device 210 in advance. Note that, instead of the second CPU 220, a DSP, an LSI, an ASIC, an FPGA, or the like may be used.
  • the second CPU 220 is connected to the second interface device 201, the input device 202, the display device 203, the second storage device 210, the processing device 230, and the like, and controls these components.
  • the second CPU 220 performs data transmission / reception control with the image reading device 100 via the second interface device 201, input control of the input device 202, display control of the display device 203, control of image processing by the processing device 230, and the like.
  • the processing device 230 performs a predetermined image processing on the input image.
  • the processing device 230 includes a CPU, a DSP, an LSI, an ASIC, an FPGA, or the like.
  • FIG. 2 is a diagram showing a schematic configuration of the second storage device 210 and the second CPU 220.
  • an acquisition program 211 As shown in FIG. 2, in the second storage device 210, an acquisition program 211, a multi-value image generation program 212, a binary image generation program 213, a detection program 214, a copy-forgery-inhibited pattern image generation program 215, a character recognition program 216, and output control
  • Each program such as the program 217 is stored.
  • Each of these programs is a functional module implemented by software operating on the processor.
  • the second CPU 220 reads each program stored in the second storage device 210 and operates according to each read program.
  • the second CPU 220 functions as the acquisition unit 221, the multi-value image generation unit 222, the binary image generation unit 223, the detection unit 224, the copy-forgery-inhibited pattern image generation unit 225, the character recognition unit 226, and the output control unit 227.
  • FIG. 3 is a flowchart showing the operation of the image reading process by the image reading apparatus 100.
  • the operation of the image reading process will be described with reference to the flowchart shown in FIG.
  • the operation flow described below is mainly executed by the first CPU 120 in cooperation with each element of the image reading device 100 based on a program stored in the first storage device 110 in advance.
  • the image capturing apparatus 102 captures a document such as a bill including a copy-forgery-inhibited pattern including a fine line or a dot as a document, generates an input image, and stores the input image in the first storage device 110 (step S101).
  • the first CPU 120 transmits the input image stored in the first storage device 110 to the information processing device 200 via the first interface device 101 (step S102), and ends a series of steps.
  • FIG. 4 is a flowchart showing the operation of the recognition processing by the information processing apparatus 200.
  • the operation of the recognition processing will be described with reference to the flowchart shown in FIG.
  • the operation flow described below is mainly executed by the processing device 230 in cooperation with each element of the information processing device 200 based on a program stored in the second storage device 210 in advance.
  • the obtaining unit 221 obtains an input image from the image reading device 100 via the second interface device 201, and stores it in the second storage device 210 (Step S201).
  • FIG. 5A is a schematic diagram showing an example of the input image 500.
  • the input image 500 includes characters 501 such as a title, name, date of birth, and address, a ruled line 502, and tint blocks 503 to 505. A part of the character 501 and the ruled line 502 overlap the tint blocks 503 to 505.
  • the copy-forgery-inhibited patterns 503 to 505 each indicate the same character "copy", but the copy-forgery-inhibited pattern 503 is formed by a thin line extending in the horizontal direction, the copy-forgery-inhibited pattern 504 is formed by a thin line extending in the vertical direction, and the copy-forgery-inhibited pattern 505 is formed by dots. ing.
  • a thin line is a line whose width is equal to or less than a predetermined number of pixels.
  • the predetermined number of pixels is, for example, one pixel at 300 dpi (Dots Per Inch).
  • the thin line has a width less than the minimum or average value of the stroke (line) width of the character in the image, or the minimum or average value of the stroke width excluding pressing or wiping of the character in the image.
  • the thin line is displayed so as to be distinguishable from the background, but is thin (close to white), and the difference between the density of the thin line and the density of the background is smaller than the difference between the density of the character and the density of the background.
  • the copy-forgery-inhibited patterns 503 and 504 are constituted by a plurality of thin lines arranged at a predetermined distance from each other.
  • the thin line extends in the first oblique direction inclined 45 degrees clockwise with respect to the horizontal direction, or the thin line extends in the second oblique direction inclined 45 degrees counterclockwise with respect to the horizontal direction. May be included.
  • a thin line extending in the horizontal direction is referred to as a horizontal thin line
  • a thin line extending in the vertical direction is referred to as a vertical thin line
  • a thin line extending in the first oblique direction is referred to as a first oblique thin line
  • the thin line may be referred to as a second oblique thin line.
  • a dot is a pixel group whose size (area) is equal to or smaller than a predetermined size (for example, 4 pixels).
  • the dots are displayed so as to be distinguishable from the background in the same manner as the thin lines. However, the difference between the dot density and the background density is smaller than the difference between the character density and the background density. small.
  • the copy-forgery-inhibited pattern 505 is composed of a plurality of dots arranged at a predetermined distance from each other.
  • the multi-value image generation unit 222 generates a monochrome multi-value image from the input image that is a color multi-value image (Step S202).
  • the multi-value image generation unit 222 specifies, for each pixel in the input image, the maximum value among the R value, the G value, and the B value of each pixel, and determines the specified maximum value as the pixel level corresponding to each pixel.
  • a multi-valued image with a tonal value (luminance value) is generated.
  • a multi-valued image refers to a monochrome multi-valued image.
  • FIG. 5B is a schematic diagram showing an example of the multi-valued image 510.
  • the multi-valued image 510 shown in FIG. 5B is generated from the input image 500.
  • the color components have been removed from the input image 500.
  • a character 511, a ruled line 512, and a copy-forgery-inhibited pattern 513 to 515 in the multivalued image 510 correspond to the character 501, the ruled line 502, and the copy-forgery-inhibited pattern 503 to 505 in the input image 500, respectively.
  • the tint blocks 513 to 515 in the multi-valued image 510 are displayed so as to stand out against the background.
  • the binary image generation unit 223 generates a binary image obtained by binarizing the input image from the input image that is a color multi-valued image (Step S203).
  • the binary image generation unit 223 generates, as a binary image, an image in which a pixel whose luminance value is equal to or more than a predetermined value in the input image is a white pixel, and a pixel whose luminance value is less than the predetermined value is a black pixel.
  • the predetermined value is set by a previous experiment so as to be larger than the luminance value of a pixel forming a general thin line or dot.
  • pixels corresponding to characters, ruled lines, and tint block in the input image are black pixels
  • pixels corresponding to other pixels in the input image are white pixels.
  • FIG. 6A is a schematic diagram showing an example of the binary image 600.
  • FIG. 6A is a schematic diagram showing an example of the binary image 600.
  • the binary image 600 shown in FIG. 6A is generated from the input image 500.
  • the character 601, the ruled line 602, and the tint block 603 to 605 in the binary image 600 correspond to the character 501, the ruled line 502, and the tint block 503 to 505 in the input image 500, respectively.
  • 6B, 6C, and 6D are enlarged views of regions 613, 614, and 615 in the binary image 600, respectively.
  • the tint block 603 is formed by a plurality of horizontal thin lines, as shown in FIG. 6C, the tint block 604 is formed by a plurality of vertical thin lines, and as shown in FIG. 6D, the tint block 605 is formed by a plurality of dots. I have.
  • the detection unit 224 extracts a thin line candidate pixel group from the multi-valued image (Step S204).
  • FIGS. 7A, 7B, and 7C are schematic diagrams for describing thin lines.
  • the images 700, 710, and 720 shown in FIGS. 7A, 7B, and 7C each include a thin line 701.
  • the width of the thin line 701 is one pixel or less, and in the direction D2 orthogonal to the extending direction D1 of the thin line 701, the tone value of the thin line 701 is a tone value ( (Low luminance value).
  • the gradation value of the peripheral region 702 of the thin line 701 gradually changes from the center position of the thin line 701 toward the outside due to the effect of the thin line 701 (the high luminance value).
  • the relationship between the thin line 701 and its surrounding area 702 and each pixel is one of the images 700, 710, and 720 according to the position of the image sensor of the imaging device 102 when the thin line is captured.
  • 7D, 7E, and 7F are graphs showing the tone values of the pixels corresponding to the thin line 701 and the surrounding area 702 in the images 700, 710, and 720, respectively.
  • the horizontal axes of the graphs 730, 740, and 750 shown in FIGS. 7D, 7E, and 7F respectively indicate the pixel positions in the direction D2 in the images 700, 710, and 720, and the vertical axes show the tone values (luminance values). .
  • the center of the thin line 701 is located at one end (upper side in FIG. 7A) of the target pixel P 0 in the direction D2 as in the image 700, as shown in the graph 730, the target pixel P 0 and one end of the target pixel P 0
  • the gradation value of the pixel P -1 adjacent to the side is smaller than the threshold value T1.
  • the pixel group P -1 in the direction D2 the gradation value of the pixel P -2 and P 1 adjacent to the P 0 is the threshold value T1 or more.
  • the target pixel P 0 and the target pixel P 0 The gradation value of the pixel P + 1 adjacent to the other end is smaller than the threshold value T1.
  • the gradation values of the pixels P -1 and P +2 adjacent to the pixel groups P 0 and P +1 in the direction D2 are equal to or larger than the threshold value T1.
  • the gradation values of 1 and P + 1 are less than the threshold value T1.
  • the gradation value of the pixel P -2 and P +2 adjacent to the pixel group P -1, P 0, P +1 in the direction D2 is a threshold T1 or more.
  • the detection unit 224 is a group of pixels in which the number of pixels whose tone values are less than the threshold value T1 is continuous in a predetermined number in the predetermined direction D2 in the multi-valued image, and two pixels adjacent to the pixel group in the predetermined direction D2.
  • a pixel group whose pixel tone value is equal to or larger than the threshold value T1 is extracted as a thin line candidate pixel group.
  • the predetermined direction D2 includes a vertical direction, a horizontal direction, a second diagonal direction, and a first diagonal direction.
  • the predetermined number is set in advance according to the width of the thin line to be detected, and is set to, for example, 2 or 3.
  • the threshold value T1 is set in advance according to the density of the thin line to be detected, and is set to, for example, 144.
  • the detection unit 224 is a pixel group in which a predetermined number of pixels whose tone values are less than the threshold value T1 are consecutive in the vertical direction, and the tone value of two pixels vertically adjacent to the pixel group is equal to or greater than the threshold value T1. Are extracted as horizontal thin line candidate pixel groups. Similarly, the detection unit 224 is a pixel group in which a predetermined number of pixels having a grayscale value less than the threshold value T1 continue in the horizontal direction, and the grayscale values of two pixels horizontally adjacent to the pixel group are A pixel group having a threshold value T1 or more is extracted as a vertical thin line candidate pixel group.
  • the detection unit 224 is a pixel group in which a predetermined number of pixels whose tone values are less than the threshold value T1 in the second diagonal direction, and the floor of two pixels adjacent to the pixel group in the second diagonal direction.
  • a pixel group whose tone value is equal to or larger than the threshold value T1 is extracted as a first diagonal thin line candidate pixel group.
  • the detection unit 224 is a pixel group in which a predetermined number of pixels whose tone values are less than the threshold value T1 in the first diagonal direction, and the floor of two pixels adjacent to the pixel group in the first diagonal direction.
  • a pixel group whose tone value is equal to or larger than the threshold value T1 is extracted as a second diagonal thin line candidate pixel group.
  • FIG. 8A is a schematic diagram illustrating an example of an image 800 in which a horizontal thin line candidate pixel group is an effective pixel
  • FIG. 8B is a schematic diagram illustrating an example of an image 810 in which a vertical thin line candidate pixel group is an effective pixel.
  • the effective pixels in the image 800 include pixels 803 corresponding to the tint block 513 formed by the horizontal thin line, and the character 511, the ruled line 512, or another tint block 514. , 515 are not included.
  • the effective pixel in the image 810 that is, the vertical thin line candidate pixel group includes the pixel 804 corresponding to the tint block 514 formed by the vertical thin line, and the character 511, the ruled line 512, or the like. Pixels corresponding to the tint block 513 and 515 are not included.
  • the first diagonal thin line candidate pixel group and the second diagonal thin line candidate pixel group also include pixels corresponding to the tint block formed by each thin line, and correspond to characters 511, ruled lines 512, or other tint blocks. Pixels are not included.
  • Each thin line candidate pixel group does not include a pixel corresponding to a portion where the tint block formed by each thin line and the character 511 or the ruled line 512 overlap.
  • the detection unit 224 determines that the pixel group is a thin line candidate pixel. It is not necessary to extract as a group. That is, in the example shown in the graph 750, among the pixel groups P ⁇ 1 , P 0 , and P +1 , the gradation value of the pixel P 0 on the center side is the gradation of the pixel P ⁇ 1 or P +1 on the outside. If the value is larger than the value, the detection unit 224 does not extract the pixel groups P ⁇ 1 , P 0 , and P +1 as thin line candidate pixel groups.
  • the tone values of the thin line 701 and the surrounding area 702 gradually increase from the center position of the thin line 701 toward the outside.
  • the detection unit 224 does not extract a pixel group in which the tone value of the pixel on the center side is larger than the tone value of the outer pixel as a thin line candidate pixel group, thereby erroneously extracting a pattern other than a thin line as a thin line candidate. Can be suppressed.
  • the detection unit 224 does not have to extract the pixel group as a thin line candidate pixel group.
  • the second threshold T2 is set to a value smaller than the threshold T1 (for example, 95). Accordingly, the detecting unit 224 can suppress erroneously extracting a ruled line having a small width and a dark (low luminance) as a thin line candidate.
  • the detecting unit 224 selects a thin line candidate pixel in the direction D1 orthogonal to the predetermined direction D2, that is, the number of pixels continuous in the extending direction of each thin line from the thin line candidate pixel group extracted from the multi-valued image, is smaller than the predetermined number.
  • the group is removed as noise (step S205).
  • the predetermined number is set in advance according to the length of the thin line to be detected, and is set to 6, for example.
  • the detection unit 224 removes, from the extracted horizontal thin line candidate pixel group, a horizontal thin line candidate pixel group in which the number of consecutive pixels in the horizontal direction is less than a predetermined number. Similarly, the detection unit 224 removes, from the extracted vertical thin line candidate pixel group, a vertical thin line candidate pixel group in which the number of consecutive pixels in the vertical direction is less than a predetermined number. In addition, the detection unit 224 removes, from the extracted first diagonal thin line candidate pixel group, a first diagonal thin line candidate pixel group in which the number of consecutive pixels in the first diagonal direction is less than a predetermined number. In addition, the detection unit 224 removes, from the extracted second diagonal thin line candidate pixel group, a second diagonal thin line candidate pixel group in which the number of consecutive pixels in the second diagonal direction is less than a predetermined number.
  • FIG. 9A is a schematic diagram illustrating an example of an image 900 in which a horizontal thin line candidate pixel group from which noise has been removed is an effective pixel
  • FIG. 9B is an image in which a vertical thin line candidate pixel group from which noise has been removed is an effective pixel. It is a schematic diagram which shows an example of 910.
  • the effective pixels in the image 900 that is, the horizontal thin line candidate pixel group from which noise has been removed include only the pixels 903 corresponding to the tint block 513 formed by the horizontal thin lines.
  • the effective pixels in the image 910 that is, the vertical thin line candidate pixel group from which noise has been removed include only the pixels 904 corresponding to the tint block 514 formed by the vertical thin lines.
  • the first diagonal thin line candidate pixel group and the second diagonal thin line candidate pixel group from which noise has been removed also include only pixels corresponding to the tint block formed by each thin line.
  • the detection unit 224 specifies a thin line region including each of the extracted thin line candidate pixel groups (step S206).
  • Each thin line area is an area including each thin line detected by the detection unit 224.
  • the detection unit 224 sets each thin line candidate pixel group as an effective pixel, A thin line binary image having pixels as invalid pixels is generated.
  • the detection unit 224 replaces the pixel with an effective pixel, Is expanded to generate a thin line dilated image.
  • the first distance is set in advance according to the arrangement interval of a plurality of thin lines to be detected, and is set to a value of 2 or more (for example, 10). That is, in each thin line dilated image, a plurality of thin lines existing within the first distance are combined.
  • the detection unit 224 replaces the pixel with an invalid pixel, thereby reducing the effective pixel.
  • a thinned line contracted image is generated.
  • the second distance is set to a value larger than the first distance by a third distance (for example, 1). That is, in each thin line contracted image, a single thin line in which no other thin line exists within a first distance in a direction orthogonal to the extending direction of the thin line is removed from the original thin line binary image.
  • the detection unit 224 expands the effective pixel by replacing the pixel with an effective pixel. Then, a thin line region image is generated. This dilation processing is executed to make the order of the dilation processing and the contraction processing equal.
  • the detection unit 224 specifies a pixel region in the multi-valued image corresponding to an effective pixel in each fine line region image as a fine line region.
  • the detecting unit 224 determines a horizontal thin line region, a vertical thin line region, a first diagonal thin line region, and a horizontal thin line candidate pixel group, a vertical thin line candidate pixel group, a first diagonal thin line candidate pixel group, and a second diagonal thin line candidate pixel group.
  • the second oblique thin line region is specified.
  • FIG. 10A is a schematic diagram illustrating an example of a thin line region image 1000 generated for a horizontal thin line.
  • the effective pixels 1003 (that is, the horizontal thin line region) in the thin line region image 1000 include regions corresponding to the horizontal thin lines and the background existing between the horizontal thin lines, and include characters and ruled lines. , Other copy-forgery-inhibited patterns have been removed.
  • each thin line region image generated for the vertical thin line, the first oblique thin line, and the second oblique thin line also includes an area corresponding to the background existing between each thin line and each thin line, and includes characters, Ruled lines and other copy-forgery-inhibited patterns are removed.
  • the detection unit 224 detects a thin line from the multi-valued image (Step S207).
  • the detecting unit 224 detects a horizontal thin line candidate pixel group located in a horizontal thin line region among horizontal thin line candidate pixel groups extracted from the multi-valued image as a horizontal thin line, and detects a vertical thin line candidate pixel group in a vertical thin line region. Is detected as a vertical thin line.
  • the detection unit 224 detects the first diagonal thin line candidate pixel group located in the first diagonal thin line region among the first diagonal thin line candidate pixel groups as the first diagonal thin line, and detects the second diagonal thin line candidate pixel group. Among them, the second diagonal thin line candidate pixel group located in the second diagonal thin line region is detected as the second diagonal thin line.
  • step S ⁇ b> 205 the detection unit 224 removes, as noise, a thin line candidate pixel group in which the number of consecutive pixels in the extending direction of each thin line is less than a predetermined number from each thin line candidate pixel group. Therefore, the detecting unit 224 selects, from among the fine line candidate pixel groups extracted in the predetermined direction D2 from the multi-valued image, a fine line candidate pixel group that is continuous for a predetermined number or more in a direction D1 (extending direction of each fine line) orthogonal to the predetermined direction D2. Is detected as a thin line.
  • the detection unit 224 specifies each thin line region such that a single thin line in which no other thin line exists within a first distance in a direction orthogonal to the extending direction of the thin line is removed. I have. Therefore, the detecting unit 224 determines that the thin line candidate pixel group in which another thin line candidate pixel group exists within a predetermined distance in the predetermined direction D2 among the thin line candidate pixel groups extracted in the predetermined direction D2 from the multi-valued image as a thin line. To detect.
  • FIG. 10B is a schematic diagram illustrating an example of an image 1010 in which pixels corresponding to the detected horizontal thin lines are set as effective pixels.
  • the effective pixels of the image 1010 include the pixels 1013 corresponding to the tint block 513 formed by the horizontal thin lines, and the character 511, the ruled line 512 or another tint block 514,
  • the pixel corresponding to 515 is not included.
  • the pixels corresponding to the vertical thin line, the first diagonal thin line, and the second diagonal thin line similarly include the pixel corresponding to the tint block formed by each thin line, and the character 601 and the ruled line 602.
  • pixels corresponding to other copy-forgery-inhibited patterns are not included.
  • the pixel corresponding to each thin line does not include a pixel in which the copy-forgery-inhibited pattern formed by each thin line and the character 511 or the ruled line 512 overlap.
  • the detection unit 224 extracts a dot candidate pixel group from the binary image (Step S208).
  • the detection unit 224 extracts a connected region in which black pixels adjacent to each other are connected by labeling in the binary image, and the number of pixels in the connected region in which the black pixels are connected in the binary image is equal to or smaller than a predetermined size.
  • the connected region is extracted as a dot candidate pixel group.
  • the predetermined size is set in advance according to the size of the dot to be detected, and is set to, for example, four pixels.
  • FIG. 11A is a schematic diagram illustrating an example of an image 1100 in which a dot candidate pixel group is an effective pixel.
  • the dot candidate pixel group in the image 1100 includes a pixel 1105 corresponding to the tint block 605 formed by dots, and a pixel corresponding to the character 601, the ruled line 602 or the other tint blocks 603 and 604. Is not included.
  • the dot candidate pixel group does not include a pixel corresponding to a portion where the tint block 605 formed by the dot and the character 601 or the ruled line 602 overlap.
  • the detection unit 224 specifies a dot area including the extracted dot candidate pixel group (Step S209).
  • the dot area is an area including a dot detected by the detection unit 224.
  • the detection unit 224 generates a dot binary image in which each dot candidate pixel group is set as an effective pixel and the other pixels are set as invalid pixels.
  • the detection unit 224 replaces the pixel with an effective pixel to obtain a dot expanded image obtained by expanding the effective pixel.
  • the first distance is set in advance according to an arrangement interval of a plurality of dots to be detected, and is set to a value of 2 or more (for example, 10). That is, in each dot expansion image, a plurality of dots existing within the first distance are combined.
  • the detection unit 224 when there is an invalid pixel within a second distance from each pixel in the dot expansion image, the detection unit 224 generates a dot contraction image in which the effective pixel is contracted by replacing the pixel with the invalid pixel. I do.
  • the second distance is set to a value larger than the first distance by a third distance (for example, 1). That is, in the dot contraction image, a single dot in which no other dot exists within the first distance is removed from the original dot binary image.
  • the detection unit 224 expands the effective pixel by replacing the pixel with an effective pixel to generate a dot area image. I do. This dilation processing is executed to make the order of the dilation processing and the contraction processing equal.
  • the detection unit 224 specifies a pixel area in the binary image corresponding to an effective pixel in the dot area image as a dot area.
  • FIG. 11B is a schematic view showing an example of the dot area image 1110.
  • the effective pixels in the dot area image 1110 include an area 1115 corresponding to each dot and the background existing between the dots, and include characters, ruled lines, other copy-forgery-inhibited patterns, and the like. Has been removed.
  • the detection unit 224 detects a dot from the binary image (Step S210).
  • the detection unit 224 detects, as dots, a dot candidate pixel group located in the dot region among the dot candidate pixel groups extracted from the binary image.
  • step S209 the detection unit 224 specifies a dot area such that a single dot having no other dot within the first distance is removed. Thereby, the detection unit 224 detects, as dots, a dot candidate pixel group in which another dot candidate pixel group exists within the second predetermined distance from the dot candidate pixel groups extracted from the binary image.
  • FIG. 12 is a schematic diagram showing an example of an image 1200 in which pixels corresponding to detected dots are set as effective pixels.
  • the effective pixels in the image 1200 include a pixel 1205 corresponding to the tint block 605 formed by the dot, and include a character 601, a ruled line 602, or another tint block 603, 604.
  • the pixels corresponding to the detected dots do not include pixels in which the tint block 603 formed by the dots and the character 601 or the ruled line 602 overlap.
  • the copy-forgery-inhibited pattern image generation unit 225 generates a copy-forgery-inhibited pattern-removed image obtained by removing the copy-forgery-inhibited pattern including the fine lines and dots from the binary image based on the thin lines detected from the multi-valued image and the dots detected from the binary image. It is generated (step S211).
  • the copy-forgery-inhibited pattern removal image generation unit 225 replaces the pixels corresponding to the fine lines detected from the multi-valued image and the dots detected from the binary image among the black pixels in the binary image with white pixels to remove the copy-forgery-inhibited pattern. Generate an image.
  • the copy-forgery-inhibited pattern removal image generation unit 225 performs a multi-valued copy-forgery-inhibited pattern removal by replacing a gradation value of a pixel corresponding to a black pixel replaced with a white pixel in the binary image with a predetermined value among the pixels in the multi-valued image.
  • An image may be generated.
  • the predetermined value is, for example, an average value of the gradation values of the background area in the multi-valued image.
  • the copy-forgery-inhibited pattern image generation unit 225 does not need to replace pixels corresponding to dots corresponding to each thin line region and not corresponding to each detected thin line among black pixels in the binary image with white pixels. . Pixels corresponding to fine lines may be detected as dots. However, if such pixels are regarded as dots and removed, the copy-forgery-inhibited pattern removal image generation unit 225 erroneously removes contents such as characters or ruled lines. there is a possibility. Therefore, the copy-forgery-inhibited pattern image generation unit 225 does not remove, as dots, pixels corresponding to each thin line region in the multi-valued image among the black pixels in the binary image.
  • the tint block removal image generation unit 225 does not remove the pixel.
  • the copy-forgery-inhibited pattern removal image generation unit 225 can suppress the content other than the copy-forgery-inhibited pattern from being removed by mistake.
  • FIG. 13 is a schematic diagram showing an example of the tint block removal image 1300.
  • the copy-forgery-inhibited pattern removal image generation unit 225 extracts a connected region in which black pixels adjacent to each other are connected by labeling in the generated copy-forgery-inhibited pattern image, and forms a connected region in which the number of pixels is equal to or smaller than a second predetermined size.
  • the region may be removed as noise.
  • the second predetermined size is set in advance to a size (for example, three pixels) smaller than the predetermined size.
  • the character recognition unit 226 detects a character from the generated copy-forgery-inhibited pattern image using a known OCR (Optical Character Recognition) technique (step S212).
  • OCR Optical Character Recognition
  • the output control unit 227 displays the detected character on the display device 203 (Step S213), and ends a series of steps.
  • the output control unit 227 replaces or in addition to the detected character, the type of the tint block detected by the detection unit 224 (horizontal thin line, vertical thin line, first diagonal thin line, second diagonal thin line or dot), tint block
  • the removed image or the multi-valued background pattern removed image may be displayed on the display device 203.
  • the output control unit 227 may transmit the detected character, type of copy-forgery-inhibited pattern, copy-forgery-inhibited pattern removal image, or multi-valued copy-forgery-inhibited pattern removal image to a server (not shown) via a communication device (not shown).
  • the output control unit 227 outputs the copy-forgery-inhibited pattern image or the information generated using the copy-forgery-inhibited pattern image.
  • the detection unit 224 may detect at least one type of thin line among the horizontal thin line, the vertical thin line, the first diagonal thin line, and the second diagonal thin line, and may omit the detection process of other types of thin lines. Further, the detection unit 224 may detect at least one type of tint block of the fine line and the dot, and may omit the process of detecting other types of tint block. In this case, the information processing apparatus 200 may receive designation of the type of the tint block to be detected from the user using the input device 202. The detection unit 224 detects only the received type of tint block and the tint block removal image generation unit 225 generates a tint block removal image obtained by removing the detected tint block from the binary image based on the detected tint block.
  • the information processing device 200 does not detect a copy-forgery-inhibited pattern other than the target type of copy-forgery-inhibited pattern, erroneous detection of the copy-forgery-inhibited pattern can be suppressed while shortening the processing time of the copy-forgery-inhibited pattern detection process.
  • the detection unit 224 may omit the processing in step S205 and detect a thin line from the thin line candidate pixel group extracted in step S204. Further, the detection unit 224 may omit the process of step S206 and detect the extracted thin line candidate pixel group as a thin line as it is. Further, the detection unit 224 may omit the process of step S209 and detect the extracted dot candidate pixel group as a dot as it is.
  • the information processing apparatus 200 can reduce the processing time of the tint block detection processing.
  • FIGS. 14A, 14B, 14C, and 14D are schematic diagrams for explaining the significance of detecting a tint block from a multivalued image.
  • FIG. 14A shows a binary image 1400 obtained by binarizing an input image with a predetermined threshold.
  • the binary image 1400 includes a thick thin line 1401 and a broken thin line 1402, and it is difficult to correctly distinguish the character 1403 or the ruled line 1404 from each thin line.
  • FIG. 14B shows a binary image 1410 obtained by binarizing an input image with a threshold smaller than a predetermined threshold.
  • the binary image 1410 the number of broken thin lines 1412 is reduced, but the thick thin line 1411 becomes thicker, and it is difficult to correctly distinguish the character 1413 or the ruled line 1414 from each thin line. Further, in the binary image 1410, the character 1413 itself becomes dark, and it is difficult to correctly recognize the character 1413 in the first place.
  • FIG. 14C shows a binary image 1420 obtained by binarizing the input image with a threshold value larger than a predetermined threshold value.
  • the binary image 1420 most of the thin lines 1422 are cut off, and it is difficult to correctly distinguish the character 1423 or the ruled line 1424 from each thin line. Further, in the binary image 1410, the character 1423 itself becomes thin, and it is difficult to correctly recognize the character 1423 in the first place.
  • the threshold value is adjusted to generate a binary image
  • the size of the thin line is not stable, and it is difficult to accurately detect the thin line from the binary image.
  • FIG. 14D shows an image 1430 showing fine lines detected from the multi-valued image.
  • the thin line 1431 is analyzed in detail based on the tone values (multi-valued) of the thin line and the surrounding area, and is well extracted.
  • no thin line is detected in the area 1432 corresponding to the character and the area 1433 corresponding to the ruled line, and the fine line 1431 is well distinguished from the character or the ruled line.
  • the information processing apparatus 200 detects a fine line as a copy-forgery-inhibited pattern from a multivalued image and removes the detected copy-forgery-inhibited pattern from the corresponding binary image.
  • the information processing device 200 can analyze the multi-valued image in detail based on the gradation value (multi-valued) of the thin line and the surrounding area, thereby distinguishing the thin line from the character or the ruled line and accurately detecting the thin line. became. Therefore, the information processing apparatus 200 can more accurately remove the copy-forgery-inhibited pattern from the image including the copy-forgery-inhibited pattern.
  • the information processing device 200 when the information processing device 200 performs the detection process on a thin line extending in a specific direction, the information processing device 200 can detect the thin line extending in a direction of ⁇ 25 ° with respect to the specific direction. . Therefore, the detecting unit 224 can detect a thin line extending in all directions by detecting all the thin lines of the horizontal thin line, the vertical thin line, the first oblique thin line, and the second oblique thin line.
  • the information processing apparatus 200 detects the mixture of different forms based on the type of the tint block detected by the detection unit 224 (horizontal thin line, vertical thin line, first diagonal thin line, second diagonal thin line, or dot). Alternatively, different forms can be classified for each same form.
  • FIG. 15 is a block diagram illustrating a schematic configuration of a processing device 230 in an information processing device according to another embodiment.
  • the processing device 230 executes a recognition process instead of the CPU 220.
  • the processing device 230 includes an acquisition circuit 231, a multi-value image generation circuit 232, a binary image generation circuit 233, a detection circuit 234, a tint block removal image generation circuit 235, a character recognition circuit 236, an output control circuit 237, and the like.
  • the acquisition circuit 231 is an example of an acquisition unit, and has the same function as the acquisition unit 221.
  • the acquisition circuit 231 acquires an input image from the image reading device 100 via the second interface device 201, and stores the input image in the second storage device 210.
  • the multi-value image generation circuit 232 is an example of a multi-value image generation unit, and has the same function as the multi-value image generation unit 222.
  • the multi-value image generation circuit 232 reads an input image from the second storage device 210, generates a multi-value image, and stores the multi-value image in the second storage device 210.
  • the binary image generation circuit 233 is an example of a binary image generation unit, and has the same function as the binary image generation unit 223.
  • the binary image generation circuit 233 reads an input image from the second storage device 210, generates a binary image, and stores the binary image in the second storage device 210.
  • the detection circuit 234 is an example of a detection unit, and has the same function as the detection unit 224.
  • the detection circuit 234 reads the multi-valued image from the second storage device 210, detects fine lines and dots from the multi-valued image, and stores the detection result in the second storage device 210.
  • the copy-forgery-inhibited pattern removal image generation circuit 235 is an example of a copy-forgery-inhibited pattern removal image generation unit, and has the same function as the copy-forgery-inhibited pattern removal image generation unit 225.
  • the copy-forgery-inhibited pattern image generation circuit 235 reads out the binary image and the detection result of the fine lines and dots from the second storage device 210, generates a copy-forgery-inhibited pattern image, and stores the image in the second storage device 210.
  • the character recognition circuit 236 is an example of a character recognition unit and has the same function as the character recognition unit 226.
  • the character recognition circuit 236 reads the copy-forgery-inhibited pattern image from the second storage device 210, detects a character from the copy-forgery-inhibited pattern image, and stores the detection result in the second storage device 210.
  • the output control circuit 237 is an example of an output control unit, and has the same function as the output control unit 227.
  • the output control circuit 237 reads the character detection result, the stamp-removed image or the multi-valued stamp-removed image from the second storage device 210, and outputs the read information to the display device 203.
  • the information processing device can more accurately remove the copy-forgery-inhibited pattern from the image including the copy-forgery-inhibited pattern including the thin line.
  • the embodiments are not limited thereto.
  • the division of functions between the image reading apparatus 100 and the information processing apparatus 200 is not limited to the example of the image processing system 1 shown in FIG. Which of the positions 200 is arranged can be changed as appropriate.
  • the image reading device 100 and the information processing device 200 may be configured as one device.
  • the first storage device 110 of the image reading device 100 stores each program stored in the second storage device 210 of the information processing device 200, and the first CPU 120 of the image reading device 100 replaces the second CPU 120 of the information processing device 200. May be operated as each unit realized by.
  • the image reading device 100 may include a processing device similar to the processing device 230 of the information processing device 200.
  • the image reading device 100 has a display device similar to the display device 203. Since the recognition processing is executed by the image reading apparatus 100, the transmission and reception processing of the input image in steps S102 and S201 is omitted. Each processing of steps S202 to S213 is executed by the first CPU 120 or the processing device of the image reading device 100. The operations of these processes are the same as those performed by the second CPU 220 or the processing device 230 of the information processing device 200.
  • the first interface device 101 and the second interface device 201 are connected to each other via a network such as the Internet, a telephone network (including a mobile terminal network and a general telephone network), and an intranet. Is also good.
  • the first interface device 101 and the second interface device 201 are provided with a communication interface circuit of a network to be connected.
  • a plurality of information processing apparatuses are distributed and arranged on a network so that image processing services can be provided in the form of cloud computing, and the information processing apparatuses cooperate to perform recognition processing and the like. You may make it share.
  • the image processing system 1 can efficiently execute the recognition processing on the input images read by the plurality of image reading devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

地紋が含まれる画像から地紋をより精度良く除去することが可能な画像処理装置、制御方法、制御プログラムを提供する。画像処理装置は、入力画像を取得する取得部と、入力画像から多値画像を生成する多値画像生成部と、入力画像を二値化した二値画像を生成する二値画像生成部と、多値画像から、所定の画素数以下の幅を有する細線を検出する検出部と、多値画像から検出された細線に基づいて、二値画像から細線を除去した地紋除去画像を生成する地紋除去画像生成部と、地紋除去画像又は地紋除去画像を用いて生成した情報を出力する出力部と、を有する。

Description

画像処理装置、制御方法及び制御プログラム
　本開示は、画像処理装置、制御方法及び制御プログラムに関し、特に、地紋が含まれる画像を処理する画像処理装置、制御方法及び制御プログラムに関する。
　請求書等の帳票を担当者が手作業によりデータ化している会社では、膨大な数の帳票のデータ化が必要である場合に担当者の業務負担が大きくなるため、帳票のデータ化作業の効率化に対する要望が高まっている。帳票のデータ化作業の効率化を図るためには、帳票に記載されている文字をコンピュータが正しく認識する必要がある。しかしながら、帳票において、地紋が含まれる用紙に文字が印刷されている場合、その文字が正しく認識されない可能性がある。
　画像データから書類の種類を判別する帳票判別装置が開示されている（特許文献１）。この帳票判別装置は、画像データに含まれる線分状のブロブのうち、線分の方向が共通し、線分から分岐が検出されず、かつ線分の幅が一定であるブロブが所定の密度以上で分布する線分状のブロブのグループを抽出し、画像データから除去する。
　また、文書に印刷されたパターンの微妙な変化を検出して除去する文書画像処理装置が開示されている（特許文献２）。この文書画像処理装置は、注目する黒ランの上下の走査線上に白領域が存在する場合、その黒ランを線分ノイズとして削除する。
　また、画像の文字部分と背景部分とを切り分ける画像処理装置が開示されている（特許文献３）。この画像処理装置は、原画像データ内の各連結成分の線幅としきい値とを比較することにより、各連結成分が文字部分か又は背景部分かを判定し、連結成分が背景部分である場合、原画像データにおけるその連結成分部分を除去する。
特開２０１７－２７３６５号公報 特開２００１－１１１８１６号公報 特開平１０－１４３６０７号公報
　画像処理装置では、地紋が含まれる画像から地紋をより精度良く除去することを求められている。
　情報処理装置、制御方法及び制御プログラムの目的は、地紋が含まれる画像から地紋をより精度良く除去することを可能とすることにある。
　実施形態の一側面に係る画像処理装置は、入力画像を取得する取得部と、入力画像から多値画像を生成する多値画像生成部と、入力画像を二値化した二値画像を生成する二値画像生成部と、多値画像から、所定の画素数以下の幅を有する細線を検出する検出部と、多値画像から検出された細線に基づいて、二値画像から細線を除去した地紋除去画像を生成する地紋除去画像生成部と、地紋除去画像又は地紋除去画像を用いて生成した情報を出力する出力部と、を有する。
　また、実施形態の一側面に係る制御方法は、出力部を有する画像処理装置の制御方法であって、画像処理装置が、入力画像から多値画像を生成し、入力画像を二値化した二値画像を生成し、多値画像から、所定の画素数以下の幅を有する細線を検出し、多値画像から検出された細線に基づいて、二値画像から細線を除去した地紋除去画像を生成し、地紋除去画像又は地紋除去画像を用いて生成した情報を出力部から出力する、ことを含む。
　また、実施形態の一側面に係る制御プログラムは、出力部を有するコンピュータの制御プログラムであって、入力画像から多値画像を生成し、入力画像を二値化した二値画像を生成し、多値画像から、所定の画素数以下の幅を有する細線を検出し、多値画像から検出された細線に基づいて、二値画像から細線を除去した地紋除去画像を生成し、地紋除去画像又は地紋除去画像を用いて生成した情報を出力部から出力する、ことをコンピュータに実行させる。
　本実施形態によれば、情報処理装置、制御方法及び制御プログラムは、地紋が含まれる画像から地紋をより精度良く除去することが可能となる。
　本発明の目的及び効果は、特に請求項において指摘される構成要素及び組み合わせを用いることによって認識され且つ得られるだろう。前述の一般的な説明及び後述の詳細な説明の両方は、例示的及び説明的なものであり、特許請求の範囲に記載されている本発明を制限するものではない。
実施形態に従った画像処理システム１の概略構成を示す図である。 第２記憶装置２１０及び第２ＣＰＵ２２０の概略構成を示す図である。 画像読取処理の動作を示すフローチャートである。 認識処理の動作を示すフローチャートである。 入力画像５００の一例を示す模式図である。 多値画像５１０の一例を示す模式図である。 二値画像６００の一例を示す模式図である。 二値画像６００内の領域６１３の拡大図である。 二値画像６００内の領域６１４の拡大図である。 二値画像６００内の領域６１５の拡大図である。 細線について説明するための模式図である。 細線について説明するための模式図である。 細線について説明するための模式図である。 細線及びその周囲領域に対応する画素の階調値を示すグラフである。 細線及びその周囲領域に対応する画素の階調値を示すグラフである。 細線及びその周囲領域に対応する画素の階調値を示すグラフである。 水平細線候補画素群を示す模式図である。 垂直細線候補画素群を示す模式図である。 画像９００の一例を示す模式図である。 画像９１０の一例を示す模式図である。 細線領域画像１０００の一例を示す模式図である。 画像１０１０の一例を示す模式図である。 画像１１００の一例を示す模式図である。 ドット領域画像１１１０の一例を示す模式図である。 画像１２００の一例を示す模式図である。 地紋除去画像１３００の一例を示す模式図である。 多値画像を用いることの意義について説明するための模式図である。 多値画像を用いることの意義について説明するための模式図である。 多値画像を用いることの意義について説明するための模式図である。 多値画像を用いることの意義について説明するための模式図である。 処理装置２３０の概略構成を示すブロック図である。
　以下、本開示の一側面に係る画像処理装置、制御方法及び制御プログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
　図１は、実施形態に従った画像処理システムの概略構成を示す図である。図１に示すように、画像処理システム１は、画像読取装置１００と、情報処理装置２００とを有する。
　画像読取装置１００は、例えばスキャナ装置等である。画像読取装置１００は、情報処理装置２００に接続されている。情報処理装置２００は、画像処理装置の一例であり、例えばパーソナルコンピュータ等である。
　画像読取装置１００は、第１インタフェース装置１０１と、撮像装置１０２と、第１記憶装置１１０と、第１ＣＰＵ（Control Processing Unit）１２０とを有する。
　第１インタフェース装置１０１は、ＵＳＢ（Universal Serial Bus）等のシリアルバスに準じるインタフェース回路を有し、情報処理装置２００と電気的に接続して画像データ及び各種の情報を送受信する。また、第１インタフェース装置１０１の代わりに、無線信号を送受信するアンテナと、所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有する通信装置が用いられてもよい。所定の通信プロトコルは、例えば無線ＬＡＮ（Local Area Network）である。
　撮像装置１０２は、主走査方向に直線状に配列されたＣＣＤ（Charge Coupled Device）による撮像素子を備える縮小光学系タイプの撮像センサを有する。さらに、撮像装置１０２は、光を照射する光源と、撮像素子上に像を結ぶレンズと、撮像素子から出力された電気信号を増幅してアナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。撮像装置１０２において、撮像センサは、搬送される用紙の表面を撮像してアナログの画像信号を生成して出力し、Ａ／Ｄ変換器は、このアナログの画像信号をＡ／Ｄ変換してデジタルの入力画像を生成して出力する。入力画像は、各画素データが、例えばＲＧＢ各色毎に８ｂｉｔで表される計２４ｂｉｔのＲ（赤色）値、Ｇ（緑色）値、Ｂ（青色）値からなるカラー多値画像である。なお、ＣＣＤの代わりにＣＭＯＳ（Complementary Metal Oxide Semiconductor）による撮像素子を備える等倍光学系タイプのＣＩＳ（Contact Image Sensor）が用いられてもよい。
　第１記憶装置１１０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第１記憶装置１１０には、画像読取装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第１記憶装置１１０にインストールされてもよい。可搬型記録媒体は、例えばＣＤ－ＲＯＭ（compact disk read only memory）、ＤＶＤ－ＲＯＭ（digital versatile disk read only memory）等である。また、第１記憶装置１１０は、撮像装置１０２により生成された入力画像等を記憶する。
　第１ＣＰＵ１２０は、予め第１記憶装置１１０に記憶されているプログラムに基づいて動作する。なお、第１ＣＰＵ１２０に代えて、ＤＳＰ（digital signal processor）、ＬＳＩ（large scale integration）等が用いられてよい。また、第１ＣＰＵ１２０に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programming Gate Array）等が用いられてもよい。
　第１ＣＰＵ１２０は、第１インタフェース装置１０１、撮像装置１０２及び第１記憶装置１１０等と接続され、これらの各部を制御する。第１ＣＰＵ１２０は、撮像装置１０２の原稿読取制御、第１インタフェース装置１０１を介した情報処理装置２００とのデータ送受信制御等を行う。
　情報処理装置２００は、第２インタフェース装置２０１と、入力装置２０２と、表示装置２０３と、第２記憶装置２１０と、第２ＣＰＵ２２０と、処理装置２３０とを有する。以下、情報処理装置２００の各部について詳細に説明する。
　第２インタフェース装置２０１は、画像読取装置１００の第１インタフェース装置１０１と同様のインタフェース回路を有し、情報処理装置２００と画像読取装置１００とを接続する。また、第２インタフェース装置２０１の代わりに、無線信号を送受信するアンテナと、無線ＬＡＮ等の所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有する通信装置が用いられてもよい。
　入力装置２０２は、キーボード、マウス等の入力装置及び入力装置から信号を取得するインタフェース回路を有し、利用者の操作に応じた信号を第２ＣＰＵ２２０に出力する。
　表示装置２０３は、出力部の一例である。表示装置２０３は、液晶、有機ＥＬ等から構成されるディスプレイ及びディスプレイに画像データを出力するインタフェース回路を有し、第２記憶装置２１０と接続されて第２記憶装置２１０に保存されている画像データをディスプレイに表示する。
　第２記憶装置２１０は、画像読取装置１００の第１記憶装置１１０と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第２記憶装置２１０には、情報処理装置２００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第２記憶装置２１０にインストールされてもよい。また、第２記憶装置２１０は、画像読取装置１００から受信した入力画像、及び、処理装置２３０により入力画像に対して画像処理がなされた各種の処理画像等を記憶する。
　第２ＣＰＵ２２０は、予め第２記憶装置２１０に記憶されているプログラムに基づいて動作する。なお、第２ＣＰＵ２２０に代えて、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。
　第２ＣＰＵ２２０は、第２インタフェース装置２０１、入力装置２０２、表示装置２０３、第２記憶装置２１０及び処理装置２３０等と接続され、これらの各部を制御する。第２ＣＰＵ２２０は、第２インタフェース装置２０１を介した画像読取装置１００とのデータ送受信制御、入力装置２０２の入力制御、表示装置２０３の表示制御、処理装置２３０による画像処理の制御等を行う。
　処理装置２３０は、入力画像に対して所定の画像処理を実行する。処理装置２３０は、ＣＰＵ、ＤＳＰ、ＬＳＩ、ＡＳＩＣ又はＦＰＧＡ等で構成される。
　図２は、第２記憶装置２１０及び第２ＣＰＵ２２０の概略構成を示す図である。
　図２に示すように第２記憶装置２１０には、取得プログラム２１１、多値画像生成プログラム２１２、二値画像生成プログラム２１３、検出プログラム２１４、地紋除去画像生成プログラム２１５、文字認識プログラム２１６及び出力制御プログラム２１７等の各プログラムが記憶される。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。第２ＣＰＵ２２０は、第２記憶装置２１０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作する。これにより、第２ＣＰＵ２２０は、取得部２２１、多値画像生成部２２２、二値画像生成部２２３、検出部２２４、地紋除去画像生成部２２５、文字認識部２２６及び出力制御部２２７として機能する。
　図３は、画像読取装置１００による画像読取処理の動作を示すフローチャートである。以下、図３に示したフローチャートを参照しつつ、画像読取処理の動作を説明する。なお、以下に説明する動作のフローは、予め第１記憶装置１１０に記憶されているプログラムに基づき主に第１ＣＰＵ１２０により画像読取装置１００の各要素と協働して実行される。
　最初に、撮像装置１０２は、原稿として、細線又はドットを含む地紋が含まれる請求書等の帳票を撮像して入力画像を生成し、第１記憶装置１１０に保存する（ステップＳ１０１）。
　次に、第１ＣＰＵ１２０は、第１記憶装置１１０に保存された入力画像を第１インタフェース装置１０１を介して情報処理装置２００に送信し（ステップＳ１０２）、一連のステップを終了する。
　図４は、情報処理装置２００による認識処理の動作を示すフローチャートである。以下、図４に示したフローチャートを参照しつつ、認識処理の動作を説明する。なお、以下に説明する動作のフローは、予め第２記憶装置２１０に記憶されているプログラムに基づき主に処理装置２３０により情報処理装置２００の各要素と協同して実行される。
　最初に、取得部２２１は、入力画像を第２インタフェース装置２０１を介して画像読取装置１００から取得し、第２記憶装置２１０に保存する（ステップＳ２０１）。
　図５Ａは、入力画像５００の一例を示す模式図である。
　図５Ａに示すように、入力画像５００には、タイトル、氏名、生年月日、住所等の文字５０１と、罫線５０２と、地紋５０３～５０５とが写っている。文字５０１及び罫線５０２の一部は、地紋５０３～５０５上に重なっている。地紋５０３～５０５はそれぞれ同じ文字「複写」を示しているが、地紋５０３は水平方向に延伸する細線により形成され、地紋５０４は垂直方向に延伸する細線により形成され、地紋５０５はドットにより形成されている。
　細線は、幅が所定の画素数以下であるラインである。所定の画素数は、例えば３００ｄｐｉ（Dots Per Inch）で１画素である。または、細線は、幅が、画像内の文字のストローク（線）の幅の最小値もしくは平均値、又は、画像内の文字の押さえもしくは払いを除いたストロークの幅の最小値もしくは平均値未満であるラインである。細線は、背景に対して区別可能に表示されるが、薄く（白色に近く）、細線の濃度と背景の濃度との差は、文字の濃度と背景の濃度との差より小さい。地紋５０３及び５０４は、相互に所定距離をあけて配置された複数の細線により構成される。なお、細線には、水平方向に対して時計回りに４５度傾いた第１斜め方向に延伸する細線、又は、水平方向に対して反時計回りに４５度傾いた第２斜め方向に延伸する細線が含まれてもよい。以下では、水平方向に延伸する細線を水平細線と称し、垂直方向に延伸する細線を垂直細線と称し、第１斜め方向に延伸する細線を第１斜め細線と称し、第２斜め方向に延伸する細線を第２斜め細線と称する場合がある。
　ドットは、大きさ（面積）が所定サイズ（例えば４画素）以下である画素群である。ドットは、細線と同様に、背景に対して区別可能に表示されるが、薄く（白色に近く）、ドットの濃度と背景の濃度との差は、文字の濃度と背景の濃度との差より小さい。地紋５０５は、相互に所定距離をあけて配置された複数のドットにより構成される。
　次に、多値画像生成部２２２は、カラー多値画像である入力画像から、白黒の多値画像を生成する（ステップＳ２０２）。多値画像生成部２２２は、入力画像内の各画素毎に、各画素のＲ値、Ｇ値、Ｂ値の中の最大値を特定し、特定した最大値を各画素に対応する画素の階調値（輝度値）とする多値画像を生成する。以下では、多値画像とは、白黒の多値画像のことをいう。
　図５Ｂは、多値画像５１０の一例を示す模式図である。
　図５Ｂに示す多値画像５１０は、入力画像５００から生成され、多値画像５１０では、入力画像５００に対して色成分が除去されている。多値画像５１０内の文字５１１、罫線５１２及び地紋５１３～５１５は、それぞれ入力画像５００内の文字５０１、罫線５０２及び地紋５０３～５０５に対応している。入力画像５００内の地紋５０３～５０５と比較して、多値画像５１０内の地紋５１３～５１５は、背景に対してより際立つように表示されている。
　次に、二値画像生成部２２３は、カラー多値画像である入力画像から、入力画像を二値化した二値画像を生成する（ステップＳ２０３）。二値画像生成部２２３は、入力画像内で輝度値が所定値以上である画素を白色画素とし、輝度値が所定値未満である画素を黒色画素とした画像を二値画像として生成する。所定値は、事前の実験により、一般的な細線又はドットを形成する画素の輝度値より大きくなるように設定される。これにより、二値画像では、入力画像内の文字、罫線、地紋に対応する画素が黒色画素となり、入力画像内の他の画素に対応する画素が白色画素となる。
　図６Ａは、二値画像６００の一例を示す模式図である。
　図６Ａに示す二値画像６００は、入力画像５００から生成されている。二値画像６００内の文字６０１、罫線６０２及び地紋６０３～６０５は、それぞれ入力画像５００内の文字５０１、罫線５０２及び地紋５０３～５０５に対応している。
　図６Ｂ、図６Ｃ、図６Ｄは、それぞれ、二値画像６００内の領域６１３、６１４、６１５の拡大図である。
　図６Ｂに示すように地紋６０３は複数の水平細線により形成され、図６Ｃに示すように地紋６０４は複数の垂直細線により形成され、図６Ｄに示すように地紋６０５は複数のドットにより形成されている。
　次に、検出部２２４は、多値画像から細線候補画素群を抽出する（ステップＳ２０４）。
　図７Ａ、図７Ｂ、図７Ｃは、細線について説明するための模式図である。
　図７Ａ、図７Ｂ、図７Ｃに示す画像７００、７１０、７２０には、それぞれ細線７０１が含まれている。各画像７００、７１０、７２０において、細線７０１の幅は１画素以下であり、細線７０１の延伸方向Ｄ１と直交する方向Ｄ２において、細線７０１の階調値は細線の濃度に応じた階調値（低輝度値）となる。一方、方向Ｄ２において、細線７０１の周囲領域７０２の階調値は、細線７０１の影響により、細線７０１の中心位置から外側に向けて徐々に背景７０３の濃度に応じた階調値（高輝度値）に近くなる。細線７０１及びその周囲領域７０２と各画素との関係は、細線が撮影された時の撮像装置１０２の撮像素子の位置に応じて、画像７００、７１０、７２０の内の何れかのようになる。
　図７Ｄ、図７Ｅ、図７Ｆは、それぞれ画像７００、７１０、７２０における細線７０１及びその周囲領域７０２に対応する画素の階調値を示すグラフである。図７Ｄ、図７Ｅ、図７Ｆにそれぞれ示されるグラフ７３０、７４０、７５０の横軸は各画像７００、７１０、７２０における方向Ｄ２の画素位置を示し、縦軸は階調値（輝度値）を示す。
　画像７００のように、方向Ｄ２において細線７０１の中心が注目画素Ｐ0の一端側（図７Ａの上側）に位置する場合、グラフ７３０に示すように、注目画素Ｐ0及び注目画素Ｐ0の一端側に隣接する画素Ｐ-1の階調値が閾値Ｔ１未満となる。一方、方向Ｄ２においてその画素群Ｐ-1、Ｐ0に隣接する画素Ｐ-2及びＰ1の階調値が閾値Ｔ１以上となる。
　画像７１０のように、方向Ｄ２において細線７０１の中心が注目画素Ｐ0の多端側（図７Ｂの下側）に位置する場合、グラフ７４０に示すように、注目画素Ｐ0及び注目画素Ｐ0の他端側に隣接する画素Ｐ+1の階調値が閾値Ｔ１未満となる。一方、方向Ｄ２においてその画素群Ｐ0、Ｐ+1に隣接する画素Ｐ-1及びＰ+2の階調値が閾値Ｔ１以上となる。
　画像７２０のように、方向Ｄ２において細線７０１の中心が注目画素Ｐ0の中央に位置する場合、グラフ７５０に示すように、注目画素Ｐ0及び注目画素Ｐ0の両端側に隣接する画素Ｐ-1、Ｐ+1の階調値が閾値Ｔ１未満となる。一方、方向Ｄ２においてその画素群Ｐ-1、Ｐ0、Ｐ+1に隣接する画素Ｐ-2及びＰ+2の階調値が閾値Ｔ１以上となる。
　そこで、検出部２２４は、多値画像において、階調値が閾値Ｔ１未満である画素が所定方向Ｄ２に所定個数連続した画素群であり、且つ、その画素群に所定方向Ｄ２に隣接する二つの画素の階調値が閾値Ｔ１以上である画素群を細線候補画素群として抽出する。所定方向Ｄ２には、垂直方向、水平方向、第２斜め方向及び第１斜め方向が含まれる。所定個数は、検出すべき細線の幅の大きさに応じて予め設定され、例えば２又は３に設定される。閾値Ｔ１は、検出すべき細線の濃さに応じて予め設定され、例えば１４４に設定される。
　検出部２２４は、階調値が閾値Ｔ１未満である画素が垂直方向に所定個数連続した画素群であり、且つ、その画素群に垂直方向に隣接する二つの画素の階調値が閾値Ｔ１以上である画素群を水平細線候補画素群として抽出する。同様に、検出部２２４は、階調値が閾値Ｔ１未満である画素が水平方向に所定個数連続した画素群であり、且つ、その画素群に水平方向に隣接する二つの画素の階調値が閾値Ｔ１以上である画素群を垂直細線候補画素群として抽出する。また、検出部２２４は、階調値が閾値Ｔ１未満である画素が第２斜め方向に所定個数連続した画素群であり、且つ、その画素群に第２斜め方向に隣接する二つの画素の階調値が閾値Ｔ１以上である画素群を第１斜め細線候補画素群として抽出する。また、検出部２２４は、階調値が閾値Ｔ１未満である画素が第１斜め方向に所定個数連続した画素群であり、且つ、その画素群に第１斜め方向に隣接する二つの画素の階調値が閾値Ｔ１以上である画素群を第２斜め細線候補画素群として抽出する。
　図８Ａは、水平細線候補画素群を有効画素とする画像８００の一例を示す模式図であり、図８Ｂは、垂直細線候補画素群を有効画素とする画像８１０の一例を示す模式図である。
　図８Ａに示すように、画像８００内の有効画素、即ち水平細線候補画素群には、水平細線により形成された地紋５１３に対応する画素８０３が含まれ、文字５１１、罫線５１２又は他の地紋５１４、５１５に対応する画素は含まれていない。同様に、図８Ｂに示すように、画像８１０内の有効画素、即ち垂直細線候補画素群には、垂直細線により形成された地紋５１４に対応する画素８０４が含まれ、文字５１１、罫線５１２又は他の地紋５１３、５１５に対応する画素は含まれていない。図示しないが、第１斜め細線候補画素群及び第２斜め細線候補画素群についても同様に、各細線により形成された地紋に対応する画素が含まれ、文字５１１、罫線５１２又は他の地紋に対応する画素は含まれない。各細線候補画素群には、各細線により形成された地紋と文字５１１又は罫線５１２とが重なる部分に対応する画素も含まれていない。
　なお、検出部２２４は、抽出した画素群において、相互に隣接する二つの画素の内、中央側の画素の階調値が外側の画素の階調値より大きい場合、その画素群を細線候補画素群として抽出しなくてもよい。即ち、グラフ７５０に示す例において、仮に、画素群Ｐ-1、Ｐ0、Ｐ+1の内、中央側の画素Ｐ0の階調値が外側の画素Ｐ-1又はＰ+1の階調値より大きい場合、検出部２２４は、画素群Ｐ-1、Ｐ0、Ｐ+1を細線候補画素群として抽出しない。上記したように、入力画像内で、細線７０１及び周囲領域７０２の階調値は、細線７０１の中心位置から外側に向けて徐々に高くなっていく。検出部２２４は、中央側の画素の階調値が外側の画素の階調値より大きい画素群を細線候補画素群として抽出しないことにより、細線以外の模様等を細線候補として誤って抽出することを抑制できる。
　また、検出部２２４は、画素群として抽出した画素の階調値が第２閾値Ｔ２未満である場合、その画素群を細線候補画素群として抽出しなくてもよい。第２閾値Ｔ２は、閾値Ｔ１より小さい値（例えば９５）に設定される。これにより、検出部２２４は、幅が細く且つ濃い（輝度が低い）罫線を細線候補として誤って抽出することを抑制できる。
　次に、検出部２２４は、多値画像から抽出した細線候補画素群の内、所定方向Ｄ２と直交する方向Ｄ１、即ち各細線の延伸方向に連続する画素数が所定数未満である細線候補画素群をノイズとして除去する（ステップＳ２０５）。所定数は、検出すべき細線の長さに応じて予め設定され、例えば６に設定される。
　検出部２２４は、抽出した水平細線候補画素群から、水平方向に連続する画素数が所定数未満である水平細線候補画素群を除去する。同様に、検出部２２４は、抽出した垂直細線候補画素群から、垂直方向に連続する画素数が所定数未満である垂直細線候補画素群を除去する。また、検出部２２４は、抽出した第１斜め細線候補画素群から、第１斜め方向に連続する画素数が所定数未満である第１斜め細線候補画素群を除去する。また、検出部２２４は、抽出した第２斜め細線候補画素群から、第２斜め方向に連続する画素数が所定数未満である第２斜め細線候補画素群を除去する。
　図９Ａは、ノイズが除去された水平細線候補画素群を有効画素とする画像９００の一例を示す模式図であり、図９Ｂは、ノイズが除去された垂直細線候補画素群を有効画素とする画像９１０の一例を示す模式図である。
　図９Ａに示すように、画像９００内の有効画素、即ちノイズが除去された水平細線候補画素群には、水平細線により形成された地紋５１３に対応する画素９０３のみが含まれている。同様に、図９Ｂに示すように、画像９１０内の有効画素、即ちノイズが除去された垂直細線候補画素群には、垂直細線により形成された地紋５１４に対応する画素９０４のみが含まれている。図示しないが、ノイズが除去された第１斜め細線候補画素群及び第２斜め細線候補画素群についても同様に、各細線により形成された地紋に対応する画素のみが含まれる。
　次に、検出部２２４は、抽出した各細線候補画素群がそれぞれ含まれる細線領域を特定する（ステップＳ２０６）。各細線領域は、検出部２２４が検出する各細線が含まれる領域である。
　まず、検出部２２４は、水平細線候補画素群、垂直細線候補画素群、第１斜め細線候補画素群及び第２斜め細線候補画素群のそれぞれについて、各細線候補画素群を有効画素とし、他の画素を無効画素とする細線二値画像を生成する。次に、検出部２２４は、各細線二値画像について、各細線二値画像内の各画素から第１距離内に有効画素が存在する場合、その画素を有効画素に置換することにより、有効画素を膨張させた細線膨張画像を生成する。第１距離は、検出すべき複数の細線の配置間隔に応じて予め設定され、２以上の値（例えば１０）に設定される。即ち、各細線膨張画像では、第１距離内に存在する複数の細線が結合される。
　次に、検出部２２４は、各細線膨張画像について、各細線膨張画像内の各画素から第２距離内に無効画素が存在する場合、その画素を無効画素に置換することにより、有効画素を収縮させた細線収縮画像を生成する。第２距離は、第１距離より第３距離（例えば１）だけ大きい値に設定される。即ち、各細線収縮画像では、元の細線二値画像内において、細線の延伸方向と直交する方向の第１距離内に他の細線が存在していない単一の細線が除去される。次に、検出部２２４は、各細線収縮画像について、各細線収縮画像内の各画素から第３距離内に有効画素が存在する場合、その画素を有効画素に置換することにより、有効画素を膨張させて細線領域画像を生成する。この膨張処理は、膨張処理と収縮処理の次数を同一にするために実行される。
　次に、検出部２２４は、各細線領域画像内の有効画素に対応する多値画像内の画素の領域を細線領域として特定する。検出部２２４は、水平細線候補画素群、垂直細線候補画素群、第１斜め細線候補画素群及び第２斜め細線候補画素群のそれぞれについて、水平細線領域、垂直細線領域、第１斜め細線領域及び第２斜め細線領域を特定する。
　図１０Ａは、水平細線について生成された細線領域画像１０００の一例を示す模式図である。
　図１０Ａに示すように、細線領域画像１０００内の有効画素１００３（即ち、水平細線領域）には、各水平細線及び各水平細線の間に存在する背景に対応する領域が含まれ、文字、罫線、他の地紋等は除去されている。図示しないが、垂直細線、第１斜め細線及び第２斜め細線について生成された各細線領域画像についても同様に、各細線及び各細線の間に存在する背景に対応する領域が含まれ、文字、罫線、他の地紋等は除去される。
　次に、検出部２２４は、多値画像から細線を検出する（ステップＳ２０７）。検出部２２４は、多値画像から抽出した水平細線候補画素群の内、水平細線領域内に位置する水平細線候補画素群を水平細線として検出し、垂直細線候補画素群の内、垂直細線領域内に位置する垂直細線候補画素群を垂直細線として検出する。また、検出部２２４は、第１斜め細線候補画素群の内、第１斜め細線領域内に位置する第１斜め細線候補画素群を第１斜め細線として検出し、第２斜め細線候補画素群の内、第２斜め細線領域内に位置する第２斜め細線候補画素群を第２斜め細線として検出する。
　検出部２２４は、ステップＳ２０５において、各細線候補画素群から、各細線の延伸方向に連続する画素数が所定数未満である細線候補画素群をノイズとして除去している。したがって、検出部２２４は、多値画像から所定方向Ｄ２について抽出した各細線候補画素群の内、所定方向Ｄ２と直交する方向Ｄ１（各細線の延伸方向）に所定数以上連続する細線候補画素群を細線として検出する。
　また、検出部２２４は、ステップＳ２０６において、細線の延伸方向と直交する方向の第１距離内に他の細線が存在していない単一の細線が除去されるように各細線領域を特定している。したがって、検出部２２４は、多値画像から所定方向Ｄ２について抽出した各細線候補画素群の内、所定方向Ｄ２において所定距離内に他の細線候補画素群が存在する細線候補画素群に限り細線として検出する。
　図１０Ｂは、検出された水平細線に対応する画素を有効画素とする画像１０１０の一例を示す模式図である。
　図１０Ｂに示すように、画像１０１０の有効画素、即ち検出された水平細線には、水平細線により形成された地紋５１３に対応する画素１０１３が含まれ、文字５１１、罫線５１２又は他の地紋５１４、５１５に対応する画素は含まれていない。図示しないが、垂直細線、第１斜め細線及び第２斜め細線についても同様に、各細線に対応する画素には、各細線により形成された地紋に対応する画素が含まれ、文字６０１、罫線６０２又は他の地紋に対応する画素は含まれない。また、各細線に対応する画素には、各細線により形成された地紋と文字５１１又は罫線５１２とが重なっている画素も含まれていない。
　次に、検出部２２４は、二値画像からドット候補画素群を抽出する（ステップＳ２０８）。検出部２２４は、二値画像内で相互に隣接する黒色画素をラベリングにより連結した連結領域を抽出し、二値画像内の黒色画素を連結した連結領域の内、画素数が所定サイズ以下である連結領域をドット候補画素群として抽出する。所定サイズは、検出すべきドットの大きさに応じて予め設定され、例えば４画素に設定される。
　図１１Ａは、ドット候補画素群を有効画素とする画像１１００の一例を示す模式図である。
　図１１Ａに示すように、画像１１００内のドット候補画素群には、ドットにより形成された地紋６０５に対応する画素１１０５が含まれ、文字６０１、罫線６０２又は他の地紋６０３、６０４に対応する画素は含まれていない。ドット候補画素群には、ドットにより形成された地紋６０５と文字６０１又は罫線６０２とが重なる部分に対応する画素も含まれていない。
　次に、検出部２２４は、抽出したドット候補画素群が含まれるドット領域を特定する（ステップＳ２０９）。ドット領域は、検出部２２４が検出するドットが含まれる領域である。
　まず、検出部２２４は、各ドット候補画素群を有効画素とし、他の画素を無効画素とするドット二値画像を生成する。次に、検出部２２４は、ドット二値画像において、各画素から第１距離内に有効画素が存在する場合、その画素を有効画素に置換することにより、有効画素を膨張させたドット膨張画像を生成する。第１距離は、検出すべき複数のドットの配置間隔に応じて予め設定され、２以上の値（例えば１０）に設定される。即ち、各ドット膨張画像では、第１距離内に存在する複数のドットが結合される。
　次に、検出部２２４は、ドット膨張画像において、各画素から第２距離内に無効画素が存在する場合、その画素を無効画素に置換することにより、有効画素を収縮させたドット収縮画像を生成する。第２距離は、第１距離より第３距離（例えば１）だけ大きい値に設定される。即ち、ドット収縮画像では、元のドット二値画像において、第１距離内に他のドットが存在していない単一のドットが除去される。次に、検出部２２４は、ドット収縮画像において、各画素から第３距離内に有効画素が存在する場合、その画素を有効画素に置換することにより、有効画素を膨張させてドット領域画像を生成する。この膨張処理は、膨張処理と収縮処理の次数を同一にするために実行される。
　次に、検出部２２４は、ドット領域画像内の有効画素に対応する二値画像内の画素の領域をドット領域として特定する。
　図１１Ｂは、ドット領域画像１１１０の一例を示す模式図である。
　図１１Ｂに示すように、ドット領域画像１１１０内の有効画素、即ちドット領域には、各ドット及び各ドットの間に存在する背景に対応する領域１１１５が含まれ、文字、罫線、他の地紋等は除去されている。
　次に、検出部２２４は、二値画像からドットを検出する（ステップＳ２１０）。検出部２２４は、二値画像から抽出したドット候補画素群の内、ドット領域内に位置するドット候補画素群をドットとして検出する。
　検出部２２４は、ステップＳ２０９において、第１距離内に他のドットが存在していない単一のドットが除去されるようにドット領域を特定している。これにより、検出部２２４は、二値画像から抽出したドット候補画素群の内、第２所定距離内に他のドット候補画素群が存在するドット候補画素群をドットとして検出する。
　図１２は、検出されたドットに対応する画素を有効画素とする画像１２００の一例を示す模式図である。
　図１２に示すように、画像１２００内の有効画素、即ち検出されたドットには、ドットにより形成された地紋６０５に対応する画素１２０５が含まれ、文字６０１、罫線６０２又は他の地紋６０３、６０４に対応する画素は含まれていない。また、検出されたドットに対応する画素には、ドットにより形成された地紋６０３と文字６０１又は罫線６０２とが重なっている画素も含まれていない。
　次に、地紋除去画像生成部２２５は、多値画像から検出された細線及び二値画像から検出されたドットに基づいて、二値画像から、細線及びドットを含む地紋を除去した地紋除去画像を生成する（ステップＳ２１１）。地紋除去画像生成部２２５は、二値画像内の黒色画素の内、多値画像から検出された細線及び二値画像から検出されたドットに対応する画素を白色画素に置換することにより、地紋除去画像を生成する。
　さらに、地紋除去画像生成部２２５は、多値画像内の各画素の内、二値画像内で白色画素に置換した黒色画素に対応する画素の階調値を所定値に置換した多値地紋除去画像を生成してもよい。所定値は、例えば多値画像内の背景領域の階調値の平均値である。
　また、地紋除去画像生成部２２５は、二値画像内の黒色画素の内、各細線領域に対応し且つ検出された各細線に対応しないドットに対応する画素を白色画素に置換しなくてもよい。細線に対応する画素がドットとして検出される可能性があるが、このような画素をドットとみなして除去すると、地紋除去画像生成部２２５は、文字又は罫線等のコンテンツを誤って除去してしまう可能性がある。そこで、地紋除去画像生成部２２５は、二値画像内の黒色画素の内、多値画像内において各細線領域に対応する画素についてはドットとして除去しない。即ち、地紋除去画像生成部２２５は、仮にその画素が細線として検出されていない場合、その画素を除去しない。これにより、地紋除去画像生成部２２５は、地紋以外のコンテンツを誤って除去してしまうことを抑制できる。
　図１３は、地紋除去画像１３００の一例を示す模式図である。
　図１３に示すように、地紋除去画像１３００では、二値画像６００に示されていた文字６０１及び罫線６０２のみが残り、地紋６０３～６０５は良好に除去されている。
　なお、地紋除去画像生成部２２５は、生成した地紋除去画像内で相互に隣接する黒色画素をラベリングにより連結した連結領域を抽出し、連結領域の内、画素数が第２所定サイズ以下である連結領域をノイズとして除去してもよい。第２所定サイズは、所定サイズより小さいサイズ（例えば３画素）に予め設定される。
　次に、文字認識部２２６は、公知のＯＣＲ（Optical Character Recognition）技術を利用して、生成された地紋除去画像から文字を検出する（ステップＳ２１２）。
　次に、出力制御部２２７は、検出された文字を表示装置２０３に表示し（ステップＳ２１３）、一連のステップを終了する。なお、出力制御部２２７は、検出された文字に代えて又は加えて、検出部２２４により検出された地紋の種類（水平細線、垂直細線、第１斜め細線、第２斜め細線又はドット）、地紋除去画像又は多値地紋除去画像を表示装置２０３に表示してもよい。また、出力制御部２２７は、検出された文字、地紋の種類、地紋除去画像又は多値地紋除去画像を不図示の通信装置を介して不図示のサーバ等に送信してもよい。このように、出力制御部２２７は、地紋除去画像又は地紋除去画像を用いて生成した情報を出力する。
　なお、検出部２２４は、水平細線、垂直細線、第１斜め細線及び第２斜め細線の内の少なくとも一つの種類の細線を検出し、他の種類の細線の検出処理を省略してもよい。また、検出部２２４は、細線及びドットの内の少なくとも一つの種類の地紋を検出し、他の種類の地紋の検出処理を省略してもよい。その場合、情報処理装置２００は、入力装置２０２を用いて利用者から、検出する地紋の種類の指定を受け付けてもよい。検出部２２４は、受け付けた種類の地紋のみを検出し、地紋除去画像生成部２２５は、検出された種類の地紋に基づいて、二値画像から、検出された種類の地紋を除去した地紋除去画像を生成する。情報処理装置２００は、対象とする種類の地紋以外の地紋を検出しないため、地紋検出処理の処理時間を短縮しつつ、地紋の誤検出を抑制することが可能となる。
　また、検出部２２４は、ステップＳ２０５の処理を省略し、ステップＳ２０４で抽出した細線候補画素群から細線を検出してもよい。また、検出部２２４は、ステップＳ２０６の処理を省略し、抽出した細線候補画素群をそのまま細線として検出してもよい。また、検出部２２４は、ステップＳ２０９の処理を省略し、抽出したドット候補画素群をそのままドットとして検出してもよい。これにより、情報処理装置２００は、地紋検出処理の処理時間を短縮することが可能となる。
　図１４Ａ、図１４Ｂ、図１４Ｃ、図１４Ｄは、多値画像から地紋を検出することの意義について説明するための模式図である。
　図１４Ａは、入力画像を所定閾値で二値化した二値画像１４００を示す。二値画像１４００には、太い細線１４０１及び途切れた細線１４０２等が含まれており、文字１４０３又は罫線１４０４を各細線と正しく区別することは困難である。
　図１４Ｂは、入力画像を所定閾値より小さい閾値で二値化した二値画像１４１０を示す。二値画像１４１０では、途切れた細線１４１２の数は減少しているが、太い細線１４１１がより太くなってしまい、文字１４１３又は罫線１４１４を各細線と正しく区別することは困難である。また、二値画像１４１０では、文字１４１３自体も濃くなってしまい、そもそも文字１４１３を正しく認識することが困難になる。
　図１４Ｃは、入力画像を所定閾値より大きい閾値で二値化した二値画像１４２０を示す。二値画像１４２０では、ほとんどの細線１４２２が途切れた状態となり、文字１４２３又は罫線１４２４を各細線と正しく区別することは困難である。また、二値画像１４１０では、文字１４２３自体も薄くなってしまい、そもそも文字１４２３を正しく認識することが困難になる。
　このように、閾値をどのように調整して二値画像を生成しても、細線のサイズは安定せず、二値画像から細線を精度良く検出することは困難である。
　図１４Ｄは、多値画像から検出した細線を示す画像１４３０を示す。画像１４３０において、細線１４３１は、細線及びその周囲領域の階調値（多値）に基づいて詳細に解析され、良好に抽出されている。特に、画像１４３０において、文字に対応する領域１４３２及び罫線に対応する領域１４３３では細線が検出されておらず、細線１４３１と文字又は罫線とが良好に区別されている。
　以上詳述したように、図４に示したフローチャートに従って動作することによって、情報処理装置２００は、多値画像から細線を地紋として検出し、検出した地紋を対応する二値画像から除去する。情報処理装置２００は、多値画像を、細線及びその周囲領域の階調値（多値）に基づいて詳細に解析することにより、細線を文字又は罫線と区別して精度良く検出することが可能となった。したがって、情報処理装置２００は、地紋が含まれる画像から地紋をより精度良く除去することが可能となった。
　また、本実施形態に係る細線検出処理により、様々な種類の細線が印刷された画像から細線を検出する実験を行った。その結果、情報処理装置２００は、特定の方向に延伸する細線を対象として検出処理を実行した場合に、その特定の方向に対して±２５°の方向に延伸する細線を検出することができた。したがって、検出部２２４は、水平細線、垂直細線、第１斜め細線及び第２斜め細線の全ての細線を検出することにより、全ての方向に延伸する細線を検出することが可能となる。
　また、情報処理装置２００は、検出部２２４により検出された地紋の種類（水平細線、垂直細線、第１斜め細線、第２斜め細線又はドット）に基づいて、異種帳票の混在を検出すること、又は、異種帳票を同種帳票毎に分類することが可能となる。
　図１５は、他の実施形態に係る情報処理装置における処理装置２３０の概略構成を示すブロック図である。
　処理装置２３０は、ＣＰＵ２２０の代わりに、認識処理を実行する。処理装置２３０は、取得回路２３１、多値画像生成回路２３２、二値画像生成回路２３３、検出回路２３４、地紋除去画像生成回路２３５、文字認識回路２３６及び出力制御回路２３７等を有する。
　取得回路２３１は、取得部の一例であり、取得部２２１と同様の機能を有する。取得回路２３１は、入力画像を第２インタフェース装置２０１を介して画像読取装置１００から取得し、第２記憶装置２１０に保存する。
　多値画像生成回路２３２は、多値画像生成部の一例であり、多値画像生成部２２２と同様の機能を有する。多値画像生成回路２３２は、第２記憶装置２１０から入力画像を読み出し、多値画像を生成し、第２記憶装置２１０に保存する。
　二値画像生成回路２３３は、二値画像生成部の一例であり、二値画像生成部２２３と同様の機能を有する。二値画像生成回路２３３は、第２記憶装置２１０から入力画像を読み出し、二値画像を生成し、第２記憶装置２１０に保存する。
　検出回路２３４は、検出部の一例であり、検出部２２４と同様の機能を有する。検出回路２３４は、第２記憶装置２１０から多値画像を読み出し、多値画像から細線及びドットを検出し、検出結果を第２記憶装置２１０に保存する。
　地紋除去画像生成回路２３５は、地紋除去画像生成部の一例であり、地紋除去画像生成部２２５と同様の機能を有する。地紋除去画像生成回路２３５は、第２記憶装置２１０から二値画像と、細線及びドットの検出結果とを読み出し、地紋除去画像を生成し、第２記憶装置２１０に保存する。
　文字認識回路２３６は、文字認識部の一例であり、文字認識部２２６と同様の機能を有する。文字認識回路２３６は、第２記憶装置２１０から地紋除去画像を読み出し、地紋除去画像から文字を検出し、検出結果を第２記憶装置２１０に保存する。
　出力制御回路２３７は、出力制御部の一例であり、出力制御部２２７と同様の機能を有する。出力制御回路２３７は、第２記憶装置２１０から文字の検出結果、印鑑除去画像又は多値印鑑除去画像を読み出し、読み出した情報を表示装置２０３に出力する。
　以上詳述したように、情報処理装置は、処理装置２３０を用いる場合も、細線を含む地紋が含まれる画像から地紋をより精度良く除去することが可能となった。
　以上、好適な実施形態について説明してきたが、実施形態はこれらに限定されない。例えば、画像読取装置１００と情報処理装置２００の機能分担は、図１に示す画像処理システム１の例に限られず、画像読取装置１００及び情報処理装置２００の各部を画像読取装置１００と情報処理装置２００の何れに配置するかは適宜変更可能である。または、画像読取装置１００と情報処理装置２００を一つの装置で構成してもよい。
　例えば、画像読取装置１００の第１記憶装置１１０が、情報処理装置２００の第２記憶装置２１０に記憶された各プログラムを記憶し、画像読取装置１００の第１ＣＰＵ１２０が、情報処理装置２００の第２ＣＰＵ１２０により実現される各部として動作してもよい。また、画像読取装置１００が、情報処理装置２００の処理装置２３０と同様の処理装置を有してもよい。
　その場合、画像読取装置１００は表示装置２０３と同様の表示装置を有する。認識処理は画像読取装置１００で実行されるため、ステップＳ１０２、Ｓ２０１の入力画像の送受信処理は省略される。ステップＳ２０２～Ｓ２１３の各処理は、画像読取装置１００の第１ＣＰＵ１２０又は処理装置によって実行される。これらの処理の動作は、情報処理装置２００の第２ＣＰＵ２２０又は処理装置２３０によって実行される場合と同様である。
　また、画像処理システム１において、第１インタフェース装置１０１と第２インタフェース装置２０１は、インターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等のネットワークを介して接続してもよい。その場合、第１インタフェース装置１０１及び第２インタフェース装置２０１に、接続するネットワークの通信インタフェース回路を備える。また、その場合、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置を分散して配置し、各情報処理装置が協働して、認識処理等を分担するようにしてもよい。これにより、画像処理システム１は、複数の画像読取装置が読み取った入力画像について、効率よく認識処理を実行できる。
　１　画像処理システム
　２００　　情報処理装置
　２２１　　取得部
　２２２　　多値画像生成部
　２２３　　二値画像生成部
　２２４　　検出部
　２２５　　地紋除去画像生成部
　２２７　　出力制御部

Claims (10)

  1. 　入力画像を取得する取得部と、
    　前記入力画像から多値画像を生成する多値画像生成部と、
    　前記入力画像を二値化した二値画像を生成する二値画像生成部と、
    　前記多値画像から、所定の画素数以下の幅を有する細線を検出する検出部と、
    　前記多値画像から検出された細線に基づいて、前記二値画像から細線を除去した地紋除去画像を生成する地紋除去画像生成部と、
    　前記地紋除去画像又は前記地紋除去画像を用いて生成した情報を出力する出力部と、
    　を有することを特徴とする画像処理装置。
  2. 　前記検出部は、
    　　前記多値画像において、階調値が閾値未満である画素が所定方向に所定個数連続した画素群であり、且つ、当該画素群に前記所定方向に隣接する二つの画素の階調値が前記閾値以上である画素群を細線候補画素群として抽出し、
    　　前記抽出した細線候補画素群の内、前記所定方向と直交する方向に所定数以上連続する細線候補画素群を細線として検出する、請求項１に記載の画像処理装置。
  3. 　前記検出部は、前記所定方向において所定距離内に他の細線候補画素群が存在する細線候補画素群に限り細線として検出する、請求項２に記載の画像処理装置。
  4. 　前記検出部は、前記画素群において、相互に隣接する二つの画素の内、中央側の画素の階調値が外側の画素の階調値より大きい場合、当該画素群を細線候補画素群として抽出しない、請求項２または３に記載の画像処理装置。
  5. 　前記検出部は、さらに、前記二値画像からドットを検出し、
    　前記地紋除去画像生成部は、さらに、前記二値画像から前記検出されたドットを除去することにより、前記地紋除去画像を生成する、請求項１～４の何れか一項に記載の画像処理装置。
  6. 　前記検出部は、
    　　前記二値画像内の黒色画素を連結した連結領域の内、所定サイズ以下である連結領域をドット候補画素群として抽出し、
    　　前記抽出したドット候補画素群の内、第２所定距離内に他のドット候補画素群が存在するドット候補画素群をドットとして検出する、請求項５に記載の画像処理装置。
  7. 　前記地紋除去画像生成部は、前記二値画像内の黒色画素の内、前記検出された細線又はドットに対応する画素を白色画素に置換することにより、前記地紋除去画像を生成する、請求項５または６に記載の画像処理装置。
  8. 　前記検出部は、さらに、前記検出した細線が含まれる細線領域を特定し、
    　前記地紋除去画像生成部は、前記二値画像内の黒色画素の内、前記細線領域に対応し且つ前記検出された細線に対応しないドットに対応する画素を白色画素に置換しない、請求項７に記載の画像処理装置。
  9. 　出力部を有する画像処理装置の制御方法であって、前記画像処理装置が、
    　入力画像を取得し、
    　前記入力画像から多値画像を生成し、
    　前記入力画像を二値化した二値画像を生成し、
    　前記多値画像から、所定の画素数以下の幅を有する細線を検出し、
    　前記多値画像から検出された細線に基づいて、前記二値画像から細線を除去した地紋除去画像を生成し、
    　前記地紋除去画像又は前記地紋除去画像を用いて生成した情報を前記出力部から出力する、
    　ことを含むことを特徴とする制御方法。
  10. 　出力部を有するコンピュータの制御プログラムであって、
    　入力画像を取得し、
    　前記入力画像から多値画像を生成し、
    　前記入力画像を二値化した二値画像を生成し、
    　前記多値画像から、所定の画素数以下の幅を有する細線を検出し、
    　前記多値画像から検出された細線に基づいて、前記二値画像から細線を除去した地紋除去画像を生成し、
    　前記地紋除去画像又は前記地紋除去画像を用いて生成した情報を前記出力部から出力する、
    　ことを前記コンピュータに実行させることを特徴とする制御プログラム。
PCT/JP2018/036484 2018-09-28 2018-09-28 画像処理装置、制御方法及び制御プログラム WO2020065980A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/058,577 US11115560B2 (en) 2018-09-28 2018-09-28 Image processing device, control method and control program for more accurately removing a background pattern from an image
JP2020547848A JP6970834B2 (ja) 2018-09-28 2018-09-28 画像処理装置、制御方法及び制御プログラム
PCT/JP2018/036484 WO2020065980A1 (ja) 2018-09-28 2018-09-28 画像処理装置、制御方法及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/036484 WO2020065980A1 (ja) 2018-09-28 2018-09-28 画像処理装置、制御方法及び制御プログラム

Publications (1)

Publication Number Publication Date
WO2020065980A1 true WO2020065980A1 (ja) 2020-04-02

Family

ID=69951260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/036484 WO2020065980A1 (ja) 2018-09-28 2018-09-28 画像処理装置、制御方法及び制御プログラム

Country Status (3)

Country Link
US (1) US11115560B2 (ja)
JP (1) JP6970834B2 (ja)
WO (1) WO2020065980A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7433887B2 (ja) * 2019-12-23 2024-02-20 キヤノン株式会社 画像を処理するための装置、プログラム、画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143607A (ja) * 1996-11-13 1998-05-29 Oki Electric Ind Co Ltd 画像処理装置
JP2005301713A (ja) * 2004-04-13 2005-10-27 Oki Electric Ind Co Ltd 帳票画像の地紋除去方法及び装置
JP2012248948A (ja) * 2011-05-25 2012-12-13 Oki Electric Ind Co Ltd 帳票確認支援装置、方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001111816A (ja) 1999-10-14 2001-04-20 Hitachi Ltd 文書画像処理装置
JP6554352B2 (ja) 2015-07-22 2019-07-31 株式会社富士通コンピュータテクノロジーズ 帳票判別プログラム、帳票判別方法及び帳票判別装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143607A (ja) * 1996-11-13 1998-05-29 Oki Electric Ind Co Ltd 画像処理装置
JP2005301713A (ja) * 2004-04-13 2005-10-27 Oki Electric Ind Co Ltd 帳票画像の地紋除去方法及び装置
JP2012248948A (ja) * 2011-05-25 2012-12-13 Oki Electric Ind Co Ltd 帳票確認支援装置、方法及びプログラム

Also Published As

Publication number Publication date
JP6970834B2 (ja) 2021-11-24
US20210127032A1 (en) 2021-04-29
JPWO2020065980A1 (ja) 2021-03-18
US11115560B2 (en) 2021-09-07

Similar Documents

Publication Publication Date Title
JP5701182B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP5875637B2 (ja) 画像処理装置、画像処理方法
JP6970835B2 (ja) 画像処理装置、制御方法及び制御プログラム
US8861854B2 (en) Character recognition apparatus, method, and computer-readable, non-transitory medium
JP5701181B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP2008042325A (ja) 電子ファイルの生成においてその生成に係る入力データを処理するための方法、装置、およびコンピュータプログラム
US10970579B2 (en) Image processing apparatus for placing a character recognition target region at a position of a predetermined region in an image conforming to a predetermined format
US10354352B2 (en) Image processing apparatus, image processing method, and storage medium
JP2013054601A (ja) 画像処理装置及び画像処理プログラム
JP2020061720A (ja) 画像処理装置、制御方法及び制御プログラム
JP2011008549A (ja) 画像処理装置、画像読取装置、複合機、画像処理方法、プログラム、記録媒体
JP2018139457A (ja) 画像処理装置、画像処理の制御方法、及びプログラム
JP2010056827A (ja) 画像処理装置および画像処理プログラム
WO2020065980A1 (ja) 画像処理装置、制御方法及び制御プログラム
JP7022847B2 (ja) 画像処理装置、制御方法及び制御プログラム
JP2021149452A (ja) 画像処理装置、制御方法及び制御プログラム
JP7106672B2 (ja) 画像処理装置、制御方法及び制御プログラム
US11288536B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US10931852B2 (en) Image processing apparatus, image processing method, and storage medium, with determining whether or not character clipping rectangle determined to be non-character region is character region
JP2010287178A (ja) 画像処理装置、画像読取装置、複合機、画像処理方法、プログラム、記録媒体
WO2020157938A1 (ja) 画像処理装置、制御方法及び制御プログラム
WO2020157937A1 (ja) 画像処理装置、制御方法及び制御プログラム
US9756200B2 (en) Image processing apparatus with an improved table image detecting unit
JP2010218106A (ja) 画像処理装置、画像処理方法及びプログラム
JP2011070327A (ja) 画像属性判定装置、画像属性判定方法および画像属性判定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18935983

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020547848

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18935983

Country of ref document: EP

Kind code of ref document: A1