WO2024085229A1 - 画像処理装置、画像処理システム、情報コード検索方法及び情報コード検索プログラム - Google Patents

画像処理装置、画像処理システム、情報コード検索方法及び情報コード検索プログラム Download PDF

Info

Publication number
WO2024085229A1
WO2024085229A1 PCT/JP2023/037873 JP2023037873W WO2024085229A1 WO 2024085229 A1 WO2024085229 A1 WO 2024085229A1 JP 2023037873 W JP2023037873 W JP 2023037873W WO 2024085229 A1 WO2024085229 A1 WO 2024085229A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
information code
area
pixel
region
Prior art date
Application number
PCT/JP2023/037873
Other languages
English (en)
French (fr)
Inventor
知美 栗栖
英嗣 長谷部
Original Assignee
グローリー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by グローリー株式会社 filed Critical グローリー株式会社
Publication of WO2024085229A1 publication Critical patent/WO2024085229A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light

Definitions

  • Two-dimensional codes have become increasingly common in recent years. When reading a two-dimensional code, it is necessary to read the two-dimensional array data of the entire two-dimensional code, and image reading devices such as digital cameras and image scanners are used as reading devices.
  • QR Codes registered trademark
  • e-TAX local tax portal system
  • Patent Document 1 discloses a code image processing method including a block selection process for selecting image data in rectangular block units, a block discrimination process for determining whether the selected blocks satisfy predetermined conditions, a code discrimination process for determining the type and characteristics of the code contained in the blocks that satisfy the predetermined conditions, a code recognition process for recognizing the code whose type and characteristics have been determined, and a block scanning control process for controlling the procedure for block scanning based on the code recognition results.
  • the code image processing method in Patent Document 1 is described as making it possible to quickly and reliably search for and recognize the entire code, even when image data contains multiple codes, because it does not stop at recognizing one code, but skips the code discrimination process and code recognition process in the recognized code area.
  • Patent document 2 discloses an image processing device that includes an information code search means for searching for and analyzing information codes present in image data, and a control means for controlling the information code search means, in which the control means causes the information code search means to search for information codes for a number of specific areas of the image data for each priority order, stores the areas in which information codes are detected as historical information, and determines the priorities of the multiple specific areas based on the historical information.
  • the priority of multiple specific areas is determined based on historical information of the areas in which the information code was detected, for example, the number of times the information code was detected in each area.Therefore, when searching for an information code recorded on a document, there is a high probability that the specific area where the information code is recorded will be searched first, thereby reducing the number of searches.
  • image data is first divided into rectangular blocks to detect blocks in which the ratio of black and white pixels falls within a predetermined range, and then code determination and code recognition are performed on the blocks within the predetermined range.
  • the method described in Patent Document 1 executes the process of determining blocks predicted to contain codes separately from the process of code determination and code recognition, making it possible to read codes efficiently.
  • Patent Document 1 has the following problems.
  • image data is divided into rectangular blocks, and whether or not an information code is included in a block is determined based on whether or not the ratio of black and white pixels in the block is within a predetermined range. Therefore, if a small information code is printed in the area of a block, it may be determined that the block does not contain an information code. In this case, the method described in Patent Document 1 has the problem that the information code cannot be searched for.
  • the priority of multiple specific areas is determined based on the number of times an information code is detected.
  • the size of the document is not constant and the position of the information code is also not constant, problems arise in that the priority of the specific areas cannot be determined, or even if the priority of the specific areas is determined, there are cases in which no information code exists in the specific areas, which makes it difficult to search for information codes efficiently.
  • This disclosure has been made in consideration of the above problems, and aims to provide an image processing device, an image processing system, an information code search method, and an information code search program that can quickly search for and analyze information codes in image data acquired from documents in which the position and size of the information code have not been specified in advance.
  • an image processing device includes an image data reduction means for reducing image data to produce reduced image data, a mid-tone area identification means for identifying a first mid-tone area having pixel values of a predetermined mid-tone from the reduced image data, an information code search means for searching for an information code in an area of the image data corresponding to at least a portion of the first mid-tone area, and an information code analysis means for analyzing the information code.
  • the image data reduction means may calculate an average value of pixel values for each predetermined region of the image data, and generate image data having the calculated average value as the reduced image data.
  • the mid-tone region identification means may identify an area of the reduced image data having pixel values within a predetermined first pixel value range as the first mid-tone region.
  • the first mid-tone region identification means may ternary-value the reduced image data into black, white, and gray pixel values, and identify the region converted into gray pixel values as the first mid-tone region.
  • the mid-tone area identification means may identify an area having pixel values within a predetermined second pixel value range different from the first pixel value range as a second mid-tone area, and the information code search means may perform a search for the information code in the area of the image data corresponding to at least a portion of the second mid-tone area.
  • the image processing device may further include a mid-tone area expansion means for expanding at least a portion of the first mid-tone area, and the information code search means may execute a search for the information code for an area of the image data corresponding to the area expanded by the mid-tone area expansion means.
  • the image processing system includes an image data reduction means for reducing image data to produce reduced image data, a mid-tone area identification means for identifying a first mid-tone area having pixel values of a predetermined mid-tone from the reduced image data, an information code search means for searching for an information code in an area of the image data corresponding to at least a portion of the first mid-tone area, and an information code analysis means for analyzing the information code.
  • an information code search method is an information code search method in an information code search system, and includes an image data reduction step of reducing image data to obtain reduced image data, a mid-tone area identification step of identifying a first mid-tone area having pixel values of a predetermined mid-tone from the reduced image data, an information code search step of searching for an information code in an area of the image data corresponding to at least a portion of the first mid-tone area, and an information code analysis step of analyzing the information code.
  • the image data reduction step may include a step of calculating an average value of pixel values for each predetermined region of the image data, and generating image data having the calculated average value as the reduced image data.
  • the mid-tone area identification step may include a step of identifying an area of the reduced image data having pixel values within a predetermined first pixel value range as the first mid-tone area.
  • the mid-tone area identification step may include a step of tri-leveling the reduced image data into black, white, and gray pixel values, and identifying the area converted to gray pixel values as the first mid-tone area.
  • the method may further include a step of identifying an area having pixel values within a predetermined second pixel value range different from the first pixel value range as a second mid-tone area, and a step of performing a search for the information code in the area of the image data corresponding to at least a portion of the second mid-tone area.
  • the information code search method described in any one of (8) to (12) above may further include an expansion step of expanding at least a portion of the first mid-tone region, and the information code search step may perform a search for the information code in a region of the image data that corresponds to the region expanded in the expansion step.
  • the information code search program causes an image processing device to execute an image data reduction process for reducing image data to produce reduced image data, a mid-tone area identification process for identifying a first mid-tone area having pixel values of a predetermined mid-tone from the reduced image data, an information code search process for searching for an information code in an area of the image data corresponding to at least a portion of the first mid-tone area, and an information code analysis process for analyzing the information code.
  • an image processing device an image processing system, an information code search method, and an information code search program that can quickly search for and analyze information codes in image data acquired from documents in which the position and size of the information code have not been specified in advance.
  • FIG. 1 is a block diagram illustrating the configuration of an image processing apparatus according to the first embodiment.
  • FIG. 2 is a flowchart illustrating an example of the operation of the image processing apparatus according to the first embodiment.
  • FIG. 3 is a schematic diagram showing an example of image data of a document on which a QR code is printed.
  • FIG. 4 is a diagram illustrating an example of reduced image data obtained by reducing image data by the image data reducing unit included in the image processing device of the present disclosure.
  • FIG. 5A is a diagram showing an example of an 8 ⁇ 8 pixel region that is a part of image data.
  • FIG. 5B is a diagram showing a portion of reduced image data of 2 ⁇ 2 pixels obtained by reducing the 8 ⁇ 8 pixel area shown in FIG. 5A by 1/16.
  • FIG. 6 is a diagram showing an example of reduced image data in which a first half-tone region has been specified by the half-tone region specifying means included in the image processing device of the present disclosure.
  • FIG. 7 is a diagram showing an example of reduced image data in which a first half-tone region is specified, and image data in which a region corresponding to the first half-tone region is indicated.
  • FIG. 8A is a diagram illustrating an example of image data having a white periphery and including a QR code.
  • FIG. 8B is a schematic diagram of reduced image data obtained by reducing the image data shown in FIG. 8A.
  • FIG. 8C is a chart showing, in a numerical form, the amount of change in pixel value from a pixel at one end to a pixel at the other end of one horizontal row extracted from the reduced image data shown in FIG. 8B.
  • Figure 9 is a chart showing an example of a case where reduced image data contains white, gray, and black pixels, extracting one horizontal row and quantifying the change in pixel value from the pixel at one end to the pixel at the other end.
  • FIG. 10 is a chart showing, in another example of reduced image data when white, gray, and black pixels are present, a horizontal row is extracted and the change in pixel value from the pixel at one end to the pixel at the other end is quantified.
  • FIG. 10 is a chart showing, in another example of reduced image data when white, gray, and black pixels are present, a horizontal row is extracted and the change in pixel value from the pixel at one end to the pixel at the other end is quantified.
  • FIG. 11 is a block diagram for explaining the configuration of the image processing device of the present disclosure, which is a computer incorporating an image data reducing means, a half-tone region specifying means, and an information code searching and analyzing means.
  • FIG. 12 is a block diagram illustrating the configuration of an image processing apparatus according to the second embodiment.
  • FIG. 13 is a flowchart illustrating an example of the operation of the image processing apparatus according to the second embodiment.
  • FIG. 14A is a diagram showing an example of a region in the first half-tone region of the reduced image data that does not correspond to the region in which the QR code is located in the image data.
  • FIG. 14B is a diagram showing an example of a region in the first half-tone region of the reduced image data that does not correspond to the region in which the QR code is located in the image data.
  • FIG. 15 is a block diagram illustrating the configuration of an image processing apparatus according to the third embodiment.
  • FIG. 16 is a flowchart illustrating an example of the operation of the image processing apparatus according to the third embodiment.
  • FIG. 17 is a block diagram illustrating the configuration of an image processing apparatus according to the fourth embodiment.
  • FIG. 18 is a flowchart illustrating an example of the operation of the image processing apparatus according to the fourth embodiment.
  • FIG. 19 is a cross-sectional view showing a schematic example of a form processing device in which an image processing device according to the present disclosure is incorporated.
  • FIG. 1 is a block diagram illustrating the configuration of an image processing apparatus according to the first embodiment.
  • the image processing apparatus 10 comprises an image data reducing means 11, a half-tone region specifying means 12, and an information code searching and analyzing means 13.
  • the image data reducing means 11, the half-tone area specifying means 12, and the information code searching and analyzing means 13 function by executing a program which will be described later.
  • FIG. 2 is a flowchart illustrating an example of the operation of the image processing apparatus according to the first embodiment.
  • the image data reduction means 11 first reduces the image data to generate reduced image data (step S11).
  • the mid-tone area identification means 12 identifies a first mid-tone area having pixel values of a predetermined mid-tone from the reduced image data (step S12).
  • the information code search and analysis means 13 searches and analyzes the information code for an area of the image data that corresponds to at least a portion of the first intermediate gradation area (step S13), and the operation of the image processing device 10 ends.
  • the information code searched for by the image processing device of the present disclosure is not particularly limited as long as it encodes information by combining a predetermined type of cell in a predetermined range, such as a one-dimensional code or a two-dimensional code, and may be, for example, a one-dimensional barcode, a QR code, etc.
  • a predetermined type of cell in a predetermined range such as a one-dimensional code or a two-dimensional code
  • the cells constituting the one-dimensional barcode or QR code are made up of cells of two colors, black and white
  • the information code searched for by the image processing device of the present disclosure may be made up of color cells.
  • the image data reduction means 11 and the mid-tone region identification means 12 are integrated, and the above (step S11) and the above (step S12) may be performed integrally.
  • the information code search and analysis means 13 may search and analyze the information code only for an area of the image data that corresponds to at least a part of the first halftone area. In this case, processing of multiple documents can be speeded up.
  • the information code search-analysis means does not have to be an integrated means, and may be separate means such as an information code search means and an information code analysis means.
  • the information code search and analysis means 13 may search for an information code preferentially in an area of the image data corresponding to at least a part of the first intermediate gradation area, and if the information code cannot be found, search and analyze the information code in the entire image data. At this time, the information code may be searched for in an area having a pixel value exceeding the pixel value (upper limit) of the first intermediate gradation area, and if the information code is still not found, the information code may be searched for in an area having a pixel value less than the pixel value (lower limit) of the first intermediate gradation area.
  • a search for an information code may be performed on an area having pixel values less than the pixel value (lower limit value) of the first mid-tone area, and if the information code is still not found, a search for an information code may be performed on an area having pixel values exceeding the pixel value (upper limit value) of the first mid-tone area.
  • Information codes such as one-dimensional bar codes and two-dimensional codes are created by combining a plurality of types of data cells (for example, two types of data cells, black and white) based on certain rules according to the type of information code.
  • the ratio of the data cell types used for one information code is also determined based on the above rule. Therefore, in image data including an information code, the pixel values of all pixels that make up the information code are averaged to a certain pixel value. Also, the pixel values of pixels that make up a portion of the information code are averaged to a value close to the average pixel value of all pixels that make up the information code.
  • the pixel value of the area of the reduced image data corresponding to the area in the image data in which the information code is located will be a value close to the average pixel value of all pixels that make up the information code. Therefore, in the reduced image data, a pixel having a pixel value close to the average value of the pixel values of all pixels constituting the information code is more likely to be a pixel in which the area where the information code is located is reduced.
  • a pixel having a pixel value far from the average value of the pixel values of all pixels constituting the information code is more likely to be a pixel in which the area where the information code is not located is reduced. That is, by referring to the pixel values of the pixels constituting the reduced image data, it is possible to determine whether or not there is a high possibility that the pixel corresponds to the area in which the information code is located.
  • the average value of the pixel values of all the pixels that make up the information code is a mid-tone pixel value
  • an area in the reduced image data having pixel values close to the mid-tone pixel values is identified as a first mid-tone area, and a search and analysis of the information code is performed on the area of the image data that corresponds to the first mid-tone area, thereby enabling the information code to be searched and analyzed efficiently.
  • the image processing device 10 can quickly search and analyze information codes, using as an example a case in which the information code is a QR code, which is a type of two-dimensional code.
  • FIG. 3 is a schematic diagram showing an example of image data of a document on which a QR code is printed.
  • Image data 20 shown in FIG. 3 is image data acquired from a document on which a QR code is arranged, and includes a QR code 21, ruled lines 22, characters 23, a base 24a, and a background 24b.
  • the method for acquiring image data from a document on which a QR code is placed is not particularly limited, but examples include a method using a digital camera or an image scanner.
  • the image processing device 10 may include an image data acquisition unit for acquiring image data.
  • the image data 20 is usually a grayscale image, but may be a black and white image (two-tone image), an RGB full color image, an RGB monotone image, or the like.
  • the number of gradations is not particularly limited, but may be 256 gradations.
  • the resolution of the image data 20 is not particularly limited.
  • the QR code 21 is an information code that encodes information by combining black cells 21b and white cells 21w.
  • the QR code is designed so that there is a 1:1 ratio of black cells to white cells. Therefore, in the image data 20 shown in FIG. 3, the ratio of the number of pixels constituting the black cells 21b to the number of pixels constituting the white cells 21w is 1:1.
  • FIG. 4 is a diagram illustrating an example of reduced image data obtained by reducing image data by the image data reducing unit included in the image processing device of the present disclosure.
  • the image data reducing means 11 reduces the image data 20 to produce reduced image data 30 as shown in FIG.
  • the image data reducing means 11 may calculate an average value of pixel values for each predetermined region of the image data 20 and generate reduced image data 30 that has pixel values equal to the calculated average values. Such reduction will be described by taking as an example a case where image data 20 is reduced to 1/16 times to generate reduced image data 30.
  • FIG. 5A is a diagram showing an example of an 8 ⁇ 8 pixel region that is a part of image data.
  • FIG. 5B is a diagram showing a portion of reduced image data of 2 ⁇ 2 pixels obtained by reducing the 8 ⁇ 8 pixel area shown in FIG. 5A by 1/16.
  • Image data 20' shown in Fig. 5A is a part of the image data 20, and is composed of an 8 x 8 pixel area.
  • the image data 20' also includes an area 25 composed of 4 x 4 pixels. This area 25 corresponds to an area 35 of 1 x 1 pixel (i.e., 1 pixel) of reduced image data 30' which is a part of the reduced image data 30 shown in Fig. 5B.
  • the image data reducing means 11 When the image data reducing means 11 reduces image data 20' to reduced image data 30', the image data reducing means 11 calculates the average value (arithmetic mean value) of each pixel value of 4 x 4 pixels located in area 25 of image data 20'. Then, the image data reducing means 11 generates a pixel located in area 35 whose pixel value is the calculated average value (arithmetic mean value). By performing such reduction on the entire area of the image data 20, the image data 20 can be converted into the reduced image data 30.
  • the image data 20 is reduced to 1/16 to generate the reduced image data 30.
  • the reduction ratio when the image data reducing means reduces the image data is not particularly limited.
  • the reduction ratio may be 1/21 to 1/19. If the reduction ratio is less than 1/21, it becomes difficult to find the information code. Furthermore, if the reduction ratio exceeds 1/19, it becomes difficult to speed up the search and analysis of the information code.
  • the 4 ⁇ 4 pixel area 25 of the image data 20 is reduced to one pixel (area 35) of the reduced image data 30.
  • the shape and size of the area when the image data reducing means reduces the image data is not particularly limited.
  • area 25 of image data 20 in which the number of vertical pixels and the number of horizontal pixels are the same was reduced to one pixel (area 35) of reduced image data 30, but in the image processing device disclosed herein, an area of image data in which the number of vertical pixels and the number of horizontal pixels are different may also be reduced to one pixel of reduced image data.
  • the arithmetic mean of each pixel value of each pixel located in region 25 of image data 20 is calculated, and a pixel having the calculated arithmetic mean as a pixel value is generated as reduced image data 30.
  • the pixel values of the generated reduced image data are not particularly limited as long as they are values based on the pixel values of the original image data.
  • FIG. 6 is a diagram showing an example of reduced image data in which a first half-tone region has been specified by the half-tone region specifying means included in the image processing device of the present disclosure.
  • the half-tone region specifying means 12 specifies a first half-tone region 36 having pixel values of a predetermined half-tone from the reduced image data 30.
  • a "first intermediate gradation region having a pixel value of a predetermined intermediate gradation” may be a region determined based on whether or not the pixel value of a pixel is included within a predetermined pixel value range, or may be a region determined based on the amount of change in pixel value between adjacent pixels.
  • predetermined pixel value range refers to an arbitrarily set range of pixel values (tones) that excludes at least the maximum and minimum values of the tone of the pixels that make up the image data 20.
  • the "first half-tone region having pixel values of a predetermined half-tone" is a region determined based on whether or not the pixel values of the pixels are included within a predetermined pixel value range. That is, a case will be described in which the half-tone region specifying means 12 specifies, within the reduced image data 30, a region having pixel values within a predetermined first pixel value range as the first half-tone region .
  • the mid-tone region identification means 12 refers to the pixel values of the pixels that make up the reduced image data 30 and determines whether the pixel values are within a predetermined first pixel value range. Then, it identifies pixels that have pixel values that are within the first pixel value range as the first mid-tone region 36.
  • the first pixel value range may be set appropriately depending on the type of information code to be searched for, the background color of the document on which the information code is printed, and the like. For example, if the image data 20 is a grayscale image with 256 gradations, the first pixel value range may be 50-200 gradations, or 100-150 gradations.
  • the mid-tone region identifying means 12 may ternarize the reduced image data 30 into black, white, and gray pixel values, and identify the region converted into gray pixel values as the first mid-tone region 36.
  • Ternarization means converting pixels having pixel values within a predetermined range into gray pixels having a predetermined pixel value, converting pixels having pixel values below the lower limit of the predetermined range into black pixels having the minimum pixel value, and converting pixels having pixel values exceeding the upper limit of the predetermined range into white pixels having the maximum pixel value.
  • pixels having pixel values between 50 and 200 gradations may be converted to pixels with 100 gradations
  • pixels having pixel values below 49 gradations may be converted to pixels with 0 gradations
  • pixels having pixel values above 201 gradations may be converted to pixels with 255 gradations.
  • pixel values within the first pixel value range refer to grey pixel values having pixel values of 100 gradations.
  • ternaryizing each pixel may also be performed based on a range other than the specified first pixel value range.
  • each pixel may be ternarized based on the amount of change in pixel value between consecutive pixels (this will be described in detail later).
  • the average value of the pixel values of each pixel may be calculated, and each pixel may be ternarized based on the deviation of the pixel value from the average value.
  • the "deviation from the average value" may be based on the pixel value or the standard deviation of the pixel values.
  • the pixel may be converted to a pixel with 0 gradation; if the pixel value of a pixel is equal to or greater than the "average value - a" and equal to or less than the "average value + a,” the pixel may be converted to a pixel with 100 gradation; and if the pixel value of a pixel exceeds the "average value + a,” the pixel may be converted to a pixel with 255 gradation.
  • the pixel may be converted into a pixel with 0 gradation; if the pixel value of a pixel is equal to or greater than "average value - standard deviation x b" and equal to or less than "average value + standard deviation x b," the pixel may be converted into a pixel with 100 gradation; and if the pixel value of a pixel exceeds "average value + standard deviation x b,” the pixel may be converted into a pixel with 255 gradation.
  • the QR code is designed so that the number of black cells and the number of white cells are 1:1. Therefore, when the image data is reduced using the method described above in " ⁇ Function of the image data reduction means (step S11)>", the pixel value of the area of the reduced image data corresponding to the area in the image data where the QR code is located will be a value close to the average value (arithmetic mean value) of the pixel value of one black cell and the pixel value of one white cell.
  • a pixel having a pixel value close to the arithmetic mean value of the pixel value of one black cell and the pixel value of one white cell is more likely to be a pixel representing a reduced area in which the QR code is located.
  • pixels having pixel values far from the arithmetic mean value of the pixel values of one black cell and one white cell are more likely to be pixels resulting from reduction of an area where no QR code is located. Examples of such pixels include pixels resulting from reduction of the base 24a or background 24b in the image data 20.
  • the probability that the QR code is located in the area of the image data corresponding to the identified first intermediate gradation area increases.
  • the purpose of identifying the first intermediate gradation area is to identify an area where there is a high probability that a QR code is located, as an area to be searched by an information code search-analysis means, which will be described later.
  • FIG. 7 is a diagram showing an example of reduced image data in which a first half-tone region is specified, and image data in which a region corresponding to the first half-tone region is indicated.
  • the information code search and analysis means 13 searches for and analyzes the QR code 21 in the area 26 of the image data 20 that corresponds to the first intermediate gradation area 36.
  • the QR code 21 is located in the area 26 of the image data 20 that corresponds to the first intermediate gradation area 36. Therefore, by the information code search and analysis means 13 searching the area 26 of the image data 20, it is possible to find the QR code 21 with a high probability.
  • the QR code 21 can be found more quickly than if the QR code 21 were searched for from the entire image data 20.
  • the area of the reduced image data 30 that corresponds to the area in the image data 20 where the QR code 21 is located is likely to be identified as the first intermediate gradation area 36. Therefore, even if the position and size of the QR code 21 in the image data 20 cannot be known in advance, the information code search and analysis means 13 can search the area 26 of the image data 20 to find the QR code 21 with a high probability.
  • the half-tone region specifying means 12 specifies a region having pixel values within a predetermined first pixel value range as a first half-tone region.
  • the half-tone region specifying means may specify the first half-tone region based on the amount of change in pixel values of consecutive pixels in the reduced image data. The specification of such a first half-tone region will be described below by taking as an example image data in which a QR code is placed and the periphery is white.
  • FIG. 8A is a diagram illustrating an example of image data having a white periphery and including a QR code.
  • FIG. 8B is a schematic diagram of reduced image data obtained by reducing the image data shown in FIG. 8A.
  • FIG. 8C is a chart showing, in a numerical form, the amount of change in pixel value from a pixel at one end to a pixel at the other end of one horizontal row extracted from the reduced image data shown in FIG. 8B.
  • the image data 120 shown in FIG. 8A has a QR code 121 arranged on it, with a white edge made up of pixels.
  • the QR code 121 is designed so that the black cells 121b and the white cells 121w are in a 1:1 ratio.
  • the area in image data 120 where QR code 121 is located becomes an area in reduced image data 130 made up of pixels having intermediate gradation pixel values (hereinafter referred to as "gray area 131").
  • gray area 131 an area in reduced image data 130 made up of pixels having intermediate gradation pixel values
  • the pixel values of the pixels that make up gray area 131 become a value close to the average value (arithmetic mean value) of the pixel value of one black cell 121b and the pixel value of one white cell 121w.
  • the pixels on the periphery of the reduced image data 130 will be white pixels.
  • the horizontal axis corresponds to each pixel from one pixel to the other (i.e., one unit on the horizontal axis corresponds to one pixel), and the vertical axis indicates the amount of change from the pixel value of the left pixel to the pixel value of the right pixel among adjacent pixels.
  • the change in pixel value in column L1 can be explained as follows.
  • both adjacent pixels are white pixels Pw
  • the amount of change in pixel value from the left pixel to the right pixel is close to zero, and the absolute value of the change is also close to zero.
  • the left pixel is a white pixel Pw
  • the right pixel is a gray pixel Pg
  • the amount of change in pixel value from the left pixel to the right pixel will be a negative value, and the absolute value will be large.
  • both adjacent pixels Pg are gray pixels
  • the amount of change in pixel value from the left pixel to the right pixel is close to zero, and the absolute value of the change is also close to zero.
  • the left pixel Pg is a gray pixel and the right pixel Pw is a white pixel
  • the amount of change in pixel value from the left pixel to the right pixel will be a positive value, and the absolute value will be large.
  • the peak where the amount of change in pixel value changes significantly from a value close to 0 toward a negative value i.e., the peak where the amount of change becomes negative and its absolute value becomes large
  • the peak where the amount of change in pixel value changes significantly from a value close to 0 toward a positive value i.e., the peak where the amount of change becomes positive and its absolute value becomes large
  • the second boundary L1b the area between the first boundary L1a and the second boundary L1b may be identified as the first mid-tone area 136.
  • the standard for the magnitude of the absolute value of the "peak at which the amount of change becomes negative and its absolute value becomes large” and the standard for the magnitude of the absolute value of the "peak at which the amount of change becomes positive and its absolute value becomes large” may be set in advance.
  • the reduced image data does not contain any black pixels.
  • a black pixel may be located to the right of a white pixel
  • a black pixel may be located to the right of a gray pixel
  • a gray pixel may be located to the right of a black pixel
  • a white pixel may be located to the right of a black pixel.
  • Figure 9 is a chart showing an example of a case where reduced image data contains white, gray, and black pixels, extracting one horizontal row and quantifying the change in pixel value from the pixel at one end to the pixel at the other end.
  • column L2 shown in FIG. 9 from left to right, a region of white pixels Pw, a region of gray pixels Pg, a region of white pixels Pw, a region of black pixels Pb, and a region of white pixels Pw are arranged in this order.
  • the first boundary L2a and the second boundary L2b can be distinguished as in Figure 8C, and the region between the first boundary L2a and the second boundary L2b can be identified as the first mid-tone region 136.
  • the absolute value of the amount of change when changing from a white pixel Pw to a black pixel Pb is greater than the absolute value of the amount of change when changing from a white pixel Pw to a gray pixel Pg. Therefore, when the amount of change in pixel value is negative and its absolute value exceeds a predetermined value, that portion is determined to be changing from a white pixel Pw to a black pixel Pb, and that portion is designated as the third boundary L2c . Moreover, the absolute value of the amount of change when changing from a black pixel Pb to a white pixel Pw is greater than the absolute value of the amount of change when changing from a gray pixel Pg to a white pixel Pw.
  • FIG. 10 is a chart showing, in another example of reduced image data when white, gray, and black pixels are present, a horizontal row is extracted and the change in pixel value from the pixel at one end to the pixel at the other end is quantified.
  • column L3 shown in FIG. 10 from left to right, a region of white pixels Pw, a region of gray pixels Pg, a region of black pixels Pb, a region of gray pixels Pg, and a region of white pixels Pw are arranged in this order.
  • the amount of change when changing from a white pixel Pw to a gray pixel Pg is a negative value
  • the amount of change when changing from a gray pixel Pg to a black pixel Pb is also a negative value.
  • the absolute value of the amount of change when changing from a white pixel Pw to a gray pixel Pg is close to the absolute value of the amount of change when changing from a gray pixel Pg to a black pixel Pb.
  • the amount of change when changing from a black pixel Pb to a gray pixel Pg is a positive value
  • the amount of change when changing from a gray pixel Pg to a white pixel Pw is also a positive value.
  • the absolute value of the amount of change when changing from a black pixel Pb to a gray pixel Pg is close to the absolute value of the amount of change when changing from a gray pixel Pg to a white pixel Pw.
  • the amount of change from a gray pixel Pg to a white pixel Pw is a positive value.
  • the absolute value of the amount of change when changing from a gray pixel Pg to a white pixel Pw is close to the absolute value of the amount of change when changing from a black pixel Pb to a gray pixel Pg. Therefore, simply determining whether the change in pixel value is positive or negative and the magnitude of the absolute value of the change cannot determine whether the change is from a gray pixel Pg to a white pixel Pw, or from a black pixel Pb to a gray pixel Pg.
  • the area from the first boundary L3a to the second boundary L3b may be identified as the first mid-tone area 136.
  • the mid-tone area identification means may refer to the boundary before a portion where the absolute value of the change in pixel value becomes large, thereby determining what type of boundary that portion is, and identifying the first mid-tone area.
  • the half-tone region identifying means may also ternarize the region separated by the boundary into pixel values of black, white and gray, and identify the region converted into gray pixel values as the first half-tone region.
  • the image processing device of the present disclosure may be a computer incorporating an image data reduction means, a half-tone region identification means, and an information code search and analysis means. Such a case will be described below with reference to the drawings.
  • FIG. 11 is a block diagram for explaining the configuration of the image processing device of the present disclosure, which is a computer incorporating an image data reducing means, a half-tone region specifying means, and an information code searching and analyzing means.
  • the calculation unit 14 comprises an image data reduction means 11 , a middle gradation region specification means 12 , and an information code search and analysis means 13 .
  • the calculation unit 14 is a CPU or the like, and functions as the image data reduction means 11 , the half-tone area specification means 12 , and the information code search and analysis means 13 .
  • the storage unit 15 is a memory or the like, and is a section for storing programs for controlling the image data reduction means 11, the half-tone area specification means 12, and the information code search-and-analysis means 13, as well as pixel values of the image data.
  • the calculation unit 14 executes the program stored in the storage unit 15 to function as the image data reduction means 11 , the half-tone region specification means 12 and the information code search and analysis means 13 .
  • a program that causes an image data reduction process (processing in step S11) to reduce image data to produce reduced image data, a mid-tone area identification process (processing in step S12) to identify a first mid-tone area having pixel values of a predetermined mid-tone from the reduced image data, and an information code search-analysis process (processing in step S13) to search for and analyze an information code for an area of image data corresponding to at least a portion of the first mid-tone area is the information code search program of the present disclosure.
  • the information code search program may be pre-installed in the image processing device 10, or may be recorded on a computer-readable recording medium or provided to the operator via a network.
  • the image processing device of the second embodiment differs from the image processing device of the first embodiment in that, in addition to an image data reduction means, a mid-tone area identification means, and an information code search-and-analysis means, the image processing device of the second embodiment has a deletion means for deleting noise and a mid-tone area expansion means.
  • FIG. 12 is a block diagram illustrating the configuration of an image processing apparatus according to the second embodiment.
  • the image processing device 210 shown in FIG. 12 comprises an image data reducing means 211 , a half-tone area specifying means 212 , a deleting means 216 , a half-tone area expanding means 217 and an information code searching and analyzing means 213 .
  • FIG. 13 is a flowchart illustrating an example of the operation of the image processing apparatus according to the second embodiment.
  • the image data reduction means 211 reduces the image data to generate reduced image data (step S21).
  • the mid-tone area identification means 212 identifies a first mid-tone area having pixel values of a specified mid-tone from the reduced image data (step S22).
  • the noise removal means 216 removes the noise areas from the reduced image data (step S23).
  • the mid-tone area expansion means 217 expands the first mid-tone area of the reduced image data from which the noise areas have been deleted (step S24).
  • the information code search and analysis means 213 searches and analyzes the information code for the area of the image data corresponding to the area expanded by the mid-tone area expansion means 217 (step S25), and the operation of the image processing device is terminated. More specifically, the principle by which the image processing device 210 can search for and analyze an information code at high speed will be described below using an example in which the information code is a QR code, which is a type of two-dimensional code.
  • the image data, (step S21) and (step S22) are the same as the image data, (step S11) and (step S12) in the description of the image processing device of embodiment 1 above.
  • the first mid-tone region 36 of the reduced image data 30 may include an area that does not correspond to the area in which the QR code 21 of the image data 20 is located. Since such an area does not correspond to the area in the image data 20 where the QR code 21 is located, the QR code 21 can be found more efficiently by excluding such an area from the area searched by the information code search-analysis means 213 .
  • the first mid-tone region 36 having the following characteristics may be deleted by the deletion means 216 as noise that does not correspond to the region in the image data 20 where the QR code 21 is located.
  • 14A and 14B are diagrams showing an example of a region in the first half-tone region of the reduced image data that does not correspond to the region in which the QR code is located in the image data.
  • 14A when there is only one pixel in the first mid-tone region 36 and the pixel values of the surrounding pixels exceed the upper limit of a predetermined mid-tone (for example, when all eight pixels surrounding the one pixel that is the first mid-tone region 36 are white pixels), it is highly likely that the one pixel identified as the first mid-tone region 36 is a region that does not correspond to the region in which the QR code 21 is located in the image data 20. This is because the one pixel identified as the first mid-tone region 36 is highly likely to be a region that corresponds to characters 23, stains, or the like that are smaller than the QR code 21 in the image data 20.
  • the region identified as the first mid-tone region 36 is likely to be a region that does not correspond to the region in the image data 20 where the QR code 21 is located. This is because the region identified as the first mid-tone region 36 is likely to be a region that corresponds to the ruled lines 22 in the image data 20.
  • Areas having these characteristics are also included in the first mid-tone region 36, so the area of the image data 20 corresponding to this area will be searched and analyzed by the information code search and analysis means 213. Searching for an area of the image data 20 corresponding to this area is time consuming. By deleting such areas from the first mid-tone region 36, it is possible to reduce the area searched by the information code search and analysis means 213, which will be described later.
  • the information code search-and-analysis means 213 searches and analyzes the QR code 21 for the area of the image data 20 corresponding to the area deleted by the deletion means, thereby enabling the search and analysis of the QR code 21 to be performed quickly.
  • the QR code 21 can be searched and analyzed at high speed.
  • the area to be deleted as noise can be set appropriately depending on the format of the document on which the QR code 21 is printed, the reduction ratio, etc. More specifically, if the first mid-tone area 36 is a straight line of one pixel extending vertically or horizontally, the length (number of pixels) of the straight line that serves as the basis for deletion can be set appropriately.
  • ⁇ Function of the mid-tone area expansion means (step S24)>
  • pixel values of reduced image data 30 may be calculated near the contour of QR code 21 in image data 20 from pixel values of pixels that make up QR code 21 and pixel values of pixels that do not make up QR code 21.
  • the pixel value calculated in this way may not fall within the predetermined range of pixel values for intermediate gradations. As a result, a pixel having that pixel value will not be identified as being in the first midtone region 36 .
  • the QR code 21 has a high density of white pixels or a high density of black pixels, the pixel values of the pixels that make up the area corresponding to that area in the reduced image data 30 may not fall within the range of pixel values for a specified intermediate tone.
  • the pixel values of the pixels that make up the area of the reduced image data that corresponds to the area of the QR code 21 may not be included in the range of pixel values for the specified intermediate gradations.
  • the information code search-analysis means 213 searches for the QR code 21 in the area of the image data 20 corresponding to the area of the first intermediate gradation area 36 of the reduced image data 30. Therefore, even if the area in which a pixel of the reduced image data 30 is located corresponds to the area in which the QR code 21 of the image data 20 is located, the information code search-analysis means 213 does not search for the area of the image data 20 corresponding to the area in which that pixel of the reduced image data 30 is located. As a result, the information code search and analysis means 213 may be unable to analyze the QR code 21 .
  • the mid-tone region expansion means may expand the first mid-tone region 36. More specifically, the mid-tone region expansion means may expand the periphery of the first mid-tone region 36 by, for example, one pixel. By expanding the first halftone region 36 in this manner, the entire QR code 21 can be included in the region of the image data 20 that corresponds to the expanded region.
  • Step S25 ⁇ Function of Information Code Search-Analysis Means (Step S25)>
  • the information code search-and-analysis means 213 searches for and analyzes the QR code 21 in the area of the image data 20 corresponding to the combined area of the first mid-tone area 36 before expansion and the area expanded by the mid-tone area expansion means, thereby making it easier to find and analyze the QR code 21.
  • the range of the expanded first intermediate gradation region 36 can be set appropriately according to the reduction ratio and the like. More specifically, in the above description, the halftone region expanding means expands the periphery of the first halftone region 36 by only one pixel, but it may expand by two or more pixels.
  • image processing device 210 may perform only one of (step S23) and (step S24).
  • the acquired image data When acquiring image data from a document on which an information code is printed, the acquired image data may appear darker or lighter depending on the type of device that acquires the image data and the conditions at the time of acquisition.
  • the pixel values of the pixels in the reduced image data area corresponding to the area of the image data where the information code was located may not be included in the preset range of pixel values of intermediate gradations. In this case, the area of the reduced image data corresponding to the area of the image data where the information code was located is no longer identified as the first intermediate gradation area. Therefore, even if the information code search and analysis means searches for an information code in the area of the image data corresponding to the first intermediate gradation area, the information code cannot be found.
  • the image processing device has a mechanism that makes it easier for the information code search and analysis means to find the information code even in such a case.
  • FIG. 15 is a block diagram illustrating the configuration of an image processing apparatus according to the third embodiment.
  • the image processing device 310 shown in FIG. 15 comprises an image data reducing means 311 , a half-tone region specifying means 312 , and an information code searching and analyzing means 313 .
  • the image processing device 310 of the third embodiment differs from the image processing device of the first embodiment in that, if no information code is found in an area of image data corresponding to at least a portion of the first mid-tone area, the mid-tone area identification means 312 identifies an area having pixel values within a predetermined second pixel value range different from the predetermined pixel value range (first pixel value range) as a second mid-tone area, and the information code search-analysis means 313 searches for and analyzes information codes in an area of image data corresponding to at least a portion of the second mid-tone area.
  • FIG. 16 is a flowchart illustrating an example of the operation of the image processing apparatus according to the third embodiment.
  • the image data reduction means 311 reduces the image data to generate reduced image data (step S31).
  • the mid-tone region identification means 312 identifies a region from the reduced image data that has pixel values within a predetermined first pixel value range as a first mid-tone region (step S32).
  • the information code search-analysis means 313 performs a search for an information code in an area of the image data that corresponds to at least a portion of the first mid-tone area (step S33).
  • step S33 If an information code is found in step S33, the information code search and analysis means 313 performs analysis of the information code (step S34), and the operation of the image processing device according to embodiment 3 ends.
  • the mid-tone region identification means 312 sets a predetermined second pixel value range that is different from the first pixel value range (step S35).
  • the mid-tone region identification means 312 identifies the region having pixel values within the second pixel value range as the second mid-tone region.
  • the information code search-analysis means 313 performs a search for an information code in an area of the image data that corresponds to at least a portion of the second mid-tone area (step S33).
  • step S35 the pixel value range specified in step S35 is changed and steps S35, S32 and S33 are repeated until the information code is found. If the information code is found in step S33, the information code search-analysis means 313 executes an analysis of the information code (step S34), and the operation of the image processing device according to the third embodiment ends.
  • the "second pixel value range” changed in step S35 may be set in advance.
  • the “second pixel value range” refers to a range of pixel values in which at least one of the lower limit pixel value and the upper limit pixel value is different from that of the "first pixel value range.”
  • the second pixel value range may partially overlap with the first pixel value range and may be a range obtained by shifting the first pixel value range upward.
  • the second pixel value range may also overlap with the first pixel value range, and may be a range obtained by shifting the first pixel value range downward.
  • the second pixel value range may not overlap with the first pixel value range and may be a higher range than the first pixel value range.
  • the upper limit of the first pixel value range and the lower limit of the second pixel value range may be consecutive pixel values or may be discontinuous (distant from each other).
  • the second pixel value range may not overlap with the first pixel value range and may be lower than the first pixel value range.
  • the lower limit of the first pixel value range and the upper limit of the second pixel value range may be consecutive pixel values or may be discontinuous (distant from each other).
  • the width from the minimum value to the maximum value of the second pixel value range may be the same as or different from the width from the minimum value to the maximum value of the first pixel value range.
  • the second pixel value range may be set to 75 to 225 gradations, or may be set to 25 to 175 gradations.
  • the first pixel value range is set to 100 to 150 gradations
  • the second pixel value range may be set to 151 to 200 gradations, or may be set to 50 to 99 gradations.
  • the acquired image data When acquiring image data from a document on which an information code is printed, the acquired image data may appear darker or lighter depending on the type of device that acquires the image data. If the type of device that acquires the image data is known in advance, the range of pixel values that become intermediate gradations can be determined according to the type of device that acquires the image data, thereby optimizing the information code search and analysis.
  • the image processing device 410 according to the fourth embodiment has such a mechanism.
  • FIG. 17 is a block diagram illustrating the configuration of an image processing apparatus according to the fourth embodiment.
  • the image processing device 410 shown in FIG. 17 comprises image data reduction means 411 , means 418 for identifying the type of device that acquires the image data, half-tone region identification means 412 , and information code search and analysis means 413 .
  • FIG. 18 is a flowchart illustrating an example of the operation of the image processing apparatus according to the fourth embodiment.
  • the image data reduction means 411 reduces the image data to generate reduced image data (step S41).
  • the means 418 for identifying the type of device that acquires the image data identifies the type of device that acquires the image data (step S42).
  • the type is identified by acquiring information indicating the type of device that acquires the image data.
  • the device that acquires the image is a digital camera, an image scanner, or the like, and the type of device that acquires the image data means the model number, the model name, and the like of the device.
  • the mid-tone region identification means 412 identifies a first mid-tone region from the reduced image data using a range of pixel values that are mid-tones that are preset to correspond to the type of device that acquires the image data (step S43).
  • the information code search and analysis means 413 searches and analyzes the information code for an area of the image data that corresponds to at least a portion of the first intermediate gradation area (step S44), and the operation of the image processing device 410 ends.
  • the type of device that acquires the image data and the range of pixel values that become mid-tones are linked and stored in advance, and when the mid-tone area identification means 412 identifies the first mid-tone area, it only needs to refer to the range of pixel values that become mid-tones that is linked to the type of device that acquires the image data.
  • step S41 may be performed after (step S42).
  • the image processing device 410 may generate an image for visual inspection of the information code and an image for reading the information code. Furthermore, the image for visual inspection of the information code and the image for reading the information code may have different shadings. This is because the ideal image density may differ between an image for visual inspection of an information code and an image for reading the information code.
  • the image processing device 410 may generate an image for visual inspection of characters and an image for OCR processing of characters. Also, the shading may be switched between an image for visually checking characters and an image for OCR processing of characters. This is because the ideal image density may differ between an image for visual inspection of characters and an image for OCR processing of characters.
  • the image processing device is configured as a single device.
  • the image processing device may be realized by a distributed processing system in which the functions of the image processing device are appropriately distributed among a plurality of devices.
  • the image data reducing means, the half-tone region identifying means, the information code searching means and the information code analyzing means may be incorporated in separate devices, and communication may be established between the devices to allow the respective means to perform processing continuously.
  • the information code search means and the information code analysis means may be constructed on a cloud to search for and analyze the information code.
  • Such an image processing system is also the image processing system of the present disclosure.
  • an information code search method in an information code search system which includes an image data reducing step of reducing image data to obtain reduced image data, a mid-tone area identifying step of identifying a first mid-tone area having pixel values of a predetermined mid-tone area from the reduced image data, an information code search step of searching for an information code in an area of image data corresponding to at least a portion of the first mid-tone area, and an information code analysis step of analyzing the information code, is also an information code search method disclosed in the present disclosure.
  • FIG. 19 is a cross-sectional view showing a schematic example of a form processing device in which an image processing device according to the present disclosure is incorporated.
  • Examples of documents 552 processed by the document processing device 550 shown in FIG. 19 include utility bills with information codes printed thereon, and national tax and social insurance premiums.
  • the document processing device 550 includes a body 554, a document feed device 555 that separates and feeds out documents 552 stacked and placed one by one (one book at a time) into the body 554, a transport path 556 that transports the documents 552 fed into the body 554 by the document feed device 555, an image processing device 510 that searches for and analyzes information codes printed on the documents 552 transported by the transport path 556, multiple temporary storage units 558 that accept documents 552 from the transport path 556 and temporarily store them or send the temporarily stored documents 552 to the transport path 556 depending on the analysis results by the image processing device 510, multiple sorting units 559 that sort the documents 552 transported by the transport path 556 by type, and a control unit 560 that controls the document processing device 550.
  • the image processing device 510 included in the form processing device 550 may be the image processing device described in the above embodiments 1 to 4 that includes an image capture means for capturing forms 552 as image data.
  • the temporary holding section 558 includes a pair of tapes 558a, a winding roller 558b that overlaps and winds up one end of the pair of tapes 558a, and a pair of winding reels 558c that wind up the other end of each tape 558a.
  • the winding roller 558b winds up the pair of tapes 558a and rewinds each tape 558a from each winding reel 558c, and the documents 552 fed one by one from the conveying path 556 are sandwiched between the pair of tapes 558a and wound up together with the pair of tapes 558a by the winding roller 558b for storage.
  • the winding reels 558c wind up the tapes 558a and rewind the pair of tapes 558a from the winding roller 558b, and the documents 552 are sent out one by one from between the pair of tapes 558a to the conveying path 556.
  • the documents 552 loaded in a stack are fed one by one to the conveying path 556 by the document feeder 555, and the information code printed on the documents 552 conveyed by this conveying path 556 is analyzed by the image processing device 510 to determine the type of the documents 552.
  • the documents 552 whose type has been determined are conveyed to the sorting section 559, all of the documents 552 are temporarily held in the temporary holding section 558, or only some of the documents 552 that could not be analyzed are temporarily held in the temporary holding section 558.
  • the documents 552 are fed one by one from the temporary holding section 558 and conveyed to the sorting section 559.
  • the documents 552 conveyed by the conveying path 556 are sorted by type.
  • the part of the forms 552 that could not be analyzed includes forms that had an information code but could not be analyzed normally, and forms that did not have an information code in the first place. These forms may be sorted as different types of forms in the sorting section 559 .
  • the form processing device 550 may also be provided with a dedicated mode for processing forms in which an information code exists but which could not be properly analyzed. In this dedicated mode, the document transport speed may be slowed down or the program for analyzing the information code may be changed to increase the probability of successfully analyzing documents that have an information code but could not be successfully analyzed.
  • the dedicated mode may be incorporated as a part of the configuration of the document processing device 550, or may be provided in a separate device.
  • documents in which an information code exists but cannot be parsed normally can be identified as follows.
  • the information code search-analysis means when an information code detection algorithm and an information code analysis algorithm exist separately, the information code detection algorithm can identify an area where the information code is likely to be located, but the information code analysis algorithm may fail to analyze the information code. In this case, the document can be determined as one in which an information code was present but which could not be analyzed normally.
  • a cover sheet may be set for a bundle of forms, and the number of forms in the bundle may be written on the cover sheet.
  • the document processing device can obtain information on the number of sheets written on the cover using OCR processing or the like, and process the documents by inferring that "those transported after that number of sheets are documents" and "those transported after processing the number of sheets are the cover.”
  • the present disclosure provides a technology that is useful for quickly searching for and analyzing information codes in image data acquired from documents in which the placement position and size of the information codes have not been specified in advance.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本開示に係る画像処理装置は、画像データを縮小して縮小画像データとする、画像データ縮小手段と、前記縮小画像データから所定の中間階調の画素値を有する第1の中間階調領域を特定する中間階調領域特定手段と、前記第1の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に対し、情報コードの検索を実行する情報コード検索手段と、前記情報コードの解析を実行する情報コード解析手段とを備えることを特徴とする。

Description

画像処理装置、画像処理システム、情報コード検索方法及び情報コード検索プログラム
近年、二次元コードの普及が進んでいる。二次元コードを読み取る際は、二次元コード全体の二次元配列データを読み取る必要があり、読取装置として、デジタルカメラやイメージスキャナのような画像読取装置が用いられている。
二次元コードの普及に伴い、二次元コードは、専用ラベルの所定の位置に印刷される用途だけでなく、文字や図表と共に任意の位置に任意の大きさで印刷される用途も増えている。
また、日本においては、2023年度の課税分から地方税の納付に二次元コードであるQRコード(登録商標)を活用することが決定された。すなわち、地方税納付書に地方税統一QRコードを付与し、QRコードを用いてeLTAX(地方税ポータルシステム)で地方税を納付可能にすることが決定された。
地方税納付書に印字されるQRコードの大きさ及び位置は地方自治体が任意に決定するので、各地方税納付書において、印字されたQRコードの大きさ及び位置が異なることが予測される。
通常の画像読取装置において、このように二次元コードが所定の大きさでなく、かつ、所定の位置に印字されていない書類から二次元コードを検索する場合、書類の全面を検索することになる。
しかし、全面に対して1画素ずつ検索を行うと時間がかかるという問題があった。
書類に印字されたコードを高速に検索する方法として、特許文献1には、画像データを矩形ブロック単位で選択するブロック選択過程と、選択されたブロックが所定の条件を満たすかを判別するブロック判別過程と、所定の条件を満たすブロック内に含まれるコードの種類及び特性を判定するコード判定過程と、種類及び特性が判定されたコードに対し認識を行うコード認識過程と、コード認識結果に基づいてブロック走査の手順を制御するブロック走査制御過程と、を含んでなるコード画像処理方法が開示されている。
特許文献1のコード画像処理方法は、画像データにコードが複数含まれている場合でも、一つのコード認識で止まることなく、認識したコード領域におけるコード判別処理及びコード認識処理をスキップするので、コード全体の探索と認識を高速かつ確実に行うことが可能であると記載されている。
また、特許文献2には、画像データ中に存在する情報コードを検索し、解析する情報コード検索手段と、上記情報コード検索手段を制御する制御手段とを備えた画像処理装置であって、上記制御手段が、上記情報コード検索手段に画像データの複数の特定領域について優先順位毎に情報コードの検索を実行させるとともに、情報コードが検出された領域を履歴情報として記憶し、上記履歴情報に基づいて複数の特定領域の優先順位を決定することを特徴とする画像処理装置が開示されている。
特許文献2の画像処理装置では、情報コードが検出された領域の履歴情報、例えば、各領域で情報コードが検出された回数に基づいて複数の特定領域の優先順位が決定されるので、原稿に記録されている情報コードを検索する際、最初に情報コードが記載されている位置の特定領域を検索する確率が高くなるので、検索回数を少なくすることができると記載されている。
国際公開第2006/100720号 特開2008-263283号公報
特許文献1に開示されたコード画像処理方法では、まず、画像データを矩形ブロック単位に区切ってブロック内の白黒画素の比率が所定の範囲内になるブロックを検出する。そして、所定の範囲内にあるブロックについてコード判定やコード認識を実行する。
特許文献1に記載の方法であれば、コードが含まれていると予測されるブロックを判別する工程と、コード判定及びコード認識を分けて実行するので、効率良くコードを読み取ることが可能になる。
しかし、特許文献1に開示の方法には以下の問題がある。
特許文献1に記載の方法では、画像データを矩形ブロック単位に区切って、ブロック内の白黒画素の比率が所定の範囲内になるか否かで、情報コードがそのブロックに含まれているか否かを判別している。そのため、ブロックの領域に対し小さい情報コードが印字されている場合、そのブロックには情報コードが含まれないと判別される場合がある。この場合、特許文献1の方法では、情報コードが検索できないという問題がある。
また、特許文献2に開示された画像処理装置では、情報コードが検出された回数に基づいて複数の特定領域の優先順位が決定されるが、書類のサイズが一定でなく、情報コードの配置位置も一定でない場合、特定領域の優先順位が決定できない、又は、特定領域の優先順位を決定したとしても特定領域に情報コードが存在しない場合があるといった問題が生じ、これが原因で効率良く情報コードを検索できないという問題がある。
本開示は、上記問題を鑑みてなされたものであり、あらかじめ情報コードの配置位置及び大きさが特定されていない書類から取得した画像データに対し、情報コードの検索及び解析を高速で実行することができる画像処理装置、画像処理システム、情報コード検索方法及び情報コード検索プログラムを提供することを目的とするものである。
上述した課題を解決し、目的を達成するために、(1)本開示の第1の態様に係る画像処理装置は、画像データを縮小して縮小画像データとする、画像データ縮小手段と、前記縮小画像データから所定の中間階調の画素値を有する第1の中間階調領域を特定する中間階調領域特定手段と、前記第1の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に対し、情報コードの検索を実行する情報コード検索手段と、前記情報コードの解析を実行する情報コード解析手段とを備える。
(2)上記(1)に記載の画像処理装置において、前記画像データ縮小手段は、前記画像データについて所定の領域毎に画素値の平均値を算出し、算出した平均値を画素値とする画像データを前記縮小画像データとして生成してもよい。
(3)上記(1)又は(2)に記載の画像処理装置において、前記中間階調領域特定手段は、前記縮小画像データのうち、所定の第1画素値範囲以内の画素値を有する領域を前記第1の中間階調領域として特定してもよい。
(4)上記(1)~(3)のいずれかに記載の画像処理装置において、前記第1の中間階調領域特定手段は、前記縮小画像データを黒色、白色及び灰色の画素値に三値化し、灰色の画素値に変換された領域を前記第1の中間階調領域として特定してもよい。
(5)上記(3)に記載の画像処理装置において、前記第1の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に前記情報コードが発見されなかった場合、前記中間階調領域特定手段は、前記第1画素値範囲とは異なる所定の第2画素値範囲以内の画素値を有する領域を第2の中間階調領域として特定し、前記情報コード検索手段は、前記第2の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に対し、前記情報コードの検索を実行してもよい。
(6)上記(1)~(5)のいずれかに記載の画像処理装置において、前記画像処理装置は、前記第1の中間階調領域の前記少なくとも一部の領域を膨張させる中間階調領域膨張手段をさらに備え、前記情報コード検索手段は、前記中間階調領域膨張手段により膨張された領域に対応する前記画像データの領域に対して、前記情報コードの検索を実行してもよい。
(7)また、本開示の第2の態様に係る画像処理システムは、画像データを縮小して縮小画像データとする、画像データ縮小手段と、前記縮小画像データから所定の中間階調の画素値を有する第1の中間階調領域を特定する中間階調領域特定手段と、前記第1の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に対し、情報コードの検索を実行する情報コード検索手段と、前記情報コードの解析を実行する情報コード解析手段とを備える。
(8)また、本開示の第3の態様に係る情報コード検索方法は、情報コード検索システムにおける情報コード検索方法であって、画像データを縮小して縮小画像データとする、画像データ縮小工程と、前記縮小画像データから所定の中間階調の画素値を有する第1の中間階調領域を特定する中間階調領域特定工程と、前記第1の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に対し、情報コードの検索を実行する情報コード検索工程と、前記情報コードの解析を実行する情報コード解析工程とを含む。
(9)上記(8)に記載の情報コード検索方法において、前記画像データ縮小工程は、前記画像データについて所定の領域毎に画素値の平均値を算出し、算出した平均値を画素値とする画像データを前記縮小画像データとして生成する工程を含んでいてもよい。
(10)上記(8)又は(9)に記載の情報コード検索方法において、前記中間階調領域特定工程は、前記縮小画像データのうち、所定の第1画素値範囲以内の画素値を有する領域を前記第1の中間階調領域として特定する工程を含んでいてもよい。
(11)上記(8)~(10)のいずれかに記載の情報コード検索方法において、前記中間階調領域特定工程は、前記縮小画像データを黒色、白色及び灰色の画素値に三値化し、灰色の画素値に変換された領域を前記第1の中間階調領域として特定する工程を含んでいてもよい。
(12)上記(10)に記載の情報コード検索方法において、前記情報コード検索工程において、前記第1の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に前記情報コードが発見できなかった場合、前記第1画素値範囲とは異なる所定の第2画素値範囲以内の画素値を有する領域を第2の中間階調領域として特定する工程と、前記第2の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に対し、前記情報コードの検索を実行する工程と、を更に含んでいてもよい。
(13)上記(8)~(12)のいずれかに記載の情報コード検索方法において、前記第1の中間階調領域の前記少なくとも一部の領域を膨張させる膨張工程をさらに備え、前記情報コード検索工程は、前記膨張工程において膨張された領域に対応する前記画像データの領域に対して、前記情報コードの検索を実行してもよい。
(14)また、本開示の第4の態様に係る情報コード検索プログラムは、画像データを縮小して縮小画像データとする、画像データ縮小処理と、前記縮小画像データから所定の中間階調の画素値を有する第1の中間階調領域を特定する中間階調領域特定処理と、前記第1の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に対し、情報コードの検索を実行する情報コード検索処理と、前記情報コードの解析を実行する情報コード解析処理とを画像処理装置に実行させる。
本開示によれば、あらかじめ情報コードの配置位置及び大きさが特定されていない書類から取得した画像データに対し、情報コードの検索及び解析を高速で実行することができる画像処理装置、画像処理システム、情報コード検索方法及び情報コード検索プログラムを提供することができる。
図1は、実施形態1に係る画像処理装置の構成を説明するブロック図である。 図2は、実施形態1に係る画像処理装置の動作の一例を説明するフローチャートである。 図3は、QRコードが印刷された書類の画像データの一例を模式的に示す模式図である。 図4は、本開示の画像処理装置が備える画像データ縮小手段が、画像データを縮小した縮小画像データの一例を模式的に示す図である。 図5Aは、画像データの一部の8×8画素の領域の一例を模式的に示す図である。 図5Bは、図5Aに示す8×8画素の領域を1/16倍に縮小した、2×2画素の縮小画像データの一部を示す図である。 図6は、本開示の画像処理装置が備える中間階調領域特定手段が、第1の中間階調領域を特定した縮小画像データの一例を模式的に示す図である。 図7は、第1の中間階調領域が特定された縮小画像データと、当該第1の中間階調領域に対応する領域が示された画像データの一例を模式的に示す図である。 図8Aは、周縁が白色でありQRコードが配置された画像データの一例を模式的に示す図である。 図8Bは、図8Aに示す画像データを縮小した縮小画像データの模式図である。 図8Cは、図8Bに示す縮小画像データにおいて、横方向の一列を抜き出し、一方の端部の画素から他方の端部の画素までの画素値の変化量を数値化して示すチャートである。 図9は、縮小画像データにおいて、白色の画素、灰色の画素及び黒色の画素が存在する場合の一例において、横方向の一列を抜き出し、一方の端部の画素から他方の端部の画素までの画素値の変化量を数値化して示すチャートである。 図10は、縮小画像データにおいて、白色の画素、灰色の画素及び黒色の画素が存在する場合の別の一例において、横方向の一列を抜き出し、一方の端部の画素から他方の端部の画素までの画素値の変化量を数値化して示すチャートである。 図11は、画像データ縮小手段、中間階調領域特定手段及び情報コード検索-解析手段が組み込まれた電子計算機である本開示の画像処理装置の構成を説明するブロック図である。 図12は、実施形態2に係る画像処理装置の構成を説明するブロック図である。 図13は、実施形態2に係る画像処理装置の動作の一例を説明するフローチャートである。 図14Aは、縮小画像データの第1の中間階調領域の内、画像データにおいてQRコードが位置する領域に対応しない領域の一例を模式的に示す図である。 図14Bは、縮小画像データの第1の中間階調領域の内、画像データにおいてQRコードが位置する領域に対応しない領域の一例を模式的に示す図である。 図15は、実施形態3に係る画像処理装置の構成を説明するブロック図である。 図16は、実施形態3に係る画像処理装置の動作の一例を説明するフローチャートである。 図17は、実施形態4に係る画像処理装置の構成を説明するブロック図である。 図18は、実施形態4に係る画像処理装置の動作の一例を説明するフローチャートである。 図19は、本開示の画像処理装置が組み込まれた帳票処理装置の一例を模式的に示す断面図である。
以下、図面を参照して、本開示に係る画像処理装置、画像処理システム、情報コード検索方法及び情報コード検索プログラムの実施形態を詳細に説明する。
また、以下の説明において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して適宜用い、その繰り返しの説明は適宜省略する。また、構造を説明する図面には、互いに直交するXYZ座標系を適宜示している。
(実施形態1)
図1は、実施形態1に係る画像処理装置の構成を説明するブロック図である。
図1に示すように、画像処理装置10は、画像データ縮小手段11と、中間階調領域特定手段12と、情報コード検索-解析手段13とを備える。
画像データ縮小手段11と、中間階調領域特定手段12と、情報コード検索-解析手段13は、後述するプログラムを実行することによって機能する。
次に、図2を用いて、実施形態1に係る画像処理装置の動作について説明する。
図2は、実施形態1に係る画像処理装置の動作の一例を説明するフローチャートである。
図2に示すように画像処理装置10では、まず、画像データ縮小手段11が、画像データを縮小して縮小画像データとする(工程S11)。
次に、中間階調領域特定手段12が、縮小画像データから所定の中間階調の画素値を有する第1の中間階調領域を特定する(工程S12)。
次に、情報コード検索-解析手段13が、第1の中間階調領域の少なくとも一部の領域に対応する画像データの領域に対し、情報コードの検索及び解析を実行し(工程S13)、画像処理装置10の動作が終了する。
画像処理装置10を用いると、書類に配置された情報コードを高速に検索及び解析を実行することができる。
なお、本開示の画像処理装置が検索する情報コードは、1次元コードや2次元コードのような所定の範囲に所定種類のセルを組み合わせて情報をコードするものであれば特に限定されず、例えば、一次元バーコード、QRコード等であってもよい。
なお、一次元バーコードやQRコードを構成するセルは、黒白2色のセルからなるが、本開示の画像処理装置が検索する情報コードは、カラーセルにより構成されていてもよい。
画像処理装置10では、画像データ縮小手段11と、中間階調領域特定手段12とが一体化されており、上記(工程S11)及び上記(工程S12)を一体的に行ってもよい。
なお、画像処理装置10では、情報コード検索-解析手段13は、第1の中間階調領域の少なくとも一部の領域に対応する画像データの領域に対してのみ情報コードの検索及び解析を実行してもよい。
この場合、書類を複数処理する場合、高速化をすることができる。
なお、本開示の画像処理装置では、情報コード検索-解析手段は一体的な手段でなく、情報コード検索手段及び情報コード解析手段のように別れた手段であってもよい。
また、画像処理装置10では、情報コード検索-解析手段13は、第1の中間階調領域の少なくとも一部の領域に対応する画像データの領域に対して優先的に情報コードの検索を実行し、情報コードが発見できない場合は、画像データ全体に対し、情報コードの検索及び解析を実行してもよい。この際、第1の中間階調領域の画素値(上限値)を超える画素値を有する領域に対し、情報コードの検索を実行し、それでも情報コードが発見できない場合は、第1の中間階調領域の画素値(下限値)未満の画素値を有する領域に対し、情報コードの検索を実行してもよい。
または、第1の中間階調領域の画素値(下限値)未満の画素値を有する領域に対し、情報コードの検索を実行し、それでも情報コードが発見できない場合は、第1の中間階調領域の画素値(上限値)を超える画素値を有する領域に対し、情報コードの検索を実行してもよい。
このような方法で情報コードの検索を実行すると、第1の中間階調領域の少なくとも一部の領域に対応する画像データの領域に情報コードが位置していなかったとしても、情報コードを発見しやすくなる。
画像処理装置10により、情報コードを高速に検索及び解析できる原理を説明する。
一次元バーコードや二次元コードのような情報コードは、情報コードの種類に応じ、一定のルールに基づき、複数種類のデータセル(例えば、白黒2種類のデータセル)の組み合わせることにより作製される。
また、一つの情報コードに使用されるデータセル種類の割合も上記ルールに基づき決められる。
そのため、情報コードを含む画像データにおいて、情報コードを構成する全画素の画素値を平均すると一定の画素値となる。また、情報コードの一部の領域を構成する画素の画素値を平均すると、情報コードを構成する全画素の画素値の平均値の近傍の値となる。
そこで、画像データについて所定の領域毎に画素値の平均値を算出し、算出した平均値を画素値とする画像データを縮小画像データとして生成すると、画像データにおいて情報コードが位置する領域に対応する縮小画像データの領域の画素値は、情報コードを構成する全画素の画素値の平均値の近傍の値となる。
そのため、縮小画像データにおいて、情報コードを構成する全画素の画素値の平均値の近傍の画素値を有する画素は、情報コードが位置する領域が縮小された画素である確率が高くなる。逆に、縮小画像データにおいて、情報コードを構成する全画素の画素値の平均値から離れた画素値を有する画素は、情報コードが位置しない領域が縮小された画素である確率が高くなる。
つまり、縮小画像データを構成する画素の画素値を参照することにより、その画素が、情報コードが位置する領域に対応する画素である可能性が高いか否かを判別することができる。
情報コードを構成する全画素の画素値の平均値は中間階調の画素値となるので、縮小画像データにおいて、中間階調の画素値近傍の画素値を有する領域を第1の中間階調領域と特定し、第1の中間階調領域に対応する画像データの領域に対して情報コードの検索及び解析を実行することで、効率よく情報コードを検索及び解析することができる。
以下、より具体的に、情報コードが2次元コードの一種であるQRコードである場合を例に挙げ、画像処理装置10が、情報コードを高速に検索及び解析できる原理を説明する。
<QRコードが印刷された書類の画像データ>
図3は、QRコードが印刷された書類の画像データの一例を模式的に示す模式図である。
図3に示す画像データ20は、QRコードが配置された書類から取得した画像データであり、QRコード21、罫線22、文字23、下地24a及び背景24bが存在している。
QRコードが配置された書類から画像データを取得する方法は、特に限定されないが、デジタルカメラや、イメージスキャナを用いて取得する方法が挙げられる。
なお、画像処理装置10は、画像データを取得する画像データ取得手段を備えていてもよい。
画像データ20は、通常はクレースケール画像であるが、白黒画像(2階調画像)、RGBフルカラー画像、RGB単調画像等であってもよい。
画像データ20がグレースケール画像である場合、その階調は、特に限定されないが、256階調であってもよい。
なお、画像データ20の解像度は、特に限定されない。
QRコード21は、黒セル21bと白セル21wとを組み合わせることにより情報をコードする情報コードである。
なお、QRコードは、黒セルと白セルとが1:1になるように設計される。
そのため、図3に示す、画像データ20において、黒セル21bを構成する画素の数と、白セル21wを構成する画素の数は1:1となる。
<画像データ縮小手段の機能(工程S11)>
図4は、本開示の画像処理装置が備える画像データ縮小手段が、画像データを縮小した縮小画像データの一例を模式的に示す図である。
画像処理装置10では、画像データ縮小手段11が、画像データ20を縮小して図4に示すような縮小画像データ30とする。
画像データ縮小手段11は、画像データ20について所定の領域毎に画素値の平均値を算出し、算出した平均値を画素値とする画像データを縮小画像データ30として生成してもよい。
このような縮小について、画像データ20を1/16倍に縮小して縮小画像データ30を生成する場合を例に挙げて説明する。
図5Aは、画像データの一部の8×8画素の領域の一例を模式的に示す図である。
図5Bは、図5Aに示す8×8画素の領域を1/16倍に縮小した、2×2画素の縮小画像データの一部を示す図である。
図5Aに示す画像データ20´は、上記画像データ20の一部であり、8×8画素の領域からなる。また、画像データ20´は、4×4画素からなる領域25を含む。この領域25は、図5Bに示す上記縮小画像データ30の一部である縮小画像データ30´の1×1画素(すなわち、1画素)の領域35に対応する。
画像データ縮小手段11が、画像データ20´を縮小画像データ30´に縮小する場合、画像データ縮小手段11は、画像データ20´の領域25に位置する4×4の画素の各画素値の平均値(相加平均値)を算出する。そして画像データ縮小手段11は、算出した平均値(相加平均値)を画素値とする領域35に位置する画素を生成する。
このような縮小を上記画像データ20の全領域において行うことにより、上記画像データ20を上記縮小画像データ30とすることができる。
上記図5A及び図5Bを用いた説明では、画像データ20を1/16倍に縮小して縮小画像データ30を生成していた。
しかし、本開示の画像処理装置において、画像データ縮小手段が画像データを縮小する際の縮小倍率は特に限定されない。例えば、縮小倍率は1/21~1/19倍であってもよい。
なお、縮小倍率が1/21倍より小さいと、情報コードを発見しにくくなる。
また、縮小倍率が1/19倍を超えると、情報コードの検索及び解析を高速化しにくくなる。
上記図5A及び図5Bを用いた説明では、画像データ20の4×4画素の領域25を、縮小画像データ30の1画素(領域35)に縮小していた。
しかし、本開示の画像処理装置において、画像データ縮小手段が画像データを縮小する際の領域の形状及び大きさは特に限定されない。
なお、上記図5A及び図5Bを用いた説明では、縦方向の画素数と横方向の画素数が同じ画像データ20の領域25を、縮小画像データ30の1画素(領域35)に縮小していたが、本開示の画像処理装置では、縦方向の画素数と横方向の画素数が異なる画像データの領域を、縮小画像データの1画素に縮小してもよい。
上記図5A及び図5Bを用いた説明では、画像データ20の領域25に位置する各画素の各画素値の相加平均値を算出し、算出した相加平均値を画素値とする画素を縮小画像データ30として生成していたが、本開示の画像処理装置では、生成される縮小画像データの画素値は、元になる画像データの画素値に基づく値であれば、特に限定されない。
<中間階調領域特定手段の機能(工程S12)>
図6は、本開示の画像処理装置が備える中間階調領域特定手段が、第1の中間階調領域を特定した縮小画像データの一例を模式的に示す図である。
図6に示すように、画像処理装置10では、中間階調領域特定手段12が、縮小画像データ30から所定の中間階調の画素値を有する第1の中間階調領域36を特定する。
本明細書において、「所定の中間階調の画素値を有する第1の中間階調領域」とは、画素の画素値が、所定の画素値範囲以内に含まれるか否かで判断される領域であってもよく、隣り合う画素の画素値の変化量に基づき決定される領域であってもよい。
なお、「所定の画素値範囲」とは、画像データ20を構成する画素における階調の最大値及び最小値を少なくとも除いた、任意に設定する画素値(階調)の範囲を意味する。
以下、「所定の中間階調の画素値を有する第1の中間階調領域」が、画素の画素値が所定の画素値範囲以内に含まれるか否かで判断される領域である場合について説明する。
すなわち、中間階調領域特定手段12が、縮小画像データ30のうち、所定の第1画素値範囲以内の画素値を有する領域を第1の中間階調領域36として特定する場合について説明する。
中間階調領域特定手段12は、縮小画像データ30を構成する画素の画素値を参照し、その画素値が所定の第1画素値範囲以内に含まれるか否かを判定する。そして、第1画素値範囲以内に含まれる画素値を有する画素を、第1の中間階調領域36として特定する。
第1画素値範囲は検索する情報コードの種類や情報コードが印字される書類の背景の色等に応じ、適宜設定してもよい。
例えば、画像データ20が256階調のグレースケール画像である場合、第1画素値範囲は、50~200階調であってもよく、100~150階調であってもよい。
中間階調領域特定手段12は、縮小画像データ30を黒色、白色及び灰色の画素値に三値化し、灰色の画素値に変換された領域を第1の中間階調領域36として特定してもよい。三値化とは、所定の範囲内の画素値を有する画素を所定の画素値を有する灰色の画素に変換し、所定の範囲の下限値未満の画素値を有する画素を最小の画素値を有する黒色の画素に変換し、所定の範囲の上限値を超える画素値を有する画素を最大の画素値を有する白色の画素に変換することを意味する。
例えば、画像データ20が256階調のグレースケール画像である場合、50~200階調の画素値を有する画素を、100階調の画素に変換し、49階調以下の画素値を有する画素を0階調の画素に変換し、201階調以上の画素値を有する画素を255階調の画素に変換してもよい。
この場合、第1画素値範囲以内の画素値とは、100階調の画素値を有する灰色の画素値のことを意味する。
なお、上記説明では、各画素の画素値に基づき各画素を三値化する例を説明したが、本開示の画像処理装置では、所定の第1画素値範囲以外に基づき、各画素の三値化を行ってもよい。
例えば、連続する画素の画素値の変化量に基づき(詳しくは後述する)、各画素の三値化を行ってもよい。
また、各画素の画素値の平均値を算出し、各画素の画素値がその平均値からの乖離度を基準に各画素の三値化を行ってもよい。「平均値からの乖離度」は、画素値を基準にしてもよく、画素値の標準偏差を基準にしてもよい。
例えば、ある画素の画素値が、「平均値-a(「a」は所定の階調)」未満である場合、その画素を0階調の画素に変換し、ある画素の画素値が、「平均値-a」以上、「平均値+a」以下である場合、その画素を100階調の画素に変換し、ある画素の画素値が、「平均値+a」を超える場合、その画素を255階調の画素に変換してもよい。
また、例えば、ある画素の画素値が、「平均値-標準偏差×b(「b」は所定の変数)」未満である場合、その画素を0階調の画素に変換し、ある画素の画素値が、「平均値-標準偏差×b」以上、「平均値+標準偏差×b」以下である場合、その画素を100階調の画素に変換し、ある画素の画素値が、「平均値+標準偏差×b」を超える場合、その画素を255階調の画素に変換してもよい。
ここで、第1の中間階調領域を特定する目的について、情報コードがQRコードである場合を例に挙げて説明する。
上記の通り、QRコードは、黒セルの数と白セルの数とが1:1になるように設計されている。
そのため、画像データを上記「<画像データ縮小手段の機能(工程S11)>」で説明した方法で縮小すると、画像データにおいてQRコードが位置する領域に対応する縮小画像データの領域の画素値は、1つの黒セルの画素値と1つの白セルの画素値との平均値(相加平均値)の近傍の値になる。
そのため、縮小画像データにおいて、1つの黒セルの画素値と1つの白セルの画素値との相加平均値の近傍の画素値を有する画素は、QRコードが位置する領域が縮小された画素である確率が高くなる。
逆に、縮小画像データにおいて、1つの黒セルの画素値と1つの白セルの画素値との相加平均値から離れた画素値を有する画素は、QRコードが位置しない領域が縮小された画素である確率が高くなる。このような画素としては、例えば、画像データ20における下地24aや、背景24bが縮小された画素が挙げられる。
つまり、縮小画像データを構成する画素の画素値を参照することにより、その画素が、QRコードが位置する領域に対応する画素である可能性が高いか否かを判別することができる。
従って、「所定の中間階調の画素値」として、1つの黒セルの画素値と1つの白セルの画素値との相加平均値の近傍の範囲を設定すると、特定された第1の中間階調領域に対応する画像データの領域にQRコードが位置している確率が高くなる。
第1の中間階調領域を特定する目的は、後述する情報コード検索-解析手段が検索する領域として、QRコードが位置している確率が高い領域を特定するためである。
<情報コード検索-解析手段の機能(工程S13)>
図7は、第1の中間階調領域が特定された縮小画像データと、当該第1の中間階調領域に対応する領域が示された画像データの一例を模式的に示す図である。
図7に示すように、画像処理装置10では、情報コード検索-解析手段13が、第1の中間階調領域36に対応する画像データ20の領域26に対し、QRコード21の検索及び解析を実行する。
上記の通り、第1の中間階調領域36に対応する画像データ20の領域26は、QRコード21が位置している確率が高い。そのため、情報コード検索-解析手段13が画像データ20の領域26を検索することで、高い確率でQRコード21を発見することができる。
さらに、情報コード検索-解析手段13がQRコード21を検索する範囲が、画像データ20の領域26に絞られるので、画像データ20全体からQRコード21を検索するよりも、高速にQRコード21を発見することができる。
また、画像データ20においてQRコード21が位置する領域に対応する縮小画像データ30の領域は、第1の中間階調領域36と特定されやすい。そのため、画像データ20においてQRコード21の配置位置及び大きさが事前に把握できなかったとしても、情報コード検索-解析手段13が画像データ20の領域26を検索することで、高い確率でQRコード21を発見することができる。
(実施形態1の変形例)
次に、実施形態1に係る画像処理装置の変形例について説明する。
上記画像処理装置10において、中間階調領域特定手段12は、所定の第1画素値範囲以内の画素値を有する領域を第1の中間階調領域として特定していた。
しかし、実施形態1に係る画像処理装置では、中間階調領域特定手段は、縮小画像データにおいて、連続する画素の画素値の変化量に基づき、第1の中間階調領域を特定してもよい。
このような第1の中間階調領域の特定について、周縁が白色でありQRコードが配置された画像データを例に挙げ以下に説明する。
図8Aは、周縁が白色でありQRコードが配置された画像データの一例を模式的に示す図である。
図8Bは、図8Aに示す画像データを縮小した縮小画像データの模式図である。
図8Cは、図8Bに示す縮小画像データにおいて、横方向の一列を抜き出し、一方の端部の画素から他方の端部の画素までの画素値の変化量を数値化して示すチャートである。
図8Aに示す画像データ120は、周縁が白色の画素からなりQRコード121が配置されている。QRコード121は、黒セル121bと白セル121wとが1:1となるように設計されている。
このような画像データ120を縮小し、図8Bに示すような縮小画像データ130とすると、画像データ120においてQRコード121が位置する領域は、縮小画像データ130において中間階調の画素値を有する画素からなる領域(以下、「灰色の領域131」と記載する)となる。つまり、灰色の領域131を構成する画素の画素値は、1つの黒セル121bの画素値と1つの白セル121wの画素値との平均値(相加平均値)の近傍の値になる。
また、縮小画像データ130の周縁の画素は白色の画素となる。
なお、ここでの説明では、便宜上、縮小画像データ130に黒色の画素が無い場合について説明する(黒色の画素がある場合は後述する)。
図8Bに示すように、縮小画像データ130を構成する画素の横方向の一列Lを抜き出し、一方の端部の画素から他方の端部の画素までの画素値の変化量を数値化すると、図8Cに示すチャートのようになる。
図8Cにおいて、横軸は、一方の画素から他方の画素までの各画素に対応し(すなわち、横軸の1単位が1画素に対応する)、縦軸は、隣り合う画素において、左の画素の画素値から右の画素の画素値への変化量を示している。
図8Cに示すように、列Lにおける画素値の変化量は、以下のように説明できる。
隣り合う画素が両方とも白色の画素Pwの場合、左の画素から右の画素への画素値の変化量は0に近い値となり、その絶対値は0に近い値となる。
隣り合う画素の内、左の画素が白色の画素Pwであり、右の画素が灰色の画素Pgの場合、左の画素から右の画素への画素値の変化量は負の値となり、その絶対値は大きな値となる。
隣り合う画素が両方とも灰色の画素Pgの場合、左の画素から右の画素への画素値の変化量は0に近い値となり、その絶対値は0に近い値となる。
隣り合う画素の内、左の画素が灰色の画素Pgであり、右の画素Pwが白色の画素の場合、左の画素から右の画素への画素値の変化量は正の値となり、その絶対値は大きな値となる。
そこで、列Lにおいて、画素値の変化量が0に近い値から負の値の方に大きく変化するピーク(つまり、変化量が負の値となり、その絶対値が大きくなるピーク)を第1の境界Laとし、画素値の変化量が0に近い値から正の値の方に大きく変化するピーク(つまり、変化量が正の値となり、その絶対値が大きくなるピーク)を第2の境界Lbとし、第1の境界Laから第2の境界Lbまでの間の領域を第1の中間階調領域136と特定してもよい。
なお、「変化量が負の値となり、その絶対値が大きくなるピーク」の絶対値の大きさの基準、及び、「変化量が正の値となり、その絶対値が大きくなるピーク」の絶対値の大きさの基準は、あらかじめ設定すればよい。
上記説明では縮小画像データに黒色の画素が無い場合について説明した。
しかし、画像データにおいて黒色の画素が広範囲に位置している場合、縮小画像データにおいて、白色の画素の右に黒色の画素が位置すること、灰色の画素の右に黒色の画素が位置すること、黒色の画素の右に灰色の画素が位置すること、黒色の画素の右に白色の画素が位置することもある。
これらの場合について以下に説明する。
図9は、縮小画像データにおいて、白色の画素、灰色の画素及び黒色の画素が存在する場合の一例において、横方向の一列を抜き出し、一方の端部の画素から他方の端部の画素までの画素値の変化量を数値化して示すチャートである。
図9に示す列Lでは、左から右に向かって、白色の画素Pwの領域、灰色の画素Pgの領域、白色の画素Pwの領域、黒色の画素Pbの領域、及び、白色の画素Pwの領域が順に並んでいる。
図9において、白色の画素Pwの領域、灰色の画素Pgの領域及び白色の画素Pwの領域が順に並んでいる領域では、図8Cと同様に、第1の境界La及び第2の境界Lbを判別し、第1の境界Laから第2の境界Lbまでの間の領域を第1の中間階調領域136と特定できる。
図9において、隣り合う画素の内、右の画素が白色の画素Pwであり、左の画素が黒色の画素Pbの場合、左の画素から右の画素への画素値の変化量は負の値となり、その絶対値は大きな値となる。
そのため、画素値の変化量が正の値であるか、負の値であるかを判別するだけで、白色の画素Pwから黒色の画素Pbへの変化であるのか、白色の画素Pwから灰色の画素Pgへの変化であるかを判別することができない。
ただ、白色の画素Pwから黒色の画素Pbへの変化する際の変化量の絶対値は、白色の画素Pwから灰色の画素Pgへの変化する際の変化量の絶対値よりも大きい。
そこで、画素値の変化量が負の値であり、その絶対値が所定の値を超える場合、その部分は、白色の画素Pwから黒色の画素Pbへ変化していると判別し、その部分を第3の境界Lcとする。
また、黒色の画素Pbから白色の画素Pwへの変化する際の変化量の絶対値は、灰色の画素Pgから白色の画素Pwへの変化する際の変化量の絶対値よりも大きい。
そこで、画素値の変化量が正の値であり、その絶対値が所定の値を超える場合、その部分は、黒色の画素Pbから白色の画素Pwへ変化していると判別し、その部分を第4の境界Ldとする。
そして、第3の境界Lcから第4の境界Ldまでの間の領域を、黒色の画素Pbが位置している領域と判別することにより、灰色の画素Pgが位置する領域のみを、第1の中間階調領域136と特定することができる。
図10は、縮小画像データにおいて、白色の画素、灰色の画素及び黒色の画素が存在する場合の別の一例において、横方向の一列を抜き出し、一方の端部の画素から他方の端部の画素までの画素値の変化量を数値化して示すチャートである。
図10に示す列Lでは、左から右に向かって、白色の画素Pwの領域、灰色の画素Pgの領域、黒色の画素Pbの領域、灰色の画素Pgの領域、及び、白色の画素Pwの領域が順に並んでいる。
図10に示すように、列Lでは、白色の画素Pwから灰色の画素Pgへの変化する際の変化量は負の値であり、灰色の画素Pgから黒色の画素Pbへの変化する際の変化量は負の値である。
また、白色の画素Pwから灰色の画素Pgへの変化する際の変化量の絶対値は、灰色の画素Pgから黒色の画素Pbへの変化する際の変化量の絶対値と近い値である。
そのため、画素値の変化量が正の値であるか、負の値であるか、及び、その変化量の絶対値の大きさを判別するだけで、白色の画素Pwから灰色の画素Pgへの変化であるのか、灰色の画素Pgから黒色の画素Pbへの変化であるかを判別することができない。
ただ、列Lの両端の画素が白色の画素Pwからなる場合、灰色の画素Pgから黒色の画素Pbへの変化がある前に、必ず白色の画素Pwから灰色の画素Pgへの変化がある。つまり、画素値の変化量が負の値であり、その絶対値が所定の範囲以内である第1の境界Laが存在する。
そのため、第1の境界Laより後に、画素値の変化量が負の値であり、その絶対値が所定の範囲以内である部分が存在したとしても、その部分は、灰色の画素Pgから黒色の画素Pbへ変化していることになる。そこで、このような部分を第5の境界Leとする。
図10に示すように、列Lでは、黒色の画素Pbから灰色の画素Pgへの変化する際の変化量は正の値であり、灰色の画素Pgから白色の画素Pwへの変化する際の変化量は正の値である。
また、黒色の画素Pbから灰色の画素Pgへの変化する際の変化量の絶対値は、灰色の画素Pgから白色の画素Pwへの変化する際の変化量の絶対値と近い値である。
そのため、画素値の変化量が正の値であるか、負の値であるか、及び、その変化量の絶対値の大きさを判別するだけで、黒色の画素Pbから灰色の画素Pgへの変化であるのか、灰色の画素Pgから白色の画素Pwへの変化であるかを判別することができない。
ただ、図10に示すように、列Lでは、黒色の画素Pbから灰色の画素Pgへの変化がある前に、灰色の画素Pgから黒色の画素Pbへ変化する第5の境界Leが存在している。
第5の境界Leより後に、画素値の変化量が正の値であり、その絶対値が所定の範囲以内である部分が存在したとしても、その部分は、黒色の画素Pbから灰色の画素Pgへ変化していることになる。そこで、このような部分を第6の境界Lfとする。
図10に示すように、列Lでは、灰色の画素Pgから白色の画素Pwへの変化する際の変化量は正の値である。
また、灰色の画素Pgから白色の画素Pwへの変化する際の変化量の絶対値は、黒色の画素Pbから灰色の画素Pgへの変化する際の変化量の絶対値と近い値である。
そのため、画素値の変化量が正の値であるか、負の値であるか、及び、その変化量の絶対値の大きさを判別するだけで、灰色の画素Pgから白色の画素Pwへの変化であるのか、黒色の画素Pbから灰色の画素Pgへの変化であるかを判別することができない。
ただ、図10に示すように、列Lでは、灰色の画素Pgから白色の画素Pwへの変化がある前に、黒色の画素Pbから灰色の画素Pgへ変化する第6の境界Lfが存在している。
第6の境界Lfより後に、画素値の変化量が正の値であり、その絶対値が所定の範囲以内である部分が存在したとしても、その部分は、灰色の画素Pgから白色の画素Pwへ変化していることになる。そこで、このような部分を第2の境界Lbとする。
このように第1の境界La、第5の境界Le、第6の境界Lf、第2の境界Lbが位置している列Lでは、第1の境界Laから、第2の境界Lbまでの領域の内、第5の境界Leから第6の境界Lfまでの領域を除いた領域を、第1の中間階調領域136と特定してもよい。
このように、本開示の画像処理装置では、中間階調領域特定手段が、画素値の変化量の絶対値が大きくなった部分において、その部分より前の境界を参照することにより、その部分がどのような境界であるかを判別し、第1の中間階調領域を特定してもよい。
また、中間階調領域特定手段は、境界で区切られた領域を黒色、白色及び灰色の画素値に三値化し、灰色の画素値に変換された領域を第1の中間階調領域として特定してもよい。
本開示の画像処理装置は、画像データ縮小手段、中間階調領域特定手段及び情報コード検索-解析手段が組み込まれた電子計算機であってもよい。このような場合について、以下に図面を用いて説明する。
図11は、画像データ縮小手段、中間階調領域特定手段及び情報コード検索-解析手段が組み込まれた電子計算機である本開示の画像処理装置の構成を説明するブロック図である。
図11に示す画像処理装置10´は、演算部14と記憶部15とを備える。
演算部14は、画像データ縮小手段11と、中間階調領域特定手段12と、情報コード検索-解析手段13とを備える。
演算部14は、CPU等であり、画像データ縮小手段11、中間階調領域特定手段12及び情報コード検索-解析手段13として機能する。
記憶部15は、メモリ等であり、画像データ縮小手段11、中間階調領域特定手段12及び情報コード検索-解析手段13を制御するためのプログラムや、画像データの画素値等を記憶する部分である。
画像処理装置10´では、演算部14が、記憶部15に記憶されたプログラムを実行することにより、画像データ縮小手段11、中間階調領域特定手段12及び情報コード検索-解析手段13として機能する。
(情報コード検索プログラム)
さらに、画像処理装置10(画像処理装置10´の演算部14でもよい)において、画像データを縮小して縮小画像データとする画像データ縮小処理(工程S11における処理)と、縮小画像データから所定の中間階調の画素値を有する第1の中間階調領域を特定する中間階調領域特定処理(工程S12における処理)と、第1の中間階調領域の少なくとも一部の領域に対応する画像データの領域に対し、情報コードの検索及び解析を実行する情報コード検索-解析処理(工程S13における処理)とを実行させるプログラムは、本開示の情報コード検索プログラムである。
なお、情報コード検索プログラムは、画像処理装置10に予め導入されてもよいし、コンピュータ読み取り可能な記録媒体に記録して、又は、ネットワークを介して、操作者に提供されてもよい。
(実施形態2)
次に、本開示の実施形態2に係る画像処理装置について説明する。
実施形態2に係る画像処理装置は、画像データ縮小手段、中間階調領域特定手段及び情報コード検索-解析手段に加え、ノイズを削除する削除手段及び中間階調領域膨張手段を有する点が、実施形態1に係る画像処理装置と異なる。
図12は、実施形態2に係る画像処理装置の構成を説明するブロック図である。
図12に示す画像処理装置210は、画像データ縮小手段211、中間階調領域特定手段212、削除手段216、中間階調領域膨張手段217及び情報コード検索-解析手段213を備える。
図13を用いて、実施形態2に係る画像処理装置の動作について説明する。
図13は、実施形態2に係る画像処理装置の動作の一例を説明するフローチャートである。
図13に示すように、実施形態2に係る画像処理装置210では、まず、画像データ縮小手段211が、画像データを縮小して縮小画像データとする(工程S21)。
次に、中間階調領域特定手段212が、縮小画像データから所定の中間階調の画素値を有する第1の中間階調領域を特定する(工程S22)。
次に、ノイズを削除する削除手段216が、縮小画像データからノイズとなる領域を削除する(工程S23)。
次に、中間階調領域膨張手段217が、ノイズとなる領域が削除された縮小画像データの第1の中間階調領域を膨張させる(工程S24)。
次に、情報コード検索-解析手段213が、中間階調領域膨張手段217により膨張された領域に対応する画像データの領域に対して、情報コードの検索及び解析を実行し(工程S25)、画像処理装置の動作が終了する。
以下、より具体的に、情報コードが2次元コードの一種であるQRコードである場合を例に挙げ、画像処理装置210が、情報コードを高速に検索及び解析できる原理を説明する。
画像データ、(工程S21)及び(工程S22)は、上記実施形態1に係る画像処理装置の説明における画像データ、(工程S11)及び(工程S12)と同じである。
<削除手段の機能(工程S23)>
縮小画像データ30の第1の中間階調領域36は、画像データ20のQRコード21が位置する領域に対応しない領域を含み得る。
このような領域は、画像データ20においてQRコード21が位置する領域に対応しないので、情報コード検索-解析手段213が検索を行う領域から除外した方が効率的にQRコード21を発見できる。
例えば、以下の特徴を有する第1の中間階調領域36は、画像データ20のQRコード21が位置する領域に対応しないノイズとして、削除手段216により削除してもよい。
図14A及び図14Bは、縮小画像データの第1の中間階調領域の内、画像データにおいてQRコードが位置する領域に対応しない領域の一例を模式的に示す図である。
図14Aに示すように、第1の中間階調領域36が1画素のみあり、その周囲の画素の画素値が所定の中間階調の上限値を超える場合(例えば、第1の中間階調領域36である1画素の周囲8画素が全て白色の画素である場合)、第1の中間階調領域36と特定された1画素は、画像データ20においてQRコード21が位置する領域に対応しない領域である可能性が高い。これは、第1の中間階調領域36と特定された1画素は、画像データ20におけるQRコード21よりも小さい文字23や汚れ等に対応する領域である可能性が高いためである。
また図14Bに示すように、第1の中間階調領域36が縦方向又は横方向に1画素の直線が所定の画素数だけ伸び、その両側全部の画素の画素値が所定の中間階調の上限値を超える場合(例えば、両側全部の画素が全て白色の画素である場合)、当該第1の中間階調領域36と特定された領域は、画像データ20においてQRコード21が位置する領域に対応しない領域である可能性が高い。これは、当該第1の中間階調領域36と特定された領域が、画像データ20における罫線22に対応する領域である可能性が高いためである。
これらの特徴を有する領域も第1の中間階調領域36に含まれるので、この領域に対応する画像データ20の領域は、情報コード検索-解析手段213により検索及び解析が実行されることになる。この領域に対応する画像データ20の領域を検索すると、時間を消費してしまう。このような領域を第1の中間階調領域36から削除することにより、後述する情報コード検索-解析手段213が検索する領域を減らすことができる。
その後、上記(工程S23)において、情報コード検索-解析手段213が、削除手段により削除された領域に対応する画像データ20の領域に対して、QRコード21の検索及び解析を実行することにより、QRコード21の検索及び解析を高速に行うことができる。
すなわち、第1の中間階調領域36の一部の領域のみに対応する画像データ20の領域に対して、QRコード21の検索及び解析を実行することにより、QRコード21の検索及び解析を高速に行うことができる。
なお、ノイズとして削除する領域は、QRコード21が印字された書類の様式や、縮小倍率等に応じ適宜設定することができる。より具体的には、第1の中間階調領域36が縦方向又は横方向に1画素の直線が伸びる場合、削除する基準となる当該直線の長さ(画素数)を適宜設定することができる。
<中間階調領域膨張手段の機能(工程S24)>
画像データ20を縮小して縮小画像データ30を生成する場合、画像データ20のQRコード21の輪郭近傍では、QRコード21を構成する画素の画素値と、QRコード21を構成しない画素の画素値とから、縮小画像データ30の画素値を算出する場合がある。
このように算出された画素値は、所定の中間階調の画素値の範囲に含まれない場合がある。
そうすると、その画素値を有するある画素は、第1の中間階調領域36として特定されないことになる。
また、QRコード21において、白色の画素が密集している場合や、黒色の画素が密集している場合、縮小画像データ30において、当該領域に対応する領域を構成する画素の画素値が、所定の中間階調の画素値の範囲に含まれない場合がある。
また、画像データ20を取り込む際の精度やノイズの問題で、QRコード21の領域に対応する縮小画像データの領域を構成する画素の画素値が、所定の中間階調の画素値の範囲に含まれない場合がある。
つまり、縮小画像データ30のある画素が位置する領域が、画像データ20のQRコード21が位置する領域に対応する領域であったとしても、その画素が、第1の中間階調領域36として特定されない場合がある。
情報コード検索-解析手段213は、縮小画像データ30の第1の中間階調領域36の領域に対応する画像データ20の領域に対しQRコード21の検索を実行する。そのため、縮小画像データ30のある画素が位置する領域が、画像データ20のQRコード21が位置する領域に対応する領域であったとしても、情報コード検索-解析手段213は、縮小画像データ30のその画素が位置する領域に対応する画像データ20の領域を検索しない。
そのため、情報コード検索-解析手段213が、QRコード21を解析できなくなる場合がある。
このような問題を生じさせないために、中間階調領域膨張手段は、第1の中間階調領域36を膨張させてもよい。より具体的には、中間階調領域膨張手段は、第1の中間階調領域36の周囲に例えば1画素だけ膨張させてもよい。
このように第1の中間階調領域36を膨張させることにより、膨張された領域に対応する画像データ20の領域に、QRコード21の全体が含まれるようにすることができる。
<情報コード検索-解析手段の機能(工程S25)>
その後、上記(工程S25)において、情報コード検索-解析手段213が、膨張前の第1の中間階調領域36及び中間階調領域膨張手段により膨張された領域を合わせた領域に対応する画像データ20の領域に対して、QRコード21の検索及び解析を実行することにより、QRコード21を発見及び解析しやすくなる。
なお、膨張する第1の中間階調領域36の範囲は、縮小倍率等に応じ適宜設定することができる。
より具体的には、上記説明では、中間階調領域膨張手段は、第1の中間階調領域36の周囲に1画素だけ膨張させていたが、2画素以上膨張させてもよい。
なお、実施形態2に係る画像処理装置210では、(工程S23)及び(工程S24)のいずれか一方のみを行ってもよい。
(実施形態3)
次に、本開示の実施形態3に係る画像処理装置について説明する。
情報コードが印刷された書類から画像データを取得する際、画像データを取得する装置の種類や取得時の状態により、取得した画像データが濃くなったり、薄くなったりする場合がある。
このような画像データを縮小して縮小画像データとした際に、情報コードが位置していた画像データの領域に対応する縮小画像データの領域の画素の画素値が、あらかじめ設定した中間階調の画素値の範囲に含まれない場合がある。この場合、情報コードが位置していた画像データの領域に対応する縮小画像データの領域が、第1の中間階調領域として特定されなくなる。
そのため、情報コード検索-解析手段が、第1の中間階調領域の領域に対応する画像データの領域に対し、情報コードの検索をしたとしても、情報コードを発見できない。
本開示の実施形態3に係る画像処理装置は、このような場合であっても、情報コード検索-解析手段が情報コードを発見しやすくなる仕組みを備えている。
図15は、実施形態3に係る画像処理装置の構成を説明するブロック図である。
図15に示す画像処理装置310は、画像データ縮小手段311、中間階調領域特定手段312及び情報コード検索-解析手段313を備える。
実施形態3に係る画像処理装置310は、第1の中間階調領域の少なくとも一部の領域に対応する画像データの領域に情報コードが発見されなかった場合、中間階調領域特定手段312は、所定の画素値範囲(第1画素値範囲)とは異なる所定の第2画素値範囲以内の画素値を有する領域を第2の中間階調領域として特定し、情報コード検索-解析手段313は、第2の中間階調領域の少なくとも一部の領域に対応する画像データの領域に対し、情報コードの検索及び解析を実行する点が、上記実施形態1に係る画像処理装置と異なる。
図16を用いて、実施形態3に係る画像処理装置の動作について説明する。
図16は、実施形態3に係る画像処理装置の動作の一例を説明するフローチャートである。
図15に示すように画像処理装置310では、まず、画像データ縮小手段311が、画像データを縮小して縮小画像データとする(工程S31)。
次に、中間階調領域特定手段312が、縮小画像データから所定の第1画素値範囲以内の画素値を有する領域を第1の中間階調領域として特定する(工程S32)。
次に、情報コード検索-解析手段313が、第1の中間階調領域の少なくとも一部の領域に対応する画像データの領域に対し、情報コードの検索を実行する(工程S33)。
工程S33において、情報コードが発見された場合、情報コード検索-解析手段313は、情報コードの解析を実行し(工程S34)、実施形態3に係る画像処理装置の動作が終了する。
工程S33において、情報コードが発見されなかった場合、中間階調領域特定手段312は、第1画素値範囲とは異なる所定の第2画素値範囲を設定する(工程S35)。
次に、工程S32に戻り、中間階調領域特定手段312は、第2画素値範囲以内の画素値を有する領域を第2の中間階調領域として特定する。
次に、情報コード検索-解析手段313が、第2の中間階調領域の少なくとも一部の領域に対応する画像データの領域に対し、情報コードの検索を実行する(工程S33)。
以下、情報コードが発見されるまで工程S35で特定する画素値範囲を変え、工程S35、工程S32及び工程S33を繰り返し、工程S33において、情報コードが発見された場合、情報コード検索-解析手段313は、情報コードの解析を実行し(工程S34)、実施形態3に係る画像処理装置の動作が終了する。
実施形態3に係る画像処理装置310において、工程S35で変更する「第2画素値範囲」は、あらかじめ設定すればよい。
なお、「第2画素値範囲」とは「第1画素値範囲」と下限の画素値及び上限の画素値の内少なくとも一方が異なる画素値の範囲を意味する。
例えば、第2画素値範囲は、第1画素値範囲と一部が重複しており、第1画素値範囲を上方にシフトさせた範囲であってもよい。
また、第2画素値範囲は、第1画素値範囲と一部が重複しており、第1画素値範囲を下方にシフトさせた範囲であってもよい。
また、第2画素値範囲は、第1画素値範囲と重複しておらず、第1画素値範囲より高い範囲であってもよい。この場合、第1画素値範囲の上限値と、第2画素値範囲の下限値は連続した画素値であってもよいし、連続しない(互いに離れた)画素値であってもよい。
また、第2画素値範囲は、第1画素値範囲と重複しておらず、第1画素値範囲より低い範囲であってもよい。この場合、第1画素値範囲の下限値と、第2画素値範囲の上限値は連続した画素値であってもよいし、連続しない(互いに離れた)画素値であってもよい。
また、第2画素値範囲の最小値から最大値までの幅は、第1画素値範囲の最小値から最大値までの幅は同じであってもよく、異なっていてもよい。
具体的に、画像データが256階調のグレースケール画像であり、第1画素値範囲として、50~200階調を設定した場合、第2画素値範囲として、75~225階調を設定してもよく、25~175階調を設定してもよい。また、第1画素値範囲として、100~150階調を設定した場合、第2画素値範囲として、151~200階調を設定してもよく、50~99階調を設定してもよい。
(実施形態4)
次に、本開示の実施形態4に係る画像処理装置について説明する。
情報コードが印刷された書類から画像データを取得する際、画像データを取得する装置の種類により、取得した画像データが濃くなったり、薄くなったりする場合がある。
画像データを取得する装置の種類が事前に判明していれば、中間階調となる画素値の範囲を、その画像データを取得する装置の種類に応じて決定することにより、情報コード検索-解析を最適化することができる。
実施形態4に係る画像処理装置410は、このような仕組みを備えている。
図17は、実施形態4に係る画像処理装置の構成を説明するブロック図である。
図17に示す画像処理装置410は、画像データ縮小手段411、画像データを取得する装置の種類を特定する手段418、中間階調領域特定手段412及び情報コード検索-解析手段413を備える。
図18を用いて、実施形態4に係る画像処理装置の動作について説明する。
図18は、実施形態4に係る画像処理装置の動作の一例を説明するフローチャートである。
図18に示すように画像処理装置410では、画像データ縮小手段411が、画像データを縮小して縮小画像データとする(工程S41)。
次に、画像データを取得する装置の種類を特定する手段418が画像データを取得する装置の種類を特定する(工程S42)。例えば、画像データを取得する装置の種類を示す情報を取得することで当該種類を特定する。
画像を取得する装置とは、デジタルカメラやイメージスキャナ等であり、画像データを取得する装置の種類とは、当該装置の型番や機種名等のことを意味する。
次に、中間階調領域特定手段412が、画像データを取得する装置の種類に対応するようにあらかじめ設定された中間階調となる画素値の範囲を用い、縮小画像データから第1の中間階調領域を特定する(工程S43)。
次に、情報コード検索-解析手段413が、第1の中間階調領域の少なくとも一部の領域に対応する画像データの領域に対し、情報コードの検索及び解析を実行し(工程S44)、画像処理装置410の動作が終了する。
画像処理装置410では、画像データを取得する装置の種類と、中間階調となる画素値の範囲とをあらかじめ紐づけて記憶しておき、中間階調領域特定手段412が第1の中間階調領域を特定する際に、画像データを取得する装置の種類に紐づけられた中間階調となる画素値の範囲を参照すればよい。
なお画像処理装置410では、(工程S41)を(工程S42)の後に行ってもよい。
また、画像処理装置410は、情報コードの目視用の画像と、情報コード読取用の画像とを生成してもよい。
さらに、情報コードの目視用の画像と、情報コードの読取用の画像とで濃淡を切り替えてもよい。
これは、情報コードの目視用の画像と情報コードの読取用の画像とで理想的な画像の濃さが異なる場合があるためである。
さらに、画像処理装置410は、文字の目視用の画像と、文字のOCR処理用の画像とを生成してもよい。
また、文字の目視用の画像と、文字のOCR処理用の画像とで濃淡を切り替えてもよい。
これは、文字の目視用の画像と、文字のOCR処理用の画像とで理想的な画像の濃さが異なる場合があるためである。
(実施形態5)
上記実施形態1~実施形態4では、画像処理装置を一つの装置として構成する場合について説明したが、画像処理装置の各機能を適宜複数の装置に分散した分散処理システムにより実現してもよい。
例えば、画像データ縮小手段、中間階調領域特定手段、情報コード検索手段及び情報コード解析手段を別々の装置に組み込み、各装置間で通信を行い、連続的に各手段による処理を行ってもよい。
また、情報コード検索手段及び情報コード解析手段をクラウド上に構築し、情報コードの検索及び解析を行ってもよい。
このような画像処理システムは、本開示の画像処理システムでもある。
(情報コード検索方法)
また、情報コード検索システムにおける情報コード検索方法であって、画像データを縮小して縮小画像データとする、画像データ縮小工程と、縮小画像データから所定の中間階調の画素値を有する第1の中間階調領域を特定する中間階調領域特定工程と、第1の中間階調領域の少なくとも一部の領域に対応する画像データの領域に対し、情報コードの検索を実行する情報コード検索工程と、情報コードの解析を実行する情報コード解析工程とを含むことを特徴とする情報コード検索方法は、本開示の情報コード検索方法でもある。
(実施形態6)
次に、本開示の画像処理装置が組み込まれた帳票処理装置について説明する。
図19は、本開示の画像処理装置が組み込まれた帳票処理装置の一例を模式的に示す断面図である。
図19に示す、帳票処理装置550が処理する帳票類552としては、例えば、情報コードが印字された公共料金の納付書や、国税及び社会保険料の歳入金の納付書等である。
帳票処理装置550は、機体554、複数枚集積して載置された帳票類552を機体554内に1枚ずつ(1綴りずつ)分離して繰り出す帳票類繰出装置555、この帳票類繰出装置555で機体554内に繰り出される帳票類552を搬送する搬送路556、この搬送路556によって搬送する帳票類552に印字された情報コードを検索し解析する画像処理装置510、この画像処理装置510による解析結果に応じて搬送路556から帳票類552を受け入れて一時保留したり、一時保留した帳票類552を搬送路556に送り出す複数の一時保留部558、搬送路556によって搬送する帳票類552を種類別に仕分ける複数の仕分け部559、及びこの帳票処理装置550を制御する制御部560を備えている。
なお、帳票処理装置550が備える画像処理装置510は、帳票類552を画像データとして取り込む画像取り込み手段を備える上記実施形態1~4で説明した画像処理装置であってもよい。
一時保留部558は、一対のテープ558a、これら一対のテープ558aの一端側を重ねて一緒に巻き取る巻取りローラ558b、及び各テープ558aの他端側をそれぞれ巻き取る一対の巻取りリール558cを備えている。そして、帳票類552の収納時には、巻取りローラ558bで一対のテープ558aを巻き取るとともに各巻取りリール558cから各テープ558aを巻き戻し、搬送路556から1枚ずつ送り込まれる帳票類552を一対のテープ558a間に挟み込んで一対のテープ558aとともに巻取りローラ558bに巻き取って収納し、また、帳票類552の繰出時には、各巻取りリール558cで各テープ558aを巻き取るとともに巻取りローラ558bから一対のテープ558aを巻き戻し、一対のテープ558a間から帳票類552を1枚ずつ搬送路556に送り出す。
そして、帳票処理装置550では、複数枚集積されて装填された帳票類552を帳票類繰出装置555によって1枚ずつ搬送路556に繰り出し、この搬送路556によって搬送する帳票類552に印字された情報コードを画像処理装置510で解析し、帳票類552の種類を判別する。種類を判別した帳票類552は、設定に応じて、仕分け部559に搬送したり、全ての帳票類552を一時保留部558に一時保留したり、解析できなかった一部の帳票類552のみを一時保留部558に一時保留する。帳票類552を一時保留部558に一時保留した場合には、一時保留部558から帳票類552を1枚ずつ繰り出して仕分け部559に搬送する。仕分け部559では、搬送路556によって搬送してくる帳票類552を種類別に仕分ける。
解析できなかった一部の帳票類552には、情報コードが存在したが正常に解析できなかった帳票と、そもそも情報コードが存在しなかった帳票が含まれる。
これらの帳票を仕分け部559において別の種類の帳票として仕分けてもよい。
また、帳票処理装置550は、情報コードが存在したが正常に解析できなかった帳票を、処理するための専用モードを備えていてもよい。
当該専用モードでは、帳票の搬送速度を低速にしたり、情報コードを解析するプログラムを変更したりすることで、情報コードが存在したが正常に解析できなかった帳票を正常に解析するための確率を上げるように処理してもよい。
また、専用モードは、帳票処理装置550の一部の構成として組み込まれていてもよく、別の装置に備えられていてもよい。
なお、情報コードが存在したが正常に解析できなかった帳票は以下のように判別できる。
情報コード検索-解析手段において、情報コード検出アルゴリズムと、情報コード解析アルゴリズムとが別々に存在している場合、情報コード検出アルゴリズムにおいて情報コードが位置するらしき領域が判別できるが、情報コード解析アルゴリズムにおいて情報コードの解析が失敗することがある。
この場合、その帳票は、情報コードが存在したが正常に解析できなかった帳票と判別できる。
なお、情報コードが位置するらしき領域が判別できるが、情報コードの解析が失敗する場合とは、例えば、情報コードに汚れたにじみがあり、情報コードの一部が隠れてしまい、情報コードの解析ができない場合が該当する。
帳票処理装置550にて帳票を処理する場合、束の帳票に対し表紙がセットとなっていることがあり、当該表紙には上記束の帳票の枚数が記載されていることがある。
このような場合、帳票処理装置にて表紙に記載されている枚数の情報をOCR処理などで取得し、「その後上記枚数分だけ搬送されたものは帳票である」、「上記枚数分を処理した後に搬送されたものは表紙である」と類推して処理可能としてもよい。
以上のように、本開示は、あらかじめ情報コードの配置位置及び大きさが特定されていない書類から取得した画像データに対し、情報コードの検索及び解析を高速で実行するのに有用な技術である。

 

Claims (14)

  1. 画像データを縮小して縮小画像データとする、画像データ縮小手段と、
    前記縮小画像データから所定の中間階調の画素値を有する第1の中間階調領域を特定する中間階調領域特定手段と、
    前記第1の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に対し、情報コードの検索を実行する情報コード検索手段と、
    前記情報コードの解析を実行する情報コード解析手段とを備えることを特徴とする画像処理装置。
  2. 前記画像データ縮小手段は、前記画像データについて所定の領域毎に画素値の平均値を算出し、算出した平均値を画素値とする画像データを前記縮小画像データとして生成する請求項1に記載の画像処理装置。
  3. 前記中間階調領域特定手段は、前記縮小画像データのうち、所定の第1画素値範囲以内の画素値を有する領域を前記第1の中間階調領域として特定する請求項1又は2に記載の画像処理装置。
  4. 前記中間階調領域特定手段は、前記縮小画像データを黒色、白色及び灰色の画素値に三値化し、灰色の画素値に変換された領域を前記第1の中間階調領域として特定する請求項1~3のいずれかに記載の画像処理装置。
  5. 前記第1の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に前記情報コードが発見されなかった場合、
    前記中間階調領域特定手段は、前記第1画素値範囲とは異なる所定の第2画素値範囲以内の画素値を有する領域を第2の中間階調領域として特定し、
    前記情報コード検索手段は、前記第2の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に対し、前記情報コードの検索を実行する請求項3に記載の画像処理装置。
  6. 前記画像処理装置は、前記第1の中間階調領域の前記少なくとも一部の領域を膨張させる中間階調領域膨張手段をさらに備え、
    前記情報コード検索手段は、前記中間階調領域膨張手段により膨張された領域に対応する前記画像データの領域に対して、前記情報コードの検索を実行する請求項1~5のいずれかに記載の画像処理装置。
  7. 画像データを縮小して縮小画像データとする、画像データ縮小手段と、
    前記縮小画像データから所定の中間階調の画素値を有する第1の中間階調領域を特定する中間階調領域特定手段と、
    前記第1の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に対し、情報コードの検索を実行する情報コード検索手段と、
    前記情報コードの解析を実行する情報コード解析手段とを備えることを特徴とする画像処理システム。
  8. 情報コード検索システムにおける情報コード検索方法であって、
    画像データを縮小して縮小画像データとする、画像データ縮小工程と、
    前記縮小画像データから所定の中間階調の画素値を有する第1の中間階調領域を特定する中間階調領域特定工程と、
    前記第1の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に対し、情報コードの検索を実行する情報コード検索工程と、
    前記情報コードの解析を実行する情報コード解析工程とを含むことを特徴とする情報コード検索方法。
  9. 前記画像データ縮小工程は、前記画像データについて所定の領域毎に画素値の平均値を算出し、算出した平均値を画素値とする画像データを前記縮小画像データとして生成する工程を含む請求項8に記載の情報コード検索方法。
  10. 前記中間階調領域特定工程は、前記縮小画像データのうち、所定の第1画素値範囲以内の画素値を有する領域を前記第1の中間階調領域として特定する工程を含む請求項8又は9に記載の情報コード検索方法。
  11. 前記中間階調領域特定工程は、前記縮小画像データを黒色、白色及び灰色の画素値に三値化し、灰色の画素値に変換された領域を前記第1の中間階調領域として特定する工程を含む請求項8~10のいずれかに記載の情報コード検索方法。
  12. 前記情報コード検索工程において、前記第1の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に前記情報コードが発見できなかった場合、
    前記第1画素値範囲とは異なる所定の第2画素値範囲以内の画素値を有する領域を第2の中間階調領域として特定する工程と、
    前記第2の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に対し、前記情報コードの検索を実行する工程と、を更に含む請求項10に記載の情報コード検索方法。
  13. 前記第1の中間階調領域の前記少なくとも一部の領域を膨張させる膨張工程をさらに備え、
    前記情報コード検索工程は、前記膨張工程において膨張された領域に対応する前記画像データの領域に対して、前記情報コードの検索を実行する請求項8~12のいずれかに記載の情報コード検索方法。
  14. 画像データを縮小して縮小画像データとする、画像データ縮小処理と、
    前記縮小画像データから所定の中間階調の画素値を有する第1の中間階調領域を特定する中間階調領域特定処理と、
    前記第1の中間階調領域の少なくとも一部の領域に対応する前記画像データの領域に対し、情報コードの検索を実行する情報コード検索処理と、
    前記情報コードの解析を実行する情報コード解析処理とを画像処理装置に実行させることを特徴とする情報コード検索プログラム。

     
PCT/JP2023/037873 2022-10-21 2023-10-19 画像処理装置、画像処理システム、情報コード検索方法及び情報コード検索プログラム WO2024085229A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022169194A JP2024061323A (ja) 2022-10-21 2022-10-21 画像処理装置、画像処理システム、情報コード検索方法及び情報コード検索プログラム
JP2022-169194 2022-10-21

Publications (1)

Publication Number Publication Date
WO2024085229A1 true WO2024085229A1 (ja) 2024-04-25

Family

ID=90737938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/037873 WO2024085229A1 (ja) 2022-10-21 2023-10-19 画像処理装置、画像処理システム、情報コード検索方法及び情報コード検索プログラム

Country Status (2)

Country Link
JP (1) JP2024061323A (ja)
WO (1) WO2024085229A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097650A (ja) * 2015-11-25 2017-06-01 京セラドキュメントソリューションズ株式会社 画像読取装置及び画像形成装置
JP2018036737A (ja) * 2016-08-29 2018-03-08 レオンテック株式会社 マルチバーコードを読み取るための画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097650A (ja) * 2015-11-25 2017-06-01 京セラドキュメントソリューションズ株式会社 画像読取装置及び画像形成装置
JP2018036737A (ja) * 2016-08-29 2018-03-08 レオンテック株式会社 マルチバーコードを読み取るための画像処理装置

Also Published As

Publication number Publication date
JP2024061323A (ja) 2024-05-07

Similar Documents

Publication Publication Date Title
US7209599B2 (en) System and method for scanned image bleedthrough processing
US8320019B2 (en) Image processing apparatus, image processing method, and computer program thereof
US8306325B2 (en) Text character identification system and method thereof
JP6139396B2 (ja) 文書を表す二値画像を圧縮する方法及びプログラム
US8027550B2 (en) Image-document retrieving apparatus, method of retrieving image document, program, and recording medium
US8224095B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
US10198809B2 (en) System and method for defect detection in a print system
US20090284801A1 (en) Image processing apparatus and image processing method
CN107016363A (zh) 票据图像管理装置、票据图像管理系统以及方法
JP2007172132A (ja) レイアウト解析プログラム、レイアウト解析装置、レイアウト解析方法
JP2009081707A (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、及び記録媒体
KR20120132314A (ko) 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체
KR102102403B1 (ko) 위조 영상 인쇄물 감식을 통한 코드인증방법과 그 응용 시스템
CN112949471A (zh) 基于国产cpu的电子公文识别复现方法及系统
JP4859054B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US20220319215A1 (en) Image processing method, device, electronic apparatus, and storage medium
US10586125B2 (en) Line removal method, apparatus, and computer-readable medium
US8705134B2 (en) Method of processing an image to clarify text in the image
US7986839B2 (en) Image processing method, image processing apparatus, image forming apparatus, and storage medium
JP6474504B1 (ja) 手書文字認識システム
WO2024085229A1 (ja) 画像処理装置、画像処理システム、情報コード検索方法及び情報コード検索プログラム
US20110170133A1 (en) Image forming apparatus, method of forming image and method of authenticating document
JP5517028B2 (ja) 画像処理装置
CN100511267C (zh) 图文影像处理装置及其影像处理方法
US8125691B2 (en) Information processing apparatus and method, computer program and computer-readable recording medium for embedding watermark information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23879872

Country of ref document: EP

Kind code of ref document: A1