WO2020084720A1 - 紙幣検査装置、紙幣検査方法及び紙幣検査プログラム - Google Patents

紙幣検査装置、紙幣検査方法及び紙幣検査プログラム Download PDF

Info

Publication number
WO2020084720A1
WO2020084720A1 PCT/JP2018/039565 JP2018039565W WO2020084720A1 WO 2020084720 A1 WO2020084720 A1 WO 2020084720A1 JP 2018039565 W JP2018039565 W JP 2018039565W WO 2020084720 A1 WO2020084720 A1 WO 2020084720A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
character
serial number
banknote
recognition unit
Prior art date
Application number
PCT/JP2018/039565
Other languages
English (en)
French (fr)
Inventor
吉村　和久
昭夫 丸山
Original Assignee
富士通フロンテック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通フロンテック株式会社 filed Critical 富士通フロンテック株式会社
Priority to CN201880098605.5A priority Critical patent/CN112840383B/zh
Priority to JP2020552439A priority patent/JP6976455B2/ja
Priority to MX2021004385A priority patent/MX2021004385A/es
Priority to CA3115746A priority patent/CA3115746C/en
Priority to BR112021005549-5A priority patent/BR112021005549A2/pt
Priority to PCT/JP2018/039565 priority patent/WO2020084720A1/ja
Publication of WO2020084720A1 publication Critical patent/WO2020084720A1/ja
Priority to US17/221,454 priority patent/US11423728B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/06—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
    • G07D7/12—Visible light, infrared or ultraviolet radiation
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/005—Testing security markings invisible to the naked eye, e.g. verifying thickened lines or unobtrusive markings or alterations
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/005—Testing security markings invisible to the naked eye, e.g. verifying thickened lines or unobtrusive markings or alterations
    • G07D7/0054—Testing security markings invisible to the naked eye, e.g. verifying thickened lines or unobtrusive markings or alterations involving markings the properties of which are altered from original properties

Definitions

  • the present disclosure relates to a bill inspection device, a bill inspection method, and a bill inspection program.
  • Banknote handling devices such as ATMs (Automated Teller Machines) are equipped with a banknote inspection device that inspects banknotes to determine the denomination of the banknotes and that recognizes the serial numbers of the banknotes.
  • serial number Since each banknote can be uniquely identified by the serial number, the serial number is used for finding counterfeit banknotes. Therefore, it is important to recognize the serial number accurately.
  • the disclosed technology has been made in view of the above, and its purpose is to improve the recognition accuracy of the serial number of a bill.
  • the banknote inspection device has a storage unit and a recognition unit.
  • the storage unit stores a first learning model generated using an image of a character having a hole as teacher data and a second learning model generated using an image of a character having no hole as teacher data.
  • the recognition unit recognizes the character using the first learning model when the character image that is the image of the character forming the serial number of the banknote has a hole, while the character image does not have the hole , The character is recognized using the second learning model.
  • FIG. 1 is a diagram illustrating a configuration example of the banknote handling apparatus of the first embodiment.
  • FIG. 2 is a diagram illustrating an example of the transport path connection configuration according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a transport path connection configuration according to the first embodiment.
  • FIG. 4 is a diagram illustrating a configuration example of the banknote inspection device of the first embodiment.
  • FIG. 5 is a flowchart for explaining a processing example of the serial number recognition unit according to the first embodiment.
  • FIG. 6 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 7 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 1 is a diagram illustrating a configuration example of the banknote handling apparatus of the first embodiment.
  • FIG. 2 is a diagram illustrating an example of the transport path connection configuration according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a transport path connection configuration according
  • FIG. 8 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 9 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 10 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 11 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 12 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 13 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 14 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 15 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 16 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 17 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 18 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 19 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 20 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 21 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 22 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • FIG. 23 is a diagram for explaining an operation example of the serial number recognition unit according to the first embodiment.
  • banknote inspection device An embodiment of the banknote inspection device, the banknote inspection method, and the banknote inspection program disclosed in the present application will be described below with reference to the drawings. Note that the banknote inspection device, the banknote inspection method, and the banknote inspection program disclosed in the present application are not limited by this embodiment. Further, in the following embodiments, the same components are designated by the same reference numerals.
  • FIG. 1 is a diagram illustrating a configuration example of the banknote handling apparatus of the first embodiment.
  • FIG. 1 is a side sectional view.
  • the banknote handling device 1 includes a deposit / withdrawal port 11, a switching claw 12, a solenoid 13, a banknote inspection device 14, a temporary holding unit 15, and stackers 16-1, 16-2, 16-3. , A control unit 17 and conveyance paths P1, P2, P3.
  • connection form C1 a connected form between the conveyance path P1 and the conveyance path P3
  • connection form C2 a connected form between the conveyance path P1 and the conveyance path P3
  • the transport path connection mode is the connection mode C1
  • the transport path P1 and the transport path P2 form a continuous transport path
  • the transport path connection mode is the connection mode C2
  • the transport path P1 and the transport path P1 P3 and P3 form a continuous transport path.
  • the central axis CA of the switching claw 12 is connected to the solenoid 13, and the switching claw 12 can be rotated about the central axis CA by the solenoid 13.
  • the switching pawl 12 and the solenoid 13 are arranged near the conveyance path branch point PJ, and the switching pawl 12 is rotated by the solenoid 13 to switch the conveyance path connection form between the connection form C1 and the connection form C2.
  • the switching of the transport path connection form is performed under the control of the control unit 17.
  • FIGS. 2 and 3 are diagrams illustrating an example of a transport path connection configuration according to the first embodiment. 2 shows the case where the transport path connection form is the connection form C1, and FIG. 3 shows the case where the transport path connection form is the connection form C2.
  • connection form C1 As shown in FIG. 2, when the current I1 flows through the solenoid 13, the switching claw 12 rotates counterclockwise around the center axis CA, and the left end of the switching claw 12 moves to the conveyance path branch point PJ. By contacting with, the transport path connection form becomes the connection form C1.
  • the transport path connection mode is the connection mode C1
  • the bills BL inserted into the deposit / withdrawal port 11 pass through the transport path P2, are folded back in the opposite direction along the left side surface of the switching claw 12, and pass through the transport path P1. It is conveyed to the banknote inspection device 14 and inspected by the banknote inspection device 14. The banknote BL after the inspection proceeds further along the transport path P1 and is temporarily stored in the temporary holding unit 15.
  • the transport path connection form is maintained as the connection form C1 and is temporarily stored in the temporary holding unit 15.
  • the stored bills BL are discharged from the temporary holding unit 15, pass through the transport path P1, turn back in the opposite direction along the left side face of the switching claw 12 at the transport path branch point PJ, and deposit / withdraw through the transport path P2. Returned to mouth 11.
  • the bill inspection device 14 can identify the denomination and recognize the serial number and the inspection result is “OK”, a current I2 in the opposite direction to the current I1 flows to the solenoid 13 as shown in FIG.
  • the switching pawl 12 rotates clockwise (clockwise) about the central axis CA, and the left end of the switching pawl 12 moves away from the transport path branch point PJ, whereby the transport path connection form becomes the connection form C2.
  • the transport path connection form is the connection form C2
  • the banknotes BL once stored in the temporary storage unit 15 are discharged from the temporary storage unit 15, pass through the transport path P1, and pass through the transport path branch point PJ.
  • the sheets After entering the conveyance path P3 and proceeding along the conveyance path P3, the sheets are stored in any one of the stackers 16-1, 16-2, 16-3 according to the discriminated denomination.
  • the stacker 16-1 stores 10,000-yen bills
  • the stacker 16-2 stores 5,000-yen bills
  • the stacker 16-3 stores 1,000-yen bills.
  • FIG. 4 is a diagram illustrating a configuration example of the banknote inspection device of the first embodiment.
  • the banknote inspection device 14 includes a banknote capturing unit 21, a denomination discrimination unit 22, a serial number recognition unit 24, and a storage unit 23.
  • the banknote capturing unit 21 captures an image of the banknote BL conveyed to the banknote inspection device 14, and outputs an image of the captured banknote BL (hereinafter sometimes referred to as “banknote image”) BLP to the serial number recognition unit 24.
  • the denomination discriminating unit 22 discriminates the denomination of the bill BL conveyed to the bill inspecting device 14, and provides information indicating the discriminated denomination (hereinafter, may be referred to as “denomination information”) with a serial number recognition unit. Output to 24.
  • the denomination determining unit 22 determines the denomination, for example, based on the length and width of the bill BL, the pattern on the face of the bill, and the like.
  • the storage unit 23 stores the learning model generated using CNN (Convolutional Neural Network).
  • the serial number recognition unit 24 uses the denomination information input from the denomination determination unit 22 and the learning model stored in the storage unit 23, based on the banknote image BLP input from the banknote capturing unit 21. , Recognizes the serial number of the banknote BL and outputs the recognition result.
  • FIG. 5 is a flow chart for explaining an example of processing of the serial number recognition unit of the first embodiment
  • FIGS. 6 to 23 are diagrams for explaining an operation example of the serial number recognition unit of the first embodiment.
  • step S201 the serial number recognition unit 24, as shown in FIG. 6, an image of an area in which the serial number exists in the banknote image BLP (hereinafter, referred to as “serial number existing area”) ( Hereinafter, it may be referred to as a "serial number existing area image”) SNP1 or serial number existing area image SNP2 is extracted from the banknote image BLP.
  • the serial number existence area is a horizontally long rectangular area.
  • the serial number recognition unit 24 starts from the lower right part of the banknote image BLP and has a serial number existing area image having a horizontally long rectangular shape. Extract SNP1.
  • the serial number recognition unit 24 determines the image of the rectangular area specified by the coordinates (x1, y1) and the coordinates (x2, y2) as the serial number existence area image. It is extracted from the bill image BLP as SNP1.
  • the serial number recognition unit 24 has a serial number having a vertically long rectangular shape from the right side of the banknote image BLP, as shown in FIG. The area image SNP2 is extracted.
  • serial number existence area images SNP1 and SNP2 may be collectively referred to as "serial number existence area image SNP".
  • the serial number existence region SR is a region of a prescribed size whose vertical and horizontal lengths are L1 and L2. Characters l1 to l6 are arranged in RR1 to RR6 (hereinafter may be referred to as “specified size area”).
  • the sizes of the prescribed size regions RR1 to RR6 are all the same, and the prescribed size regions RR1 to RR6 are located at equal intervals L3.
  • the specified size areas RR1 to RR6 may be collectively referred to as a “specified size area RR”.
  • step S203 the serial number recognition unit 24, when the serial number existing area image is an image having a vertically long rectangular shape like the serial number existing area image SNP2 in FIG.
  • the orientation of the serial number existing area image is corrected by rotating the serial number existing area image by 90 °.
  • the serial number existing area image SNP2 having a vertically long rectangular shape is corrected to a serial number existing area image having a horizontally long rectangular shape like the serial number existing area image SNP1.
  • step S205 the serial number recognition unit 24 performs the first binarization process on the serial number existing area image SNP.
  • the serial number recognition unit 24 binarizes the serial number existing area image SNP using a fixed binarization threshold TH1. Therefore, for example, when the binarization threshold TH1 is “210”, the serial number recognition unit 24 sets the gradation value of the pixel having the gradation value of 210 or more in FIG. 8 to “255” as shown in FIG. 8 and the gradation value of the pixel having a gradation value less than 210 in FIG. 8 is changed to “0”, so that the serial number existence area image SNP is binarized.
  • serial number recognition unit 24 may set a binarization threshold TH1 having a value according to the denomination indicated by the denomination information output from the denomination determination unit 22.
  • the serial number recognition unit 24 sets the first portion PT1 and the second portion PT2 in a plurality of pixels included in the serial number existing area image SNP.
  • the serial number recognition unit 24 calculates the average value of the gradation values of the first portion PT1 for each column in 54 pixels (1, 1) to (6, 9) and averages the calculated average values. It is set to the binarization threshold TH2 of the column for which the value is calculated.
  • the serial number recognition unit 24 calculates the binarization threshold TH2 for each column by using the first portion PT1 for each column in 54 pixels of the pixel (1, 1) to the pixel (6, 9). Therefore, as shown in FIG. 11, the serial number recognition unit 24 has a gradation value of 210 or more in FIG. 10 because the binarization threshold TH2 is “210” for the first to fourth columns.
  • the serial number existing area image SNP is binarized by changing the gradation value of the pixel to “255” and changing the gradation value of the pixel having the gradation value less than 210 in FIG. 10 to “0”. Further, as shown in FIG. 11, the serial number recognition unit 24 has a gradation value of 130 or more in FIG. 10 because the binarization threshold TH2 is “130” for the fifth and sixth columns.
  • the serial number existence area image SNP is binarized by changing the gradation value of the pixel to "255” and changing the gradation value of the pixel having the gradation value of less than 130 to "0" in FIG.
  • the serial number recognition unit 24 has an area (hereinafter, referred to as “character image”) in which an image of a character forming the serial number of the banknote BL (hereinafter sometimes referred to as “character image”) exists.
  • CR candidates sometimes referred to as "existing areas" (hereinafter may be referred to as "character existing area candidates”) are detected in the serial number existing area image SNP.
  • the serial number recognition unit 24 detects a character existing region candidate by using, for example, a “boundary tracking method” which is a general method of tracking a graphic pixel adjacent to a background in a binarized image.
  • the serial number recognition unit 24 applies the boundary tracking method to the serial number existing region image SNP after the first binarization to generate the serial numbers after the first binarization, as shown in FIG.
  • the contour line CO of the image included in the existing area image SNP (hereinafter, also referred to as “image contour line”) CO is detected.
  • the maximum value ymax of the coordinates is detected.
  • the serial number recognition unit 24 has a coordinate C21 and a coordinate C12 at a predetermined distance (eg, 3 pixels in the ⁇ X direction and 3 pixels in the ⁇ Y direction) from the coordinate C11.
  • a coordinate C22 at a predetermined distance for example, a distance of 3 pixels in the + X direction and 3 pixels in the + Y direction).
  • the serial number recognition unit 24 detects a rectangular area having the upper left corner as the coordinate C21 and the lower right corner as the coordinate C22 as a candidate for the character existing area CR.
  • the serial number recognition unit 24 detects a plurality of character existing region candidates in the serial number existing region image SNP as described above.
  • step S209 the serial number recognition unit 24 identifies the character existing area based on the plurality of character existing area candidates detected in step S207. Specific examples 1 to 10 will be given below as specific examples of the character existing area.
  • the serial number recognition unit 24 sets the size of the character existence region CR based on the size of the specified size region RR from the plurality of candidates for the character existence region detected in step S207.
  • the character existence area in the serial number existence area image SNP is specified by excluding the candidates having a size smaller than the predetermined size SZ1.
  • the predetermined size SZ1 is set to half the size of the specified size region RR.
  • the serial number recognition unit 24 sets the size of the character existence region CR based on the size of the specified size region RR from the plurality of character existence region candidates detected in step S207.
  • the character existence area in the serial number existence area image SNP is specified by excluding the candidates having a predetermined size SZ2 or more.
  • the predetermined size SZ2 is set to twice the size of the specified size region RR.
  • the serial number recognition unit 24 selects a black pixel (that is, “0” by the first binarization) in the character existing region CR from the plurality of candidates for the character existing region detected in step S207. Exclude candidates in which the ratio of the pixel having the gradation value) to the white pixel (that is, the pixel having the gradation value of “255” by the first binarization) is equal to or more than a predetermined value THR. By doing so, the character existing area in the serial number existing area image SNP is specified. For example, the predetermined value THR is set to 20%.
  • the serial number recognition unit 24 excludes a candidate in which the number of dispersed black pixels in the character existence region CR is equal to or larger than a predetermined value THN from the plurality of candidates of the character existence region detected in step S207. By doing so, the character existing area in the serial number existing area image SNP is specified.
  • the dispersion number of black pixels in the character existing region CR is counted with a series of black pixels that are continuous in the vertical, horizontal, or diagonal directions as one unit.
  • FIG. 16 shows, as an example, a case where the number of dispersions of black pixels is “6”.
  • the serial number recognition unit 24 excludes, from the plurality of candidates for the character existing area detected in step S207, a candidate within a predetermined distance D from each side of the serial number existing area image SNP.
  • the character existing area in the serial number existing area image SNP is specified.
  • the candidate CR11 is within a predetermined distance D from the left side of the serial number existence region image SNP
  • the candidate CR13 is the serial number existence region image SNP.
  • the candidate CR16 is within a predetermined distance D from the lower side of the serial number existing area image SNP
  • the candidate CR17 is within a predetermined distance D from the right side of the serial number existing area image SNP. Therefore, in the example shown in FIG. 17, the candidates CR11, CR13, CR16, and CR17 are excluded from the plurality of candidates CR11 to CR17 of the character existence region, and the character existence region CR12 is determined as the character existence region in the serial number existence region image SNP. , CR14, CR15 are specified.
  • the serial number recognition unit 24 acquires the X coordinates PX21, PX22, PX23 of the upper left corner in each of the plurality of candidates CR21, CR22, CR23 of the character existing area detected in step S207, The X coordinates PX21, PX22, and PX23 are sorted in ascending order.
  • the serial number recognition unit 24 calculates the distance XD1 of the X coordinate PX22 with respect to the X coordinate PX21 as the distance of the candidate CR22 with respect to the candidate CR21 and the X coordinate PX23 with respect to the X coordinate PX22 as the distance of the candidate CR23 with respect to the candidate CR22 according to the sort order.
  • the distance XD2 of is calculated.
  • the serial number recognition unit 24 identifies the character existing area in the serial number existing area image SNP by excluding the candidates whose calculated distance is equal to or greater than the predetermined value THX. For example, in FIG.
  • the candidate CR23 is excluded from the plurality of candidate CR21, CR22, CR23 in the character existing area, and the serial number.
  • the character existing areas CR21 and CR22 are specified as the character existing areas in the existing area image SNP.
  • the serial number recognition unit 24 acquires the Y coordinates PY31, PY32, PY33 of the upper left corner in each of the plurality of candidate CR31, CR32, CR33 of the character existing area detected in step S207, The Y coordinates PY31, PY32, and PY33 are sorted in ascending order.
  • the serial number recognition unit 24 calculates the distance YD1 of the Y coordinate PY32 with respect to the Y coordinate PY31 as the distance of the candidate CR32 with respect to the candidate CR31 and the Y coordinate PY33 with respect to the Y coordinate PY32 as the distance of the candidate CR33 with respect to the candidate CR32 according to the sort order.
  • the distance YD2 of is calculated.
  • the serial number recognition unit 24 identifies the character existing area in the serial number existing area image SNP by excluding the candidates whose calculated distance is equal to or larger than the predetermined value THY. For example, in FIG.
  • the candidate CR33 is excluded from the plurality of candidate CR31, CR32, CR33 in the character existing area, and the serial number.
  • the character existing areas CR31 and CR32 are specified as the character existing areas in the existing area image SNP.
  • the serial number recognition unit 24 first acquires the coordinates CP41 to CP47 of the upper left corner of each of the plurality of candidates CR41 to CR47 in the character existing area. Next, the serial number recognition unit 24 calculates an average value of the values of the coordinates CP41 to CP47 (hereinafter sometimes referred to as “coordinate average value”). Next, the serial number recognition unit 24 calculates the Mahalanobis distance between the coordinates of the upper left corner and the coordinate average value for each of the candidates CR41 to CR47.
  • the serial number recognition unit 24 identifies the character existing area in the serial number existing area image SNP by excluding the candidates whose calculated Mahalanobis distance is equal to or larger than the predetermined value THM. For example, in FIG. 20, when the Mahalanobis distance of each of the candidates CR41 to CR46 is less than the predetermined value THM, while the Mahalanobis distance of the candidate CR47 is equal to or more than the predetermined value THM, the plurality of candidate CR41 to CR47 of the character existing area are included. The candidate CR 47 is excluded from among these, and the character existence regions CR41 to CR46 are specified as the character existence regions in the serial number existence region image SNP.
  • the serial number recognition unit 24 has a plurality of candidates of the character existing area, and the distances from the other candidates are equal to or more than a predetermined value. Common in excluding candidates.
  • the serial number recognition unit 24 detects the two images. By integrating the contour lines, the character existing area in the serial number existing area image SNP is specified. For example, in the example shown in FIG. 21, when the shortest distance DMIN between the image contour line CO1 and the image contour line CO2 is less than the predetermined value THL in the character existing region CR, the serial number recognition unit 24 causes the image contour line 24 to recognize the image contour line. By supplementing the pixel PXA between CO1 and the image contour line CO2, the image contour line CO1 and the image contour line CO2 are integrated into one image contour line.
  • the serial number recognition unit 24 is based on the number of characters forming the serial number of the banknote BL.
  • the character existing area in the serial number existing area image SNP is specified. For example, as shown in FIG. 7, the serial number of the banknote BL is formed of six characters, whereas the candidate of the character existing region detected in step S207 is five candidates CR51 to CR55 as shown in FIG. If, the number of candidates for the character existing area is smaller than the number of characters forming the serial number of the bill BL. Further, in the example shown in FIG.
  • the serial number recognition unit 24 specifies a character existing area in the serial number existing area image SNP by adding one new character existing area CR56 to the candidates CR51 to CR55. .
  • the serial number recognition unit 24 adds a character existing region CR56 at a position at an interval L3 (FIG. 7) from the rightmost candidate CR55 among the candidates CR51 to CR55.
  • each of the character existence regions specified in step S209 becomes It is specified as the area where the image exists.
  • step S211 the serial number recognition unit 24 sets the number of character existing areas identified in step S209 (hereinafter, may be referred to as “specific area number”) to “N”.
  • the counter n is increased and the leftmost character existence region in the serial number existence region image SNP is set for each of the plurality of character existence regions specified in step S209. It is performed in order toward the right.
  • step S215 the serial number recognition unit 24 sets the character existence region CR specified in step S209 in the banknote image BLP, and an image of the character existence region CR (hereinafter, may be referred to as “character existence region image”). It is extracted from the bill image BLP.
  • the character existing area image includes a character image.
  • step S217 the serial number recognition unit 24 performs the second binarization process on the character existing region image extracted in step S215.
  • the serial number recognition unit 24 binarizes the character existing region image using, for example, a general binarization method “Otsu binarization”.
  • step S219 the serial number recognition unit 24 uses the “boundary tracking method”, which is the same method as that used in step S207, for example, to convert the character image in the character existing area image after the second binarization. Then, the "number of holes" included in the detected character image (hereinafter may be referred to as "number of holes") is detected.
  • the characters that may form the serial number of the banknote BL include any of the 10 numbers from 0 to 9 and the 26 alphabetic characters from A to Z.
  • the numbers 1, 2, 3, 5, 7 and C, E, F, G, H, I, J, K, L, M, N, S, T, U , V, W, X, Y, Z letters have no holes, and the numbers 0, 4, 6, 8, 9 and letters A, D, O, P, R It has one hole, and each letter B and Q has two holes.
  • the serial number recognition unit 24 uses the binarization threshold value THO calculated when binarizing Otsu in step S217 to determine the contrast of the character existing region image before the second binarization. to correct. As shown in FIG. 23, the serial number recognition unit 24 first obtains the histogram HG1 of the entire character existing area image. Next, the serial number recognition unit 24 sets a binarization threshold value THO for the histogram HG1. Moreover, the serial number recognition unit 24 detects the minimum value MI of the gradation values in the histogram HG1.
  • the serial number recognition unit 24 changes the gradation value of a pixel having a gradation value equal to or higher than the binarization threshold value THO to “255” among all the pixels forming the character existing area image.
  • the serial number recognition unit 24 has pixels having gradation values from the minimum value MI to the binarization threshold value THO among all the pixels forming the character existing area image (hereinafter, may be referred to as “target pixel”). ) Is corrected based on the minimum value MI and the binarization threshold value THO, thereby correcting the contrast of the character existing area image.
  • the serial number recognition unit 24 sets the histogram HG1 to the histogram HG2 so that the minimum value MI becomes the gradation value “0” and the binarization threshold THO becomes the gradation value “255” as shown in FIG.
  • the gradation value of the pixel of interest is corrected.
  • the gradation value of the pixel of interest having the gradation value of the minimum value MI is corrected to “0”, and the gradation value of the pixel of interest having the gradation value of the binarization threshold value THO becomes “255”. Will be corrected.
  • step S223 the serial number recognition unit 24 determines whether or not the number of holes detected in step S219 is one, that is, whether or not the character image has holes. If the character image has a hole (step S223: Yes), the process proceeds to step S225, and if the character image has no hole (step S223: No), the process proceeds to step S227.
  • the storage unit 23 stores the first learning model and the second learning model.
  • the first learning model among the characters 0 to 9 and A to Z that may be used as serial numbers of the banknote BL, characters 0, 4, 6, 8, 9, A, D, O, which have holes, are included. Characters 1, 2, 3, 5, 7, C, E, F, G, H, I, J, K, L, which have no holes, are used while only P, R, B, Q images are used as teacher data.
  • the characters 1, 2, 3, 5, 7, C, E without holes are , F, G, H, I, J, K, L, M, N, S, T, U, V, W, X, Y, and Z images are used as teacher data, and a character with a hole 0 , 4, 6, 8, 9, A, D, O, P, R, B, and Q are not used as teacher data, and are learning models generated using CNN.
  • step S223 determines whether the serial number recognition unit 24 uses the first learning model in step S225 to perform character recognition by CNN on the character existing area image after contrast correction. I do.
  • step S223 determines whether the serial number recognition unit 24 uses the second learning model in step S227 to perform the CNN-based character recognition on the character existing area image after the contrast correction. To recognize.
  • the serial number recognition unit 24 acquires each character recognized by the character recognition and the score for each character. After the processing of step S225 or step S227, the processing proceeds to step S229.
  • step S229 the serial number recognition unit 24 identifies the character included in the character existing area image. For example, in the process of step S225 or step S227, nine characters 0-9 are recognized, the score for "0" is 0.9765, the score for "1” is 0.005, the score for "2” is 0.004, "3". Score for 0.003, score for “4” is 0.03, score for “5” is 0.04, score for “6” is 0.865, score for “7” is 0.06, score for “8” is 0.05, score for “9” Is assumed to be 0.654. In this case, the serial number recognition unit 24 identifies “0” having the largest score as the character included in the character existing area image.
  • the serial number recognition unit 24 determines that the character exists.
  • the characters included in the area image may be determined to be unknown.
  • the threshold THS is set to 0.15
  • the score for the character "0" having the highest score is 0.9765
  • the score for the character "6" having the second highest score is 0.865. Since the absolute value of the difference between the scores is 0.1115, which is less than the threshold value THS, the serial number recognition unit 24 determines that the character included in the character existing area image is unknown.
  • the serial number recognition unit 24 determines that the character included in the character existing area image is unknown. You may.
  • the serial number recognition unit 24 detects the perimeter of the character image by using the boundary tracking method, normalizes the detected perimeter according to Expression (1), and detects the character group corresponding to the normalized perimeter P. If there is no character having the largest score among them, the character included in the character existing area image may be determined to be unknown.
  • “D” is the perimeter of the character image detected using the boundary tracking method
  • “W” is the width of the character image
  • “H” is the height of the character image.
  • Normalized circumference P D / SQRT (W ⁇ H) (1)
  • step S231 the serial number recognition unit 24 determines whether or not the value of the counter n has reached the specific region number N. If the value of the counter n has not reached the specific region number N (step S231: No), the process proceeds to step S233, and if the value of the counter n has reached the specific region number N (step S231: Yes), The process proceeds to step S235.
  • step S233 the serial number recognition unit 24 increments the value of the counter n. After the processing of step S233, the processing returns to step S215.
  • step S235 the serial number recognition unit 24 outputs the recognition result of the serial number formed from a plurality of characters.
  • the serial number of the banknote BL is formed of six characters l1 to l6 as shown in FIG. 7, the serial number recognition unit 24 recognizes the serial number from “1” to “1” of the value of the counter n.
  • the six characters specified in the process of step S229 are sequentially output as the number of characters increases up to "6". For example, the serial number recognition unit 24 outputs "BX3970" as the recognition result.
  • serial number recognition unit 24 replaces the character determined as unknown as described above with the character "?" And outputs it. For example, when it is determined that "9" is unknown in the serial number "BX3970", the serial number recognition unit 24 outputs "BX3? 70" as the recognition result.
  • the banknote inspection device 14 has the storage unit 23 and the serial number recognition unit 24.
  • the storage unit 23 stores a first learning model generated using an image of a character having a hole as teacher data and a second learning model generated using an image of a character having no hole as teacher data.
  • the serial number recognition unit 24 recognizes the character forming the serial number of the banknote BL using the first learning model when the character image has a hole, and the second when the character image does not have a hole.
  • the learning model is used to recognize the characters forming the serial number of the bill BL.
  • the character recognition is performed using the learning model according to the characteristics of the characters forming the serial number of the banknote BL, so that the recognition accuracy of the serial number can be improved.
  • the serial number recognition unit 24 corrects the contrast of the character existing region image, and uses the first learning model or the second learning model based on the character existing region image after the contrast correction to perform the serial number recognition. Recognize the characters that form the.
  • the ratio of the gradation value of the character portion to the gradation value of the background portion in the character existing area image becomes large, so that the recognition accuracy of the serial number can be further improved.
  • the serial number recognition unit 24 binarizes the banknote image using the first binarization and identifies the character existing area in the banknote image using the binarized banknote image.
  • the serial number recognition unit 24 binarizes the character existing area image using the second binarization and detects the number of holes included in the character image using the binarized character existing area image.
  • the binarization has a higher accuracy than the first binarization, while the amount of calculation involved in the binarization is larger.
  • the serial number recognition unit 24 uses the binarization shown in the processing example 1 or the processing example 2 as the first binarization, and uses Otsu's binarization as the second binarization.
  • the first binarization with a small calculation amount is applied to the banknote image formed from many pixels, and the accuracy is improved on the character existing area image formed from pixels less than the banknote image. Since the second binarization having a high value can be applied, the binarization that satisfies the required accuracy can be performed while suppressing the calculation amount as a whole.
  • the serial number recognition unit 24 detects a plurality of character existence region candidates in the banknote image BL and identifies the character existence region based on the detected plurality of candidates. For example, the serial number recognition unit 24 specifies the character existing area according to any one or more of the above-described specific examples 1 to 10.
  • the banknote inspection device 14 can be realized by the following hardware configuration.
  • the bill photographing unit 21 is realized by, for example, a camera.
  • the denomination determination unit 22 is realized by various sensors such as an optical sensor and a magnetic sensor.
  • the serial number recognition unit 24 is realized by, for example, a processor.
  • the storage unit 23 is realized by, for example, a memory.
  • the processor include a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and an FPGA (Field Programmable Gate Array).
  • Examples of the memory include RAM (Random Access Memory) such as SDRAM (Synchronous Dynamic Random Access Memory), ROM (Read Only Memory), and flash memory.
  • each process in the above description in the serial number recognition unit 24 may be realized by causing a processor to execute a program corresponding to each process.
  • a program corresponding to each process in the above-described description in the serial number recognition unit 24 is stored in the memory of the banknote handling apparatus 1 and the processor of the banknote handling apparatus 1 reads the program from the memory and executes the program. good.
  • the program is stored in a program server connected to the bill handling apparatus 1 via an arbitrary network, downloaded from the program server to the bill handling apparatus 1 and executed, or a record readable by the bill handling apparatus 1. It may be stored in a medium, read from the recording medium, and executed.
  • the recording medium readable by the banknote handling apparatus 1 may be, for example, a memory card, a USB memory, an SD card, a flexible disk, a magneto-optical disk, a CD-ROM, a DVD, or a Blu-ray (registered trademark) disk.
  • a portable storage medium is included.
  • the program is a data processing method described in any language or any description method, and may take any form such as source code or binary code. Also, the program is not necessarily limited to a single configuration, and achieves its function in cooperation with a plurality of modules or a plurality of libraries that are distributedly configured, or a separate program represented by an OS. Including things.

Abstract

紙幣の記番号の認識精度を高めることができる紙幣検査装置。紙幣検査装置（１４）において、記憶部（２３）は、穴を有する文字の画像を教師データとして用いて生成された第一学習モデルと、穴を有しない文字の画像を教師データとして用いて生成された第二学習モデルとを記憶し、記番号認識部（２４）は、文字画像が穴を有する場合には第一学習モデルを用いて紙幣ＢＬの記番号を形成する文字を認識する一方で、文字画像が穴を有しない場合には第二学習モデルを用いて紙幣ＢＬの記番号を形成する文字を認識する。

Description

紙幣検査装置、紙幣検査方法及び紙幣検査プログラム
　本開示は、紙幣検査装置、紙幣検査方法及び紙幣検査プログラムに関する。
　ＡＴＭ（Automated　Teller　Machine）等の紙幣取扱装置には、紙幣を検査して紙幣の金種を判別したり、紙幣の記番号を認識する紙幣検査装置が備えられている。
特開２０１７－２１５８５９号公報
　記番号により各紙幣を一意に識別することができるため、記番号は偽造紙幣の発見等に用いられる。よって、記番号を正確に認識することは重要である。
　開示の技術は、上記に鑑みてなされたものであって、紙幣の記番号の認識精度を高めることを目的とする。
　開示の態様では、紙幣検査装置は、記憶部と、認識部とを有する。前記記憶部は、穴を有する文字の画像を教師データとして用いて生成された第一学習モデルと、穴を有しない文字の画像を教師データとして用いて生成された第二学習モデルとを記憶する。前記認識部は、紙幣の記番号を形成する文字の画像である文字画像が穴を有する場合には第一学習モデルを用いて前記文字を認識する一方で、前記文字画像が穴を有しない場合には前記第二学習モデルを用いて前記文字を認識する。
　開示の態様によれば、紙幣の記番号の認識精度を高めることができる。
図１は、実施例１の紙幣取扱装置の構成例を示す図である。 図２は、実施例１の搬送路接続形態の一例を示す図である。 図３は、実施例１の搬送路接続形態の一例を示す図である。 図４は、実施例１の紙幣検査装置の構成例を示す図である。 図５は、実施例１の記番号認識部の処理例の説明に供するフローチャートである。 図６は、実施例１の記番号認識部の動作例の説明に供する図である。 図７は、実施例１の記番号認識部の動作例の説明に供する図である。 図８は、実施例１の記番号認識部の動作例の説明に供する図である。 図９は、実施例１の記番号認識部の動作例の説明に供する図である。 図１０は、実施例１の記番号認識部の動作例の説明に供する図である。 図１１は、実施例１の記番号認識部の動作例の説明に供する図である。 図１２は、実施例１の記番号認識部の動作例の説明に供する図である。 図１３は、実施例１の記番号認識部の動作例の説明に供する図である。 図１４は、実施例１の記番号認識部の動作例の説明に供する図である。 図１５は、実施例１の記番号認識部の動作例の説明に供する図である。 図１６は、実施例１の記番号認識部の動作例の説明に供する図である。 図１７は、実施例１の記番号認識部の動作例の説明に供する図である。 図１８は、実施例１の記番号認識部の動作例の説明に供する図である。 図１９は、実施例１の記番号認識部の動作例の説明に供する図である。 図２０は、実施例１の記番号認識部の動作例の説明に供する図である。 図２１は、実施例１の記番号認識部の動作例の説明に供する図である。 図２２は、実施例１の記番号認識部の動作例の説明に供する図である。 図２３は、実施例１の記番号認識部の動作例の説明に供する図である。
　以下に、本願の開示する紙幣検査装置、紙幣検査方法及び紙幣検査プログラムの実施例を図面に基づいて説明する。なお、この実施例により本願の開示する紙幣検査装置、紙幣検査方法及び紙幣検査プログラムが限定されるものではない。また、以下の実施例において、同一の構成には同一の符号を付す。
　［実施例１］
　＜紙幣取扱装置の構成＞
　図１は、実施例１の紙幣取扱装置の構成例を示す図である。図１は、側面断面図である。図１において、紙幣取扱装置１は、入出金口１１と、切替爪１２と、ソレノイド１３と、紙幣検査装置１４と、一時保留部１５と、スタッカ１６－１，１６－２，１６－３と、制御部１７と、搬送路Ｐ１，Ｐ２，Ｐ３とを有する。
　また、紙幣取扱装置１内には、搬送路Ｐ１が二つの搬送路Ｐ２，Ｐ３に分岐する搬送路分岐点ＰＪが存在する。紙幣取扱装置１内において、搬送路Ｐ１と、搬送路Ｐ２，Ｐ３の何れか一方とが搬送路分岐点ＰＪを介して接続されることにより、搬送路接続形態が、搬送路Ｐ１と搬送路Ｐ２とが接続された形態（以下では「接続形態Ｃ１」と呼ぶことがある）と、搬送路Ｐ１と搬送路Ｐ３とが接続された形態（以下では「接続形態Ｃ２」と呼ぶことがある）との間で切り替えられる。搬送路接続形態が接続形態Ｃ１にあるときは、搬送路Ｐ１と搬送路Ｐ２とが一続きの搬送路を形成し、搬送路接続形態が接続形態Ｃ２にあるときは、搬送路Ｐ１と搬送路Ｐ３とが一続きの搬送路を形成する。
　切替爪１２の中心軸ＣＡはソレノイド１３と接続されており、切替爪１２はソレノイド１３により中心軸ＣＡを中心にして回転可能である。切替爪１２及びソレノイド１３は搬送路分岐点ＰＪ付近に配置され、ソレノイド１３により切替爪１２が回転させられることにより、搬送路接続形態が接続形態Ｃ１と接続形態Ｃ２との間で切り替えられる。搬送路接続形態の切替は、制御部１７での制御の下で行われる。
　図２及び図３は、実施例１の搬送路接続形態の一例を示す図である。図２には、搬送路接続形態が接続形態Ｃ１にある場合を示し、図３には、搬送路接続形態が接続形態Ｃ２にある場合を示す。
　図２に示すように、ソレノイド１３に電流Ｉ１が流れると、切替爪１２は中心軸ＣＡを中心にして左回りに（反時計回り）に回転し、切替爪１２の左端が搬送路分岐点ＰＪに接触することにより、搬送路接続形態が接続形態Ｃ１となる。
　搬送路接続形態が接続形態Ｃ１にあるときは、入出金口１１に投入された紙幣ＢＬは、搬送路Ｐ２を通り、切替爪１２の左側局面に沿って反対方向に折り返し、搬送路Ｐ１を通って紙幣検査装置１４へと搬送され、紙幣検査装置１４によって検査される。検査後の紙幣ＢＬは、搬送路Ｐ１をさらに先へ進み、一時保留部１５に一旦格納される。
　紙幣検査装置１４によって金種の判別または記番号の認識ができずに検査結果が「ＮＧ」となった場合は、搬送路接続形態は接続形態Ｃ１のままで維持され、一時保留部１５に一旦格納されていた紙幣ＢＬは、一時保留部１５から排出され、搬送路Ｐ１を通り、搬送路分岐点ＰＪで切替爪１２の左側局面に沿って反対方向に折り返し、搬送路Ｐ２を通って入出金口１１へ返却される。
　紙幣検査装置１４によって金種の判別及び記番号の認識ができて検査結果が「ＯＫ」となった場合は、図３に示すように、電流Ｉ１と逆方向の電流Ｉ２がソレノイド１３に流れて切替爪１２が中心軸ＣＡを中心にして右回りに（時計回り）に回転し、切替爪１２の左端が搬送路分岐点ＰＪから離れることにより、搬送路接続形態が接続形態Ｃ２となる。
　搬送路接続形態が接続形態Ｃ２にあるときは、一時保留部１５に一旦格納されていた紙幣ＢＬは、一時保留部１５から排出され、搬送路Ｐ１を通り、搬送路分岐点ＰＪを通過して搬送路Ｐ３に入って搬送路Ｐ３を進み、判別された金種に応じてスタッカ１６－１，１６－２，１６－３の何れかに収納される。例えば、スタッカ１６－１には一万円札が収納され、スタッカ１６－２には五千円札が収納され、スタッカ１６－３には千円札が収納される。
　＜紙幣検査装置の構成＞
　図４は、実施例１の紙幣検査装置の構成例を示す図である。図４において、紙幣検査装置１４は、紙幣撮影部２１と、金種判別部２２と、記番号認識部２４と、記憶部２３とを有する。
　紙幣撮影部２１は、紙幣検査装置１４へ搬送された紙幣ＢＬを撮影し、撮影した紙幣ＢＬの画像（以下では「紙幣画像」と呼ぶことがある）ＢＬＰを記番号認識部２４へ出力する。
　金種判別部２２は、紙幣検査装置１４へ搬送された紙幣ＢＬの金種を判別し、判別した金種を示す情報（以下では「金種情報」と呼ぶことがある）を記番号認識部２４へ出力する。金種判別部２２は、例えば、紙幣ＢＬの縦横の長さや紙幣の券面の模様等に基づいて金種を判別する。
　記憶部２３は、ＣＮＮ（Convolutional　Neural　Network）を用いて生成された学習モデルを記憶する。
　記番号認識部２４は、金種判別部２２から入力された金種情報、及び、記憶部２３に記憶されている学習モデルを用いて、紙幣撮影部２１から入力された紙幣画像ＢＬＰに基づいて、紙幣ＢＬの記番号を認識し、認識結果を出力する。
　＜記番号認識部の処理・動作＞
　図５は、実施例１の記番号認識部の処理例の説明に供するフローチャートであり、図６～２３は、実施例１の記番号認識部の動作例の説明に供する図である。
　図５において、ステップＳ２０１では、記番号認識部２４は、図６に示すように、紙幣画像ＢＬＰにおいて記番号が存在する領域（以下では「記番号存在領域」と呼ぶことがある）の画像（以下では「記番号存在領域画像」と呼ぶことがある）ＳＮＰ１または記番号存在領域画像ＳＮＰ２を紙幣画像ＢＬＰから抽出する。
　記番号は、数字やアルファベットが横方向に並ぶことにより表されるため、記番号存在領域は横長の矩形の領域になる。また、例えば、日本銀行券では、紙幣ＢＬを横長になる向きにして見た場合において、記番号は、紙幣ＢＬの右下の箇所に印刷される。そこで、紙幣ＢＬが日本銀行券である場合には、記番号認識部２４は、図６に示すように、紙幣画像ＢＬＰの右下の箇所から、横長の矩形の形状を有する記番号存在領域画像ＳＮＰ１を抽出する。例えば、紙幣画像ＢＬＰの左上のコーナーを原点０（ゼロ）として横軸にＸ、縦軸にＹをとった場合、記番号存在領域の左上のコーナーは座標（ｘ１，ｙ１）で表され、記番号存在領域の右下のコーナーは座標（ｘ２，ｙ２）で表される。このため、紙幣ＢＬが日本銀行券である場合には、記番号認識部２４は、座標（ｘ１，ｙ１）と座標（ｘ２，ｙ２）とから特定される矩形領域の画像を記番号存在領域画像ＳＮＰ１として紙幣画像ＢＬＰから抽出する。
　また、特定の外国の紙幣では、図６に示すように、紙幣ＢＬを横長になる向きにして見た場合において、記番号が、紙幣ＢＬの右辺に沿って横方向に印刷される場合がある。そこで、紙幣ＢＬが特定の外国の紙幣である場合には、記番号認識部２４は、図６に示すように、紙幣画像ＢＬＰの右横の箇所から、縦長の矩形の形状を有する記番号存在領域画像ＳＮＰ２を抽出する。
　以下では、記番号存在領域画像ＳＮＰ１，ＳＮＰ２を「記番号存在領域画像ＳＮＰ」と総称することがある。
　ここで、図７に示すように、紙幣ＢＬの記番号が６つの文字ｌ１～ｌ６で形成される場合、記番号存在領域ＳＲには、縦横の長さをＬ１，Ｌ２とする規定サイズの領域（以下では「規定サイズ領域」と呼ぶことがある）ＲＲ１～ＲＲ６の中にそれぞれ文字ｌ１～ｌ６が配置される。規定サイズ領域ＲＲ１～ＲＲ６の大きさはすべて同一であり、規定サイズ領域ＲＲ１～ＲＲ６の各々は等間隔Ｌ３で位置する。以下では、規定サイズ領域ＲＲ１～ＲＲ６を「規定サイズ領域ＲＲ」と総称することがある。
　図５に戻り、次いでステップＳ２０３では、記番号認識部２４は、記番号存在領域画像が、図６の記番号存在領域画像ＳＮＰ２のように縦長の矩形の形状を有する画像である場合に、記番号存在領域画像を９０°回転させることにより記番号存在領域画像の向きを補正する。この補正により、縦長の矩形の形状を有する記番号存在領域画像ＳＮＰ２は、記番号存在領域画像ＳＮＰ１のように、横長の矩形の形状を有する記番号存在領域画像に補正される。
　次いで、ステップＳ２０５では、記番号認識部２４は、記番号存在領域画像ＳＮＰに対して第一２値化処理を行う。
　例えば、図８に示すように、記番号存在領域画像ＳＮＰが画素（ｘ，ｙ）＝画素（１，１）～画素（６，９）の５４画素で形成され、各画素が図８に示す値の階調値を有すると仮定した場合、記番号認識部２４は、以下の２値化処理例１または２値化処理例２のようにして第一２値化処理を行う。
　＜第一２値化の処理例１（図９）＞
　記番号認識部２４は、固定の２値化閾値ＴＨ１を用いて記番号存在領域画像ＳＮＰを２値化する。よって例えば、２値化閾値ＴＨ１が「２１０」であった場合、記番号認識部２４は図９に示すように、図８において２１０以上の階調値を有する画素の階調値を「２５５」に変更し、図８において２１０未満の階調値を有する画素の階調値を「０」に変更することにより記番号存在領域画像ＳＮＰを２値化する。
　また、記番号認識部２４は、金種判別部２２から出力される金種情報により示される金種に応じた値の２値化閾値ＴＨ１を設定しても良い。
　＜第一２値化の処理例２（図１０，１１）＞
　まず、記番号認識部２４は、図１０に示すように、記番号存在領域画像ＳＮＰに含まれる複数の画素において第一部分ＰＴ１と第二部分ＰＴ２とを設定する。次いで、記番号認識部２４は、画素（１，１）～画素（６，９）の５４画素において、列ごとに第一部分ＰＴ１の階調値の平均値を算出し、算出した平均値を平均値の算出対象となった列の２値化閾値ＴＨ２に設定する。よって例えば、第１列～第４列の２値化閾値ＴＨ２は（２２０＋２１０＋２００）／３＝２１０と算出され、第５列及び第６列の２値化閾値ＴＨ２は（１４０＋１３０＋１２０）／３＝１３０と算出される。このように、記番号認識部２４は、画素（１，１）～画素（６，９）の５４画素において列毎に第一部分ＰＴ１を用いて列毎の２値化閾値ＴＨ２を算出する。よって、図１１に示すように、記番号認識部２４は、第１列～第４列については、２値化閾値ＴＨ２が「２１０」であるため、図１０において２１０以上の階調値を有する画素の階調値を「２５５」に変更し、図１０において２１０未満の階調値を有する画素の階調値を「０」に変更することにより記番号存在領域画像ＳＮＰを２値化する。また、図１１に示すように、記番号認識部２４は、第５列及び第６列については、２値化閾値ＴＨ２が「１３０」であるため、図１０において１３０以上の階調値を有する画素の階調値を「２５５」に変更し、図１０において１３０未満の階調値を有する画素の階調値を「０」に変更することにより記番号存在領域画像ＳＮＰを２値化する。
　以上、第一２値化の処理例１，２について説明した。
　図５に戻り、次いでステップＳ２０７では、記番号認識部２４は、紙幣ＢＬの記番号を形成する文字の画像（以下では「文字画像」と呼ぶことがある）が存在する領域（以下では「文字存在領域」と呼ぶことがある）ＣＲの候補（以下では「文字存在領域候補」と呼ぶことがある）を記番号存在領域画像ＳＮＰにおいて検出する。記番号認識部２４は、例えば、２値化画像において背景と隣接する図形画素を追跡する一般的な手法である「境界追跡法」を用いて、文字存在領域候補を検出する。
　まず、記番号認識部２４は、第一２値化後の記番号存在領域画像ＳＮＰに対して境界追跡法を適用することにより、図１２に示すように、第一２値化後の記番号存在領域画像ＳＮＰに含まれる画像の輪郭線（以下では「画像輪郭線」と呼ぶことがある）ＣＯを検出する。次いで、記番号認識部２４は、画像輪郭線ＣＯを形成する複数の画素（ｘ，ｙ）において、Ｘ座標の最小値ｘｍｉｎ、Ｙ座標の最小値ｙｍｉｎ、Ｘ座標の最大値ｘｍａｘ、及び、Ｙ座標の最大値ｙｍａｘを検出する。次いで、記番号認識部２４は、記番号存在領域画像ＳＮＰにおいて、最小値ｘｍｉｎ及び最小値ｙｍｉｎを有する座標Ｃ１１＝（ｘｍｉｎ，ｙｍｉｎ）と、最大値ｘｍａｘ及び最大値ｙｍａｘを有する座標Ｃ１２＝（ｘｍａｘ，ｙｍａｘ）とを特定する。次いで、記番号認識部２４は、記番号存在領域画像ＳＮＰにおいて、座標Ｃ１１から所定の距離（例えば、－Ｘ方向に３画素及び－Ｙ方向に３画素の距離）にある座標Ｃ２１と、座標Ｃ１２から所定の距離（例えば、＋Ｘ方向に３画素及び＋Ｙ方向に３画素の距離）にある座標Ｃ２２とを特定する。そして、記番号認識部２４は、左上のコーナーを座標Ｃ２１、右下のコーナーを座標Ｃ２２とする矩形領域を文字存在領域ＣＲの候補として検出する。ステップＳ２０７では、記番号認識部２４は、以上のようにして、記番号存在領域画像ＳＮＰにおいて、複数の文字存在領域候補を検出する。
　図５に戻り、次いでステップＳ２０９では、記番号認識部２４は、ステップＳ２０７で検出した複数の文字存在領域候補に基づいて文字存在領域を特定する。以下、文字存在領域の特定例として特定例１～１０を挙げる。
　＜文字存在領域の特定例１（図１３）＞
　図１３に示すように、記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の複数の候補の中から、文字存在領域ＣＲのサイズが、規定サイズ領域ＲＲのサイズに基づいて設定された所定のサイズＳＺ１未満である候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、所定のサイズＳＺ１は、規定サイズ領域ＲＲのサイズの２分の１のサイズに設定される。
　＜文字存在領域の特定例２（図１４）＞
　図１４に示すように、記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の複数の候補の中から、文字存在領域ＣＲのサイズが、規定サイズ領域ＲＲのサイズに基づいて設定された所定のサイズＳＺ２以上である候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、所定のサイズＳＺ２は、規定サイズ領域ＲＲのサイズの２倍のサイズに設定される。
　＜文字存在領域の特定例３（図１５）＞
　図１５に示すように、記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の複数の候補の中から、文字存在領域ＣＲにおいて黒色画素（つまり、第一２値化により「０」の階調値を有することになった画素）の白色画素（つまり、第一２値化により「２５５」の階調値を有することになった画素）に対する割合が所定値ＴＨＲ以上である候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、所定値ＴＨＲは２０％に設定される。
　＜文字存在領域の特定例４（図１６）＞
　図１６に示すように、記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の複数の候補の中から、文字存在領域ＣＲにおける黒色画素の分散数が所定値ＴＨＮ以上である候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。文字存在領域ＣＲにおける黒色画素の分散数は、縦、横、または、斜め方向に連なる一連の黒色画素を一単位としてカウントされる。図１６には、黒色画素の分散数が「６」である場合を一例として示す。
　＜文字存在領域の特定例５（図１７）＞
　図１７に示すように、記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の複数の候補の中から、記番号存在領域画像ＳＮＰの各辺から所定距離Ｄ以内にある候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、図１７に示す一例では、文字存在領域の複数の候補ＣＲ１１～ＣＲ１７のうち、候補ＣＲ１１は記番号存在領域画像ＳＮＰの左辺から所定距離Ｄ以内にあり、候補ＣＲ１３は記番号存在領域画像ＳＮＰの上辺から所定距離Ｄ以内にあり、候補ＣＲ１６は記番号存在領域画像ＳＮＰの下辺から所定距離Ｄ以内にあり、候補ＣＲ１７は記番号存在領域画像ＳＮＰの右辺から所定距離Ｄ以内にある。このため、図１７に示す例では、文字存在領域の複数の候補ＣＲ１１～ＣＲ１７の中から候補ＣＲ１１，ＣＲ１３，ＣＲ１６，ＣＲ１７が除外され、記番号存在領域画像ＳＮＰにおける文字存在領域として文字存在領域ＣＲ１２，ＣＲ１４，ＣＲ１５が特定される。
　＜文字存在領域の特定例６（図１８）＞
　図１８に示すように、記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の複数の候補ＣＲ２１，ＣＲ２２，ＣＲ２３の各々において、左上のコーナーのＸ座標ＰＸ２１，ＰＸ２２，ＰＸ２３を取得し、Ｘ座標ＰＸ２１，ＰＸ２２，ＰＸ２３を昇順にソートする。次いで、記番号認識部２４は、ソート順に従って、候補ＣＲ２１に対する候補ＣＲ２２の距離としてＸ座標ＰＸ２１に対するＸ座標ＰＸ２２の距離ＸＤ１を算出し、候補ＣＲ２２に対する候補ＣＲ２３の距離としてＸ座標ＰＸ２２に対するＸ座標ＰＸ２３の距離ＸＤ２を算出する。そして、記番号認識部２４は、算出した距離が所定値ＴＨＸ以上である候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、図１８において、距離ＸＤ１が所定値ＴＨＸ未満であり、距離ＸＤ２が所定値ＴＨＸ以上である場合、文字存在領域の複数の候補ＣＲ２１，ＣＲ２２，ＣＲ２３の中から候補ＣＲ２３が除外され、記番号存在領域画像ＳＮＰにおける文字存在領域として文字存在領域ＣＲ２１，ＣＲ２２が特定される。
　＜文字存在領域の特定例７（図１９）＞
　図１９に示すように、記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の複数の候補ＣＲ３１，ＣＲ３２，ＣＲ３３の各々において、左上のコーナーのＹ座標ＰＹ３１，ＰＹ３２，ＰＹ３３を取得し、Ｙ座標ＰＹ３１，ＰＹ３２，ＰＹ３３を昇順にソートする。次いで、記番号認識部２４は、ソート順に従って、候補ＣＲ３１に対する候補ＣＲ３２の距離としてＹ座標ＰＹ３１に対するＹ座標ＰＹ３２の距離ＹＤ１を算出し、候補ＣＲ３２に対する候補ＣＲ３３の距離としてＹ座標ＰＹ３２に対するＹ座標ＰＹ３３の距離ＹＤ２を算出する。そして、記番号認識部２４は、算出した距離が所定値ＴＨＹ以上である候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、図１９において、距離ＹＤ１が所定値ＴＨＹ未満であり、距離ＹＤ２が所定値ＴＨＹ以上である場合、文字存在領域の複数の候補ＣＲ３１，ＣＲ３２，ＣＲ３３の中から候補ＣＲ３３が除外され、記番号存在領域画像ＳＮＰにおける文字存在領域として文字存在領域ＣＲ３１，ＣＲ３２が特定される。
　＜文字存在領域の特定例８（図２０）＞
　図２０に示す例において、記番号認識部２４は、まず、文字存在領域の複数の候補ＣＲ４１～ＣＲ４７それぞれの左上のコーナーの座標ＣＰ４１～ＣＰ４７を取得する。次いで、記番号認識部２４は、座標ＣＰ４１～ＣＰ４７の値の平均値（以下では「座標平均値」と呼ぶことがある）を算出する。次いで、記番号認識部２４は、候補ＣＲ４１～ＣＲ４７それぞれについて、左上のコーナーの座標と座標平均値との間のマハラノビス距離を算出する。そして、記番号認識部２４は、算出したマハラノビス距離が所定値ＴＨＭ以上である候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、図２０において、候補ＣＲ４１～ＣＲ４６の各々のマハラノビス距離が所定値ＴＨＭ未満であるのに対し、候補ＣＲ４７のマハラノビス距離が所定値ＴＨＭ以上である場合、文字存在領域の複数の候補ＣＲ４１～ＣＲ４７の中から候補ＣＲ４７が除外され、記番号存在領域画像ＳＮＰにおける文字存在領域として文字存在領域ＣＲ４１～ＣＲ４６が特定される。
　ここで、以上の特定例７，８，９（図１８，１９，２０）は、記番号認識部２４が、文字存在領域の複数の候補において、他の候補からの距離が所定値以上である候補を除外する点において共通する。
　＜文字存在領域の特定例９（図２１）＞
　記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の各候補において、文字存在領域内の２つの画像輪郭線の間の最短距離が所定値ＴＨＬ未満である場合に、それらの２つの画像輪郭線を統合することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、図２１に示す例では、文字存在領域ＣＲにおいて、画像輪郭線ＣＯ１と画像輪郭線ＣＯ２との間の最短距離ＤＭＩＮが所定値ＴＨＬ未満である場合、記番号認識部２４は、画像輪郭線ＣＯ１と画像輪郭線ＣＯ２との間に画素ＰＸＡを補うことにより画像輪郭線ＣＯ１と画像輪郭線ＣＯ２とを統合して１本の画像輪郭線にする。
　＜文字存在領域の特定例１０（図２２）＞
　記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の候補の数が、紙幣ＢＬの記番号を形成する文字の数より少ない場合に、紙幣ＢＬの記番号を形成する文字の数に基づいて、新たな文字存在領域を追加することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、図７に示すように紙幣ＢＬの記番号が６つの文字で形成されるのに対し、ステップＳ２０７で検出された文字存在領域の候補が図２２に示すように候補ＣＲ５１～ＣＲ５５の５つである場合、文字存在領域の候補の数は、紙幣ＢＬの記番号を形成する文字の数より少ない。また、図２２に示す例では、文字存在領域の候補の数（５つ）と紙幣ＢＬの記番号を形成する文字の数（６つ）との差は１つである。そこで、図２２に示す例では、記番号認識部２４は、候補ＣＲ５１～ＣＲ５５にさらに、新たな１つの文字存在領域ＣＲ５６を追加することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、記番号認識部２４は、候補ＣＲ５１～ＣＲ５５において最も右に存在する候補ＣＲ５５から間隔Ｌ３（図７）の位置に文字存在領域ＣＲ５６を追加する。
　以上、文字存在領域の特定例１～１０について説明した。上記の特定例１～１０の何れか一つまたは複数をステップＳ２０７で検出された複数の文字存在領域の候補に対して適用することにより、ステップＳ２０９で特定される文字存在領域の各々は、文字画像が存在する領域として特定される。
　図５に戻り、次いでステップＳ２１１では、記番号認識部２４は、ステップＳ２０９で特定した文字存在領域の数（以下では「特定領域数」と呼ぶことがある）を「Ｎ」にセットする。
　次いでステップＳ２１３では、記番号認識部２４は、カウンタｎの値を「ｎ＝１」にセットする。
　以下、ステップＳ２１５～Ｓ２２９の処理は、ステップＳ２０９で特定された複数の文字存在領域の各々を処理の対象として、カウンタｎの増加とともに、記番号存在領域画像ＳＮＰにおいて最も左にある文字存在領域から右方向に向かって順に行われる。
　ステップＳ２１５では、記番号認識部２４は、ステップＳ２０９で特定した文字存在領域ＣＲを紙幣画像ＢＬＰに設定し、文字存在領域ＣＲの画像（以下では「文字存在領域画像」と呼ぶことがある）を紙幣画像ＢＬＰから抽出する。文字存在領域画像には文字画像が含まれている。
　次いで、ステップＳ２１７では、記番号認識部２４は、ステップＳ２１５で抽出した文字存在領域画像に対して第二２値化処理を行う。第二２値化処理において、記番号認識部２４は、例えば、一般的な２値化の手法である「大津の２値化」を用いて文字存在領域画像を２値化する。
　次いで、ステップＳ２１９では、記番号認識部２４は、例えばステップＳ２０７で用いたのと同一な手法である「境界追跡法」を用いて、第二２値化後の文字存在領域画像において文字画像を検出し、さらに、検出した文字画像が有する「穴の数」（以下では「穴数」と呼ぶことがある）を検出する。ここで、紙幣ＢＬの記番号を形成する可能性がある文字として、０～９の１０個の数字、及び、Ａ～Ｚの２６個の英字のうちの何れかの文字が挙げられる。これらの４６個の文字のうち、１，２，３，５，７の数字、及び、Ｃ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ，Ｓ，Ｔ，Ｕ，Ｖ，Ｗ，Ｘ，Ｙ，Ｚの英字の各文字には穴が無く、０，４，６，８，９の数字、及び、Ａ，Ｄ，Ｏ，Ｐ，Ｒの英字の各文字は１個の穴を有し、Ｂ，Ｑの各英字は２個の穴を有する。
　次いで、ステップＳ２２１では、記番号認識部２４は、ステップＳ２１７で大津の２値化を行う際に算出した２値化閾値ＴＨＯを用いて、第二２値化前の文字存在領域画像のコントラストを補正する。図２３に示すように、記番号認識部２４は、まず、文字存在領域画像の全体のヒストグラムＨＧ１を求める。次いで、記番号認識部２４は、ヒストグラムＨＧ１に対して２値化閾値ＴＨＯを設定する。また、記番号認識部２４は、ヒストグラムＨＧ１における階調値の最小値ＭＩを検出する。また、記番号認識部２４は、文字存在領域画像を形成する全画素のうち、２値化閾値ＴＨＯ以上の階調値を有する画素の階調値を「２５５」に変更する。また、記番号認識部２４は、文字存在領域画像を形成する全画素のうち、最小値ＭＩから２値化閾値ＴＨＯまでの階調値を有する画素（以下では「注目画素」と呼ぶことがある）の階調値を、最小値ＭＩと２値化閾値ＴＨＯとに基づいて補正することにより、文字存在領域画像のコントラストを補正する。例えば、記番号認識部２４は、図２３に示すように、最小値ＭＩが階調値「０」となり、２値化閾値ＴＨＯが階調値「２５５」となるように、ヒストグラムＨＧ１をヒストグラムＨＧ２に変更することにより、注目画素の階調値を補正する。これにより、例えば、最小値ＭＩの階調値を有する注目画素の階調値は「０」に補正され、２値化閾値ＴＨＯの階調値を有する注目画素の階調値は「２５５」に補正される。このようなコントラスト補正により、文字存在領域画像のコントラストを高めて、文字存在領域画像において、ノイズである背景部分の階調値に対して、認識対象である文字部分の階調値の比を大きくすることができる。よって、以下のステップＳ２２５，Ｓ２２７における文字認識の際に、ノイズである背景部分の影響を最小限に抑えることができるため、文字認識の精度を高めることができる。　　　　　　　　　　
　図５に戻り、次いでステップＳ２２３では、記番号認識部２４は、ステップＳ２１９で検出した穴数が１個以上か否か、つまり、文字画像が穴を有するか否かを判断する。文字画像に穴が有る場合は（ステップＳ２２３：Ｙｅｓ）、処理はステップＳ２２５へ進み、文字画像に穴が無い場合は（ステップＳ２２３：Ｎｏ）、処理はステップＳ２２７へ進む。
　ここで、記憶部２３は、第一学習モデルと、第二学習モデルとを記憶する。第一学習モデルは、紙幣ＢＬの記番号として使用される可能性がある文字０～９，Ａ～Ｚのうち、穴が有る文字０，４，６，８，９，Ａ，Ｄ，Ｏ，Ｐ，Ｒ，Ｂ，Ｑの画像だけを教師データとする一方で、穴が無い文字１，２，３，５，７，Ｃ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ，Ｓ，Ｔ，Ｕ，Ｖ，Ｗ，Ｘ，Ｙ，Ｚの画像を教師データとせずに、ＣＮＮを用いて生成された学習モデルである。一方で、第二学習モデルは、紙幣ＢＬの記番号として使用される可能性がある文字０～９，Ａ～Ｚのうち、穴が無い文字１，２，３，５，７，Ｃ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ，Ｓ，Ｔ，Ｕ，Ｖ，Ｗ，Ｘ，Ｙ，Ｚの画像だけを教師データとする一方で、穴が有る文字０，４，６，８，９，Ａ，Ｄ，Ｏ，Ｐ，Ｒ，Ｂ，Ｑの画像を教師データとせずに、ＣＮＮを用いて生成された学習モデルである。
　そこで、ステップＳ２２３の判断が“Ｙｅｓ”となる場合には、記番号認識部２４は、ステップＳ２２５において、第一学習モデルを用いて、コントラスト補正後の文字存在領域画像に対してＣＮＮによる文字認識を行う。一方で、ステップＳ２２３の判断が“Ｎｏ”となる場合には、記番号認識部２４は、ステップＳ２２７において、第二学習モデルを用いて、コントラスト補正後の文字存在領域画像に対してＣＮＮによる文字認識を行う。ステップＳ２２５，Ｓ２２７の処理により、記番号認識部２４は、文字認識のより認識された各文字と、各文字に対するスコアを取得する。ステップＳ２２５またはステップＳ２２７の処理後、処理はステップＳ２２９へ進む。
　ステップＳ２２９では、記番号認識部２４は、文字存在領域画像に含まれる文字を特定する。例えば、ステップＳ２２５またはステップＳ２２７の処理において、０～９の９個の文字が認識され、「０」に対するスコアが0.9765、「１」に対するスコアが0.005、「２」に対するスコアが0.004、「３」に対するスコアが0.003、「４」に対するスコアが0.03、「５」に対するスコアが0.04、「６」に対するスコアが0.865、「７」に対するスコアが0.06、「８」に対するスコアが0.05、「９」に対するスコアが0.654であった場合を想定する。この場合において、記番号認識部２４は、文字存在領域画像に含まれる文字として、最も大きいスコアを有する「０」を特定する。
　ここで、記番号認識部２４は、最も大きいスコアを有する文字と、二番目に大きいスコアを有する文字との間において、スコアの差の絶対値が所定値ＴＨＳ未満である場合には、文字存在領域画像に含まれる文字を不明と判断しても良い。例えば、閾値ＴＨＳが0.15に設定されている場合には、上記の例では、最も大きいスコアを有する文字「０」に対するスコアが0.9765、二番目に大きいスコアを有する文字「６」に対するスコアが0.865であり、スコア間の差の絶対値は0.1115となって閾値ＴＨＳ未満であるため、記番号認識部２４は、文字存在領域画像に含まれる文字を不明と判断する。
　また例えば、記番号認識部２４は、最も大きいスコアを有する文字に存在する穴の数が、ステップＳ２１９で検出した穴数に一致しない場合には、文字存在領域画像に含まれる文字を不明と判断しても良い。
　また例えば、記番号認識部２４は、境界追跡法を用いて文字画像の周長を検出し、検出した周長を式（１）に従って正規化し、正規化した周長Ｐに対応する文字群の中に、最も大きいスコアを有する文字が存在しない場合には、文字存在領域画像に含まれる文字を不明と判断しても良い。式（１）において、「Ｄ」は境界追跡法を用いて検出した文字画像の周長であり、「Ｗ」は文字画像の幅であり、「Ｈ」は文字画像の高さである。
　正規化した周長Ｐ＝Ｄ／ＳＱＲＴ（Ｗ×Ｈ）　…（１）
　次いで、ステップＳ２３１では、記番号認識部２４は、カウンタｎの値が特定領域数Ｎに達したか否かを判断する。カウンタｎの値が特定領域数Ｎに達していない場合は（ステップＳ２３１：Ｎｏ）、処理はステップＳ２３３へ進み、カウンタｎの値が特定領域数Ｎに達した場合は（ステップＳ２３１：Ｙｅｓ）、処理はステップＳ２３５へ進む。
　ステップＳ２３３では、記番号認識部２４は、カウンタｎの値をインクリメントする。ステップＳ２３３の処理後、処理はステップＳ２１５に戻る。
　一方で、ステップＳ２３５では、記番号認識部２４は、複数の文字から形成される記番号の認識結果を出力する。例えば、図７に示すように紙幣ＢＬの記番号が６つの文字ｌ１～ｌ６で形成される場合、記番号認識部２４は、記番号の認識結果として、カウンタｎの値の「１」から「６」までの増加に伴って順次ステップＳ２２９の処理で特定した６つの文字を出力する。例えば、記番号認識部２４は、認識結果として「ＢＸ３９７０」と出力する。
　但し、記番号認識部２４は、上記のようにして不明と判断した文字を文字「？」に置き換えて出力する。例えば、記番号「ＢＸ３９７０」において「９」が不明と判断された場合、記番号認識部２４は、認識結果として「ＢＸ３？７０」と出力する。
　以上のように、実施例１では、紙幣検査装置１４は、記憶部２３と、記番号認識部２４とを有する。記憶部２３は、穴を有する文字の画像を教師データとして用いて生成された第一学習モデルと、穴を有しない文字の画像を教師データとして用いて生成された第二学習モデルとを記憶する。記番号認識部２４は、文字画像が穴を有する場合には第一学習モデルを用いて紙幣ＢＬの記番号を形成する文字を認識する一方で、文字画像が穴を有しない場合には第二学習モデルを用いて紙幣ＢＬの記番号を形成する文字を認識する。
　こうすることで、紙幣ＢＬの記番号を形成する文字の特徴に応じた学習モデルを用いて文字認識が行われるため、記番号の認識精度を高めることができる。
　また、実施例１では、記番号認識部２４は、文字存在領域画像のコントラストを補正し、コントラスト補正後の文字存在領域画像に基づいて第一学習モデルまたは第二学習モデルを用いて、記番号を形成する文字を認識する。
　こうすることで、文字存在領域画像において背景部分の階調値に対する文字部分の階調値の比が大きくなるため、記番号の認識精度をさらに高めることができる。
　また、実施例１では、記番号認識部２４は、紙幣画像を第一２値化を用いて２値化し、２値化後の紙幣画像を用いて、紙幣画像において文字存在領域を特定する。一方で、記番号認識部２４は、文字存在領域画像を第二２値化を用いて２値化し、２値化後の文字存在領域画像を用いて、文字画像が有する穴の数を検出する。第二２値化は、第一２値化よりも、２値化に伴う計算量が多い一方で、２値化の精度が高いものであることが好ましい。例えば、記番号認識部２４は、第一２値化として上記の処理例１または処理例２に示す２値化を用い、第二２値化として大津の２値化を用いる。
　こうすることで、多くの画素から形成される紙幣画像に対しては計算量が少ない第一２値化を適用し、紙幣画像よりも少ない画素から形成される文字存在領域画像に対しては精度が高い第二２値化を適用できるため、全体として、計算量を抑えつつ要求精度を満たす２値化を行うことができる。
　また、実施例１では、記番号認識部２４は、紙幣画像ＢＬにおいて文字存在領域の複数の候補を検出し、検出した複数の候補に基づいて、文字存在領域を特定する。例えば、記番号認識部２４は、上記の特定例１～１０の何れか一つまたは複数に従って文字存在領域を特定する。
　こうすることで、文字存在領域の特定精度を高めることができる。
　［実施例２］
　＜紙幣検査装置のハードウェア構成＞
　紙幣検査装置１４は、次のようなハードウェア構成により実現することができる。紙幣撮影部２１は、例えばカメラにより実現される。金種判別部２２は、例えば光センサや磁気センサ等の各種センサにより実現される。記番号認識部２４は、例えばプロセッサにより実現される。記憶部２３は、例えばメモリによって実現される。プロセッサの一例として、ＣＰＵ（Central　Processing　Unit）、ＤＳＰ（Digital　Signal　Processor）、ＦＰＧＡ（Field　Programmable　Gate　Array）等が挙げられる。メモリの一例として、ＳＤＲＡＭ（Synchronous　Dynamic　Random　Access　Memory）等のＲＡＭ（Random　Access　Memory），ＲＯＭ（Read　Only　Memory），フラッシュメモリ等が挙げられる。
　また、記番号認識部２４での上記説明における各処理は、各処理に対応するプログラムをプロセッサに実行させることによって実現しても良い。例えば、記番号認識部２４での上記説明における各処理に対応するプログラムが紙幣取扱装置１が有するメモリに記憶され、紙幣取扱装置１が有するプロセッサによってプログラムがメモリから読み出されて実行されても良い。また、プログラムは、任意のネットワークを介して紙幣取扱装置１に接続されたプログラムサーバに記憶され、そのプログラムサーバから紙幣取扱装置１にダウンロードされて実行されたり、紙幣取扱装置１が読み取り可能な記録媒体に記憶され、その記録媒体から読み出されて実行されても良い。紙幣取扱装置１が読み取り可能な記録媒体には、例えば、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ、及び、Ｂｌｕ－ｒａｙ（登録商標）ディスク等の可搬の記憶媒体が含まれる。また、プログラムは、任意の言語や任意の記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。また、プログラムは必ずしも単一的に構成されるものに限られず、複数のモジュールや複数のライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものも含む。
１　紙幣取扱装置
１４　紙幣検査装置
２１　紙幣撮影部
２２　金種判別部
２３　記憶部
２４　記番号認識部

Claims (16)

  1. 　穴を有する文字の画像を教師データとして用いて生成された第一学習モデルと、穴を有しない文字の画像を教師データとして用いて生成された第二学習モデルとを記憶する記憶部と、
    　紙幣の記番号を形成する文字の画像である文字画像が穴を有する場合には第一学習モデルを用いて前記文字を認識する一方で、前記文字画像が穴を有しない場合には前記第二学習モデルを用いて前記文字を認識する認識部と、
    　を具備する紙幣検査装置。
  2. 　前記認識部は、前記文字画像が存在する領域の画像である領域画像のコントラストを補正し、コントラスト補正後の前記領域画像に基づいて前記第一学習モデルまたは前記第二学習モデルを用いて前記文字を認識する、
    　請求項１に記載の紙幣検査装置。
  3. 　前記認識部は、前記紙幣の画像である紙幣画像を第一２値化を用いて２値化し、２値化後の前記紙幣画像を用いて、前記紙幣画像において前記文字画像が存在する領域である存在領域を特定する一方で、前記存在領域の画像である領域画像を前記第一２値化とは異なる第二２値化を用いて２値化し、２値化後の前記領域画像を用いて、前記文字画像が有する穴の数を検出する、
    　請求項１に記載の紙幣検査装置。
  4. 　前記紙幣画像は複数の画素を含み、
    　前記認識部は、前記第一２値化では、前記複数の画素において第一部分と第二部分とを設定し、前記第一部分の画素を用いて前記第一２値化の閾値を算出し、算出した前記閾値に従って前記第二部分の画素を２値化する、
    　請求項３に記載の紙幣検査装置。
  5. 　前記認識部は、前記第二２値化として大津の２値化を用いる、
    　請求項３に記載の紙幣検査装置。
  6. 　前記認識部は、前記紙幣の画像である紙幣画像において前記文字画像が存在する領域である存在領域の複数の候補を検出し、検出した前記複数の候補に基づいて、前記存在領域を特定する、
    　請求項１に記載の紙幣検査装置。
  7. 　前記認識部は、前記存在領域のサイズが所定サイズ未満である候補を前記複数の候補から除外する、
    　請求項６に記載の紙幣検査装置。
  8. 　前記認識部は、前記存在領域のサイズが所定サイズ以上である候補を前記複数の候補から除外する、
    　請求項６に記載の紙幣検査装置。
  9. 　前記認識部は、前記存在領域おける黒色画素の白色画素に対する割合が所定値以上である候補を前記複数の候補から除外する、
    　請求項６に記載の紙幣検査装置。
  10. 　前記認識部は、前記存在領域における黒色画素の分散数が所定値以上である候補を前記複数の候補から除外する、
    　請求項６に記載の紙幣検査装置。
  11. 　前記認識部は、一連の複数の前記文字画像が存在する矩形領域の各辺から所定距離以内にある候補を前記複数の候補から除外する、
    　請求項６に記載の紙幣検査装置。
  12. 　前記認識部は、他の候補からの距離が所定値以上である候補を前記複数の候補から除外する、
    　請求項６に記載の紙幣検査装置。
  13. 　前記認識部は、前記複数の候補の各候補において、前記存在領域内の２つの輪郭線の間の最短距離が所定値未満である場合に、前記２つの輪郭線を統合する、
    　請求項６に記載の紙幣検査装置。
  14. 　前記認識部は、前記複数の候補の数が前記紙幣が有する前記記番号の数より少ない場合に、前記記番号の数に基づいて、前記存在領域の新たな候補を前記複数の候補に追加する、
    　請求項６に記載の紙幣検査装置。
  15. 　紙幣の記番号を形成する文字の画像である文字画像が穴を有する場合には、穴を有する文字の画像を教師データとして用いて生成された第一学習モデルを用いて前記文字を認識し、
    　前記文字画像が穴を有しない場合には、穴を有しない文字の画像を教師データとして用いて生成された第二学習モデルを用いて前記文字を認識する、
    　紙幣検査方法。
  16. 　紙幣の記番号を形成する文字の画像である文字画像が穴を有する場合には、穴を有する文字の画像を教師データとして用いて生成された第一学習モデルを用いて前記文字を認識し、
    　前記文字画像が穴を有しない場合には、穴を有しない文字の画像を教師データとして用いて生成された第二学習モデルを用いて前記文字を認識する、
    　処理をプロセッサに実行させるための紙幣検査プログラム。
PCT/JP2018/039565 2018-10-24 2018-10-24 紙幣検査装置、紙幣検査方法及び紙幣検査プログラム WO2020084720A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201880098605.5A CN112840383B (zh) 2018-10-24 2018-10-24 纸币检查装置、纸币检查方法及纸币检查程序
JP2020552439A JP6976455B2 (ja) 2018-10-24 2018-10-24 紙幣検査装置、紙幣検査方法及び紙幣検査プログラム
MX2021004385A MX2021004385A (es) 2018-10-24 2018-10-24 Dispositivo de inspeccion de billetes, metodo de inspeccion de billetes, y programa de inspeccion de billetes.
CA3115746A CA3115746C (en) 2018-10-24 2018-10-24 Banknote inspection device, banknote inspection method, and banknote inspection program
BR112021005549-5A BR112021005549A2 (pt) 2018-10-24 2018-10-24 dispositivo de inspeção de notas, método de fiscalização de notas e programa de inspeção de notas
PCT/JP2018/039565 WO2020084720A1 (ja) 2018-10-24 2018-10-24 紙幣検査装置、紙幣検査方法及び紙幣検査プログラム
US17/221,454 US11423728B2 (en) 2018-10-24 2021-04-02 Banknote inspection device, banknote inspection method, and banknote inspection program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/039565 WO2020084720A1 (ja) 2018-10-24 2018-10-24 紙幣検査装置、紙幣検査方法及び紙幣検査プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/221,454 Continuation US11423728B2 (en) 2018-10-24 2021-04-02 Banknote inspection device, banknote inspection method, and banknote inspection program product

Publications (1)

Publication Number Publication Date
WO2020084720A1 true WO2020084720A1 (ja) 2020-04-30

Family

ID=70331965

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039565 WO2020084720A1 (ja) 2018-10-24 2018-10-24 紙幣検査装置、紙幣検査方法及び紙幣検査プログラム

Country Status (7)

Country Link
US (1) US11423728B2 (ja)
JP (1) JP6976455B2 (ja)
CN (1) CN112840383B (ja)
BR (1) BR112021005549A2 (ja)
CA (1) CA3115746C (ja)
MX (1) MX2021004385A (ja)
WO (1) WO2020084720A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022044310A1 (ja) * 2020-08-31 2022-03-03 富士通フロンテック株式会社 記番号認識パラメータ決定装置、記番号認識パラメータ決定プログラム及び紙葉類取扱システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237966B (zh) * 2023-11-13 2024-01-30 恒银金融科技股份有限公司 基于面额数字字符内轮廓的纸币识别方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554195A (ja) * 1991-08-29 1993-03-05 Matsushita Electric Ind Co Ltd 文字認識装置
JPH07160830A (ja) * 1993-12-03 1995-06-23 Hitachi Eng Co Ltd ニューロを用いた文字認識装置
JPH07220087A (ja) * 1993-10-18 1995-08-18 Glory Ltd ランダムマスク方式による紙葉類のニューロ識別／正損分離装置
JPH08329195A (ja) * 1995-05-31 1996-12-13 Sanyo Electric Co Ltd ニューラルネットワークを用いる文字認識装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1531312A (en) * 1975-05-13 1978-11-08 Glory Kogyo Kk Note discriminating apparatus
JPH08272909A (ja) * 1995-03-29 1996-10-18 Seiko Epson Corp 文字認識方法および文字認識装置
JPH10275197A (ja) * 1997-03-28 1998-10-13 Omron Corp 文字列抽出装置及び文字列抽出プログラムを記録した機械読み取り可能な記録媒体
GB2366651A (en) * 2000-09-08 2002-03-13 Ncr Int Inc Evaluation system
JP4617011B2 (ja) * 2001-03-13 2011-01-19 株式会社湯山製作所 薬剤収容取出し装置
JP2006223589A (ja) * 2005-02-17 2006-08-31 Sega Corp ゲーム筐体
KR100719608B1 (ko) * 2005-07-21 2007-05-17 주식회사 씨텍 지폐 일련번호 인식 방법 및 장치
JP4682730B2 (ja) * 2005-07-25 2011-05-11 沖電気工業株式会社 自動取引装置
US7724957B2 (en) 2006-07-31 2010-05-25 Microsoft Corporation Two tiered text recognition
JP5199619B2 (ja) * 2007-08-07 2013-05-15 マミヤ・オーピー・ネクオス株式会社 紙葉類識別機の異常紙葉類早期検出方法および紙葉類識別機
US8457390B1 (en) * 2008-10-10 2013-06-04 Cognex Corporation Method and apparatus for training a probe model based machine vision system
JP5601279B2 (ja) * 2011-05-24 2014-10-08 住友金属鉱山株式会社 数字用テンプレート、数字認識装置及び数字認識方法
CN102867180A (zh) 2011-07-08 2013-01-09 富士通株式会社 灰度字符图像归一化装置和灰度字符图像归一化方法
CN102270192A (zh) * 2011-07-27 2011-12-07 浙江工业大学 一种基于svm主动学习的多标签分类控制方法
CN102385769A (zh) * 2011-11-12 2012-03-21 温州泓鼎商用机器有限公司 一种利用光敏元件检测识别残损纸币的光学装置
US9219886B2 (en) * 2012-12-17 2015-12-22 Emerson Electric Co. Method and apparatus for analyzing image data generated during underground boring or inspection activities
CN103390160A (zh) * 2013-07-24 2013-11-13 佳都新太科技股份有限公司 一种基于连通域和模板的车牌字符切分算法
TWI497062B (zh) * 2013-12-05 2015-08-21 Inventec Corp 中央處理器腳座的光學檢測系統及其方法
EP3134877A4 (en) * 2014-04-24 2018-01-31 Giesecke+Devrient Currency Technology GmbH Systems, methods, and computer-readable media for sheet material processing and verification
TWI550440B (zh) * 2014-12-09 2016-09-21 由田新技股份有限公司 人員使用手持裝置的偵測方法以及系統
CN105761351A (zh) * 2016-01-08 2016-07-13 东方通信股份有限公司 基于结构特征的字符识别方法
CN107133622B (zh) * 2016-02-29 2022-08-26 阿里巴巴集团控股有限公司 一种单词的分割方法和装置
JP6611346B2 (ja) * 2016-06-01 2019-11-27 日本電信電話株式会社 文字列認識装置、方法、及びプログラム
CN106203415B (zh) * 2016-06-30 2019-12-10 三峡大学 一种基于数字图像处理的银行卡号自动识别装置
CN106200873A (zh) * 2016-07-08 2016-12-07 上海卓易科技股份有限公司 一种移动终端的自动休眠方法及移动终端
JP6294524B1 (ja) 2017-02-15 2018-03-14 ソフネック株式会社 画像処理方法、及びコンピュータプログラム
CN107169090A (zh) * 2017-05-12 2017-09-15 深圳市唯特视科技有限公司 一种利用内容环绕信息提取图像表征的特定对象检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554195A (ja) * 1991-08-29 1993-03-05 Matsushita Electric Ind Co Ltd 文字認識装置
JPH07220087A (ja) * 1993-10-18 1995-08-18 Glory Ltd ランダムマスク方式による紙葉類のニューロ識別／正損分離装置
JPH07160830A (ja) * 1993-12-03 1995-06-23 Hitachi Eng Co Ltd ニューロを用いた文字認識装置
JPH08329195A (ja) * 1995-05-31 1996-12-13 Sanyo Electric Co Ltd ニューラルネットワークを用いる文字認識装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022044310A1 (ja) * 2020-08-31 2022-03-03 富士通フロンテック株式会社 記番号認識パラメータ決定装置、記番号認識パラメータ決定プログラム及び紙葉類取扱システム
JP7390492B2 (ja) 2020-08-31 2023-12-01 富士通フロンテック株式会社 記番号認識パラメータ決定装置、記番号認識パラメータ決定プログラム及び紙葉類取扱システム

Also Published As

Publication number Publication date
JPWO2020084720A1 (ja) 2021-04-30
US20210225112A1 (en) 2021-07-22
US11423728B2 (en) 2022-08-23
BR112021005549A2 (pt) 2021-06-29
CA3115746A1 (en) 2020-04-30
JP6976455B2 (ja) 2021-12-08
MX2021004385A (es) 2021-06-08
CA3115746C (en) 2023-08-29
CN112840383B (zh) 2024-03-08
CN112840383A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
JP5616958B2 (ja) 紙幣検出器デバイスのための方法、および紙幣検出器デバイス
US8942484B2 (en) Text detection using image regions
CN107103683B (zh) 纸币识别方法和装置、电子设备和存储介质
CN106952393B (zh) 纸币识别方法和装置、电子设备和存储介质
CN104318238A (zh) 一种验钞模块中对扫描的钞票图提取冠字号的方法
JP2011227636A (ja) 文字列認識装置および文字列認識方法
CN104464079A (zh) 基于模板特征点及其拓扑结构的多币种面值识别方法
US11423728B2 (en) Banknote inspection device, banknote inspection method, and banknote inspection program product
WO2004097753A1 (ja) 紙葉類識別装置および方法
CN106447904B (zh) 一种纸币的鉴别方法和装置
KR102094234B1 (ko) 지폐 일련번호 인식 장치 및 방법
JP2002092683A (ja) 媒体真偽鑑別装置
JP2009223612A (ja) 画像認識装置及びプログラム
JP3359986B2 (ja) 硬貨認識装置
CN109410420B (zh) 一种图像检测方法、装置和票据鉴别仪
JP5976477B2 (ja) 文字読取装置、及び紙葉類処理装置
CN107240184B (zh) 一种塑料币版本识别的方法、装置及设备
US20230186663A1 (en) Serial number recognition parameter determination apparatus, serial number recognition parameter determination program, and paper sheet handling system
CN106780960B (zh) 一种伊朗纸币币种的识别方法和系统
US20180350869A1 (en) Media security validation
JPH0562045A (ja) 紙葉類認識装置
CN107067008A (zh) 一种相似字符的识别方法及系统
KR20150033837A (ko) 모션 벡터 기법을 활용한 지폐 권종 인식방법 및 그 장치
JPH0573753A (ja) 紙葉類認識処理方法
CN106570980B (zh) 一种纸币鉴伪的方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18937535

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020552439

Country of ref document: JP

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112021005549

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 3115746

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 112021005549

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20210323

122 Ep: pct application non-entry in european phase

Ref document number: 18937535

Country of ref document: EP

Kind code of ref document: A1