WO2015133326A1 - 束状紙葉類の載置状態検出装置及び載置状態検出方法 - Google Patents

束状紙葉類の載置状態検出装置及び載置状態検出方法 Download PDF

Info

Publication number
WO2015133326A1
WO2015133326A1 PCT/JP2015/055144 JP2015055144W WO2015133326A1 WO 2015133326 A1 WO2015133326 A1 WO 2015133326A1 JP 2015055144 W JP2015055144 W JP 2015055144W WO 2015133326 A1 WO2015133326 A1 WO 2015133326A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
straight line
bundle
detection
unit
Prior art date
Application number
PCT/JP2015/055144
Other languages
English (en)
French (fr)
Inventor
雅典 後藤
佑輝 前田
政幸 赤木
健太 柴田
健一郎 秋田
沙織 小林
和隆 安達
Original Assignee
グローリー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014219646A external-priority patent/JP2015180981A/ja
Priority claimed from JP2014219647A external-priority patent/JP2015180982A/ja
Application filed by グローリー株式会社 filed Critical グローリー株式会社
Publication of WO2015133326A1 publication Critical patent/WO2015133326A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/181Testing mechanical properties or condition, e.g. wear or tear
    • G07D7/183Detecting folds or doubles
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D11/00Devices accepting coins; Devices accepting, dispensing, sorting or counting valuable papers
    • G07D11/10Mechanical details
    • G07D11/14Inlet or outlet ports
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D11/00Devices accepting coins; Devices accepting, dispensing, sorting or counting valuable papers
    • G07D11/20Controlling or monitoring the operation of devices; Data handling
    • G07D11/22Means for sensing or detection

Definitions

  • This invention relates to a case where a bundle of paper sheets is placed in a state of being bound with a band seal or a rubber band on a reception unit of a paper sheet processing apparatus for processing paper sheets such as banknotes, checks, gift certificates, and cash vouchers. Placement of bundled paper sheets to detect the loaded state of foreign materials such as rubber bands or bundled paper sheets in which some of the bundled paper sheets are out of the bundle or partly folded
  • the present invention relates to a state detection device and a mounting state detection method.
  • Patent Document 1 when an image of a foreign object receiver provided at the lower part of a bill insertion slot is captured and the image of the foreign object receiver is compared with an image without a foreign object, a foreign object is mixed.
  • a technique is disclosed in which an image of a captured foreign object is displayed and whether or not it is necessary to return is confirmed with a user.
  • Patent Document 2 discloses a technique in which a magnetic sensor is provided at a paper sheet receiving port of a paper sheet feeding device and metal foreign matter is detected based on a change in the magnetic level of the magnetic sensor.
  • JP 2007-34936 A Japanese Utility Model Publication No. 2-149649
  • the banknote depositing / withdrawing apparatus cannot recognize that the banknotes are bound, the banknote depositing / dispensing apparatus cannot tell the user the cause of the feeding error.
  • the banknote may be damaged by trying to forcibly feed the banknote in a bound state.
  • the state where the end face of one banknote in the banknote bundle is bent, the state where a part of one banknote in the banknote bundle deviates from the bundle and winds the bundle end face, or several sheets at the banknote deposit / withdrawal port In some cases, the banknotes may fall down and the pattern surface of the banknotes face down, making it impossible to pay out.
  • banknote depositing and dispensing devices such as ATM (Automated Teller Machine)
  • ATM Automatic Teller Machine
  • a bundle of banknotes bundled with a non-metal rubber band or band seal is deposited into the banknote deposit and withdrawal port, the rubber band or band seal is bound It is an important issue to detect a placement state such that an object is in a state with a foreign object and banknotes in a banknote bundle are not aligned.
  • the present invention is for solving the above-described problems of the prior art, and is a paper sheet processing apparatus in a state in which the paper sheets are bound by some binding material including a metal and / or a material other than the metal. Bundled paper sheets that can detect a loaded state such as a bundled paper sheet is not properly placed, when a bundle is attached when placed on the reception unit It is an object to provide a mounting state detection device and a mounting state detection method.
  • the present invention is provided in a paper sheet receiving unit of a paper sheet processing apparatus that receives a bundle of paper sheets and processes the paper sheets fed out one by one.
  • a bundled paper sheet placement state detection device for detecting a foreign matter attached to a placed bundled paper sheet or a loaded state of the bundled paper sheet, wherein the paper sheet receiving unit Light is applied to a sheet receiving unit that receives the bundled paper sheets and any surface of the bundled paper sheets, or a surface formed by the overlapping of the bundled paper sheets.
  • a plurality of light sources imaging means for imaging a target surface formed by overlapping of the bundled paper sheets irradiated by the plurality of light sources, and the target surface by simultaneously controlling light emission of the plurality of light sources
  • First irradiation control means for uniformly irradiating the light, and the first irradiation control means.
  • a straight line detecting unit that detects a straight line existing on the target surface from a captured image obtained by capturing the target surface uniformly irradiated with light by the imaging unit;
  • a region including a straight line is set as a target region, and the plurality of light sources are individually controlled to emit light, whereby irradiation is performed in a first irradiation state and a second irradiation state in which the irradiation mode of the target region is different.
  • Located in the target area based on whether there is a difference between the images of the target area imaged by the imaging means in the second irradiation control means, the first irradiation state, and the second irradiation state.
  • the detection result of the straight line detecting means and the solid object presence / absence determining means are determined.
  • the present invention further includes an opaque member between the bundle of paper sheets placed on the paper sheet receiving unit and the plurality of light sources, wherein the plurality of light sources includes the plurality of light sources, It is characterized by being disposed at a position that is symmetrical with respect to the member.
  • the second irradiation control unit may include the first irradiation state and the second irradiation according to a positional relationship between the straight line detected by the straight line detection unit and the member.
  • the light source lighting control of the state is performed.
  • a luminance value distribution in an imaging range is evaluated from an imaging result of a reference medium imaged by the imaging unit under light emission control by the first irradiation control unit, and the evaluation is performed.
  • First parameter setting means for presetting parameters relating to light emission control for the plurality of light sources by the first irradiation control means and parameters relating to imaging of the target surface by the imaging means based on the results; From the imaging result of the reference medium imaged by the imaging means under the light emission control by the irradiation control means, the luminance value distribution in the imaging range is evaluated, and the second irradiation control means by the second irradiation control means based on the evaluation result A second parameter for presetting parameters relating to light emission control for a plurality of light sources and parameters relating to imaging of the target surface by the imaging means.
  • the straight line detection means detects a straight line existing on the target surface from an imaging result of a paper sheet imaged using the parameters set by the first parameter setting means
  • the three-dimensional object presence / absence determining means determines the presence / absence of a three-dimensional object located in the target region from the imaging result of the paper sheet imaged using the parameters set by the second parameter setting means.
  • the present invention attaches to a bundle of paper sheets placed on a paper sheet reception unit of a paper sheet processing apparatus that accepts a bundle of paper sheets and processes the paper sheets fed out one by one.
  • a method for detecting a loaded state of bundled paper sheets that detects a loaded state of a foreign object or a bundled paper sheet, the paper sheet receiving the bundled paper sheet in the paper sheet receiving unit
  • a first irradiation control step of uniformly irradiating light on the target surface, and a straight line existing on the target surface from a captured image obtained by imaging the target surface uniformly irradiated with light by the first irradiation control step A straight line detecting step to detect, and the straight line detecting step of the target surface.
  • the first irradiation state and the second irradiation state which are different from each other in the light irradiation mode with respect to the target region, by setting the region including the straight line detected by the step as the target region and individually controlling the light emission of the plurality of light sources.
  • a solid object presence / absence determination step for determining the presence / absence of an object, and when a straight line is detected in the straight line detection step, based on the detection result in the straight line detection step and the determination result in the solid object presence / absence determination step, And a detection step of detecting the presence or absence of a binding object for binding the bundled paper sheets or the quality of the loaded state of the bundled paper sheets.
  • the present invention attaches to a bundle of paper sheets placed on a paper sheet reception unit of a paper sheet processing apparatus that accepts a bundle of paper sheets and processes the paper sheets fed out one by one.
  • a method for detecting a loaded state of bundled paper sheets that detects a loaded state of a foreign object or a bundled paper sheet, the paper sheet receiving the bundled paper sheet in the paper sheet receiving unit
  • a first imaging step for imaging the target surface by uniformly irradiating light, and a straight line existing on the target surface from an imaging result of imaging the target surface uniformly irradiated with light by the first imaging step A straight line detection step for detecting the straight line detection step and the straight line detection step of the target surface.
  • the present invention attaches to a bundle of paper sheets placed on a paper sheet reception unit of a paper sheet processing apparatus that accepts a bundle of paper sheets and processes the paper sheets fed out one by one. And a paper sheet receiving unit that receives the bundle of paper sheets in the paper sheet receiving unit, and the bundle state from the direction in which the thickness of the bundle can be confirmed.
  • Image capturing means for capturing an image of a paper sheet
  • target area specifying means for specifying a target area for detecting a foreign object from the image captured by the image capturing means
  • a foreign object detection target specified by the target area specifying means The edge detection means for detecting an edge in the direction perpendicular to the thickness direction of the bundle of paper sheets from the image in the area of, and the number of pixels connected in a straight line of the edge image composed of the edges detected by the edge detection means Count the When there is a pixel, a straight line detection unit that detects a straight line from the edge image, and a foreign matter detection unit that detects that there is a foreign matter that binds the paper sheets based on the straight line detected by the straight line detection unit It is characterized by comprising.
  • the present invention is the above invention, wherein the target area specifying unit is configured such that when there is an opaque member between a bundle of paper sheets received by the paper sheet receiving unit and the image capturing unit, the image An area for an opaque member is excluded from the image captured by the imaging means.
  • the present invention is characterized in that, in the above invention, the paper sheet receiving means is transparent in a member existing between the received paper sheet in a bundled state and the image capturing means.
  • the present invention is characterized in that, in the above invention, the image capturing means captures an RGB color image, and detects foreign matter based on the captured R image, G image, and B image.
  • the present invention is the above invention, wherein the edge detection unit extracts the saturation from the image captured by the image capturing unit in the foreign object detection target region specified by the target region specifying unit. An image or a brightness image from which brightness is extracted is generated, and edge extraction is performed using the saturation image and / or the brightness image.
  • the present invention is the above invention, further comprising: a light source that emits light in a single or a plurality of first directions; and a light source that emits light in a second direction, each light source receiving the paper sheet And the light in the first direction on the surface of the bundle of paper sheets to be imaged by the image imaging means. And a light irradiation control means for controlling light emission of a light source that irradiates light in the second direction.
  • the image capturing unit may be configured such that the foreign matter detection unit turns on a light source that emits light in a first direction by the light irradiation control unit and irradiates the paper with light. And the second image captured by the image capturing unit in a state where the light irradiation control unit turns on the light source that irradiates light in the second direction and irradiates the paper with light.
  • a foreign object is detected based on an evaluation of a difference between the first image and the second image in an area including a straight line detected by the straight line detection unit. To do.
  • the present invention is the above invention, wherein the image capturing unit is capable of acquiring a high resolution image and a low resolution image from the captured image, and the straight line detecting unit is acquired by the image capturing unit.
  • the straight line detection processing is performed based on the high-resolution image acquired by the image capturing unit.
  • the foreign object detection unit is sandwiched between the two straight lines of the image captured by the image capturing unit, and the distance between the two straight lines detected by the straight line detection unit is a predetermined value or more. It is characterized in that foreign matter is detected when the pixel value of the target area is within a predetermined range.
  • a thickness detecting unit that detects a thickness of the bundled paper sheet received by the paper sheet receiving unit, and the bundled paper sheet received by the paper sheet receiving unit.
  • a position changing unit that changes a positional relationship between the leaf and the light source; and the image capturing unit has a thickness of the bundled paper sheets detected by the thickness detecting unit equal to or greater than a predetermined value,
  • the positional change means changes the positional relationship between the bundled paper sheets and the light source, and then re-images the bundled paper sheets. It is characterized by.
  • the present invention attaches to a bundle of paper sheets placed on a paper sheet reception unit of a paper sheet processing apparatus that accepts a bundle of paper sheets and processes the paper sheets fed out one by one.
  • a method for detecting a placed foreign matter wherein the paper sheet receiving unit receives the bundle of paper sheets in the paper sheet receiving unit, and the bundle state from the direction in which the thickness of the bundle can be confirmed.
  • the present invention is wound around a paper sheet placed on a paper sheet receiving unit of a paper sheet processing apparatus that accepts a bundle of paper sheets and processes the paper sheets fed out one by one.
  • a loading state detection method for detecting a bundling as a foreign object wherein the sheet receiving unit accepts a bundle of sheets in the sheet receiving unit, and the bundle state from the direction in which the thickness of the bundle can be confirmed.
  • An image capturing step for capturing an image of a paper sheet, a target region specifying step for specifying a region for detecting a foreign object from the image captured in the image capturing step, and a foreign object detection target specified by the target region specifying step
  • An edge detection step for detecting an edge in a direction perpendicular to the thickness direction of the bundle of paper sheets, and an edge image composed of the edges detected by the edge detection step.
  • a straight line detection step for detecting a straight line from the edge image, and a straight line within a predetermined distance from the edge of the sheet in the straight line detection step.
  • the image of the paper sheet imaged in the image capturing step includes a region that maintains a predetermined brightness with uniformity from the edge of the paper sheet.
  • a pixel detection step for detecting pixels that are brighter than pixels near both ends in the thickness direction of the bundle of paper sheets as pixels of brightness, and the straight line detection A straight line detected by step, based on the shine pixels detected by the shininess pixel detection step, characterized in that the wrapper for bundling the paper sheet containing a foreign matter detection step of detecting a foreign body.
  • the present invention is the above invention, wherein the straight line detecting step specifies a start point and an end point indicating a range in which the effective edge image that is the basis of the straight line and the straight line exists, and the mask region determining step includes The mask for each straight line, which is a region sandwiched between the edge of the paper sheet and the straight line among the thickness direction regions sandwiched by the position in the thickness direction of the paper sheet corresponding to the start point and the end point with respect to the straight line
  • the thickness direction areas of the straight line mask areas corresponding to the respective straight lines overlap.
  • the mask region corresponding to the overlapping thickness direction region is defined as a region corresponding to the straight-line mask region of the straight line closest to the edge of the paper sheet, and the straight line corresponding to each straight line.
  • the mask area for the thickness direction area that does not overlap is an area in which the straight mask areas corresponding to all the straight lines are overlapped. .
  • a plurality of sheets that receive a bundle of paper sheets and irradiate light on any surface of the bundle of paper sheets or a surface formed by overlapping the bundle of paper sheets.
  • the target surface is uniformly irradiated with light, and the target surface irradiated with the uniform light is imaged to obtain the target surface.
  • the first irradiation state and the second irradiation state with different light irradiation modes on the target region are different.
  • the solid object is irradiated in each irradiation state, and the presence or absence of a three-dimensional object in the target region is determined based on the difference in the imaging results of the target region imaged in each of the first irradiation state and the second irradiation state. Based on the determination of the presence or absence of paper, When the paper sheet is placed on the paper sheet accepting unit of the paper sheet processing apparatus in a state of being bound by some binding object including a metal and / or a material other than the metal. In addition, it is possible to detect a loaded state such that the bundled material is attached, and the bundled paper sheets are not properly placed.
  • FIG. 1 is an explanatory diagram for explaining the outline of the mounting state detection method according to the first embodiment.
  • FIG. 2 is an explanatory diagram for explaining the details of the appearance and the internal physical configuration of the deposit / withdrawal port shown in FIG. 1.
  • FIG. 3 is a block diagram showing an internal configuration of the banknote depositing and dispensing machine according to the first embodiment shown in FIG.
  • FIG. 4 is a flowchart showing a processing procedure during the depositing process of the banknote depositing and dispensing machine shown in FIG.
  • FIG. 5 is a block diagram showing an internal configuration of the deposit / withdrawal port placement state detection unit of the banknote deposit / withdrawal machine shown in FIG. 3.
  • FIG. 6 is a flowchart showing an overall processing procedure of foreign object detection processing by the deposit / withdrawal port mounting state detection unit shown in FIG.
  • FIG. 7 is an explanatory diagram for explaining the processing content of the foreign object detection target region extraction processing shown in FIG.
  • FIG. 8 is a flowchart showing a detailed processing procedure of the straight line detection processing shown in FIG.
  • FIG. 9 is a flowchart showing a detailed processing procedure of the continuity evaluation process shown in FIG.
  • FIG. 10 is an explanatory diagram for explaining the processing content of the continuity evaluation processing shown in FIG.
  • FIG. 11 is an explanatory diagram for explaining the processing content of the belt-shaped object determination processing shown in FIG. 6.
  • FIG. 12 is an explanatory diagram for explaining the control of the light source unit related to the three-dimensional object presence / absence determination process shown in FIG. 6.
  • FIG. 13 is a flowchart showing a detailed processing procedure of the solid object presence / absence determination processing shown in FIG. 6.
  • FIG. 14 is a flowchart for explaining the processing procedure of the automatic adjustment processing of individual LEDs of the light source unit by the inspection / adjustment unit of the deposit / withdrawal port mounting state detection unit shown in FIG.
  • FIG. 15 is a flowchart for explaining a processing procedure of automatic adjustment processing of the light source unit and the camera by the inspection / adjustment unit of the deposit / withdrawal port mounting state detection unit illustrated in FIG. 5.
  • FIG. 16 is a diagram for explaining an outline of a more strict banding determination process according to the second embodiment.
  • FIG. 17 is a diagram for explaining the internal structure and operation according to the second embodiment of the deposit / withdrawal port illustrated in FIG. 2.
  • FIG. 18 is a diagram for explaining the outline of the method for specifying the shining pixels of the banknote bundle according to the second embodiment.
  • FIG. 19 illustrates a mask range that is a non-evaluation area that does not search for a shining pixel that is used for a band seal determination when a bank note that has a white area at the edge of the bank note illustrated in FIG. It is a figure for doing.
  • FIG. 20 is a flowchart illustrating the entire processing procedure of foreign object detection processing by the deposit / withdrawal port foreign object detection unit according to the second embodiment.
  • FIG. 20 is a flowchart illustrating the entire processing procedure of foreign object detection processing by the deposit / withdrawal port foreign object detection unit according to the second embodiment.
  • FIG. 21 is a block diagram illustrating an internal configuration of the deposit / withdrawal port placement state detection unit of the banknote deposit / withdrawal machine according to the third embodiment.
  • FIG. 22 is a diagram illustrating an overview of the solid shape object presence / absence determination processing according to the third embodiment.
  • FIG. 23 is a flowchart for explaining the processing procedure of the solid shape object presence / absence determination processing according to the third embodiment.
  • FIG. 24 is a diagram illustrating a captured image and a straight line detection state when a banknote is folded in the banknote bundle according to the fourth embodiment.
  • FIG. 25 is a diagram illustrating a captured image and a straight line detection state when a plurality of types of bundles having different bill lengths according to the fourth embodiment are placed on the deposit / withdrawal port.
  • FIG. 22 is a diagram illustrating an overview of the solid shape object presence / absence determination processing according to the third embodiment.
  • FIG. 23 is a flowchart for explaining the processing procedure of the solid shape object presence / absence determination processing according to the
  • FIG. 26 is a diagram illustrating a captured image and a straight line detection state when one of the front surface or the back surface of the banknote bundle according to the fourth embodiment is inclined and partially covers the end face of the banknote bundle.
  • FIG. 27 shows a case where a bundle of banknotes is placed in a substantially horizontal state while being bent when the deposit banknote is placed in the deposit / withdrawal port according to the fourth embodiment, or a part of the bundle of banknotes sinks downward. It is a figure explaining the picked-up image and straight line detection state in the case.
  • FIG. 28 is a diagram for explaining a captured image and a straight line detection state when a banknote placed on the deposit / withdrawal port according to the fourth embodiment has a bellows-like crease.
  • FIG. 1A is an external view of the banknote depositing / dispensing machine 100.
  • FIG. 1B is a diagram showing an outline of a physical configuration of the deposit / withdrawal port 140 into which bills are inserted or placed when the bill depositing / dispensing machine 100 shown in FIG. 1A is deposited.
  • FIG. 1C is an example of an image obtained by imaging the banknote placed on the deposit / withdrawal port 140 by the camera 152 shown in FIG.
  • FIG. 1D shows a flow of processing for detecting a three-dimensional foreign object such as a rubber band or a band seal that binds banknotes and a loading state such as a banknote fold using the image shown in FIG. It is a figure for demonstrating.
  • the display operation unit 110 is a touch panel display device, and can accept input by displaying a menu, a transaction screen, a message to the user, and operating the displayed menu and a button on the transaction screen.
  • the card insertion slot 121 is a slot into which a magnetic card such as a cash card or an IC card is inserted.
  • the number input unit 130 is a keyboard that mainly inputs numbers such as a password and an amount.
  • the deposit / withdrawal port 140 is a port in which a banknote to be deposited is inserted or placed when performing a deposit-type transaction, and is a port through which a banknote to be dispensed is dispensed when performing a withdrawal-type transaction.
  • the statement issuance port 191 is a port for discharging a transaction statement on which transaction details are printed.
  • the voice call unit 200 is an input / output unit for a user to make a voice call with a back office staff when using the banknote depositing and dispensing machine 100.
  • Example 1 is placed in the deposit / withdrawal port 140 when the banknote bundle placed on the deposit / withdrawal port 140 of the banknote depositing / dispensing machine 100 shown in FIG.
  • An example in which the rubber band or the band seal is detected as a foreign object before the banknote bundle is fed out will be described.
  • By detecting the rubber band or the band seal as a foreign object it is possible to notify the user of a message indicating a deposit instruction in a state where banknotes are aligned after the rubber band or the band seal is removed.
  • a shutter 141 is provided above the deposit / withdrawal port 140 and is opened when a deposit transaction operation is performed, and is closed when a bill to be deposited into the deposit / withdrawal port 140 is placed.
  • ribs 142a, 142b, 142c, 142d are at the bottom of the deposit / withdrawal port 140. For example, when foreign matter such as coins is mistakenly inserted, the coins are dropped to the bottom and separated from the bills. can do.
  • a camera 152 is installed at the bottom of the deposit / withdrawal port 140 below the ribs 142a, 142b, 142c, and 142d, and the camera 152 captures an image of the banknote placed on the deposit / withdrawal port 140 from below. be able to.
  • FIG.1 (c) is an example of the image of the banknote imaged with the camera 152 of FIG.1 (b). Since the ribs 142a, 142b, 142c, and 142d exist between the camera 152 and the banknote bundle, the ribs 142a, 142b, 142c, and 142d are reflected in the three image examples.
  • the top image is an example of an image of banknotes that are not bound by a rubber band or a bandage
  • the middle image is an example of an image of a banknote that is bound by a rubber band
  • the bottom image is a banknote that is bound by a bandage. It is an example of an image.
  • the rubber band image is reflected in the middle image in FIG.
  • a banded image is reflected in the bottom image in FIG.
  • the first embodiment will mainly describe an implementation example in which a bundle of rubber bands or band seals reflected in these images is detected as a foreign object.
  • the foreign matter binding the banknotes has a feature that it appears as a linear shape that is substantially parallel to the thickness direction of the banknotes on the image.
  • a foreign matter binding a banknote such as a rubber band or a band seal, or a loading state abnormality such as folding of the banknote is detected.
  • the portion where the ribs 142a, 142b, 142c, and 142d are reflected is a region that is not a foreign object detection target. By doing so, the reflection of the ribs 142a, 142b, 142c, 142d is not erroneously detected as a foreign object.
  • the banknote deposit / withdrawal machine 100 closes the shutter 141 and takes an image of the banknote placed on the deposit / withdrawal port 140 with the camera 152. .
  • the banknote depositing / dispensing machine 100 analyzes the image captured by the camera 152 to determine whether there is a foreign matter binding a banknote such as a rubber band or a band seal, or whether there is a mounting state abnormality such as folding of the banknote, and binding the banknote. If it is determined that there is a foreign object or a folded banknote, a message prompting re-payment is displayed after removing the bound foreign substance or rearranging it, and the shutter 141 is opened and the Wait for deposit. Further, when it is determined from the image captured by the camera 152 that there is no foreign object for binding the banknote bundle, or banknote folding, etc., the banknote depositing process placed on the deposit / withdrawal port 140 is continued. The payout process for starting is started.
  • the banknotes in a bundled state are received by the deposit / withdrawal port 140, the image of the accepted banknotes in the bundled state is captured by the camera 152, and the areas where the ribs 142a, 142b, 142c, 142d of the captured images are reflected are excluded.
  • FIG. 2 is an explanatory diagram for explaining the details of the appearance of the deposit / withdrawal port 140 and the internal physical configuration.
  • FIG. 2A is a detailed external view of the deposit / withdrawal port 140.
  • FIG. 2B is a view for explaining the structure of the portion below the ribs 142a, 142b, 142c, 142d of the deposit / withdrawal port 140.
  • FIG. FIG. 1 is an explanatory diagram for explaining the details of the appearance of the deposit / withdrawal port 140 and the internal physical configuration.
  • FIG. 2A is a detailed external view of the deposit / withdrawal port 140.
  • FIG. 2B is a view for explaining the structure of the portion below the ribs 142a, 142b, 142c, 142d of the deposit / withdrawal port 140.
  • 2C is a view for explaining the arrangement of the LEDs 151a to 151k, the ribs 142a, 142b, 142c, 142d, and the camera 152 of the light source unit 151 arranged under the ribs 142a, 142b, 142c, 142d. .
  • the external structure of the deposit / withdrawal port 140 will be described with reference to FIG.
  • a shutter 141 at the top of the deposit / withdrawal port 140, which is closed in the standby state, and is opened when depositing banknotes for deposit transactions or dispensing banknotes for withdrawal transactions.
  • the banknote holder 143 is a movable part that presses a banknote placed after the banknote is placed on the deposit / withdrawal port 140 and the shutter 141 is closed in a deposit transaction.
  • ribs 142a, 142b, 142c, 142d at the lower part of the deposit / withdrawal port 140, and the bills placed thereon are placed on the ribs 142a, 142b, 142c, 142d.
  • a camera 152 is disposed further below the ribs 142a, 142b, 142c, 142d, and images the banknotes placed on the ribs 142a, 142b, 142c, 142d.
  • the camera 152 and the light source unit 151 are disposed below the ribs 142a, 142b, 142c, and 142d of the deposit / withdrawal port 140.
  • the camera 152 takes an image
  • the light source unit 151 is turned on. Then, the imaging object is irradiated with light.
  • the light source unit 151 is placed below the ribs 142a, 142b, 142c, 142d and placed in order to capture the bills placed on the ribs 142a, 142b, 142c, 142d with the camera 152 from below. Irradiate light on the lower surface. Further, as shown in FIG. 2C, when the entire area is divided into five areas at the positions of the ribs 142a, 142b, 142c, 142d, LEDs are arranged at both ends of each area and in the middle thereof.
  • FIG. 3 is a block diagram illustrating an internal configuration of the banknote depositing and dispensing machine 100 according to the first embodiment.
  • the bill deposit / withdrawal machine 100 includes a display operation unit 110, a card reader 120, a number input unit 130, a deposit / withdrawal port 140, a deposit / withdrawal port placement state detection unit 150, a transport unit 160, a discrimination unit 170, a bill storage unit 180, A document printer 190, a voice call unit 200, a communication unit 210, a storage unit 220, and a control unit 230. Description of the parts already described so far will be omitted, and description will be made centering on parts that have not been described yet.
  • the card reader 120 is a reading unit that reads the contents of a magnetic card such as a cash card inserted from the card insertion slot 121 or an IC card.
  • the deposit / withdrawal port 140 includes the shutter 141, the rib 142, the bill presser 143, and the feeding unit 144 described above. If it is confirmed that there is no abnormality in the loading state detection process such as foreign matters such as rubber bands and band seals, and folding of banknotes, the feeding unit 144 transfers the banknotes placed in the deposit / withdrawal port 140 to the transport unit 160. It is a processing unit that feeds out.
  • the deposit / withdrawal port placement state detection unit 150 is a processing unit that determines whether or not foreign matter is added to the banknote placed at the deposit / withdrawal port 140.
  • the conveyance part 160 conveys the banknote drawn
  • the deposit / withdrawal port 140 includes a shutter 141, a rib 142, a bill presser 143, and a feeding unit 144 to constitute a paper sheet receiving unit.
  • the identification unit 170 is a processing unit that performs identification and authentication of the type of banknotes that have been conveyed by the conveyance unit 160.
  • the banknote storage unit 180 is a storage unit that stores banknotes that have been placed in deposit transactions and are determined to be genuine bills, and a storage unit that stores banknotes for dispensing banknotes in withdrawal transactions. It is.
  • the specification printer 190 delivers the specification to the user by discharging it to the specification issuing port 191 with an output unit for printing the specification of the transaction for the user.
  • the communication unit 210 is an interface unit for data communication with a system for managing account information related to deposit / withdrawal transactions and deposits / withdrawals.
  • the storage unit 220 is a storage device such as a hard disk device or a nonvolatile memory, and stores data necessary for deposit / withdrawal processing.
  • the control unit 230 is a control unit that controls the entire bill depositing / dispensing machine 100, and includes a deposit processing unit 231 and a withdrawal processing unit 232.
  • the programs corresponding to these functional units are stored in a non-illustrated non-volatile memory such as a ROM, and these programs are implemented by a CPU (Central Processing Unit).
  • the deposit processing unit 231 is a control unit that controls the entire deposit process performed by the banknote depositing and dispensing machine 100
  • the withdrawal process unit 232 is a control unit that controls the entire deposit process performed by the banknote depositing and dispensing machine 100. . A detailed processing flow at the time of deposit processing will be described later.
  • FIG. 4 is a flowchart showing a processing procedure during the depositing process of the banknote depositing / dispensing machine 100 shown in FIG.
  • the deposit processing unit 231 accepts a card from the card insertion slot 121, reads the contents of the card inserted by the card reader 120, and accepts execution of a deposit transaction by the display operation unit 110, and then deposits / deposits the banknote to be deposited.
  • the shutter 141 is opened so that it can be inserted into the metal cap 140 (step S101).
  • the deposit processing unit 231 waits for the bill to be placed in the deposit / withdrawal port 140 and performs the bill placement detection process (step S102), and the bill is not detected to be placed in the deposit / withdrawal port 140. In the case (step S103; No), the process returns to step S102.
  • step S103 when it is detected that the bill is inserted into the deposit / withdrawal port 140 (step S103; Yes), the deposit processing unit 231 closes the shutter 141 (step S104), and the deposit / withdrawal port placement state detection unit 150.
  • step S105 whether a rubber band or a foreign material such as a band seal is not added to the bundle of banknotes deposited into the deposit / withdrawal port 140, the banknotes are not folded, or there are no banknotes that have entered under the banknote stack in the vertical state A placement state detection process is performed (step S105).
  • step S106 In the case where no abnormality such as foreign matter or banknote folding is detected in the placement state detection process in step S105 (step S106; No), the deposit processing unit 231 has received it by the feeding unit 144 of the deposit / withdrawal port 140.
  • the bill is fed out to the transport unit 160 (step S107).
  • the banknotes fed out to the transport unit 160 are transported to the discrimination unit 170, where the discrimination unit 170 identifies the type of banknote and determines the authenticity of the banknote (step S108), and the banknotes that are determined to be genuine are banknotes.
  • the details are stored in the storage unit 180 (step S109), and a statement describing the deposit transaction such as the deposit amount is issued by the statement printer 190 (step S110), and the process is terminated.
  • step S105 when an abnormality is detected in the placement state due to foreign matter or banknote folding (step S106; Yes), the deposit processing unit 231 sends the deposit / withdrawal to the display operation unit 110.
  • the removal of foreign matters added to the banknote placed on the mouth 140, the banknote bundle alignment are performed, and a message prompting re-payment of the banknote is displayed on the deposit / withdrawal port 140 (step S111).
  • the shutter 141 is opened (step S112).
  • the deposit processing unit 231 performs a detection process (Step S113) of re-inserting the banknote into the deposit / withdrawal port 140, and when the re-insertion of the banknote into the deposit / withdrawal port 140 is not detected (Step S114; No). Returns to step S113.
  • the process returns to step S104.
  • FIG. 5 is a block diagram showing an internal configuration of the deposit / withdrawal port placement state detection unit 150 of the banknote deposit / withdrawal machine 100.
  • the deposit / withdrawal port mounting state detection unit 150 includes a light source unit 151, a camera 152, a communication unit 153, a storage unit 154, and a control unit 155. As described with reference to FIG. 2, the light source unit 151 and the camera 152 are disposed below the deposit / withdrawal port 140. When a bill is inserted into the deposit / withdrawal port 140, the shutter 141 is closed and the light source unit 151 irradiates the bill with light. The image of the banknote irradiated with light is captured by the camera 152.
  • the communication unit 153 accepts an instruction from the banknote depositing / dispensing machine 100 to determine whether or not there is a mounting abnormality, and determines whether there is a mounting abnormality, an image captured by the camera 152, and the like. This is an interface unit to be sent to the metal machine 100.
  • the storage unit 154 is a storage device such as a nonvolatile memory, and stores data necessary for processing related to mounting abnormality detection.
  • the control unit 155 is a control unit that controls the entire deposit / withdrawal port mounting state detection unit 150, and is an inspection / adjustment unit 155a, an image acquisition unit 155b, a target area identification unit 155c, a gray image generation unit 155d, and an edge detection unit 155e. , A straight line detecting unit 155f, a strip-shaped object determining unit 155g, and a three-dimensional object determining unit 155h.
  • the programs corresponding to these functional units are stored in a non-illustrated non-volatile memory such as a ROM, and these programs are implemented by a CPU (Central Processing Unit).
  • the inspection / adjustment unit 155a analyzes the image collected by the camera 152 by causing the light source unit 151 to emit light, thereby performing an output inspection of the LED of the light source unit 151 and controlling the amount of emitted light for each LED of the light source unit 151.
  • LED light emission amount control parameters and camera 152 exposure time, camera control parameters necessary for control such as white balance, etc. are used when detecting straight lines by irradiating all LEDs 151a to 151k for all light sources.
  • the setting value to be used and the setting value to be used when determining the three-dimensional object are determined automatically when irradiating leftward from the left and when irradiating leftward from the right. Thereby, the adjustment including the individual difference of the LED and the individual difference of the camera 152 can be automatically performed.
  • the image acquisition unit 155b performs lighting control of the light source unit 151 and captures an image of the banknote deposited into the deposit / withdrawal port 140 by the camera 152.
  • the image capturing method differs depending on the purpose of image capturing. An image to be captured for detecting a straight line is captured by emitting light from the light source unit 151 so that the overall illuminance difference is small and the influence of the shadows of the ribs 142a, 142b, 142c, and 142d is minimized.
  • the image acquisition unit 155b performs lighting control of the LEDs 151a to 151k of the light source unit 151 according to the purpose, captures an image with the camera 152, and registers the captured image in the storage unit 154.
  • a low resolution image and a high resolution image can be acquired as an image for detecting a straight line.
  • the low-resolution image is acquired by acquiring a high-resolution image captured by the camera 152 and reducing the resolution of the captured image data.
  • a high-resolution image and a low-resolution image may be captured separately.
  • the target area specifying unit 155c excludes the area where the ribs 142a, 142b, 142c, and 142d are reflected and the area other than the banknote such as the banknote press 143 from the image acquired by the image acquisition section 155b.
  • the target area for detecting the foreign matter added to is narrowed down. Detailed processing contents will be described later.
  • the gray image generation unit 155d converts the image acquired by the image acquisition unit 155b into a gray multi-tone image.
  • the edge detection unit 155e detects the banknotes in the captured image in the target area for detecting the foreign matter specified by the target area specifying unit 155c with respect to the gray multi-tone image created by the gray image generation unit 155d.
  • a straight line appearing in a direction substantially parallel to the thickness direction is detected.
  • the edge strength in the direction perpendicular to the thickness direction of the banknote in the image captured using an edge detection filter such as a Sobel filter is calculated, and pixels having an edge strength exceeding a predetermined threshold are half-cut.
  • a straight line is detected by conversion. Details will be described later.
  • the straight line detection unit 155f is a processing unit for evaluating the validity of the straight line detected by the edge detection unit 155e. Specifically, the edge detection unit 155e detects on the condition that a predetermined criterion is satisfied by evaluating the degree of gathering of edge pixels having a predetermined intensity obtained at the time of line detection on the line detected by the Hough transform.
  • the straight line information is stored as a foreign object candidate. The straight line information detected by the edge detection unit 155e that does not satisfy the predetermined standard is excluded from the foreign substance candidates. Details will be described later.
  • the belt-shaped object determination unit 155g is a processing unit that determines whether or not the straight line detected by the edge detection unit 155e and determined to be valid by the straight line detection unit 155f is due to the band seal. .
  • the bandage has a width that is greater than a predetermined value, and a bank name or the like is printed on plain or single-color paper, and the change in luminance value is often smaller than that of a banknote portion. Whether or not the feature is detected is determined based on whether or not the feature can be detected. Details will be described later.
  • the solid-shaped object presence / absence determining unit 155h is derived from a solid object such as a rubber band, which is detected by the edge detecting unit 155e and determined to be appropriate by the straight line detecting unit 155f in its validity evaluation. It is a processing unit for determining whether or not. Specifically, the luminance difference between the two images is evaluated by evaluating the luminance difference between the two images irradiated with light from different directions (left and right directions) with respect to the straight line in the region where the target straight line exists. If the difference is large, it is determined that there is a three-dimensional object such as a rubber band, and if the difference is small, it is determined that the three-dimensional object does not exist in the region. Details will be described later.
  • FIG. 6 is a flowchart showing the entire processing procedure of foreign object detection processing by the deposit / withdrawal port mounting state detection unit 150.
  • the image acquisition unit 155b captures a target image with high resolution using the camera 152, acquires this image (step S201), and generates low-resolution image data for straight line detection from the acquired high-resolution image data.
  • Generate step S202.
  • the target area specifying unit 155c extracts the target area detection target area from the image data acquired by the image acquisition unit 155b by excluding the non-target area where foreign matter detection is to be performed (step S203).
  • the gray image generation unit 155d converts the image of the placement state detection target area extracted in step S203 into a gray multi-tone image (step S204).
  • the edge detection unit 155e detects a straight line by using Sobel transformation or Hough transformation for the gray multi-tone image created by the gray image generation unit 155d (step S205). If no straight line is detected in the straight line detection process in step S205 (step S206; No), it is determined that there is no detection of an abnormality in the placement state of a foreign object or the like, and the process ends.
  • step S206 If at least one straight line is detected in the straight line detection process in step S205 (step S206; Yes), it is determined whether or not the straight line detection process has already been performed using a high-resolution image (step S206).
  • step S207 When the straight line detection process has already been performed using the high-resolution image (step S207; Yes), the process proceeds to step S209. If the straight line detection process has not been performed using the high-resolution image (step S207; No), the image acquisition unit 155b captures high-resolution image data for straight line detection (step S208). The process proceeds to step S203.
  • step S207 When a straight line is detected in the straight line detection process in step S205 using the high-resolution image (step S207; Yes), the straight line detection unit 155f determines the validity of the straight line detected in the straight line detection process in step S205. The sex is evaluated (step S209). If there is no straight line whose validity is confirmed by the evaluation of continuity in step S209 (step S210; No), it is determined that no foreign matter or the like has been detected, and the process is terminated.
  • the strip determination unit 155g determines whether or not the validity is determined in the continuity evaluation process in step S209. It is determined whether or not the confirmed straight line is due to the banding (step S211). Further, the three-dimensional object presence / absence determining unit 155h determines whether or not the straight line whose validity has been confirmed in the continuity evaluation process in step S209 is caused by a three-dimensional object such as a rubber band ( Step S212), the process is terminated.
  • FIG. 7 is an explanatory diagram for explaining the processing contents of the placement state detection target region extraction processing (step S203) shown in FIG.
  • FIG. 7A is an example of an image for line detection acquired by the image acquisition unit 155b.
  • rib 142a, 142b, 142c, 142d and the banknote holder 143 are reflected in the image acquired by the image acquisition part 155b other than a banknote.
  • the target area specifying unit 155c excludes a part corresponding to the banknote presser 143 from the image of FIG.
  • FIG. 7B is a diagram excluding the part corresponding to the bill presser 143.
  • FIG. 7C a method for narrowing down the area from the whole of FIG. Compared to FIG. 7B, an x-axis frequency distribution in which the number of pixels in which the brightness of the candidate area of the image in the x-axis direction is greater than or equal to a predetermined value is counted, and the brightness of the candidate area of the image in the y-axis direction is greater than or equal to a predetermined value
  • a y-axis direction frequency distribution in which the number of pixels is counted is created.
  • the top and bottom and left and right edges in the image are determined, and the area where the banknotes are reflected is narrowed down.
  • the region determined in this way is a region surrounded by a rectangle as shown in FIG.
  • region of FIG.7 (d) is an area
  • region is an area
  • the portions where the ribs 142a, 142b, 142c, 142d are reflected and the left and right end portions of the banknote are easily misdetected as straight lines of foreign matter the area near the arrow shown in FIG. It is a thing.
  • FIG. 8 is a flowchart showing a detailed processing procedure of the straight line detection process (step S205) shown in FIG.
  • the edge detection unit 155e calculates the edge strength in the direction perpendicular to the thickness direction of the banknote in the gray image generated by the gray image generation unit 155d using an edge detection filter such as a Sobel filter. (Step S301). Further, the edge detection unit 155e extracts a pixel (hereinafter referred to as an edge pixel) having a predetermined intensity of the image obtained by the edge detection filter (step S302).
  • an edge pixel a pixel having a predetermined intensity of the image obtained by the edge detection filter
  • the edge detection unit 155e votes all edge pixels extracted in step S302 on the Hough plane (step S303). For voting on the Hough plane, in order to improve the accuracy of detecting narrow foreign objects such as rubber bands, if there is an edge pixel with a contrast gradient in the opposite direction within a certain pixel range, The weight may be increased.
  • the edge detection unit 155e detects a straight line candidate by determining ⁇ and ⁇ at which the number of votes becomes a predetermined threshold or more as a result of the voting process on the Hough plane in step S303 (step S304). Moreover, since the straight line of the foreign material corresponding to what binds a banknote bundle has the characteristic detected in the direction substantially parallel to the thickness direction of a banknote, you may restrict
  • FIG. 9 is a flowchart showing a detailed processing procedure of the continuity evaluation process (step S209) shown in FIG.
  • the straight line detection unit 155f selects one straight line from the straight lines extracted by the edge detection unit 155e (step S401), and counts the number of connected edge pixels calculated in step S302 of FIG. 8 on the selected straight line (step S402). ). A specific description of the process of counting the number of connected edge pixels will be described later.
  • step S403 If the number of connected edge pixels on the straight line selected based on the number of pixels obtained by counting in step S402 is greater than or equal to a predetermined threshold (step S403; Yes), the straight line selected in step S401 is valid as a candidate. Is registered as a straight line candidate (step S404). If the number of connected edge pixels on the straight line selected in step S402 is less than a predetermined threshold (step S403; No), it is determined that the straight line selected in step S401 is not valid as a candidate and the straight line candidate is selected. Are excluded (step S405).
  • step S406 if there is a straight line for which the continuity evaluation has not been completed for the straight line extracted by the edge detection unit 155e (step S406; Yes), the process returns to step S401 and the unevaluated straight line Perform an evaluation. If there is no straight line for which the continuity evaluation has not been completed for the straight line extracted by the edge detection unit 155e (step S406; No), the process is terminated.
  • FIG. 10 is an explanatory diagram for explaining the processing content of the continuity evaluation processing (step S209) shown in FIG.
  • FIG. 10 shows the edge pixels detected in the edge detection process in step S302 in FIG. 8 in black, and shows the straight line selected in step S401 in FIG. 9 as the evaluation line. As shown in FIG. 10, there are three connected portions with adjacent edge pixels on the evaluation line.
  • examples of the three connecting parts are a connecting part a, a connecting part b, and a connecting part c.
  • the connecting part a has 43 connected edge pixels
  • the connecting part b has 6 connected edge pixels.
  • the number of connection edge pixels is nine in the connection part c. Therefore, the maximum number of connected edge pixels of this evaluation line is 43.
  • the evaluation of the continuity of the straight line is to evaluate the straight line detected by the Hough transform in this way by using the edge pixel of the original edge image, and the maximum number of connected edges of the connected part is predetermined.
  • the validity of the detected straight line is determined when it is equal to or greater than the threshold.
  • FIG. 11 is an explanatory diagram for explaining the processing content of the strip-shaped object determination processing (step S211) illustrated in FIG.
  • FIG. 11 is an example in which the gray image generated in step S204 in FIG. 6 is displayed by superimposing the continuity evaluated straight line in step S209 in FIG.
  • the example of FIG. 11 is an example of an image of a portion where a bundle of banknotes is bound with a band seal. Since the bandage has a certain width, and the bank name etc. are printed on plain or single color paper, the change in the brightness value is often small compared to the banknote part. 11 are bound by a banding, as shown in FIG. 11, two straight lines corresponding to both ends of the banding are detected, the two straight lines have a certain width, or the brightness of the portion hitting the banding is flat.
  • the banding part has a feature that the edge strength in the thickness direction is smaller than that of the banknote part, it may be determined that the banding is a banding using the fact that there are few edge pixels in the thickness direction.
  • the graph shown below the image in FIG. 11 is a graph of frequency distribution obtained by counting the number of pixels having a predetermined range of luminance in the y-axis direction.
  • the frequency distribution of luminance has a uniform area with a certain width, and two straight lines a and b are located at positions sandwiching the uniform luminance area, it is detected.
  • a range between the two straight lines a and b is determined to be a bandage. Alternatively, if there is a straight line a or b in a uniform region, it may be determined that there is a banding.
  • FIG. 12 is an explanatory diagram for describing control of the light source unit 151 regarding the solid-shaped object presence / absence determination process (step S212) illustrated in FIG.
  • FIG. 12A is a diagram for explaining the positional relationship between the area of the image captured by the camera 152 and the LEDs 151a to 151k of the light source unit 151.
  • FIG. 12B is a diagram for explaining the relationship between the area on the image where the determination target object is located and the lighting control of the LEDs 151a to 151k when determining the three-dimensional object.
  • areas divided by the reflection of the ribs 142a, 142b, 142c, 142d are area 1, area 2, area 3, area 4, and area 5 in order from the left of the image.
  • area 2 area 3 and area 4 excluding the areas at both ends, the inside of the area is further divided, and the left part is called L, the right part is called R, and the middle is called C.
  • the LEDs 151a to 151k are arranged in consideration of the positions of the ribs 142a, 142b, 142c, and 142d.
  • the LED 151c is directly below the rib 142a
  • the LED 151e is directly below the rib 142b
  • the LED 151g and the rib 142d are directly below the rib 142c.
  • An LED 151i is arranged directly below the LED 151i.
  • the LED 151 a is disposed near the left end of the light source unit 151
  • the LED 151 k is disposed near the right end of the light source unit 151.
  • LED 151b is disposed near the center of area 1
  • LED 151d is disposed near the center of area 2
  • LED 151f is disposed near the center of area 3
  • LED 151h is disposed near the center of area 4
  • LED 151j is disposed near the center of area 5.
  • the three-dimensional object is determined by comparing two images captured by irradiating light from different directions to an area where the three-dimensional object may exist. This is performed by utilizing the fact that a difference appears in an image captured by influence.
  • FIG. 12B illustrates an LED that is turned on when the first image is irradiated from the left side and an LED that is turned on when the second image is irradiated from the right side for each region to be detected of the three-dimensional object. It is the table which prescribed
  • the detection target area of the three-dimensional object when the detection target area of the three-dimensional object is the area 1, the light source that is turned on when the first image is picked up is the LED 151a, and the light source that is turned on when the second image is picked up. Is the LED 151c. Further, when the detection target area of the three-dimensional object is L in area 2, the light sources that are turned on when the first image is picked up are LED 151c, LED 151d, and LED 151e, and the light sources that are turned on when the second image is picked up are LED 151e.
  • the detection target region of the three-dimensional object is C in area 2
  • the light source that is turned on when the first image is captured is the LED 151c
  • the light source that is turned on when the second image is captured is the LED 151e.
  • the detection target area of the three-dimensional object is R in area 2
  • the light source that is turned on when the first image is captured is the LED 151c
  • the light source that is turned on when the second image is captured is the LED 151c, the LED 151d, LED 151e.
  • area 3, area 4, and area 5 are the detection target areas of the three-dimensional object
  • the light source that is turned on when the first image is picked up and the light source that is turned on when the second image is picked up are also shown in FIG. As shown in b).
  • the number of LED to light is described in the table
  • FIG. 13 is a flowchart showing a detailed processing procedure of the solid-shaped object presence / absence determination process (step S212) shown in FIG.
  • the three-dimensional object presence / absence determination unit 155h determines which area shown in FIG. 12A belongs to the straight line detected by the edge detection unit 155e and determined to be appropriate by the straight line detection unit 155f (step S501). . Further, the three-dimensional object presence / absence determination unit 155h turns on the LED of the first image capturing light source corresponding to the area determined in step S501 in accordance with the definition of FIG. 12B (step S502). One image is captured (step S503). Further, the three-dimensional object presence / absence determination unit 155h turns on the LED of the light source for the second image capturing corresponding to the area determined in step S501 in accordance with the definition of FIG. 12B (step S504). Two images are captured (step S505).
  • the three-dimensional object presence / absence determining unit 155h converts the collected first image and second image into a gray multi-tone image (step S506). Also, a difference image composed of pixel value differences for each pixel of the first image and the second image converted into a gray multi-tone image is generated (step S507), and each pixel of the created difference image is determined. Binarization is performed using a predetermined threshold (step S508).
  • the three-dimensional object presence / absence determination unit 155h counts the number of pixels determined to be different in the binarized difference image created in step S508 (step S509).
  • the three-dimensional object presence / absence determining unit 155h determines that there is no three-dimensional object when the number of pixels counted in step S509 is smaller than a predetermined threshold, and when the number of pixels counted in step S509 is equal to or larger than the predetermined threshold. Determines that there is a three-dimensional object (step S510), and ends the process.
  • FIG. 14 is a flowchart for explaining the processing procedure of the automatic adjustment processing of the individual LEDs 151a to 151k of the light source unit 151 by the inspection / adjustment unit 155a of the deposit / withdrawal port mounting state detection unit 150.
  • a reference medium for adjustment composed of a flat surface portion whose bottom surface portion is uniformly painted is loaded into the deposit / withdrawal port 140. It is assumed that the bottom surface portion is loaded in the deposit / withdrawal port 140 in a standing state in which the longitudinal end portions of approximately 300 banknotes arranged in a bundle are faced down.
  • the inspection / adjustment unit 155a lights up the LEDs to be inspected one by one (when one repetition, one of the LEDs that are inspected and not inspected is lit) (step S601), An image captured by the camera 152 is acquired (step S602).
  • the inspection / adjustment unit 155a generates evaluation data based on the image acquired in step S602 (step S603). Specifically, the evaluation data is data indicating a luminance value for each predetermined area.
  • the inspection / adjustment unit 155a compares the evaluation data generated in step S603 with reference data in the same format as the evaluation data generated based on the image acquired in advance when the LED is normally driven. (Step S604), and if the difference between the evaluation data generated in step S603 and the reference data is within a predetermined allowable range (step S605; Yes), the presence / absence of unexamined LEDs is determined. If it is performed (step S608) and there are still uninspected LEDs (step S608; Yes), the process proceeds to step S601. If there is no unexamined LED (step S608; No), it is determined that there is no abnormal LED, and the process ends.
  • step S605 If the difference between the evaluation data generated in step S603 and the reference data does not fall within the predetermined allowable range (step S605; No), the output of the LED can be adjusted (step S606; Yes), the inspection / adjustment unit 155a adjusts the output of the LED (step S607), and proceeds to step S601.
  • Step S606 When the output of the LED exceeds the adjustable range (Step S606; No), the inspection / adjustment unit 155a notifies the control unit 230 that the LED is abnormal (Step S606). S609), the process ends.
  • a predetermined luminance can be secured for an image acquired by adjusting the LED output, and an alarm is generated when the predetermined luminance cannot be obtained only by adjusting the LED output.
  • the present invention is not limited to this. For example, even when a predetermined brightness cannot be obtained only by adjusting the LED, it is possible to deal with it by correcting the exposure time of the camera, and an alarm may be given when it is not possible to deal with both of the corrections.
  • FIG. 15 is a flowchart for explaining a processing procedure of adjustment processing of the light source unit 151 and the camera 152 by the inspection / adjustment unit 155a of the deposit / withdrawal port mounting state detection unit 150.
  • step S701 to step S703 the inspection / adjustment unit 155a adjusts the light emission intensity of the LEDs 151a to 151k to obtain an image suitable for the line detection process, and performs light emission control for line detection. Such parameters are determined, and the white balance and exposure time of the camera 152 are adjusted to determine parameters related to imaging for straight line detection, and are stored in the storage unit 154. Further, in step S704 to step S707, the inspection / adjustment unit 155a adjusts the light emission intensity of the LEDs 151a to 151k for each LED lighting pattern in order to obtain an image suitable for the stereoscopic detection process, and emits light for stereoscopic detection. In addition to determining parameters related to control, the exposure time and white balance of the camera 152 are adjusted to determine parameters related to imaging for stereoscopic detection and stored in the storage unit 154.
  • the image suitable for the straight line detection process is that the object to be imaged by the camera 152 is evenly irradiated with light and has a predetermined luminance or more. Again, the above-described adjustment reference medium is used.
  • the inspection / adjustment unit 155a turns on all the LEDs 151a to 151k, analyzes an image captured by the camera 152, adjusts an appropriate exposure time of the camera 152, and stores the adjustment value as a parameter ( Step S701). Specifically, an image is picked up by the camera 152, the luminance of each pixel in a predetermined area is analyzed, and the mode value of the luminance is obtained. It is determined whether or not the mode value is within a predetermined range, and if not, the exposure time of the camera 152 is adjusted according to the deviation. By repeating this process, the exposure time of the camera is determined such that the mode of luminance falls within a predetermined range.
  • the inspection / adjustment unit 155a turns on all the LEDs 151a to 151k, analyzes the image captured by the camera 152 with the exposure time determined in step S701, and adjusts the appropriate white balance (WB) of the camera 152.
  • the adjustment value is stored as a parameter (step S702). Specifically, the process performed in step S701 is performed on the red component, the green component, and the blue component of each pixel of the captured image, and it is determined whether the luminance mode value is within a predetermined range. If it is determined that the white balance does not enter, the white balance setting of the camera 152 is adjusted according to the deviation. By repeating this process, the white balance of the camera 152 is determined so that the red component, the green component, and the blue component of the light have the same level.
  • the inspection / adjustment unit 155a turns on all the LEDs 151a to 151k, analyzes the image captured by the camera 152 with the exposure time determined in step S701 and the white balance determined in step S702, and stores the image in the imaging region. Regardless of this, the output values of the LEDs 151a to 151k are adjusted so that images with uniform luminance can be taken, and the adjustment values are stored as parameters (step S703). Specifically, the mode value of the luminance of the image captured for each region is obtained. It is determined whether or not the luminance mode is within a predetermined range. If it does not, the LEDs 151a to 151k corresponding to the region are determined according to the calculated luminance mode value. Adjust the output value. By repeating this process, the output values of the LEDs 151a to 151k are determined so that images with uniform brightness can be captured in all areas.
  • An image suitable for three-dimensional detection is that the luminance of images captured using two types of LED lighting patterns defined for each region is equal and has a predetermined contrast.
  • the inspection / adjustment unit 155a performs the processing of Steps S704 to S707 for each lighting pattern of the two types of LEDs 151a to 151k for each region, thereby outputting the output values of the LEDs 151a to 151k that are turned on for each lighting pattern and the camera 152. Determine the white balance.
  • the inspection / adjustment unit 155a turns on the LED of the lighting pattern corresponding to the evaluation target region, captures an image with the camera 152, analyzes the captured image, and the image in the region has a light amount within a predetermined range.
  • the emission intensity of the LED is adjusted so as to be obtained, and the adjustment value is stored as a parameter (step S704).
  • the captured image is analyzed to calculate a median value of luminance, and it is determined whether or not the median value is within a predetermined range. Adjust the output value of the corresponding LED. By repeating this process, the output value of the LED is determined such that the median luminance falls within a predetermined range.
  • the inspection / adjustment unit 155a turns on the LED to be evaluated with the output value adjusted in step S704, captures an image with the camera 152, analyzes the captured image, and obtains a predetermined contrast.
  • the light emission intensity of the LED is adjusted, and the adjustment value is stored as a parameter (step S705). Specifically, it is determined whether or not the maximum value and the minimum value of the luminance value of the captured image are within a predetermined range, and if not, the output of the corresponding LED is output according to the deviation. Adjust the value. By repeating this process, the output value of the LED that can capture an image having a predetermined contrast is determined.
  • the inspection / adjustment unit 155a turns on the LED to be evaluated with the output value adjusted in step S705, picks up an image with the camera 152, analyzes the picked-up image, and determines that the image in the region is a predetermined value. It is reconfirmed whether the light quantity in the range is obtained, and the final adjustment of the exposure time of the camera is performed (step S706). Finally, the inspection / adjustment unit 155a lights up the evaluation target LED with the output value adjusted in step S706, captures an image with the camera 152, and analyzes the captured image, thereby lighting the LEDs 151a to 151k. The appropriate white balance adjustment of the camera 152 with respect to the pattern is performed (step S707), and the process ends. As described above, by performing steps S704 to S707 for every lighting pattern of all LEDs in all areas, the output values of LEDs 151a to 151k corresponding to the lighting patterns of all LEDs in all areas and the camera 152 White balance can be determined.
  • the light emission current of the LED is controlled using a circuit (not shown), specifically, the output voltage of the DA converter is controlled. Accordingly, numerical values are used as parameter values.
  • Parameters related to imaging are numerical values in the shutter time control register of the camera control module as exposure time parameters, and numerical values in the red, blue, and green white balance control registers of the camera control module as white balance parameters. Is supposed to be written. Determination of these parameters and storage in the storage unit 154 are performed using the adjustment reference medium in the factory or at the time of initialization of the apparatus during maintenance, and banknotes are inserted into the deposit / withdrawal port 140 during deposit processing. Sometimes it is read from the storage unit 154 and used.
  • banknotes in a bundled state are received by the deposit / withdrawal port 140, images of the accepted banknotes in a bundled state are captured by the camera 152, and the ribs 142a, 142b, 142c, 142d of the captured images are captured.
  • a bound object added to a banknote bundled based on detection of a straight line appearing in a direction substantially parallel to the thickness direction of the banknote reflected in the captured image is targeted for the area excluding the area where the Since it is configured to detect, when a banknote is bundled by some bundled material including metal and / or a material other than metal, the bundled material is deposited into the depositing / dispensing port 140 of the banknote depositing / dispensing machine 100. Can be detected as a foreign object.
  • the banding determination process regarding the area between the two detected straight lines, if the area is banded, the area has a certain width, and the luminance change of the pixels in the area It has been explained that it is determined whether or not it is a bandage on the basis of the feature that the number of edge pixels in the thickness direction of the banknote bundle in the area is small. However, depending on the type of banknote and the state of the banknote, there is a possibility that an area that is not a bandage is erroneously detected as a bandage.
  • FIG. 16 is a diagram for explaining the outline of the banding determination process according to the second embodiment.
  • FIG. 16 (a) is an example of a banknote bundle having a white area at the left end of the banknote as shown by a dotted square.
  • the deposit / withdrawal port 140 shown in Example 2 has the light source part 151 similarly to Example 1, and as shown to Fig.16 (a), the light source part 151 has the lower surface of a banknote bundle at the back of drawing. It is installed to irradiate from the side.
  • the detailed positional relationship is shown in FIG.
  • FIG. 16A when a straight line is detected based on an image acquired from the y direction on a bundle of banknotes having a single color region such as a band-like white color at the edge of the banknote. Even when the bundling shown in FIG. 16A does not exist, there is a possibility that the band-shaped white region is erroneously detected as a bundling.
  • FIG. 16 (b) shows an example of an image obtained by capturing the banknote bundle shown in FIG. 16 (a) from the y direction shown in FIG. 16 (a). Moreover, as shown in FIG.16 (b), the light source part 151 irradiates light with respect to a banknote bundle from the direction of the arrow which shows the bottom face of a banknote bundle on drawing.
  • FIG.16 (c) is the figure which expanded the banding part shown with the dotted-line circle shown in FIG.16 (b). In the image of the banding, there is a shine that is higher in brightness than other banding regions near the corner of the banding near the light source due to the relationship between the light source 151 and the banding surface, as shown in FIG. It has the characteristics.
  • whether there is a shine pixel near the corner of the bandage or not can be determined, for example, by determining whether the shine pixel is present near the end point of the detected straight line. When satisfying such a feature, it is determined that the band seal is attached to the banknote bundle. In the second embodiment, if the banding is in this way, there is a feature that shine appears in the corner peripheral part close to the light source. Therefore, a condition that there is a shining pixel due to the banding in an area close to the detected straight line is added. Thus, the determination of the banding is tightened.
  • FIG. 16D is a diagram showing the positional relationship between the example of the image of the banknote bundle viewed from the x direction of the banknote bundle shown in FIG. 16A and the light source unit 151.
  • FIG. 16 (d) there may be a case where a delicate curl in the same direction due to the cutting of the banknote remains at the end of the banknote.
  • the light source 151 is positioned on the convex side of the curl, as shown in FIG. 16D, the curl direction and the light source 151 have a positional relationship between the white area and the pattern area on the banknote edge. May be detected as a straight line, or shine may be detected in the white area.
  • FIG.16 (e) is an example in case there are many banknotes mounted in the deposit or withdrawal port 140, Comprising: The example of the image of the banknote bundle seen from the x direction of the banknote bundle shown to Fig.16 (a) It is the figure which showed the positional relationship with the light source part 151.
  • FIG. 16 (e) when the number of banknotes is large, the amount of light for the area indicated by the arrow in FIG. 16 (e) is insufficient due to the positional relationship between the light source 151 and the banknote bundle with respect to the banknote bundle. Even if there is a bandage, there is a case where no shine occurs.
  • Example 2 in a banknote having a band-like white region in the short direction of the banknote as shown in FIG. 16A, the shine is detected at a portion that is not a band seal as shown in FIG. 16D.
  • the characteristics related to the shine caused by the bundling shown in FIG. 16C by appropriately dealing with the case and the case that cannot be detected as a shine even if it is a bundling as shown in FIG. , Make a stricter determination of the banding.
  • FIG. 16 (d) a specific method for avoiding the detection of the shine on the portion that is not a bundling, and a specific method for detecting the batter's shine on the case as shown in FIG. It will be described later.
  • FIG. 17 is a diagram for explaining a coping method when the state shown in FIG. 16E is reached when the number of banknotes placed in the deposit / withdrawal port 140 is large.
  • FIGS. 17A to 17E are views showing a cross section of the deposit / withdrawal port 140 by a plane perpendicular to the apparatus bottom surface and the apparatus back surface of the bill depositing / dispensing machine 100.
  • FIG. FIG. 17A shows a state in which a banknote bundle is placed on the deposit / withdrawal port 140 and the shutter 141 is closed. Since the deposit / withdrawal port 140 is inclined forward, the banknote bundle seems to contact the guide portion 145 on the near side of the deposit / withdrawal port 140 with respect to the operator and the rib 142 in contact with the surface in the thickness direction of the banknote bundle. Placed on.
  • a feeding portion 144 is provided on the front side as viewed from the operator of the deposit / withdrawal port 140, and after confirming that foreign matters such as rubber bands and band seals are not included, the bills deposited into the deposit / withdrawal port 140 are stored. One sheet is fed out to the transport unit 160.
  • FIG. 17B is a diagram showing a state where the banknote holder 143 moves in the direction indicated by the arrow and presses it toward the guide portion 145 side with respect to the banknote bundle placed in the deposit / withdrawal port 140.
  • the light source unit 151 irradiates light on the lower surface of the banknote bundle
  • the camera 152 acquires an image of the lower surface of the banknote bundle.
  • a link mechanism and a motor (not shown) are used for driving the bill presser 143.
  • FIG. 17C After it is determined that there is no foreign object based on the image of the banknote bundle imaged in FIG. 17B, the guide unit 145 and the banknote holder 143 move together in the direction indicated by the arrow.
  • FIG. 6 is a diagram illustrating a state in which a banknote is moved to a position where the banknote can be fed to the transport unit 160 by the feeding unit 144.
  • the banknote on the lower left side in FIG. 17C is kicked downward one by one by the kicker roller 144a, and the kicked banknote is fed out one by one to the transport unit 160 by the feed roller 144b and the opposing roller 144c. become.
  • FIG. 17D is a diagram illustrating an example in which the number of banknote bundles inserted into the deposit / withdrawal port 140 is large.
  • the image of the lower surface of the banknote bundle is acquired in the state shown in FIG. 17D
  • the image of the portion close to the corner of the banknote bundle indicated by the arrow is a dark image depending on the positional relationship between the light source unit 151 and the camera 152.
  • the shine that is the feature of the band seal cannot be detected.
  • FIG. 17D When the positional relationship between the banknote bundle, the light source unit 151, and the camera 152 is as shown in FIG. 17D, a straight line that is a candidate for banding is indicated by an arrow in FIG.
  • the guide portion 145 and the bill presser 143 are integrally moved in the direction indicated by the arrow as shown in FIG. 17 (e). Then, the positional relationship between the corners of the banknote bundle indicated by the arrows, the light source unit 151 and the camera 152 is changed, the image of the lower surface of the banknote bundle is acquired again, and the presence / absence of the bandage is determined based on the acquired image. .
  • the image acquired in this way even if the number of inserted banknotes is large, if there is a bundling, it is possible to detect the shining in the bundling region, and to determine the bundling based on the shining detection. It can be carried out.
  • FIG. 18A is an example of an image of a part corresponding to a band seal among the images of banknote bundles captured by the camera 152.
  • straight lines corresponding to the edge of the banding are detected at two places in the x-axis direction, and the y-axis on the side closer to the light source in the region sandwiched between the two straight lines. This is an example in which shine appears parallel to the x-axis near the end in the negative direction.
  • FIG. 18B is a diagram for explaining a method of specifying a shine pixel for each linear pixel row.
  • Y0, Y1, Y2, and Y3 indicate pixels included in the linear pixel row, and there are d1 pixels between the Y0 and Y1 pixels, and between the Y1 and Y2 pixels. Indicates that there are d2 pixels, and that there are d3 pixels between Y2 and Y3 pixels.
  • the determination condition is, for example, that the luminance value of the Y3 pixel is higher than a predetermined threshold, the Y2 luminance value is higher than Y3, the Y1 luminance value is higher than Y2, the Y0 luminance value is lower than Y1, and the difference between the Y3 and Y1 luminance values.
  • Y1 is determined as a shine pixel.
  • the shine pixels included in the linear pixel array parallel to the y-axis included in the region that is a candidate for banding are identified, and all the pixels parallel to the y-axis included in the region that is a candidate for banding are identified.
  • region which does not search for the shining pixel used for a band seal determination is shown in figure. 19 will be used for explanation.
  • the banknote edge is curled as shown in FIG. 16D, and the curled convex surface faces the light source 151.
  • the shine is detected at a position corresponding to the white area at the edge of the bill even when the band seal is not present.
  • the shining pixel is not detected or the shining pixel is detected.
  • a method for determining a mask range that is not used as invalid for the bandage determination will be described.
  • a bill having a white area as shown by a dotted square in FIG. 16 (a) When a bill having a white area as shown by a dotted square in FIG. 16 (a) is included in the bill end, it corresponds to the maximum width of the white region from the bill end considering all the types of bills to be considered.
  • the maximum number of mask pixels which is the number of pixels to be processed, can be stored in advance as known information.
  • FIG. 19A is a diagram for explaining a method of determining a mask range when a straight line is detected within the range of the maximum number of mask pixels from the bill edge.
  • the shine pixels in the area sandwiched between the detected straight line and the bill edge are specified.
  • the ratio of the shining pixels in the evaluation area surrounded by the detected straight line, the bill edge, and the predetermined range on the y-axis, which is indicated by a dotted square in FIG. 19A is calculated.
  • the ratio of the shine pixels calculated in this way is equal to or greater than a predetermined ratio, it is assumed that the identified shine is caused by the white area at the edge of the banknote, and the area between the detected straight line and the banknote edge is determined.
  • the shining pixels in the range are excluded from the shining pixels used for the banding determination.
  • FIG. 19B is a diagram for explaining the mask range when two straight lines are detected within the range of the maximum number of mask pixels from the bill edge.
  • the detected shine pixel is excluded from the shine pixels used for the band seal determination with the area between the straight line 1 detected at a position close to the bill edge and the bill edge as a mask range.
  • the shining pixels in the range between the straight line 1 and the straight line 2 are used for the banding determination. It will be used as a shining pixel to be used, and even if the bundling is present in the white region, the bundling using the shining can be determined.
  • FIG. 19C two straight lines are detected within the range of the maximum number of mask pixels from the bill edge, and the straight line 1 detected at a position close to the bill edge is effective only for a partial range in the thickness direction of the bill bundle. It is a figure for demonstrating the mask range in the case of having been determined.
  • the y-coordinate range determined to be valid as a straight line is detected from the bill edge.
  • the range of the straight line 1 is set as a mask range.
  • the detection accuracy of the straight line detected due to the bundling is high, the possibility that a part of the straight line cannot be detected although it is a bundling is extremely low.
  • the range of the y-coordinate determined to be not valid as a straight line is the mask range from the banknote edge to the x-coordinate corresponding to the straight line 1, the shine pixels in the range between the straight line 1 and the straight line 2 are found. It becomes effective, and the portion sandwiched between the straight line 1 and the straight line 2 is erroneously determined as a bandage.
  • the area up to the straight line 2 detected at a position far from the bill edge is taken as the mask range.
  • the internal configuration of the deposit / withdrawal port placement state detection unit 350 of the banknote depositing / dispensing machine 100 according to the second embodiment will be described.
  • the internal configuration of the deposit / withdrawal port placement state detection unit 350 of the banknote depositing / dispensing machine 100 according to the second embodiment is compared with the deposit / withdrawal port placement state detection unit 150 according to the first embodiment illustrated in FIG.
  • the description will be made with reference to FIG. 5 by replacing the one edge detection unit 155e with the edge detection unit 355e and the band-like object determination unit 155g of the first embodiment with the band seal determination unit 355g.
  • edge detection unit 355e and the band seal determination unit 355g which are different from the deposit / withdrawal port mounting state detection unit 150 of the first embodiment, are different from the edge detection unit 155e and the belt-shaped object determination unit 155g of the first embodiment.
  • edge detection unit 355e and the band seal determination unit 355g which are different from the deposit / withdrawal port mounting state detection unit 150 of the first embodiment, are different from the edge detection unit 155e and the belt-shaped object determination unit 155g of the first embodiment.
  • the edge detection unit 355e has the same straight line detection method as that in the first embodiment.
  • the difference from the first embodiment is when there are more banknotes than a predetermined number as shown in FIG.
  • the area close to the side indicated by the arrow in FIG. 17 (d) is around the optical axis of the attached light source, so that sufficient illuminance cannot be obtained and straight line detection is possible, but the accuracy of the bandage determination is insufficient. It becomes.
  • the bill bundle is moved to the kicker roller 144a side by moving the guide portion 145 and the bill presser 143 integrally in the direction indicated by the arrow as shown in FIG. Move.
  • straight line detection is performed again. It is determined that the number of banknotes is greater than a predetermined number by counting the number of pixels in the thickness direction of the banknote bundle based on the acquired image and determining that the number of pixels is equal to or greater than a predetermined threshold.
  • the band seal determination unit 355g detects a shine pixel in a predetermined range of a region sandwiched between the detected straight lines, and the ratio of the shine pixel to all the pixels in the predetermined range is equal to or greater than a predetermined threshold value.
  • the area between the two detected straight lines is determined to be a bandage.
  • the shine pixel is not detected for the mask range described in FIG. Shall.
  • FIG. 20 is a flowchart illustrating an entire processing procedure of foreign object detection processing by the deposit / withdrawal port mounting state detection unit 350 according to the second embodiment.
  • the straight line detection method itself is the same as that of the first embodiment, the description of the portion described in the first embodiment is omitted by showing the correspondence with the processing described in the first embodiment. The description will focus on the differences from the first embodiment.
  • the imaging process (step S801) to the continuity evaluation process (step S804) correspond to steps S201 to S209 shown in FIG. That is, in the image capturing process (step S801), the image acquisition unit 155b captures a target image with high resolution by the camera 152, and acquires this image.
  • the straight line detection series process step S802
  • a region to be placed is extracted from the acquired high-resolution image data, and the extracted image is converted into a gray multi-tone image.
  • high-resolution images are not used to detect straight lines, high-resolution image data is captured, and straight-line detection processing is performed using the high-resolution images.
  • Step S803 If a straight line is detected (step S803; Yes), the validity of the straight line is evaluated (step S804). If no straight line is detected (step S803; No), it is determined that no foreign object has been detected, and the process ends.
  • the banknote bundle is 200 or more, and it is determined to be effective in the evaluation of the continuity of the straight line in step S804 in the area near the light source 151 of the banknote bundle image.
  • the edge detection unit 355e moves the guide unit 145 and the bill presser 143 integrally in the direction of the feeding unit 144 as shown in FIG. (Step S806), the process returns to Step S801.
  • step S804 even if it is determined that the banknote bundle is less than 200 sheets or the banknote bundle is determined to be 200 sheets or more, there is no straight line determined to be valid in step S804 on the side close to the light source 151 of the banknote bundle image.
  • step S805; No when there is no straight line determined to be valid in the evaluation of the continuity of the straight line in step S804 (step S807; No), the processing is terminated assuming that no foreign matter is detected.
  • the banding determination unit 355g determines the maximum number of mask pixels, the detected straight line, and the validity of the straight line. Based on the range, a mask range in which no shining pixel detection is performed is determined (step S808). The details of the mask area determination process are as described in FIG. Further, the band seal determination unit 355g specifies a shine pixel for a region excluding the mask range determined in step S808 from the captured image (step S809).
  • the bundling determination unit 355g determines the presence or absence of bundling based on the information on the straight line determined to be valid in the evaluation of the continuity of the straight line in step S804 and the shine pixel specified in step S809 (step S810). . Specifically, a shine pixel is detected in a predetermined range of a region sandwiched between two detected straight lines, and a ratio of the shine pixel to all pixels in the predetermined range is equal to or greater than a predetermined threshold value, It is determined that the region sandwiched between the two detected straight lines is a bandage.
  • step S811 in step S811 corresponds to step S212 in FIG.
  • the second embodiment in addition to the configuration of the first embodiment, regarding the determination of the banding, based on the predetermined range from the banknote edge in the longitudinal direction of the captured image and the detected straight line, A mask range to be excluded from the detection target is specified, a shine pixel is detected in an area other than the mask range, and the ratio of the shine pixels in a predetermined range of the area between the two detected straight lines is determined. Since the area between the two is determined to be a bandage, the detection of the bandage can be tightened.
  • the determination of the presence or absence of a bundle characterized by a three-dimensional shape such as a rubber band is performed from a different direction with respect to the determination target region for the presence or absence of a three-dimensional shape as described in FIG.
  • the evaluation is performed by evaluating the difference between two images acquired by irradiating light. This is based on the fact that, when light is irradiated from different directions, an area with a large luminance difference can be formed if a three-dimensional shape exists.
  • the acquired image may become shining, and the difference between the two images acquired by the shining will be large, and it is not actually a three-dimensional object.
  • FIG. 21 is a block diagram illustrating an internal configuration of the deposit / withdrawal port placement state detection unit 350 of the banknote depositing / dispensing machine 100 according to the third embodiment.
  • the same components as those of the deposit / withdrawal port placement state detection unit 150 illustrated in FIG. 5 are denoted by the same reference numerals, and the same components as those of the deposit / withdrawal port placement state detection unit 150 according to the first embodiment are described. Will be omitted and the components different from the deposit / withdrawal port placement state detection unit 150 will be mainly described.
  • the only difference between the third embodiment and the first embodiment is the three-dimensional object presence / absence determination unit 355h.
  • the three-dimensional object presence / absence determination unit 355h according to the third embodiment is performed until two images acquired by irradiating light from different directions are used with respect to the determination target region for the presence / absence of a three-dimensional object.
  • Example 1 in Example 3, a region determined to be a shadow is specified from each image, and the presence of a three-dimensional object is determined when the position of each shadow is different. Detailed processing contents will be described later.
  • FIG. 22 is a diagram illustrating an overview of the solid shape object presence / absence determination processing according to the third embodiment.
  • FIG. 22A shows an example of an image captured by the camera 152 by irradiating light in the right direction from the light source located on the left side with respect to the bottom surface of the banknote bundle bundled with the rubber band shown in FIG. ing.
  • FIG. 22B shows an example of an image captured by the camera 152 by irradiating light from a light source located on the right side with respect to the bottom surface of the banknote bundle bundled with rubber bands.
  • FIG. 22 (b) since the light is irradiated leftward from the light source located on the right side with respect to the bottom surface of the banknote bundle, a shadow appears on the left side of the position of the rubber band.
  • an area determined to be a shadow is identified from the image in FIG. Specifically, the image data shown in FIG. 22A is searched in the x-axis direction, and an area where the luminance is lower than before and after is determined as a shadow. Similarly, an area determined to be a shadow is identified from the image of FIG. FIG. 22 (c) shows the shadow region (c1) specified from FIG. 22 (a) obtained in this way and the shadow region (c2) specified from FIG. 22 (b). Is.
  • the shadow area (c1) specified from FIG. 22 (a) and the shadow area (c2) specified from FIG. 22 (b) Based on the shadow area (c1) specified from FIG. 22 (a) and the shadow area (c2) specified from FIG. 22 (b), the number of pixels in the area including the two areas and two When the number of pixels in the area common to the areas is counted and the ratio of the number of pixels in the area common to the two areas to the number of pixels in the area including the two areas is equal to or less than a predetermined threshold, the shadow is different. Since it is in position, it is determined that there is a three-dimensional shape.
  • the shadow region (c1) specified from FIG. 22 (a) appears to the right of the position of the rubber band, and the shadow region (c2) specified from FIG. 22 (b).
  • the shadow region (c1) specified from FIG. 22 (a) appears to the right of the position of the rubber band
  • the shadow region (c2) specified from FIG. 22 (b) Is an example in which there is no pixel in the region common to the two regions because it appears to the left of the position of the rubber band. In such a case, it is determined that a three-dimensional shape exists. .
  • FIG. 23 is a flowchart for explaining the processing procedure of the solid shape object presence / absence determination processing according to the third embodiment.
  • the three-dimensional object presence / absence determination process is the same as that in the first embodiment up to the use of two images obtained by irradiating light from different directions, and thus, until step S506 shown in FIG. 23 are the same, FIG. 23 describes the processing procedure of the processing following step S506 shown in FIG.
  • the three-dimensionally shaped object presence / absence determining unit 355h specifies a shadow area of the first image based on the first image acquired in step S503 (step S901). Specifically, the first image is searched for in the direction perpendicular to the thickness direction of the banknote bundle, and an area where the luminance is lower than before and after is determined as a shadow. Similarly, the three-dimensional object presence / absence determination unit 355h specifies the shadow area of the second image based on the second image acquired in step S504 (step S902).
  • the three-dimensionally shaped object presence / absence determining unit 355h counts the number of pixels in the area common to the shadow area of the first image and the shadow area of the second image specified in Step S901 and Step 902 (Step S903). Further, the three-dimensional object presence / absence determination unit 355h counts the number of pixels in the area obtained by combining the shadow area of the first image and the shadow area of the second image specified in Steps S901 and 902 (Step S904). .
  • the three-dimensional object presence / absence determination unit 355h determines the number of pixels of the first image counted in step S904, which is the number of pixels in the area common to the shadow area of the first image and the shadow area of the second image counted in step S903.
  • a ratio of the area and the shadow area of the second image to the number of pixels of the area is calculated (step S905), and it is determined whether or not a three-dimensional shape object exists based on the ratio (step S905).
  • step S906 the process is terminated. Specifically, when the ratio calculated in step S905 is equal to or smaller than a predetermined threshold, it is determined that there is a three-dimensional shape, and when the ratio calculated in step S905 exceeds the predetermined threshold. Determines that there is no three-dimensional shape.
  • shadow areas are specified from two images acquired by irradiating light from different directions, Since it is configured to determine the presence or absence of a three-dimensional shaped object depending on the degree of overlap of the shadow area, the banknote is deposited and withdrawn in a state where the banknote is bound by some bound object including a metal and / or a material other than metal.
  • the bundled object can be detected as a foreign object, and the possibility of erroneous detection due to the influence of the shine when bound with a three-dimensional object is reduced. Can be made.
  • FIG. 24 (a) shows a camera image in a case where visual confirmation can be made on the detection end face in a state where one of the banknotes in the banknote bundle is broken.
  • the presence or absence of the three-dimensional object described in FIG. 23 when a straight line having a length within a predetermined range is detected as a result of detecting a straight line in the processing of steps S201 to 208 in the flowchart of FIG. Perform the judgment process. And it determines with it being a rubber band, a banknote fold, a banknote sink, a bellows-like banknote, etc., for example.
  • the banknote handling apparatus detects an abnormality in the state of the bundled banknotes, the banknote handling apparatus performs a process for prompting the user to confirm the deposited banknote bundle.
  • the banknote breakage in FIG. 24A the detected line segment is displayed as a solid line in FIG. 24B, and the shadow appears in the horizontal direction.
  • FIG. 25 (a) shows a camera image when a bundle of a plurality of types of denominations with different bill lengths is placed on one side. This is a case in which banknotes having different bill lengths for each denomination are collected for a plurality of denominations and collected together in one depositing / dispensing port 140 in a state of being brought together. Since the way the banknotes look is different depending on the illumination conditions, there is a problem that a straight line portion is detected and erroneously detected as a foreign object as shown in FIG.
  • FIG. 25 (b) is a left irradiation image when light is irradiated from left to right, FIG.
  • FIG. 25 (c) is a right irradiation image when light is irradiated from right to left, and It is an image for demonstrating a straight line detection state.
  • a difference image obtained by taking the difference between the two images is shown in FIG.
  • FIG. 26 (a) shows a camera image in the case where one of the front and back surfaces of the banknote bundle is inclined and partially covers the lower end face of the banknote bundle.
  • a straight line of the banknote pattern as shown in FIG. 26B is detected. Since there are irregularities in the entrainment part, the presence of a shadow is recognized. Then, when the three-dimensional object presence / absence determination process described with reference to FIG. 23 is performed, the shadow position and the straight line position exist correspondingly, and it is determined that the object is a three-dimensional object. Also in this case, the banknote processing apparatus performs processing for prompting the user to confirm the deposited banknote bundle.
  • FIG. 27 (a) is a diagram showing the shape of the bundled banknote when the bundled banknote is placed in the deposit / withdrawal port 140 and is placed almost horizontally while being bent.
  • the surface with the symbol of the banknote is imaged by the camera 152, so that a straight line portion in the symbol is detected as shown in FIG. 27 (c).
  • the rib image in FIG. 27D which is the left irradiation image
  • FIG. 27E which is the right irradiation image
  • the rib shadows 401 and 402 are generated at different positions.
  • the straight line of 100 character portions is detected as having three-dimensionality It will be.
  • the straight line may not be detected and the three-dimensionality may not be detected.
  • the banknote handling apparatus performs a process for prompting the user to confirm the deposited banknote bundle.
  • FIG. 28 (a) shows a camera image in the case where the banknote placed on the deposit / withdrawal port 140 has a accordion-like crease.
  • a plurality of straight line portions are detected as shown in FIG.
  • the banknote bundle is uneven, the presence of a shadow corresponding to each straight line is detected. Therefore, since it can be detected that a plurality of three-dimensional objects are present in the banknote bundle, it is determined to be a bellows banknote. Thus, when it recognizes that it is a bellows banknote, it is good also as performing a money_receiving
  • the rubber band is narrow with a straight line and shadows on the left and right.
  • the banknote folds have a short straight line and the shadow is horizontally long.
  • the bellows has many straight lines that are determined to be three-dimensional. With these features, it is possible to determine the banknote placement state.
  • the light source unit 151 and the camera 152 are arranged below the deposit / withdrawal port 140, and the bills deposited into the deposit / withdrawal port 140 are imaged from below.
  • the present invention is not limited to this, and the light source unit 151 and the camera 152 are attached to the upper part of the deposit / withdrawal port 140, and a mirror is disposed on the back surface of the shutter 141 to capture the banknote reflected on the mirror surface. It is good also as what acquires the image from the top of a banknote by doing.
  • a light source 151 and a camera 152 are arranged beside the deposit / withdrawal port 140 to acquire an image captured from the short direction of the deposited banknote. It is good also as what to do.
  • a bundled object that binds the banknote bundle is detected as a foreign object for a banknote in a bundled state, but the present invention is not limited to this. Absent. For example, a bundle of valuable documents such as checks and gift certificates, and a piece of paper having a uniform size may be targeted, and a binding object that binds them may be detected as a foreign object.
  • a captured image is converted into a gray image, and a straight line detection process, a continuity evaluation process, a strip-shaped object determination process, and a three-dimensional object presence / absence determination process are performed using the gray image.
  • the present invention is not limited to this.
  • a saturation image or a brightness image of the captured image is created, and a straight line detection process, a continuity evaluation process, a strip object determination process, and a three-dimensional object presence / absence determination process are performed using the saturation image or the brightness image. It may be done.
  • an RGB image or a combination image thereof may be used.
  • the base image and band of the banknote in the captured image are about the same brightness, the gray image, lightness image, and saturation image will not have an edge, but if the two colors are different, the color image It is convenient to use Specifically, in the R image, the G image, and the B image, the above-described straight line detection process, continuity evaluation process, strip-shaped object determination process, and three-dimensional object presence / absence determination process are performed. Alternatively, when an abnormality in the placement state is detected, the result is set as a final determination result.
  • the captured ribs 142a, 142b, 142c, and 142d including the portion where the ribs 142a, 142d are reflected are set as the regions that are not mounted state detection targets, thereby reflecting the captured ribs 142a.
  • 142b, 142c, 142d are not erroneously detected as foreign matter added to the banknote, but the present invention is not limited to this.
  • the material of the ribs 142a, 142b, 142c, and 142d is made of a material that transmits light
  • the reflection of the ribs 142a, 142b, 142c, and 142d does not occur, and the creation of the region that is not subject to foreign object detection is performed.
  • the exclusion process for the reflection of the ribs 142a, 142b, 142c, and 142d may not be performed.
  • each configuration illustrated in the above-described first to fourth embodiments is functionally schematic and does not necessarily need to be physically configured as illustrated. That is, the form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed / integrated in an arbitrary unit according to various loads or usage conditions. Can be configured.
  • the loaded state detection apparatus and the loaded state detection method for bundled paper sheets according to the present invention are in a state in which banknotes are bound by some bound object including metal and / or material other than metal. It is suitable for detecting the bundled object as a foreign object when it is deposited into the banknote depositing / dispensing port of the banknote depositing / dispensing machine, and can detect the trimming status of the banknote bundle deposited at the banknote depositing / dispensing port. In addition, since it is possible to prompt the user to confirm and reload the deposited banknote bundle, the operational efficiency of the banknote handling apparatus can be increased.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controlling Sheets Or Webs (AREA)

Abstract

束状態の紙葉類を入出金口(140)で受け付け、受け付けた束状態の紙葉類の画像をカメラ(152)で撮像し、撮像した画像のリブ(142a、142b、142c、142d)が写り込んだ領域を除いた領域を対象として、撮像した画像において写っている紙葉類の厚み方向に対して略平行な方向に現れる直線を検出するとともに、立体物であるかの検出を行い、束状紙葉類に異物有り、1 枚の紙葉類の折れ込み有り等の載置状態を検知する。

Description

束状紙葉類の載置状態検出装置及び載置状態検出方法
 この発明は、紙幣、小切手、商品券、金券等の紙葉類を処理する紙葉類処理装置の受付部に帯封及び輪ゴムなどで結束された状態で紙葉束が載置された場合の帯封及び輪ゴムなどの異物或いは束状紙葉類の一部の紙葉が束からずれたり一部が折れたりしている束状紙葉類の載置状態を検知する束状紙葉類の載置状態検出装置及び載置状態検出方法に関する。
 従来、紙幣入出金装置の紙幣入出金口に紙幣以外の異物が混入された場合に、混入された異物を検知する技術が知られている。例えば、特許文献1には、紙幣投入口の下部に設けた異物受けの画像を撮像して、異物受けの画像と異物のない状態の画像とを比較して違いがあったときに異物の混入を検知し、撮像した異物の画像を表示して返却の要否を利用者に確認するという技術が開示されている。
 ところが、紙幣入出金口に入れた異物が紙幣入出金口の下部の異物受けに落ちてこない場合には、異物の検知を行うことができない。例えば、札束がマネークリップで結束された状態で紙幣入出金口に投入された場合には、マネークリップは異物受けには落下しないことから特許文献1で開示している技術では検知することができない。
 このように、マネークリップで結束された札束が紙幣入出金口に投入された場合に異物を検知することのできる技術も知られている。例えば特許文献2には、磁気センサを紙葉類繰出装置の紙葉類受入口に設けて、この磁気センサの磁気レベルの変化に基づいて金属異物を検知する技術が開示されている。
特開2007-34936号公報 実開平2-149649号公報
 しかしながら、金属ではない輪ゴムや帯封などで結束された紙幣束が紙幣入出金口に載置された場合には、紙幣入出金口の下部の異物受けに落下しないだけではなく、輪ゴム及び帯封は金属ではないことから磁気センサによって検知されることもない。そのため、輪ゴムや帯封で結束された状態の札束が紙幣入出金口に載置されると、紙幣入出金装置は載置された紙幣の真贋判定及び計数を行うために繰り出し処理を開始するが、結束されている状態のため正常に繰り出しを行うことができない。また、紙幣入出金装置は、結束されていることが認識できないので、繰り出しがエラーとなった原因を利用者に伝えることはできない。また、結束されている状態の紙幣を無理に繰り出そうとすることによって、紙幣に損傷を与えてしまうこともある。また、紙幣束中の1枚の紙幣の端面が折れ曲がっている状態、紙幣束中の1枚の紙幣の一部が束から逸脱して束端面を巻き込む状態、或いは紙幣入出金口にて幾枚かの紙幣が倒れて紙幣の模様面が下向きになった状態となり繰り出しができない場合が生じることがある。
 このため、ATM(Automated Teller Machine)など紙幣入出金装置において、金属ではない輪ゴムや帯封などで結束された紙幣束が紙幣入出金口に入金された場合に、輪ゴムや帯封などの結束している物を異物有り状態として、また、紙幣束の紙幣が不揃いである等の載置状態を検知することが重要な課題となっている。
 本発明は、上述した従来技術の課題を解決するためのものであって、金属及び/又は金属以外の素材の物を含むなんらかの結束物によって紙葉類が結束された状態で紙葉類処理装置の受付部に載置されたときに、結束物が付着しているとして、また、束状紙葉類が正規に置かれていない等の載置状態を検知することのできる束状紙葉類の載置状態検出装置及び載置状態検出方法を提供することを目的とする。
 上述した課題を解決し、目的を達成するため、本発明は、束状態の紙葉類を受け付けて1枚ずつ繰り出した紙葉類を処理する紙葉類処理装置の紙葉類受付部に載置された束状態の紙葉類に付着した異物或いは該束状態の紙葉類の載置状態を検出する束状紙葉類の載置状態検出装置であって、前記紙葉類受付部に前記束状態の紙葉類を受け付ける紙葉類受付手段と、前記束状態の紙葉類のいずれかの面、もしくは前記束状態の紙葉類の重なりにより形成される面を対象に光を照射する複数の光源と、前記複数の光源により照射された前記束状態の紙葉類の重なりにより形成される対象面を撮像する撮像手段と、前記複数の光源を同時に発光制御することにより前記対象面に対して均一に光を照射する第1の照射制御手段と、前記第1の照射制御手段により均一に光が照射された前記対象面を前記撮像手段により撮像した撮像画像から前記対象面に存在する直線を検出する直線検出手段と、前記対象面のうち、前記直線検出手段により検出された直線を含む領域を対象領域とし、前記複数の光源を個別に発光制御することで、前記対象領域に対する光の照射態様が異なる第1の照射状態と第2の照射状態とでそれぞれ照射を行う第2の照射制御手段と、前記第1の照射状態と前記第2の照射状態とで前記撮像手段により撮像された前記対象領域のそれぞれの画像の差異の有無に基づいて前記対象領域に所在する立体物の有無を判定する立体物有無判定手段と、前記直線検出手段により直線が検出された場合に、前記直線検出手段の検出結果及び前記立体物有無判定手段によって判定された結果に基づいて、前記束状態の紙葉類を結束する結束物の有無或いは、前記束状態の紙葉類の載置状態の良否を検知する検知手段とを備えたことを特徴とする。
 また、本発明は、上記発明において、前記紙葉類受付部に載置された束状態の紙葉類と前記複数の光源との間に不透明な部材をさらに備え、前記複数の光源は、前記部材に対して対称となる位置に配設されたことを特徴とする。
 また、本発明は、上記発明において、前記第2の照射制御手段は、前記直線検出手段により検出された直線と前記部材との位置関係に応じて前記第1の照射状態及び前記第2の照射状態の光源点灯制御を行うことを特徴とする。
 また、本発明は、上記発明において、前記第1の照射制御手段による発光制御下で前記撮像手段により撮像された基準媒体の撮像結果から、撮像範囲内における輝度値の分布を評価し、該評価結果に基づいて前記第1の照射制御手段による前記複数の光源に対する発光制御に係るパラメータ並びに前記撮像手段による前記対象面の撮像に係るパラメータを予め設定する第1のパラメータ設定手段と、前記第2の照射制御手段による発光制御下で前記撮像手段により撮像された基準媒体の撮像結果から、撮像範囲内における輝度値の分布を評価し、該評価結果に基づいて前記第2の照射制御手段による前記複数の光源に対する発光制御に係るパラメータ並びに前記撮像手段による前記対象面の撮像に係るパラメータを予め設定する第2のパラメータ設定手段とをさらに備え、前記直線検出手段は、前記第1のパラメータ設定手段により設定されたパラメータを用いて撮像した紙葉類の撮像結果から前記対象面に存在する直線を検出し、前記立体物有無判定手段は、前記第2のパラメータ設定手段により設定されたパラメータを用いて撮像した前記紙葉類の撮像結果から前記対象領域に所在する立体物の有無を判定することを特徴とする。
 また、本発明は、束状態の紙葉類を受け付けて1枚ずつ繰り出した紙葉類を処理する紙葉類処理装置の紙葉類受付部に載置された束状態の紙葉類に付着した異物或いは該束状態の紙葉類の載置状態を検出する束状紙葉類の載置状態検出方法であって、前記紙葉類受付部に前記束状態の紙葉類を受け付ける紙葉類受付ステップと、前記束状態の紙葉類のいずれかの面、もしくは前記束状態の紙葉類の重なりにより形成される面を対象に光を照射する複数の光源を同時に発光制御することにより対象面に対して均一に光を照射する第1の照射制御ステップと、前記第1の照射制御ステップにより均一に光が照射された対象面を撮像した撮像画像から前記対象面に存在する直線を検出する直線検出ステップと、前記対象面のうち、前記直線検出ステップにより検出された直線を含む領域を対象領域とし、前記複数の光源を個別に発光制御することで、前記対象領域に対する光の照射態様が異なる第1の照射状態と第2の照射状態とでそれぞれ照射を行う第2の照射制御ステップと、前記第1の照射状態と前記第2の照射状態とで撮像された前記対象領域のそれぞれの画像の差異に基づいて前記対象領域に所在する立体物の有無を判定する立体物有無判定ステップとを含み、前記直線検出ステップにおいて直線が検出された場合に、前記直線検出ステップでの検出結果及び前記立体物有無判定ステップによる判定結果に基づいて、前記束状紙葉類を結束する結束物の有無或いは、前記束状態の紙葉類の載置状態の良否を検知する検知ステップとを含んだことを特徴とする。
 また、本発明は、束状態の紙葉類を受け付けて1枚ずつ繰り出した紙葉類を処理する紙葉類処理装置の紙葉類受付部に載置された束状態の紙葉類に付着した異物或いは該束状態の紙葉類の載置状態を検出する束状紙葉類の載置状態検出方法であって、前記紙葉類受付部に前記束状態の紙葉類を受け付ける紙葉類受付ステップと、前記束状態の紙葉類のいずれかの面、もしくは前記束状態の紙葉類の重なりにより形成される面を対象に光を照射する複数の光源を同時に発光制御することにより対象面に対して均一に光を照射して撮像する第1の撮像ステップと、前記第1の撮像ステップにより均一に光が照射された対象面を撮像した撮像結果から前記対象面に存在する直線を検出する直線検出ステップと、前記対象面のうち、前記直線検出ステップにより検出された直線を含む領域を対象領域とし、前記複数の光源を個別に発光制御することで、前記対象領域に対する光の照射態様が異なる第1の照射状態と第2の照射状態とでそれぞれ照射を行って撮像する第2の撮像ステップと、前記第1の照射状態と前記第2の照射状態とで撮像された前記対象領域のそれぞれの撮像画像の影の部分の位置がずれていることに基づいて前記対象領域に所在する立体物の有無を判定する立体物有無判定ステップと、前記立体物有無判定ステップによる判定結果に基づいて、前記束状態の紙葉類を結束する結束物の有無或いは、前記束状態の紙葉類の載置状態の良否を検知する検知ステップとを含んだことを特徴とする。
 また、本発明は、束状態の紙葉類を受け付けて1枚ずつ繰り出した紙葉類を処理する紙葉類処理装置の紙葉類受付部に載置された束状態の紙葉類に付着した異物を検出する載置状態検出装置であって、前記紙葉類受付部に前記束状態の紙葉類を受け付ける紙葉類受付手段と、束の厚さが確認できる方向から束状態の前記紙葉類の画像を撮像する画像撮像手段と、前記画像撮像手段によって撮像した画像から異物の検知対象の領域を特定する対象領域特定手段と、前記対象領域特定手段によって特定された異物の検知対象の領域の前記画像から、紙葉類の束の厚み方向と垂直な方向のエッジを検出するエッジ検出手段と、前記エッジ検出手段によって検出したエッジで構成されるエッジ画像の直線状につながる画素数をカウントし、所定数以上の画素があった場合には、前記エッジ画像から直線を検出する直線検出手段と、前記直線検出手段によって検出された直線に基づいて、前記紙葉類を結束する異物ありと検知する異物検知手段とを備えたことを特徴とする。
 また、本発明は、上記発明において、前記対象領域特定手段は、前記紙葉類受付手段で受け付けた束状態の紙葉類と前記画像撮像手段の間に不透明な部材が存在する場合、前記画像撮像手段によって撮像した画像から、不透明な部材に対する領域を対象外の領域とすることを特徴とする。
 また、本発明は、上記発明において、前記紙葉類受付手段は、受け付けた束状態の紙葉類と前記画像撮像手段の間に存在する部材が透明であることを特徴とする。
 また、本発明は、上記発明において、前記画像撮像手段はRGBのカラー画像を撮像するものであり、撮像したR画像、G画像、B画像を基に、異物を検出することを特徴とする。
 また、本発明は、上記発明において、前記エッジ検出手段は、前記対象領域特定手段によって特定された異物の検知対象の領域の、前記画像撮像手段によって撮像した画像から、彩度を抽出した彩度画像若しくは明度を抽出した明度画像を生成し、前記彩度画像及び/又は前記明度画像を用いてエッジ抽出を行うことを特徴とする。
 また、本発明は、上記発明において、単一又は複数の第1の方向に光を照射する光源と第2の方向に光を照射する光源とを有し、それぞれの光源が前記紙葉類受付手段で受け付けた紙葉類の束の厚さ方向と垂直な方向に対して異なる位置に配置され、前記画像撮像手段によって撮像対象の紙葉類の束の面に前記第1の方向の光と、前記第2の方向の光とを照射する光源の発光を制御する光照射制御手段をさらに備えたことを特徴とする。
 また、本発明は、上記発明において、前記異物検知手段は、前記光照射制御手段により第1の方向に光を照射する光源を点灯させて前記紙葉類に光照射した状態で前記画像撮像手段によって撮像された第1の画像と、前記光照射制御手段により第2の方向に光を照射する光源を点灯させて前記紙葉類に光照射した状態で前記画像撮像手段によって撮像された第2の画像とを用いて、前記直線検出手段で検出された直線が含まれる領域の、前記第1の画像と前記第2の画像の差異の評価に基づいて、異物の検知を行うことを特徴とする。
 また、本発明は、上記発明において、前記画像撮像手段は、撮像した画像から高解像度の画像と低解像度の画像を取得することが可能で、前記直線検出手段は、前記画像撮像手段で取得した低解像度の画像を基にして直線が検出された場合には、前記画像撮像手段で取得した高解像度の画像を基にして直線の検出処理を行うことを特徴とする。
 また、本発明は、上記発明において、前記異物検知手段は、前記直線検出手段で検出された2つの直線の距離が所定値以上で、前記画像撮像手段で撮像した画像の前記2つの直線によって挟まれる領域の画素値が所定の範囲に入っていることをもって異物の検知を行うことを特徴とする。
 また、本発明は、上記発明において、前記紙葉類受付手段によって受け付けた前記束状態の紙葉類の厚みを検知する厚み検知手段と、前記紙葉類受付手段によって受け付けた前記束状態の紙葉類と光源との位置関係を変更する位置変更手段とをさらに備え、前記画像撮像手段は、前記厚み検知手段で検知した前記束状態の紙葉類の厚みが所定値以上であって、前記直線検出手段によって直線が検出された場合には、前記位置変更手段によって前記束状態の紙葉類と光源との位置関係を変更したうえで前記束状態の紙葉類の画像を撮像しなおすことを特徴とする。
 また、本発明は、束状態の紙葉類を受け付けて1枚ずつ繰り出した紙葉類を処理する紙葉類処理装置の紙葉類受付部に載置された束状態の紙葉類に付着した異物を検出する載置状態検出方法であって、前記紙葉類受付部に前記束状態の紙葉類を受け付ける紙葉類受付ステップと、束の厚さが確認できる方向から前記束状態の紙葉類の画像を撮像する画像撮像ステップと、前記画像撮像ステップによって撮像した画像から異物の検知対象の領域を特定する対象領域特定ステップと、前記対象領域特定ステップによって特定された異物の検知対象の領域の前記画像から、紙葉類の束の厚み方向と垂直な方向のエッジを検出するエッジ検出ステップと、前記エッジ検出ステップによって検出したエッジで構成されるエッジ画像の直線状につながる画素数をカウントし、所定数以上の画素があった場合には、前記エッジ画像から直線を検出する直線検出ステップと、前記直線検出ステップによって検出された直線に基づいて、紙葉類を結束する結束物を異物として検知する異物検知ステップとを含んだことを特徴とする。
 また、本発明は、束状態の紙葉類を受け付けて1枚ずつ繰り出した紙葉類を処理する紙葉類処理装置の紙葉類受付部に載置された紙葉類に巻回された帯封を異物として検出する載置状態検出方法であって、前記紙葉類受付部に束状態の紙葉類を受け付ける紙葉類受付ステップと、束の厚さが確認できる方向から前記束状態の紙葉類の画像を撮像する画像撮像ステップと、前記画像撮像ステップによって撮像した画像から異物の検知対象の領域を特定する対象領域特定ステップと、前記対象領域特定ステップによって特定された異物の検知対象の領域の前記画像から、紙葉類の束の厚み方向と垂直な方向のエッジを検出するエッジ検出ステップと、前記エッジ検出ステップによって検出したエッジで構成されるエッジ画像の直線状につながる画素数をカウントし、所定数以上の画素があった場合には、前記エッジ画像から直線を検出する直線検出ステップと、前記直線検出ステップにおいて、紙葉類端部から所定の距離の範囲内に直線が検出された場合に、前記画像撮像ステップによって撮像された前記紙葉類の画像に前記紙葉類端部から連続して均一性を持った所定の明るさを維持する領域がある場合には、前記紙葉類端部と前記直線検出ステップで検出された直線で挟まれる領域をマスク領域と判定するマスク領域判定ステップと、前記マスク領域判定ステップで判定した前記マスク領域以外の領域における、所定の明るさ以上の画素で、前記束状態の紙葉類の厚み方向の両端部近傍の画素より明るい画素をテカリ画素として検出するテカリ画素検出ステップと、前記直線検出ステップによって検出された直線と、前記テカリ画素検出ステップによって検出したテカリ画素に基づいて、前記紙葉類を結束する帯封を異物として検知する異物検知ステップとを含んだことを特徴とする。
 また、本発明は、上記発明において、前記直線検出ステップは、前記直線と前記直線の根拠となった有効な前記エッジ画像の存在する範囲を示す始点と終点を特定し、前記マスク領域判定ステップは、前記直線に対する前記始点と前記終点に対応する紙葉類の厚み方向での位置で挟まれた厚み方向領域のうち、前記紙葉類端部と前記直線で挟まれた領域である直線別マスク領域を判定し、前記紙葉類端部から所定の距離の範囲内に前記直線が複数検出された場合に、それぞれの前記直線に対応する前記直線別マスク領域の前記厚み方向領域が重なる場合には、重なる前記厚み方向領域に対応する前記マスク領域を、前記紙葉類端部にもっとも近い前記直線の前記直線別マスク領域に対応する領域とし、それぞれの前記直線に対応する前記直線別マスク領域の前記厚み方向領域が重ならない場合には、重ならない前記厚み方向領域に対する前記マスク領域を、全ての前記直線に対応する前記直線別マスク領域を重ねた領域とすることを特徴とする。
 本発明によれば、束状態の紙葉類を受け付けて、束状態の紙葉類のいずれかの面もしくは前記束状態の紙葉類の重なりにより構成される面を対象に光を照射する複数の光源を有し、複数の光源を同時に発光制御することにより対象の面に対して均一に光を照射して、均一に光が照射された対象の面を撮像した撮像結果から対象の面に存在する直線を検出して、検出された直線を含む領域を対象領域とし、複数の光源を個別に発光制御することで、対象領域に対する光の照射態様が異なる第1の照射状態と第2の照射状態とでそれぞれ照射を行い、第1の照射状態と第2の照射状態とでそれぞれ撮像された対象領域の撮像結果の差異に基づいて対象領域の立体物の有無を判定して、立体物の有無の判定に基づいて紙葉類を結束する結束物を異物として検知するよう構成したので、紙葉類が金属及び/又は金属以外の素材の物を含むなんらかの結束物によって結束された状態で紙葉類処理装置の紙葉類受付部に載置されたときに、その結束物が付着しているとして、また、束状紙葉類が正規に置かれていない等の載置状態を検知することができる。
図1は、実施例1に係る載置状態検出方法の概要を説明するための説明図である。 図2は、図1に示した入出金口の外観の詳細及び内部の物理構成を説明するための説明図である。 図3は、図1に示した実施例1に係る紙幣入出金機の内部構成を示すブロック図である。 図4は、図1に示した紙幣入出金機の入金処理時の処理手順を示すフローチャートである。 図5は、図3に示した紙幣入出金機の入出金口載置状態検知部の内部構成を示すブロック図である。 図6は、図3に示した入出金口載置状態検知部による異物検知処理の全体の処理手順を示すフローチャートである。 図7は、図6に示した異物検出対象領域抽出処理の処理内容を説明するための説明図である。 図8は、図6に示した直線検出処理の詳細な処理手順を示すフローチャートである。 図9は、図6に示した連続性評価処理の詳細な処理手順を示すフローチャートである。 図10は、図6で示した連続性評価処理の処理内容を説明するための説明図である。 図11は、図6に示した帯状物判定処理の処理内容を説明するための説明図である。 図12は、図6に示した立体形状物有無判定処理に関する光源部の制御を説明するための説明図である。 図13は、図6に示した立体形状物有無判定処理の詳細な処理手順を示すフローチャートである。 図14は、図5に示した入出金口載置状態検知部の検査・調整部による光源部の個々のLEDの自動調整処理の処理手順を説明するためのフローチャートである。 図15は、図5に示した入出金口載置状態検知部の検査・調整部による光源部及びカメラの自動調整処理の処理手順を説明するためのフローチャートである。 図16は、実施例2に係るより厳格な帯封判定処理の概要を説明するための図である。 図17は、図2に示した入出金口の実施例2に係る内部構造と動作を説明するための図である。 図18は、実施例2に係る紙幣束のテカリ画素を特定する方法の概要を説明するための図である。 図19は、図16(a)に示した紙幣端に白色領域を有する紙幣を対象としている場合に、帯封判定に使用するテカリ画素の探索を行わない評価対象外の領域であるマスク範囲を説明するための図である。 図20は、実施例2に係る入出金口異物検知部による異物検知処理の全体の処理手順を示すフローチャートである。 図21は、実施例3に係る紙幣入出金機の入出金口載置状態検知部の内部構成を示すブロック図である。 図22は、実施例3に係る立体形状物有無判定処理の概要を示す図である。 図23は、実施例3に係る立体形状物有無判定処理の処理手順を説明するためのフローチャートである。 図24は、実施例4に係る紙幣束に紙幣の折れ込みがあった場合の撮像画像及び直線検出状態を説明する図である。 図25は、実施例4に係る札長の異なる複数種類の束が入出金口に載置された場合の撮像画像及び直線検出状態を説明する図である。 図26は、実施例4に係る紙幣束の表面か裏面の1枚が斜めになって紙幣束の端面を部分的に覆っている場合の撮像画像及び直線検出状態を説明する図である。 図27は、実施例4に係る入出金口に束状紙幣が入金載置されるときに撓められたまま略水平に置かれた場合、或いは、束状紙幣の一部が下方に潜り込んだ場合の撮像画像及び直線検出状態を説明する図である。 図28は、実施例4に係る入出金口に載置された紙幣が蛇腹状に折り癖がついたものである場合の撮像画像及び直線検出状態を説明する図である。
 以下に、添付図面を参照して、本発明に係る束状紙葉類の載置状態検出装置及び載置状態検出方法の好適な実施例を詳細に説明する。なお、実施例では、「紙葉類」の代表として、「紙幣」を用いて説明を行うこととする。
 まず、実施例1に係る載置状態検出方法の概要を図1を用いて説明する。図1(a)は紙幣入出金機100の外観図である。図1(b)は、図1(a)に示す紙幣入出金機100の入金時に紙幣が投入ないし載置される入出金口140の物理構成の概要を示す図である。図1(c)は、図1(b)に示したカメラ152によって、入出金口140に載置された紙幣を撮像した画像の例である。図1(d)は、図1(c)で示した画像を利用して、紙幣を結束する輪ゴムや帯封などの立体的な異物、及び紙幣の折れ等の載置状態を検知する処理のフローを説明するための図である。
 図1(a)で、紙幣入出金機100の外観構成を説明する。表示操作部110はタッチパネル式のディスプレイ装置であり、メニュ、取引画面及び利用者へのメッセージの表示や表示されたメニュ及び取引画面上のボタン操作によって入力を受け付けることができる。カード挿入口121は、キャッシュカードなどの磁気カード若しくはICカードを挿入する口である。数字入力部130は、主に暗証番号や金額などの数字を入力するキーボードである。入出金口140は、入金系の取引を行う場合は入金する紙幣が投入ないし、載置される口であり、出金系の取引を行う場合は出金する紙幣を投出する口である。明細書発行口191は、取引内容を印刷した取引明細書を排出する口である。音声通話部200は、利用者が紙幣入出金機100の利用時に、バックオフィスの係員と音声通話するための入出力部である。
 実施例1は、図1(a)に示す紙幣入出金機100の入出金口140に載置された紙幣束が輪ゴムや帯封などで結束されていた場合に、入出金口140に載置された紙幣束の繰り出し動作をする前に、その輪ゴムや帯封を異物として検知する例を示す。輪ゴムや帯封を異物として検知することによって、利用者に対して輪ゴムや帯封を取り外したうえで紙幣を揃えた状態で入金の指示を示すメッセージを通知することが可能となる。
 図1(b)で、入出金口140の内部の物理構成を説明する。入出金口140の上部にはシャッタ141があり、入金取引の操作が行われると開き、入出金口140に入金する紙幣が載置されると閉じる。また、入出金口140の下部には、リブ142a、142b、142c、142dがあり、例えば、硬貨などの異物が誤って入れられた場合には、硬貨などを最下部に落下させて紙幣と分離することができる。また、リブ142a、142b、142c、142dよりも下の入出金口140の最下部にはカメラ152が設置され、カメラ152は、入出金口140に載置された紙幣の画像を下から撮像することができる。
 図1(c)は、図1(b)のカメラ152で撮像した紙幣の画像の例である。カメラ152と紙幣束の間にリブ142a、142b、142c、142dが存在することから、3つの画像の例には、リブ142a、142b、142c、142dが写り込んでいる。一番上の画像は輪ゴムや帯封などで結束されていない紙幣の画像の例で、真ん中の画像は輪ゴムによって結束された紙幣の画像の例で、一番下の画像は帯封によって結束された紙幣の画像の例である。
 図1(c)の真ん中の画像には、輪ゴムの画像が写り込んでいる。また、図1(c)の一番下の画像には、帯封の画像が写り込んでいる。実施例1は、主に、これらの画像に写り込んだ輪ゴムや帯封などの結束しているものを、異物として検出する実現例を説明するものである。図1(c)に示すように、紙幣を結束している異物は画像上の紙幣の厚み方向に対して略平行となる直線状の形状として現れるという特徴があり、この特徴を利用して撮像した画像を解析することによって輪ゴムや帯封などの紙幣を結束している異物、或いは、紙幣の折れ込み等の載置状態異常を検出する。ただし、入出金口140の物理的な構造上、リブ142a、142b、142c、142dが固定的に写り込むので、リブ142a、142b、142c、142dの写り込む部分は異物の検出対象外の領域とすることによって、リブ142a、142b、142c、142dの写り込みを異物として誤検知しないようにしている。
 図1(d)で、紙幣入出金機100による紙幣を結束する異物検知に係る処理の流れを説明する。入金取引において利用者による入出金口140への紙幣の入金を受け付けたならば、紙幣入出金機100はシャッタ141を閉じてカメラ152で入出金口140に載置された紙幣の画像を撮像する。
 紙幣入出金機100は、カメラ152で撮像された画像を解析して輪ゴムや帯封などの紙幣を結束する異物或いは、紙幣の折れ込み等の載置状態異常の有無の判定を行い、紙幣を結束する異物或いは紙幣の折れ込み等があると判定した場合には、結束している異物を外したうえ、或いは、揃えなおしたうえで再入金を促すメッセージを表示するとともにシャッタ141を開けて、再入金の待ち合わせを行う。また、カメラ152で撮像された画像から、紙幣束を結束する異物或いは、紙幣の折れ込み等がないと判定された場合には、入出金口140に載置された紙幣の入金処理を継続するための繰出処理を開始する。
 このように、束状態の紙幣を入出金口140で受け付け、受け付けた束状態の紙幣の画像をカメラ152で撮像し、撮像した画像のリブ142a、142b、142c、142dが写り込んだ領域を除いた領域を対象として、撮像した画像において写っている紙幣の厚み方向に対して略平行な方向に現れる直線を検出するとともに、立体物であるかの検出を行い、束状紙葉類に異物有り、1枚の紙葉類の折れ込み有り等の載置状態を検知するようにしたので、紙幣入出金機100の入出金口140に束状紙葉類が載置されたときに帯封材若しくは輪ゴム等の結束物によって紙葉類が結束された状態か、表面の紙葉類がずれた状態、若しくは横置き状態で載置されたかの載置状態を検知することができる。
 次に、図1に示した入出金口140の外観の詳細及び内部の物理構成を説明する。図2は、入出金口140の外観の詳細及び内部の物理構成を説明するための説明図である。図2(a)は、入出金口140の詳細な外観図である。図2(b)は、入出金口140のリブ142a、142b、142c、142dより下の部位の構造を説明するための図である。図2(c)は、リブ142a、142b、142c、142dの下に配置される光源部151のLED151a~151k、リブ142a、142b、142c、142d及びカメラ152の配置を説明するための図である。
 図2(a)で入出金口140の外観構成を説明する。入出金口140の上部にはシャッタ141があり、待機状態では閉じた状態であり、入金取引の紙幣の載置時や出金取引の紙幣の投出時に開かれる。紙幣押さえ143は、入金取引で紙幣が入出金口140に載置されてシャッタ141を閉じた後に載置された紙幣を押さえる可動部である。また、入出金口140の下部にはリブ142a、142b、142c、142dがあり、載置された紙幣は該リブ142a、142b、142c、142dの上に載置される。また。リブ142a、142b、142c、142dのさらに下にはカメラ152が配置され、リブ142a、142b、142c、142d上に載置された紙幣を撮像する。
 図2(b)に示すように、入出金口140のリブ142a、142b、142c、142dより下にはカメラ152と光源部151が配置され、カメラ152で画像撮像するときには、光源部151が点灯して撮像対象物に光を照射する。
 図2(c)で、光源部151のLED151a~151kと、リブ142a、142b、142c、142dと、カメラ152との位置関係を説明する。光源部151は、リブ142a、142b、142c、142dに載置された紙幣を下からカメラ152で撮像するために、リブ142a、142b、142c、142dより下に配置されて、載置された紙幣の下の面に光を照射する。また、図2(c)に示すようにリブ142a、142b、142c、142dの位置で全体のエリアを5つのエリアに分割した場合に、各エリアの両端とその中間となる位置にLEDを配置した。このようなLED配置にすることによって、リブ142a、142b、142c、142dの影の影響を最小限にすることができるとともに、異なる位置の光源を点灯して撮像した画像の比較によって立体物の検知を行うことを可能としている。立体物の検知のためのLED151a~151kの詳しい点灯制御については後述する。
 また、図2の物理構成には示していないが、帯封や輪ゴムなどの異物がリブ142a、142b、142c、142dに重なる可能性があることを考慮して、載置された紙幣のリブ142a、142b、142c、142dの並んでいる方向に対する位置を変更することができるような、第2の紙幣押さえを設けてもよい。この第2の紙幣押さえを用いて紙幣のリブ142a、142b、142c、142dの並んでいる方向に対する位置を移動させて同じ処理をすることによって、帯封や輪ゴムなどの異物がリブ142a、142b、142c、142dに重なることの対策としてもよい。
 次に、図1に示した実施例1に係る紙幣入出金機100の内部構成を説明する。図3は、実施例1に係る紙幣入出金機100の内部構成を示すブロック図である。
 紙幣入出金機100は、表示操作部110、カードリーダ120、数字入力部130、入出金口140、入出金口載置状態検知部150、搬送部160、鑑別部170、紙幣収納部180、明細書プリンタ190、音声通話部200、通信部210、記憶部220及び制御部230を有する。これまでに既に説明した部分の説明は省略し、まだ説明を行っていない部分を中心に説明する。
 カードリーダ120は、カード挿入口121から挿入されたキャッシュカードなどの磁気カード若しくはICカードの内容を読み取る読取部である。入出金口140は、既に説明したシャッタ141、リブ142及び紙幣押さえ143と繰り出し部144とを有する。繰り出し部144は、輪ゴムや帯封などの異物、紙幣の折れ込み等の載置状態検知処理で異常がないことが確認できたならば、入出金口140に載置された紙幣を搬送部160に繰り出す処理部である。
 入出金口載置状態検知部150は、入出金口140に載置された紙幣に異物が付加されていないかの判定を行う処理部である。搬送部160は、入金取引において入出金口140にから繰り出された紙幣を鑑別部170や紙幣収納部180に搬送したり、出金取引において紙幣収納部180の紙幣を入出金口140に搬送する処理部である。入出金口140は、シャッタ141、リブ142、紙幣押さえ143、繰り出し部144を含み紙葉類受付手段を構成する。
 鑑別部170は、搬送部160によって搬送されてきた紙幣の種類の識別及び真贋判定を行う処理部である。紙幣収納部180は、入金取引で載置されて真券と判定された紙幣を収納しておく収納部であるとともに、出金取引で紙幣を投出するための紙幣を貯留しておく貯留部である。明細書プリンタ190は、利用者向けに取引の明細書を印刷するための出力部で明細書発行口191に排出することによって明細書が利用者に渡される。通信部210は、入出金系の取引や入出金に係る口座の情報を管理するシステムとデータ通信するためのインタフェース部である。
 記憶部220は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、入出金処理に必要なデータを記憶する。制御部230は、紙幣入出金機100の全体を制御する制御部であり、入金処理部231と出金処理部232とを有する。実際には、これらの機能部に対応するプログラムを図示しないROM等の不揮発性メモリに記憶しておき、これらのプログラムをCPU(Central Processing Unit)が実行することにより実現される。
 入金処理部231は、紙幣入出金機100で行われる入金処理全体を制御する制御部で、出金処理部232は、紙幣入出金機100で行われる出金処理全体を制御する制御部である。入金処理時の詳細な処理フローは後述する。
 次に、図1に示した紙幣入出金機100の入金処理時の処理手順を説明する。図4は、図1に示した紙幣入出金機100の入金処理時の処理手順を示すフローチャートである。
 入金処理部231は、カード挿入口121からカードを受け付けて、カードリーダ120で挿入されたカードの内容を読み込んで、表示操作部110により入金取引の実行を受け付けたならば、入金する紙幣を入出金口140に入れることができるようにシャッタ141を開ける(ステップS101)。入金処理部231は、入出金口140に紙幣が載置されることを待ち合わせて紙幣の載置の検知処理(ステップS102)を行い、紙幣の入出金口140への載置が検知されなかった場合(ステップS103;No)には、ステップS102に戻る。
 また、紙幣の入出金口140への投入が検知された場合(ステップS103;Yes)には、入金処理部231は、シャッタ141を閉じて(ステップS104)、入出金口載置状態検知部150による、入出金口140へ入金された紙幣の束に輪ゴムや帯封の異物が付加していないか、紙幣が折れ込んでいないか、縦状態の紙幣束の下に潜り込んだ紙幣がないか等の載置状態検知処理を行う(ステップS105)。
 ステップS105の載置状態検知処理において異物、紙幣の折れ込み等の異常が検知されなかった場合(ステップS106;No)には、入金処理部231は、入出金口140の繰り出し部144によって受け付けた紙幣を搬送部160に繰り出す(ステップS107)。搬送部160に繰り出された紙幣は鑑別部170に搬送され、鑑別部170で紙幣の種類の識別と紙幣の真贋判定とを行い(ステップS108)、真券であると判定された紙幣に関しては紙幣収納部180に格納して(ステップS109)、入金金額などの入金取引の記載された明細書を明細書プリンタ190で発行して(ステップS110)、処理を終了する。
 ステップS105の載置状態検出処理において異物或いは紙幣の折れ込み等により載置状態に異常が検知された場合(ステップS106;Yes)には、入金処理部231は、表示操作部110に、入出金口140に載置された紙幣に付加されている異物の排除、紙幣束そろえを実施して入出金口140に紙幣の再入金を促すメッセージの表示を行い(ステップS111)、入出金口140のシャッタ141を開ける(ステップS112)。入金処理部231は、入出金口140に紙幣が再投入されることの検知処理(ステップS113)を行い、紙幣の入出金口140への再投入が検知されなかった場合(ステップS114;No)には、ステップS113に戻る。また、紙幣の入出金口140への再投入が検知された場合(ステップS114;Yes)には、ステップS104に戻る。
 次に、図3に示した紙幣入出金機100の入出金口載置状態検知部150の内部構成を説明する。図5は、紙幣入出金機100の入出金口載置状態検知部150の内部構成を示すブロック図である。
 入出金口載置状態検知部150は、光源部151、カメラ152、通信部153、記憶部154及び制御部155を有している。光源部151及びカメラ152は図2で説明した通り、入出金口140の下部に配置されて、入出金口140に紙幣が投入されるとシャッタ141を閉じて光源部151で紙幣に光を照射し、光を照射した紙幣の画像をカメラ152で撮像する。通信部153は、紙幣入出金機100からの載置異常の有無の判定を行うことの指示を受け付けたり、載置異常有無の判定結果及びカメラ152で撮像した画像などを上位装置である紙幣入出金機100に送るインタフェース部である。記憶部154は、不揮発性メモリ等の記憶デバイスであり、載置異常検知に係る処理に必要なデータを記憶する。
 制御部155は、入出金口載置状態検知部150の全体を制御する制御部で、検査・調整部155a、画像取得部155b、対象領域特定部155c、グレイ画像生成部155d、エッジ検出部155e、直線検出部155f、帯状物判定部155g及び立体形状物有無判定部155hを有する。実際には、これらの機能部に対応するプログラムを図示しないROM等の不揮発性メモリに記憶しておき、これらのプログラムをCPU(Central Processing Unit)が実行することにより実現される。
 検査・調整部155aは、光源部151を発光させてカメラ152で採取した画像を解析することによって、光源部151のLEDの出力検査を行なうとともに、光源部151のLEDごとの発光光量の制御のためのLEDの発光量制御パラメータ及びカメラ152の露光時間、ホワイトバランスなどの制御に必要なカメラの制御パラメータに関して、LED151a~151kの全ての光源用LEDを全照射して直線を検出する場合に使用する設定値及び、立体形状物を判定する際に使用する左方より右向きに照射する場合と右方より左向きに照射する場合の設定値を自動的に決定する。これによって、LEDの個体の差異やカメラ152の個体差も含めた調整を自動で行うことができる。
 画像取得部155bは、光源部151の点灯制御を行ってカメラ152で入出金口140に入金された紙幣の画像を撮像する。画像の撮像に関して、画像撮像の目的によって画像の撮像方法が異なる。直線を検知するために撮像する画像は、全体の照度差が少なくて、リブ142a、142b、142c、142dの影などの影響をなるべく少なくなるように光源部151からの発光を行って撮像する。また、所定の領域における輪ゴムなどの立体物の検知を行うために撮像する場合は、立体物の検知対象の領域に対応して違う方向から光を照射した2画像を撮像して1セットの画像を得る。画像取得部155bは、目的に応じた光源部151のLED151a~151kの点灯制御を行って、カメラ152で画像の撮像を行い、撮像された画像を記憶部154に登録する。また、直線検知するための画像として、低解像度の画像と高解像度の画像の取得が可能である。低解像度の画像の取得は、カメラ152によって撮像するのは高解像度の画像を取得しておいて、撮像した画像データの解像度を落とすことによって取得する。また、高解像度の画像と低解像度の画像を別々に撮像することとしてもよい。
 対象領域特定部155cは、画像取得部155bの取得した画像に対して、リブ142a、142b、142c、142dの写り込んでいる領域や、紙幣押さえ143などの紙幣以外の領域を除外して、紙幣に付加された異物検知を行う対象領域の絞り込みを行う。詳細な処理内容につては後述する。グレイ画像生成部155dは、画像取得部155bの取得した画像を、グレイの多階調画像に変換する。
 エッジ検出部155eは、グレイ画像生成部155dの作成したグレイの多階調画像に対して、対象領域特定部155cが特定した異物検知を行う対象領域内に、撮像した画像に写っている紙幣の厚み方向に略平行な方向に現れている直線の検出を行う。具体的には、ソーベルフィルタなどのエッジ検出フィルタを用いて撮像した画像に写っている紙幣の厚み方向に垂直な方向のエッジ強度を算出し、所定の閾値を超えるエッジ強度を有する画素をハフ変換することによって直線の検出を行う。詳細は後述する。
 直線検出部155fは、エッジ検出部155eで検出した直線の妥当性を評価するための処理部である。具体的には、ハフ変換によって検出した直線上への、直線検出時に求めた所定の強度を持つエッジ画素の集まり具合を評価して、所定の基準を満たすことを条件にエッジ検出部155eで検出した直線の情報を異物の候補として保持する。そして、所定の基準を満たさなかったエッジ検出部155eで検出した直線の情報は異物の候補から除外する。詳細は後述する。
 帯状物判定部155gは、エッジ検出部155eで検出され、直線検出部155fでその妥当性の評価で妥当と判定された直線が帯封に起因するものであるか否かを判定する処理部である。具体的には、帯封は多くの場合所定値以上の幅があって無地又は単一色の紙に銀行名等が印刷されているだけで、紙幣部分と比べて輝度値の変化が少ないことが多いという特徴を検出できるか否かをもって、帯封で有るか否かの判定を行う。詳細は後述する。
 立体形状物有無判定部155hは、エッジ検出部155eで検出され、直線検出部155fでその妥当性の評価で妥当と判定された直線が、輪ゴム等のような立体物に起因するものであるか否かを判定する処理部である。具体的には、対象となる直線の存在する領域に対して、直線に対して異なる方向(左右方向)から光を照射した2枚の画像の輝度の差異を評価し、2枚の画像の輝度の差異が大きい場合には輪ゴムなどの立体物があると判定し、差異が小さい場合には立体物はその領域には存在しないと判定する。詳細は後述する。
 次に、図3に示した入出金口載置状態検知部150による異物検知処理の全体の処理手順を説明する。図6は、入出金口載置状態検知部150による異物検知処理の全体の処理手順を示すフローチャートである。
 まず、画像取得部155bは、カメラ152により高解像度で対象画像の撮像を行い、この画像を取得し(ステップS201)、取得した高解像度の画像データから直線検出の為の低解像度の画像データを生成する(ステップS202)。対象領域特定部155cは、画像取得部155bによって取得した画像データから、異物検知を行う対象外の領域を除外することによって、載置状態検出対象の領域の抽出を行う(ステップS203)。グレイ画像生成部155dは、ステップS203で抽出した、載置状態検出対象の領域の画像に関してグレイの多階調画像に変換する(ステップS204)。
 エッジ検出部155eは、グレイ画像生成部155dの作成したグレイの多階調画像に対して、ソーベル変換やハフ変換を用いることによって直線の検出を行う(ステップS205)。ステップS205の直線検出処理において、直線が1本も検出されなかった場合(ステップS206;No)には、異物等の載置状態の異常の検出はないと判定して処理を終了する。
 また、ステップS205の直線検出処理において、直線が少なくとも1本検出された場合(ステップS206;Yes)には、高解像度の画像を用いて直線検出処理を既に行ったか否かの判定を行い(ステップS207)、既に高解像度の画像を用いて直線検出処理を実施済みの場合(ステップS207;Yes)には、ステップS209に移行する。まだ高解像度の画像を用いて直線検出処理を行っていない場合(ステップS207;No)には、画像取得部155bは、直線検出の為の高解像度の画像データを撮像して(ステップS208)、ステップS203に移行する。
 高解像度の画像を利用して、ステップS205の直線検出処理において直線が検知された場合(ステップS207;Yes)には、直線検出部155fは、ステップS205の直線検出処理において検出された直線の妥当性を評価する(ステップS209)。ステップS209の連続性の評価によって、妥当性の確認される直線がなかった場合(ステップS210;No)には、異物等の検出はないと判定して処理を終了する。
 また、ステップS209の連続性の評価によって、妥当性の確認された直線が残った場合(ステップS210;Yes)には、帯状物判定部155gは、ステップS209の連続側性評価処理で妥当性の確認された直線が帯封に起因するものであるか否かの判定を行う(ステップS211)。また、立体形状物有無判定部155hは、ステップS209の連続性評価処理で妥当性の確認された直線が、輪ゴムなどのような立体物に起因するものであるか否かの判定を行って(ステップS212)、処理を終了する。
 次に、図6に示した載置状態検出対象領域抽出処理(ステップS203)の処理内容を説明する。図7は、図6に示した載置状態検出対象領域抽出処理(ステップS203)の処理内容を説明するための説明図である。
 図7(a)は、画像取得部155bによって取得した直線検出用の画像の例である。図7(a)に示すように、画像取得部155bによって取得した画像には、紙幣以外にリブ142a、142b、142c、142dと紙幣押さえ143が写り込んでいる。まず、対象領域特定部155cは、図7(a)の画像から紙幣押さえ143に対応する部分を除外する。紙幣押さえ143に対応する部分を除外したのが図7(b)である。
 次に、図7(c)で、図7(b)全体から紙幣の存在する範囲に領域を絞り込む方法を説明する。図7(b)に対して、x軸方向に画像の候補領域の輝度が所定値以上の画素数をカウントしたx軸方向頻度分布と、y軸方向に画像の候補領域の輝度が所定値以上の画素数をカウントしたy軸方向頻度分布を作成する。x軸方向とy軸方向の頻度分布から紙幣束の領域の連続性を考慮して、画像における上下及び左右の端を決定し、紙幣の写り込んだ領域を絞り込む。このようにして決定した領域が図7(c)に示す、矩形で囲んだ領域である。
 次に図7(c)で示した紙幣束の存在する範囲に対して異物検出の対象外となるマスク領域の決定処理について、図7(d)と図7(e)とで説明する。図7(d)の白い領域が紙幣の領域であり、黒い領域は紙幣以外の領域であり紙幣を結束する異物の検出対象外となるマスク領域である。また、リブ142a、142b、142c、142dの写り込んだ部分や紙幣の左右両端部分は異物の直線と誤検知しやすいことから、図7(e)に矢印で示す付近の領域はマスク領域を拡張したものである。このように、図7(c)の矩形の範囲の画像に対して、図7(e)に白抜きで示したマスク領域以外の部分を異物検出の対象領域とする。
 次に、図6に示した直線検出処理(ステップS205)の詳細な処理手順を説明する。図8は、図6に示した直線検出処理(ステップS205)の詳細な処理手順を示すフローチャートである。
 エッジ検出部155eは、グレイ画像生成部155dの生成したグレイ画像に対して、画像に写っている紙幣の厚み方向と垂直な方向のエッジ強度をソーベルフィルタなどのエッジ検出フィルタを用いて算出する(ステップS301)。また、エッジ検出部155eは、エッジ検出フィルタによって得られた画像の所定の強度を有する画素(以下、エッジ画素と言う)を抽出する(ステップS302)。
 また、エッジ検出部155eは、ステップS302で抽出された全てのエッジ画素をハフ平面に投票する(ステップS303)。ハフ平面への投票に関しては、輪ゴムなどのように幅の狭い異物の検出精度を向上させるために、一定の画素範囲内に反対方向の濃淡勾配を持つエッジ画素がある場合には、投票時の重みを大きくしてもよい。
 エッジ検出部155eは、ステップS303のハフ平面への投票処理の結果、投票数が所定の閾値以上となるθ、ρを決定する事によって直線の候補を検出する(ステップS304)。また、紙幣束を結束するものに対応する異物の直線は、紙幣の厚み方向に略平行な方向で検出される特徴があることからθに関して検出する範囲に制限をもうけてもよい。
 次に、図6に示した連続性評価処理(ステップS209)の詳細な処理手順を説明する。図9は、図6に示した連続性評価処理(ステップS209)の詳細な処理手順を示すフローチャートである。
 直線検出部155fは、エッジ検出部155eの抽出した直線から1つの直線を選んで(ステップS401)、選んだ直線上の図8のステップS302で算出したエッジ画素の連結数をカウントする(ステップS402)。エッジ画素の連結数のカウント処理の具体的な説明は後述する。
 ステップS402でカウントを行なって得た画素数に基づいて選択した直線上の連結エッジ画素数が、所定の閾値以上の場合(ステップS403;Yes)には、ステップS401で選択した直線は候補として妥当であると判定して直線候補として登録する(ステップS404)。また、ステップS402で選択した直線上の連結エッジ画素数が、所定の閾値未満の場合(ステップS403;No)には、ステップS401で選択した直線は候補として妥当ではないと判定して直線候補からは除外する(ステップS405)。
 ステップS404若しくはステップS405の処理に続いて、エッジ検出部155eの抽出した直線について連続性の評価が終了していない直線がある場合(ステップS406;Yes)には、ステップS401に戻り未評価の直線の評価を行う。エッジ検出部155eの抽出した直線について連続性の評価が終了していない直線がない場合(ステップS406;No)には、処理を終了する。
 次に、図6で示した連続性評価処理(ステップS209)の処理内容を説明する。図10は、図6で示した連続性評価処理(ステップS209)の処理内容を説明するための説明図である。
 図10は、図8のステップS302のエッジ検出処理で検出したエッジ画素を黒で示し、図9のステップS401で選出した直線を評価直線として図示したものである。図10に示す通り、評価直線上には、エッジ画素が隣接する3つの連結部が存在する。
 図10に示す通り、3つの連結部の例は、連結部a、連結部b及び連結部cであり、連結部aは連結エッジ画素数が43個、連結部bは連結エッジ画素数が6個、連結部cは連結エッジ画素数が9個である。よって、この評価直線の最大の連結エッジ画素数は43個である。
 直線の連続性の評価は、このようにして、ハフ変換によって検出した直線を、もとのエッジ画像のエッジ画素を利用して評価するものであり、最大の連結部の連結エッジ数が所定の閾値以上であることをもって、検出した直線の妥当性を判定する。
 次に、図6に示した帯状物判定処理(ステップS211)の処理内容を説明する。図11は、図6に示した帯状物判定処理(ステップS211)の処理内容を説明するための説明図である。
 図11は、図6のステップS204で生成したグレイ画像に、図6のステップS209で連続性の評価済の直線を重ねて表示した例である。また、図11の例は、紙幣の束を帯封で結束している部分の画像の例である。帯封は、ある程度の幅を有していることや、無地又は単一色の紙に銀行名等が印刷されているだけで、紙幣部分と比べて輝度値の変化が少ないことが多いことから、紙幣が帯封で結束されている場合には、図11に示すように、帯封の両端に対応する2つの直線が検出されたり、その2つの直線はある程度の幅をもっていたり、帯封に当たる部分の輝度が平坦であるといった特徴が表れることを利用して帯封であることの判定を行う。また、帯封部分は、紙幣部分と比べて厚み方向のエッジ強度が小さいという特徴もあるので、厚み方向のエッジ画素が少ないことを利用して、帯封であることの判定をしてもよい。
 また、図11の画像の下に示すグラフは、y軸方向に所定の範囲の輝度を有する画素数をカウントした頻度分布のグラフである。図11に示すように、輝度の頻度分布がある程度の幅をもって均一な領域を有して、その輝度が均一な領域を挟む位置に2つの直線a及び直線bが位置する場合には、検出された2つの直線a及び直線bに挟まれる範囲は帯封であると判定する。又は、均一な領域中に直線a又はbが存在すれば帯封があると判定してもよい。
 次に、図6に示した立体形状物有無判定処理(ステップS212)に関する光源部151の制御を説明する。図12は、図6に示した立体形状物有無判定処理(ステップS212)に関する光源部151の制御を説明するための説明図である。図12(a)は、カメラ152で撮像した画像のエリアと光源部151のLED151a~151kとの位置関係を説明するための図である。また、図12(b)は、立体形状物を判定する場合の、判定対象物が位置する画像上のエリアとLED151a~151kの点灯制御との関係を説明するための図である。
 図12(a)に示すように、リブ142a、142b、142c、142dの写り込みによって分割された領域を、画像の左から順番に、エリア1、エリア2、エリア3、エリア4及びエリア5と言う。また、両端のエリアを除くエリア2、エリア3及びエリア4については、さらにエリア内を分割し、左側の部分をL、右側をR、その中間をCと言う。
 また、LED151a~151kは、リブ142a、142b、142c、142dの位置を考慮して配置され、リブ142aの真下にはLED151c、リブ142bの真下にはLED151e、リブ142cの真下にはLED151g、リブ142dの真下にはLED151iが配置される。また、光源部151の左端に近い部分にLED151aが、光源部151の右端に近い部分にLED151kが配置される。さらに、エリア1の中央付近にLED151b、エリア2の中央付近にLED151d、エリア3の中央付近にLED151f、エリア4の中央付近にLED151h、エリア5の中央付近にLED151jを配置する。
 立体形状物の判定は、立体形状物が存在する可能性のある領域に対して異なる方向から光を照射して撮像した2つの画像を比較して、立体形状物が存在する場合には影の影響で撮像される画像に差異が表れることを利用して行われる。図12(b)は、立体形状物の検出対象の領域にごとに左方より照射する第1の画像の撮像時に点灯するLEDと右方より照射する第2の画像の撮像時に点灯するLEDとを規定した表である。
 図12(b)に示すように、立体形状物の検出対象の領域がエリア1の場合には、第1画像を撮像する時に点灯する光源はLED151aで、第2画像を撮像する時に点灯する光源はLED151cである。また、立体形状物の検出対象の領域がエリア2のLである場合には、第1画像を撮像する時に点灯する光源はLED151c、LED151d、LED151eで、第2画像を撮像する時に点灯する光源はLED151eである。また、立体形状物の検出対象の領域がエリア2のCである場合には、第1画像を撮像する時に点灯する光源はLED151cで、第2画像を撮像する時に点灯する光源はLED151eである。また、立体形状物の検出対象の領域がエリア2のRである場合には、第1画像を撮像する時に点灯する光源はLED151cで、第2画像を撮像する時に点灯する光源はLED151c、LED151d、LED151eである。
 以下、エリア3、エリア4、エリア5が立体形状物の検出対象の領域で有る場合の、第1画像を撮像する時に点灯する光源及び第2画像を撮像する時に点灯する光源についても図12(b)に示す通りである。なお、図12(b)の表には点灯させるLEDの番号を記載しているが、個々の光量についても検出対象により予め設定される必要があるが、ここでは、簡略化の為、省略する。
 次に、図6に示した立体形状物有無判定処理(ステップS212)の詳細な処理手順を説明する。図13は、図6に示した立体形状物有無判定処理(ステップS212)の詳細な処理手順を示すフローチャートである。
 立体形状物有無判定部155hは、エッジ検出部155eで検出され、直線検出部155fで妥当と判定された直線が図12(a)に示すいずれのエリアに属するのかの判定を行う(ステップS501)。また、立体形状物有無判定部155hは、図12(b)の規定に従ってステップS501で判定したエリアに対応する第1画像撮像用の光源のLEDの点灯を行い(ステップS502)、カメラ152で第1画像の撮像を行う(ステップS503)。また、立体形状物有無判定部155hは、図12(b)の規定に従ってステップS501で判定したエリアに対応する第2画像撮像用の光源のLEDの点灯を行い(ステップS504)、カメラ152で第2画像の撮像を行う(ステップS505)。
 次に、立体形状物有無判定部155hは、採取した第1の画像と第2の画像をグレイの多階調画像に変換する(ステップS506)。また、グレイの多階調画像に変換した第1の画像と第2の画像の画素ごとの画素値の差分で構成される差分画像を生成し(ステップS507)、作成した差分画像の各画素を所定の閾値を用いて2値化する(ステップS508)。
 次に、立体形状物有無判定部155hは、ステップS508で作成した2値化した差分画像で差異ありと判定された画素数のカウントを行う(ステップS509)。立体形状物有無判定部155hは、ステップS509でカウントした画素数が所定の閾値よりも小さい場合には立体形状物は無いと判定し、ステップS509でカウントした画素数が所定の閾値以上の場合には立体形状物が存在すると判定して(ステップS510)、処理を終了する。
 次に、図5に示した入出金口載置状態検知部150の検査・調整部155aによる光源部151の個々のLED151a~151kの自動調整処理の処理手順を説明する。図14は、入出金口載置状態検知部150の検査・調整部155aによる光源部151の個々のLED151a~151kの自動調整処理の処理手順を説明するためのフローチャートである。
 まず、入出金口140に底面部が一様にペイントされた平面部からなる調整用基準媒体を装填する。底面部は束状に揃えた略紙幣300枚の長手端部を下側にした立位状態で入出金口140に装填した状態を想定している。検査・調整部155aは、1個ずつ検査対象のLEDを点灯し、(繰り返し時には、検査対象で検査の終了していないいずれかのLEDを1つ点灯して)(ステップS601)、その状態でカメラ152によって撮像した画像を取得する(ステップS602)。次に、検査・調整部155aは、ステップS602で取得した画像に基づいて評価用のデータの生成を行う(ステップS603)。具体的には、評価用のデータとは所定の領域ごとの輝度値を示すデータなどである。
 検査・調整部155aは、ステップS603で生成した評価用のデータと、当該LEDが正常に駆動している時に予め取得した画像に基づいて生成した評価用のデータと同じ形式の基準データとの比較を行って(ステップS604)、ステップS603で生成した評価用のデータと基準データとの差異が所定の許容範囲内である場合(ステップS605;Yes)には、未検査のLEDの有無の判定を行って(ステップS608)、未検査のLEDがまだある場合(ステップS608;Yes)には、ステップS601に移行する。未検査のLEDがない場合(ステップS608;No)には、異常なLEDは存在しなかったものとして処理を終了する。
 また、ステップS603で生成した評価用のデータと基準データとの差異が、所定の許容範囲に収まらない場合(ステップS605;No)で、当該LEDの出力の調整が可能であれば(ステップS606;Yes)、検査・調整部155aは、当該LEDの出力の調整を行って(ステップS607)、ステップS601に移行する。
 また、当該LEDの出力の調整が可能な範囲を超えていた場合(ステップS606;No)には、検査・調整部155aは、制御部230に当該LEDが異常の旨の通知を行って(ステップS609)、処理を終了する。
 図14に示した検査処理フローでは、LEDの出力の調整によって取得される画像について所定の輝度を確保できるようにし、LEDの出力の調整だけでは所定の輝度が得られない場合にはアラームとなるようにしたが、本発明はこれに限定されるものではない。例えばLEDの調整だけでは所定の輝度が得られない場合でも、カメラの露光時間を補正することで対処し、両方の補正を行なっても対処できないときにアラームにするとしてもよい。
 次に、図5に示した入出金口載置状態検知部150の検査・調整部155aによる光源部151及びカメラ152の自動調整処理の処理手順を説明する。図15は、入出金口載置状態検知部150の検査・調整部155aによる光源部151及びカメラ152の調整処理の処理手順を説明するためのフローチャートである。
 具体的には、検査・調整部155aは、ステップS701~ステップS703で、直線検出処理に適した画像を取得するための、LED151a~151kの発光強度の調整を行い、直線検出用の発光制御に係るパラメータを決定するとともにカメラ152のホワイトバランスや露光時間の調整を行い直線検出用の撮像に係るパラメータを決定し、記憶部154に記憶する。さらに、検査・調整部155aは、ステップS704~ステップS707で、立体検出処理に適した画像を取得するための、LEDの点灯パターンごとのLED151a~151kの発光強度の調整を行い立体検出用の発光制御に係るパラメータを決定するとともに、カメラ152の露光時間及びホワイトバランスの調整を行い立体検出用の撮像に係るパラメータを決定し、記憶部154に記憶する。
 まず、ステップS701~ステップS703の直線検出処理に適した画像を取得するための調整処理について説明する。直線検出処理に適した画像とは、カメラ152で撮像する対象物に均等に光が照射されていて所定以上の輝度を有していることである。ここでも前述の調整用基準媒体を用いる。
 まず、検査・調整部155aは、全てのLED151a~151kを点灯して、カメラ152で撮像した画像を解析することによってカメラ152の適切な露光時間の調整を行い、調整値をパラメータとして格納する(ステップS701)。具体的には、カメラ152で画像を撮像して、所定の領域における画素毎の輝度の分析を行って輝度の最頻値を求める。その最頻値が所定の範囲に入っているか否かを判定して、入っていないようであれば、ずれに応じてカメラ152の露光時間を調整する。この処理を繰り返すことによって、輝度の最頻値が所定の範囲に入るようなカメラの露光時間を決定する。
 次に、検査・調整部155aは、全てのLED151a~151kを点灯して、ステップS701で決定した露光時間でカメラ152が撮像した画像を解析してカメラ152の適切なホワイトバランス(WB)の調整を行い、調整値をパラメータとして格納する(ステップS702)。具体的には、ステップS701で行った処理を撮像した画像の画素ごとの光の赤成分、緑成分及び青成分に対して行い、輝度の最頻値が所定の範囲に入っているか否かを判定して、入っていないようであればずれに応じて、カメラ152のホワイトバランスの設定を調整する。この処理を繰り返すことによって、光の赤成分、緑成分及び青成分が同じレベルとなるようにカメラ152のホワイトバランスを決定する。
 最後に、検査・調整部155aは、全てのLED151a~151kを点灯して、ステップS701で決定した露光時間とステップS702で決定したホワイトバランスでカメラ152で撮像した画像を解析して、撮像領域によらず均等な輝度の画像が撮像できるようにLED151a~151kの出力値を調整し、調整値をパラメータとして格納する(ステップS703)。具体的には、領域ごとに撮像された画像の輝度の最頻値を求める。その輝度の最頻値が所定の範囲に入っているか否かを判定して、入っていないようであれば算出された輝度の最頻値の値に応じてその領域に対応するLED151a~151kの出力値を調整する。この処理を繰り返すことによって、全ての領域で均等な輝度の画像が撮像できるようなLED151a~151kの出力値を決定する。
 次に、ステップS704~ステップS707の立体検出処理に適した画像を取得するための調整処理について説明する。立体検出に適した画像とは、領域ごとに規定される2種類のLEDの点灯パターンを使用して撮像される画像の輝度が同等で、所定のコントラストがあることである。
 検査・調整部155aは、領域ごとの2種類のLED151a~151kの点灯パターンごとに、ステップS704~ステップS707の処理を行うことによって、点灯パターンごとに点灯するLED151a~151kの出力値及びカメラ152のホワイトバランスを決定する。
 まず、検査・調整部155aは、評価対象領域に対応する点灯パターンのLEDを点灯して、カメラ152で画像を撮像して、撮像した画像を解析して当該領域の画像が所定の範囲の光量が得られるようにLEDの発光強度の調整を行い、調整値をパラメータとして格納する(ステップS704)。具体的には、撮像した画像を解析して輝度の中央値を算出し、その中央値が所定の範囲に入っているか否かを判定して、入っていないようであれば、ずれに応じて対応するLEDの出力値を調整する。この処理を繰り返すことによって、輝度の中央値が所定の範囲に入るようなLEDの出力値を決定する。
 次に、検査・調整部155aは、評価対象のLEDをステップS704で調整した出力値で点灯して、カメラ152で画像を撮像して、撮像した画像を解析して所定のコントラストが得られるようにLEDの発光強度の調整を行い、調整値をパラメータとして格納する(ステップS705)。具体的には、撮像した画像の輝度値の最大値と最小値がそれぞれ所定の範囲に入っているか否かを判定して、入っていないようであれば、ずれに応じて対応するLEDの出力値を調整する。この処理を繰り返すことによって、所定のコントラストのある画像を撮像できるLEDの出力値を決定する。
 次に、検査・調整部155aは、評価対象のLEDをステップS705で調整した出力値で点灯して、カメラ152で画像を撮像して、撮像した画像を解析して当該領域の画像が所定の範囲の光量が得られているのかの再確認を行って、カメラの露光時間の最終調整を行う(ステップS706)。最後に、検査・調整部155aは、評価対象のLEDをステップS706で調整した出力値で点灯して、カメラ152で画像を撮像して、撮像した画像を解析することによって、LED151a~151kの点灯パターンに対するカメラ152の適切なホワイトバランスの調整を行って(ステップS707)、処理を終了する。このように、ステップS704~ステップS707を全ての領域の全てのLEDの点灯パターンごとに実施することによって、全ての領域の全てのLEDの点灯パターンに対応するLED151a~151kの出力値とカメラ152のホワイトバランスを決定することができる。
 ここでは、図示しない回路を用いてLEDの発光電流が制御されており、具体的にはDAコンバータの出力電圧で制御されるようになっている。従い、パラメータ値としては、数値が用いられる。また、撮像に係るパラメータは露光時間のパラメータとしてはカメラの制御モジュールのシャッタ時間の制御レジスタに数値を、ホワイトバランスのパラメータとしてはカメラの制御モジュールの赤色、青色、緑色のホワイトバランス制御レジスタに数値を書き込む様になっている。これらのパラメータの決定及び記憶部154への記憶は工場内、或いはメンテナンス時の装置の初期化のときに調整用基準媒体を使って実行され、入金処理時に入出金口140に紙幣が入れられたときに記憶部154から読み出されて使用される。
 上述してきたように、実施例1では、束状態の紙幣を入出金口140で受け付け、受け付けた束状態の紙幣の画像をカメラ152で撮像し、撮像した画像のリブ142a、142b、142c、142dが写り込んだ領域を除いた領域を対象として、撮像した画像において写っている紙幣の厚み方向に略平行な方向に現れる直線の検出に基づいて結束された紙幣に付加された結束物を異物として検知するよう構成したので、金属及び/又は金属以外の素材の物を含むなんらかの結束物によって紙幣が結束された状態で紙幣入出金機100の入出金口140に入金されたときに、その結束物を異物として検知することができる。
 実施例1では、帯封の判定処理は、検出された2つの直線で挟まれる領域について、該領域が帯封であるとすると、該領域がある程度の幅があること、該領域の画素の輝度の変化が少ないこと、及び該領域の紙幣束の厚み方向のエッジ画素が少ないという特徴に基づいて、帯封なのか否かの判定を行う旨の説明をしてきた。しかし、紙幣の種類や、紙幣の状態によっては、帯封ではない領域を帯封と誤検知してしまう可能性がある。具体的には、紙幣の端部に帯状の白色領域を有するような紙幣において、紙幣束の撮像面側の紙幣端が一様にカールしているような場合には、光源との位置関係によっては、紙幣面の白色領域が帯封のように誤認識されてしまう可能性がある。そこで、実施例2では、このようなケースにおいても帯封を正しく検知できるような実施例の説明を行う。
 まず、実施例2に係るより厳格な帯封判定処理の概要を説明する。図16は、実施例2に係る帯封判定処理の概要を説明するための図である。
 図16(a)は、点線の四角で示したように紙幣の左端に白色領域を有する紙幣束の例である。また、実施例2で示す入出金口140は、実施例1と同様に光源部151を有しており、光源部151は、図16(a)に示すように紙幣束の下面を図面の奥側から照射するように設置されている。詳細な位置関係は図16(b)で示す。図16(a)に示すように、紙幣の端部に帯状の白色などの単一色の領域を有する紙幣の束に対してy方向から取得した画像に基づいて直線の検出を行った場合には、図16(a)に示す帯封が存在しない場合においても、帯状の白色領域を帯封として誤検知する可能性がある。
 図16(b)は、図16(a)に示した紙幣束を、図16(a)に示したy方向から撮像した画像の例を示している。また、図16(b)に示すように、光源部151は、紙幣束に対して、紙幣束の底面を図面上に示す矢印の方向から光を照射する。図16(c)は、図16(b)に示した点線の円で示した帯封部分を拡大した図である。帯封の画像には光源部151と帯封面との関係で、図16(c)に示すように、光源に近い帯封の角付近に、他の帯封の領域と比較すると輝度の高いテカリが存在するという特徴を有している。また、帯封の角付近のテカリを生じているテカリ画素があるか否かは、例えば、当該テカリ画素が、検出された直線の端点付近に存在しているか否かで判定ができる。このような特徴を満たす場合に、帯封が紙幣束についていると判定される。実施例2では、このように帯封であれば、光源に近い角周辺部分にテカリが現れるという特徴があるので、検出された直線に近い領域に帯封に起因するテカリ画素が存在するという条件を付加して帯封の判定を厳格化するものである。
 図16(d)は、図16(a)に示した紙幣束のx方向から見た紙幣束のイメージの例と光源部151との位置関係を示した図である。官封券の場合などは、図16(d)に示したように、紙幣端に紙幣裁断による同一方向への微妙なカールが残っている場合がある。このカールの方向と光源部151の位置関係が、図16(d)に示すように光源部151がカールの凸面側に位置する場合などは、撮像した画像に関して、紙幣端の白色領域と模様領域との境界が直線として検出されたり、白色領域の部分にテカリが検出されてしまうことがある。
 図16(e)は、入出金口140に載置された紙幣の枚数が多い場合の例であって、図16(a)に示した紙幣束のx方向から見た紙幣束のイメージの例と光源部151との位置関係を示した図である。図16(e)で示したように、紙幣の枚数が多い場合には、紙幣束に対する光源部151と紙幣束の位置関係から、図16(e)に矢印で示した辺りに対する光量が不十分であり、帯封があってもテカリが発生しないことがある。
 実施例2では、図16(a)で示したような紙幣の短手方向に帯状の白色領域を有する紙幣において、図16(d)に示したように帯封でない部分でテカリが検出されてしまうケースや、図16(e)に示したように帯封であってもテカリとして検出できないケースを適切に対処することによって、図16(c)に示した帯封に起因するテカリに係る特徴に基づいて、より厳格に帯封の判定を行う。図16(d)に示したように帯封ではない部分におけるテカリの検出の回避の具体的な方法、及び図16(e)に示したようなケースに帯封のテカリを検出する具体的な方法は後述する。
 次に、図2に示した入出金口140の実施例2に係る内部構造と動作を、図17を用いて説明する。図17は、入出金口140に載置された紙幣の枚数が多い場合に、図16(e)に示したような状態になる場合の対処方式を説明するための図である。
 図17(a)~(e)は、紙幣入出金機100の装置底面及び装置背面に対して垂直な面による入出金口140の断面を示す図である。図17(a)は、入出金口140に紙幣束が載置され、シャッタ141が閉じた状態を示している。入出金口140は前に傾いていることから、紙幣束は、操作者からみて入出金口140の手前側のガイド部145に紙幣面を、リブ142に紙幣束の厚み方向の面を接するように載置される。図17(a)に示すように、載置された紙幣束に対して光源部151及びカメラ152は、操作者からみて入出金口140の奥側の下方に配置されているので、紙幣束に帯封がある場合には矢印で示した紙幣束の角の辺りにテカリが検出される。また、入出金口140の操作者から見た手前側には繰り出し部144を備えており、輪ゴムや帯封などの異物が含まれていないことを確認後に、入出金口140に入金された紙幣を一枚ずつ搬送部160に繰り出す。
 図17(b)は、入出金口140に入れられた紙幣束を紙幣押さえ143が矢印に示す方向に動いてガイド部145の側に向かって押圧した状態を示した図である。図17(b)に示した状態において、光源部151で紙幣束の下面に光を照射して、カメラ152によって紙幣束の下面の画像を取得する。なお、紙幣押さえ143の駆動には図示しないリンク機構及びモータ等が用いられる。
 図17(c)は、図17(b)で撮像した紙幣束の画像に基づいて異物が無いと判定された後に、ガイド部145及び紙幣押さえ143が一体的に矢印で示した方向に移動して、紙幣を繰り出し部144によって搬送部160に繰り出すことのできる位置に移動させた状態を示す図である。紙幣束を紙幣押さえ143が繰り出し部144のキッカローラ144a側に向かって押圧しながら当該キッカローラ144aが図17(c)における時計回りの方向に回転することにより、載置されている紙幣のうち図17(c)における最も左下側にある紙幣がキッカローラ144aにより1枚ずつ下方に蹴り出され、蹴り出された紙幣はフィードローラ144b及び対向ローラ144cにより搬送部160に1枚ずつ繰り出されるようになる。
 図17(d)は、入出金口140に入れられた紙幣束の枚数が多い場合の例を示す図である。図17(d)に示す状態で紙幣束の下面の画像を取得した場合には、矢印で示す紙幣束の角に近い部分の画像が、光源部151及びカメラ152との位置関係によって暗い画像となってしまい、帯封の特徴であるテカリが検出できないという事態になることがある。紙幣束と光源部151及びカメラ152との位置関係が、図17(d)に示したような位置関係の場合に、帯封の候補となる直線が図17(d)に矢印で示した紙幣束の角付近に検出された場合には、テカリの検出を行えるようにするために、図17(e)に示すようにガイド部145及び紙幣押さえ143が一体的に矢印で示した方向に移動して、矢印で示す紙幣束の角付近と光源部151及びカメラ152との位置関係を変更して、再度紙幣束の下面の画像を取得し、取得した画像に基づいて帯封の有無の判定を行う。このようにして取得した画像を用いることによって、入れられた紙幣の枚数が多い場合であっても、帯封があれば帯封の領域にテカリを検出することができ、テカリ検出に基づく帯封の判定を行うことができる。
 次に、実施例2に係る紙幣束のテカリ画素を特定する方法の概要を、図18を用いて説明する。
 図18(a)は、カメラ152で撮像した紙幣束の画像のうち、帯封に対応する部分の画像の例である。図18(a)に示す画像は、x軸方向の2箇所で帯封の端に対応する直線が検出されていて、該2つの直線で挟まれる領域の光源に近い方の側であるy軸の負の方向の端付近にx軸に平行にテカリが現れているという例である。
 図18(a)に示した画像に対して、テカリを構成する画素であるテカリ画素の特定方法を説明する。カメラ152で撮像した画像の帯封の候補である領域に含まれるy軸に平行な直線状の画素列ごとに、当該直線状の画素列に含まれるそれぞれの画素がテカリ画素なのか否かの判定を行うことによって、テカリ画素の特定を行う。
 図18(b)は直線状の画素列ごとのテカリ画素の特定方法を説明するための図である。図18(b)のY0、Y1、Y2、Y3は直線状の画素列に含まれる画素を示しており、Y0とY1の画素間にはd1個の画素があり、Y1とY2の画素間にはd2個の画素があり、Y2とY3の画素間にはd3個の画素があることを示している。
 判定の条件は、例えば、Y3の画素の輝度値が所定の閾値より高く、Y3よりY2、Y2よりY1の輝度値が高く、Y1よりY0の輝度値が低く、Y3とY1の輝度値の差及びY1とY0の輝度値の差が所定の閾値より大きい場合には、Y1をテカリ画素と判定する。
 このようにして、帯封の候補である領域に含まれるy軸に平行な直線状の画素列に含まれるテカリ画素を特定し、それを帯封の候補である領域に含まれるy軸に平行な全ての直線状の画素列に対して行うことによって、帯封の候補である領域に含まれる全てのテカリ画素を特定することができる。
 次に、図16(a)に示した紙幣端に白色領域を有する紙幣を対象としている場合に、帯封判定に使用するテカリ画素の探索を行わない評価対象外の領域であるマスク範囲を、図19を用いて説明する。図16(a)に示した紙幣端に白色領域を有する紙幣の束において、図16(d)に示したように紙幣端がカールしていて、光源部151にカールの凸面が向いているような位置関係の場合などには、帯封が存在していない場合でも紙幣端の白色領域に対応する位置にテカリを検出してしまうことがある。図19では、このようなケースを想定して、紙幣端の白色領域に対応するテカリ画素を帯封判定に無効とすることを目的として、テカリ画素の検出を行わない、又はテカリ画素を検出しても帯封判定には無効として使用しないマスク範囲の決定方法を説明する。
 図16(a)の点線の四角で示したような白色領域を紙幣端に有する紙幣が対象に含まれる場合、対象となる紙幣の種類を全て考慮した紙幣端からの白色領域の最大幅に対応する画素数である最大マスク画素数を既知の情報として事前に設定等で記憶しておくことが可能である。
 図19(a)は、紙幣端より最大マスク画素数の範囲内に直線を検出した場合のマスク範囲の判定方法を説明するための図である。まず、検出した直線と紙幣端とで挟まれる領域のテカリ画素を特定する。次に、図19(a)に点線の四角で示した、検出した直線と、紙幣端と、所定のy軸上の範囲とで囲まれる評価領域のテカリ画素の比率を算出する。このようにして算出したテカリ画素の比率が所定の割合以上であった場合には、特定されたテカリは紙幣端の白色領域に起因するものとして、検出した直線と紙幣端とで挟まれる領域をマスク範囲として、当該範囲のテカリ画素は帯封判定に用いるテカリ画素から除外する。
 図19(b)は、紙幣端より最大マスク画素数の範囲内に直線が2本検出された場合のマスク範囲を説明するための図である。紙幣端より最大マスク画素数の範囲内に直線が2本検出された場合には、白色領域に帯封が存在している場合を考慮して、図19(b)の点線の四角で示すように紙幣端に近い位置に検出された直線1と紙幣端の間をマスク範囲として、検出されたテカリ画素は、帯封判定に用いるテカリ画素から除外する。これによって、検出された直線1と紙幣端から遠い位置に検出された直線2とが帯封に起因する直線であった場合には、直線1と直線2で挟まれる範囲のテカリ画素は帯封判定に用いるテカリ画素として使用されることとなり、帯封が白色領域に存在していてもテカリを利用した帯封の判定を行うことができる。
 図19(c)は、紙幣端より最大マスク画素数の範囲内に直線が2本検出され、紙幣端に近い位置に検出した直線1が紙幣束の厚み方向の一部の範囲についてのみ有効と判定されている場合のマスク範囲を説明するための図である。図19(c)に示した検出した直線1のように、途中までしか有効ではないと判定されている場合には、直線として有効と判定されているy座標の範囲に関しては、紙幣端から検出した直線1の範囲をマスク範囲として、直線として有効ではないと判定されているy座標の範囲に関しては、紙幣端から遠い位置に検出した直線2までの領域をマスク範囲とする。
 帯封に起因して検出される直線の検出精度は高いことから、帯封であるのに直線の一部が検出できないという可能性は極めて低い。つまり、直線として有効ではないと判定されたy座標の範囲も、紙幣端から直線1に対応するx座標までの領域をマスク範囲としてしまうと、直線1と直線2に挟まれる範囲のテカリ画素が有効となってしまい、直線1と直線2に挟まれた部分を帯封と誤判定してしまう。これを、防止するために、直線として有効ではないと判定されているy座標の範囲に関しては、紙幣端から遠い位置に検出した直線2までの領域をマスク範囲とする。
 次に、実施例2に係る紙幣入出金機100の入出金口載置状態検知部350の内部構成を説明する。実施例2に係る紙幣入出金機100の入出金口載置状態検知部350の内部構成は、図5に示した実施例1に係る入出金口載置状態検知部150と比較すると、実施例1のエッジ検出部155eをエッジ検出部355eに、実施例1の帯状物判定部155gを帯封判定部355gに置き代えることにして、図5を用いて説明を行うことにする。そして、以下に、実施例1の入出金口載置状態検知部150と異なる、エッジ検出部355e及び帯封判定部355gについて、実施例1のエッジ検出部155e及び帯状物判定部155gとの差異に重点をおいて説明する。
 エッジ検出部355eは、直線の検出方法自体は実施例1と同様である。実施例1と差異があるのは、図17(d)に示したように紙幣が所定の枚数よりも多い場合である。図17(d)の矢印で示した側に近い領域は取り付けられた光源の光軸の周辺となるので十分な照度を得ることができず、直線検出はできるが帯封の判定の精度が不十分となる。この領域で直線を検出した場合には、図17(e)に示すようにガイド部145及び紙幣押さえ143を一体的に矢印で示した方向に移動させることによって、紙幣束をキッカローラ144a側へ移動させる。そして、再度紙幣束の下面の画像を取得しなおしたうえで直線検出を再度実施する。紙幣が所定の枚数よりも多いことは、取得した画像に基づいて紙幣束の厚み方向の画素数をカウントして、該画素数が所定の閾値以上になったことをもって判定するものとする。
 実施例1の帯状物判定部155gは、検出された2本の直線で挟まれた領域の画素値の均一性をもって、検出された2本の直線で挟まれた領域を帯封と判定したが、実施例2の帯封判定部355gは、検出された直線に挟まれた領域の所定の範囲にテカリ画素が検出され、該テカリ画素の該所定の範囲の全画素に対する割合が所定の閾値以上であれば、検出された2本の直線で挟まれた領域を帯封と判定する。ただし、紙幣端からの白色領域の影響でテカリ画素を検出するケースを考慮して、図19で説明したマスク範囲についてはテカリ画素の検出を行わない、若しくは検出しても帯封判定には使用しないものとする。
 次に、実施例2に係る入出金口載置状態検知部350による異物検知処理の全体の処理手順を説明する。図20は、実施例2に係る入出金口載置状態検知部350による異物検知処理の全体の処理手順を示すフローチャートである。前述したとおり、直線の検出方法自体は実施例1と同様であることから、実施例1で説明した部分については、実施例1で説明した処理との対応関係を示すことによって説明を省略して、実施例1と異なる部分を中心に説明する。
 画像撮像処理(ステップS801)から連続性評価処理(ステップS804)は、実施例1の図6に示したステップS201からS209に対応している。つまり、画像撮像処理(ステップS801)では、画像取得部155bは、カメラ152により高解像度で対象画像の撮像を行い、この画像を取得する。次に、直線検出一連処理(ステップS802)は、取得した高解像度の画像データから載置状態対象の領域抽出を行い、抽出した画像に対してグレイの多諧調画像に変換する。そして、直線が少なくとも1本検出された場合に、高解像度の画像を用いて直線検出を行なってなければ、高解像度の画像データを撮像し、この高解像度画像を利用して直線検出処理を行なう(ステップS803)。直線が検出された場合(ステップS803;Yes)には、直線の妥当性の評価を行なう(ステップS804)。また、直線が検出されなかった場合(ステップS803;No)には、異物の検知は無いものとして処理を終了する。
 撮像した紙幣束の画像から紙幣束の厚みに基づいて紙幣束が200枚以上で、紙幣束の画像の光源部151に近い側の領域にステップS804の直線の連続性の評価で有効と判定された直線が存在する場合(ステップS805;Yes)には、エッジ検出部355eは、図17(e)に示すようにガイド部145及び紙幣押さえ143を一体的に繰り出し部144の方向に移動して(ステップS806)、ステップS801に戻る。また、紙幣束が200枚未満と判定されるか、紙幣束が200枚以上と判定されても、紙幣束の画像の光源部151に近い側にステップS804で有効と判定された直線が存在しない場合(ステップS805;No)で、ステップS804の直線の連続性の評価で有効と判定された直線が存在しない場合(ステップS807;No)には、異物の検知は無いものとして処理を終了する。
 ステップS804の直線の連続性の評価で有効と判定された直線が存在する場合(ステップS807;Yes)には、帯封判定部355gは、最大マスク画素数と、検出した直線、及びその直線の有効範囲に基づいてテカリ画素検出を行わないマスク範囲を決定する(ステップS808)。詳細なマスク領域の決定処理の内容は図19で説明した通りである。また、帯封判定部355gは、撮像した画像からステップS808で決定したマスク範囲を除いた領域に対するテカリ画素を特定する(ステップS809)。帯封判定部355gは、ステップS804の直線の連続性の評価で有効と判定された直線の情報と、ステップS809で特定されたテカリ画素とに基づいて、帯封の有無の判定を行う(ステップS810)。具体的には、検出された2つの直線に挟まれた領域の所定の範囲にテカリ画素が検出され、該テカリ画素の該所定の範囲の全画素に対する割合が所定の閾値以上であることをもって、検出された2つの直線に挟まれた領域が帯封であると判定する。
 ステップS811の立体形状物有無判定処理ステップS811は実施例1の図6のステップS212に対応する。
 上述してきたように、実施例2では、実施例1の構成に加えて、帯封の判定に関して、撮像した画像の長手方向の紙幣端からの所定範囲と、検出した直線とに基づいてテカリ画素の検出対象外とするマスク範囲を特定し、マスク範囲以外の領域においてテカリ画素を検出し、検出した2つの直線の間の領域の所定の範囲のテカリ画素の占める割合をもって、検出した2つの直線の間の領域を帯封であると判定するように構成したので、帯封の検知を厳格化することができる。
 実施例1では、輪ゴムなどの立体的な形状を特徴とする結束物の有無の判定は、図13で説明したように、立体的な形状物の有無の判定対象領域に対して、違う方向から光を照射して取得した2枚の画像の差異を評価することによって行うという説明を行ってきた。これは、違う方向から光を照射した場合に、立体的な形状物が存在すれば輝度差の大きい領域ができることを利用したものであった。しかしながら、紙幣の種類、状態及び照射する光の角度によっては、取得した画像にテカリが発生してしまい、該テカリによって取得した2つの画像の差異が大きくなり、実際には立体物ではないにも関わらず立体的な形状物が存在すると誤判定されてしまうことも考えられる。そこで、実施例3ではこのような、立体的な形状物が存在しない場合に、テカリなどの影響による立体物であるとの誤判定を回避できるような立体形状物の判定処理の例について説明する。
 まず、実施例3に係る紙幣入出金機100の入出金口載置状態検知部350の内部構成を説明する。図21は、実施例3に係る紙幣入出金機100の入出金口載置状態検知部350の内部構成を示すブロック図である。図21では、図5に示した入出金口載置状態検知部150と同じ構成要素については同じ符号を付与し、実施例1の入出金口載置状態検知部150と同じ構成要素についての説明は省略して、入出金口載置状態検知部150と異なる構成要素について主に説明する。
 実施例3で実施例1と比較して差異があるのは、立体形状物有無判定部355hのみである。実施例3の立体形状物有無判定部355hは、立体的な形状物の有無の判定対象の領域に対して、違う方向から光を照射して取得した2枚の画像を利用するところまでは実施例1と同じで、実施例3ではそれぞれの画像から影と判定される領域を特定し、それぞれの影の位置が異なることをもって立体物が存在することの判定を行う。詳細な処理内容は後述する。
 まず、実施例3に係る立体形状物有無判定処理の概要を説明する。図22は、実施例3に係る立体形状物有無判定処理の概要を示す図である。
 図22(a)は、図22に示した輪ゴムで結束された紙幣束の底面に対して、左側に位置する光源から右方向に光を照射して、カメラ152で撮像した画像の例を示している。図22(a)に示すように、紙幣束の底面に対して、左側に位置する光源から光を照射していることから、輪ゴムの位置の右側に影が現れている。また、図22(b)は、輪ゴムで結束された紙幣束の底面に対して、右側に位置する光源から光を照射して、カメラ152で撮像した画像の例を示している。図22(b)に示すように、紙幣束の底面に対して、右側に位置する光源から左方向に光を照射していることから、輪ゴムの位置の左側に影が現れている。
 次に、図22(a)の画像から影と判定される領域を特定する。具体的には、図22(a)に示した画像データをx軸方向に探索して前後と比較して輝度が低くなっている領域を影と判定する。また、同様にして図22(b)の画像から影と判定される領域を特定する。図22(c)は、このようにして得られた図22(a)から特定された影の領域(c1)と、図22(b)から特定された影の領域(c2)とを示したものである。
 図22(a)から特定された影の領域(c1)と、図22(b)から特定された影の領域(c2)とに基づいて、2つの領域を併せた領域の画素数及び2つの領域に共通な領域の画素数をカウントして、2つの領域に共通な領域の画素数の2つの領域を併せた領域の画素数に対する割合が所定の閾値以下である場合には、影が違う位置にできていることとなるので立体的な形状物があるものと判定する。
 図22(c)の例は、図22(a)から特定された影の領域(c1)は輪ゴムの位置よりも右に現れて、図22(b)から特定された影の領域(c2)は輪ゴムの位置よりも左に現れていることから、2つの領域に共通な領域の画素が存在しない例であり、このような場合には立体的な形状物が存在すると判定されることとなる。
 次に、実施例3に係る立体形状物有無判定処理の処理手順を説明する。図23は、実施例3に係る立体形状物有無判定処理の処理手順を説明するためのフローチャートである。前述の通り、立体形状物有無判定処理は、違う方向から光を照射して取得した2枚の画像を利用するところまでは実施例1と同じであることから、図13に示したステップS506までは同じであるので、図23では、図13に示したステップS506に続く処理の処理手順を説明する。
 立体形状物有無判定部355hは、ステップS503で取得した第1画像に基づいて、第1画像の影の領域の特定を行う(ステップS901)。具体的には、第1画像に対して、紙幣束の厚さ方向と垂直な方向に対して探索して前後と比較して輝度が低くなっている領域を影と判定する。また、同様にして、立体形状物有無判定部355hは、ステップS504で取得した第2画像に基づいて、第2画像の影の領域の特定を行う(ステップS902)。
 次に、立体形状物有無判定部355hは、ステップS901及びステップ902で特定した第1画像の影の領域と第2画像の影の領域とに共通する領域の画素数のカウントを行う(ステップS903)。また、立体形状物有無判定部355hは、ステップS901及びステップ902で特定した第1画像の影の領域と第2画像の影の領域とを併せた領域の画素数のカウントを行う(ステップS904)。
 立体形状物有無判定部355hは、ステップS903でカウントした第1画像の影の領域と第2画像の影の領域とに共通する領域の画素数の、ステップS904でカウントした第1画像の影の領域と第2画像の影の領域とを併せた領域の画素数に対する割合を算出し(ステップS905)、当該割合に基づいて立体的な形状物が存在するのか否かの判定を行なって(ステップS906)、処理を終了する。具体的には、ステップS905で算出した割合が所定の閾値以下である場合には、立体的な形状物があるものと判定し、ステップS905で算出した割合が所定の閾値を超えている場合には、立体的な形状物はないと判定する。
 上述してきたように、実施例3では、実施例1の構成に加えて立体物の検知について、違う方向から光を照射して取得した2枚の画像から影の領域をそれぞれ特定し、2つの影の領域の重なりの度合いによって立体的な形状物の有無の判定を行うよう構成したので、金属及び/又は金属以外の素材の物を含むなんらかの結束物によって紙幣が結束された状態で紙幣入出金機100の入出金口140に入金されたときに、その結束物を異物として検知することができ、立体的な形状物で結束されている場合のテカリの影響などによる誤検知の可能性を低減させることができる。
 次に実施例1で説明した内容で、入出金口140に入金された紙幣束の載置状態で特に紙幣の折れ込み、紙幣の載置方向に異常があった場合等の検出方法について説明をする。
 図24(a)は紙幣束の紙幣のうちの1枚が折れた状態の検知端面で目視確認できる場合のカメラ画像を示している。この場合は、図6のフローチャートのステップS201~ステップ208の処理にて直線の検出をした結果、所定範囲の長さの直線を検出した場合に、図23にて説明を行った立体形状物有無判定処理を実施する。そして、例えば、輪ゴム、紙幣折れ込み、紙幣の潜り込み、蛇腹状紙幣等であると判定する。いずれにしても、紙幣処理装置は、束状紙幣の載置状態に異常を検出すれば、利用者に入金紙幣束の確認を促す処理を行なう。なお、図24(a)の紙幣折れの場合では、検出した線分は図24(b)の実線の表示の様になり、影は横方向に出る。
 次に図25(a)は、札長の異なる複数種類の金種の束を片方に寄せて載置された場合のカメラ画像を示している。金種毎に札長の異なる紙幣が複数金種分纏められて、一方に寄せた状態でまとまって入出金口140に入金された場合である。紙幣端の見え方が照明条件によって異なるので、図25に示す様に、直線部が検出されて異物として誤検知する課題があった。ここで、図25(b)は左から右方向に光を照射した場合の左照射画像で、図25(c)は右から左方向に光を照射した場合の右照射画像であって、及び直線検出状態を説明するための画像である。両画像の差分を取った差分画像を図25(d)に示している。札幅の長い金種の紙幣束の間に札幅の短い金種の紙幣束があった場合に図24に示した紙幣折れと同様な検出をすることができる。この場合は、検出した直線部の部位を紙幣束の両端付近に限定することにより、誤判定の可能性を減らすことができる。この場合には、紙幣処理装置は、通常の繰り出し動作を行なうことができる。
 次に図26(a)は、紙幣束の表面か裏面の1枚が斜めになって紙幣束の下端面を部分的に覆っている場合のカメラ画像を示している。この場合は、上述の直線検出を行なった結果、図26(b)に示す様な紙幣の絵柄の直線が検出される。巻き込み部に凹凸があるため影の存在が認められることになる。そして、図23で説明を行った立体形状物有無判定処理を施すと、影の位置と直線の位置は対応して存在しており、立体物であるとの判断がされる。この場合も、紙幣処理装置は、利用者に入金紙幣束の確認を促す処理を行なう。
 次に図27(a)は、入出金口140に束状紙幣が載置されるときに撓められたまま略水平に置かれた場合の束状紙幣の形状を示す図である。この場合、図27(b)に示す様に、紙幣の図柄のある表面がカメラ152に撮像されるので、図27(c)に示すように図柄にある直線部分が検出される。しかしながら、左照射画像である図27(d)のリブの画像と右照射画像である図27(e)が示す様に、リブの影401と402は異なる位置に発生している。次に、絵柄に起因する直線の成分に起因する影成分があるかどうかを判定する。図の例では、絵柄とリブの影の関係で左照射画像と右照射画像とで紙幣の文字の近傍の暗部の見え方が変化するので100の文字部分の直線が立体性ありと検出されることになる。白紙部分の多い紙幣だと直線は検出されず立体性の検出ができない場合もある。この様に紙幣の絵柄が図の例と違っていても、入出金口140に載置される紙幣束の曲げの方向が逆であっても、リブの影が紙幣全体に出現するので、載置異常と判断ができる。この場合には、紙幣処理装置は、利用者に入金紙幣束の確認を促す処理を行なう。
 次に図28(a)は、入出金口140に載置された紙幣が蛇腹状に折り癖がついたものである場合のカメラ画像を示している。この場合、図28(b)に示す様に直線部分が複数検出される。また、この場合には、紙幣束に凹凸があるので各直線に対応する影の存在が検出される。よって複数の立体物が紙幣束に存在することが検出できるので蛇腹紙幣であると判断をする。このように蛇腹紙幣であると認識した場合には、繰り出し速度を低速にすることによって、入金処理を行なうこととしてもよい。
 なお、上述した輪ゴム、紙幣の折れ、紙幣の潜り込みの状態の検知には、次の条件が使える。輪ゴムは直線と左右の影が近くて幅が狭い。紙幣の折れは直線が短くて影が横長、潜り込みは影が直線と交差している。蛇腹は立体形状と判定される直線が多数ある。これらの特長により、紙幣の載置状態が判定できる。
 なお、上述の実施例1~4では、入出金口140の下部に光源部151及びカメラ152を配置して、入出金口140に入金された紙幣を下側から撮像するものとして説明を行ってきたが、本発明はこれに限定されるものではなく、光源部151及びカメラ152を入出金口140の上部に取り付けて、シャッタ141の裏面に鏡を配置して、鏡面に写った紙幣を撮像することによって紙幣の上からの画像を取得するものとしてもよい。また、縦に挟む非金属の素材のマネークリップなども検出するために、入出金口140の横に光源部151及びカメラ152を配置して、入金された紙幣の短手方向から撮像した画像を取得するものとしてもよい。
 また、上述の実施例1~4では、束状態になった紙幣を対象に該紙幣束を結束する結束物を異物として検知することを説明してきたが、本発明はこれに限定されるものではない。例えば、小切手、商品券などの有価書類及び大きさの整った紙片等の束を対象として、それらを結束する結束物を異物として検出するものとしても良い。
 また、上述の実施例1~4では、撮像した画像をグレイ画像に変換して、グレイ画像を利用して直線検出処理、連続性評価処理、帯状物判定処理及び立体形状物有無判定処理を行うことを説明してきたが、本発明はこれに限定されるものではない。例えば、撮像した画像の彩度や明度の画像を作成し、彩度の画像又は、明度の画像を利用して直線検出処理、連続性評価処理、帯状物判定処理及び立体形状物有無判定処理を行うものとしてもよい。さらに、RGB画像又はその組み合わせ画像を用いてもよい。撮像画像で紙幣の基材と帯とが同程度の明るさである場合にはグレイ画像、明度の画像、彩度の画像ではエッジが出にくいが、両者の色相が異なっていれば、カラー画像を用いることは好都合である。詳しくは、R画像、G画像、B画像において、前述の直線検出処理、連続性評価処理、帯状物判定処理及び立体形状物有無判定処理を施し、いずれかの画像の処理で立体物の付着、或いは、載置状態の異常が検知された場合にはその結果を最終判定結果とする。
 また、上述の実施例1~4では、撮像した画像のリブ142a、142b、142c、142dの写り込んだ部分を含む領域を載置状態検出対象外の領域とすることによって、写り込んだリブ142a、142b、142c、142dを紙幣に付加された異物として誤検知しないようにしたが、本発明はこれに限定されるものではない。例えば、リブ142a、142b、142c、142dの素材を光が透過する素材の物とすることによって、リブ142a、142b、142c、142dの写り込みも発生しなくなり、異物検出対象外の領域の作成についてリブ142a、142b、142c、142dの写り込みに対する除外処理をしないものとしてもよい。
 また、上述の実施例1~4で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
 以上のように、本発明に係る束状紙葉類の載置状態検出装置及び載置状態検出方法は、金属及び/又は金属以外の素材の物を含むなんらかの結束物によって紙幣が結束された状態で紙幣入出金機の紙幣入出金口に入金されたときに、その結束物を異物として検知することに適しているとともに、紙幣入出金口に入金された紙幣束の整体状況を検出することができ、適宜利用者に入金紙幣束の確認及び載置し直しを促すことができるので、紙幣処理装置の運用効率を上げることができる。
  100 紙幣入出金機
  110 表示操作部
  120 カードリーダ
  121 カード挿入口
  130 数字入力部
  140 入出金口
  141 シャッタ
  142、142a、142b、142c、142d リブ
  143 紙幣押さえ
  144 繰り出し部
  144a キッカローラ
  144b フィードローラ
  144c 対向ローラ
  145 ガイド部
  150、350 入出金口載置状態検知部
  151 光源部
  151a、151b、151c、151d、151e、151f、151g、
  151h、151i、151j、151k LED
  152 カメラ
  153、210 通信部
  154、220 記憶部
  155、230 制御部
  155a 検査・調整部
  155b 画像取得部
  155c 対象領域特定部
  155d グレイ画像生成部
  155e、355e エッジ検出部
  155f 直線検出部
  155g、355g 帯状物判定部
  155h、355h 立体形状物有無判定部
  160 搬送部
  170 鑑別部
  180 紙幣収納部
  190 明細書プリンタ
  191 明細書発行口
  200 音声通話部
  231 入金処理部
  232 出金処理部

Claims (19)

  1.  束状態の紙葉類を受け付けて1枚ずつ繰り出した紙葉類を処理する紙葉類処理装置の紙葉類受付部に載置された束状態の紙葉類に付着した異物或いは該束状態の紙葉類の載置状態を検出する束状紙葉類の載置状態検出装置であって、
     前記紙葉類受付部に前記束状態の紙葉類を受け付ける紙葉類受付手段と、
     前記束状態の紙葉類のいずれかの面、もしくは前記束状態の紙葉類の重なりにより形成される面を対象に光を照射する複数の光源と、
     前記複数の光源により照射された前記束状態の紙葉類の重なりにより形成される対象面を撮像する撮像手段と、
     前記複数の光源を同時に発光制御することにより前記対象面に対して均一に光を照射する第1の照射制御手段と、
     前記第1の照射制御手段により均一に光が照射された前記対象面を前記撮像手段により撮像した撮像画像から前記対象面に存在する直線を検出する直線検出手段と、
     前記対象面のうち、前記直線検出手段により検出された直線を含む領域を対象領域とし、前記複数の光源を個別に発光制御することで、前記対象領域に対する光の照射態様が異なる第1の照射状態と第2の照射状態とでそれぞれ照射を行う第2の照射制御手段と、
     前記第1の照射状態と前記第2の照射状態とで前記撮像手段により撮像された前記対象領域のそれぞれの画像の差異の有無に基づいて前記対象領域に所在する立体物の有無を判定する立体物有無判定手段と、
     前記直線検出手段により直線が検出された場合に、前記直線検出手段の検出結果及び前記立体物有無判定手段によって判定された結果に基づいて、前記束状態の紙葉類を結束する結束物の有無或いは、前記束状態の紙葉類の載置状態の良否を検知する検知手段と
     を備えたことを特徴とする束状紙葉類の載置状態検出装置。
  2.  前記紙葉類受付部に載置された束状態の紙葉類と前記複数の光源との間に不透明な部材をさらに備え、
     前記複数の光源は、前記部材に対して対称となる位置に配設された
     ことを特徴とする請求項1に記載の束状紙葉類の載置状態検出装置。
  3.  前記第2の照射制御手段は、前記直線検出手段により検出された直線と前記部材との位置関係に応じて前記第1の照射状態及び前記第2の照射状態の光源点灯制御を行うことを特徴とする請求項2に記載の束状紙葉類の載置状態検出装置。
  4.  前記第1の照射制御手段による発光制御下で前記撮像手段により撮像された基準媒体の撮像結果から、撮像範囲内における輝度値の分布を評価し、該評価結果に基づいて前記第1の照射制御手段による前記複数の光源に対する発光制御に係るパラメータ並びに前記撮像手段による前記対象面の撮像に係るパラメータを予め設定する第1のパラメータ設定手段と、
     前記第2の照射制御手段による発光制御下で前記撮像手段により撮像された基準媒体の撮像結果から、撮像範囲内における輝度値の分布を評価し、該評価結果に基づいて前記第2の照射制御手段による前記複数の光源に対する発光制御に係るパラメータ並びに前記撮像手段による前記対象面の撮像に係るパラメータを予め設定する第2のパラメータ設定手段と
     をさらに備え、
     前記直線検出手段は、前記第1のパラメータ設定手段により設定されたパラメータを用いて撮像した紙葉類の撮像結果から前記対象面に存在する直線を検出し、
     前記立体物有無判定手段は、前記第2のパラメータ設定手段により設定されたパラメータを用いて撮像した前記紙葉類の撮像結果から前記対象領域に所在する立体物の有無を判定する
     ことを特徴とする請求項1、2又は3に記載の束状紙葉類の載置状態検出装置。
  5.  束状態の紙葉類を受け付けて1枚ずつ繰り出した紙葉類を処理する紙葉類処理装置の紙葉類受付部に載置された束状態の紙葉類に付着した異物或いは該束状態の紙葉類の載置状態を検出する束状紙葉類の載置状態検出方法であって、
     前記紙葉類受付部に前記束状態の紙葉類を受け付ける紙葉類受付ステップと、
     前記束状態の紙葉類のいずれかの面、もしくは前記束状態の紙葉類の重なりにより形成される面を対象に光を照射する複数の光源を同時に発光制御することにより対象面に対して均一に光を照射する第1の照射制御ステップと、
     前記第1の照射制御ステップにより均一に光が照射された対象面を撮像した撮像画像から前記対象面に存在する直線を検出する直線検出ステップと、
     前記対象面のうち、前記直線検出ステップにより検出された直線を含む領域を対象領域とし、前記複数の光源を個別に発光制御することで、前記対象領域に対する光の照射態様が異なる第1の照射状態と第2の照射状態とでそれぞれ照射を行う第2の照射制御ステップと、
     前記第1の照射状態と前記第2の照射状態とで撮像された前記対象領域のそれぞれの画像の差異に基づいて前記対象領域に所在する立体物の有無を判定する立体物有無判定ステップと
     を含み、
     前記直線検出ステップにおいて直線が検出された場合に、
     前記直線検出ステップでの検出結果及び前記立体物有無判定ステップによる判定結果に基づいて、前記束状紙葉類を結束する結束物の有無或いは、前記束状態の紙葉類の載置状態の良否を検知する検知ステップと
     を含んだことを特徴とする束状紙葉類の載置状態検出方法。
  6.  束状態の紙葉類を受け付けて1枚ずつ繰り出した紙葉類を処理する紙葉類処理装置の紙葉類受付部に載置された束状態の紙葉類に付着した異物或いは該束状態の紙葉類の載置状態を検出する束状紙葉類の載置状態検出方法であって、
     前記紙葉類受付部に前記束状態の紙葉類を受け付ける紙葉類受付ステップと、
     前記束状態の紙葉類のいずれかの面、もしくは前記束状態の紙葉類の重なりにより形成される面を対象に光を照射する複数の光源を同時に発光制御することにより対象面に対して均一に光を照射して撮像する第1の撮像ステップと、
     前記第1の撮像ステップにより均一に光が照射された対象面を撮像した撮像結果から前記対象面に存在する直線を検出する直線検出ステップと、
     前記対象面のうち、前記直線検出ステップにより検出された直線を含む領域を対象領域とし、前記複数の光源を個別に発光制御することで、前記対象領域に対する光の照射態様が異なる第1の照射状態と第2の照射状態とでそれぞれ照射を行って撮像する第2の撮像ステップと、
     前記第1の照射状態と前記第2の照射状態とで撮像された前記対象領域のそれぞれの撮像画像の影の部分の位置がずれていることに基づいて前記対象領域に所在する立体物の有無を判定する立体物有無判定ステップと、
     前記立体物有無判定ステップによる判定結果に基づいて、前記束状態の紙葉類を結束する結束物の有無或いは、前記束状態の紙葉類の載置状態の良否を検知する検知ステップと
     を含んだことを特徴とする束状紙葉類の載置状態検出方法。
  7.  束状態の紙葉類を受け付けて1枚ずつ繰り出した紙葉類を処理する紙葉類処理装置の紙葉類受付部に載置された束状態の紙葉類に付着した異物を検出する載置状態検出装置であって、
     前記紙葉類受付部に前記束状態の紙葉類を受け付ける紙葉類受付手段と、
     束の厚さが確認できる方向から前記束状態の紙葉類の画像を撮像する画像撮像手段と、
     前記画像撮像手段によって撮像した画像から異物の検知対象の領域を特定する対象領域特定手段と、
     前記対象領域特定手段によって特定された異物の検知対象の領域の前記画像から、紙葉類の束の厚み方向と垂直な方向のエッジを検出するエッジ検出手段と、
     前記エッジ検出手段によって検出したエッジで構成されるエッジ画像の直線状につながる画素数をカウントし、所定数以上の画素があった場合には、前記エッジ画像から直線を検出する直線検出手段と、
     前記直線検出手段によって検出された直線に基づいて、前記紙葉類を結束する異物ありと検知する異物検知手段と
     を備えたことを特徴とする載置状態検出装置。
  8.  前記対象領域特定手段は、前記紙葉類受付手段で受け付けた束状態の紙葉類と前記画像撮像手段の間に不透明な部材が存在する場合、前記画像撮像手段によって撮像した画像から、不透明な部材に対する領域を対象外の領域とすることを特徴とする請求項7に記載の載置状態検出装置。
  9.  前記紙葉類受付手段は、受け付けた束状態の紙葉類と前記画像撮像手段の間に存在する部材が透明であることを特徴とする請求項7に記載の載置状態検出装置。
  10.  前記画像撮像手段はRGBのカラー画像を撮像するものであり、撮像したR画像、G画像、B画像を基に、異物を検出することを特徴とする請求項7、8又は9に記載の載置状態検出装置。
  11.  前記エッジ検出手段は、前記対象領域特定手段によって特定された異物の検知対象の領域の、前記画像撮像手段によって撮像した画像から、彩度を抽出した彩度画像若しくは明度を抽出した明度画像を生成し、前記彩度画像及び/又は前記明度画像を用いてエッジ抽出を行うことを特徴とする請求項7、8又は9に記載の載置状態検出装置。
  12.  単一又は複数の第1の方向に光を照射する光源と第2の方向に光を照射する光源とを有し、それぞれの光源が前記紙葉類受付手段で受け付けた紙葉類の束の厚さ方向と垂直な方向に対して異なる位置に配置され、前記画像撮像手段によって撮像対象の紙葉類の束の面に前記第1の方向の光と、前記第2の方向の光とを照射する光源の発光を制御する光照射制御手段をさらに備えたことを特徴とする請求項7~11のいずれか一つに記載の載置状態検出装置。
  13.  前記異物検知手段は、前記光照射制御手段により第1の方向に光を照射する光源を点灯させて前記紙葉類に光照射した状態で前記画像撮像手段によって撮像された第1の画像と、前記光照射制御手段により第2の方向に光を照射する光源を点灯させて前記紙葉類に光照射した状態で前記画像撮像手段によって撮像された第2の画像とを用いて、前記直線検出手段で検出された直線が含まれる領域の、前記第1の画像と前記第2の画像の差異の評価に基づいて、異物の検知を行うことを特徴とする請求項12に記載の載置状態検出装置。
  14.  前記画像撮像手段は、撮像した画像から高解像度の画像と低解像度の画像を取得することが可能で、
     前記直線検出手段は、前記画像撮像手段で取得した低解像度の画像を基にして直線が検出された場合には、前記画像撮像手段で取得した高解像度の画像を基にして直線の検出処理を行う
     ことを特徴とする請求項7~13のいずれか一つに記載の載置状態検出装置。
  15.  前記異物検知手段は、前記直線検出手段で検出された2つの直線の距離が所定値以上で、前記画像撮像手段で撮像した画像の前記2つの直線によって挟まれる領域の画素値が所定の範囲に入っていることをもって異物の検知を行うことを特徴とする請求項7~14のいずれか一つに記載の載置状態検出装置。
  16.  前記紙葉類受付手段によって受け付けた前記束状態の紙葉類の厚みを検知する厚み検知手段と、
     前記紙葉類受付手段によって受け付けた前記束状態の紙葉類と光源との位置関係を変更する位置変更手段と
     をさらに備え、
     前記画像撮像手段は、前記厚み検知手段で検知した前記束状態の紙葉類の厚みが所定値以上であって、前記直線検出手段によって直線が検出された場合には、前記位置変更手段によって前記束状態の紙葉類と光源との位置関係を変更したうえで前記束状態の紙葉類の画像を撮像しなおす
     ことを特徴とする請求項7~15のいずれか一つに記載の載置状態検出装置。
  17.  束状態の紙葉類を受け付けて1枚ずつ繰り出した紙葉類を処理する紙葉類処理装置の紙葉類受付部に載置された束状態の紙葉類に付着した異物を検出する載置状態検出方法であって、
     前記紙葉類受付部に前記束状態の紙葉類を受け付ける紙葉類受付ステップと、
     束の厚さが確認できる方向から前記束状態の紙葉類の画像を撮像する画像撮像ステップと、
     前記画像撮像ステップによって撮像した画像から異物の検知対象の領域を特定する対象領域特定ステップと、
     前記対象領域特定ステップによって特定された異物の検知対象の領域の前記画像から、紙葉類の束の厚み方向と垂直な方向のエッジを検出するエッジ検出ステップと、
     前記エッジ検出ステップによって検出したエッジで構成されるエッジ画像の直線状につながる画素数をカウントし、所定数以上の画素があった場合には、前記エッジ画像から直線を検出する直線検出ステップと、
     前記直線検出ステップによって検出された直線に基づいて、前記紙葉類を結束する結束物を異物として検知する異物検知ステップと
     を含んだことを特徴とする載置状態検出方法。
  18.  束状態の紙葉類を受け付けて1枚ずつ繰り出した紙葉類を処理する紙葉類処理装置の紙葉類受付部に載置された紙葉類に巻回された帯封を異物として検出する載置状態検出方法であって、
     前記紙葉類受付部に束状態の紙葉類を受け付ける紙葉類受付ステップと、
     束の厚さが確認できる方向から前記束状態の紙葉類の画像を撮像する画像撮像ステップと、
     前記画像撮像ステップによって撮像した画像から異物の検知対象の領域を特定する対象領域特定ステップと、
     前記対象領域特定ステップによって特定された異物の検知対象の領域の前記画像から、紙葉類の束の厚み方向と垂直な方向のエッジを検出するエッジ検出ステップと、
     前記エッジ検出ステップによって検出したエッジで構成されるエッジ画像の直線状につながる画素数をカウントし、所定数以上の画素があった場合には、前記エッジ画像から直線を検出する直線検出ステップと、
     前記直線検出ステップにおいて、紙葉類端部から所定の距離の範囲内に直線が検出された場合に、前記画像撮像ステップによって撮像された前記紙葉類の画像に前記紙葉類端部から連続して均一性を持った所定の明るさを維持する領域がある場合には、前記紙葉類端部と前記直線検出ステップで検出された直線で挟まれる領域をマスク領域と判定するマスク領域判定ステップと、
     前記マスク領域判定ステップで判定した前記マスク領域以外の領域における、所定の明るさ以上の画素で、前記束状態の紙葉類の厚み方向の両端部近傍の画素より明るい画素をテカリ画素として検出するテカリ画素検出ステップと、
     前記直線検出ステップによって検出された直線と、前記テカリ画素検出ステップによって検出したテカリ画素に基づいて、前記紙葉類を結束する帯封を異物として検知する異物検知ステップと
     を含んだことを特徴とする載置状態検出方法。
  19.  前記直線検出ステップは、前記直線と前記直線の根拠となった有効な前記エッジ画像の存在する範囲を示す始点と終点を特定し、
     前記マスク領域判定ステップは、
     前記直線に対する前記始点と前記終点に対応する紙葉類の厚み方向での位置で挟まれた厚み方向領域のうち、前記紙葉類端部と前記直線で挟まれた領域である直線別マスク領域を判定し、
     前記紙葉類端部から所定の距離の範囲内に前記直線が複数検出された場合に、
     それぞれの前記直線に対応する前記直線別マスク領域の前記厚み方向領域が重なる場合には、重なる前記厚み方向領域に対応する前記マスク領域を、前記紙葉類端部にもっとも近い前記直線の前記直線別マスク領域に対応する領域とし、
     それぞれの前記直線に対応する前記直線別マスク領域の前記厚み方向領域が重ならない場合には、重ならない前記厚み方向領域に対する前記マスク領域を、全ての前記直線に対応する前記直線別マスク領域を重ねた領域とする
     ことを特徴とする請求項18に記載の載置状態検出方法。
PCT/JP2015/055144 2014-03-06 2015-02-24 束状紙葉類の載置状態検出装置及び載置状態検出方法 WO2015133326A1 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2014-044423 2014-03-06
JP2014044423 2014-03-06
JP2014-044424 2014-03-06
JP2014044424 2014-03-06
JP2014-219647 2014-10-28
JP2014-219646 2014-10-28
JP2014219646A JP2015180981A (ja) 2014-03-06 2014-10-28 束状紙葉類の載置状態検出装置及び載置状態検出方法
JP2014219647A JP2015180982A (ja) 2014-03-06 2014-10-28 異物検出装置及び異物検出方法

Publications (1)

Publication Number Publication Date
WO2015133326A1 true WO2015133326A1 (ja) 2015-09-11

Family

ID=54055135

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/055144 WO2015133326A1 (ja) 2014-03-06 2015-02-24 束状紙葉類の載置状態検出装置及び載置状態検出方法

Country Status (1)

Country Link
WO (1) WO2015133326A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09231444A (ja) * 1996-02-22 1997-09-05 Toshiba Corp 自動取引装置
JP2003044897A (ja) * 2001-08-01 2003-02-14 Hitachi Ltd 紙葉類の状態検知装置とそれを用いた紙幣取扱装置
JP2006058939A (ja) * 2004-08-17 2006-03-02 Oki Electric Ind Co Ltd 自動取引装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09231444A (ja) * 1996-02-22 1997-09-05 Toshiba Corp 自動取引装置
JP2003044897A (ja) * 2001-08-01 2003-02-14 Hitachi Ltd 紙葉類の状態検知装置とそれを用いた紙幣取扱装置
JP2006058939A (ja) * 2004-08-17 2006-03-02 Oki Electric Ind Co Ltd 自動取引装置

Similar Documents

Publication Publication Date Title
US9792699B2 (en) Banknote processing apparatus and banknote processing method
JP2015180981A (ja) 束状紙葉類の載置状態検出装置及び載置状態検出方法
RU2598296C2 (ru) Способ проверки оптического защитного признака ценного документа
CN103685830A (zh) 图像读取装置以及纸张类处理装置
WO2011036748A1 (ja) 紙葉類識別装置および紙葉類識別方法
JP2013020540A (ja) 紙葉類識別装置及び紙葉類識別方法
JP5860261B2 (ja) 画像読取装置及び紙葉類処理装置
JP2004326547A (ja) 紙葉類識別装置および方法
JP2015180982A (ja) 異物検出装置及び異物検出方法
JP2004265036A (ja) 紙葉類識別装置および方法
JP5752549B2 (ja) 光学読取装置および紙葉類処理装置
KR20050118209A (ko) 종이류 식별장치 및 방법
JP2010026992A (ja) 硬貨識別方法および硬貨識別装置
WO2015133326A1 (ja) 束状紙葉類の載置状態検出装置及び載置状態検出方法
WO2021193465A1 (ja) 光学センサ及び紙葉類識別装置
US9547949B2 (en) Method and device for examining the optical state of value documents
JP2012083964A (ja) 硬貨処理装置及び硬貨処理方法
EP3779903B1 (en) Light detection sensor, light detection device, sheets processing device, and light detection method
KR101397791B1 (ko) 매체 인식 장치 및 금융기기
CN108496207B (zh) 有价票券识别装置、有价票券处理机、图像传感器单元及光学可变元件区域的检测方法
JP7337572B2 (ja) 記番号読取装置、紙葉類処理装置、及び記番号読取方法
US10275971B2 (en) Image correction
WO2022210372A1 (ja) 重送検知装置及び重送検知方法
KR101385355B1 (ko) 매체인식장치 및 그를 이용한 매체권종판별방법
JP2010033176A (ja) 蛍光・残光検出装置および紙葉類処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15757723

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15757723

Country of ref document: EP

Kind code of ref document: A1