JP7337572B2

JP7337572B2 - 記番号読取装置、紙葉類処理装置、及び記番号読取方法

Info

Publication number: JP7337572B2
Application number: JP2019127014A
Authority: JP
Inventors: 智穂松本; 達郎村上
Original assignee: Glory Ltd
Current assignee: Glory Ltd
Priority date: 2019-07-08
Filing date: 2019-07-08
Publication date: 2023-09-04
Anticipated expiration: 2039-07-08
Also published as: JP2021012587A

Description

本発明は、記番号読取装置、紙葉類処理装置、及び記番号読取方法に関する。より詳しくは、紙葉類に記載された記番号を読み取るのに好適な記番号読取装置、紙葉類処理装置、及び記番号読取方法に関する。

現在、紙葉類処理装置では、紙葉類の搬送過程において、紙幣識別装置によって、紙葉類の種類の識別や、正損判定、真偽判定等が行われている。このうち、紙葉類の真偽判定は、例えば、光学ラインセンサで読み取った紙葉類の画像を解析することにより行われる。この場合、例えば、紙葉類の記番号の並びや桁数に基づいて、紙葉類の真偽判定がなされる。

紙葉類の記番号を読み取る手法としては、例えば、特許文献１は、記番号領域の画像から画素毎に、Ｒ・Ｇ・Ｂの各明度と、その金種毎に設定された固有ベクトルとを線形結合した値を算出し、その値が閾値の範囲内であれば、その画素を選択し、選択した画素からなる画像に対して文字認識する手法を開示している。

特開２０１０－２２５０１３号公報

紙葉類の記番号を正確に読み取るためには高解像度の画像データが必要であり、そのために、例えば、緑色光（Ｇ）等の特定色の光を紙葉類に照射して当該紙葉類の反射画像を高解像度で取得することが考えられる。しかしながら、この場合、記番号の背景色によっては、記番号とその周囲とのコントラストが小さくなり、記番号を文字認識することが困難となることがある。例えば、緑色光を利用する場合、記番号が暗い色で印刷され、かつその背景色が赤色やオレンジ色といった緑色の補色であると、コントラストが悪化してしまう。

また、特許文献１記載の手法では、損券等の汚れた紙幣の記番号を抽出するためには閾値の範囲が広くなってしまい、結果的に背景模様も抽出してしまう可能性がある。その場合、記番号を文字認識することがやはり困難となる。特に、記番号領域に顔料等による着色汚れが発生すると文字認識が困難となる。

本発明は、上記現状に鑑みてなされたものであり、記番号の背景が着色した状態であっても、記番号を高精度に読み取り可能な記番号読取装置、紙葉類処理装置、及び記番号読取方法を提供することを目的とするものである。

上述した課題を解決し、目的を達成するために、本発明は、紙葉類の記番号を読み取る記番号読取装置であって、紙葉類のＨＳＶ色空間における明度画像に基づいて前記紙葉類の記番号を文字認識する文字認識部を備えることを特徴とする。

また、本発明は、上記発明において、前記記番号読取装置は、前記紙葉類のＲＧＢ画像を変換して前記明度画像を生成する明度画像生成部を更に備えることを特徴とする。

また、本発明は、上記発明において、前記文字認識部は、前記紙葉類の種類に応じて決定された、前記明度画像、前記ＲＧＢ画像、前記紙葉類の赤色画像、前記紙葉類の緑色画像、又は前記紙葉類の青色画像のいずれかに基づいて前記紙葉類の前記記番号を文字認識することを特徴とする。

また、本発明は、上記発明において、前記明度画像生成部は、前記ＲＧＢ画像のうちの前記記番号を含む記番号領域内において前記明度画像を生成することを特徴とする。

また、本発明は、紙葉類処理装置であって、前記記番号読取装置を備えることを特徴とする。

また、本発明は、紙葉類の記番号を読み取る記番号読取方法であって、紙葉類のＨＳＶ色空間における明度画像に基づいて前記紙葉類の記番号を文字認識する文字認識ステップを含むことを特徴とする。

本発明の記番号読取装置、紙葉類処理装置、及び記番号読取方法によれば、記番号の背景が着色した状態であっても、記番号を高精度に読み取りすることができる。

実施形態１に係る記番号読取装置、紙葉類処理装置、及び記番号読取方法の概要を説明するための図であり、紙幣の記番号領域を撮像した反射画像の一例を示し、（ａ）はＲＧＢ画像を、（ｂ）はＧ画像を、（ｃ）は明度画像を示す。実施形態１に係る紙幣処理装置の外観を示す斜視模式図である。実施形態１に係る紙幣処理装置が備える紙幣識別装置の構成を説明するブロック図である。実施形態１に係る紙幣識別装置が備える画像取得部の構成を説明する断面模式図である。実施形態１に係る記番号読取装置、紙葉類処理装置、及び記番号読取方法における処理手順を示すフローチャートである。

以下、本発明に係る記番号読取装置、紙葉類処理装置、及び記番号読取方法の好適な実施形態を、図面を参照しながら説明する。本発明の対象となる紙葉類としては、紙幣、小切手、商品券、手形、帳票、有価証券、カード状媒体等の様々な紙葉類が適用可能であるが、以下においては、紙幣を対象とする装置及び方法を例として、本発明を説明する。また、下記実施形態では、本発明に係る記番号読取装置の好適な実施形態として、記番号読取装置の機能を兼ね備えた紙幣識別装置について説明する。なお、以下の説明は、記番号読取装置、紙葉類処理装置、及び記番号読取方法の一例である。

なお、本明細書において、反射画像とは、紙葉類に光を照射して当該紙葉類で反射された光の強度分布に基づく画像を意味する。また、透過画像とは、紙葉類に光を照射して当該紙葉類を透過させた光の強度分布に基づく画像を意味する。

＜本実施形態の概要＞
まず、図１を用いて、本実施形態の概要について説明する。本実施形態は、記番号の各文字の背景がカラー印刷されている場合、特に複数色でカラー印刷されている場合に好適である。具体的には、例えば、図１（ａ）に示すように、記番号ＳＮが暗い色で印刷され、記番号ＳＮの周囲の背景が、赤色基調の模様が印刷された赤色領域Ｒｒと、緑色基調の模様が印刷された緑色領域Ｒｇと、青色基調の模様が印刷された青色領域Ｒｂとを含んでいる場合について説明する。この場合、図１（ｂ）に示すように、記番号ＳＮの文字認識に緑色画像（Ｇ画像）を使用すると、赤色領域Ｒｒの出力が低くなり、記番号ＳＮの「ＡＢ」の文字とその周りの赤色領域Ｒｒとのコントラストが小さくなり、「ＡＢ」の文字を文字認識することは困難となる。そのため、記番号ＳＮ全体を文字認識することも困難である。また同様に、赤色画像（Ｒ画像）や青色画像（Ｂ画像）を使用する場合では、緑色領域Ｒｇや青色領域Ｒｂの出力が低くなり、記番号ＳＮ全体を文字認識することが困難である。

それに対して、本実施形態では、図１（ａ）に示したようなＲＧＢ画像（赤色・緑色・青色のカラー画像）をＨＳＶ空間に変換し、図１（ｃ）に示すような明度画像（Ｖ画像）を生成し、そして、生成した明度画像を記番号ＳＮの文字認識に使用する。明度画像の生成に際しては、ＲＢＧそれぞれの出力値（輝度値）のうちの最大値をその画素の値とする。
そのため、明度画像は、図１（ｃ）に示したように、緑色画像、赤色画像及び青色画像よりも、記番号ＳＮの周囲の背景、すなわち赤色領域Ｒｒ、緑色領域Ｒｇ及び青色領域Ｒｂの出力値が高い画像となる。その結果、明度画像では、記番号ＳＮの各文字と、それらの背景とのコントラストが大きくなり、記番号ＳＮの各文字を高精度に文字認識することが可能となる。

なお、記番号の背景が暗い色で印刷されている場合は、明度画像によっても記番号とその背景とのコントラストが小さくなる可能性がある。しかしながら、一般的に、記番号の背景がカラー印刷された紙幣であっても人が記番号を視認できる必要があるため、記番号とその背景の間の明度差はある程度は大きくなっており、通常、記番号が相対的に暗く、その背景は相対的に明るくなっている。したがって、明度画像は、通常、記番号の背景がカラー印刷された紙幣全般に有用であると言える。

＜紙幣処理装置の構成＞
図２を用いて、本実施形態に係る紙幣処理装置の構成について説明する。本実施形態に係る紙幣処理装置は、例えば、図２に示す構成を有するものであってもよい。図２に示す紙幣処理装置３００は、テーブル上に設置して利用する小型の紙幣処理装置であり、紙幣の識別処理を行う紙幣識別装置（図２では図示せず）と、処理対象の複数の紙幣が積層状体で載置されるホッパ３０１と、ホッパ３０１から筐体３１０内に繰り出された紙幣が偽造券、真偽不確定券等のリジェクト紙幣であった場合に該リジェクト紙幣が排出される２つのリジェクト部３０２と、オペレータからの指示を入力するための操作部３０３と、筐体３１０内で金種、真偽及び正損が識別された紙幣を分類して集積するための４つの集積部３０６ａ～３０６ｄと、紙幣の識別計数結果や各集積部３０６ａ～３０６ｄの集積状況等の情報を表示するための表示部３０５とを備える。紙幣識別装置による正損判定の結果に基づき、４つの集積部３０６ａ～３０６ｄのうち、集積部３０６ａ～３０６ｃには、正券が収納され、集積部３０６ｄには汚損券が収納される。なお、集積部３０６ａ～３０６ｄへの紙幣の振り分け方法は任意に設定可能である。

＜紙幣識別装置の構成＞
図３を用いて、本実施形態に係る紙幣処理装置が備える紙幣識別装置（記番号読取装置）の構成について説明する。図３に示すように、本実施形態に係る紙幣処理装置が備える紙幣識別装置１は、制御部１０、検出部２０及び記憶部３０を備えている。

制御部１０は、例えば、記憶部３０に記憶された各種の処理を実現するためのプログラムと、当該プログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と、当該ＣＰＵによって制御される各種ハードウェア等によって構成されている。制御部１０は、記憶部３０に記憶されたプログラムに従って、紙幣識別装置１の各部から出力された信号と、制御部１０からの制御信号とに基づいて、紙幣識別装置１の各部を制御する。また、制御部１０は、記憶部３０に記憶されたプログラムにより、識別部１１、明度画像生成部１２、画像決定部１３及び文字認識部１４の機能を有している。

検出部２０は、画像取得部２１、磁気検出部２２及びＵＶ検出部２３を備えている。画像取得部２１は、紙幣の画像を取得する。磁気検出部２２は、磁気を測定する磁気センサ（図示せず）を備え、磁気センサにより紙幣に印刷されている磁気インクやセキュリティスレッド等の磁気を検出する。磁気センサは、複数の磁気検出素子をライン状に配列した磁気ラインセンサである。ＵＶ検出部２３は、紫外線照射部（図示せず）及び受光部（図示せず）を備え、紫外線照射部により紫外線を紙幣に照射したときに発生する蛍光や、紙幣を透過する紫外線を受光部により検出する。

図４を用いて、画像取得部２１の構成について説明する。図４に示すように、画像取得部２１は、互いに対向配置された光学ラインセンサ１１０及び１２０を備えている。光学ラインセンサ１１０及び１２０の間には、紙幣ＢＮが搬送される隙間が形成されており、この隙間は紙幣処理装置の搬送路３１１の一部を構成する。光学ラインセンサ１１０及び１２０は、それぞれ、搬送路３１１の上側及び下側に位置している。

光学ラインセンサ１１０は、２つの反射用光源１１１、集光レンズ１１２及び受光部１１３を備えている。各反射用光源１１１は、紙幣ＢＮの主面（以下、Ａ面）に、所定波長の光（赤外光等の非可視光と、赤・緑・青等の単色光や白色光等の可視光）を照射する。集光レンズ１１２は、反射用光源２１１から出射され、紙幣ＢＮで反射された光を集光する。受光部１１３は、紙幣ＢＮの搬送方向（副走査方向）に対して直交する方向（主走査方向）にライン状に配列された複数の撮像素子（受光素子、図示せず）を備え、集光レンズ１１２によって集光された光を電気信号に変換する。そして、その電気信号を増幅処理した後、デジタルデータにＡ／Ｄ変換した上で画像信号として出力する。

光学ラインセンサ１２０は、２つの反射用光源１２１、集光レンズ１２２、受光部１２３及び透過用光源１２４を備えている。反射用光源１２１及び透過用光源１２４は、各々、紙幣ＢＮの主面（以下、Ｂ面）に、所定波長の光（赤外光等の非可視光と、赤・緑・青等の単色光や白色光等の可視光）を照射する。集光レンズ１２２は、反射用光源１２１から出射され、紙幣ＢＮで反射された光を集光する。受光部１２３は、紙幣ＢＮの搬送方向に対して直交する方向にライン状に配列された複数の撮像素子（受光素子、図示せず）を備え、集光レンズ１２２によって集光された光を電気信号に変換する。そして、その電気信号を増幅処理した後、デジタルデータにＡ／Ｄ変換した上で画像信号として出力する。

透過用光源１２４は、光学ラインセンサ１１０の集光レンズ１１２の光軸上に配置されており、透過用光源１２４から出射された光の一部は、紙幣ＢＮを透過し、光学ラインセンサ１１０の集光レンズ１１２に集光されて受光部１１３で検出される。

各光源１１１、１２１、１２４は、図４の紙面に垂直な方向（主走査方向）に延びるライン状の導光体（図示せず）と、導光体の両端部（一方の端部でもよい）に設けられた複数の発光体（図示せず）とを備えている。なお、各光源１１１、１２１、１２４は、導光体を備えず、紙幣ＢＮの搬送方向と垂直な方向に多数配列された発光体を備えてもよい。各光源１１１、１２１、１２４は、例えば、発光体として、所定波長の光を照射可能な１以上のＬＥＤ素子を備えている。

光学ラインセンサ１１０及び１２０がそれぞれ、搬送方向に搬送されている紙幣ＢＮに対して一定の時間間隔で撮像（撮像素子の露光）を繰り返し行い、画像信号を出力することによって、画像取得部２１は、紙幣ＢＮ全体の種々の画像を取得する（画像取得ステップ）。具体的には、画像取得部２１は、光学ラインセンサ１１０の出力信号に基づいて紙幣ＢＮのＡ面の反射画像と紙幣ＢＮの透過画像とを取得し、光学ラインセンサ１２０の出力信号に基づいて紙幣ＢＮのＢ面の反射画像を取得する。また、画像取得部２１は、紙幣ＢＮの可視反射画像として、少なくとも、紙幣ＢＮのＡ面及びＢ面それぞれの、ＲＧＢ画像、赤色画像、緑色画像及び青色画像を取得する。これらの画像取得部２１によって取得された各画像は、それぞれ画像データ３１として記憶部３０に記憶される。

なお、光学ラインセンサ１１０及び１２０は、反射用光源１１１及び１２１が白色光を紙幣ＢＮに照射し、紙幣ＢＮで反射した光を、赤・緑・青のカラーフィルタを備える撮像素子で一括して受光することによって、ＲＧＢ画像用の画像信号を出力するものであってもよい。他方、光学ラインセンサ１１０及び１２０は、反射用光源１１１及び１２１が赤・緑・青の単色光を順次紙幣ＢＮに照射し、紙幣ＢＮで反射した各色の光を、カラーフィルタを備えない撮像素子で順次受光することによって、ＲＧＢ画像用の画像信号を出力するものであってもよい。

記憶部３０は、半導体メモリやハードディスク等の不揮発性の記憶装置から構成されており、紙幣識別装置１を制御するための各種プログラムと各種データとを記憶している。

識別部１１は、画像取得部２１により取得された紙幣の画像の特徴パターンと、紙幣の金種ごとの特徴パターンである金種識別用テンプレートとを比較して、紙幣の金種を判定する。

明度画像生成部１２は、記憶部３０に記憶された紙幣のＲＧＢ画像を変換して、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の三つの成分からなる色空間であるＨＳＶ色空間における明度画像を生成する。より詳細には、ＲＧＢ画像のＲＢＧそれぞれの出力値（輝度値）のうちの最大値をその画素の値とする画像を生成する。例えば、Ｒ＝２００，Ｇ＝１５０，Ｂ＝２０の画素であればＲの２００を画素値とし、Ｒ＝１００，Ｇ＝１５０，Ｂ＝２０の画素であればＧの１５０を画素値とし、Ｒ＝２０，Ｇ＝１５０，Ｂ＝２００の画素であればＢの２００を画素値とする。

このとき、明度画像生成部１２は、ＲＧＢ画像のうちの記番号を含む記番号領域（例えば、矩形領域）内において明度画像を生成する。記憶部３０には、紙幣の金種毎に、当該紙幣のＲＧＢ画像における記番号領域の位置を示す位置情報が記憶されており、明度画像生成部１２は、識別部１１によって判定された紙幣の金種と、この位置情報とに基づいて、当該紙幣のＲＧＢ画像における記番号領域を特定する。

また、記憶部３０には、紙幣の金種毎に、当該紙幣の記番号を文字認識するために使用される画像の種類を示す種類情報が記憶されており、画像決定部１３は、識別部１１によって判定された紙幣の金種と、この種類情報とに基づいて、記番号の文字認識に使用すべき画像を、明度画像、ＲＧＢ画像、赤色画像、緑色画像及び青色画像の中から一つ選択し、記番号の文字認識に使用する画像を決定する。なお、種類情報は、処理対象となる全ての金種の紙幣のそれぞれについて、記番号領域における記番号の背景の印刷状況に応じて記番号の文字認識に適した画像を上述の５種の画像の中から決定することによって予め準備される。

文字認識部１４は、紙幣の金種に応じて画像決定部１３によって決定された、当該紙幣の画像（明度画像、ＲＧＢ画像、赤色画像、緑色画像又は青色画像のいずれか）に基づいて、当該紙幣の記番号を文字認識（光学文字認識：ＯＣＲ）する。すなわち、画像決定部１３によって明度画像が選択された場合、文字認識部１４は、明度画像生成部１２によって生成された明度画像に基づいて、当該紙幣の記番号を文字認識する。記憶部３０には、処理対象の紙幣の記番号に使用され得る全種類の文字が文字画像として記憶されており、文字認識部１４は、画像決定部１３によって決定された画像の記番号領域内の記番号の各構成文字を文字画像と比較して各構成文字を特定し、最終的に、それらの特定した文字を結合することにより記番号を認識する。

＜紙幣処理装置による処理フロー＞
次に、図５を用いて、本実施形態に係る紙幣処理装置による処理フロー、なかでも記番号読取装置に係る処理フローについて説明する。この処理は、紙幣識別装置１に搬入される紙幣について、１枚ずつ繰り返し行われる。

図５に示すように、まず、明度画像生成部１２が、紙幣のＲＧＢ画像を変換して明度画像を生成する（明度画像生成ステップＳ１１）。次に、画像決定部１３が、当該紙幣の金種に基づいて、記番号の文字認識用の画像を、ＲＧＢ画像、赤色画像、緑色画像及び青色画像の中から一つ決定する（画像決定ステップＳ１２）。そして、文字認識部１４が、画像決定部１３によって決定された画像に基づいて、当該紙幣の記番号を文字認識する（文字認識Ｓ１３）。

以上説明したように、本実施形態では、紙幣のＨＳＶ色空間における明度画像に基づいて紙幣の記番号を文字認識することから、記番号の背景が着色した状態であっても、記番号を高精度に読み取ることができる。

また、本実施形態に係る記番号読取装置（紙幣識別装置）は、紙幣のＲＧＢ画像を変換して明度画像を生成する明度画像生成部１２を備えることから、紙幣のＲＧＢ画像を取得する一般的な紙幣処理装置を用いて明度画像を生成することが可能である。

また、本実施形態では、文字認識部１４は、紙幣の金種に応じて決定された、紙幣の明度画像、ＲＧＢ画像、赤色画像、緑色画像又は青色画像のいずれかに基づいて紙幣の記番号を文字認識することから、文字認識に適した画像を使用することができる。したがって、記番号の読取り精度をより向上することができる。

また、本実施形態では、明度画像生成部１２は、ＲＧＢ画像のうちの記番号を含む記番号領域内において明度画像を生成することから、明度画像の画像サイズを小さくすることができ、明度画像生成に係る処理やメモリの負担を軽減することが可能である。

なお、上記実施形態では、記番号の文字認識に使用する画像を、紙幣の金種に応じて、明度画像、ＲＧＢ画像、赤色画像、緑色画像及び青色画像の内からいずれか一つを選択したが、紙幣の金種によらず、明度画像を記番号の文字認識に使用してもよい。これにより、画像決定部１３に係る処理やメモリを省略することができる。

また、上記実施形態では、記番号領域のみで明度画像を生成する場合について説明したが、紙幣のＲＧＢ画像全域で明度画像を生成してもよい。これにより、記番号領域の位置情報に係るメモリを省略することができる。

以上、図面を参照しながら本発明の実施形態を説明したが、本発明は、上記実施形態に限定されるものではない。また、各実施形態の構成は、本発明の要旨を逸脱しない範囲において適宜組み合わされてもよいし、変更されてもよい。

以上のように、本発明は、紙葉類に記載された記番号を読み取るのに有用な技術である。

１：紙幣識別装置（記番号読取装置）
１０：制御部
１１：識別部
１２：明度画像生成部
１３：画像決定部
１４：文字認識部
２０：検出部
２１：画像取得部
２２：磁気検出部
２３：ＵＶ検出部
３０：記憶部
３１：画像データ
１１０、１２０：光学ラインセンサ
１１１、１２１：反射用光源
１１２、１２２：集光レンズ
１１３、１２３：受光部
１２４：透過用光源
３００：紙幣処理装置
３０１：ホッパ
３０２：リジェクト部
３０３：操作部
３０５：表示部
３０６ａ～３０６ｄ：集積部
３１０：筐体
３１１：搬送路
ＢＮ：紙幣
ＳＮ：記番号
Ｒｒ：赤色領域
Ｒｇ：緑色領域
Ｒｂ：青色領域

Claims

紙葉類の記番号を読み取る記番号読取装置であって、
紙葉類の種類毎に、当該紙葉類の記番号を文字認識するために使用される画像の種類を示す種類情報を記憶する記憶部と、
紙葉類の種類と、前記種類情報とに基づいて、記番号の文字認識に使用すべき画像を、当該紙葉類のＨＳＶ色空間における明度画像、当該紙葉類のＲＧＢ画像、当該紙葉類の赤色画像、当該紙葉類の緑色画像、及び当該紙葉類の青色画像の中から一つ決定する画像決定部と、
前記画像決定部によって決定された、前記明度画像、前記ＲＧＢ画像、前記赤色画像、前記緑色画像、又は前記青色画像のいずれかの画像において前記紙葉類の記番号を文字認識する文字認識部と、を備えることを特徴とする記番号読取装置。
前記紙葉類のＲＧＢ画像を変換して前記明度画像を生成する明度画像生成部を更に備えることを特徴とする請求項１記載の記番号読取装置。
前記明度画像生成部は、前記ＲＧＢ画像のうちの前記記番号を含む記番号領域内において前記明度画像を生成することを特徴とする請求項２記載の記番号読取装置。
請求項１～３のいずれかに記載の記番号読取装置を備えることを特徴とする紙葉類処理装置。
紙葉類の記番号を読み取る記番号読取方法であって、
紙葉類の種類と、紙葉類の種類毎に当該紙葉類の記番号を文字認識するために使用される画像の種類を示す種類情報とに基づいて、記番号の文字認識に使用すべき画像を、当該紙葉類のＨＳＶ色空間における明度画像、当該紙葉類のＲＧＢ画像、当該紙葉類の赤色画像、当該紙葉類の緑色画像、及び当該紙葉類の青色画像の中から一つ決定する画像決定ステップと、
前記画像決定ステップによって決定された、前記明度画像、前記ＲＧＢ画像、前記赤色画像、前記緑色画像、又は前記青色画像のいずれかの画像において前記紙葉類の記番号を文字認識する文字認識ステップと、を含むことを特徴とする記番号読取方法。