JP6976455B2 - 紙幣検査装置、紙幣検査方法及び紙幣検査プログラム - Google Patents

Description

本開示は、紙幣検査装置、紙幣検査方法及び紙幣検査プログラムに関する。

ＡＴＭ（Automated Teller Machine）等の紙幣取扱装置には、紙幣を検査して紙幣の金種を判別したり、紙幣の記番号を認識する紙幣検査装置が備えられている。

特開２０１７−２１５８５９号公報

記番号により各紙幣を一意に識別することができるため、記番号は偽造紙幣の発見等に用いられる。よって、記番号を正確に認識することは重要である。

開示の技術は、上記に鑑みてなされたものであって、紙幣の記番号の認識精度を高めることを目的とする。

開示の態様では、紙幣検査装置は、記憶部と、認識部とを有する。前記記憶部は、穴を有する文字の画像を教師データとして用いて生成された第一学習モデルと、穴を有しない文字の画像を教師データとして用いて生成された第二学習モデルとを記憶する。前記認識部は、紙幣の記番号を形成する文字の画像である文字画像が穴を有する場合には第一学習モデルを用いて前記文字を認識する一方で、前記文字画像が穴を有しない場合には前記第二学習モデルを用いて前記文字を認識する。

開示の態様によれば、紙幣の記番号の認識精度を高めることができる。

図１は、実施例１の紙幣取扱装置の構成例を示す図である。 図２は、実施例１の搬送路接続形態の一例を示す図である。 図３は、実施例１の搬送路接続形態の一例を示す図である。 図４は、実施例１の紙幣検査装置の構成例を示す図である。 図５は、実施例１の記番号認識部の処理例の説明に供するフローチャートである。 図６は、実施例１の記番号認識部の動作例の説明に供する図である。 図７は、実施例１の記番号認識部の動作例の説明に供する図である。 図８は、実施例１の記番号認識部の動作例の説明に供する図である。 図９は、実施例１の記番号認識部の動作例の説明に供する図である。 図１０は、実施例１の記番号認識部の動作例の説明に供する図である。 図１１は、実施例１の記番号認識部の動作例の説明に供する図である。 図１２は、実施例１の記番号認識部の動作例の説明に供する図である。 図１３は、実施例１の記番号認識部の動作例の説明に供する図である。 図１４は、実施例１の記番号認識部の動作例の説明に供する図である。 図１５は、実施例１の記番号認識部の動作例の説明に供する図である。 図１６は、実施例１の記番号認識部の動作例の説明に供する図である。 図１７は、実施例１の記番号認識部の動作例の説明に供する図である。 図１８は、実施例１の記番号認識部の動作例の説明に供する図である。 図１９は、実施例１の記番号認識部の動作例の説明に供する図である。 図２０は、実施例１の記番号認識部の動作例の説明に供する図である。 図２１は、実施例１の記番号認識部の動作例の説明に供する図である。 図２２は、実施例１の記番号認識部の動作例の説明に供する図である。 図２３は、実施例１の記番号認識部の動作例の説明に供する図である。

以下に、本願の開示する紙幣検査装置、紙幣検査方法及び紙幣検査プログラムの実施例を図面に基づいて説明する。なお、この実施例により本願の開示する紙幣検査装置、紙幣検査方法及び紙幣検査プログラムが限定されるものではない。また、以下の実施例において、同一の構成には同一の符号を付す。

［実施例１］
＜紙幣取扱装置の構成＞
図１は、実施例１の紙幣取扱装置の構成例を示す図である。図１は、側面断面図である。図１において、紙幣取扱装置１は、入出金口１１と、切替爪１２と、ソレノイド１３と、紙幣検査装置１４と、一時保留部１５と、スタッカ１６−１，１６−２，１６−３と、制御部１７と、搬送路Ｐ１，Ｐ２，Ｐ３とを有する。

また、紙幣取扱装置１内には、搬送路Ｐ１が二つの搬送路Ｐ２，Ｐ３に分岐する搬送路分岐点ＰＪが存在する。紙幣取扱装置１内において、搬送路Ｐ１と、搬送路Ｐ２，Ｐ３の何れか一方とが搬送路分岐点ＰＪを介して接続されることにより、搬送路接続形態が、搬送路Ｐ１と搬送路Ｐ２とが接続された形態（以下では「接続形態Ｃ１」と呼ぶことがある）と、搬送路Ｐ１と搬送路Ｐ３とが接続された形態（以下では「接続形態Ｃ２」と呼ぶことがある）との間で切り替えられる。搬送路接続形態が接続形態Ｃ１にあるときは、搬送路Ｐ１と搬送路Ｐ２とが一続きの搬送路を形成し、搬送路接続形態が接続形態Ｃ２にあるときは、搬送路Ｐ１と搬送路Ｐ３とが一続きの搬送路を形成する。

切替爪１２の中心軸ＣＡはソレノイド１３と接続されており、切替爪１２はソレノイド１３により中心軸ＣＡを中心にして回転可能である。切替爪１２及びソレノイド１３は搬送路分岐点ＰＪ付近に配置され、ソレノイド１３により切替爪１２が回転させられることにより、搬送路接続形態が接続形態Ｃ１と接続形態Ｃ２との間で切り替えられる。搬送路接続形態の切替は、制御部１７での制御の下で行われる。

図２及び図３は、実施例１の搬送路接続形態の一例を示す図である。図２には、搬送路接続形態が接続形態Ｃ１にある場合を示し、図３には、搬送路接続形態が接続形態Ｃ２にある場合を示す。

図２に示すように、ソレノイド１３に電流Ｉ１が流れると、切替爪１２は中心軸ＣＡを中心にして左回りに（反時計回り）に回転し、切替爪１２の左端が搬送路分岐点ＰＪに接触することにより、搬送路接続形態が接続形態Ｃ１となる。

搬送路接続形態が接続形態Ｃ１にあるときは、入出金口１１に投入された紙幣ＢＬは、搬送路Ｐ２を通り、切替爪１２の左側局面に沿って反対方向に折り返し、搬送路Ｐ１を通って紙幣検査装置１４へと搬送され、紙幣検査装置１４によって検査される。検査後の紙幣ＢＬは、搬送路Ｐ１をさらに先へ進み、一時保留部１５に一旦格納される。

紙幣検査装置１４によって金種の判別または記番号の認識ができずに検査結果が「ＮＧ」となった場合は、搬送路接続形態は接続形態Ｃ１のままで維持され、一時保留部１５に一旦格納されていた紙幣ＢＬは、一時保留部１５から排出され、搬送路Ｐ１を通り、搬送路分岐点ＰＪで切替爪１２の左側局面に沿って反対方向に折り返し、搬送路Ｐ２を通って入出金口１１へ返却される。

紙幣検査装置１４によって金種の判別及び記番号の認識ができて検査結果が「ＯＫ」となった場合は、図３に示すように、電流Ｉ１と逆方向の電流Ｉ２がソレノイド１３に流れて切替爪１２が中心軸ＣＡを中心にして右回りに（時計回り）に回転し、切替爪１２の左端が搬送路分岐点ＰＪから離れることにより、搬送路接続形態が接続形態Ｃ２となる。

搬送路接続形態が接続形態Ｃ２にあるときは、一時保留部１５に一旦格納されていた紙幣ＢＬは、一時保留部１５から排出され、搬送路Ｐ１を通り、搬送路分岐点ＰＪを通過して搬送路Ｐ３に入って搬送路Ｐ３を進み、判別された金種に応じてスタッカ１６−１，１６−２，１６−３の何れかに収納される。例えば、スタッカ１６−１には一万円札が収納され、スタッカ１６−２には五千円札が収納され、スタッカ１６−３には千円札が収納される。

＜紙幣検査装置の構成＞
図４は、実施例１の紙幣検査装置の構成例を示す図である。図４において、紙幣検査装置１４は、紙幣撮影部２１と、金種判別部２２と、記番号認識部２４と、記憶部２３とを有する。

紙幣撮影部２１は、紙幣検査装置１４へ搬送された紙幣ＢＬを撮影し、撮影した紙幣ＢＬの画像（以下では「紙幣画像」と呼ぶことがある）ＢＬＰを記番号認識部２４へ出力する。

金種判別部２２は、紙幣検査装置１４へ搬送された紙幣ＢＬの金種を判別し、判別した金種を示す情報（以下では「金種情報」と呼ぶことがある）を記番号認識部２４へ出力する。金種判別部２２は、例えば、紙幣ＢＬの縦横の長さや紙幣の券面の模様等に基づいて金種を判別する。

記憶部２３は、ＣＮＮ（Convolutional Neural Network）を用いて生成された学習モデルを記憶する。

記番号認識部２４は、金種判別部２２から入力された金種情報、及び、記憶部２３に記憶されている学習モデルを用いて、紙幣撮影部２１から入力された紙幣画像ＢＬＰに基づいて、紙幣ＢＬの記番号を認識し、認識結果を出力する。

＜記番号認識部の処理・動作＞
図５は、実施例１の記番号認識部の処理例の説明に供するフローチャートであり、図６〜２３は、実施例１の記番号認識部の動作例の説明に供する図である。

図５において、ステップＳ２０１では、記番号認識部２４は、図６に示すように、紙幣画像ＢＬＰにおいて記番号が存在する領域（以下では「記番号存在領域」と呼ぶことがある）の画像（以下では「記番号存在領域画像」と呼ぶことがある）ＳＮＰ１または記番号存在領域画像ＳＮＰ２を紙幣画像ＢＬＰから抽出する。

記番号は、数字やアルファベットが横方向に並ぶことにより表されるため、記番号存在領域は横長の矩形の領域になる。また、例えば、日本銀行券では、紙幣ＢＬを横長になる向きにして見た場合において、記番号は、紙幣ＢＬの右下の箇所に印刷される。そこで、紙幣ＢＬが日本銀行券である場合には、記番号認識部２４は、図６に示すように、紙幣画像ＢＬＰの右下の箇所から、横長の矩形の形状を有する記番号存在領域画像ＳＮＰ１を抽出する。例えば、紙幣画像ＢＬＰの左上のコーナーを原点０（ゼロ）として横軸にＸ、縦軸にＹをとった場合、記番号存在領域の左上のコーナーは座標（ｘ１，ｙ１）で表され、記番号存在領域の右下のコーナーは座標（ｘ２，ｙ２）で表される。このため、紙幣ＢＬが日本銀行券である場合には、記番号認識部２４は、座標（ｘ１，ｙ１）と座標（ｘ２，ｙ２）とから特定される矩形領域の画像を記番号存在領域画像ＳＮＰ１として紙幣画像ＢＬＰから抽出する。

また、特定の外国の紙幣では、図６に示すように、紙幣ＢＬを横長になる向きにして見た場合において、記番号が、紙幣ＢＬの右辺に沿って横方向に印刷される場合がある。そこで、紙幣ＢＬが特定の外国の紙幣である場合には、記番号認識部２４は、図６に示すように、紙幣画像ＢＬＰの右横の箇所から、縦長の矩形の形状を有する記番号存在領域画像ＳＮＰ２を抽出する。

以下では、記番号存在領域画像ＳＮＰ１，ＳＮＰ２を「記番号存在領域画像ＳＮＰ」と総称することがある。

ここで、図７に示すように、紙幣ＢＬの記番号が６つの文字ｌ１〜ｌ６で形成される場合、記番号存在領域ＳＲには、縦横の長さをＬ１，Ｌ２とする規定サイズの領域（以下では「規定サイズ領域」と呼ぶことがある）ＲＲ１〜ＲＲ６の中にそれぞれ文字ｌ１〜ｌ６が配置される。規定サイズ領域ＲＲ１〜ＲＲ６の大きさはすべて同一であり、規定サイズ領域ＲＲ１〜ＲＲ６の各々は等間隔Ｌ３で位置する。以下では、規定サイズ領域ＲＲ１〜ＲＲ６を「規定サイズ領域ＲＲ」と総称することがある。

図５に戻り、次いでステップＳ２０３では、記番号認識部２４は、記番号存在領域画像が、図６の記番号存在領域画像ＳＮＰ２のように縦長の矩形の形状を有する画像である場合に、記番号存在領域画像を９０°回転させることにより記番号存在領域画像の向きを補正する。この補正により、縦長の矩形の形状を有する記番号存在領域画像ＳＮＰ２は、記番号存在領域画像ＳＮＰ１のように、横長の矩形の形状を有する記番号存在領域画像に補正される。

次いで、ステップＳ２０５では、記番号認識部２４は、記番号存在領域画像ＳＮＰに対して第一２値化処理を行う。

例えば、図８に示すように、記番号存在領域画像ＳＮＰが画素（ｘ，ｙ）＝画素（１，１）〜画素（６，９）の５４画素で形成され、各画素が図８に示す値の階調値を有すると仮定した場合、記番号認識部２４は、以下の２値化処理例１または２値化処理例２のようにして第一２値化処理を行う。

＜第一２値化の処理例１（図９）＞
記番号認識部２４は、固定の２値化閾値ＴＨ１を用いて記番号存在領域画像ＳＮＰを２値化する。よって例えば、２値化閾値ＴＨ１が「２１０」であった場合、記番号認識部２４は図９に示すように、図８において２１０以上の階調値を有する画素の階調値を「２５５」に変更し、図８において２１０未満の階調値を有する画素の階調値を「０」に変更することにより記番号存在領域画像ＳＮＰを２値化する。

また、記番号認識部２４は、金種判別部２２から出力される金種情報により示される金種に応じた値の２値化閾値ＴＨ１を設定しても良い。

＜第一２値化の処理例２（図１０，１１）＞
まず、記番号認識部２４は、図１０に示すように、記番号存在領域画像ＳＮＰに含まれる複数の画素において第一部分ＰＴ１と第二部分ＰＴ２とを設定する。次いで、記番号認識部２４は、画素（１，１）〜画素（６，９）の５４画素において、列ごとに第一部分ＰＴ１の階調値の平均値を算出し、算出した平均値を平均値の算出対象となった列の２値化閾値ＴＨ２に設定する。よって例えば、第１列〜第４列の２値化閾値ＴＨ２は（２２０＋２１０＋２００）／３＝２１０と算出され、第５列及び第６列の２値化閾値ＴＨ２は（１４０＋１３０＋１２０）／３＝１３０と算出される。このように、記番号認識部２４は、画素（１，１）〜画素（６，９）の５４画素において列毎に第一部分ＰＴ１を用いて列毎の２値化閾値ＴＨ２を算出する。よって、図１１に示すように、記番号認識部２４は、第１列〜第４列については、２値化閾値ＴＨ２が「２１０」であるため、図１０において２１０以上の階調値を有する画素の階調値を「２５５」に変更し、図１０において２１０未満の階調値を有する画素の階調値を「０」に変更することにより記番号存在領域画像ＳＮＰを２値化する。また、図１１に示すように、記番号認識部２４は、第５列及び第６列については、２値化閾値ＴＨ２が「１３０」であるため、図１０において１３０以上の階調値を有する画素の階調値を「２５５」に変更し、図１０において１３０未満の階調値を有する画素の階調値を「０」に変更することにより記番号存在領域画像ＳＮＰを２値化する。

以上、第一２値化の処理例１，２について説明した。

図５に戻り、次いでステップＳ２０７では、記番号認識部２４は、紙幣ＢＬの記番号を形成する文字の画像（以下では「文字画像」と呼ぶことがある）が存在する領域（以下では「文字存在領域」と呼ぶことがある）ＣＲの候補（以下では「文字存在領域候補」と呼ぶことがある）を記番号存在領域画像ＳＮＰにおいて検出する。記番号認識部２４は、例えば、２値化画像において背景と隣接する図形画素を追跡する一般的な手法である「境界追跡法」を用いて、文字存在領域候補を検出する。

まず、記番号認識部２４は、第一２値化後の記番号存在領域画像ＳＮＰに対して境界追跡法を適用することにより、図１２に示すように、第一２値化後の記番号存在領域画像ＳＮＰに含まれる画像の輪郭線（以下では「画像輪郭線」と呼ぶことがある）ＣＯを検出する。次いで、記番号認識部２４は、画像輪郭線ＣＯを形成する複数の画素（ｘ，ｙ）において、Ｘ座標の最小値ｘｍｉｎ、Ｙ座標の最小値ｙｍｉｎ、Ｘ座標の最大値ｘｍａｘ、及び、Ｙ座標の最大値ｙｍａｘを検出する。次いで、記番号認識部２４は、記番号存在領域画像ＳＮＰにおいて、最小値ｘｍｉｎ及び最小値ｙｍｉｎを有する座標Ｃ１１＝（ｘｍｉｎ，ｙｍｉｎ）と、最大値ｘｍａｘ及び最大値ｙｍａｘを有する座標Ｃ１２＝（ｘｍａｘ，ｙｍａｘ）とを特定する。次いで、記番号認識部２４は、記番号存在領域画像ＳＮＰにおいて、座標Ｃ１１から所定の距離（例えば、−Ｘ方向に３画素及び−Ｙ方向に３画素の距離）にある座標Ｃ２１と、座標Ｃ１２から所定の距離（例えば、＋Ｘ方向に３画素及び＋Ｙ方向に３画素の距離）にある座標Ｃ２２とを特定する。そして、記番号認識部２４は、左上のコーナーを座標Ｃ２１、右下のコーナーを座標Ｃ２２とする矩形領域を文字存在領域ＣＲの候補として検出する。ステップＳ２０７では、記番号認識部２４は、以上のようにして、記番号存在領域画像ＳＮＰにおいて、複数の文字存在領域候補を検出する。

図５に戻り、次いでステップＳ２０９では、記番号認識部２４は、ステップＳ２０７で検出した複数の文字存在領域候補に基づいて文字存在領域を特定する。以下、文字存在領域の特定例として特定例１〜１０を挙げる。

＜文字存在領域の特定例１（図１３）＞
図１３に示すように、記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の複数の候補の中から、文字存在領域ＣＲのサイズが、規定サイズ領域ＲＲのサイズに基づいて設定された所定のサイズＳＺ１未満である候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、所定のサイズＳＺ１は、規定サイズ領域ＲＲのサイズの２分の１のサイズに設定される。

＜文字存在領域の特定例２（図１４）＞
図１４に示すように、記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の複数の候補の中から、文字存在領域ＣＲのサイズが、規定サイズ領域ＲＲのサイズに基づいて設定された所定のサイズＳＺ２以上である候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、所定のサイズＳＺ２は、規定サイズ領域ＲＲのサイズの２倍のサイズに設定される。

＜文字存在領域の特定例３（図１５）＞
図１５に示すように、記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の複数の候補の中から、文字存在領域ＣＲにおいて黒色画素（つまり、第一２値化により「０」の階調値を有することになった画素）の白色画素（つまり、第一２値化により「２５５」の階調値を有することになった画素）に対する割合が所定値ＴＨＲ以上である候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、所定値ＴＨＲは２０％に設定される。

＜文字存在領域の特定例４（図１６）＞
図１６に示すように、記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の複数の候補の中から、文字存在領域ＣＲにおける黒色画素の分散数が所定値ＴＨＮ以上である候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。文字存在領域ＣＲにおける黒色画素の分散数は、縦、横、または、斜め方向に連なる一連の黒色画素を一単位としてカウントされる。図１６には、黒色画素の分散数が「６」である場合を一例として示す。

＜文字存在領域の特定例５（図１７）＞
図１７に示すように、記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の複数の候補の中から、記番号存在領域画像ＳＮＰの各辺から所定距離Ｄ以内にある候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、図１７に示す一例では、文字存在領域の複数の候補ＣＲ１１〜ＣＲ１７のうち、候補ＣＲ１１は記番号存在領域画像ＳＮＰの左辺から所定距離Ｄ以内にあり、候補ＣＲ１３は記番号存在領域画像ＳＮＰの上辺から所定距離Ｄ以内にあり、候補ＣＲ１６は記番号存在領域画像ＳＮＰの下辺から所定距離Ｄ以内にあり、候補ＣＲ１７は記番号存在領域画像ＳＮＰの右辺から所定距離Ｄ以内にある。このため、図１７に示す例では、文字存在領域の複数の候補ＣＲ１１〜ＣＲ１７の中から候補ＣＲ１１，ＣＲ１３，ＣＲ１６，ＣＲ１７が除外され、記番号存在領域画像ＳＮＰにおける文字存在領域として文字存在領域ＣＲ１２，ＣＲ１４，ＣＲ１５が特定される。

＜文字存在領域の特定例６（図１８）＞
図１８に示すように、記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の複数の候補ＣＲ２１，ＣＲ２２，ＣＲ２３の各々において、左上のコーナーのＸ座標ＰＸ２１，ＰＸ２２，ＰＸ２３を取得し、Ｘ座標ＰＸ２１，ＰＸ２２，ＰＸ２３を昇順にソートする。次いで、記番号認識部２４は、ソート順に従って、候補ＣＲ２１に対する候補ＣＲ２２の距離としてＸ座標ＰＸ２１に対するＸ座標ＰＸ２２の距離ＸＤ１を算出し、候補ＣＲ２２に対する候補ＣＲ２３の距離としてＸ座標ＰＸ２２に対するＸ座標ＰＸ２３の距離ＸＤ２を算出する。そして、記番号認識部２４は、算出した距離が所定値ＴＨＸ以上である候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、図１８において、距離ＸＤ１が所定値ＴＨＸ未満であり、距離ＸＤ２が所定値ＴＨＸ以上である場合、文字存在領域の複数の候補ＣＲ２１，ＣＲ２２，ＣＲ２３の中から候補ＣＲ２３が除外され、記番号存在領域画像ＳＮＰにおける文字存在領域として文字存在領域ＣＲ２１，ＣＲ２２が特定される。

＜文字存在領域の特定例７（図１９）＞
図１９に示すように、記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の複数の候補ＣＲ３１，ＣＲ３２，ＣＲ３３の各々において、左上のコーナーのＹ座標ＰＹ３１，ＰＹ３２，ＰＹ３３を取得し、Ｙ座標ＰＹ３１，ＰＹ３２，ＰＹ３３を昇順にソートする。次いで、記番号認識部２４は、ソート順に従って、候補ＣＲ３１に対する候補ＣＲ３２の距離としてＹ座標ＰＹ３１に対するＹ座標ＰＹ３２の距離ＹＤ１を算出し、候補ＣＲ３２に対する候補ＣＲ３３の距離としてＹ座標ＰＹ３２に対するＹ座標ＰＹ３３の距離ＹＤ２を算出する。そして、記番号認識部２４は、算出した距離が所定値ＴＨＹ以上である候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、図１９において、距離ＹＤ１が所定値ＴＨＹ未満であり、距離ＹＤ２が所定値ＴＨＹ以上である場合、文字存在領域の複数の候補ＣＲ３１，ＣＲ３２，ＣＲ３３の中から候補ＣＲ３３が除外され、記番号存在領域画像ＳＮＰにおける文字存在領域として文字存在領域ＣＲ３１，ＣＲ３２が特定される。

＜文字存在領域の特定例８（図２０）＞
図２０に示す例において、記番号認識部２４は、まず、文字存在領域の複数の候補ＣＲ４１〜ＣＲ４７それぞれの左上のコーナーの座標ＣＰ４１〜ＣＰ４７を取得する。次いで、記番号認識部２４は、座標ＣＰ４１〜ＣＰ４７の値の平均値（以下では「座標平均値」と呼ぶことがある）を算出する。次いで、記番号認識部２４は、候補ＣＲ４１〜ＣＲ４７それぞれについて、左上のコーナーの座標と座標平均値との間のマハラノビス距離を算出する。そして、記番号認識部２４は、算出したマハラノビス距離が所定値ＴＨＭ以上である候補を除外することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、図２０において、候補ＣＲ４１〜ＣＲ４６の各々のマハラノビス距離が所定値ＴＨＭ未満であるのに対し、候補ＣＲ４７のマハラノビス距離が所定値ＴＨＭ以上である場合、文字存在領域の複数の候補ＣＲ４１〜ＣＲ４７の中から候補ＣＲ４７が除外され、記番号存在領域画像ＳＮＰにおける文字存在領域として文字存在領域ＣＲ４１〜ＣＲ４６が特定される。

ここで、以上の特定例７，８，９（図１８，１９，２０）は、記番号認識部２４が、文字存在領域の複数の候補において、他の候補からの距離が所定値以上である候補を除外する点において共通する。

＜文字存在領域の特定例９（図２１）＞
記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の各候補において、文字存在領域内の２つの画像輪郭線の間の最短距離が所定値ＴＨＬ未満である場合に、それらの２つの画像輪郭線を統合することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、図２１に示す例では、文字存在領域ＣＲにおいて、画像輪郭線ＣＯ１と画像輪郭線ＣＯ２との間の最短距離ＤＭＩＮが所定値ＴＨＬ未満である場合、記番号認識部２４は、画像輪郭線ＣＯ１と画像輪郭線ＣＯ２との間に画素ＰＸＡを補うことにより画像輪郭線ＣＯ１と画像輪郭線ＣＯ２とを統合して１本の画像輪郭線にする。

＜文字存在領域の特定例１０（図２２）＞
記番号認識部２４は、ステップＳ２０７で検出した文字存在領域の候補の数が、紙幣ＢＬの記番号を形成する文字の数より少ない場合に、紙幣ＢＬの記番号を形成する文字の数に基づいて、新たな文字存在領域を追加することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、図７に示すように紙幣ＢＬの記番号が６つの文字で形成されるのに対し、ステップＳ２０７で検出された文字存在領域の候補が図２２に示すように候補ＣＲ５１〜ＣＲ５５の５つである場合、文字存在領域の候補の数は、紙幣ＢＬの記番号を形成する文字の数より少ない。また、図２２に示す例では、文字存在領域の候補の数（５つ）と紙幣ＢＬの記番号を形成する文字の数（６つ）との差は１つである。そこで、図２２に示す例では、記番号認識部２４は、候補ＣＲ５１〜ＣＲ５５にさらに、新たな１つの文字存在領域ＣＲ５６を追加することにより、記番号存在領域画像ＳＮＰにおける文字存在領域を特定する。例えば、記番号認識部２４は、候補ＣＲ５１〜ＣＲ５５において最も右に存在する候補ＣＲ５５から間隔Ｌ３（図７）の位置に文字存在領域ＣＲ５６を追加する。

以上、文字存在領域の特定例１〜１０について説明した。上記の特定例１〜１０の何れか一つまたは複数をステップＳ２０７で検出された複数の文字存在領域の候補に対して適用することにより、ステップＳ２０９で特定される文字存在領域の各々は、文字画像が存在する領域として特定される。

図５に戻り、次いでステップＳ２１１では、記番号認識部２４は、ステップＳ２０９で特定した文字存在領域の数（以下では「特定領域数」と呼ぶことがある）を「Ｎ」にセットする。

次いでステップＳ２１３では、記番号認識部２４は、カウンタｎの値を「ｎ＝１」にセットする。

以下、ステップＳ２１５〜Ｓ２２９の処理は、ステップＳ２０９で特定された複数の文字存在領域の各々を処理の対象として、カウンタｎの増加とともに、記番号存在領域画像ＳＮＰにおいて最も左にある文字存在領域から右方向に向かって順に行われる。

ステップＳ２１５では、記番号認識部２４は、ステップＳ２０９で特定した文字存在領域ＣＲを紙幣画像ＢＬＰに設定し、文字存在領域ＣＲの画像（以下では「文字存在領域画像」と呼ぶことがある）を紙幣画像ＢＬＰから抽出する。文字存在領域画像には文字画像が含まれている。

次いで、ステップＳ２１７では、記番号認識部２４は、ステップＳ２１５で抽出した文字存在領域画像に対して第二２値化処理を行う。第二２値化処理において、記番号認識部２４は、例えば、一般的な２値化の手法である「大津の２値化」を用いて文字存在領域画像を２値化する。

次いで、ステップＳ２１９では、記番号認識部２４は、例えばステップＳ２０７で用いたのと同一な手法である「境界追跡法」を用いて、第二２値化後の文字存在領域画像において文字画像を検出し、さらに、検出した文字画像が有する「穴の数」（以下では「穴数」と呼ぶことがある）を検出する。ここで、紙幣ＢＬの記番号を形成する可能性がある文字として、０〜９の１０個の数字、及び、Ａ〜Ｚの２６個の英字のうちの何れかの文字が挙げられる。これらの４６個の文字のうち、１，２，３，５，７の数字、及び、Ｃ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ，Ｓ，Ｔ，Ｕ，Ｖ，Ｗ，Ｘ，Ｙ，Ｚの英字の各文字には穴が無く、０，４，６，８，９の数字、及び、Ａ，Ｄ，Ｏ，Ｐ，Ｒの英字の各文字は１個の穴を有し、Ｂ，Ｑの各英字は２個の穴を有する。

次いで、ステップＳ２２１では、記番号認識部２４は、ステップＳ２１７で大津の２値化を行う際に算出した２値化閾値ＴＨＯを用いて、第二２値化前の文字存在領域画像のコントラストを補正する。図２３に示すように、記番号認識部２４は、まず、文字存在領域画像の全体のヒストグラムＨＧ１を求める。次いで、記番号認識部２４は、ヒストグラムＨＧ１に対して２値化閾値ＴＨＯを設定する。また、記番号認識部２４は、ヒストグラムＨＧ１における階調値の最小値ＭＩを検出する。また、記番号認識部２４は、文字存在領域画像を形成する全画素のうち、２値化閾値ＴＨＯ以上の階調値を有する画素の階調値を「２５５」に変更する。また、記番号認識部２４は、文字存在領域画像を形成する全画素のうち、最小値ＭＩから２値化閾値ＴＨＯまでの階調値を有する画素（以下では「注目画素」と呼ぶことがある）の階調値を、最小値ＭＩと２値化閾値ＴＨＯとに基づいて補正することにより、文字存在領域画像のコントラストを補正する。例えば、記番号認識部２４は、図２３に示すように、最小値ＭＩが階調値「０」となり、２値化閾値ＴＨＯが階調値「２５５」となるように、ヒストグラムＨＧ１をヒストグラムＨＧ２に変更することにより、注目画素の階調値を補正する。これにより、例えば、最小値ＭＩの階調値を有する注目画素の階調値は「０」に補正され、２値化閾値ＴＨＯの階調値を有する注目画素の階調値は「２５５」に補正される。このようなコントラスト補正により、文字存在領域画像のコントラストを高めて、文字存在領域画像において、ノイズである背景部分の階調値に対して、認識対象である文字部分の階調値の比を大きくすることができる。よって、以下のステップＳ２２５，Ｓ２２７における文字認識の際に、ノイズである背景部分の影響を最小限に抑えることができるため、文字認識の精度を高めることができる。

図５に戻り、次いでステップＳ２２３では、記番号認識部２４は、ステップＳ２１９で検出した穴数が１個以上か否か、つまり、文字画像が穴を有するか否かを判断する。文字画像に穴が有る場合は（ステップＳ２２３：Ｙｅｓ）、処理はステップＳ２２５へ進み、文字画像に穴が無い場合は（ステップＳ２２３：Ｎｏ）、処理はステップＳ２２７へ進む。

ここで、記憶部２３は、第一学習モデルと、第二学習モデルとを記憶する。第一学習モデルは、紙幣ＢＬの記番号として使用される可能性がある文字０〜９，Ａ〜Ｚのうち、穴が有る文字０，４，６，８，９，Ａ，Ｄ，Ｏ，Ｐ，Ｒ，Ｂ，Ｑの画像だけを教師データとする一方で、穴が無い文字１，２，３，５，７，Ｃ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ，Ｓ，Ｔ，Ｕ，Ｖ，Ｗ，Ｘ，Ｙ，Ｚの画像を教師データとせずに、ＣＮＮを用いて生成された学習モデルである。一方で、第二学習モデルは、紙幣ＢＬの記番号として使用される可能性がある文字０〜９，Ａ〜Ｚのうち、穴が無い文字１，２，３，５，７，Ｃ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ，Ｓ，Ｔ，Ｕ，Ｖ，Ｗ，Ｘ，Ｙ，Ｚの画像だけを教師データとする一方で、穴が有る文字０，４，６，８，９，Ａ，Ｄ，Ｏ，Ｐ，Ｒ，Ｂ，Ｑの画像を教師データとせずに、ＣＮＮを用いて生成された学習モデルである。

そこで、ステップＳ２２３の判断が“Ｙｅｓ”となる場合には、記番号認識部２４は、ステップＳ２２５において、第一学習モデルを用いて、コントラスト補正後の文字存在領域画像に対してＣＮＮによる文字認識を行う。一方で、ステップＳ２２３の判断が“Ｎｏ”となる場合には、記番号認識部２４は、ステップＳ２２７において、第二学習モデルを用いて、コントラスト補正後の文字存在領域画像に対してＣＮＮによる文字認識を行う。ステップＳ２２５，Ｓ２２７の処理により、記番号認識部２４は、文字認識のより認識された各文字と、各文字に対するスコアを取得する。ステップＳ２２５またはステップＳ２２７の処理後、処理はステップＳ２２９へ進む。

ステップＳ２２９では、記番号認識部２４は、文字存在領域画像に含まれる文字を特定する。例えば、ステップＳ２２５またはステップＳ２２７の処理において、０〜９の９個の文字が認識され、「０」に対するスコアが0.9765、「１」に対するスコアが0.005、「２」に対するスコアが0.004、「３」に対するスコアが0.003、「４」に対するスコアが0.03、「５」に対するスコアが0.04、「６」に対するスコアが0.865、「７」に対するスコアが0.06、「８」に対するスコアが0.05、「９」に対するスコアが0.654であった場合を想定する。この場合において、記番号認識部２４は、文字存在領域画像に含まれる文字として、最も大きいスコアを有する「０」を特定する。

ここで、記番号認識部２４は、最も大きいスコアを有する文字と、二番目に大きいスコアを有する文字との間において、スコアの差の絶対値が所定値ＴＨＳ未満である場合には、文字存在領域画像に含まれる文字を不明と判断しても良い。例えば、閾値ＴＨＳが0.15に設定されている場合には、上記の例では、最も大きいスコアを有する文字「０」に対するスコアが0.9765、二番目に大きいスコアを有する文字「６」に対するスコアが0.865であり、スコア間の差の絶対値は0.1115となって閾値ＴＨＳ未満であるため、記番号認識部２４は、文字存在領域画像に含まれる文字を不明と判断する。

また例えば、記番号認識部２４は、最も大きいスコアを有する文字に存在する穴の数が、ステップＳ２１９で検出した穴数に一致しない場合には、文字存在領域画像に含まれる文字を不明と判断しても良い。

また例えば、記番号認識部２４は、境界追跡法を用いて文字画像の周長を検出し、検出した周長を式（１）に従って正規化し、正規化した周長Ｐに対応する文字群の中に、最も大きいスコアを有する文字が存在しない場合には、文字存在領域画像に含まれる文字を不明と判断しても良い。式（１）において、「Ｄ」は境界追跡法を用いて検出した文字画像の周長であり、「Ｗ」は文字画像の幅であり、「Ｈ」は文字画像の高さである。
正規化した周長Ｐ＝Ｄ／ＳＱＲＴ（Ｗ×Ｈ） …（１）

次いで、ステップＳ２３１では、記番号認識部２４は、カウンタｎの値が特定領域数Ｎに達したか否かを判断する。カウンタｎの値が特定領域数Ｎに達していない場合は（ステップＳ２３１：Ｎｏ）、処理はステップＳ２３３へ進み、カウンタｎの値が特定領域数Ｎに達した場合は（ステップＳ２３１：Ｙｅｓ）、処理はステップＳ２３５へ進む。

ステップＳ２３３では、記番号認識部２４は、カウンタｎの値をインクリメントする。ステップＳ２３３の処理後、処理はステップＳ２１５に戻る。

一方で、ステップＳ２３５では、記番号認識部２４は、複数の文字から形成される記番号の認識結果を出力する。例えば、図７に示すように紙幣ＢＬの記番号が６つの文字ｌ１〜ｌ６で形成される場合、記番号認識部２４は、記番号の認識結果として、カウンタｎの値の「１」から「６」までの増加に伴って順次ステップＳ２２９の処理で特定した６つの文字を出力する。例えば、記番号認識部２４は、認識結果として「ＢＸ３９７０」と出力する。

但し、記番号認識部２４は、上記のようにして不明と判断した文字を文字「？」に置き換えて出力する。例えば、記番号「ＢＸ３９７０」において「９」が不明と判断された場合、記番号認識部２４は、認識結果として「ＢＸ３？７０」と出力する。

以上のように、実施例１では、紙幣検査装置１４は、記憶部２３と、記番号認識部２４とを有する。記憶部２３は、穴を有する文字の画像を教師データとして用いて生成された第一学習モデルと、穴を有しない文字の画像を教師データとして用いて生成された第二学習モデルとを記憶する。記番号認識部２４は、文字画像が穴を有する場合には第一学習モデルを用いて紙幣ＢＬの記番号を形成する文字を認識する一方で、文字画像が穴を有しない場合には第二学習モデルを用いて紙幣ＢＬの記番号を形成する文字を認識する。

こうすることで、紙幣ＢＬの記番号を形成する文字の特徴に応じた学習モデルを用いて文字認識が行われるため、記番号の認識精度を高めることができる。

また、実施例１では、記番号認識部２４は、文字存在領域画像のコントラストを補正し、コントラスト補正後の文字存在領域画像に基づいて第一学習モデルまたは第二学習モデルを用いて、記番号を形成する文字を認識する。

こうすることで、文字存在領域画像において背景部分の階調値に対する文字部分の階調値の比が大きくなるため、記番号の認識精度をさらに高めることができる。

また、実施例１では、記番号認識部２４は、紙幣画像を第一２値化を用いて２値化し、２値化後の紙幣画像を用いて、紙幣画像において文字存在領域を特定する。一方で、記番号認識部２４は、文字存在領域画像を第二２値化を用いて２値化し、２値化後の文字存在領域画像を用いて、文字画像が有する穴の数を検出する。第二２値化は、第一２値化よりも、２値化に伴う計算量が多い一方で、２値化の精度が高いものであることが好ましい。例えば、記番号認識部２４は、第一２値化として上記の処理例１または処理例２に示す２値化を用い、第二２値化として大津の２値化を用いる。

こうすることで、多くの画素から形成される紙幣画像に対しては計算量が少ない第一２値化を適用し、紙幣画像よりも少ない画素から形成される文字存在領域画像に対しては精度が高い第二２値化を適用できるため、全体として、計算量を抑えつつ要求精度を満たす２値化を行うことができる。

また、実施例１では、記番号認識部２４は、紙幣画像ＢＬにおいて文字存在領域の複数の候補を検出し、検出した複数の候補に基づいて、文字存在領域を特定する。例えば、記番号認識部２４は、上記の特定例１〜１０の何れか一つまたは複数に従って文字存在領域を特定する。

こうすることで、文字存在領域の特定精度を高めることができる。

［実施例２］
＜紙幣検査装置のハードウェア構成＞
紙幣検査装置１４は、次のようなハードウェア構成により実現することができる。紙幣撮影部２１は、例えばカメラにより実現される。金種判別部２２は、例えば光センサや磁気センサ等の各種センサにより実現される。記番号認識部２４は、例えばプロセッサにより実現される。記憶部２３は、例えばメモリによって実現される。プロセッサの一例として、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。メモリの一例として、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory），フラッシュメモリ等が挙げられる。

また、記番号認識部２４での上記説明における各処理は、各処理に対応するプログラムをプロセッサに実行させることによって実現しても良い。例えば、記番号認識部２４での上記説明における各処理に対応するプログラムが紙幣取扱装置１が有するメモリに記憶され、紙幣取扱装置１が有するプロセッサによってプログラムがメモリから読み出されて実行されても良い。また、プログラムは、任意のネットワークを介して紙幣取扱装置１に接続されたプログラムサーバに記憶され、そのプログラムサーバから紙幣取扱装置１にダウンロードされて実行されたり、紙幣取扱装置１が読み取り可能な記録媒体に記憶され、その記録媒体から読み出されて実行されても良い。紙幣取扱装置１が読み取り可能な記録媒体には、例えば、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、及び、Ｂｌｕ−ｒａｙ（登録商標）ディスク等の可搬の記憶媒体が含まれる。また、プログラムは、任意の言語や任意の記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。また、プログラムは必ずしも単一的に構成されるものに限られず、複数のモジュールや複数のライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものも含む。

１ 紙幣取扱装置
１４ 紙幣検査装置
２１ 紙幣撮影部
２２ 金種判別部
２３ 記憶部
２４ 記番号認識部

Claims (16)

1. 穴を有する文字の画像を教師データとして用いて生成された第一学習モデルと、穴を有しない文字の画像を教師データとして用いて生成された第二学習モデルとを記憶する記憶部と、
   紙幣の記番号を形成する文字の画像である文字画像が穴を有する場合には第一学習モデルを用いて前記文字を認識する一方で、前記文字画像が穴を有しない場合には前記第二学習モデルを用いて前記文字を認識する認識部と、
   を具備する紙幣検査装置。
2. 前記認識部は、前記文字画像が存在する領域の画像である領域画像のコントラストを補正し、コントラスト補正後の前記領域画像に基づいて前記第一学習モデルまたは前記第二学習モデルを用いて前記文字を認識する、
   請求項１に記載の紙幣検査装置。
3. 前記認識部は、前記紙幣の画像である紙幣画像を第一２値化を用いて２値化し、２値化後の前記紙幣画像を用いて、前記紙幣画像において前記文字画像が存在する領域である存在領域を特定する一方で、前記存在領域の画像である領域画像を前記第一２値化とは異なる第二２値化を用いて２値化し、２値化後の前記領域画像を用いて、前記文字画像が有する穴の数を検出する、
   請求項１に記載の紙幣検査装置。
4. 前記紙幣画像は複数の画素を含み、
   前記認識部は、前記第一２値化では、前記複数の画素において第一部分と第二部分とを設定し、前記第一部分の画素を用いて前記第一２値化の閾値を算出し、算出した前記閾値に従って前記第二部分の画素を２値化する、
   請求項３に記載の紙幣検査装置。
5. 前記認識部は、前記第二２値化として大津の２値化を用いる、
   請求項３に記載の紙幣検査装置。
6. 前記認識部は、前記紙幣の画像である紙幣画像において前記文字画像が存在する領域である存在領域の複数の候補を検出し、検出した前記複数の候補に基づいて、前記存在領域を特定する、
   請求項１に記載の紙幣検査装置。
7. 前記認識部は、前記存在領域のサイズが所定サイズ未満である候補を前記複数の候補から除外する、
   請求項６に記載の紙幣検査装置。
8. 前記認識部は、前記存在領域のサイズが所定サイズ以上である候補を前記複数の候補から除外する、
   請求項６に記載の紙幣検査装置。
9. 前記認識部は、前記存在領域おける黒色画素の白色画素に対する割合が所定値以上である候補を前記複数の候補から除外する、
   請求項６に記載の紙幣検査装置。
10. 前記認識部は、前記存在領域における黒色画素の分散数が所定値以上である候補を前記複数の候補から除外する、
    請求項６に記載の紙幣検査装置。
11. 前記認識部は、一連の複数の前記文字画像が存在する矩形領域の各辺から所定距離以内にある候補を前記複数の候補から除外する、
    請求項６に記載の紙幣検査装置。
12. 前記認識部は、他の候補からの距離が所定値以上である候補を前記複数の候補から除外する、
    請求項６に記載の紙幣検査装置。
13. 前記認識部は、前記複数の候補の各候補において、前記存在領域内の２つの輪郭線の間の最短距離が所定値未満である場合に、前記２つの輪郭線を統合する、
    請求項６に記載の紙幣検査装置。
14. 前記認識部は、前記複数の候補の数が前記紙幣が有する前記記番号の数より少ない場合に、前記記番号の数に基づいて、前記存在領域の新たな候補を前記複数の候補に追加する、
    請求項６に記載の紙幣検査装置。
15. プロセッサが、
    紙幣の記番号を形成する文字の画像である文字画像が穴を有する場合には、穴を有する文字の画像を教師データとして用いて生成された第一学習モデルであって、記憶部に記憶されている前記第一学習モデルを用いて前記文字を認識し、
    前記文字画像が穴を有しない場合には、穴を有しない文字の画像を教師データとして用いて生成された第二学習モデルであって、前記記憶部に記憶されている前記第二学習モデルを用いて前記文字を認識する、
    紙幣検査方法。
16. 紙幣の記番号を形成する文字の画像である文字画像が穴を有する場合には、穴を有する文字の画像を教師データとして用いて生成された第一学習モデルを用いて前記文字を認識し、
    前記文字画像が穴を有しない場合には、穴を有しない文字の画像を教師データとして用いて生成された第二学習モデルを用いて前記文字を認識する、
    処理をプロセッサに実行させるための紙幣検査プログラム。

Images