JP6303814B2 - 認識装置、認識方法、プログラムおよび認識システム - Google Patents

認識装置、認識方法、プログラムおよび認識システム Download PDF

Info

Publication number
JP6303814B2
JP6303814B2 JP2014110197A JP2014110197A JP6303814B2 JP 6303814 B2 JP6303814 B2 JP 6303814B2 JP 2014110197 A JP2014110197 A JP 2014110197A JP 2014110197 A JP2014110197 A JP 2014110197A JP 6303814 B2 JP6303814 B2 JP 6303814B2
Authority
JP
Japan
Prior art keywords
predetermined area
recognition
mark
pixel
entry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014110197A
Other languages
English (en)
Other versions
JP2015225516A (ja
Inventor
杉岡 賢
賢 杉岡
高橋 清
高橋  清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2014110197A priority Critical patent/JP6303814B2/ja
Publication of JP2015225516A publication Critical patent/JP2015225516A/ja
Application granted granted Critical
Publication of JP6303814B2 publication Critical patent/JP6303814B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、認識装置、認識方法、プログラムおよび認識システムに関する。
近日、帳票に含まれる複数の記入枠のうちで、マークが手記入されている記入枠を自動認識する認識装置が普及している。例えば、帳票の各記入枠には記入者がマークを記入しやすいようにガイドラインがドロップアウト色で印刷されており、認識装置は、帳票の読み取り時に当該ガイドラインをドロップアウトさせることにより記入色だけを残し、マークの有無を認識する。しかし、ドロップアウト色でのガイドラインの印刷は通常色の印刷よりもコストが高い。また、ドロップアウト色は薄いので、ドロップアウト色で印刷されたガイドラインの視認性は悪い。
上記事情により、ドロップアウト色でない通常色でガイドラインが印刷された帳票の自動認識を行う方法も提案されている。例えば、特許文献1には、手記入後の帳票画像から手記入前の帳票画像を削除することにより、手記入後の帳票画像と手記入前の帳票画像との差分を抽出し、当該差分に基づいてマークの有無を認識する方法が開示されている。
特開2000−172778号公報
しかし、ガイドラインに沿ってマークの記入が試みられる帳票に上記の方法を適用すると、正確な認識結果が得られないことが予想される。例えば、記入者が完全にガイドラインに重ねてマークを記入した場合、ガイドラインの除去に伴いマークも除去されるので、マークを認識することが困難になる。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ドロップアウト色を用いない場合の手記入の有無をより正確に認識することが可能な、新規かつ改良された認識装置、認識方法、プログラムおよび認識システムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識する認識部を備え、前記認識部は、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識する、認識装置が提供される。
前記輝度分布の程度は、輝度分布のばらつきの程度であってもよい。
前記認識装置は、前記所定領域内の画素として、前記媒体の撮像により得られる媒体画像の所定領域に記入されている線のエッジ部を除く画素を抽出する画素抽出部をさらに備えてもよい。
前記認識装置は、前記媒体画像の所定領域に対して、画素値が閾値より高い画素を第1の値に設定し、他の画素を第2の値に設定する2値化処理を施し、前記第2の値を有し、前記第1の値を有する画素と隣接する画素を前記第1の値に設定する、画像処理部をさらに備え、前記画素抽出部は、前記所定領域内の画素として、前記媒体画像の所定領域の画像から、前記画像処理部の処理により得られる画像において前記第2の値を有する画素に対応する位置の画素を抽出してもよい。
前記媒体は、金融機関で扱われる帳票であってもよい。
前記手記入の行われた状態は前記所定領域内にマークが手記入された状態であってもよい。
前記輝度分布の程度は、前記所定領域内の画素の輝度の標準偏差または分散であってもよい。
前記媒体は、前記所定領域内に機械印刷が行われた媒体であってもよい。
前記機械印刷は、手記入よりも高い明度で行われてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識することを含み、前記所定領域内の記入状態を認識することは、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識することを含む、認識装置により実行される認識方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識する認識部として機能させ、前記認識部は、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識する、プログラムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識する認識部を備え、前記認識部は、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識する、認識システムが提供される。
以上説明したように本発明によれば、ドロップアウト色を用いない場合の手記入の有無をより正確に認識することが可能である。
本発明の実施形態によるマーク認識装置の構成を示した説明図である。 帳票の具体例を示した説明図である。 切出しカラー画像の具体例を示した説明図である。 2値画像の具体例を示した説明図である。 輝度分布の具体例を示した説明図である。 本発明の実施形態によるマーク認識装置の動作を示したフローチャートである。 マーク認識処理を示したフローチャートである。 2値画像に画像処理部が収縮処理を施した結果を示す説明図である。 画素抽出部により抽出される画素の具体例を示した説明図である。 第1の応用例によるマーク認識処理を示すフローチャートである。 明度分布の具体例を示した説明図である。 マーク認識装置のハードウェア構成を示したブロック図である。
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
<1.マーク認識装置の構成>
本発明による認識装置あるいは認識システムは、紙葉状の媒体の所定領域における手記入の有無を認識する機能を有し、一実施形態として、帳票の各記入枠にマークが記入されているか否かを認識するためのマーク認識装置に適用され得る。以下、図1〜図5を参照し、本発明の実施形態によるマーク認識装置の構成を説明する。
図1は、本発明の実施形態によるマーク認識装置20の構成を示した説明図である。図1に示したように、本発明の実施形態によるマーク認識装置20は、操作部216、表示部220、制御部224、フォーマット情報入力部228、フォーマット情報格納部232、画像入力部236、入力画像メモリ240、記入枠切出し部244、切出しカラー画像メモリ248、画像処理部252、2値画像メモリ256、画素抽出部260およびマーク認識部264を備え、イメージスキャナ30に接続されている。
(イメージスキャナ)
イメージスキャナ30は、帳票32を光学的に読取ることにより、カラーで表現された帳票画像データ(以下、単に帳票画像と称する。)を生成する。帳票32は、記入者が意図する情報を記入するための紙葉状の媒体の一例である。ここで、図2を参照し、帳票32の構成例を説明する。
図2は、帳票32の具体例を示した説明図である。図2に示したように、帳票32には、複数の記入枠34と、各記入枠34内のガイドライン36が事前に機械的に印刷されている。また、図2に示した例では、項目「1」〜「3」の各々に対する選択肢として、「A」〜「D」に対応する記入枠34が印刷されている。ここで、本発明の実施形態においては、記入枠34およびガイドライン36は、ドロップアウト色でない通常色、例えば赤色で印刷される。なお、図2は便宜上ガイドライン36部分を大きく拡大して表示しているものであり、通常は、ガイドライン36は直径数ミリ程度のサイズで印刷される。
記入者は、このような帳票32の記入枠34内にガイドライン36に沿ってマーク38を手記入することにより、各項目から意図する選択肢を選択することができる。なお、以下では、マーク38の記入色が黒色である例を想定して説明を進めるが、マーク38の記入色は、記入枠34およびガイドライン36の印刷色を含む複数色のうちの任意の色であり得る。
上述した帳票32は、マーク認識装置20が金融機関に適用される場合、例えば振込用紙、預入用紙、引出用紙または口座開設用紙などに相当する。ただし、帳票32は紙葉状の媒体の一例に過ぎず、本発明の実施形態は、マーク式答案用紙および各種アンケート用紙などの多様な紙葉状の媒体についても適用可能である。
(操作部)
操作部216は、マーク認識装置20のオペレータにより入力操作が行われる構成である。オペレータは、この操作部216を操作することにより、後述するフォーマット情報の入力および画像の入力などの処理の開始を指示することができる。なお、操作部216は、例えばキーボードまたはマウスなどに相当し得る。
(表示部)
表示部220は、マーク認識装置20のオペレータに対して情報を表示する構成である。この表示部220は、例えば液晶表示ディスプレイに相当し得る。
(制御部)
制御部224は、マーク認識装置20の動作全般を制御する。例えば、制御部224は、フォーマット情報入力部228、画像入力部236、記入枠切出し部244、画像処理部252、画素抽出部260およびマーク認識部264などが行う動作を制御する。
(フォーマット情報入力部)
フォーマット情報入力部228は、操作部216に対するオペレータ操作に基づく制御部224からの指示に従い、フォーマット情報の入力を受け付け、入力されたフォーマット情報をフォーマット情報格納部232に格納する。フォーマット情報は、帳票32における各記入枠34の識別情報と、各記入枠34の内側範囲を示す位置情報とが関連付けられた情報である。各記入枠34の位置情報は、例えば帳票画像における所定の原点(例えば、左上の頂点)を基準とした座標値で表現され得る。
(フォーマット情報格納部)
フォーマット情報格納部232は、上述したフォーマット情報を格納するメモリである。
(画像入力部)
画像入力部236は、イメージスキャナ30により生成されたカラーの帳票画像が入力され、当該帳票画像を入力画像メモリ240に格納する。なお、操作部216に対するオペレータ操作に基づいて制御部224がイメージスキャナ30に対して帳票32の読取を指示し、当該指示に基づいて生成された帳票画像が画像入力部236に入力される。
(入力画像メモリ)
入力画像メモリ240は、上述した帳票画像を格納するメモリである。
(記入枠切出し部244)
記入枠切出し部244は、フォーマット情報格納部232に格納されたフォーマット情報に基づき、入力画像メモリ240に格納された帳票画像から、各記入枠34に相当する領域を1つずつ切出す。ここで、図3を参照し、記入枠切出し部244の切出しにより得られる切出しカラー画像の具体例を説明する。
図3は、切出しカラー画像の具体例を示した説明図である。上述したように、フォーマット情報は、各記入枠34の内側範囲を示す位置情報からなるので、図3に示したように、切出しカラー画像は記入枠34を含まずに形成される。
(切出しカラー画像メモリ)
切出しカラー画像メモリ248は、記入枠切出し部244の切出しにより得られる切出しカラー画像を格納するメモリである。
(画像処理部)
画像処理部252は、切出しカラー画像メモリ248に格納されている各切出しカラー画像に対して2値化処理を施す。具体的は、画像処理部252は、各切出しカラー画像において、輝度(画素値)が閾値より高い画素を白画素(第1の値)に設定し、他の画素を黒画素(第2の値)に設定する。ここで、図4を参照し、画像処理部252の2値化処理により得られる2値画像の具体例を説明する。
図4は、2値画像の具体例を示した説明図である。図4に示したように、2値画像においては、マーク38に加えてガイドライン36も黒色で表現される。すなわち、帳票32のガイドライン36は、切出しカラー画像におけるガイドライン36の輝度が閾値以下となる色で印刷される。なお、輝度は、画素のR、G、Bの各々の成分の値の平均値であってもよい。
(2値画像メモリ)
2値画像メモリ256は、画像処理部252の2値化処理により得られた2値画像を格納するメモリである。
(画素抽出部)
画素抽出部260は、切出しカラー画像メモリ248に格納された切出しカラー画像のうちで、2値画像メモリ256に格納された2値画像における黒画素に対応する画素を抽出する。かかる構成により、切出しカラー画像において、ガイドライン36またはマーク38が形成された画素が抽出される。なお、画素抽出部260は、後述するマーク認識部264により、黒画素数に基づいて「記入有り」と認識された記入枠34の切出しカラー画像を除き、上記の画素の抽出を行ってもよい。
(マーク認識部)
マーク認識部264は、帳票32の各記入枠34内の記入状態を認識する。このマーク認識部264は、複数の手法により各記入枠34内の記入状態を認識することが可能である。以下、マーク認識部264が行い得る複数の認識手法について説明する。
・第1の認識手法
マーク38が記入された記入枠34の2値画像においては、ガイドライン36を形成する画素に加え、マーク38を形成する画素も黒画素であるので、マーク38が記入されていない記入枠34よりも黒画素数が多くなり得る。
このため、マーク認識部264は、第1の認識手法として、2値画像において黒画素数が所定数を上回る記入枠34を「記入有り」と認識する。例えば、図4の「1.B」に示したように、マーク38がガイドライン36からずれて記入された場合、黒画素数が所定数を上回り、「1.B」の記入枠34がマーク認識部264により「記入有り」と認識される。
・第2の認識手法
上記の第1の認識手法により、ガイドライン36からずれて記入されたマーク38は高精度に認識することが可能である。一方、図4の「2.C」に示したように、マーク38がガイドライン36に重ねて記入された記入枠34の黒画素数と、マーク38が記入されていない「1.A」などの他の記入枠34の黒画素数とには大差が生じない。このため、上記の第1の認識手法のみでは、図4の「2.C」のようにマーク38がガイドライン36に重ねて記入された記入枠34が「記入無し」と誤認識される恐れがある。
また、ガイドライン36を形成する画素領域を除去する他の手法も考えられるが、当該手法では、マーク38がガイドライン36に重ねて記入された場合、ガイドライン36の除去に伴いマーク38も除去されてしまうので、当該手法でも誤認識が生じ得る。
これに対し、本発明の実施形態によるマーク認識部264は、第2の認識手法により、マーク38がガイドライン36に重ねて記入された場合でも高精度な認識を行うことが可能である。この第2の認識手法は、事前に機械印刷されたガイドライン36と、手記入されたマーク38の輝度特性の差異に着目してなされたものである。
具体的には、事前に機械印刷されたガイドライン36の各画素の成分は比較的安定している一方、マーク38は、ボールペンなどの筆記具により人的に記入されるので、マーク38においては濃い部分や薄い部分が生じ、また、筆記具のインクに応じて多様な状態が発生し得る。すなわち、ガイドライン36の色ムラに対し、マーク38の色ムラは高くなる傾向にある。結果、図5に示すように、マーク38がガイドライン36に重ねて記入された記入枠「2.C」での輝度のばらつき(標準偏差)は、マーク38が記入されていない記入枠「1.C」での輝度のばらつきよりも大きくなる。
そこで、マーク認識部264は、第2の認識手法として、画素抽出部260により抽出された画素、すなわち、ガイドライン36またはマーク38が形成された画素の輝度分布に基づいて、各記入枠34内の記入状態を認識する。例えば、マーク認識部264は、ある記入枠34についての輝度分布の程度が所定基準を上回る場合、当該記入枠34を「記入有り」と認識してもよい。
なお、マーク認識部264は、輝度分布の程度を示す指標として標準偏差を算出し得るが、輝度分布の程度を示す指標は標準偏差に限定されない。例えば、輝度分布の程度を示す指標は、分散であってもよいし、輝度ヒストグラムにおける極大点間の輝度差であってもよいし、最小輝度と最大輝度との差分であってもよい。
上記第2の認識手法により、マーク38がガイドライン36に重ねて記入された記入枠についても、「記入有り」と認識することが可能となる。なお、マーク認識部264は、第1の認識手法による認識を先に行い、第1の認識手法で「記入有り」と認識されなかった記入枠34について第2の認識手法を行ってもよい。第2の認識手法は輝度分布の程度を示す指標を算出するための負荷を伴うので、上記のように第2の認識手法の対象とする記入枠34の数を減少することにより、処理負荷の軽減を実現することが可能である。
ところで、図5に示したように、マーク38がガイドライン36に重ねて記入された記入枠34(「2.C」)と、マーク38が記入されていない記入枠34(「1.A」)とでは、平均輝度が異なるので、平均輝度に着目して記入状態を認識することも効果的である。しかし、ガイドライン36の印刷色とマーク38の記入色が同一である場合には、平均輝度に差が生じないので、平均輝度に着目して記入状態を認識することは困難である。これに対し、ガイドライン36の印刷色とマーク38の記入色が同一であっても輝度分布の差異は生じると考えられるので、本発明の実施形態によれば、ガイドライン36の印刷色とマーク38の記入色が同一であっても、適確な認識を行うことが可能である。すなわち、本発明の実施形態は、ガイドライン36の印刷色とマーク38の記入色の関係によらず適用可能である点でも有用である。
<2.マーク認識装置の動作>
以上、本発明の実施形態によるマーク認識装置20の構成を説明した。続いて、図6および図7を参照し、本発明の実施形態によるマーク認識装置20の動作を整理する。
図6は、本発明の実施形態によるマーク認識装置20の動作を示したフローチャートである。図6に示したように、まず、マーク認識装置20のフォーマット情報入力部228によりフォーマット情報が入力されると(S304)、フォーマット情報格納部232が当該フォーマット情報を格納する。その後、画像入力部236にカラーの帳票画像が入力されると(S308)、入力画像メモリ240が当該帳票画像を格納する。
そして、記入枠切出し部244が、フォーマット情報格納部232に格納されたフォーマット情報に基づき、入力画像メモリ240に格納された帳票画像から、各記入枠34に相当する領域を1つずつ切出す(S312)。記入枠切出し部244の切出しにより得られる切出しカラー画像は、切出しカラー画像メモリ248に格納される。
続いて、画像処理部252が、切出しカラー画像メモリ248に格納されている各切出しカラー画像に対して2値化処理を施す(S316)。画像処理部252の2値化処理により得られた2値画像は、2値画像メモリ256に格納される。
その後、画素抽出部260およびマーク認識部264により、図7に示す各記入枠34にマークが記入されているか否かを認識するマーク認識処理が行われ(S320)、全ての記入枠34についての認識が終了すると(S324)、認識対象となる次の帳票が無くなるまで、S308〜S324の処理が繰り返される(S328)。
図7は、マーク認識処理を示したフローチャートである。マーク認識処理においては、図7に示したように、まずマーク認識部264が、2値画像メモリ256に格納された2値画像において1の記入枠34についての黒画素数が所定数を上回るか否かを判断する(S344)。そして、2値画像における黒画素数が所定数を上回る場合(S344/yes)、当該記入枠34のマーク記入状態が「記入有り」であると認識する(S348)。
一方、2値画像における黒画素数が所定数以下である場合(S344/no)、画素抽出部260が、切出しカラー画像メモリ248に格納された切出しカラー画像のうちで、2値画像メモリ256に格納された2値画像における黒画素に対応する画素を抽出する(S352)。さらに、マーク認識部264は、画素抽出部260により抽出された画素、すなわち、ガイドライン36またはマーク38が形成された画素の輝度分布を示す標準偏差を算出する(S356)。続いて、マーク認識部264は、算出した標準偏差が所定値を上回るか否かを判断する(S360)。
そして、マーク認識部264は、標準偏差が所定値を上回る場合(S360/yes)、当該記入枠34のマーク記入状態が「記入有り」であると認識する(S348)。一方、マーク認識部264は、標準偏差が所定値以下である場合(S360/no)、当該記入枠34のマーク記入状態が「記入無し」であると認識する(S364)。
<3.応用例>
以上、本発明の実施形態によるマーク認識装置20の構成および動作を説明した。上述した本発明の実施形態によるマーク認識装置20の構成および動作は、多様な形態に応用可能である。以下、図8〜図11を参照し、本発明の実施形態によるマーク認識装置20の第1の応用例および第2の応用例を説明する。
(第1の応用例)
上述したように、ボールペンなどの筆記具により人的に記入されたマーク38の色ムラに対し、事前に機械印刷されたガイドライン36の色むらは低いと考えられる。しかし、機械印刷の特性に起因し、ガイドライン36においても、ガイドライン36のエッジ部は色の状態が不安定になることがある。このため、ガイドライン36のエッジ部の存在は、ガイドライン36の輝度分布の程度を広げ得る。すなわち、ガイドライン36のエッジ部の存在により、ガイドライン36のみの記入枠34での輝度分布と、マーク38が記入された記入枠34での輝度分布との差分が小さくなり得る。しかし、輝度分布の差分に基づいてマーク38の記入状態を認識する手法が適用される場合、ガイドライン36のみの記入枠34での輝度分布と、マーク38が記入された記入枠34での輝度分布との差分はより大きくなることが望まれる。
そこで、第1の応用例によるマーク認識装置20は、帳票画像に記入されているガイドライン36のエッジ部を除く画素の輝度分布に基づいてマーク38の記入状態を認識する。かかる構成により、マーク38の認識精度をさらに向上することが可能である。以下、このような第1の応用例によるマーク認識装置20についてより具体的に説明する。
第1の応用例による画像処理部252は、切出しカラー画像メモリ248に格納されている各切出しカラー画像に対して2値化処理を施した後、さらに、2値画像を収縮する収縮処理を施す。当該収縮処理は、2値画像に含まれる黒画素のエッジ部を除去するための処理であり、一例として、2値画像において白画素と隣接する黒画素を、白画素に設定する処理であってもよい。
図8は、図4に示した2値画像に画像処理部252が収縮処理を施した結果を示す説明図である。図8に示したように、画像処理部252により収縮処理が施されると、黒画素を形成するガイドライン36およびマーク38のエッジ部が除去されるので、ガイドライン36およびマーク38が細くなる。第1の応用例においては、当該収縮処理後の2値画像が2値画像メモリ256に格納される。
また、第1の応用例による画素抽出部260は、切出しカラー画像メモリ248に格納された切出しカラー画像のうちで、2値画像メモリ256に格納された収縮処理後の2値画像における黒画素に対応する画素を抽出する。ここで、2値画像メモリ256に格納された2値画像は、黒画素を形成するガイドライン36およびマーク38のエッジ部が除去された画像である。このため、図9に示したように、図3に示した切出しカラー画像におけるガイドライン36およびマーク38のエッジ部を除く画素が画素抽出部260により抽出される。
第1の応用例によるマーク認識部264は、この画素抽出部260により抽出された画素の輝度分布に基づき、各記入枠34内の記入状態を認識する。ここで、画素抽出部260により抽出された画素は、切出しカラー画像におけるガイドライン36およびマーク38のエッジ部を除く画素である。従って、マーク認識部264は、色の状態が不安定なガイドライン36のエッジ部の影響を受けずに、各記入枠34の記入状態をより正確に認識することが可能となる。
以下、図10を参照し、第1の応用例によるマーク認識装置20のマーク認識処理を整理する。
図10は、第1の応用例によるマーク認識処理を示すフローチャートである。図10に示したように、まずマーク認識部264が、2値画像メモリ256に格納された2値画像(収縮処理前の2値画像)において1の記入枠34についての黒画素数が所定数を上回るか否かを判断する(S344)。そして、2値画像における黒画素数が所定数を上回る場合(S344/yes)、当該記入枠34のマーク記入状態が「記入有り」であると認識する(S348)。
一方、2値画像における黒画素数が所定数以下である場合(S344/no)、画像処理部252は、2値画像に対して収縮処理を施す(S350)。当該収縮処理後の2値画像も2値画像メモリ256に格納される。そして、画素抽出部260は、切出しカラー画像メモリ248に格納された切出しカラー画像のうちで、2値画像メモリ256に格納された収縮処理後の2値画像における黒画素に対応する画素を抽出する(S354)。
さらに、マーク認識部264は、画素抽出部260により抽出された画素、すなわち、ガイドライン36およびマーク38のエッジ部を除く画素の輝度分布を示す標準偏差を算出する(S358)。続いて、マーク認識部264は、算出した標準偏差が所定値を上回るか否かを判断する(S362)。
そして、マーク認識部264は、標準偏差が所定値を上回る場合(S362/yes)、当該記入枠34のマーク記入状態が「記入有り」であると認識する(S348)。一方、マーク認識部264は、標準偏差が所定値以下である場合(S362/no)、当該記入枠34のマーク記入状態が「記入無し」であると認識する(S364)。
以上説明したように、第1の応用例によれば、色の状態が不安定なガイドライン36のエッジ部の影響を受けずに各記入枠34の記入状態を認識できるので、マーク38の認識精度をさらに向上することが可能である。
なお、図10においては、黒画素数の判断をマーク認識部264が収縮処理前の2値画像に基づいて行う例を示したが、マーク認識部264は、収縮処理後の2値画像に基づいて黒画素数の判断を行ってもよい。すなわち、S344の処理とS350の処理の順序は入れ替えられてもよい。
(第2の応用例)
上記では、各記入枠34内の画素の輝度分布に基づいて各記入枠34の記入状態を認識する例を説明したが、マーク認識装置20は、当該認識処理に加えて、あるいは当該認識処理に代えて、他の認識処理を実行することも可能である。以下では、第2の応用例として、明度を利用した認識処理を説明する。
ガイドライン36は、一般的に、マーク38の記入色よりも明度の高い色彩で印刷されることが一般的である。例えば、マーク38の記入色は黒色であり、ガイドライン36の印刷色は赤色である。そこで、第2の応用例によるマーク認識装置20は、マーク38とガイドライン36の明度の差を利用して各記入枠34の記入状態を認識する。
具体的には、第2の応用例によるマーク認識部264は、画素抽出部260により抽出された各画素の明度を算出する。ここで、画素抽出部260は、切出しカラー画像においてエッジ部が除去されていないガイドライン36またはマーク38に対応する画素を抽出してもよいし、エッジ部が除去されたガイドライン36またはマーク38に対応する画素を抽出してもよい。
そして、マーク認識部264は、各画素の明度の分布に基づいて、各記入枠34の記入状態を認識する。例えば、マーク認識部264は、明度の平均値が所定明度以下である場合に記入枠34のマーク記入状態が「記入有り」であると認識し、明度の平均値が所定明度を上回る場合に記入枠34のマーク記入状態が「記入無し」であると認識してもよい。この点について、図11を参照して具体例を説明する。
図11は、明度分布の具体例を示した説明図である。図11に示したように、マーク38が記入されていない記入枠「1.A」の平均明度は、マーク38が記入された記入枠「2.C」の平均明度よりも高くなる。さらに、図11に示した例では、記入枠「1.A」の平均明度は所定明度Thを上回り、記入枠「2.C」の平均明度は所定明度Th以下である。このため、マーク認識部264は、記入枠「1.A」のマーク記入状態が「記入無し」であると認識し、記入枠「2.C」のマーク記入状態が「記入有」と認識する。
なお、マーク認識部264は、上述した実施形態または応用例1との組み合わせとして、輝度分布の標準偏差が所定値を上回り、かつ、平均明度が所定明度以下である場合に、記入枠34のマーク記入状態が「記入有り」であると認識してもよい。
<4.ハードウェア構成>
以上説明した画像処理やマーク認識処理などの情報処理は、ソフトウェアと、以下に説明するマーク認識装置20のハードウェアとの協働により実現される。
図12は、マーク認識装置20のハードウェア構成を示したブロック図である。マーク認識装置20は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、ホストバス204と、を備える。また、マーク認識装置20は、ブリッジ205と、外部バス206と、インタフェース207と、入力装置208と、表示装置209と、音声出力装置210と、ストレージ装置(HDD)211と、ドライブ212と、ネットワークインタフェース215とを備える。
CPU201は、演算処理装置および制御装置として機能し、各種プログラムに従ってマーク認識装置20内の動作全般を制御する。また、CPU201は、マイクロプロセッサであってもよい。ROM202は、CPU201が使用するプログラムや演算パラメータ等を記憶する。RAM203は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス204により相互に接続されている。なお、CPU201、ROM202およびRAM203の協働により、上述した制御部224、フォーマット情報入力部228、画像入力部236、記入枠切出し部244、画像処理部252、画素抽出部260およびマーク認識部264の各機能が実現され得る。
ホストバス204は、ブリッジ205を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス206に接続されている。なお、必ずしもホストバス204、ブリッジ205および外部バス206を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置208は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどオペレータが情報を入力するための入力手段と、オペレータによる入力に基づいて入力信号を生成し、CPU201に出力する入力制御回路などから構成されている。マーク認識装置20のオペレータは、該入力装置208を操作することにより、マーク認識装置20に対して各種のデータを入力したり処理動作を指示したりすることができる。
表示装置209は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。また、音声出力装置210は、スピーカおよびヘッドホンなどの音声出力装置を含む。
ストレージ装置211は、本実施形態にかかるマーク認識装置20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置211は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置211は、例えば、HDD(Hard Disk Drive)または不揮発性メモリなどで構成される。このストレージ装置211は、ハードディスクを駆動し、CPU201が実行するプログラムや各種データを格納する。すなわち、ストレージ装置211は、上述したフォーマット情報格納部232、入力画像メモリ240、切出しカラー画像メモリ248および2値画像メモリ256の機能を実現し得る。
ドライブ212は、記憶媒体用リーダライタであり、マーク認識装置20に内蔵、あるいは外付けされる。ドライブ212は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体24に記録されている情報を読み出して、RAM203に出力する。また、ドライブ212は、リムーバブル記憶媒体24に情報を書き込むこともできる。
ネットワークインタフェース215は、例えば、専用網に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース215は、無線LAN(Local Area Network)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
<5.むすび>
以上説明したように、本発明の実施形態によれば、マーク38がガイドライン36に重ねて記入された場合でも高精度な認識を行うことが可能である。また、本発明の実施形態によれば、事前に機械印刷されたガイドライン36と、手記入されたマーク38の輝度特性の差異に着目してなされたものであるので、ガイドライン36の印刷色とマーク38の記入色が同一であっても、適確な認識を行うことが可能である。
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、本明細書のマーク認識装置20の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、マーク認識装置20の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、マーク認識装置20に内蔵されるCPU201、ROM202およびRAM203などのハードウェアに、上述したマーク認識装置20の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
なお、本発明は非ドロップアウト色で印刷された帳票の場合に特に有効であるが、ドロップアウト色の帳票であっても問題なく認識することができる。このため、ガイドライン36がドロップアウト色であるか否かに関わらず、手記入されたマークの認識を行うことができる。
20 マーク認識装置
30 イメージスキャナ
216 操作部
220 表示部
224 制御部
228 フォーマット情報入力部
232 フォーマット情報格納部
236 画像入力部
240 入力画像メモリ
244 記入枠切出し部
248 カラー画像メモリ
252 画像処理部
256 2値画像メモリ
260 画素抽出部
264 マーク認識部

Claims (12)

  1. 紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識する認識部を備え、
    前記認識部は、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識する、認識装置。
  2. 前記輝度分布の程度は、輝度分布のばらつきの程度である、請求項1に記載の認識装置。
  3. 前記認識装置は、
    前記所定領域内の画素として、前記媒体の撮像により得られる媒体画像の所定領域に記入されている線のエッジ部を除く画素を抽出する画素抽出部をさらに備える、請求項1または2に記載の認識装置。
  4. 前記認識装置は、
    前記媒体画像の所定領域に対して、画素値が閾値より高い画素を第1の値に設定し、他の画素を第2の値に設定する2値化処理を施し、
    前記第2の値を有し、前記第1の値を有する画素と隣接する画素を前記第1の値に設定する、画像処理部をさらに備え、
    前記画素抽出部は、前記所定領域内の画素として、前記媒体画像の所定領域の画像から、前記画像処理部の処理により得られる画像において前記第2の値を有する画素に対応する位置の画素を抽出する、請求項3に記載の認識装置。
  5. 前記輝度分布の程度は、前記所定領域内の画素の輝度の標準偏差または分散である、請求項1に記載の認識装置。
  6. 前記媒体は、前記所定領域内に機械印刷が行われた媒体である、請求項1〜5のいずれか一項に記載の認識装置。
  7. 前記機械印刷は、手記入よりも高い明度で行われる、請求項6に記載の認識装置。
  8. 前記媒体は、金融機関で扱われる帳票である、請求項1〜7のいずれか一項に記載の認識装置。
  9. 前記手記入の行われた状態は前記所定領域内にマークが手記入された状態である、請求項1〜8のいずれか一項に記載の認識装置。
  10. 紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識することを含み、
    前記所定領域内の記入状態を認識することは、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識することを含む、認識装置により実行される認識方法。
  11. コンピュータを、
    紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識する認識部として機能させ、
    前記認識部は、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識する、プログラム。
  12. 紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識する認識部を備え、
    前記認識部は、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識する、認識システム。

JP2014110197A 2014-05-28 2014-05-28 認識装置、認識方法、プログラムおよび認識システム Active JP6303814B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014110197A JP6303814B2 (ja) 2014-05-28 2014-05-28 認識装置、認識方法、プログラムおよび認識システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014110197A JP6303814B2 (ja) 2014-05-28 2014-05-28 認識装置、認識方法、プログラムおよび認識システム

Publications (2)

Publication Number Publication Date
JP2015225516A JP2015225516A (ja) 2015-12-14
JP6303814B2 true JP6303814B2 (ja) 2018-04-04

Family

ID=54842209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014110197A Active JP6303814B2 (ja) 2014-05-28 2014-05-28 認識装置、認識方法、プログラムおよび認識システム

Country Status (1)

Country Link
JP (1) JP6303814B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3060902B2 (ja) * 1995-06-30 2000-07-10 オムロン株式会社 画像処理装置及び画像処理方法
JP4193306B2 (ja) * 1999-10-25 2008-12-10 沖電気工業株式会社 光学式マーク読取装置
EP1310904A4 (en) * 2000-06-02 2007-03-28 Japan Science & Tech Agency DOCUMENT PROCESSING METHOD, RECORDING MEDIA RECORDING A DOCUMENT PROCESSING PROGRAM AND DOCUMENT PROCESSOR
JP2006277150A (ja) * 2005-03-28 2006-10-12 Fuji Xerox Co Ltd 画像分離装置、画像分離方法およびプログラム
JP4712613B2 (ja) * 2006-05-25 2011-06-29 富士通株式会社 情報処理装置、情報処理方法およびプログラム
JP2009105492A (ja) * 2007-10-19 2009-05-14 Sharp Corp 画像処理装置及び画像形成装置
JP5510468B2 (ja) * 2012-01-18 2014-06-04 住友電気工業株式会社 ナンバープレート色判定装置、コンピュータプログラム及びナンバープレート色判定方法

Also Published As

Publication number Publication date
JP2015225516A (ja) 2015-12-14

Similar Documents

Publication Publication Date Title
EP3361740B1 (en) Display device and method for replacing advertisement
US8542889B2 (en) Systems, methods, and computer-readable media for capturing a signature for use in a document
KR102208683B1 (ko) 문자 인식 방법 및 그 장치
JP5616308B2 (ja) 文字の形状特徴を使用した文字比較による文書改変検知方法
US20170366703A1 (en) Systems, methods, and computer-readable media for placing a representation of the captured signature in a document
US20100008533A1 (en) Image processing system and computer readable medium
US20080069447A1 (en) Character recognition method, character recognition device, and computer product
US9678642B2 (en) Methods of content-based image area selection
JP2010186389A (ja) 情報処理装置及び情報処理プログラム
JP2004046632A (ja) 画像処理装置
JP2013171309A (ja) 文字切り出し方法、およびこの方法を用いた文字認識装置およびプログラム
US8254693B2 (en) Image processing apparatus, image processing method and program
US11218612B2 (en) Image processing apparatus for generating an electronic file of a document image from an optically captured image, and non-transitory computer readable recording medium that records image processing program for generating an electronic file of a document image from an optically captured image
JP7241506B2 (ja) 光学式文字認識結果の修正支援装置および修正支援用プログラム
JP6303814B2 (ja) 認識装置、認識方法、プログラムおよび認識システム
JP6883199B2 (ja) 画像処理装置、画像読み取り装置、および、プログラム
JP2017174031A (ja) 画像処理装置及び画像処理プログラム
JP2007280266A (ja) 画像処理装置、原稿訂正方法および原稿訂正プログラム
JP5723803B2 (ja) 画像処理装置及びプログラム
JP6241311B2 (ja) 画像処理装置及び画像処理プログラム
JP4158696B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP5062076B2 (ja) 情報処理装置及び情報処理プログラム
JP6003677B2 (ja) 画像処理装置及び画像処理プログラム
JP5173690B2 (ja) 情報処理装置及び情報処理方法、並びに、コンピュータプログラム及びコンピュータ可読記録媒体
JP6606885B2 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180219

R150 Certificate of patent or registration of utility model

Ref document number: 6303814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150