JP6403417B2 - 携帯型光学式読取装置、該携帯型光学式読取装置を用いる光学式読取方法、及びコンピュータプログラム - Google Patents

携帯型光学式読取装置、該携帯型光学式読取装置を用いる光学式読取方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP6403417B2
JP6403417B2 JP2014089587A JP2014089587A JP6403417B2 JP 6403417 B2 JP6403417 B2 JP 6403417B2 JP 2014089587 A JP2014089587 A JP 2014089587A JP 2014089587 A JP2014089587 A JP 2014089587A JP 6403417 B2 JP6403417 B2 JP 6403417B2
Authority
JP
Japan
Prior art keywords
reading
character string
format
possibility
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014089587A
Other languages
English (en)
Other versions
JP2015210542A (ja
Inventor
大河 能見
大河 能見
秀祐 大木
秀祐 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2014089587A priority Critical patent/JP6403417B2/ja
Priority to US14/679,039 priority patent/US9691009B2/en
Publication of JP2015210542A publication Critical patent/JP2015210542A/ja
Application granted granted Critical
Publication of JP6403417B2 publication Critical patent/JP6403417B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/26Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274Syntactic or semantic context, e.g. balancing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/12Detection or correction of errors, e.g. by rescanning the pattern
    • G06V30/127Detection or correction of errors, e.g. by rescanning the pattern with the intervention of an operator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Description

本発明は、誤った読取が行われた可能性の有無をユーザに報知することが可能な携帯型光学式読取装置、該携帯型光学式読取装置を用いる光学式読取方法、及びコンピュータプログラムに関する。
従来、OCR等を用いて、記載された文字を認識してデータ処理する技術が多々開発されている。文字認識技術としては、例えば照合辞書(マスターデータ)に事前に登録されている文字の画像と、撮像された画像との一致度を算出し、一致度が最も高い文字を認識文字として出力している。
また、複数の認識文字で構成された文字列が、所望の文字列として正しく読み取られているか否かを判断するために、読取フォーマットを用いることがある。例えば特許文献1では、文字列の桁数が定義された読取フォーマットを参照する文字認識方式が開示されている。
特許文献1では、例えばYYYY/MM/DDのような10桁の読取フォーマットを参照する場合、文字列「2013/12/25」が読み取られると読取が成功したものと判断される。同様に、例えばYYYY/MMのような7桁の読取フォーマットを参照する場合、文字列「2013/12」が読み取られると読取が成功したものと判断される。
特開平07−160799号公報
しかし、例えば読取対象となる文字列が付された物品(ダンボールの包装容器等)ごとに文字列の桁数が異なる場合、桁数ごとに適切な読取フォーマットに設定を変更する必要があり、ユーザにとっては煩雑な作業となる。したがって、特許文献1に開示されている文字認識方式を用いる場合、複数の桁数に対応する複数の読取フォーマットを準備しておき、いずれか1つの読取フォーマットで読取が成功したものと判断されることで、読取成功としていた。
一方、読取対象が「2013/12/25」であるのに対して、例えば「/25」の部分が撮像領域の外に位置する場合、あるいは照射される光の関係でハレーション(いわゆる「白とび」)が発生している場合には、文字列「2013/12」が読み取られる。この場合、7桁の読取フォーマットでは読取が成功したものと判断されるため、特許文献1に開示されている文字認識方式では、誤って読み取られているにもかかわらず読取が成功したものと判断されるという問題点があった。
本発明は斯かる事情に鑑みてなされたものであり、誤った読取が行われた可能性が高い場合を検知して、ユーザに誤った読取が行われた可能性のある旨を報知することができる携帯型光学式読取装置、該携帯型光学式読取装置を用いる光学式読取方法、及びコンピュータプログラムを提供することを目的とする。
上記目的を達成するために第1発明に係る携帯型光学式読取装置は、読取対象となる文字列を撮像する撮像手段と、該撮像手段で撮像された画像に基づいて文字列を認識する文字列認識手段と、文字列の属性を定義づけた複数の読取フォーマットを記憶する読取フォーマット記憶手段と、記憶されている複数の読取フォーマットのうち、前記文字列認識手段において認識された文字列に合致する第1の読取フォーマットを検索する第1の検索処理手段と、記憶されている複数の読取フォーマットのうち、前記第1の読取フォーマットに合致する文字列が部分文字列として合致する第2の読取フォーマットを検索する第2の検索処理手段と、該第2の検索処理手段の検索結果に基づいて、認識された文字列に関する誤った読取が行われた可能性の有無を報知する報知手段とを備えることを特徴とする。
また、第2発明に係る携帯型光学式読取装置は、第1発明において、前記報知手段は、前記第2の検索処理手段において合致する第2の読取フォーマットを検索した場合、誤った読取が行われた可能性がある旨を示すよう報知することを特徴とする。
また、第3発明に係る携帯型光学式読取装置は、第1又は第2発明において、認識した文字列の中から、前記第1の読取フォーマットに合致している部分文字列を含む文字列の高信頼区間を抽出する抽出手段を備え、前記第2の検索処理手段は、前記第1の読取フォーマットに合致する文字列が前記部分文字列として合致し、高信頼区間に配置されている文字の種類にも適応する第2の読取フォーマットを検索することを特徴とする。
また、第4発明に係る携帯型光学式読取装置は、第1乃至第3発明のいずれか1つにおいて、認識した文字列ごとに、文字領域から上下左右方向に一定の割合で拡張した矩形領域を設定する手段と、設定した矩形領域における白画素の割合を算出する手段と、算出した割合に基づいて誤った読取が行われた可能性があるか否かを判断する手段とを備えることを特徴とする。
また、第5発明に係る携帯型光学式読取装置は、第1乃至第3発明のいずれか1つにおいて、認識した文字列ごとに、文字領域中における所定の閾値以上の輝度値を有する画素数をカウントする手段と、カウントされた画素数の全画素数に対する割合を算出して、評価値を算出する手段と、算出した評価値に基づいて誤った読取が行われた可能性があるか否かを判断する手段とを備えることを特徴とする。
また、第6発明に係る携帯型光学式読取装置は、第1乃至第3発明のいずれか1つにおいて、認識した文字列の文字ごとに、文字領域中における所定の閾値以上の輝度値を有する画素を抽出する手段と、抽出された画素の縦方向又は横方向の最大連続数を算出する手段と、算出した最大連続数に基づいて誤った読取が行われた可能性があるか否かを判断する手段とを備えることを特徴とする。
また、第7発明に係る携帯型光学式読取装置は、第1乃至第3発明のいずれか1つにおいて、認識した文字領域について、輝度値の分布ヒストグラムを算出する手段と、算出した分布ヒストグラムに基づいて、評価値を算出する手段と、算出した評価値に基づいて文字ごとに誤った読取が行われた可能性があるか否かを判断する手段とを備えることを特徴とする。
また、第8発明に係る携帯型光学式読取装置は、前記誤った読取が行われた可能性があるか否かを判断する手段は、第5又は第7発明の携帯型光学式読取装置で算出された複数の前記評価値を統合した総合評価値を算出し、総合評価値に基づいて、文字ごとに誤った読取が行われた可能性があるか否かを判断することを特徴とする。
また、第9発明に係る携帯型光学式読取装置は、第1乃至第3発明のいずれか1つにおいて、前記報知手段は、前記第1の検索処理手段において合致する第1の読取フォーマットを複数検索した場合、誤った読取が行われた可能性がある旨を示すよう報知することを特徴とする。
また、第10発明に係る携帯型光学式読取装置は、第5又は第7発明において、前記報知手段が、誤った読取が行われた可能性がある旨を示すよう報知した場合、読み取られた文字列を表示し、更新することが可能な画面を表示する表示手段を備えることを特徴とする。
また、第11発明に係る携帯型光学式読取装置は、第1乃至第3発明のいずれか1つにおいて、前記第1の検索処理手段において、合致する第1の読取フォーマットが検索されない場合、前記報知手段は、前記撮像手段により再度撮像して処理を実行する旨を示すよう報知することを特徴とする。
次に、上記目的を達成するために第12発明に係る光学式読取方法は、読取対象となる文字列を撮像する撮像手段と、該撮像手段で撮像された画像に基づいて文字列を認識する文字列認識手段と、文字列の属性を定義づけた複数の読取フォーマットを記憶する読取フォーマット記憶手段とを備える携帯型光学式読取装置で実行することが可能な光学式読取方法であって、前記携帯型光学式読取装置は、記憶されている複数の読取フォーマットのうち、前記文字列認識手段において認識された文字列に合致する第1の読取フォーマットを検索する第1の工程と、記憶されている複数の読取フォーマットのうち、前記第1の読取フォーマットに合致する文字列が部分文字列として合致する第2の読取フォーマットを検索する第2の工程と、該第2の工程の検索結果に基づいて、認識された文字列に関する誤った読取が行われた可能性の有無を報知する第3の工程とを含むことを特徴とする。
次に、上記目的を達成するために第13発明に係るコンピュータプログラムは、読取対象となる文字列を撮像する撮像手段と、該撮像手段で撮像された画像に基づいて文字列を認識する文字列認識手段と、文字列の属性を定義づけた複数の読取フォーマットを記憶する読取フォーマット記憶手段とを備える携帯型光学式読取装置で実行することが可能なコンピュータプログラムであって、前記携帯型光学式読取装置を、記憶されている複数の読取フォーマットのうち、前記文字列認識手段において認識された文字列に合致する第1の読取フォーマットを検索する第1の検索処理手段、記憶されている複数の読取フォーマットのうち、前記第1の読取フォーマットに合致する文字列が部分文字列として合致する第2の読取フォーマットを検索する第2の検索処理手段、及び該第2の検索処理手段の検索結果に基づいて、認識された文字列に関する誤った読取が行われた可能性の有無を報知する報知手段として機能させることを特徴とする。
第1発明、第12発明及び第13発明では、読取対象となる文字列を撮像し、撮像された画像に基づいて文字列を認識する。文字列の属性を定義づけた複数の読取フォーマットを記憶しておき、記憶されている複数の読取フォーマットのうち、認識された文字列に合致する第1の読取フォーマットを検索する。記憶されている複数の読取フォーマットのうち、第1の読取フォーマットに合致する文字列が部分文字列として合致する第2の読取フォーマットを検索し、検索結果に基づいて、認識された文字列に関する誤った読取が行われた可能性の有無を報知する。これにより、桁落ちにより誤った読取が行われた可能性、ハレーションの発生等により誤った読取が行われた可能性等が高い場合にユーザに確認を促すことができ、読取精度を高く維持することができるとともに、読取装置の利便性を向上させることが可能となる。また、一致度や相違度に基づく認識処理では、誤った読取が行われた可能性の有無を判断することができない場合であっても、誤った読取を防止して、より確実に読取の正否を判断することが可能となる。
第2発明では、合致する第2の読取フォーマットを検索した場合、誤った読取が行われた可能性がある旨を示すよう報知する。これにより、第1の読取フォーマットの範囲外に文字列が存在している可能性を見出すことができ、桁落ちにより誤った読取が行われた可能性が高いと判断してユーザに報知することが可能となる。
第3発明では、認識した文字列の中から、第1の読取フォーマットに合致している部分文字列を含む文字列である高信頼区間を抽出し、第1の読取フォーマットに合致する文字列が部分文字列として合致し、高信頼区間に配置されている文字の種類にも適応する第2の読取フォーマットを検索する。つまり、第1の読取フォーマットに合致している区間及びその左右に存在する高信頼区間を抽出し、抽出された区間の文字列の左右の少なくとも一方に所定数の文字存在領域を付加した文字列に合致する第2の読取フォーマットを検索する。これにより、読取フォーマット外であっても読取の信頼度に高低が存在するので、桁落ちが生じている可能性を確実にユーザに報知することが可能となる。
第4発明では、認識した文字列ごとに、文字領域から上下左右方向に一定の割合で拡張した矩形領域を設定し、設定した矩形領域における白画素の割合を算出する。算出した割合に基づいて誤って読み取ったか否かを判断する。これにより、ハレーションの発生により、いわゆる白飛びしている領域が一定以上の割合である場合に、誤った読取が行われた可能性が高いと判断してユーザに報知することが可能となる。
第5発明では、認識した文字列ごとに、文字領域中における所定の閾値以上の輝度値を有する画素数をカウントし、カウントされた画素数の全画素数に対する割合を算出して、評価値を算出する。算出した評価値に基づいて誤って読み取ったか否かを判断する。これにより、ハレーションの発生により、いわゆる白飛びしている領域が一定以上の大きさである場合に、白飛びしている画素数評価値に基づいて誤った読取が行われた可能性が高い場合にはユーザに報知することが可能となる。
第6発明では、認識した文字列の文字ごとに、文字領域中における所定の閾値以上の輝度値を有する画素を抽出し、抽出された画素の縦方向又は横方向の最大連続数を算出する。算出した最大連続数に基づいて誤って読み取ったか否かを判断する。これにより、ハレーションの発生により、いわゆる白飛びしている領域が一定以上の大きさである場合に、誤った読取が行われた可能性が高いと判断してユーザに報知することが可能となる。
第7発明では、認識した文字領域について、輝度値の分布ヒストグラムを算出し、算出した分布ヒストグラムに基づいて、評価値を算出する。算出した評価値に基づいて文字ごとに誤った読取が行われた可能性があるか否かを判断する。これにより、輝度値のヒストグラム分布により文字の存在の可能性を評価することができ、ヒストグラム波形の面積に応じて誤った読取が行われた可能性が高い場合にユーザに報知することが可能となる。
第8発明では、上述の携帯型光学式読取装置で算出された複数の評価値を統合した総合評価値を算出し、総合評価値に基づいて、文字ごとに誤った読取が行われた可能性があるか否かを判断する。これにより、例えば各評価値の最大値によって誤った読取が行われた可能性の高低を判断することが可能となる。
第9発明では、合致する第1の読取フォーマットを複数検索した場合、誤った読取が行われた可能性がある旨を示すよう報知する。これにより、本来想定している読取フォーマットとは異なる読取フォーマットに合致している可能性があることがわかるので、誤った読取が行われた可能性が高いと判断してユーザに報知することが可能となる。
第10発明では、誤った読取が行われた可能性がある旨を示すよう報知した場合、読み取られた文字列を表示し、更新することが可能な画面を表示する。これにより、誤った読取が行われた可能性が高い場合には、本当に誤った読取が行われた可能性があるのか即座に確認することができるとともに、誤った読取が行われた可能性がある場合にはその場で修正することが可能となる。
第11発明では、合致する第1の読取フォーマットが検索されない場合、撮像条件を変更して再度撮像を実行し、処理を自動的にやりなおす。これにより、誤った読取が行われた可能性が十分低くなった状態でユーザに読取結果を提示するため、確認して修正する等の手間を省くことが可能となる。
本発明によれば、桁落ちにより誤った読取が行われた可能性、ハレーションの発生等により誤った読取が行われた可能性等が高いと判断した場合にユーザに確認を促すことができ、読取精度を高く維持することができるとともに、読取処理を実行する都度ユーザに確認を促す必要がないので、読取装置の利便性を向上させることが可能となる。また、一致度や相違度に基づく認識処理では、誤った読取が行われた可能性の有無を判断することができない場合であっても確実に判断することが可能となる。
本発明の実施の形態に係るハンディターミナルの外観構成を示す模式図である。 本発明の実施の形態に係るハンディターミナルの、CPU等の制御部を用いた場合の構成を示すブロック図である。 本発明の実施の形態に係るハンディターミナルの読取処理手順を示すフローチャートである。 本発明の実施の形態1に係るハンディターミナルの機能ブロック図である。 文字列情報以外に座標情報を併用した場合の読取フォーマット検索処理の例示図である。 文字列情報以外に座標情報を併用した場合の読取フォーマット検索処理の例示図である。 「不定」文字を付加した状態の例示図である。 複数の読取フォーマットに対する合致度合の検索結果の例示図である。 本発明の実施の形態1に係るハンディターミナルの表示部に表示される認識・更新画面の例示図である。 本発明の実施の形態1に係るハンディターミナルの表示部に表示される認識・更新画面の例示図である。 読み取られた文字列を表示するか否かを設定する設定画面の例示図である。 報知する基準となる閾値の変更画面の例示図である。 本発明の実施の形態1に係るハンディターミナルのCPUの処理手順を示すフローチャートである。 本発明の実施の形態1に係るハンディターミナルのCPUの読取フォーマット検索処理の手順を示すフローチャートである。 本発明の実施の形態2に係るハンディターミナルにおける高信頼区間の例示図である。 複数の読取フォーマットに対する合致度合の検索結果の例示図である。 文字列が画面の一方端に寄って存在する場合の例示図である。 撮像した画像にハレーション(白飛び)が発生している場合の例示図である。 本発明の実施の形態3に係るハンディターミナルのCPUのハレーション判断処理の手順を示すフローチャートである。 本発明の実施の形態3に係るハンディターミナルのCPUのハレーション判断処理の他の手順を示すフローチャートである。 誤った読取の可能性の有無を判断する方法の例示図である。 本発明の実施の形態3に係るハンディターミナルでは警告を報知しないハレーションが発生している場合の例示図である。 矩形領域の例示図である。 本発明の実施の形態3に係るハンディターミナルのCPUのハレーション判断処理の他の手順を示すフローチャートである。 複数の読取フォーマットに合致する可能性のある文字列の例示図である。 読取フォーマットの例示図である。 認識した文字列の輝度値の分布ヒストグラムの例示図である。 本発明の実施の形態5に係るハンディターミナルのCPUの処理手順を示すフローチャートである。 本発明の本実施の形態6に係るハンディターミナルの輝度値ヒストグラムの例示図である。 統合して総合評価値を算出する場合の例示図である。
以下、本発明の実施の形態に係る携帯型光学式読取装置について、図面に基づいて具体的に説明する。本実施の形態では、携帯型光学式読取装置として、CPUを内蔵したハンディターミナルを採用する場合を例に挙げて説明する。
図1は、本発明の実施の形態に係るハンディターミナルの外観構成を示す模式図である。図1に示すように、ハンディターミナル100は、略方形である筐体10の外形を一方向に延長した板状である。筐体10の先端部分又は背面部分には、読取対象であるシンボルの光学的読取を行うための読取部(図示せず)が設けられている。読取部は、バーコードを読み取るスキャンモジュール、二次元コードを読み取るカメラモジュール等で構成される。
筐体10の上面には、ディスプレイ部(表示部)30と、キー配置部40とが設けられている。筐体10の一端側にディスプレイ部30が、ディスプレイ部30と反対側の他端側にキー配置部40が、それぞれ設けられている。
筐体10は、ディスプレイ部30を備える表示部分DAと、キー配置部40を備える把持部分HAとで構成されており、ユーザは、把持部分HAを手で把持して、表示部分DAに設けられたディスプレイ部30の表示内容を参照しながら、把持部分HAの表面側に配置されたキー配置部40の各操作キー46を操作する。筐体10は、平面視において表示部分DAを幅広とし、把持部分HAを幅狭とする一方、側面視においては、把持部分HAが厚くなるようにしてある。これにより、把持部分HAを持ちやすくしている。
ディスプレイ部30は、筐体10の一面側に設けられており、読取対象のシンボルをカメラ部で撮像した画像、シンボルを復号化した情報、その他の設定情報といった各種の情報を表示する。ディスプレイ部30は、例えば液晶ディスプレイ(LCD)、有機EL等で構成されている。また、ディスプレイ部30は、タッチパネルとして構成されていても良い。
キー配置部40には、各種の操作を行うテンキーや電源キー44、ファンクションキー45といった複数の操作キー46が並べられている。キー配置部40に配置された各入力デバイスは、各種の入力操作を受け付けるキー入力部を構成している。また、ディスプレイ部30のタッチパネルも、キー入力部として機能している。
また、ハンディターミナル100は、携帯性を担保するべく、駆動電力を供給するためのバッテリ(図示せず)を備えている。また、撮像する位置を特定するための照準光を照射する照準光照射部、及び撮像部は、筐体10の背面側に設けられている。
図2は、本発明の実施の形態に係るハンディターミナル100の、CPU等の制御部を用いた場合の構成を示すブロック図である。図2に示すように、本実施の形態に係るハンディターミナル100は、少なくとも動作を制御する制御プログラムを実行するCPU(制御部)101、RAM20、ROM21、表示部(ディスプレイ部)30、操作部(キー配置部)40、通信インタフェース50、撮像部60を備えている。
CPU101は、内部バス等を介してハンディターミナル100の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、ROM21に記憶されているコンピュータプログラム200に従って、種々のソフトウェア的機能を実行する。RAM20は、SRAM、SDRAM等の揮発性メモリで構成され、コンピュータプログラム200の実行時にロードモジュールが展開され、コンピュータプログラム200の実行時に発生する一時的なデータ等を記憶する。
ROM21には、ファームウェア211、デコーダ212、文字認識辞書213も記憶されている。ファームウェア211は、接続されている各ハードウェアの動作を制御するドライバソフトウェア等のプログラム群である。デコーダ212は、例えばQRコード(登録商標)やバーコードをデコードする。文字認識辞書213は、撮像された画像を、テキストデータに変換するための辞書である。
通信インタフェース50は内部バスに接続されており、インターネット、LAN、WAN等の外部のネットワーク網に接続されることにより、外部のコンピュータ等とデータ送受信を行うことが可能となっている。操作部(キー配置部)40は、キー入力により操作のための入力を受け付ける。
撮像部60は、カメラ61と照準光照射部62とで構成されている。カメラ61は、VVDカメラ等、撮像対象を撮像できる撮像手段であれば特に限定されるものではない。また、照準光照射部62は、撮像位置を視認できるよう撮像された画像の水平方向に延伸する直線状の光、あるいは水平方向と垂直方向の十字を形成する光等を照射する。
本実施の形態に係るハンディターミナル100の読取処理手順は以下のとおりである。図3は、本発明の実施の形態に係るハンディターミナル100の読取処理手順を示すフローチャートである。
図3において、本実施の形態に係るハンディターミナル100のCPU101は、文字列の読取が成功したか否かを判断する(ステップS301)。「読取が成功する」とは、何らかの文字列を認識したと判定できる状態を意味する。読取が成功した後、認識した文字列をそのまま記憶する、認識した文字列にマスターデータとの照合処理を実施する等の追加処理が考えられる。CPU101が、文字列の読取に失敗したと判断した場合(ステップS301:NO)、CPU101は、読取に失敗した旨を通知する(ステップS302)。
CPU101が、文字列の読取に成功したと判断した場合(ステップS301:YES)、CPU101は、読取文字列のマスターデータと照合して(ステップS303)、照合に成功したか否かを判断する(ステップS304)。「照合に成功する」とは、マスターデータに一致する文字が存在することを意味する。
CPU101が、照合に失敗したと判断した場合(ステップS304:NO)、CPU101は、照合に失敗した旨を通知する(ステップS305)。CPU101が、照合に成功したと判断した場合(ステップS304:YES)、CPU101は、照合に成功した旨を通知する(ステップS306)。この状態で、ハンディターミナル100による読取が正常に終了したことになる。
照合処理としては、様々なバリエーションが考えられる。例えば文字列が一致しているか否かを照合する場合、マスターデータとして文字列を記憶しておき、読み取った文字列と一致する文字列がマスターデータに存在すれば、照合に成功したと判断することができる。
また、マスターデータとして日付情報、例えば「2014/02/20」等を記憶しておき、読取文字列が日付として一致しているか否かを照合しても良い。この場合、単なる文字列としてではなく、日付情報として解釈しているので、例えば読取文字列が「14.2.20」であっても、日付として「2014/02/20」であると解釈するように設定しておくことで、マスターデータと一致するとして照合に成功したと判断することができる。
さらに、マスターデータとして日付情報の範囲、例えば「2014/02/20〜2014/03/20」等を記憶しておき、読取文字列が、この範囲内の日付として一致しているか否かを照合しても良い。この場合、読取文字列が「14.2.25」であっても、日付としてはマスターデータに記憶してある範囲内であることから、照合に成功したと判断することができる。
(実施の形態1)
図4は、本発明の実施の形態1に係るハンディターミナル100の機能ブロック図である。本実施の形態1に係るハンディターミナル100の撮像手段401は、読取対象となる文字列、あるいはQRコード(登録商標)、バーコード等を撮像する。
文字列認識手段402は、撮像された画像に基づいて文字列を認識する。第1の検索処理手段403は、認識された文字列が、文字列の属性を定義づけた読取フォーマットに合致しているか否かを判断して、合致している読取フォーマットを検索する。読取フォーマットは、ROM21の読取フォーマット記憶部410に複数記憶されている。
第1の検索処理手段403は、記憶されている複数の読取フォーマットのうち、文字列認識手段402において認識された文字列に合致する第1の読取フォーマットを検索する。具体的には、第1の検索処理手段403では、記憶されている複数の読取フォーマットの中から文字認識結果に合致するものを検索し、合致するものが存在する場合、合致した読取フォーマットと合わせて「一致」情報を出力する。合致するものが存在しない場合、「不一致」情報を出力する。合致する読取フォーマットが複数存在する場合には、文字列長が最長である読取フォーマット等、所定の基準に従って最適な読取フォーマットを出力する。
読取フォーマットは、「数字3桁〜8桁」のようなフォーマットであっても良いし、正規表現のようなフォーマットであっても良い。また、「YYYY.MM.DD」のように年月日として解釈可能な数値のみを受け入れるフォーマットであっても良い。
さらに、文字列情報以外に座標情報を併用して「一致」情報又は「不一致」情報を出力しても良い。図5及び図6は、文字列情報以外に座標情報を併用した場合の読取フォーマット検索処理の例示図である。
図5の例では、文字列が読取フォーマット「YYYYMMDD」にも合致するとともに、読取フォーマット「YYYYMM」にも合致する。この場合、読取フォーマット「YYYYMMDD」を採用するには、座標情報に基づいて「MM」と「DD」との間の空白が過大であると認識して合致していないと判断し、読取フォーマット「YYYYMM」に合致していると判断して検索結果(最適な読取フォーマアット)として出力しても良い。
図6の例では、座標情報に基づいて文字高さを検出する。文字高さの変化に基づいて、読取フォーマット「YYYYMMDD」に合致していないと判断して、読取フォーマット「YYYYMM」に合致していると判断しても良い。
また、文字認識結果の一部が「不定」文字、すなわち文字として切り出しているがROM21の文字認識辞書213との合致度がどの文字に対しても低い文字である場合であっても、「不定」文字をワイルドカードとみなして読取フォーマットに合致していると判断した場合には、新たな概念として「曖昧一致」という結果を返しても良い。
図4に戻って、第2の検索処理手段404は、記憶されている複数の読取フォーマットのうち、第1の読取フォーマットに合致する文字列が部分文字列として合致する第2の読取フォーマットを検索する。これにより、文字列認識時の桁落ちの可能性を検出することができる。
具体的には、例えば撮像する画面外に、読取対象となる文字の一部が存在すると仮定し、第1の読取フォーマットに合致する部分文字列として認識された文字認識結果の左右に、「不定」文字を所定数付加して、再度合致する読取フォーマットを検索する。
ここで、付加する数は、光学式読取装置が想定する文字数に対して十分に大きい数であることが好ましい。例えば、最大読取可能桁数が30桁である場合、文字列の左右にそれぞれ29個の「不定」文字を付加する。
また、座標情報を併用する場合には、付加する「不定」文字は画面外の任意の場所に、任意の大きさで付加することができるので、合致する可能性がある読取フォーマットについては「曖昧一致」としておくことができる。図7は、「不定」文字を付加した状態の例示図である。
図7の状態で、例えば読取フォーマットとして、「YYYY.MM」、「YYYY.M」、「YYYY.MM.DD」、「英字3桁」の4つのフォーマットを準備し、それぞれ合致しているか否かを判断した結果を図8に示す。
図8は、複数の読取フォーマットに対する合致度合の検索結果の例示図である。上述した読取フォーマットを、それぞれ読取フォーマット1、2、3、4とし、それぞれに対して合致部分、合致結果、合致文字列を記載している。
そして、(1)合致結果が「曖昧一致」であり、(2)第1の検索処理手段403で検索された第1の読取フォーマットに合致する文字列を部分文字列として含む場合には、桁落ちが生じている可能性が高いと判断する。もちろん、読取対象が日付であると事前に分かっている場合、日付の意味が変わっているときには、桁落ちが生じている可能性が高いと判断する。
この条件を、図8の検索結果例に当てはめると、読取フォーマット3、すなわち「YYYY.MM.DD」について桁落ちが生じている可能性が高いと判断することができる。
図4に戻って、報知手段405は、第2の検索処理手段404の検索結果に基づいて、認識された文字列に関する誤った読取の可能性の有無を報知する。すなわち、第2の検索処理手段404において合致する第2の読取フォーマットを検索した場合、誤った読取の可能性がある旨を示すよう報知することが好ましい。
報知する方法は、特に限定されるものではない。例えば赤色に発光するLEDライトを複数装備し、誤った読取の可能性が高いほど点灯するLEDライトの数を増やすようにしても良い。あるいは、誤った読取の可能性が所定の閾値を超えた場合に、発する音を変化させても良い。
なお、表示部30は、報知手段405が誤った読取の可能性がある旨を示すよう報知した場合、読み取られた文字列を表示し、更新することが可能な画面を表示する。図9及び図10は、本発明の実施の形態1に係るハンディターミナル100の表示部30に表示される認識・更新画面の例示図である。
図9は、報知手段405によって誤った読取の可能性がある旨を示すよう報知された場合の、読み取られた文字列を表示した画面の例示図である。撮像された画像が表示されている画像表示領域91の直下の編集領域92に、読み取られたテキストデータが表示され、メッセージ表示領域93に、「桁落ちの可能性あり」とのメッセージが表示されている。
図10は、報知手段405によって誤った読取の可能性がある旨を示すよう報知された場合の、表示された文字列を編集する画面の例示図である。編集領域92に表示されているテキストデータを編集するべくキーボードアイコン94をクリックすると、編集用の仮想キーボード95がポップアップ表示され、編集領域92に表示されているテキストデータを編集することができる。
もちろん、読み取った状態を表示させないようユーザの指定を受け付けても良い。図11は、読み取られた文字列を表示するか否かを設定する設定画面の例示図である。図11の例では、読み取る都度(毎回)表示する、表示しない、報知された時(アラート発生時)に表示する、の3つの中から選択を受け付ける選択ポップアップ101が表示されている。
また、報知するか否かを判断する基準となる閾値を変更することもできる。図12は、報知する基準となる閾値の変更画面の例示図である。図12の例では、報知(アラート)発生の頻度をレベル1〜5まで段階的に設定を受け付けることができる頻度設定ポップアップ102が表示されている。
図13は、本発明の実施の形態1に係るハンディターミナル100のCPU101の処理手順を示すフローチャートである。ハンディターミナル100のCPU101は、カウンタが撮像回数の上限に到達したか否かを判断する(ステップS1301)。CPU101が、カウンタが撮像回数の上限に到達したと判断した場合(ステップS1301:YES)、CPU101は、読取処理に失敗したとして処理を終了する。
CPU101が、カウンタが撮像回数の上限に到達していないと判断した場合(ステップS1301:NO)、CPU101は、撮像手段401から画像データを取得し、カウンタを‘1’インクリメントする(ステップS1302)。CPU101は、文字列が存在する領域である文字領域を特定する(ステップS1303)。
文字領域の特定方法は特に限定されるものではない。例えば輝度値の分布ヒストグラムを用いて、ヒストグラム波形に一定の間隔の凸部が存在する領域を文字領域としても良い。
CPU101は、文字領域内の文字列の傾き、歪を補正し(ステップS1304)、補正された画像に基づいて文字候補の分割点を生成する(ステップS1305)。CPU101は、文字候補の分割点間を文字認識することにより、複数の文字認識結果を取得する(ステップS1306)。
CPU101は、複数の認識結果に基づいて、最適な文字分割パスと、該文字分割パスに基づく文字認識結果を取得し(ステップS1307)、認識結果に合致する読取フォーマットを検索する(ステップS1308)。CPU101は、認識結果と合致する読取フォーマットが存在するか否かを判断する(ステップS1309)。
ステップS1308及びステップS1309で示す部分の処理をより具体的に説明する。図14は、本発明の実施の形態1に係るハンディターミナル100のCPU101の読取フォーマット検索処理の手順を示すフローチャートである。
図14において、ハンディターミナル100のCPU101は、カウンタiを‘1’に設定し(ステップS1401)、カウンタiが記憶されている読取フォーマットの総数以下であるか否かを判断する(ステップS1402)。CPU101が、カウンタiが記憶されている読取フォーマットの総数より大きいと判断した場合(ステップS1402:NO)、CPU101は、誤って読み取った可能性がないと判断して(ステップS1410)、処理をステップS1301へ戻して上述した処理を繰り返す。
CPU101が、カウンタiが記憶されている読取フォーマットの総数以下であると判断した場合(ステップS1402:YES)、CPU101は、i番目の読取フォーマットが認識結果に合致した読取フォーマットであるか否かを判断する(ステップS1403:第1の検索処理手段)。CPU101が、認識結果に合致した読取フォーマットであると判断した場合(ステップS1403:YES)、CPU101は、カウンタiを‘1’インクリメントし(ステップS1408)、処理をステップS1402に戻して上述した処理を繰り返す。
CPU101が、認識結果に合致した読取フォーマットではないと判断した場合(ステップS1403:NO)、CPU101は、i番目の読取フォーマットを認識文字列から探索し(ステップS1404)、探索した読取フォーマットの一部が合致しているか否かを判断する(ステップS1405)。CPU101が、探索した読取フォーマットが合致していないと判断した場合(ステップS1405:NO)、CPU101は、カウンタiを‘1’インクリメントし(ステップS1408)、処理をステップS1402に戻して上述した処理を繰り返す。
CPU101が、探索した読取フォーマットの一部が合致していると判断した場合(ステップS1405:YES)、CPU101は、合致部分が、前回の認識結果の部分文字列であるか否かを判断する(ステップS1406:第2の検索処理手段)。CPU101が、合致部分が、前回の認識結果の部分文字列ではないと判断した場合(ステップS1406:NO)、CPU101は、カウンタiを‘1’インクリメントし(ステップS1408)、処理をステップS1402に戻して上述した処理を繰り返す。
CPU101が、合致部分が、前回の認識結果の部分文字列であると判断した場合(ステップS1406:YES)、CPU101は、認識文字列の意味内容が元の認識文字列の意味と等価であるか否かを判断する(ステップS1407)。ここで、「認識文字列の意味内容が元の認識文字列の意味と等価である」とは、例えば日付を読み取った場合、「2014/12/20」と「14/12/20」とのように、同じ意味である関係を言う。これ以外にも、例えば住所を読み取った場合、「大阪府大阪市淀川区・・・」と「大阪市淀川区・・・」とは同じ意味であるので等価であると考える。以下、等価である事例について、事前にROM21に記憶しておく。
CPU101が、認識文字列の意味内容が元の認識文字列の意味と等価であると判断した場合(ステップS1407:YES)、CPU101は、カウンタiを‘1’インクリメントし(ステップS1408)、処理をステップS1402に戻して上述した処理を繰り返す。CPU101が、認識文字列の意味内容が元の認識文字列の意味と等価ではないと判断した場合(ステップS1407:NO)、CPU101は、誤って読み取った可能性があると判断して(ステップS1409)、処理をステップS1310へ進める。
図13に戻って、CPU101は、誤った読取の可能性を示す評価値を、所定の規則に従って項目ごとに算出し(ステップS1310)、算出した複数の評価値に基づいて判断評価値を算出する(ステップS1311)。判断評価値は、例えば算出した複数の評価値を合算した値であっても良いし、最大値であっても良い。CPU101は、判断評価値が、読取失敗を判断する第一の閾値より大きいか否かを判断する(ステップS1312)。
CPU101が、判断評価値が、読取失敗を判断する第一の閾値より大きいと判断した場合(ステップS1312:YES)、CPU101は、処理をステップS1301へ戻して、上述した処理を繰り返す。CPU101が、判断評価値が、読取失敗を判断する第一の閾値以下であると判断した場合(ステップS1312:NO)、CPU101は、判断評価値が、警告を報知するか否かを判断する第二の閾値より大きいか否かを判断する(ステップS1313)。
CPU101が、判断評価値が、警告を報知するか否かを判断する第二の閾値より大きいと判断した場合(ステップS1313:YES)、CPU101は、読取は成功しているものの、警告を報知する(ステップS1314)。つまり、誤って読み取りが行われている可能性を示す警告を報知する。CPU101が、判断評価値が、警告を報知するか否かを判断する第二の閾値以下であると判断した場合(ステップS1313:NO)、CPU101は処理を終了する。
なお、第1の検索処理手段403において合致する読取フォーマット(第1の読取フォーマット)を複数検索した場合、誤った読取の可能性がある旨を示すよう報知するようにしても良い。これにより、本来想定している読取フォーマットとは異なる読取フォーマットに合致している可能性があることがわかるので、誤った読取の可能性が高いものとしてユーザに報知することが可能となる。
また、第1の検索処理手段403において合致する第1の読取フォーマットが検索されない場合、撮像手段401により再度撮像して処理を実行しても良い。この場合、撮像条件、例えば露光時間のようなパラメータを前回撮像した時と異なる値に設定し直しても良い。そして、フローチャート(ステップS1402:NO)の処理の後、カウンタを初期化してから処理をステップS1301へ戻して、上述した処理を繰り返す。これにより、明らかに誤った読取の可能性がある場合には、今一度撮像からやり直すことができ、確認して修正する等の手間を省くことが可能となる。また、ハレーションが発生している画像、ブレが発生している画像等であっても、再度撮像することにより高品位の画像を取得することで、信頼度の高い読取を行うことができる。
以上のように本実施の形態1によれば、桁落ちにより誤った読取が行われた可能性、ハレーションの発生等により誤った読取が行われた可能性等が高いと判断した場合にのみユーザに確認を促すことができ、読取精度を高く維持することができるとともに、読取処理を実行する都度ユーザに確認を促す必要がないので、読取装置の利便性を向上させることが可能となる。また、一致度や相違度に基づく認識処理では、誤った読取が行われた可能性の有無を判断することができない場合であっても確実に判断することが可能となる。
(実施の形態2)
本発明の実施の形態2に係るハンディターミナル100の構成、機能ブロック図は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明は省略する。本実施の形態2では、撮像された画面の外で生じる桁落ちだけでなく、画面内で生じた桁落ちを検出する点で実施の形態1とは相違する。
図4に示すように、第1の検索処理手段403は、記憶されている複数の読取フォーマットのうち、文字列認識手段402において認識された文字列に合致する第1の読取フォーマットを検索する。具体的には、第1の検索処理手段403では、記憶されている複数の読取フォーマットの中から文字認識結果に合致するものを検索し、合致するものが存在する場合、合致した読取フォーマットと合わせて「一致」情報を出力する。合致するものが存在しない場合、「不一致」情報を出力する。合致する読取フォーマットが複数存在する場合には、文字列長が最長である読取フォーマット等、所定の基準に従って最適な読取フォーマットを出力する。
抽出手段406は、認識した文字列の中から、第1の読取フォーマットに合致している部分文字列を抽出する。さらに、第1の読取フォーマットに合致している部分文字列を含む、文字列の高信頼区間を抽出する。ここで、「高信頼区間」とは、第1の読取フォーマットに合致している部分文字列の区間と、該部分文字列の区間の左右において文字認識辞書213との合致度が閾値以上であるような文字が連続する区間とを合わせたものを意味する。高信頼区間に含めるか否かを判断する閾値は、認識結果が「不定」文字であるか否かを判別する閾値と同一の閾値であっても良いし、異なる閾値であっても良い。図15は、本発明の実施の形態2に係るハンディターミナル100における高信頼区間の例示図である。
図15では、図15(a)に示す文字列「23ABCDEF」のうち、「3ABCDE」を読み取ることができ(図15(b)の「認識結果」参照)、第1の読取フォーマットに「ABCDE」が合致した例である。つまり、第1の読取フォーマットに合致している部分151は、認識結果が不定である不定閾値として合致度30以上の文字のうち、第1の読取フォーマット「英文字5文字」に該当する部分文字列となる。そして、合致した部分文字列の左右において、「3」のみが高信頼区間152に含める閾値以上の合致度を有している。すなわち、「3」の合致度は80であり、高信頼区間152に含めるか否かを判断する閾値(高信頼閾値)である合致度70以上の値が得られている。したがって、高信頼区間は、「3ABCDE」となる。
以下、第2の検索処理手段404は、抽出された高信頼区間の文字列が部分文字列として合致する第2の読取フォーマットを検索する。検索される第2の読取フォーマットは、高信頼区間に配置されている文字の種類にも適応する読取フォーマットである。具体的には、第1の読取フォーマットに合致する部分文字列の左右、少なくともいずれか一方に文字が付加された高信頼区間の文字列に合致するものを検索し、合致するものが存在する場合、合致した読取フォーマットと合わせて「一致」情報を出力する。合致するものが存在しない場合、「不一致」情報を出力する。合致する読取フォーマットが複数存在する場合には、文字列長が最長である読取フォーマット等、所定の基準に従って最適な読取フォーマットを出力する。
具体的には、例えば撮像する画面内であっても、読取対象となる文字の一部が存在すると仮定し、抽出された高信頼区間の文字列の左右に、「不定」文字を所定数付加して、再度合致する読取フォーマットを検索する。
例えば読取フォーマットとして、「英字4桁」、「英字5桁」、「英字6桁」の3つの読取フォーマットを準備し、それぞれ合致しているか否かを判断した結果を図16に示す。
図16は、複数の読取フォーマットに対する合致度合の検索結果の例示図である。上述した読取フォーマットを、それぞれ読取フォーマット‘1’、‘2’、‘3’とし、それぞれに対して合致部分、合致結果、合致文字列、及び延長方向を記載している。
そして、(1)合致結果が「曖昧一致」であり、(2)第1の検索処理手段403によって検索され、第1の読取フォーマットで抽出された文字列を部分文字列として含む場合には、画面内であっても桁落ちが生じている可能性が高いと判断する。もちろん、読取対象が日付であると事前に分かっている場合、日付としての意味が変わっているときには、桁落ちが生じている可能性が高いと判断する。
この条件を満たす読取フォーマットそれぞれについて、元の認識結果と比較して文字列が左右いずれかの方向に延長している可能性の有無を判断する。図16の例では、読取フォーマット‘3’、すなわち「英字6桁」のみが条件を満たしており、文字列の右側に桁落ちが生じている可能性があることがわかる。
以下、桁落ちが生じている可能性がある方向について、後述する実施の形態に記載する方法により、桁落ちが生じている可能性を判断することができる。
なお、文字列が画面の一方端に寄って存在する場合、桁落ちが生じている可能性があると判断することもできる。図17は、文字列が画面の一方端に寄って存在する場合の例示図である。
図17に示すように、文字列「ABCDE」が画面右端に寄って存在している。この場合、文字列「ABCDE」は、読取フォーマット「英字10桁」の部分文字列に合致し、同時に画面端に近いという2つの条件に基づいて、桁落ちが生じている可能性があると判断することができる。
以上のように実施の形態2によれば、画面内であっても桁落ちにより誤った読取が行われた可能性、ハレーションの発生等により誤った読取が行われた可能性等が高い場合にユーザに確認を促すことができ、読取精度を高く維持することができるとともに、読取処理を実行する都度ユーザに確認を促す必要がないので、読取装置の利便性を向上させることが可能となる。また、読み取った文字列の左右の高信頼区間を含めて判別に用いることで、第2の検索処理手段において文字列の延長方向を限定することができ、桁落ちの可能性を誤検出する頻度を減少させることができる。
(実施の形態3)
本発明の実施の形態3に係るハンディターミナル100の構成、機能ブロック図は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明は省略する。本実施の形態3では、ハレーションの発生により生じる誤った読取の可能性を検出する点で実施の形態1及び2とは相違する。
図18は、撮像した画像にハレーション(白飛び)が発生している場合の例示図である。図18に示すように、文字列「2013/12」の文字「12」の下部にハレーションが発生しており、誤った読取の可能性が高い。
そこで、本実施の形態3に係るハンディターミナル100は、認識した文字列ごとに、文字領域中における所定の閾値以上の輝度値を有する画素数をカウントし、カウントされた画素数の全画素数に対する割合を算出して、評価値を算出する。そして、算出した評価値に基づいて誤った読取の可能性があるか否かを判断する。
図19は、本発明の実施の形態3に係るハンディターミナル100のCPU101のハレーション判断処理の手順を示すフローチャートである。図19において、ハンディターミナル100のCPU101は、認識した文字列ごとに、文字領域中における所定の閾値以上の輝度値を有する画素数をカウントする(ステップS1901)。
CPU101は、カウントされた画素数の全画素数に対する割合を算出し(ステップS1902)、所定の規則に基づいて評価値を算出する(ステップS1903)。CPU101は、算出した評価値に基づいて誤った読取の可能性があるか否かを判断することができる。
もちろん、画素数の割合に限定されるものではなく、例えば白画素の最大連続数で判断しても良い。この場合、本実施の形態3に係るハンディターミナル100は、認識した文字列の文字ごとに、文字領域中における所定の閾値以上の輝度値を有する画素を抽出し、抽出された画素の縦方向又は横方向の最大連続数を算出する。そして、算出した最大連続数に基づいて誤った読取の可能性があるか否かを判断する。
図20は、本発明の実施の形態3に係るハンディターミナル100のCPU101のハレーション判断処理の他の手順を示すフローチャートである。図20において、ハンディターミナル100のCPU101は、認識した文字列の文字ごとに、文字領域中における所定の閾値以上の輝度値を有する画素を抽出する(ステップS2001)。CPU101は、抽出された画素の縦方向又は横方向の最大連続数を算出する(ステップS2002)。CPU101は、算出した最大連続数に基づいて誤った読取の可能性があるか否かを判断することができる。
図21は、誤った読取の可能性の有無を判断する方法の例示図である。図21は、図18に示す文字列の文字ごとに、図19又は図20の判断処理の手順に従って評価値を算出している。すなわち、白画素率を文字ごとに算出し、評価値Aを算出する。同様に白画素の連続数を文字ごとに算出し、評価値Bを算出する。
そして、評価値Aと評価値Bのうち大きい方の値を総合評価値とする。総合評価値のうちの最大値を、文字列全体の評価値とする。
このようにすることで、文字列近傍で生じているハレーション(白飛び)の発生により誤った読取の可能性を報知することができる。図22は、本発明の実施の形態3に係るハンディターミナル100では警告を報知しないハレーションが発生している場合の例示図である。すなわち、図22に示すように、認識文字列と無関係の場所にハレーションが発生している場合には、警告を報知することがないので、ユーザには、誤った読取の可能性がある旨の警告が頻繁に報知されることがない。
なお、文字認識した文字列の範囲から上下左右方向に一定割合で拡張した矩形領域内における白画素の割合に基づいてハレーションが発生している可能性を判断しても良い。図23は、矩形領域の例示図である。図23の例では、文字列「ABCDE」の範囲から上下左右方向に一定割合で拡張した矩形領域231を設定する。矩形領域231内の白画素の割合が所定値より大きい場合にハレーションが発生していると判断して、誤った読取の可能性が高いと判断する。
図24は、本発明の実施の形態3に係るハンディターミナル100のCPU101のハレーション判断処理の他の手順を示すフローチャートである。図24において、ハンディターミナル100のCPU101は、認識した文字列ごとに、文字領域から上下左右方向に一定の割合で拡張した矩形領域を設定する(ステップS2401)。CPU101は、設定した矩形領域における白画素の割合を算出する(ステップS2402)。そして、算出した割合に基づいて誤った読取の可能性があるか否かを判断する。
もちろん、白画素の割合が所定値を超えたか否かを文字列単位で判断しても良いし、図21のような文字単位の評価値と同等に比較して、全体として文字列単位で総合評価値を算出しても良い。すなわち、評価値全体を統合して、総合評価値として算出しても良い。
以上のように実施の形態3によれば、ハレーションの発生により誤った読取が行われた可能性等が高い場合にユーザに確認を促すことができ、読取精度を高く維持することができるとともに、読取処理を実行する都度ユーザに確認を促す必要がないので、読取装置の利便性を向上させることが可能となる。
(実施の形態4)
本発明の実施の形態4に係るハンディターミナル100の構成、機能ブロック図は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明は省略する。本実施の形態4では、第1の検索処理手段403において合致する第1の読取フォーマットを複数検索する点で実施の形態1乃至3とは相違する。
図25は、複数の読取フォーマットに合致する可能性のある文字列の例示図であり、図26は、読取フォーマットの例示図である。図25の文字列については、図26の読取フォーマットNo.1「英字4桁」と読取フォーマットNo.3「数字3桁」に合致する。
したがって、いずれの読取フォーマットがより正しいのか誤っているのかを判断できない状態となるので、誤った読取の可能性が高いと判断する。これにより、本来想定している読取フォーマットとは異なる読取フォーマットに合致している可能性が残されるので、誤った読取の可能性が高いと判断してユーザに報知することで読取精度を高く維持することができる。
(実施の形態5)
本発明の実施の形態5に係るハンディターミナル100の構成、機能ブロック図は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明は省略する。本実施の形態5では、文字と文字との間の文字を読み落としている可能性があるか否かを判断する点で実施の形態1乃至4とは相違する。
図27は、認識した文字列の輝度値の分布ヒストグラムの例示図である。図27(a)に示す文字列に対して、図27(b)は、輝度値が存在する画素の総数を分布図として示している。文字列「2013.」、文字「2」はヒストグラムにピーク点が見られることから、文字が存在することが明確であるのに対して、文字列「2013.」と文字「2」との間にも、ヒストグラムに緩やかなピーク領域271が存在する。
すなわち、文字であるか否かまで特定することはできないものの、何か文字を読み落としている可能性を示唆することはできる。したがって、文字と文字との間に所定値以上のピーク点を有するピーク領域が存在する場合には、誤った読取の可能性が高いと判断して警告を報知する。
図28は、本発明の実施の形態5に係るハンディターミナル100のCPU101の処理手順を示すフローチャートである。図28において、ハンディターミナル100のCPU101は、認識した文字領域について、輝度値の分布ヒストグラムを算出する(ステップS2801)。
CPU101は、算出した分布ヒストグラムに基づいて、文字を認識していない領域に所定値以上の頂点を有するピーク領域が存在するか否かを判断する(ステップS2802)。CPU101が、ピーク領域が存在しないと判断した場合(ステップS2802:NO)、CPU101は、処理を終了する。CPU101が、ピーク領域が存在すると判断した場合(ステップS2802:YES)、CPU101は、所定の規則に従って、評価値を算出する(ステップS2803)。これにより、ヒストグラム波形の面積に応じて誤った読取の可能性が高いと判断した場合にユーザに報知することが可能となる。
以上のように実施の形態5によれば、ヒストグラム波形の面積に応じて誤った読取が行われた可能性が高いと判断した場合にユーザに警告を報知することができ、読取精度を高く維持することが可能となる。
(実施の形態6)
本発明の実施の形態6に係るハンディターミナル100の構成、機能ブロック図は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明は省略する。本実施の形態6では、文字が滲む等、表示がボケている場合の誤った読取の可能性の有無を判断する点で実施の形態1乃至5とは相違する。
図29は、本発明の実施の形態6に係るハンディターミナル100の輝度値ヒストグラムの例示図である。図29(a)及び(b)では、縦軸が輝度値の頻度を、横軸が輝度値を、それぞれ示している。
図29(a)に示すように、文字が存在する場合、背景部分と文字部分とで輝度値分布は明確に分離される。したがって、通常は輝度値のピーク間に谷部が明確に出現する。
それに対して、図29(b)に示すように、文字が滲んでいる場合、あるいは文字がボケている場合には、背景部分と文字部分とで輝度値分布が明確に分離されない。したがって、輝度値のピーク間に谷部が明確に出現せず、どこからどこまでの輝度値が文字部分を表しているのか判断することができない。
したがって、輝度値のピーク間の状態を、二値化閾値を算出することで分散として求め、求めた分散に基づいて分離度を評価値として算出する。分離度が所定の閾値よりも小さい場合に、文字がボケていると判断して、誤った読取の可能性が高いと判断することができる。
以上のように実施の形態6によれば、文字を撮像した画像が滲んでいる場合、ボケている場合等については誤った読取が行われた可能性が高いと判断してユーザに報知することができ、読取精度を高く維持することが可能となる。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば上述した実施例では、実施の形態3の図21において算出される複数の評価値のうち大きい方の値を総合評価値として算出しているが、すべての実施の形態において算出される評価値を総合評価値の算出の基礎にして統合して、全体の評価値として総合評価値を算出しても良いことは言うまでもない。
図30は、統合して総合評価値を算出する場合の例示図である。複数の評価項目の評価値を10点満点になるよう算出し、すべての評価値の中で最大値を有する評価値を総合評価値として、認識文字列に関して誤った読取の可能性があるか否かを判断する。図30の例では、最大値‘7’を有する評価値が総合評価値となり、例えば所定の閾値が‘6’である場合には総合評価値が閾値を上回っていることから、誤った読取の可能性があると判断することができる。
また、上記実施例では、撮像された画像から文字列を読み取る場合について説明しているが、バーコードやQRコード(登録商標)などの各種コード読取装置にも適用することが可能であることは言うまでもない。
20 RAM
21 ROM
30 表示部(ディスプレイ部)
40 操作部(キー配置部)
60 撮像部
61 カメラ
62 照準光照射部
100 ハンディターミナル
101 CPU

Claims (13)

  1. 読取対象となる文字列を撮像する撮像手段と、
    該撮像手段で撮像された画像に基づいて文字列を認識する文字列認識手段と、
    文字列の属性を定義づけた複数の読取フォーマットを記憶する読取フォーマット記憶手段と、
    記憶されている複数の読取フォーマットのうち、前記文字列認識手段において認識された文字列に合致する第1の読取フォーマットを検索する第1の検索処理手段と、
    記憶されている複数の読取フォーマットのうち、前記第1の読取フォーマットに合致する文字列が部分文字列として合致する第2の読取フォーマットを検索する第2の検索処理手段と、
    該第2の検索処理手段の検索結果に基づいて、認識された文字列に関する誤った読取が行われた可能性の有無を報知する報知手段と
    を備えることを特徴とする携帯型光学式読取装置。
  2. 前記報知手段は、
    前記第2の検索処理手段において合致する第2の読取フォーマットを検索した場合、誤った読取が行われた可能性がある旨を示すよう報知することを特徴とする請求項1に記載の携帯型光学式読取装置。
  3. 認識した文字列の中から、前記第1の読取フォーマットに合致している部分文字列を含む文字列の高信頼区間を抽出する抽出手段を備え、
    前記第2の検索処理手段は、前記第1の読取フォーマットに合致する文字列が前記部分文字列として合致し、高信頼区間に配置されている文字の種類にも適応する第2の読取フォーマットを検索することを特徴とする請求項1又は2に記載の携帯型光学式読取装置。
  4. 認識した文字列ごとに、文字領域から上下左右方向に一定の割合で拡張した矩形領域を設定する手段と、
    設定した矩形領域における白画素の割合を算出する手段と、
    算出した割合に基づいて誤った読取が行われた可能性があるか否かを判断する手段と
    を備えることを特徴とする請求項1乃至3のいずれか一項に記載の携帯型光学式読取装置。
  5. 認識した文字列ごとに、文字領域中における所定の閾値以上の輝度値を有する画素数をカウントする手段と、
    カウントされた画素数の全画素数に対する割合を算出して、評価値を算出する手段と、
    算出した評価値に基づいて誤った読取が行われた可能性があるか否かを判断する手段と
    を備えることを特徴とする請求項1乃至3のいずれか一項に記載の携帯型光学式読取装置。
  6. 認識した文字列の文字ごとに、文字領域中における所定の閾値以上の輝度値を有する画素を抽出する手段と、
    抽出された画素の縦方向又は横方向の最大連続数を算出する手段と、
    算出した最大連続数に基づいて誤った読取が行われた可能性があるか否かを判断する手段と
    を備えることを特徴とする請求項1乃至3のいずれか一項に記載の携帯型光学式読取装置。
  7. 認識した文字領域について、輝度値の分布ヒストグラムを算出する手段と、
    算出した分布ヒストグラムに基づいて、評価値を算出する手段と、
    算出した評価値に基づいて文字ごとに誤った読取が行われた可能性があるか否かを判断する手段と
    を備えることを特徴とする請求項1乃至3のいずれか一項に記載の携帯型光学式読取装置。
  8. 前記誤った読取が行われた可能性があるか否かを判断する手段は、請求項5又は7に記載の携帯型光学式読取装置で算出された複数の前記評価値を統合した総合評価値を算出し、総合評価値に基づいて、文字ごとに誤った読取が行われた可能性があるか否かを判断することを特徴とする携帯型光学式読取装置。
  9. 前記報知手段は、
    前記第1の検索処理手段において合致する第1の読取フォーマットを複数検索した場合、誤った読取が行われた可能性がある旨を示すよう報知することを特徴とする請求項1乃至3のいずれか一項に記載の携帯型光学式読取装置。
  10. 前記報知手段が、誤った読取が行われた可能性がある旨を示すよう報知した場合、読み取られた文字列を表示し、更新することが可能な画面を表示する表示手段を備えることを特徴とする請求項5又は7に記載の携帯型光学式読取装置。
  11. 前記第1の検索処理手段において、合致する第1の読取フォーマットが検索されない場合、前記報知手段は、前記撮像手段により再度撮像して処理を実行する旨を示すよう報知することを特徴とする請求項1乃至3のいずれか一項に記載の携帯型光学式読取装置。
  12. 読取対象となる文字列を撮像する撮像手段と、
    該撮像手段で撮像された画像に基づいて文字列を認識する文字列認識手段と、
    文字列の属性を定義づけた複数の読取フォーマットを記憶する読取フォーマット記憶手段と
    を備える携帯型光学式読取装置で実行することが可能な光学式読取方法であって、
    前記携帯型光学式読取装置は、
    記憶されている複数の読取フォーマットのうち、前記文字列認識手段において認識された文字列に合致する第1の読取フォーマットを検索する第1の工程と、
    記憶されている複数の読取フォーマットのうち、前記第1の読取フォーマットに合致する文字列が部分文字列として合致する第2の読取フォーマットを検索する第2の工程と、
    該第2の工程の検索結果に基づいて、認識された文字列に関する誤った読取が行われた可能性の有無を報知する第3の工程と
    を含むことを特徴とする光学式読取方法。
  13. 読取対象となる文字列を撮像する撮像手段と、
    該撮像手段で撮像された画像に基づいて文字列を認識する文字列認識手段と、
    文字列の属性を定義づけた複数の読取フォーマットを記憶する読取フォーマット記憶手段と
    を備える携帯型光学式読取装置で実行することが可能なコンピュータプログラムであって、
    前記携帯型光学式読取装置を、
    記憶されている複数の読取フォーマットのうち、前記文字列認識手段において認識された文字列に合致する第1の読取フォーマットを検索する第1の検索処理手段、
    記憶されている複数の読取フォーマットのうち、前記第1の読取フォーマットに合致する文字列が部分文字列として合致する第2の読取フォーマットを検索する第2の検索処理手段、及び
    該第2の検索処理手段の検索結果に基づいて、認識された文字列に関する誤った読取が行われた可能性の有無を報知する報知手段
    として機能させることを特徴とするコンピュータプログラム。
JP2014089587A 2014-04-23 2014-04-23 携帯型光学式読取装置、該携帯型光学式読取装置を用いる光学式読取方法、及びコンピュータプログラム Active JP6403417B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014089587A JP6403417B2 (ja) 2014-04-23 2014-04-23 携帯型光学式読取装置、該携帯型光学式読取装置を用いる光学式読取方法、及びコンピュータプログラム
US14/679,039 US9691009B2 (en) 2014-04-23 2015-04-06 Portable optical reader, optical reading method using the portable optical reader, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014089587A JP6403417B2 (ja) 2014-04-23 2014-04-23 携帯型光学式読取装置、該携帯型光学式読取装置を用いる光学式読取方法、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2015210542A JP2015210542A (ja) 2015-11-24
JP6403417B2 true JP6403417B2 (ja) 2018-10-10

Family

ID=54335065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014089587A Active JP6403417B2 (ja) 2014-04-23 2014-04-23 携帯型光学式読取装置、該携帯型光学式読取装置を用いる光学式読取方法、及びコンピュータプログラム

Country Status (2)

Country Link
US (1) US9691009B2 (ja)
JP (1) JP6403417B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0912507D0 (en) * 2009-07-17 2009-08-26 Skype Ltd Reducing processing resources incurred by a user interface
WO2017158800A1 (ja) * 2016-03-17 2017-09-21 株式会社Pfu モバイル端末、画像処理方法、および、プログラム
CN110532112B (zh) * 2019-08-29 2022-10-04 维沃移动通信有限公司 一种对象提取方法及移动终端
JP6785930B2 (ja) * 2019-08-29 2020-11-18 株式会社Pfu モバイル端末、画像処理方法、および、プログラム
JP7487984B1 (ja) 2023-09-12 2024-05-21 株式会社オプトエレクトロニクス 文字列読取方法、文字列読取装置及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63305486A (ja) * 1987-06-05 1988-12-13 Sumitomo Electric Ind Ltd 光学文字読取装置
JPH087773B2 (ja) * 1988-01-04 1996-01-29 住友電気工業株式会社 光学文字読取装置
JPH0758497B2 (ja) * 1988-01-04 1995-06-21 住友電気工業株式会社 文字認識装置
JP3220886B2 (ja) * 1993-06-23 2001-10-22 株式会社日立製作所 文書検索方法および装置
JP3370402B2 (ja) 1993-12-08 2003-01-27 富士通株式会社 文字認識装置
JP3008908B2 (ja) * 1997-11-10 2000-02-14 日本電気株式会社 文字切り出し装置および文字切り出し方式
US6269189B1 (en) * 1998-12-29 2001-07-31 Xerox Corporation Finding selected character strings in text and providing information relating to the selected character strings
JP2001052116A (ja) * 1999-08-06 2001-02-23 Toshiba Corp パターン列マッチング装置とパターン列マッチング方法と文字列マッチング装置と文字列マッチング方法
US7203663B1 (en) * 2000-02-15 2007-04-10 Jpmorgan Chase Bank, N.A. System and method for converting information on paper forms to electronic data
JP4742404B2 (ja) * 2000-05-17 2011-08-10 コニカミノルタビジネステクノロジーズ株式会社 画像認識装置、画像形成装置、画像認識方法および画像認識プログラムを記憶したコンピュータ読取り可能な記録媒体
JP3735313B2 (ja) * 2002-04-26 2006-01-18 第一生命保険相互会社 イメージ管理システム、イメージ管理方法及びイメージ管理プログラム
JP3793879B2 (ja) * 2002-12-27 2006-07-05 カシオ計算機株式会社 携帯型電子辞書装置及びプログラム
JP4315244B2 (ja) * 2003-01-08 2009-08-19 グローリー株式会社 紙幣記番号読取装置および紙幣記番号読取方法
JP2006338578A (ja) * 2005-06-06 2006-12-14 Mitsubishi Electric Corp 文字認識装置
JP4926004B2 (ja) * 2007-11-12 2012-05-09 株式会社リコー 文書処理装置、文書処理方法及び文書処理プログラム
JP5408155B2 (ja) * 2011-02-23 2014-02-05 ブラザー工業株式会社 制御装置及びプログラム
JP2013157965A (ja) * 2012-01-31 2013-08-15 Oki Data Corp 画像処理装置
JP5831420B2 (ja) * 2012-09-28 2015-12-09 オムロン株式会社 画像処理装置および画像処理方法
US20140093173A1 (en) * 2012-10-01 2014-04-03 Silverbrook Research Pty Ltd Classifying a string formed from hand-written characters
JP6163839B2 (ja) * 2013-04-09 2017-07-19 富士通株式会社 電子機器および複写制御プログラム
JP6264965B2 (ja) * 2014-03-14 2018-01-24 オムロン株式会社 画像処理装置、画像処理方法、画像処理プログラム

Also Published As

Publication number Publication date
US20150310270A1 (en) 2015-10-29
US9691009B2 (en) 2017-06-27
JP2015210542A (ja) 2015-11-24

Similar Documents

Publication Publication Date Title
JP6403417B2 (ja) 携帯型光学式読取装置、該携帯型光学式読取装置を用いる光学式読取方法、及びコンピュータプログラム
US8831381B2 (en) Detecting and correcting skew in regions of text in natural images
JP6527410B2 (ja) 文字認識装置、文字認識方法、及びプログラム
US20140023274A1 (en) Method Of Handling Complex Variants Of Words Through Prefix-Tree Based Decoding For Devanagiri OCR
WO2014092979A1 (en) Method of perspective correction for devanagari text
JPH03201166A (ja) 日本語文書読取翻訳システムの修正時における表示方式
CN108694400B (zh) 信息处理装置、其控制方法及存储介质
US5265171A (en) Optical character reading apparatus for performing spelling check
JP4733577B2 (ja) 帳票認識装置及び帳票認識プログラム
US20170262722A1 (en) Information processing apparatus, program, and information processing method
US10706581B2 (en) Image processing apparatus for clipping and sorting images from read image according to cards and control method therefor
US10965801B2 (en) Method for inputting and processing phone number, mobile terminal and storage medium
JP2018156308A (ja) 情報処理装置、情報処理システム及びプログラム
JP2000112599A (ja) 文書画像処理装置及び文書画像処理方法
US10134138B2 (en) Information processing apparatus, computer-readable storage medium, information processing method
KR101498546B1 (ko) 문서 디지털 복원 시스템 및 방법
US20130330005A1 (en) Electronic device and character recognition method for recognizing sequential code
US10331948B1 (en) Rules based data extraction
US20210042555A1 (en) Information Processing Apparatus and Table Recognition Method
JP6310314B2 (ja) 携帯型光学式読取装置、該携帯型光学式読取装置を用いる光学式読取方法、及びコンピュータプログラム
US20220180121A1 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
CN109598649B (zh) 一种专利文件的处理方法、装置及存储介质
JP6833324B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP7087971B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP7112261B2 (ja) 光学式読取装置、該光学式読取装置を用いる光学式読取方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180911

R150 Certificate of patent or registration of utility model

Ref document number: 6403417

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250