JP4385536B2 - Character recognition device, character recognition method, character recognition program, and computer-readable recording medium recording the same - Google Patents

Character recognition device, character recognition method, character recognition program, and computer-readable recording medium recording the same Download PDF

Info

Publication number
JP4385536B2
JP4385536B2 JP2001079473A JP2001079473A JP4385536B2 JP 4385536 B2 JP4385536 B2 JP 4385536B2 JP 2001079473 A JP2001079473 A JP 2001079473A JP 2001079473 A JP2001079473 A JP 2001079473A JP 4385536 B2 JP4385536 B2 JP 4385536B2
Authority
JP
Japan
Prior art keywords
character
font
identification dictionary
image data
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001079473A
Other languages
Japanese (ja)
Other versions
JP2002279351A (en
Inventor
直也 三澤
葉子 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP2001079473A priority Critical patent/JP4385536B2/en
Publication of JP2002279351A publication Critical patent/JP2002279351A/en
Application granted granted Critical
Publication of JP4385536B2 publication Critical patent/JP4385536B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、文字認識装置に関する。詳しくは、文字コードと同時にフォントの認識が行え、かつ簡便に使用環境に適応して精度の高い文字認識を行うことのできる文字認識装置である。
【0002】
【従来の技術】
従来の文字認識装置においては、文字パターンの識別に用いる識別辞書は、フォントによる文字パターンの違いや、かすれ、つぶれ等の変動に対応して安定した文字認識を行うため、複数の代表的なフォント(通常は、セリフ系、サンセリフ系、モノスペース系各1種)の特徴量を平均化して作られていた。
【0003】
これに対し、単一フォントの特徴量で作成したフォントごとの識別辞書を用いる文字認識装置が提案されている(特開平11−85908号公報等)。かかる装置では、文字コードと同時にフォントの認識が行えるうえ、所有する識別辞書にかかるフォントに対しては、前述の複数フォントの特徴量が平均化された識別辞書を用いるよりも、高い認識率が得られるという利点がある。
【0004】
しかし、その一方、所有する識別辞書にかかるフォント以外については、識別率が低下してしまうという欠点があった。したがって、様々な使用環境に対応させるためには、多数のフォント別辞書を用意しておく必要がありコストがかかるうえ、予め認識すべきフォントをユーザが指定する構成とすれば操作が煩雑となり、フォントを自動認識させる構成とすれば処理が極めて複雑となるという問題点があった。さらに、フォントの種類は多種多様に及ぶため、すべての識別辞書を用意することは現実には困難であり、特殊なフォントを使用している環境には対応できないという問題があった。
【0005】
【発明が解決しようとする課題】
本発明は上記従来技術の有する問題点に鑑みなされたものであり、その目的とするところは、文字コードと同時にフォントの認識が行え、かつ簡便に使用環境に適応して精度の高い文字認識を行うことのできる文字認識装置を提供することにある。
【0006】
【課題を解決するための手段】
本発明の上記目的は、下記の手段によって達成される。
【0007】
(1)接続機器に組み込まれたアウトラインフォントを検出するフォント検出手段と、前記フォント検出手段により検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する文字画像データ取得手段と、前記文字画像データ取得手段により取得した文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する標準パターン作成手段と、前記標準パターン作成手段により作成した標準パターンを登録して識別辞書を作成する識別辞書作成手段と、前記識別辞書作成手段により作成した識別辞書を用いて文字パターンの文字コードおよびフォントを決定する文字識別手段と、を有することを特徴とする文字認識装置。
【0008】
(2)接続機器に組み込まれたアウトラインフォントを検出するフォント検出手段と、前記フォント検出手段により検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する文字画像データ取得手段と、前記文字画像データ取得手段により取得した文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する標準パターン作成手段と、前記標準パターン作成手段により作成した標準パターンを登録して検出された前記フォントごとの識別辞書を作成する識別辞書作成手段と、前記識別辞書作成手段により作成した前記フォントごとの識別辞書を用いて文字パターンの文字コードおよびフォントを決定する文字識別手段と、を有することを特徴とする文字認識装置。
【0009】
(3) 前記文字識別手段は、類似度が所定のしきい値以上となる標準パターンの文字コードを前記文字パターンの文字コードとすることを特徴とする(2)に記載の文字認識装置。
【0010】
(4) 前記文字識別手段は、識別頻度の順に識別辞書の優先順位を決定することを特徴とする(2)または(3)に記載の文字認識装置。
【0011】
(5)前記文字識別手段は、段組、空白行、または改行で区切られて分割された夫々の文字領域である各文字ブロックのフォントとして、識別頻度の最も高い識別辞書のフォントを、前記文字ブロックごと決定することを特徴とする(2)〜(4)のいずれか一つに記載の文字認識装置。
【0012】
(6)接続機器に組み込まれたアウトラインフォントを検出する段階と、前記検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する段階と、前記文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する段階と、前記標準パターンを登録して識別辞書を作成する段階と、前記識別辞書を用いて文字パターンの文字コードおよびフォントを決定する段階と、を有することを特徴とする文字認識方法。
【0013】
(7)接続機器に組み込まれたアウトラインフォントを検出する段階と、前記接続機器から検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する段階と、前記文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する段階と、前記標準パターンを登録して検出された前記フォントごとの識別辞書を作成する段階と、前記フォントごとの識別辞書を用いて文字パターンの文字コードおよびフォントを決定する段階と、を有することを特徴とする文字認識方法。
【0014】
(8)接続機器に組み込まれたアウトラインフォントを検出する手順と、前記検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する手順と、前記文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する手順と、前記標準パターンを登録して識別辞書を作成する手順と、前記識別辞書を用いて文字パターンの文字コードおよびフォントを決定する手順と、をコンピュータに実行させるためのプログラム。
【0015】
(9)接続機器に組み込まれたアウトラインフォントを検出する手順と、前記接続機器から検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する手順と、前記文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する手順と、前記標準パターンを登録して検出された前記フォントごとの識別辞書を作成する手順と、前記フォントごとの識別辞書を用いて文字パターンの文字コードおよびフォントを決定する手順と、をコンピュータに実行させるためのプログラム。
【0016】
(10)接続機器に組み込まれたアウトラインフォントを検出する手順と、前記検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する手順と、前記文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する手順と、前記標準パターンを登録して識別辞書を作成する手順と、前記識別辞書を用いて文字パターンの文字コードおよびフォントを決定する手順と、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【0017】
(11)接続機器に組み込まれたアウトラインフォントを検出する手順と、前記接続機器から検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する手順と、前記文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する手順と、前記標準パターンを登録して検出された前記フォントごとの識別辞書を作成する手順と、前記フォントごとの識別辞書を用いて文字パターンの文字コードおよびフォントを決定する手順と、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【0018】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【0019】
図1は、本発明の実施形態にかかる文字認識装置を含む文字認識システムの全体構成を示すブロック図である。当該文字認識システムは、文字認識装置1と、画像読取装置としてのスキャナ2と、画像処理装置としてのパソコン3と、画像形成装置としてのプリンタ4とを備え、これらはネットワーク5を介して相互に通信可能に接続されている。なお、ネットワーク5に接続される機器の種類および台数は、図1に示す例に限定されない。
【0020】
つぎに、上記各機器の構成について説明するが、各機器で同様の機能を有する部分については、説明の重複を避けるため初回のみその説明を行い、2回目以降はその説明を省略する。
【0021】
図2は、本実施形態にかかる文字認識装置1の構成の一例を示すブロック図である。文字認識装置1はコンピュータであり、図2に示すように、CPU11、ROM12、RAM13、ハードディスク14、ディスプレイ15、入力装置16、ネットワークインタフェース17、およびバス18を有する。
【0022】
CPU11は制御と演算の各種処理を行う。ROM12は各種プログラムやデータを記憶する。RAM13は作業領域として一時的にプログラムやデータを記憶する。ハードディスク14は各種プログラムやデータを記憶する。ディスプレイ15は、各種の表示を行う。入力装置16は、キーボードやマウス等であり、各種の入力を行うために使用される。ネットワークインタフェース17は、ネットワークに接続しネットワーク上の他の機器と通信するためのインタフェースである。上記各部は、信号をやり取りするためのバス18で相互に接続されている。本実施形態において、コンピュータ1は後述する所定の動作を行うが、このためのコンピュータ1の動作を制御するプログラムは、ROM12またはハードディスク14に格納されている。
【0023】
スキャナ2は、所定位置にセットされた原稿を読み取って画像データ(ビットマップデータ)を取得し、ネットワークを介して他の機器に画像データを出力する機能を有する。
【0024】
パソコン3は、図2に示すような、文字認識装置1と同様の構成を有する。パソコン3には、画像処理装置としてプリンタやディスプレイ等の画像形成装置に文字画像を画像形成させるためのフォントが組み込まれている。
【0025】
プリンタ4は、印刷ジョブに基づいて印刷イメージ(画像データ)の印刷出力を行う。プリンタ4は、印刷ジョブが制御言語を含む場合はこれを解釈してラスタライズを行い、印刷イメージを作成する機能を有し、このために必要なフォントがプリンタ4に組み込まれている。
【0026】
ネットワーク5は、イーサネット(登録商標)、トークンリング、FDDI等の規格によりコンピュータやネットワーク機器同士を接続したLANや、LAN同士を専用線で接続したWAN等からなる。
【0027】
つぎに、本実施形態における文字認識装置1の動作の概要を説明する。図3は、本実施形態にかかる文字認識装置1の文字認識処理の全体の手順を示すフローチャートである。まず、文字認識装置1は、ディスプレイ15に識別辞書の新規作成命令の入力画面を表示し、ユーザから識別辞書の新規作成命令の入力があるまで待機する(S101のNO)。ユーザは、入力装置16を操作することにより文字認識装置1に識別辞書の新規作成命令を入力する。文字認識装置1は、ユーザから識別辞書の新規作成命令の入力を受け付けると(S101のYES)、識別辞書の作成処理を行う(S102)。
【0028】
図4は、本実施形態にかかる文字認識装置1の識別辞書作成処理の手順を示すフローチャートである。当該識別辞書の作成処理において、文字認識装置1は、まず、ネットワークインタフェース17およびネットワーク5を介して、文字認識装置1に接続された機器の検出を行う(S201)。ネットワーク5上に接続機器を検出すると(S202のYES)、当該検出された機器に組み込まれたフォントがあるか否かを検出する(S203)。たとえば、パソコンの場合、組み込まれたフォントはOS(オペレーティングシステム)が保有しており、ハードディスク内のOSが利用する特定のディレクトリにフォントデータを所持している。また、ポストスクリプト(米アドビシステムズ社)等のページ記述言語対応のプリンタの場合、プリンタがフォントを保有しており、ページ記述言語を解釈してハードディスク等に格納されたフォントデータに基づいてフォントをラスタライズする。文字認識装置1は、これらの機器のハードディスク等の特定のディレクトリを検索しかかるフォントデータを検出することにより、当該機器に組み込まれたフォントを検出する。前記検出された機器に組み込まれたフォントを検出し、かつ当該検出したフォントがまだ識別辞書を作成していないものである場合(S204のYES)、ネットワークインタフェース17およびネットワーク5を介して前記機器に、検出されたフォントのすべての文字についての文字画像データ(ビットマップデータ)を転送するよう要求する文字画像データ転送要求を送信する(S205)。
【0029】
図5は、文字認識装置1がネットワーク5上のパソコン3を検出し、さらにパソコン3のハードディスクの所定のディレクトリを検索してフォントデータを検出し、パソコン3に当該検出したフォントデータにかかるフォントの文字画像データの転送要求を送信した場合について、パソコン3の動作を示すフローチャートである。パソコン3は、文字認識装置1から文字画像データの転送要求を受信するまで待機し(S301のNO)、文字認識装置1から文字画像データの転送要求を受信すると(S301のYES)、当該転送要求にかかるフォントのすべての文字についての文字画像データを準備する。ここで、フォントには、文字の形状をドットの集合で表現するビットマップフォントと、文字の輪郭線(アウトライン)をデータ化したアウトラインフォントの2種類がある。ビットマップフォントは、フォントデータを文字画像データそのもので構成しているのに対し、アウトラインフォントは、フォントデータとして、文字の幅と高さの情報を記載したフォントメトリックデータと、文字の輪郭線を算出するための情報を記載したアウトラインデータとを有し、これらのデータに基づいて必要な文字サイズにラスタライズして文字画像データを得るものである。したがって、前記転送要求にかかるフォントがビットマップフォントである場合は(S302のNO)、各文字についてフォントデータである文字画像データをそのまま文字認識装置1に送信し、前記転送要求にかかるフォントがアウトラインフォントである場合は(S302のYES)、各文字についてフォントデータに基づいて一定の大きさにラスタライズして(S303)、得られた文字画像データを文字認識装置1に送信する。
【0030】
なお、文字画像データの転送要求にかかる機器がプリンタ4である場合は、プリンタに組み込まれるフォントはアウトラインフォントなので、プリンタ4は、図5における文字画像データの転送要求受信の手順(S301)、ラスタライズ処理の手順(S303)および文字画像データ転送の手順(S304)にしたがって順次動作する。また、文字認識装置1自体が、画像処理装置としてフォントを組み込んでいる場合は、自己を接続機器の一つとして扱い、上述のフォント検出の手順(S203)およびラスタライズ処理の手順(S303)にしたがって順次動作するものである。
【0031】
図4において、文字認識装置1は、ネットワーク5およびネットワークインタフェース17を介して前記機器から前記文字画像データを受信するまで待機し(S206のNO)、前記機器から前記文字画像データを受信すると(S206のYES)、受信した文字画像データをハードディスク14の所定のディレクトリに格納する。ついで、受信した文字画像データを用いて当該フォントのすべての文字について標準パターンを作成し(S207)、作成した標準パターンを辞書登録することにより当該フォントの識別辞書を作成する(S208)。ここで、識別辞書の作成方法は、文字認識の方法により異なる。特徴量抽出による方法の場合は、受信した各文字の文字画像データから所定の方法で特徴量を算出し、これを各文字の標準パターンとして登録する。特徴量抽出の具体的方法としては、抽出量として、文字線の傾き、ループの数、線幅、文字面積等を抽出する方法が挙げられる。また、パターン整合による方法の場合は、受信した各文字の文字画像データをそのまま各文字の標準パターンとして登録する。ただし、識別する文字パターンの位置ずれ、傾き、微小なサイズの違い等に対応するため、受信した文字画像データからある程度文字をぼかした文字画像データを作成し、これを標準パターンとして登録するものであってもよい。作成した当該フォントの識別辞書は、ハードディスク14の所定のディレクトリに格納する。
【0032】
文字認識装置1は、引き続き、前記機器に組み込まれた他のフォントを検出し(S203)、識別辞書を作成していないものがあれば(S204のYES)、上述の検出フォントの識別辞書作成の手順(S205〜S208)を繰り返して検出されたフォントごとの識別辞書を作成する。一方、前記機器に組み込まれたフォントが存在しない場合や組み込まれたフォントがいずれも既に識別辞書を作成したものである場合は(S204のNO)、さらに他の接続機器の検出を行い(S201)、他の接続機器が検出された場合は(S202のYES)、上述のフォント検出の手順および検出フォントの識別辞書作成の手順(S203〜S208)を繰り返して検出されたフォントごとの識別辞書を作成する。他の接続機器が検出されなかった場合は(S202のNO)、当該識別辞書作成処理を終了する。
【0033】
図3において、文字認識装置1は、上記識別辞書作成処理が終了すると、ディスプレイ15に原稿読み取り命令の入力画面を表示し、ユーザから原稿読み取り命令の入力があるまで待機する(S103のNO)。ユーザは、入力装置16を操作することにより文字認識装置1に原稿読み取り命令を入力する。文字認識装置1は、ユーザから原稿読み取り命令の入力があると(S103のYES)、ネットワークインタフェース17およびネットワーク5を介してスキャナ2に原稿読み取り命令を送信する(S104)。スキャナ2は、文字認識装置1から原稿読み取り命令を受信すると、所定の読み取り位置にセットされた文書原稿を読み取って、得られた画像データを文字認識装置1に送信する。文字認識装置1は、スキャナ2から画像データを受信するまで待機し(S105のNO)、ネットワーク5およびネットワークインタフェース17を介してスキャナ2から画像データを受信すると(S105のYES)、受信した画像データをハードディスク14の所定のディレクトリに格納する。
【0034】
ついで、受信した画像データに含まれる文字領域および非文字領域を判別して、前記画像データを文字領域と非文字領域に分離する(S106)。当該処理では、画像データの微小領域の明度ヒストグラムや周波数分解したスペクトルの特性を用いて、元画像データ中の文字領域と写真や図形等の文字以外の領域とを判別し、元画像データから非文字領域を切り出す。切り出した非文字領域の画像データは、後に認識した文字コードデータとともに出力するため、ハードディスク14の所定のディレクトリに一時的に格納する。この際、必要によって、前記非文字領域の画像データに平滑化フィルタ等の画像補正や解像度の変更、圧縮等の処理を施してもよい。また、生成した文字領域のみの画像データに対しては、必要によりつぶれ文字やかすれ文字が発生しないようにフィルタ処理による画像補正を行ってもよい。
【0035】
さらに、前記文字領域のみの画像データに対して文字認識前処理を行う(S107)。すなわち、文字認識がモノクロ2値画像データを用いて行われるため、当該処理では、RGB、Lab等で表示されたカラー画像データを、文字を黒背景を白とするモノクロ2値画像データに変換する。さらに、必要により、生成したモノクロ2値画像データに対して、孤立点等のノイズ除去や画像の傾き補正等の処理を施す。
【0036】
ついで、文字認識前処理により得られたモノクロ2値画像データについてレイアウト解析を行う(S108)。当該処理では、前記画像中の文字領域に対し投影画像のヒストグラムを利用して文字の行構成や段組を検出し、前記文字領域を複数の文字ブロックとして認識する。ここで、文字ブロックとは、段組、空白行、改行等で区切られパラグラフ程度に分割された文字領域をいう。文字サイズが異なる場合等も一つの文字ブロックを構成する。
【0037】
さらに、レイアウト解析で認識された文字ブロックについて、順次行および文字の切り出しを行い(S109)、切り出した文字画像データに対して文字認識処理を行う(S110)。切り出した各文字画像の外接矩形データは、各文字の位置データとしてハードディスク14の所定のディレクトリに格納する。
【0038】
図6は、本実施形態にかかる文字認識装置1の文字認識処理の手順を示すフローチャートである。当該文字認識処理の手順において、文字認識装置1は、まず、レイアウト解析で認識された文字ブロックの一つを選択し(S401)、当該文字ブロックから行を切り出し、さらに当該行から文字を切り出す(S402)。
【0039】
ついで、切り出した文字にかかる文字パターンについて特徴量の抽出を行う(S403)。当該特徴量の抽出は、前記識別辞書作成処理の標準パターン作成の手順(S207)において、識別辞書に登録した各文字の標準パターンを作成する際に用いたのと同じ方法により行う。また、前記識別辞書作成処理の標準パターン作成の手順(S207)において、文字認識の方法として特徴量抽出による方法ではなくパターン整合による方法を用いた場合は、切り出した文字にかかる文字パターンそのものを標準パターンと比較するので、上記文字パターンの特徴量抽出の手順(S403)は省略される。
【0040】
さらに、優先順位に従って識別処理に用いる識別辞書を選択し(S404)、ハードディスク14からRAM13上に読み出す。当該優先順位は、後述する識別辞書の優先順位決定の手順(S408)にしたがって決定される。ただし、初回のみ、デフォルトの優先順位、またはランダムな順位を用いる。
【0041】
そして、当該文字パターンから抽出された特徴量を、選択した識別辞書に登録された各文字の標準パターンと比較する識別処理を行う(S405)。すなわち、当該識別処理では、当該文字パターンから抽出した特徴量と選択した識別辞書に登録された各文字の標準パターンとの類似度を順次計算していき、類似度が所定のしきい値以上となる標準パターンがあった場合(S406のYES)、当該標準パターンの文字コードを当該文字パターンの文字コードとして決定し、当該文字コードデータをハードディスク14の所定のディレクトリに保存する(S407)。前記識別処理に用いる類似度の算出方法としては、シティブロック距離による方法、ユークリッド距離による方法、線形識別関数による方法、部分空間法、ベイズ識別法等が挙げられる。選択した識別辞書に類似度がしきい値以上となる標準パターンがなかった場合は(S406のNO)、類似度がしきい値以上となる標準パターンが見つかるまで、優先順位にしたがって順次識別辞書を選択しなおして上述の識別処理の手順を繰り返し(S404〜S406)、当該文字パターンの文字コードを決定する。
【0042】
ついで、当該文字コードの決定に用いた識別辞書のフォントを当該文字パターンのフォント候補とし、当該フォント候補データをハードディスク14の所定のディレクトリに保存する(S408)。さらに、ハードディスク14に蓄積されたフォント候補データを解析して、フォント候補となった頻度の順に合わせて、それぞれのフォントに対応する識別辞書の優先順位を決定し更新する(S409)。また、当該文字パターンからフォントサイズを算出して当該フォントサイズデータをハードディスク14の所定のディレクトリに保存する(S410)。
【0043】
選択した文字ブロックから切り出されたすべての文字の文字パターンについて上記一連の文字認識処理(S402〜S411)を繰り返した後(S411のYES)、優先順位の1番目にある識別辞書にかかるフォントを当該文字ブロックのフォントと決定し、当該フォント種別データをハードディスク14の所定のディレクトリに保存する(S408)。そして、レイアウト解析で認識されたすべての文字ブロックについて、上記一連の文字認識処理(S401〜S412)を繰り返し当該文字認識処理を終了する(S413のYES)。
【0044】
なお、上記識別処理の手順(S405およびS406)では、当該文字パターンから抽出した特徴量との類似度が所定のしきい値以上となる標準パターンが見つかった時点で類似度の算出を終了するものであったが、すべての識別辞書のすべての標準パターンとの類似度を算出し、上記識別辞書の優先順位更新の手順(S409)において、類似度の高い順に当該標準パターンにかかる識別辞書の優先順位を決定するものであってもよい。また、このようなすべての識別辞書のすべての標準パターンとの類似度を算出する方法において、類似度が所定のしきい値以上となる標準パターンが2以上見つかった場合に、前後の文字のスペルチェックを行い単語辞書にある単語を形成する方の文字コードを採用するようにしてもよい。さらに、上記文字ブロックのフォント決定の手順(S408)では、文字コードによらずに最も多く使用された識別辞書のフォントを当該文字ブロックのフォントとするものであったが、フォントによる差異の大きい文字コードにウエイトをかけて当該文字ブロックのフォントを決定するものであってもよい。
【0045】
図3において、文字認識装置1は、上記文字認識処理が終了すると、ついで上記文字認識処理で切り出された文字の色認識を行い、得られた文字色データをハードディスク14の所定のディレクトリに保存する(S110)。当該文字色認識の処理は、元画像データの当該文字に相当する画素のRGBやLab等のカラーデータを読み取り、当該文字に相当する全画素の平均値を求めることにより行う。文字と背景の画素の区別は、前記文字認識前処理で作成したモノクロ2値画像データを用いて、各文字の外接矩形内の黒画素を文字画素、白画素を背景画素とすることにより行う。
【0046】
そして、前記文字認識処理の手順(S109)において得られた文字コードデータおよび文字・非文字領域分離の手順(S106)で得られた非文字領域の画像データから出力ファイルを作成する(S111)。すなわち、前記文字コードデータおよび非文字領域の画像データをハードディスク14からRAM13上に読み出して所定の出力ファイル形式に変換し、さらに、前記文字認識処理の手順(S109)で得られたフォント種別データおよびフォントサイズ、ならびに文字色認識の手順(S110)で得られた文字色データをハードディスク14から読み出して、文字属性データとして前記文字コードデータに付加し、前記文字認識処理の手順(S109)で得られた文字位置データに基づいて、前記非文字領域の画像データとともに配置するものである。作成した出力ファイルは、ハードディスク14の所定のディレクトリに格納するか、ネットワークインタフェース17およびネットワーク5を介してパソコン3やプリンタ4等の他の機器に出力する。
【0047】
上記実施形態では、文字認識処理の際、毎回識別辞書作成処理(S102、S201〜S208)を行い識別辞書を更新するものであったが、文字認識処理とは別に、初回のみ、もしくは一定期間ごとに、または接続環境に変化があった場合等にのみ識別辞書作成処理を行う構成としてもよい。
【0048】
また、上記実施形態では、検出したフォントごとの識別辞書を作成し、これを用いて文字認識を行うものであったが、デフォルトでは通常の識別辞書、すなわち、複数のフォントの特徴量を平均化して作成した識別辞書を用いて文字認識を行い、認識率が低い場合、すなわち前記識別処理において類似度の平均値が所定値以下であった場合に、上述の検出したフォントごとの識別辞書を用いる構成としてもよい。これにより、デフォルトの識別辞書では認識できない特殊フォントが当該文字認識システムの環境で用いられている場合等に、当該フォントにかかる入力データについてのみ前記検出フォントの識別辞書を用い、それ以外の入力データについてはデフォルトの識別辞書を用いることにより、全体としての認識率を向上させることができる。
【0049】
さらに、上記実施形態では、検出したフォントごとに別々の識別辞書を作成するものであったが、検出したすべてのフォントのすべての文字の文字画像データから得られた標準パターンを1つの識別辞書に登録して識別辞書を作成する構成としても構わない。
【0050】
なお、上記実施形態では、文字認識装置1、スキャナ2、コンピュータ3およびプリンタ4は、ネットワーク5を介して相互に接続された構成であったが、文字認識装置1とスキャナ2、または文字認識装置1とプリンタ4とが、RS−232C、USB、IEEE1394等のシリアルインタフェース、SCSI、IEEE1284等のパラレルインタフェース、Bluetooth(ブルートゥース)、IEEE802.11、HomeRF、IrDA等の無線通信インタフェース等を使用してローカル接続された構成であってもよい。
【0051】
本発明による文字認識装置1は、上記実施形態で説明した構成による他、さらに原稿読取手段または印刷手段を有する構成として、文字認識機能を有するスキャナ、デジタル複写機、ファクシミリ装置等の多機能周辺機器(MFP)とすることができる。
【0052】
本発明による文字認識装置および文字認識方法は、上記各手順を実行するための専用のハードウエア回路によっても、また、上記各手順を記述した所定のプログラムをCPUが実行することによっても実現することができる。後者により本発明を実現する場合、文字認識装置を動作させる上記所定のプログラムは、フロッピーディスクやCD−ROM等のコンピュータ読取可能な記録媒体によって提供されることができる。この場合、コンピュータ読取可能な記録媒体に記録されたプログラムは、通常、ROMやハードディスク等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、文字認識装置の一機能としてその装置のソフトウエアに組み込んでもよい。
【0053】
【発明の効果】
上述したように、本発明によれば、文字認識装置の使用環境で利用されている接続機器に組み込まれたアウトラインフォントを自動的に検出して、アウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像を当該接続機器から取得し、この文字画像データを用いて、検出した前記フォントごとの識別辞書を作成して文字認識を行うので、複数のフォントの特徴量を平均化した識別辞書を用いる場合に比べて、文字コードと同時にフォントの認識が行え、かつ、より高い認識率を達成することができる。
【0054】
また、使用環境に存在するフォントについてのみ識別辞書を作成するので、予めたくさんのフォントについて識別辞書を用意していなくても精度の高い文字認識を行うことができる。
【0055】
さらに、特殊なフォントが使用されている環境においても自動的に当該フォントについての識別辞書を作成するので、簡便に環境に適応して精度の高い文字認識を行うことができる。
【図面の簡単な説明】
【図1】 本発明の実施形態にかかる文字認識装置を含む文字認識システムの全体構成を示すブロック図である。
【図2】 本実施形態にかかる文字認識装置1の構成の一例を示すブロック図である。
【図3】 本実施形態にかかる文字認識装置1の文字認識処理の全体の手順を示すフローチャートである。
【図4】 本実施形態にかかる文字認識装置1の識別辞書作成処理の手順を示すフローチャートである。
【図5】 本実施形態におけるパソコン3の文字画像データ転送処理の手順を示すフローチャートである。
【図6】 本実施形態にかかる文字認識装置1の文字認識処理の手順を示すフローチャートである。
【符号の説明】
1…文字認識装置、
11…CPU
12…ROM
13…RAM
14…ハードディスク
15…ディスプレイ
16…入力装置
17…ネットワークインタフェース
18…バス
2…スキャナ、
3…パソコン、
4…プリンタ、
5…ネットワーク。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a character recognition device. Specifically, it is a character recognition device that can recognize a font simultaneously with a character code, and can perform character recognition with high accuracy by simply adapting to the use environment.
[0002]
[Prior art]
In the conventional character recognition device, the identification dictionary used for character pattern identification uses a plurality of typical fonts to perform stable character recognition in response to variations in character patterns by fonts, fluctuations such as blurring and collapse. It was created by averaging feature values (usually one each of serif, sans serif, and monospace).
[0003]
On the other hand, a character recognition device using an identification dictionary for each font created with a single font feature amount has been proposed (Japanese Patent Laid-Open No. 11-85908). Such an apparatus can recognize fonts at the same time as character codes, and has a higher recognition rate for fonts associated with an owned identification dictionary than using an identification dictionary in which the features of a plurality of fonts are averaged. There is an advantage that it can be obtained.
[0004]
On the other hand, however, there is a drawback in that the identification rate decreases for fonts other than those for the identification dictionary owned. Therefore, in order to correspond to various usage environments, it is necessary to prepare a large number of font-specific dictionaries, which is costly. In addition, if the user designates a font to be recognized in advance, the operation becomes complicated, If the configuration is such that the font is automatically recognized, the processing becomes extremely complicated. Furthermore, since there are a wide variety of font types, it is difficult to prepare all the identification dictionaries in reality, and there is a problem that it is not possible to cope with an environment using a special font.
[0005]
[Problems to be solved by the invention]
The present invention has been made in view of the above-described problems of the prior art, and the object of the present invention is to perform font recognition simultaneously with a character code, and to easily perform high-precision character recognition adapted to the use environment. An object of the present invention is to provide a character recognition device that can be used.
[0006]
[Means for Solving the Problems]
The above object of the present invention is achieved by the following means.
[0007]
(1) Font detection means for detecting an outline font incorporated in a connected device, and outline font detected by the font detection means Is a font for which no identification dictionary has been created, Character image data acquisition means for acquiring, from the connected device, character image data obtained by rasterizing in the connected device to a certain size for each character based on outline font data for all characters, and the character image Using the character image data acquired by the data acquisition means, a standard pattern creation means for creating a standard pattern for each character of the detected font and a standard pattern created by the standard pattern creation means are registered to create an identification dictionary A character recognition apparatus comprising: an identification dictionary creating means for determining a character code and a font of a character pattern using the identification dictionary created by the identification dictionary creating means.
[0008]
(2) Font detection means for detecting an outline font incorporated in the connected device, and outline font detected by the font detection means Is a font for which no identification dictionary has been created, Character image data acquisition means for acquiring, from the connected device, character image data obtained by rasterizing in the connected device to a certain size for each character based on outline font data for all characters, and the character image Using the character image data obtained by the data obtaining means, the standard pattern creating means for creating a standard pattern for each character of the detected font, and the standard pattern created by the standard pattern creating means is registered and detected. An identification dictionary creating means for creating an identification dictionary for each font; and a character identifying means for determining a character code and a font of a character pattern using the identification dictionary for each font created by the identification dictionary creating means. Character recognition device.
[0009]
(3) The character recognition device according to (2), wherein the character identification unit uses a character code of a standard pattern having a similarity equal to or higher than a predetermined threshold as the character code of the character pattern.
[0010]
(4) The character recognition device according to (2) or (3), wherein the character identification means determines the priority order of the identification dictionary in order of identification frequency.
[0011]
(5) The character identification means includes: As a font for each character block that is divided into columns, blank lines, or separated by line breaks, The font of the identification dictionary with the highest identification frequency is assigned to each character block. In (2) to (4) characterized by being determined Any one of The character recognition device described.
[0012]
(6) a step of detecting an outline font incorporated in the connected device, and the detected outline font; Is a font for which no identification dictionary has been created, For all characters, obtaining character image data obtained by rasterizing in the connected device to a certain size for each character based on outline font data from the connected device, and using the character image data A step of creating a standard pattern for each character of the detected font, a step of registering the standard pattern to create an identification dictionary, and a step of determining a character code and font of the character pattern using the identification dictionary; And a character recognition method.
[0013]
(7) a step of detecting an outline font incorporated in the connected device, and an outline font detected from the connected device Is a font for which no identification dictionary has been created, For all characters, obtaining character image data obtained by rasterizing in the connected device to a certain size for each character based on outline font data from the connected device, and using the character image data A step of creating a standard pattern for each character of the detected font; a step of creating an identification dictionary for each detected font by registering the standard pattern; and a character pattern using the identification dictionary for each font Determining a character code and a font of the character recognition method.
[0014]
(8) Procedure for detecting an outline font incorporated in a connected device, and the detected outline font Is a font for which no identification dictionary has been created, For all characters, using the character image data, a procedure for acquiring character image data obtained by rasterizing in the connected device to a certain size for each character based on the outline font data, and the character image data A procedure for creating a standard pattern for each character of the detected font, a procedure for registering the standard pattern and creating an identification dictionary, and a procedure for determining a character code and font of the character pattern using the identification dictionary; A program for causing a computer to execute.
[0015]
(9) A procedure for detecting an outline font incorporated in a connected device, and an outline font detected from the connected device Is a font for which no identification dictionary has been created, For all characters, using the character image data, a procedure for acquiring character image data obtained by rasterizing in the connected device to a certain size for each character based on the outline font data, and the character image data A procedure for creating a standard pattern for each character of the detected font; a procedure for creating an identification dictionary for each detected font by registering the standard pattern; and a character pattern using the identification dictionary for each font A program for causing a computer to execute a procedure for determining a character code and a font.
[0016]
(10) A procedure for detecting an outline font incorporated in a connected device, and the detected outline font Is a font for which no identification dictionary has been created, For all characters, using the character image data, a procedure for acquiring character image data obtained by rasterizing in the connected device to a certain size for each character based on the outline font data, and the character image data A procedure for creating a standard pattern for each character of the detected font, a procedure for registering the standard pattern and creating an identification dictionary, and a procedure for determining a character code and font of the character pattern using the identification dictionary; , A computer-readable recording medium on which a program for causing a computer to execute is recorded.
[0017]
(11) A procedure for detecting an outline font incorporated in a connected device, and an outline font detected from the connected device Is a font for which no identification dictionary has been created, For all characters, using the character image data, a procedure for acquiring character image data obtained by rasterizing in the connected device to a certain size for each character based on the outline font data, and the character image data A procedure for creating a standard pattern for each character of the detected font; a procedure for creating an identification dictionary for each detected font by registering the standard pattern; and a character pattern using the identification dictionary for each font A computer-readable recording medium on which a program for causing a computer to execute a procedure for determining a character code and a font is recorded.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0019]
FIG. 1 is a block diagram showing an overall configuration of a character recognition system including a character recognition device according to an embodiment of the present invention. The character recognition system includes a character recognition device 1, a scanner 2 as an image reading device, a personal computer 3 as an image processing device, and a printer 4 as an image forming device, which are mutually connected via a network 5. It is connected so that it can communicate. The type and number of devices connected to the network 5 are not limited to the example shown in FIG.
[0020]
Next, the configuration of each device will be described, but portions having similar functions in each device will be described only for the first time in order to avoid duplication of description, and description thereof will be omitted for the second and subsequent times.
[0021]
FIG. 2 is a block diagram showing an example of the configuration of the character recognition device 1 according to the present embodiment. The character recognition device 1 is a computer, and includes a CPU 11, a ROM 12, a RAM 13, a hard disk 14, a display 15, an input device 16, a network interface 17, and a bus 18, as shown in FIG.
[0022]
The CPU 11 performs various processes of control and calculation. The ROM 12 stores various programs and data. The RAM 13 temporarily stores programs and data as a work area. The hard disk 14 stores various programs and data. The display 15 performs various displays. The input device 16 is a keyboard, a mouse, or the like, and is used for performing various inputs. The network interface 17 is an interface for connecting to a network and communicating with other devices on the network. The above-described units are connected to each other via a bus 18 for exchanging signals. In the present embodiment, the computer 1 performs a predetermined operation to be described later. A program for controlling the operation of the computer 1 for this purpose is stored in the ROM 12 or the hard disk 14.
[0023]
The scanner 2 has a function of reading an original set at a predetermined position to acquire image data (bitmap data) and outputting the image data to another device via a network.
[0024]
The personal computer 3 has the same configuration as the character recognition device 1 as shown in FIG. The personal computer 3 incorporates a font for forming a character image on an image forming apparatus such as a printer or a display as an image processing apparatus.
[0025]
The printer 4 prints out a print image (image data) based on the print job. When the print job includes a control language, the printer 4 has a function of interpreting and rasterizing the print job to create a print image. Fonts necessary for this purpose are incorporated in the printer 4.
[0026]
The network 5 includes a LAN in which computers and network devices are connected according to standards such as Ethernet (registered trademark), token ring, and FDDI, and a WAN in which LANs are connected by a dedicated line.
[0027]
Next, an outline of the operation of the character recognition device 1 in the present embodiment will be described. FIG. 3 is a flowchart showing an overall procedure of character recognition processing of the character recognition device 1 according to the present embodiment. First, the character recognition device 1 displays an input screen for a new identification dictionary creation command on the display 15 and waits until a user inputs a new creation command for an identification dictionary (NO in S101). The user operates the input device 16 to input a new identification dictionary creation command to the character recognition device 1. When the character recognition apparatus 1 receives an input of a new identification dictionary creation command from the user (YES in S101), the character recognition device 1 performs a creation process of the identification dictionary (S102).
[0028]
FIG. 4 is a flowchart showing a procedure of identification dictionary creation processing of the character recognition device 1 according to the present embodiment. In the identification dictionary creation process, the character recognition device 1 first detects a device connected to the character recognition device 1 via the network interface 17 and the network 5 (S201). When a connected device is detected on the network 5 (YES in S202), it is detected whether there is a font incorporated in the detected device (S203). For example, in the case of a personal computer, an embedded font is held by an OS (operating system), and font data is held in a specific directory used by the OS in the hard disk. In the case of a printer that supports page description languages such as Postscript (Adobe Systems Inc.), the printer has fonts. The printer interprets the page description language and selects fonts based on the font data stored on the hard disk. Rasterize. The character recognition device 1 searches a specific directory such as a hard disk of these devices and detects such font data, thereby detecting a font incorporated in the device. When a font incorporated in the detected device is detected, and the detected font has not yet created an identification dictionary (YES in S204), it is sent to the device via the network interface 17 and the network 5. Then, a character image data transfer request for requesting transfer of character image data (bitmap data) for all characters of the detected font is transmitted (S205).
[0029]
FIG. 5 shows that the character recognition device 1 detects the personal computer 3 on the network 5, further searches a predetermined directory on the hard disk of the personal computer 3 to detect font data, and detects the font data related to the detected font data on the personal computer 3. 6 is a flowchart showing the operation of the personal computer 3 when a character image data transfer request is transmitted. The personal computer 3 stands by until a character image data transfer request is received from the character recognition device 1 (NO in S301). When the character image data transfer request is received from the character recognition device 1 (YES in S301), the transfer request is received. Prepare character image data for all characters of the font. Here, there are two types of fonts: bitmap fonts that represent character shapes as a set of dots, and outline fonts that characterize outlines of characters. Bitmap fonts consist of character image data itself, whereas outline fonts include font metric data describing character width and height information and character outlines as font data. Outline data in which information for calculation is described, and character image data is obtained by rasterizing to a necessary character size based on these data. Therefore, if the font for the transfer request is a bitmap font (NO in S302), the character image data, which is the font data for each character, is transmitted as it is to the character recognition device 1, and the font for the transfer request is outlined. If it is a font (YES in S302), each character is rasterized to a certain size based on the font data (S303), and the obtained character image data is transmitted to the character recognition device 1.
[0030]
If the device related to the character image data transfer request is the printer 4, the font incorporated in the printer is an outline font. Therefore, the printer 4 receives the character image data transfer request reception procedure (S 301) in FIG. The operation is sequentially performed according to the processing procedure (S303) and the character image data transfer procedure (S304). If the character recognition device 1 itself incorporates a font as an image processing device, it treats itself as one of the connected devices, and follows the above-described font detection procedure (S203) and rasterization processing procedure (S303). It operates sequentially.
[0031]
In FIG. 4, the character recognition device 1 waits until the character image data is received from the device via the network 5 and the network interface 17 (NO in S206), and receives the character image data from the device (S206). YES), the received character image data is stored in a predetermined directory of the hard disk 14. Next, a standard pattern is created for all characters of the font using the received character image data (S207), and the created standard pattern is registered in the dictionary to create an identification dictionary for the font (S208). Here, the identification dictionary creation method differs depending on the character recognition method. In the case of the method using feature amount extraction, the feature amount is calculated by a predetermined method from the received character image data of each character, and this is registered as a standard pattern of each character. As a specific method for extracting the feature amount, there is a method of extracting the inclination of the character line, the number of loops, the line width, the character area, etc. as the extraction amount. In the case of the pattern matching method, the received character image data of each character is registered as it is as the standard pattern of each character. However, in order to deal with the positional deviation, inclination, minute size difference, etc. of the character pattern to be identified, character image data in which characters are blurred to some extent from the received character image data is created and registered as a standard pattern. There may be. The created font identification dictionary is stored in a predetermined directory of the hard disk 14.
[0032]
The character recognition device 1 continues to detect other fonts incorporated in the device (S203), and if there is one that does not create an identification dictionary (YES in S204), the above-described detection font identification dictionary creation is performed. An identification dictionary for each detected font is created by repeating the steps (S205 to S208). On the other hand, if there is no font installed in the device or if any of the built-in fonts has already created an identification dictionary (NO in S204), another connected device is detected (S201). If another connected device is detected (YES in S202), an identification dictionary for each detected font is created by repeating the above-described font detection procedure and detection font identification dictionary creation procedure (S203 to S208). To do. If no other connected device is detected (NO in S202), the identification dictionary creation process ends.
[0033]
In FIG. 3, when the identification dictionary creation process is completed, the character recognition device 1 displays an input screen for an original reading command on the display 15 and waits for an input of an original reading command from the user (NO in S103). A user operates the input device 16 to input a document reading command to the character recognition device 1. When a user inputs a document reading command (YES in S103), the character recognition device 1 transmits the document reading command to the scanner 2 via the network interface 17 and the network 5 (S104). Upon receiving a document reading command from the character recognition device 1, the scanner 2 reads a document document set at a predetermined reading position, and transmits the obtained image data to the character recognition device 1. The character recognition device 1 waits until image data is received from the scanner 2 (NO in S105). When image data is received from the scanner 2 via the network 5 and the network interface 17 (YES in S105), the received image data is received. Are stored in a predetermined directory of the hard disk 14.
[0034]
Next, a character area and a non-character area included in the received image data are determined, and the image data is separated into a character area and a non-character area (S106). In this process, by using the brightness histogram of the minute area of the image data and the frequency-resolved spectrum characteristics, the character area in the original image data and the area other than the characters such as photographs and figures are discriminated. Cut out the character area. The cut image data of the non-character area is temporarily stored in a predetermined directory of the hard disk 14 for output together with the character code data recognized later. At this time, if necessary, the image data in the non-character area may be subjected to processing such as image correction such as a smoothing filter, resolution change, and compression. In addition, for the generated image data of only the character region, image correction by filter processing may be performed so that a collapsed character or a blurred character does not occur if necessary.
[0035]
Further, pre-character recognition processing is performed on the image data of only the character area (S107). That is, since character recognition is performed using monochrome binary image data, in this process, color image data displayed in RGB, Lab, or the like is converted into monochrome binary image data in which the character has a black background as white. . Further, if necessary, the generated monochrome binary image data is subjected to processing such as noise removal of isolated points and image inclination correction.
[0036]
Next, layout analysis is performed on the monochrome binary image data obtained by the character recognition preprocessing (S108). In this process, a line structure and a column of characters are detected using a histogram of the projection image for the character region in the image, and the character region is recognized as a plurality of character blocks. Here, the character block refers to a character area that is divided by a column, a blank line, a line feed, etc. and divided into about a paragraph. A character block is also formed when the character size is different.
[0037]
Further, the character blocks recognized by the layout analysis are sequentially cut out of lines and characters (S109), and character recognition processing is performed on the cut out character image data (S110). The circumscribed rectangle data of each extracted character image is stored in a predetermined directory of the hard disk 14 as position data of each character.
[0038]
FIG. 6 is a flowchart showing a procedure of character recognition processing of the character recognition device 1 according to the present embodiment. In the character recognition processing procedure, the character recognition device 1 first selects one of the character blocks recognized in the layout analysis (S401), cuts out a line from the character block, and cuts out a character from the line ( S402).
[0039]
Next, the feature amount is extracted for the character pattern related to the extracted character (S403). The extraction of the feature amount is performed by the same method used when creating the standard pattern of each character registered in the identification dictionary in the standard pattern creation procedure (S207) of the identification dictionary creation process. Further, in the standard pattern creation procedure (S207) of the identification dictionary creation processing, when the method of pattern matching is used as the character recognition method instead of the feature amount extraction method, the character pattern itself relating to the cut-out character is the standard. Since it is compared with the pattern, the character pattern feature extraction procedure (S403) is omitted.
[0040]
Further, an identification dictionary used for identification processing is selected according to the priority order (S404), and is read from the hard disk 14 onto the RAM 13. The priority order is determined in accordance with a procedure for determining the priority order of the identification dictionary described later (S408). However, only the first time, the default priority, or a random order is used.
[0041]
Then, an identification process is performed in which the feature amount extracted from the character pattern is compared with the standard pattern of each character registered in the selected identification dictionary (S405). That is, in the identification process, the similarity between the feature amount extracted from the character pattern and the standard pattern of each character registered in the selected identification dictionary is sequentially calculated, and the similarity is equal to or higher than a predetermined threshold value. If there is a standard pattern (YES in S406), the character code of the standard pattern is determined as the character code of the character pattern, and the character code data is stored in a predetermined directory of the hard disk 14 (S407). Examples of the similarity calculation method used for the identification processing include a method based on a city block distance, a method based on a Euclidean distance, a method based on a linear identification function, a subspace method, and a Bayes identification method. If there is no standard pattern whose similarity is equal to or higher than the threshold value in the selected identification dictionary (NO in S406), the identification dictionary is sequentially changed according to the priority order until a standard pattern whose similarity is equal to or higher than the threshold value is found. The character code of the character pattern is determined by selecting again and repeating the above identification processing procedure (S404 to S406).
[0042]
Next, the font of the identification dictionary used to determine the character code is set as a font candidate for the character pattern, and the font candidate data is stored in a predetermined directory on the hard disk 14 (S408). Further, the font candidate data stored in the hard disk 14 is analyzed, and the priority order of the identification dictionary corresponding to each font is determined and updated according to the order of the frequency of the font candidates (S409). Further, the font size is calculated from the character pattern, and the font size data is stored in a predetermined directory of the hard disk 14 (S410).
[0043]
After repeating the series of character recognition processes (S402 to S411) for the character patterns of all the characters cut out from the selected character block (YES in S411), the font for the first priority identification dictionary The font of the character block is determined, and the font type data is stored in a predetermined directory on the hard disk 14 (S408). The series of character recognition processing (S401 to S412) is repeated for all character blocks recognized in the layout analysis, and the character recognition processing is terminated (YES in S413).
[0044]
In the identification processing procedure (S405 and S406), the calculation of similarity is terminated when a standard pattern having a similarity with a feature value extracted from the character pattern is equal to or greater than a predetermined threshold is found. However, the similarity with all the standard patterns of all the identification dictionaries is calculated, and the priority of the identification dictionaries according to the standard patterns in descending order of similarity is calculated in the order of updating the priority of the identification dictionaries (S409). The order may be determined. In addition, in the method for calculating the similarity to all the standard patterns in all such identification dictionaries, when two or more standard patterns having a similarity equal to or higher than a predetermined threshold are found, the spelling of the preceding and following characters You may make it employ | adopt the character code of the direction which checks and forms the word in a word dictionary. Furthermore, in the above-described character block font determination procedure (S408), the most frequently used identification dictionary font is used as the font of the character block regardless of the character code. The code may be weighted to determine the font of the character block.
[0045]
In FIG. 3, when the character recognition process is completed, the character recognition device 1 recognizes the color of the character cut out by the character recognition process and stores the obtained character color data in a predetermined directory of the hard disk 14. (S110). The character color recognition process is performed by reading color data such as RGB and Lab of pixels corresponding to the character of the original image data and obtaining an average value of all pixels corresponding to the character. The distinction between the characters and the background pixels is performed by using the black and white binary image data created by the character recognition pre-processing and setting the black pixels in the circumscribed rectangle of each character as the character pixels and the white pixels as the background pixels.
[0046]
Then, an output file is created from the character code data obtained in the character recognition procedure (S109) and the image data of the non-character region obtained in the character / non-character region separation procedure (S106) (S111). That is, the character code data and the image data of the non-character area are read from the hard disk 14 onto the RAM 13 and converted into a predetermined output file format. Further, the font type data obtained in the character recognition process (S109) and The font color and the character color data obtained in the character color recognition procedure (S110) are read from the hard disk 14, added to the character code data as character attribute data, and obtained in the character recognition processing procedure (S109). It is arranged together with the image data of the non-character area based on the character position data. The created output file is stored in a predetermined directory of the hard disk 14 or is output to other devices such as the personal computer 3 and the printer 4 via the network interface 17 and the network 5.
[0047]
In the above embodiment, the identification dictionary creation process (S102, S201 to S208) is performed every time during the character recognition process, and the identification dictionary is updated. Alternatively, the identification dictionary creation process may be performed only when there is a change in the connection environment.
[0048]
Further, in the above embodiment, an identification dictionary for each detected font is created and character recognition is performed using this. However, by default, the feature quantities of a normal identification dictionary, that is, a plurality of fonts are averaged. When the recognition rate is low, that is, when the average similarity is not more than a predetermined value in the identification process, the identification dictionary for each detected font is used. It is good also as a structure. As a result, when a special font that cannot be recognized by the default identification dictionary is used in the environment of the character recognition system, etc., the detected font identification dictionary is used only for input data relating to the font, and other input data By using a default identification dictionary, the overall recognition rate can be improved.
[0049]
Further, in the above embodiment, a separate identification dictionary is created for each detected font. However, a standard pattern obtained from character image data of all characters of all detected fonts is stored in one identification dictionary. It may be configured to register and create an identification dictionary.
[0050]
In the above embodiment, the character recognition device 1, the scanner 2, the computer 3, and the printer 4 are connected to each other via the network 5, but the character recognition device 1 and the scanner 2, or the character recognition device. 1 and the printer 4 are locally connected to each other using a serial interface such as RS-232C, USB, or IEEE1394, a parallel interface such as SCSI or IEEE1284, a wireless communication interface such as Bluetooth, IEEE802.11, HomeRF, or IrDA. A connected configuration may be used.
[0051]
The character recognition device 1 according to the present invention has a multi-functional peripheral device such as a scanner having a character recognition function, a digital copier, a facsimile machine, etc. (MFP).
[0052]
The character recognition device and the character recognition method according to the present invention can be realized by a dedicated hardware circuit for executing each of the above procedures, or by a CPU executing a predetermined program describing each of the above procedures. Can do. When the present invention is realized by the latter, the predetermined program for operating the character recognition device can be provided by a computer-readable recording medium such as a floppy disk or a CD-ROM. In this case, the program recorded on the computer-readable recording medium is usually transferred and stored in a ROM, a hard disk or the like. Further, this program may be provided as, for example, a single application software, or may be incorporated in the software of the device as one function of the character recognition device.
[0053]
【The invention's effect】
As described above, according to the present invention, an outline font embedded in a connected device used in a usage environment of a character recognition device is automatically detected, and an outline font is detected. Is a font for which no identification dictionary has been created, For all characters, a character image obtained by rasterizing in the connected device to a certain size for each character based on the outline font data is obtained from the connected device and detected using this character image data. Character recognition is performed by creating an identification dictionary for each font, so that the font can be recognized simultaneously with the character code and higher recognition than when using an identification dictionary that averages the features of multiple fonts. Rate can be achieved.
[0054]
In addition, since an identification dictionary is created only for fonts that exist in the usage environment, highly accurate character recognition can be performed without preparing identification dictionaries for many fonts in advance.
[0055]
Furthermore, since an identification dictionary for the font is automatically created even in an environment where a special font is used, highly accurate character recognition can be easily performed by adapting to the environment.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of a character recognition system including a character recognition device according to an embodiment of the present invention.
FIG. 2 is a block diagram showing an example of the configuration of the character recognition device 1 according to the present embodiment.
FIG. 3 is a flowchart showing an overall procedure of character recognition processing of the character recognition device 1 according to the present embodiment.
FIG. 4 is a flowchart showing a procedure of identification dictionary creation processing of the character recognition device 1 according to the present embodiment.
FIG. 5 is a flowchart showing a procedure of character image data transfer processing of the personal computer 3 in the present embodiment.
FIG. 6 is a flowchart showing a procedure of character recognition processing of the character recognition device 1 according to the present embodiment.
[Explanation of symbols]
1 ... Character recognition device,
11 ... CPU
12 ... ROM
13 ... RAM
14 ... Hard disk
15 ... Display
16 ... Input device
17 ... Network interface
18 ... Bus
2 ... Scanner,
3 ... PC
4 ... Printer,
5 ... Network.

Claims (11)

接続機器に組み込まれたアウトラインフォントを検出するフォント検出手段と、
前記フォント検出手段により検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する文字画像データ取得手段と、
前記文字画像データ取得手段により取得した文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する標準パターン作成手段と、
前記標準パターン作成手段により作成した標準パターンを登録して識別辞書を作成する識別辞書作成手段と、
前記識別辞書作成手段により作成した識別辞書を用いて文字パターンの文字コードおよびフォントを決定する文字識別手段と、を有することを特徴とする文字認識装置。
Font detection means for detecting outline fonts embedded in the connected device;
When the outline font detected by the font detection means is a font for which an identification dictionary has not been created, all the characters are rasterized in the connected device to a certain size for each character based on the outline font data. Character image data acquisition means for acquiring the obtained character image data from the connected device;
Standard pattern creating means for creating a standard pattern for each character of the detected font using the character image data obtained by the character image data obtaining means;
An identification dictionary creating means for creating an identification dictionary by registering a standard pattern created by the standard pattern creating means;
A character recognition device comprising: character identification means for determining a character code and a font of a character pattern using the identification dictionary created by the identification dictionary creation means.
接続機器に組み込まれたアウトラインフォントを検出するフォント検出手段と、
前記フォント検出手段により検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する文字画像データ取得手段と、
前記文字画像データ取得手段により取得した文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する標準パターン作成手段と、
前記標準パターン作成手段により作成した標準パターンを登録して検出された前記フォントごとの識別辞書を作成する識別辞書作成手段と、
前記識別辞書作成手段により作成した前記フォントごとの識別辞書を用いて文字パターンの文字コードおよびフォントを決定する文字識別手段と、を有することを特徴とする文字認識装置。
Font detection means for detecting outline fonts embedded in the connected device;
When the outline font detected by the font detection means is a font for which an identification dictionary has not been created, all the characters are rasterized in the connected device to a certain size for each character based on the outline font data. Character image data acquisition means for acquiring the obtained character image data from the connected device;
Standard pattern creating means for creating a standard pattern for each character of the detected font using the character image data obtained by the character image data obtaining means;
An identification dictionary creating means for creating an identification dictionary for each font detected by registering a standard pattern created by the standard pattern creating means;
A character recognition apparatus comprising: character identification means for determining a character code and a font of a character pattern using the identification dictionary for each font created by the identification dictionary creation means.
前記文字識別手段は、類似度が所定のしきい値以上となる標準パターンの文字コードを前記文字パターンの文字コードとすることを特徴とする請求項2に記載の文字認識装置。  The character recognition device according to claim 2, wherein the character identification unit uses a character code of a standard pattern having a similarity equal to or higher than a predetermined threshold as the character code of the character pattern. 前記文字識別手段は、識別頻度の順に識別辞書の優先順位を決定することを特徴とする請求項2または3に記載の文字認識装置。  The character recognition device according to claim 2 or 3, wherein the character identification means determines the priority of the identification dictionary in order of identification frequency. 前記文字識別手段は、段組、空白行、または改行で区切られて分割された夫々の文字領域である各文字ブロックのフォントとして、識別頻度の最も高い識別辞書のフォントを、前記文字ブロックごとに決定することを特徴とする請求項2〜4のいずれか一つに記載の文字認識装置。  The character identification means, for each character block, the font of the identification dictionary with the highest identification frequency is used for each character block as a font of each character block that is divided into columns, blank lines, or line breaks. The character recognition device according to claim 2, wherein the character recognition device is determined. 接続機器に組み込まれたアウトラインフォントを検出する段階と、
前記検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する段階と、
前記文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する段階と、
前記標準パターンを登録して識別辞書を作成する段階と、
前記識別辞書を用いて文字パターンの文字コードおよびフォントを決定する段階と、
を有することを特徴とする文字認識方法。
Detecting outline fonts embedded in the connected device;
When the detected outline font is a font for which no identification dictionary has been created , characters obtained by rasterizing in the connected device to a certain size for each character based on the outline font data for all characters Acquiring image data from the connected device;
Using the character image data to create a standard pattern for each character of the detected font;
Registering the standard pattern and creating an identification dictionary;
Determining a character code and font of a character pattern using the identification dictionary;
A character recognition method characterized by comprising:
接続機器に組み込まれたアウトラインフォントを検出する段階と、
前記接続機器から検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する段階と、
前記文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する段階と、
前記標準パターンを登録して検出された前記フォントごとの識別辞書を作成する段階と、
前記フォントごとの識別辞書を用いて文字パターンの文字コードおよびフォントを決定する段階と、を有することを特徴とする文字認識方法。
Detecting outline fonts embedded in the connected device;
When the outline font detected from the connected device is a font for which an identification dictionary has not been created, all characters are obtained by rasterizing the connected device to a certain size for each character based on the outline font data. Obtaining the obtained character image data from the connected device;
Using the character image data to create a standard pattern for each character of the detected font;
Creating an identification dictionary for each font detected by registering the standard pattern;
Determining the character code and font of the character pattern using the identification dictionary for each font.
接続機器に組み込まれたアウトラインフォントを検出する手順と、
前記検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する手順と、
前記文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する手順と、
前記標準パターンを登録して識別辞書を作成する手順と、
前記識別辞書を用いて文字パターンの文字コードおよびフォントを決定する手順と、
をコンピュータに実行させるためのプログラム。
A procedure to detect outline fonts embedded in connected devices,
When the detected outline font is a font for which no identification dictionary has been created , characters obtained by rasterizing in the connected device to a certain size for each character based on the outline font data for all characters A procedure for acquiring image data from the connected device;
A procedure for creating a standard pattern for each character of the detected font using the character image data;
Registering the standard pattern to create an identification dictionary;
A procedure for determining a character code and a font of a character pattern using the identification dictionary;
A program that causes a computer to execute.
接続機器に組み込まれたアウトラインフォントを検出する手順と、
前記接続機器から検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する手順と、
前記文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する手順と、
前記標準パターンを登録して検出された前記フォントごとの識別辞書を作成する手順と、
前記フォントごとの識別辞書を用いて文字パターンの文字コードおよびフォントを決定する手順と、
をコンピュータに実行させるためのプログラム。
A procedure to detect outline fonts embedded in connected devices,
When the outline font detected from the connected device is a font for which an identification dictionary has not been created, all characters are obtained by rasterizing the connected device to a certain size for each character based on the outline font data. To obtain the obtained character image data from the connected device,
A procedure for creating a standard pattern for each character of the detected font using the character image data;
Creating an identification dictionary for each of the fonts detected by registering the standard pattern;
A procedure for determining a character code and a font of a character pattern using the identification dictionary for each font;
A program that causes a computer to execute.
接続機器に組み込まれたアウトラインフォントを検出する手順と、
前記検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する手順と、
前記文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する手順と、
前記標準パターンを登録して識別辞書を作成する手順と、
前記識別辞書を用いて文字パターンの文字コードおよびフォントを決定する手順と、
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
A procedure to detect outline fonts embedded in connected devices,
When the detected outline font is a font for which no identification dictionary has been created , characters obtained by rasterizing in the connected device to a certain size for each character based on the outline font data for all characters A procedure for acquiring image data from the connected device;
A procedure for creating a standard pattern for each character of the detected font using the character image data;
Registering the standard pattern to create an identification dictionary;
A procedure for determining a character code and a font of a character pattern using the identification dictionary;
The computer-readable recording medium which recorded the program for making a computer perform.
接続機器に組み込まれたアウトラインフォントを検出する手順と、
前記接続機器から検出されたアウトラインフォントが識別辞書を作成していないフォントである場合、すべての文字について、アウトラインフォントデータに基づいて各文字ごとに一定の大きさに前記接続機器においてラスタライズして得られた文字画像データを当該接続機器から取得する手順と、
前記文字画像データを用いて、検出した前記フォントの各文字の標準パターンを作成する手順と、
前記標準パターンを登録して検出された前記フォントごとの識別辞書を作成する手順と、
前記フォントごとの識別辞書を用いて文字パターンの文字コードおよびフォントを決定する手順と、
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
A procedure to detect outline fonts embedded in connected devices,
When the outline font detected from the connected device is a font for which an identification dictionary has not been created, all characters are obtained by rasterizing the connected device to a certain size for each character based on the outline font data. To obtain the obtained character image data from the connected device,
A procedure for creating a standard pattern for each character of the detected font using the character image data;
Creating an identification dictionary for each of the fonts detected by registering the standard pattern;
A procedure for determining a character code and a font of a character pattern using the identification dictionary for each font;
The computer-readable recording medium which recorded the program for making a computer perform.
JP2001079473A 2001-03-19 2001-03-19 Character recognition device, character recognition method, character recognition program, and computer-readable recording medium recording the same Expired - Lifetime JP4385536B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001079473A JP4385536B2 (en) 2001-03-19 2001-03-19 Character recognition device, character recognition method, character recognition program, and computer-readable recording medium recording the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001079473A JP4385536B2 (en) 2001-03-19 2001-03-19 Character recognition device, character recognition method, character recognition program, and computer-readable recording medium recording the same

Publications (2)

Publication Number Publication Date
JP2002279351A JP2002279351A (en) 2002-09-27
JP4385536B2 true JP4385536B2 (en) 2009-12-16

Family

ID=18935918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001079473A Expired - Lifetime JP4385536B2 (en) 2001-03-19 2001-03-19 Character recognition device, character recognition method, character recognition program, and computer-readable recording medium recording the same

Country Status (1)

Country Link
JP (1) JP4385536B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063605A (en) * 2018-11-28 2020-06-05 안희철 A drawing method using a font created through a handwriting, performed on one or more processors of a computing device, a computer program stored on a computer-readable storage medium for carrying out method, and a handwriting system

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4881605B2 (en) * 2005-10-28 2012-02-22 株式会社リコー Character recognition device, storage medium, and character recognition method
JP2008117037A (en) * 2006-11-01 2008-05-22 Fujitsu Ltd Program and method for creating character recognition dictionary
US8373703B2 (en) 2008-09-24 2013-02-12 Penny Beckwith System and method for incorporating a personalized writing style into a word program
JP6046088B2 (en) * 2014-07-30 2016-12-14 京セラドキュメントソリューションズ株式会社 Image processing apparatus and image processing method
JP6795195B2 (en) * 2017-10-25 2020-12-02 ネットスマイル株式会社 Character type estimation system, character type estimation method, and character type estimation program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063605A (en) * 2018-11-28 2020-06-05 안희철 A drawing method using a font created through a handwriting, performed on one or more processors of a computing device, a computer program stored on a computer-readable storage medium for carrying out method, and a handwriting system
KR102151780B1 (en) 2018-11-28 2020-09-03 안희철 A drawing method using a font created through a handwriting, performed on one or more processors of a computing device, a computer program stored on a computer-readable storage medium for carrying out method, and a handwriting system

Also Published As

Publication number Publication date
JP2002279351A (en) 2002-09-27

Similar Documents

Publication Publication Date Title
US6940617B2 (en) Printing control interface system and method with handwriting discrimination capability
KR100658119B1 (en) Apparatus and Method for Recognizing Character
US8009909B2 (en) Image processing apparatus and its method
EP2333655A2 (en) Printed matter examination apparatus, a printed matter examination method, a storage medium, and a printed matter examination system
US7447361B2 (en) System and method for generating a custom font
US6885768B2 (en) Image recognition apparatus, method and program product
US8384936B2 (en) System which performs resolution-dependent vectorization of print data
JP2004265384A (en) Image processing system, information processing device, control method, computer program, and computer-readable storage medium
JP4881605B2 (en) Character recognition device, storage medium, and character recognition method
JP2018055255A (en) Information processing apparatus, information processing method, and program
JP2004046315A (en) Device and method for recognizing character, program and storage medium
JP4385536B2 (en) Character recognition device, character recognition method, character recognition program, and computer-readable recording medium recording the same
US8229214B2 (en) Image processing apparatus and image processing method
US10984277B2 (en) Image analysis apparatus, image analysis method, and non-transitory computer readable medium
US9916526B2 (en) Image forming apparatus capable of generating a handwritten document specific to a user
JP2002015280A (en) Device and method for image recognition, and computer- readable recording medium with recorded image recognizing program
JP5335581B2 (en) Image processing apparatus, image processing method, and program
JP5003606B2 (en) Image processing device
US10706337B2 (en) Character recognition device, character recognition method, and recording medium
JP4165408B2 (en) Image forming apparatus and image forming program
JP2022090469A (en) Format defining device, format defining method, and program
JP2020087320A (en) Image processing apparatus, image processing method and program
JP4109738B2 (en) Image processing method and apparatus and storage medium therefor
JP2019125290A (en) Print control device, print generating method, and print control program
JP2023046687A (en) Information processing device, information processing method and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040423

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050920

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20061011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090908

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090921

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3