JP3587008B2 - Image input device - Google Patents

Image input device Download PDF

Info

Publication number
JP3587008B2
JP3587008B2 JP02554997A JP2554997A JP3587008B2 JP 3587008 B2 JP3587008 B2 JP 3587008B2 JP 02554997 A JP02554997 A JP 02554997A JP 2554997 A JP2554997 A JP 2554997A JP 3587008 B2 JP3587008 B2 JP 3587008B2
Authority
JP
Japan
Prior art keywords
character
image
data
dictionary
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP02554997A
Other languages
Japanese (ja)
Other versions
JPH10224595A (en
Inventor
祥二 今泉
英幸 橋本
徹 飯田
智也 吉村
Original Assignee
ミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ミノルタ株式会社 filed Critical ミノルタ株式会社
Priority to JP02554997A priority Critical patent/JP3587008B2/en
Publication of JPH10224595A publication Critical patent/JPH10224595A/en
Application granted granted Critical
Publication of JP3587008B2 publication Critical patent/JP3587008B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、イメージリーダや複写機の原稿読取部として用いられる画像入力装置に関する。
【0002】
【従来の技術】
従来、例えば、自動原稿搬送装置を備えた複写機において、複数枚の原稿を連続して読み取ってコピーする場合、読み取られた原稿の向きに応じてコピーが排出されるので、原稿を自動原稿搬送装置にセットする際に、各原稿が一律に同じ方向を向いているか否かを確認する必要があった。しかし、このような確認作業は結構手間がかかるものであり、原稿枚数が多ければ、それだけ反対方向の原稿を見落とすおそれも多くなる。
【0003】
このような原稿方向の確認作業を怠ると、複数の排出ビンに仕分けして排出するソートユニットを備える複写機において所定のソートモードを実行させた場合、各排出ビンに排出されたコピー束のそれぞれについてコピーの向きを修正しなければならないという不都合があり、さらには、自動的にステープル止めを行うステープルユニットやパンチ穴開けを行うパンチユニットを備えた複写機において、それらの機能を実行させると、異なる方向のコピー含むコピー束をそのままステープル止めしたり、パンチ穴を開けてしまうので、最悪の場合にはもう一度コピー作業をやり直さなければならない事態も生じ、コピー作業における効率が大変悪くなると共にコピー用紙の無駄使いともなり、省資源化に反する。
【0004】
このような不都合を避けるため、読み取った画像データからまず原稿の向きを判別し(このような原稿方向の判別を以下「天地認識」という。)、その画像出力が適切な方向になるように画像データを回転処理して出力する方法が考えられている。
例えば、特開平4−229763号公報には、次のような天地認識方法が開示されている。
【0005】
すなわち、予め所定の参照文字についてその線部分における複数の点(参照点)を抽出してパターンとして記憶しておき、原稿画像を読み取って得られた画像データから文字画像を切り出して、当該切り出された文字と参照点とを比較し、各参照点における文字の画像信号の有無を、切り出した文字画像を90゜ずつ回転させながら確認して各回転角における一致度を求める。その一致度が一番高い回転角を、当該文字の方向と認識し、これにより天地認識を行うようにしている。
【0006】
具体的には、例えば、図23(a)に示すように、参照文字「A」について6個の参照点A1〜A6を抽出して記憶しておき、切り出された文字画像が図23(b)に示すように「A」が90゜左方向に横向きになっている場合には、参照点A2、A5には文字の画像信号は存在しないので一致度は低く、この文字画像を90゜ずつ回転していき、参照点との一致度が最も高い回転角を求めてこれを文字の方向として認識するようにしている。
【0007】
【発明が解決しようとする課題】
ところが上述した従来の天地認識方法においては、特定の文字について参照点における画像信号の有無を比較するだけであるため、そもそも読み取った文字が「A」であるか否かは不明であり、多くの参照文字のデータを内部のメモリに格納してこれを順次切り替えて比較しなければならない。また、仮に切り出された文字が「A」の文字であったとしても、格納した「A」のデータと切り出した文字画像がまったく同じサイズで同じ字体(フォント)であればよいが、文字サイズが異なったり、少しでもフォントが変われば、文字の方向が一致しているにもかかわらず当該参照点の位置に画像信号が位置しないことになり、認識率が著しく低下する。
【0008】
このように認識対象となる文字のサイズやフォントを予め知ることは不可能であり、仮に知ることができたとしてもそれぞれのフォントやサイズに対応した参照文字のデータを全て装置内に持つことは、大きなメモリ容量が必要になるだけでなく、認識作業にも大変な手間がかかるので、コピー作業の効率を著しく低下し、システムとして機能しないという問題があった。
【0009】
本発明は、上述のような問題点に鑑みてなされたものであって、原稿の方向を簡単な構成で正確に識別し、適切な方向に画像データを回転して出力できる画像入力装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る画像入力装置は、原稿の画像を入力するための装置であって、原稿を読み取って画像データを生成する画像読取手段と、前記画像データを記憶する画像データ記憶手段と、前記画像データから文字画像を抽出する文字切り出し手段と、当該文字画像における局所的な形状の位置、もしくは、当該位置に存する局所的な形状が、同じ文字画像内の他の部分と隣接する方向を文字特徴量として抽出する特徴量抽出手段と、複数の文字の文字特徴量を辞書データとして予め記憶する特徴量記憶手段と、前記特徴量記憶手段に記憶された辞書データから、前記文字画像における局所的な形状の数に基づいて候補文字の辞書データを選択する選択手段と、前記特徴量抽出手段により抽出された文字特徴量と前記選択手段により選択された候補文字の辞書データを比較する比較手段と、上記比較結果に基づいて前記文字画像の方向を認識する認識手段と、前記認識手段の認識結果に基づいて前記画像データを回転する画像データ回転手段とを備えたことを特徴とする。
【0011】
また、本発明は、前記比較手段が、前記文字特徴量と辞書データを所定角度ずつ相対的に回転させて、各回転角における当該文字特徴量と辞書データの一致度を求める回転角評価手段を備え、前記認識手段は、各回転角における一致度のうち最大のものが所定の基準値より大きい場合に、その最大の一致度を有する回転角に基づいて文字画像の方向を認識することを特徴とする。
【0012】
さらに本発明は、前記文字画像における局所的な形状が、文字端点、文字T字交差点、文字十字交差点、文字閉ループのうち少なくとも1つの形状であることを特徴とする。
また、本発明は、原稿の画像を入力するための装置であって、原稿を読み取って画像データを生成する画像読取手段と、前記画像データを記憶する画像データ記憶手段と、前記画像データから文字画像を抽出する文字切り出し手段と、当該文字画像における局所的な形状の位置、もしくは、当該位置に存する局所的な形状が、同じ文字画像内の他の部分と隣接する方向を文字特徴量として抽出する特徴量抽出手段と、複数の文字の文字特徴量を辞書データとして予め記憶する特徴量記憶手段と、前記特徴量抽出手段により抽出された文字特徴量と前記特徴量記憶手段に記憶された辞書データを比較する比較手段と、上記比較結果に基づいて前記文字画像の方向を認識する認識手段と、前記認識手段の認識結果に基づいて前記画像データを回転する画像データ回転手段と、前記文字画像における局所的な形状の数が所定数より大きい場合は、前記比較手段による比較を禁止する制御手段とを備えたことを特徴とする。
【0013】
【発明の実施の形態】
以下、本発明に係る画像入力装置を、フルカラーのデジタル複写機に適用した場合について説明する。
(1)フルカラーデジタル複写機全体の構成
まず、図1によりフルカラーデジタル複写機(以下、単に「複写機」という。)の全体の構成を説明する。
【0014】
同図に示すように、この複写機は、原稿を自動的に搬送する原稿自動搬送部100と、搬送された原稿の画像を読み取る画像読取部200と、読み取った原稿画像のデータに基づいて記録シート上に画像を形成するプリンタ部300と、からなる。
原稿自動搬送部100は、原稿給紙トレイ11と、搬送ローラ群12と、レジストローラ13と、搬送ベルト14などから構成される。原稿給紙トレイ11にセットされた原稿束は、搬送ローラ群12により一番下の原稿から1枚ずつ下方に給紙され、レジストローラ13でタイミングを取られ、搬送ベルト14により画像読取部200の原稿ガラス板21の原稿読取位置まで搬送される。
【0015】
そして、画像読取部200で画像をスキャンされた後、再び、搬送ベルト14が駆動され、排紙ローラ15を経て原稿排紙トレイ16上に排出される。
また、この原稿の裏面もスキャンする場合には、原稿の先端が排紙ローラ15に至る直前で、切換爪17により原稿の搬送路を反転ローラ18方向に切り替え、当該反転ローラ18により原稿の向きを反転させて再び原稿ガラス板21方向へ移送するようになっている。
【0016】
画像読取部200は、上記原稿ガラス板21の原稿読取位置に搬送された原稿の画像を光学的に読み取るものであって、スキャナ22、集光レンズ23、CCDイメージセンサ24、スキャナモータM2などから構成される。
スキャナ22には、露光ランプ25とこの露光ランプ25の照射による原稿からの反射光を原稿ガラス板21に平行な方向に光路変更するミラー26が設置されて、スキャナモータM2により駆動されて図の矢印方向に移動することにより原稿ガラス板21上の原稿をスキャンする。
【0017】
スキャナモータM2としてパルスモータが使用されており、スキャナ22の位置は、ホームポジションに設置された光電式のスキャナホームセンサSE1による検出位置を基準として、その位置からの移動量、すなわちパルスモータのステップ数に基づいて制御される。
原稿からの反射光は、ミラー26に反射された後、ミラー27、28および集光レンズ23を介してCCDカラーイメージセンサ(以下、単に「CCDセンサ」という)24のセンサ面まで導かれ、ここで電気信号に変換されて各色成分(R,G,B)ごとの画像データが生成される。
【0018】
なお、ミラー27、28は対となって、スキャナ22の移動速度の半分の速度で同一方向に移動するようになっており、これによりスキャナ22から集光レンズ23までの光路長を一定に保ち、常に原稿画像がCCDセンサ24のセンサ面で結像するように構成されている。
CCDセンサ24で生成された画像データは、制御部400内の画像信号処理部420(図2参照)においてA/D変換されてデジタル信号となり、さらにシェーディング補正や濃度変換、エッジ強調などの必要な処理を加えられた後、色成分ごとに画像メモリ431(同図2)に格納される。
【0019】
画像メモリ431に格納された画像データは、後述するように原稿判別部500でなされた天地認識の結果に応じて回転処理され、最終的に、シアン(C)、マゼンタ(M)、イエロー(Y)、黒(K)の印字用データに変換されて、プリンタ部300の露光ヘッド部310に出力され、あるいは、通信インターフェース451から電話回線等を介して他の複写機やコンピュータなどに送信される。
【0020】
プリンタ部300は、公知の電子写真方式により、コピー用紙やOHP用のフィルムシートなどの記録シート上に画像を形成するものであって、露光ヘッド部310と、画像形成プロセス部320と、給紙部330と、再給紙部340と、からなる。
露光ヘッド部310は、上述のシアン(C)、マゼンタ(M)、イエロー(Y)、黒(K)の印字用データに対応して、4つの露光ヘッド311c、311m、311y、311kを備えており、それぞれ、レーザダイオードとポリゴンミラー等を備える。
【0021】
また、画像形成プロセス部320も、同じく、C,M,Y,Kの各印字用データに対応して、4つの画像形成ユニット321c、321m、321y、321kを備えており、それぞれ、感光体ドラム322c、322m、322y、322kを中心にしてその周囲にクリーナ、帯電チャージャおよび現像器などを配設して構成され、上記露光ヘッド部310によるレーザビームの露光走査を受けて、各感光体ドラム322c、322m、322y、322kにその色成分に応じたトナー像が形成される。
【0022】
例えば、シアンの印字用データが露光ヘッド311cのレーザダイオード312cに出力されると、レーザダイオード312cから変調されたレーザ光が発光され、このレーザ光が、所定の角速度で回転するポリゴンミラー313cのミラー面で反射して、図1の時計回りに回転駆動される感光体ドラム322c表面を露光走査し、これにより感光体ドラム322c表面に静電潜像が形成される。感光体ドラム322cに形成された静電潜像は、現像器323cによりシアンのトナー粒子の供給を受けて、トナー像として顕像化される。
【0023】
一方、給紙部330には、異なるサイズの記録シートを収納する3つの用紙カセット331〜333が設けられており、上述の感光体ドラム322cにおける作像動作に同期して、例えば用紙カセット331から所定サイズの記録シートが給紙されて、転写用搬送ベルト334により感光体ドラム322cの下方の転写位置まで搬送され、転写チャージャ324cの静電力により感光体ドラム322c表面のトナー像が当該記録シート表面に転写される。
【0024】
このような画像形成動作が他の露光ヘッド311m、311y、311k、および画像形成ユニット321m,321y,321kにおいてタイミングをずらしながら実行され、記録シート上に各色のトナー像が重ねて転写されることによりフルカラーの画像が再現される。
その後、記録シートは、定着部327で定着され、再給紙部340内の搬送路341を経由して排紙トレイ342上に排出される。
【0025】
もし、この記録シートの裏側にも印字する場合(いわゆる両面コピーの場合)には、再給紙部340の切換爪343の方向を変えて記録シートを搬送路344方向に導き、一旦反転用搬送路345に押し出してから、図示しない搬送ローラにより搬送路346を介して中間トレイ347へ送り出し、記録シートの表裏が反転した状態で収納する。そして、当該中間トレイ347内の記録シートを転写用搬送ベルト334に給紙することにより、その裏面への画像形成を実行し、その後、定着部327を経由して排紙トレイ342上に排出する。
【0026】
なお、プリンタ部300におけるSE2は、タイミングセンサであって、転写用搬送ベルト334上の基準マーク(不図示)を検出し、これにより記録シートの搬送のタイミング合わせが行われる。また、各画像形成ユニット321c、321m、321y、321kの内部にはそれぞれレジスト補正センサ325c、m、y、kが内蔵されており、転写用搬送ベルト334上の上記基準マークを順次検出することにより、各色成分の印字用データの出力のタイミングを微調整し、各色成分による画像形成の色ずれを防止するようにしている。
【0027】
また、転写用搬送ベルト334を掛け渡した複数のローラの内、図の1番右側のローラ328は、昇降可能なフレーム(図示せず)に軸支されており、黒のみの単色画像の形成時には、当該フレームを図示しない昇降装置により下方に移動させることにより、補助ローラ334aより右側の部分の転写用搬送ベルト334が、画像形成ユニット321c,321m,321yの各感光帯ドラム322c,322m,322yから離脱するようになっている。この際、転写チャージャ326c,326m,326yも上記フレームと共に下方に移動する。
【0028】
これにより単色画像形成時には、転写用搬送ベルト334が、感光体ドラム322c,m,yと非接触状態となり、該当する画像形成ユニット321c,m,yの駆動を停止することができるため、各感光体ドラム322c,m,yやその周辺のプロセスユニットの摩耗を低減することができる。
なお、画像形成ユニット321c、m、y、kは、それぞれ各プロセス毎に一体化されて本体に着脱可能になっており、トナーの交換等のメンテナンスが容易なようになっている。また、画像読取部200の前面の操作しやすい位置には、操作パネル70(図2参照)が設置されており、これにより操作者がコピー開始やコピー部数の設定などの所定の入力操作を行う。
(2)制御部400の構成
次に、上記複写機の内部に設置される制御部400の構成を図2のブロック図により説明する。
【0029】
同図に示すように制御部400は、画像読取制御部410と、画像信号処理部420と、メモリ制御部430と、プリンタ制御部440と、外部通信制御部450と、メイン制御部460と、原稿判別部500等からなる。
各制御部410〜460および原稿判別部500は、それぞれCPUを中心として構成されており、コマンドラインCRを介して、相互に必要なデータやコマンドの授受を行い、また、画像データバスGBを介して画像データの転送が行われるようになっている。
【0030】
画像読取制御部410は、上記原稿自動搬送部100および画像読取部200の動作を制御して原稿の読取を実行させるものである。すなわち、操作パネル70から所定のコピーモードが設定されてコピー開始の操作がなされると、メイン制御部460を介して原稿読取要求を受取り、原稿自動搬送部100の動作を制御して原稿を画像読取部200の原稿ガラス板21上の所定位置まで搬送し、その後、画像読取部200各部の動作を制御して、スキャナ22により原稿をスキャンさせ、CCDセンサ24により読み取られた画像データを、画像信号処理部420に送信する。
【0031】
画像信号処理部420は、A/Dコンバータ、シェーディング補正部、MTF補正部や、変倍部、γ補正部などを備えており、入力された原稿の画像データは、A/Dコンバータでデジタルの多値信号に変換され、シェーディング補正部で露光ランプ25の照度ムラやCCDセンサ24の感度ムラが補正された後、MTF補正部でエッジ強調などの画質改善のための処理を受け、さらに変倍部やγ補正部でそれぞれ変倍処理、γ補正処理を加えられた後に、原稿判別部500およびメモリ制御部430に送られる。
【0032】
原稿判別部500は、上記画像データに基づいて、読み取った原稿の方向を判断して、所定の回転角信号を発生し、あるいは、当該原稿が紙幣などコピー禁止の対象となる特定の原稿の場合には、コピー禁止信号を発生する。詳しくは後述する。
メモリ制御部430は、上記画像データを2値化し、あるいはさらに符号化処理して、ページ単位で画像メモリ431に格納すると共に、メイン制御部460からの読出し要求を受けて、画像メモリ431から目的のページの画像データを読み出して(圧縮されている場合には伸長処理を行ってから)多値データに戻し、上記原稿判別部500からの回転角度信号により回転処理部432で必要に応じて画像データを回転処理してから、プリンタ制御部440に転送する。なお、この回転処理は、画像データのメモリアドレスを変更する公知の技術(例えば、特開昭60ー126769号公報参照)によってなされる。
【0033】
プリンタ制御部440は、上記メモリ制御部430から出力された画像データについて、内部のROMに格納された制御プログラムに基づいてプリンタ部300各部の動作を制御して記録シートへの画像形成を実行する。
外部通信制御部450は、他の複写機やファクシミリ装置またはコンピュータなどの外部機器との画像データなどの授受を制御するものであって、当該外部機器から通信インターフェース451を介して受信した画像データを上記画像メモリ431に格納し、反対に自装置の画像読取部200で読み取った原稿の画像データを通信インターフェース451を介して外部機器に送信する処理を行う。
【0034】
また、メイン制御部460は、操作パネル70からの各種のキー入力を受け付けて、設定されたコピーモードを各制御部410〜450に報告し、あるいは、各制御部410〜450からの連絡を受けて必要な内容を操作パネル70の表示部に表示させたりするほか、処理ルーチンの時間を管理しながら各制御部410〜450、原稿判別部500に対してそれぞれの動作のタイミングを指示して、全体を統一的に制御し、円滑なコピー動作を実現させる。また、原稿判別部500からコピー禁止信号を受けた場合は、プリンタ制御部440に画像形成動作を実行しないように指示を送る。
(3)原稿判別部500の構成
図3は、上記原稿判別部500の構成を示すブロック図である。
【0035】
なお、当該ブロック図において、普通の実線の矢印は通常のデータもしくは制御信号の流れを、太い実線の矢印は画像データの流れを、太い破線の矢印は、これら以外の文字の特徴量に関するデータの流れを、それぞれ示している。
この原稿判別部500は、画像読取部200で読み取られた原稿の画像データに基づき、2つの処理を実行する。すなわち、▲1▼当該原稿が紙幣などの特定原稿であるか否かを判別して、特定原稿と判定される場合にはメイン制御部460にコピーを禁止するコピー禁止信号を出力する特定原稿判別処理と、▲2▼画像読取部200で読み取られた原稿の方向を判別して適切な方向で画像データが出力されるようにメモリ制御部430に回転角信号を出力する原稿方向判別処理(すなわち天地認識処理)である。
【0036】
前者の特定原稿判別処理は、特定色抽出回路510からの出力に基づきCPU501で実行され、後者の天地認識処理は、カラーデータキャンセル回路520、文字切り出し回路530、特徴量抽出回路540、さらに辞書データ発生回路560を経た後、最終的に比較回路580においてなされる比較結果に基づきCPU501で実行される。
【0037】
以下、上記2つの処理に分けて説明する。
(3−1)特定原稿判別処理
画像読取部200で読み取られ、画像信号処理部420で所定の処理を施されたR,G,Bの各色成分の画像データが画像データバスGB(図2)を介して、特定色抽出回路510に入力されると、特定色抽出回路510は、これらの画像データに基づいて予め設定された特定色の色面積を求め、これにより当該原稿が特定の原稿であるか否かを判別する。
【0038】
当該特定色抽出回路510は、図4のブロック図に示すように色空間変換回路511と、3個の特定色カウンタユニット512〜514、およびOR回路515とからなる。
色空間変換回路511は、入力されたR,G,Bの画像データの値を、輝度(Y)と2つの色度(Cr、Cb)からなる色空間の色信号に変換する回路である。このような色空間への変換は、一般にテレビジョンなどにおける色再現のための公知の技術であるので、ここでの詳細な説明は省略する。
【0039】
R,G,Bのデータ値のままでは、帯域幅も広くなりデータ処理も複雑になるため、上述のようにY、Cr、Cbの色信号に変換することにより、「色」を比較的帯域の狭い色信号で特定することが可能となり、次に述べる特定色カウンタユニット512〜514での色判定を容易にさせる。
色空間変換回路511で得られたY、Cr、Cbの色信号は、それぞれ、特定色カウンタユニット512〜514に入力される。
【0040】
このうち特定色カウンタユニット512は、色判定部5121〜5123、カウンタ5124〜5126およびAND回路5127からなり、各色判定部5121〜5123は、それぞれ色空間変換回路511で変換されたY、Cr、Cbの色信号の値により、当該画素が指定された特定の色であるか否かを判定する。そのため、例えば、各色判定部5121〜5123は、それぞれ複数のコンパレータを内部に有し、各コンパレータには、自己の判定部に指定された特定色にについて、そのY,Cr,Cbの下限値と上限値が設定されており、これらのコンパレータの出力結果により、各色信号値の全てについて所定の範囲内にあると判断された場合には、当該画素の色が当該指定された特定色であるとして、それぞれ次段のカウンタ5124〜5126にカウントアップ信号を送信する。
【0041】
各カウンタ5124〜5126では、対応する色判定部5121〜5123からカウントアップ信号を得るたびにカウントを「1」だけインクリメントしていき、それぞれCPU501により設定された所定の閾値を超えると、AND回路5127に色面積一致信号を出力するようになっている。
AND回路5127は、カウンタ5124〜5126のいずれもから色面積一致信号を受けると論理信号「1」を出力し、OR回路515を介して特定色カウントアップ信号をCPU501に送る。
【0042】
図3に戻り、CPU501は、この特定色カウントアップ信号を受けた場合には、当該原稿が特定原稿であると判断して、メイン制御部460にコピー禁止信号を送信する。メイン制御部460は、このコピー禁止信号を受けて、操作パネル70からの操作の受付けを拒否すると共に、プリンタ制御部440に対し当該画像データに基づく画像形成動作を禁止する。
【0043】
このように特定色カウンタユニット512は、読み取ったカラー原稿の画像データについて、3種類の特定色の画素数(色面積)をカウントし、各特定色の画素数が全て所定の閾値より大きい場合のみ、特定色カウントアップ信号を生成し、これにより当該原稿のコピーが禁止される。
例えば、コピー禁止の対象となる原稿が1万円札である場合には、この紙幣に使用されている特徴的な色を3色選択し、各特定色を判定できるように色信号Y、Cr、Cbに分解して表したときの各色信号値の上限値と下限値を3つの特徴色ごとに色判定部5121〜5123内部のコンパレータに設定すると共に、その特定色を有する画素をカウントしてその合計値を各カウンタ5124〜5126に閾値として設定しておく、そして原稿を読み取って得られた画像データの特定色の画素数が選択された3色について共に上記閾値より多い場合には、その原稿を1万円札とみなしてコピー禁止信号を発生し、これによりカラーデジタル複写機の悪用を事前に防止することができる。
【0044】
紙幣には、通常の印刷では使用されない特徴的な色が使用されており、紙幣以外の原稿において当該特徴的な色が3色の全部について所定の色面積以上となる可能性はほとんどなく、上記構成により当該原稿がほぼ確実に1万円札であると判別しうる。
また、このようなコピー禁止の動作を免れるため、わずかにコピー倍率を変更して特定色の画素数のカウントに誤差を生ぜしめるような場合も考えられる。このような場合には、CPU501により当該コピー倍率の設定に連動してカウンタ5124〜5126に与える閾値も変更するようにしておけばよい。
【0045】
なお、他の特定色カウンタユニット513、514も上述の特定色カウンタユニット512と同じ構成であって、それぞれのコピー禁止の対象となるカラー原稿に応じて各色判定部における色信号の上限・下限の値や各カウンタにおける画素数の閾値が異なって設定されているだけでなので説明を省略する。これらにより、上記一万円札のほか五千円札や千円札も判別することが可能となり、そのコピーを禁止することができる。
【0046】
以上のような特定原稿判別方法によれば、極めて簡易かつ容易に特定原稿が判別されることになる。
すなわち、従来の複写機においては、特定原稿のパターンを抽出し、予め内部に設定されたパターンとマッチングすることにより特定原稿か否かを判別するようになっていたので、当該パターン画像を内部のメモリに格納しておく必要があり、新紙幣が発行されてその模様が変更された場合には、当該新紙幣のパターンを新たに登録しなければならない不便さがあり、その上、パターンマッチングのための制御プログラムも複雑であるという問題もあったが、本実施の形態においては、複数の特定色の色面積のみで判断しているので、複雑な制御プログラムは一切不要となり上述のような簡易なハード回路のみで、リアルタイムに特定原稿を判別でき、しかもCPU501により各色信号の上限・下限値や対応する特定色の画素数の閾値を変更するのみで、国内の紙幣のみならず外国紙幣の判別にも容易に対応できる。
【0047】
また、装置特有のばらつきにより、各色信号の値に多少の誤差や読取値のばらつきがあってもCPU501により上記諸値を補正することにより容易に補正可能となる。
さらに、各特定色カウンタユニット512〜514における色判定部およびカウンタの数を増加して判定可能な特定色の数を増加すれば、特定原稿の判別精度をより向上させることができ、また、特定色カウンタユニット512〜514自体の数を増加すれば、より多くの種類の特定原稿を判別することが可能となる。
【0048】
なお、CPU501は、原稿中にコピー禁止を示す文字もしくは記号を発見した場合にもコピー禁止信号を発生するが、これについては後述する。
(3−2)天地認識処理
天地認識処理は、大きく分けて、▲1▼原稿画像から文字画像を1文字ずつ切り出す文字切り出し処理と、▲2▼この切り出された文字からその特徴量を抽出する特徴量抽出処理と、▲3▼当該特徴量のうち文字の方向に依存しないデータから天地認識のための候補文字の辞書データを選択する辞書データ生成処理と、▲4▼上記特徴量のうち文字の方向に依存するデータと上記辞書データとを比較して回転角を決定する回転角決定処理と、からなる。
【0049】
[文字切り出し処理]
図3において、画像メモリ431から読み出されたR,G,Bの画像データはカラーデータキャンセル回路520に入力され、ここで有彩色のカラー画像データを白データに置き換える処理がなされる。
具体的には、例えば、R、G、Bの画像データを、上記特定色抽出回路510における色空間変換回路511(図4)と同じ色空間変換回路を用いて、Y、Cr、Cbの色信号に変換する。一般に、Cr,Cbの値が小さいほど無彩色に近いので、「0」に近い所定の閾値を予め設定しておき、画素ごとにCr、Cbの値と閾値と比較して、双方の値が当該閾値より小さい場合には、無彩色の画像データとみなして当該画素のYの値をそのまま出力し、Cr,Cbの少なくとも一方が、上記閾値より大きな場合には、カラー画像データとみなして当該画素のYの値を「白」に相当する値に置き換えて出力するようにすればよい。
【0050】
このように有彩色のカラー画像データを予めキャンセルするのは、読み取った原稿がカラー写真画像であるような場合には、天地認識を行うにあたり不要なデータであり、また新聞や雑誌の見出しなどに用いられるカラー文字は、デザイン上の処理が施されていたり、意図的に傾いて配置されていたりして、文字の方向を認識を行うのに適していないと考えられるからである。このような誤認識のおそれのあるデータを予め除外することにより以降の天地認識処理をより確実にすることができる。
【0051】
カラーデータキャンセル回路520から出力された画像データ(輝度信号Y)は濃淡の階調を含むので、次の2値化回路521により2値化して不要な階調情報を除去し、以後のデータ処理をさらに容易かつ確実にする。
この2値化回路521は、CPU501から与えられた所定のパラメータに基づき、上記画像データを「0」と「1」に2値化し、ヒストグラム生成回路522と文字切り出し回路530のそれぞれに出力する。
【0052】
ヒストグラム生成回路522は、上記2値化された画像データの濃度値を主走査方向と副走査方向に積分したヒストグラムを生成する。図5は、このヒストグラム生成の例を示す図である。原稿1枚分の2値画像データD1を主走査方向に積分すると第1のヒストグラムH1のようになり、副走査方向に積分すると第2のヒストグラムH2のようになる。これらの第1、第2のヒストグラムH1,H2がヒストグラムデータとしてヒストグラムメモリ523に格納される。
【0053】
文字切り出し回路530は、このヒストグラムデータに基づき2値画像データから1文字ずつ文字画像を切り出す。
このような文字切り出しの処理自体は公知の技術であり、上記図5の第1のヒストグラムH1の分布を見れば分かるようにヒストグラムの谷の部分が行間を示しており、これにより、まず各行ごとに画像データを抽出し、抽出された各行を副走査方向に積分して第3のヒストグラムを得る。この第3のヒストグラムにおいてほぼ等間隔に生じる積分値の谷部は文字間を示している筈であり、この位置により1文字分の画像データが文字画像として切り出されることになる。
【0054】
文字切り出し回路530は、上記文字切り出し処理の結果に基づき、当該切り出した文字画像のサイズ(画素数)を示す「XY信号」と、白黒比を示す「B/W信号」をCPU501に出力する。
XY信号は、切り出された文字画像の横方向の画素数Xと縦方向の画素数Yの積として表され、B/W信号は、当該文字画像中の線部分を示す画素(2値化された「1」の部分。これを以下、「黒画素」という)の数Bを、線部以外の画素(2値化された「0」の部分。以下、「白画素」という。)の数Wで除した値として示される。
【0055】
CPU501は、これらの情報を基づき所定の閾値と比較して当該切り出された文字がその向きを認識する上で適しているか否かを判定し、当該文字が大サイズの場合や黒画素が多い場合には、RETRY信号を生成して文字切り出し回路530に送信して、次の文字画像の切り出しを促す。詳しくは後述する。
[特徴量抽出処理」
文字切り出し回路530は、上記RETRY信号を受信しない限り、当該切り出した文字の画像データを次段の特徴量抽出回路540に出力する。
【0056】
この特徴量抽出回路540は、入力された画像データに基づき、当該文字を特徴付ける複数の局所的形状、すなわち閉ループ、十字交差点、T字交差点、端点(これらを以下、単に「特徴形状」という。)や要素数などを抽出して所定のデータを生成する回路であって、図6に示すように外接長方形比率抽出回路541、要素数抽出回路542、閉ループ抽出回路543、十字抽出回路544、T字抽出回路545、端点抽出回路546、細線化処理回路547、エラーチェック回路548、特徴データ並び変え回路549とからなる。
【0057】
外接長方形比率抽出回路541は、切り出されたXYドットの文字画像の縦横の比率(X/Y)を計算し、これを比率情報として8bitのデータで表して出力する。
要素数抽出回路532は、文字を構成する要素の数(例えば、「く」は1個、「い」は2個、「ば」は4個)を抽出し、その要素数を個数情報として3bit(最大8個)で表して出力する。このような要素数は、公知の画像処理技術により得ることができる。例えば、文字画像の左上画素を初期点として副走査方向にラスタ走査を実行し、最初に黒画素を発見すると、これを追跡開始点として所定方向に文字の線部の外側の輪郭の画素を追跡していき(この処理を以下「輪郭線追跡処理」という。)、再び追跡開始点の黒画素に帰着したときに、当該輪郭線で囲まれた領域が1個の要素であると判断されるので、このような追跡走査を繰り返すことにより、当該文字の全要素数を抽出することができる。
【0058】
上記以外の閉ループ抽出回路543、十字抽出回路544、T字抽出回路545および端点抽出回路546には、CPU501から辞書サイズ切り替え信号が与えられており、各抽出回路543〜546は、当該切り替え信号の内容に応じて特徴量抽出のための解像度を切り替えるようになっている。
具体的には、文字切出回路530で切り出された文字画像を3×3の9ブロックもしくは5×5の25ブロックに分割し、各ブロック内で特徴形状を抽出する。この際、例えば、閉ループ抽出回路543において一つのブロック内を走査して閉ループを一つでも発見すれば、もうそのブロック内における閉ループの走査は行わず、次のブロック内の閉ループの走査に移る。したがって、3×3の方が、5×5の場合よりも抽出速度が早くなるが、1つのブロック内に2つの閉ループがあっても1個としかカウントしないことになるので、5×5の場合よりも解像度が劣ることになる。後述する辞書データ発生回路560に格納された辞書データもこの解像度に合わせて作成されているので、以下、このような解像度の区別をその分割ブロック数に基づき、3×3辞書サイズ、5×5辞書サイズと呼ぶことにする。
【0059】
このようなCPU501からの辞書サイズの指定に基づき、閉ループ抽出回路543では、文字画像内に存在する閉ループを分割されたブロックごとに検出し、その個数(例えば、「く」は0個、「は」は1個、「ぱ」は2個)および、当該閉ループの位置を求め、閉ループについての個数情報および位置情報を出力する。
【0060】
この閉ループの抽出も公知の画像処理技術により行うことができ、例えば上述の輪郭線追跡処理により、まず文字の要素を抽出し、次に当該要素内部を走査して白画素の領域の数を上記要素数の抽出の場合と同様にして抽出することによって達成できる。
そして、抽出された当該閉ループの個数を3bit(最大8個)で表して個数情報として出力する。
【0061】
その一方で、当該閉ループの文字画像における相対的位置から位置情報が生成される。この位置情報は、分割されたブロックごとに閉ループの有無を判断して生成される。
具体的に図7を参照して、切り出された文字が「ぱ」、「ぬ」であった場合における閉ループの位置情報の生成について説明する。
【0062】
図7(a)は、「ぱ」の文字画像を3×3の9ブロックに分割した図である。11〜33までの各ブロックに対応するbitが用意され、位置情報は当該閉ループを有するブロックに対応するbitを「1」に、それ以外のbitを「0」にそれぞれセットすることにより生成される。「ぱ」の場合、ブロック13と32に閉ループL1、L2が存するので、当該ブロックに対応するbitが「1」にセットされることになる。なお、ブロック22に閉ループが位置しても、この位置情報は文字の回転に依存しないので、天地認識のデータとしては不要であり、本実施の形態では、このブロック22を除くブロック数8に対応した8bitで閉ループの位置情報を示すようにしている(同様に、5×5辞書サイズの場合は24bitとなる)。
【0063】
一方、「ね」の場合、図7(b)に示すように1個の閉ループL3をブロック32と33にまたがって有している。この場合の位置情報は、閉ループL3内の白画素をより多く含むブロック、すなわち、図7(b)の例では、ブロック32に閉ループL3が位置すると判断して、そのブロックに対応するbitを「1」セットして位置情報を生成することになる。
【0064】
上記外接長方形比率抽出回路541、要素数抽出回路542および閉ループ抽出回路543では、文字切り出し回路530から出力された画像データを加工しないまま各抽出処理を行ったが、以下に述べる十字抽出回路544、T字抽出回路545、端点抽出回路546においては、それらの抽出処理を容易かつ確実に行うため、予め細線化処理回路547において文字の線部(線図形)の幅を狭くする細線化処理を行う。
【0065】
この細線化処理においては、主に次の要件が充足される必要がある。
(i) 線幅が1(1画素単位)となる。
(ii) 線の位置はもとの線図形のほぼ中心にくる。
(iii)図形の連結性が保存される。
(iv) 線図形の端の部分が必要以上に縮退しない。
【0066】
このような細線化処理を行うため、画像処理の分野において従来から様々な細線化処理の方法が提案されているので、ここでの具体的な説明は省略する。
細線化処理回路547で細線化された文字画像のデータは、十字抽出回路544、T字抽出回路545、端点抽出回路546にそれぞれ出力される。
十字抽出回路544では、細線化された画像データに基づいて、分割されたブロックごとに十字交差点を検出して、その個数情報および位置情報を生成する。
【0067】
十字交差点の抽出は、例えば、特定の黒画素(以下、「注目画素」という。)を中心にしてその周囲の隣接画素(8近傍)を走査し、当該注目画素に隣接する黒画素数Mを検出する。当該画像データは細線化処理回路547で細線化されているため、注目点の8近傍同士で黒画素が隣接することはないので、M=4の場合には、当該注目画素は十字交差点であると判断できる。
【0068】
この走査をブロックごとに実行していけば、当該文字画像における十字交差点の個数が判明する。例えば、「く」は0個、「さ」は1個、「き」は2個である。
十字交差点の位置は、文字の方向に合わせて変化するので、その位置は天地認識のための有用な情報となる。この位置情報は上述の閉ループの位置情報の場合と同様、十字交差点が存在するブロックに対応するbitを「1」にセットすることにより、3×3辞書サイズの場合は9bit、5×5辞書サイズの場合は25bitで表現される。
【0069】
T字抽出回路545は、細線化された画像データについて、T字交差点を分割されたブロックごとに検出して、その個数、位置および隣接方向の情報を生成する。
このT字交差点は、上述の十字交差点抽出において注目画素の8近傍の黒画素数M=3である場合に検出され、この走査をブロックごとに実行することにより、当該文字画像におけるT字交差点の個数が判明する。例えば、「く」は0個、「と」は1個、「エ」は2個となる。
【0070】
これに合わせて、当該T字交差点の位置情報を生成する。この位置情報は上述の十字交差点の場合と同様にして生成される。
T字交差点の隣接方向も、文字の方向により異なるため天地認識のため有用な情報である。このT字交差点の隣接方向は、(上/下/左/右)の計4種類の隣接方向があり、例えば、上記「と」におけるT字交差点の隣接方向は「上」となり、これらを当該T字交差点の存するブロックについて2bitの信号として表現し、分割されたブロック数×2のbit数で表現する。
【0071】
端点抽出回路546は、細線化された画像データについて、その文字端点を分割されたブロックごとに検出して、その個数、位置および隣接方向の情報を生成する。端点は、上述の十字交差点検出において注目画素の8近傍の黒画素数M=1である場合に検出され、この検出動作をブロックごとに実行することにより、当該文字画像における端点の個数が判明する。例えば、「の」は1個、「く」は2個、「エ」は4個である。
【0072】
これに合わせて当該端点の位置情報を生成する。この位置情報は上述の閉ループや十字交差点の場合と同じように、端点が存在するブロックに対応するbitを「1」にセットすることにより表現される。
端点の隣接方向も、文字の方向により異なるため天地認識のため有用な情報となる。この端点のT字交差点の隣接方向は、(上/下/左/右/左上/右上/左下/右下)の計8種類あり、この8種類の隣接方向を3bitの信号として表現するので、それぞれの端点に対する隣接方向を分割されたブロック数×3bitで表現することになる。
【0073】
CPU501は、上記抽出回路543〜546に辞書サイズ切り替え信号を送信して、辞書サイズを切り替えて天地認識に必要な解像度で各特徴量を抽出するように指示するが、この切り替え動作の詳細については後述する。
以上のようにして、各抽出回路541〜546で生成された12種類の情報は、文字の方向に依存しないデータ、すなわち、各抽出回路542〜546からの個数情報と、文字の方向に依存するデータ、すなわち、外接長方形比率抽出回路541からの比率情報およびその他の抽出回路542〜546からの位置情報や隣接方向情報とに2分することができ、以下、前者の情報を「特徴量個数情報」と総称し、後者の情報を「特徴量データ」と総称することにする。
【0074】
上記特徴量個数情報と特徴量データは、次段のエラーチェック回路548に入力され、そのうち特徴量個数情報と、特徴量データのうちの比率情報の各値が、それぞれについて予め定められた閾値以下であるか否か判定され、ひとつでも所定の閾値を超える場合には、抽出された特徴量が、天地認識を行う上で適当ではないと判断される。
【0075】
例えば、切り出された文字が「購」という文字であった場合、閉ループ抽出回路543から出力された閉ループの個数は、5×5辞書サイズでは、7内至9個となると考えられるが、後述する辞書データにはそのような複雑な文字のデータが格納されていないので、当該切り出し文字は天地認識に適当な文字ではない。そこで、辞書データから予め閉ループの個数情報の上限値を求めて、これをエラーチェック回路548内部のコンパレータ等に閾値として設定しておき、入力された閉ループの個数情報が当該閾値を超える場合に特徴量抽出エラー信号を発生してCPU501に送信する。
【0076】
CPU501は、このエラー信号を受信すると、次の文字画像の切り出しを行うためにRETRY信号を文字切り出し回路530に送信して新たな文字切り出しを実行させると共に、現在の抽出済みの特徴量の情報を破棄する。
なお、上記各抽出回路541〜546における特徴量抽出や、エラーチェック回路548における特徴量抽出チェックは全てハード回路により行われ、CPU501は当該エラーチェック回路548からの特徴量抽出エラー信号をチェックするだけなので、高速な処理が可能である。
【0077】
また、エラーチェック回路548に設定される上記閾値は、3×3辞書サイズの方が5×5辞書サイズの場合よりも少なく設定される。これは、3×3辞書サイズの場合には1つのブロックサイズが大きく、その中に2個以上の同種の特徴量が含まれても上述のように特徴量の個数をブロックごとに最大1個しかカウントしないようにしているので、それだけ5×5辞書サイズの場合より特徴量のカウント数が少なくなることによるものである。
【0078】
各抽出回路541〜546で抽出された特徴量個数情報および比率情報のいずれもがエラーチェック回路548でのチェックをパスすると、特徴量個数情報および特徴量データが次段の特徴データ並び変え回路549に送られる。特徴データ並び変え回路549は、これらの特徴量の情報を、それぞれ辞書データ発生回路560、比較回路580で処理しやすい順序に並び変えて出力する。
【0079】
特に特徴量データは、後述する辞書データ発生回路560から出力される辞書データと同じ順に並び変えられ、CPU501からの辞書データ切り替え信号を受けて、8bit単位で共通バス上に出力されるようになっており、このような構成にすることにより、少ないビット幅のバスで複数の特徴量データを効果的に扱うことができ、回路の簡略化を可能にすると共に、比較回路580における辞書データとの比較処理を容易にすることができる。
【0080】
[辞書データ発生処理]
次に辞書データ発生回路560について説明する。
辞書データ発生回路560は、特徴量抽出回路540から特徴量個数情報を受信すると、内部に格納された複数の文字の中から当該特徴量個数情報に適合するものを認識候補文字としてリストアップし、この認識候補文字について予め格納されている特徴量データを辞書データとして所定の順序で比較回路580に出力する。
【0081】
この辞書データ発生回路560は、図8のブロック図に示すように、辞書アドレス発生回路561、RETRYカウンタ562、辞書データROM563、切り替え信号カウンタ564とからなり、辞書アドレス発生回路561と辞書データROM563には辞書サイズ切り替え信号が、切り替え信号カウンタ564には特徴データ切り替え信号が、それぞれCPU501により与えられる。
【0082】
辞書データROM563には、次の(表1)に示す天地認識用の256個の文字もしくは記号について(以下、単に「参照文字」という。)、3×3,5×5の2種類の辞書サイズごとに上述の特徴量データに相当するデータ(辞書データ)が予め求められて格納されている。
【0083】
【表1】

Figure 0003587008
一方、辞書アドレス発生回路561は、特徴量個数情報(計15bit)とRETRYカウンタ562からの3bitおよび辞書サイズ切り替え信号(1bit)の計19bitをアドレスとして、上記辞書データROM563内の対応する辞書データのアドレスを8bitのデータとして出力する256KByteのROMテーブル(以下、「アドレス発生ROMテーブル」という。)として構成されている。
【0084】
具体的にこのアドレス発生ROMテーブルの作成手順について説明すると次のようになる。すなわち、まず、256個の各参照文字について、予めその個数情報を上述の手順で3×3、5×5の辞書サイズごとに求めておき、その個数の組合わせごとに256文字を分類する。図9は、上記(表1)の参照文字のうち、ひらがなの46文字について、その4つの特徴形状(閉ループ、十字交差点、T字交差点、文字端点)の個数および要素数を5×5辞書サイズで求めてリストアップしたものである。
【0085】
この図表から、例えば、(閉ループ数、十字交差数、T字交差数、文字端数、要素数)=(0、0、0、4、2)個という個数情報の組合せに該当するひらがなは、「い」、「う」、「こ」、「り」の4文字あることが分かる。
したがって、当該個数情報の組合わせに対して、ひらがなではこの4文字が後の比較回路580で比較の対象となるための認識候補文字としてリストアップされ、当該特徴量個数情報に関係付けられてアドレス発生ROMテーブルに格納される。これと同様にして他の参照文字についても個数情報の組合せごとの分類が実行され、アドレス発生ROMテーブル内に格納される。
【0086】
また、本実施の形態では、上記ROMテーブル内に同一の特徴量個数情報について最大8個の認識候補文字を格納できるできるようになっており、当該ROMテーブルにより入力された特徴量個数情報に該当する認識候補文字の個数Nが判明すると、その個数を辞書数信号(3bit)としてCPU501に送信するようになっている。
【0087】
CPU501は、上記辞書数信号により、所定の特徴量個数情報に該当する認識候補文字の個数Nを知ることができ、辞書RETRY信号をRETRYカウンタ562に送信して、そのカウント値を最高Nまで更新することにより上記複数の認識候補文字からを1文字ずつ選択していく。
したがって、例えば、上述の認識候補文字の「こ」は、(閉ループ数、十字交差数、T字交差数、文字端数、要素数)=(0、0、0、4、2)を示す特徴量個数情報(15bit)と、3番目を示すRETRYカウンタ562からのカウント数(3bit)により選択されることになる。
【0088】
実際には、アドレス発生ROMテーブルには、各文字が8bitで示される文字コードで格納されており、上述のように認識候補文字として「こ」が選択されるとその文字コードが辞書アドレスとして辞書データROM563に送られる。辞書データROM563は、上記辞書アドレス(8bit)と辞書サイズ切り替え信号(1bit)と切り替え信号カウンタ(5bit)をアドレスとし、該当する文字の辞書データを8bitずつ出力する16KByteのROMテーブル(以下、「辞書発生ROMテーブルという」)として構成されている。
【0089】
図10は、当該辞書発生ROMテーブル内に各文字コードごとに格納されている辞書データの構成を示す図であり、同じ文字コードについて左側は3×3辞書サイズ、右側は5×5辞書サイズの辞書データが格納され、それぞれ各アドレスごとに8bit単位で比率情報、閉ループ情報および特徴点データ情報が格納されている。
【0090】
同図のデータ欄において、「比率情報」は、文字の外接する長方形の縦横比を8bitで表わしている。
また、「閉ループ情報」は、上述の閉ループ位置情報に相当する情報である。この情報は、図7で説明したのと同様な方法で求められ、例えば、3×3辞書サイズにおけるひらがなの閉ループの位置は、図11で○印を付した位置となり、当該ブロックに対応するbitが「1」にセットされる。これによれば、3×3辞書サイズの場合には9bit、5×5辞書サイズの場合には25bitが必要となるが、上述のように中央の閉ループの有無は、文字の方向には関与しないので、天地認識には不要のデータであり、それぞれ1bitを削減し、3×3辞書サイズの場合には、8bit(1Byte)、5×5辞書サイズの場合には24bit(3Byte)のデータで表現され、前者は1個のアドレスに、後者は3個のアドレス(閉ループ情報1、2、3)に分けて格納される。
【0091】
「特徴点データ」は、十字交差点、T字交差点、端点の3種類の特徴点についての位置情報もしくは隣接方向情報を総称するものであり、分割されたブロックにおける各特徴点の有無やその隣接方向を該当するブロックごとに8bitずつのデータとして表現される。
図12は、3×3辞書サイズにおける当該特徴点データの格納状態をビットプレーンで示す図である。
【0092】
同図に示すように各ブロック(MAT3_11〜33)における各特徴点の有無または隣接方向の情報を示すビットプレーンが手前から奥に8種類用意されており、これらのビットプレーンのデータを各ブロック毎にまとめたものをそれぞれ8bit(1Byte)の特徴点データMAT3_11〜33(図10の左側)として取り扱っている。従って、3×3辞書サイズの場合には9個のブロックに分割されているため、この特徴点データは、1文字について9Byteのデータとして表現される。
【0093】
このような特徴点データの作成も基本的には、上記特徴量データの抽出の際に説明したのと同様な方法でなされ、まず、(表1)の各参照文字を図13の一例に示すように3×3の9ブロックに分割する。
そして、十字位置情報は、ビットプレーンのMAT3_11〜33のうち、文字の十字交差点が存するブロックのbitを「1」とし、それ以外のブロックのbitを「0」とする。同様にT字位置情報や端点位置情報も当該特徴量の位置するブロックのbitを「1」とし、それ以外のブロックのbitを「0」とする。
【0094】
また、T字隣接方向情報は、T字交差点の存するブロックにおいてT字の隣接方向を2bitデータで示すようになっている。すなわち、隣接方向が、(上/左/右/下)に応じて「00」、「01」、「10」、「11」で示されており、このため2枚のビットプレーン(T字隣接方向情報bit1、2)が用意されている。
【0095】
端点隣接方向情報は、端点の存するブロックにおいてその隣接方向を3bitデータで示す。すなわち、隣接方向が、(上/下/左/右/左上/右上/左下/右下)に応じて「000」、「001」、「010」、「011」、「100」、「101」、「110」、「111」で示しており、このため3つのビットプレーン(端点隣接方向情報bit1、2、3)が用意されている。
【0096】
図14は、辞書サイズ5×5の場合の特徴点データのビットプレーンを示す図であり、図15の一例に示すように(表1)の各参照文字を25のブロックに分割し、各ブロックについてbitを割り当て、上述の3×3辞書サイズの場合と同じ要領で特徴点データを作成する。各ブロックにおける特徴点データは8bit(1Byte)で示されるので、上記特徴点データは1文字につき、1×25=25Byteのデータとして表現されることになる。
【0097】
以上のような辞書データが、(表1)に示す全256個の参照文字について予め作成され、その文字コードごとに辞書データROM563(図8)の辞書発生ROMテーブルに格納されており、辞書アドレス発生回路561から出力された上記辞書アドレス(文字コード)、CPU501からの辞書サイズ切り替え信号および特徴データ切り替え信号の受信状態に応じて必要なデータを図10のアドレス番号××01(3×3辞書サイズの場合)もしくは××21(5×5辞書サイズの場合)からそのアドレス番号順に8bitずつ、比較回路580(図3)に出力される。
【0098】
前述したようにCPU501からの特徴データ切り替え信号は、上記切り替え信号カウンタ564のほかに特徴量抽出回路540の特徴データ並び変え回路549(図6)にも与えられており、特徴データ並び変え回路549は、切り出した文字から抽出された特徴量データをその辞書サイズに応じて上記図10の格納状態と同じ順序になるように並び変え、上記特徴データ切り替え信号を受けるたびに並び変え処理後の特徴量データを8bitずつ比較回路580に出力するようになっており、これにより、特徴量抽出回路540で述べたのと同様に少ないbit幅のバスを介して効率よくデータを送信できると共に、比較回路580での比較処理が容易となり、そのハード回路も簡易化できるという利点がある。
【0099】
[回転角決定処理]
比較回路580は、辞書データ発生回路560から出力された辞書データを90゜ずつ回転したものと、特徴量抽出回路540から出力された特徴量データを比較し、各回転角における特徴量データと辞書データの一致度に関する情報を生成する一方、内部の特定文字辞書と比較して、当該切り出された文字がコピー禁止を意味する特定の文字と認められる場合にコピー禁止情報を生成する。
【0100】
図16は、上記比較回路580の構成を示すブロック図である。
同図に示すように比較回路580は、入力部と出力部にそれぞれ配設されたセレクタ581、582と、特定文字辞書583と、3×3辞書サイズに対応した回転角評価回路584・特定文字評価回路585と、5×5辞書サイズに対応した回転角評価回路586・特定文字評価回路587とを備える。
【0101】
特定文字辞書583には、通常のコピー禁止文書に含まれる特定の文字、例えば「秘」の文字を丸印で囲んだいわゆる「マル秘」文字に関する辞書データ(この辞書データを上記辞書データ発生回路560から出力された天地認識のための辞書データと区別するため、以下「禁止辞書データ」という。)が、辞書サイズ3×3と5×5ごとに予め格納され、セレクタ581に与えられる。
【0102】
特徴量抽出回路540、辞書データ発生回路560から同種の特徴量データと辞書データが、それぞれセレクタ581に入力されると、セレクタ581は、CPU501から送られてくる辞書サイズ切り替え信号の内容に応じて、当該特徴量データおよび辞書データの送り先を切り替える。
以下、CPU501から3×3辞書サイズの切り替え信号が送信されている場合について主に説明するが、5×5辞書サイズの場合についても、ほぼ同様に処理される。
【0103】
セレクタ581は、3×3の辞書切り替え信号を受信すると、特徴量データを、回転角評価回路584と特定文字評価回路585に、辞書データを回転角評価回路584に送る。一方、特定文書辞書583にも辞書サイズ切り替え信号が与えられており、これにより3×3辞書サイズの禁止辞書データが選択され、セレクタ581は、これを特定文字評価回路585に送る。
【0104】
回転角評価回路584は、図17のブロック図に示すように、閉ループ評価回路590、縦横比評価回路591、特徴点評価回路592と、各評価回路590〜592からの出力値にそれぞれ所定の係数K1〜K3を掛けて重み付けを行う重み付け回路593〜595と、この重み付け回路からの出力値を回転角ごとに加算する加算回路596と、この重み付けの結果で最大のものを抽出する最大値抽出回路597とからなっており、各回転角ごとに特徴量データと辞書データを比較してその一致度を求め、このうち最も高いもの抽出して、これを完全に一致した場合に対するパーセンテージに換算して一致度情報とすると共にそのときの回転角を回転角情報としてCPU501に出力する。
【0105】
すなわち、特徴量データと辞書データは、その内容ごとに、閉ループ評価回路590と縦横比評価回路591と特徴点評価回路592に入力され、各評価回路590〜592は、入力された辞書データを90°単位で回転させる回転処理回路を有しており、それぞれの回転角で回転させた辞書データと特徴データの内容を分割されたブロックごとに対照して一致度を算出する。
【0106】
ここで算出される一致度とは、縦横比評価回路591を除いて、対応するbitのセット状態の一致を排他的論理和の否定形(一致したときのみ「1」とする)を用いて判断し、これに基づいて得られる評価ポイントを加算することにより得られる。
例えば、閉ループ評価回路590では、閉ループの有無を、分割されたブロック数に相当する9bit(5×5辞書サイズでは25bit)の内、上述したように中央のブロックの1bitを除いた他の8bit(同24bit)について対応するブロックごとに辞書データと比較し、全てのbitが一致すれば8ポイント(同24ポイント)が付与される。
【0107】
また、縦横の比率情報は分割ブロック数に無関係なので、縦横比評価回路591では次のようにして比率情報の一致度を評価する。すなわち、辞書データの縦横比Aと特徴量データの縦横比Bの比率A/Bを求め、一致度が高い程、すなわちA/Bが1に近いほど高ポイントとなるようにする。例えば、|A/B−1|<0.1のとき、8ポイント、O.1≦|A/B−1|<0.2のとき7ポイント・・・というようにA/Bの値と1との誤差の大きさにより0〜8ポイントを付与するようになっている。
【0108】
この場合、縦横比という性質上、0°と180°の評価ポイントと、90°と270°の評価ポイントはそれぞれ一致し、また、この評価ポイントは、上述のようにブロックの分割数とは関係なしに求められるので、当然辞書サイズには依存しない。
特徴点評価回路592では、分割されたブロックにおける3つの特徴点(十字交差点、T字交差点、端点)に関する特徴点データ(図10参照)ついて比較する。
【0109】
各特徴点データは、図12(図14)で示したように8種類のビットプレーンの情報を各ブロックごとに8bitで表現されており、辞書データとの一致度は次のようにして求められる。
すなわち、十字位置情報ついては、当該ブロックでの有無が辞書データと一致すればそのまま1ポイント与える。T字交差点、端点の位置情報については、当該ブロックでのT字交差点もしくは端点の有無が辞書データと一致しても、「有」の場合にはさらにその隣接方向の情報を比較して、当該隣接情報も一致している場合のみ1ポイントを与えるようにする。「無」で一致している場合には、隣接情報を比較するまでもなくそのまま1ポイントが与えられる。
【0110】
従って一つの特徴点について全てのブロックでの情報が一致すれば9ポイント(5×5辞書サイズの場合は、25ポイント)が与えられ、3種類の特徴点の全てについて完全に一致した場合には、最高ポイントとして27ポイント(同75ポイント)が与えられることになる。
以上のような評価処理が、閉ループ評価回路590、縦横比評価回路591、特徴点評価回路592において、対応する辞書データを0゜、90゜、180゜、270゜に回転しながら実行され、各回転角での評価ポイントが次段の重み付け回路593〜594に出力され、それぞれの評価ポイントに重み付け係数K1、K2、K3が乗算されて加算回路596に出力される。
【0111】
ここで各特徴量データの評価ポイントに重み付けにより軽重を付するのは、各特徴量データについて得られた評価の結果が文字方向の認識(すなわち天地認識)に与える影響は必ずしも均等ではなく、原稿の内容によっては評価の比重を変更した方がより正確に天地認識を行える場合があると考えられるからである。
例えば、原稿が通常の日本語の文章では、ひらがな占める割合が原稿全体の6〜7割もあり、天地認識する上で非常に重要な役割をもっているため、この場合にはひらがなに多く含まれる閉ループの評価ポイントを高くして、その影響力を高くする方が、他の縦横比などにおける評価ポイントを参考にするよりも効果的に天地認識を行える。そこで、重み付け回路594における係数K2を、他の重み付け回路593、594における係数K1、K3より大きくすることにより、天地認識の精度を高めることができる。
【0112】
また、原稿にアルファベットの文字が多い場合には、天地認識のためには、特徴点データの評価ポイントが影響力が大きいと考えられるため、係数K3の値を他の係数K1,K2より大きくするようにすればよい。これらの係数K1〜K3の値は、実験的もしくは経験的に求め得るものであって、これらを予めCPU501内部のメモリに格納しておき、必要に応じて、例えば、操作パネル70に原稿の種類を入力するスイッチを設けて、これにより操作者が予め文章の種類を入力することにより、各重み付け回路593〜595設定されるようにしておけばよい。
【0113】
このようにして各重み付け回路593〜595により評価の比重を変更された評価ポイントは、加算回路596において回転角ごとに上記評価項目の個数分だけ加算され、次段の最大値抽出回路597に出力される。
最大値抽出回路597は、各回転角における加算ポイントのうち最大のものを抽出し、その加算ポイントを、完全に一致した場合の最大ポイントに対するパーセンテージに換算して「一致度情報」とすると共に、そのときの角度を「回転角情報」として、CPU501に送信する。
【0114】
図16に戻り、特定文字評価回路585では、各回転角ごとに特徴量データと禁止辞書データが比較される。この特定文字評価回路585の構成も基本的には、上記回転角評価回路584における動作と同じであって、各回転角において特徴量データと禁止辞書データと比較して評価ポイントを算出し、その最大の評価ポイントが内部に設定された所定の閾値を超えた場合に、「マル秘」などのコピー禁止文字であると判定し、コピー禁止信号をセレクタ582を介してCPU501に送信する。
【0115】
CPU501は、比較回路580からコピー禁止情報を受けた場合には、コピー禁止信号をメイン制御部460(図2)に送信し、メイン制御部460は、さらにメモリ制御部430、プリンタ制御部440にコピー禁止の指示を送って、当該原稿のコピー動作を実行させないようにする。通常、コピー禁止文句は原稿の上部に記載されていることが多いが、原稿下部に記載されている場合や、原稿の上部であってもたまたま当該原稿が上下逆さまである場合も考えられるので、上記特定文字評価処理は、原稿1ページ分の文字の全てについて行う必要がある。そのため、特定文字の評価時間が長くなりコピー動作が遅延する場合も考えられるので、例えば、装置内部に施錠可能なスイッチボックスを設けて内部にモード切り替えスイッチを設置するか、あるいは操作パネルから暗証コードを入力することにより、特定の者のみが必要に応じて当該特定文字の認識を行わないモードに切り替え可能なようにしておけば便利である。
【0116】
一方、CPU501は、比較回路580から出力された上記一致度情報の値と内部に設定されている所定の閾値とを比較して、当該一致度情報の値が閾値より大きい場合には、切り出された文字と参照文字が一致した結果であると判断し、その回転角情報の回転角を示す信号を回転角信号としてメモリ制御部430に送信する。
【0117】
メモリ制御部430は、当該原稿の画像データを上記CPU501から指定された回転角だけ回転処理する。そして、原稿1ページ分の特定文字の評価に必要な時間を経過してもCPU501が比較回路580から上記コピー禁止情報を受信せず、かつ、特定色抽出回路510から特定色カウントアップ信号を受信しない場合には、当該原稿はコピー禁止の対象となる原稿ではないと判断して、上記回転処理された画像データをプリンタ制御部440に出力し、これにより記録シート上に正しい方向で原稿画像が再生される。
【0118】
なお、一致度情報の値が内部に設定された閾値より低い場合には、辞書サイズを切り替えて再評価し、もしくは次の文字の切り出しを実行して、上記特徴量抽出回路540、辞書データ発生回路560、比較回路580での処理を天地認識が完了するまで繰り返す。詳細は後述する。
(4)制御部400における動作
図18は、制御部400で実行される制御動作のメインルーチンを示すフローチャートである。
【0119】
装置に電源が投入されると、まず、各CPU内部のレジスタなどの初期設定が行われる(ステップS1、S2)。この際、辞書サイズ切り替え信号も初期値として3×3辞書サイズに設定される。
その後、待機中処理として直接コピー動作には関与しない定着部327(図1)の温度制御や操作パネルの表示制御などが行われ(ステップS3)、操作パネル70のスタートキーが押下されてコピー開始の指示があると(ステップS4)、原稿自動搬送部100で原稿を順次原稿ガラス板21に搬送して、スキャナ22で走査し、読み取った画像データを画像信号処理部420で画像処理して、画像メモリ431に原稿1ページごとに書き込む画像入力処理を行う(ステップS5)。
【0120】
そして、画像メモリ431から所定の原稿1ページ分の画像データを読み出し、原稿判別部500において、文字の方向を認識して原稿の天地認識処理を行い(ステップS6)、この天地認識処理の結果、原稿の画像データを適切な方向に回転する必要がある場合には、回転処理部432で必要な回転角だけ回転処理を行う(ステップS7)。
【0121】
次に、当該原稿がコピー禁止の対象であるか否かを判断する(ステップS8)。すなわち、上述のように原稿がコピー禁止の対象となっている、紙幣やコピー禁止文書であると原稿判別部500で判断されて、そのコピー禁止信号をメイン制御部460が受信すると、プリンタ制御部440に対し画像形成処理を行わないように指示を送り、そうでない場合には、画像形成処理を実行させ(ステップS9)、その後ステップ3の待機中処理にリターンする。
【0122】
図19、図20は、上記ステップS6の天地認識処理のサブルーチンを示すフローチャートである。
まず、図19のステップS601において、CPU501は、RETRY信号発して文字切り出し回路530に画像メモリ431の画像データから文字画像を切り出すように指示する。
【0123】
文字切り出し回路530は、この信号に基づいて上述したように1文字分の文字画像を切り出し、その横画素数Xと縦画素数Yの積で示される文字サイズをXY信号とすると共に黒画素と白画素の比をB/W信号として、それぞれCPU501に送信する。CPU501は、まず、XY信号により、当該切り出された文字が所定サイズ以上の大サイズの文字でないか否かを判定する(ステップS602)。ここでいう大サイズの文字は、縦横の文字サイズが例えば10mm以上(400dpiでは、XまたはYが157dotを超えるもの)を示す。
【0124】
このように文字のサイズを判定するのは、通常の原稿に用いられる文字としてこれほど大サイズのものはあまり使用されないし、仮に新聞等において見出しとして大サイズの文字が使用されていたとしても、強調文字や傾いた文字などかなりデフォルメされている可能性が高く、天地認識の対象とする文字としては適当でないと考えられるからである。
【0125】
次に、CPU501は、B/W信号により、切り出された文字画像における黒画素と白画素の比B/Wが所定値、例えば、1以上ではないか否かを判定する(ステップS603)。B/W比が、1以上、すなわち黒画素が全体の画素の50%以上ある場合には、当該文字は、極端にデフォルメされた太字もしくは反転文字であると考えられるので、これもまた天地認識の対象文字としては適当ではなく、予め排除しておく方が望ましい。
【0126】
CPU501は、上述の判定の結果、文字サイズもしくはB/W比がそれぞれの所定値を超える場合には、文字切り出しのエラーがあったものとみなして(ステップS604でYes)、再び文字切り出し回路530にRETRY信号を発して、次の文字の切り出しを実行させる。
一方、ステップS604において、文字切り出しエラーであると判断されなかった場合には、その切り出された画像データは特徴量抽出回路540に送られると共に、CPU501は、3×3の辞書サイズで処理するように特徴量抽出回路540、辞書データ発生回路560、比較回路580の各部に当該辞書サイズ切り替え信号を送信する(ステップS605)。
【0127】
そして、上述した特徴量抽出回路540における各抽出回路541〜546(図6)により当該文字の特徴量の抽出を行って(ステップS606)、エラーチェック回路548においてその比率情報および、要素数、閉ループ、十字交差点、T字交差点、端点の各個数情報がそれぞれ3×3辞書サイズについて設定された閾値以上ではないかを判定する(ステップS607)。
【0128】
もし、一つの情報でも、その情報に該当する閾値を超えていれば、ステップS608において特徴量抽出エラーと判断され、その信号(特徴量抽出エラー信号)がCPU501に送られ、CPU501は、現在の辞書サイズが3×3であるか否かを判断するが(ステップS611)、初期設定において上述のように3×3辞書サイズに設定されているので、より解像度の高い5×5辞書サイズでさらに正確な特徴量の抽出を実行させるべく、5×5辞書サイズへの辞書切り替え信号を特徴量抽出回路540等に送信する(ステップS612)。
【0129】
これにより特徴量抽出回路540は、5×5辞書サイズで再度特徴量の抽出を実行した後、各特徴量の個数情報についてエラーチェックを行い(ステップS606、S607)、それでもなお特徴量抽出エラー有りと判断された場合には(ステップS608でYes)、ステップS611に移るが、このときにはすでに5×5辞書サイズとなっているので、「No」と判断されてステップS601に戻って、RETRY信号により次の文字の切り出しを指示し、新たに切り出された文字について上述のステップS602以下の処理を実行する。
【0130】
図21は、上記ステップS608での特徴量抽出のエラーチェックと辞書切り替え動作(ステップS611、S612)の関係を示す図である。同図において特徴量数は上方にいくほど多くなっているが、上述のように縦横比率情報や要素数は辞書サイズには依存しないので、ここでの特徴量数は、当該比率情報および要素数を除く4つの特徴形状(閉ループ、十字交差点、T字交差点、端点)の各個数情報を意味している。
【0131】
まず、3×3辞書サイズで特徴量の抽出が行われ、このときの特徴量個数が3×3辞書サイズにおける特徴量抽出エラー値(閾値)を超えた場合には、次に5×5の辞書サイズに切り替えて特徴量の抽出を行う。上述したように縦横比率情報や要素数を除く各個数情報は、同じブロック内に同一の特徴点などが複数含まれていても1個しかカウントしないので、分割ブロック数を多くして解像度を高くするほど正確な個数情報を把握することができる。
【0132】
したがって、通常は高速に比較処理が行える3×3辞書サイズで処理を行い、特徴量が多い複雑な文字に対しては正確な比較処理が行える5×5辞書サイズで処理し、それでも特徴量抽出エラーが発生する場合には、そもそも切り出された文字が画数の多い漢字など参照文字に含まれない文字であると判断されるので、切り出し文字自体を切り替えることにより誤判定を防止するのである。
【0133】
図22は、辞書サイズごとの各特徴量における特徴量抽出エラー値を示す図表である。各エラー値には、上述の表1に示した参照文字について3×3辞書、5×5辞書ごとに求められた各特徴量個数情報の最高値が設定されており、上述したように所定の特徴形状については解像度が高い方が抽出される個数情報も多くなるので、そのエラー値も高く設定される。
【0134】
なお、同図表で要素数個数情報や端点個数情報のエラー値が大きいのは、上述した「マル秘」の文字は、辞書データ発生回路560に内蔵された256個の参照文字に比較して要素数、端点とも個数が多く、このようにエラー値を大きくしておかないと当該文字の特徴量データが比較回路580に入力される前に、特徴量抽出回路540のエラーチェック回路548(図6)におけるチェックにより排除されてしまうからである。なお、当該エラー値におけるカッコ内の数値は、マル秘文書の判定によるコピー禁止モードが解除されたときに採用されるべきエラー値を示している。
【0135】
図19に戻り、ステップS608において特徴量抽出エラーでないと判定された場合には、当該切り出し文字の特量量個数情報に基づき辞書データ発生回路560の辞書アドレス発生回路561(図8)で参照文字から認識候補文字が選択され、その個数が辞書数信号NとしてCPU501に送信される。CPU501は、この辞書数信号Nを確認し(ステップS609)、辞書RETRY信号を辞書データ発生回路560の送信して辞書データを出力するように指示する。
【0136】
次に、比較回路580の回転角評価回路584、586の各重み付け回路(図17参照)における重み付け係数K1〜K3が設定される(ステップS610)。この重み付け係数は、上述したように、例えば、原稿に用いられている日本文や英文の種類ごとに予め求められてCPU501内部に格納されており、操作者が原稿の種類を操作パネルから入力することによりCPU501により設定される。
【0137】
このような準備が完了してから図20のステップS613に移り、辞書データの読み出しを実行する。これは、辞書データ発生回路560がCPU501からの辞書RETRY信号を受信することにより開始され、当該辞書データ発生回路560内のRETRYカウンタ562(図8)は、上記辞書RETRY信号を受信するたびにカウントアップし、そのカウント値を辞書アドレス発生回路561に送信する。辞書アドレス発生回路561は、上記N個の認識候補文字からカウント値に相当する文字を選択してその文字コードを辞書アドレスとして辞書データROM563に送信する。辞書データROM563はこの辞書アドレスとCPU501からの辞書サイズ切り替え信号に基づいて図10で説明したような辞書データを読み出し、CPU501からの特徴データ切り替え信号の受信によりカウントアップする切り替え信号カウンタ564のカウント値に基づいて、該当するアドレスの辞書データを上から順に8bit(1Byte)ずつ比較回路580に送信する。
【0138】
この際、CPU501からの特徴データ切り替え信号は、辞書サイズが3×3の時は特徴点データが9Byteであるため9回、辞書サイズが5×5の時は特徴点データが25Byteであるため25回出力されるため、特徴点データの比較だけを考えると辞書サイズが5×5の時は辞書サイズが3×3の時に比べ約2.5倍の処理時間を必要とすることになる
比較回路580は、特徴量抽出回路540からの特徴量データと、辞書データ発生回路560からの辞書データの内容を上述のように回転角度ごとに比較して、それぞれの評価ポイントを算出して一致度を求め、そのうち最大のものを完全に一致した場
合に対するパーセンテージに換算し、これを一致度情報としてその回転角に関する情報と共にCPU501に送信する(ステップS614)。
【0139】
CPU501は、上記一致度情報の値と予め内部に設定されている閾値TH1(例えば、95%)と比較し(ステップS615)、一致度情報の値がこの閾値TH1を超える場合には、切り取られた文字と辞書データの文字が当該回転角において完全に一致したものとみなして、そのときの回転角情報の角度を回転角信号としてメモリ制御部430(図2)に送信し、リターンする(ステップS619)。
【0140】
一方、ステップS615において比較回路580から送信されてきた一致度情報の示す値が閾値TH1以下の場合には、他の認識候補文字の辞書データを読み出して特徴量データと比較し、得られた一致度情報同士を比較してその最大値を抽出する(ステップS616)。そのため、ステップS617で、認識候補文字の辞書数Nの全部について比較したか否かを判断し、全部について比較していなければ、CPU501は辞書RETRY信号を送信して、これにより辞書データ発生回路560は辞書データを切り替えて出力し(ステップS613)、この辞書データに基づいて比較回路580で新たに求められた一致度情報が上記TH1を超えておれば、その回転角を回転確信号としてメモリ制御部430に送信し、そうでなければ再びステップS616に移って、一致度情報の最大値の抽出を行う。
【0141】
このステップS616における抽出処理は、N個の全認識候補文字の辞書データと比較するまで最大(N−1)回繰り返されることになるが(ステップS617)、その途中で一致度情報がTH1を超えるものがあれば、そのときの回転角情報を回転角信号とし(ステップS615でNo、S619)、全ての認識候補文字について一致度情報を求めたにもかかわらず、TH1を超えるものがなかった場合には(ステップS617でYes)、仕方がないのでステップS616で抽出された最大の一致度情報を、閾値TH1より小さな閾値TH2(例えば、90%程度)と比較し(ステップS618)、当該一致度情報がこの閾値TH2以上であれば、そのときの回転角を回転角信号とする(ステップS619)。
【0142】
もし、ステップS618において、一致度情報の最大値が、閾値TH2未満であった場合には、ステップS620に移り、現在の辞書サイズが3×3であるか否かを確認して、辞書サイズが3×3であれば、図19のステップS612に移って、辞書サイズを5×5に切り替えて解像度を上げ、この辞書サイズで再度ステップS606〜S619の処理を実行する。
【0143】
また、図20のステップS620において、すでに辞書サイズ5×5に切り替えられていた場合には、当該切り出した文字が、天地認識に不適当な文字であったとみなして、図19のステップS601に戻って、切り出し文字を切り替え、以下上述の天地認識処理の動作を繰り返すことになる。
以上のように、本実施の形態においては、予め認識の対象となる256個の参照文字に関する辞書データを内部に格納しておき、文字切り出し回路530で切り出された文字について、特徴量抽出回路540において文字の方向に依存しない特徴量個数情報と文字の方向に依存する特徴量データを生成し、まず、特徴量個数情報に基づいて上記256文字の中から認識候補文字を選択して、これらの限定された数の辞書データと切り出した文字の特徴量データとを比較するので、比較処理の回数を極端に低減して、天地認識のための処理時間を大幅に減少させることができ、最短の場合には1回の一致度情報の比較により文字の方向が判定できる。
【0144】
しかも、特徴量の抽出および辞書データとの比較などの処理は、全てハード回路で達成できるので、複雑なパターン認識のアルゴリズムの実行は不要であり、さらに迅速な処理が可能となる。
また、切り出した文字についても、予め天地認識の判定の難しそうな文字については、上記文字切り出しエラーの判定(図19、ステップS604)や特徴量抽出エラーの判定(同図、ステップS608)において予め除外しているので、辞書データと異なる文字について比較を行って、偶然、比較結果がよかった場合の誤認識の防止が可能となる。
(5)変形例
以上、本発明に係る画像入力装置の実施の形態を説明してきたが、本発明は、上述の実施の形態に限定されないのは勿論であり、以下のような変形例を考えることができる。
【0145】
(5−1)上記実施の形態においては、天地認識のための特徴量として、閉ループ、十字交差点、T字交差点、端点などの文字特有の局所的形状の位置情報あるいは隣接方向情報を抽出して文字方向の判定に利用した。このような情報量が多いほど天地認識の確実性が増すことはいうまでもないが、認識する文字によっては、そのうち一部の情報に基づいて方向を判定することも可能であり、必ずしも全ての情報は必要ではない。
【0146】
また、反対に、上記実施の形態では、切り出した1文字についてその一致度情報が閾値TH1より大きい場合に、すぐにその回転角を原稿方向とみなして画像データの回転処理を行ったが、別の切り出し文字についても確認して、その結果が一致した場合のみ当該回転角を原稿方向と認識するようにすれば、天地認識の精度が増す。
【0147】
(5−2)また、上記実施の形態においては、切り出された文字画像について、文字の方向に依存しない特徴量個数情報と、文字の方向に依存する特徴量データの双方を抽出し、特徴量個数情報によってまず比較すべき認識候補文字をリストアップし、その認識候補文字の辞書データと特徴量データを順に比較するようにしたので、極めて効率的かつ迅速に天地認識処理を行うことが可能となったが、場合によっては特徴量個数情報によって認識候補文字をリストアップする処理を行わずに、全ての辞書データと特徴量データを順に比較するようにしてもよい。この場合、上記実施の形態に比べて処理時間が少し長くなるが、それでも従来のパターン照合による処理に比べて迅速かつ正確な天地認識が行える。
【0148】
(5−3)上記比較回路580における特定文字評価回路585、587(図16)においては、特定文字辞書583の禁止辞書データを90゜ずつ回転させて切り出された文字の特徴量データと比較して、コピー禁止文字の判定を行ったが、回転角評価回路584、586からの回転角情報、一致度情報に基づきCPU501により原稿方向が確定した後に、その回転角で禁止辞書データを回転して特定文字の判定を行うようにしてもよい。
【0149】
また、上記実施の形態では、比較回路580における特定文字辞書583にいわゆる「マル秘」の1文字の禁止辞書データを格納して、読み出された特徴量データがこの辞書データと一致した場合にコピー禁止信号を発生するようにしたが、場合によっては、複数の文字からなる語句、例えば「コピー禁止」という語句の各文字について辞書データ作成して格納しておき、切り出された文字の特徴量データが、「コ」、「ピ」、「ー」、「禁」、「止」の各辞書データと、この順で連続して一致した場合に特定文字評価回路585(587)よりコピー禁止信号を発生するように構成してもよい。
【0150】
(5−4)上記回転角評価回路584(586)では、辞書データの方を90゜ずつ回転して特徴量データと比較しているが、特徴量データの方を回転して比較してもよいのは勿論である。この場合には回転処理部432により画像データを回転する方向が逆となる。
また、通常の原稿は、縦長の原稿に横書きで文字が印刷されているものがほとんどなので、90゜、270゜の回転角での比較を省略してもあまり不都合はないであろう。反対に、90゜の回転角の幅をもっと小さくして少しずつ回転しながら比較することにより、原稿自動搬送装置100の搬送ベルト14の不都合等により、原稿が原稿ガラス板21の原稿読取位置に斜めに設置された場合でも、正しい方向に画像データを回転して出力することが可能となる。
【0151】
(5−5)上記実施の形態においては、本発明に係る画像入力装置を複写機に適用した例を説明したが、その他の原稿の読取が必要な装置、例えばファクシミリ装置における画像入力装置としても適用される。
【0152】
【発明の効果】
以上説明してきたように、本発明に係る画像入力装置の構成によれば、特徴量抽出手段において、文字切り出し手段により抽出された文字画像における局所的な形状の位置、もしくは、当該位置に存する局所的な形状が、同じ文字画像内の他の部分と隣接する方向を文字特徴量として抽出すると共に、複数の辞書データの中から文字画像における局所的な形状の数に基づいて候補文字の辞書データを選択して、上記抽出された文字特徴量と選択された候補文字の辞書データを比較して、この比較結果に基づいて文字の方向を認識して原稿の方向を判別し、この判定に基づいて画像データを回転して出力するので、常に適正な方向で画像データが出力される。この際、文字方向の認識は、パターンの認識によるのではなく、局所的な形状の相対的位置もしくは隣接方向の比較のみで行われるので、パターン認識のための複雑なアルゴリズムなどは一切不要であり簡易なハード回路による迅速な処理が可能となる。
【0153】
また、本発明によれば、前記比較手段が、前記文字特徴量と辞書データを相対的に所定角度ずつ回転させながら比較して、各回転角における当該文字特徴量と辞書データの一致度を求め、前記認識手段は、前記各回転角における一致度の最大値が所定の基準値より大きい場合に、その最大の一致度における回転角に基づき文字画像の方向を認識するので、文字画像の方向を的確に判別できる。
【0154】
さらに本発明によれば、前記文字画像の局所的な形状が、文字端点、文字T字交差点、文字十字交差点、文字閉ループのうち少なくとも1つの形状であり、これらはいずれも文字特有の形状であるので、その相対的位置や隣接方向の情報に基づいてより正確に文字の方向を判別できる。
また、本発明は、文字切り出し手段により抽出された文字画像における局所的な形状の位置、もしくは、当該位置に存する局所的な形状が、同じ文字画像内の他の部分と隣接する方向を文字特徴量として抽出し、比較手段により上記抽出された文字特徴量と複数の辞書データを比較するが、この比較の際、制御手段が、当該文字画像における局所的な形状の数が所定数より大きいと判断した場合は、前記比較手段による比較を禁止するようにしているので、天地認識に適当でない切り出し文字については辞書データと比較しないようにすることができる。
【図面の簡単な説明】
【図1】本発明に係る画像入力装置が適用される複写機の全体の構成を示す図である。
【図2】上記複写機における制御部の構成を示すブロック図である。
【図3】上記制御部における原稿判別部の構成を示すブロック図である。
【図4】上記原稿判別部の特定色抽出回路の構成を示すブロック図である。
【図5】上記原稿判別部のヒストグラム生成回路で生成されるヒストグラムの内容を説明するための図である。
【図6】上記原稿判別部の特徴量抽出回路の構成を示すブロック図である。
【図7】上記特徴量抽出回路における閉ループ抽出回路で抽出される、閉ループの位置情報の内容を説明するための図である。
【図8】上記原稿判別部における辞書データ発生回路の構成を示すブロック図である。
【図9】参照文字のうち、ひらがなの46文字について、5×5辞書サイズにおける各特徴量個数情報の値を示す図である。
【図10】上記辞書データ発生回路の辞書データROMにおける各参照文字ごとの辞書データの内容を示す図である。
【図11】3×3辞書サイズの場合の上記辞書データに格納される閉ループ位置情報の生成を説明するための図である。
【図12】上記辞書データにおける3×3辞書サイズの特徴点データの格納状態をビットプレーンにより模式的に示す図である。
【図13】3×3の辞書サイズにおいて、ひらがなの文字を9ブロックに分割して各特徴点の位置情報を得る場合について説明するための図である。
【図14】上記辞書データにおける5×5辞書サイズの特徴点データの格納状態をビットプレーンにより模式的に示す図である。
【図15】5×5の辞書サイズにおいて、ひらがなの文字を25ブロックに分割して各特徴点の位置情報を得る場合について説明するための図である。
【図16】上記制御部における比較回路の構成を示すブロック図である。
【図17】上記比較回路における回転角評価回路の構成を示すブロック図である。
【図18】上記制御部における制御動作のメインルーチンを示すフローチャートである。
【図19】図18のステップS6における天地認識処理のサブルーチンを示すフローチャートである。
【図20】図19の続きのフローチャートである。
【図21】辞書サイズの切り替えと特徴量数との関係を示す図である。
【図22】各辞書サイズにおける特徴量数の抽出エラー値の一例を示す図である。
【図23】従来の文字方向の認識方法を説明するための図である。
【符号の説明】
100 原稿自動搬送部
200 画像読取部
300 プリンタ部
400 制御部
410 画像読取制御部
420 画像信号処理部
430 メモリ制御部
431 画像メモリ
432 回転処理部
440 プリンタ制御部
450 外部通信制御部
460 メイン制御部
500 原稿判別部
501 CPU
510 特定色抽出回路
520 カラーデータキャンセル回路
530 文字切り出し回路
532 要素数抽出回路
540 特徴量抽出回路
560 辞書データ発生回路
580 比較回路[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image input device used as an image reader or a document reading unit of a copying machine.
[0002]
[Prior art]
Conventionally, for example, in a copier equipped with an automatic document feeder, when a plurality of documents are continuously read and copied, a copy is discharged according to the orientation of the read document, so that the document is automatically fed. When setting the originals in the apparatus, it is necessary to check whether or not the originals face the same direction. However, such a checking operation is quite time-consuming, and if the number of documents is large, the possibility of overlooking the document in the opposite direction increases.
[0003]
If such a document direction check operation is neglected, when a predetermined sort mode is executed in a copying machine having a sort unit that sorts and discharges a plurality of output bins, each copy bundle discharged to each output bin is There is an inconvenience that the copy direction must be corrected, and furthermore, if a copying machine equipped with a stapling unit for automatically stapling or a punching unit for punching holes is to execute those functions, The copy bundle containing copies in different directions is stapled or punched as it is, so in the worst case, it may be necessary to redo the copy operation, which greatly reduces the efficiency of the copy operation and the copy paper. Waste of resources, which is against resource saving.
[0004]
In order to avoid such inconvenience, first, the orientation of the original is determined from the read image data (this determination of the original direction is hereinafter referred to as “top and bottom recognition”), and the image is output in an appropriate direction. A method of rotating and outputting data has been considered.
For example, Japanese Patent Laying-Open No. 4-229763 discloses the following vertical / horizontal recognition method.
[0005]
That is, a plurality of points (reference points) in a line portion of a predetermined reference character are extracted in advance and stored as a pattern, and a character image is cut out from image data obtained by reading a document image, and the character image is cut out. The extracted character is compared with the reference points, and the presence or absence of a character image signal at each reference point is checked while rotating the cut-out character image by 90 ° to determine the degree of coincidence at each rotation angle. The rotation angle having the highest degree of matching is recognized as the direction of the character, and thereby the top and bottom recognition is performed.
[0006]
More specifically, for example, as shown in FIG. 23A, six reference points A1 to A6 are extracted and stored for the reference character "A", and the cut-out character image is displayed in FIG. If "A" is oriented horizontally by 90 ° to the left as shown in ()), since there is no character image signal at the reference points A2 and A5, the degree of coincidence is low. Rotation is performed, and a rotation angle having the highest degree of coincidence with the reference point is obtained, and this is recognized as the direction of the character.
[0007]
[Problems to be solved by the invention]
However, in the above-described conventional top / bottom recognition method, since it is only necessary to compare the presence or absence of an image signal at a reference point with respect to a specific character, it is not known whether the read character is "A" in the first place. The data of the reference character must be stored in an internal memory, and the data must be sequentially switched and compared. Further, even if the cut-out character is a character of "A", the stored data of "A" and the cut-out character image may be exactly the same size and the same font (font). If the font is different or the font is slightly changed, the image signal will not be located at the position of the reference point even though the directions of the characters match, and the recognition rate will be significantly reduced.
[0008]
As described above, it is impossible to know the size and font of the character to be recognized in advance, and even if the size and font can be known, it is not possible to have all the reference character data corresponding to each font and size in the device. In addition, not only a large memory capacity is required, but also a great deal of work is required for the recognition operation, so that the efficiency of the copy operation is remarkably reduced, and the system does not function as a system.
[0009]
The present invention has been made in view of the above-described problems, and provides an image input device capable of accurately identifying the direction of a document with a simple configuration and rotating and outputting image data in an appropriate direction. The purpose is to do.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, an image input device according to the present invention is a device for inputting an image of a document, wherein the image reading device reads a document to generate image data, and an image that stores the image data. A data storage unit, a character cutout unit that extracts a character image from the image data, and a position of a local shape in the character image, or a local shape existing in the position is another part in the same character image. A feature amount extracting unit that extracts a direction adjacent to the character as a character feature amount, a feature amount storing unit that stores character feature amounts of a plurality of characters in advance as dictionary data, and dictionary data stored in the feature amount storing unit. Selecting means for selecting dictionary data of candidate characters based on the number of local shapes in the character image; and character feature amounts extracted by the feature amount extracting means, Means for comparing dictionary data of the candidate characters selected by the means, recognition means for recognizing the direction of the character image based on the comparison result, and rotating the image data based on the recognition result of the recognition means Image data rotating means.
[0011]
Also, the present invention provides a rotation angle evaluation means for relatively rotating the character feature value and the dictionary data by a predetermined angle, and obtaining a degree of coincidence between the character feature value and the dictionary data at each rotation angle. The recognition unit recognizes the direction of the character image based on the rotation angle having the maximum degree of coincidence when the maximum degree of coincidence at each rotation angle is larger than a predetermined reference value. And
[0012]
Further, the present invention is characterized in that the local shape in the character image is at least one of a character end point, a character T-shaped intersection, a character crossed intersection, and a character closed loop.
Also, the present invention is an apparatus for inputting an image of a document, wherein the image reading means reads the document to generate image data, an image data storage means for storing the image data, and a character from the image data. A character extraction unit for extracting an image, and a position of a local shape in the character image, or a direction in which a local shape existing in the position is adjacent to another part in the same character image is extracted as a character feature amount. Characteristic amount extracting means, a characteristic amount storing means for storing character characteristic amounts of a plurality of characters in advance as dictionary data, a character characteristic amount extracted by the characteristic amount extracting means, and a dictionary stored in the characteristic amount storing means. Comparison means for comparing data; recognition means for recognizing the direction of the character image based on the comparison result; and rotation of the image data based on the recognition result of the recognition means. An image data rotation means that, if the number of local shape of the character image is larger than a predetermined number, characterized in that a control means for inhibiting comparison by the comparing means.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a case where the image input apparatus according to the present invention is applied to a full-color digital copying machine will be described.
(1) Overall configuration of full-color digital copier
First, the overall configuration of a full-color digital copier (hereinafter, simply referred to as "copier") will be described with reference to FIG.
[0014]
As shown in FIG. 1, the copying machine includes an automatic document feeder 100 that automatically feeds a document, an image reading unit 200 that reads an image of the fed document, and recording based on data of the read document image. And a printer unit 300 for forming an image on a sheet.
The automatic document feeder 100 includes a document feed tray 11, a transfer roller group 12, a registration roller 13, a transfer belt 14, and the like. The document bundle set on the document feed tray 11 is fed downward one by one from the lowermost document by the transport roller group 12, timed by the registration rollers 13, and imaged by the transport belt 14. The document is conveyed to the document reading position on the document glass plate 21.
[0015]
Then, after the image is scanned by the image reading unit 200, the transport belt 14 is driven again, and is discharged onto the document discharge tray 16 via the discharge roller 15.
When the back side of the document is also scanned, immediately before the leading edge of the document reaches the discharge roller 15, the switching path 17 switches the document conveyance path to the reversing roller 18, and the reversing roller 18 turns the document. , And transported again toward the original glass plate 21.
[0016]
The image reading unit 200 is for optically reading an image of a document conveyed to the document reading position on the document glass plate 21 and is provided by a scanner 22, a condenser lens 23, a CCD image sensor 24, a scanner motor M2, and the like. Be composed.
The scanner 22 is provided with an exposure lamp 25 and a mirror 26 for changing the optical path of light reflected from the original by irradiation of the exposure lamp 25 in a direction parallel to the original glass plate 21, and is driven by a scanner motor M2 to The original on the original glass plate 21 is scanned by moving in the direction of the arrow.
[0017]
A pulse motor is used as the scanner motor M2, and the position of the scanner 22 is determined based on the position detected by the photoelectric scanner home sensor SE1 installed at the home position, that is, the amount of movement from that position, that is, the step of the pulse motor. Controlled based on number.
The reflected light from the original is reflected by a mirror 26 and then guided to a sensor surface of a CCD color image sensor (hereinafter simply referred to as a “CCD sensor”) 24 via mirrors 27 and 28 and a condenser lens 23. Is converted into an electric signal to generate image data for each color component (R, G, B).
[0018]
The mirrors 27 and 28 are paired and move in the same direction at half the moving speed of the scanner 22, thereby keeping the optical path length from the scanner 22 to the condenser lens 23 constant. The document image is always formed on the sensor surface of the CCD sensor 24.
The image data generated by the CCD sensor 24 is subjected to A / D conversion in an image signal processing unit 420 (see FIG. 2) in the control unit 400 to become a digital signal, and further necessary for shading correction, density conversion, edge enhancement, and the like. After the processing, the color components are stored in the image memory 431 (FIG. 2).
[0019]
The image data stored in the image memory 431 is rotated according to the result of the top and bottom recognition performed by the document discrimination unit 500 as described later, and finally, cyan (C), magenta (M), and yellow (Y ) And black (K) print data and output to the exposure head unit 310 of the printer unit 300, or transmitted from the communication interface 451 to another copying machine or computer via a telephone line or the like. .
[0020]
The printer unit 300 forms an image on a recording sheet such as a copy sheet or an OHP film sheet by a known electrophotographic method. The printer unit 300 includes an exposure head unit 310, an image forming process unit 320, And a paper re-feeding unit 340.
The exposure head section 310 includes four exposure heads 311c, 311m, 311y, and 311k corresponding to the above-described cyan (C), magenta (M), yellow (Y), and black (K) print data. And a laser diode and a polygon mirror, respectively.
[0021]
Similarly, the image forming process unit 320 also includes four image forming units 321c, 321m, 321y, and 321k corresponding to the respective print data of C, M, Y, and K. 322c, 322m, 322y, 322k, and a cleaner, a charger, a developing device, and the like are disposed around the 322c, 322m, 322y, and 322k. , 322m, 322y, and 322k, toner images corresponding to the color components are formed.
[0022]
For example, when cyan print data is output to the laser diode 312c of the exposure head 311c, a modulated laser beam is emitted from the laser diode 312c, and this laser beam is mirrored by a polygon mirror 313c that rotates at a predetermined angular velocity. The surface of the photosensitive drum 322c, which is reflected on the surface and is rotated clockwise in FIG. 1, is exposed and scanned, whereby an electrostatic latent image is formed on the surface of the photosensitive drum 322c. The electrostatic latent image formed on the photosensitive drum 322c is supplied with cyan toner particles by the developing device 323c, and is visualized as a toner image.
[0023]
On the other hand, the paper feeding unit 330 is provided with three paper cassettes 331 to 333 for storing recording sheets of different sizes, and, for example, from the paper cassette 331 in synchronization with the above-described image forming operation on the photosensitive drum 322c. A recording sheet of a predetermined size is fed, conveyed to a transfer position below the photoconductor drum 322c by the transfer conveyance belt 334, and the toner image on the surface of the photoconductor drum 322c is formed by the electrostatic force of the transfer charger 324c. Is transferred to
[0024]
Such an image forming operation is performed while shifting the timing in the other exposure heads 311m, 311y, 311k and the image forming units 321m, 321y, 321k, and the toner images of each color are transferred onto the recording sheet in a superimposed manner. A full-color image is reproduced.
Thereafter, the recording sheet is fixed by the fixing unit 327, and is discharged onto the discharge tray 342 via the transport path 341 in the re-feeding unit 340.
[0025]
If printing is to be performed on the back side of the recording sheet (so-called double-sided copying), the direction of the switching claw 343 of the re-feeding section 340 is changed to guide the recording sheet in the direction of the transport path 344, and the reverse transport is performed once. After being extruded into the path 345, the sheet is sent out to the intermediate tray 347 via the conveying path 346 by a conveying roller (not shown), and the recording sheet is stored in a state where the recording sheet is turned upside down. Then, the recording sheet in the intermediate tray 347 is fed to the transfer belt 334 to form an image on the back surface thereof, and then discharged onto the discharge tray 342 via the fixing unit 327. .
[0026]
SE2 in the printer unit 300 is a timing sensor that detects a reference mark (not shown) on the transfer conveyance belt 334, and thereby adjusts the conveyance timing of the recording sheet. Each of the image forming units 321c, 321m, 321y, and 321k has a built-in registration correction sensor 325c, m, y, and k, and sequentially detects the reference marks on the transfer belt 334. The output timing of the printing data of each color component is finely adjusted to prevent color shift in image formation due to each color component.
[0027]
Further, among the plurality of rollers around which the transfer belt 334 is transferred, the roller 328 on the rightmost side in the figure is supported by a vertically movable frame (not shown) to form a black-only monochrome image. In some cases, the frame is moved downward by a lifting device (not shown), so that the transfer conveyor belt 334 on the right side of the auxiliary roller 334a causes the photosensitive belt drums 322c, 322m, and 322y of the image forming units 321c, 321m, and 321y to move. It is designed to withdraw from. At this time, the transfer chargers 326c, 326m, and 326y also move downward together with the frame.
[0028]
As a result, at the time of monochromatic image formation, the transfer conveyor belt 334 is brought into a non-contact state with the photosensitive drums 322c, m, and y, and the driving of the corresponding image forming units 321c, m, and y can be stopped. The wear of the body drums 322c, m, y and the process units around them can be reduced.
The image forming units 321c, m, y, and k are integrated for each process and can be attached to and detached from the main body, so that maintenance such as replacement of toner is easy. Further, an operation panel 70 (see FIG. 2) is provided at a position on the front of the image reading unit 200 where the operation is easy, whereby the operator performs a predetermined input operation such as start of copying and setting of the number of copies. .
(2) Configuration of control unit 400
Next, the configuration of the control unit 400 installed inside the copying machine will be described with reference to the block diagram of FIG.
[0029]
As shown in the figure, the control unit 400 includes an image reading control unit 410, an image signal processing unit 420, a memory control unit 430, a printer control unit 440, an external communication control unit 450, a main control unit 460, It comprises a document discrimination section 500 and the like.
Each of the control units 410 to 460 and the document discrimination unit 500 are configured around a CPU, and exchange required data and commands via a command line CR, and also via an image data bus GB. Image data is transferred.
[0030]
The image reading control unit 410 controls the operations of the automatic document feeder 100 and the image reading unit 200 to execute reading of a document. That is, when a predetermined copy mode is set from the operation panel 70 and a copy start operation is performed, a document reading request is received via the main control unit 460, and the operation of the automatic document feeder 100 is controlled to copy the document. The document is conveyed to a predetermined position on the document glass plate 21 of the reading unit 200, and thereafter, the operation of each unit of the image reading unit 200 is controlled so that the document is scanned by the scanner 22 and the image data read by the CCD sensor 24 is converted into an image. The signal is transmitted to the signal processing unit 420.
[0031]
The image signal processing unit 420 includes an A / D converter, a shading correction unit, an MTF correction unit, a scaling unit, a γ correction unit, and the like. After being converted into a multi-level signal, the shading correction unit corrects the illuminance non-uniformity of the exposure lamp 25 and the sensitivity non-uniformity of the CCD sensor 24, the MTF correction unit receives a process for improving image quality such as edge enhancement, and further zooms. After undergoing a scaling process and a γ correction process in a copy unit and a γ correction unit, respectively, they are sent to the document discrimination unit 500 and the memory control unit 430.
[0032]
The document discriminating unit 500 determines the direction of the read document based on the image data and generates a predetermined rotation angle signal, or when the document is a specific document such as a bill which is a copy prohibition target. Generates a copy prohibition signal. Details will be described later.
The memory control unit 430 binarizes or further encodes the image data, stores the image data in page units in the image memory 431, and receives a read request from the main control unit 460, and receives a read request from the image memory 431. The image data of the page is read out (after decompression processing is performed if it is compressed) and returned to multi-valued data. After rotating the data, the data is transferred to the printer control unit 440. This rotation processing is performed by a known technique of changing the memory address of image data (for example, see Japanese Patent Application Laid-Open No. 60-126679).
[0033]
The printer control unit 440 controls the operation of each unit of the printer unit 300 based on the control program stored in the internal ROM for the image data output from the memory control unit 430 to execute image formation on a recording sheet. .
The external communication control unit 450 controls transmission and reception of image data and the like to and from an external device such as another copier, a facsimile machine, or a computer. The external communication control unit 450 receives image data received from the external device via the communication interface 451. The image data is stored in the image memory 431, and the image data of the document read by the image reading unit 200 of the own device is transmitted to an external device via the communication interface 451.
[0034]
Further, the main control unit 460 receives various key inputs from the operation panel 70 and reports the set copy mode to each of the control units 410 to 450, or receives a communication from each of the control units 410 to 450. In addition to displaying the required contents on the display unit of the operation panel 70, the control unit 410-450 and the document discrimination unit 500 are instructed on the timing of each operation while managing the processing routine time. The whole is controlled in a unified manner to realize a smooth copying operation. When a copy prohibition signal is received from document discrimination section 500, an instruction is sent to printer control section 440 not to execute an image forming operation.
(3) Configuration of Document Discrimination Unit 500
FIG. 3 is a block diagram illustrating the configuration of the document determination unit 500.
[0035]
In the block diagram, a normal solid arrow indicates a flow of normal data or a control signal, a thick solid arrow indicates a flow of image data, and a thick broken arrow indicates a flow of data related to the characteristic amount of other characters. The flow is shown respectively.
The document determination unit 500 performs two processes based on the image data of the document read by the image reading unit 200. That is, {circle around (1)} discriminates whether the document is a specific document such as a bill, and outputs a copy prohibition signal for prohibiting copying to the main control unit 460 if it is determined that the document is a specific document. And (2) a document direction determination process of determining the direction of the document read by the image reading unit 200 and outputting a rotation angle signal to the memory control unit 430 so that image data is output in an appropriate direction (ie, (Top and bottom recognition processing).
[0036]
The former specific document discriminating process is executed by the CPU 501 based on the output from the specific color extracting circuit 510, and the latter vertical direction recognizing process is performed by the color data canceling circuit 520, the character extracting circuit 530, the feature extracting circuit 540, and the dictionary data. After passing through the generation circuit 560, the program is finally executed by the CPU 501 based on the comparison result made by the comparison circuit 580.
[0037]
Hereinafter, the two processes will be described separately.
(3-1) Specific original discrimination processing
The image data of each of the R, G, and B color components read by the image reading unit 200 and subjected to the predetermined processing by the image signal processing unit 420 is supplied to the specific color extraction circuit 510 via the image data bus GB (FIG. 2). , The specific color extraction circuit 510 obtains a predetermined color area of a specific color based on the image data, and thereby determines whether or not the original is a specific original.
[0038]
The specific color extraction circuit 510 includes a color space conversion circuit 511, three specific color counter units 512 to 514, and an OR circuit 515 as shown in the block diagram of FIG.
The color space conversion circuit 511 is a circuit that converts the input R, G, and B image data values into color signals of a color space including luminance (Y) and two chromaticities (Cr, Cb). Such conversion to a color space is generally a known technique for color reproduction in a television or the like, and a detailed description thereof will be omitted.
[0039]
If the data values of R, G, and B remain as they are, the bandwidth becomes wider and the data processing becomes more complicated. Can be specified by a narrow color signal, and color determination by the specific color counter units 512 to 514 described below can be easily performed.
The Y, Cr, and Cb color signals obtained by the color space conversion circuit 511 are input to specific color counter units 512 to 514, respectively.
[0040]
Among them, the specific color counter unit 512 includes color determination units 5121 to 5123, counters 5124 to 5126, and an AND circuit 5127. Each of the color determination units 5121 to 5123 converts Y, Cr, Cb converted by the color space conversion circuit 511, respectively. It is determined whether or not the pixel is a specified specific color based on the value of the color signal. Therefore, for example, each of the color determination units 5121 to 5123 has a plurality of comparators therein, and each comparator has a lower limit value of Y, Cr, and Cb for a specific color designated by its own determination unit. An upper limit value is set, and if it is determined from the output results of these comparators that all of the color signal values are within a predetermined range, it is determined that the color of the pixel is the specified specific color. , And sends a count-up signal to the next-stage counters 5124 to 5126, respectively.
[0041]
In each of the counters 5124 to 5126, the count is incremented by “1” each time a count-up signal is obtained from the corresponding color determination unit 5121 to 5123. When the counter exceeds a predetermined threshold value set by the CPU 501, the AND circuit 5127 And outputs a color area matching signal.
The AND circuit 5127 outputs a logic signal “1” when receiving the color area match signal from any of the counters 5124 to 5126, and sends a specific color count-up signal to the CPU 501 via the OR circuit 515.
[0042]
Referring back to FIG. 3, when receiving the specific color count-up signal, CPU 501 determines that the document is a specific document and transmits a copy prohibition signal to main control unit 460. Upon receiving the copy prohibition signal, the main control unit 460 refuses to accept an operation from the operation panel 70 and prohibits the printer control unit 440 from performing an image forming operation based on the image data.
[0043]
As described above, the specific color counter unit 512 counts the number of pixels (color area) of three types of specific colors in the read image data of the color original, and only when the number of pixels of each specific color is all larger than a predetermined threshold value. , A specific color count-up signal is generated, thereby prohibiting copying of the original.
For example, if the copy-protected original is a 10,000-yen bill, three characteristic colors used for this bill are selected, and the color signals Y, Cr are used so that each specific color can be determined. , And Cb, the upper and lower limits of each color signal value are set in comparators in the color determination units 5121 to 5123 for each of the three characteristic colors, and the pixels having the specific color are counted. The total value is set as a threshold value in each of the counters 5124 to 5126. If the number of pixels of the specific color of the image data obtained by reading the original is larger than the above-described threshold value for all three selected colors, The original is regarded as a 10,000-yen bill and a copy prohibition signal is generated, whereby the abuse of the color digital copying machine can be prevented in advance.
[0044]
Characteristic colors that are not used in normal printing are used for the banknotes, and there is almost no possibility that the characteristic colors of all three colors in a document other than the banknotes are equal to or larger than a predetermined color area. According to the configuration, the original can be almost certainly determined to be a 10,000-yen bill.
In order to avoid such a copy prohibition operation, there may be a case where the copy magnification is slightly changed to cause an error in counting the number of pixels of a specific color. In such a case, the threshold value given to the counters 5124 to 5126 may be changed by the CPU 501 in conjunction with the setting of the copy magnification.
[0045]
The other specific color counter units 513 and 514 have the same configuration as the above-described specific color counter unit 512, and the upper and lower limits of the color signal in each color determination unit are determined in accordance with the respective color originals to be prohibited from being copied. Only the value and the threshold value of the number of pixels in each counter are set differently, and the description is omitted. As a result, in addition to the 10,000-yen bill, a 5,000-yen bill and a 1,000-yen bill can be determined, and copying thereof can be prohibited.
[0046]
According to the specific document discriminating method as described above, the specific document can be discriminated very simply and easily.
That is, in a conventional copying machine, a pattern of a specific document is extracted, and it is determined whether or not the specific document is a specific document by matching with a pattern set in advance. If a new banknote is issued and its pattern is changed, there is the inconvenience of newly registering the pattern of the new banknote. However, in the present embodiment, since the determination is made only based on the color areas of a plurality of specific colors, a complicated control program is not required at all, and the simple A specific original can be determined in real time only with a simple hardware circuit, and the CPU 501 changes the upper and lower limits of each color signal and the threshold value of the number of pixels of the corresponding specific color. Alone, it can easily cope with discrimination of foreign banknotes as well as domestic bill only.
[0047]
Further, even if there is a slight error in the value of each color signal or a variation in the read value due to the variation unique to the apparatus, it can be easily corrected by correcting the various values by the CPU 501.
Further, if the number of specific colors that can be determined is increased by increasing the number of color determination units and counters in each of the specific color counter units 512 to 514, the accuracy of determination of a specific document can be further improved. By increasing the number of the color counter units 512 to 514 themselves, it is possible to determine more types of specific documents.
[0048]
Note that the CPU 501 also generates a copy prohibition signal when a character or symbol indicating copy prohibition is found in a document, which will be described later.
(3-2) Top and bottom recognition processing
The top-bottom recognition process can be roughly divided into (1) a character cutout process for cutting out a character image one by one from a document image, (2) a feature value extraction process for extracting a feature value from the cutout character, and (3) ▼ dictionary data generation processing for selecting dictionary data of candidate characters for top-bottom recognition from data that does not depend on the direction of the character in the feature amount; and 4) data in the above feature amount that depends on the direction of the character. And a rotation angle determination process for determining a rotation angle by comparing with dictionary data.
[0049]
[Character cutout processing]
In FIG. 3, the R, G, and B image data read from the image memory 431 is input to a color data cancel circuit 520, where a process of replacing chromatic color image data with white data is performed.
Specifically, for example, the image data of R, G, and B are converted into the colors of Y, Cr, and Cb using the same color space conversion circuit as the color space conversion circuit 511 (FIG. 4) in the specific color extraction circuit 510. Convert to a signal. In general, the smaller the values of Cr and Cb are, the closer to achromatic color, so a predetermined threshold value close to “0” is set in advance, and the values of Cr and Cb are compared with the threshold value for each pixel. If the threshold value is smaller than the threshold value, the pixel is regarded as achromatic image data and the Y value of the pixel is output as it is. If at least one of Cr and Cb is larger than the threshold value, the pixel value is regarded as color image data. What is necessary is just to replace the value of Y of the pixel with a value corresponding to “white” and to output it.
[0050]
Canceling the chromatic color image data in advance in this way is unnecessary data for performing top-down recognition when the read original is a color photographic image, and is used for newspaper and magazine headings. This is because the color characters used are considered to be unsuitable for recognizing the direction of the characters, because they are subjected to design processing or are intentionally arranged at an angle. By excluding such data having a possibility of erroneous recognition in advance, it is possible to further ensure the subsequent top and bottom recognition processing.
[0051]
Since the image data (luminance signal Y) output from the color data canceling circuit 520 includes gradations of density, unnecessary binarization information is removed by binarization by the next binarization circuit 521, and subsequent data processing is performed. More easily and reliably.
The binarization circuit 521 binarizes the image data into “0” and “1” based on predetermined parameters given from the CPU 501 and outputs the binarized data to the histogram generation circuit 522 and the character extraction circuit 530.
[0052]
The histogram generation circuit 522 generates a histogram obtained by integrating the density values of the binarized image data in the main scanning direction and the sub-scanning direction. FIG. 5 is a diagram showing an example of this histogram generation. When the binary image data D1 for one document is integrated in the main scanning direction, the result becomes a first histogram H1, and when integrated in the sub-scanning direction, the result becomes a second histogram H2. These first and second histograms H1 and H2 are stored in the histogram memory 523 as histogram data.
[0053]
The character cutout circuit 530 cuts out character images one by one from the binary image data based on the histogram data.
Such character extraction processing itself is a known technique. As can be seen from the distribution of the first histogram H1 in FIG. 5, the valley portion of the histogram indicates the line spacing. The third histogram is obtained by integrating image data in the sub-scanning direction. In the third histogram, the valleys of the integral value occurring at substantially equal intervals should indicate the space between characters, and image data for one character is cut out as a character image based on this position.
[0054]
The character cutout circuit 530 outputs an “XY signal” indicating the size (number of pixels) of the cutout character image and a “B / W signal” indicating the black and white ratio to the CPU 501 based on the result of the character cutout processing.
The XY signal is expressed as the product of the number X of pixels in the horizontal direction and the number Y of pixels in the vertical direction of the cut-out character image, and the B / W signal is a pixel (binarized) indicating a line portion in the character image. In addition, the number B of "1". This is hereinafter referred to as "black pixel", and the number B of pixels other than the line portion (the binarized "0"portion; hereinafter referred to as "white pixel"). It is shown as a value divided by W.
[0055]
The CPU 501 compares this information with a predetermined threshold to determine whether the cut-out character is suitable for recognizing the direction, and determines whether the character is large in size or has many black pixels. , A RETRY signal is generated and transmitted to the character cutout circuit 530 to prompt cutout of the next character image. Details will be described later.
[Feature extraction processing]
Unless the RETRY signal is received, the character extraction circuit 530 outputs the image data of the extracted character to the feature extraction circuit 540 at the next stage.
[0056]
Based on the input image data, the feature amount extraction circuit 540 determines a plurality of local shapes that characterize the character, that is, a closed loop, a cross intersection, a T-shaped intersection, and an end point (hereinafter, these are simply referred to as “feature shapes”). And a predetermined number of elements to generate predetermined data. As shown in FIG. 6, a circumscribed rectangle ratio extraction circuit 541, an element number extraction circuit 542, a closed loop extraction circuit 543, a cross extraction circuit 544, a T-shaped It comprises an extraction circuit 545, an end point extraction circuit 546, a thinning processing circuit 547, an error check circuit 548, and a feature data rearrangement circuit 549.
[0057]
The circumscribed rectangle ratio extraction circuit 541 calculates the vertical / horizontal ratio (X / Y) of the cut-out XY dot character image and expresses this as 8-bit data as ratio information and outputs it.
The number-of-elements extraction circuit 532 extracts the number of elements constituting a character (for example, one for "ku", two for "i", and four for "ba"), and uses the number of elements as 3-bit information as number information. (Up to 8) and output. Such a number of elements can be obtained by a known image processing technique. For example, raster scanning is performed in the sub-scanning direction with the upper left pixel of the character image as an initial point, and when a black pixel is first found, the pixel of the outline outside the line portion of the character is tracked in a predetermined direction using this as a tracking start point. (This processing is hereinafter referred to as “contour line tracking processing”), and when it returns to the black pixel at the tracking start point again, it is determined that the area surrounded by the contour line is one element. Therefore, by repeating such a tracking scan, the total number of elements of the character can be extracted.
[0058]
A dictionary size switching signal from the CPU 501 is given to the closed loop extracting circuit 543, the cross extracting circuit 544, the T-shaped extracting circuit 545, and the end point extracting circuit 546 other than those described above, and each of the extracting circuits 543 to 546 generates the dictionary signal. The resolution for extracting the feature amount is switched according to the content.
More specifically, the character image extracted by the character extraction circuit 530 is divided into 3 × 3 9 blocks or 5 × 5 25 blocks, and a characteristic shape is extracted from each block. At this time, for example, if the closed loop extraction circuit 543 scans one block and finds at least one closed loop, it does not scan the closed loop in that block any more, and proceeds to scan the closed loop in the next block. Therefore, the extraction speed of 3 × 3 is faster than that of 5 × 5, but even if there are two closed loops in one block, only one is counted. The resolution will be lower than in the case. Since the dictionary data stored in the dictionary data generation circuit 560, which will be described later, is also created in accordance with this resolution, the following distinction of such resolution is made based on the number of divided blocks in a 3 × 3 dictionary size, 5 × 5 I will call it the dictionary size.
[0059]
Based on the specification of the dictionary size from the CPU 501, the closed loop extraction circuit 543 detects a closed loop existing in the character image for each divided block, and detects the number (for example, “(” is 0, “ha”). ”Is one, and“ 2 ”is two), and the position of the closed loop is obtained, and the number information and the position information on the closed loop are output.
[0060]
The extraction of the closed loop can also be performed by a known image processing technique, for example, by extracting the element of a character by the above-described contour tracing processing, and then scanning the inside of the element to determine the number of white pixel areas. This can be achieved by extracting in the same manner as in the case of extracting the number of elements.
Then, the number of the extracted closed loops is represented by 3 bits (maximum 8) and output as number information.
[0061]
On the other hand, position information is generated from the relative position of the closed loop in the character image. This position information is generated by determining the presence or absence of a closed loop for each divided block.
Specifically, with reference to FIG. 7, a description will be given of generation of closed-loop position information when the cut-out characters are “Δ” and “nu”.
[0062]
FIG. 7A is a diagram in which a character image of “ぱ” is divided into 3 × 3 nine blocks. Bits corresponding to blocks 11 to 33 are prepared, and the position information is generated by setting the bit corresponding to the block having the closed loop to “1” and setting the other bits to “0”. . In the case of “ぱ”, since the closed loops L1 and L2 exist in the blocks 13 and 32, the bit corresponding to the block is set to “1”. Even if the closed loop is located in the block 22, this position information does not depend on the rotation of the character, so it is not necessary as top-and-bottom recognition data. In the present embodiment, the number of blocks excluding this block 22 corresponds to eight. The 8 bits indicate the closed loop position information (similarly, 24 bits for a 5 × 5 dictionary size).
[0063]
On the other hand, in the case of “ne”, as shown in FIG. 7B, one closed loop L3 is provided across the blocks 32 and 33. In this case, the position information determines that the closed loop L3 is located at the block 32 in the block including more white pixels in the closed loop L3, that is, in the example of FIG. "1" is set to generate position information.
[0064]
In the circumscribed rectangle ratio extraction circuit 541, the number of elements extraction circuit 542, and the closed loop extraction circuit 543, each extraction processing is performed without processing the image data output from the character extraction circuit 530. In the T-character extraction circuit 545 and the end point extraction circuit 546, in order to easily and surely perform the extraction processing, the thinning processing circuit 547 performs a thinning process for narrowing the width of the character line (line figure) in advance. .
[0065]
In this thinning processing, the following requirements mainly need to be satisfied.
(I) The line width is 1 (one pixel unit).
(Ii) The position of the line is approximately at the center of the original line figure.
(Iii) The connectivity of the figures is preserved.
(Iv) The end portion of the line figure does not shrink more than necessary.
[0066]
In order to perform such thinning processing, various thinning processing methods have been conventionally proposed in the field of image processing, and a specific description thereof will be omitted.
The data of the character image thinned by the thinning processing circuit 547 is output to a cross extraction circuit 544, a T-shaped extraction circuit 545, and an end point extraction circuit 546, respectively.
The cross extraction circuit 544 detects a cross intersection for each divided block based on the thinned image data, and generates the number information and the position information.
[0067]
The cross intersection is extracted by, for example, scanning a neighboring black pixel (near 8) around a specific black pixel (hereinafter, referred to as “target pixel”) and calculating the number M of black pixels adjacent to the target pixel. To detect. Since the image data is thinned by the thinning processing circuit 547, no black pixels are adjacent to each other in the vicinity of the eight points of interest. Therefore, when M = 4, the pixel of interest is a cross intersection. Can be determined.
[0068]
If this scanning is performed for each block, the number of cross intersections in the character image is determined. For example, “ku” has zero, “sa” has one, and “ki” has two.
Since the position of the cross intersection changes according to the direction of the character, the position is useful information for top and bottom recognition. As in the case of the above-described closed loop position information, the position information is set to “1” for the bit corresponding to the block where the cross intersection exists, so that in the case of 3 × 3 dictionary size, 9 bits and 5 × 5 dictionary size Is represented by 25 bits.
[0069]
The T-shaped extraction circuit 545 detects a T-shaped intersection for each divided block of the thinned image data, and generates information on the number, position, and adjacent direction.
This T-shaped intersection is detected when the number of black pixels near the target pixel is M = 3 in the above-mentioned crossed intersection extraction, and this scan is executed for each block, so that the T-shaped intersection in the character image is detected. The number is determined. For example, “ku” has 0 pieces, “to” has 1 piece, and “d” has 2 pieces.
[0070]
In accordance with this, position information of the T-shaped intersection is generated. This position information is generated in the same manner as in the case of the cross intersection described above.
Since the direction adjacent to the T-shaped intersection also differs depending on the direction of the character, it is useful information for top and bottom recognition. There are a total of four types of adjacent directions of the T-shaped intersection (up / down / left / right). For example, the adjacent direction of the T-shaped intersection in the above “to” is “up”, which is referred to as “up”. The block in which the T-shaped intersection exists is represented as a 2-bit signal, and is represented by the number of divided blocks × 2 bits.
[0071]
The end point extracting circuit 546 detects the character end points of the thinned image data for each divided block, and generates information on the number, position, and adjacent direction. An end point is detected when the number of black pixels near eight of the target pixel is M = 1 in the above-described cross intersection detection, and by performing this detection operation for each block, the number of end points in the character image is determined. . For example, "no" is one, "ku" is two, and "d" is four.
[0072]
In accordance with this, position information of the end point is generated. This position information is expressed by setting the bit corresponding to the block having the end point to “1”, as in the case of the above-described closed loop or cross intersection.
The direction in which the end points are adjacent also differs depending on the direction of the character, and is therefore useful information for top and bottom recognition. There are eight types of adjacent directions of the T-shaped intersection at this end point (up / down / left / right / upper left / upper right / lower left / lower right). Since these 8 types of adjacent directions are expressed as 3-bit signals, The direction adjacent to each end point is expressed by the number of divided blocks × 3 bits.
[0073]
The CPU 501 transmits a dictionary size switching signal to the extraction circuits 543 to 546, and instructs to switch the dictionary size and extract each feature amount at a resolution necessary for the top-bottom recognition. It will be described later.
As described above, the twelve types of information generated by the extraction circuits 541 to 546 depend on data that does not depend on the direction of the character, that is, the number information from the extraction circuits 542 to 546 and the direction of the character. Data, that is, ratio information from the circumscribed rectangle ratio extraction circuit 541 and position information and adjacent direction information from the other extraction circuits 542 to 546 can be divided into two. And the latter information will be collectively referred to as “feature data”.
[0074]
The feature quantity number information and the feature quantity data are input to an error check circuit 548 at the next stage, and the values of the feature quantity number information and the ratio information of the feature quantity data are equal to or less than a predetermined threshold value. Is determined, and if even one exceeds a predetermined threshold value, it is determined that the extracted feature amount is not appropriate for performing the top-bottom recognition.
[0075]
For example, when the cut-out character is the character “purchase”, the number of closed loops output from the closed-loop extraction circuit 543 is considered to be 9 to 9 in a 5 × 5 dictionary size, which will be described later. Since such complicated character data is not stored in the dictionary data, the cut-out character is not a character suitable for top-bottom recognition. Therefore, the upper limit value of the number information of closed loops is obtained in advance from the dictionary data, and this is set as a threshold value in a comparator or the like in the error check circuit 548. This is a feature when the input number information of closed loops exceeds the threshold value. An amount extraction error signal is generated and transmitted to the CPU 501.
[0076]
Upon receiving this error signal, the CPU 501 transmits a RETRY signal to the character cutout circuit 530 to cut out the next character image to execute a new character cutout, and also outputs information on the current extracted feature amount. Discard.
Note that the feature amount extraction in each of the extraction circuits 541 to 546 and the feature amount extraction check in the error check circuit 548 are all performed by hardware circuits, and the CPU 501 only checks the feature amount extraction error signal from the error check circuit 548. Therefore, high-speed processing is possible.
[0077]
The threshold set in the error check circuit 548 is set to be smaller in the 3 × 3 dictionary size than in the 5 × 5 dictionary size. This is because, in the case of a 3 × 3 dictionary size, one block size is large, and even if two or more feature types of the same type are included in the dictionary size, the number of feature amounts is one maximum per block as described above. This is due to the fact that the count of the feature amount is smaller than in the case of the 5 × 5 dictionary size.
[0078]
If both the feature quantity number information and the ratio information extracted by the extraction circuits 541 to 546 pass the check by the error check circuit 548, the feature quantity number information and the feature quantity data are converted to the next stage feature data rearranging circuit 549. Sent to The characteristic data rearranging circuit 549 rearranges and outputs the information of these characteristic amounts in an order that can be easily processed by the dictionary data generating circuit 560 and the comparing circuit 580, respectively.
[0079]
In particular, the feature amount data is rearranged in the same order as the dictionary data output from the dictionary data generation circuit 560, which will be described later, and receives a dictionary data switching signal from the CPU 501 and is output on a common bus in 8-bit units. With such a configuration, a plurality of feature data can be effectively handled with a bus having a small bit width, and the circuit can be simplified. The comparison process can be facilitated.
[0080]
[Dictionary data generation processing]
Next, the dictionary data generation circuit 560 will be described.
When the dictionary data generation circuit 560 receives the feature quantity number information from the feature quantity extraction circuit 540, the dictionary data generation circuit 560 lists a plurality of characters stored therein that match the feature quantity number information as recognition candidate characters, The feature amount data stored in advance for this recognition candidate character is output as dictionary data to the comparison circuit 580 in a predetermined order.
[0081]
As shown in the block diagram of FIG. 8, the dictionary data generation circuit 560 includes a dictionary address generation circuit 561, a RETRY counter 562, a dictionary data ROM 563, and a switching signal counter 564, and is stored in the dictionary address generation circuit 561 and the dictionary data ROM 563. Is a dictionary size switching signal, and a switching signal counter 564 is provided with a feature data switching signal by the CPU 501.
[0082]
The dictionary data ROM 563 stores two types of dictionary sizes of 3 × 3, 5 × 5 for 256 characters or symbols for the top and bottom recognition shown in the following (Table 1) (hereinafter simply referred to as “reference characters”). In each case, data (dictionary data) corresponding to the above-described feature amount data is obtained in advance and stored.
[0083]
[Table 1]
Figure 0003587008
On the other hand, the dictionary address generation circuit 561 uses the feature quantity number information (15 bits in total), 3 bits from the RETRY counter 562, and a total of 19 bits of the dictionary size switching signal (1 bit) as addresses, and outputs the corresponding dictionary data in the dictionary data ROM 563. It is configured as a 256 Kbyte ROM table (hereinafter, referred to as an “address generation ROM table”) that outputs an address as 8-bit data.
[0084]
The procedure for creating the address generation ROM table will be specifically described as follows. That is, for each of the 256 reference characters, the number information is obtained in advance for each of the 3 × 3, 5 × 5 dictionary sizes by the above-described procedure, and the 256 characters are classified for each combination of the number. FIG. 9 shows the number of elements and the number of elements of the four characteristic shapes (closed loop, cross intersection, T-shaped intersection, character end point) of the reference characters of (Table 1) above in a 5 × 5 dictionary size. Listed in search of.
[0085]
From this chart, for example, the hiragana corresponding to the combination of the number information of (number of closed loops, number of crosses, number of T-shaped intersections, number of characters, number of elements) = (0, 0, 0, 4, 2) is “ It can be seen that there are four characters, "i", "u", "ko", and "ri".
Therefore, for the combination of the number information, in the hiragana, these four characters are listed as recognition candidate characters to be compared by the comparison circuit 580, and the address is associated with the feature amount number information. It is stored in the generation ROM table. Similarly, other reference characters are classified for each combination of the number information, and stored in the address generation ROM table.
[0086]
Further, in the present embodiment, a maximum of eight recognition candidate characters can be stored for the same feature quantity number information in the ROM table, and corresponds to the feature quantity number information input by the ROM table. When the number N of recognition candidate characters to be recognized is determined, the number is transmitted to the CPU 501 as a dictionary number signal (3 bits).
[0087]
The CPU 501 can know the number N of recognition candidate characters corresponding to the predetermined feature quantity number information from the dictionary number signal, and transmits a dictionary RETRY signal to the RETRY counter 562 to update the count value to the maximum N. By doing so, the recognition candidate characters are selected one by one.
Therefore, for example, the character “ko” of the above-described recognition candidate character is a feature amount indicating (closed loop number, cross intersection number, T-shaped intersection number, character fraction, element number) = (0, 0, 0, 4, 2). The selection is made based on the number information (15 bits) and the count number (3 bits) from the RETRY counter 562 indicating the third.
[0088]
Actually, each character is stored in the address generation ROM table in a character code represented by 8 bits. When "ko" is selected as a recognition candidate character as described above, the character code is stored as a dictionary address. The data is sent to the data ROM 563. The dictionary data ROM 563 is a 16 KB byte ROM table (hereinafter referred to as “dictionary”) that outputs the dictionary data of the corresponding character in 8-bit units using the dictionary address (8 bits), the dictionary size switching signal (1 bit) and the switching signal counter (5 bits) as addresses. This is referred to as a generation ROM table ”).
[0089]
FIG. 10 is a diagram showing a configuration of dictionary data stored for each character code in the dictionary generation ROM table. The same character code has a 3 × 3 dictionary size on the left and a 5 × 5 dictionary size on the right. The dictionary data is stored, and ratio information, closed loop information, and feature point data information are stored in units of 8 bits for each address.
[0090]
In the data column of FIG. 7, "ratio information" represents the aspect ratio of a rectangle circumscribing a character in 8 bits.
“Closed loop information” is information corresponding to the above-described closed loop position information. This information is obtained by a method similar to that described with reference to FIG. 7. For example, the position of the closed loop of Hiragana in the 3 × 3 dictionary size is a position marked with a circle in FIG. Is set to “1”. According to this, 9 bits are required for a 3 × 3 dictionary size and 25 bits are required for a 5 × 5 dictionary size, but the presence or absence of a central closed loop does not affect the direction of characters as described above. Therefore, the data is unnecessary for top-bottom recognition. Each data is reduced by 1 bit, and is expressed by 8 bits (1 Byte) for a 3 × 3 dictionary size and 24 bits (3 Bytes) for a 5 × 5 dictionary size. The former is stored in one address, and the latter is stored in three addresses (closed loop information 1, 2, 3).
[0091]
“Feature point data” is a general term for position information or adjacent direction information for three types of feature points, such as a cross intersection, a T-shaped intersection, and an end point. Is expressed as data of 8 bits for each corresponding block.
FIG. 12 is a diagram illustrating a storage state of the feature point data in a 3 × 3 dictionary size in a bit plane.
[0092]
As shown in the figure, eight types of bit planes indicating the presence or absence of each feature point or information in the adjacent direction in each block (MAT3_11 to 33) are prepared from the front to the back, and the data of these bit planes is stored in each block. Are handled as 8-bit (1 Byte) feature point data MAT3_1-33 (left side in FIG. 10). Therefore, in the case of a 3 × 3 dictionary size, the data is divided into nine blocks, and thus this feature point data is represented as 9 bytes of data for one character.
[0093]
The creation of such feature point data is basically performed in the same manner as described in the case of extracting the feature amount data. First, each reference character in (Table 1) is shown in an example of FIG. Is divided into nine 3 × 3 blocks.
In the cross position information, among the MATs 3_1 to 33 of the bit plane, the bit of the block in which the cross intersection of the character exists is “1”, and the bits of the other blocks are “0”. Similarly, in the T-shaped position information and the end point position information, the bit of the block in which the feature amount is located is set to “1”, and the bits of the other blocks are set to “0”.
[0094]
The T-shaped adjacent direction information indicates the T-shaped adjacent direction in the block where the T-shaped intersection exists by 2-bit data. That is, the adjacent directions are indicated by “00”, “01”, “10”, and “11” in accordance with (up / left / right / down), so that two bit planes (T-shaped adjacent Direction information bits 1 and 2) are prepared.
[0095]
The end point adjacent direction information indicates the adjacent direction in the block where the end point exists by 3-bit data. That is, the adjacent directions are “000”, “001”, “010”, “011”, “100”, “101” according to (up / down / left / right / upper left / upper right / lower left / lower right). , “110”, and “111”, and therefore, three bit planes (end point adjacent direction information bits 1, 2, and 3) are prepared.
[0096]
FIG. 14 is a diagram showing bit planes of feature point data in the case of a dictionary size of 5 × 5. As shown in an example of FIG. 15, each reference character in (Table 1) is divided into 25 blocks, and each block is divided into 25 blocks. Are assigned, and feature point data is created in the same manner as in the case of the above 3 × 3 dictionary size. Since the feature point data in each block is represented by 8 bits (1 byte), the feature point data is expressed as 1 × 25 = 25 bytes data per character.
[0097]
The dictionary data as described above is created in advance for all 256 reference characters shown in (Table 1), and stored for each character code in the dictionary generation ROM table of the dictionary data ROM 563 (FIG. 8). The data required according to the dictionary address (character code) output from the generation circuit 561 and the reception state of the dictionary size switching signal and the characteristic data switching signal from the CPU 501 are stored in the address number xx01 (3x3 dictionary) shown in FIG. The data is output to the comparison circuit 580 (FIG. 3) in 8-bit units in the order of the address numbers from xx21 (in the case of 5 × 5 dictionary size) or xx21 (in the case of 5 × 5 dictionary size).
[0098]
As described above, the characteristic data switching signal from the CPU 501 is also supplied to the characteristic data rearranging circuit 549 (FIG. 6) of the characteristic amount extracting circuit 540 in addition to the switching signal counter 564. Rearranges the feature amount data extracted from the cut-out characters according to the dictionary size so as to be in the same order as the storage state in FIG. The amount data is output to the comparison circuit 580 in units of 8 bits, so that the data can be efficiently transmitted through a bus with a small bit width as described in the feature amount extraction circuit 540, and the comparison circuit There is an advantage that the comparison process at 580 is facilitated and its hardware circuit can be simplified.
[0099]
[Rotation angle determination processing]
The comparison circuit 580 compares the dictionary data output from the dictionary data generation circuit 560 by 90 ° with the feature data output from the feature extraction circuit 540, and compares the feature data at each rotation angle with the dictionary data. On the other hand, while generating information relating to the degree of coincidence of the data, when the extracted character is recognized as a specific character meaning copy prohibition, it is compared with an internal specific character dictionary, and copy prohibition information is generated.
[0100]
FIG. 16 is a block diagram showing a configuration of the comparison circuit 580.
As shown in the figure, the comparison circuit 580 includes selectors 581 and 582 provided in an input unit and an output unit, a specific character dictionary 583, a rotation angle evaluation circuit 584 corresponding to a 3 × 3 dictionary size, and a specific character. An evaluation circuit 585 and a rotation angle evaluation circuit 586 and a specific character evaluation circuit 587 corresponding to a 5 × 5 dictionary size are provided.
[0101]
The specific character dictionary 583 stores dictionary data related to specific characters included in a normal copy-inhibited document, for example, so-called “secret” characters in which “secret” characters are circled (this dictionary data is stored in the dictionary data generation circuit). In order to distinguish the dictionary data from the top and bottom recognition dictionary data output from the 560, hereinafter, referred to as “prohibited dictionary data”), the dictionary sizes 3 × 3 and 5 × 5 are stored in advance and given to the selector 581.
[0102]
When the same type of feature data and dictionary data are input from the feature extraction circuit 540 and the dictionary data generation circuit 560 to the selector 581, the selector 581 responds to the contents of the dictionary size switching signal sent from the CPU 501. The destination of the feature data and the dictionary data is switched.
Hereinafter, a case in which a switching signal of a 3 × 3 dictionary size is transmitted from the CPU 501 will be mainly described. However, a case of a 5 × 5 dictionary size is processed in substantially the same manner.
[0103]
Upon receiving the 3 × 3 dictionary switching signal, the selector 581 sends the feature amount data to the rotation angle evaluation circuit 584 and the specific character evaluation circuit 585, and sends the dictionary data to the rotation angle evaluation circuit 584. On the other hand, a dictionary size switching signal is also given to the specific document dictionary 583, whereby the prohibited dictionary data of 3 × 3 dictionary size is selected, and the selector 581 sends this to the specific character evaluation circuit 585.
[0104]
As shown in the block diagram of FIG. 17, the rotation angle evaluation circuit 584 includes a closed loop evaluation circuit 590, an aspect ratio evaluation circuit 591, a feature point evaluation circuit 592, and predetermined coefficients for output values from the evaluation circuits 590 to 592. Weighting circuits 593 to 595 for weighting by multiplying by K1 to K3, an adding circuit 596 for adding the output value from the weighting circuit for each rotation angle, and a maximum value extracting circuit for extracting the largest result of the weighting 597, the feature amount data and the dictionary data are compared for each rotation angle to determine the degree of coincidence, the highest one is extracted, and this is converted into a percentage for the case of complete coincidence. The rotational angle at that time is output to the CPU 501 as rotational angle information as the coincidence degree information.
[0105]
That is, the feature amount data and the dictionary data are input to the closed loop evaluation circuit 590, the aspect ratio evaluation circuit 591 and the feature point evaluation circuit 592 for each content, and each evaluation circuit 590 to 592 converts the input dictionary data to 90 It has a rotation processing circuit that rotates by the unit of °, and calculates the degree of coincidence by comparing the contents of the dictionary data and the characteristic data rotated by each rotation angle for each divided block.
[0106]
Except for the aspect ratio evaluation circuit 591, the degree of coincidence calculated here is determined by using the exclusive form of the exclusive OR to determine the coincidence of the set state of the corresponding bit (“1” only when coincident). It is obtained by adding the evaluation points obtained based on this.
For example, in the closed loop evaluation circuit 590, the presence or absence of the closed loop is determined by determining the other 8 bits (excluding 1 bit of the central block, out of 9 bits (25 bits in a 5 × 5 dictionary size) corresponding to the number of divided blocks as described above). The corresponding 24 bits are compared with the dictionary data for each corresponding block, and if all bits match, 8 points (24 points) are given.
[0107]
Since the aspect ratio information is irrelevant to the number of divided blocks, the aspect ratio evaluation circuit 591 evaluates the degree of coincidence of the ratio information as follows. That is, the ratio A / B of the aspect ratio A of the dictionary data and the aspect ratio B of the feature data is determined, and the higher the degree of coincidence, that is, the closer the A / B is to 1, the higher the score. For example, when | A / B-1 | <0.1, 8 points; When 1 ≦ | A / B−1 | <0.2, 0 to 8 points are given according to the magnitude of the error between the value of A / B and 1, such as 7 points.
[0108]
In this case, due to the property of the aspect ratio, the evaluation points of 0 ° and 180 ° coincide with the evaluation points of 90 ° and 270 °, respectively, and this evaluation point is related to the number of block divisions as described above. Because it is required without a dictionary, naturally it does not depend on the dictionary size.
The feature point evaluation circuit 592 compares feature point data (see FIG. 10) regarding three feature points (a cross intersection, a T-shaped intersection, and an end point) in the divided blocks.
[0109]
In each feature point data, as shown in FIG. 12 (FIG. 14), information of eight types of bit planes is represented by 8 bits for each block, and the degree of coincidence with dictionary data is obtained as follows. .
That is, as for the cross position information, if the presence or absence in the block matches the dictionary data, one point is given as it is. Regarding the position information of the T-shaped intersection and the end point, even if the presence or absence of the T-shaped intersection or the end point in the block matches the dictionary data, if “Yes”, the information in the adjacent direction is further compared, and One point is given only when the adjacent information also matches. In the case of matching with "absence", one point is given as it is without comparing adjacent information.
[0110]
Therefore, 9 points (25 points in the case of a 5 × 5 dictionary size) are given if the information in all blocks matches for one feature point, and if all three types of feature points match completely, 27 points (75 points) are given as the highest points.
The above-described evaluation processing is executed in the closed loop evaluation circuit 590, the aspect ratio evaluation circuit 591 and the feature point evaluation circuit 592 while rotating the corresponding dictionary data to 0 °, 90 °, 180 ° and 270 °. The evaluation points at the rotation angle are output to the next-stage weighting circuits 593 to 594, and the respective evaluation points are multiplied by weighting coefficients K1, K2, and K3 and output to the addition circuit 596.
[0111]
Here, the reason why the evaluation point of each feature data is given a light weight by weighting is that the effect of the evaluation result obtained for each feature data on the recognition in the character direction (that is, the top and bottom recognition) is not necessarily equal, and It is considered that depending on the contents of the above, changing the specific gravity of the evaluation may make it possible to perform more accurate upside-down recognition.
For example, if the manuscript is an ordinary Japanese sentence, the hiragana accounts for 60 to 70% of the whole manuscript and plays a very important role in recognizing the top and bottom. In this case, the closed loop containing many hiragana is used. If the evaluation point is increased and its influence is increased, the top and bottom recognition can be performed more effectively than by referring to the evaluation points in other aspect ratios. Therefore, by making the coefficient K2 in the weighting circuit 594 larger than the coefficients K1 and K3 in the other weighting circuits 593 and 594, the accuracy of the top and bottom recognition can be improved.
[0112]
If the original contains many alphabetic characters, the evaluation point of the feature point data is considered to have a large influence for the top-bottom recognition. Therefore, the value of the coefficient K3 is set to be larger than the other coefficients K1 and K2. What should I do? The values of these coefficients K1 to K3 can be obtained experimentally or empirically. These values are stored in advance in a memory inside the CPU 501, and if necessary, for example, the type of the document is stored in the operation panel 70. Is provided so that the weighting circuits 593 to 595 can be set by the operator inputting the type of sentence in advance.
[0113]
The evaluation points whose evaluation specific gravity has been changed by each of the weighting circuits 593 to 595 in this way are added by the number of the evaluation items for each rotation angle in the adding circuit 596 and output to the maximum value extracting circuit 597 in the next stage. Is done.
The maximum value extraction circuit 597 extracts the largest one of the addition points at each rotation angle, converts the addition point into a percentage with respect to the maximum point in the case of a perfect match, and obtains “matching degree information”. The angle at that time is transmitted to the CPU 501 as “rotation angle information”.
[0114]
Referring back to FIG. 16, the specific character evaluation circuit 585 compares the feature data and the prohibited dictionary data for each rotation angle. The configuration of the specific character evaluation circuit 585 is basically the same as the operation of the rotation angle evaluation circuit 584. The evaluation point is calculated by comparing the feature data and the prohibited dictionary data at each rotation angle. When the maximum evaluation point exceeds a predetermined threshold value set inside, it is determined that the character is a copy prohibited character such as “confidential” and a copy prohibited signal is transmitted to the CPU 501 via the selector 582.
[0115]
When receiving the copy prohibition information from the comparison circuit 580, the CPU 501 transmits a copy prohibition signal to the main control unit 460 (FIG. 2), and the main control unit 460 further transmits the copy prohibition signal to the memory control unit 430 and the printer control unit 440. A copy prohibition instruction is sent so that the copy operation of the document is not executed. Usually, the copy prohibition phrase is often described at the top of the document, but it is also possible that it is described at the bottom of the document, or even if the document is upside down by chance even at the top of the document, The above-described specific character evaluation process needs to be performed for all the characters of one page of the document. For this reason, the evaluation time of a specific character may become longer and the copy operation may be delayed. For example, a lockable switch box may be provided inside the device and a mode changeover switch may be provided inside the device, or a security code may be provided from the operation panel. It is convenient if only a specific person can be switched to a mode in which the specific character is not recognized as necessary by inputting.
[0116]
On the other hand, the CPU 501 compares the value of the coincidence information output from the comparison circuit 580 with a predetermined threshold value set therein, and if the value of the coincidence information is larger than the threshold value, It is determined that the result is a match between the entered character and the reference character, and a signal indicating the rotation angle of the rotation angle information is transmitted to the memory control unit 430 as a rotation angle signal.
[0117]
The memory control unit 430 rotates the image data of the document by the rotation angle designated by the CPU 501. CPU 501 does not receive the above-described copy prohibition information from comparison circuit 580 and receives a specific color count-up signal from specific color extraction circuit 510 even after the time required for evaluating a specific character of one page of the document has elapsed. Otherwise, it is determined that the original is not a copy-inhibited original, and the rotated image data is output to the printer control unit 440, so that the original image is printed on the recording sheet in the correct direction. Will be played.
[0118]
If the value of the matching degree information is lower than the internally set threshold value, the dictionary size is switched and re-evaluated, or the next character is cut out, and the feature amount extraction circuit 540 and the dictionary data generation The processing in the circuit 560 and the comparison circuit 580 is repeated until the top and bottom recognition is completed. Details will be described later.
(4) Operation in control section 400
FIG. 18 is a flowchart showing a main routine of a control operation executed by control unit 400.
[0119]
When the power is turned on to the apparatus, first, initial settings such as registers in each CPU are performed (steps S1 and S2). At this time, the dictionary size switching signal is also set to the 3 × 3 dictionary size as an initial value.
Thereafter, temperature control of the fixing unit 327 (FIG. 1) and display control of the operation panel which are not directly involved in the copy operation are performed as standby processing (step S3), and the start key of the operation panel 70 is pressed to start copying. (Step S4), the document is sequentially conveyed to the document glass plate 21 by the document automatic conveyance unit 100, scanned by the scanner 22, and the read image data is subjected to image processing by the image signal processing unit 420. An image input process for writing one page of the document into the image memory 431 is performed (step S5).
[0120]
Then, image data for one page of a predetermined document is read from the image memory 431, and the document discrimination unit 500 recognizes the direction of the character and performs the top and bottom recognition processing of the document (step S6). As a result of the top and bottom recognition processing, If the image data of the document needs to be rotated in an appropriate direction, the rotation processing unit 432 performs a rotation process by a required rotation angle (step S7).
[0121]
Next, it is determined whether or not the original is copy-prohibited (step S8). That is, as described above, the document discriminating unit 500 determines that the document is a copy prohibited document, such as a banknote or a copy prohibited document, and the main control unit 460 receives the copy prohibition signal. An instruction is sent to 440 not to perform the image forming process. If not, the image forming process is executed (step S9), and then the process returns to the waiting process of step 3.
[0122]
FIG. 19 and FIG. 20 are flowcharts showing a subroutine of the top and bottom recognition process in step S6.
First, in step S601 in FIG. 19, the CPU 501 issues a RETRY signal to instruct the character extracting circuit 530 to extract a character image from the image data in the image memory 431.
[0123]
The character cutout circuit 530 cuts out a character image for one character based on this signal as described above, sets a character size represented by the product of the number of horizontal pixels X and the number of vertical pixels Y as an XY signal, and The ratio of the white pixels is transmitted to the CPU 501 as a B / W signal. First, the CPU 501 determines, based on the XY signal, whether or not the cut-out character is not a large-size character of a predetermined size or more (step S602). The large-size character referred to here indicates a vertical and horizontal character size of, for example, 10 mm or more (at 400 dpi, X or Y exceeds 157 dots).
[0124]
In order to determine the size of the characters in this way, large-sized characters are not often used as characters used in a normal manuscript, and even if large-sized characters are used as headlines in newspapers and the like, This is because it is highly probable that the characters, such as emphasized characters and inclined characters, are considerably deformed, and are not suitable as characters to be recognized for top-bottom recognition.
[0125]
Next, based on the B / W signal, the CPU 501 determines whether the ratio B / W of the black pixels and the white pixels in the cut-out character image is not a predetermined value, for example, 1 or more (step S603). When the B / W ratio is 1 or more, that is, when the number of black pixels is 50% or more of the entire pixels, the character is considered to be an extremely deformed bold or inverted character, and this is also recognized as upside down. Is not appropriate as a target character, and it is desirable to eliminate it in advance.
[0126]
If the character size or the B / W ratio exceeds the respective predetermined value as a result of the above-described determination, the CPU 501 determines that a character cutout error has occurred (Yes in step S604) and returns to the character cutout circuit 530 again. Issues a RETRY signal to cause the next character to be cut out.
On the other hand, if it is not determined in step S604 that there is a character cutout error, the cutout image data is sent to the feature amount extraction circuit 540, and the CPU 501 processes the image data in a 3 × 3 dictionary size. The dictionary size switching signal is transmitted to each unit of the feature amount extraction circuit 540, the dictionary data generation circuit 560, and the comparison circuit 580 (step S605).
[0127]
Then, the feature amount of the character is extracted by the extraction circuits 541 to 546 (FIG. 6) in the feature amount extraction circuit 540 (step S606), and the ratio information, the number of elements, the closed loop It is determined whether or not each piece of information on the cross intersection, the T-shaped intersection, and the end point is equal to or larger than the threshold set for the 3 × 3 dictionary size (step S607).
[0128]
If even one piece of information exceeds the threshold value corresponding to the information, it is determined in step S608 that a feature amount extraction error has occurred, and a signal (feature amount extraction error signal) is sent to the CPU 501, and the CPU 501 It is determined whether or not the dictionary size is 3 × 3 (step S611). Since the 3 × 3 dictionary size is set as described above in the initial setting, the 5 × 5 dictionary size with a higher resolution is further used. A dictionary switching signal to a 5 × 5 dictionary size is transmitted to the feature extraction circuit 540 and the like in order to execute accurate feature extraction (step S612).
[0129]
As a result, the feature value extraction circuit 540 performs feature value extraction again with a 5 × 5 dictionary size, and then performs an error check on the number information of each feature value (steps S606 and S607), and there is still a feature value extraction error. If it is determined (Yes in step S608), the process proceeds to step S611. At this time, since the size is already 5 × 5 dictionary size, it is determined to be “No” and the process returns to step S601 to return to the RETRY signal. An instruction to cut out the next character is issued, and the processing from step S602 described above is performed on the newly cut out character.
[0130]
FIG. 21 is a diagram showing the relationship between the error check of the feature amount extraction in step S608 and the dictionary switching operation (steps S611 and S612). In the figure, the number of feature values increases as going upward. However, as described above, the aspect ratio information and the number of elements do not depend on the dictionary size. Means the number information of each of the four characteristic shapes (closed loop, cross intersection, T-shaped intersection, end point) except for.
[0131]
First, feature quantities are extracted in a 3 × 3 dictionary size. If the number of feature quantities at this time exceeds a feature quantity extraction error value (threshold) in the 3 × 3 dictionary size, then a 5 × 5 The feature amount is extracted by switching to the dictionary size. As described above, each piece of information other than the aspect ratio information and the number of elements counts only one even if the same block includes a plurality of the same feature points and the like. Therefore, the resolution is increased by increasing the number of divided blocks. The more accurate the number information can be grasped.
[0132]
Therefore, usually, processing is performed with a 3 × 3 dictionary size that allows high-speed comparison processing, and processing is performed with a 5 × 5 dictionary size that can perform accurate comparison processing on complex characters with many feature values. If an error occurs, it is determined that the extracted character is a character that is not included in the reference characters, such as a kanji with a large number of strokes, so that erroneous determination is prevented by switching the extracted character itself.
[0133]
FIG. 22 is a table showing feature value extraction error values in each feature value for each dictionary size. For each error value, the maximum value of each piece of feature quantity information obtained for each of the 3 × 3 dictionary and the 5 × 5 dictionary for the reference characters shown in Table 1 is set. As for the feature shape, the higher the resolution, the greater the number information to be extracted, so that the error value is also set higher.
[0134]
The reason why the error value of the number-of-elements information and the number-of-endpoints information in the table is large is that the above-mentioned “confidential” character is compared with the 256 reference characters incorporated in the dictionary data generation circuit 560 by the element. Both the number and the end points are large, and unless the error value is increased as described above, the error check circuit 548 of the characteristic amount extraction circuit 540 (FIG. 6) before the characteristic amount data of the character is input to the comparison circuit 580. This is because they are excluded by the check in ()). The numerical value in parentheses in the error value indicates an error value to be adopted when the copy prohibition mode based on the determination of the secret document is released.
[0135]
Returning to FIG. 19, if it is determined in step S608 that there is no feature amount extraction error, the dictionary character generation circuit 560 of the dictionary data generation circuit 560 (FIG. 8) uses the reference character Are selected, and the number thereof is transmitted to the CPU 501 as a dictionary number signal N. The CPU 501 checks the dictionary number signal N (step S609), and transmits a dictionary RETRY signal to the dictionary data generation circuit 560 to instruct the dictionary data to be output.
[0136]
Next, weighting coefficients K1 to K3 in the respective weighting circuits (see FIG. 17) of the rotation angle evaluation circuits 584 and 586 of the comparison circuit 580 are set (step S610). As described above, for example, the weighting coefficients are obtained in advance and stored in the CPU 501 for each type of Japanese or English sentence used in the document, and the operator inputs the type of the document from the operation panel. This is set by the CPU 501.
[0137]
After such preparation is completed, the process proceeds to step S613 in FIG. 20, and the dictionary data is read. This is started when the dictionary data generation circuit 560 receives the dictionary RETRY signal from the CPU 501. The count value is transmitted to the dictionary address generation circuit 561. The dictionary address generating circuit 561 selects a character corresponding to the count value from the N recognition candidate characters and transmits the character code to the dictionary data ROM 563 as a dictionary address. The dictionary data ROM 563 reads out the dictionary data as described in FIG. 10 based on the dictionary address and the dictionary size switching signal from the CPU 501, and counts up by the switching signal counter 564 which counts up by receiving the characteristic data switching signal from the CPU 501. , The dictionary data of the corresponding address is transmitted to the comparison circuit 580 in 8-bit (1 byte) order from the top.
[0138]
At this time, the feature data switching signal from the CPU 501 is 9 times when the dictionary size is 3 × 3 because the feature point data is 9 Bytes, and 25 when the dictionary size is 5 × 5 because the feature point data is 25 Bytes. Since the data is output twice, when only the comparison of the feature point data is considered, when the dictionary size is 5 × 5, about 2.5 times as much processing time is required as when the dictionary size is 3 × 3.
The comparison circuit 580 compares the feature amount data from the feature amount extraction circuit 540 with the contents of the dictionary data from the dictionary data generation circuit 560 for each rotation angle as described above, and calculates and agrees with each evaluation point. Degrees are determined, and the largest one is completely matched.
It is converted to a percentage relative to the combination and transmitted to the CPU 501 as information on the degree of coincidence together with information on the rotation angle (step S614).
[0139]
The CPU 501 compares the value of the matching degree information with a threshold value TH1 (for example, 95%) set in advance therein (step S615). If the value of the matching degree information exceeds this threshold value TH1, it is cut off. It is considered that the character and the character of the dictionary data completely match at the rotation angle, and the angle of the rotation angle information at that time is transmitted to the memory control unit 430 (FIG. 2) as a rotation angle signal, and the process returns (step S619).
[0140]
On the other hand, if the value indicated by the matching degree information transmitted from the comparing circuit 580 in step S615 is equal to or smaller than the threshold value TH1, dictionary data of another recognition candidate character is read and compared with the feature amount data, and the obtained matching value is obtained. The degree information is compared with each other to extract the maximum value (step S616). Therefore, in step S617, it is determined whether or not all of the dictionary numbers N of the recognition candidate characters have been compared. If not, the CPU 501 transmits a dictionary RETRY signal, and thereby the dictionary data generation circuit 560. Switches the dictionary data and outputs it (step S613). If the coincidence information newly obtained by the comparison circuit 580 based on the dictionary data exceeds the above TH1, the rotation angle is used as a rotation certain signal and the memory control is performed. Otherwise, the process returns to step S616 to extract the maximum value of the matching degree information.
[0141]
The extraction processing in step S616 is repeated up to (N-1) times until comparison with the dictionary data of all N recognition candidate characters (step S617), and the coincidence degree information exceeds TH1 on the way. If there is one, the rotation angle information at that time is used as a rotation angle signal (No in step S615, S619), and when there is no thing exceeding TH1 even though matching degree information has been obtained for all recognition candidate characters. (Yes in step S617), there is no help for it, and the maximum matching degree information extracted in step S616 is compared with a threshold value TH2 (for example, about 90%) smaller than the threshold value TH1 (step S618). If the information is equal to or greater than the threshold value TH2, the rotation angle at that time is used as a rotation angle signal (step S619).
[0142]
If the maximum value of the matching degree information is less than the threshold value TH2 in step S618, the process proceeds to step S620, and it is determined whether the current dictionary size is 3 × 3. If it is 3 × 3, the process proceeds to step S612 in FIG. 19, the resolution is increased by switching the dictionary size to 5 × 5, and the processing of steps S606 to S619 is executed again with this dictionary size.
[0143]
Also, if the dictionary size has already been switched to 5 × 5 in step S620 in FIG. 20, it is considered that the cut-out character is inappropriate for upside-down recognition, and the process returns to step S601 in FIG. Then, the cut-out character is switched, and the operation of the above-described top-bottom recognition processing is repeated.
As described above, in the present embodiment, dictionary data relating to the 256 reference characters to be recognized is stored in advance, and the characters extracted by the character extraction circuit 530 are stored in the feature amount extraction circuit 540. Generates feature quantity number information that does not depend on the direction of the character and feature quantity data that depends on the direction of the letter. First, recognition candidate characters are selected from the 256 characters based on the feature quantity number information. Since a limited number of dictionary data and feature data of cut out characters are compared, the number of comparison processes is extremely reduced, and the processing time for top-bottom recognition can be greatly reduced. In this case, the direction of the character can be determined by comparing the matching degree information once.
[0144]
Moreover, since processing such as extraction of the feature amount and comparison with the dictionary data can all be achieved by a hardware circuit, execution of a complicated pattern recognition algorithm is unnecessary, and more rapid processing becomes possible.
Regarding the cut-out characters, for the characters for which it is difficult to determine the top-bottom recognition in advance, the character cut-out error is determined in advance (FIG. 19, step S604) and the feature extraction error is determined (step S608 in FIG. 19). Since it is excluded, it is possible to compare characters different from the dictionary data, and to prevent erroneous recognition when the comparison result is good by chance.
(5) Modified example
The embodiments of the image input apparatus according to the present invention have been described above. However, it is needless to say that the present invention is not limited to the above embodiments, and the following modified examples can be considered.
[0145]
(5-1) In the above-described embodiment, position information or adjacent direction information of a character-specific local shape such as a closed loop, a cross intersection, a T-shaped intersection, or an end point is extracted as a feature amount for top and bottom recognition. Used to determine character direction. Needless to say, the greater the amount of information, the more certainty of top-bottom recognition increases. However, depending on the character to be recognized, it is also possible to determine the direction based on some of the information. No information is needed.
[0146]
Conversely, in the above embodiment, when the matching degree information of one cut-out character is larger than the threshold value TH1, the rotation angle is immediately regarded as the document direction and the rotation processing of the image data is performed. If the cutout character is also checked and the rotation angle is recognized as the document direction only when the result matches, the accuracy of the top and bottom recognition increases.
[0147]
(5-2) Also, in the above embodiment, both the feature quantity number information independent of the character direction and the feature quantity data dependent on the character direction are extracted from the cut-out character image, and the feature quantity is extracted. Recognition candidate characters to be compared are listed first based on the number information, and the dictionary data and feature amount data of the recognition candidate characters are compared in order, so that the top and bottom recognition processing can be performed extremely efficiently and quickly. However, in some cases, all dictionary data and feature amount data may be compared in order without performing a process of listing recognition candidate characters based on feature amount number information. In this case, although the processing time is slightly longer than in the above-described embodiment, quicker and more accurate top-and-bottom recognition can be performed as compared with the conventional processing using pattern matching.
[0148]
(5-3) In the specific character evaluation circuits 585 and 587 (FIG. 16) of the comparison circuit 580, the prohibited dictionary data of the specific character dictionary 583 is rotated by 90 ° and compared with the characteristic amount data of the extracted character. The CPU 501 determines the original direction based on the rotation angle information and the degree of coincidence information from the rotation angle evaluation circuits 584 and 586, and then rotates the prohibited dictionary data by the rotation angle. The determination of a specific character may be performed.
[0149]
In the above embodiment, the specific character dictionary 583 of the comparison circuit 580 stores the so-called “confidential” one-character prohibition dictionary data, and when the read feature amount data matches this dictionary data. Although a copy prohibition signal is generated, in some cases, dictionary data is created and stored for a word composed of a plurality of characters, for example, for each character of the phrase “copy prohibition,” and the feature amount of the cut out character is stored. When the data continuously matches the dictionary data of “co”, “pi”, “-”, “prohibition”, and “stop” in this order, the specific character evaluation circuit 585 (587) outputs a copy prohibition signal. May be generated.
[0150]
(5-4) In the rotation angle evaluation circuit 584 (586), the dictionary data is rotated by 90 ° and compared with the feature data. However, even if the feature data is rotated and compared. Of course it is good. In this case, the direction of rotating the image data by the rotation processing unit 432 is reversed.
In addition, most of ordinary documents have a vertically long document in which characters are printed in a horizontal direction. Therefore, even if the comparison at a rotation angle of 90 ° or 270 ° is omitted, there will be no inconvenience. Conversely, by making the width of the rotation angle of 90 ° smaller and making a comparison while rotating the document little by little, the document is moved to the document reading position on the document glass plate 21 due to the inconvenience of the transport belt 14 of the automatic document transport device 100. Even when the image data is installed obliquely, the image data can be rotated and output in the correct direction.
[0151]
(5-5) In the above embodiment, an example in which the image input apparatus according to the present invention is applied to a copying machine has been described. However, the present invention can be applied to other apparatuses which need to read an original, for example, an image input apparatus in a facsimile apparatus. Applied.
[0152]
【The invention's effect】
As described above, according to the configuration of the image input device according to the present invention, the feature amount extraction unit uses the local shape position in the character image extracted by the character extraction unit or the local shape existing in the position. The direction in which the typical shape is adjacent to another part in the same character image is extracted as a character feature value, and the dictionary data of the candidate character is extracted from a plurality of dictionary data based on the number of local shapes in the character image. Is selected, the extracted character feature amount is compared with the dictionary data of the selected candidate character, and the direction of the document is determined by recognizing the direction of the character based on the comparison result. Since the image data is rotated and output, the image data is always output in an appropriate direction. In this case, the recognition of the character direction is performed not by the recognition of the pattern but only by the comparison of the relative position of the local shape or the adjacent direction, so that a complicated algorithm for pattern recognition is not required at all. Quick processing can be performed by a simple hardware circuit.
[0153]
Further, according to the present invention, the comparison unit compares the character feature value and the dictionary data while rotating the character data by a predetermined angle relatively to obtain a degree of coincidence between the character feature value and the dictionary data at each rotation angle. When the maximum value of the matching degree at each rotation angle is larger than a predetermined reference value, the recognition unit recognizes the direction of the character image based on the rotation angle at the maximum matching degree. Can be accurately determined.
[0154]
Furthermore, according to the present invention, the local shape of the character image is at least one of a character end point, a character T-shaped intersection, a character crossed intersection, and a character closed loop, all of which are character-specific shapes. Therefore, the direction of the character can be determined more accurately based on the information on the relative position and the adjacent direction.
Further, the present invention provides a method for characterizing a position of a local shape in a character image extracted by a character cutout unit, or a direction in which a local shape existing at the position is adjacent to another part in the same character image. The extracted character feature amount is compared with the plurality of dictionary data by the comparing unit.In this comparison, the control unit determines that the number of local shapes in the character image is larger than a predetermined number. If it is determined, the comparison by the comparing means is prohibited, so that a cut-out character that is not suitable for top-bottom recognition can be prevented from being compared with dictionary data.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of a copying machine to which an image input device according to the present invention is applied.
FIG. 2 is a block diagram showing a configuration of a control unit in the copying machine.
FIG. 3 is a block diagram showing a configuration of a document discrimination unit in the control unit.
FIG. 4 is a block diagram illustrating a configuration of a specific color extraction circuit of the document determination unit.
FIG. 5 is a diagram for explaining the contents of a histogram generated by a histogram generation circuit of the document determination unit.
FIG. 6 is a block diagram illustrating a configuration of a feature amount extraction circuit of the document determination unit.
FIG. 7 is a diagram for explaining the contents of closed loop position information extracted by a closed loop extraction circuit in the feature amount extraction circuit.
FIG. 8 is a block diagram showing a configuration of a dictionary data generation circuit in the document discrimination section.
FIG. 9 is a diagram showing the value of each feature quantity number information in a 5 × 5 dictionary size for 46 characters of hiragana among reference characters.
FIG. 10 is a diagram showing the contents of dictionary data for each reference character in the dictionary data ROM of the dictionary data generation circuit.
FIG. 11 is a diagram for explaining generation of closed-loop position information stored in the dictionary data in the case of a 3 × 3 dictionary size.
FIG. 12 is a diagram schematically showing a storage state of feature point data of a 3 × 3 dictionary size in the dictionary data by a bit plane.
FIG. 13 is a diagram for explaining a case in which a hiragana character is divided into nine blocks to obtain position information of each feature point in a 3 × 3 dictionary size.
FIG. 14 is a diagram schematically showing a storage state of feature point data of 5 × 5 dictionary size in the dictionary data by a bit plane.
FIG. 15 is a diagram for explaining a case in which a hiragana character is divided into 25 blocks to obtain position information of each feature point in a 5 × 5 dictionary size.
FIG. 16 is a block diagram illustrating a configuration of a comparison circuit in the control unit.
FIG. 17 is a block diagram illustrating a configuration of a rotation angle evaluation circuit in the comparison circuit.
FIG. 18 is a flowchart showing a main routine of a control operation in the control unit.
FIG. 19 is a flowchart illustrating a subroutine of a top-bottom recognition process in step S6 of FIG. 18;
FIG. 20 is a flowchart continued from FIG. 19;
FIG. 21 is a diagram illustrating a relationship between dictionary size switching and the number of feature quantities.
FIG. 22 is a diagram illustrating an example of an extraction error value of the number of feature values in each dictionary size.
FIG. 23 is a diagram for explaining a conventional character direction recognition method.
[Explanation of symbols]
100 Automatic Document Feeder
200 Image reading unit
300 Printer section
400 control unit
410 Image reading control unit
420 image signal processing unit
430 Memory control unit
431 Image memory
432 rotation processing unit
440 Printer control unit
450 External communication control unit
460 Main control unit
500 Document discriminator
501 CPU
510 Specific color extraction circuit
520 Color data cancel circuit
530 Character segmentation circuit
532 element number extraction circuit
540 Feature Extraction Circuit
560 Dictionary data generation circuit
580 Comparison circuit

Claims (4)

原稿の画像を入力するための装置であって、
原稿を読み取って画像データを生成する画像読取手段と、
前記画像データを記憶する画像データ記憶手段と、
前記画像データから文字画像を抽出する文字切り出し手段と、
当該文字画像における局所的な形状の位置、もしくは、当該位置に存する局所的な形状が、同じ文字画像内の他の部分と隣接する方向を文字特徴量として抽出する特徴量抽出手段と、
複数の文字の文字特徴量を辞書データとして予め記憶する特徴量記憶手段と、
前記特徴量記憶手段に記憶された辞書データから、前記文字画像における局所的な形状の数に基づいて候補文字の辞書データを選択する選択手段と、
前記特徴量抽出手段により抽出された文字特徴量と前記選択手段により選択された候補文字の辞書データを比較する比較手段と、
上記比較結果に基づいて前記文字画像の方向を認識する認識手段と、
前記認識手段の認識結果に基づいて前記画像データを回転する画像データ回転手段と、
を備えたことを特徴とする画像入力装置。
A device for inputting an image of a document,
Image reading means for reading an original to generate image data;
Image data storage means for storing the image data,
Character extraction means for extracting a character image from the image data,
A feature amount extraction unit that extracts a direction of a local shape in the character image , or a direction in which a local shape existing in the position is adjacent to another part in the same character image, as a character feature amount;
Feature value storage means for storing character feature values of a plurality of characters in advance as dictionary data;
Selecting means for selecting dictionary data of candidate characters based on the number of local shapes in the character image from the dictionary data stored in the feature amount storing means;
A comparison unit that compares the character feature amount extracted by the feature amount extraction unit with dictionary data of the candidate character selected by the selection unit ;
Recognition means for recognizing the direction of the character image based on the comparison result;
Image data rotation means for rotating the image data based on the recognition result of the recognition means,
An image input device comprising:
前記比較手段は、前記文字特徴量と辞書データを所定角度ずつ相対的に
回転させて、各回転角における当該文字特徴量と辞書データの一致度を求める回転角評価手段を備え、
前記認識手段は、各回転角における一致度のうち最大のものが所定の基準値より大きい場合に、その最大の一致度を有する回転角に基づいて文字画像の方向を認識することを特徴とする請求項1記載の画像入力装置。
The comparison means includes a rotation angle evaluation means for relatively rotating the character feature value and the dictionary data by a predetermined angle, and obtaining a degree of coincidence between the character feature value and the dictionary data at each rotation angle,
The recognition unit recognizes the direction of the character image based on the rotation angle having the maximum degree of coincidence when the maximum degree of coincidence at each rotation angle is larger than a predetermined reference value. The image input device according to claim 1.
前記文字画像における局所的な形状は、文字端点、文字T字交差点、文字十字交差点、文字閉ループのうち少なくとも1つの形状であることを特徴とする請求項1または2記載の画像入力装置。The image input device according to claim 1, wherein the local shape in the character image is at least one of a character end point, a character T-shaped intersection, a character crossed intersection, and a character closed loop. 原稿の画像を入力するための装置であって、
原稿を読み取って画像データを生成する画像読取手段と、
前記画像データを記憶する画像データ記憶手段と、
前記画像データから文字画像を抽出する文字切り出し手段と、
当該文字画像における局所的な形状の位置、もしくは、当該位置に存する局所的な形状が、同じ文字画像内の他の部分と隣接する方向を文字特徴量として抽出する特徴量抽出手段と、
複数の文字の文字特徴量を辞書データとして予め記憶する特徴量記憶手段と、
前記特徴量抽出手段により抽出された文字特徴量と前記特徴量記憶手段に記憶された辞書データを比較する比較手段と、
上記比較結果に基づいて前記文字画像の方向を認識する認識手段と、
前記認識手段の認識結果に基づいて前記画像データを回転する画像データ回転手段と、
前記文字画像における局所的な形状の数が所定数より大きい場合は、前記比較手段による比較を禁止する制御手段と、
を備えたことを特徴とする画像入力装置
A device for inputting an image of a document,
Image reading means for reading an original to generate image data;
Image data storage means for storing the image data;
Character extraction means for extracting a character image from the image data,
A feature amount extraction unit that extracts a direction of a local shape in the character image, or a direction in which a local shape existing in the position is adjacent to another part in the same character image as a character feature amount,
Feature value storage means for storing character feature values of a plurality of characters in advance as dictionary data;
A comparison unit that compares the character feature amount extracted by the feature amount extraction unit with the dictionary data stored in the feature amount storage unit;
Recognition means for recognizing the direction of the character image based on the comparison result,
Image data rotation means for rotating the image data based on the recognition result of the recognition means,
When the number of local shapes in the character image is larger than a predetermined number, control means for inhibiting comparison by the comparison means,
An image input device comprising:
JP02554997A 1997-02-07 1997-02-07 Image input device Expired - Fee Related JP3587008B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02554997A JP3587008B2 (en) 1997-02-07 1997-02-07 Image input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02554997A JP3587008B2 (en) 1997-02-07 1997-02-07 Image input device

Publications (2)

Publication Number Publication Date
JPH10224595A JPH10224595A (en) 1998-08-21
JP3587008B2 true JP3587008B2 (en) 2004-11-10

Family

ID=12169056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02554997A Expired - Fee Related JP3587008B2 (en) 1997-02-07 1997-02-07 Image input device

Country Status (1)

Country Link
JP (1) JP3587008B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340430B2 (en) 2007-07-10 2012-12-25 Sharp Laboratories Of America, Inc. Methods and systems for identifying digital image characteristics
US8160365B2 (en) 2008-06-30 2012-04-17 Sharp Laboratories Of America, Inc. Methods and systems for identifying digital image characteristics

Also Published As

Publication number Publication date
JPH10224595A (en) 1998-08-21

Similar Documents

Publication Publication Date Title
US5629990A (en) Image processing system
KR0136039B1 (en) Duplicating apparatus having unit for recognizing special original
EP0675631B1 (en) Anti-counterfeiting device for use in an image-processing apparatus
JP3178305B2 (en) Image processing method and apparatus, copier, scanner and printer equipped with the same
US6185404B1 (en) Image processing apparatus and method for generating a control signal based on a discrimination of whether an input image includes a specific image
US6011877A (en) Apparatus and method for determining the directional orientation of a document image based upon the location of detected punctuation marks within the document image
EP0932115A2 (en) Apparatus and method for pattern recognition
EP0342060A2 (en) Image processing apparatus
JP3587008B2 (en) Image input device
JP3587009B2 (en) Image input device
JPH06268859A (en) Picture processing unit
JP4050371B2 (en) Image processing device
JPH07143335A (en) Copy-inhibited original copying preventing device/method for color copying machine
JPH10224600A (en) Image input device
JPH10224599A (en) Image input device
JPH10224598A (en) Image input device
JPH10224602A (en) Image input device
JPH10224601A (en) Image input device
JPH10224597A (en) Image input device
JPH10224619A (en) Original discrimination device
JP3178440B2 (en) Image processing method and apparatus, copier, scanner and printer equipped with the same
JP2004282633A (en) Image processing apparatus and image forming apparatus
JPH11213089A (en) Image processor and its method
JPH09130516A (en) Image processing unit recognizing top and bottom of original image
JPH06105140A (en) Image forming device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040802

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080820

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080820

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090820

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090820

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100820

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100820

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110820

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120820

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees