JPH10224596A - 画像入力装置 - Google Patents

画像入力装置

Info

Publication number
JPH10224596A
JPH10224596A JP9025550A JP2555097A JPH10224596A JP H10224596 A JPH10224596 A JP H10224596A JP 9025550 A JP9025550 A JP 9025550A JP 2555097 A JP2555097 A JP 2555097A JP H10224596 A JPH10224596 A JP H10224596A
Authority
JP
Japan
Prior art keywords
character
data
image
dictionary
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9025550A
Other languages
English (en)
Other versions
JP3587009B2 (ja
Inventor
Shoji Imaizumi
祥二 今泉
Hideyuki Hashimoto
英幸 橋本
Toru Iida
徹 飯田
Tomoya Yoshimura
智也 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP02555097A priority Critical patent/JP3587009B2/ja
Publication of JPH10224596A publication Critical patent/JPH10224596A/ja
Application granted granted Critical
Publication of JP3587009B2 publication Critical patent/JP3587009B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 簡易な構成で原稿の向きを正確かつ迅速に認
識して、適正な方向で画像データを出力する画像入力装
置を提供する。 【解決手段】 文字切り出し回路530で切り出された
文字画像について、特徴量抽出回路540でその特徴量
を抽出し、文字の方向に依存する特徴量データと文字の
方向に依存しない特徴量個数情報に二分する。辞書デー
タ発生回路560では、特徴量個数情報に基づき認識候
補文字を選択し、その候補文字に関する辞書データを比
較回路580に出力する。比較回路580では、上記辞
書データを90゜ずつ回転させて上記特徴量データと比
較して、その特徴量ごとに重み付けする。これを回転角
ごとに加算し、その加算ポイントが最も高い回転角の情
報を一致度情報としてCPU501に送る。CPU50
1は当該一致度情報が所定の閾値以上である場合に、切
り出された文字と認識候補文字の一致があったとみな
し、そのときの回転角を角度情報としてメモリ制御部4
30に送信する。メモリ制御部430は、当該角度だけ
画像データを回転処理して出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、イメージリーダや
複写機の原稿読取部として用いられる画像入力装置に関
する。
【0002】
【従来の技術】従来、例えば、自動原稿搬送装置を備え
た複写機において、複数枚の原稿を連続して読み取って
コピーする場合、読み取られた原稿の向きに応じてコピ
ーが排出されるので、原稿を自動原稿搬送装置にセット
する際に、各原稿が一律に同じ方向を向いているか否か
を確認する必要があった。しかし、このような確認作業
は結構手間がかかるものであり、原稿枚数が多ければ、
それだけ反対方向の原稿を見落とすおそれも多くなる。
【0003】このような原稿方向の確認作業を怠ると、
複数の排出ビンに仕分けして排出するソートユニットを
備える複写機において所定のソートモードを実行させた
場合、各排出ビンに排出されたコピー束のそれぞれにつ
いてコピーの向きを修正しなければならないという不都
合があり、さらには、自動的にステープル止めを行うス
テープルユニットやパンチ穴開けを行うパンチユニット
を備えた複写機において、それらの機能を実行させる
と、異なる方向のコピー含むコピー束をそのままステー
プル止めしたり、パンチ穴を開けてしまうので、最悪の
場合にはもう一度コピー作業をやり直さなければならな
い事態も生じ、コピー作業における効率が大変悪くなる
と共にコピー用紙の無駄使いともなり、省資源化に反す
る。
【0004】このような不都合を避けるため、読み取っ
た画像データからまず原稿の向きを判別し(このような
原稿方向の判別を以下「天地認識」という。)、その画
像出力が適切な方向になるように画像データを回転処理
して出力する方法が考えられている。例えば、特開平4
−229763号公報には、次のような天地認識方法が
開示されている。
【0005】すなわち、予め所定の参照文字についてそ
の線部分における複数の点(参照点)を抽出してパター
ンとして記憶しておき、原稿画像を読み取って得られた
画像データから文字画像を切り出して、当該切り出され
た文字と参照点とを比較し、各参照点における文字の画
像信号の有無を、切り出した文字画像を90゜ずつ回転
させながら確認して各回転角における一致度を求める。
その一致度が一番高い回転角を、当該文字の方向と認識
し、これにより天地認識を行うようにしている。
【0006】具体的には、例えば、図23(a)に示す
ように、参照文字「A」について6個の参照点A1〜A
6を抽出して記憶しておき、切り出された文字画像が図
23(b)に示すように「A」が90゜左方向に横向き
になっている場合には、参照点A2、A5には文字の画
像信号は存在しないので一致度は低く、この文字画像を
90゜ずつ回転していき、参照点との一致度が最も高い
回転角を求めてこれを文字の方向として認識するように
している。
【0007】
【発明が解決しようとする課題】ところが上述した従来
の天地認識方法においては、特定の文字について参照点
における画像信号の有無を比較するだけであるため、そ
もそも読み取った文字が「A」であるか否かは不明であ
り、多くの参照文字のデータを内部のメモリに格納して
これを順次切り替えて比較しなければならない。また、
仮に切り出された文字が「A」の文字であったとして
も、格納した「A」のデータと切り出した文字画像がま
ったく同じサイズで同じ字体(フォント)であればよい
が、文字サイズが異なったり、少しでもフォントが変わ
れば、文字の方向が一致しているにもかかわらず当該参
照点の位置に画像信号が位置しないことになり、認識率
が著しく低下する。
【0008】このように認識対象となる文字のサイズや
フォントを予め知ることは不可能であり、仮に知ること
ができたとしてもそれぞれのフォントやサイズに対応し
た参照文字のデータを全て装置内に持つことは、大きな
メモリ容量が必要になるだけでなく、認識作業にも大変
な手間がかかるので、コピー作業の効率を著しく低下
し、システムとして機能しないという問題があった。
【0009】本発明は、上述のような問題点に鑑みてな
されたものであって、原稿の方向を簡単な構成で正確に
識別し、適切な方向に画像データを回転して出力できる
画像入力装置を提供することを目的とする。
【0010】
【課題を解決するための手段】上記目的を達成するた
め、本発明に係る画像入力装置は、原稿の画像を入力す
るための装置であって、原稿を読み取って画像データを
生成する画像読取手段と、前記画像データを記憶する画
像データ記憶手段と、前記画像データから文字画像を抽
出する文字切り出し手段と、当該文字画像における局所
的な形状の相対的位置もしくはその隣接方向を文字特徴
量として複数抽出する特徴量抽出手段と、所定文字につ
いて、前記特徴量抽出手段における文字特徴量と同様な
特徴量を、予め辞書データとして複数記憶する特徴量記
憶手段と、前記文字特徴量と前記辞書データをその特徴
量ごとに比較する比較手段と、前記比較手段における特
徴量ごとの比較結果に対して所定の重み付けを行う重み
付け手段と、前記重み付け手段の出力結果に基づいて文
字の方向を認識する認識手段と、前記認識手段の認識結
果に基づいて前記画像データを回転する画像データ回転
手段とを備えたことを特徴とする。
【0011】また、本発明は、前記比較手段が、前記文
字特徴量に対して辞書データを所定角度ずつ相対的に回
転させて、各回転角における当該文字特徴量と辞書デー
タの一致度を求める回転角評価手段を備え、前記重み付
け手段は、上記一致度に対し、その特徴量ごとに設定さ
れた重み付け係数を乗じて重み付けを行うことを特徴と
する。
【0012】さらに、本発明は、前記重み付け手段が、
各特徴量ごとの重み付け係数を変更する重み付け係数変
更手段を備えることを特徴とする。また、本発明は、さ
らに、原稿の種類を受け付ける原稿種類受付手段と、前
記受け付けた原稿の種類に応じて前記重み付け係数変更
手段における重み付け係数の変更を制御する重み付け係
数変更制御手段を備えることを特徴とする。
【0013】また、さらに、本発明は、前記認識手段
が、特徴量ごとに重み付けされた前記一致度を各回転角
ごとに加算し、その最大のものが所定の閾値より大きい
場合に、その最大の加算値を有する回転角に基づいて文
字画像の方向を認識することを特徴とする。また、さら
に、本発明は、前記文字画像における局所的な形状が、
文字閉ループ、文字十字交差点、文字T字交差点、文字
端点のうち少なくとも1つの形状であることを特徴とす
る。
【0014】
【発明の実施の形態】以下、本発明に係る画像入力装置
を、フルカラーのデジタル複写機に適用した場合につい
て説明する。 (1)フルカラーデジタル複写機全体の構成 まず、図1によりフルカラーデジタル複写機(以下、単
に「複写機」という。)の全体の構成を説明する。
【0015】同図に示すように、この複写機は、原稿を
自動的に搬送する原稿自動搬送部100と、搬送された
原稿の画像を読み取る画像読取部200と、読み取った
原稿画像のデータに基づいて記録シート上に画像を形成
するプリンタ部300と、からなる。原稿自動搬送部1
00は、原稿給紙トレイ11と、搬送ローラ群12と、
レジストローラ13と、搬送ベルト14などから構成さ
れる。原稿給紙トレイ11にセットされた原稿束は、搬
送ローラ群12により一番下の原稿から1枚ずつ下方に
給紙され、レジストローラ13でタイミングを取られ、
搬送ベルト14により画像読取部200の原稿ガラス板
21の原稿読取位置まで搬送される。
【0016】そして、画像読取部200で画像をスキャ
ンされた後、再び、搬送ベルト14が駆動され、排紙ロ
ーラ15を経て原稿排紙トレイ16上に排出される。ま
た、この原稿の裏面もスキャンする場合には、原稿の先
端が排紙ローラ15に至る直前で、切換爪17により原
稿の搬送路を反転ローラ18方向に切り替え、当該反転
ローラ18により原稿の向きを反転させて再び原稿ガラ
ス板21方向へ移送するようになっている。
【0017】画像読取部200は、上記原稿ガラス板2
1の原稿読取位置に搬送された原稿の画像を光学的に読
み取るものであって、スキャナ22、集光レンズ23、
CCDイメージセンサ24、スキャナモータM2などか
ら構成される。スキャナ22には、露光ランプ25とこ
の露光ランプ25の照射による原稿からの反射光を原稿
ガラス板21に平行な方向に光路変更するミラー26が
設置されて、スキャナモータM2により駆動されて図の
矢印方向に移動することにより原稿ガラス板21上の原
稿をスキャンする。
【0018】スキャナモータM2としてパルスモータが
使用されており、スキャナ22の位置は、ホームポジシ
ョンに設置された光電式のスキャナホームセンサSE1
による検出位置を基準として、その位置からの移動量、
すなわちパルスモータのステップ数に基づいて制御され
る。原稿からの反射光は、ミラー26に反射された後、
ミラー27、28および集光レンズ23を介してCCD
カラーイメージセンサ(以下、単に「CCDセンサ」と
いう)24のセンサ面まで導かれ、ここで電気信号に変
換されて各色成分(R,G,B)ごとの画像データが生
成される。
【0019】なお、ミラー27、28は対となって、ス
キャナ22の移動速度の半分の速度で同一方向に移動す
るようになっており、これによりスキャナ22から集光
レンズ23までの光路長を一定に保ち、常に原稿画像が
CCDセンサ24のセンサ面で結像するように構成され
ている。CCDセンサ24で生成された画像データは、
制御部400内の画像信号処理部420(図2参照)に
おいてA/D変換されてデジタル信号となり、さらにシ
ェーディング補正や濃度変換、エッジ強調などの必要な
処理を加えられた後、色成分ごとに画像メモリ431
(同図2)に格納される。
【0020】画像メモリ431に格納された画像データ
は、後述するように原稿判別部500でなされた天地認
識の結果に応じて回転処理され、最終的に、シアン
(C)、マゼンタ(M)、イエロー(Y)、黒(K)の
印字用データに変換されて、プリンタ部300の露光ヘ
ッド部310に出力され、あるいは、通信インターフェ
ース451から電話回線等を介して他の複写機やコンピ
ュータなどに送信される。
【0021】プリンタ部300は、公知の電子写真方式
により、コピー用紙やOHP用のフィルムシートなどの
記録シート上に画像を形成するものであって、露光ヘッ
ド部310と、画像形成プロセス部320と、給紙部3
30と、再給紙部340と、からなる。露光ヘッド部3
10は、上述のシアン(C)、マゼンタ(M)、イエロ
ー(Y)、黒(K)の印字用データに対応して、4つの
露光ヘッド311c、311m、311y、311kを
備えており、それぞれ、レーザダイオードとポリゴンミ
ラー等を備える。
【0022】また、画像形成プロセス部320も、同じ
く、C,M,Y,Kの各印字用データに対応して、4つ
の画像形成ユニット321c、321m、321y、3
21kを備えており、それぞれ、感光体ドラム322
c、322m、322y、322kを中心にしてその周
囲にクリーナ、帯電チャージャおよび現像器などを配設
して構成され、上記露光ヘッド部310によるレーザビ
ームの露光走査を受けて、各感光体ドラム322c、3
22m、322y、322kにその色成分に応じたトナ
ー像が形成される。
【0023】例えば、シアンの印字用データが露光ヘッ
ド311cのレーザダイオード312cに出力される
と、レーザダイオード312cから変調されたレーザ光
が発光され、このレーザ光が、所定の角速度で回転する
ポリゴンミラー313cのミラー面で反射して、図1の
時計回りに回転駆動される感光体ドラム322c表面を
露光走査し、これにより感光体ドラム322c表面に静
電潜像が形成される。感光体ドラム322cに形成され
た静電潜像は、現像器323cによりシアンのトナー粒
子の供給を受けて、トナー像として顕像化される。
【0024】一方、給紙部330には、異なるサイズの
記録シートを収納する3つの用紙カセット331〜33
3が設けられており、上述の感光体ドラム322cにお
ける作像動作に同期して、例えば用紙カセット331か
ら所定サイズの記録シートが給紙されて、転写用搬送ベ
ルト334により感光体ドラム322cの下方の転写位
置まで搬送され、転写チャージャ324cの静電力によ
り感光体ドラム322c表面のトナー像が当該記録シー
ト表面に転写される。
【0025】このような画像形成動作が他の露光ヘッド
311m、311y、311k、および画像形成ユニッ
ト321m,321y,321kにおいてタイミングを
ずらしながら実行され、記録シート上に各色のトナー像
が重ねて転写されることによりフルカラーの画像が再現
される。その後、記録シートは、定着部327で定着さ
れ、再給紙部340内の搬送路341を経由して排紙ト
レイ342上に排出される。
【0026】もし、この記録シートの裏側にも印字する
場合(いわゆる両面コピーの場合)には、再給紙部34
0の切換爪343の方向を変えて記録シートを搬送路3
44方向に導き、一旦反転用搬送路345に押し出して
から、図示しない搬送ローラにより搬送路346を介し
て中間トレイ347へ送り出し、記録シートの表裏が反
転した状態で収納する。そして、当該中間トレイ347
内の記録シートを転写用搬送ベルト334に給紙するこ
とにより、その裏面への画像形成を実行し、その後、定
着部327を経由して排紙トレイ342上に排出する。
【0027】なお、プリンタ部300におけるSE2
は、タイミングセンサであって、転写用搬送ベルト33
4上の基準マーク(不図示)を検出し、これにより記録
シートの搬送のタイミング合わせが行われる。また、各
画像形成ユニット321c、321m、321y、32
1kの内部にはそれぞれレジスト補正センサ325c、
m、y、kが内蔵されており、転写用搬送ベルト334
上の上記基準マークを順次検出することにより、各色成
分の印字用データの出力のタイミングを微調整し、各色
成分による画像形成の色ずれを防止するようにしてい
る。
【0028】また、転写用搬送ベルト334を掛け渡し
た複数のローラの内、図の1番右側のローラ328は、
昇降可能なフレーム(図示せず)に軸支されており、黒
のみの単色画像の形成時には、当該フレームを図示しな
い昇降装置により下方に移動させることにより、補助ロ
ーラ334aより右側の部分の転写用搬送ベルト334
が、画像形成ユニット321c,321m,321yの
各感光帯ドラム322c,322m,322yから離脱
するようになっている。この際、転写チャージャ326
c,326m,326yも上記フレームと共に下方に移
動する。
【0029】これにより単色画像形成時には、転写用搬
送ベルト334が、感光体ドラム322c,m,yと非
接触状態となり、該当する画像形成ユニット321c,
m,yの駆動を停止することができるため、各感光体ド
ラム322c,m,yやその周辺のプロセスユニットの
摩耗を低減することができる。なお、画像形成ユニット
321c、m、y、kは、それぞれ各プロセス毎に一体
化されて本体に着脱可能になっており、トナーの交換等
のメンテナンスが容易なようになっている。また、画像
読取部200の前面の操作しやすい位置には、操作パネ
ル70(図2参照)が設置されており、これにより操作
者がコピー開始やコピー部数の設定などの所定の入力操
作を行う。 (2)制御部400の構成 次に、上記複写機の内部に設置される制御部400の構
成を図2のブロック図により説明する。
【0030】同図に示すように制御部400は、画像読
取制御部410と、画像信号処理部420と、メモリ制
御部430と、プリンタ制御部440と、外部通信制御
部450と、メイン制御部460と、原稿判別部500
等からなる。各制御部410〜460および原稿判別部
500は、それぞれCPUを中心として構成されてお
り、コマンドラインCRを介して、相互に必要なデータ
やコマンドの授受を行い、また、画像データバスGBを
介して画像データの転送が行われるようになっている。
【0031】画像読取制御部410は、上記原稿自動搬
送部100および画像読取部200の動作を制御して原
稿の読取を実行させるものである。すなわち、操作パネ
ル70から所定のコピーモードが設定されてコピー開始
の操作がなされると、メイン制御部460を介して原稿
読取要求を受取り、原稿自動搬送部100の動作を制御
して原稿を画像読取部200の原稿ガラス板21上の所
定位置まで搬送し、その後、画像読取部200各部の動
作を制御して、スキャナ22により原稿をスキャンさ
せ、CCDセンサ24により読み取られた画像データ
を、画像信号処理部420に送信する。
【0032】画像信号処理部420は、A/Dコンバー
タ、シェーディング補正部、MTF補正部や、変倍部、
γ補正部などを備えており、入力された原稿の画像デー
タは、A/Dコンバータでデジタルの多値信号に変換さ
れ、シェーディング補正部で露光ランプ25の照度ムラ
やCCDセンサ24の感度ムラが補正された後、MTF
補正部でエッジ強調などの画質改善のための処理を受
け、さらに変倍部やγ補正部でそれぞれ変倍処理、γ補
正処理を加えられた後に、原稿判別部500およびメモ
リ制御部430に送られる。
【0033】原稿判別部500は、上記画像データに基
づいて、読み取った原稿の方向を判断して、所定の回転
角信号を発生し、あるいは、当該原稿が紙幣などコピー
禁止の対象となる特定の原稿の場合には、コピー禁止信
号を発生する。詳しくは後述する。メモリ制御部430
は、上記画像データを2値化し、あるいはさらに符号化
処理して、ページ単位で画像メモリ431に格納すると
共に、メイン制御部460からの読出し要求を受けて、
画像メモリ431から目的のページの画像データを読み
出して(圧縮されている場合には伸長処理を行ってか
ら)多値データに戻し、上記原稿判別部500からの回
転角度信号により回転処理部432で必要に応じて画像
データを回転処理してから、プリンタ制御部440に転
送する。なお、この回転処理は、画像データのメモリア
ドレスを変更する公知の技術(例えば、特開昭60ー1
26769号公報参照)によってなされる。
【0034】プリンタ制御部440は、上記メモリ制御
部430から出力された画像データについて、内部のR
OMに格納された制御プログラムに基づいてプリンタ部
300各部の動作を制御して記録シートへの画像形成を
実行する。外部通信制御部450は、他の複写機やファ
クシミリ装置またはコンピュータなどの外部機器との画
像データなどの授受を制御するものであって、当該外部
機器から通信インターフェース451を介して受信した
画像データを上記画像メモリ431に格納し、反対に自
装置の画像読取部200で読み取った原稿の画像データ
を通信インターフェース451を介して外部機器に送信
する処理を行う。
【0035】また、メイン制御部460は、操作パネル
70からの各種のキー入力を受け付けて、設定されたコ
ピーモードを各制御部410〜450に報告し、あるい
は、各制御部410〜450からの連絡を受けて必要な
内容を操作パネル70の表示部に表示させたりするほ
か、処理ルーチンの時間を管理しながら各制御部410
〜450、原稿判別部500に対してそれぞれの動作の
タイミングを指示して、全体を統一的に制御し、円滑な
コピー動作を実現させる。また、原稿判別部500から
コピー禁止信号を受けた場合は、プリンタ制御部440
に画像形成動作を実行しないように指示を送る。 (3)原稿判別部500の構成 図3は、上記原稿判別部500の構成を示すブロック図
である。
【0036】なお、当該ブロック図において、普通の実
線の矢印は通常のデータもしくは制御信号の流れを、太
い実線の矢印は画像データの流れを、太い破線の矢印
は、これら以外の文字の特徴量に関するデータの流れ
を、それぞれ示している。この原稿判別部500は、画
像読取部200で読み取られた原稿の画像データに基づ
き、2つの処理を実行する。すなわち、当該原稿が紙
幣などの特定原稿であるか否かを判別して、特定原稿と
判定される場合にはメイン制御部460にコピーを禁止
するコピー禁止信号を出力する特定原稿判別処理と、
画像読取部200で読み取られた原稿の方向を判別して
適切な方向で画像データが出力されるようにメモリ制御
部430に回転角信号を出力する原稿方向判別処理(す
なわち天地認識処理)である。
【0037】前者の特定原稿判別処理は、特定色抽出回
路510からの出力に基づきCPU501で実行され、
後者の天地認識処理は、カラーデータキャンセル回路5
20、文字切り出し回路530、特徴量抽出回路54
0、さらに辞書データ発生回路560を経た後、最終的
に比較回路580においてなされる比較結果に基づきC
PU501で実行される。
【0038】以下、上記2つの処理に分けて説明する。 (3−1)特定原稿判別処理 画像読取部200で読み取られ、画像信号処理部420
で所定の処理を施されたR,G,Bの各色成分の画像デ
ータが画像データバスGB(図2)を介して、特定色抽
出回路510に入力されると、特定色抽出回路510
は、これらの画像データに基づいて予め設定された特定
色の色面積を求め、これにより当該原稿が特定の原稿で
あるか否かを判別する。
【0039】当該特定色抽出回路510は、図4のブロ
ック図に示すように色空間変換回路511と、3個の特
定色カウンタユニット512〜514、およびOR回路
515とからなる。色空間変換回路511は、入力され
たR,G,Bの画像データの値を、輝度(Y)と2つの
色度(Cr、Cb)からなる色空間の色信号に変換する
回路である。このような色空間への変換は、一般にテレ
ビジョンなどにおける色再現のための公知の技術である
ので、ここでの詳細な説明は省略する。
【0040】R,G,Bのデータ値のままでは、帯域幅
も広くなりデータ処理も複雑になるため、上述のように
Y、Cr、Cbの色信号に変換することにより、「色」
を比較的帯域の狭い色信号で特定することが可能とな
り、次に述べる特定色カウンタユニット512〜514
での色判定を容易にさせる。色空間変換回路511で得
られたY、Cr、Cbの色信号は、それぞれ、特定色カ
ウンタユニット512〜514に入力される。
【0041】このうち特定色カウンタユニット512
は、色判定部5121〜5123、カウンタ5124〜
5126およびAND回路5127からなり、各色判定
部5121〜5123は、それぞれ色空間変換回路51
1で変換されたY、Cr、Cbの色信号の値により、当
該画素が指定された特定の色であるか否かを判定する。
そのため、例えば、各色判定部5121〜5123は、
それぞれ複数のコンパレータを内部に有し、各コンパレ
ータには、自己の判定部に指定された特定色にについ
て、そのY,Cr,Cbの下限値と上限値が設定されて
おり、これらのコンパレータの出力結果により、各色信
号値の全てについて所定の範囲内にあると判断された場
合には、当該画素の色が当該指定された特定色であると
して、それぞれ次段のカウンタ5124〜5126にカ
ウントアップ信号を送信する。
【0042】各カウンタ5124〜5126では、対応
する色判定部5121〜5123からカウントアップ信
号を得るたびにカウントを「1」だけインクリメントし
ていき、それぞれCPU501により設定された所定の
閾値を超えると、AND回路5127に色面積一致信号
を出力するようになっている。AND回路5127は、
カウンタ5124〜5126のいずれもから色面積一致
信号を受けると論理信号「1」を出力し、OR回路51
5を介して特定色カウントアップ信号をCPU501に
送る。
【0043】図3に戻り、CPU501は、この特定色
カウントアップ信号を受けた場合には、当該原稿が特定
原稿であると判断して、メイン制御部460にコピー禁
止信号を送信する。メイン制御部460は、このコピー
禁止信号を受けて、操作パネル70からの操作の受付け
を拒否すると共に、プリンタ制御部440に対し当該画
像データに基づく画像形成動作を禁止する。
【0044】このように特定色カウンタユニット512
は、読み取ったカラー原稿の画像データについて、3種
類の特定色の画素数(色面積)をカウントし、各特定色
の画素数が全て所定の閾値より大きい場合のみ、特定色
カウントアップ信号を生成し、これにより当該原稿のコ
ピーが禁止される。例えば、コピー禁止の対象となる原
稿が1万円札である場合には、この紙幣に使用されてい
る特徴的な色を3色選択し、各特定色を判定できるよう
に色信号Y、Cr、Cbに分解して表したときの各色信
号値の上限値と下限値を3つの特徴色ごとに色判定部5
121〜5123内部のコンパレータに設定すると共
に、その特定色を有する画素をカウントしてその合計値
を各カウンタ5124〜5126に閾値として設定して
おく、そして原稿を読み取って得られた画像データの特
定色の画素数が選択された3色について共に上記閾値よ
り多い場合には、その原稿を1万円札とみなしてコピー
禁止信号を発生し、これによりカラーデジタル複写機の
悪用を事前に防止することができる。
【0045】紙幣には、通常の印刷では使用されない特
徴的な色が使用されており、紙幣以外の原稿において当
該特徴的な色が3色の全部について所定の色面積以上と
なる可能性はほとんどなく、上記構成により当該原稿が
ほぼ確実に1万円札であると判別しうる。また、このよ
うなコピー禁止の動作を免れるため、わずかにコピー倍
率を変更して特定色の画素数のカウントに誤差を生ぜし
めるような場合も考えられる。このような場合には、C
PU501により当該コピー倍率の設定に連動してカウ
ンタ5124〜5126に与える閾値も変更するように
しておけばよい。
【0046】なお、他の特定色カウンタユニット51
3、514も上述の特定色カウンタユニット512と同
じ構成であって、それぞれのコピー禁止の対象となるカ
ラー原稿に応じて各色判定部における色信号の上限・下
限の値や各カウンタにおける画素数の閾値が異なって設
定されているだけでなので説明を省略する。これらによ
り、上記一万円札のほか五千円札や千円札も判別するこ
とが可能となり、そのコピーを禁止することができる。
【0047】以上のような特定原稿判別方法によれば、
極めて簡易かつ容易に特定原稿が判別されることにな
る。すなわち、従来の複写機においては、特定原稿のパ
ターンを抽出し、予め内部に設定されたパターンとマッ
チングすることにより特定原稿か否かを判別するように
なっていたので、当該パターン画像を内部のメモリに格
納しておく必要があり、新紙幣が発行されてその模様が
変更された場合には、当該新紙幣のパターンを新たに登
録しなければならない不便さがあり、その上、パターン
マッチングのための制御プログラムも複雑であるという
問題もあったが、本実施の形態においては、複数の特定
色の色面積のみで判断しているので、複雑な制御プログ
ラムは一切不要となり上述のような簡易なハード回路の
みで、リアルタイムに特定原稿を判別でき、しかもCP
U501により各色信号の上限・下限値や対応する特定
色の画素数の閾値を変更するのみで、国内の紙幣のみな
らず外国紙幣の判別にも容易に対応できる。
【0048】また、装置特有のばらつきにより、各色信
号の値に多少の誤差や読取値のばらつきがあってもCP
U501により上記諸値を補正することにより容易に補
正可能となる。さらに、各特定色カウンタユニット51
2〜514における色判定部およびカウンタの数を増加
して判定可能な特定色の数を増加すれば、特定原稿の判
別精度をより向上させることができ、また、特定色カウ
ンタユニット512〜514自体の数を増加すれば、よ
り多くの種類の特定原稿を判別することが可能となる。
【0049】なお、CPU501は、原稿中にコピー禁
止を示す文字もしくは記号を発見した場合にもコピー禁
止信号を発生するが、これについては後述する。 (3−2)天地認識処理 天地認識処理は、大きく分けて、原稿画像から文字画
像を1文字ずつ切り出す文字切り出し処理と、この切
り出された文字からその特徴量を抽出する特徴量抽出処
理と、当該特徴量のうち文字の方向に依存しないデー
タから天地認識のための候補文字の辞書データを選択す
る辞書データ生成処理と、上記特徴量のうち文字の方
向に依存するデータと上記辞書データとを比較して回転
角を決定する回転角決定処理と、からなる。
【0050】[文字切り出し処理]図3において、画像
メモリ431から読み出されたR,G,Bの画像データ
はカラーデータキャンセル回路520に入力され、ここ
で有彩色のカラー画像データを白データに置き換える処
理がなされる。具体的には、例えば、R、G、Bの画像
データを、上記特定色抽出回路510における色空間変
換回路511(図4)と同じ色空間変換回路を用いて、
Y、Cr、Cbの色信号に変換する。一般に、Cr,C
bの値が小さいほど無彩色に近いので、「0」に近い所
定の閾値を予め設定しておき、画素ごとにCr、Cbの
値と閾値と比較して、双方の値が当該閾値より小さい場
合には、無彩色の画像データとみなして当該画素のYの
値をそのまま出力し、Cr,Cbの少なくとも一方が、
上記閾値より大きな場合には、カラー画像データとみな
して当該画素のYの値を「白」に相当する値に置き換え
て出力するようにすればよい。
【0051】このように有彩色のカラー画像データを予
めキャンセルするのは、読み取った原稿がカラー写真画
像であるような場合には、天地認識を行うにあたり不要
なデータであり、また新聞や雑誌の見出しなどに用いら
れるカラー文字は、デザイン上の処理が施されていた
り、意図的に傾いて配置されていたりして、文字の方向
を認識を行うのに適していないと考えられるからであ
る。このような誤認識のおそれのあるデータを予め除外
することにより以降の天地認識処理をより確実にするこ
とができる。
【0052】カラーデータキャンセル回路520から出
力された画像データ(輝度信号Y)は濃淡の階調を含む
ので、次の2値化回路521により2値化して不要な階
調情報を除去し、以後のデータ処理をさらに容易かつ確
実にする。この2値化回路521は、CPU501から
与えられた所定のパラメータに基づき、上記画像データ
を「0」と「1」に2値化し、ヒストグラム生成回路5
22と文字切り出し回路530のそれぞれに出力する。
【0053】ヒストグラム生成回路522は、上記2値
化された画像データの濃度値を主走査方向と副走査方向
に積分したヒストグラムを生成する。図5は、このヒス
トグラム生成の例を示す図である。原稿1枚分の2値画
像データD1を主走査方向に積分すると第1のヒストグ
ラムH1のようになり、副走査方向に積分すると第2の
ヒストグラムH2のようになる。これらの第1、第2の
ヒストグラムH1,H2がヒストグラムデータとしてヒ
ストグラムメモリ523に格納される。
【0054】文字切り出し回路530は、このヒストグ
ラムデータに基づき2値画像データから1文字ずつ文字
画像を切り出す。このような文字切り出しの処理自体は
公知の技術であり、上記図5の第1のヒストグラムH1
の分布を見れば分かるようにヒストグラムの谷の部分が
行間を示しており、これにより、まず各行ごとに画像デ
ータを抽出し、抽出された各行を副走査方向に積分して
第3のヒストグラムを得る。この第3のヒストグラムに
おいてほぼ等間隔に生じる積分値の谷部は文字間を示し
ている筈であり、この位置により1文字分の画像データ
が文字画像として切り出されることになる。
【0055】文字切り出し回路530は、上記文字切り
出し処理の結果に基づき、当該切り出した文字画像のサ
イズ(画素数)を示す「XY信号」と、白黒比を示す
「B/W信号」をCPU501に出力する。XY信号
は、切り出された文字画像の横方向の画素数Xと縦方向
の画素数Yの積として表され、B/W信号は、当該文字
画像中の線部分を示す画素(2値化された「1」の部
分。これを以下、「黒画素」という)の数Bを、線部以
外の画素(2値化された「0」の部分。以下、「白画
素」という。)の数Wで除した値として示される。
【0056】CPU501は、これらの情報を基づき所
定の閾値と比較して当該切り出された文字がその向きを
認識する上で適しているか否かを判定し、当該文字が大
サイズの場合や黒画素が多い場合には、RETRY信号
を生成して文字切り出し回路530に送信して、次の文
字画像の切り出しを促す。詳しくは後述する。 [特徴量抽出処理」文字切り出し回路530は、上記R
ETRY信号を受信しない限り、当該切り出した文字の
画像データを次段の特徴量抽出回路540に出力する。
【0057】この特徴量抽出回路540は、入力された
画像データに基づき、当該文字を特徴付ける複数の局所
的形状、すなわち閉ループ、十字交差点、T字交差点、
端点(これらを以下、単に「特徴形状」という。)や要
素数などを抽出して所定のデータを生成する回路であっ
て、図6に示すように外接長方形比率抽出回路541、
要素数抽出回路542、閉ループ抽出回路543、十字
抽出回路544、T字抽出回路545、端点抽出回路5
46、細線化処理回路547、エラーチェック回路54
8、特徴データ並び変え回路549とからなる。
【0058】外接長方形比率抽出回路541は、切り出
されたXYドットの文字画像の縦横の比率(X/Y)を
計算し、これを比率情報として8bitのデータで表し
て出力する。要素数抽出回路532は、文字を構成する
要素の数(例えば、「く」は1個、「い」は2個、
「ば」は4個)を抽出し、その要素数を個数情報として
3bit(最大8個)で表して出力する。このような要
素数は、公知の画像処理技術により得ることができる。
例えば、文字画像の左上画素を初期点として副走査方向
にラスタ走査を実行し、最初に黒画素を発見すると、こ
れを追跡開始点として所定方向に文字の線部の外側の輪
郭の画素を追跡していき(この処理を以下「輪郭線追跡
処理」という。)、再び追跡開始点の黒画素に帰着した
ときに、当該輪郭線で囲まれた領域が1個の要素である
と判断されるので、このような追跡走査を繰り返すこと
により、当該文字の全要素数を抽出することができる。
【0059】上記以外の閉ループ抽出回路543、十字
抽出回路544、T字抽出回路545および端点抽出回
路546には、CPU501から辞書サイズ切り替え信
号が与えられており、各抽出回路543〜546は、当
該切り替え信号の内容に応じて特徴量抽出のための解像
度を切り替えるようになっている。具体的には、文字切
出回路530で切り出された文字画像を3×3の9ブロ
ックもしくは5×5の25ブロックに分割し、各ブロッ
ク内で特徴形状を抽出する。この際、例えば、閉ループ
抽出回路543において一つのブロック内を走査して閉
ループを一つでも発見すれば、もうそのブロック内にお
ける閉ループの走査は行わず、次のブロック内の閉ルー
プの走査に移る。したがって、3×3の方が、5×5の
場合よりも抽出速度が早くなるが、1つのブロック内に
2つの閉ループがあっても1個としかカウントしないこ
とになるので、5×5の場合よりも解像度が劣ることに
なる。後述する辞書データ発生回路560に格納された
辞書データもこの解像度に合わせて作成されているの
で、以下、このような解像度の区別をその分割ブロック
数に基づき、3×3辞書サイズ、5×5辞書サイズと呼
ぶことにする。
【0060】このようなCPU501からの辞書サイズ
の指定に基づき、閉ループ抽出回路543では、文字画
像内に存在する閉ループを分割されたブロックごとに検
出し、その個数(例えば、「く」は0個、「は」は1
個、「ぱ」は2個)および、当該閉ループの位置を求
め、閉ループについての個数情報および位置情報を出力
する。
【0061】この閉ループの抽出も公知の画像処理技術
により行うことができ、例えば上述の輪郭線追跡処理に
より、まず文字の要素を抽出し、次に当該要素内部を走
査して白画素の領域の数を上記要素数の抽出の場合と同
様にして抽出することによって達成できる。そして、抽
出された当該閉ループの個数を3bit(最大8個)で
表して個数情報として出力する。
【0062】その一方で、当該閉ループの文字画像にお
ける相対的位置から位置情報が生成される。この位置情
報は、分割されたブロックごとに閉ループの有無を判断
して生成される。具体的に図7を参照して、切り出され
た文字が「ぱ」、「ぬ」であった場合における閉ループ
の位置情報の生成について説明する。
【0063】図7(a)は、「ぱ」の文字画像を3×3
の9ブロックに分割した図である。11〜33までの各
ブロックに対応するbitが用意され、位置情報は当該
閉ループを有するブロックに対応するbitを「1」
に、それ以外のbitを「0」にそれぞれセットするこ
とにより生成される。「ぱ」の場合、ブロック13と3
2に閉ループL1、L2が存するので、当該ブロックに
対応するbitが「1」にセットされることになる。な
お、ブロック22に閉ループが位置しても、この位置情
報は文字の回転に依存しないので、天地認識のデータと
しては不要であり、本実施の形態では、このブロック2
2を除くブロック数8に対応した8bitで閉ループの
位置情報を示すようにしている(同様に、5×5辞書サ
イズの場合は24bitとなる)。
【0064】一方、「ね」の場合、図7(b)に示すよ
うに1個の閉ループL3をブロック32と33にまたが
って有している。この場合の位置情報は、閉ループL3
内の白画素をより多く含むブロック、すなわち、図7
(b)の例では、ブロック32に閉ループL3が位置す
ると判断して、そのブロックに対応するbitを「1」
セットして位置情報を生成することになる。
【0065】上記外接長方形比率抽出回路541、要素
数抽出回路542および閉ループ抽出回路543では、
文字切り出し回路530から出力された画像データを加
工しないまま各抽出処理を行ったが、以下に述べる十字
抽出回路544、T字抽出回路545、端点抽出回路5
46においては、それらの抽出処理を容易かつ確実に行
うため、予め細線化処理回路547において文字の線部
(線図形)の幅を狭くする細線化処理を行う。
【0066】この細線化処理においては、主に次の要件
が充足される必要がある。 (i) 線幅が1(1画素単位)となる。 (ii) 線の位置はもとの線図形のほぼ中心にくる。 (iii)図形の連結性が保存される。 (iv) 線図形の端の部分が必要以上に縮退しない。
【0067】このような細線化処理を行うため、画像処
理の分野において従来から様々な細線化処理の方法が提
案されているので、ここでの具体的な説明は省略する。
細線化処理回路547で細線化された文字画像のデータ
は、十字抽出回路544、T字抽出回路545、端点抽
出回路546にそれぞれ出力される。十字抽出回路54
4では、細線化された画像データに基づいて、分割され
たブロックごとに十字交差点を検出して、その個数情報
および位置情報を生成する。
【0068】十字交差点の抽出は、例えば、特定の黒画
素(以下、「注目画素」という。)を中心にしてその周
囲の隣接画素(8近傍)を走査し、当該注目画素に隣接
する黒画素数Mを検出する。当該画像データは細線化処
理回路547で細線化されているため、注目点の8近傍
同士で黒画素が隣接することはないので、M=4の場合
には、当該注目画素は十字交差点であると判断できる。
【0069】この走査をブロックごとに実行していけ
ば、当該文字画像における十字交差点の個数が判明す
る。例えば、「く」は0個、「さ」は1個、「き」は2
個である。十字交差点の位置は、文字の方向に合わせて
変化するので、その位置は天地認識のための有用な情報
となる。この位置情報は上述の閉ループの位置情報の場
合と同様、十字交差点が存在するブロックに対応するb
itを「1」にセットすることにより、3×3辞書サイ
ズの場合は9bit、5×5辞書サイズの場合は25b
itで表現される。
【0070】T字抽出回路545は、細線化された画像
データについて、T字交差点を分割されたブロックごと
に検出して、その個数、位置および隣接方向の情報を生
成する。このT字交差点は、上述の十字交差点抽出にお
いて注目画素の8近傍の黒画素数M=3である場合に検
出され、この走査をブロックごとに実行することによ
り、当該文字画像におけるT字交差点の個数が判明す
る。例えば、「く」は0個、「と」は1個、「エ」は2
個となる。
【0071】これに合わせて、当該T字交差点の位置情
報を生成する。この位置情報は上述の十字交差点の場合
と同様にして生成される。T字交差点の隣接方向も、文
字の方向により異なるため天地認識のため有用な情報で
ある。このT字交差点の隣接方向は、(上/下/左/
右)の計4種類の隣接方向があり、例えば、上記「と」
におけるT字交差点の隣接方向は「上」となり、これら
を当該T字交差点の存するブロックについて2bitの
信号として表現し、分割されたブロック数×2のbit
数で表現する。
【0072】端点抽出回路546は、細線化された画像
データについて、その文字端点を分割されたブロックご
とに検出して、その個数、位置および隣接方向の情報を
生成する。端点は、上述の十字交差点検出において注目
画素の8近傍の黒画素数M=1である場合に検出され、
この検出動作をブロックごとに実行することにより、当
該文字画像における端点の個数が判明する。例えば、
「の」は1個、「く」は2個、「エ」は4個である。
【0073】これに合わせて当該端点の位置情報を生成
する。この位置情報は上述の閉ループや十字交差点の場
合と同じように、端点が存在するブロックに対応するb
itを「1」にセットすることにより表現される。端点
の隣接方向も、文字の方向により異なるため天地認識の
ため有用な情報となる。この端点のT字交差点の隣接方
向は、(上/下/左/右/左上/右上/左下/右下)の
計8種類あり、この8種類の隣接方向を3bitの信号
として表現するので、それぞれの端点に対する隣接方向
を分割されたブロック数×3bitで表現することにな
る。
【0074】CPU501は、上記抽出回路543〜5
46に辞書サイズ切り替え信号を送信して、辞書サイズ
を切り替えて天地認識に必要な解像度で各特徴量を抽出
するように指示するが、この切り替え動作の詳細につい
ては後述する。以上のようにして、各抽出回路541〜
546で生成された12種類の情報は、文字の方向に依
存しないデータ、すなわち、各抽出回路542〜546
からの個数情報と、文字の方向に依存するデータ、すな
わち、外接長方形比率抽出回路541からの比率情報お
よびその他の抽出回路542〜546からの位置情報や
隣接方向情報とに2分することができ、以下、前者の情
報を「特徴量個数情報」と総称し、後者の情報を「特徴
量データ」と総称することにする。
【0075】上記特徴量個数情報と特徴量データは、次
段のエラーチェック回路548に入力され、そのうち特
徴量個数情報と、特徴量データのうちの比率情報の各値
が、それぞれについて予め定められた閾値以下であるか
否か判定され、ひとつでも所定の閾値を超える場合に
は、抽出された特徴量が、天地認識を行う上で適当では
ないと判断される。
【0076】例えば、切り出された文字が「購」という
文字であった場合、閉ループ抽出回路543から出力さ
れた閉ループの個数は、5×5辞書サイズでは、7内至
9個となると考えられるが、後述する辞書データにはそ
のような複雑な文字のデータが格納されていないので、
当該切り出し文字は天地認識に適当な文字ではない。そ
こで、辞書データから予め閉ループの個数情報の上限値
を求めて、これをエラーチェック回路548内部のコン
パレータ等に閾値として設定しておき、入力された閉ル
ープの個数情報が当該閾値を超える場合に特徴量抽出エ
ラー信号を発生してCPU501に送信する。
【0077】CPU501は、このエラー信号を受信す
ると、次の文字画像の切り出しを行うためにRETRY
信号を文字切り出し回路530に送信して新たな文字切
り出しを実行させると共に、現在の抽出済みの特徴量の
情報を破棄する。なお、上記各抽出回路541〜546
における特徴量抽出や、エラーチェック回路548にお
ける特徴量抽出チェックは全てハード回路により行わ
れ、CPU501は当該エラーチェック回路548から
の特徴量抽出エラー信号をチェックするだけなので、高
速な処理が可能である。
【0078】また、エラーチェック回路548に設定さ
れる上記閾値は、3×3辞書サイズの方が5×5辞書サ
イズの場合よりも少なく設定される。これは、3×3辞
書サイズの場合には1つのブロックサイズが大きく、そ
の中に2個以上の同種の特徴量が含まれても上述のよう
に特徴量の個数をブロックごとに最大1個しかカウント
しないようにしているので、それだけ5×5辞書サイズ
の場合より特徴量のカウント数が少なくなることによる
ものである。
【0079】各抽出回路541〜546で抽出された特
徴量個数情報および比率情報のいずれもがエラーチェッ
ク回路548でのチェックをパスすると、特徴量個数情
報および特徴量データが次段の特徴データ並び変え回路
549に送られる。特徴データ並び変え回路549は、
これらの特徴量の情報を、それぞれ辞書データ発生回路
560、比較回路580で処理しやすい順序に並び変え
て出力する。
【0080】特に特徴量データは、後述する辞書データ
発生回路560から出力される辞書データと同じ順に並
び変えられ、CPU501からの辞書データ切り替え信
号を受けて、8bit単位で共通バス上に出力されるよ
うになっており、このような構成にすることにより、少
ないビット幅のバスで複数の特徴量データを効果的に扱
うことができ、回路の簡略化を可能にすると共に、比較
回路580における辞書データとの比較処理を容易にす
ることができる。
【0081】[辞書データ発生処理]次に辞書データ発
生回路560について説明する。辞書データ発生回路5
60は、特徴量抽出回路540から特徴量個数情報を受
信すると、内部に格納された複数の文字の中から当該特
徴量個数情報に適合するものを認識候補文字としてリス
トアップし、この認識候補文字について予め格納されて
いる特徴量データを辞書データとして所定の順序で比較
回路580に出力する。
【0082】この辞書データ発生回路560は、図8の
ブロック図に示すように、辞書アドレス発生回路56
1、RETRYカウンタ562、辞書データROM56
3、切り替え信号カウンタ564とからなり、辞書アド
レス発生回路561と辞書データROM563には辞書
サイズ切り替え信号が、切り替え信号カウンタ564に
は特徴データ切り替え信号が、それぞれCPU501に
より与えられる。
【0083】辞書データROM563には、次の(表
1)に示す天地認識用の256個の文字もしくは記号に
ついて(以下、単に「参照文字」という。)、3×3,
5×5の2種類の辞書サイズごとに上述の特徴量データ
に相当するデータ(辞書データ)が予め求められて格納
されている。
【0084】
【表1】 一方、辞書アドレス発生回路561は、特徴量個数情報
(計15bit)とRETRYカウンタ562からの3
bitおよび辞書サイズ切り替え信号(1bit)の計
19bitをアドレスとして、上記辞書データROM5
63内の対応する辞書データのアドレスを8bitのデ
ータとして出力する256KByteのROMテーブル
(以下、「アドレス発生ROMテーブル」という。)と
して構成されている。
【0085】具体的にこのアドレス発生ROMテーブル
の作成手順について説明すると次のようになる。すなわ
ち、まず、256個の各参照文字について、予めその個
数情報を上述の手順で3×3、5×5の辞書サイズごと
に求めておき、その個数の組合わせごとに256文字を
分類する。図9は、上記(表1)の参照文字のうち、ひ
らがなの46文字について、その4つの特徴形状(閉ル
ープ、十字交差点、T字交差点、文字端点)の個数およ
び要素数を5×5辞書サイズで求めてリストアップした
ものである。
【0086】この図表から、例えば、(閉ループ数、十
字交差数、T字交差数、文字端数、要素数)=(0、
0、0、4、2)個という個数情報の組合せに該当する
ひらがなは、「い」、「う」、「こ」、「り」の4文字
あることが分かる。したがって、当該個数情報の組合わ
せに対して、ひらがなではこの4文字が後の比較回路5
80で比較の対象となるための認識候補文字としてリス
トアップされ、当該特徴量個数情報に関係付けられてア
ドレス発生ROMテーブルに格納される。これと同様に
して他の参照文字についても個数情報の組合せごとの分
類が実行され、アドレス発生ROMテーブル内に格納さ
れる。
【0087】また、本実施の形態では、上記ROMテー
ブル内に同一の特徴量個数情報について最大8個の認識
候補文字を格納できるできるようになっており、当該R
OMテーブルにより入力された特徴量個数情報に該当す
る認識候補文字の個数Nが判明すると、その個数を辞書
数信号(3bit)としてCPU501に送信するよう
になっている。
【0088】CPU501は、上記辞書数信号により、
所定の特徴量個数情報に該当する認識候補文字の個数N
を知ることができ、辞書RETRY信号をRETRYカ
ウンタ562に送信して、そのカウント値を最高Nまで
更新することにより上記複数の認識候補文字からを1文
字ずつ選択していく。したがって、例えば、上述の認識
候補文字の「こ」は、(閉ループ数、十字交差数、T字
交差数、文字端数、要素数)=(0、0、0、4、2)
を示す特徴量個数情報(15bit)と、3番目を示す
RETRYカウンタ562からのカウント数(3bi
t)により選択されることになる。
【0089】実際には、アドレス発生ROMテーブルに
は、各文字が8bitで示される文字コードで格納され
ており、上述のように認識候補文字として「こ」が選択
されるとその文字コードが辞書アドレスとして辞書デー
タROM563に送られる。辞書データROM563
は、上記辞書アドレス(8bit)と辞書サイズ切り替
え信号(1bit)と切り替え信号カウンタ(5bi
t)をアドレスとし、該当する文字の辞書データを8b
itずつ出力する16KByteのROMテーブル(以
下、「辞書発生ROMテーブルという」)として構成さ
れている。
【0090】図10は、当該辞書発生ROMテーブル内
に各文字コードごとに格納されている辞書データの構成
を示す図であり、同じ文字コードについて左側は3×3
辞書サイズ、右側は5×5辞書サイズの辞書データが格
納され、それぞれ各アドレスごとに8bit単位で比率
情報、閉ループ情報および特徴点データ情報が格納され
ている。
【0091】同図のデータ欄において、「比率情報」
は、文字の外接する長方形の縦横比を8bitで表わし
ている。また、「閉ループ情報」は、上述の閉ループ位
置情報に相当する情報である。この情報は、図7で説明
したのと同様な方法で求められ、例えば、3×3辞書サ
イズにおけるひらがなの閉ループの位置は、図11で○
印を付した位置となり、当該ブロックに対応するbit
が「1」にセットされる。これによれば、3×3辞書サ
イズの場合には9bit、5×5辞書サイズの場合には
25bitが必要となるが、上述のように中央の閉ルー
プの有無は、文字の方向には関与しないので、天地認識
には不要のデータであり、それぞれ1bitを削減し、
3×3辞書サイズの場合には、8bit(1Byt
e)、5×5辞書サイズの場合には24bit(3By
te)のデータで表現され、前者は1個のアドレスに、
後者は3個のアドレス(閉ループ情報1、2、3)に分
けて格納される。
【0092】「特徴点データ」は、十字交差点、T字交
差点、端点の3種類の特徴点についての位置情報もしく
は隣接方向情報を総称するものであり、分割されたブロ
ックにおける各特徴点の有無やその隣接方向を該当する
ブロックごとに8bitずつのデータとして表現され
る。図12は、3×3辞書サイズにおける当該特徴点デ
ータの格納状態をビットプレーンで示す図である。
【0093】同図に示すように各ブロック(MAT3_
11〜33)における各特徴点の有無または隣接方向の
情報を示すビットプレーンが手前から奥に8種類用意さ
れており、これらのビットプレーンのデータを各ブロッ
ク毎にまとめたものをそれぞれ8bit(1Byte)
の特徴点データMAT3_11〜33(図10の左側)
として取り扱っている。従って、3×3辞書サイズの場
合には9個のブロックに分割されているため、この特徴
点データは、1文字について9Byteのデータとして
表現される。
【0094】このような特徴点データの作成も基本的に
は、上記特徴量データの抽出の際に説明したのと同様な
方法でなされ、まず、(表1)の各参照文字を図13の
一例に示すように3×3の9ブロックに分割する。そし
て、十字位置情報は、ビットプレーンのMAT3_11
〜33のうち、文字の十字交差点が存するブロックのb
itを「1」とし、それ以外のブロックのbitを
「0」とする。同様にT字位置情報や端点位置情報も当
該特徴量の位置するブロックのbitを「1」とし、そ
れ以外のブロックのbitを「0」とする。
【0095】また、T字隣接方向情報は、T字交差点の
存するブロックにおいてT字の隣接方向を2bitデー
タで示すようになっている。すなわち、隣接方向が、
(上/左/右/下)に応じて「00」、「01」、「1
0」、「11」で示されており、このため2枚のビット
プレーン(T字隣接方向情報bit1、2)が用意され
ている。
【0096】端点隣接方向情報は、端点の存するブロッ
クにおいてその隣接方向を3bitデータで示す。すな
わち、隣接方向が、(上/下/左/右/左上/右上/左
下/右下)に応じて「000」、「001」、「01
0」、「011」、「100」、「101」、「11
0」、「111」で示しており、このため3つのビット
プレーン(端点隣接方向情報bit1、2、3)が用意
されている。
【0097】図14は、辞書サイズ5×5の場合の特徴
点データのビットプレーンを示す図であり、図15の一
例に示すように(表1)の各参照文字を25のブロック
に分割し、各ブロックについてbitを割り当て、上述
の3×3辞書サイズの場合と同じ要領で特徴点データを
作成する。各ブロックにおける特徴点データは8bit
(1Byte)で示されるので、上記特徴点データは1
文字につき、1×25=25Byteのデータとして表
現されることになる。
【0098】以上のような辞書データが、(表1)に示
す全256個の参照文字について予め作成され、その文
字コードごとに辞書データROM563(図8)の辞書
発生ROMテーブルに格納されており、辞書アドレス発
生回路561から出力された上記辞書アドレス(文字コ
ード)、CPU501からの辞書サイズ切り替え信号お
よび特徴データ切り替え信号の受信状態に応じて必要な
データを図10のアドレス番号××01(3×3辞書サ
イズの場合)もしくは××21(5×5辞書サイズの場
合)からそのアドレス番号順に8bitずつ、比較回路
580(図3)に出力される。
【0099】前述したようにCPU501からの特徴デ
ータ切り替え信号は、上記切り替え信号カウンタ564
のほかに特徴量抽出回路540の特徴データ並び変え回
路549(図6)にも与えられており、特徴データ並び
変え回路549は、切り出した文字から抽出された特徴
量データをその辞書サイズに応じて上記図10の格納状
態と同じ順序になるように並び変え、上記特徴データ切
り替え信号を受けるたびに並び変え処理後の特徴量デー
タを8bitずつ比較回路580に出力するようになっ
ており、これにより、特徴量抽出回路540で述べたの
と同様に少ないbit幅のバスを介して効率よくデータ
を送信できると共に、比較回路580での比較処理が容
易となり、そのハード回路も簡易化できるという利点が
ある。
【0100】[回転角決定処理]比較回路580は、辞
書データ発生回路560から出力された辞書データを9
0゜ずつ回転したものと、特徴量抽出回路540から出
力された特徴量データを比較し、各回転角における特徴
量データと辞書データの一致度に関する情報を生成する
一方、内部の特定文字辞書と比較して、当該切り出され
た文字がコピー禁止を意味する特定の文字と認められる
場合にコピー禁止情報を生成する。
【0101】図16は、上記比較回路580の構成を示
すブロック図である。同図に示すように比較回路580
は、入力部と出力部にそれぞれ配設されたセレクタ58
1、582と、特定文字辞書583と、3×3辞書サイ
ズに対応した回転角評価回路584・特定文字評価回路
585と、5×5辞書サイズに対応した回転角評価回路
586・特定文字評価回路587とを備える。
【0102】特定文字辞書583には、通常のコピー禁
止文書に含まれる特定の文字、例えば「秘」の文字を丸
印で囲んだいわゆる「マル秘」文字に関する辞書データ
(この辞書データを上記辞書データ発生回路560から
出力された天地認識のための辞書データと区別するた
め、以下「禁止辞書データ」という。)が、辞書サイズ
3×3と5×5ごとに予め格納され、セレクタ581に
与えられる。
【0103】特徴量抽出回路540、辞書データ発生回
路560から同種の特徴量データと辞書データが、それ
ぞれセレクタ581に入力されると、セレクタ581
は、CPU501から送られてくる辞書サイズ切り替え
信号の内容に応じて、当該特徴量データおよび辞書デー
タの送り先を切り替える。以下、CPU501から3×
3辞書サイズの切り替え信号が送信されている場合につ
いて主に説明するが、5×5辞書サイズの場合について
も、ほぼ同様に処理される。
【0104】セレクタ581は、3×3の辞書切り替え
信号を受信すると、特徴量データを、回転角評価回路5
84と特定文字評価回路585に、辞書データを回転角
評価回路584に送る。一方、特定文書辞書583にも
辞書サイズ切り替え信号が与えられており、これにより
3×3辞書サイズの禁止辞書データが選択され、セレク
タ581は、これを特定文字評価回路585に送る。
【0105】回転角評価回路584は、図17のブロッ
ク図に示すように、閉ループ評価回路590、縦横比評
価回路591、特徴点評価回路592と、各評価回路5
90〜592からの出力値にそれぞれ所定の係数K1〜
K3を掛けて重み付けを行う重み付け回路593〜59
5と、この重み付け回路からの出力値を回転角ごとに加
算する加算回路596と、この重み付けの結果で最大の
ものを抽出する最大値抽出回路597とからなってお
り、各回転角ごとに特徴量データと辞書データを比較し
てその一致度を求め、このうち最も高いもの抽出して、
これを完全に一致した場合に対するパーセンテージに換
算して一致度情報とすると共にそのときの回転角を回転
角情報としてCPU501に出力する。
【0106】すなわち、特徴量データと辞書データは、
その内容ごとに、閉ループ評価回路590と縦横比評価
回路591と特徴点評価回路592に入力され、各評価
回路590〜592は、入力された辞書データを90°
単位で回転させる回転処理回路を有しており、それぞれ
の回転角で回転させた辞書データと特徴データの内容を
分割されたブロックごとに対照して一致度を算出する。
【0107】ここで算出される一致度とは、縦横比評価
回路591を除いて、対応するbitのセット状態の一
致を排他的論理和の否定形(一致したときのみ「1」と
する)を用いて判断し、これに基づいて得られる評価ポ
イントを加算することにより得られる。例えば、閉ルー
プ評価回路590では、閉ループの有無を、分割された
ブロック数に相当する9bit(5×5辞書サイズでは
25bit)の内、上述したように中央のブロックの1
bitを除いた他の8bit(同24bit)について
対応するブロックごとに辞書データと比較し、全てのb
itが一致すれば8ポイント(同24ポイント)が付与
される。
【0108】また、縦横の比率情報は分割ブロック数に
無関係なので、縦横比評価回路591では次のようにし
て比率情報の一致度を評価する。すなわち、辞書データ
の縦横比Aと特徴量データの縦横比Bの比率A/Bを求
め、一致度が高い程、すなわちA/Bが1に近いほど高
ポイントとなるようにする。例えば、|A/B−1|<
0.1のとき、8ポイント、O.1≦|A/B−1|<
0.2のとき7ポイント・・・というようにA/Bの値
と1との誤差の大きさにより0〜8ポイントを付与する
ようになっている。
【0109】この場合、縦横比という性質上、0°と1
80°の評価ポイントと、90°と270°の評価ポイ
ントはそれぞれ一致し、また、この評価ポイントは、上
述のようにブロックの分割数とは関係なしに求められる
ので、当然辞書サイズには依存しない。特徴点評価回路
592では、分割されたブロックにおける3つの特徴点
(十字交差点、T字交差点、端点)に関する特徴点デー
タ(図10参照)ついて比較する。
【0110】各特徴点データは、図12(図14)で示
したように8種類のビットプレーンの情報を各ブロック
ごとに8bitで表現されており、辞書データとの一致
度は次のようにして求められる。すなわち、十字位置情
報ついては、当該ブロックでの有無が辞書データと一致
すればそのまま1ポイント与える。T字交差点、端点の
位置情報については、当該ブロックでのT字交差点もし
くは端点の有無が辞書データと一致しても、「有」の場
合にはさらにその隣接方向の情報を比較して、当該隣接
情報も一致している場合のみ1ポイントを与えるように
する。「無」で一致している場合には、隣接情報を比較
するまでもなくそのまま1ポイントが与えられる。
【0111】従って一つの特徴点について全てのブロッ
クでの情報が一致すれば9ポイント(5×5辞書サイズ
の場合は、25ポイント)が与えられ、3種類の特徴点
の全てについて完全に一致した場合には、最高ポイント
として27ポイント(同75ポイント)が与えられるこ
とになる。以上のような評価処理が、閉ループ評価回路
590、縦横比評価回路591、特徴点評価回路592
において、対応する辞書データを0゜、90゜、180
゜、270゜に回転しながら実行され、各回転角での評
価ポイントが次段の重み付け回路593〜594に出力
され、それぞれの評価ポイントに重み付け係数K1、K
2、K3が乗算されて加算回路596に出力される。
【0112】ここで各特徴量データの評価ポイントに重
み付けにより軽重を付するのは、各特徴量データについ
て得られた評価の結果が文字方向の認識(すなわち天地
認識)に与える影響は必ずしも均等ではなく、原稿の内
容によっては評価の比重を変更した方がより正確に天地
認識を行える場合があると考えられるからである。例え
ば、原稿が通常の日本語の文章では、ひらがな占める割
合が原稿全体の6〜7割もあり、天地認識する上で非常
に重要な役割をもっているため、この場合にはひらがな
に多く含まれる閉ループの評価ポイントを高くして、そ
の影響力を高くする方が、他の縦横比などにおける評価
ポイントを参考にするよりも効果的に天地認識を行え
る。そこで、重み付け回路594における係数K2を、
他の重み付け回路593、594における係数K1、K
3より大きくすることにより、天地認識の精度を高める
ことができる。
【0113】また、原稿にアルファベットの文字が多い
場合には、天地認識のためには、特徴点データの評価ポ
イントが影響力が大きいと考えられるため、係数K3の
値を他の係数K1,K2より大きくするようにすればよ
い。これらの係数K1〜K3の値は、実験的もしくは経
験的に求め得るものであって、これらを予めCPU50
1内部のメモリに格納しておき、必要に応じて、例え
ば、操作パネル70に原稿の種類を入力するスイッチを
設けて、これにより操作者が予め文章の種類を入力する
ことにより、各重み付け回路593〜595設定される
ようにしておけばよい。
【0114】このようにして各重み付け回路593〜5
95により評価の比重を変更された評価ポイントは、加
算回路596において回転角ごとに上記評価項目の個数
分だけ加算され、次段の最大値抽出回路597に出力さ
れる。最大値抽出回路597は、各回転角における加算
ポイントのうち最大のものを抽出し、その加算ポイント
を、完全に一致した場合の最大ポイントに対するパーセ
ンテージに換算して「一致度情報」とすると共に、その
ときの角度を「回転角情報」として、CPU501に送
信する。
【0115】図16に戻り、特定文字評価回路585で
は、各回転角ごとに特徴量データと禁止辞書データが比
較される。この特定文字評価回路585の構成も基本的
には、上記回転角評価回路584における動作と同じで
あって、各回転角において特徴量データと禁止辞書デー
タと比較して評価ポイントを算出し、その最大の評価ポ
イントが内部に設定された所定の閾値を超えた場合に、
「マル秘」などのコピー禁止文字であると判定し、コピ
ー禁止信号をセレクタ582を介してCPU501に送
信する。
【0116】CPU501は、比較回路580からコピ
ー禁止情報を受けた場合には、コピー禁止信号をメイン
制御部460(図2)に送信し、メイン制御部460
は、さらにメモリ制御部430、プリンタ制御部440
にコピー禁止の指示を送って、当該原稿のコピー動作を
実行させないようにする。通常、コピー禁止文句は原稿
の上部に記載されていることが多いが、原稿下部に記載
されている場合や、原稿の上部であってもたまたま当該
原稿が上下逆さまである場合も考えられるので、上記特
定文字評価処理は、原稿1ページ分の文字の全てについ
て行う必要がある。そのため、特定文字の評価時間が長
くなりコピー動作が遅延する場合も考えられるので、例
えば、装置内部に施錠可能なスイッチボックスを設けて
内部にモード切り替えスイッチを設置するか、あるいは
操作パネルから暗証コードを入力することにより、特定
の者のみが必要に応じて当該特定文字の認識を行わない
モードに切り替え可能なようにしておけば便利である。
【0117】一方、CPU501は、比較回路580か
ら出力された上記一致度情報の値と内部に設定されてい
る所定の閾値とを比較して、当該一致度情報の値が閾値
より大きい場合には、切り出された文字と参照文字が一
致した結果であると判断し、その回転角情報の回転角を
示す信号を回転角信号としてメモリ制御部430に送信
する。
【0118】メモリ制御部430は、当該原稿の画像デ
ータを上記CPU501から指定された回転角だけ回転
処理する。そして、原稿1ページ分の特定文字の評価に
必要な時間を経過してもCPU501が比較回路580
から上記コピー禁止情報を受信せず、かつ、特定色抽出
回路510から特定色カウントアップ信号を受信しない
場合には、当該原稿はコピー禁止の対象となる原稿では
ないと判断して、上記回転処理された画像データをプリ
ンタ制御部440に出力し、これにより記録シート上に
正しい方向で原稿画像が再生される。
【0119】なお、一致度情報の値が内部に設定された
閾値より低い場合には、辞書サイズを切り替えて再評価
し、もしくは次の文字の切り出しを実行して、上記特徴
量抽出回路540、辞書データ発生回路560、比較回
路580での処理を天地認識が完了するまで繰り返す。
詳細は後述する。 (4)制御部400における動作 図18は、制御部400で実行される制御動作のメイン
ルーチンを示すフローチャートである。
【0120】装置に電源が投入されると、まず、各CP
U内部のレジスタなどの初期設定が行われる(ステップ
S1、S2)。この際、辞書サイズ切り替え信号も初期
値として3×3辞書サイズに設定される。その後、待機
中処理として直接コピー動作には関与しない定着部32
7(図1)の温度制御や操作パネルの表示制御などが行
われ(ステップS3)、操作パネル70のスタートキー
が押下されてコピー開始の指示があると(ステップS
4)、原稿自動搬送部100で原稿を順次原稿ガラス板
21に搬送して、スキャナ22で走査し、読み取った画
像データを画像信号処理部420で画像処理して、画像
メモリ431に原稿1ページごとに書き込む画像入力処
理を行う(ステップS5)。
【0121】そして、画像メモリ431から所定の原稿
1ページ分の画像データを読み出し、原稿判別部500
において、文字の方向を認識して原稿の天地認識処理を
行い(ステップS6)、この天地認識処理の結果、原稿
の画像データを適切な方向に回転する必要がある場合に
は、回転処理部432で必要な回転角だけ回転処理を行
う(ステップS7)。
【0122】次に、当該原稿がコピー禁止の対象である
か否かを判断する(ステップS8)。すなわち、上述の
ように原稿がコピー禁止の対象となっている、紙幣やコ
ピー禁止文書であると原稿判別部500で判断されて、
そのコピー禁止信号をメイン制御部460が受信する
と、プリンタ制御部440に対し画像形成処理を行わな
いように指示を送り、そうでない場合には、画像形成処
理を実行させ(ステップS9)、その後ステップ3の待
機中処理にリターンする。
【0123】図19、図20は、上記ステップS6の天
地認識処理のサブルーチンを示すフローチャートであ
る。まず、図19のステップS601において、CPU
501は、RETRY信号発して文字切り出し回路53
0に画像メモリ431の画像データから文字画像を切り
出すように指示する。
【0124】文字切り出し回路530は、この信号に基
づいて上述したように1文字分の文字画像を切り出し、
その横画素数Xと縦画素数Yの積で示される文字サイズ
をXY信号とすると共に黒画素と白画素の比をB/W信
号として、それぞれCPU501に送信する。CPU5
01は、まず、XY信号により、当該切り出された文字
が所定サイズ以上の大サイズの文字でないか否かを判定
する(ステップS602)。ここでいう大サイズの文字
は、縦横の文字サイズが例えば10mm以上(400d
piでは、XまたはYが157dotを超えるもの)を
示す。
【0125】このように文字のサイズを判定するのは、
通常の原稿に用いられる文字としてこれほど大サイズの
ものはあまり使用されないし、仮に新聞等において見出
しとして大サイズの文字が使用されていたとしても、強
調文字や傾いた文字などかなりデフォルメされている可
能性が高く、天地認識の対象とする文字としては適当で
ないと考えられるからである。
【0126】次に、CPU501は、B/W信号によ
り、切り出された文字画像における黒画素と白画素の比
B/Wが所定値、例えば、1以上ではないか否かを判定
する(ステップS603)。B/W比が、1以上、すな
わち黒画素が全体の画素の50%以上ある場合には、当
該文字は、極端にデフォルメされた太字もしくは反転文
字であると考えられるので、これもまた天地認識の対象
文字としては適当ではなく、予め排除しておく方が望ま
しい。
【0127】CPU501は、上述の判定の結果、文字
サイズもしくはB/W比がそれぞれの所定値を超える場
合には、文字切り出しのエラーがあったものとみなして
(ステップS604でYes)、再び文字切り出し回路
530にRETRY信号を発して、次の文字の切り出し
を実行させる。一方、ステップS604において、文字
切り出しエラーであると判断されなかった場合には、そ
の切り出された画像データは特徴量抽出回路540に送
られると共に、CPU501は、3×3の辞書サイズで
処理するように特徴量抽出回路540、辞書データ発生
回路560、比較回路580の各部に当該辞書サイズ切
り替え信号を送信する(ステップS605)。
【0128】そして、上述した特徴量抽出回路540に
おける各抽出回路541〜546(図6)により当該文
字の特徴量の抽出を行って(ステップS606)、エラ
ーチェック回路548においてその比率情報および、要
素数、閉ループ、十字交差点、T字交差点、端点の各個
数情報がそれぞれ3×3辞書サイズについて設定された
閾値以上ではないかを判定する(ステップS607)。
【0129】もし、一つの情報でも、その情報に該当す
る閾値を超えていれば、ステップS608において特徴
量抽出エラーと判断され、その信号(特徴量抽出エラー
信号)がCPU501に送られ、CPU501は、現在
の辞書サイズが3×3であるか否かを判断するが(ステ
ップS611)、初期設定において上述のように3×3
辞書サイズに設定されているので、より解像度の高い5
×5辞書サイズでさらに正確な特徴量の抽出を実行させ
るべく、5×5辞書サイズへの辞書切り替え信号を特徴
量抽出回路540等に送信する(ステップS612)。
【0130】これにより特徴量抽出回路540は、5×
5辞書サイズで再度特徴量の抽出を実行した後、各特徴
量の個数情報についてエラーチェックを行い(ステップ
S606、S607)、それでもなお特徴量抽出エラー
有りと判断された場合には(ステップS608でYe
s)、ステップS611に移るが、このときにはすでに
5×5辞書サイズとなっているので、「No」と判断さ
れてステップS601に戻って、RETRY信号により
次の文字の切り出しを指示し、新たに切り出された文字
について上述のステップS602以下の処理を実行す
る。
【0131】図21は、上記ステップS608での特徴
量抽出のエラーチェックと辞書切り替え動作(ステップ
S611、S612)の関係を示す図である。同図にお
いて特徴量数は上方にいくほど多くなっているが、上述
のように縦横比率情報や要素数は辞書サイズには依存し
ないので、ここでの特徴量数は、当該比率情報および要
素数を除く4つの特徴形状(閉ループ、十字交差点、T
字交差点、端点)の各個数情報を意味している。
【0132】まず、3×3辞書サイズで特徴量の抽出が
行われ、このときの特徴量個数が3×3辞書サイズにお
ける特徴量抽出エラー値(閾値)を超えた場合には、次
に5×5の辞書サイズに切り替えて特徴量の抽出を行
う。上述したように縦横比率情報や要素数を除く各個数
情報は、同じブロック内に同一の特徴点などが複数含ま
れていても1個しかカウントしないので、分割ブロック
数を多くして解像度を高くするほど正確な個数情報を把
握することができる。
【0133】したがって、通常は高速に比較処理が行え
る3×3辞書サイズで処理を行い、特徴量が多い複雑な
文字に対しては正確な比較処理が行える5×5辞書サイ
ズで処理し、それでも特徴量抽出エラーが発生する場合
には、そもそも切り出された文字が画数の多い漢字など
参照文字に含まれない文字であると判断されるので、切
り出し文字自体を切り替えることにより誤判定を防止す
るのである。
【0134】図22は、辞書サイズごとの各特徴量にお
ける特徴量抽出エラー値を示す図表である。各エラー値
には、上述の表1に示した参照文字について3×3辞
書、5×5辞書ごとに求められた各特徴量個数情報の最
高値が設定されており、上述したように所定の特徴形状
については解像度が高い方が抽出される個数情報も多く
なるので、そのエラー値も高く設定される。
【0135】なお、同図表で要素数個数情報や端点個数
情報のエラー値が大きいのは、上述した「マル秘」の文
字は、辞書データ発生回路560に内蔵された256個
の参照文字に比較して要素数、端点とも個数が多く、こ
のようにエラー値を大きくしておかないと当該文字の特
徴量データが比較回路580に入力される前に、特徴量
抽出回路540のエラーチェック回路548(図6)に
おけるチェックにより排除されてしまうからである。な
お、当該エラー値におけるカッコ内の数値は、マル秘文
書の判定によるコピー禁止モードが解除されたときに採
用されるべきエラー値を示している。
【0136】図19に戻り、ステップS608において
特徴量抽出エラーでないと判定された場合には、当該切
り出し文字の特量量個数情報に基づき辞書データ発生回
路560の辞書アドレス発生回路561(図8)で参照
文字から認識候補文字が選択され、その個数が辞書数信
号NとしてCPU501に送信される。CPU501
は、この辞書数信号Nを確認し(ステップS609)、
辞書RETRY信号を辞書データ発生回路560の送信
して辞書データを出力するように指示する。
【0137】次に、比較回路580の回転角評価回路5
84、586の各重み付け回路(図17参照)における
重み付け係数K1〜K3が設定される(ステップS61
0)。この重み付け係数は、上述したように、例えば、
原稿に用いられている日本文や英文の種類ごとに予め求
められてCPU501内部に格納されており、操作者が
原稿の種類を操作パネルから入力することによりCPU
501により設定される。
【0138】このような準備が完了してから図20のス
テップS613に移り、辞書データの読み出しを実行す
る。これは、辞書データ発生回路560がCPU501
からの辞書RETRY信号を受信することにより開始さ
れ、当該辞書データ発生回路560内のRETRYカウ
ンタ562(図8)は、上記辞書RETRY信号を受信
するたびにカウントアップし、そのカウント値を辞書ア
ドレス発生回路561に送信する。辞書アドレス発生回
路561は、上記N個の認識候補文字からカウント値に
相当する文字を選択してその文字コードを辞書アドレス
として辞書データROM563に送信する。辞書データ
ROM563はこの辞書アドレスとCPU501からの
辞書サイズ切り替え信号に基づいて図10で説明したよ
うな辞書データを読み出し、CPU501からの特徴デ
ータ切り替え信号の受信によりカウントアップする切り
替え信号カウンタ564のカウント値に基づいて、該当
するアドレスの辞書データを上から順に8bit(1B
yte)ずつ比較回路580に送信する。
【0139】この際、CPU501からの特徴データ切
り替え信号は、辞書サイズが3×3の時は特徴点データ
が9Byteであるため9回、辞書サイズが5×5の時
は特徴点データが25Byteであるため25回出力さ
れるため、特徴点データの比較だけを考えると辞書サイ
ズが5×5の時は辞書サイズが3×3の時に比べ約2.
5倍の処理時間を必要とすることになる 比較回路580は、特徴量抽出回路540からの特徴量
データと、辞書データ発生回路560からの辞書データ
の内容を上述のように回転角度ごとに比較して、それぞ
れの評価ポイントを算出して一致度を求め、そのうち最
大のものを完全に一致した場合に対するパーセンテージ
に換算し、これを一致度情報としてその回転角に関する
情報と共にCPU501に送信する(ステップS61
4)。
【0140】CPU501は、上記一致度情報の値と予
め内部に設定されている閾値TH1(例えば、95%)
と比較し(ステップS615)、一致度情報の値がこの
閾値TH1を超える場合には、切り取られた文字と辞書
データの文字が当該回転角において完全に一致したもの
とみなして、そのときの回転角情報の角度を回転角信号
としてメモリ制御部430(図2)に送信し、リターン
する(ステップS619)。
【0141】一方、ステップS615において比較回路
580から送信されてきた一致度情報の示す値が閾値T
H1以下の場合には、他の認識候補文字の辞書データを
読み出して特徴量データと比較し、得られた一致度情報
同士を比較してその最大値を抽出する(ステップS61
6)。そのため、ステップS617で、認識候補文字の
辞書数Nの全部について比較したか否かを判断し、全部
について比較していなければ、CPU501は辞書RE
TRY信号を送信して、これにより辞書データ発生回路
560は辞書データを切り替えて出力し(ステップS6
13)、この辞書データに基づいて比較回路580で新
たに求められた一致度情報が上記TH1を超えておれ
ば、その回転角を回転確信号としてメモリ制御部430
に送信し、そうでなければ再びステップS616に移っ
て、一致度情報の最大値の抽出を行う。
【0142】このステップS616における抽出処理
は、N個の全認識候補文字の辞書データと比較するまで
最大(N−1)回繰り返されることになるが(ステップ
S617)、その途中で一致度情報がTH1を超えるも
のがあれば、そのときの回転角情報を回転角信号とし
(ステップS615でNo、S619)、全ての認識候
補文字について一致度情報を求めたにもかかわらず、T
H1を超えるものがなかった場合には(ステップS61
7でYes)、仕方がないのでステップS616で抽出
された最大の一致度情報を、閾値TH1より小さな閾値
TH2(例えば、90%程度)と比較し(ステップS6
18)、当該一致度情報がこの閾値TH2以上であれ
ば、そのときの回転角を回転角信号とする(ステップS
619)。
【0143】もし、ステップS618において、一致度
情報の最大値が、閾値TH2未満であった場合には、ス
テップS620に移り、現在の辞書サイズが3×3であ
るか否かを確認して、辞書サイズが3×3であれば、図
19のステップS612に移って、辞書サイズを5×5
に切り替えて解像度を上げ、この辞書サイズで再度ステ
ップS606〜S619の処理を実行する。
【0144】また、図20のステップS620におい
て、すでに辞書サイズ5×5に切り替えられていた場合
には、当該切り出した文字が、天地認識に不適当な文字
であったとみなして、図19のステップS601に戻っ
て、切り出し文字を切り替え、以下上述の天地認識処理
の動作を繰り返すことになる。以上のように、本実施の
形態においては、予め認識の対象となる256個の参照
文字に関する辞書データを内部に格納しておき、文字切
り出し回路530で切り出された文字について、特徴量
抽出回路540において文字の方向に依存しない特徴量
個数情報と文字の方向に依存する特徴量データを生成
し、まず、特徴量個数情報に基づいて上記256文字の
中から認識候補文字を選択して、これらの限定された数
の辞書データと切り出した文字の特徴量データとを比較
するので、比較処理の回数を極端に低減して、天地認識
のための処理時間を大幅に減少させることができ、最短
の場合には1回の一致度情報の比較により文字の方向が
判定できる。
【0145】しかも、特徴量の抽出および辞書データと
の比較などの処理は、全てハード回路で達成できるの
で、複雑なパターン認識のアルゴリズムの実行は不要で
あり、さらに迅速な処理が可能となる。また、切り出し
た文字についても、予め天地認識の判定の難しそうな文
字については、上記文字切り出しエラーの判定(図1
9、ステップS604)や特徴量抽出エラーの判定(同
図、ステップS608)において予め除外しているの
で、辞書データと異なる文字について比較を行って、偶
然、比較結果がよかった場合の誤認識の防止が可能とな
る。 (5)変形例 以上、本発明に係る画像入力装置の実施の形態を説明し
てきたが、本発明は、上述の実施の形態に限定されない
のは勿論であり、以下のような変形例を考えることがで
きる。
【0146】(5−1)上記実施の形態においては、天
地認識のための特徴量として、閉ループ、十字交差点、
T字交差点、端点などの文字特有の局所的形状の位置情
報あるいは隣接方向情報を抽出して文字方向の判定に利
用した。このような情報量が多いほど天地認識の確実性
が増すことはいうまでもないが、認識する文字によって
は、そのうち一部の情報に基づいて方向を判定すること
も可能であり、必ずしも全ての情報は必要ではない。
【0147】また、反対に、上記実施の形態では、切り
出した1文字についてその一致度情報が閾値TH1(T
H2)より大きい場合に、すぐにその回転角を原稿方向
とみなして画像データの回転処理を行ったが、別の切り
出し文字についても確認して、その結果が一致した場合
のみ当該回転角を原稿方向と認識するようにすれば、天
地認識の精度が増す。
【0148】(5−2)また、上記実施の形態において
は、切り出された文字画像について、文字の方向に依存
しない特徴量個数情報と、文字の方向に依存する特徴量
データの双方を抽出し、特徴量個数情報によってまず比
較すべき認識候補文字をリストアップして、その認識候
補文字の辞書データと特徴量データを順に比較するよう
にしたので、極めて効率的かつ迅速に天地認識処理を行
うことが可能となったが、場合によっては特徴量個数情
報によって認識候補文字をリストアップする処理を行わ
ずに、全ての辞書データと特徴量データを順に比較する
ようにしてもよい。この場合、上記実施の形態に比べて
処理時間が少し長くなるが、それでも従来のパターン照
合による処理に比べて迅速かつ正確な天地認識が行え
る。
【0149】(5−3)上記比較回路580における特
定文字評価回路585、587(図16)においては、
特定文字辞書583の禁止辞書データを90゜ずつ回転
させて切り出された文字の特徴量データと比較して、コ
ピー禁止文字の判定を行ったが、回転角評価回路58
4、586からの回転角情報、一致度情報に基づきCP
U501により原稿方向が確定した後に、その回転角で
禁止辞書データを回転して特定文字の判定を行うように
してもよい。
【0150】また、上記実施の形態では、比較回路58
0における特定文字辞書583にいわゆる「マル秘」の
1文字の禁止辞書データを格納して、読み出された特徴
量データがこの辞書データと一致した場合にコピー禁止
信号を発生するようにしたが、場合によっては、複数の
文字からなる語句、例えば「コピー禁止」という語句の
各文字について辞書データ作成して格納しておき、切り
出された文字の特徴量データが、「コ」、「ピ」、
「ー」、「禁」、「止」の各辞書データと、この順で連
続して一致した場合に特定文字評価回路585(58
7)よりコピー禁止信号を発生するように構成してもよ
い。
【0151】(5−4)上記回転角評価回路584(5
86)では、辞書データの方を90゜ずつ回転して特徴
量データと比較しているが、特徴量データの方を回転し
て比較してもよいのは勿論である。この場合には回転処
理部432により画像データを回転する方向が逆とな
る。また、通常の原稿は、縦長の原稿に横書きで文字が
印刷されているものがほとんどなので、90゜、270
゜の回転角での比較を省略してもあまり不都合はないで
あろう。反対に、90゜の回転角の幅をもっと小さくし
て少しずつ回転しながら比較することにより、原稿自動
搬送装置100の搬送ベルト14の不都合等により、原
稿が原稿ガラス板21の原稿読取位置に斜めに設置され
た場合でも、正しい方向に画像データを回転して出力す
ることが可能となる。
【0152】(5−5)また、上記実施の形態では、回
転角評価回路584(586)の各重み付け回路に設定
された重み付け係数は、日本語や英語など使用される言
語による原稿の種類に応じて予め求められてCPU50
1内部に格納され、操作者が原稿の種類を操作パネルか
ら入力することにより設定されるようにしたが、入力で
きる原稿の種類を例えば、学術論文や技術資料、一般文
書などのように記載内容に基づき細分化し、それらの原
稿の種類に応じて、辞書データ発生回路560に格納さ
れている参照文字の辞書データを専用のICカードなど
により補充・変更できるようにしておけば、さらに確実
な天地認識が可能となる。
【0153】また、各重み付け係数を、操作者が、操作
パネル等により直接入力して設定・変更可能とし、これ
を内部のメモリに登録するようにしておけば、操作者が
一番多くコピーする原稿の内容に合わせた重み付けも行
うことができ、大変便利である。 (5−6)上記実施の形態においては、本発明に係る画
像入力装置を複写機に適用した例を説明したが、その他
の原稿の読取が必要な装置、例えばファクシミリ装置に
おける画像入力装置としても適用される。
【0154】
【発明の効果】以上説明してきたように、本発明に係る
画像入力装置の構成によれば、特徴量抽出手段におい
て、文字切り出し手段により切り出された文字画像の局
所的な形状の相対的位置もしくはその隣接方向を文字特
徴量を複数抽出する一方、同様な特徴量を所定の文字に
ついて抽出してこれを辞書データとして特徴量記憶手段
に記憶しておき、当該文字特徴量と辞書データを文字特
徴量ごとに比較する。そしてその特徴量ごとの比較結果
に対して重み付けをした結果に基づき文字方向を認識
し、この認識結果に基づいて画像データを回転して出力
するようにしているので、常に適正な方向で画像データ
が出力される。
【0155】この際、文字方向の認識は、パターンの認
識によるのではなく、局所的な形状の相対的位置もしく
は隣接方向の比較のみで行われるので、当該パターン認
識のための複雑なアルゴリズムなどは一切不要であり、
簡易なハード回路による迅速な処理が可能となる。しか
も、複数の特徴量を抽出しその特徴量ごとの比較結果に
ついて必要な重み付けをして各比較結果の影響度を調整
した上で、文字方向の認識処理が行われるでの、その認
識精度をより向上することができる。
【0156】また、本発明によれば、前記比較手段が、
前記文字特徴量に対して辞書データを相対的に所定角度
ずつ回転させながら比較して、各回転角における当該文
字特徴量と辞書データの一致度を求め、重み付け手段に
より上記一致度に対し、その特徴量ごとに設定された重
み付け係数を乗じて重み付けを行うようにしているの
で、認識手段において文字の回転方向を確実に認識する
ため有効な判断材料を提供することができる。
【0157】さらに、本発明は、前記重み付け手段が、
各特徴量ごとの重み付け係数を変更する重み付け係数変
更手段を備えており、これにより原稿方向の認識に最適
な重み付け係数を設定することができる。さらに、ま
た、本発明は、原稿種類受付手段で原稿の種類を受け付
け、重み付け係数変更制御手段により当該原稿の種類に
応じて重み付け係数の変更を制御するようにしているの
で、例えば、日本文原稿や英文原稿などの原稿の種類に
応じて、それらの原稿に用いられる文字の特徴を予め分
析して、原稿の方向の認識に与える影響の大きな文字特
徴量の比較結果に対する比重を大きくなるように設定し
ておけば、原稿方向をより精度よく認識できる。
【0158】また、本発明によれば、前記認識手段が、
前記各回転角における一致度の加算値の最大のものが所
定の閾値より大きい場合にのみ、その最大の加算値を有
する回転角に基づき文字画像の方向を認識するので、当
該閾値を高くすることにより、切り出した文字と異なる
文字の辞書データとの比較によって生じる誤認識を効果
的に排除できる。
【0159】さらに本発明によれば、前記文字画像の局
所的な形状が、文字閉ループ、文字十字交差点、文字T
字交差点、文字端点のうち少なくとも1つの形状であ
り、これらはいずれも文字特有の形状であるので、その
相対的位置や隣接方向の情報に基づいてより正確に文字
画像の方向を判別できる。
【図面の簡単な説明】
【図1】本発明に係る画像入力装置が適用される複写機
の全体の構成を示す図である。
【図2】上記複写機における制御部の構成を示すブロッ
ク図である。
【図3】上記制御部における原稿判別部の構成を示すブ
ロック図である。
【図4】上記原稿判別部の特定色抽出回路の構成を示す
ブロック図である。
【図5】上記原稿判別部のヒストグラム生成回路で生成
されるヒストグラムの内容を説明するための図である。
【図6】上記原稿判別部の特徴量抽出回路の構成を示す
ブロック図である。
【図7】上記特徴量抽出回路における閉ループ抽出回路
で抽出される、閉ループの位置情報の内容を説明するた
めの図である。
【図8】上記原稿判別部における辞書データ発生回路の
構成を示すブロック図である。
【図9】参照文字のうち、ひらがなの46文字につい
て、5×5辞書サイズにおける各特徴量個数情報の値を
示す図である。
【図10】上記辞書データ発生回路の辞書データROM
における各参照文字ごとの辞書データの内容を示す図で
ある。
【図11】3×3辞書サイズの場合の上記辞書データに
格納される閉ループ位置情報の生成を説明するための図
である。
【図12】上記辞書データにおける3×3辞書サイズの
特徴点データの格納状態をビットプレーンにより模式的
に示す図である。
【図13】3×3の辞書サイズにおいて、ひらがなの文
字を9ブロックに分割して各特徴点の位置情報を得る場
合について説明するための図である。
【図14】上記辞書データにおける5×5辞書サイズの
特徴点データの格納状態をビットプレーンにより模式的
に示す図である。
【図15】5×5の辞書サイズにおいて、ひらがなの文
字を25ブロックに分割して各特徴点の位置情報を得る
場合について説明するための図である。
【図16】上記制御部における比較回路の構成を示すブ
ロック図である。
【図17】上記比較回路における回転角評価回路の構成
を示すブロック図である。
【図18】上記制御部における制御動作のメインルーチ
ンを示すフローチャートである。
【図19】図18のステップS6における天地認識処理
のサブルーチンを示すフローチャートである。
【図20】図19の続きのフローチャートである。
【図21】辞書サイズの切り替えと特徴量数との関係を
示す図である。
【図22】各辞書サイズにおける特徴量数の抽出エラー
値の一例を示す図である。
【図23】従来の文字方向の認識方法を説明するための
図である。
【符号の説明】
100 原稿自動搬送部 200 画像読取部 300 プリンタ部 400 制御部 410 画像読取制御部 420 画像信号処理部 430 メモリ制御部 431 画像メモリ 432 回転処理部 440 プリンタ制御部 450 外部通信制御部 460 メイン制御部 500 原稿判別部 501 CPU 510 特定色抽出回路 520 カラーデータキャンセル回路 530 文字切り出し回路 532 要素数抽出回路 540 特徴量抽出回路 560 辞書データ発生回路 580 比較回路
フロントページの続き (72)発明者 飯田 徹 大阪府大阪市中央区安土町二丁目3番13号 大阪国際ビル ミノルタ株式会社内 (72)発明者 吉村 智也 大阪府大阪市中央区安土町二丁目3番13号 大阪国際ビル ミノルタ株式会社内

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 原稿の画像を入力するための装置であっ
    て、 原稿を読み取って画像データを生成する画像読取手段
    と、 前記画像データを記憶する画像データ記憶手段と、 前記画像データから文字画像を抽出する文字切り出し手
    段と、 当該文字画像における局所的な形状の相対的位置もしく
    はその隣接方向を文字特徴量として複数抽出する特徴量
    抽出手段と、 所定文字について、前記特徴量抽出手段における文字特
    徴量と同様な特徴量を、予め辞書データとして複数記憶
    する特徴量記憶手段と、 前記文字特徴量と前記辞書データをその特徴量ごとに比
    較する比較手段と、 前記比較手段における特徴量ごとの比較結果に対して所
    定の重み付けを行う重み付け手段と、 前記重み付け手段の出力結果に基づいて文字の方向を認
    識する認識手段と、 前記認識手段の認識結果に基づいて前記画像データを回
    転する画像データ回転手段と、 を備えたことを特徴とする画像入力装置。
  2. 【請求項2】 前記比較手段は、前記文字特徴量に対し
    て辞書データを所定角度ずつ相対的に回転させて、各回
    転角における当該文字特徴量と辞書データの一致度を求
    める回転角評価手段を備え、 前記重み付け手段は、上記一致度に対し、その特徴量ご
    とに設定された重み付け係数を乗じて重み付けを行うこ
    とを特徴とする請求項1記載の画像入力装置。
  3. 【請求項3】 前記重み付け手段は、各特徴量ごとの重
    み付け係数を変更する重み付け係数変更手段を備えるこ
    とを特徴とする請求項2記載の画像入力装置。
  4. 【請求項4】 前記画像入力装置は、 さらに、原稿の種類を受け付ける原稿種類受付手段と、 前記受け付けた原稿の種類に応じて前記重み付け係数変
    更手段における重み付け係数の変更を制御する重み付け
    係数変更制御手段を備えることを特徴とする請求項3記
    載の画像入力装置。
  5. 【請求項5】 前記認識手段は、特徴量ごとに重み付け
    された前記一致度を各回転角ごとに加算し、その最大の
    ものが所定の閾値より大きい場合に、その最大の加算値
    を有する回転角に基づいて文字画像の方向を認識するこ
    とを特徴とする請求項2ないし4のいずれかに記載の画
    像入力装置。
  6. 【請求項6】 前記文字画像における局所的な形状は、
    文字閉ループ、文字十字交差点、文字T字交差点、文字
    端点のうち少なくとも1つの形状であることを特徴とす
    る請求項1ないし5のいずれかに記載の画像入力装置。
JP02555097A 1997-02-07 1997-02-07 画像入力装置 Expired - Fee Related JP3587009B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02555097A JP3587009B2 (ja) 1997-02-07 1997-02-07 画像入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02555097A JP3587009B2 (ja) 1997-02-07 1997-02-07 画像入力装置

Publications (2)

Publication Number Publication Date
JPH10224596A true JPH10224596A (ja) 1998-08-21
JP3587009B2 JP3587009B2 (ja) 2004-11-10

Family

ID=12169081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02555097A Expired - Fee Related JP3587009B2 (ja) 1997-02-07 1997-02-07 画像入力装置

Country Status (1)

Country Link
JP (1) JP3587009B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008770A (ja) * 2009-06-26 2011-01-13 Kyocera Mita Corp 原稿方向の検出方法及び装置
US8548254B2 (en) 2006-06-07 2013-10-01 Nec Corporation Image direction judging device, image direction judging method and image direction judging program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548254B2 (en) 2006-06-07 2013-10-01 Nec Corporation Image direction judging device, image direction judging method and image direction judging program
JP2011008770A (ja) * 2009-06-26 2011-01-13 Kyocera Mita Corp 原稿方向の検出方法及び装置

Also Published As

Publication number Publication date
JP3587009B2 (ja) 2004-11-10

Similar Documents

Publication Publication Date Title
US5629990A (en) Image processing system
KR0136039B1 (ko) 특수원고의 판별유니트를 구비한 복사장치
EP0675631B1 (en) Anti-counterfeiting device for use in an image-processing apparatus
US5379093A (en) Image processing machine capable of inhibiting copying of valuable papers
JPH0918707A (ja) 画像処理方法及び装置並びにそれを搭載した複写機,スキャナ及びプリンター
JP6233393B2 (ja) 原稿の傾き量検出装置および画像処理装置
US6266156B1 (en) Area judging apparatus
JPH11126259A (ja) 画像検出方法、画像検出装置、画像処理方法、画像処理装置、及び媒体
JPH0765120A (ja) 画像読取装置およびこれを備えた画像形成装置
US6360028B1 (en) Image processing apparatus and method
JPH06268859A (ja) 画像処理装置
JP3587009B2 (ja) 画像入力装置
JP3587008B2 (ja) 画像入力装置
JPH10224598A (ja) 画像入力装置
JPH10224599A (ja) 画像入力装置
JPH10224600A (ja) 画像入力装置
JPH10224597A (ja) 画像入力装置
JPH10224602A (ja) 画像入力装置
JPH10224601A (ja) 画像入力装置
JP4050371B2 (ja) 画像処理装置
JPH07143335A (ja) カラー複写機における複写禁止原稿複写防止装置及び方法
JPH10224619A (ja) 原稿判別装置
JP4014070B2 (ja) パターン検出方法および画像処理制御方法
JPH11213089A (ja) 画像処理装置及びその方法
JPH09130516A (ja) 原稿画像の天地を認識できる画像処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040802

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080820

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080820

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090820

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090820

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100820

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100820

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110820

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120820

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees