JPH1042130A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JPH1042130A
JPH1042130A JP8194703A JP19470396A JPH1042130A JP H1042130 A JPH1042130 A JP H1042130A JP 8194703 A JP8194703 A JP 8194703A JP 19470396 A JP19470396 A JP 19470396A JP H1042130 A JPH1042130 A JP H1042130A
Authority
JP
Japan
Prior art keywords
area
identification signal
area identification
density
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8194703A
Other languages
English (en)
Other versions
JP3506848B2 (ja
Inventor
Shinji Yamakawa
愼二 山川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP19470396A priority Critical patent/JP3506848B2/ja
Publication of JPH1042130A publication Critical patent/JPH1042130A/ja
Application granted granted Critical
Publication of JP3506848B2 publication Critical patent/JP3506848B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Storing Facsimile Image Data (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 領域識別信号を記憶するメモリの容量を少な
くするために領域識別信号の密度を荒くしても適切な画
像処理を行う。 【解決手段】 パターンマッチング部43、44は画像
データが文字領域か又は中間調領域かを画素毎に識別し
て領域識別信号を出力し、画素密度変換部47、48は
領域識別信号の密度を荒くしてページメモリ49、50
に記憶する。膨張部55、56はページメモリ49、5
0からの領域識別信号の密度を元に戻して画像処理回路
14〜20に出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像データが文字
領域か中間調領域かを識別して領域識別信号を発生する
画像処理装置に関する。
【0002】
【従来の技術】従来、この種の画像処理装置としては、
例えば特開平5−145751号公報に示すように領域
識別信号を1ビットでメモリに記憶し、2ブロック単位
で記憶することによりメモリ容量を少なくする方法が提
案されている。また、スキャン毎に生成される領域識別
信号のバラツキをなくし、黒文字やライン等に色変わり
が発生することを防止するために、1回目のスキャン時
の領域識別信号をページメモリに記憶し、第2スキャン
以降ではページメモリに記憶された1回目のスキャン時
の領域識別信号と現スキャンによる領域識別信号を比較
し、一致しない場合には領域識別信号を変更する方法が
提案されている。
【0003】また、他の従来例としては、例えば特開平
3−203464号公報に示すように領域識別信号を記
憶するメモリを節約するために、ビットマップメモリの
解像度を原稿の大きさや、原稿の黒エリアの面積に応じ
て切り替えて領域識別信号を記憶する方法が提案されて
いる。
【0004】
【発明が解決しようとする課題】しかしながら、従来の
方法では、領域識別信号を記憶するメモリの容量を少な
くするために領域識別信号の密度を荒くするので、この
領域識別信号に基づいて画像処理を行っても適切な画像
処理を行うことができないという問題点がある。本発明
は上記従来の問題点に鑑み、領域識別信号を記憶するメ
モリの容量を少なくするために領域識別信号の密度を荒
くしても適切な画像処理を行うことができる画像処理装
置を提供することを目的とする。
【0005】
【課題を解決するための手段】第1の手段は上記目的を
達成するために、画像データが文字領域か中間調領域か
を画素毎に識別して領域識別信号を出力する領域識別手
段と、前記領域識別信号の密度を荒くする密度変換手段
と、前記密度変換手段が出力する領域識別信号を記憶す
る記憶手段と、前記記憶手段が出力する領域識別信号の
密度を元に戻す膨張手段と、前記膨張手段が出力する領
域識別信号に基づいて画像処理を行う画像処理手段とを
備えたことを特徴とする。
【0006】第2の手段は、第1の手段において前記膨
張手段が、前記記憶手段が出力する領域識別信号の密度
を、前記第1の密度変換手段が出力する領域識別信号の
密度より細かくなるように膨張した後に元の密度に収縮
することを特徴とする。
【0007】第3の手段は、第1または第2の手段にお
いて前記膨張手段が、領域識別信号を元の密度に収縮し
た後に更に斜め線のギザギザを補間することを特徴とす
る。
【0008】第4の手段は、第1ないし第3の手段にお
いて前記領域識別手段が出力する領域識別信号の孤立点
を除去して前記密度変換手段に出力する孤立点除去手段
を更に有することを特徴とする。
【0009】第5の手段は、第1ないし第4の手段にお
いて前記記憶手段が出力する領域識別信号の孤立領域を
除去して前記膨張手段に出力する孤立領域除去手段を更
に有することを特徴とする。
【0010】第6の手段は、第1ないし第5の手段にお
いて前記領域識別信号が、白地上の線画か網点上の線画
か否かを示す領域識別信号を含むことを特徴とする。
【0011】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1は本発明に係る画像処理装置
の一実施形態を備えた複写機を示すブロック図、図2は
図1の画像処理部を詳細に示すブロック図、図3は図2
の原稿認識部を詳細に示すブロック図、図4は図3の原
稿認識部の参照画素を示す説明図、図5は画像データの
濃度変化を示す説明図、図6は図5の画像データのエッ
ジ量を示す説明図、図7は画像データの一例として白地
上の網点と網点上の文字を示す説明図、図8は図3のパ
ターンマッチング部の参照画素を示す説明図、図9は図
3のパターンマッチング部の伝播方向を示す説明図、図
10及び図11は図3のパターンマッチング部(A,
B)の処理を説明するためのフローチャート、図12は
図3のパターンマッチング部(B)の処理を説明するた
めのフローチャート、図13は図4の膨張部の補間処理
を示す説明図、図14は第2の実施形態のパターンマッ
チング部(B)の処理を説明するためのフローチャー
ト、図15はディテール強調処理を示す説明図である。
【0012】図1に示す複写機は、原稿を読み取り、読
み取りデータをRGBデジタルデータとして出力する画
像読み取り部1と、図2に詳しく示すような画像処理部
2と、画像処理部2により処理されたカラー画像を用紙
上に出力する画像記録部3を有する。図2において、R
GBγ補正部11は原稿読み取り部1からのRGBデー
タのグレーバランスの補正と濃度への変換を行い、遅延
部12と原稿認識部13に出力する。遅延部12は原稿
認識部13の出力結果と同期をとるためにRGBデータ
を遅延してRGBフィルタ部14に出力する。
【0013】原稿認識部13は図3に示すように線画認
識部13aと色判定部13bを有し、線画認識部13a
はRGBγ補正部11からのRGBデータに基づいて文
字領域か又は絵柄領域かを判定し、2ビットの文字/絵
柄判定信号C/P(「3」=「11」が文字、「1」=
「01」が絵柄上の文字、「0」=「00」が絵柄)を
出力する。色判定部13bはRGBγ補正部11からの
RGBデータに基づいて有彩領域か又は無彩領域かを判
定し、1ビットの有彩/無彩判定信号B/C(Hが無
彩、Lが有彩)を出力する。なお、有彩/無彩判定信号
B/Cは4×4画素を1ブロックとして1画素に対応し
ている。
【0014】文字/絵柄判定信号C/PはRGBフィル
タ部14、色補正部15、UCR部16、変倍部17、
CMYBkフィルタ部18、CMYBkγ補正部19及
び階調処理部20に対してカスケード接続により画像デ
ータに同期して印加され、また、有彩/無彩判定信号B
/CはRGBフィルタ部14、色補正部15、UCR部
16に対してカスケード接続により画像データRGBま
たはCMYに同期して印加される。各ブロック14〜2
0はこれらの文字/絵柄判定信号C/Pと有彩/無彩判
定信号B/Cに基づいて文字処理、絵柄処理を行う。
【0015】RGBフィルタ部14は遅延部12からの
RGBデータをMTF補正するN×N画素のフィルタで
あり、文字/絵柄判定信号C/Pが「3」(文字)の時
には鮮鋭化処理を行い、「0」(絵柄)の時には平滑化
処理を行い、「1」(絵柄上の文字)の時には入力デー
タを処理せずにそのまま出力する。色補正部15はRG
Bフィルタ部14により処理されたRGBデータを一次
マスキング法などによりC、M、Yデータに変換し、U
CR部16は画像データの色再現性を向上させるために
色補正部15により変換されたC、M、Yデータの共通
部分をUCR(加色除去)処理することによりBkデー
タを生成する。
【0016】UCR部16はまた、文字/絵柄判定信号
C/Pが「3」以外の時にはスケレトンブラックのBk
データを生成し、「3」の時にはフルブラックのBkデ
ータを生成する。UCR部16はまた、文字/絵柄判定
信号C/Pが「3」(文字)であって有彩/無彩判定信
号B/CがH(無彩)の時には、黒文字を黒成分のみで
表現するためにC、M、Yデータをイレースする。UC
R部16は変倍部17に対して、画像読み取り部1が1
枚の原稿を4回読み取って画像記録部2に対して面順次
で出力するために、これらのC、M、Y、Bkの1つの
信号IMGを面順次で出力する。
【0017】変倍部17は主走査方向の拡大、縮小、等
倍処理を行い、CMYBkフィルタ部19はN×N画素
のフィルタであって画像記録部3の周波数特性や、文字
/絵柄判定信号C/Pに基づいて鮮鋭化処理又は平滑化
処理を行う。CMYBkγ補正部20は画像記録部3の
周波数特性や文字/絵柄判定信号C/Pに基づいてγカ
ーブを変更し、具体的には文字/絵柄判定信号C/Pが
「0」(絵柄)の時には画像を忠実に再現するγに、
「0」以外の時にはγを立たせてコントラストを強調す
る。
【0018】階調処理部21は画像記録部3の階調特性
や文字/絵柄判定信号C/Pに基づいてディザ処理等の
量子化を行い、具体的には文字/絵柄判定信号C/Pが
「0」(絵柄)の時には階調重視の処理を行い、「0」
以外の時には解像度重視の処理を行う。
【0019】要約すると、 ・C/P=「0」(絵柄)のとき RGBフィルタ部14 →平滑化処理 UCR部16 →スケレトンブラック CMYBkフィルタ部18→リニア(階調性)を重視したγカーブ選択 CMYBkγ補正部19 →画像を忠実に再現するγカーブ選択 階調処理部20 →階調重視 ・C/P=「3」(文字)のとき RGBフィルタ部14 →強調処理 UCR部16 →フルブラック CMYBkフィルタ部18→強調処理 CMYBkγ補正部19 →γを立たせてコントラストを強調 階調処理部20 →解像度重視 ・C/P=「3」(文字)且つB/C=Hのとき(黒文
字処理) 黒文字の回りに位置ずれにより色が付くことを防止する
ためにYMCデータを印字しない。なお、このときのB
kデータのRGBフィルタを色文字のときより強めに行
って、くっきりさせてもよい。
【0020】 ・C/P=「1」(絵柄上の文字)のとき RGBフィルタ部14 →弱強調処理または入力データをそのまま出力する スルー処理 UCR部16 →フルブラック,このときには、黒文字処理のよう な処理を行わず、YMCデータを印字する。
【0021】 CMYBkフィルタ部18→強調処理 CMYBkγ補正部19 →γを立たせてコントラストを強調 階調処理部20 →解像度重視 次に、図3を参照して線画認識部13aと色判定部13
bについて詳しく説明する。先ず、線画認識部13aは
モノクロ化部41と、ラプラシアン部42と、以下2系
統A、Bのパターンマッチング部(A,B)43、44
と、孤立点除去部(A,B)45、46と、画素密度変
換部(A,B)47、48と、ページメモリ(A,B)
49、50と、セレクタ(A,B)51、52と孤立ブ
ロック除去部(A,B)53、54と膨張部55、56
を有し、系統Aからは文字/絵柄判定信号C/PのMS
B(C/P・A)が出力され、系統BからはLSB(C
/P・B)が出力される。
【0022】モノクロ化部41はRGBデータを輝度デ
ータ等に変換することによりモノクロ化する。なお、輝
度データの代わりに、RGBデータの中で最も濃いデー
タを選択してもよいし、また、Gデータを輝度データと
して用いてもよい。ここで、モノクロ化部41の出力デ
ータは数値が大きくなると濃く、小さくなると薄いこと
を示す。
【0023】ラプラシアン部42は線画のエッジを抽出
すると共に白領域と黒領域を検出し、白(w)領域を検
出することにより白地上の線画の抽出データとする。白
領域の検出方法方は図4に示すマトリクスの内、3×3
画素のブロックを用い、先ず、次のように論理により注
目画素a11を含む周辺データが閾値thw より小さいとき
に白領域候補とする。
【0024】 {( a00<thw) and (a01<thw) and (a02<thw) and (a10<thw) and (a11<thw) and (a12<thw)} or{( a10<thw) and (a11<thw) and (a12<thw) and (a20<thw) and (a21<thw) and (a22<thw)} or{( a00<thw) and (a10<thw) and (a20<thw) and (a01<thw) and (a11<thw) and (a21<thw)} or{( a01<thw) and (a11<thw) and (a21<thw) and (a02<thw) and (a12<thw) and (a22<thw)} なお、このパターンは直交パターンであるが、斜めなど
のパターンを追加してもよい。ここで、太線用と細線用
の白領域候補を検出するための閾値thw は異なる値を使
用し、図5に示すように「太線用白領域候補」では一般
的な白地の値thw2を設定し、「細線用白領域候補」では
一般的な白地よりやや低い(白寄りの)値thw1を設定す
る。その理由は絵柄(印刷物の網点や複写機の万線)の
ハイライト(明るいほう)が「白領域候補」になるのを
避けるためである。
【0025】次いで、「白領域候補」から更に「白領
域」を算出するために以下のようにラプラシアンを求め
る。
【0026】 x=a22×2−(a21+a23)×i x={a22×4−(a11+a13+a31+a33)}×i/2+x x=a22×2−(a12+a32)+x …(1) ここで、iは主走査方向と副走査方向のMTFの違い
や、変倍時の補正を行うための重み係数である。このと
きのxの値が以下のような値ならば白領域とする。
【0027】−N<x<N ここでは、太線用と細線用の閾値は別個にしなくてもよ
い。このようにして「細線用白領域」と「太線用白領
域」を検出し、また。これにより絵柄上のハイライト側
の小網点や万線パターンを抽出しないように除去してい
る。
【0028】次に、「太線用白領域」を補正する。その
理由は、例えば白黒反転した文字(白が文字で周囲が
黒)の原稿の場合には、複写機のような光学的読み取り
装置により読み取ると、フレア(白1点ではなく、周辺
が黒の影響を受ける)などにより白データが通常よりや
や黒寄りになることがある。そこで、例えば白領域のマ
トリクスを3×3とすると以下のような補正を行う。
【0029】 {( a00<thw) and (a01<thw) and (a02<thw) and (a10<thw) and (a11<thw) and (a12<thw) and (a20<thw) and (a21<thw) and (a22<thw)} これを「補正白領域候補」とし、上述したラプラシアン
により「補正白領域」を算出する。ここで、閾値thw は
図5に示すように太線の閾値thw2より黒寄りの値thw3で
あり、また、Nは上述した太線用白領域の値Nより小さ
くする。Nを小さくする理由は、白データの変化量が少
ない安定したデータを抽出するためである。これにより
抽出した「補正白領域」を上述した「太線用白領域」に
補正し、これを「太線用補正白領域」とする。つまり
「太線用補正白領域」とは「補正白領域」か又は「太線
用白領域」である。また、ここでも絵柄上のハイライト
側の小網点や万線パターンを抽出しないように除去して
いる。
【0030】同様に、黒領域を検出することにより、黒
地上の線画の抽出データとする。黒領域の検出方法は図
4に示すマトリクスの内、3×3画素のブロックを用
い、先ず、次のように論理により注目画素a11を含む周
辺データが閾値thb より大きいときに「黒領域候補」と
する。
【0031】 {( a00>thb) and (a01>thb) and (a02>thb) and (a10>thb) and (a11>thb) and (a12>thb)} or{( a10>thb) and (a11>thb) and (a12>thb) and (a20>thb) and (a21>thb) and (a22>thb)} or{( a00>thb) and (a10>thb) and (a20>thb) and (a01>thb) and (a11>thb) and (a21>thb)} or{( a01>thb) and (a11>thb) and (a21>thb) and (a02>thb) and (a12>thb) and (a22>thb)} また、このパターンは直交パターンであるが、斜めなど
のパターンを追加してもよい。ここで、「黒領域候補」
の閾値thb は図5に示すように、一般的な黒地の値(文
字として強調したい濃度)を設定する(thb >thw3)。
次いで、白の場合と同様に、「黒領域候補」から更に
「黒領域」を算出するために前述した式(1)によりラ
プラシアンを求める。
【0032】また、式(1)により図6に示すようにエ
ッジ量xを求める。ここで、式(1)における重み係数
iは、選択的な係数であり、ハードウエアを設計する際
にゲート規模が小さくなるような係数 i=1 =1.115 =1.25 =1.375 =1.5 =1.625 =1.775 =1.875 =2 に設定される(固定少数点演算)。
【0033】また、このように係数iを設定することに
より、主走査方向と副走査方向のMTF(光学系と走行
系)などのぼけを修正することができる。ここで、主走
査方向と副走査方向のMTFは異なっており、また、複
写機では副走査方向の変倍を読み取り装置の読み取り面
積(速度)により行っているため、副走査方向のMTF
は変倍率に応じて異なる。
【0034】そこで、本実施形態では主走査方向の変倍
部17が原稿認識部13の後段であるので問題は発生し
ない。更に、本実施形態では副走査方向の倍率が大きい
とき、例えば200%のときには式(1)に示すマトリ
クスを選択可能にすることによりエッジ量xを求めるよ
うにしてもよい。そして、このラプラシアン部42は後
段のパターンマッチング部(A,B)43、44に対し
て、白領域信号w(太線用と細線用)(白領域でH)
と、黒領域信号k(黒領域でH)とエッジ量xを含む信
号RAPを出力する。
【0035】パターンマッチング部(A)43では「黒
領域周辺の白領域」を抽出する。ここで、白領域パター
ン(W)は「補正太線用白領域」の信号であり、黒パタ
ーン(K)は黒領域信号kとする。そして、一例として
図4に示す7×7画素のマトリクスを用い、 〔k12 and k13 and k14 and k22 and k23 and k24 and k32 and k33 and k34 and {( w52 and w53 and w54) or (w62 and w63 and w64) or (w12 and w13 and w14) or (w02 and w03 and w04) }〕 or〔k21 and k31 and k41 and k22 and k32 and k42 and k23 and k33 and k43 and {( w25 and w35 and w45) or (w26 and w36 and w46) or (w21 and w31 and w41) or (w20 and w30 and w40) }〕 に基づいて水平成分、垂直成分を抽出し、同様に、斜め
成分のパターンも抽出する。したがって、このように
「黒領域上の白領域」を抽出することにより、黒領域が
多いので網点を線画と誤認識することなく「黒領域の線
画」を抽出することができる。
【0036】また、「黒領域」、「太線補正白領域」、
「細線白領域」の大小関係をコード化してもよい。ここ
で、情報量はコード化しない場合には3ビット×nライ
ンとなるが、一例として「黒領域」をB、「太線補正白
領域」をW1、「細線白領域」をW2として次のように
コード化すると2ビット×nラインとなるので情報量を
圧縮することができる。
【0037】 Bのとき →コード「1」=(01) W2のとき →コード「2」=(10) W1で且つW2でないとき →コード「3」=(11) BでもW1でもW2でないとき→コード「0」=(00) このようなコードを展開するときには逆の処理を行えば
よく、また、大小関係は固定ではなく、入れ替えること
ができるようにした方が良いことは勿論である。
【0038】パターンマッチング部(A)43の処理
は、図8及び図9に示すように主走査方向方向X(=
i)及び副走査方向Y(=j)における注目画素Pij
おいてパターンマッチングを行う。また、パターンマッ
チング処理は図10及び図11に示すように、副走査方
向カウンタjと主走査方向カウンタiをインクリメント
しながら行い、一致する場合に出力信号PM1をH、一
致しない場合に出力信号PM1をLにする。そして、こ
の出力信号PM1はパターンマッチング部(B)44と
孤立点除去部45、46に印加される。
【0039】パターンマッチング部(B)44では細線
の検出を行う。ここで、細線とは1mm以下の線幅によ
り構成されている文字、線画を意味する。また、図6に
示すように、黒パターン(k)は黒領域またはエッジ量
xが閾値thRbより大きいものをHとし、白パターン
(w)は細線用白領域またはエッジ量xが閾値thRwより
小さい(マイナス成分であるので絶対値は大きい)もの
をHとする。なお、閾値thRb、thRwは倍率や、原稿の種
類(カラー、白黒、印刷写真、印画紙写真、複写原稿、
地図など)、調整キーなどで変更するようにしてもよ
い。
【0040】エッジ成分で補正する理由は細線のコント
ラストを上げるためであり、細線のパターンの一例を以
下に示すと、 {( w22 and w23 and w24) or (w02 and w03 and w04) and w12 and w13 and w14 and k32 and k33 and k34 and w52 and w53 and w54 and ( w42 and w43 and w44) or (w62 and w63 and w64) } or {( w22 and w32 and w42) or (w20 and w30 and w40) and w21 and w31 and w41 and k23 and k33 and k43 and w25 and w35 and w45 and ( w24 and w34 and w44) or (w26 and w36 and w46) } or 〔( w12 and w13 and w14) or (w02 and w03 and w04) and k32 and k33 and k34 and { (k22 and k23 and k24) or (k42 and k43 and k44) } and ( w52 and w53 and w54) or (w62 and w63 and w64) 〕 or 〔( w21 and w31 and w41) or (w20 and w30 and w40) and k23 and k33 and k43 and {( k22 and k32 and k42) or (k24 and k34 and k44) } and ( w25 and w35 and w45) or (w26 and w36 and w46) 〕 に基づいて水平成分、垂直成分を抽出し、同様に、斜め
成分のパターンも抽出する。したがって、このように黒
パターンの両側が白パターンにより挟み込まれている場
合に「細線候補」として抽出する。
【0041】パターンマッチング部(B)44は図8〜
図10に示すように主走査方向方向X(=i)及び副走
査方向Y(=j)における注目画素Pijにおいて副走査
方向カウンタjと主走査方向カウンタiをインクリメン
トしながら、図12に示すパターンマッチング処理を行
う。図12に示すMFBは主走査方向の先端で「0」と
なる状態変数であり、SFB(i)は1ライン前の主走
査方向の1ライン分の状態変数であってMFB=8が
「網点上の文字」を示し、MFB=16が「白地上の文
字」を示す。
【0042】先ず、ステップS11において現在の状態
変数MFB<1ライン前の状態変数SFB(i)をチェ
ックし、SFB(i)が大きい場合にはMFB=SFB
(i)にセットする(ステップS12)。次いで、パタ
ーンマッチング部(A)43の出力PM1をチェックし
(ステップS13)、PM1=on(H)であればステ
ップS14以下に分岐し、他方、PM1=off(L)
であればステップS18に進む。PM1=Hすなわち
「黒領域上の白領域」の場合にはMFBの値が「0」よ
り大きければ変更する。具体的には0<MFB≦7なら
ばMFB=8に変更し(ステップS14→S16→S1
7→S18)、また、8<MFBならばMFB=16に
変更する(ステップS14→S15→S18)。
【0043】ステップS18では「白地領域」か否かを
判定する。ここで、「白地領域」の判定は、ラプラシア
ン部42の出力RAPの「細線用白領域」をaとして下
記となるときに「白地領域」と判定する。
【0044】 ステップS18において「白地領域」と判定した場合に
は、孤立点除去部45、46に対してそれぞれ出力する
信号「1」、「2」をoff(L)にし(ステップS1
9)、次いでMFB=16に変更し(ステップS2
0)、ステップS36に進む。
【0045】他方、ステップS18において「白地領
域」と判定しない場合には、前述した「細線パターン」
と一致するか否かを判定する(ステップS20)。そし
て、一致しない場合には出力「1」「2」をoff
(L)にし(ステップS22)、次いでMFB=0でな
ければMFBを1つデクリメントし(ステップS23→
S24)、ステップS36に進む。
【0046】他方、ステップS21において「細線パタ
ーン」と一致した場合には、ステップS25においてM
FB>8か否かを判定する。そして、MFB>8の場合
には出力「1」「2」をon(H)にし(ステップS2
6)、次いでMFBを4つインクリメントし(ステップ
S27)、次いでMFB>16であればMFB=16に
変更し(ステップS28→S29)、ステップS36に
進む。
【0047】他方、ステップS25においてMFB>8
でない場合にはステップS30においてMFB=0か否
かを判定し、MFB=0の場合には出力「1」「2」を
off(L)にし(ステップS31)、ステップS36
に進む。他方、ステップS30においてMFB=0でな
い場合には出力「2」をon(H)、出力「1」をof
f(L)にし(ステップS32)、次いでMFBを4つ
インクリメントし(ステップS33)、次いでMFB>
8であればMFB=8に変更し(ステップS34→S3
5)、ステップS36に進む。
【0048】ステップS36では1ライン前の状態変数
SFB(i)をMFBに更新し、次いで更新した1ライ
ン前の状態変数の当該画素SFB(i)とその前の画素
SFB(i−1)のデータを比較し(ステップS3
7)、SFB(i)>SFB(i−1)であればSFB
(i)=SFB(i−1)に変更し(ステップS37→
S38)、この処理を終了する。
【0049】この処理を主走査方向に順次行うと、状態
変数MFBは図9に示す3つの矢印方向〜に伝播す
る。すなわちステップS36に示す更新処理(SFB
(i)=MFB)により、下方向のように、P(i,j)
からP(i+1,j) に伝播し、ステップS38に示す処理
{SFB(i)=SFB(i−1)}により、斜め左下
方向のように、P(i,j) からP(i+1,j+1) に伝播す
る。
【0050】この処理によりステップS18の白地判定
又はステップS13のパターンマッチングにおいて、状
態変数をセットすることにより白地上の極細線を検出す
ることが可能になり、また、絵柄上の網点を誤検出する
ことを防止することができる。更にステップS21の細
線パターンのパターンマッチングにより状態変数を再セ
ットするので、文字のかたまりも良好に抽出することが
できる。
【0051】また、異なる出力「1」「2」を出力する
ので、「白地上の文字」と「網点上の文字」を切り分け
て出力することができる。また、図9に示すように副走
査方向の矢印方向は「0」又は+方向のみであるので、
主走査方向1ライン毎に行う処理には、1ライン分の状
態変数と、パターンマッチングで必要なライン数のメモ
リを備えるだけで足り、したがって、ページメモリを設
けることなく処理することができる。孤立点除去部4
5、46それぞれに対する出力「1」「2」の違いは状
態変数の違いであり、これにより図7に示す画像の例で
は罫線は出力「1」「2」共に「細線」と判断すること
ができ、網点上の文字は、状態変数の大きい出力「2」
のみが「細線」と判断することができる。
【0052】孤立点除去部(A)45の入力データは、
パターンマッチング部(A)43の出力PM1とパター
ンマッチング部(B)44の出力「1」であり、孤立点
除去部(B)46の入力データは、パターンマッチング
部(A)43の出力PM1とパターンマッチング部
(B)44の出力「2」である。ここで、線画は連続し
た線から成るが、孤立点除去部45、46は同一の回路
で構成されて、網点を線画と誤検出した場合に生じた孤
立点を除去する。なお、パターンマッチング部43、4
4のいずれか1つが抽出パターンであれば抽出パターン
とし、例えば4×4のマトリクスを用いたパターンマッ
チングにおいて抽出パターンが2以上の場合には、中心
画素(a22でもa33でもよい)を抽出パターンとして補
正し、孤立点除去部45、46の各出力PM2,PM3
=H(抽出パターン)とする。なお、これにより孤立点
を除去すると同時に膨張(拡大)している。
【0053】画素密度変換部47、48も共に同一ロジ
ック回路で構成されている。ここで、前段までの回路で
は画素単位で処理していたが、この画素密度変換部4
7、48ではブロック(4×4画素)単位で処理を行う
ために画素単位のデータをブロック単位のデータに変換
する。この変換では4×4の単純間引き処理を行うが、
孤立点除去部45、46において実質上4×4の膨張処
理を行っているのでデータは欠落しない。
【0054】画素密度変換部(A)47の出力はページ
メモリ(A)49とセレクタ(A)51に印加され、ペ
ージメモリ(A)49の出力はセレクタ(A)51に印
加される。画素密度変換部(B)48の出力はページメ
モリ(B)50とセレクタ(B)52に印加され、ペー
ジメモリ(B)50の出力はセレクタ(B)52に印加
される。また、色判定部57の出力はページメモリ
(C)58とセレクタ(C)59に印加され、ページメ
モリ(C)58の出力はセレクタ(C)59に印加され
る。ページメモリ49、50、58は同一の構成であっ
て主走査方向1200ドット×副走査方向1736ライ
ン(約2Mビット)で構成され、解像度を主、副走査方
向共に16ドット/mmとするとA3サイズ及びDLT
用紙より大きなサイズを有する。
【0055】そして、第1スキャン時には入力データが
ブロック(4×4画素)単位でページメモリ49、5
0、58に記憶されると同時に、それぞれセレクタ5
1、52、59を介して出力される。次いで、第2スキ
ャン時以降ではページメモリ49、50、58に記憶さ
れていた第1スキャン時のデータがセレクタ51、5
2、59を介して出力される。したがって、第1スキャ
ン時における線画抽出のデータC/Pと色判定結果B/
Cが第2スキャン時以降において用いられるので、スキ
ャン毎の線画抽出結果C/Pと色判定結果B/Cのバラ
ツキをなくすことができる。
【0056】孤立ブロック除去部53、54は同一の回
路であって同一の機能を有し、周辺データから孤立して
いるブロックを除去する。セレクタ51、52からのデ
ータに対して例えば5×5ブロックのマトリクスを用い
て、中心ブロックのみがon(H)=抽出パターンであ
って他のブロックがoff(L)であるときこのブロッ
クは孤立しているのでoff(L)にする。
【0057】膨張部55、56も同様に同一の回路であ
って同一の機能を有し、孤立しているブロックを隣、ま
たは周辺のブロックと連結させるためにN×NのOR処
理(膨張処理)を行い、その後にM×MのAND処理
(収縮処理)を行う。そして、例えば5×5の補間処理
を行う。なお、M−Nが膨張処理である。一例として3
×3(N=3)ブロック(=12×12画素)の膨張処
理を以下に示す。
【0058】 また、一例として5×5(M=5)ブロックの収縮処理
を以下に示す。
【0059】 その後に、100dpiのギザギザが残っているので5
×5の補間処理を行う。ここで、図13に示す実線が1
00dpiのデータを示し、破線が補間後のデータとな
る。5×5のマトリクスを用いた場合には、以下のよう
に線画として抽出したデータが以下の論理式を満たすと
き、注目画素a22のデータを反転する。
【0060】(パターン1)and (/パターン2) or (パターン3)and (/パターン4) 但し、「/」は反転演算子を示す。
【0061】 ・パターン1 ( a00 and a02 and / a04 and a20 and a22 and / a24 and / a40 and / a42 and / a44) or (/a00 and a02 and a04 and / a20 and a22 and a24 and / a40 and / a42 and / a44) or (/a00 and / a02 and / a04 and a20 and a22 and / a24 and a40 and a42 and / a44) or (/a00 and / a02 and / a04 and / a20 and a22 and a24 and / a40 and a42 and a44) ・パターン2 ( a11 and a12 and a13 and a21 and a22 and a23 and a31 and a32 and a33 ・パターン3 (/a00 and / a02 and a04 and / a20 and / a22 and a24 and a40 and a42 and a44) or ( a00 and / a02 and / a04 and a20 and / a22 and / a24 and a40 and a42 and a44) or ( a00 and a02 and a04 and / a20 and / a22 and a24 and / a40 and / a42 and a44) or ( a00 and a02 and a04 and a20 and / a22 and / a24 and a40 and / a42 and / a44) ・/パターン4 (/a11 and / a12 and / a13 and / a21 and / a22 and / a23 and / a31 and / a32 and / a33) このように抽出パターンを膨張することにより、文字の
交点などを繋ぎ、更に線画とその周辺の線画処理を行
う。なお、上述したパターンマッチングは十字の交点は
抽出できないが、この膨張処理により連結することがで
きる。ここで、線画の周辺を線画と見なすのは、黒文字
処理と空間フィルタを良好に作用させるためである。特
に、この膨張処理によりカタログの使用説明、仕様表の
ように罫線の中に網点があっても罫線を良好に抽出する
ことができる。また、白地を含む罫線を文字として抽出
し、網点上の文字に対しては白地上の文字とは別の判定
結果を出力するので、(白地上の)文字と網点上の文字
に対して別の処理を行うことができる。
【0062】次に、図14を参照して第2の実施形態を
説明する。上記第1の実施形態の図12に示す細線検出
処理では出力「1」「2」の判定を行っているが、第2
の実施形態では出力「2」の判定条件を変更して絵柄上
の文字(罫線)を抽出するようにしている。図14に示
すステップS11〜S38は図12と同一であるが、ス
テップS21とS22〜S24、S32の間にステップ
S41〜S44が追加されている。
【0063】すなわち、ステップS21において「細線
パターン」と一致しない場合には、ステップS41にお
いて後述する「細線パターン1」と一致するか否かを判
定する。そして、「細線パターン1」と一致しない場合
にはステップS22に進み、他方、一致する場合にはス
テップS42においてMFB>8か否かを判定する。そ
して、MFB>8の場合にはステップS44に分岐して
出力「2」をon、出力「1」をoffにし、ステップ
S24に進む。他方、ステップS42においてMFB>
8でない場合にはステップS43においてMFB=0か
否かを判定し、MFB=0の場合にはステップS22に
進み、他方、MFB=0でない場合にはステップS32
に進む。
【0064】「細線パターン1」は前述した「細線パタ
ーン」と同一でも、同一でなくてもよい。ここで、図6
に示すように、黒パターン(k)は黒領域またはエッジ
量xが閾値thRbより大きいものをHとし、白パターン
(w)は細線用白領域またはエッジ量xが閾値thRwより
小さい(マイナス成分であるので絶対値は大きい)もの
をHとする。つまり、エッジ量xの成分で補正する理由
は、細線のコントラストを上げるためである。そこで、
「細線パターン1」では閾値thRb、thRwの少なくとも一
方を「細線パターン」より抽出し易い値に設定する。但
し、「細線パターン」と「細線パターン1」のマッチン
グパターンが異なる場合には、「細線パターン」の方が
抽出し易いように設定しておく。
【0065】また、「細線パターン」と「細線パターン
1」のパターンマッチング結果と、閾値thRw、thRbの情
報量はコード化しない場合には3ビット×nラインとな
るが、次のようにコード化すると2ビット×nラインと
なるので圧縮することができる。
【0066】「細線パターン」の閾値thRw、thRbをそれ
ぞれthRw、thRb 「細線パターン1」の閾値thRw、thRbをそれぞれthRw1
、thRb1 として大小関係が thRw <thRw1 <thRb1 =thRb である場合には、 P<thRw →コード「0」 thRw<P<thRw1 →コード「1」 thRw1 <P<thRb→コード「2」 thRb<P →コード「3」 ここで、Pはエッジ量である。同様に、このようなコー
ドを展開するときには逆の処理を行えばよく、また、大
小関係は固定ではなく、入れ替えることができるように
した方が良いことは勿論である。
【0067】上記方法により、状態変数を用いて白地上
のパターンと、網点上や色地上のパターンを切り替える
ことができ、しかも状態変数を共通に使用することがで
きる。なお、網点上の文字を良好に抽出することができ
れば、図14に示すステップS41において網点上の文
字を抽出する際の状態変数MFBを参照しなくてもよ
く、この場合、ステップS43では常に一致していると
判断することにより、網点上の文字と白地上の文字を分
離するようにしてもよい。その結果、特に、カタログの
使用説明、仕様表のように罫線の中に網点があっても罫
線を良好に抽出することができる。また、白地を含む罫
線は文字として抽出し、網点上の文字は白地上の文字と
は別の判別処理を行うので、第1の実施形態より精度を
向上させることができ、また、(白地上の)文字と網点
上の文字に対して別の画像処理を行うことができる。
【0068】また、図9ではP(i,j+1) 、P(i+1,j)
(i+1,j-1) の3つの伝播方向〜のみが示されてい
るが、特にP(i+1,j-1) の方向に関しては−1の方向
のみならず−2、−3の方向を追加して状態変数の伝播
方向の主走査方向性をなくす方がよい。更に、画像デー
タの全てをページメモリに記憶して画像処理を行う装置
では、状態変数の伝播方向は360°にすることが良い
ことは勿論である。
【0069】図15はアンシャープマスキングによるデ
ィテール強調処理を示している。図15(a)は処理対
象の主信号を、(b)はアンシャープ信号を、(c)は
アンシャープマスク信号を、(d)はディテール強調済
み信号を示し、エッジ特性に基づいて補正を行う。本実
施形態ではラプラシアン部42において図15(c)に
示すアンシャープマスク信号を用いてエッジ量の補正を
行うが、代わりに図15(d)に示すディテール強調済
み信号や他の信号を用いてもよい。
【0070】ここで、パターンマッチング部(A)43
では白地上の黒(輪郭)を抽出するが網点(網かけ)上
の文字は抽出せず、パターンマッチング部(B)44に
より白地上の罫線と、網点上または色地上の文字を別々
に抽出する。また、漢字の「書」のようなこみいった文
字もパターンマッチング部(B)44により抽出する。
なお、MFBの上限値が「8」のときを「網点上の文
字」とし、MFBの上限値が「16」のときを「白地上
の文字」としたが、本発明はこの値に限定されない。
【0071】また、網点上の文字と白地上の文字を分離
して判別する理由は、罫線内に網掛けが存在する場合に
その中の文字の誤検出を避けるためであり、また、罫線
が細い場合にはその近くに文字が存在する可能性がある
ためであり、更に、罫線の幅が太くなるにつれて文字が
その近くに存在する可能性が減少するからである。した
がって、上記実施形態によれば、小さい文字や線画、白
地上の画数の多い文字や網点上の文字を別々に抽出する
ことができる。また、副走査方向の反映方向が一方向で
あるので、ラスタスキャン方式の読み出し方法に適して
おり、特にハードウエア化に適し、更に、画像データに
対して容易に反映させることができる。
【0072】また、本発明は線画のエッジを検出するア
ルゴリズムに関し、特に印刷物特有の網点を検出して除
去することはしないので、ジェネレーションコピー(複
写物の複写物)などのように網点を含まない原稿に特に
有効である。更に、抽出したパターンに対して、画素単
位の孤立点除去部45、46により小さな領域の誤判定
を防止し、その後は孤立ブロック除去部53、54によ
り大きなブロック(4×4画素)単位で広い範囲の孤立
ブロックを除去するので、誤判定を防止することができ
る。この場合、膨張部55、56によりブロック単位の
粗い画素密度を元の画素密度に変換するので、ブロック
単位の粗い画素は無くなる。
【0073】ここで、単純な膨張を行うと、孤立した領
域が大きくなるだけであるが、膨張部55、56では膨
張量をXとしてX=M−N、すなわちM画素膨張してそ
の後にN画素収縮しているので(X<Mであるので)、
孤立した領域を連結させることができる。更に、粗い密
度(ブロック単位)のままで膨張させるので、ハードウ
エアの規模を小さくすることができる。
【0074】また、第1スキャン時の判定結果を第2ス
キャン時以降にも用いるので、各スキャン時の線画判定
結果と色判定結果が必ず一致し、したがって、各スキャ
ン時の画像処理をバラツキなく行うことができる。更
に、ページメモリ49、50、58に記憶されるデータ
は各画像処理回路に対する最終の信号ではなく、画素密
度が粗いデータであるので、データ量を減少させること
ができる。
【0075】なお、線画判定結果用のページメモリ4
9、50には第1スキャン時の判定結果を記憶して第2
スキャン時以降にも用いるが、色判定結果用のページメ
モリ58にはスキャン毎のデータを記憶するようにすれ
ば、メモリ容量が2Mビット×2=4Mビットとなるの
で市販の4Mビットメモリを用いることができる。ま
た、ページメモリ(A)49として2Mビットメモリを
用い、ページメモリ(B,C)50、58としては、4
×4ブロックではなく8×4ブロックとして1Mビット
メモリを用い、合計4Mビット(=2Mビット+1Mビ
ット×2)メモリを用いてもよい。また、全ての判定結
果をメモリ49、50、58に記憶する代わりに、スキ
ャン毎にバラツキの大きいデータのみを記憶するように
してもよい。
【0076】
【発明の効果】以上説明したように請求項1記載の発明
によれば、領域識別信号の密度を荒くして記憶し、読み
出した領域識別信号の密度を元に戻して画像処理手段に
出力するので、領域識別信号を記憶するメモリの容量を
少なくするために領域識別信号の密度を荒くしても適切
な画像処理を行うことができる。
【0077】請求項2記載の発明によれば、領域識別信
号の密度を元に戻す場合に、元の領域識別信号の密度よ
り細かくなるように膨張した後に元の密度に収縮するの
で、領域識別信号の密度を荒くして元に戻しても領域識
別信号が孤立することを防止することができる。
【0078】請求項3記載の発明によれば、領域識別信
号を元の密度に収縮した後に更に斜め線のギザギザを補
間するので、領域識別信号の密度を荒くして元に戻して
も斜め線のギザギザを防止することができる。
【0079】請求項4記載の発明によれば、領域識別手
段が出力する領域識別信号の孤立点を除去して前記密度
変換手段に出力する孤立点除去手段を更に有するので、
領域識別信号の密度を荒くして元に戻しても領域識別信
号が孤立することを防止することができる。
【0080】請求項5記載の発明によれば、記憶手段が
出力する領域識別信号の孤立領域を除去して膨張手段に
出力する孤立領域除去手段を更に有するので、領域識別
信号の密度を荒くして元に戻しても領域識別信号が孤立
することを防止することができる。
【0081】請求項6記載の発明によれば、領域識別信
号が白地上の線画か網点上の線画かを示す領域識別信号
を含むので、白地上の線画と網点上の線画に対してそれ
ぞれ適切な画像処理を行うことができる。
【図面の簡単な説明】
【図1】本発明に係る画像処理装置の一実施形態を備え
た複写機を示すブロック図である。
【図2】図1の画像処理部を詳細に示すブロック図であ
る。
【図3】図2の原稿認識部を詳細に示すブロック図であ
る。
【図4】図3の原稿認識部の参照画素を示す説明図であ
る。
【図5】画像データの濃度変化を示す説明図である。
【図6】図5の画像データのエッジ量を示す説明図であ
る。
【図7】画像データの一例として白地上の網点と網点上
の文字を示す説明図である。
【図8】図3のパターンマッチング部の参照画素を示す
説明図である。
【図9】図3のパターンマッチング部の伝播方向を示す
説明図である。
【図10】図3のパターンマッチング部(A,B)の処
理を説明するためのフローチャートである。
【図11】図3のパターンマッチング部(A,B)の処
理を説明するためのフローチャートである。
【図12】図3のパターンマッチング部(B)の処理を
説明するためのフローチャートである。
【図13】図4の膨張部の補間処理を示す説明図であ
る。
【図14】第2の実施形態のパターンマッチング部
(B)の処理を説明するためのフローチャートである。
【図15】ディテール強調処理を示す説明図である。
【符号の説明】
13 原稿認識部 13a 線画認識部 42 ラプラシアン部 43,44 パターンマッチング部 45,46 孤立点除去部 47,48 画素密度変換部 49,50 ページメモリ 51,52 セレクタ 53,54 孤立ブロック除去部 55,56 膨張部

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 画像データが文字領域か中間調領域かを
    画素毎に識別して領域識別信号を出力する領域識別手段
    と、 前記領域識別信号の密度を荒くする密度変換手段と、 前記密度変換手段が出力する領域識別信号を記憶する記
    憶手段と、 前記記憶手段が出力する領域識別信号の密度を元に戻す
    膨張手段と、 前記膨張手段が出力する領域識別信号に基づいて画像処
    理を行う画像処理手段と、を備えた画像処理装置。
  2. 【請求項2】 前記膨張手段は、前記記憶手段が出力す
    る領域識別信号の密度を、前記第1の密度変換手段が出
    力する領域識別信号の密度より細かくなるように膨張し
    た後に元の密度に収縮することを特徴とする請求項1記
    載の画像処理装置。
  3. 【請求項3】 前記膨張手段は、領域識別信号を元の密
    度に収縮した後に更に斜め線のギザギザを補間すること
    を特徴とする請求項1または2記載の画像処理装置。
  4. 【請求項4】 前記領域識別手段が出力する領域識別信
    号の孤立点を除去して前記密度変換手段に出力する孤立
    点除去手段を更に有することを特徴とする請求項1ない
    し3のいずれかに記載の画像処理装置。
  5. 【請求項5】 前記記憶手段が出力する領域識別信号の
    孤立領域を除去して前記膨張手段に出力する孤立領域除
    去手段を更に有することを特徴とする請求項1ないし4
    のいずれかに記載の画像処理装置。
  6. 【請求項6】 前記領域識別信号は、白地上の線画か網
    点上の線画かを示す領域識別信号を含むことを特徴とす
    る請求項1ないし5のいずれかに記載の画像処理装置。
JP19470396A 1996-07-24 1996-07-24 画像処理装置 Expired - Fee Related JP3506848B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19470396A JP3506848B2 (ja) 1996-07-24 1996-07-24 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19470396A JP3506848B2 (ja) 1996-07-24 1996-07-24 画像処理装置

Publications (2)

Publication Number Publication Date
JPH1042130A true JPH1042130A (ja) 1998-02-13
JP3506848B2 JP3506848B2 (ja) 2004-03-15

Family

ID=16328866

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19470396A Expired - Fee Related JP3506848B2 (ja) 1996-07-24 1996-07-24 画像処理装置

Country Status (1)

Country Link
JP (1) JP3506848B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7940984B2 (en) 2006-07-04 2011-05-10 Ricoh Company, Ltd. Image processing apparatus, image processing method, and computer program product

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7940984B2 (en) 2006-07-04 2011-05-10 Ricoh Company, Ltd. Image processing apparatus, image processing method, and computer program product

Also Published As

Publication number Publication date
JP3506848B2 (ja) 2004-03-15

Similar Documents

Publication Publication Date Title
JP3399486B2 (ja) カラー画像処理装置及び方法
JP3176052B2 (ja) 画像処理装置
JP4749477B2 (ja) 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
JPH1185978A (ja) 画像処理装置及び方法
JP3506848B2 (ja) 画像処理装置
JP4047356B2 (ja) 画像処理装置
JPH0818785A (ja) 画像出力装置
JP4035696B2 (ja) 線分検出装置及び画像処理装置
JP3723666B2 (ja) 画像処理装置
JP3989636B2 (ja) 画像処理装置
JP3255085B2 (ja) 画像領域判定方法およびその装置、画像処理装置
JPH1023251A (ja) 画像処理装置
JPH1155505A (ja) 画像処理装置
JP3564216B2 (ja) 画像処理装置
JP4059600B2 (ja) 画像処理装置および画像処理方法
JPH1079852A (ja) 画像処理装置
JP3857494B2 (ja) 画像処理装置
JP2006245938A (ja) 画像処理装置
JP3999420B2 (ja) 画像処理装置および画像処理方法
JP3596962B2 (ja) 画像処理装置
JPH09139839A (ja) 画像処理装置
JPH09130598A (ja) カラー画像形成装置
JPH1146300A (ja) 画像処理装置
JP2000152012A (ja) 画像処理装置
JP2000125140A (ja) 画像処理装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20031209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031217

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081226

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081226

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091226

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101226

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101226

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees