JP3807891B2 - 画像情報の領域判別方法および装置 - Google Patents

画像情報の領域判別方法および装置 Download PDF

Info

Publication number
JP3807891B2
JP3807891B2 JP2000046060A JP2000046060A JP3807891B2 JP 3807891 B2 JP3807891 B2 JP 3807891B2 JP 2000046060 A JP2000046060 A JP 2000046060A JP 2000046060 A JP2000046060 A JP 2000046060A JP 3807891 B2 JP3807891 B2 JP 3807891B2
Authority
JP
Japan
Prior art keywords
pixel
edge
pixels
scanning direction
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000046060A
Other languages
English (en)
Other versions
JP2001238076A (ja
Inventor
勉 黒瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Riso Kagaku Corp
Original Assignee
Riso Kagaku Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Riso Kagaku Corp filed Critical Riso Kagaku Corp
Priority to JP2000046060A priority Critical patent/JP3807891B2/ja
Priority to EP01104318A priority patent/EP1133160B1/en
Priority to DE60133599T priority patent/DE60133599T2/de
Priority to US09/790,519 priority patent/US7158261B2/en
Publication of JP2001238076A publication Critical patent/JP2001238076A/ja
Application granted granted Critical
Publication of JP3807891B2 publication Critical patent/JP3807891B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40062Discrimination between different image types, e.g. two-tone, continuous tone

Description

【0001】
【発明の属する技術分野】
本発明は、領域判別方法および装置に関し、より詳細には、例えば、感熱孔版原紙に穿孔を施して印刷を行なう製版印刷装置、電子写真技術により感光体に潜像を形成し用紙に転写する装置(複写機)、或いは感熱紙などに複写する装置(プリンタ)などに利用される領域判別方法および装置に関するものである。
【0002】
【従来の技術】
従来より、製版や印刷(複写印刷を含む)の分野では、文字や線画などの2値画像と写真や網点などの階調画像とが混在した原稿をスキャナを用いて読み取って、主走査方向と副走査方向に画素単位で標本化された多階調画像信号を得、この多階調画像信号を2値化し、2値化された2値化データに基づいて製版や印刷を行なっている。
【0003】
2値画像と階調画像とが混在する原稿を画像処理装置を用いて出力する場合に好ましい出力結果を得るためには、2値画像領域は適当な単一閾値により最大濃度か最小濃度のどちらかに濃度変換(2値画像用濃度変換)し、階調画像領域は入出力装置の特性を考慮して原画像の階調特性が保存されるように濃度変換(階調画像用濃度変換)を施し、その後、2値画像領域については単一閾値を基準に2値化する単純2値化法により2値化し、階調画像領域についてはディザ法や誤差拡散法などの擬似中間調表現法を用いて2値化するのが一般的である。また、網点写真にディザ法を用いた2値化を施すとモアレが発生しやすいなどの問題があるので、写真領域と網点領域の両者について、単純に同じ特性の濃度変換処理を行ない、また同じ方法による2値化処理を行なうことは好ましくない。
【0004】
このためには画像の各部が文字領域などの2値画像領域であるのか写真領域や網点領域などの階調画像領域であるかを判別して、判別された領域に適した画像処理、例えば上述のように、2値画像である領域については文字分がより濃く出力されるようにする2値画像用の濃度変換処理を行ない、階調画像である領域については出力画像においても階調性が保存されるように写真画像用または網点画像用の濃度変換処理を行なう必要がある。
【0005】
このように、前記混在した原稿を使用する場合には、読み取った原稿1枚分に相当する1フレーム分の画像信号について、文字、写真、網点の各領域を正確に判別し、各領域毎に最適な処理を行なう画像処理技術が必要になっており、文字、写真、網点の各領域を判別する方法として、従来より、多数の技術が提案されている。
【0006】
例えば、ある画素が網点領域の画素であるのか否かを判定する方法としては、一定の大きさの参照領域内にあるエッジ数により判定する方法(特開平2−274174号、特開平5−344331号など)が提案されている。
【0007】
上記特開平2−274174号に記載の方法は、主走査方向および副走査方向に多数の画素で表現された画像情報について、画素毎にエッジを検出し、主走査方向にM画素、副走査方向にN画素から成るM×N画素のブロック中に含まれるエッジ数を計算し、エッジ数が所定の閾値thよりも大きいとき、そのブロック全体を網点と判定したり、或いは画素毎に判定をするためにブロック内の中心画素(注目画素)のみを網点と判定するものである。つまり、上記特開平2−274174号に記載の方法においては、エッジの検出結果を網点判定処理に利用している。
【0008】
【発明が解決しようとする課題】
しかしながら、上記特開平2−274174号に記載の方法では、文字や線画と網点写真が混在する場合に、文字や線画を含む文字領域を網点部を含む網点領域と誤判定することがあるという問題を有する。これは、文字領域と網点領域の夫々におけるエッジ検出結果を比較した場合、文字領域ではエッジが繋がって検出され、網点領域では独立したエッジが規則的に検出されるので、位置や形状に関して言えば、エッジの並び方に違いがあるが、文字の大きさ或いは線の長さや網点の線数などによってエッジが現れる頻度が大きく変わるために、ブロック中に含まれるエッジ数即ちエッジ密度に関して言えば、網点領域と文字領域が同じような値(エッジ特徴量)を持つことが多々あるためである。このため、例えば、新聞の文字のような小さい文字が多数並んでいる部分を網点領域と誤判別したり、定規スケールのように、平行線が多数並んでいるような線画部分を網点領域と誤判別することがある。
【0009】
本発明は、上記事情に鑑みてなされたものであり、網点領域と文字領域の領域判別をより正確に行なうことができる方法および装置を提供することを目的とするものである。
【0010】
【課題を解決するための手段】
本発明による領域判別方法は、複数の画素が繋がってエッジとして検出された場合には、連続する各エッジ画素で構成される集合(以下ラベルともいう)内のエッジ画素ができるだけ1画素に収束されるように、文字や線画のラベル内のエッジ数を削減するようにし、このエッジが削減された結果に基づいて網点判定を行なうようにしたことを特徴とするものである。
【0011】
即ち、本発明による領域判別方法は、主走査方向および副走査方向に多数の画素で表現された画像情報の各画素が網点領域画素であるか否かを、各画素がエッジ画素であるか非エッジ画素であるかの判定に基づいて判別する画像情報の領域判別方法であって、
主走査方向および/または副走査方向に、エッジ画素と判定された画素が連続しているときには、該連続したエッジ画素の内の少なくとも1つについての判定の結果をエッジ画素であると維持し、且つ残りの画素についての判定の結果を非エッジ画素であると修正するエッジ収束ステップと、
該維持または修正された後の判定の結果に基づいて、各画素が網点領域画素であるか否かを判別する網点領域判別ステップとからなることを特徴とするものである。
【0012】
ここで、「主走査方向および/または副走査方向に、エッジ画素と判定された画素が連続している」とあるが、3×3画素で構成される8近傍画素内において互いにエッジ画素が隣接していることに限定されるのもではなく、本願発明においては、所定画素近傍内においてエッジ画素が互いに近接していることを含むものとする。「所定画素近傍」をどのような値に設定するかは、シミ、滲み或いは掠れなど、原稿の品質に応じて決定するとよい。例えば、5×5画素で構成される24近傍画素に設定すれば、連続した2つの線が1画素の間隔をおいて近接しているときにも「エッジ画素と判定された画素が連続している」ものと見做すことができ、掠れによって線が所々切断されている場合でも1本の線として判定することができるようになる。
【0013】
「少なくとも1つ」とあるが、この数はできるだけ「1つ」であることが望ましい。
【0014】
前記網点領域判別ステップは、維持または修正された後の判定の結果が示すエッジ密度を参照して、各画素が網点領域画素であるか否かを判別するものである限りどのようなものであってもよい。
【0015】
上記本発明による領域判別方法におけるエッジ収束ステップにおいては、連続部分の中間に位置する画素など、連続したエッジ画素の内の任意の画素についての判定結果をエッジ画素であると維持するようにしてもよいが、この場合には、いずれの画素を維持対象画素とすべきかを判定する処理が必要となるので、処理が多少複雑になる。そこで、処理を簡易なものとするために、前記エッジ収束ステップを、連続したエッジ画素の内の一方の端部に位置する画素のみについての判定の結果をエッジ画素であると維持し、残りの画素についての判定の結果を非エッジ画素であると修正するものとするとよい。
【0016】
ここで、連続したエッジ画素の内の一方の端部に位置する画素についての判定の結果をエッジ画素であると維持する方法としては、次の方法を用いるのが好ましい。即ち、前記エッジ収束ステップを、エッジ画素と判定された画素の内、下記(1)、(2)、(3)の3つの条件の内少なくとも1つの条件を満たす画素についての前記判定の結果を非エッジ画素であると修正することにより、結果として、判定結果がエッジ画素である画素が一方の端部に維持されるようにするのが好ましい。
(1)主走査方向および副走査方向の内の何れか一方の方向において、前記画素(判定対象画素)と所定範囲内において近接する複数の画素の内の何れかの画素がエッジ画素である。
(2)主走査方向および副走査方向の内の他方の方向において、前記画素(判定対象画素)と所定範囲内において近接する1つの画素がエッジ画素である。
(3)前記近接する1つの画素の並び方向とは反対側に所定範囲内において前記画素(判定対象画素)に近接してエッジ画素が少なくとも1つ存在しており、且つ該画素(判定対象画素)と近接したエッジ画素の内少なくとも1つが、上記(1)の条件を満たすものである、つまり、前記複数の画素の内の何れかに該当し且つエッジ画素であると判定され得る画素である。
【0017】
ここで、上記(1)〜(3)の条件における「所定範囲」は、1画素であることが望ましい。この場合の上記(1)〜(3)の各条件は、結果的には以下のように、それぞれ対応する(4)〜(6)の各条件に置き換えることができる。
(4)主走査方向および副走査方向の内の何れか一方の方向において、前記画素(判定対象画素)と8近傍画素内において隣接する画素と、主走査方向および副走査方向の内の他方の方向において該隣接する画素を挟む2つの画素の計3つの画素の内の何れかの画素がエッジ画素である。
(5)主走査方向および走査方向の内の他方の方向において、前記画素(判定対象画素)と隣接する画素がエッジ画素である。
(6)前記隣接する画素の隣接方向とは反対側において前記画素(判定対象画素)に連続してエッジ画素が少なくとも1つ存在しており、且つ該画素(判定対象画素)と連続したエッジ画素の内の少なくとも1つが上記(4)の条件を満たすものである。
【0018】
なお、主走査方向と副走査方向とは互いに直交する方向にあり、これらの方向関係は相対なものである。上記において、主走査方向或いは副走査方向と言ったのは、その代表的な態様を示したものであり、上述した各方向の相対関係が維持される範囲内で、上述の主走査方向と副走査方向とを、夫々90度、180度、或いは270度相対的に回転させた方向としても、同様の効果を得ることができる。本発明における、主走査方向と副走査方向とは、代表的な態様を示したものであって、夫々を前述のように相対的に回転させた方向における態様も本発明に含むものとする。
【0019】
本発明による領域判別装置は、上述した本発明による領域判別方法を実現する装置であって、主走査方向および副走査方向に多数の画素で表現された画像情報の各画素が網点領域画素であるか否かを、前記各画素がエッジ画素であるか非エッジ画素であるかの判定に基づいて判別する網点領域判別手段を備えた領域判別装置であって、
網点領域判別手段を、主走査方向および/または副走査方向に、前記エッジ画素と判定された画素が連続しているときには、該連続したエッジ画素の内の少なくとも1つについての判定の結果をエッジ画素であると維持し、且つ残りの画素についての前記判定の結果を非エッジ画素であると修正するエッジ収束手段を有して成るものとし、該維持または修正された後の判定の結果に基づいて、前記各画素が網点領域画素であるか否かを判別するものとしたことを特徴とするものである。
【0020】
本発明による領域判別装置においては、エッジ収束手段を、前記連続したエッジ画素の内の一方の端部に位置する画素についての判定の結果をエッジ画素であると維持するものとするのが望ましい。
【0021】
具体的には、エッジ収束手段を、主走査方向および副走査方向の内の何れか一方の方向において、判定対象となる画素(判定対象画素)と8近傍画素内において隣接する画素と、主走査方向および副走査方向の内の他方の方向において該隣接する画素を挟む2つの画素の計3つの画素の内の何れかの画素がエッジ画素であるときに、該判定対象画素を非エッジ画素と判定する第1の判定手段と、主走査方向および副走査方向の内の他方の方向において、判定対象となる画素と隣接する画素がエッジ画素であるときに、該判定対象画素を非エッジ画素と判定する第2の判定手段と、隣接する画素の隣接方向とは反対側において判定対象となる画素に連続してエッジ画素が少なくとも1つ存在しており、且つ該判定対象画素と連続したエッジ画素の内少なくとも1つの画素に対する前記第1の判定手段の判定結果が非エッジ画素でないときに、該判定対象画素を非エッジ画素と判定する第3の判定手段とを有して成るものとするのが望ましい。
【0022】
なお、本発明における網点領域判別手段は、上述のエッジ収束手段を有すると共に、該エッジ収束手段により維持または修正された後の判定の結果が示すエッジ密度を参照して、各画素が網点領域画素であるか否かを判別するものである限りどのようなものであってもよい。
【0023】
【発明の効果】
本発明による領域判別方法および装置は、エッジ画素と判定された画素が連続しているとき、即ち、複数の画素が所定範囲内において繋がってエッジとして検出されたときには、少なくとも1つ、好ましくは1つについての判定の結果をエッジ画素であると維持し、且つ残りの画素についての判定の結果を非エッジ画素であると修正し、該維持または修正後、即ちエッジ収束後の判定結果に基づいて網点領域の判定を行なうようにしている。
【0024】
ここで、エッジが繋がって検出される部分としては、文字に関しては1つの「へん」や「つくり」、また線画に関しては1つの線分、さらに網点領域では各網点部分に生じ得るが、文字や線画のほうが網点よりも多くのエッジが連結して検出され易く、判定結果が非エッジ画素であると修正される画素数、換言すれば、除去されるエッジ数は文字や線画部分の方が網点部分よりも多くなる。よって、エッジが現れる頻度の低減効果は、文字や線画部分を含む文字領域の方が網点部分を含む網点領域よりも大きく、エッジ密度に関して言えば、文字領域と網点領域とでは、大きな差が生じるようになる。
【0025】
したがって、エッジ収束後の判定結果に基づいて、各画素が網点領域画素であるか否かを判別すれば、文字領域と網点領域とで大きな差を有するエッジ密度を参照することができるので、新聞の文字のような小さい文字が多数並んでいる領域を網点領域と誤判定したり、定規のスケールのように平行線が多数並んでいるような線画部分を網点領域と誤判定する虞れが少なくなり、判別精度が向上するようになる。
【0026】
また、上記維持し或いは修正するエッジ収束処理において、上記(1)〜(3)の3つの条件の内少なくとも1つの条件を満たす画素についての前記判定の結果を非エッジ画素であると修正する方法を用いるなどして、連続したエッジ画素の内の一方の端部に位置する画素についての判定結果をエッジ画素であると維持し、残りの画素についての判定結果を非エッジ画素であると修正するようにすれば、常に一方の端部に位置する画素がエッジ画素として維持されるので、いずれの画素を維持対象画素とすべきかを判定する処理が不要となり、エッジ収束処理のアルゴリズムや装置構成が簡易になる。
【0027】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0028】
図1は本発明による領域判別装置の一実施の形態を用いた画像処理装置の概略構成を示すブロック図である。
【0029】
図1に示すように、この画像処理装置1は、画像データD0を取り込むスキャナ部10、取り込まれた画像データが網点画像部分のデータの場合に含まれるモアレ周波数成分を除去するモアレ除去処理部20、入力された画像データが担持する画像の各部分が文字領域などの2値画像領域であるのか写真領域や網点領域などの階調画像領域であるかを判別する領域判別部30、スキャナ部10から出力された生画像データD0、モアレ除去処理部20から出力されたモアレ除去済画像データD1および領域判別部30から出力された画素属性情報J1が入力され、生画像データD0またはモアレ除去済画像データD1に対して画素属性情報J1に応じた濃度変換処理を行なう濃度変換処理部60、濃度変換処理部60から出力された画像データD2に対して、誤差拡散法や網点2値化法などにしたがって2値化処理を行なう2値化処理部70、および製版処理や印刷処理を行なう画像出力部80を備えている。
【0030】
モアレ除去処理部20は、一般的に知られているローパスフィルタなどを用いてスムージング処理を行なって、一旦網点情報をボカす処理を行なうものである。
【0031】
本発明による領域判別装置の一態様である領域判別部30は、文字/写真判定処理部31と、本発明の網点領域判別手段としての網点領域判定処理部40と、画素属性判定処理部50とから構成されている。
【0032】
文字/写真判定処理部31は、エッジ検出結果や画像の濃度情報に基づいて、スキャナ部10で読み取った生画像データD0の各画素が文字領域の画素であるのか銀塩写真領域の画素であるのかを判定するものである。
【0033】
画素属性判定処理部50は、文字/写真判定処理部31と網点領域判定処理部40における判別結果に基づいて、スキャナ部10で読み取った生画像データD0の各画素が、文字領域、銀塩写真領域および網点領域の内のいずれの領域に属するのかを判定し、その判定結果として画素属性情報J1を濃度変換処理部60に出力する。
【0034】
この画素属性判定処理部50における判定処理の際には、網点領域判定処理部40における判別結果を最優先にして画素の属性を決定する。すなわち、網点領域検出処理部40により網点であると判定された画素については、文字/写真判定処理部31の判定結果に拘わらず、その画素の属性を網点であると判定し、網点であることを示す画素属性情報J1を出力する。一方、網点領域検出処理部40により網点でないと判定された画素については、文字/写真判定処理部31の判定結果をその画素の属性とし、この属性を示す画素属性情報J1を出力する。
【0035】
濃度変換処理部60は、画素属性判定処理部50から入力された画像属性情報J1が網点であることを示している場合にはモアレ除去済画像データD1に対して写真用の濃度変換処理を施す一方、画像属性情報J1が文字あるいは写真であることを示している場合には生画像データD0に対して文字用あるいは写真用の濃度変換処理を施すものである。
【0036】
網点領域判定処理部40は、生画像データD0の各画素が網点領域の画素であるのか非網点領域の画素であるのか、換言すれば網点領域の画素であるのか否かを判定するものであり、その詳細ブロック図を図2に示すように、エッジ検出手段41、エッジ収束手段42、主走査方向網点判定手段44、および副走査方向網点判定手段45から構成されている。
【0037】
この網点領域判定処理部40は、新聞、雑誌、ユーザがコンピュータやワードプロセッサ上で作成した文書など、種々の文書原稿に含まれる網点写真や網掛けなどの網点領域を自動的に判別するものである。主走査方向網点判定手段44、および副走査方向網点判定手段45は、エッジ収束手段42の出力結果を利用して、各画素が網点領域画素であるか否かを判別するものとして機能する。
【0038】
なお、エッジ収束手段42を取り除いた構成とすれば、従来の構成にかかる網点領域判別装置と同じ構成となり、該エッジ収束手段42を除く各部分による網点領域判別のアルゴリズムも従来のものと同じである。副走査方向網点判定結果Vの値は、網点領域画素であることを示すときには「1」であり、非網点領域画素であることを示すときには「0」である。
【0039】
一方、本発明の主要部であるエッジ収束手段42における処理としては、新聞の文字のような小さい文字が多数並んでいる領域を網点領域と誤判定したり、定規のスケールのように、平行線が多数並んでいるような線画部分を網点領域と誤判定することがないように、複数の画素に亘って連続してエッジが検出された場合には、連続する各エッジ画素で構成されるラベル内のエッジ画素がでるだけ1画素に収束されるようにするエッジ収束処理を用いている。エッジ検出手段41によるエッジ検出結果Eとしては、エッジが検出されたとき、即ち処理対象画素がエッジ画素であるときには「1」が出力され、逆にエッジが検出されないとき、即ち処理対象画素が非エッジ画素であるときには「0」が出力される。
【0040】
以下、エッジ収束手段42の作用について詳細に説明する。最初に、図3に示すフローチャートを参照して、エッジ収束手段42の処理アルゴリズムについて説明する。なお、この図3においては処理のステップ番号にS印を付けて表す。
【0041】
この処理アルゴリズムは、エッジ検出手段41によるエッジ検出結果E、即ちエッジ画素であるか非エッジ画素であるかの判定結果に関して、線画や文字のようにエッジが3×3画素で構成される8近傍画素内において互いに連続して(繋がって)検出される場合には、連続したエッジ画素の集合(ラベル)の端部の何れか一方に位置する画素のみについての判定結果をエッジ画素、即ちエッジ検出結果Eが「1」であると維持し、残りの画素についての判定結果を非エッジ画素、即ちエッジ検出結果Eを「0」と修正するものである。
【0042】
具体的には、エッジ検出手段41によりエッジが検出されエッジ画素であると判定された画素の範囲内において、注目画素を設定したとき、下記(4)、(5)、(6)の3つの条件の内少なくとも1つの条件を満たす注目画素についてのエッジ検出結果E(エッジ画素であることを示す「1」)を、非エッジ画素であることを示す「0」に修正するようにしている。
(4)主走査方向および副走査方向の内の何れか一方の方向において注目画素と8近傍画素内において隣接する画素と、前記主走査方向および副走査方向の内の他方の方向において該隣接する画素を挟む2つの画素の計3つの画素の内、何れかの画素がエッジ画素である。
(5)主走査方向および副走査方向の内の他方の方向において、注目画素に隣接する画素がエッジ画素である。
(6)前記他方の方向における注目画素に隣接する画素の並び方向とは反対側において注目画素に連続してエッジ画素が少なくとも1つ存在(複数の場合にはそれらが互いに前記他方の方向とは反対方向に一列に連続)しており、且つ該注目画素と連続したエッジ画素の内少なくとも1つが上記(4)の条件を満たすものである。
【0043】
なお、本実施の形態においては、上記(4)〜(6)の各条件を満たしているか否かをそれぞれ判定し、満たしているとき、注目画素を非エッジ画素と判定する、上記(4)〜(6)に対応する、第1〜第3の判定手段は、不図示のマイクロプロセッサで構成される。
【0044】
また、各判定処理のアルゴリズムや装置構成を簡易なものとするために、原稿上の左上に対応する画素番号(0,0)の画素から順に右方向(主走査方向)に注目画素を1画素ずつ移動させて、1ライン分(1主走査分)の処理の終了後は1画素分下のラインを同様に処理することを繰り返すことにより全画素に対して処理を行なうようにしており、上記(4)の条件は、注目画素の1画素分下(副走査方向)に隣接する画素と、主走査方向においてこの隣接した画素を挟む2画素の計3画素、換言すれば、注目画素周辺の8近傍画素の内の下方向(真下および斜め下方向)に位置する3画素の内の何れかの画素がエッジ画素である場合とする。また、上記(5)の条件は、注目画素の右側(主走査方向)に隣接する画素がエッジ画素である場合とする。さらに、上記(6)の条件は、注目画素の左側(主走査方向とは反対方向)にエッジ画素が連続しており、且つその内の少なくとも1つが上記(4)の条件を満たすものである場合とする。
【0045】
なお、ラインメモリを必要とせずに簡易な方法で(6)の判定処理を行なうためには、(4)の判定処理の結果を示す除去可能Flagという値を保持することが望ましく、本実施の形態においては、先ず除去可能Flagの値を「0」に初期化する(S20)。なお、この初期化に際しては、同時に、左上の画素番号(0,0)の画素を注目画素(i,j)とする(S20)。ここで、iは主走査方向の画素番号、jは副走査方向の画素番号を示す。
【0046】
次に、注目画素(i,j)周辺の8近傍画素の内の下方向に位置する3画素のエッジ検出結果の値を見て、エッジが検出されている画素があるか否かを判定する(S21)。1つでもエッジが検出されている画素があるときには除去可能Flagの値を「1」にし(S21−YES、S22)、1つもエッジが検出されていないときには除去可能Flagの値を維持する(S21−NO)。
【0047】
次に、注目画素(i,j)についてのエッジ検出結果Eが「0」であるか否かを判定し、値が「0」、即ち注目画素が非エッジ画素であると判定されているときには除去可能Flagの値を「0」にし(S23−YES,S24)、値が「1」、即ち注目画素がエッジ画素であると判定されているときには直前の除去可能Flagの値を維持する(S23−NO)。
【0048】
これにより、除去可能Flagの値は条件(4)を満たす場合に「1」となるので、該除去可能Flagの値を参照することにより条件(4)を満たすか否かの判定が可能となる。また、注目画素(i,j)を主走査方向に1画素ずつ移動させたときに、一度上記条件(4)を満たした後エッジ検出結果が「0」の注目画素まではずっと「1」の値を維持する、換言すれば上記条件(6)を満たす間は除去可能Flagの値は「1」になっていることになるので、結果として、注目画素(i,j)の左側にエッジ画素が連続しており、且つ該連続したエッジ画素の内の少なくとも1つが上記(4)の条件を満たすものであるときには、除去可能Flagが「1」を示すようになり、該除去可能Flagの値を参照することにより、条件(6)を満たすか否かの判定が可能となる。
【0049】
次に、注目画素(i,j)の右側の画素(i+1,j)がエッジ画素であると判定されているか、換言すればエッジ検出結果Eが「1」であるか、または除去可能Flagが「1」であるかを判定し(S25)、いずれかを満足するときには、注目画素(i,j)のエッジ検出結果Eの値を「0」に変更する(S25−YES、S26)。一方、いずれをも満足しないときには、直前のエッジ検出結果Eの値を維持する(S25−NO)。ここで、エッジ検出結果Eが「1」であるか否かは上記条件(5)を満たしているか否かを示し、除去可能Flagが「1」であるか否かは上記条件(4)または(6)を満たしているか否かを示すので、上記条件(4)〜(6)の何れかを満たすときにエッジ検出結果Eが「0」に修正され(S26)、それ以外はエッジ検出結果Eが「1」のまま維持される(S25−NO)。
【0050】
次に、ステップ21から26までの処理が1ライン分(1主走査分)の全画素について終了するまで、即ち注目画素(i,j)が左から右に向かって1画素ずつ順次移動してiが主走査方向画素数以上となるまで、i=i+1とした後、繰り返し同様の処理を行ない(S27,28)、1ライン分の処理終了後に注目画素の位置を、原稿全体について同様の処理が終了するまで、即ちjが副走査方向画素数以上になるまで、j=j+1として1つ下のラインに順次移動させて、除去可能Flagの値を「0」、「i=0」に初期化して、繰り返し同様の処理を行なう(S29〜31)。
【0051】
上記アルゴリズムによって、連続したエッジが収束される例を図4に示す。図中斜線で示した画素がエッジ検出結果Eが「1」から「0」に修正される画素を示し、斜線に加えて☆が示されている画素がエッジ検出結果Eが「1」に維持される画素を示す。
【0052】
主走査方向にエッジ画素が多数連続しているときには、上記条件(5)により、図4(A)(右下下部は除く)に示すように、最も右側に位置する端部の画素(18,1)のみのエッジ検出結果Eが「1」に維持され、残りの全画素のエッジ検出結果Eが「0」に修正される。
【0053】
このとき、前記残りの全画素の内、何れかが条件(4)を満たしているときには、上記条件(6)により、図4(B)〜(D)(いずれも右下下部は除く)に示すように、最も右側に位置する端部の画素のエッジ検出結果Eの値も「0」に修正される。この場合、主走査方向に連続する全画素のエッジ検出結果Eが「0」に修正されるが、順次1ライン分下において同様に処理した結果として、エッジ検出結果Eが「1」と維持されるものが少なくとも1つ残る。
【0054】
ここで「少なくとも1つ」といったのは、図4(B)に示すように、連続した途中に分岐がなく、左端の下方向(真下および斜め下の何れでもよい)において1つの端部を有している場合には、この左側下部の端部の画素(1,4)のエッジ検出結果Eが「1」と維持されるが、図4(C)に示すように、連続した途中に分岐がない場合でも、左端の下方向(真下および斜め下の何れでもよい)に分岐を有している場合には、エッジ検出結果Eが「1」と維持されるものが画素(1,4)と(7,4)に存在したり、図4(D)に示すように、連続した途中に分岐がある場合には、エッジ検出結果Eが「1」と維持されるものが画素(1,4)と(13,4)に存在するなど、エッジ検出結果Eが「1」と維持される画素が複数存在する場合があるからである。
【0055】
また、図4(A)の右側下部に示したように、主走査方向にエッジ画素が2つ連続しているときには、左側に位置する画素(20,4)のみが条件(5)を満たすので、左側の画素(20,4)のみのエッジ検出結果Eが「0」に修正され、右側に位置する画素(21,4)のエッジ検出結果Eが「1」に維持される。このとき、図4(B)の右側下部に示すように、左側の画素(20,4)がさらに条件(4)を満たしているときには、右側に位置する画素(21,4)が条件(6)を満たすようになるので、右側に位置する画素(21,4)のエッジ検出結果Eも「0」に修正される。この場合に左側の下方向(真下および斜め下の何れでもよい)においてエッジ検出結果Eが「1」と維持される画素がどの位置になるのかは、上述した、主走査方向にエッジ画素が多数連続している場合と同じである。
【0056】
また、図4(C)の右側下部に示したように、主走査方向にはエッジ画素が連続していないが、下方向(真下および斜め下の何れでもよい)にエッジ画素が連続している場合には、上側に位置する画素(20,4)が条件(4)を満たすので、上側の画素(20,4)のエッジ検出結果Eが「0」に修正される。この場合に下方向(真下および斜め下の何れでもよい)においてエッジ検出結果Eが「1」と維持される画素がどの位置になるのかは、上述した、主走査方向にエッジ画素が多数連続している場合と同じである。
【0057】
図4に示した収束処理結果の一例から判るように、上記アルゴリズムによって、複数の画素に亘って連続してエッジが検出された場合には、エッジ検出結果Eが「1」から「0」に順次修正され、エッジ検出結果Eが「1」である画素即ちエッジ画素であると維持される画素が、線の一方の端部においてのみ残され、結果として、連続するエッジの集合ができるだけ1画素で構成されるようになる。
【0058】
図5は、上述した処理アルゴリズムの具体例を示す図であって、図5(A)はエッジ検出手段41による判定結果、図5(B),(C)は注目画素と参照領域の関係、図5(D)はエッジ収束手段42による最終的な処理結果を表す。
【0059】
図5(A)のようなエッジ検出結果が得られていた場合において、図3に示した処理アルゴリズムにしたがってエッジ収束処理を行なうと、例えば、図5(B)に示すように、a1で示す注目画素(7,3)に関して言えば、注目画素(7,3)の下方向の3つの画素からなる参照領域b1内の画素(7,4)がエッジ画素で上記(4)の条件を満たしており、注目画素(7,3)の右側に隣接するc1で示す画素(8,3)がエッジ画素で上記(5)の条件を満たしており、注目画素(7,3)の左側に隣接するエッジ画素の集合から成る参照領域d1内の図中○印で示す画素(3,3)が上記(4)の条件を満たしており、a1で示す注目画素(7,3)は上記3つの条件をすべて満たしているので、そのエッジ検出結果Eは「0」に修正され、以降の処理においてはa1は非エッジ画素として扱われる。また、図5(C)に示すように、a2で示す注目画素(15,3)に関して言えば、注目画素(15,3)の下方向の3つの画素からなる参照領域b2内にはエッジ画素が含まれず、また注目画素(15,3)の右側に隣接するc2で示す画素(16,3)がエッジ画素でないので、a2で示す注目画素(15,3)は上記(4)および(5)の条件を満たさないが、注目画素(15,3)の左側に隣接するエッジ画素の集合から成る参照領域d2内の図中○印で示す画素(12,3)が上記(4)の条件を満たしており、a2で示す注目画素(7,3)は上記(6)の条件が満たされるので、そのエッジ検出結果Eは「0」に修正され、以降の処理ではa2は非エッジ画素として扱われる。
【0060】
その他の画素についても、上記(4)〜(6)の条件を満たすか否かが判定され、結果として、図5(D)に示すように、エッジ画素が連続したラベル1の集合については画素(2,4)および画素(7,4)のみ、ラベル2の集合については画素(11,4)のみ、ラベル3の集合については画素(19,3)のみのエッジ検出結果Eが「1」に維持され、各ラベル1,2,3内の残りの画素についてのエッジ検出結果Eは「0」に修正される。一方、エッジ画素が単独に存在する画素(3,1)、(10,1)、(4,5)については、エッジ検出結果Eが「1」のまま維持される。
【0061】
以上説明したように、上記実施の形態においては、エッジ検出結果Eが「1」であるエッジ画素が連結している部分(ラベル)では、エッジ検出結果が「1」である画素として、できるだけ1画素のみが残るようになる。即ち、文字に関しては1つの「へん」や「つくり」に対して、また線画に関しては1つの線分に対して、さらに網点領域では各網点部分に対して、エッジ検出結果Eとして、できるだけ1つの「1」が残るようになる。このため、文字や線画のほうが網点よりも各ラベルにおいて、多くのエッジが連結して検出され易いので、除去されるエッジ数、換言すれば、エッジ検出結果Eが「1」から「0」に修正される画素数は文字や線画部分の方が網点部分よりも明らかに多くなる。したがって、エッジが現れる頻度の低減効果は、文字や線画部分を含む文字領域の方が網点部分を含む網点領域よりも大きく、エッジ密度に関して言えば、文字領域と網点領域とでは、大きな差が生じるようになる。
【0062】
図2に示すように、エッジ収束手段42の出力は主走査方向網点判定手段44に入力されており、主走査方向網点判定手段44および副走査方向網点判定手段45は、このエッジ収束手段42の処理結果を用いて網点領域判定処理を行なうようにしているので、従来の網点領域判別のアルゴリズムを用いて各画素が網点領域画素であるか否かを判別すれば、文字領域と網点領域とで大きな差を有するエッジ密度を参照することができるので、新聞の文字のような小さい文字が多数並んでいる領域を網点領域と誤判定したり、定規のスケールのように平行線が多数並んでいるような線画部分を網点領域と誤判定する虞れが少なくなり、判別精度が向上するようになる。
【0063】
なお、上述したように、エッジ収束手段42を取り除いた構成とすれば、従来の構成にかかる網点領域判別装置と同じ構成となり、エッジ収束手段42の前段のエッジ検出処理手段41や、該エッジ収束手段42以降の主走査方向網点判定手段44および副走査方向網点判定手段45による網点領域判別のアルゴリズムも従来のものと同じである。エッジ収束手段42以降の処理について簡単に説明すると以下の通りである。主走査方向網点判定手段44において、エッジ収束手段42による処理結果(修正後のエッジ検出結果)が、主走査方向1ライン上に、一定の間隔以内でエッジが連続して所定の個数以上存在している範囲を網点領域の候補点とする。網点写真の場合は文字や写真の領域に比べて多数のエッジが存在するので、この処理により網点領域か否かの判定を行なうことができる。最後に、副走査方向網点判定手段45において、注目画素を中心とした幅1画素の一定の高さの参照領域内に、主走査方向網点判定手段45の結果が網点領域の候補点となった画素の数を求め、この数が、所定の閾値以上のときには注目画素を網点領域の最終候補点とする。一方、主走査方向網点判定手段45により網点領域の候補点と判定された画素でも、上記の条件を満たさない画素は非網点領域の画素とする。なお、より詳しい説明については、例えば特開平2−274174号、特開平5−344331号などを参照するとよい。
【0064】
上述した実施の形態における処理アルゴリズムにおいては、処理を簡易なものとするために、原稿上の左上に対応する画素番号(0,0)の画素から順に右方向(主走査方向)に注目画素を1画素ずつ移動させて、1ライン分(1主走査分)の処理の終了後は1画素分下のラインを同様に処理することを繰り返すことにより全画素に対して処理を行なうようにしているが、必ずしもこのような方向や順番に依らなくてもよく、例えば夫々の移動方向を、90度、180度、或いは270度相対回転させるようにしてもよい。
【0065】
また、上述した処理アルゴリズムにおいては、処理を簡易なものとするために、連続したエッジ画素の内の一方の端部に位置する画素についての判定の結果をエッジ画素であると維持するようにしているが、これに限らず、連続部分の中間に位置する画素など、連続したエッジ画素の範囲内の何れかの画素についての判定結果をエッジ画素であると維持するようにしてもよい。この場合、いずれの画素を維持対象画素とすべきかを判定する処理が必要となるので、処理が多少複雑になる。
【0066】
さらに、上述した処理アルゴリズムにおいては、原稿の全画素についてステップ21から26までの処理がなされるようにしているが、これに限らず、最低限、エッジ検出手段41によりエッジ画素と判定された画素についてのみ、上記(4)〜(6)の条件を満たすか否かを判定し、この3つの条件の内少なくとも1つの条件を満たす注目画素についてのエッジ検出結果を非エッジ画素であると修正するようにすれば十分である。
【0067】
さらにまた、上述の処理アルゴリズムにおいては、8近傍画素内においてエッジが互いに連続して検出されたときに、該エッジが連続して検出されるラベル内で、できるだけ1画素のみがエッジとして残るようにしていたが、本発明はこれに限定されるものではなく、シミ、滲み或いは掠れなど、原稿の品質に応じて、一部が切断された文字や線も連続しているものと見做すことができるように、上記(1)〜(3)の条件を満たすか否かを判定し、この3つの条件の内少なくとも1つの条件を満たす注目画素についてのエッジ検出結果を非エッジ画素であると修正するとよい。例えば5×5画素で構成される24近傍画素内においてエッジが検出されたときにも、エッジが連続して検出されたとして扱うようにしてもよい。
【図面の簡単な説明】
【図1】本発明による領域判別装置を包含した画像処理装置の構成を示すブロック図
【図2】本発明による領域判別装置を構成する網点領域判定処理部の詳細を示したブロック図
【図3】エッジ収束手段の作用を説明するフローチャート
【図4】図3に示した処理アルゴリズムによって、連続したエッジが収束される例を示す図
【図5】図3に示した処理アルゴリズムによって、連続したエッジが収束される例を示す具体例
【符号の説明】
1 画像処理装置
10 スキャナ部
20 モアレ除去処理部
30 領域判別部
31 文字/写真判定処理部
40 網点領域判定処理部
42 エッジ収束手段
50 画素属性判定処理部
60 濃度変換処理部
70 2値化処理部
80 画像出力部

Claims (2)

  1. 主走査方向および副走査方向に多数の画素で表現された画像情報の各画素が網点領域画素であるか否かを、前記各画素がエッジ画素であるか非エッジ画素であるかの判定に基づいて判別する前記画像情報の領域判別方法において、
    前記エッジ画素と判定された画素の内、下記(1)、(2)、(3)の3つの条件の内少なくとも1つの条件を満たす画素についての前記判定の結果を非エッジ画素であると修正するエッジ収束ステップと、
    (1)前記主走査方向および前記副走査方向の内の何れか一方の方向において、前記画素と所定範囲内において近接する複数の画素の内の何れかの画素がエッジ画素である。
    (2)前記主走査方向および前記副走査方向の内の他方の方向において、前記画素と所定範囲内において近接する1つの画素がエッジ画素である。
    (3)前記近接する1つの画素の並び方向とは反対側に所定範囲内において前記画素に近接してエッジ画素が少なくとも1つ存在しており、且つ該画素と近接したエッジ画素の内少なくとも1つが上記(1)の条件を満たすものである。
    該修正された後の判定の結果に基づいて、前記各画素が網点領域画素であるか否かを判別する網点領域判別ステップとからなることを特徴とする領域判別方法。
  2. 主走査方向および副走査方向に多数の画素で表現された画像情報の各画素が網点領域画素であるか否かを、前記各画素がエッジ画素であるか非エッジ画素であるかの判定に基づいて判別する網点領域判別手段を備えた前記画像情報の領域判別装置において、
    前記網点領域判別手段が、前記主走査方向および前記副走査方向の内の何れか一方の方向において、判定対象となる画素と8近傍画素内において隣接する画素と、前記主走査方向および副走査方向の内の他方の方向において該隣接する画素を挟む2つの画素の計3つの画素の内の何れかの画素がエッジ画素であるときに、該判定対象となる画素を非エッジ画素と判定する第1の判定手段と、前記主走査方向および前記副走査方向の内の他方の方向において、前記判定対象となる画素と隣接する画素がエッジ画素であるときに、該判定対象となる画素を非エッジ画素と判定する第2の判定手段と、前記隣接する画素の隣接方向とは反対側において前記判定対象となる画素に連続してエッジ画素が少なくとも1つ存在しており、且つ該判定対象となる画素と連続したエッジ画素の内少なくとも1つの画素に対する前記第1の判定手段の判定結果が非エッジ画素でないときに、該判定対象となる画素を非エッジ画素と判定する第3の判定手段とを有するエッジ収束手段を備え、
    該エッジ収束手段により修正された後の判定の結果に基づいて、前記各画素が網点領域画素であるか否かを判別するものであることを特徴とする領域判別装置。
JP2000046060A 2000-02-23 2000-02-23 画像情報の領域判別方法および装置 Expired - Lifetime JP3807891B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000046060A JP3807891B2 (ja) 2000-02-23 2000-02-23 画像情報の領域判別方法および装置
EP01104318A EP1133160B1 (en) 2000-02-23 2001-02-22 Method of and apparatus for distinguishing type of pixel
DE60133599T DE60133599T2 (de) 2000-02-23 2001-02-22 Verfahren und Vorrichtung zur Unterscheiden von Bildelementtypen
US09/790,519 US7158261B2 (en) 2000-02-23 2001-02-23 Method of and apparatus for distinguishing type of pixel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000046060A JP3807891B2 (ja) 2000-02-23 2000-02-23 画像情報の領域判別方法および装置

Publications (2)

Publication Number Publication Date
JP2001238076A JP2001238076A (ja) 2001-08-31
JP3807891B2 true JP3807891B2 (ja) 2006-08-09

Family

ID=18568545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000046060A Expired - Lifetime JP3807891B2 (ja) 2000-02-23 2000-02-23 画像情報の領域判別方法および装置

Country Status (4)

Country Link
US (1) US7158261B2 (ja)
EP (1) EP1133160B1 (ja)
JP (1) JP3807891B2 (ja)
DE (1) DE60133599T2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4133168B2 (ja) * 2002-09-25 2008-08-13 シャープ株式会社 画像処理方法および画像処理装置、プログラムおよび記録媒体ならびに画像形成装置
US7079687B2 (en) * 2003-03-06 2006-07-18 Seiko Epson Corporation Method and apparatus for segmentation of compound documents
JP3823933B2 (ja) * 2003-03-07 2006-09-20 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
JP4948442B2 (ja) * 2008-02-06 2012-06-06 株式会社Pfu 画像処理装置、画像処理方法および画像処理プログラム
US20110213662A1 (en) * 2010-02-26 2011-09-01 Robert Frederic Jessen Mechanism for Generating Banner Advertisements in a Printer System
JP5701030B2 (ja) * 2010-12-06 2015-04-15 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
JP6025475B2 (ja) * 2012-09-21 2016-11-16 キヤノン株式会社 像域判定装置、像域判定方法、及び画像処理装置
CN104240228B (zh) * 2013-06-24 2017-10-24 阿里巴巴集团控股有限公司 一种应用于网站的特定图片的检测方法及装置
CN106033528A (zh) * 2015-03-09 2016-10-19 富士通株式会社 从彩色文档图像中提取特定区域的方法和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0286369A (ja) * 1988-09-22 1990-03-27 Toshiba Corp 画像処理装置
JPH02274174A (ja) 1989-04-17 1990-11-08 Ricoh Co Ltd 画像信号処理装置
US5392365A (en) * 1991-12-23 1995-02-21 Eastman Kodak Company Apparatus for detecting text edges in digital image processing
JPH05344331A (ja) 1992-06-11 1993-12-24 Canon Inc 画像処理装置
JP2616386B2 (ja) * 1993-06-21 1997-06-04 日本電気株式会社 画像処理装置
JP3215768B2 (ja) * 1994-03-24 2001-10-09 株式会社東芝 画像処理装置
US5754708A (en) * 1994-11-16 1998-05-19 Mita Industrial Co. Ltd. Dotted image area detecting apparatus and dotted image area detecting method
JP3568732B2 (ja) * 1997-04-18 2004-09-22 シャープ株式会社 画像処理装置
JP3472094B2 (ja) * 1997-08-21 2003-12-02 シャープ株式会社 領域判定装置
JP3392798B2 (ja) * 2000-02-22 2003-03-31 理想科学工業株式会社 画像属性判別方法および装置

Also Published As

Publication number Publication date
US20010015826A1 (en) 2001-08-23
EP1133160B1 (en) 2008-04-16
US7158261B2 (en) 2007-01-02
EP1133160A2 (en) 2001-09-12
JP2001238076A (ja) 2001-08-31
DE60133599T2 (de) 2009-06-10
EP1133160A3 (en) 2003-10-15
DE60133599D1 (de) 2008-05-29

Similar Documents

Publication Publication Date Title
JP4912270B2 (ja) 画像処理装置及びその制御方法
JP2005094740A (ja) 画像処理装置、画像形成装置及び画像処理方法
JP3695163B2 (ja) 画像形成装置
JP3807891B2 (ja) 画像情報の領域判別方法および装置
JP3083673B2 (ja) 像域識別装置
JP2002016797A (ja) 画像処理方法および装置
JP4408771B2 (ja) 画像読取装置
JP3423665B2 (ja) 領域判別方法および装置
JP4861506B2 (ja) 画像処理装置およびその制御方法
JP3841494B2 (ja) 画像処理装置
JP3563905B2 (ja) 画像出力装置
JP4324532B2 (ja) 画像処理装置および記憶媒体
JP3326309B2 (ja) 画像処理装置
JPH1098613A (ja) 画像処理装置
JP2507927B2 (ja) 画像処理装置
JP3679993B2 (ja) 画像処理装置
JP3609022B2 (ja) 画像形成装置
JP3756318B2 (ja) 画像処理装置
JP3783005B2 (ja) 画像処理装置
JPH07121063B2 (ja) 画像処理装置
JP3675181B2 (ja) 画像認識装置
JPH10243237A (ja) 画像出力装置
JPH0766976A (ja) 画像処理装置
JP2000353247A (ja) 白黒画像情報の領域判別方法および装置
JPH07245706A (ja) 画像処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051011

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060516

R150 Certificate of patent or registration of utility model

Ref document number: 3807891

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090526

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100526

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110526

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110526

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120526

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130526

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140526

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term