JP4154867B2 - Image area discrimination apparatus and image area discrimination program - Google Patents

Image area discrimination apparatus and image area discrimination program Download PDF

Info

Publication number
JP4154867B2
JP4154867B2 JP2001172825A JP2001172825A JP4154867B2 JP 4154867 B2 JP4154867 B2 JP 4154867B2 JP 2001172825 A JP2001172825 A JP 2001172825A JP 2001172825 A JP2001172825 A JP 2001172825A JP 4154867 B2 JP4154867 B2 JP 4154867B2
Authority
JP
Japan
Prior art keywords
region
density
area
halftone dot
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001172825A
Other languages
Japanese (ja)
Other versions
JP2002368993A (en
Inventor
孝元 鍋島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP2001172825A priority Critical patent/JP4154867B2/en
Publication of JP2002368993A publication Critical patent/JP2002368993A/en
Application granted granted Critical
Publication of JP4154867B2 publication Critical patent/JP4154867B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color, Gradation (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、文字、写真、および網点が混在する画像から特定の画像領域を他の画像領域から抽出する画像領域判別装置および画像領域判別プログラムに関する。さらに詳細には、網点上の文字領域を高精度に判別することができる画像領域判別装置および画像領域判別プログラムに関するものである。
【0002】
【従来の技術】
画像をCCDセンサを用いて読み取り、画素に分解して画像処理を行うデジタル複写機などにおいては、文字領域、写真領域、および網点領域など画像の属性を判別している。
そして、その判別結果に応じて各画像の属性に対する画像処理方法を切り替えている。各画像の属性ごとに最適な画像処理方法が異なっているためである。
【0003】
ここで、文字領域の判別技術の1つとしては、例えば、特開平5−344329号公報に開示されたものがある。この技術では、まず、入力画像を所定のマトリクスサイズに分割し、その所定サイズのマトリクス内で平均濃度を算出する。次に、所定サイズのマトリクスを1画素として、注目画素とその周辺画素との濃度差を算出し、その濃度差が一定値以上であれば注目画素がエッジ領域に属すると判別する。そして、エッジ領域に属する画素が所定数以上連続しているところを文字領域であると判別するようにしている。このようにして文字領域を判別することにより、文字領域と写真領域とを分別することができる。
【0004】
また、網点領域の判別技術の代表的なものとしては、例えば、網点領域の特徴である孤立点(極大値点および極小値点)に着目し、所定の領域内に存在する孤立点の個数を計数し、その孤立点の計数値に応じて網点領域の判別を行うものがある。そして、網点上の文字領域は、エッジや孤立点を検出してその検出結果に基づいて判別が行われている。
【0005】
【発明が解決しようとする課題】
しかしながら、上記した従来の画像領域の判別技術では、網点上の文字領域を精度良く判別することができないという問題があった。その理由は以下の通りである。すなわち、網点を構成する孤立点はエッジであると判別される一方、文字が小さい場合にはその部分が孤立点であると判別されることが多い。そして、網点上の文字領域は、孤立点とエッジとが隣接している。このため、文字領域と網点領域との分別が困難となるからである。
【0006】
そして、網点上の文字領域が網点領域であると誤判別されると、再現画像において網点上の文字がぼけてしまうため、高品質な再現画像を得ることができなかった。これは、網点領域に対してスムージング処理が行われるので、網点上の文字領域に対しても同様にスムージング処理が施されるためである。つまり、文字領域に対してはエッジを強調する処理を施す必要があるにも関わらず、モアレ防止のために階調性を重視したスムージング処理が施されるので網点上の文字画像がぼけてしまうのである。
【0007】
そこで、本発明は上記した問題点を解決するためになされたものであり、網点上の文字領域を高精度に判別することができる画像領域判別装置および画像領域判別プログラムを提供することを課題とする。
【0008】
【課題を解決するための手段】
上記問題点を解決するためになされた本発明に係る画像領域判別装置は、注目画素を含む第1領域における平均濃度を算出する第1濃度算出手段と、注目画素を含む第2領域における下地濃度を算出する第2濃度算出手段と、前記第1濃度算出手段の算出結果を、前記第2濃度算出手段によって算出された下地濃度とその下地濃度に応じて正又は負の値に設定されるオフセット量とに基づいて算出される閾値と比較して文字領域に属するか否かを判別する文字領域判別手段と、前記文字領域判別手段の判別結果に基づき、注目画素が網点上の文字領域に属するか否かを判別する判別手段と、を有することを特徴とする。
そして、前記判別手段は、前記第1濃度算出手段で算出された注目画素の平均濃度が前記閾値よりも低いときに、その注目画素が網点上の文字領域に属すると判別すればよい。
【0009】
この画像領域判別装置では、まず、第1濃度算出手段により、注目画素を含む第1領域における平均濃度が算出される。また、第2濃度算出手段により、注目画素を含む第2領域における下地濃度が算出される。なお、第1濃度算出手段および第2濃度算出手段による濃度算出は公知の方法により行えばよい。また、第1濃度算出手段および第2濃度算出手段においては、濃度と相関性があるデータ(例えば、明度など)であれば、濃度値の代わりにそのようなデータを用いてよい。
【0010】
続いて、第1濃度算出手段と第2濃度算出手段とにより平均濃度と下地濃度とが算出されると、文字領域判別手段により、第1濃度算出手段の算出結果が、第2濃度算出手段によって算出された下地濃度とその下地濃度に応じて正又は負の値に設定されるオフセット量とに基づいて算出される閾値と比較される。そして、第1濃度算出手段の算出結果が、第2濃度算出手段によって算出された下地濃度とその下地濃度に応じて正又は負の値に設定されるオフセット量とに基づいて算出される閾値と比較されて、文字領域が判別される。
【0011】
従って、この処理を網点領域内に限って行うことにより、網点上の文字領域を判別することができる。または、この処理を入力画像の全領域に対して行って文字領域と判別された領域であり、かつ網点領域である判別された領域を網点上の文字領域であると判別することもできる。そこで本画像領域判別装置では、判別手段により、濃度比較手段の比較結果に基づき、注目画素が網点上の文字領域に属するか否かを判別することとした。具体的には、判別手段により、第1濃度算出手段で算出された注目画素の平均濃度が閾値よりも低いときに、注目画素が網点上の文字領域に属すると判別することとした。これにより、網点上の文字領域を精度よく判別することができる。
【0012】
ここで、本発明に係る画像領域判別装置においては、第1濃度算出手段と第2濃度算出手段とを算出する場合に、第2領域は、第1領域よりも大きいことが望ましい。下地濃度を算出する第2領域が、平均濃度を算出する第1領域よりも小さいと文字領域の判別精度が低下するからである。言い換えれば、網点上の文字領域の判別精度を高められるからである。
【0013】
そして、本発明に係る画像領域判別装置においては、前記オフセット量は、前記第2濃度算出手段で算出された下地濃度が所定濃度よりも低い場合には負の値に設定され、前記第2濃度算出手段で算出された下地濃度が所定濃度よりも高い場合には正の値に設定される。
これにより、オフセット量は、白下地の場合にはマイナスの値に設定され、黒下地あるいは高濃度の有彩色の下地である場合にはプラスの値に設定される。従って、オフセット量は、下地濃度に応じて変化するため、黒下地あるいは高濃度の有彩色下地における網点上の文字領域も高精度に判別することができる。
【0014】
また、本発明に係る画像領域判別装置においては、注目画素が網点領域に属するか否かを判別する網点領域判別手段と、注目画素と周辺画素との濃度差に基づき注目画素がエッジ領域に属するか否かを判別するエッジ領域判別手段とをさらに有し、前記判別手段は、前記網点領域判別手段により網点領域であると判別され、かつ、前記エッジ領域判別手段によりエッジ領域であると判別され、かつ前記文字領域判別手段により文字領域に属すると判別された場合に、注目画素が網点上の文字エッジ領域に属すると判別することが望ましい。
【0015】
この画像領域判別装置では、網点領域判別手段とエッジ領域判別手段とをさらに備えている。そして、網点領域判別手段により、注目画素が網点領域に属するか否かが判別される。なお、網点領域の判別は、孤立点(極大値点および極小値点)に着目し、所定の領域内に存在する孤立点の個数を計数し、その孤立点の計数値に応じて行えばよい。ただし、網点領域の判別は、これに限られずその他の方法で行ってもよいのはもちろんである。また、エッジ領域判別手段により、注目画素と周辺画素との濃度差に基づき注目画素がエッジ領域に属するか否かが判別される。そして、判別手段により、網点領域判別手段の判別結果とエッジ領域判別手段の判別結果とがさらに考慮されて、注目画素が網点上の文字領域に属するか否かが判別される。具体的には、網点領域判別手段により網点領域であると判別され、かつ、エッジ領域判別手段によりエッジ領域であると判別され、かつ文字領域判別手段により文字領域に属すると判別された場合に、注目画素が網点上の文字領域に属すると判別される。これにより、さらに精度よく網点上の文字領域を判別することができる。
【0016】
ここで、上記した画像領域判別装置は、ハードウェアで構成される場合に限られず、ソフトウェアによっても実現することができる。従って、以下に示すように、画像領域判別方法としても実現することもできるし、画像領域判別プログラムとして存在する場合もある。
【0017】
すなわち、画像領域判別方法の一例として、本発明に係る画像領域判別方法は、注目画素を含む第1領域における平均濃度を算出する第1濃度算出しステップと、注目画素を含む第2領域における下地濃度を算出する第2濃度算出ステップと、前記第1濃度算出ステップの算出結果を、前記第2濃度算出ステップによって算出された下地濃度とその下地濃度に応じて正又は負の値に設定されるオフセット量とに基づいて算出される閾値と比較して文字領域に属するか否かを判別する文字領域判別ステップと、前記文字領域判別ステップの判別結果に基づき、注目画素が網点上の文字領域に属するか否かを判別する判別ステップと、を有することを特徴とする。
また、本発明に係る画像領域判別方法においては、注目画素が網点領域に属するか否かを判別する網点領域判別ステップと、注目画素と周辺画素との濃度差に基づき注目画素がエッジ領域に属するか否かを判別するエッジ領域判別ステップとをさらに有し、前記判別ステップでは、前記網点領域判別ステップにより網点領域であると判別され、かつ、前記エッジ領域判別ステップによりエッジ領域であると判別され、かつ、前記文字領域判別ステップにより文字領域に属すると判別された場合に、注目画素が網点上の文字エッジ領域に属すると判別するようにしてもよい。
【0018】
あるいは、画像領域判別プログラムの一例として、本発明に係る画像領域判別プログラムは、コンピュータに、注目画素を含む第1領域における平均濃度を算出する第1濃度算出しステップと、注目画素を含む第2領域における下地濃度を算出する第2濃度算出ステップと、前記第1濃度算出ステップの算出結果を、前記第2濃度算出ステップによって算出された下地濃度とその下地濃度に応じて正又は負の値に設定されるオフセット量とに基づいて算出される閾値と比較して文字領域に属するか否かを判別する文字領域判別ステップと、前記文字領域判別ステップの判別結果に基づき、注目画素が網点上の文字領域に属するか否かを判別する判別ステップと、を実行させるためのものである。
また、本発明に係る画像領域判別プログラムにおいては、注目画素が網点領域に属するか否かを判別する網点領域判別ステップと、注目画素と周辺画素との濃度差に基づき注目画素がエッジ領域に属するか否かを判別するエッジ領域判別ステップと、をコンピュータにさらに実行させ、前記判別ステップでは、前記網点領域判別ステップにより網点領域であると判別され、かつ、前記エッジ領域判別ステップによりエッジ領域であると判別され、かつ、前記文字領域判別ステップにより文字領域に属すると判別された場合に、注目画素が網点上の文字エッジ領域に属すると判別するよう機能させるようにしてもよい。
【0019】
これらの画像領域判別プログラムにより、コンピュータを作動させる、すなわちソフトウエアがコンピュータに読み込まれることにより、上記した画像領域判別装置を実現することができる。そして、上記した画像領域判別装置と同様の効果を得ることができる。
【0020】
【発明の実施の形態】
以下、本発明を具体化した最も好適な実施の形態について図面に基づいて詳細に説明する。本実施の形態では、本発明を画像処理装置に適用した場合について説明する。まず、本実施の形態に係る画像処理装置の概略構成を図1に示す。この画像処理装置10には、色補正部11と、領域判別部12と、MTF補正部13とが備わっている。そして、画像処理装置10の動作は、CPU14により統括制御されるようになっている。このCPU14には、画像処理装置10の動作を制御するための各種プログラムなどが格納されたROM15が付設されている。
【0021】
このような画像処理装置10には、画像データを取得するための画像入力部16が接続されている。これにより、画像入力部16から画像処理装置10に画像データが入力される。ここで画像入力部16は、スキャナにより原稿を走査して得られる反射光をCCDセンサで受光し、それを光電変換してアナログの画像データを得るようになっている。このアナログの画像データはデジタルの画像データに変換された後、画像処理装置10に送信されるようになっている。また、画像処理装置10には、画像処理を施した画像を紙などの記録体上に出力するプリンタ17が接続されている。
【0022】
ここで、色補正部11は、プリンタ17における4色のトナーの分光特性、記録プロセスを考慮して、入力された画像データを、色再現性に適合した記録濃度信号CMYKデータに変換するものである。領域判別部12は、網点領域やエッジ領域などの画像の属性を判別するものである。その詳細は後述する。MTF補正部13は、画像の先鋭度などの補正を行うものである。具体的にMTF補正部13は、色補正部11から出力された画像データに対して、領域判別部12の判別結果に従いスムージング処理やエッジ強調処理を行う。そして、MTF補正部13において補正された画像データに基づき、プリンタ17により画像が出力されるようになっている。
【0023】
続いて、本発明の特徴部分である領域判別部12の詳細を図2に示し、これを用いて領域判別部12の構成について説明する。領域判別部12は、入力画像における各画素が、網点領域、エッジ領域、あるいは網点内文字エッジ領域のいずれの領域に属するのかを判別するようになっている。このような判別を行うために、領域判別部12には、明度データ作成部20と、網点判別部21と、下地レベル判別部22と、平均明度算出部23と、エッジ判別部24と、閾値算出部25と、比較部27と、AND回路30とが備わっている。
【0024】
明度データ作成部20は、画像入力部16から送信された画像データに基づき、領域判別に必要な明度データ(本実施の形態では256階調)を作成するものである。明度データ作成部20で作成された明度データは、網点判別部21、下地レベル判別部22、平均明度算出部23、およびエッジ判別部24のそれぞれに入力されるようになっている。
【0025】
そして、網点判別部21は、明度データから孤立点を検出し、その検出結果に基づいて、注目画素が網点領域に属するか否かを判別する。なお、網点領域の具体的な判別方法としては、例えば、特開平2000−287077号公報に開示されている方法などを用いればよい。もちろん、その他の方法を用いて網点領域を判別するようにしてもよい。この網点判別部21から出力される網点領域信号(_AMI)は、AND回路30およびMTF補正部13に入力されるようになっている。
【0026】
また、下地レベル判別部22は、明度データから所定領域内の明度ヒストグラムを作成し、下地レベルを算出する。本実施の形態では、図3に示すように、256×256サイズの領域において明度ヒストグラムを作成して下地レベルの判別を行うこととしている。ここで、下地レベル判別部22で作成される明度ヒストグラムの一例を、図4および図5に示す。図4は白下地である場合を示し、図5は黒下地あるいは高濃度の有彩色の下地である場合を示している。そして、図4および図5に示すように、ヒストグラム中で最も度数が高い明度が下地レベルとして算出されるのである。なお、図4、図5中のth1は後述する閾値を示す。
【0027】
図2に戻って、下地レベル判別部22で算出された下地レベルは、閾値算出部25に入力される。この閾値算出部25は、比較部27における閾値を算出するものである。そして、比較部27における閾値は、下地レベル判別部22で算出された下地レベルと、そのレベルに応じて設定される所定のオフセット量とによって算出されるようになっている。具体的に比較部27において、下地レベルにオフセット量が加算されて閾値th1が算出される。ここで、オフセット量は、不図示の明度閾値(例えば「128」等)よりも大きい場合にマイナスの値に設定され、小さい場合にはプラスの値に設定される。具体的には、図4に示すように白下地の場合にはマイナスの値に設定され、図5に示すような黒下地あるいは高濃度の有彩色の下地である場合にはプラスの値に設定される。
【0028】
平均明度算出部23は、図6に示す5×5サイズの平均化フィルタを用いて、明度データ作成部20で作成された明度データから注目画素V33の周辺の平均明度を算出するようになっている。すなわち、画素V11〜V55までの平均明度が算出され、その明度データが注目画素V33の平均明度データとされる。そして、平均明度算出部23で算出された各画素ごとの平均明度データは比較部27に入力されるようになっている。
【0029】
これにより、比較部27には、それぞれ閾値と平均明度データとが入力されることになる。そして、比較部27において、平均明度データと閾値th1とが比較される。そして、各比較部27において、閾値th1(A)が平均明度データ(B)よりも大きい場合(A>B)に、比較部27から出力される信号がアクティブ(つまり「1」)とされる。
【0030】
そして、比較部27から出力される信号は、文字領域信号(_MOJI)として出力される。この比較部27から出力される文字領域信号(_MOJI)は、AND回路30に入力されるようになっている。
【0031】
また、エッジ判別部24は、微分フィルタ等を用いて、注目画素がエッジ領域に属するか否かを判別するものである。具体的には、注目画素と周辺画素との明度差が一定値以上となる場合に、その注目画素はエッジ領域に属すると判別するようになっている。そして、エッジ判別部24から出力されるエッジ領域信号(_EDG)は、AND回路30およびMTF補正部13のそれぞれに入力されるようになっている。
【0032】
このようにAND回路30には、網点領域信号(_AMI)、文字領域信号(_MOJI)、およびエッジ領域信号(_EDG)が入力されるようになっている。そして、AND回路30でこれらの信号の論理積が算出される。そして、この論理積が網点内文字エッジ領域信号(_EDGL)として出力され、MTF補正部13に入力されるようになっている。
【0033】
このような構成により、領域判別部12は、入力画素の画像属性を判別するようになっている。具体的に領域判別部12からは、網点領域信号(_AMI)、網点内文字エッジ領域信号(_EDGL)、およびエッジ領域信号(_EDG)が出力され、これらがMTF補正部13に入力される。そして、MTF補正部13では、前述したように、これらの領域判別信号に基づきスムージング処理あるいはエッジ強調処理が実施される。具体的には、網点領域信号(_AMI)がアクティブとなっている画素に対してはスムージング処理が施される。一方、網点内文字エッジ領域信号(_EDGL)あるいはエッジ領域信号(_EDG)のいずれかがアクティブとなっている画素に対してはエッジ強調処理が施される。
【0034】
次に、上記した構成を有する画像処理装置10の動作について説明する。まず、原稿の画像情報が、画像入力部16により読み取られる。そして、画像入力部16で読み込まれた画像データが、画像処理装置10へ送信される。そうすると、画像処理装置10によって、画像データに対し各種の画像処理が施される。そして、画像処理が施された画像データに基づき、プリンタ17により記録体上に原稿の再現画像が出力される。
【0035】
続いて、画像処理のうち本発明の特徴部分である領域判別部12の動作について説明する。ここでは、図7(a)に示す網点上に文字が描かれた画像の領域判別を具体例に挙げて説明する。なお、図7(b)は、図7(a)に示す画像の一部を拡大し画素ごとの状態を示している。また、網掛けされている画素VAは、網点の孤立点を示し、クロスハッチングされている画素VCは、論理フィルタFによりフィルタ処理が行われる際の注目画素を示している。この論理フィルタFは、ラスタ方向に走査される。なお、以下の説明では、図7(a)に示す画像の一部(図7(b))に着目してその領域内における処理について説明する。その他の領域においても同様の処理が行われるのは言うまでもない。
【0036】
まず、図7(a)に示す画像の画像データが明度データ作成部20に入力される。そうすると、明度データ作成部20において、各画素ごとに明度データ(256階調)が作成される。その結果を図8に示す。文字領域は0階調であり、文字エッジ領域は10階調であり、その他の領域は255階調である。また、網点の孤立点は10階調である。なお、図8には後述する平均化フィルタとして5×5サイズのものを使用するため、2画素分外側まで示している。そして、この明度データに基づき、網点判別部21、下地レベル判別部22、平均明度算出部23、およびエッジ判別部24において各種の処理が並列して行われる。
【0037】
網点判別部21においては、網点領域の判別が行われるが、図7(a)に示す画像は全領域が網点領域であるので、この領域の全画素について網点領域信号(_AMI)がアクティブにされる。また、下地レベル判別部22においては、図8に示す明度データから明らかなようにこの画像は白下地であるから、図4に示すような明度ヒストグラムが作成される。その結果、下地レベルは「173.9」と算出された。そうすると、閾値算出部25において、閾値th1が算出される。具体的に図8に示す画像の場合には、閾値を算出するためのオフセット量が「−65」に設定される。なお、オフセット量は、固定値ではなく下地レベルの値により変化する。従って、閾値算出部25では閾値th1が「108.9」と算出された。
【0038】
また、平均明度算出部23においては、図6に示す5×5サイズの平均化フィルタをラスタ方向に走査することにより、各画素ごとに平均明度データが算出される。その結果を図9に示す。文字領域の平均明度が他の領域と比べて低くなっていることがわかる。この算出結果は比較部27に入力される。これで、比較部27には、閾値th1と平均明度データとが入力されたことになる。
【0039】
そうすると、比較部27では、各画素ごとに閾値th1と図9に示す平均明度データとが比較される。その比較結果を図10に示す。網点の孤立点は抽出されず、文字領域のみが抽出されていることがわかる。さらに、エッジ判別部24においては、公知の方法によりエッジ領域の判別が行われる。その判別結果を図11に示す。文字エッジ領域と網点の孤立点が抽出されていることがわかる。
【0040】
そして、AND回路30において、網点判別部21から出力された網点領域信号(_AMI)と、比較部27から出力された文字領域信号(_MOJI)と、エッジ判別部24から出力されたエッジ領域信号(_EDG)との論理積が算出される。その算出結果を図12に示す。網点上の文字エッジ領域のみが抽出されているのがわかる。なお、比較部27において文字領域でない画素が抽出されても、AND回路30により、網点上の文字エッジ領域のみを正確に抽出することができる。従って、網点上の文字領域を高精度に判別することができる。そして、これが網点内文字エッジ領域信号(_EDGL)として、AND回路30から出力される。
【0041】
このようにして領域判別部12において、図13に示す画像に対して判別処理を行うと、図14に示すような判別結果が得られた。図14においてクロスハッチングされた箇所が網点内文字エッジ領域として判別されたところである。なお、図13に示す画像は、図7(b)に示す画像と同じものである。そして、図13と図14とを比較すると明らかなように、網点上に描かれた文字画像の境界画素VEが網点内文字エッジ領域に属すると正確に判別されていることがわかる。つまり、領域判別部12により、網点上の文字領域が高精度に判別されたのである。
【0042】
その後、領域判別部12における判別結果として出力された各領域信号は、MTF補正部13に入力され、そこで各領域信号の状態に従って、各画素に対してエッジ強調処理あるいはスムージング処理が施される。具体的には、網点内文字エッジ信号(_EDGL)あるいはエッジ領域信号(_EDG)がアクティブになっている画素に対しエッジ強調処理が施され、それ以外の画素に対しスムージング処理が施される。これにより、プリンタ17から出力される画像は、網点領域においてはモアレの発生が抑制されるとともに、網点上の文字は鮮明に再現されるので非常に品質がよい。
【0043】
ここで、上記説明では白下地に通常の文字が描かれた画像に対する処理を例に挙げて説明したが、領域判別部12では、図15に示すような黒下地または高濃度の有彩色下地における網点上の文字領域も、同様にして判別することができる。なお、図15に示す画像は、図13に示す画像を白抜き文字にしたものである。
【0044】
このような画像に対しても、上記と同様の処理を施すと、比較部27からは図16に示す結果が出力され、エッジ判別部24からは図17に示す結果が出力される。従って、AND回路30からは、図18に示す結果が出力されることになる。
【0045】
すなわち、図15に示す画像に対して判別処理を行うと、図19に示す判別結果が得られる。このように網点上に描かれた白抜き文字画像の境界画素より1画素だけ外側に存在する外側境界画素VEOが網点内文字エッジ領域に属すると判別されている。従って、領域判別部12により、網点上の文字領域を高精度に判別することができる。ただし、図19に示すように、白抜き文字画像の境界画素が網点内文字エッジ領域に属すると判別するのではなく、白抜き文字画像の外側境界画素VEOが網点内文字エッジ領域に属すると判別してしまうため、再現画像では若干文字が太る傾向となる。
【0046】
また、上記した説明では、本発明に係る画像領域判別装置をハードウェアで構成した場合について例示したが、このような装置はソフトウェアによっても実現することができる。そこで、ソフトウェアによって上記の画像処理装置を実現させる場合における処理の流れを、図20および図21に示すフローチャートを用いて説明する。
【0047】
まず、ソフトウェアをコンピュータ(例えば、複写機やプリンタなど)に読み込ませる。読み込みが終了すると、コンピュータと本発明のソフトウェアが協働して以下の処理が実行される。すなわち、まずコンピュータは画像データの入力を待つ(#1)。そして、画像データが入力されると(#1:YES)、コンピュータは各画素ごとに明度データを作成する(#2)。明度データを作成すると、コンピュータはそれに基づきエッジ領域に属する画素の判別を行う(#3)。そして、エッジ領域に属すると判別した画素に対しては、#4の処理を実行する(#3:YES)。一方、エッジ領域に属さないと判別した画素に対しては、スムージング処理を施す(#3:NO,#16)。
【0048】
次いで、#4においてコンピュータは、網点領域に属する画素の判別を行う。そして、網点領域に属すると判別した画素に対しては、#5の処理を実行する(#4:YES)。一方、網点領域に属さないと判別した画素に対しては、さらに写真領域に属するか否かの判別を行う(#4:NO,#13)。このときコンピュータは、写真領域に属すると判別した画素に対しては、スムージング処理を施す(#13:YES,#16)。一方、写真領域に属さないと判別した画素に対しては、エッジ強調処理を施す(#13:NO,#12)。
【0049】
続いて、#6においてコンピュータは、256×256マトリクス内の明度ヒストグラムを作成する(図4、図5参照)。そうすると、作成した明度ヒストグラムから下地レベル(E)を抽出する(#6)。また、コンピュータは、5×5マトリクス内の平均明度(Ave)を算出するとともに(#7)、白下地であるか否かを判断する(#8)。具体的には、下地レベル(E)が所定の明度閾値よりも大きい場合(高明度側の場合)には、下地が白下地である判断される。逆に、小さい場合(低明度側の場合)には、下地が黒下地(高濃度の有彩色下地)であると判断される。
【0050】
そして、コンピュータは、下地の状態を判断した後に閾値th1を設定する(#9−1,#9−2)。すなわち、コンピュータは、白下地であると判断した場合には(#8:YES)、オフセット量をマイナスの値に設定して閾値th1を算出する(#9−1)。逆に、黒下地(高濃度の有彩色下地)であると判断した場合には(#8:NO)、オフセット量をプラスの値に設定して閾値th1を算出する(#9−2)。なお、オフセット量は、下地レベル(E)に基づき設定される変数である。
【0051】
コンピュータは、閾値th1を設定すると、#10において、閾値th1と平均明度(Ave)との大小比較を行う。このとき、閾値th1が平均明度(E)よりも大きい場合には(#10:YES)、その画素は網点上の文字領域に属すると判別する(#11)。そして、網点上の文字領域に属すると判別した画素に対してエッジ強調処理を施す(#12)。一方、閾値th1が平均明度(E)よりも小さい場合には(#10:NO)、その画素は網点領域に属すると判別する(#15)。そして、網点領域に属すると判別した画素に対してスムージング処理を施す(#16)。
【0052】
このような手順の処理を行うソフトウェアを、上記したハードウェアが構成されていない画像処理装置(コンピュータに相当)に読み込むことにより、上記した画像処理装置と同様の効果を得ることができる。なお、このソフトウェアはプログラムとして存在する場合もあるし、プログラムを記録した記録媒体として存在する場合もある。
【0053】
以上、詳細に説明したように本実施の形態に係る画像処理装置10によれば、領域判別部12に下地レベル判別部22と、平均明度算出部23と、閾値算出部25と、比較部27とを備えている。これにより、注目画素が周辺の下地レベルよりも低いのかあるいは高いのかを正確に判別することができる。また、領域判別部12には、網点判別部21とエッジ判別部24とが備わっているので、これらの判別結果の論理積をAND回路30で演算することにより、網点上の文字領域を正確に判別することができる。
【0054】
また、網点上の白抜き文字をも正確に判別することができる。すなわち、網点上に白抜き文字が描かれている画像の場合には、文字の外側が文字エッジと判別されるので、若干文字が太る傾向にあるが、網点上の白抜き文字領域を精度よく判別することができるのである。
【0055】
なお、上記した実施の形態は単なる例示にすぎず、本発明を何ら限定するものではなく、その要旨を逸脱しない範囲内で種々の改良、変形が可能であることはもちろんである。例えば、上記した実施の形態では、下地レベルの判別および平均明度の算出を入力画像の全域に対して行っているが、網点領域の判別を先に行い、網点領域であると判別された領域に対してのみ、これらの処理を行うようにすることもできる。
【0056】
また、下地レベル判別部22において、白下地であるか黒下地(または高濃度の有彩色下地)であるかを判別し、その判別信号を比較部に入力することにより、閾値算出部における算出方法および比較部における大小比較の関係を切り換えることにより、回路構成を簡略化することができる。なお、上記した実施の形態において例示した具体的な数値(例えば、論理フィルタのサイズなど)は、単なる例示にすぎないことは言うまでもない。
【0057】
【発明の効果】
以上説明した通り本発明によれば、網点上の文字領域を高精度に判別することができる画像領域判別装置および画像領域判別プログラムが提供されている。
【図面の簡単な説明】
【図1】 実施の形態に係る画像処理装置の概略構成を示すブロック図である。
【図2】 図1の領域判別部の構成を示すブロック図である。
【図3】 図2の下地レベル判別部の処理領域を示す図である。
【図4】 下地レベル判別部で作成される明度ヒストグラムの一例を示す図である。
【図5】 下地レベル判別部で作成される明度ヒストグラムの別の例を示す図である。
【図6】 図2の平均明度算出部で使用される平均化フィルタを示す図である。
【図7】 入力画像の一例を示す図である。
【図8】 図2の明度データ作成部の出力例を示す図である。
【図9】 平均明度算出部の出力例を示す図である。
【図10】 図2の比較部の出力例を示す図である。
【図11】 図2のエッジ判別部の出力例を示す図である。
【図12】 図2のAND回路の出力例を示す図である。
【図13】 入力画像の一例を示す図である。
【図14】 図13の画像について領域判別部で領域判別を行った結果を示す図である。
【図15】 入力画像の別の一例(白抜き文字)を示す図である。
【図16】 図15の画像に対する比較部の出力例を示す図である。
【図17】 図15の画像に対するエッジ判別部の出力例を示す図である。
【図18】 図15の画像に対するAND回路の出力例を示す図である。
【図19】 図15の画像について領域判別部で領域判別を行った結果を示す図である。
【図20】 ソフトウェアにより本発明を実現した場合における処理内容を示すフローチャートである。
【図21】 同じく、ソフトウェアにより本発明を実現した場合における処理内容を示すフローチャートである。
【符号の説明】
10 画像処理装置
12 領域判別部
14 CPU
21 網点判別部
22 下地レベル判別部
23 平均明度算出部
24 エッジ判別部
25 閾値算出部
27 比較部
30 AND回路
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image area determination apparatus and an image area determination program for extracting a specific image area from another image area from an image in which characters, photographs, and halftone dots are mixed. More specifically, the present invention relates to an image area discriminating apparatus and an image area discriminating program capable of discriminating a character area on a halftone dot with high accuracy.
[0002]
[Prior art]
In a digital copying machine or the like that reads an image using a CCD sensor and decomposes the image into pixels to perform image processing, image attributes such as a character area, a photographic area, and a halftone dot area are determined.
Then, the image processing method for the attribute of each image is switched according to the determination result. This is because the optimum image processing method differs for each image attribute.
[0003]
Here, as one of character area discrimination techniques, for example, there is one disclosed in Japanese Patent Laid-Open No. 5-344329. In this technique, first, an input image is divided into a predetermined matrix size, and an average density is calculated within the matrix of the predetermined size. Next, assuming a matrix of a predetermined size as one pixel, a density difference between the target pixel and its surrounding pixels is calculated. If the density difference is equal to or greater than a certain value, it is determined that the target pixel belongs to the edge region. Then, a region where a predetermined number or more of pixels belonging to the edge region continues is determined as a character region. By discriminating the character area in this way, the character area and the photographic area can be distinguished.
[0004]
Also, as a representative technique for discriminating a halftone dot region, for example, focusing on isolated points (maximum value points and minimum value points) that are characteristic of the halftone dot region, an isolated point existing in a predetermined region is considered. There are some which count the number and determine the halftone dot region according to the count value of the isolated points. The character area on the halftone dot is discriminated based on the detection result by detecting an edge or an isolated point.
[0005]
[Problems to be solved by the invention]
However, the above-described conventional image area discrimination technique has a problem in that it cannot accurately discriminate a character area on a halftone dot. The reason is as follows. That is, an isolated point that constitutes a halftone dot is determined to be an edge, but when a character is small, the portion is often determined to be an isolated point. In the character region on the halftone dot, the isolated point and the edge are adjacent to each other. For this reason, it is difficult to separate the character area from the halftone dot area.
[0006]
If the character area on the halftone dot is erroneously determined to be a halftone dot area, the character on the halftone dot is blurred in the reproduced image, and thus a high-quality reproduced image cannot be obtained. This is because the smoothing process is performed on the halftone dot area, and the smoothing process is similarly performed on the character area on the halftone dot area. In other words, even though it is necessary to perform edge enhancement processing on the character area, smoothing processing with emphasis on gradation is performed to prevent moiré, so the character image on the halftone dot is blurred. It ends up.
[0007]
Therefore, the present invention has been made to solve the above-described problems, and it is an object of the present invention to provide an image area determination apparatus and an image area determination program that can determine a character area on a halftone dot with high accuracy. And
[0008]
[Means for Solving the Problems]
An image area discriminating apparatus according to the present invention, which has been made to solve the above problems, includes a first density calculating means for calculating an average density in a first area including a target pixel, and a background density in a second area including the target pixel. The second density calculation means for calculating the first density calculation means, and the calculation result of the first density calculation means according to the background density calculated by the second density calculation means and the background density. Positive or negative A character area determining means for determining whether or not the image belongs to a character area by comparing with a threshold value calculated based on a set offset amount; and based on a determination result of the character area determining means, Discriminating means for discriminating whether or not the character area belongs to.
The determining unit may determine that the target pixel belongs to the character region on the halftone dot when the average density of the target pixel calculated by the first density calculating unit is lower than the threshold value.
[0009]
In this image area discriminating apparatus, first, the average density in the first area including the target pixel is calculated by the first density calculating means. Further, the background density in the second region including the target pixel is calculated by the second density calculation unit. The concentration calculation by the first concentration calculation means and the second concentration calculation means may be performed by a known method. Further, in the first density calculation unit and the second density calculation unit, such data may be used instead of the density value as long as the data has a correlation with the density (for example, brightness).
[0010]
Subsequently, when the average density and the background density are calculated by the first density calculating unit and the second density calculating unit, the calculation result of the first density calculating unit is obtained by the second density calculating unit. Depending on the calculated background density and the background density Positive or negative It is compared with a threshold value calculated based on the set offset amount. Then, the calculation result of the first density calculation means is determined according to the background density calculated by the second density calculation means and the background density. Positive or negative The character area is determined by comparing with a threshold value calculated based on the set offset amount.
[0011]
Therefore, by performing this process only within the halftone dot region, the character region on the halftone dot can be determined. Alternatively, this processing is performed on the entire area of the input image so that it can be determined that the area is a character area, and the determined area that is a halftone dot area is a character area on a halftone dot. . In view of this, in this image area discrimination apparatus, the discrimination means discriminates whether or not the target pixel belongs to the character area on the halftone dot based on the comparison result of the density comparison means. Specifically, when the average density of the target pixel calculated by the first density calculation unit is lower than the threshold, the determination unit determines that the target pixel belongs to the character region on the halftone dot. As a result, the character area on the halftone dot can be accurately identified.
[0012]
Here, in the image region discrimination device according to the present invention, when the first density calculation unit and the second density calculation unit are calculated, the second region is preferably larger than the first region. This is because if the second area for calculating the background density is smaller than the first area for calculating the average density, the character area discrimination accuracy is lowered. In other words, it is possible to improve the discrimination accuracy of the character area on the halftone dot.
[0013]
In the image region determination device according to the present invention, the offset amount is set to a negative value when the background density calculated by the second density calculation unit is lower than a predetermined density, and the second density When the background density calculated by the calculation means is higher than the predetermined density, it is set to a positive value.
Thereby, the offset amount is set to a negative value in the case of a white background, and is set to a positive value in the case of a black background or a high-density chromatic color background. Therefore, since the offset amount changes according to the background density, the character area on the halftone dot on the black background or the high-density chromatic color background can be determined with high accuracy.
[0014]
Further, in the image region determination device according to the present invention, the dot region determination means for determining whether or not the target pixel belongs to the halftone dot region, and the target pixel is the edge region based on the density difference between the target pixel and the surrounding pixels. Edge region determining means for determining whether or not the image belongs to the image area, wherein the determining means is determined to be a halftone dot area by the halftone dot area determining means, and is determined by the edge area determining means in the edge region. It is desirable to determine that the pixel of interest belongs to a character edge region on a halftone dot when it is determined that the pixel is present and belongs to the character region by the character region determination unit.
[0015]
This image area discriminating apparatus further includes halftone dot area discriminating means and edge area discriminating means. Then, the halftone dot region discriminating unit determines whether or not the target pixel belongs to the halftone dot region. Note that the halftone dot region is determined by focusing on isolated points (maximum value points and minimum value points), counting the number of isolated points existing in a predetermined region, and performing according to the count value of the isolated points. Good. However, the determination of the dot area is not limited to this, and may be performed by other methods. Further, the edge region determination means determines whether or not the target pixel belongs to the edge region based on the density difference between the target pixel and the peripheral pixels. Then, the determination unit further considers the determination result of the halftone dot region determination unit and the determination result of the edge region determination unit, and determines whether or not the target pixel belongs to the character region on the halftone dot. Specifically, when it is determined as a halftone dot region by the halftone dot region determination unit, is determined as an edge region by the edge region determination unit, and is determined to belong to the character region by the character region determination unit In addition, it is determined that the target pixel belongs to the character region on the halftone dot. As a result, the character area on the halftone dot can be determined with higher accuracy.
[0016]
Here, the above-described image area determination device is not limited to being configured by hardware, and can also be realized by software. Therefore, as described below, it can be realized as an image area determination method or may exist as an image area determination program.
[0017]
That is, as an example of the image area determination method, the image area determination method according to the present invention includes a first density calculating step for calculating an average density in the first area including the target pixel, and a background in the second area including the target pixel. The second density calculation step for calculating the density and the calculation result of the first density calculation step according to the background density calculated by the second density calculation step and the background density. Positive or negative A character area determining step for determining whether the image belongs to a character area by comparing with a threshold value calculated based on a set offset amount, and based on the determination result of the character area determining step, the target pixel is And a determination step of determining whether or not it belongs to the character area.
In the image region determination method according to the present invention, the halftone dot region determination step for determining whether or not the target pixel belongs to the halftone dot region, and the target pixel based on the density difference between the target pixel and the peripheral pixel are the edge regions. An edge region determining step for determining whether or not the image belongs to the edge region. In the determining step, the halftone dot region determining step determines that the region is a halftone dot region, and the edge region determining step determines whether the edge region is an edge region. If it is determined that the pixel belongs to the character region by the character region determination step, it may be determined that the target pixel belongs to the character edge region on the halftone dot.
[0018]
Alternatively, as an example of the image area determination program, the image area determination program according to the present invention causes the computer to calculate a first density for calculating an average density in the first area including the target pixel, and to perform a second step including the target pixel. The second density calculation step for calculating the background density in the region and the calculation result of the first density calculation step are determined according to the background density calculated by the second density calculation step and the background density. Positive or negative A character area determining step for determining whether the image belongs to a character area by comparing with a threshold value calculated based on a set offset amount, and based on the determination result of the character area determining step, the target pixel is And a determination step of determining whether or not it belongs to the character area.
In the image region determination program according to the present invention, the halftone dot region determination step for determining whether or not the target pixel belongs to the halftone dot region, and the target pixel based on the density difference between the target pixel and the peripheral pixel are the edge region. An edge region determination step for determining whether or not the image belongs to a computer, and in the determination step, the halftone dot region determination step determines that the region is a halftone dot region, and the edge region determination step When it is determined that the pixel is an edge region and the character region is determined to belong to the character region by the character region determining step, the pixel of interest may be determined to belong to the character edge region on the halftone dot. .
[0019]
The above-described image area determination device can be realized by operating the computer by these image area determination programs, that is, by reading the software into the computer. The same effects as those of the above-described image area determination device can be obtained.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the drawings. In the present embodiment, a case where the present invention is applied to an image processing apparatus will be described. First, FIG. 1 shows a schematic configuration of an image processing apparatus according to the present embodiment. The image processing apparatus 10 includes a color correction unit 11, an area determination unit 12, and an MTF correction unit 13. The operation of the image processing apparatus 10 is comprehensively controlled by the CPU 14. The CPU 14 is provided with a ROM 15 in which various programs for controlling the operation of the image processing apparatus 10 are stored.
[0021]
An image input unit 16 for acquiring image data is connected to such an image processing apparatus 10. As a result, image data is input from the image input unit 16 to the image processing apparatus 10. Here, the image input unit 16 receives reflected light obtained by scanning a document with a scanner with a CCD sensor, and photoelectrically converts it to obtain analog image data. The analog image data is converted into digital image data and then transmitted to the image processing apparatus 10. The image processing apparatus 10 is connected to a printer 17 that outputs an image subjected to image processing onto a recording medium such as paper.
[0022]
Here, the color correction unit 11 converts the input image data into a recording density signal CMYK data suitable for color reproducibility in consideration of the spectral characteristics and recording process of the four colors of toner in the printer 17. is there. The area discriminating unit 12 discriminates image attributes such as a halftone dot area and an edge area. Details thereof will be described later. The MTF correction unit 13 corrects the sharpness of the image. Specifically, the MTF correction unit 13 performs smoothing processing and edge enhancement processing on the image data output from the color correction unit 11 according to the determination result of the region determination unit 12. An image is output from the printer 17 based on the image data corrected by the MTF correction unit 13.
[0023]
Next, the details of the region discriminating unit 12 which is a characteristic part of the present invention are shown in FIG. 2, and the configuration of the region discriminating unit 12 will be described using this. The region discriminating unit 12 discriminates whether each pixel in the input image belongs to a halftone dot region, an edge region, or a character edge region within a halftone dot. In order to make such a determination, the region determination unit 12 includes a lightness data creation unit 20, a halftone dot determination unit 21, a background level determination unit 22, an average lightness calculation unit 23, an edge determination unit 24, A threshold calculation unit 25, a comparison unit 27, and an AND circuit 30 are provided.
[0024]
The lightness data creating unit 20 creates lightness data (256 gradations in the present embodiment) necessary for region discrimination based on the image data transmitted from the image input unit 16. The lightness data created by the lightness data creating unit 20 is input to each of the halftone dot discriminating unit 21, the background level discriminating unit 22, the average lightness calculating unit 23, and the edge discriminating unit 24.
[0025]
Then, the halftone dot determination unit 21 detects an isolated point from the brightness data, and determines whether or not the target pixel belongs to the halftone dot region based on the detection result. As a specific method for determining the halftone dot region, for example, a method disclosed in Japanese Patent Laid-Open No. 2000-287077 may be used. Of course, the dot area may be determined using other methods. The halftone dot area signal (_AMI) output from the halftone dot determination unit 21 is input to the AND circuit 30 and the MTF correction unit 13.
[0026]
The background level determination unit 22 creates a brightness histogram in a predetermined area from the brightness data, and calculates the background level. In the present embodiment, as shown in FIG. 3, a brightness histogram is created in a 256 × 256 size area to determine the background level. Here, an example of the brightness histogram created by the background level discriminating unit 22 is shown in FIGS. FIG. 4 shows a case of a white background, and FIG. 5 shows a case of a black background or a high-density chromatic color background. Then, as shown in FIGS. 4 and 5, the lightness having the highest frequency in the histogram is calculated as the background level. Note that th1 in FIGS. 4 and 5 represents a threshold value to be described later.
[0027]
Returning to FIG. 2, the background level calculated by the background level determination unit 22 is input to the threshold value calculation unit 25. The threshold value calculation unit 25 calculates a threshold value in the comparison unit 27. The threshold value in the comparison unit 27 is calculated based on the background level calculated by the background level determination unit 22 and a predetermined offset amount set according to the level. Specifically, the comparison unit 27 calculates the threshold value th1 by adding the offset amount to the background level. Here, the offset amount is set to a negative value when it is larger than a lightness threshold (not shown) (for example, “128” or the like), and is set to a positive value when it is smaller. Specifically, as shown in FIG. 4, a negative value is set for a white background, and a positive value is set for a black background or a high-density chromatic color background as shown in FIG. Is done.
[0028]
The average brightness calculation unit 23 calculates the average brightness around the pixel of interest V33 from the brightness data created by the brightness data creation unit 20, using a 5 × 5 size averaging filter shown in FIG. Yes. That is, the average brightness of the pixels V11 to V55 is calculated, and the brightness data is used as the average brightness data of the target pixel V33. The average brightness data for each pixel calculated by the average brightness calculation unit 23 is input to the comparison unit 27.
[0029]
As a result, the threshold value and the average brightness data are input to the comparison unit 27, respectively. Then, the comparison unit 27 compares the average brightness data with the threshold th1. In each comparison unit 27, when the threshold th1 (A) is larger than the average brightness data (B) (A> B), the signal output from the comparison unit 27 is activated (that is, “1”). .
[0030]
The signal output from the comparison unit 27 is output as a character area signal (_MOJI). The character area signal (_MOJI) output from the comparison unit 27 is input to the AND circuit 30.
[0031]
In addition, the edge determination unit 24 determines whether or not the target pixel belongs to the edge region using a differential filter or the like. Specifically, when the brightness difference between the target pixel and the surrounding pixels is a certain value or more, it is determined that the target pixel belongs to the edge region. The edge region signal (_EDG) output from the edge determination unit 24 is input to each of the AND circuit 30 and the MTF correction unit 13.
[0032]
Thus, the halftone dot area signal (_AMI), the character area signal (_MOJI), and the edge area signal (_EDG) are input to the AND circuit 30. The AND circuit 30 calculates the logical product of these signals. This logical product is output as a halftone dot character edge region signal (_EDGL) and input to the MTF correction unit 13.
[0033]
With such a configuration, the region discriminating unit 12 discriminates the image attribute of the input pixel. Specifically, the area discrimination unit 12 outputs a halftone dot area signal (_AMI), a halftone dot character edge area signal (_EDGL), and an edge area signal (_EDG), which are input to the MTF correction unit 13. . Then, as described above, the MTF correction unit 13 performs smoothing processing or edge enhancement processing based on these region determination signals. Specifically, the smoothing process is performed on the pixels in which the dot area signal (_AMI) is active. On the other hand, edge emphasis processing is performed on pixels in which either the halftone dot character edge region signal (_EDGL) or the edge region signal (_EDG) is active.
[0034]
Next, the operation of the image processing apparatus 10 having the above configuration will be described. First, the image information of the document is read by the image input unit 16. Then, the image data read by the image input unit 16 is transmitted to the image processing apparatus 10. Then, the image processing apparatus 10 performs various image processing on the image data. Then, based on the image data that has been subjected to image processing, the printer 17 outputs a reproduced image of the document on the recording medium.
[0035]
Next, the operation of the area determination unit 12 that is a characteristic part of the present invention in the image processing will be described. Here, a description will be given by taking a specific example of region discrimination of an image in which characters are drawn on a halftone dot shown in FIG. FIG. 7B shows a state of each pixel by enlarging a part of the image shown in FIG. A shaded pixel VA indicates an isolated point of the halftone dot, and a cross-hatched pixel VC indicates a target pixel when the filter processing is performed by the logic filter F. This logical filter F is scanned in the raster direction. In the following description, the processing in the region will be described by paying attention to a part of the image shown in FIG. 7A (FIG. 7B). It goes without saying that the same processing is performed in other regions.
[0036]
First, image data of the image shown in FIG. 7A is input to the brightness data creation unit 20. Then, the brightness data creation unit 20 creates brightness data (256 gradations) for each pixel. The result is shown in FIG. The character area has 0 gradation, the character edge area has 10 gradation, and the other areas have 255 gradation. The isolated point of the halftone dot has 10 gradations. In FIG. 8, since a 5 × 5 filter is used as an averaging filter, which will be described later, only two pixels are shown outside. Based on the lightness data, various processes are performed in parallel in the halftone dot determination unit 21, the background level determination unit 22, the average lightness calculation unit 23, and the edge determination unit 24.
[0037]
The halftone dot discrimination unit 21 discriminates a halftone dot region. Since the entire region of the image shown in FIG. 7A is a halftone dot region, a halftone dot region signal (_AMI) is obtained for all pixels in this region. Is activated. Further, in the background level discriminating unit 22, since this image is a white background as apparent from the lightness data shown in FIG. 8, a lightness histogram as shown in FIG. 4 is created. As a result, the ground level was calculated as “173.9”. Then, the threshold value calculation unit 25 calculates the threshold value th1. Specifically, in the case of the image shown in FIG. 8, the offset amount for calculating the threshold value is set to “−65”. Note that the offset amount varies depending on the value of the ground level, not the fixed value. Therefore, the threshold value calculation unit 25 calculates the threshold value th1 as “108.9”.
[0038]
The average brightness calculation unit 23 calculates average brightness data for each pixel by scanning the 5 × 5 size averaging filter shown in FIG. 6 in the raster direction. The result is shown in FIG. It can be seen that the average brightness of the character area is lower than the other areas. This calculation result is input to the comparison unit 27. Thus, the threshold value th1 and the average brightness data are input to the comparison unit 27.
[0039]
Then, the comparison unit 27 compares the threshold th1 with the average brightness data shown in FIG. 9 for each pixel. The comparison result is shown in FIG. It can be seen that the isolated points of the halftone dots are not extracted and only the character region is extracted. Further, the edge discriminating unit 24 discriminates the edge region by a known method. The discrimination result is shown in FIG. It can be seen that isolated points of the character edge region and the halftone dot are extracted.
[0040]
In the AND circuit 30, the halftone dot area signal (_AMI) output from the halftone dot determination section 21, the character area signal (_MOJI) output from the comparison section 27, and the edge area output from the edge determination section 24. A logical product with the signal (_EDG) is calculated. The calculation result is shown in FIG. It can be seen that only the character edge region on the halftone dot is extracted. Even if the comparison unit 27 extracts pixels that are not character areas, the AND circuit 30 can accurately extract only the character edge areas on the halftone dots. Therefore, the character area on the halftone dot can be determined with high accuracy. This is output from the AND circuit 30 as a halftone dot character edge region signal (_EDGL).
[0041]
In this way, when the area determination unit 12 performs the determination process on the image shown in FIG. 13, a determination result as shown in FIG. 14 is obtained. In FIG. 14, the cross-hatched part has been determined as the character edge area in the halftone dot. Note that the image shown in FIG. 13 is the same as the image shown in FIG. 13 and FIG. 14, it is clear that the boundary pixel VE of the character image drawn on the halftone dot is accurately determined to belong to the character edge region in the halftone dot. That is, the character region on the halftone dot is determined with high accuracy by the region determining unit 12.
[0042]
Thereafter, each region signal output as a determination result in the region determination unit 12 is input to the MTF correction unit 13, where edge enhancement processing or smoothing processing is performed on each pixel according to the state of each region signal. Specifically, edge emphasis processing is performed on pixels in which the halftone dot character edge signal (_EDGL) or edge region signal (_EDG) is active, and smoothing processing is performed on other pixels. As a result, the image output from the printer 17 has very good quality because the occurrence of moire is suppressed in the halftone area and the characters on the halftone are reproduced clearly.
[0043]
Here, in the above description, processing for an image in which normal characters are drawn on a white background has been described as an example. However, the area determination unit 12 uses a black background or a high-density chromatic background as shown in FIG. The character area on the halftone dot can be similarly determined. Note that the image shown in FIG. 15 is obtained by changing the image shown in FIG. 13 into white characters.
[0044]
When such processing is applied to such an image, the result shown in FIG. 16 is output from the comparison unit 27, and the result shown in FIG. 17 is output from the edge determination unit 24. Accordingly, the AND circuit 30 outputs the result shown in FIG.
[0045]
That is, when the discrimination process is performed on the image shown in FIG. 15, the discrimination result shown in FIG. 19 is obtained. As described above, it is determined that the outer boundary pixel VEO existing by one pixel outside the boundary pixel of the outline character image drawn on the halftone dot belongs to the character edge region in the halftone dot. Therefore, the area determination unit 12 can determine the character area on the halftone dot with high accuracy. However, as shown in FIG. 19, it is not determined that the boundary pixel of the outline character image belongs to the halftone dot character edge region, but the outside boundary pixel VEO of the outline character image belongs to the halftone dot character edge region. Therefore, the characters tend to be slightly fattened in the reproduced image.
[0046]
Further, in the above description, the case where the image area determination device according to the present invention is configured by hardware is exemplified, but such a device can also be realized by software. Therefore, the flow of processing when the above-described image processing apparatus is realized by software will be described with reference to the flowcharts shown in FIGS.
[0047]
First, software is read into a computer (for example, a copier or a printer). When the reading is completed, the computer and the software of the present invention cooperate to execute the following processing. That is, the computer first waits for input of image data (# 1). When the image data is input (# 1: YES), the computer creates brightness data for each pixel (# 2). When the brightness data is created, the computer determines pixels belonging to the edge region based on the brightness data (# 3). Then, the process of # 4 is executed for the pixels determined to belong to the edge region (# 3: YES). On the other hand, a smoothing process is performed on pixels that are determined not to belong to the edge region (# 3: NO, # 16).
[0048]
Next, in # 4, the computer determines pixels belonging to the dot area. Then, the process of # 5 is executed for the pixels determined to belong to the halftone dot area (# 4: YES). On the other hand, for the pixels determined not to belong to the halftone dot region, it is further determined whether or not they belong to the photo region (# 4: NO, # 13). At this time, the computer performs a smoothing process on the pixels determined to belong to the photographic area (# 13: YES, # 16). On the other hand, edge enhancement processing is performed on pixels that are determined not to belong to the photo area (# 13: NO, # 12).
[0049]
Subsequently, in # 6, the computer creates a brightness histogram in a 256 × 256 matrix (see FIGS. 4 and 5). Then, the background level (E) is extracted from the created brightness histogram (# 6). Further, the computer calculates the average brightness (Ave) in the 5 × 5 matrix (# 7) and determines whether the background is white (# 8). Specifically, when the background level (E) is larger than a predetermined brightness threshold value (in the case of high brightness side), it is determined that the background is a white background. On the other hand, if it is small (on the low brightness side), it is determined that the background is a black background (high density chromatic color background).
[0050]
Then, the computer sets the threshold th1 after determining the state of the background (# 9-1, # 9-2). In other words, if the computer determines that the background is white (# 8: YES), the threshold value th1 is calculated by setting the offset amount to a negative value (# 9-1). Conversely, if it is determined that the background is a black background (high density chromatic color background) (# 8: NO), the offset amount is set to a positive value and the threshold th1 is calculated (# 9-2). The offset amount is a variable set based on the background level (E).
[0051]
When the threshold value th1 is set, the computer compares the threshold value th1 with the average brightness (Ave) in # 10. At this time, if the threshold th1 is larger than the average brightness (E) (# 10: YES), it is determined that the pixel belongs to the character area on the halftone dot (# 11). Then, edge enhancement processing is performed on the pixels determined to belong to the character area on the halftone dot (# 12). On the other hand, if the threshold value th1 is smaller than the average brightness (E) (# 10: NO), it is determined that the pixel belongs to a halftone dot region (# 15). Then, smoothing processing is performed on the pixels determined to belong to the halftone dot region (# 16).
[0052]
By loading software that performs the processing of such a procedure into an image processing apparatus (corresponding to a computer) that does not have the hardware described above, it is possible to obtain the same effect as the above-described image processing apparatus. This software may exist as a program or may exist as a recording medium on which the program is recorded.
[0053]
As described above in detail, according to the image processing apparatus 10 according to the present embodiment, the area determination unit 12 includes the background level determination unit 22, the average brightness calculation unit 23, the threshold value calculation unit 25, and the comparison unit 27. And. This makes it possible to accurately determine whether the target pixel is lower or higher than the surrounding background level. In addition, since the area discriminating unit 12 includes a halftone dot discriminating unit 21 and an edge discriminating unit 24, a character area on the halftone dot is calculated by calculating the logical product of these discrimination results by an AND circuit 30. It can be determined accurately.
[0054]
In addition, white characters on the halftone dots can be accurately determined. That is, in the case of an image in which white characters are drawn on a halftone dot, the outside of the character is determined to be a character edge, so the character tends to be slightly thicker. It can be determined with high accuracy.
[0055]
It should be noted that the above-described embodiment is merely an example and does not limit the present invention in any way, and various improvements and modifications can be made without departing from the scope of the invention. For example, in the above-described embodiment, the background level is determined and the average brightness is calculated for the entire area of the input image. However, the halftone dot region is determined first, and the halftone dot region is determined. These processes can be performed only on the area.
[0056]
Further, the background level determination unit 22 determines whether the background is a white background or a black background (or a high-density chromatic color background), and inputs the determination signal to the comparison unit, whereby the calculation method in the threshold value calculation unit The circuit configuration can be simplified by switching the magnitude comparison relationship in the comparison unit. Needless to say, the specific numerical values (for example, the size of the logical filter) exemplified in the above-described embodiment are merely examples.
[0057]
【The invention's effect】
As described above, according to the present invention, there are provided an image area determination device and an image area determination program capable of accurately determining a character area on a halftone dot.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an image processing apparatus according to an embodiment.
FIG. 2 is a block diagram illustrating a configuration of an area determination unit in FIG. 1;
FIG. 3 is a diagram illustrating a processing region of a background level determination unit in FIG. 2;
FIG. 4 is a diagram illustrating an example of a brightness histogram created by a background level determination unit.
FIG. 5 is a diagram illustrating another example of a brightness histogram created by a background level determination unit.
6 is a diagram illustrating an averaging filter used in the average brightness calculation unit in FIG. 2; FIG.
FIG. 7 is a diagram illustrating an example of an input image.
8 is a diagram illustrating an output example of a brightness data creation unit in FIG. 2; FIG.
FIG. 9 is a diagram illustrating an output example of an average brightness calculation unit.
10 is a diagram illustrating an output example of a comparison unit in FIG. 2; FIG.
FIG. 11 is a diagram illustrating an output example of an edge determination unit in FIG. 2;
12 is a diagram illustrating an output example of the AND circuit in FIG. 2; FIG.
FIG. 13 is a diagram illustrating an example of an input image.
14 is a diagram showing a result of area discrimination performed on the image of FIG. 13 by an area discrimination unit.
FIG. 15 is a diagram illustrating another example (outline character) of an input image.
16 is a diagram illustrating an output example of a comparison unit for the image of FIG. 15;
17 is a diagram illustrating an output example of an edge determination unit for the image of FIG. 15;
18 is a diagram illustrating an output example of an AND circuit for the image of FIG. 15;
FIG. 19 is a diagram illustrating a result of area determination performed on the image of FIG. 15 by an area determination unit.
FIG. 20 is a flowchart showing processing contents when the present invention is realized by software.
FIG. 21 is a flowchart showing the processing contents when the present invention is realized by software.
[Explanation of symbols]
10 Image processing device
12 Area discriminator
14 CPU
21 Halftone discrimination unit
22 Ground level discriminator
23 Average brightness calculator
24 Edge discriminator
25 Threshold calculation unit
27 Comparison part
30 AND circuit

Claims (8)

注目画素を含む第1領域における平均濃度を算出する第1濃度算出手段と、
注目画素を含む第2領域における下地濃度を算出する第2濃度算出手段と、
前記第1濃度算出手段の算出結果を、前記第2濃度算出手段によって算出された下地濃度とその下地濃度に応じて正又は負の値に設定されるオフセット量とに基づいて算出される閾値と比較して文字領域に属するか否かを判別する文字領域判別手段と、
前記文字領域判別手段の判別結果に基づき、注目画素が網点上の文字領域に属するか否かを判別する判別手段と、
を有することを特徴とする画像領域判別装置。
First density calculating means for calculating an average density in the first region including the target pixel;
Second density calculating means for calculating the background density in the second region including the target pixel;
The calculation result of the first density calculation means is a threshold value calculated based on the background density calculated by the second density calculation means and an offset amount set to a positive or negative value according to the background density; Character area determination means for determining whether or not it belongs to the character area by comparison,
A discriminating means for discriminating whether or not the pixel of interest belongs to a character area on a halftone dot based on a discrimination result of the character area discriminating means;
An image area discriminating apparatus characterized by comprising:
請求項1に記載する画像領域判別装置において、
前記第2領域は、前記第1領域よりも大きいことを特徴とする画像領域判別装置。
In the image region discrimination device according to claim 1,
The image area discrimination apparatus, wherein the second area is larger than the first area.
請求項1又は請求項2に記載する画像領域判別装置において、
前記判別手段は、前記第1濃度算出手段で算出された注目画素の平均濃度が前記閾値よりも低いときに、その注目画素が網点上の文字領域に属すると判別することを特徴とする画像領域判別装置。
In the image area discrimination device according to claim 1 or 2 ,
The determination unit determines that the target pixel belongs to a character area on a halftone dot when the average density of the target pixel calculated by the first density calculation unit is lower than the threshold value. Area discriminator.
請求項1から請求項3に記載するいずれか1つの画像領域判別装置において、
注目画素が網点領域に属するか否かを判別する網点領域判別手段と、
注目画素と周辺画素との濃度差に基づき注目画素がエッジ領域に属するか否かを判別するエッジ領域判別手段とをさらに有し、
前記判別手段は、前記網点領域判別手段により網点領域であると判別され、かつ、前記エッジ領域判別手段によりエッジ領域であると判別され、かつ前記文字領域判別手段により文字領域に属すると判別された場合に、注目画素が網点上の文字エッジ領域に属すると判別することを特徴とする画像領域判別装置。
In any one image region discriminating device according to claim 1 ,
Halftone dot region determining means for determining whether the pixel of interest belongs to a halftone dot region;
Edge region determination means for determining whether the pixel of interest belongs to the edge region based on the density difference between the pixel of interest and the surrounding pixels;
The discriminating means is discriminated to be a halftone dot area by the halftone dot area discriminating means, is discriminated to be an edge area by the edge area discriminating means, and is discriminated to belong to a character area by the character area discriminating means. An image region discriminating apparatus that discriminates that the pixel of interest belongs to a character edge region on a halftone dot.
注目画素を含む第1領域における平均濃度を算出する第1濃度算出しステップと、
注目画素を含む第2領域における下地濃度を算出する第2濃度算出ステップと、
前記第1濃度算出ステップの算出結果を、前記第2濃度算出ステップによって算出された下地濃度とその下地濃度に応じて正又は負の値に設定されるオフセット量とに基づいて算出される閾値と比較して文字領域に属するか否かを判別する文字領域判別ステップと、
前記文字領域判別ステップの判別結果に基づき、注目画素が網点上の文字領域に属するか否かを判別する判別ステップと、
を有することを特徴とする画像領域判別方法。
A first density calculating step for calculating an average density in the first region including the target pixel;
A second density calculating step for calculating the background density in the second region including the target pixel;
A threshold value calculated based on the calculation result of the first density calculation step based on the background density calculated by the second density calculation step and an offset amount set to a positive or negative value according to the background density; A character area determination step for comparing to determine whether or not the character area belongs,
A determination step of determining whether the pixel of interest belongs to a character region on a halftone dot based on the determination result of the character region determination step;
An image region discrimination method characterized by comprising:
請求項5に記載する画像領域判別方法において、
注目画素が網点領域に属するか否かを判別する網点領域判別ステップと、
注目画素と周辺画素との濃度差に基づき注目画素がエッジ領域に属するか否かを判別するエッジ領域判別ステップとをさらに有し、
前記判別ステップでは、前記網点領域判別ステップにより網点領域であると判別され、かつ、前記エッジ領域判別ステップによりエッジ領域であると判別され、かつ、前記文字領域判別ステップにより文字領域に属すると判別された場合に、注目画素が網点上の文字エッジ領域に属すると判別することを特徴とする画像領域判別方法。
In the image region discrimination method according to claim 5 ,
A halftone dot region determining step for determining whether the pixel of interest belongs to a halftone dot region;
An edge region determination step for determining whether or not the target pixel belongs to the edge region based on a density difference between the target pixel and the surrounding pixels;
In the determining step, the halftone dot region determining step determines that the region is a halftone dot region, the edge region determining step determines that the region is an edge region, and the character region determining step belongs to the character region An image region determination method, wherein if determined, the target pixel is determined to belong to a character edge region on a halftone dot.
コンピュータに、
注目画素を含む第1領域における平均濃度を算出する第1濃度算出しステップと、
注目画素を含む第2領域における下地濃度を算出する第2濃度算出ステップと、
前記第1濃度算出ステップの算出結果を、前記第2濃度算出ステップによって算出された下地濃度とその下地濃度に応じて正又は負の値に設定されるオフセット量とに基づいて算出される閾値と比較して文字領域に属するか否かを判別する文字領域判別ステップと、
前記文字領域判別ステップの判別結果に基づき、注目画素が網点上の文字領域に属するか否かを判別する判別ステップと、
を実行させるための画像領域判別プログラム。
On the computer,
A first density calculating step for calculating an average density in the first region including the target pixel;
A second density calculating step for calculating the background density in the second region including the target pixel;
A threshold value calculated based on the calculation result of the first density calculation step based on the background density calculated by the second density calculation step and an offset amount set to a positive or negative value according to the background density; A character area determination step for comparing to determine whether or not the character area belongs,
A determination step of determining whether the pixel of interest belongs to a character region on a halftone dot based on the determination result of the character region determination step;
An image area discrimination program for executing
請求項7に記載する画像領域判別プログラムにおいて、
注目画素が網点領域に属するか否かを判別する網点領域判別ステップと、
注目画素と周辺画素との濃度差に基づき注目画素がエッジ領域に属するか否かを判別するエッジ領域判別ステップと、をコンピュータにさらに実行させ、
前記判別ステップでは、前記網点領域判別ステップにより網点領域であると判別され、かつ、前記エッジ領域判別ステップによりエッジ領域であると判別され、かつ、前記文字領域判別ステップにより文字領域に属すると判別された場合に、注目画素が網点上の文字エッジ領域に属すると判別するよう機能させるための画像領域判別プログラム。
In the image region discrimination program according to claim 7 ,
A halftone dot region determining step for determining whether the pixel of interest belongs to a halftone dot region;
An edge region determination step for determining whether the pixel of interest belongs to the edge region based on a density difference between the pixel of interest and surrounding pixels;
In the determining step, the halftone dot region determining step determines that the region is a halftone dot region, the edge region determining step determines that the region is an edge region, and the character region determining step belongs to the character region An image area determination program for causing a function of determining that a target pixel belongs to a character edge area on a halftone dot when it is determined.
JP2001172825A 2001-06-07 2001-06-07 Image area discrimination apparatus and image area discrimination program Expired - Fee Related JP4154867B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001172825A JP4154867B2 (en) 2001-06-07 2001-06-07 Image area discrimination apparatus and image area discrimination program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001172825A JP4154867B2 (en) 2001-06-07 2001-06-07 Image area discrimination apparatus and image area discrimination program

Publications (2)

Publication Number Publication Date
JP2002368993A JP2002368993A (en) 2002-12-20
JP4154867B2 true JP4154867B2 (en) 2008-09-24

Family

ID=19014386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001172825A Expired - Fee Related JP4154867B2 (en) 2001-06-07 2001-06-07 Image area discrimination apparatus and image area discrimination program

Country Status (1)

Country Link
JP (1) JP4154867B2 (en)

Also Published As

Publication number Publication date
JP2002368993A (en) 2002-12-20

Similar Documents

Publication Publication Date Title
JP4137890B2 (en) Image processing apparatus, image forming apparatus, image reading processing apparatus, image processing method, image processing program, and computer-readable recording medium
JP4166744B2 (en) Image processing apparatus, image forming apparatus, image processing method, computer program, and recording medium
JP4118886B2 (en) Image processing apparatus, image forming apparatus, image reading processing apparatus, image processing method, image processing program, and computer-readable recording medium
JP4170353B2 (en) Image processing method, image processing apparatus, image reading apparatus, image forming apparatus, program, and recording medium
JP4988624B2 (en) Image processing apparatus, image processing method, and recording medium
JP4115999B2 (en) Image processing apparatus, image forming apparatus, image reading processing apparatus, image processing method, image processing program, and computer-readable recording medium
US20080137159A1 (en) Image forming apparatus and image quality improving method thereof
JPH0722330B2 (en) Image region identification method for image processing apparatus
JP2002232708A (en) Image processing device, image forming device using the same, and image processing method
JP2000278523A (en) Image processor, image reader and image formation device loading the same, image processing method and computer readable storage medium storing image processing procedures
JPH1127542A (en) Color-type discriminating device
JP4228466B2 (en) Image processing apparatus, image processing method, and computer-readable storage medium storing image processing procedure
JP3334047B2 (en) IMAGE PROCESSING APPARATUS, IMAGE READING APPARATUS AND IMAGE FORMING APPARATUS EQUIPPED WITH THE SAME, IMAGE PROCESSING METHOD, AND COMPUTER-READABLE STORAGE MEDIUM CONTAINING IMAGE PROCESSING PROCEDURE
JP4154867B2 (en) Image area discrimination apparatus and image area discrimination program
JPH10126631A (en) Original type judging method, color image processor and recording medium
JP3847565B2 (en) Image processing apparatus, image forming apparatus including the same, and image processing method
JP3789243B2 (en) Image processing apparatus and method
JP4073877B2 (en) Image processing method, image processing apparatus, image forming apparatus, and computer program
JP3064896B2 (en) Image processing device
JP2000324338A (en) Original kind recognition device
JP2702133B2 (en) Image processing method
JP2003125198A (en) Image processing apparatus and image processing method, and image forming device provided with the same, program, and recording medium
JP2002232704A (en) Image processor and image forming device
JP2003324604A (en) Image processing equipment, image forming equipment, image processing method, program and recording medium
JPH08340447A (en) Image processor with through prevention function

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060323

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20071016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080424

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080617

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080630

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees