JP4140212B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4140212B2 JP4140212B2 JP2001184291A JP2001184291A JP4140212B2 JP 4140212 B2 JP4140212 B2 JP 4140212B2 JP 2001184291 A JP2001184291 A JP 2001184291A JP 2001184291 A JP2001184291 A JP 2001184291A JP 4140212 B2 JP4140212 B2 JP 4140212B2
- Authority
- JP
- Japan
- Prior art keywords
- isolated point
- character
- pixel
- unit
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 69
- 238000001514 detection method Methods 0.000 claims description 72
- 238000000034 method Methods 0.000 description 17
- 238000012937 correction Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000009499 grossing Methods 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000000428 dust Substances 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004042 decolorization Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Character Input (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【発明の属する技術分野】
本発明は、画像中に存在するノイズ孤立点を除去する孤立点除去機能を備えた画像処理装置に関する。
【0002】
【従来の技術】
画像中に存在するトナーの塵やごみ(いわゆるノイズ成分)などのノイズ孤立点を不必要な情報として、その画素値を白色などのインアクティブな値にする(孤立点を除去する)孤立点除去機能を備えた画像処理装置が、たとえば特開平10−229497号に提案されている。
【0003】
特開平10−229497号記載の孤立点除去の手法は、先ず、画像から孤立点を検出し、検出された孤立点の画素について、その画素に隣接する領域の画像情報に基づいて、局所的あるいは大局的な画像情報を判断するのに適当な特徴量(所定の特徴量)を検出し、その特徴量に基づいて先に検出した孤立点を非孤立点に補正することにより、網点を孤立点と判定することがないようにするなど、ノイズ孤立点のみを除去しようとするものである。ここで、「特徴量」の具体例として、白画素の連続量や面積、あるいは孤立点画素、網点画素、さらには文字画素の面積などを用いることが提案されている。
【0004】
【発明が解決しようとする課題】
ところで、文字の周辺には、句読点やピリオドなど、文字成分でありながら孤立した画像情報として存在する場合があり、これらはノイズ孤立点に似通ってはいるが、ノイズ孤立点として除去されるべきではない。また、1つの文字自体も、連続した黒画素のみから構成されているとは限らず、たとえば平仮名や片仮名には濁点を有するものもあり、また漢字の場合には複数の部首から構成されていて、部首に中には、点状に孤立した画像情報として存在するものもある。これらの濁点や部首などもノイズ孤立点に似通ってはいるが、ノイズ孤立点として除去されるべきではない。
【0005】
しかしながら、特開平10−229497号記載の手法では、ゴミや汚れによって生じたノイズの大きさにもよるが、文字周辺のピリオドや濁点あるいは文字を構成する孤立した部首(孤立部首)などとノイズ孤立点とを正解に峻別することは困難であり、ノイズによる孤立点(ノイズ孤立点)を確実に除去しようとすれば、本来文字成分として残されるべきピリオドや孤立部首なども除去され、逆にピリオドや孤立部首が除去されないようにすれば、多くのノイズ孤立点が除去されずに残ってしまう。
【0006】
本発明は、上記事情に鑑みてなされたものであり、ピリオドや孤立部首などを残しつつ、ノイズ孤立点を除去することのできる画像処理装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
すなわち本発明に係る画像処理装置は、文字領域と網点領域から構成される画像中に存在するノイズ孤立点の画素値をインアクティブな値にする孤立点除去機能を備えた画像処理装置であって、入力画像に亘ってノイズ孤立点らしい孤立点候補画素を検出する孤立点候補検出部と、画像中の文字領域と網点領域を判別する文字網点判別手段と、孤立点候補検出部により検出された孤立点候補画素がノイズ孤立点の画素であるか否かを判定するものであって、孤立点候補検出部により検出された孤立点候補画素の位置と文字網点判別手段により抽出された文字領域とで定まる画素間距離が所定の閾値より大きいとき、ノイズ孤立点の画素と判定するノイズ孤立点判定部と、孤立点候補検出部により検出された孤立点候補画素の内の、ノイズ孤立点判定部によりノイズ孤立点であると判定された画素の値をインアクティブな値にする孤立点除去部とを備えた。
【0008】
【作用】
上記構成の画像処理装置は、先ず、画像の中から、孤立点候補画素を孤立点候補検出部により、文字候補画素を文字候補検出部により、それぞれ検出する。ノイズ孤立点判定部は、基本的には、孤立点候補検出部により検出された孤立点候補画素をノイズ孤立点の画素と判定するが、この際、孤立点候補画素と文字候補画素との画素間距離に応じて、孤立点候補画素をノイズ孤立点の画素とするべきかどうかの判定度合いを調整する。孤立点除去部は、孤立点候補画素の内のノイズ孤立点と判定されたものに限って、その画素値をインアクティブな値にする。ここで、画素間距離に応じて孤立点候補画素をノイズ孤立点の画素とするべきかどうかの判定度合いを調整すれば、たとえば、画素間距離の小さな孤立点候補画素は文字成分である可能性が強いのでノイズ孤立点であると判定する度合いを低くしたり、また画素間距離が小さいほど、検出サイズが大きい方の孤立点候補をノイズ孤立点であると判定する度合いを低くするなどして、文字近傍における孤立点除去性能と文字から離れた部分における孤立点除去性能とを調整することができる。
【0009】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0010】
図1は、本発明に係る画像処理装置の一実施形態である画像処理部を搭載したカラー複写装置の一例の機構図である。このカラー複写装置1は、画像取得部10、画像処理部20、画像記録部30、ユーザインタフェース50、およびエディットパッド60を備える。
【0011】
画像取得部10は、プラテンガラス11上に載置された原稿を読み取って得た入力画像を赤、緑、青の各色成分のデジタル画像データに変換する。たとえばハロゲンランプを有する光源12からの光がプラテンガラス11上に載置された原稿を照射し、反対光が図示しない光学系を介して赤、緑、青の各色に分光される。そして各色光が、各色光用に分けられた、たとえばCCD(固体撮像素子)からなるラインセンサ(イメージセンサ)13に入射し、入力画像がたとえば400dpi(400ドット/1インチ)の解像度で読み取られることによって、赤、緑、青の各色成分のアナログの画像信号が得られる。さらに、信号処理部14において、図示しない増幅部がラインセンサ13からの赤、緑、青の各画像信号を所定のレベルまで増幅し、さらに図示しないA/Dコンバータがデジタルデータデータに変換することで、赤、緑、青のデジタル画像データR,G,BがA/Dコンバータから得られる。この赤、緑、青の画像データR,G,Bは、ケーブル15を通じて画像処理部20に送られる。
【0012】
この読取り時には、光源12からの光が原稿を全面に亘って照射し、ラインセンサ13が入力画像を全面に亘って読み取るように、光源12を含む光学系、ラインセンサ13および信号処理部14は、矢印16で示すように図1中の左方から右方に移動させられる。
【0013】
画像処理部20は、画像取得部10の信号処理部14からの赤、緑、青の画像データR,G,Bに基づいて、ブラック(K)、イエロー(Y)、マゼンタ(M)、シアン(C)のオンオフ2値化トナー信号を得、各トナー信号を画像出力部30に出力する。
【0014】
本実施形態の画像出力部30は、一方向に順次一定間隔をおいて並置されたK,Y,M,Cの各色の画像形成部31K,31Y,31M,31Cを有する。先端検出器44が、用紙カセット41から各画像形成部に搬送される用紙の搬送経路上に近接して設けられている。この先端検出器44は、用紙カセット41からレジストローラ42を通じて転写ベルト43上に送り出された用紙の先端をたとえば光学的に検出して先端検出信号を得、この先端検出信号を画像処理部20に送る。画像処理部20は、入力された先端検出信号に同期して、K,Y,M,Cの各色のオンオフ2値化トナー信号を順次一定間隔をおいて得る。
【0015】
画像出力部30においては先ず、半導体レーザ38Kは、画像処理部20からのブラックのオンオフ2値化トナー信号によって駆動されることで、ブラックのオンオフ2値化トナー信号を光信号に変換し、この変換されたレーザ光をポリゴンミラー39に向けて照射する。このレーザ光は、さらに反射ミラー47K,48K,49Kを介して一次帯電器33Kによって帯電された感光体ドラム32K上を走査することで、感光体ドラム32K上に静電潜像を形成する。この静電潜像は、ブラックのトナーが供給される現像器34Kによってトナー像とされ、このトナー像は、転写ベルト43上の用紙が感光体ドラム32Kを通過する間に転写帯電器35Kによって用紙上に転写される。そして転写後は、クリーナ36Kによって感光体ドラム32K上から余分なトナーが除去される。
【0016】
同様に、半導体レーザ38Y,38M,38Cは、画像処理部20からブラックのオンオフ2値化トナー信号に対して順次一定間隔をおいて得られる対応するY,M,Cの各色のオンオフ2値化トナー信号によって駆動されることで、各色のオンオフ2値化トナー信号を光信号に変換し、この変換されたレーザ光をポリゴンミラー39に向けて照射する。このレーザ光は、さらに反射ミラー47Y〜49Y,47M〜49M,47C〜49Cを介して一次帯電器33Y,33M,33Cによって帯電された感光体ドラム32K上を走査することで、感光体ドラム32Y,32M,32C上に静電潜像を順次形成する。各静電潜像は、各色のトナーが供給される現像器34Y,34M,34Cによって順次トナー像とされ、各トナー像は、転写ベルト43上の用紙が対応する感光体ドラム32Y,32M,32Cを通過する間に対応する転写帯電器35Y,35M,35Cによって用紙上に順次転写される。
【0017】
このようにK,Y,M,Cの各色のトナー像が順次多重転写された用紙は、転写ベルト43上から剥離され、定着ローラ45によってトナーが定着されて、複写機の外部に排出される。
【0018】
ユーザインタフェース50は、ユーザが所望の機能を選択して、その実行を指示するもので、この例においては、カラーCRTディスプレイ51およびハードコントロールパネル52を備え、さらに赤外線タッチボード53が組み合わされて、画面上のソフトボタンによって直接、条件を指示できるようにされる。エディットパッド60は、これによって編集を施す領域を設定することができる。
【0019】
図2は、上記構成のカラー複写機に設けられた、本発明の画像処理装置の一例である画像処理部20の一実施形態のブロック図である。この画像処理部20においては、画像取得部10の信号処理部14からの赤、緑、青の画像データR,G,Bが一旦ページメモリ62に記憶され、その後、本願発明の主要部である孤立点処理部63によりノイズ孤立点が除去され、さらに前段色補正処理部64により色補正が施される。
【0020】
次に、第1マトリクス部71は、画像データR,G,Bを均等色空間の明度信号L* 並びに彩度および色相を表す色度信号a* ,b* に変換し、その後編集処理部72は、明度信号L* および色度信号a* ,b* を色編集し、その後第2マトリクス部73は、イエロー(Y)、マゼンタ(M)、およびシアン(C)の各色の画像データに変換する。
【0021】
下地検知部74は、第1マトリクス部71からの明度信号L* に基づいて、プリスキャン時に入力画像の下地濃度(バックグランド濃度)を検知する。たとえば下地検知部74は、プリスキャン時に明度信号L* を、たとえば主走査方向、副走査方向(ラインセンサ13の移動方向)とも100%換算で6mmとなるサンプリング間隔でサンプリングして、原稿全面の下地濃度分布のヒストグラムを作成し、そのヒストグラムの度数を高濃度側から調べて、所定度数を超えた最初の濃度エリアに基づいて下地除去の閾値TLを決定する。
【0022】
像域検出部75aは、編集処理部72からの明度信号L* および色度信号a* ,b* に基づいて、たとえば8×8の画素ブロック単位で入力画像の文字部と絵柄部と識別し、たとえば文字部と識別された領域では「1」となり、絵柄部と識別された領域では「0」となる2値データを像域信号として得る。拡縮部75bは、この像域信号を、単純間引きや単純拡大によりラインセンサ13のライン方向である主走査方向に縮小または拡大(両者をまとめて変倍という)する。
【0023】
さらに拡縮部76は、第2マトリクス部73からのY,M,Cの各色のそれぞれ多値データである画像データを2点間補間により主走査方向に変倍し、平滑処理部77は、平滑用空間フィルタを用いて、拡縮部76により変倍されたY,M,Cの各色の画像データを拡縮部75bからの像域信号に応じて平滑処理する。
【0024】
平滑処理部77の平滑用空間フィルタは、モアレを除去したり中間調データを平滑化するもので、画像データに乗じられる係数が拡縮部75bからの2値データである像域信号に応じてリアルタイムに切り替えられる。たとえば、平滑用空間フィルタがカーネルサイズ3×3の場合には、平滑処理部77は、入力画像の文字部と識別された領域では、像域信号が「1」とされることによってモアレ除去を目的とした緩いローパスのフィルタ定数に切り替えられる一方、入力画像の絵柄部と識別された領域では、像域信号が「0」とされることによってきつめの平滑特性のフィルタ定数に切り替えられる。
【0025】
次に下色除去部78は、平滑処理部77からのY,M,Cの各色の画像データに基づいて、下色除去された新たなY,M,Cの各色の画像データおよびブラック(K)の画像データを生成し、次いで下地除去部79は、下地検知部74で検知された入力画像の下地濃度に応じて、K,Y,M,Cの各色の画像データを下地除去処理し、処理済データを符号化部81に入力する。具体的には、下地除去部79は、たとえばプリスキャン時に下地検知部74において決定された下地除去の閾値TLに基づいて、図示していない制御用プロセッサによって下地除去の入出力特性を設定し、画像データの下地除去処理をする。下地除去部79は、たとえば入力画像データが閾値TL以下のときには出力画像データをゼロレベルとする、すなわち下地濃度以下の画像データをカットする。また下地除去部79は、入力画像データが閾値TLを超え且つ閾値TLの1.5倍以下のときには、入力画像データのレベルと閾値TLとの差の3倍を出力画像データのレベルとし、さらに入力画像データが閾値TLの1.5倍を超えるときには、入力画像データをそのまま出力画像データとする。
【0026】
次に符号化部81は、下地除去部79により下地除去処理されたK,Y,M,Cの各色の画像データを、DCT(Descrete Cosine Transform )などの直行変換符号化やベクトル量子化などの方法により符号化して非可逆圧縮する。この後、書込部83は、符号化部81により非可逆圧縮されたK,Y,M,Cの各色の符号化画像データを、画像格納部の一例である画像メモリ82に同時に書き込むとともに、書込部85は、画像メモリ82と同様にK,Y,M,Cの各色用に合計4面用意された像域メモリ84に、拡縮部75bからの2値データである像域信号を同時に書き込む。
【0027】
次いで画像出力部30の先端検出器44からの先端検出信号に同期して、読出部86が、画像メモリ82からK,Y,M,Cの各色の符号化画像データを順次一定間隔をおいて読み出すとともに、読出部88が、像域メモリ84からK,Y,M,Cの各色用の同一内容の像域信号を順次一定間隔をおいて読み出す。復号化部89は、画像メモリ82から順次一定間隔をおいて読み出されたK,Y,M,Cの各色の符号化画像データを符号化部81における符号化方式に対応した復号化方式により復号化して元の画像データに戻す。
【0028】
強調処理部91に設けられたエッジ強調部92は、エッジ強調用空間フィルタを用いて、像域メモリ84から順次一定間隔をおいて読み出されたK,Y,M,Cの各色用の同一内容の像域信号に応じて、復号化部89から順次一定間隔をおいて読み出されたK,Y,M,Cの各色の復号化画像データを、エッジ強調処理する。たとえば、エッジ強調用空間フィルタがカーネルサイズ5×7の場合には、エッジ強調部91は、入力画像の文字部と識別された領域では強調特性を持たせる係数に切り替える一方、入力画像の絵柄部と識別された領域では素通しの特性とする係数に切り替える。
【0029】
エッジ強調部92の後段に設けられたガンマ補正部93は、エッジ強調部92から順次一定間隔おいて得られるエッジ強調処理されたK,Y,M,Cの各色の画像データを、像域メモリ84から順次一定間隔をおいて読み出されたK,Y,M,Cの各色用の同一内容の像域信号に応じてガンマ補正する。このガンマ補正部93は、たとえば2種類の非線形ルックアップテーブルを有し、像域メモリ84から読み出された2値データである像域信号に応じて入出力特性をリアルタイムに切り替える。たとえばガンマ補正部93は、入力画像の文字部と識別された領域ではエッジ強調特性を持たせた高ガンマ曲線の入出力特性に切り替える一方、入力画像の絵柄部と識別された領域では忠実な階調再現がなされるような滑らかなガンマ曲線の入出力特性に切り替える。
【0030】
強調処理部91の後段に設けられた色補正処理部94は、画像処理部20の内部の特性値である濃度あるいは明度を表す各色の画像データK,Y,M,Cを、画像出力部30の特性値の面積率に応じて、色補正処理(TRC処理;Tone Reproduction Correction)する。
【0031】
上述した例は、平滑用空間フィルタ、エッジ強調用空間フィルタ、およびガンマ補正部93をそれぞれY,M,CまたはK,Y,M,Cの各色につき同一特性としていたが、各色ごとに最適な特性となるように特性を変えてもよい。
【0032】
また、画像出力部30は、1個のレーザ光スキャナによって1個の感光体ドラム上にK,Y,M,Cの各色の静電潜像が順次形成され、静電潜像が感光体ドラムの周囲に設けられた、それぞれK,Y,M,Cの各色のトナーが供給される現像器によって順次トナー像とされ、トナー像が転写ドラム上に吸着された用紙上に順次、多重転写される構成でもよい。
【0033】
なお、図示していないが、画像処理部20においては、色補正処理部94から順次一定間隔をおいて得られるK,Y,M,Cの各色の画像データがD/A変換されてプロセスカラーの階調トナー信号とされ、プロセスカラー階調トナー信号が2値化されてオンオフ2値化トナー信号に変換され、オンオフ2値化トナー信号が上述したように画像出力部30に出力される。
【0034】
図3は、画像処理部20の本発明の主要部である孤立点処理部63の一実施形態を示すブロック図である。孤立点処理部63は、画像を構成する各画素の内の文字らしい文字候補画素の位置を検出する文字候補検出部630と、画像を構成する各画素の内のノイズ孤立点らしい孤立点候補画素の検出特性が異なる複数の孤立点検出部を具備し、孤立点候補画素の位置を検出する孤立点候補検出部640とを備える。ここで、ノイズ孤立点らしい孤立点候補画素は、本来のノイズ孤立点だけでなく、ピリオドや濁点など、ノイズ孤立点に似通ったものを含んでいてもよい。
【0035】
また、孤立点処理部63は、孤立点候補検出部630により検出された孤立点候補画素をノイズ孤立点の画素と判定するノイズ孤立点判定部650と、孤立点候補検出部640により検出された孤立点候補画素の内の、ノイズ孤立点判定部650によりノイズ孤立点と判定された画素の値をインアクティブな値にする孤立点除去部660とを備える。さらに孤立点処理部63は、ノイズ孤立点判定部650において生成される文字候補画素の位置に関わる各種の領域信号を低解像度変換する低解像度変換部666と、低解像度変換部666により変換された領域信号を記憶する記憶部668とを備える。
【0036】
文字候補検出部630は、入力画像から文字候補画素を検出し、この検出した文字候補画素を示す第1文字信号D20を出力するとともに、文字候補画素に基づいて、画像中における文字候補画素を含む第1文字領域を示す第1文字領域信号D21を生成して出力する。この第1文字領域信号D21は、画像中における文字候補画素の位置を示すことになる。文字候補検出部630は、文字部分と網点画像(網点文字も含む)部分とを峻別するよう、網点検出部を具備した構成としてもよい。
【0037】
孤立点候補検出部640は、検出特性の一例として、孤立点候補画素の検出サイズが異なる第1孤立点検出部644と第2孤立点検出部646と、入力画像データおよび文字候補検出部630の出力のうちの何れか一方を選択して各孤立点検出部644,646に入力する切替部642とを有する。切替部642の制御入力端子CTLには、後述する第1膨張部654から第1膨張文字領域信号D23を入力するとよい。
【0038】
第1孤立点検出部644は、たとえば3×3画素ブロック以下の黒画素群を孤立点候補として検出し、検出した孤立点候補(第1孤立点候補)の位置を示す第1孤立点信号D31を出力する。第2孤立点検出部646は、第1孤立点候補よりも大きな孤立点候補、たとえば3×3画素ブロックよりも大きく5×5画素ブロック以下(以下単に「5×5画素ブロック以下」という)の黒画素群を孤立点候補として検出し、検出した孤立点候補(第2孤立点候補)の位置を示す第2孤立点信号D32を出力する。
【0039】
ノイズ孤立点判定部650は、孤立点候補画素をノイズ孤立点の画素と判定するに際して、孤立点候補画素の位置と文字候補画素の位置とで定まる画素間距離に応じて、2つの孤立点検出部644,646により検出された孤立点候補画素の参照度合いを変えることにより、ノイズ孤立点の画素と判定する度合いを調整する。このための構成として、画像中の文字部分やその近傍部分を前記画素間距離距離に応じて複数種類の領域に分割し、この分割した領域内に孤立点検出方法の異なる前記孤立点検出部644,646により検出された孤立点候補画素が存在するか否かを判定する構成とする。具体的には以下の通りである。
【0040】
ノイズ孤立点判定部650は先ず、文字候補検出部630が生成した第1文字領域信号D21が表す第1文字領域から、第1孤立点検出部644あるいは第2孤立点検出部646により検出された孤立点候補画素の部分を除いた第2文字領域を示す第2文字領域信号D22を生成するためのNORゲート651およびANDゲート652を有する。
【0041】
また、ノイズ孤立点判定部650は、文字候補検出部630から入力された第1文字領域信号D21に基づいて、第1文字領域を膨張量J11に従って膨張(領域拡大)させた第1膨張文字領域を示す第1膨張文字領域信号D23を生成する第1膨張部654と、第2文字領域信号D22に基づいて、第2文字領域を膨張量J12に従って膨張させた第2膨張文字領域を示す第2膨張文字領域信号D24を生成する第2膨張部656とを有する。
【0042】
膨張量J11,J12は、予め用意されている値であってもよいし、後述するように、ユーザから指定された値であってもよい。また、膨張量J11,J12は、文字サイズ(文字ポイント)に応じてそれぞれ異なる値が自動設定されるように、文字サイズごとに異なる値を用意しておくことが好ましい。ある文字とピリオドや読点あるいは孤立した部首との距離は、その文字サイズ(ポイント数)によって異なるとともに、ある程度定まるからである。
【0043】
さらにノイズ孤立点判定部650は、2つの孤立点検出部644,646により検出された孤立点候補画素の参照度合いを変えるに際して、画素間距離が小さいほど、検出サイズが小さい方の参照度合いを大きくする。このため、ノイズ孤立点判定部650は、各文字領域信号D21,D22あるいは各膨張文字領域信号D23,D24により表される文字候補画素の位置と、各孤立点信号D31,D32により表される孤立点候補画素の位置とを参照し、文字候補画素と孤立点候補画素との画素間距離を判断することによって孤立点(ノイズ孤立点)の位置を判定し、判定した孤立点の位置を示す孤立点信号D40を孤立点除去部660に出力するデコード部658を有する。デコード部658は、各種の信号D21,D22,D23,D24,D31,D32により表される画素間距離に応じて、第1あるいは第2孤立点検出部644,646により検出された孤立点候補画素がノイズ孤立点の画素であると判定する度合いを調整することで、文字近傍における孤立点除去性能と文字から離れた部分における孤立点除去性能とを調整する。たとえば、ノイズ孤立点特定部650のデコード部658は、文字候補画素と孤立点候補画素との間の画素間距離が小さいほど、検出された孤立点候補画素がノイズ孤立点の画素であると判定する度合いを低くする、あるいは画素間距離が小さいほど、検出サイズが大きい方の孤立点検出部646により検出された孤立点候補画素をノイズ孤立点の画素であると判定する度合いを低くすることで、画素間距離に応じた除去すべきノイズ孤立点の位置を判定する。
【0044】
図4は、孤立点処理部63における孤立点除去処理の手順の一例を示すフローチャートである。ユーザは、ユーザインタフェース50(図1参照)のハードコントロールパネル52や赤外線タッチボード53を介して、孤立点処理部63における孤立点除去機能のオンオフを指示する(S10)。孤立点除去機能がオンされると、以下の孤立点除去処理を開始する(S10−オン)。なお孤立点除去機能がオンされた状態では、ユーザは、文字周辺の孤立点を除去させない範囲を指定するために、ハードコントロールパネル52などを介して、膨張量J11,J12を、第1膨張部654や第2膨張部656にそれぞれ設定することができる。
【0045】
文字候補検出部630は、入力された画像を構成する各画素の内、文字らしい文字候補画素を検出する(S12)。そして、検出した文字候補画素に基づいて、画像中における文字候補画素を含む第1文字領域を示す第1文字領域信号D21(アクティブH)を生成して出力する。この文字候補画素の検出に際しては、文字部分と網点部分とを峻別することが望ましい。文字領域中に網点領域を含まないようにするためである。なお、文字部分と網点部分との峻別を含めて、画像中の文字候補画素を検出する方法は、画像の領域判別(領域峻別)手法として公知であるので、詳細説明は省略する(たとえば、特開平2−274174号、特開平5−344331号など参照)。また、文字部分と網点部分との峻別に際しては、たとえば前述の特開平10−229497号に提案されている手法を用いてもよい。
【0046】
孤立点候補検出部640は、3×3画素ブロック以下あるいは5×5画素ブロック以下の黒画素群を孤立点候補として検出し、検出した各孤立点候補の位置を示す孤立点信号D31,D32(アクティブH)を出力する(S14)。このとき、切替部642をL側に切り替えた状態のままで孤立点候補を検出する、すなわち、入力画像全体に亘って3×3画素ブロック以下あるいは5×5画素ブロック以下でサーチして孤立点候補を検出してもよい。あるいは、切替部642の制御入力端子CTLに第1膨張部654から第1膨張文字領域信号D23を入力することで、通常は切替部642をL側に切り替え、文字候補領域近傍内と判定された部分については切替部642をH側に切り替える、すなわち文字候補領域近傍内については文字候補検出部630から出力された第1文字信号D20を用いて孤立点候補を検出し、それ以外についてのみ入力画像そのものを対象にして孤立点候補を検出する。これにより、文字候補検出部630が網点と文字とを峻別する構成のものである場合、第1文字信号D20からは、予め網点領域が除外されているので、孤立点候補検出部640は、綱点を孤立点候補として検出することがなく、結果的に、網点が除去されることを防止できる。
【0047】
なお、本発明の特徴は、文字領域近傍に存在する孤立点あるいは文字領域内の孤立点がノイズ孤立点であるのか文字要素(ピリオドや部首など)を構成する孤立点であるのかを峻別することでノイズ孤立点のみを除去することにあり、文字領域から大幅に離れた部分(たとえば画像部分やベタ部分)における孤立点検出の手法については、前述した切替部642をL側にした状態での検出以外の手法を用いてもよい。
【0048】
NORゲート651は、各孤立点検出部644,646により検出された2つの孤立点信号D31,D32のNOR出力をANDゲート652に入力する。ANDゲート652は、このNOR出力と文字候補検出部630から入力された第1文字領域信号D21(アクティブH)とのAND出力を第2文字領域信号D22(アクティブH)として出力する。すなわち、NORゲート651およびANDゲート652により、第1孤立点検出部644または第2孤立点検出部646により検出された孤立点候補部分を第1文字領域信号D21から除去して第2文字領域信号D22を生成する(S16)。
【0049】
第1膨張部654は、第1文字領域を膨張量J11に従って膨張させ、第1膨張文字領域(すなわち第1の文字近傍領域)を示す第1膨張文字領域信号D23(アクティブH)を生成する(S18)。同様に、第2膨張部656は、第2文字領域を膨張量J12に従って膨張させ、第2膨張文字領域(すなわち第2の文字近傍領域)を示す第2膨張文字領域信号D24(アクティブH)を生成する(S18)。たとえば、各膨張部6564,656は、20mm程度の膨張処理を施す。
【0050】
デコード部658は、各文字領域信号D21,D22や各膨張文字領域信号D23,D24を参照して、各孤立点信号D31,D32が示す孤立点候補が、文字領域内の画素であるのか、あるいはより膨張させた膨張文字領域内、すなわち文字領域近傍の画素であるのかを判定する。つまり、各信号D21,D22,D23,D24,D31,D32に基づいて、文字候補画素と孤立点候補画素との画素間距離を判定する(S20)。
【0051】
ここで、孤立点候補画素と文字候補画素とが離れるほど孤立点候補画素は、真のノイズ孤立点画素である可能性が大きい。つまり、孤立点候補画素をノイズ孤立点画素として除去すべきか、文字画素として残すべきかは、孤立点候補画素と文字候補画素との距離に関わりがある。
【0052】
そこで、本来文字成分として残されるべきピリオドや孤立部首などを確実に残しつつ、ノイズ孤立点のみを除去するために、次のような処理をする。先ず、文字領域内もしくは文字領域近傍の画素である場合、すなわち前記画素間距離が小さい場合(S20−YES)、第1孤立点検出部644のみにより検出された孤立点候補がノイズ孤立点であり除去するべきであると判定する(S22)。つまり、3×3画素ブロック以下のサイズの小さい孤立点候補のみをノイズ孤立点とし、その位置を判定する。そして、この孤立点候補の位置を示す孤立点信号D40(アクティブH)を孤立点除去部660に出力する。
【0053】
一方、文字領域内および文字領域近傍の何れでもない場合、すなわち前記画素間距離が大きい場合は(S20−NO)、第1孤立点検出部644および第2孤立点検出部646の何れか一方により検出された孤立点候補(2つの孤立点検出部644,646の結果のOR)がノイズ孤立点であり除去するべきであると判定する(S24)。つまり、3×3画素ブロック以下だけでなく、より大きな5×5画素ブロック以下の孤立点候補もノイズ孤立点とし、その位置を判定する。そして、これらの孤立点候補の位置を示す孤立点信号D40(アクティブH)を孤立点除去部660に出力する。
【0054】
ステップS22とS24から分かるように、デコード部658は、画素間距離の大きさに応じて、各孤立点検出部644,646により検出された孤立点候補画素の位置の参照度合いを変えており、結果として、孤立点候補画素の検出特性を画素間距離の大きさに応じて変えている。そして、上記において、デコード部658は、画素間距離が小さいほど(孤立点候補が文字に近いほど)、検出サイズが小さい方の参照度合いを大きくしている。この結果、孤立点除去部660に入力される孤立点信号D40は、文字領域内あるいは文字領域に近い場合には小さな孤立点候補の位置のみを示し、文字から離れている場合には、小さな孤立点候補の位置だけでなく、大き目の孤立点候補の位置も示す。
【0055】
孤立点除去部660は、孤立点除去部660から入力された孤立点信号D40に基づいて、入力画像を構成する各画素の内の、ノイズ孤立点判定部650により位置が判定されたノイズ孤立点の画素値を、たとえば白画素を示すインアクティブな値にすることで、ノイズ孤立点を出力画像から除去する(S26)。前述のように、孤立点信号D40は、文字領域内あるいは文字領域に近い場合には小サイズの孤立点候補のみの位置を示し、文字から離れている場合には小および大サイズの孤立点候補の位置を示すので、文字内または近傍は小サイズのノイズのみが除去され、それ以外は大サイズのノイズも除去された画像が出力される。
【0056】
低解像度変換部666は、各文字領域信号D21,D22と各膨張文字領域信号D23,D24、あるいは孤立点信号D31,D32とを低解像度変換して、変換済みの各信号を、入力画像に対応付けて記憶部668に記憶させる(S30)。なお、入力画像と変換済みの各信号との対応付けがなされていればよく、入力画像と変換済みの各信号とは、同一の記憶部に記憶されてもよいし、それぞれ別の記憶部に記憶されてもよい。
【0057】
これにより、各信号を再度生成することなく、必要に応じて、ノイズのない画像を出力することができる。また、各信号(記憶部668に記憶された変換済みの信号でもよい)を用いて、出力画像上にそれぞれの領域の枠や孤立点候補を示す構成とすれば、ユーザがその領域枠などを確認することで、どの部分のノイズ孤立点が除去されるのか確認した後に出力したり、あるいはデコード部658における判定処理(ノイズ孤立点の位置の判定処理)を変更させた後に出力し直すという使い方もできる。つまり、孤立点が除去される領域をユーザが確認することができるので、誤って必要な情報を除去する危険度が減少する。またユーザの意志で、ノイズ孤立点の除去領域や検出サイズの組合せを操作することもできるので、たとえば、文字近傍とそれ以外の領域で、孤立点除去方法や除去性能を変えることができ、文字の近くに存在するピリオドや濁点を誤って除去しないようにマニュアル制御することもできる。
【0058】
図5は、カラー複写装置1が処理対象とする原稿の一例である。原稿80は、文字領域A,B1と画像領域Cとを含む。そして、一方の文字領域B1内およびその近傍にはノイズ成分N1〜N6を含む。文字領域B1内に存在する、読点M1に似たドット状のノイズ成分N1と句点M2に似たノイズ成分N2は、3×3画素以下のサイズであり、読点M1や句点M2よりも小さい。文字領域B1内および文字領域B1の上下左右をそれぞれ20mm程度膨張させた膨張文字領域B2内に存在するドット状のノイズ成分N3と句点M2に似たノイズ成分N4は、3×3画素よりも大きく5×5画素以下のサイズであり、読点M1や句点M2とほぼ同程度大きさである。膨張文字領域B2の外側に存在するドット状のノイズ成分N5と句点M2に似たノイズ成分N6は、5×5画素よりも大きい。なおノイズ成分N1,N2は、さらに膨張文字領域B2やその外側に存在してもよい。
【0059】
このような場合、文字候補検出部630から出力される第1文字領域信号D21は文字領域Bを示し、第1膨張部654から出力される第1膨張文字領域信号D23は膨張文字領域B2を示す。また、第1孤立点検出部644から出力される第1孤立点信号D31はノイズ成分N1,N2を示し、第2孤立点検出部646から出力される第2孤立点信号D32はノイズ成分N3,N4を示す。
【0060】
ここでたとえば、デコード部658は、文字領域B1内は第1孤立点検出部644のみにより検出された孤立点候補の位置を示す第1孤立点信号D31(アクティブH)のみをそのまま孤立点信号D40(アクティブH)として孤立点除去部660に出力する。またデコード部658は、文字領域B1の外側は第1孤立点検出部644および第2孤立点検出部646の何れか一方により検出された孤立点候補の位置を示す孤立点信号D31,D32(アクティブH)をそのまま孤立点信号D40(アクティブH)として孤立点除去部660に出力する。これにより、文字領域B1内すなわち文字近傍においては、句点M2や読点M1と略同サイズのノイズN3,N4は残るものの、サイズの小さなノイズN1,N2は確実に除去される。また文字領域B1よりも外側すなわち文字から離れている場合においては、サイズの小さなノイズN1,N2だけでなく、句点M2や読点M1と略同サイズのノイズN3,N4も除去される。もちろん、より大きなノイズN5,N6も除去される。このように、上記実施形態の孤立点処理部63によれば、文字近傍とより遠距離の領域で孤立点除去方法を変えることができるので、文字の近くに存在する句点や濁点などを除去することなく、文字から離れたところに存在する句点や濁点などと同サイズもしくはより大きなノイズを確実に除去することができる。
【0061】
また、各膨張部654,656における膨張量を複数段階としておくと、ノイズ孤立点の除去特性を画素間距離(孤立点画素と文字画素との距離)に応じてより細かに切り替えることができる。たとえば2段階とした場合には、文字最近傍、文字近傍、およびそれ以外の3段階で文字近傍領域を区別することができ、(A)文字最近傍は孤立点除去なし、(B)文字近傍は第1孤立点検出部644の結果のみ使用、(C)それ以外の領域は2つの孤立点検出部644,646のOR出力を使用、とすることができる。
【0062】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。また、上記の実施形態は、クレームにかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。
【0063】
たとえば、上記実施形態では、検出サイズ特性の異なる2つの孤立点検出部を孤立点候補検出部640内に設けたが、たとえば検出閾値など検出サイズ以外の検出特性の異なる孤立点検出部を設けてもよい。
【0064】
また、孤立点候補画素の位置と文字候補画素の位置とで定まる画素間距離に応じて孤立点候補画素をノイズ孤立点の画素とする判定度合いを調整するための具体的な構成例として、NORおよびANDの各ゲート、領域を拡張させるための膨張部、およびデコード部を有するノイズ孤立点特定部650としたが、画素間距離に応じて判定度合いを調整することができる限り、このような構成以外であってもよい。
【0065】
【発明の効果】
以上のように、本発明の画像処理装置は、孤立点候補画素の位置と文字候補画素の位置とを参照し、それぞれの画素の位置で定まる画素間距離に応じて、ノイズ孤立点の画素と判定する度合いを調整する。そして、孤立点候補画素の内のノイズ孤立点の画素と判定されたものに限って、その画素値をインアクティブな値にする。文字近傍あるいは文字から遠く離れたノイズ孤立点だけでなく、文字近傍に存在するピリオドや孤立部首などもノイズ孤立点と似通っており、孤立点候補画素として検出され得るが、たとえば孤立点候補画素と文字候補画素とが離れるほど孤立点候補画素は、真のノイズ孤立点画素である可能性が大きい。換言すれば、孤立点候補画素をノイズ孤立点画素として除去すべきか文字画素として残すべきかは、孤立点候補画素と文字候補画素との距離に関わりがある。
【0066】
本発明は、孤立点候補画素を検出した場合に、文字候補画素との間の画素間距離に基づいて、この孤立点候補画素をノイズ孤立点の画素とするべきか否かを判定する。これにより、文字近傍においては、ピリオドや孤立部首などの文字成分である比較的大きな孤立点を確実に残しつつ小さい孤立点だけを除去したり、文字から離れた場合は、種々の大きさのノイズ孤立点を確実に除去することができるなど、ピリオドや孤立部首などを確実に残しつつ、殆どのノイズ孤立点を除去することができる。
【図面の簡単な説明】
【図1】 本発明の画像処理装置の一例を搭載したカラー複写機の一例の機構図である。
【図2】 本発明の画像処理装置の一例である画像処理部の一実施形態のブロック図である。
【図3】 本発明の主要部である孤立点処理部の一実施形態を示すブロック図である。
【図4】 孤立点処理部における孤立点除去処理の手順の一例を示すフローチャートである。
【図5】 カラー複写装置が処理対象とする原稿の一例である。
【符号の説明】
1…カラー複写装置、10…画像取得部、20…画像処理部、30…画像記録部、63…孤立点処理部、630…文字候補検出部、640…孤立点候補検出部、642…切替部、644…第1孤立点検出部、646…第2孤立点検出部、650…ノイズ孤立点判定部、651…NORゲート、652…ANDゲート、654…第1膨張部、656…第2膨張部、658…デコード部、660…孤立点除去部、666…低解像度変換部、668…記憶部
Claims (2)
- 文字領域と網点領域から構成される画像中に存在するノイズ孤立点の画素値をインアクティブな値にする孤立点除去機能を備えた画像処理装置であって、
入力画像に亘ってノイズ孤立点らしい孤立点候補画素を検出する孤立点候補検出部と、
前記画像中の前記文字領域と前記網点領域を判別する文字網点判別手段と、
前記孤立点候補検出部により検出された前記孤立点候補画素が前記ノイズ孤立点の画素であるか否かを判定するものであって、前記孤立点候補検出部により検出された前記孤立点候補画素の位置と前記文字網点判別手段により抽出された文字領域とで定まる画素間距離が所定の閾値より大きいとき、前記ノイズ孤立点の画素と判定するノイズ孤立点判定部と、
前記孤立点候補検出部により検出された前記孤立点候補画素の内の、前記ノイズ孤立点判定部により前記ノイズ孤立点であると判定された画素の値をインアクティブな値にする孤立点除去部と
を備えたことを特徴とする画像処理装置。 - 前記孤立点候補検出部は、所定のブロック以下の黒画素群を孤立点として検出する
ことを特徴とする請求項1に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001184291A JP4140212B2 (ja) | 2001-06-19 | 2001-06-19 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001184291A JP4140212B2 (ja) | 2001-06-19 | 2001-06-19 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003008899A JP2003008899A (ja) | 2003-01-10 |
JP4140212B2 true JP4140212B2 (ja) | 2008-08-27 |
Family
ID=19024079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001184291A Expired - Fee Related JP4140212B2 (ja) | 2001-06-19 | 2001-06-19 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4140212B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4652717B2 (ja) * | 2004-04-26 | 2011-03-16 | 株式会社ミツトヨ | 画像処理装置及び方法並びにプログラム |
JP2006072839A (ja) * | 2004-09-03 | 2006-03-16 | Ricoh Co Ltd | 画像処理方法、画像処理装置、画像処理プログラム及び記録媒体 |
JP2007311298A (ja) * | 2006-05-22 | 2007-11-29 | Hitachi High-Technologies Corp | 集束イオンビーム装置 |
JP5636666B2 (ja) * | 2009-10-30 | 2014-12-10 | 三菱電機株式会社 | 画像パターン検出補正装置および画像パターン検出補正方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0652363A (ja) * | 1992-07-28 | 1994-02-25 | Ricoh Co Ltd | オンライン手書き文字認識方法 |
JPH0749926A (ja) * | 1993-08-04 | 1995-02-21 | Fuji Xerox Co Ltd | 文字認識装置 |
US5650799A (en) * | 1994-04-15 | 1997-07-22 | Canon Kabushiki Kaisha | Programmable function keys for a networked imaging computer system |
JPH10171924A (ja) * | 1996-12-10 | 1998-06-26 | Brother Ind Ltd | 文字認識装置 |
JP3480887B2 (ja) * | 1997-02-13 | 2003-12-22 | 株式会社リコー | 画像処理装置および画像処理方法 |
JPH1196296A (ja) * | 1997-09-19 | 1999-04-09 | Nippon Telegr & Teleph Corp <Ntt> | 帳票イメージ処理方法および装置 |
JP2000350021A (ja) * | 1999-06-04 | 2000-12-15 | Ricoh Co Ltd | デジタル画像処理装置 |
JP2002262093A (ja) * | 2001-02-26 | 2002-09-13 | Ricoh Co Ltd | 画像処理方法及び画像処理装置及び画像処理プログラム並びに記録媒体 |
-
2001
- 2001-06-19 JP JP2001184291A patent/JP4140212B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003008899A (ja) | 2003-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3436828B2 (ja) | 画像処理装置 | |
US20070236707A1 (en) | Image processing apparatus, image processing method and image processing program | |
JP2009038529A (ja) | 画像処理方法、画像処理装置、画像形成装置、画像読取装置、コンピュータプログラム、及び記録媒体 | |
US7916352B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JPH05268457A (ja) | 多色マーカー編集装置 | |
JP2005012623A (ja) | 画像処理装置及び画像処理方法 | |
JP4140212B2 (ja) | 画像処理装置 | |
JP2003008913A (ja) | 画像処理装置 | |
JP4140373B2 (ja) | 画像形成方法、画像形成装置、プログラム | |
JP3988970B2 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
JPS63263974A (ja) | 画像処理装置 | |
JP2001218041A (ja) | 画像処理装置および画像処理方法および記憶媒体 | |
JP3767210B2 (ja) | 原稿種判定装置及び画像処理装置 | |
JPH07307869A (ja) | 画像処理装置 | |
JPH06152945A (ja) | 画像処理装置 | |
JP2696902B2 (ja) | カラー画像処理装置 | |
JP4415664B2 (ja) | 画像処理装置 | |
JP3079630B2 (ja) | 画像処理装置 | |
JPH10210314A (ja) | ディジタル画像処理装置 | |
JP3581756B2 (ja) | 画像処理装置 | |
JP4078969B2 (ja) | 画像形成装置、プログラム | |
JP3829656B2 (ja) | 画像読取装置 | |
JP2003189103A (ja) | 画像形成装置 | |
JP2004201063A (ja) | 画像処理方法、画像処理装置、プログラム | |
JP2002300387A (ja) | 網点領域検出装置、画像形成装置、プログラム、記憶媒体及び網点領域検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080520 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080602 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140620 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |