JP3643220B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP3643220B2
JP3643220B2 JP26437997A JP26437997A JP3643220B2 JP 3643220 B2 JP3643220 B2 JP 3643220B2 JP 26437997 A JP26437997 A JP 26437997A JP 26437997 A JP26437997 A JP 26437997A JP 3643220 B2 JP3643220 B2 JP 3643220B2
Authority
JP
Japan
Prior art keywords
image
unit
noise
noise removal
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26437997A
Other languages
English (en)
Other versions
JPH11112813A (ja
Inventor
哲夫 藤沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP26437997A priority Critical patent/JP3643220B2/ja
Publication of JPH11112813A publication Critical patent/JPH11112813A/ja
Application granted granted Critical
Publication of JP3643220B2 publication Critical patent/JP3643220B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、スキャナなどの画像入力装置から入力された画像データを処理して画像出力する画像形成装置に関する。
【0002】
【従来の技術】
画像を形成する場合、原稿画像を例えばスキャナなどにより光学的に読み取って画像を形成するものと、パーソナルコンピュータなどの情報処理装置から転送された画像データに基づいて画像を形成するものとがあり、前者のものでは、読み取った画像データに原稿画像中に含まれている汚れなどが画像ノイズとして含まれることが多い。そのため、原稿画像中に含まれている汚れなどの画像ノイズを取り除いてきれいなコピーを得るように画像処理することが一般に行われている。
【0003】
このような画像ノイズを除去するように構成されたものとしては、例えば、特開平6−35976号公報記載の発明が知られている。
【0004】
【発明が解決しようとする課題】
しかし、従来では、コピーを行うときに画像濃度が調整可能であるにもかかわらず、画像濃度に応じた画像ノイズ除去の設定は行われていないので、下記のような不具合が発生する場合があった。
【0005】
(1)濃いコピー出力の濃度設定でも、画像ノイズ除去効果が強い場合には、画像自身が除去されてしまい、コピーとして出力されないことがある。
【0006】
(2)薄いコピー出力の濃度設定でも、画像ノイズ除去効果が弱い場合には、画像ノイズが十分に除去されないことがある。
【0007】
また、従来から行われている画像ノイズの除去方法では、画像ノイズであると検出された画素を白画素に置き換えているが、この方法は、地肌濃度を有する画像においては、画像ノイズ除去を行った画素が白く抜けてしまうという不具合があった。
【0008】
この発明は、このような従来技術における不具合に鑑みてなされたもので、その目的は、常にコピー画像濃度に適した画像ノイズ除去を行うことができる画像処理装置を提供することにある。
【0009】
【課題を解決するための手段】
前記目的を達成するため、第1の手段は、画像入力部から送られてきた画像データを画像処理して画像出力部に転送し、画像出力部から画像出力させる画像処理装置において、前記画像入力部から画像処理部に入力された画像データ中の画像ノイズを検出するノイズ検出手段と、検出された画像ノイズを除去するノイズ除去手段と、画像濃度を制御するγ変換処理手段と、画像ノイズの検出レベルをγ変換処理と同時に変更するノイズ検出レベル変更手段とを備えていることを特徴とする。
【0013】
【発明の実施の形態】
以下、この発明の実施の形態について、図面を参照して説明する。
【0014】
[第1の実施形態]
図1は、この発明の第1の実施形態に係る画像処理装置を備えた画像形成装置の構成を機能的に示すブロック図である。画像形成装置は、図1に示すように画像入力部101、画像処理部102、画像出力部103、制御部104および操作部105から主に構成されている。
【0015】
画像入力部101は、デジタルコピーやデジタルファクシミリのいわゆるスキャナ部に相当し、原稿を光学的に読み取って電気信号に変換し、画像データとして画像処理部102に転送する。画像処理部102は、入力された画像データに対してノイズ除去、フィルタ処理、γ変換処理、階調処理などの各種の公知の画像処理を行い、処理結果を画像出力部103に転送する。画像出力部103は、デジタル複写機やデジタルファクシミリにおけるいわゆるプリンタ部に相当し、画像処理部102で処理されたビットマップ画像データを用紙に可視画像としてプリント出力する。操作部105では、使用者が動作モードの設定やコピー動作のスタートの指示入力、ノイズ除去レベルの変更などの各種操作を入力する。制御部104は、コピー動作を行うときの装置全体の制御を司り、画像入力部101に対しては、スキャナの動作制御を実行し、画像処理部102に対してはノイズ除去レベルの設定、γ変換処理、フィルタ処理、階調処理などの各種画像処理の処理に使用するパラメータの設定を行うとともに、画像出力部103に対してはプリンタの動作制御を行い、操作部105に対しては各種情報の表示制御、動作モード、およびレベル変更の入力制御を行う。
【0016】
図2は、図1の画像形成装置の構成をさらに具体的に示すブロック図であり、画像入力部101をスキャナ部201に、画像出力部103をプリンタ部208に、制御部104をCPU210、ROM211、RAM212にそれぞれ置き換えるとともに、画像処理部102内の各部を明示している。
【0017】
この画像処理部102は、マトリクス生成部202、MTFフィルタ処理部203、平滑フィルタ処理部204、ノイズ除去部検出部205、セレクタ206、およびγ変換処理・階調処理部207からなる。ノイズ除去部検出部205は、パターンマッチングにより画像ノイズを認識し、セレクタ206は画像ノイズを取り除くための選択手段として機能する。
【0018】
CPU210は装置全体の制御を司り、ROM211には制御プログラムが格納され、RAM212はCPU210のワークエリアとして機能し、制御プログラムが一時的に使用する。前記各部は内部システムバス209を介して接続され、操作部213によって動作モード選択、スタート、ストップなどの指示が与えられ、操作部213の操作パネルには液晶表示装置によって実行しているモードや認識状態などが表示される。
【0019】
図3は、スキャナ部210とプリンタ部208の機械的構成を示す概略説明図である。スキャナ部201は、原稿を載置するコンタクトガラス301、コンタクトガラス301上に置かれた原稿を押さえる圧板339、コンタクトガラス301の下面から原稿を照射する照明用光源(ランプ)302a、302b、原稿からの反射光をCCDイメージセンサ309に導く、第1ないし第5のミラー303、304、305、306、307、および結像レンズ308と、第1走行体310と、第2走行体311とからなる。
【0020】
このような各構成要素を備えたスキャナ部201は、コンタクトガラス301上に置かれた原稿を照明し、読み取り原稿からの反射光を第1ないし第5ミラー307および結像レンズ308を介してCCDイメージセンサ309の受光面に結像する。光源302a、302bおよび第1ミラー303は第1走行体310に搭載され、第2および第3ミラー304、305は第2走行体311に搭載され、第2走行体311は第1走行体310に連動して第1走行体の1/2の速度で副走査方向に移動する。主走査方向のスキャンは、CCDイメージセンサ309の個体走査によって行われ、原稿画像はCCDイメージセンサ309によって読み取られる。これによって原稿全体が走査され、読み取られる。
【0021】
プリンタ部208は、レーザ書き込み系、画像再生系、および給紙系によって構成される。レーザ書き込み系は、レーザ出力ユニット321、結像レンズ322、およびミラー323からなる。レーザ出力ユニット321は、レーザ光源であるレーザダイオードおよびモータによって高速で回転する多角形ミラー(ポリゴンミラー)を備え、画像データに基づいて付勢されたレーザダイオードから出射されたレーザビームが感光体ドラム324表面に照射される。感光体ドラム324の周囲には、帯電チャージャ325、イレーサ326、現像ユニット327、転写チャージャ328、分離チャージャ329、分離爪330、クリーニングユニット331などが配置されている。また、感光体ドラム324の一端の近傍のレーザビームが照射される位置には、主走査同期信号を発生する図示しないビームセンサが配されている。
【0022】
このように大略構成されたプリンタ部208で画像形成を行う場合には、以下のようにして行われる。すなわち、感光体ドラム324の周面が帯電チャージャ325によって一様に高電位に帯電され、感光体ドラム324の周面にレーザ光が照射されると、照射された部分は電位が下がる。レーザ光は記録再生の黒/白に応じてオン/オフ制御されるので、レーザ光の照射によって感光体ドラム324の周面に記録画像に対応する電位分布、言い換えれば静電潜像が形成される。静電潜像が形成された部分が現像ユニット327を通ると、電位の高低に応じてトナーが付着し静電潜像が可視化されたトナー像となる。トナー像が形成された部分に所定のタイミングで記録シート332がカセット333から送り込まれ、トナー像に重なる。このトナー像は転写チャージャ328によって記録シート332に転写され、さらに、分離チャージャ329および分離爪330によって感光体ドラム324から分離される。分離された記録シート332は、搬送ベルト334によって搬送され、ヒータを内蔵した定着ローラ335によって加熱定着された後、排紙トレイ336に排紙される。
【0023】
この実施形態では、プリンタ部208は2系統の給紙系を有し、そのうち一系統は上段給紙カセット333aと手差し給紙台333cを備え、両者とも給紙ローラ337aによって給紙される。他の一系統は下段給紙カセット333bを備え、給紙ローラ337bによって給紙される。そして、いずれかの給紙ローラ337a、337bから給紙された記録シート332(図では、上段給紙カセット333aでは符号332aで、下段給紙カセット333bでは符号332bで示す)は、レジストローラ338に当接した状態で一旦停止し、記録プロセスの進行に同期したタイミングで感光体ドラム324に送り込まれる。
【0024】
以下、この実施形態における画像ノイズ除去について説明する。
【0025】
スキャナ部201から入力される画像データは、マトリクス生成部202において図5に示すように「5画素×5ライン」にマトリクス化される。マトリクス化後の画像データは、MTFフィルタ処理部203でMTF補正が行われ、平滑フィルタ処理部204でマトリクス内の画素の平均値が求められる。各フィルタ処理部203、204の内部構成は従来から行われている公知のものなので、ここでは説明を省略する。
【0026】
ノイズ除去部検出部205は除去する画像ノイズを検出し、検出信号をセレクタ206へ出力する。セレクタ206はMTF補正フィルタ処理部203、平滑フィルタ処理部204、ノイズ除去部検出部205の信号からノイズ除去後の画像データをγ変換処理・階調処理部207へ出力する。γ変換処理・階調処理部207で処理された画像データは、前述のプリンタ部208で可視画像化され、コピーとして出力される。
【0027】
ノイズ除去部検出部205の具体的構成は図4のブロック図に示すようなものである。ノイズ除去部検出部205は、セレクタ401と、16個のコンパレータ402と、コンパレータ402からの入力の論理和をとるOR回路403とから基本的に構成されている。ノイズ除去部検出部205には、マトリクス生成部202で保持されている前述の図5に示すような「5画素×5ライン」の大きさの画像データが入力され、ノイズ除去部検出部205は、入力されたマトリクスの中心画素Cがノイズ部であるかどうかを周辺画素A1からA16の画素データを用いて検出し、検出結果をセレクタ206に出力する。
【0028】
周辺画素A1からA16は、それぞれセレクタ401で選択された一定のしきい値(スレッシュレベル値−ここでは、レベル1からレベル7までの7つの値)とコンパレータ402によって比較され、しきい値以下であった場合には注目画素Cの回りが白いということで画像ノイズ部の候補となる。コンパレータ402の出力は、
一定のしきい値<画像データ
のときは「1」となり、それ以外は「0」となる。A1からA16までの各画素の比較結果は、OR回路403によって論理和がとられ、A1からA16まで1つでもしきい値以上の場合は、OR回路403の結果が「1」となり、画像ノイズ部でないという検出結果をセレクタ206に送る。逆にA1からA16まで全てがしきい値未満の場合は、OR回路403の結果が「0」となり、画像ノイズ部であるという検出結果をセレクタ206に送る。
【0029】
画像ノイズの検出レベルは、制御部104によりしきい値をセレクタ402に設定することによって設定する。その際、しきい値レベルが大きければ、画像ノイズとして認識しやすくなってノイズ除去効果も大きくなるが、小さければ画像ノイズとして認識し難くなってノイズ除去効果は小さくなる。
【0030】
セレクタ206では、MTFフィルタ処理部203からのフィルタ処理結果とノイズ除去部検出部205からの出力とから実際のノイズ除去を行う。すなわち、ノイズ除去部検出部205からの信号が「1」(画像ノイズ部でない)の場合は、MTFフィルタ処理部203からの信号をそのままγ変換処理・階調処理部207へ送る。一方、ノイズ除去部検出部205からの信号が「0」(画像ノイズ部である)の場合は、信号「0」をγ変換処理・階調処理部207へ送り、画像ノイズを除去する。
【0031】
γ変換処理・階調処理部207は、従来から公知の技術なので、ここでの説明は省略するが、プリンタ部208で画像を出力するのに適した信号に変換を行う。なお、γ変換処理は図6に示すように、濃度に対して入力と出力の対応をとる。ここでは、対応関係を濃度1から濃度7までの7種類用意し、その中から選択された1種類が制御部104によってγ変換処理に設定される。これを図7(a)および(b)に示す。図7(a)は、γ変換(補正)濃度が濃度1から濃度7まで用意されているのに対し、ノイズ検出レベル(しきい値レベル)を全て0に設定した場合、すなわち、画像ノイズを行わない場合のγ変換(補正)濃度とノイズ検出レベルとの対応関係を示し、図7(b)は濃度1から濃度7までのγ変換濃度に対してノイズ検出レベルを同様に1から7まで対応させた場合を示している。
【0032】
画像ノイズの除去を行う場合には、図8の操作部105の表示例に示すようにデジタル複写機にノイズ除去機能として搭載される。操作部105は、前にも少し触れたが、液晶ディスプレイとタッチパネルによって構成され、表示と入力が1つの操作部105から可能となっている。図8は、操作部105の初期画面であり、「ノイズ除去」表示が機能のオン・オフを決める。ノイズ除去機能を使用する場合には、「ノイズ除去」表示を押すことによって、ノイズ除去がオンとなってこの機能が選択され、操作部105の表示が図9に示すような表示に変わり、ノイズ除去が選択されたことが操作者に分かるようになっている。
【0033】
図9に示す操作状態では、ノイズ除去部検出部205に制御部104から図4におけるしきい値レベル4が設定される(濃度表示は中間値の「4」に対応する位置にある)。もし、コピー濃度を図10に示すように左側から2番目の濃度に変更(濃く)すると、ノイズ除去部検出部205へは、制御部104から図4におけるしきい値レベル2が設定される。また、γ変換処理・階調処理207へは、制御部104から図6における濃度2が設定され、図7(b)のようにγ変換(補正)濃度2に対応したノイズ検出レベル2が設定される。このようにコピー濃度に応じてノイズ除去部検出部205で設定されるしきい値レベルを変更することによって、常にコピー濃度に適した画像ノイズ除去を行うことが可能になる。
【0034】
[第2の実施形態]
また、画像フィルタ処理を選択することによって画像ノイズの除去を行うこともでできる。この例を以下、説明する。なお、回路構成やデジタル複写機自体の構成は、第1の実施形態と同等なので、第1の実施形態と同等とみなせる各部には同一の参照符号を付し、重複する説明は適宜省略する。
【0035】
セレクタ206には、図2に示すようにMTFフィルタ処理部203、平滑フィルタ処理部204、ノイズ除去部検出部205、およびシステムバス209を介して制御部104からの信号がそれぞれ入力される。MTFフィルタ処理部203からの信号は、実際にプリンタ部208でコピー出力される画像データである。平滑フィルタ処理部204からの信号は、ノイズ除去処理画素の周辺画素の平均データである。ノイズ除去部検出部205からの信号は、ノイズ除去の対象となる処理画素をノイズとして除去するかどうかを示す信号である。制御部104からの信号は、ノイズ除去を行う際の除去方式を決める信号である。
【0036】
そこで、画像ノイズを除去する第1の方法は、前述のようにノイズ除去部検出部205からの信号が「1」(画像ノイズ部でない)の場合は、MTFフィルタ処理部203からの信号をそのままγ変換処理・階調処理部207に出力し、画像ノイズ除去部検出部205からの信号が「0」(画像ノイズ部である)の場合は、信号「0」をγ変換処理・階調処理部207へ出力して画像ノイズを除去するという方法である。
【0037】
画像ノイズを除去する第2の方法は、セレクタ206の出力として、ノイズ除去部検出部205からの信号が「1」(画像ノイズ部でない)の場合は、MTFフィルタ処理部203からの信号をそのままγ変換処理・階調処理部207に出力し、画像ノイズ除去部検出部205からの信号が「0」(画像ノイズ部である)の場合は、平滑フィルタ処理部204からの信号をγ変換処理・階調処理部207に出力して画像ノイズを処理画素の平均データで置き換えるという方法である。
【0038】
これら第1の方法および第2の方法は、制御部104からの信号によって設定される。
【0039】
実際の操作は、図8の操作部105の状態から「ノイズ除去」の部分を押すと、操作部105の表示画面は図11に示す「ノイズ除去方法の選択」画面に切り換わる。この画面で「白画素と置き換えて除去する」を選択した場合にはノイズ除去方法の前記第1の方法が設定される。また、「処理画素周辺の平均濃度の画素と置き換えて除去する」を選択した場合には、ノイズ除去方法の前記第2の方法が設定される。これによって、コピーする画像の濃度に応じて操作者が希望する画像ノイズ除去を行うことが可能になる。
【0040】
その他、特に説明しない各部は、第1の実施形態と同様に構成されている。
【0041】
[第3の実施形態]
また、γ変換処理の処理内容の選択と対応させて画像ノイズの除去を行うこともでできる。この例を以下、説明する。なお、回路構成やデジタル複写機自体の構成は、第1の実施形態と同等なので、第1および第2の実施形態と同等とみなせる各部には同一の参照符号を付し、重複する説明は適宜省略する。
【0042】
図9の操作状態においては、ノイズ除去部検出部205へ制御部104からは前述のように図4におけるしきい値レベル4が設定され、γ変換処理・階調処理部207へは制御部104から図6における濃度4が設定される。また、図7(c)によって「白画素置換」を行うため前述の第1の除去方法が設定される。
【0043】
図10に示すようにコピー濃度を変更すると、制御部104からノイズ除去部検出部205にしきい値レベル2が設定され、γ変換処理・階調処理部207へは制御部104から図6における濃度2が設定される。また、図7(c)によって「平均置換」を行うため前述の第2の除去方法が設定される。
【0044】
その他、特に説明しない各部は、第1および第2の実施形態と同様に構成されている。
【0045】
【発明の効果】
以上のように、請求項1記載の発明によれば、画像入力部から画像処理部に入力された画像データ中の画像ノイズを検出するノイズ検出手段と、検出された画像ノイズを除去するノイズ除去手段と、画像濃度を制御するγ変換処理手段と、画像ノイズの検出レベルをγ変換処理と同時に変更するノイズ検出レベル変更手段とを備えているので、常に画像濃度に適した画像ノイズ除去を行うことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る画像処理装置を備えた画像形成装置の概略構成を示すブロック図である。
【図2】図1の画像形成装置のさらに詳細な構成を示すブロック図である。
【図3】図2におけるスキャナ部とプリンタ部の機械的構成を示す概略説明図である。
【図4】図2におけるノイズ除去部検出部の構成を示すブロック図である。
【図5】ノイズ除去部検出部の検出マトリクスの例を示す説明図である。
【図6】図2のγ変換処理・階調処理部におけるγ変換処理の入出力変換特性を示す特性図である。
【図7】γ補正濃度とノイズ検出レベルの関係、さらには、ノイズ除去方式の関係を示す図である。
【図8】図1および図2における操作部の初期状態の表示例を示す図である。
【図9】図8においてノイズ除去機能をオンにしたときの操作部の表示例を示す図である。
【図10】図8においてノイズ除去機能をオンにし、さらに濃度を濃くしたときの操作部の表示例を示す図である。
【図11】ノイズ除去方式の設定を行うときの操作部の表示例を示す図である。
【符号の説明】
101 画像入力部
102 画像処理部
103 画像出力部
104 制御部
105 操作部
201 スキャナ部
202 マトリクス生成部
203 MTFフィルタ処理部
204 平滑化フィルタ処理部
205 ノイズ除去部検出部
206 セレクタ
207 γ変換処理・階調処理部
208 プリンタ部
209 システムバス
210 CPU

Claims (1)

  1. 画像入力部から送られてきた画像データを画像処理して画像出力部に転送し、画像出力部から画像出力させる画像処理装置において、
    前記画像入力部から画像処理部に入力された画像データ中の画像ノイズを検出するノイズ検出手段と、
    検出された画像ノイズを除去するノイズ除去手段と、
    画像濃度を制御するγ変換処理手段と、
    画像ノイズの検出レベルをγ変換処理と同時に変更するノイズ検出レベル変更手段と、を備えていることを特徴とする画像処理装置。
JP26437997A 1997-09-29 1997-09-29 画像処理装置 Expired - Fee Related JP3643220B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26437997A JP3643220B2 (ja) 1997-09-29 1997-09-29 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26437997A JP3643220B2 (ja) 1997-09-29 1997-09-29 画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004352666A Division JP3962056B2 (ja) 2004-12-06 2004-12-06 画像処理装置

Publications (2)

Publication Number Publication Date
JPH11112813A JPH11112813A (ja) 1999-04-23
JP3643220B2 true JP3643220B2 (ja) 2005-04-27

Family

ID=17402343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26437997A Expired - Fee Related JP3643220B2 (ja) 1997-09-29 1997-09-29 画像処理装置

Country Status (1)

Country Link
JP (1) JP3643220B2 (ja)

Also Published As

Publication number Publication date
JPH11112813A (ja) 1999-04-23

Similar Documents

Publication Publication Date Title
JP2004004622A (ja) 画像形成装置、用紙設定制御方法
US5552900A (en) Image forming apparatus having means to register marker pens used for image editing
JP4318199B2 (ja) 画像形成装置および複写装置
JP3962056B2 (ja) 画像処理装置
JP3643220B2 (ja) 画像処理装置
JP2002044379A (ja) 画像読取装置及び画像形成装置
JP3142428B2 (ja) 画像形成装置
JP3581753B2 (ja) 画像処理装置
JP3137536B2 (ja) 画像形成装置
JPH07184045A (ja) 画像処理装置
JP2617022B2 (ja) 電子写真装置
JP3336047B2 (ja) 画像処理装置
JP3857448B2 (ja) 画像形成装置
JP2004112297A (ja) 画像読み取り装置および画像形成装置
JPH11261823A (ja) 画像処理装置
JP3621795B2 (ja) 画像処理装置
US20080044209A1 (en) Image forming apparatus
JP2000188687A (ja) 画像形成装置
JPH10257324A (ja) 画像処理装置
JPH10276334A (ja) 画像形成装置
JP2002049281A (ja) 画像形成装置
JP3574724B2 (ja) 画像形成装置
JP3922990B2 (ja) 画像処理装置および画像形成装置
JPH07184044A (ja) 画像処理装置
JPH10173928A (ja) 画像処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041005

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050127

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090204

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100204

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110204

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120204

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130204

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130204

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140204

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees