JP3720755B2 - 画像読み取り装置、画像読み取りシステム、画像読み取り方法、及びそのプログラム - Google Patents

画像読み取り装置、画像読み取りシステム、画像読み取り方法、及びそのプログラム Download PDF

Info

Publication number
JP3720755B2
JP3720755B2 JP2001361056A JP2001361056A JP3720755B2 JP 3720755 B2 JP3720755 B2 JP 3720755B2 JP 2001361056 A JP2001361056 A JP 2001361056A JP 2001361056 A JP2001361056 A JP 2001361056A JP 3720755 B2 JP3720755 B2 JP 3720755B2
Authority
JP
Japan
Prior art keywords
signal
unit
image reading
difference
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001361056A
Other languages
English (en)
Other versions
JP2003163796A (ja
JP2003163796A5 (ja
Inventor
憲司 広松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001361056A priority Critical patent/JP3720755B2/ja
Priority to US10/285,468 priority patent/US7236265B2/en
Publication of JP2003163796A publication Critical patent/JP2003163796A/ja
Publication of JP2003163796A5 publication Critical patent/JP2003163796A5/ja
Application granted granted Critical
Publication of JP3720755B2 publication Critical patent/JP3720755B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4076Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on references outside the picture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、複数のチップセンサを使った画像を読み取り、画像読み取り方法、及びそのプログラムに関する。
【0002】
【従来の技術】
近年の半導体プロセス、生産技術の進歩により、コストが安価であること、光源の光量が少なくて済むなどの特徴から、コンシューマ用のスキャナにおいてコンタクトイメージセンサ(CIS:Contact Image Sensor)が使用されている。
【0003】
近年のコンシューマ用のスキャナは主走査周期が10〜20ms程度であるのに対し、いわゆる複写機と呼ばれる画像読み取り装置は走査周期300μs程度と二桁ほど、速度が速くなっている。
【0004】
ここで、二桁高速な画像読み取り装置においてCISを使用した場合の問題点として、センサチップの温度上昇による黒のオフセットレベル(入力される信号レベルを演算することで黒信号としての基準レベルへ補正するための信号レベルであって、これにより入力される信号間の信号レベル差を相殺(オフセット)することができる。)の変動が上げられる。具体的には、自動原稿供給装置(ADF: Auto Document feeder)を使用した、50枚程度までの連続原稿読取モードにおいて、有効画像信号のレベル差(例えば、均一の濃度基準板を読み込んだとときのラインセンサ内での各画素信号のレベル差)をオフセットするシェーディング補正は、ジョブ(たとえばオペレータの指示などに基づく画像読み取り動作)の最初に1回だけ行なう。これは、シェーディング補正を機械的に原稿ごとに行なうと、複写の生産性が落ちるためである。また、例えば、近年進む低消費電力の要望から、スキャンしないときはCISに電力を供給せず、スキャンする直前に電力を供給したのち、数十枚の原稿を連続してコピーする場合がある。
【0005】
こういった場合、センサチップやアナログプロセッサの温度が、冷えた状態から最初の1分ほどは急激に上昇し、その後も徐々に上昇するため、黒のオフセットレベルが変化してしまう。更に、センサチップやアナログプロセッサの自己発熱に加えて、例えば原稿照明光源として、Xeランプなどが使用される場合には、これも発熱源となり変動が強調されることになる。
【0006】
【発明が解決しようとする課題】
上記のように従来の技術においては次のような課題が発生する。すなわち、例えば、ADFに載せられた50枚の原稿の連続読取に1枚目の読取開始から50枚目の読取終了まで3分かかった場合、1枚目の読取時と50枚目の読取時では、大幅に黒のオフセットレベルが変化してしまう。
【0007】
これは、センサチップを複数配置したいわゆるマルチチップセンサを使用した場合、上記課題は特に深刻である。つまり、センサチップ間の個体差より、この黒オフセットレベルの変動量が複数チップ間で不均一なのである。したがって、黒信号としての基準レベルが複数のチャネル間で異なり、各々に相当する画像領域ごとに輝度段差を生じ画像の視覚品質上の著しい劣化をもたらす。
【0008】
【課題を解決するための手段】
上記課題を解決するために、本願の請求項1に記載の画像読み取り装置は、被写体からの光を受光する受光部及び前記被写体からの光を受光しないように遮光された遮光部を各々が有する複数のセンサチップが直線上に配置され、前記受光部から出力される有効信号と前記遮光部から出力されるOB信号とを前記各センサチップに対応するチャネルごとに出力する撮像手段と、前記受光部から出力される有効信号にシェーディング補正を施す補正手段と、前記遮光部から第1のOB信号が出力された後に出力される第2のOB信号と前記第1のOB信号とを比較して第1の差分を前記チャネルごとに算出し、続いて前記チャネル間で前記第1の差分同士を比較して第2の差分を算出し、さらに前記第2の差分と所定値とを比較する動作を複数回繰り返し、所定回数連続して前記第2の差分が前記所定値を超えた場合に前記シェーディング補正に用いられるシェーディングデータを取得するように制御する制御手段と、を有することを特徴とする。
【0009】
また、請求項6に記載の画像読み取り方法は、被写体からの光を受光する受光部及び前記被写体からの光を受光しないように遮光された遮光部を各々が有する複数のセンサチップが直線上に配置され、前記受光部から出力される有効信号と前記遮光部から出力されるOB信号とを前記各センサチップに対応するチャネルごとに出力する撮像手段を有する画像読み取り装置を用いた画像読み取り方法であって、前記遮光部から第1のOB信号が出力された後に出力される第2のOB信号と前記第1のOB信号とを比較して第1の差分を前記チャネルごとに算出し、続いて前記チャネル間で前記第1の差分同士を比較して第2の差分を算出し、さらに前記第2の差分と所定値とを比較する動作を複数回繰り返し、所定回数連続して前記第2の差分が前記所定値を超えた場合にシェーディング補正に用いられるシェーディングデータを取得することを特徴とする。
【0044】
【発明の実施の形態】
<第1の実施の形態>
以下、添付図面を用いて、本発明に係る好適な第1の実施の形態について詳細に説明する。
【0045】
図1は、本発明の実施の形態に係る画像形成装置の断面構成を示す図である。同図において、イメージスキャナ部200は、原稿を読み取り、デジタル信号処理を行なう。また、プリンタ部300は、イメージスキャナ部200にて読み取られた原稿の画像に対応した画像を、用紙上にフルカラーでプリント出力する。
【0046】
本実施例の形態で使用するCISモジュール202について図2を用いて説明する。
【0047】
同図は長手方向が主走査方向であるCISモジュール202の主走査方向を輪切りにした断面図である。同図に示されるように、CISモジュール202は次のように構成される。すなわち、カバーガラス2021、LED(Light Emitting Diode:発光ダイオード)からなる照明光源2022、セルフォックレンズ等からなる等倍結像レンズ2023、カラーラインセンサ2024が基板2025上に実装されており、それらがモールド2026に取り付けられることによって一体のCISモジュール202が構成される。また、図3は、図2の構成を斜めから見た図である。
【0048】
図4は、CISモジュール202のカラーラインセンサ2024の微視的部分を拡大した図である。同図において、2024−1は赤色光(R)を読み取るための受光素子列(フォトセンサ)であり、2024−2,2024−3は、それぞれ、緑色光(G),青色光(B)の波長成分を読み取るための受光素子列である。そのため、R色のフォトセンサ2024−1上には、可視光のうち、R色の波長成分を透過するRフィルタが配置される。同様に、G色のフォトセンサ2024−2上にはGフィルタが、また、B色のフォトセンサ2024−3上にはBフィルタが配置されている。
【0049】
ここで、図4中のRGBひとつひとつの矩形は、受光手段としての受光部のうち光を受光することで有効画素信号を出力する有効領域の読み取り画素を表している。これは600dpiの等倍読取用のCISモジュールであるので、1画素の大きさは42×42μm2である。
【0050】
また、上記の3本の異なる光学特性を持つ受光素子列は、R,G,Bの各センサが原稿の同一ラインを読み取るべく、互いに平行に配置されるように、同一のシリコンチップ上においてモノリシッック構造をとる。これは、RGB三原色のフィルタが形成してあるフォトダイオードからなる読み取り開口部画素2024−1、2024−2、2024−3からなり、RGBそれぞれ3つの読取ラインは副走査方向に1画素42μm間隔で読取画素のラインが構成される。主走査方向の画素ピッチも42μm間隔で構成される。この開口部のフォトダイオードフォトセンサによって、蓄積時間の間、入射光量に対応した電荷が発生する。
【0051】
電荷転送部2024−4では、次のように電荷の授受がある。すなわち、1ラインの先頭のタイミングで、シフトパルスを与えることにより、開口部画素2024−1、2024−2、2024−3から電荷が電荷転送部2024−4に移動する。さらに、電荷転送部2024−4に移動した電荷は、転送クロックの受信のタイミングで、GBRGBR・・・の順番に出力アンプ部2024−5に時分割で転送される。出力アンプ部2024−5にて、電荷を電圧に変換した後、電圧出力としてGBRGBRの順番に信号が出力される。また、図示しない画素において遮光されており、後述するシェーディング補正によるオフセットのための基準信号を出力するいわゆるオプティカルブラック(OB:Optical Black)部がチップごとに形成されている。
【0052】
図5は、カラーラインセンサ2024を巨視的に見た図である。基板2024−6上に、16個のセンサチップとしてのCCDチップが直線上に実装されて形成されている。それぞれのチップから、信号が出力されるため、それぞれのチップに対応して同時に16ch(チャネル:Channel)の信号が読み出される。チップごとにOB部を有することは前述のとおりである。本実施の形態ではチップ単位でチャネルが設けられている。したがって、16チャネルからそれぞれOB信号と有効画素信号とを出力することができる。
【0053】
CISモジュールから同時に出力された16chの信号(前述の図4で述べたように開口部画素2024−1、2024−2、2024−3に蓄積された信号を互いに交互の順番で出力された信号)は、アナログ信号処理部101にて、ゲインオフセット調整され、R,G,Bそれぞれの出力に並び替えられた後でA/Dコンバータ102に入力され、デジタル信号に変換される。
【0054】
ここで、イメージスキャナ部200において、図1に示すように、ADFの原稿圧板203にて原稿台ガラス(プラテン)205上に載置された原稿204−1を、図2に示すCISモジュール202内の照明光源2022からの光で照射する。この原稿204−1からの反射光はレンズ2023によりカラーラインセンサ2024上に像を結ぶ。
【0055】
また、流し読みガラス208の位置にCIS204を移動させることにより、ADF203から連続的に原稿を供給して読み取ることができる。
【0056】
カラーラインセンサ2024は、原稿からの光情報を色分解して、それによりフルカラー情報のレッド(R),グリーン(G),ブルー(B)成分を読み取った後、信号処理部100に送る。カラーラインセンサ2024の各色成分に対応した信号を読み取るそれぞれのラインセンサの列は、各々が7500画素から構成されている。これにより、原稿台ガラス205上に載置される原稿の中で最大サイズである、A3サイズの原稿の短手方向297mmを600dpiの解像度で読み取る。
【0057】
なお、CISモジュール202は速度Vで、その電気的な走査方向(以下、主走査方向という)に対して垂直方向(以下、副走査方向という)に機械的に動くことにより、原稿204−1の全面を走査する。
【0058】
濃度基準としての標準白色板206における反射光の読み取りにより、カラーラインセンサ上に形成されているR,G,Bセンサ2024−1〜2024−3での読み取リデータの補正データを発生する。この標準白色板206は、可視光でほぼ均一の反射特性を示し、可視では、白色の色を有している。本実施の形態では、この標準白色板206を用いて、R,G,Bセンサ2024−1〜2024−3からの出カデータの補正を行なう。
【0059】
また、画像信号処理部107では、読み取られた信号を電気的に処理し、マゼンタ(M),シアン(C),イエロー(Y),ブラック(Bk)の各成分に分解して、それをプリンタ部300に送る。また、本実施の形態では、イメージスキャナ部200における1回の原稿走査(スキャン)につき、M,C,Y,Bkの内、1つの成分がプリンタ部300に送られ複写プリントアウトが完成する。
【0060】
プリンタ部300では、イメージスキャナ部200からのM,C,Y,Bkの各画像信号がレーザドライバ312に送られる。レーザドライバ312は、画信号に応じて半導体レーザ313を変調駆動する。そして、レーザ光は、ポリゴンミラー314、 f−θレンズ315、ミラー316を介して、感光ドラム317上を走査する。
【0061】
現像器は、マゼンタ現像器319、シアン現像器320、イエロー現像器321、ブラック現像器322により構成され、これら4つの現像器が交互に感光ドラム317に接して、感光ドラム317上に形成されたM,C,Y,Bkの静電潜像を、対応するトナーで現像する。また、転写ドラム323は、用紙カセット324、または用紙カセット325より給紙された用紙を転写ドラム323に巻き付け、感光ドラム317上に現像されたトナー像を用紙に転写する。
【0062】
このようにして、M,C,Y,Bkの4色についてのトナー像が順次、転写された後、用紙は、定着ユニット326を通過して排紙される。
【0063】
次に、画像信号処理部100について説明する。
【0064】
図6は、本実施の形態に係るイメージスキャナ部200の画像信号処理部100における画像信号の流れを示すブロック図である。各ブロックは制御手段としてのCPU108により制御される(CPU:central processing unit、中央演算処理装置)。具体的には、同図に示すようにCISモジュール202より出力される画像信号は、アナログ信号処理部101に入力され、そこでゲイン調整,オフセット調整(クランプ回路などによるアナログ信号の信号レベル差の相殺)をされた後、A/Dコンバータ102で、各色信号ごとに10bitのデジタル画像信号R1,G1,B1に変換される。
【0065】
次にシェーディング補正部104に入力され、色ごとに基準濃度部材としての標準白色板206の読取有効信号を用いたシェーディング補正が施される。クロック発生部121は、1画素単位のクロックを発生する。また、主走査アドレスカウンタ122では、クロック発生部121からのクロックを計数し、1ラインの画素アドレス出力を生成する。そして、デコーダ123は、主走査アドレスカウンタ122からの主走査アドレスをデコードして、シフトパルスやリセットパルス等のライン単位のセンサ駆動信号や、カラーイメージセンサからの1ライン読み取り信号中の有効信号領域を示すVE信号、ライン同期信号HSYNCを生成する。なお、主走査アドレスカウンタ122はライン同期信号HSYNCに基づいてクリアされ、次ラインの主走査アドレスの計数を開始する。
【0066】
図7は、有効画像信号のレベル差(例えば、均一の濃度基準板を読み込んだとときのライン内での各画素信号のレベル差)をオフセットするシェーディング補正部104を説明する図である。簡単のため、RGBのうちのひとつのみ示している。また、図8は、シェーディング補正部104の動作フローを示す図である。当該動作フローは制御手段としてのCPU105により制御される。
【0067】
本実施の形態におけるシェーディングを行なうためのデータ採取動作にあっては、まず、画像を読み取るJOB(ジョブ)の指示を受け場合(ステップS10)、最初に光源を消す(ステップS11)。光源が消灯され、開口部のフォトセンサ2024−1〜3には、光が入力されないようにしている状態で、画素ごとに黒基準(黒オフセットレベル)としての信号Bk(i)を読み取り(ステップS12)、画素ごとにラインメモリA1043に格納保存する(ステップS13)。ここで格納される信号Bk(i)は、入力される信号レベルを演算することで黒信号としての基準レベルへ補正するための信号レベルである。
【0068】
次に、濃度基準板としての白基準板の位置にて、光源を点灯させる(ステップS14)。光源が点灯されている状態で、白基準の信号WH(i)を画素ごとに読み取る(ステップS15)。
【0069】
この信号WH(i)に対して白シェーディング補正データに変換する(式1)のような演算を行って(ステップS16)、その結果をラインメモリB1044に格納保存する(ステップS17)。なお、ラインメモリA1043とラインメモリB1044とは、本実施の形態のように別の記憶媒体として形成されても、あるいは同一の記憶媒体として形成してもかまわない。
【0070】
1/(WH(i)−Bk(i))・・・(式1)
実際の画像読取の際には、ラインメモリA、ラインメモリBに保存されているデータを利用して、(式2)のような演算がリアルタイムでCISモジュール202から入力される有効画素信号ごとに行われ、シェーディング補正後のデータとして出力される。
【0071】
【外1】
Figure 0003720755
【0072】
ここで信号IN(i)は、i番目の画素の入力信号、信号OUT(i)はi番目の画素の出力信号、信号Bk(i)はラインメモリAのi番目の画素の黒基準(黒オフセットレベル)である。そして、上述のとおり1/(WH(i)―Bk(i))は、i番目の画素の白シェーディング補正データである。
【0073】
なお、上述のように信号Bk(i)が画素ごとにメモリA1043に格納保存される理由は以下のとおりである。すなわち、一般に、縮小光学系に比べてCISの場合には、▲1▼画素が大きいため黒のノイズが大きいこと、また、▲2▼複数のチップについてそれぞれオフセットの値が異なることなどから、画素ごとにオフセットレベルを補正する必要がある。したがって画素ごとの補正値を格納するだけのメモリが必要であるという特徴がある。一方、縮小光学系でのCCDであって前述の▲1▼▲2▼の理由がなければ、黒シェーディングにあっては、画素ごとの補正値を保存格納するのではなく、例えば、センサ単位(センサの1ラインの画素をODDとEVENに分けて出力する場合には、ODDとEVENごと)のオフセット補正のための補正値を格納保存し、当該補正値を使ってシェーディングを行なうことが一般である。
【0074】
図9はCISモジュール203から出力され、アナログ信号処理部101にて並び替えられた後のRGB信号のうち、1色の信号のタイミングチャートを示す図である。
【0075】
画像信号として、ライン同期信号HSYNCに対応して、まずはしばらくダミー信号が出力される。次に有効画素領域の信号が出力されることとなり、n個のセンサチップの信号が、先頭チップから順番に、Chip1、Chip2、・・・、ChipNのように出力される。本実施の形態では、Nは16までである。またChipごとに468画素の画素を持ち、したがって、468×16=7488画素の有効画素の信号が出力される。そして、OB(光学的黒)画素信号が、Chip1(OB)、Chip2(OB)、・・・、ChipN(OB)の順番に各々、4画素づつ出力される。その後、再びダミー画素が出力される。
【0076】
ここで、シェーディング用の基準データを取得した後においてその取得時に対する黒オフセットレベルの変動を考慮する必要があることは上述のとおりである。本実施の形態における黒オフセットレベルの変動を考慮異した基準データの補正について図10のフローを用いて説明する。この黒オフセット量モニタ部106、シェーディング補正部104などの動作はCPU108により制御される。
【0077】
まず、図8を用いて上述に説明したように、予め又はジョブ(たとえばオペレータの指示などに基づく画像読み取り動作)の最初に、第1のOB信号として各チップのOB画素部(遮光部)からの出力信号を読み取る(ステップS31、図8中ステップS10〜S12参照)。黒オフセットモニタ106において、16チャネルごとのOB画素部から出力される信号レベルを観測(モニタ)し、これらを第1のOB信号としてメモリ103に格納保存する(ステップS32、図8中S12参照)。続いて、CISモジュール202により被写体像としての原稿画像を読み取る(ステップS33)。そして次の原稿があるかを判別し、原稿が無い場合には画像読み取り動作を終了し、原稿がある場合にはステップS35に進む(ステップS34)。黒オフセットモニタ部106で再度OB画素部からの出力信号をモニタする(ステップS35)。
【0078】
制御装置108は、この時点でのチップごとのOB画素部からの出力信号を第1のOB信号と比較する(ステップS36)。具体的には、チップごとのOB画素部からの出力信号を第1のOB信号と比較してその差分信号として第1の差分信号△mを算出するとともに、隣接するチップのOB画素部からの出力信号(本実施の形態では、隣接するチップから出力されるチャネル単位の信号)同士の第1の差分信号△mについて、さらに差分信号として第2の差分信号Dnを算出する。
【0079】
つまり、黒オフセット量モニタ106はOB画素からの出力信号を保持する機能をメモリ103により持つのである。CPU108は、この黒オフセット量モニタ106を介してメモリ103に保持されたデータにアクセスして以下の演算により第1の差分信号△mの算出を行なう。
【0080】
Chip1(OB(0))−Chip1(OB(k))=△m
Chip1(OB(0))は第1の信号としてのChip1のOB画素部からの出力信号、Chip1-OB(k)はジョブ途中のk回目の紙間にて読み取ったChip1のOB画素部からの出力信号、第1の差分信号△mは上述の通りその差分である。同様に、第1の差分信号△m=△2、△3、・・・、△N(Nはチャネルの数であり、本実施の形態では16である。)について算出する。CPU108は、その結果に基づいて、以下の演算を行なう。
【0081】
△1−△2=Dn
第2の差分信号Dnは上述の通りの差分であって、同様に、第2の差分信号Dn=D2、D3、・・・、DN−1(Nはチャネルの数であり、本実施の形態では16である。)について算出する。
【0082】
続いて、CPU108は、第2の差分信号Dnに例えば4つ以上スレッショルドTh(ここでは、8bit(256)でレベル2とする。)を越える第2の差分信号Dnがあるかを判別する(ステップS37)。スレッショルドThを越える第2の差分信号Dnがなければ、CNT=0として、ステップS33へ進む。なお、CNTの初期値は0である。
スレッショルドThを越えるDnがあればCNTに1を加算して、ステップS38へと進む。CPU108は、前述したCNTの値が所定数(本実施の形態においては5とする。)を越えているかどうか判断する。前述したCNTの値が所定数(本実施の形態においては5とする。)を越えてなければステップS33へ進む。前述したCNTの値が所定数(本実施の形態においては5とする。)を越えていれば、ステップS39に進む。
【0083】
前述したCNTの値が所定数(本実施の形態においては5とする。)を越えている場合には、センサチップ間の個体差より、この黒オフセットレベルの変動量が複数チップ間で不均一なのであり、したがって、黒信号としての基準レベルが複数のチャネル間で異なり、各々に相当する画像領域ごとに輝度段差を生じ画像の視覚品質上の著しい劣化をもたらすおそれがある。例えば、ADFに載せられた50枚の原稿の連続読取に1枚目の読取開始から50枚目の読取終了まで3分かかった場合、1枚目の読取時と50枚目の読取時では、大幅に黒のオフセットレベルが変化してしまうおそれがあることは上述のとおりである。
【0084】
特に上述のステップS37で第2の差分信号Dnがスレッショルド値に達していないと判断した場合に、CNTの値を0にキャンセルするので、再度のシェーディング用の出力信号の取得を行なう場合は連続して第2の差分信号Dnがスレッショルド値Thに達していることになる。すなわち、枚の原稿にわたっているのでチップ間での不均一レベル差が相当に広がっていることが推測できる。
【0085】
そこで、CISモジュール202を標準白色板206の画像を読み取ることができる位置に移動させる(ステップS39)。移動後、シェーディング補正用のデータをサンプルする処理を再度実行する(ステップS40)。すなわち、上記図8で示した処理を再度行なうのである。その後、CISモジュール202を所定位置に移動させ(ステップS43)、次の画像を読み取る処理を行なう。
【0086】
上述のフローで示したシーケンスを概略すれば、予め又はジョブの最初に読み取ったOB画素部からの出力信号と比較して、255(8bit)で2レベル以上の差が生じたOB画素部からの信号が4箇所以上あり、枚の原稿の読み取りにわたって生じた場合、シェーディング補正用のデータの再読み取りが必要と判断する。再読み取りが必要と判断された場合には、シューディング補正用のデータの再読み取りを行なう。そして、次の被写体像としての原稿画像の読み取りを継続するのである。これにより、予め又はジョブの最初に読み取ったシェーディング補正用の初期値から比較して、隣接するチップ間の黒オフセットレベルの差が一定の範囲に収まるようにすることができる。
【0087】
このようにして、原稿204−1(数十枚)からの反射画像を数分にわたって読み取る場合においても、黒レベルにおけるオフセットの変動を抑制し、JOBの最初の状態、すなわちセンサのライン単位での基準信号レベルのズレが最初のシェーディング補正直後の基準信号レベルに対して一定範囲内に抑えることができる。
【0088】
特にマルチチップセンサなどの複数のチップにより構成され、複数のチャネルごとに信号が出力されるセンサを使用した場合には有効である。こういった場合、チップごとにオフセットレベルの経時変動が異なって現れるため、有効信号の基準レベルがチャネルごとに異なることになってしまい、結果読み取り画像に基準レベルの相違がスジとして表れることになるからである。本実施の形態の発明によれば、こうした読み取り画像のスジを極めて効率よく軽減できる。
【0089】
すなわち、上述の処理を行なうことにより、不均一さを隣接チップ間で監視し、それが一定量を越えないように制御することができる。したがって、複数チップ間の黒レベルの変動量が不均一である場合でも好適な画像読み取りを行なうことができる。別言すれば、読み取った画像に、複数チップの各々に相当する画像領域ごとに、輝度段差が発生してしまい視覚品質上著しい劣化をもたらすという課題に対応することができるのである。
【0090】
ここで、上述ではシェーディング用のデータの再読取を紙間にて行なう構成とした。このように紙間で行なうのは、被写体としての紙と紙との読み取りの間に僅かながらの時間があり、当該時間を利用するためである。したがって、本実施の形態では紙間において上記設定を行なう構成としたが、これに限るものではなく、所定の時間に応じて上記設定を行なう構成にしても構わない。ただし、この場合、画像読み取り速度に影響が出る場合があるかもしれない。
【0091】
また、本実施の形態の技術は、上記図7中のステップS35において、照明光源2022が点灯している場合には特に有効である。照明光源2022が点灯している場合には、有効領域のフォトダイオードに電荷が蓄積されるため、この画素部分の黒オフセットレベルの信号を検出することができないからである。
【0092】
なお、本実施の形態では、図10に示されたフローにより説明したが、これに限られるものはなく例えば、図11に示されたフローでも構わない。図11では、図10と同一のものについては同一の記号を付すことでその説明を省略する。なお、ここでもCNTの初期値は0である。図10で説明したステップS37の前に、図11に示したフローでは、ステップS50が入る。すなわち、図10で示したフローでは、所定のスレッショルド値を越える第2の差分信号Dnが4つ以上あった場合に、CNTの値を1つ増やす構成であるのに対し(ステップS38)、図11に示すフローでは以下のとおりである。すなわち、第2の差分信号Dn(n=1〜N−1)をすべて算出してからステップS37´に進んでD1から順に所定のスレッショルド値Thと比較し、スレッショルド値Thを超える場合には、CNTの値を1つ増やすとともに、そのCNTが所定値Kよりも多くなっているかどうかをCPU108が判断する(ステップS38)。そして、CNTが所定値Kよりも多くなっている場合にはCISモジュール202を移動させ(ステップS39)、上述の処理を行なう。一方、CNTが所定値Kよりも多くなっていない場合には次の第2の差分信号Dn1について、スレッショルド値Thと比較する(S37´)。ここで、第2の差分信号D1〜DN−1について、スレッショルド値Thとの比較が終了したと判断した場合には(ステップS50)、次の被写体としての原稿の画像を読み取る処理を行なう(ステップS33)。
【0093】
上述の図10のフローで示したシーケンスを概略すれば、予め又はジョブの最初に読み取ったOB画素部からの出力信号と比較して、5箇所のチップ間で、255(8bit)で2レベル以上の差が生じた場合、シェーディング補正用のデータの再読み取りが必要と判断するのである。それにより、予め又はジョブの最初に読み取ったシェーディング補正用の初期値から比較して、隣接するチップ間の黒オフセットレベルの差が一定の範囲に収まるようにすることができる。
【0094】
図11で示したフローによれば、紙間ごとに不均一さを隣接チップ間で監視し、それが一定量を越えないように制御することができる。これに比較して、図10で示したフローでは画像出力(画像入力)の生産性がよいであろう。また、再度のシェーディング用の出力信号の取得を行なう場合は連続して第2の差分信号Dnがスレッショルド値Thに達していることになるので、誤差を軽減することができる。
【0095】
また、前述のCISモジュール202はRGBの3ラインセンサで構成したが、複数のチップで構成される1ラインセンサでも本実施の形態で説明した技術に有効な技術である。
【0096】
また、上述の実施の形態では、第1のOB信号をジョブの最初に取得した信号として固定したが、取得したOB信号を第1のOB信号として構成した場合は、ジョブ最初の初期値に何らかの不具合があった場合でも対応できる。ただし、ジョブの最初に取得した信号を第1のOB信号として固定した場合には、ジョブの最初のシェーディング補正用のデータに対応した信号であるため、このシェーディング補正用のデータの有効性をより忠実に判断できるだろう。
【0097】
<第2の実施の形態>
図12に基づいて、本発明の画像読み取り装置をシートフィード式の装置に適用した場合の一実施例について詳述する。
【0098】
図12は、本実施の形態における原稿画像を読み取る原稿画像読取装置の概略図である。
【0099】
501は、密着型のイメージセンサ(以下“CIS”とも呼ぶ)であり、固体撮像素子502、セルフォックレンズ503、LEDアレイ504及びコンタクトガラス505から構成されている。
【0100】
搬送ローラ506は、CIS1の前後に配置されており、原稿を配置させるために使用される。コンタクトシート507は、原稿をCIS501に接触させる為に使用される。510は、制御回路であり、CIS501からの信号の処理を行ない、第1の実施の形態でのCPU108と同様の制御機能を有する。
【0101】
原稿検知レバー508は、原稿が差し込まれたことを検知するためのレバーであり、原稿が差し込まれたことを検知すると、原稿検知レバー508が傾くことにより、原稿検知センサ509の出力が変化することにより、その状態を制御回路510内のCPUに伝達することにより、原稿が差し込まれたと判断して、原稿搬送ローラ506駆動用モータ(図示せず)を駆動させることにより、原稿搬送を開始させ読み取り動作を行なう。
【0102】
上記のような構成においても、第1の実施の形態と同様の効果を得ることができる。
【0103】
<その他の実施の形態>
上述の各実施例の画像読取装置は、上述の各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)としての前述の制御手段108が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることはいうまでもない。
【0104】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0105】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
【0106】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行ない、その処理によって前述した実施例の機能が実現される場合も含まれることはいうまでもない。
【0107】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によって前述した実施例の機能が実現される場合も含まれることはいうまでもない。
【0108】
【発明の効果】
以上説明したように、本発明によれば、撮像手段から出力される信号の補正に用いる基準データを適切なタイミングで取得することで常に良好な画像読み取りを行なうことができる。
【図面の簡単な説明】
【図1】本実施の形態における実施例の複写機の構成を示す図である。
【図2】本実施の形態におけるCISの断面を示す図である。
【図3】本実施の形態におけるCISの構成を示す図である。
【図4】本実施の形態におけるCISの微視的構造を示す図である。
【図5】本実施の形態におけるCISの巨視的構造を示す図である。
【図6】本実施の形態における画像処理部100を示す図である。
【図7】本実施の形態におけるシェーディング補正部104を示す図である。
【図8】本実施の形態におけるシェーディング補正動作を示すフロー図である。
【図9】本実施の形態におけるタイミングチャートを説明する図である。
【図10】本実施の形態におけるシェーディングによる黒基準レベルの変動補正を説明するフロー図である。
【図11】本実施の形態における別のシェーディングによる黒基準レベルの変動補正を説明するフロー図である。
【図12】本実施の形態におけるシートフィード式の装置を示す図である。
【符号の説明】
100 信号処理部
101 アナログイメージプロセッサ部
102 A/Dコンバータ
103 メモリ
104 シェーディング補正部
106 黒オフセット量モニタ部
107 画像処理部
108 CPU
121 クロック発生部
122 主走査アドレスカウンタ
123 デコーダ
200 イメージスキャナ部
202 CISモジュール
203 ADF
204−1 被写体としての原稿
204−2 被写体としての原稿
205 原稿台ガラス(プラテン)
206 標準白色板
208 流し読みガラス
209 画像信号処理部
1031 加算器
1032 加算器
1033 加算器
2021 カバーガラス
2022 照明光源
2023 等倍結像レンズ
2024 カラーラインセンサ
2024−1 開口部
2024−2 開口部
2024−3 開口部
2024−4 電荷転送部
2024−5 出力アンプ
2024−6 基板
2025 基板

Claims (10)

  1. 被写体からの光を受光する受光部及び前記被写体からの光を受光しないように遮光された遮光部を各々が有する複数のセンサチップが直線上に配置され、前記受光部から出力される有効信号と前記遮光部から出力されるOB信号とを前記各センサチップに対応するチャネルごとに出力する撮像手段と、
    前記受光部から出力される有効信号にシェーディング補正を施す補正手段と、前記遮光部から第1のOB信号が出力された後に出力される第2のOB信号と前記第1のOB信号とを比較して第1の差分を前記チャネルごとに算出し、続いて前記チャネル間で前記第1の差分同士を比較して第2の差分を算出し、さらに前記第2の差分と所定値とを比較する動作を複数回繰り返し、所定回数連続して前記第2の差分が前記所定値を超えた場合に前記シェーディング補正に用いられるシェーディングデータを取得するように制御する制御手段と、
    を有することを特徴とする画像読み取り装置。
  2. 前記制御手段は、隣接するセンサチップに対応するチャネル間で前記第1の差分同士を比較して前記第2の差分を算出することを特徴とする請求項1に記載の画像読み取り装置。
  3. 前記被写体としての原稿と前記撮像手段とを相対的に移動させる移動手段を有し、前記移動手段により複数原稿と前記撮像手段とを相対的に移動させながら前記撮像手段により前記複数原稿を連続して読み取る場合に、ある原稿の読み取り終了後、その次の原稿の読み取りを開始する前までの間に前記第2のOB信号をモニタすることを特徴とする請求項1又は2に記載の画像読み取り装置。
  4. 前記制御手段は、さらに読み取り開始信号に応じて前記シェーディング補正に用いられるシェーディングデータを取得するよう制御することを特徴とする請求項1乃至3のいずれかに記載の画像読み取り装置。
  5. 請求項1乃至4のいずれかに記載の画像読み取り装置と、前記画像読み取り装置から出力される信号を入力し信号処理を行なう信号処理手段を少なくとも有する画像読み取りシステム。
  6. 被写体からの光を受光する受光部及び前記被写体からの光を受光しないように遮光された遮光部を各々が有する複数のセンサチップが直線上に配置され、前記受光部から出力される有効信号と前記遮光部から出力されるOB信号とを前記各センサチップに対応するチャネルごとに出力する撮像手段を有する画像読み取り装置を用いた画像読み取り方法であって、
    前記遮光部から第1のOB信号が出力された後に出力される第2のOB信号と前記第1のOB信号とを比較して第1の差分を前記チャネルごとに算出し、続いて前記チャネル間で前記第1の差分同士を比較して第2の差分を算出し、さらに前記第2の差分と所定値とを比較する動作を複数回繰り返し、所定回数連続して前記第2の差分が前記所定値を超えた場合にシェーディング補正に用いられるシェーディングデータを取得することを特徴とする画像読み取り方法。
  7. 隣接するセンサチップに対応するチャネル間で前記第1の差分同士を比較して前記第2の差分を算出することを特徴とする請求項6に記載の画像読み取り方法。
  8. 前記画像読み取り装置は前記被写体としての原稿と前記撮像手段とを相対的に移動させる移動手段を有し、前記移動手段により複数原稿と前記撮像手段とを相対的に移動させながら前記撮像手段により前記複数原稿を連続して読み取る場合に、ある原稿の読み取り終了後、その次の原稿の読み取りを開始する前までの間に前記第2のOB信号をモニタすることを特徴とする請求項6又は7に記載の画像読み取り方法。
  9. 読み取り開始信号に応じて前記シェーディング補正に用いられるシェーディングデータを取得することを特徴とする請求項6乃至8のいずれかに記載の画像読み取り方法。
  10. 請求項6乃至9のいずれかに記載の画像読み取り方法を制御手段により実行させるためのプログラム。
JP2001361056A 2001-11-27 2001-11-27 画像読み取り装置、画像読み取りシステム、画像読み取り方法、及びそのプログラム Expired - Fee Related JP3720755B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001361056A JP3720755B2 (ja) 2001-11-27 2001-11-27 画像読み取り装置、画像読み取りシステム、画像読み取り方法、及びそのプログラム
US10/285,468 US7236265B2 (en) 2001-11-27 2002-11-01 Image reading apparatus, image forming system, image reading method, and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001361056A JP3720755B2 (ja) 2001-11-27 2001-11-27 画像読み取り装置、画像読み取りシステム、画像読み取り方法、及びそのプログラム

Publications (3)

Publication Number Publication Date
JP2003163796A JP2003163796A (ja) 2003-06-06
JP2003163796A5 JP2003163796A5 (ja) 2005-02-03
JP3720755B2 true JP3720755B2 (ja) 2005-11-30

Family

ID=19171774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001361056A Expired - Fee Related JP3720755B2 (ja) 2001-11-27 2001-11-27 画像読み取り装置、画像読み取りシステム、画像読み取り方法、及びそのプログラム

Country Status (2)

Country Link
US (1) US7236265B2 (ja)
JP (1) JP3720755B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450279B2 (en) * 2003-02-19 2008-11-11 Canon Kabushiki Kaisha Image reading apparatus
TWI255428B (en) * 2003-12-29 2006-05-21 Pixart Imaging Inc Method of processing digital images
US20060001922A1 (en) * 2004-06-30 2006-01-05 Gawlik Noah J Method and system for multiple pass bidirectional scanning
KR101428482B1 (ko) * 2007-09-18 2014-08-11 삼성전자 주식회사 화상형성장치 및 그 제어방법
JP5172267B2 (ja) 2007-10-09 2013-03-27 富士フイルム株式会社 撮像装置
JP5262744B2 (ja) * 2009-01-20 2013-08-14 富士ゼロックス株式会社 画像読取装置、黒補正実行判定プログラム
JP5495701B2 (ja) * 2009-10-07 2014-05-21 キヤノン株式会社 固体撮像装置
JP5220089B2 (ja) * 2010-12-17 2013-06-26 キヤノン株式会社 原稿読取装置
WO2014196568A1 (ja) * 2013-06-05 2014-12-11 京セラドキュメントソリューションズ株式会社 原稿読取装置及びそれを備えた画像形成装置
JP6225682B2 (ja) 2013-12-11 2017-11-08 株式会社リコー 撮像素子、画像読取装置及び画像形成装置
JP6344278B2 (ja) * 2015-03-25 2018-06-20 京セラドキュメントソリューションズ株式会社 画像読取装置、画像形成装置
JP6380197B2 (ja) * 2015-03-30 2018-08-29 ブラザー工業株式会社 画像読取装置
JP6822009B2 (ja) * 2016-08-29 2021-01-27 セイコーエプソン株式会社 スキャナーおよび画像データの生成方法
JP6822010B2 (ja) * 2016-08-29 2021-01-27 セイコーエプソン株式会社 スキャナーおよび画像データの生成方法
JP6593310B2 (ja) * 2016-11-25 2019-10-23 京セラドキュメントソリューションズ株式会社 画像読取装置及び画像形成装置
JP6551487B2 (ja) * 2017-10-10 2019-07-31 株式会社リコー 撮像素子、画像読取装置及び画像形成装置
CN115866146A (zh) * 2021-09-24 2023-03-28 东芝泰格有限公司 用于在多功能打印机中执行扫描跳过操作的方法和系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59201586A (ja) * 1983-04-28 1984-11-15 Canon Inc 撮像装置
US5121230A (en) * 1987-01-19 1992-06-09 Canon Kabushiki Kaisha Image reading apparatus having adjusting circuits for matching the level of and compensating for fluctuation among a plurality of sensing elements
EP0303474B1 (en) * 1987-08-11 1996-01-03 Canon Kabushiki Kaisha Color image processing apparatus
US5070414A (en) * 1988-09-20 1991-12-03 Kabushiki Kaisha Toshiba Method and apparatus for reading image information formed on material
JP2864514B2 (ja) 1989-02-25 1999-03-03 ミノルタ株式会社 画像読み取り装置
JPH02254855A (ja) 1989-03-29 1990-10-15 Canon Inc 画像読取装置および画像読取方法
JP3219403B2 (ja) * 1989-05-10 2001-10-15 キヤノン株式会社 画像記憶装置
JP3080466B2 (ja) 1992-02-20 2000-08-28 株式会社ピーエフユー 画像入力装置
JPH0646255A (ja) * 1992-07-23 1994-02-18 Fuji Xerox Co Ltd 画像処理装置
JP3554019B2 (ja) * 1994-05-31 2004-08-11 キヤノン株式会社 画像処理装置及び方法
EP0712237B1 (en) * 1994-11-12 1999-03-17 Sony Corporation Method of driving a CCD solid state imaging device and video camera using the same
US6118895A (en) * 1995-03-07 2000-09-12 Minolta Co., Ltd. Image forming apparatus for distinguishing between types of color and monochromatic documents
JP4030605B2 (ja) * 1995-11-10 2008-01-09 オリンパス株式会社 電子的撮像装置
JPH09163077A (ja) 1995-12-07 1997-06-20 Canon Inc スキャナ装置
JPH09298647A (ja) * 1996-05-01 1997-11-18 Fuji Photo Film Co Ltd リニアイメージセンサのオフセットレベル補正方法およびその装置
US6337713B1 (en) * 1997-04-04 2002-01-08 Asahi Kogaku Kogyo Kabushiki Kaisha Processor for image-pixel signals derived from divided sections of image-sensing area of solid-type image sensor
JP2942230B2 (ja) * 1998-01-12 1999-08-30 キヤノン株式会社 画像形成装置及び発光装置
JP2000156822A (ja) * 1998-11-19 2000-06-06 Sony Corp クランプ回路
US6791615B1 (en) * 1999-03-01 2004-09-14 Canon Kabushiki Kaisha Image pickup apparatus
JP2001223895A (ja) 2000-02-09 2001-08-17 Ricoh Co Ltd 画像読取装置
US7050098B2 (en) * 2001-03-29 2006-05-23 Canon Kabushiki Kaisha Signal processing apparatus and method, and image sensing apparatus having a plurality of image sensing regions per image frame

Also Published As

Publication number Publication date
JP2003163796A (ja) 2003-06-06
US20030099000A1 (en) 2003-05-29
US7236265B2 (en) 2007-06-26

Similar Documents

Publication Publication Date Title
US7847978B2 (en) Image reading apparatus and image reading method
JP3720755B2 (ja) 画像読み取り装置、画像読み取りシステム、画像読み取り方法、及びそのプログラム
JP4332374B2 (ja) 画像読み取り装置
US7423784B2 (en) Processing of signals from image sensing apparatus whose image sensing area includes a plurality of areas
US7054036B2 (en) Image processing method and image forming apparatus
US6836344B2 (en) Image recording apparatus and copying system
US6359706B1 (en) Image reading apparatus
JP2003032437A (ja) イメージセンサ及び画像読取装置
JP4065515B2 (ja) 画像読み取り装置
JP2001119589A (ja) 画像処理装置及びその方法、及び画像処理システム
US6525764B2 (en) Image read method for performing image signal processes complying with the color of a reference portion of a recording medium, and image read apparatus adopting the method
JP2001144900A (ja) 画像読み取り装置
US8089669B2 (en) Apparatus and control method for image reading, image forming apparatus
JPH10108019A (ja) 画像処理方法とその装置並びに媒体
JP2003219172A (ja) 画像処理装置及び画像形成装置
JPH1016293A (ja) 画像形成装置
JPH09314911A (ja) 画像形成装置
JP2006074204A (ja) 画像読み取り装置,画像処理装置,画像形成装置および複写装置
JP2004289289A (ja) 画像読取装置及び画像形成装置
JPH07298046A (ja) 画像読取り装置
JP5020904B2 (ja) 画像読み取り装置及びその制御方法及び画像形成装置
JPH05284375A (ja) カラー画像形成装置
JP2004193741A (ja) 画像読み取り装置
JP2003084536A (ja) 画像形成装置
JP2004262074A (ja) 画像形成装置、画像形成方法、及び画像記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040302

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050427

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050727

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050908

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090916

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090916

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100916

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100916

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110916

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110916

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120916

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120916

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130916

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees