JP4246818B2 - 画像入力装置及び画像入力方法 - Google Patents

画像入力装置及び画像入力方法 Download PDF

Info

Publication number
JP4246818B2
JP4246818B2 JP21900498A JP21900498A JP4246818B2 JP 4246818 B2 JP4246818 B2 JP 4246818B2 JP 21900498 A JP21900498 A JP 21900498A JP 21900498 A JP21900498 A JP 21900498A JP 4246818 B2 JP4246818 B2 JP 4246818B2
Authority
JP
Japan
Prior art keywords
color data
scanning position
coordinates
color
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP21900498A
Other languages
English (en)
Other versions
JP2000050015A (ja
Inventor
辰巳 渡辺
康浩 桑原
章夫 小嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP21900498A priority Critical patent/JP4246818B2/ja
Priority to CNB99110269XA priority patent/CN1158845C/zh
Priority to US09/365,721 priority patent/US6512605B1/en
Publication of JP2000050015A publication Critical patent/JP2000050015A/ja
Application granted granted Critical
Publication of JP4246818B2 publication Critical patent/JP4246818B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/48Picture signal generators
    • H04N1/486Picture signal generators with separate detectors, each detector being used for one specific colour component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/047Detection, control or error compensation of scanning velocity or position
    • H04N1/0473Detection, control or error compensation of scanning velocity or position in subscanning direction, e.g. picture start or line-to-line synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/024Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof deleted
    • H04N2201/02406Arrangements for positioning elements within a head
    • H04N2201/02439Positioning method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/047Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701Detection of scanning velocity or position
    • H04N2201/0471Detection of scanning velocity or position using dedicated detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/047Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701Detection of scanning velocity or position
    • H04N2201/04743Detection of scanning velocity or position by detecting the image directly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/047Detection, control or error compensation of scanning velocity or position
    • H04N2201/04753Control or error compensation of scanning position or velocity
    • H04N2201/04758Control or error compensation of scanning position or velocity by controlling the position of the scanned image area
    • H04N2201/04787Control or error compensation of scanning position or velocity by controlling the position of the scanned image area by changing or controlling the addresses or values of pixels, e.g. in an array, in a memory, by interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/047Detection, control or error compensation of scanning velocity or position
    • H04N2201/04753Control or error compensation of scanning position or velocity
    • H04N2201/04793Control or error compensation of scanning position or velocity using stored control or compensation data, e.g. previously measured data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/047Detection, control or error compensation of scanning velocity or position
    • H04N2201/04753Control or error compensation of scanning position or velocity
    • H04N2201/04794Varying the control or compensation during the scan, e.g. using continuous feedback or from line to line

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Input (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Heads (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像入力装置と方法に関し、特に、所定の間隔で並列に配列された複数のラインセンサや1本のストライプ方式のラインセンサを用いたイメージスキャナ等の画像入力装置画および方法に関するものである。
【0002】
【従来の技術】
画像入力装置、例えばイメージスキャナでは、レッド、グリーン、ブルーの3色データに対応した3本のラインセンサが所定の間隔で並列に配置されており、各々のラインセンサが対応する色データを同時に読み取る方式を3ライン同時読み取り方式と呼んでいる。
【0003】
図2(a)は3ライン同時読み取り方式のイメージセンサの構成を概念的に示したものであり、レッドデータを読み取るラインセンサは複数のRセンサ素子で構成され、グリーンデータを読み取るラインセンサは複数のGセンサ素子で構成され、更に、ブルーデータを読み取るラインセンサは複数のBセンサ素子で構成されている。
【0004】
ここで以下に主走査方向とはラインセンサを構成する各センサ素子の配列方向を、また副走査方向とはイメージセンサを走査させる方向に相当する。
このようなイメージセンサにより原稿上を走査してカラー画像を読み取る従来の画像入力装置の構成図は図16のようになる。
【0005】
すなわち、イメージセンサ100より得られる3色の色データをライン読み取り手段102で読み取るようにする。このように読み取られた色データに対して、光源の光量むらやセンサの出力のばらつき等により生じる各センサ素子の出力レベル差をシェーディング補正手段105で補正し、読み取られた色データを色データ遅延バッファ1600に蓄積するようにしている。この色データ遅延バッファ1600は、原稿上の同一画素における3つの色データが揃うまで先に入力された色の色データを遅延保持しておき、同じ画素(原稿上の同一位置)の3つの色データが揃うと同一画素写像手段1601で、画像メモリ110の所定の座標に写像するようになっている。
【0006】
さらに上記ライン読み取り手段102は、イメージセンサ100で得られた各色データを増幅する3つのアンプ103a、103b、103cと、これら各アンプのアナログ値をディジタル値に変換するA/D変換回路104とにより構成される。
【0007】
このように構成された従来の画像入力装置では、次のようにして画像読み取りが実行される。
まずイメージセンサ100がレッド、グリーン、ブルーの各々のラインセンサを構成する各センサ素子が色データを同時に読み込む。読み込まれた各色データは、アンプ103、A/D変換回路104を経てシェーディング補正手段105に渡される。このシェーディング補正手段105では、各色データごとにシェーディング補正を実行し、ここで得られた値が色データとして、CRT表示等のための画像メモリ110に写像される。
【0008】
次に、色データの画像メモリ空間への写像については図3のように行われる。
すなわち、読み取り原稿の〔X,Y〕の座標における画素の色データを読み取ることとし、イメージセンサ内部は図2(a)のようにレッド、グリーン、ブルーが副走査方向の開始点より並んでいる場合を考える。
【0009】
この場合、まず図3(a)のように、ブルーに対応するラインセンサを構成する特定のBセンサ素子がブルーデータC-Bを読み取る。そして、このブルーデータC-Bは前記図16に示す如き読み取り色データ遅延バッファ1600で保持される。
【0010】
次に、図3(b)のようにグリーンに対応するラインセンサを構成する特定のGセンサ素子が上記と同じ〔X,Y〕の原稿位置にたどり着いた時点で、グリーンデータC-Gを読み取り、このC-Gも読み取り色データ遅延バッファ1600に同様に保持される。
【0011】
更に、図3(c)のように最後にレッドに対応するラインセンサを構成する特定のRセンサ素子が上記〔X,Y〕の原稿位置にたどり着いた時、レッドデータC-Rが読み込まれるとともに、これまで色データ遅延バッファ1600で保持されていたブルーデータC-B、グリーンデータC-Gとともに同一画素写像手段1601で画像メモリ110上の同じ座標に写像される。
【0012】
このように、ある原稿位置の画素データを構成する各色データがすべてそろうまで色データ遅延バッファ1600に保持することにより、得られた色データ3つを同時に同じ画像メモリ空間の座標に展開して画像入力が実行される。
【0013】
一方、この方式以外にもイメージスキャナでのカラー画像入力装置として、[1]カラー画像の3原色であるレッド、グリーン、ブルー各々の分光特性を有する光源と1本の白黒用イメージセンサを用いる方式で、3原色の光源を順次点灯してカラー原稿上の画像データを3原色の色データに色分解して読み取る光源切り替え方式と、[2]センサ受光面に3色ストライプフィルタを貼り付けることで、レッド、グリーン、ブルーを検知するセンサ素子を順番にストライプ状に並べたイメージセンサユニットを使って、主走査方向に走査の先頭から順に3原色の色分解データ1組を同時に読み取る方式があり、[2]のストライプ形式のイメージセンサを用いた画像入力装置は図17のような構成をしており、その概要は例えば特平1−237619号に開示されている。
【0014】
ここで、ストライプ形式のイメージセンサ1400は図2(b)のような内部構造をしており、第2ライン読み取り手段1401はこのイメージセンサ1400に従ってセンサ上のレッド、グリーン、ブルーデータをほぼ同時に読み取る。そして、グリーン走査位置検出手段1700がライン上におけるグリーンデータの全ての走査位置を検出する。
【0015】
その後、各グリーンデータに接して配置された1組のレッド、ブルーのセンサ素子より読み込まれたレッドデータ、ブルーデータがこのグリーンデータと同じ画素位置にあるものとして、画像メモリ110上で対応する座標に変換されて写像される。
【0016】
このように[2]のストライプ形式のイメージセンサを用いた場合、センサ方向である主走査方向に対して実際は異なる位置で読み込まれた1組の隣合わせのレッド、グリーン、ブルーの色データを、同じ座標位置にある色データとして画像メモリに写像することで画像入力を実現している。
【0017】
【発明が解決しようとする課題】
しかしながら、前記3ライン同時読み取り方式を用いた画像入力装置には次のような問題が指摘されている。
【0018】
まず、図2(a)のようにGセンサラインとRセンサラインの間の距離をd-GR 画素、GセンサラインとBセンサラインの間の距離をd-GB 画素とすると、これらの距離が大きくなるほど原稿における同じ座標の3つの色データが得られるまでの時間が大きくなり、それに合わせて読み取り色データ遅延バッファ1600のサイズを大きくする必要がある。また、これらラインセンサ間の距離を固定した場合であっても、イメージセンサ解像度が高くなればなる程、バッファ1600のサイズも大きな領域を必要とすることになる。
【0019】
次に、ユーザにとって使いやすい画像入力を考えた場合、スキャナの走査方向はフリーである方が好まれる。しかし、その場合、走査されるイメージセンサユニットの移動方向は一意でなしに変動する可能性が大きく、逆方向に戻る走査をされる可能性もあり得る。このような場合、図3のような写像方法では、読み取り色データ遅延バッファ1600に保持する色データをその走査方向に合わせて適応的に変化させる必要が生じ、画像入力の回路が非常に複雑になるおそれがある。
【0020】
一方、特平1−237619号に開示されているような、ストライプ読み取り形式を用いた場合、図2(b)に示されているように読み込まれた1組のレッド、グリーン、ブルーのデータは本来同じ画素位置に存在していない。しかしながら、従来のストライプ読み取り方式を用いた画像入力装置では、これらの本来同じ画素位置にない複数の色データを同じ位置にあるものと仮定して画像メモリへの写像を行っているため、原理的に色ずれを発生してしまうという問題があった。
【0021】
【課題を解決するための手段】
上記目的を達成するために、本発明は以下のようになっている。
先ず、本発明は、複数(通常はR,G,Bの3色)の色データをそれぞれ読み取る複数のラインセンサを所定間隔をおいて並列に配列したライン読み取り手段で、カラー原稿上を走査することにより複数色の色データを同時に読み取る画像入出力装置を前提としている。
【0022】
図1、図5、図13に示すように、走査位置検出手段106は上記のように読み取られた各色データに対応する走査位置を検出し、座標導出手段10は、上記走査位置検出手段106で検出された走査位置に基づいて、上記ライン読み取り手段で読み込まれた複数色の各色データの画像メモリ上で占める座標を各色データに応じた異なる画素の座標として導出する。
【0023】
最後に、写像手段109が、上記のように、画像メモリの上記座標導出手段で得られた座標に、読み取られた各色データを写像するようになっている。
上記、走査位置検出手段106は、上記読み取られた色データの中の特定色の色データに対応する走査位置を検出する。ここで、特定の色データの走査位置としては、特定の色データの先頭の走査位置と終端の走査位置を選択することができるが、他の走査位置の色データであっても構わない。
【0024】
図1に示すように座標導出手段10は、以下の写像座標導出手段108とオフセット量導出手段107を備える構成とすることができる。
上記オフセット量導出手段107は、上記走査位置検出手段106で検出された特定の走査位置に基づいて、走査位置が検出されなかった他の特定色の各色データの中の上記特定の走査位置と対応する走査位置の、上記特定の走査位置からのオフセット量を演算する。また、上記オフセット量導出手段107で得られたオフセット量に基づいて写像座標導出手段108は、上記複数のラインセンサで読み取られた全ての色データの走査位置を導出し、全色データの画像メモリ上で占める座標を演算するようになっている。
【0025】
一方、図5に示すように上記座標導出手段10は、以下の対応色座標導出手段500と不足色座標導出手段501を備える構成とすることもできる。
上記対応色座標導出手段500は上記走査位置検出手段106で上記特定色の色データが検出されたラインセンサの上記特定の走査位置に基づいて、上記特定色の各色データの全走査位置が画像メモリ上で占める画素座標を演算する。また、不足色座標導出手段501は上記対応色座標導出手段500で得られた特定色の色データの画素座標より、上記ライン読み取り手段で読み取られた複数色の色データの中で上記特定色以外の他の特定色の全色データの画像メモリ上の座標を演算するようになっている。
【0026】
上記各例では、特定の色に注目して該特定の色の特定の色データの走査位置を検出し、その結果に基づいて、後続の処理をしているが、以下のように全色の全色データについて直接処理をすることもできる。すなわち、図13に示すように上記走査位置検出手段106が上記読み取られた各色データに対応する全走査位置を検出するようにし、座標導出手段10で、上記走査位置検出手段106で検出された走査位置を使って、上記ライン読み取り手段で読み込まれた複数色の全色データの画像メモリ上で占める座標を各色で各々独立に導出する構成とする。
【0027】
以上は複数の各色毎にラインセンサを用いる構成であるが、本発明は1本のラインセンサに各色に対応するセンサを配列するいわゆるストライプ状のラインセンサを用いる場合にも適用することができる。
【0028】
すなわち、図14に示すように、上記ストライプ状のラインセンサ構造の第2ライン読み取り手段を用いて、カラー原稿上を走査することにより上記複数色の色データを同時に読み取り、特定色走査位置検出手段1402で、上記読み取られた複数色の色データの中の特定色の色データに対応する全走査位置を検出する。このようにして得られた全走査位置に基づいて、座標導出手段10で、上記ライン読み取り手段で読み込まれた複数色の全色データの画像メモリ上で占める座標を、色データに応じた異なる画素の座標として導出し、該座標に、読み取られた各色データを写像するようにする。
【0029】
上記構成において、座標導出手段10は、更に、センサ方向オフセット量導出手段1403と第2写像座標導出手段1404とを備える構成とする。
上記センサ方向オフセット量導出手段1403は、上記特定色走査位置検出手段1402で検出された走査位置に基づいて、走査位置を検出されなかった他の色データの走査位置を求めるための各センサ間のオフセット量を演算する。また、第2写像座標導出手段1404は、上記センサ方向オフセット量導出手段で得られたセンサ方向のオフセット量に基づいて、上記全色データの画像メモリ上で占める画素座標を演算するようになっている。
【0030】
上記のようにして得られた座標に対する色データでは、十分に密度の高い画像データが得られないことがあり、各写像座標の中間位置の座標の色データを補完する必要が発生する。補完方法として通常用いられている、同一センサライン上で相互に隣接する走査位置(写像位置)間の色データを演算する方法、更に、同一色の隣接するセンサライン間の相互に対応する走査位置(写像位置)間の色データを演算する方法があり、いずれの方法(または両方)を用いてもよいことはもちろんである。
【0031】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
図1は本発明の第1の実施の形態である画像入力出装置の構成図、図5は本発明の第2の実施の形態である画像入力装置の構成図、図7は本発明の第3の実施の形態である画像入力装置の構成図、図9は本発明の第4の実施の形態である画像入力装置の構成図、図10は本発明の第5の実施の形態である画像入力装置の構成図、図12は本発明の第6の実施の形態である画像入力装置の構成図、図13は本発明の第7の実施の形態である画像入力装置の構成図、図14は本発明の第8の実施の形態である画像入力装置の構成図である。
【0032】
なお、上記構成図の各図において、同一部には同じ番号を付している。また、これ以降で、座標値、移動量の単位には全て画素単位が用いられることとする。
(第1の実施の形態)
まず、本発明の第1実施形態である画像入力装置及び画像入力方法について説明する。
【0033】
図1において、イメージセンサユニット100は、等間隔で平行に配列されたレッド、グリーン、ブルーのデータを各々読み取る等しい長さの3本のラインセンサを備えており、各ラインセンサはそれぞれR,G,Bのセンサ素子を複数ライン状に配列した構成となっている。
【0034】
また、エンコーダ101a及び101bは、イメージセンサユニット100と一体的に設置され、かつイメージセンサユニット100の移動距離を検出するためのパルスを送出する。
【0035】
ライン読み取り手段102は、上記イメージセンサユニット100を介してレッド、グリーン、ブルーの色データを読み取り、シェーディング補正手段105は、光源の光量むらやセンサの出力のばらつき等により生じる各色データ出力レベル差を補正する。
【0036】
走査位置検出手段106は、エンコーダ101a及び101bからのパルスを受けてグリーンのラインセンサの先頭走査位置と終端走査位置を検出する。
オフセット量導出手段107は、走査位置検出手段106で得られたGセンサの先頭走査位置と終端走査位置から、レッド、ブルーの各ラインセンサの先頭走査位置と終端走査位置を検出するためのオフセット量を、読み取りラインごとに導出する。
【0037】
写像座標導出手段108は、走査位置検出手段106およびオフセット量導出手段107で得られたRラインセンサ、Gラインセンサ、Bラインセンサの先頭走査位置と終端走査位置をもとに、ライン読み取り手段102で読み取られたレッドデータ、グリーンデータ、ブルーデータの各々の画像メモリ上の座標を演算する。
【0038】
写像手段109は、写像座標導出手段108で演算された画像メモリ110上に設定された写像座標上に、ライン読み取り手段102で読み取られた各色データを写像する。
【0039】
そして、ライン読み取り手段102は、イメージセンサ100で読み取られたレッド、グリーン、ブルーの色データを増幅するアンプ103a、103b、103cと、増幅された3つの色データをディジタル信号に変換するA/D変換回路104とにより構成される。
【0040】
以上のように構成された第1実施形態の画像入力装置の動作について説明する。
まずイメージセンサ100がレッド、グリーン、ブルーの各々のラインセンサの位置の色データを同時に読み込む。読み込まれた各色データは、アンプ103、A/D変換回路104を経てシェーディング補正手段105に渡される。シェーディング補正手段105では、各色データごとにシェーディング補正を実行し、ここで得られた値がCRT表示等に使用される画像メモリ110へ写像される色データ値となる。
【0041】
一方、エンコーダ101a及び101bで得られたパルスが走査位置検出手段106で走査位置に換算されるが、Gラインセンサの先頭の走査位置(0番目のGセンサ読み取り位置すなわち先頭のセンサ素子位置(画素位置))とGセンサの終端の走査位置((Len-1)番目のGセンサ読み取り位置;Lenは各ラインセンサでデータ読み取りに使用されるセンサ素子数(画素数))が検出される。
【0042】
次に、オフセット量導出手段107で、Gラインセンサの先頭走査位置からRラインセンサ及びBラインセンサの先頭走査位置までのオフセット量が演算される。図4はその処理を模式的に表したものである。同図(a)では、読み取り原稿座標〔xG(i, k), yG(i, k)〕を含む位置にGラインセンサが位置しており、そのライン上の画像データを読み込んでいることを表している。
【0043】
なお、この時のx方向(水平方向)と各ラインセンサの垂直線PQとのなす角度をαi と表し、Gi は読み取り開始地点から副走査方向へのi番目のGセンサの読み取りラインを表す。また、kはGラインセンサのk番目のセンサ素子(画素数)を意味している。
【0044】
この時、Gi ラインの先頭走査位置〔xG(i, 0), yG(i, 0)〕からRi ライン上の先頭走査位置までのオフセット量〔△xGR(i), △yGR(i) 〕及びBi ライン上の先頭走査位置までのオフセット量〔△xGB(i),△yGB(i) 〕は下記数式1のようになる。ここで、GラインセンサとRラインセンサの間の距離をd-GR 画素、GラインセンサとBラインセンサの間の距離をd-GB 画素とする。
【0045】
【数1】
Figure 0004246818
【0046】
すると、Riラインの先頭走査位置〔xR(i, 0), yR(i, 0)〕及びBi ラインの先頭走査位置〔xB(i, 0), yB(i, 0)〕はGi ラインの先頭走査位置〔xG(i, 0), yG(i, 0)〕から求められる。また、Gi ラインの終端走査位置〔xG(i, Len-1), yG(i, Len-1)〕からRi ラインの終端走査位置〔xR(i, Len-1), yR(i, Len-1)〕及びBi ラインの終端走査位置〔xB(i, Len-1), yB(i, Len-1)〕は求めることができる。下記数式2にその結果を示す。
【0047】
【数2】
Figure 0004246818
【0048】
写像座標導出手段108では、この結果を受けて、Ri 、Gi 、Bi の各ライン上の読み取りデータ位置座標(メモリ110上の写像位置座標)を演算する。この時、先頭走査位置からk番目のGi ライン上の画素座標〔xG(i, k), yG(i, k)〕、先頭走査位置からk番目のRi ライン上の画素座標〔xR(i, k), yG(i, k)〕、先頭走査位置からk番目のBi ライン上の画素座標〔xB(i, k), yB(i, k)〕は下記数式3のようになる(k=0,…, Len-1 )。ここで〔△xr(i),△yr(i) 〕はRi ライン上の1画素に対するX方向の変位、Y方向の変位に相当する。同様に、〔△xg(i),△yg(i) 〕及び〔△xb(i),△yb(i) 〕は各々Gi ライン上の1画素に対するX方向の変位、Y方向の変位、Bi ライン上の1画素に対するX方向の変位、Y方向の変位に相当する。
【0049】
【数3】
Figure 0004246818
【0050】
写像手段109では、写像座標導出手段108で得られたRi ライン上の画素座標〔xR(i, k), yR(i, k)〕、Gi ライン上の画素座標〔xG(i, k), yG(i, k)〕、Bi ライン上の画素座標〔xB(i, k), yB(i, k)〕を、各々画像メモリ110上での写像座標〔XR(i, k), YR(i, k)〕、〔XG(i, k), YG(i, k)〕、〔XB(i, k), YB(i, k)〕に対応づける。
【0051】
そして、Ri ラインで得られたk番目のレッドデータCR(i, k)を座標〔XR(i, k), YR(i, k)〕に、Gi ラインで得られたk番目のグリーンデータCG(i, k)を座標〔XG(i, k), YG(i, k)〕に、Bi ラインで得られたk番目のブルーデータCB(i, k)を座標〔XB(i, k), YB(i, k)〕に写像する。これをカラー原稿上の画素データの読み取りを終了するまで繰り返すことで、原稿上の画像データをCRTに表示したり、ハードディスクに保持したりする画像入力を実現する。
【0052】
以上のように、本実施例の形態によれば、従来装置のように遅延バッファが必要なく、イメージセンサの解像度が向上しても同じように画像読み込みが可能となる。さらに、ユニットの走査方向の変動に従い遅延バッファに保持する色データを適応的に変化させる必要もないため、安価な形で実現することができる。
【0053】
なお、上記の処理はコンピュータ等に使用される中央演算処理装置(CPU)及びデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。また、本発明は、ステッピングモータで一方向に駆動する、例えば通常のフラットベッドタイプのイメージスキャナにも適用することができる。
【0054】
(第2の実施の形態)
次に、本発明の第2実施形態の画像入力装置及び画像入力方法について説明する。
【0055】
図5は本発明の第2実施形態の画像入力装置の構成図である。図5において、対応色座標導出手段500は、エンコーダを介して走査位置検出手段106で得られた対応色データの先頭走査位置と終端走査位置を使って、対応する色データを読み取るラインセンサ上の全画素が画像メモリ上で占める座標を演算する。
【0056】
これに対し、不足色座標導出手段501は、上記対応色座標導出手段500で得られた対応色データの写像座標から、ライン読み取り手段102で読み込まれた色データの中で画像メモリ上の座標の得られていない残りの色データを読み取るラインセンサ上の全画素座標を演算する。
【0057】
以上のように構成された第2の実施の形態である画像入力装置の動作について説明する。
本発明の第1実施形態の画像入力装置と同様に、イメージセンサ100、ライン読み取り手段102、シェーディング補正手段105を介して、イメージセンサユニットのある原稿位置の画像データを構成するレッド、グリーン、ブルーの色データを獲得する。
【0058】
次いで、上記走査位置検出手段106では、エンコーダ101a及び101bで得られたパルスをもとに、副走査方向にi番目のGセンサラインの先頭の走査位置(0番目のGセンサ素子の読み取り位置)とGセンサの終端の走査位置((Len-1)番目のGセンサ素子の読み取り位置;Lenは各ラインセンサでデータ読み取りに使用されるセンサ素子数)が検出される。
【0059】
対応色座標導出手段500では、副走査方向のi番目のライン位置において読み取られた対応色データの写像空間上の座標を演算する。ここでは、図2(a)のようなイメージセンサ構造をしていることから中心のグリーンデータを対応色データに指定する。
【0060】
すると先頭走査位置からk番目のGi ライン上の画素座標〔xG(i, k), yG(i, k)〕は前記数式3のように演算される。ここで、Gi ラインの先頭走査位置を〔xG(i, 0), yG(i, 0)〕とし、Gi ラインの終端走査位置を〔xG(i, Len-1), yG(i, Len-1)〕とする。
【0061】
不足色座標導出手段501はこの結果を受けて、他のレッドデータ及びブルーデータの写像座標を演算する。先頭走査位置からk番目のRi ライン上の画素rikの座標〔xR(i, k), yG(i, k)〕、先頭走査位置からk番目のBi ライン上の画素bikの座標〔xB(i, k), yB(i, k)〕を先頭走査位置からk番目のGi ライン上の画素gikの座標〔xG(i, k), yG(i, k)〕から求める(k=0,…,Len-1 )。Gi ライン上での1画素に対するx方向への変位△xg(i) とy方向への変位△yg(i) を使って、図6に示すようにgikからrik、bikへの移動量を求めることができる。その結果、下記数式4のようになる。
【0062】
【数4】
Figure 0004246818
【0063】
そして、本発明の第1の実施形態である画像入力装置と同様に、写像手段109においてCRT表示等を行う画像メモリ110への展開が実行される。
以上のように、本実施例の形態によれば、従来装置のように遅延バッファが必要なく、イメージセンサの解像度が向上しても安価に実現することができる。
【0064】
そして、ライン読み取り手段より得られる色データと、該色データに対応する走査位置をまとめて記憶し一度に処理を行いたいような場合、対応色座標導出手段500と不足色座標導出手段501との間に保持バッファを設け、予め記憶したいライン数だけ上記色データと算出された対応色座標を保持するようにし、その後、上記不足色座標導出手段501で走査位置の検出されていない色データの座標を、上記保持された対応色座標分一度に演算させることが可能になる。
【0065】
これにより、リアルタイム処理性はなくなるが、できるだけ少ないバッファサイズで読み取りデータを保持する場合には都合が良いし、またこの保持バッファを圧縮することでネットワークを介したデータの読み込みが可能になる。
【0066】
なお、上記の処理はコンピュータ等に使用される中央演算処理装置(CPU)及びデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
【0067】
また、本発明は、ステッピングモータで一方向に駆動する、例えば通常のフラットベッドタイプのイメージスキャナにも適用することができる。
(第3の実施の形態)
次に本発明の第3の実施形態の画像入力装置及び画像入力方法について説明する。
【0068】
図7は上記第3実施形態の画像入力装置の構成を表す。読み取りライン間補間手段700は、写像座標導出手段108で得られた各色データ間に補間データを埋め込むことを目的とするものであり、第2写像手段701は、上記写像座標導出手段108で得られた読み取り写像に各読み取り色データをマッピングするとともに、上記読み取りライン間補間手段700で得られた各色補間データにおいても、その補間座標位置に写像する。
【0069】
以上のように構成された第3の実施形態の画像入力装置の動作について説明する。なおここで、ライン読み取り手段で色データの読み取りを行う一方、エンコーダで得られたグリーンデータの先頭走査位置、終端走査位置をもとに、残りのレッド、ブルーデータの先頭走査位置、終端走査位置を演算した後に、各色データの写像空間座標を演算するまでの処理は前記本発明の第1実施形態の画像入力装置と同じであるので省略する。
【0070】
読み取りライン間補間手段700では、実際に読み込まれた画像データに対して、各色データのライン間に補間データを埋め込む処理を行う。
図8はその補間の概要を示すものである。図8において、Ri は読み取り開始地点から副走査方向へのi番目のRセンサの読み取りラインを、Gi は同、i番目のGセンサの読み取りラインを、Bi は同、i番目のBセンサの読み取りラインをそれぞれ表している。
【0071】
そして、gikは先頭走査位置からk番目のGi ライン上の画素を、rikは先頭走査位置からk番目のRi ライン上の画素を、bikは先頭走査位置からk番目のBi ライン上の画素を表している。
【0072】
i番目の各ラインセンサの垂直線PQとx方向(水平方向)とのなす角度αi と、GセンサとRセンサの間の距離d-GR 画素と、GセンサとBセンサの間の距離d-GB 画素とから前記数式1,2および3を用いれば、Gi ラインよりRi 及びBi ライン上の画素座標を演算できる。
【0073】
読み取りライン間補間手段700では、まずRi ラインとRi+1 ラインを抽出し、その2つのライン間の中間ラインに補間ラインDRi を生成する。Ri ライン上の画素rikの座標を〔xR(i,k),yR(i,k) 〕、Ri+1 ライン上の画素ri+1kの座標を〔xR(i+1,k),yR(i+1,k) 〕とすると、この色データの補間画素drikの写像される座標〔xDR(i,k),yDR(i,k) 〕は下記数式5のようになる。
【0074】
【数5】
Figure 0004246818
【0075】
そして、Ri ライン上の画素rikの色データをCR(i, k)、Ri+1 ライン上の画素ri+1kの色データをCR(i+1, k)とすると、補間画素drikの補間色データCDR(i, k)は下記数式6のようになる。
【0076】
【数6】
Figure 0004246818
【0077】
以上の処理はGi ラインとBi ライン上のデータに対しても同様に行われる。Gi ライン上の画素gikの座標を〔xG(i,k),yG(i,k) 〕、Gi+1 ライン上の画素gi+1kの座標を〔xG(i+1,k),yG(i+1,k) 〕、Bi ライン上の画素bikの座標を〔xB(i,k),yB(i,k) 〕、Bi+1 上の画素bi+1kの座標を〔xB(i+1,k),yB(i+1,k) 〕とすると、Gi ラインの補間画素dgikの写像される座標〔xDG(i,k),yDG(i, k)〕とBi ラインの補間画素dbikの写像される座標〔xDB(i,k),yDB(i,k) 〕も同様に数式5から求められる。
【0078】
そして、Gi ライン上の画素gikの色データをCG(i,k) 、Gi+1 ライン上の画素gi+1kの色データをCG(i+1, k)、Bi ライン上の画素bikの色データをCB(i,k) 、Bi+1 ライン上の画素bi+1kの色データをCB(i+1,k) とすると、Gi ラインの補間画素dgikの補間色データCDG(i,k) とBi ラインの補間画素dgikの補間色データCDB(i, k)も数式6のようになる。
【0079】
第2写像手段701は、ライン読み取り手段102で得られた各読み取りデータを写像座標導出手段108で得られた各写像座標に写像するとともに、読み取りライン間補間手段700で得られたRi ライン、Gi ライン、Bi ラインの各センサ間の補間データを各補間座標に写像する処理を実行する。
【0080】
以上のように、本実施例の形態によれば、従来装置のように遅延バッファが必要なく、イメージセンサの解像度が向上しても安価な形で実現することができる。
【0081】
さらに、従来の3ラインセンサを使った画像入力装置では、同じ画素における3つの色データが揃わないと画像メモリにうまく写像されないので、イメージセンサユニットを人間が走査する場合、その走査速度は一定でなく大きく変動する可能性があり、写像抜けや、白黒文字画像のエッジ部分で色ずれ等の現象を生じやすいが、本実施例の形態によれば、レッド、グリーン、ブルー各々独立して写像されるとともに、イメージセンサユニットを走査する速度変化の影響で読み取り抜けが発生したライン情報に対しても、補間データでこれを埋めることができるため、色ずれや画像写像抜けを低減することができる。
【0082】
なお、これらの処理はコンピュータ等に使用される中央演算処理装置(CPU)及びデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。また、本発明は、ステッピングモータで一方向に駆動する、例えば通常のフラットベッドタイプのイメージスキャナにも適用することができる。
【0083】
(第4の実施の形態)
次に本発明の第4実施形態の画像入力装置及び画像入力方法について説明する。
【0084】
図9は第4実施形態の画像入力装置の構成を表すブロック図であり、図から明らかなように、この第4実施形態では、前記第2実施形態の画像入力装置に、前記第3実施形態の画像入力装置の一部を構成する読み取りライン間補間手段700と第2写像手段701とを組み合わせた構成になっている。
【0085】
以上のように構成されたこの第4実施形態の画像入力装置では、ライン読み取り手段102でレッド、グリーン、ブルーの色データの読み取りを行う一方で、エンコーダで得られたグリーンデータの先頭走査位置、終端走査位置をもとに、グリーンデータの写像空間座標を演算する。
【0086】
そして、そのグリーンデータの写像座標を使って、走査位置が検出されなかったレッド、ブルーの写像座標を検出する。
その後、3色の各ラインセンサに対して、現在センサユニットの存在する(i+1)ラインと1つ前のiライン間で各色データの補間データを埋め込む処理を行い、第2写像手段701で読み込み、色データ及び補間色データを画像メモリ110へ写像することで画像入力が実行される。
【0087】
本実施例の形態によれば、従来装置のように遅延バッファが必要なく、イメージセンサの解像度が向上しても対処できるとともに、ユニットの走査方向の変更に対しても遅延バッファに保持する色データを変更するための複雑な回路をつける必要がない。
【0088】
さらに、前記第3実施形態と同じように、イメージセンサユニットを走査する速度変化の影響で読み取り抜けしてしまったライン情報も補間データで埋めることができるため、色ずれや画像写像抜けを低減することが可能である。
【0089】
また、前記第2実施形態と同じように、対応色座標導出手段500と不足色座標導出手段501との間に保持バッファを設け、該保持バッファに、予め記憶したいライン数だけ上記色データと算出された対応色座標を保持するようにすることによって、ネットワークを介したデータの読み込みが可能になる。
【0090】
なお、上記の処理はコンピュータ等に使用される中央演算処理装置(CPU)及びデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。また、本発明は、ステッピングモータで一方向に駆動する、例えば通常のフラットベッドタイプのイメージスキャナにも適用することができる。
【0091】
(第5の実施の形態)
次に本発明の第5実施形態の画像入力装置及び画像入力方法について説明する。
【0092】
図10は上記第5実施形態の画像入力装置の構成を表すブロック図である。
現ライン上補間手段1000は、センサユニット100が現在読み込みしている現センサラインRi 、Gi 、Bi 上に各色データの補間データを埋め込むものである。
【0093】
第3写像手段1001は、写像座標導出手段108で得られた読み取り写像に各読み取り色データを写像するとともに、読み取りライン間補間手段700で得られた各色の補間座標にその色データの補間データを写像し、さらに上記現ライン上補間手段1000で得られた、現在読み込まれている各センサライン上での補間座標に、その色の補間データを写像する。
【0094】
以上のように構成された第5実施形態の画像入力装置の動作について説明する。ライン読み取り手段で色データの読み取りを行い、一方、エンコーダで得られたグリーンデータの先頭走査位置、終端走査位置をもとに、残りのレッド、ブルーデータの先頭走査位置、終端走査位置を演算した後に、各色データの写像空間座標を演算する。
【0095】
そして、得られた各センサライン間に各色データの補間データを埋め込むまでの処理は、本発明の第3実施形態の画像入力装置と同じであるので省略する。
現ライン上補間手段1000では、図11に示されるように現在の各センサライン上で読み込まれている色データ間にその色データの補間データを埋め込む処理を行う。同図において、Ri+1 とRi は現在読み込みが行われている(i+1)番目と1つ前のi番目のRセンサの読み取りラインを表し、DRi は読み取りライン間補間手段700で得られたRi+1 とRi の間のRの補間ラインを表す。
【0096】
また、rik、rik+1は各々Ri ライン上で先頭走査位置からk番目の画素、(k+1)番目の画素を表し、drikはDRi ライン上で先頭走査位置からk番目の画素を表す。Ri ライン上における画素rikとrik+1の間の補間画素をsrikとすると、そのsrikの座標〔xSR(i,k),ySR(i,k) 〕は、画素rikの座標〔xR(i,k),yR(i,k) 〕と画素rik+1の座標〔xR(i,k+1),yR(i,k+1) 〕より下記数式7のようになる。
【0097】
【数7】
Figure 0004246818
【0098】
そして、Ri ライン上の画素rikの色データをCR(i,k) 、画素rik+1の色データをCR(i,k+1) とすると、Ri ライン上の補間画素srikの補間色データCSR(i,k) は下記数式8のようになる。
【0099】
【数8】
Figure 0004246818
【0100】
また、Ri ラインとRi+1 ラインの間の補間ラインDRi 上で先頭走査位置からk番目の補間画素drikと先頭走査位置からk+1番目の補間画素drik+1を使って、その間の補間画素sdrikの座標と補間色データも同様に演算できる。
【0101】
以上の処理をGi ラインとBi ライン上のデータに対しても同様に行う。第3写像手段1001は、ライン読み取り手段102で得られた読み取り各データを、画像メモリ110において写像座標導出手段108で得られた各写像座標に対応する座標に写像し、読み取りライン間補間手段700で得られたRi ライン、Gi ライン、Bi ラインの各センサ間の補間データを各補間座標に写像し、そして現ライン上補間手段1000で得られたRi ライン、Gi ライン、Bi ライン上のデータの補間データをその補間座標に対応する座標に写像することでイメージセンサで得られた色データの入力を実行するのである。
【0102】
以上のように、本実施例の形態によれば、従来装置のように遅延バッファが必要なく、イメージセンサの解像度が向上しても安価な形で実現することができる。さらに、レッド、グリーン、ブルー各々独立して写像するとともに、イメージセンサユニットの走査方向(副走査方向)のみならず、そのラインセンサ方向にも補間データを埋め込むことで、イメージセンサユニットを走査する際の走査速度の変動のみならず走査方向の変動によるライン方向の画像抜けにも対処することができる。
【0103】
なお、上記の処理はコンピュータ等に使用される中央演算処理装置(CPU)及びデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。また、本発明は、ステッピングモータで一方向に駆動する、例えば通常のフラットベッドタイプのイメージスキャナにも適用することができる。
【0104】
(第6の実施の形態)
次に本発明の第6実施形態の画像入力装置及び画像入力方法について説明する。
【0105】
図12は上記第6実施形態の画像入力装置の構成を表すブロック図であり、図から明らかなように、前記第4実施形態の画像入力装置に、前記第5実施形態の画像入力装置の一部を構成する現ライン上補間手段1000と第3写像手段1001を組み合わせた構成になっている。
【0106】
以上のように構成された第6実施形態の画像入力装置では、ライン読み取り手段102でレツド、グリーン、ブルーの色データの読み取りを行う一方、エンコーダで得られたグリーンデータの先頭走査位置、終端走査位置をもとに、グリーンデータの写像空間座標を演算する。
【0107】
そして、そのグリーンデータの写像座標を使って走査位置の検出されなかったレッド、ブルーの写像座標を検出する。
次に、3色の各ラインセンサに対して、読み取りライン間補完手段700で現在センサユニットの存在する(i+1)ラインと1つ前のiライン間で各色データの補間データを埋め込む処理を行う。
【0108】
その後で、現ライン上補間手段1000において現在読み込まれている各ラインセンサ上のデータ間に補間データを埋め込む処理を行い、第3写像手段1001で読み込み色データ、副走査方向であるライン間の補間色データ及び現ラインセンサ上の補間色データを、対応する画像メモリ110の座標へ写像することで画像入力が実行される。
【0109】
本実施例の形態によれば、従来装置のように遅延バッファが必要なく、イメージセンサの解像度が向上しても対処できるとともに、ユニットの走査方向の変更に対しても遅延バッファに保持する色データを変更するための複雑な回路をつける必要がない。
【0110】
さらに、本発明の第3実施形態と同じように、イメージセンサユニットを走査する速度変化の影響で読み取り抜けしてしまったライン情報も補間データ埋めることができるため、色ずれや画像写像抜けを低減することができる。
【0111】
また、本発明の第2実施形態と同じように対応色座標導出手段500と不足色座標導出手段501との間に保持バッファを備え、該保持バッファに上記対応色座標を予め記憶したいライン数だけ対応色データと対応色座標を格納しておくと、ネットワークを介したデータの読み込みが可能になる。
【0112】
なお、上記の処理はコンピュータ等に使用される中央演算処理装置(CPU)及びデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。また、本発明は、ステッピングモータで一方向に駆動する、例えば通常のフラットベッドタイプのイメージスキャナにも適用することができる。
【0113】
(第7の実施の形態)
次に本発明の第7実施形態の画像入力装置及び画像入力方法について説明する。
【0114】
図13は第7の実施の形態である画像入力装置の構成を表すブロック図である。
図において、レッド座標導出手段1300は、ライン読み取り手段102で読み込まれたレッドデータが画像メモリ110で占める写像座標を導出する。
【0115】
一方、グリーン座標導出手段1301は、ライン読み取り手段102で読み込まれたグリーンデータが画像メモリ110で占める写像座標を導出し、ブルー座標導出手段1302は、ライン読み取り手段102で読み込まれたブルーデータが画像メモリ110で占める写像座標を導出する。
【0116】
以上のように構成された第7の実施形態の画像入力装置では、ライン読み取り手段でレッド、グリーン、ブルーの色データの読み取りを行う一方で、エンコーダ、走査位置検出手段を経て3つのラインセンサユニットより得られるそれぞれの色データの走査位置を検出する。
【0117】
走査位置検出手段106からの走査位置を使って、レッド座標導出手段1300が、ライン読み取り手段102で読み込まれたレッドデータを画像メモリ110に写像するための写像座標を導出する。
【0118】
同様に走査位置検出手段106からの走査位置を使って、グリーン座標導出手段1301がライン読み取り手段102で読み込まれたグリーンデータを画像メモリ110に写像するための写像座標を導出し、ブルー座標導出手段1302がライン読み取り手段102で読み込まれたブルーデータを画像メモリ110に写像するための写像座標を導出する。 なお、これら個別色座標導出手段1300、1301、1302は各々独立に対応する色データの座標を導出する。
【0119】
そして、本発明第1実施形態の画像入力装置と同様に、写像手段109においてCRT表示等を行う画像メモリ110への展開が実行される。
本実施例の形態によれば、従来装置のように遅延バッファが必要なく、イメージセンサの解像度が向上しても対処できるとともに、ユニットの走査方向の変更に対しても遅延バッファに保持する色データを変更するための複雑な回路をつける必要がない。
【0120】
なお、これらの処理はコンピュータ等に使用される中央演算処理装置(CPU)及びデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。また、本発明は、ステッピングモータで一方向に駆動する、例えば通常のフラットベッドタイプのイメージスキャナにも適用することができる。
【0121】
(第8の実施の形態)
最後に本発明の第8実施形態の画像入力装置及び画像入力方法について説明する。
【0122】
図14は上記第8実施形態の画像入力装置の構成を表すブロック図であり、、ストライプイメージセンサ1400は3色ストライプフィルタがセンサの受光面に貼り付けられており、第2ライン読み取り手段1401は、上記ストライプイメージセンサ1400のラインセンサで複数色データを読み取るようになっている。
【0123】
特定色走査位置検出手段1402は現在のセンサ位置において読み取られた全グリーンデータの走査位置を検出し、センサ方向オフセット量導出手段1403は各グリーンデータの走査位置から残りのレッド、ブルーデータの座標を求めるために、現ラインiにおいてラインセンサ方向のオフセット量を演算する。
【0124】
第2写像導出手段1404は、上記センサ方向オフセット量導出手段1403のセンサ方向のオフセット量を使って、上記特定色走査位置検出手段1402で検出された各グリーンデータの走査位置から残りのレッド及びブルーデータの位置を導出し、画像メモリ110上で対応する写像座標に写像する。
【0125】
以上のように構成された第8実施形態の画像入力装置では、まずストライプイメージセンサ1400とライン第2読み取り手段1401でレッド、グリーン、ブルーの各色データの読み取りが行われる。
【0126】
ストライプイメージセンサ1400は前記図2(b)に示すように、レッド、グリーン、ブルーのデータを読み込むセンサがストライプ状に配置されており、第2ライン読み取り手段1401ではこのストライプ状に配置されたセンサで各色データを読み込む。
【0127】
一方、エンコーダと特定色走査位置検出手段1404は、現在のストライプイメージセンサ1400のライン位置iにおいて読み込まれた各グリーンデータの走査位置を検出する。
【0128】
そして、センサ方向オフセット量導出手段1402では、各グリーンデータ座標から、ストライプ状に配置された残りのレッドデータ、ブルーデータの座標を導出するためのラインセンサ(主走査)方向のオフセット量〔△x(i),△y(i) 〕が図15のように演算される。
【0129】
ここでラインiにおけるラインからk番目の画素におけるレッドデータrikの座標を〔xR(i,k),yR(i,k) 〕、グリーンデータrikの座標を〔xG(i,k),yG(i,k) 〕、ブルーデータの座標を〔xB(i,k),yB(i,k) 〕、ラインiにおける1画素のX方向の変位とY方向の変位を〔△xs(i),△ys(i) 〕と表す。
【0130】
そして、第2写像座標導出手段1402がこのオフセット量を下記数式9のように1402で得られた各グリーンデータgikの座標に付加することで残りのレッドrik及びブルーデータbikの座標を演算する。
【0131】
【数9】
Figure 0004246818
【0132】
最後に、写像手段109が各色データを画像メモリ110上で対応する座標に写像することで画像入力が実行される。
本実施例の形態によれば、ストライプ読み取り方式のセンサで読み込まれた各色データを、その読み込まれた位置に正確に写像することによりストライプずれによる影響を低減することができ、読み込み画像の画質劣化を抑止できる。
【0133】
なお、これらの処理は、本発明の第8実施形態の画像入力方法に従いコンピュータ等に使用される中央演算処理装置(CPU)及びデジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。また、本発明は、ステッピングモータで一方向に駆動する、例えば通常のフラットベッドタイプのイメージスキャナにも適用することができる。
【0134】
以上、本発明の実施形態を説明したが、前記走査位置検出手段で検出する特定の走査位置は、前記先頭走査位置と終端走査位置とに限るものではなく、センシングされたデータの位置が特定できればよいことから、例えばセンサ中心位置とセンサ先端等、それ以外の走査位置を上記走査位置検出手段で検出することも可能である。
【0135】
また、この実施形態では、上記走査位置検出手段106はグリーンデータをもとに他のデータの座標を導出しているが、このグリーンデータ以外のレッドデータかブルーデータを上記走査位置検出手段106で検出し、この値をもとに他のデータの座標を求めることも可能である。
【図面の簡単な説明】
【図1】本発明の第1実施形態における画像入力装置の構成を表すブロック図である。
【図2】(a)3ライン同時読み取り方式を表すイメージセンサの説明図である。
(b)ストライプ読み取り方式を表すイメージセンサの説明図である。
【図3】従来の3ライン同時読み取り方式の画像入力装置の動作を表す説明図である。
【図4】(a)本発明の第1実施形態の画像入力装置における画像の取り込みを表す説明図である。
(b)本発明の第1実施形態の画像入力装置におけるオフセット量導出手段でのオフセット量を表す説明図である。
【図5】本発明の第2実施形態における画像入力装置の構成を表すブロック図である。
【図6】(a)本発明の第2実施形態の画像入力装置において、グリーンセンサからレッドのセンサへの位置を求めるための方式を表す説明図である。
(b)本発明の第2実施形態の画像入力装置において、グリーンセンサからブルーのセンサへの位置を求めるための方式を表す説明図
【図7】本発明の第3実施形態における画像入力装置の構成を表すブロック図である。
【図8】本発明第3実施形態の画像入力装置の読み取りライン間補正手段で行われている処理を表す説明図である。
【図9】本発明の第4実施形態における画像入力装置の構成を表すブロック図である。
【図10】本発明の第5実施形態における画像入力装置の構成を表すブロック図である。
【図11】本発明の第5実施形態における画像入力装置の現ライン上間補正手段で行われている処理を表す説明図である。
【図12】本発明の第6実施形態における画像入力装置の構成を表すブロック図である。
【図13】本発明の第7実施形態における画像入力装置の構成を表すブロック図である。
【図14】本発明の第8実施形態における画像入力装置の構成を表すブロック図である。
【図15】本発明の第8実施形態における画像入力装置におけるセンサ方向オフセット量導出手段でのセンサ方向のオフセット量を表す説明図である。
【図16】従来の3ライン同時読み取り方式による画像入力装置の構成を表すブロック図である。
【図17】従来のストライプ読み取り方式による画像入力装置の構成を表すブロック図である。
【符号の説明】
100 イメージセンサユニット
101a エンコーダ1
101b エンコーダ2
102 ライン読み取り手段
103a アンプ
103b アンプ
103c アンプ
104 A/D変換回路
105 シェーディング補正手段
106 走査位置検出手段
107 オフセット量導出手段
108 写像座標導出手段
109 写像手段
110 画像メモリ
600 対応色座標導出手段
601 不足色座標導出手段
700 読み取りライン間補間手段
701 第2写像手段
1000 現ライン上補間手段
1001 第3写像手段
1300 レッド座標導出手段(個別色座標導出手段)
1301 グリーン座標導出手段(個別色座標導出手段)
1302 ブルー座標導出手段(個別色座標導出手段)
1400 ストライプイメージセンサ
1401 第2ライン読み取り手段
1402 特定色走査位置検出手段
1403 センサ方向オフセット量導出手段
1404 第2写像座標導出手段
1600 読み取り色データ遅延バッファ
1601 同一画素写像手段
1700 グリーン走査位置検出手段

Claims (16)

  1. 複数色の色データをそれぞれ読み取る複数のラインセンサを所定間隔をおいて並列に配列し、カラー原稿上を走査することにより複数色の色データを同時に読み取るライン読み取り手段と、
    上記読み取られた各色データに対応する走査位置を検出する走査位置検出手段と、
    上記走査位置検出手段で検出された走査位置に基づいて、上記ライン読み取り手段で読み込まれた複数色の各色データの画像メモリ上で占める座標を各色データに応じた異なる画素の座標として導出する座標導出手段と、
    画像メモリの上記座標導出手段で得られた座標に、読み取られた各色データを写像する写像手段と、
    を備え、
    上記走査位置検出手段は、上記読み取られた色データの中の特定色の特定の色データに対応する走査位置を検出し、
    上記座標導出手段は、
    上記走査位置検出手段で検出された特定の走査位置に基づいて、走査位置が検出されなかった他の特定色の各色データの中の上記特定の走査位置と対応する走査位置の、上記特定の走査位置からのオフセット量を演算するオフセット量導出手段と、上記オフセット量導出手段で得られたオフセット量に基づいて上記複数のラインセンサで読み取られた全ての色データの走査位置を導出し、全色データの画像メモリ上で占める座標を演算する写像座標導出手段と、
    を具備していることを特徴とする画像入力装置。
  2. 上記特定の走査位置が、先頭走査位置と終端走査位置である請求項に記載の画像入力装置。
  3. 複数色の色データをそれぞれ読み取る複数のラインセンサを所定間隔をおいて並列に配列し、カラー原稿上を走査することにより複数色の色データを同時に読み取るライン読み取り手段と、
    上記読み取られた各色データに対応する走査位置を検出する走査位置検出手段と、
    上記走査位置検出手段で検出された走査位置に基づいて、上記ライン読み取り手段で読み込まれた複数色の各色データの画像メモリ上で占める座標を各色データに応じた異なる画素の座標として導出する座標導出手段と、
    画像メモリの上記座標導出手段で得られた座標に、読み取られた各色データを写像する写像手段と、
    を備え、
    上記走査位置検出手段は、上記読み取られた色データの中の特定色の色データに対応する特定の走査位置を検出し、
    上記座標導出手段は、
    上記走査位置検出手段で上記特定色の色データが検出されたラインセンサの上記特定の走査位置に基づいて、上記特定色の色データの全走査位置が画像メモリ上で占める画素座標を演算する対応色座標導出手段と、上記対応色座標導出手段で得られた特定色の色データの画素座標より、上記ライン読み取り手段で読み取られた複数色の色データの中で上記特定色以外の他の特定色の全色データの画像メモリ上の座標を演算する不足色座標導出手段と、
    を具備していることを特徴とする画像入力装置。
  4. 上記特定の走査位置が、先頭走査位置と終端走査位置である請求項に記載の画像入力装置。
  5. 複数色の色データをそれぞれ読み取る複数のラインセンサを所定間隔をおいて並列に配列し、カラー原稿上を走査することにより複数色の色データを同時に読み取るライン読み取り手段と、
    上記読み取られた各色データに対応する走査位置を検出する走査位置検出手段と、
    上記走査位置検出手段で検出された走査位置に基づいて、上記ライン読み取り手段で読み込まれた複数色の各色データの画像メモリ上で占める座標を各色データに応じた異なる画素の座標として導出する座標導出手段と、
    画像メモリの上記座標導出手段で得られた座標に、読み取られた各色データを写像する写像手段と、
    を備え、
    上記走査位置検出手段は、上記読み取られた各色データに対応する各走査位置を検出し、
    上記座標導出手段は、上記走査位置検出手段で検出された走査位置を使って、上記ライン読み取り手段で読み込まれた複数色の全色データの画像メモリ上で占める座標を各々独立に導出する
    ことを特徴とする画像入力装置。
  6. 複数色の色データをそれぞれ読み取るセンサを各センサが一本のライン上に所定間隔となるように配列し、カラー原稿上を走査することにより上記複数色の色データを同時に読み取る第2ライン読み取り手段と、
    上記読み取られた複数色の色データの中の特定色の色データに対応する全走査位置を検出する特定色走査位置検出手段と、
    上記特定色走査位置検出手段で検出された走査位置に基づいて、上記ライン読み取り手段で読み込まれた複数色の全色データの画像メモリ上で占める座標を、色データに応じた異なる画素の座標として導出する座標導出手段と、
    画像メモリの上記座標導出手段で得られた座標に、読み取られた各色データを写像する写像手段とを備えたことを特徴とする画像入力装置。
  7. 上記座標導出手段は、
    上記特定色走査位置検出手段で検出された走査位置に基づいて、走査位置を検出されなかった他の色データの走査位置を求めるための各センサ間のオフセット量を演算するセンサ方向オフセット量導出手段と、
    上記センサ方向オフセット量導出手段で得られたセンサ方向のオフセット量に基づいて1本のラインセンサで読み取られた全色データの画像メモリ上で占める画素座標を演算する第2写像座標導出手段と、
    よりなる請求項に記載の画像入力装置。
  8. 複数色の色データをそれぞれ読み取る複数のラインセンサを所定間隔をおいて並列に配列し、カラー原稿上を走査することにより複数色の色データを同時に読み取るライン読み取り手段と、
    上記読み取られた各色データに対応する走査位置を検出する走査位置検出手段と、
    上記走査位置検出手段で検出された走査位置に基づいて、上記ライン読み取り手段で読み込まれた複数色の全色データの画像メモリ上で占める座標を色データに応じた異なる画素の座標として導出する座標導出手段と、
    上記座標導出手段の導出した座標の間にある座標に対する補完色データを演算する補完手段と、
    画像メモリの上記座標導出手段が算出した座標に、上記読み取られた各色データを写像するとともに、補完手段で得られた座標に補完色データを写像する写像手段と、
    を備え、
    上記走査位置検出手段は、上記読み取られた色データの中の特定色の特定の色データに対応する走査位置を検出し、
    上記座標導出手段は、
    上記走査位置検出手段で検出された特定の走査位置に基づいて、走査位置が検出されなかった他の特定色の色データの上記特定の走査位置と対応する走査位置の上記特定の走査位置からのオフセット量を演算するオフセット量導出手段と、上記オフセット量導出手段で得られたオフセット量に基づいて上記複数のラインセンサで読み取られた全ての色データの走査位置を導出し、各色データの画像メモリ上で占める座標を演算する写像座標導出手段とを具備しており、
    上記補完手段は、同一センサライン上の相互に隣り合う2つの画素座標の中間位置の座標の色データを補完する
    ことを特徴とする画像入力装置。
  9. 複数色の色データをそれぞれ読み取る複数のラインセンサを所定間隔をおいて並列に配列し、カラー原稿上を走査することにより複数色の色データを同時に読み取るライン読み取り手段と、
    上記読み取られた各色データに対応する走査位置を検出する走査位置検出手段と、
    上記走査位置検出手段で検出された走査位置に基づいて、上記ライン読み取り手段で読み込まれた複数色の全色データの画像メモリ上で占める座標を色データに応じた異なる画素の座標として導出する座標導出手段と、
    上記座標導出手段の導出した座標の間にある座標に対する補完色データを演算する補完手段と、
    画像メモリの上記座標導出手段が算出した座標に、上記読み取られた各色データを写像するとともに、補完手段で得られた座標に補完色データを写像する写像手段と、
    を備え
    上記走査位置検出手段は、上記読み取られた色データの中の特定色の特定の色データに対応する走査位置を検出し、
    上記座標導出手段は、
    上記走査位置検出手段で検出された特定の走査位置に基づいて、走査位置が検出されなかった他の特定色の各色データの上記特定の走査位置と対応する走査位置の、上記特定の走査位置からのオフセット量を演算するオフセット量導出手段と、上記オフセット量導出手段で得られたオフセット量に基づいて上記複数のラインセンサで読み取られた全ての色データの走査位置を導出し、各色データの画像メモリ上で占める座標を演算する写像座標導出手段とを具備しており、
    上記補完手段は、同一センサライン上の相互に隣り合う2つの画素座標の中間位置の座標の色データを、および、相互に隣り合う2つのラインセンサ上で得られた相互に対応する画素座標の中間の座標の色データを補完する
    ことを特徴とする画像入力装置。
  10. 複数色の色データをそれぞれ読み取る複数のラインセンサを所定間隔をおいて並列に配列し、カラー原稿上を走査することにより複数色の色データを同時に読み取るライン読み取り手段と、
    上記読み取られた各色データに対応する走査位置を検出する走査位置検出手段と、
    上記走査位置検出手段で検出された走査位置に基づいて、上記ライン読み取り手段で読み込まれた複数色の全色データの画像メモリ上で占める座標を色データに応じた異なる画素の座標として導出する座標導出手段と、
    上記座標導出手段の導出した座標の間にある座標に対する補完色データを演算する補完手段と、
    画像メモリの上記座標導出手段が算出した座標に、上記読み取られた各色データを写像するとともに、補完手段で得られた座標に補完色データを写像する写像手段と、
    を備え、
    上記走査位置検出手段は、上記読み取られた色データの中の特定色の色データに対応する特定の走査位置を検出し、
    上記座標導出手段は、
    上記走査位置検出手段で上記特定色の色データが検出されたラインセンサの上記特定の走査位置に基づいて、上記特定色の各色データの全走査位置が画像メモリ上で占める画素座標を演算する対応色座標導出手段と、上記対応色座標導出手段で得られた特定色の全色データの画素座標より、上記ライン読み取り手段で読み取られた複数色の色データの中で上記特定色以外の他の特定色の全色データの画像メモリ上の座標を演算する不足色座標導出手段とを具備しており、
    上記補完手段は、同一センサライン上の相互に隣り合う2つの画素座標の中間位置の座標の色データを補完する
    ことを特徴とする画像入力装置。
  11. 複数色の色データをそれぞれ読み取る複数のラインセンサを所定間隔をおいて並列に配列し、カラー原稿上を走査することにより複数色の色データを同時に読み取るライン読み取り手段と、
    上記読み取られた各色データに対応する走査位置を検出する走査位置検出手段と、
    上記走査位置検出手段で検出された走査位置に基づいて、上記ライン読み取り手段で読み込まれた複数色の全色データの画像メモリ上で占める座標を色データに応じた異なる画素の座標として導出する座標導出手段と、
    上記座標導出手段の導出した座標の間にある座標に対する補完色データを演算する補完手段と、
    画像メモリの上記座標導出手段が算出した座標に、上記読み取られた各色データを写像するとともに、補完手段で得られた座標に補完色データを写像する写像手段と、
    を備え、
    上記走査位置検出手段は、上記読み取られた色データの中の特定色の色データに対応する特定の走査位置を検出し、
    上記座標導出手段は、
    上記走査位置検出手段で上記特定色の色データが検出されたラインセンサの上記特定の走査位置に基づいて、上記特定色の各色データの全走査位置が画像メモリ上で占める画素座標を演算する対応色座標導出手段と、上記対応色座標導出手段で得られた特定色の色データの画素座標より、上記ライン読み取り手段で読み取られた複数色の色データの中で上記特定色以外の他の特定色の全色データの画像メモリ上の座標を演算する不足色座標導出手段とを具備しており、
    上記補完手段は、同一センサライン上の相互に隣り合う2つの画素座標の中間位置の座標の色データを、および、相互に隣り合う2つのラインセンサ上で得られた相互に対応する画素座標の中間の座標の色データを補完する
    ことを特徴とする画像入力装置。
  12. 複数色の色データをそれぞれ読み取る複数のラインセンサを所定間隔をおいて並列に配列して、カラー原稿上を走査することにより複数色の色データを同時に読み取るとともに、
    上記読み取られた各色データに対応する走査位置を検出し、該検出された走査位置に基づいて、上記読み込まれた複数色の色データの画像メモリ上で占める座標を色データに応じた異なる画素の座標として導出し、
    画像メモリ上の上記のようにして得られた座標に、上記読み取られた各色データを写像する画像入力方法であって、
    上記読み取られた色データの中の特定色の特定の色データに対応する走査位置を検出し、
    該検出された特定の走査位置に基づいて、走査位置が検出されなかった他の特定色の色データの上記特定の走査位置に対応する走査位置の上記特定の走査位置からのオフセット量を演算するとともに、上記オフセット量に基づいて上記複数のラインセンサで読み取られた全ての色データの走査位置を導出し、各色データの画像メモリ上で占める座標を演算する
    ことを特徴とする画像入力方法。
  13. 上記読み取られた色データの中の特定色の特定の色データに対応する走査位置を検出し、
    上記特定色の色データが検出されたラインセンサの上記特定の走査位置に基づいて、上記特定色の全色データの全走査位置が画像メモリ上で占める画素座標を演算するとともに、上記特定色の全色データの画素座標より、上記ライン読み取り手段で読み取られた複数色の色データの中で上記特定色以外の他の特定色の全色データを読み取るラインセンサ上の画素の座標を演算する
    請求項12に記載の画像入力方法。
  14. 上記読み取られた各色データに対応する各走査位置を検出し、
    上記検出された走査位置に基づいて、上記読み込まれた複数色の色データの画像メモリ上で占める座標を各々独立に導出する
    請求項12に記載の画像入力方法。
  15. 複数色の色データをそれぞれ読み取る1組のセンサを、各センサが所定間隔を保ってライン状に配列された状態で、カラー原稿上を走査することにより複数色の色データを同時に読み取り、
    上記読み取られた上記複数色の色データの中の特定色の全色データに対応する全走査位置を検出し、
    上記検出された走査位置に基づいて、上記読み込まれた複数色の色データの画像メモリ上で占める座標を、各色データに応じた異なる画素の座標として導出し、
    画像メモリの上記のようにして得られた座標に、上記読み取られた各色データを写像する
    ことを特徴とする画像入力方法。
  16. 上記検出された特定色の色データの走査位置をもとに、走査位置を検出されなかった他特定色の色データの走査位置を求めるためのセンサ方向の各センサ間のオフセット量を演算するとともに、上記センサ方向のオフセット量に基づいて上記読み取られた全ての色データの画像メモリ上で占める画素座標を演算する請求項15に記載の画像入力方法。
JP21900498A 1998-08-03 1998-08-03 画像入力装置及び画像入力方法 Expired - Fee Related JP4246818B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP21900498A JP4246818B2 (ja) 1998-08-03 1998-08-03 画像入力装置及び画像入力方法
CNB99110269XA CN1158845C (zh) 1998-08-03 1999-07-29 图像输入装置和图像输入方法
US09/365,721 US6512605B1 (en) 1998-08-03 1999-08-03 Image reading apparatus and image reading method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21900498A JP4246818B2 (ja) 1998-08-03 1998-08-03 画像入力装置及び画像入力方法

Publications (2)

Publication Number Publication Date
JP2000050015A JP2000050015A (ja) 2000-02-18
JP4246818B2 true JP4246818B2 (ja) 2009-04-02

Family

ID=16728764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21900498A Expired - Fee Related JP4246818B2 (ja) 1998-08-03 1998-08-03 画像入力装置及び画像入力方法

Country Status (3)

Country Link
US (1) US6512605B1 (ja)
JP (1) JP4246818B2 (ja)
CN (1) CN1158845C (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7426064B2 (en) * 2003-12-08 2008-09-16 Lexmark International, Inc Scan bar and method for scanning an image
CN101630501B (zh) * 2008-07-14 2011-11-16 比亚迪股份有限公司 一种图像显示方法及系统
CN109859165B (zh) * 2018-12-24 2023-06-09 新绎健康科技有限公司 一种取脉点的定位方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4709144A (en) 1986-04-02 1987-11-24 Hewlett-Packard Company Color imager utilizing novel trichromatic beamsplitter and photosensor
EP0325366B1 (en) 1988-01-19 1995-05-24 Hewlett-Packard Company Multi-channel optical communication system
US5315412A (en) * 1990-04-06 1994-05-24 Canon Kabushiki Kaisha Multi-chip color image sensor with light-receiving windows arranged to provide sensor output signals corresponding to the gap between adjacent sensors
JPH07111561A (ja) * 1993-10-12 1995-04-25 Matsushita Electric Ind Co Ltd 原稿読み取り装置
US6865000B2 (en) * 1994-12-06 2005-03-08 Canon Kabushiki Kaisha Image reading apparatus for grouping sensors according to characteristics
JPH1093762A (ja) * 1996-09-18 1998-04-10 Fuji Photo Film Co Ltd 画像データ記憶方法およびその装置
JPH10173868A (ja) * 1996-12-13 1998-06-26 Fuji Xerox Co Ltd 固体撮像素子およびこれを備えた画像読取装置

Also Published As

Publication number Publication date
US6512605B1 (en) 2003-01-28
CN1158845C (zh) 2004-07-21
CN1249604A (zh) 2000-04-05
JP2000050015A (ja) 2000-02-18

Similar Documents

Publication Publication Date Title
US5892595A (en) Image reading apparatus for correct positioning of color component values of each picture element
JP4284754B2 (ja) カラー撮像装置及びその制御方法
US8194279B2 (en) Image data combining apparatus and method
US7474437B2 (en) Image processing method and apparatus
JP4246818B2 (ja) 画像入力装置及び画像入力方法
EP1615421B1 (en) Image scanner
EP1289257A1 (en) Image processing apparatus
KR20020039633A (ko) 화상처리장치 및 처리방법
JP3473707B2 (ja) カラー画像処理装置
WO2009093588A1 (ja) 画像処理装置、画像信号補正方法、補正マトリクス算出方法及び撮像装置
JP2002320142A (ja) 固体撮像装置
JP3713348B2 (ja) 画像読み取り装置
JP3698814B2 (ja) カラー画像読取装置
EP1833263B1 (en) Method and apparatus for generating correction information for multi-divided CCD
JP3287427B2 (ja) 画像読取装置
JP2505823B2 (ja) 原稿読取装置
JP4630481B2 (ja) 画像読取装置
JP3906524B2 (ja) 画像読み取り装置
JP4029389B2 (ja) カラー固体撮像装置
JPH0897976A (ja) 画像読取装置
JP2002152525A (ja) 画像読取装置および色ずれ補正方法
JP4102169B2 (ja) 画像処理装置及び画像処理方法
JP6489911B2 (ja) 画像処理装置及びその制御方法
US8248675B2 (en) Image-reading apparatus
JP2003230016A (ja) カラー画像読取装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081217

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090109

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees