JP3710452B2 - 画像読み取り装置、データ補間方法及び制御プログラム - Google Patents
画像読み取り装置、データ補間方法及び制御プログラム Download PDFInfo
- Publication number
- JP3710452B2 JP3710452B2 JP2003064998A JP2003064998A JP3710452B2 JP 3710452 B2 JP3710452 B2 JP 3710452B2 JP 2003064998 A JP2003064998 A JP 2003064998A JP 2003064998 A JP2003064998 A JP 2003064998A JP 3710452 B2 JP3710452 B2 JP 3710452B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image reading
- image
- data
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000001914 filtration Methods 0.000 claims description 5
- 230000002950 deficient Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000000737 periodic effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
- H04N1/191—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
- H04N1/192—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line
- H04N1/193—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
- H04N1/191—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
- H04N1/192—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line
- H04N1/193—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays
- H04N1/1934—Combination of arrays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10008—Still image; Photographic image from scanner, fax or copier
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/12—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using the sheet-feed movement or the medium-advance or the drum-rotation movement as the slow scanning component, e.g. arrangements for the main-scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0081—Image reader
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Input (AREA)
- Facsimile Scanning Arrangements (AREA)
Description
【発明の属する技術分野】
本発明は、イメージスキャナやファクシミリ装置、複写機などの画像読み取り装置、画像読み取り装置のデータ補間方法及び制御プログラムに関する。
【0002】
【従来の技術】
原稿画像を画素毎にデジタル信号として読み取る画像読み取り装置は、従来より知られている。すなわち、この画像読み取り装置は、1次元の画素配列を有する画像読み取りセンサを複数個備え、この複数の画像読み取りセンサを、画素配列の方向に一列に複数個配置することで必要とされる画像読み取り範囲を満足するように構成され、画素配列と垂直な方向に移動しながら原稿画像を2次元デジタル信号として読み取るような構成になっている。
【0003】
しかし、この種の画像読み取り装置では、複数個設置された画像読み取りセンサ間のつなぎ部分の距離を精度よく約1画素分の距離にすることは、読み取り解像度が高くなってくると困難になってくる。センサ間のつなぎ部分の距離が離れると、印刷など網点画像等の周期性のある原稿画像を読み取った場合に、センサのつなぎの部分で読み取れない欠落データが生じ、筋状のノイズが発生してしまい、画質劣化の原因となっていた。
【0004】
このようなセンサつなぎ部分の欠落データを補間するため、一次元のフィルタ演算を行う技術が提案されている(例えば、特許文献1参照)。この提案では、補間位置であっても補間位置でなくても、全てのエレメントにおいてこのフィルタ演算が行われ、補間位置以外の任意のデータ位置でのフィルタ演算結果と実データ(輝度値)との差分を求め、実データに最も近かったフィルタ演算結果を補間位置でのフィルタ演算結果として選択するものである。
【0005】
【特許文献1】
特開2003−8853号公報
【0006】
【発明が解決しようとする課題】
しかしながら、上記従来の技術(例えば、特許文献1)では、センサつなぎ部分以外の画素において、複数のフィルタ演算結果と実際の輝度値との比較を1つずつ行うので、処理が複雑化する。さらに高精度な補間を行うためには、参照データの数を増やす必要があり、センサつなぎ目部分の欠落データを簡単且つ高精度に補間して高品質な画像を得る観点から限界があった。
【0007】
本発明は上記従来の問題点に鑑み、複数個の画像読み取りセンサをつなぎ合わせた画像読み取り装置であっても、センサつなぎ目部分の欠落データを簡単且つ高精度に補間して高品質な画像を得ることができる画像読み取り装置、画像読み取り装置のデータ補間方法及び制御プログラムを提供することを目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するために、請求項1に記載の画像読み取り装置は、原稿画像を画素毎に読み取る画像読み取り手段と、注目画素に相当する画素データを補間データにより補間する画素補間手段と、を有する画像読み取り装置において、前記画素補間手段は、前記注目画素の近傍に位置する複数の画素データの平坦度を検出する平坦度検出手段と、前記平坦度検出手段の検出結果に応じてフィルタサイズを選択するフィルタサイズ選択手段と、前記注目画素の近傍に位置する複数の画素データに対し、前記選択されたフィルタサイズでフィルタ処理を行うことにより前記補間データを算出する補間データ算出手段と、を有することを特徴とする。
【0009】
また、請求項8に記載のデータ補間方法は、原稿画像を画素毎に読み取る画像読み取り手段を有し、注目画素に相当する画素データを補間データにより補間する画像読み取り装置のデータ補間方法であって、前記注目画素の近傍に位置する複数の画素データの平坦度を検出し、その検出結果に応じてフィルタサイズを選択し、前記注目画素の近傍に位置する複数の画素データに対し、選択されたフィルタサイズでフィルタ処理を行うことにより 前記補間データを算出することを特徴とする。
【0010】
また、請求項9に記載の制御プログラムは、原稿画像を画素毎に読み取る画像読み取り手段を有し、注目画素に相当する画素データを補間データにより補間する画像読み取り装置のデータ補間方法をコンピュータにより実行するための制御プログラムであって、前記注目画素の近傍に位置する複数の画素データの平坦度を検出するステップと、前記平坦度の検出結果に応じてフィルタサイズを選択するステップと、前記注目画素の近傍に位置する複数の画素データに対し、選択されたフィルタサイズでのフィルタ処理を行うことにより前記補間データを算出するステップと、を備えたことを特徴とする。
【0011】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【0012】
[第1実施形態]
<画像読み取り装置の概略構成>
図1は、本発明の第1実施形態に係る画像読み取り装置(スキャナ)内に設けられた補間演算部の構成を示すブロック図であり、図2は、本実施形態の画像読み取り装置の外観図である。
【0013】
初めに図2において、本実施形態の画像読み取り装置であるスキャナは、原稿となる紙上の画像を照明し、1ライン画像読み取りセンサ(図3参照)を走査することで、ラスターイメージデータとして電気信号に変換する。スキャナに設けられた原稿台ガラス上に原稿をセットして、装置使用者が図示されない操作部において読み取りの指示を与えると、スキャナが原稿を読み取り上述のように電気信号に変換する。また、装置使用者が原稿用紙を原稿フィーダ201のトレイ202にセットし、操作部において読み取りの指示を与えることにより、フィーダ201が原稿用紙を一枚ずつフィードして原稿画像の読み取り動作を行うようにしてもよい。
【0014】
<画像読み取りセンサの詳細>
図3(a),(b)は、本実施形態の画像読み取りセンサの動作を説明するための図であり、同図(a)は原稿台ガラス30と1ライン画像読み取りセンサ31を示し、同図(b)は1ライン画像読み取りセンサの拡大図を示している。
【0015】
図3(a)において、装置使用者は、読み取りたい画像が下向きになるように原稿を原稿台ガラス30上にセットすると、原稿は照明手段で照明され、その反射してきた光がレンズ(セルフォック(商標)レンズアレイなど)を通して1ライン画像読み取りセンサ31に結像される。1ライン画像読み取りセンサ31は、その光像をアナログ電気信号に変換し、そして図示されないA/D変換装置によりデジタルの画像データが生成される。1ライン画像読み取りセンサ31は、CCDデバイス等の光電変換デバイスを備えて主走査方向に画像データを生成するので、スキャナは、該1ライン画像読み取りセンサ31を主走査方向と垂直な方向(副走査方向)に走査することにより、2次元画像データを生成することができる。
【0016】
1ライン画像読み取りセンサ31は、複数個の小さなイメージセンサ31−1〜31−10から成り、必要な主走査画素数を供給できるように構成されている。300mmを600dpiで読み取ると想定すると、必要となる主走査画素数は、
300mm/(25.4/600)=約7100画素
但し、1インチ[inch]=25.4mm
となる。各イメージセンサ31−1〜31−10は、それぞれ710画素から構成され、710×10個で7100画素を構成することになる。1画素の距離は、600dpiの読み取り解像度と想定しているため、
1/600インチ=25.4/600mm=約0.0423mm
である。よって、図3(b)に示す距離Aは、本実施形態では約0.0423mmである。
【0017】
イメージセンサ31−1〜31−9の最後の画素Lと隣合うセンサの最初の画素Fとの間の距離を約0.0423mmとすれば問題がないのであるが、該イメージセンサのチップの構成上、非常に困難もしくは物理的に不可能であることがあり、より長い距離が必要とされる場合がある。本実施形態では、距離Aの2倍の距離2Aとすることで、各イメージセンサ31−1〜31−10の実装を容易にしている。
【0018】
また、図3(b)に示すように画素Lと画素Fの間が他の画素よりも離れているために、このままでは各イメージセンサ31−1〜31−10のつなぎ目が目立ってしまうことになる。そこで、本実施形態では、画素Lと画素Fの間の読み取ることのできない画素Hを後述する補間演算部で算出し、各イメージセンサ31−1〜31−10間のチップのつなぎ目を目立たなくするようにしている。
【0019】
補間される画素Hは、各イメージセンサ31−1〜31−10のつなぎ目毎に存在するため、本実施形態では、イメージセンサ1個目と2個目の間の画素H1から、9個目と10個目の間の画素H9までの合計9箇所で補間演算部による算出が必要となる。
【0020】
<補間演算部の詳細>
図1に示すように、補間演算部は、画像入力手段101、セレクト信号生成手段102、第1のフィルタ手段103、第2のフィルタ手段104、及びセレクト手段105で構成されている。
【0021】
画像入力手段101から画像データが入力されると、周期性のある画像データの補間に適した第1のフィルタ手段103と、第1のフィルタ手段103に適さない画像データの補間を行う第2のフィルタ手段104とで畳み込み演算を行い、それぞれフィルタ処理後の信号を生成する。セレクト信号生成手段102は、画像データが第1のフィルタ手段103に適した画像であるかどうかを判定し、セレクト信号SLを生成して出力する。
【0022】
セレクト手段105は、第1、第2のフィルタ手段103,104でそれぞれ演算された各画像信号及び注目画素信号TG1の3つの画像信号と、注目画素位置情報TG2とが入力され、注目画素位置情報TG2が、補間を必要としている位置を示していない場合には、注目画素信号TG1をそのまま出力する。補間を必要としている位置、すなわち画素H1〜H9の位置の場合には、セレクト信号SLに応じて、第1のフィルタ手段103の処理信号もしくは第2のフィルタ手段104の処理信号のどちらかを選択して出力する。
【0023】
以下、この補間演算部の処理について、さらに詳しく説明する。
【0024】
1ライン画像読み取りセンサ31で読み取られた画像データは、画像入力手段101から入力される。本実施形態では、注目画素を中心にして、左右に5画素ずつ、計11画素分のデータが入力される。各画素は、0〜255レベルの8ビット多値輝度信号であるとする。注目画素が1画素ずつずれていくように構成され、注目画素が6画素目であれば、1〜11画素目の画像データが供給されて処理を施し、注目画素である6画素目の処理が終了すると注目画素を7画素目として、2〜12画素目の画像データが供給され、主走査画素数分の処理を続ける。また、主走査画素数分の処理が終了したら、副走査方向に1ライン進み、同様に処理を続け、副走査読み取りライン分だけ処理を続けて終了する。
【0025】
画像データの供給分が11画素というのは、フィルタのサイズにより決定される値である。注目画素が画像端部である場合には、11画素分のデータを供給できない場合があるが、その場合は、処理を行わず、入力された画素データをそのまま出力すればよい。
【0026】
ここで、1ライン画像読み取りセンサ31から入力される画像データは、主走査方向に710×10=7100画素であるが、処理の簡素化を図るために、上述した補間画素H1からH9は、それぞれイメージセンサ31−1〜31−9の最後の画素Lと隣のイメージセンサの最初の画素Fとの間に、ダミーデータとして挿入されているとする。補間画素H1〜H9は、最終的に補間演算されて出力されるため、ダミーデータはどのような値であっても構わないが、ここでは、0を入力することにする。
【0027】
以上のことから、1画素目〜710画素目は、1個目のイメージセンサ31−1で生成された画素データであり、711画素目はH1(ダミーデータ)であり、712画素目〜1421画素目は、2個目のイメージセンサ31−2で生成された画素データであり、1422画素目はH2(ダミーデータ)である。以降同じように入力されることとなり、入力される画像データは、主走査画素数7100に補間画素数9を加えた計7109画素データとなる。補間が必要となる画素H1〜H9の位置は、
(イメージセンサの画素数(710)+1)×N画素目
但し、Nは整数
となる。
【0028】
要求される主走査画素数は7100画素と述べたが、要求されるよりも広い範囲を読み取れるように構成されても、範囲外の画素は使用せず破棄すればよいので、大きな問題ではない。
【0029】
画像入力手段101から入力された画像データは、第1のフィルタ手段103に入力される。入力される画像データは、注目画素と注目画素近傍の左右5画素ずつの計11画素とし、畳み込み演算処理が11画素のデータを用いて行われる。第1のフィルタ手段103の処理は、前述の通り、周期性のある画像データに対して有効な補間演算を行うために必要となる。
【0030】
ここで、11画素のフィルタ係数の一例を以下に示す。
【0031】
23,-49,75,-98,113,0,113,-98,75,-49,23
このフィルタ係数において、真中の係数「0」は注目画素用の係数である。補間演算が必要となる画素H1〜H9は、ダミーデータが予めセットしてあり、畳み込み演算に反映させないように0となっている。そのため、注目画素を除く10画素の畳み込み演算となっている。上記係数を用いて、各画素は、それぞれの位置に対応した係数と掛け算される。例えば、最も左の係数「23」は、注目画素から左に5画素目の画像データと掛け算され、左から2番目の係数「−49」は、注目画素から左に4画素目の画像データと掛け算されといった具合に演算される。
【0032】
それら掛け算の結果を10画素分、全て足された総和に対して128で割った値を算出するように第1のフィルタ手段103は構成される。128という数字は、フィルタ係数の正規化数である。同じ周波数応答を得るためには、正規化数に応じて、フィルタ係数が変わってくる。ハード化やソフト処理時の高速化のために2のべき乗となるようにすることが望ましく、本実施形態では、仮に128としている。
【0033】
図4は、第1のフィルタ手段103に使用する上述の係数の空間周波数応答を示すグラフであり、横軸が空間周波数(lp/mm)、縦軸がゲインを表している。
【0034】
本実施形態では、読み取り解像度を600dpiとしているために、300dpi=約12[lp/mm]までのグラフとなっている。0[lp/mm]〜8[lp/mm]までほぼ1になっている。これは、8[lp/mm]までの周波数をもつ画像であれば、ほぼ的確に補間処理ができることを表している。すなわち、原稿に印刷物のように細かい周期の網点が存在したとしても、8[lp/mm]=約200線までの印刷物であれば、補間処理により近傍の画素から補間画素が的確に算出され、つなぎ目H1〜H9を目立たなくすることが可能となる。
【0035】
また、より高周波数になると、ゲインがマイナスになってその値が大きくなっていることが判る。より高周波な成分をもつ画像に対しては、振幅が原稿とは反転し、振幅が不自然に大きくなることを表しているが、現状では、200線を超える周波数の原稿は稀であるために、あまり大きな問題とはならない。
【0036】
画像入力手段101から入力された画像データは、第2のフィルタ手段104にも入力される。入力される画像データは、注目画素と注目画素の隣の左右1画素ずつの計3画素とし、畳み込み演算処理が3画素のデータを用いて行われる。第2のフィルタ手段104の処理は、前述の通り、第1のフィルタ手段103の処理に適さない画像データに対して有効な補間演算を行うために必要となる。また、周期性のない画像を対象にするため、第1のフィルタ手段103のサイズよりも小さいフィルタサイズで構成することが可能である。
【0037】
3画素のフィルタ係数の一例を以下に示す。
【0038】
64,0,64
このフィルタ係数において、真中の係数は、注目画素用の係数であり、0となっている。補間演算が必要となる画素H1〜H9は、ダミーデータが予めセットしてあり、畳み込み演算に反映させないように0となっている。そのため、注目画素を除く2画素の畳み込み演算である。また、第1のフィルタ手段103と同様、正規化数が128であり、畳み込み演算された後で、128で割り算をすることで、第2のフィルタ手段104の処理は行われる。ここでは、正規化数を128としたが、正規化数を2として、係数を左右画素が1、注目画素が0として回路構成を簡単にしてもよい。ここでは、第1のフィルタ手段103の処理と同じ正規化数としたが、特に同じである必要はない。
【0039】
画像入力手段101は、セレクト信号生成手段102にも画像データを供給する。セレクト信号生成手段102は、第1のフィルタ手段103に適さない周期性のない画像かどうかの判断を行い、第1のフィルタ手段103の処理に適した画像と判断すると1を、そうでなければ0を出力し、セレクタ手段105にセレクト信号SLを供給する。
【0040】
<セレクト信号生成手段102の詳細>
図5は、セレクト信号生成手段102の内部構成を示す図である。
【0041】
図中の801は左平坦度検出手段、802は右平坦度検出手段である。803はAND処理手段である。左平坦度検出手段801及び右平坦度検出手段802は、平坦であると判断すると0を、平坦でないと判断すると1を出力する。すなわち、どちらも平坦でないと判断されると1を出力して、第1のフィルタ手段103の処理結果を用いるというセレクト信号SLを出力し、どちらか一方でも平坦であると判断すると0を出力して、第2のフィルタ手段104の処理結果を用いるというセレクト信号SLを出力することになる。
【0042】
図6は、第1のフィルタ手段103の処理結果に適していない画像例を示すグラブである。
【0043】
このグラフの横軸は画素を示し、縦軸は輝度レベルを示しており、輝度の主走査方向の分布である。輝度レベルは、値が大きければ明るく、小さければ暗い画素となる。注目画素は、供給された画像データを表す図7に示すように、5の位置(「*」印)であり(左から右の画素に向かって0〜10の番号が付されている)、第1のフィルタ手段103で演算した結果、周りの画素よりも暗くなってしまっており、これが副走査方向に数ライン続くことになるため、つなぎ目が目立ってしまうことになる。
【0044】
注目画素より左は明るく、右は暗くなっており、周期性のない画像であることが図6のグラフから判る。左側が下地部で文字が右側に存在する場合にこのような分布となる。上述の通り、副走査方向に数ラインに亘ってこのような状態が続くと、文字部に近接した下地部に暗い線状のノイズが発生してしまう。このような場合、第2のフィルタ手段104の処理を用いることで、的確な補間演算が可能なことが判る。すなわち、4の位置の画素と6の位置の画素の平均となるため、図6のように極端に暗くなって目立ったりすることがなくなる。
【0045】
このように、周期性がなく第1のフィルタ手段103に適さない画像データ、輝度分布であることを検出した場合には、第2のフィルタ手段104の結果を用いるようにすることで、つなぎ目を目立たなくすることが可能となる。
【0046】
左平坦度検出は、以下のように行われる。
【0047】
まず4画素分(図7に示した画素1,画素2,画素3,画素4)の最大値MAX、最小値MINを算出し、その最大値と最小値の差(MAX−MIN)が予め定められた閾値(TH0)以下であるならば、平坦と判断して「0」を出力し、それ以外であるならば、平坦でないと判断して、「1」を出力する。
【0048】
周期性があり、一定以上の振幅をもっているのであれば、4画素の間にMAX−MINの差が大きい値になることが予想される。これを判定するために上述のようにすることで、平坦でない(周期性があると推定される)か、平坦かを検出する。本実施形態では、4画素で平坦度検出を行ったが、この限りではないことは言うまでもない。
【0049】
一方、右平坦度検出は、図7に示した画素6、7,8,9で、同様の処理を行う。
【0050】
セレクタ手段105は、第1のフィルタ手段103の処理結果と、第2のフィルタ手段104の処理結果と、注目画素信号TG1及び注目画素位置情報TG2を入力し、注目画素位置情報TG2がつなぎ目部分でないと判断したときは、注目画素信号TG1をそのまま出力する。
【0051】
また、注目画素位置がつなぎ目部分であった場合には、セレクタ信号SLにより、第1のフィルタ手段103の処理結果もしくは第2のフィルタ手段104の処理結果を選択して出力する。
【0052】
このように本実施形態では、センサのつなぎ部分を約2画素分の距離として、その間の1画素を周辺の画素データを用いて補間演算する。補間演算は、周辺画素データを畳み込み演算するデジタルフィルタを用いて行われる。左右5画素ずつのフィルタサイズのデジタルフィルタである第1のフィルタ手段103を用いて、周期的な画像であれば、画質劣化が少なく補間できるようにフィルタを設計する。但し、この方法で補間すると、下地と文字の境界のような輝度値が大きく異なり且つ周期性の少ない画像の場合に画質劣化が生じてしまうため、周期性の少ない画像で画質劣化が少ない左右1画素ずつの平均値で補間画素データを生成する小さいフィルタサイズのデジタルフィルタである第2のフィルタ手段104を用意しておいて、補間すべき注目画素の左右側それぞれの輝度分布が平坦かどうかを検出し、平坦である場合には、画像に周期性が少ないと判断して第2のフィルタ手段104で得られた補間結果を用いるように構成する。
【0053】
このように、第1と第2のフィルタ手段103,104を備え、これを適応的に切り換えることで、複数個のイメージセンサを一列に配置した画像読み取りセンサを有する画像読み取り装置であっても、センサつなぎ目部分の欠落データを簡単且つ高精度に補間することができるので、イメージセンサ間のつなぎ目を目立たせることなく良好な画像を得ることができる。
【0054】
[第2実施形態]
本実施形態は、セレクト信号生成手段102を図8に示すように構成したものである。
【0055】
同図において、801が左平坦度検出手段、802が右平坦度検出手段、803がAND処理手段であり、これらの機能は、図5に図示したものと同じであり、同様の処理を行うため、説明を省略する。901はセンタ平坦度検出手段、902はセンタ平坦度例外検出手段、903はOR処理手段、904はAND処理手段である。
【0056】
本実施形態では、セレクタ信号生成手段102に、センタ平坦度検出手段901及びセンタ平坦度例外検出手段902を設けることで、より精度の高いセレクト信号SLを生成することができる。
【0057】
図9は、第1のフィルタ手段103の処理結果に適していない画像例を示す図であり、横軸が画素を示し、縦軸は輝度レベルを示しており、輝度の主走査方向の分布である。輝度レベルは、値が大きければ明るく、小さければ暗い画素となる。
【0058】
同図において、注目画素は、図7に示すように5の位置であり、第1のフィルタ手段103で演算した結果、周りの画素よりも暗くなってしまっており、これが副走査方向に数ライン続くことになるため、つなぎ目が目立ってしまうことになる。
【0059】
注目画素より左は明るく右は暗くなっており、周期性がない画像であるか、もしくは11画素で検出するには長すぎる周期であることが図9のグラフから判る。左右に線があるなど暗い画像データで、真中が明るく抜けている場合の分布となる。上述の通り、副走査方向に数ラインに亘ってこのような状態が続くと、暗い画像データの間にある明るい画像部に暗い線状のノイズが発生してしまう。このような場合、第2のフィルタ手段104の処理を用いることで、的確な補間演算が可能なことが判る。すなわち、4の位置の画素と6の位置の画素の平均となるため、図9に示すケースのように極端に暗くなって目立ったりすることがなくなる。
【0060】
センタ平坦度検出手段901は、このような場合にセレクト信号SLを0とし、第2のフィルタ手段104の処理を選択させるように動作することで、上述の問題を回避しようというものである。センタ平坦度検出は、以下のように行われる。
【0061】
まず4画素分(図7に示した画素3,画素4,画素6,画素7)の最大値MAX、最小値MINを算出し、その最大値と最小値の差(MAX−MIN)が予め定められた閾値(TH2)以下であるならば、平坦と判断して0を出力する。それ以外ならば、1を出力する。図9のような画像の場合、左右4画素づつの平坦度検出では左右ともに平坦でないと検出され、第1のフィルタ部103の処理が適用されてしまう。そこで、センタの平坦度 検出を行い、左右の平坦度検出結果にかかわらず、第2のフィルタ部104の処理を適用できるようにする。
【0062】
センタ平坦度例外検出手段902は、センタ平坦度検出手段901が平坦であると判断した場合でも、第1のフィルタ手段103を使う方が的確に補間演算できる場合に1を出力し、センタ平坦度検出手段901とセンタ平坦度例外検出手段902の出力の論理和をOR処理手段903で出力することにより、より高精度なセレクト信号SLを生成する。すなわち、センタ平坦度検出手段901が平坦と判断して0を出力し、且つセンタ平坦度例外検出手段902が第1のフィルタ手段103の処理が必要でないと判断して0を出力した場合に、OR処理手段903は、0を出力し、第2のフィルタ手段104の処理を使うような信号を生成する。それ以外の場合は、OR処理手段903は、1を出力し、第1のフィルタ手段103の処理を使うような信号を生成することになる。
【0063】
センタ平坦度例外検出手段902は、図10に示すようなケースに、第1のフィルタ手段103を選択するように1を出力することになる。図10は、センタ平坦度例外検出手段902を説明するための画像データの輝度分布図であり、2画素は明るい画素で1画素は暗い画素の3画素周期の画像の輝度分布を表していると推定される。200線の印刷原稿などでこのような輝度分布を示す。
【0064】
このような場合に、第2のフィルタ手段104の処理を使用して補間演算をすると、画素2や画素8のように暗い画素として補間演算すべきところを図10のケースのように明るい画素として補間演算してしまう。これを防ぐために、センタ平坦度例外検出手段902は、以下のような処理とする。
【0065】
図7に示した画素1,2,3,7,8,9を用いて、画素1と画素2のレベル差(絶対値)が閾値TH3を超えており、且つ画素9と画素8のレベル差(絶対値)が閾値TH4を超えており、且つ画素1と画素3のレベル差(絶対値)が、画素1と画素2のレベル差(絶対値)より少なく、且つ画素7と画素9のレベル差(絶対値)が画素8と画素9のレベル差(絶対値)より少ない場合に、1を出力する。それ以外は、0を出力する。
【0066】
本実施形態では、左平坦度検出手段801、右平坦度検出手段802、センタ平坦度検出手段901、及びセンタ平坦度例外検出手段902を有し、左平坦度検出手段801及び右平坦度検出手段802のいずれか1つでも平坦であると判定されるか、センタ平坦度検出手段901で平坦であると検出され、且つセンタ平坦度例外検出手段902で一定の条件を満たさなかった場合に、第2のフィルタ手段104の処理を選択するように動作する。これにより、センサつなぎ目部分の欠落データを、高精度且つ簡単に補間することができるので、イメージセンサ間のつなぎ目を目立たせることなく、一層高品質な画像を得ることができる。
【0067】
なお、各処理の説明で用いた閾値TH0〜TH4は設計事項であるが、輝度レベルが255レベルと想定した場合に、閾値が200レベル以上などと極端に大きくしたり、0のように極端に小さくすると所望の効果が得られなくなるため、適切な数字を選ぶ必要がある。例えば、20レベル近辺とすると予想される効果が得られ易い。
【0068】
本発明は、上述した実施形態の装置に限定されず、複数の機器から構成されるシステムに適用しても、1つの機器から成る装置に適用してもよい。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、完成されることは言うまでもない。
【0069】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOSなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0070】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるCPUなどが処理を行って実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0071】
【発明の効果】
以上詳細に説明したように本発明によれば、複数個の画像読み取りセンサをつなぎ合わせた画像読み取り装置により読み取りを行う場合のように補間すべき注目画素がある場合でも、注目画素データを簡単且つ高精度に補間して高品質な画像を得ることができる。
【図面の簡単な説明】
【図1】 本発明の第1実施形態に係る画像読み取り装置(スキャナ)内に設けられた補間演算部の構成を示すブロック図である。
【図2】 各実施形態の画像読み取り装置の外観図である。
【図3】 各実施形態に係る画像読み取りセンサの動作を説明するための図である。
【図4】 第1のフィルタ手段103に使用する係数の空間周波数応答を示すグラフである。
【図5】 図1中のセレクト信号生成手段の内部構成を示す図である。
【図6】 図1中の第1のフィルタ手段の処理結果に適していない画像例を示すグラブである。
【図7】 各処理を説明するための画素位置を表した図である。
【図8】 第2実施形態に係るセレクタ信号生成手段を示すブロック図である。
【図9】 センタ平坦度検出処理を説明するための画像データの輝度分布図である。
【図10】 センタ平坦度例外検出処理を説明するための画像データの輝度分布図である。
【符号の説明】
31 1ライン画像読み取りセンサ
31−1〜31−10 イメージセンサ
101 画像入力手段
102 セレクト信号生成手段
103 第1のフィルタ手段
104 第2のフィルタ手段
105 セレクト手段
Claims (9)
- 原稿画像を画素毎に読み取る画像読み取り手段と、注目画素に相当する画素データを補間データにより補間する画素補間手段と、を有する画像読み取り装置において、
前記画素補間手段は、前記注目画素の近傍に位置する複数の画素データの平坦度を検出する平坦度検出手段と、前記平坦度検出手段の検出結果に応じてフィルタサイズを選択するフィルタサイズ選択手段と、前記注目画素の近傍に位置する複数の画素データに対し、前記選択されたフィルタサイズでフィルタ処理を行うことにより前記補間データを算出する補間データ算出手段と、を有することを特徴とする画像読み取り装置。 - 前記画像読み取り手段は、所定の間隔を空けて一列に配置された複数のイメージセンサからなり、前記注目画素は、隣接するイメージセンサ同士の間に相当する画素であることを特徴とする請求項1記載の画像読み取り装置。
- 前記補間データ算出手段は、フィルタサイズの異なる複数のフィルタを有することを特徴とする請求項1又は2に記載の画像読み取り装置。
- 前記フィルタサイズは、前記補間データ算出手段が前記補間データを算出する際に参照する画素数に基づくものであることを特徴とする請求項1乃至3のいずれか1項に記載の画像読み取り装置。
- 前記平坦度検出手段は、前記注目画素の両側それぞれに位置する複数の画素データの平坦度を検出することを特徴とする請求項1乃至4のいずれか1項に記載の画像読み取り装置。
- 前記平坦度検出手段は、前記注目画素の両側それぞれに位置する複数の画素データの最大値及び最小値を算出し、その最大値と最小値の差が予め定められた閾値以下である場合に平坦度が高いと判定することを特徴とする請求項5に記載の画像読み取り装置。
- 前記平坦度検出手段は、前記注目画素の両側それぞれ及び両方に位置する複数の画素データの平坦度を検出することを特徴とする請求項5に記載の画像読み取り装置。
- 原稿画像を画素毎に読み取る画像読み取り手段を有し、注目画素に相当する画素データを補間データにより補間する画像読み取り装置のデータ補間方法であって、
前記注目画素の近傍に位置する複数の画素データの平坦度を検出し、その検出結果に応じてフィルタサイズを選択し、前記注目画素の近傍に位置する複数の画素データに対し、選択されたフィルタサイズでフィルタ処理を行うことにより前記補間データを算出することを特徴とする画像読み取り装置のデータ補間方法。 - 原稿画像を画素毎に読み取る画像読み取り手段を有し、注目画素に相当する画素データを補間データにより補間する画像読み取り装置のデータ補間方法をコンピュータにより実行するための制御プログラムであって、
前記注目画素の近傍に位置する複数の画素データの平坦度を検出するステップと、
前記平坦度の検出結果に応じてフィルタサイズを選択するステップと、
前記注目画素の近傍に位置する複数の画素データに対し、選択されたフィルタサイズでのフィルタ処理を行うことにより前記補間データを算出するステップと、
を備えたことを特徴とする制御プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003064998A JP3710452B2 (ja) | 2003-03-11 | 2003-03-11 | 画像読み取り装置、データ補間方法及び制御プログラム |
US10/795,943 US7200286B2 (en) | 2003-03-11 | 2004-03-08 | Image reading apparatus |
CNB2004100284315A CN1278539C (zh) | 2003-03-11 | 2004-03-11 | 图像读取装置及其数据插值方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003064998A JP3710452B2 (ja) | 2003-03-11 | 2003-03-11 | 画像読み取り装置、データ補間方法及び制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004274573A JP2004274573A (ja) | 2004-09-30 |
JP3710452B2 true JP3710452B2 (ja) | 2005-10-26 |
Family
ID=32959169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003064998A Expired - Fee Related JP3710452B2 (ja) | 2003-03-11 | 2003-03-11 | 画像読み取り装置、データ補間方法及び制御プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7200286B2 (ja) |
JP (1) | JP3710452B2 (ja) |
CN (1) | CN1278539C (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4408771B2 (ja) * | 2004-08-24 | 2010-02-03 | 株式会社リコー | 画像読取装置 |
US7433539B2 (en) * | 2004-11-19 | 2008-10-07 | Xerox Corporation | Method for run-time streak removal |
CN1953504B (zh) * | 2005-10-21 | 2010-09-29 | 意法半导体研发(上海)有限公司 | 用于cfa图像插值的自适应分类方法 |
JP4330164B2 (ja) * | 2005-11-16 | 2009-09-16 | 京セラミタ株式会社 | 画像補間装置 |
JP4732153B2 (ja) * | 2005-11-29 | 2011-07-27 | 日立コンピュータ機器株式会社 | 画素補間方法及び装置、画像読取装置 |
JP4616794B2 (ja) * | 2006-05-18 | 2011-01-19 | 富士フイルム株式会社 | 画像データのノイズ低減装置およびその制御方法 |
WO2008090608A1 (ja) | 2007-01-24 | 2008-07-31 | Fujitsu Limited | 画像読取装置、画像読取プログラム、画像読取方法 |
US7840865B2 (en) * | 2007-03-23 | 2010-11-23 | Mentor Graphics Corporation | Built-in self-test of integrated circuits using selectable weighting of test patterns |
KR101470019B1 (ko) * | 2008-12-26 | 2014-12-05 | 엘지이노텍 주식회사 | 이미지센서의 불량 픽셀 검출 및 보정 방법 |
JP4958056B2 (ja) * | 2009-05-12 | 2012-06-20 | 東芝ディーエムエス株式会社 | 画像補間装置および画像補間プログラム |
JP4803288B2 (ja) | 2009-08-12 | 2011-10-26 | コニカミノルタビジネステクノロジーズ株式会社 | 画素補間装置、画素補間方法および画像読取装置 |
JP5316309B2 (ja) * | 2009-08-25 | 2013-10-16 | コニカミノルタ株式会社 | 画像処理装置および画像処理方法 |
JP5515552B2 (ja) * | 2009-09-17 | 2014-06-11 | コニカミノルタ株式会社 | 画素補間装置、画素補間方法および画像読取装置 |
JP2011081605A (ja) * | 2009-10-07 | 2011-04-21 | Fujifilm Corp | 画像処理装置、方法及びプログラム |
JP2012060434A (ja) | 2010-09-09 | 2012-03-22 | Fuji Xerox Co Ltd | 画素補間装置、画像読取装置、及び画素補間プログラム |
JP5741007B2 (ja) | 2011-01-21 | 2015-07-01 | 株式会社リコー | 画像処理装置、画素補間方法およびプログラム |
JP5703777B2 (ja) * | 2011-01-24 | 2015-04-22 | 株式会社リコー | 画像処理装置、画素補間方法およびプログラム |
DE102016113010A1 (de) * | 2015-12-15 | 2017-06-22 | Basler Ag | Bestimmung von Helligkeitswerten virtueller Pixel |
CN111292233B (zh) * | 2018-12-06 | 2023-08-15 | 成都微晶景泰科技有限公司 | 透镜阵列图像拼接方法、装置及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3064598B2 (ja) * | 1991-12-02 | 2000-07-12 | 松下電器産業株式会社 | 相関検出補間方法および装置 |
US5430811A (en) * | 1991-12-25 | 1995-07-04 | Matsushita Electric Industrial Co., Ltd. | Method for interpolating missing pixels and an apparatus employing the method |
JPH11187221A (ja) * | 1997-12-17 | 1999-07-09 | Fuji Photo Film Co Ltd | 画像読取装置 |
US6188804B1 (en) * | 1998-05-18 | 2001-02-13 | Eastman Kodak Company | Reconstructing missing pixel information to provide a full output image |
US6625325B2 (en) * | 1998-12-16 | 2003-09-23 | Eastman Kodak Company | Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel |
US6832009B1 (en) * | 1999-09-24 | 2004-12-14 | Zoran Corporation | Method and apparatus for improved image interpolation |
JP2002232654A (ja) | 2001-02-01 | 2002-08-16 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
WO2003001889A2 (en) * | 2001-06-29 | 2003-01-09 | Meso Scale Technologies, Llc. | Assay plates reader systems and methods for luminescence test measurements |
JP3903415B2 (ja) | 2001-08-24 | 2007-04-11 | 大成建設株式会社 | 防水シート加熱装置 |
-
2003
- 2003-03-11 JP JP2003064998A patent/JP3710452B2/ja not_active Expired - Fee Related
-
2004
- 2004-03-08 US US10/795,943 patent/US7200286B2/en active Active
- 2004-03-11 CN CNB2004100284315A patent/CN1278539C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1531329A (zh) | 2004-09-22 |
CN1278539C (zh) | 2006-10-04 |
US7200286B2 (en) | 2007-04-03 |
JP2004274573A (ja) | 2004-09-30 |
US20040179747A1 (en) | 2004-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3710452B2 (ja) | 画像読み取り装置、データ補間方法及び制御プログラム | |
JP3915563B2 (ja) | 画像処理装置および画像処理プログラム | |
US8687240B2 (en) | Image processing apparatus and control method for performing screen processing | |
JP4610930B2 (ja) | 画像処理装置、画像処理プログラム | |
JP4046465B2 (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
WO2000024189A1 (en) | Printing apparatus and method | |
US6728425B1 (en) | Image processing device | |
JPH0354679A (ja) | 画像処理装置 | |
US20100134661A1 (en) | Image processing apparatus, image processing method and program | |
US20100073732A1 (en) | Image processing apparatus and image processing method | |
JP2002232654A (ja) | 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2000196881A (ja) | 画像処理装置 | |
US20090213400A1 (en) | Image processing apparatus and image processing method | |
JP4422128B2 (ja) | 2値画像の階調補正処理方法 | |
CN111738960A (zh) | 图像处理设备、方法及图像形成装置 | |
JP3784537B2 (ja) | 画像処理装置 | |
JP3468966B2 (ja) | 画像処理装置 | |
JPH0690724B2 (ja) | 画像の輪郭強調方法 | |
JP2004180199A (ja) | 画像読み取り装置における画像処理方法 | |
JP3742227B2 (ja) | 画像データの2値化処理回路および方法 | |
JP2002262070A (ja) | 画像処理装置 | |
JP2618894B2 (ja) | 画像信号処理装置 | |
JP2003008853A (ja) | 画像処理装置 | |
JP2004128839A (ja) | 画像処理装置 | |
JPH11177836A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3710452 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080819 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090819 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090819 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100819 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110819 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120819 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120819 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130819 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |