JPH08154166A - 画像読み取り装置 - Google Patents

画像読み取り装置

Info

Publication number
JPH08154166A
JPH08154166A JP7254673A JP25467395A JPH08154166A JP H08154166 A JPH08154166 A JP H08154166A JP 7254673 A JP7254673 A JP 7254673A JP 25467395 A JP25467395 A JP 25467395A JP H08154166 A JPH08154166 A JP H08154166A
Authority
JP
Japan
Prior art keywords
document
image
original
detecting
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7254673A
Other languages
English (en)
Other versions
JP3384208B2 (ja
Inventor
Shinya Matsuda
伸也 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP25467395A priority Critical patent/JP3384208B2/ja
Publication of JPH08154166A publication Critical patent/JPH08154166A/ja
Application granted granted Critical
Publication of JP3384208B2 publication Critical patent/JP3384208B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

(57)【要約】 【課題】 画像読み取り装置において、書籍等の原稿を
押さえる手指の位置検出や、原稿の余白位置の判定を誤
ることがなく、原稿の左右にある端面の余白部を的確に
消去し、また、原稿の中央にある綴じ部、縦書きされて
いる原稿の行間の余白部分に対応する画像については白
データを補間する。 【解決手段】 ラインセンサ7により原稿台上に設置さ
れた原稿面と原稿を押さえる手指の像とを読み取り、そ
の画像情報より原稿の輝度情報を検出し一時記憶する。
CPU23は、読み取り画像情報の左右方向での位置を
検出し、また、記憶された輝度情報から原稿の下地輝度
と文字部と判断すべき輝度閾値を設定し、また、設定さ
れた文字部の輝度閾値を下回る画素数を文字度数として
カウントする。これらの各情報を総合判断して、原稿の
中で最も余白らしいと考えられる左右位置を検出し、そ
れより外側の画像情報を消去する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、書籍原稿などを光
学的走査によって読み取る画像読み取り装置において、
原稿の左右に存在する余白部、原稿の中央部に存在する
余白部等を検出し、原稿の端面や原稿を押さえる手指の
像を消去する技術に関する。
【0002】
【従来の技術】従来より、この種の画像読み取り装置に
おいて、画像データが黒から白に変わる変化点を求め、
画像領域を認識し、画像領域以外の画像を白データとす
ることにより、画像領域外の不要な画像を消去する処理
技術が存在する。書籍等の原稿の表面を上向きに原稿台
に載置し、頁が浮いてしまわないように、その原稿の両
端部を手指で押さえながら、原稿台の上方に設けられた
読み取り部で画像を読み取る装置がある。このように、
手指で原稿を押さえながら画像を読み取る装置において
は、手指の色が肌色であるため、画像データの変化点と
して検出できない可能性がある。従って、手指の画像
は、上述の画像処理技術をもってしても、消去できない
場合がある。
【0003】このような課題を解決することを目的とし
た画像読み取り装置が提案されている。1つは、原稿を
カラーセンサで撮影し、その色情報より手指の肌色部分
を検出することにより、撮影領域を決定すると共に、原
稿を押さえている手指の位置を判断し、手指の像を消去
する装置である(例えば、特開平6−105091号公
報参照)。
【0004】他の1つは、原稿の下地や文字の領域と手
指の領域との輝度差を基に、文字領域の画素数を求めて
撮影領域を検出し、もって手指の領域を消去する装置が
ある(例えば、特開平6−78133号公報参照)。そ
の他に、原稿をモノクロセンサで撮影し、その撮影画像
の中で原稿下地と手指の影部分との輝度差により、手指
の置かれている領域を判別し、手指の像を消去する装置
が知られている。また、書籍等の原稿の高さの変化によ
って生じる原稿画像の副走査方向の縮みを補正するため
に、副走査方向にライン単位に画像データを補間する画
像読み取り装置が存在する。この読み取り装置において
は、補間するライン数分のバッファメモリが必要とな
り、補正量はバッファメモリの容量によって決定され
る。
【0005】
【発明が解決しようとする課題】しかしながら、上記の
ような、色情報より手指の位置を検出し、手指の像を消
去する画像読み取り装置においては、肌色の濃さや色み
の違いにより検出を誤る可能性があった。また、文字部
の画素数のみから撮影領域を検出する画像読み取り装置
においては、本来消去すべき位置より中央側で余白部が
生じることのある、辞書の段落部分や縦書きの原稿など
において、余白部の位置の判定を誤り、必要な原稿部分
を消去するといったことがあった。さらに、厚い本の端
面などは輝度が低いため、その部分では、指の輝度と原
稿下地の輝度との判別がつかず、そのため、撮影領域の
判定を誤る可能性があった。また、書籍等の原稿の高さ
の変化によって生じる原稿画像の副走査方向の縮みを補
正するために、副走査方向にライン単位に画像データを
補間する画像読み取り装置においては、補間するライン
数分のバッファメモリが必要となり、補正量はバッファ
メモリの容量によって決定されるため、歪みが大きい場
合には、補正が不十分になってしまい、補正を十分に行
おうとすれば、容量の大きいバッファメモリを使用しな
ければならず、装置のコストアップになってしまう。
【0006】本発明は、上記問題を解決するものであ
り、原稿を光学的走査によって読み取る画像読み取り装
置において、原稿を押さえる手指の位置検出や、原稿の
余白位置の判定を誤ることがなく、正しく撮影領域を判
定でき、原稿の左右にある端面の余白部を的確に消去す
ることが可能な画像読み取り装置を提供することを目的
とするものである。また、本発明は、原稿の左右にある
端面の余白部の他に、書籍等の原稿の中央にある綴じ部
や文字が縦書きされている原稿の行間の余白部(これら
を総称して余白部分という)を検出し、その余白部分に
対応する画像については、バッファメモリを使用するこ
となく白データを補間することでバッファメモリを有効
に利用して、装置のコストダウンが図れる画像読み取り
装置を提供することを目的とするものである。
【0007】
【課題を解決するための手段】上記目的を達成するため
に請求項1に記載の発明は、原稿台上に設置された原稿
を光学的走査によって読み取る画像読み取り装置におい
て、原稿の読み取りを行う撮像素子と、撮像素子により
読み取られた原稿の輝度情報を一時記憶する記憶手段
と、撮像素子により読み取られた原稿の左右位置を検出
する位置検出手段と、記憶手段に記憶した輝度情報に基
づいて原稿の下地輝度を検出する輝度検出手段と、記憶
手段に記憶した輝度情報に基づいて文字部と判断すべき
画素数を文字度数としてカウントする計数手段と、原稿
の左右位置、下地輝度、及び文字度数の各情報に基いて
原稿の左右にある余白部を検出する余白部検出手段と、
余白部検出手段により検出された余白部の外側の画像を
消去する画像処理手段とを備えたものである。
【0008】上記構成において、撮像素子は、原稿台上
に設置された原稿面と原稿を押さえる手指の像とを、同
時に走査して読み取る。記憶手段は、その読み取り画像
情報より原稿の輝度情報を、原稿の縦方向1ライン毎に
検出し一時記憶する。位置検出手段は、読み取り画像情
報の左右方向での位置を検出する。輝度検出手段は、一
時記憶された1ラインの輝度情報から、例えば輝度ヒス
トグラムを作成し、そのヒストグラム形状から原稿の下
地輝度と文字部と判断すべき輝度閾値を設定する。計数
手段は、設定された文字部の輝度閾値を下回る画素数
を、文字度数としてカウントし記憶する。余白部検出手
段は、上記のようにして求められたライン単位の左右位
置情報、下地輝度情報、及び文字度数情報を総合的に判
断して、原稿の中で最も余白らしいと考えられる左右位
置を検出する。画像処理手段は、余白部検出手段が検出
した余白位置より外側にある画像情報を消去する。こう
して、原稿端面や手指の像を消去することができる。
【0009】請求項2に記載の発明は、原稿台上に設置
された書籍等の原稿を光学的走査によって読み取る画像
読み取り装置において、原稿の読み取りを行う撮像素子
と、原稿の高さを検出する高さ検出手段と、撮像素子に
より読み取られた原稿の画像情報を一時記憶する記憶手
段と、撮像素子により読み取られた原稿の左右位置を検
出する位置検出手段と、記憶手段に記憶した輝度情報に
基づいて原稿の下地輝度を検出する輝度検出手段と、記
憶手段に記憶した輝度情報に基づいて文字部の画素数を
カウントする計数手段と、原稿の高さ、左右位置、下地
輝度、及び文字部の画素数の各情報に基いて原稿の余白
部分を検出する余白部分検出手段と、不要部分検出手段
により検出された余白部分の画像を白データとする画像
処理手段と、原稿の高さ変化により生ずる原稿の副走査
方向の縮みを、記憶手段に記憶された画像情報を繰り返
し読み出すことによって補正する補正手段と、余白部分
の副走査方向の縮みを、記憶手段を介することなく、白
データを繰り返し出力し補正する余白部分補正手段とを
備えたものである。
【0010】上記構成においては、記憶手段は撮像素子
により読み取られた原稿の画像情報を一時記憶し、位置
検出手段は撮像素子により読み取られた原稿の左右位置
を検出し、輝度検出手段は、記憶手段に記憶した輝度情
報に基づいて原稿の下地輝度を検出し、計数手段は記憶
手段に記憶した輝度情報に基づいて文字部の画素数をカ
ウントする。余白部分検出手段は、原稿の高さ、左右位
置、下地輝度、及び文字部の画素数の各情報に基いて原
稿の余白部分(上述の原稿の左右にある端面の余白部を
含む)を検出し、画像処理手段は、検出された余白部分
の画像を白データとする。補正手段は、原稿の高さ変化
により生ずる原稿の副走査方向の縮みを、記憶手段に記
憶された画像情報を繰り返し読み出すことによって補正
する。余白部分補正手段は、余白部分の副走査方向の縮
みを、記憶手段を介することなく、白データを繰り返し
出力することにより補正する。こうして、原稿の行間余
白部などの余白部分の画像は、バッファメモリなどの記
憶手段を使用することなく白データを補間することがで
きるので、バッファメモリの容量が少なくて済む。
【0011】
【発明の実施の形態】以下、本発明の一実施例による画
像読み取り装置について図面を参照して説明する。図1
は画像読み取り装置の全体構成を示し、図2は画像読み
取り装置の原稿台上に原稿が載置された様子を示す。原
稿台1上には、被写体である書籍やファイルなどのブッ
ク原稿10が見開かれた状態で上向きに置かれ、その上
方には、光学的走査によりブック原稿10の見開き面を
読み取るラインセンサを有した撮像装置2が設けられて
いる。原稿台1の原稿載置面は、一般的な原稿の下地色
より濃く着色されていて、ブック原稿10を原稿載置面
を背景にして読み取った時に原稿面と原稿載置面との識
別ができるようになっている。本装置には、原稿台1の
奥側上方に配置され、原稿台1上のブック原稿10を照
明する照明部3と、画像読み取り条件などの設定を行う
操作パネル4と、原稿台1の奥側に配置され、ブック原
稿10の側面を映す傾斜した高さ検出ミラー5と、ブッ
ク原稿10の撮像装置2の予備スキャン動作及び本スキ
ャン動作等の撮影動作を制御する制御部(図20参照)
が設けられている。撮像装置2により撮影された画像デ
ータは、制御部により各種処理を受けて、所望の出力装
置(プリンタ、コンピュータ等)に出力されるようにな
っている。
【0012】ここで、原稿台1上に載置されたブック原
稿10の各部の名称を定義する(図2参照)。見開かれ
たブック原稿10の、左右の両頁全域を原稿面10aと
称し、原稿面10aに対して傾斜した右外側の面を右側
面10f,左外側の面を左側面10f’とする。
【0013】図3、図4は、それぞれ本装置を前方及び
側方から見た概略構成を示す。撮像装置2は、複数の撮
像素子を装置手前側から奥側方向(主走査方向)にライ
ン上に配列したCCDラインセンサ7と、原稿面10a
の像をラインセンサ上に投影する撮像レンズ6を有する
光学系とを備える。ラインセンサ7は、原稿面10aの
像が結像される結像面において、主走査方向と直行する
副走査方向(図3の矢印方向)に移動することにより、
原稿面10aの像を読み取る。また、撮像レンズ6は、
レンズ駆動部33(図20)によって光軸方向に移動可
能に設けられており、後述する高さ検出によって得られ
るブック原稿10の高さに応じて移動され、ラインセン
サ7上に常に合焦状態で原稿面10aの像を結像する。
【0014】高さ検出ミラー5は、原稿台1の奥側で副
走査方向に伸び、原稿台1の原稿載置面に対して45°
の角度で傾斜して設置されており、原稿台1に載置され
たブック原稿10の側面を映す。同ミラー5に映された
ブック原稿10の側面像は、原稿面10aとともに、レ
ンズ6によって投影される。ラインセンサ7は、投影さ
れた原稿面10a及びミラー5に映された側面の像を読
み取るだけの十分な長さを有しており、走査移動によっ
て、原稿面10a及び側面の像を同時に読み取る、な
お、本実施例では、ラインセンサを用いたものを示した
が、これに代えてエリアセンサを用いてもよい。
【0015】ブック原稿10の原稿面10aは、見開い
て原稿台1上に載置されると、高さ方向に湾曲する。こ
のため、原稿面10aの像は、副走査方向に縮んでしま
い、また、主走査方向の像の長さは原稿の高さが高い部
分では長く、原稿の高さが低い部分では、短くなるとい
った、画像の歪みが生じる。さらに、撮像装置2から原
稿面10aまでの距離も原稿の高さによって変化するの
で、高さに応じたピント調整が必要となる。このような
問題を解決するため、副走査方向の各位置でのブック原
稿10の高さを検出し、この高さに応じて、画像の歪み
の補正、及び、ラインセンサ7に結像される像のピント
調整を行う。
【0016】図5は、本実施例の高さ検出処理の原理を
示す図である。ブック原稿10を所定位置に載置するこ
とで、ミラー5には、ブック原稿側面の像11が映さ
れ、ミラー5に映されたブック原稿10の側面の像11
をラインセンサ7で読み取ることによって、ブック原稿
10の高さの分布を求める。
【0017】図6は、上記構成を有する撮像装置2によ
って読み取った画像データの様子を示す。同図におい
て、aは原稿面10aの像、bは原稿台1の像、cはミ
ラー5に映った背景部の像、dはミラー5に映ったブッ
ク原稿10の側面の像、eは原稿の位置合わせ基準を示
す。原稿面の像aと原稿側面の像dは原稿の高さ変化に
より、主走査方向に湾曲したように読み取られる。原稿
面と原稿側面は、一般に白色に近い紙であるので白く読
み取られる。それに対して、原稿地肌より濃く着色され
ている原稿台1、及びミラー5に映る背景部の像cは反
射光量が少なくなり、黒く読み取られる。
【0018】図7は、ラインセンサ7に読み取られた主
走査方向の1ライン分の出力の様子を示す。この例で
は、図6において、点線で示す位置の画像をラインセン
サ7で読み取った場合を示す。横軸にラインセンサ7の
撮像素子のアドレス、縦軸に各画像素子の出力(像の輝
度)を取っている。図中、はミラー5上に映った背景
部の像c、はミラー5上に映った原稿側面の像d、
は原稿面10aの像a、は原稿台1の像bの各像の撮
像素子上での領域を示す。Dthは、原稿の像か他の像
かを判別するための所定の閾値である。n1は閾値Dt
hを越える出力の撮像素子の最小のアドレス値、即ち、
原稿側面の像11における原稿面の上部エッジ10bが
結像される位置を示す値である。n2は原稿の位置合わ
せ基準に対応する撮像素子のアドレス値であり、固定の
値である。(n2−n1)が高さ検出処理で用いる原稿
高さに相当する画素数である。この各ラインの(n2−
n1)の値から原稿の高さ分布データ(図10参照)を
求める。この高さ分布データから、原稿の高さ変化によ
って生じる画像の歪みを補正するための画像歪み補正係
数と、原稿の高さ変化によって生じるデフォーカスを無
くすよう、撮像レンズ6を上下方向に駆動するための自
動焦点(AF)制御用データとを算出する。
【0019】次に、原稿下地輝度と文字部の画素数の検
出について説明する。図8は、撮像装置2のCCDライ
ンセンサ7によりブック原稿10を撮像した時の画像の
様子を示している。ブック原稿10の頁がめくれないよ
うに、操作者は、ブック原稿10の文字等が書かれてい
ない部分(余白部)を手指で押さえている。CCDライ
ンセンサ7により撮像される少なくとも主走査方向1ラ
イン分の画像データは記憶手段(図20のバッファメモ
リ29)に一時記憶される。この一時記憶された1ライ
ンの画像データから、輝度ヒストグラムを作成する。
【0020】図9は、図8に示される点線の1ラインの
画像データより作成した輝度ヒストグラムを表す。横軸
に各画像素子の出力(像の輝度)を取り、縦軸にはその
輝度における画素数を取っている。図示のように、1ラ
インのヒストグラムの内、輝度の高い側でピークの画素
数(Np)を求め、その画素数の半分の画素数[1/
2)・Np]に対応する輝度値(LB ,LB')のうち、
低い方の輝度値(LB )を、そのラインの原稿下地輝度
とする。この下地輝度より所定値(L)を差し引いた輝
度値を、文字部と判断すべき輝度の閾値(LC )とす
る。
【0021】原稿下地輝度と文字部判断閾値の求め方
は、上記の方法に限られたものではなく、輝度の高いほ
うから画素数をカウントしていき、所定の画素数がカウ
ントされた時の輝度値を下地輝度としてもよい。
【0022】図10は、副走査方向での原稿の高さ分布
データである。図11は、図8に示した原稿画像の副走
査方向の全てのラインについて輝度ヒストグラムを作成
し、下地輝度LB を求めた結果の下地輝度分布を表す。
図10から分かるように、ページを見開いた時のブック
原稿10の中央部は、その高さが低いため、照明部3や
撮像装置2からの距離が遠く、また、照明部3に対して
傾斜しているため、下地輝度が低い値となる。また、ブ
ック原稿10の左右端部も中央部と同じ理由で下地輝度
が低い値となる。Tx,Tx´はブック原稿10の左右
ページの一番高さの高い位置を示し、x1,x1’は、
原稿面10aと左,右側面10f,10f’との境界位
置を示している。
【0023】図12は、図8に示した原稿画像の副走査
方向の全てのラインについて、上述の文字部輝度閾値L
C を越える輝度を持つ画素数を計数することにより、求
められた文字度数分布図である。原稿内容の書かれてい
る情報部分では、文字や写真などの輝度の低い部分が多
くあり、文字度数は多くなる。原稿の中央部や、段落の
切れ目、そして左右の余白部では、原稿の内容が書かれ
ていないため、文字度数は少ない値となる。また、原稿
の端部に手指が置かれていない場合には、端部の下地輝
度が低いため、文字部閾値も低い値となり、その結果、
文字度数は少ない値となる(図12のA部の破線)。原
稿の端部に手指が置かれている場合には、手指の輝度が
端部の文字部閾値より低ければ文字度数としてカウント
されるが(図12のA部の実線)、文字部閾値より高け
れば文字度数としてカウントされない。すなわち、端部
と手指部の輝度差により文字度数が大きく異なることに
なる。A部の実線は、手指の輝度が端部の文字部閾値よ
り低いために、誤検出した部分である。Tmは余白部か
否かを判別する文字画素数の所定値である。
【0024】図13、図14、図15は、原稿下地輝
度、文字度数、左右位置の各値に対する、消去すべき余
白である確率(PB )のメンバーシップ関数を表すもの
である。これらの関数は、後述する記憶手段(メモリ2
8)に記憶されている。ここでの余白の定義は原稿面1
0a内で文字や写真等がない左右の部分である。消去す
べき余白である確率が高い時のメンバーシップ関数値は
1寄りであり、低い時は0寄りである。
【0025】図13では、原稿下地輝度が所定の閾値T
Lより低ければ、原稿面10a外の左右側面10f,1
0f’であると判断され、余白である確率は0である。
原稿下地輝度が閾値TLより大きくなる程、余白である
確率は1に近づく。
【0026】また、図14では、文字画素数が所定値T
mより多ければ、文字、写真等が存在する可能性が高い
ので、余白である確率は低く、文字画素数が所定値Tm
より少なければ余白である確率は高くなると考えられ
る。同図の実線は、文字画素数が0からTmへの増加に
比例して余白である確率が1から0に減少するメンバー
シップ関数を示し、破線は、文字画素数が0からTm/
2までは余白である確率が1、文字画素数がTm/2以
上のときは余白である確率が0となるメンバーシップ関
数を示す。
【0027】また、図15では、ブック原稿10の中央
部に近いところほど、情報部分に近く、消去すべきでな
い段落の切れ目や縦書き原稿の余白があることが多いこ
とから、消去すべき余白である確率は低く、原稿ページ
の一番高さの高い位置Tx,Tx’から左右外側に位置
するほど、余白である確率は高くなると考えられる。そ
こで、同図の実線は、左右位置が原稿の一番高い位置T
xから2×Txの位置(Txが各ページの中央位置にな
ると仮定すると2×Txの位置がページ端となり、この
2×Txで余白である確率を1とする。)に比例して余
白である確率が0から1に増加するメンバーシップ関数
を示し、破線は、位置が0からTx×3/2までは余白
である確率が0、位置がTx×3/2以上のときは余白
である確率が1となるメンバーシップ関数を示す。本実
施例では実線で示したメンバーシップ関数を用いている
が、これらのメンバーシップ関数は、その他の形態も含
めて、適宜設定することができる。
【0028】図16は、図11の下地輝度分布に図13
のメンバーシップ関数を掛け合わせた出力値(PBL)を
示し、図17は図12の文字度数分布に図14のメンバ
ーシップ関数を掛け合わせた出力値(PBM)を示す。同
図のB部は手指が置かれていない場合に余白とされる部
分である。また、図18は原稿の副走査位置に対する図
15のメンバーシップ関数の出力値(PBX)を示す。い
ずれも、余白である確率(PBL,PBM,PBX)の分布を
示しており、これらの3つの余白である確率を掛け合わ
せることにより、図19に示すように、総合したトータ
ルでの原稿の左右各位置における余白である確率(PB
)を求めることができる。余白である確率の最も高い
位置を、その原稿の消去すべき余白位置(Ex,Ex
´)と判定し、その外側の画像を消去する。手指の置か
れている場合は、手指の置かれている内側と余白部分と
の境界x2,x2´が消去位置となり、手指の置かれて
いない場合は、原稿の表面と端面との境界x1,x1´
が消去位置となり、その外側の画像を消去する。
【0029】図20は制御部における回路のブロック構
成を示す。本実施例においては、ラインセンサ7は、実
際の画像読み取りのスキャン動作(本スキャン動作)に
先駆け、原稿面10aの副走査方向の各位置での高さ,
下地輝度,文字画素数を検出するために、予備スキャン
動作を実行する。予備スキャンによって得られるライン
センサ7の出力(画像データ)は、各ライン毎にアドレ
ス1の撮像素子から順に、A/D変換器21によりA/
D変換された後、比較器22に入力される。比較器22
には、CPU23によって上述した閾値Dthが予め設
定されている。比較器22に閾値Dthを越えるレベル
を有する画素データが入力されると、カウンタ24のカ
ウント値がメモリ28に取り込まれる。カウンタ24
は、ラインセンサ7に与えられるドットクロックに同期
してカウントを実行するものであり、カウンタ24のカ
ウント値は、比較器22で比較される画像データのアド
レスを示している。CPU23は、各ライン毎に、メモ
リ28に取り込んだカウント値の中で最小値をn1と認
識して、各ライン毎のn1をメモリ28に記憶する。こ
のn1と基準位置アドレスn2との差によって、ブック
原稿10aの各ラインでの高さが求められる。
【0030】また、予備スキャンによるラインセンサ7
の出力は、A/D変換器21によりA/D変換された
後、バッファメモリ29に入力される。バッファメモリ
29に記憶された画像データは、CPU23に送られ、
CPU23は送られてきた画像データに基づいて、1ラ
イン毎に図9にて説明した輝度ヒストグラムを作成し、
この輝度ヒストグラムから原稿の下地輝度LB 及び文字
部閾値LC を算出する。算出された下地輝度LB をメモ
リ28に記憶する。
【0031】CPU23は、輝度ヒストグラムより輝度
値が文字部閾値LC を下回る画素を各ライン毎にカウン
トし、1ラインに含まれる文字画素数mを求める。文字
画素数mは、メモリ28に記憶され、文字度数分布が求
められる。さらにCPU23はCCDラインセンサ7が
現在撮影している原稿の副走査方向位置Xを検出するも
のである。副走査方向位置Xは、メモリ28に記憶され
る。CPU23は、輝度検出手段、文字画素数計数手段
及び位置検出手段の機能を持つ。
【0032】本スキャン動作によって得られるラインセ
ンサ7の画像データは、各ライン毎に、アドレス1の撮
像素子から順に、A/D変換器21によりA/D変換さ
れた後、数ライン分の画像データを記憶可能なバッファ
メモリ29に順次書き込まれる。書き込まれた画像デー
タは、先に説明したブック原稿10の側面の画像データ
を含むものであるため、側面の画像データを削除し、原
稿面10aの画像データのみが画像処理回路30によっ
て順次読み出され、適宜補正処理を受けてプリンタ31
に出力され、プリントされる。
【0033】ここで、画像処理回路30においては、予
備スキャンによって得られた各ラインのカウント値n1
(実際には、高さデータ(n2−n1))に基づいて、
主走査方向及び副走査方向の画像の歪みが補正される。
また、CPU23は、本スキャン動作中には、カウント
値n1に基づいて、レンズ駆動装置32に制御信号を出
力し、ラインセンサ7の読み取り位置に応じて、レンズ
を移動させて、ラインセンサ7上に常に原稿面10aの
画像が合焦状態で結像するようにする。さらに、CPU
23は、上記の下地輝度、文字度数、副走査位置の3情
報を処理することにより、原稿の左右に位置する消去す
べき余白部を判定し、そして、この余白部データに基づ
いて画像処理回路30を制御して画像の消去処理を行
う。余白部検出手段は、CPU23により構成される。
さらに、CPU23は、センサ移動部25及びランプ制
御部27に制御信号を出力し、ラインセンサ7のスキャ
ン移動及び照明部3のランプを点灯制御する。
【0034】図21は、上記のように構成された画像読
み取り装置のCPU23によって制御される読み取り動
作の手順を示すフローチャートである。操作パネル4か
ら読み取り動作の開始が入力されると、CPU23はラ
ンプ制御部27を介して照明部3のランプを点灯し、ブ
ック原稿10を照明する(#1)。次いで、センサ移動
部25に対して予備スキャンの開始を指示し(#2)、
各読み取りライン毎のカウント値n1のサンプリングを
実行する。この動作では、CCDラインセンサ7を一端
より副走査方向に移動させながら、ミラー5に映った原
稿側面と原稿10の原稿面10aとの撮影を行い、カウ
ント値n1をメモリ28に記憶する(#3)。読み取ら
れた画像データはバッファメモリ29に入力される。バ
ッファメモリ29に記憶された画像データは、CPU2
3に送られ、CPU23は送られてきた画像データに基
づいて、1ライン毎に図9にて説明した輝度ヒストグラ
ムを作成する(#4)。この輝度ヒストグラムから原稿
の下地輝度LB 及び文字部閾値LC を算出する。算出さ
れた下地輝度LB をメモリ28に記憶する(#5)。ま
た、算出された文字部閾値LC より輝度の低いデータ数
をCPU23によって計数する(#6)。全てのライン
について予備スキャンが終了するまで一定周期でこの動
作を繰り返し、予備スキャンが終了した時点で(#7で
YES)、サンプリングしたカウント値n1より高さデ
ータを求める(#8)。
【0035】次に、予備スキャンで求められた下地輝度
LB 、文字画素数m、及び副走査位置Xに図13乃至図
15に示したメンバーシップ関数をそれぞれ作用させ、
図16乃至図18に示される余白である確率PBL,PB
M,PBXを求め、図19に示される総合的な余白である
確率PB から余白位置を決定する。メンバーシップ関数
はCPU23内に記憶されており、余白位置を決定する
までの演算もCPU23によって行われる(#9)。上
記の動作が終了すると、次に、センサ移動部25に対し
て本スキャンの開始を指示し、ラインセンサ7を予備ス
キャンとは反対の方向に走査移動させ、原稿10を撮影
する本スキャンを行う(#10)。本スキャン動作中に
は、CPU23は、#8の処理で得た高さデータに基づ
いて、レンズ駆動装置32に制御信号を出力してレンズ
6のピント調整を実行するとともに(#11)、本スキ
ャン動作によって得た画素データの歪み等を補正するた
めに、画像処理回路30に対して、高さデータに基づい
て補正量を設定する。尚、このとき、#9によって求め
られた余白位置については、ラインセンサ7の出力を行
わないようCPU23で制御することで余白位置と判断
された画像を消去する(#12)。全てのラインについ
て本スキャン動作が終了すると(#13でYES)、ラ
ンプを消灯し(#14)、画像読み取り動作を終了す
る。
【0036】次に、本発明の他の実施例を図22乃至図
32を参照して説明する。上述の実施例では、原稿の左
右の余白部を検出して、その外側を削除するものを示し
たが、以下の実施例では、上述の実施例で用いたのとは
別のメンバシップ関数を用いて、原稿の左右の余白部や
側面の他、書籍等の原稿の中央にある綴じ部や文字が縦
書きされている原稿の行間の余白部等、原稿中の余白部
分を検出して、その検出された部分については、画像デ
ータを白データに置き換える処理を行うようにしたもの
である。
【0037】より詳細には、上述の実施例(例えば図1
5)では、副走査方向における余白である確率を原稿の
左右側のみ高いものとし、検出された余白部を画像デー
タから消去するものを説明したが、以下の実施例では、
別のメンバシップ関数を用いて、書籍等の原稿の中央に
ある綴じ部、文字が縦書きにされている原稿の行間等の
余白部を検出し、かつ、原稿の高さに起因する副走査方
向の画像歪みの補正を行うものである。この画像歪み補
正に関し、原稿の高さの変化によって生じる画像の副走
査方向の縮みを補正するために、ライン単位の画像デー
タを補間する画像読取装置が存在する。この種の読取装
置においては、副走査方向に読み取られた画像データを
1ラインづつ画像出力措置等に出力し、画像データを補
間する際には、読み取られた画像データを繰り返して出
力する。また、画像データを繰り返して出力している間
にも、原稿の読み取りは続けて行われており、この間に
読み取られた画像データは、装置内に設けられているバ
ッファメモリに一旦記憶され、画像データの繰り返し出
力が終わった後に出力される。従って、1原稿の副走査
方向の縮みを補正するために画像データを補間するライ
ン数分の容量を持つバッファメモリが必要となる。言い
換えれば、副走査方向の縮みの補正可能な量はバッファ
メモリの容量によって決定される。このような画像読取
措置において、文字、写真などのない原稿の余白部分の
縮みを補正するのにも、1ライン全部が白つまり画像情
報がないラインデータであっても、これをバッファメモ
リに一旦、記憶しているため、余白の多い原稿を補正し
た場合には、画像情報がないラインデータをバッファに
記憶するだけで容量オーバーになる可能性があり、副走
査方向の縮み補正が十分行えなくなってしまう問題があ
る。以下に説明する実施例はこのような問題を解決する
ものである。
【0038】図22は、ブック原稿10の高さの変化か
ら求められる原稿の傾斜角度θと、ブック原稿10の読
み取り画像中の余白部分である確率Pθとの関係(関
数)を示すグラフである。傾斜角度が高ければ、中央の
綴じ部や、左右の側面10f,10f’である可能性が
高く、内容が書かれていない可能性が高い。
【0039】図23は、ブック原稿10の下地輝度LB
と余白部分である確率PLBとの関係を示すグラフであ
る。原稿の下地輝度LB が低ければ、ブック原稿10の
中央部の綴じ部や、左右の側面10f,10f’である
と考えられ、上記と同様に内容が書かれていない可能性
が高いので、余白部分である確率PLBを高くしている。
ここに、図23のメンバシップ関数は、前述の図13の
それとは特性が逆になっている。図24は、ブック原稿
10の副走査ラインにおける文字度数mと余白部分であ
る確率PM との関係を示すグラフである。この場合に
は、文字度数mが少なければ余白部分の可能性が高いと
判断できる。図25は、副走査方向における位置Xと余
白部分である確率Pxとの関係を示すグラフである。左
右各ページの中央部に近いほど内容が書かれている可能
性が高く、原稿の中央部である綴じ部や、左右端部では
内容が書かれていない可能性が高い。これら図22乃至
図25の関数は、CPU23内に記憶されている。
【0040】図26は図10の高さ分布に図22の関数
を作用させて求めた余白部分である確率Pθの分布を示
す。図27は図11の下地輝度分布に図23の関数を作
用させて求めた余白部分である確率PL の分布を示す。
図28は図12の文字画素数分布に図24の関数を作用
させて求めた余白部分である確率PM の分布を示す。
【0041】図26乃至図28の確率Pθ,PL ,PM
と図25との確率Pxを総合することによって原稿の各
位置におけるトータルでの余白部分の確率Pを求める
と、図29のようになる。図29に示した破線を原稿中
の必要部分/余白部分とを分ける閾値とする。余白部分
である確率が低い部分は、画像を忠実に再現する必要が
あるため、画像データをバッファメモリ29に順次書き
込み、原稿高さから求められる副走査方向の歪み補正量
に応じて、画像データを繰り返し読み出すことにより画
像の歪みを補正する。他方、余白部分である確率が高い
部分は、画像を忠実に再現する必要が低いため、バッフ
ァメモリ29への画像データの書き込みを停止し、白デ
ータを繰り返し読み出すことにより画像の歪みを補正す
る。この白データは、予めCPU23に用意されている
ものである。
【0042】図30は、本実施例の画像読取装置におけ
る、画像の歪みを補正するためのブロック図である。ラ
インセンサ7の出力信号は、A/D変換器21でデジタ
ル変換された後、シリアル/パラレル変換器35に入力
され、シリアルの出力信号が所定画素数を1つのブロッ
クとしたパラレル出力信号に変換される。パラレル出力
信号に変換された画像データは、CPU23及びアドレ
スコントローラ37の指示にしたがってバッファメモリ
29に書き込まれる。書き込まれた画像データは、CP
U23及びアドレスコントローラ37の指示にしたがっ
て所数画素数同時に、バッファメモリ29から読み出さ
れる。読み出された画像データは、パラレル/シリアル
変換器36において、パラレル出力信号からシリアル出
力信号に変換され後段の画像処理装置へと送られる。次
に、バッファメモリ29について説明する。シリアル/
パラレル変換器35から送られてきた画像データは、バ
ッファメモリ29に、ラインセンサ7で読み取られる1
ライン単位で記憶される。図31にバッファメモリ29
の概念図を示す。バッファメモリ29は、ラインセンサ
7で読み取られる1ライン単位でn行記憶できるだけの
容量を持つ。そして、画像データは、1ライン目がバッ
ファメモリ29のメモリチップの1行目に記憶され、2
ライン目が2行目、3ライン目が3行目へと順番に進
み、最終行まで記憶されると、再び1列目に戻り、n+
1ライン目が1行目に記憶される。バッファメモリ29
からの画像データの読み出しは、画像データの記憶時と
同様に1ライン単位で行われる。副走査方向の画像の歪
み補正する場合には、CPU23からアドレスコントロ
ーラ37に、バッファメモリ29内の同一行を繰り返し
読み出すよう命令が出される。これにより副走査方向の
画像を伸長することができ、原稿面の傾斜により歪んだ
画像を平らに補正することができる。本実施例の構成で
補正できる画像の歪みの量は、伸長できるライン数の総
和によって決まり、このライン数はバッファメモリ29
に書き込むことができる記憶容量によって決まる。出力
切換手段39は、白データ発生部38からの入力される
白データと、バッファメモリ29から読み出され入力さ
れる画像データとのいずれかを、CPU23からの命令
により選択的に出力するものである。
【0043】本実施例では、必要な情報部分である確率
が低い画像についてはバッファメモリへの書き込みを停
止し、白データ発生部38からの白データを選択して、
出力することにより画像の歪みを補正する。従って、バ
ッファメモリ29を有効に利用することができ、副走査
方向の歪み補正量を多くできる。
【0044】本発明は、上記各実施例の構成に限られる
ことなく種々の変形が可能であり、例えば、原稿の下地
輝度情報は、主として原稿の表面と端面の境界を検出す
るためのものであるが、この下地輝度を用いる代わり
に、原稿高さの変曲点を用いて、原稿の表面と端面の境
界を検出することも可能である。図31に示したよう
に、原稿表面の高さ分布は、原稿の表面内では滑らかに
変化するが、原稿の端面との境界部で不連続なところが
発生する。この境界部は、図11の下地輝度分布が閾値
TLを下回るところとほぼ一致するため、この不連続部
を検出することにより、図16に相当する余白である確
率の確率分布を得ることができる。このような原稿高さ
の変曲点を用いて余白である確率の確率分布を求める様
子を、図31に示している。同図(a)(b)におい
て、原稿高さの不連続点の外側について、余白である確
率を1としている。また、原稿高さを測定する方法とし
ては、特開平3−117965号公報に開示されている
ような、光ビームを照射する方法や、特開平5−316
302号公報に開示されているような、原稿表面のエッ
ジを用いる方法が考えられるが、特にこれらの方法に限
られるものではない。
【0045】
【発明の効果】以上のように本発明によれば、原稿を光
学的走査により読み取る画像読み取り装置において、原
稿の左右位置、下地輝度、及び文字度数の各情報から原
稿の左右にある余白部を検出することにより、正確な余
白部検出が可能となり、従来の肌色情報などを用いて原
稿端面の不要部を検出する装置で起きていたような判定
エラーの発生を防止することができ、最適な位置で原稿
の左右にある余白部の外側の不要な画像を消去すること
ができる。さらに、本発明によれば、上述の原稿の左右
にある余白部の検出の他、書籍等の原稿の中央にある綴
じ部や、文字が縦書きされている原稿の行間の余白部を
検出し、この余白部に対応する画像については、バッフ
ァメモリを使用することなく白データを補間すること
で、バッファメモリを有効に利用して画像の補正を行う
ことができる。
【図面の簡単な説明】
【図1】本発明の実施例による画像読み取り装置の全体
構成図である。
【図2】画像読み取り装置にブック原稿を載置した様子
を示す図である。
【図3】画像読み取り装置を前方から見た概略構成図で
ある
【図4】画像読み取り装置を側方から見た概略構成図で
ある
【図5】本実施例の高さ検出の原理を示す図である。
【図6】画像読み取り装置で読み取った画像データの様
子を示す図である。
【図7】センサに読み取られた主走査方向の1ライン分
の出力例を示す図である。
【図8】手指が原稿上に置かれた場合の画像データの様
子を示す図である。
【図9】センサに読み取られた主走査方向の1ライン分
のヒストグラムを示す図である。
【図10】高さ検出手段により求めた高さ分布データを
示す図である。
【図11】ヒストグラムより求めた下地輝度分布を示す
図である。
【図12】ヒストグラムより求めた文字画素数分布を示
す図である。
【図13】原稿下地輝度に対する消去すべき余白である
確率を表すメンバーシップ関数を示す図である。
【図14】文字度数に対する消去すべき余白である確率
を表すメンバーシップ関数を示す図である。
【図15】副走査位置に対する消去すべき余白である確
率を表すメンバーシップ関数を示す図である。
【図16】下地輝度分布にメンバーシップ関数をかけ合
わせた出力値を示す図である。
【図17】文字度数分布にメンバーシップ関数をかけ合
わせた出力値を示す図である。
【図18】副走査位置にメンバーシップ関数をかけ合わ
せた出力値を示す図である。
【図19】図16,17,18の出力値をかけ合わせた
出力値を示す図である。
【図20】本発明の画像読み取り装置における制御回路
のブロック図である。
【図21】本発明の制御フローチャートを示す図であ
る。
【図22】本発明の他の実施例による画像読み取り装置
において用いられる、原稿の傾斜角度に対する原稿画像
中の余白部分である確率を表すメンバーシップ関数を示
す図である。
【図23】原稿下地輝度に対する原稿画像中の余白部分
である確率を表すメンバーシップ関数を示す図である。
【図24】文字度数に対する原稿画像中の余白部分であ
る確率を表すメンバーシップ関数を示す図である。
【図25】副走査方向位置に対する原稿画像中の余白部
分である確率を表すメンバーシップ関数を示す図であ
る。
【図26】原稿の高さ分布データにメンバーシップ関数
をかけ合わせた出力値を示す図である。
【図27】原稿下地輝度分布データにメンバーシップ関
数をかけ合わせた出力値を示す図である。
【図28】文字画素数分布データにメンバーシップ関数
をかけ合わせた出力値を示す図である。
【図29】図26,27,28の出力値をかけ合わせた
出力値を示す図である。
【図30】画像歪み補正のために画像データを一時記憶
するブロック図である。
【図31】バッファメモリの概念図である。
【図32】原稿高さの変曲点を用いて余白である確率分
布を求める様子を示す図である。
【符号の説明】
1 原稿台 2 撮像装置 7 CCDラインセンサ 10 ブック原稿 23 CPU(輝度検出手段、文字画素数計数手段、位
置検出手段) 29 バッファメモリ 30 画像処理回路
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 1/107 // G06T 1/00 G06F 15/64 340 B

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 原稿台上に設置された原稿を光学的走査
    によって読み取る画像読み取り装置において、 原稿の読み取りを行う撮像素子と、 上記撮像素子により読み取られた原稿の輝度情報を一時
    記憶する記憶手段と、 上記撮像素子により読み取られた原稿の左右位置を検出
    する位置検出手段と、 上記記憶手段に記憶した輝度情報に基づいて原稿の下地
    輝度を検出する輝度検出手段と、 上記記憶手段に記憶した輝度情報に基づいて文字部と判
    断すべき画素数を文字度数としてカウントする計数手段
    と、 上記の原稿の左右位置、下地輝度、及び文字度数の各情
    報に基いて原稿の左右にある余白部を検出する余白部検
    出手段と、 上記余白部検出手段により検出された余白部の外側の画
    像を消去する画像処理手段とを備えた画像読み取り装
    置。
  2. 【請求項2】 原稿台上に設置された書籍等の原稿を光
    学的走査によって読み取る画像読み取り装置において、 原稿の読み取りを行う撮像素子と、 原稿の高さを検出する高さ検出手段と、 上記撮像素子により読み取られた原稿の画像情報を一時
    記憶する記憶手段と、 上記撮像素子により読み取られた原稿の左右位置を検出
    する位置検出手段と、 上記記憶手段に記憶した輝度情報に基づいて原稿の下地
    輝度を検出する輝度検出手段と、 上記記憶手段に記憶した輝度情報に基づいて文字部の画
    素数をカウントする計数手段と、 上記の原稿の高さ、左右位置、下地輝度、及び文字部の
    画素数の各情報に基いて原稿の余白部分を検出する余白
    部分検出手段と、 上記余白部分検出手段により検出された余白部分の画像
    を白データとする画像処理手段と、 原稿の高さ変化により生ずる原稿の副走査方向の縮み
    を、上記記憶手段に記憶された画像情報を繰り返し読み
    出すことによって補正する補正手段と、 上記余白部分の副走査方向の縮みを、前記記憶手段を介
    することなく、白データを繰り返し出力し補正する余白
    部分補正手段とを備えたことを特徴とする画像読み取り
    装置。
JP25467395A 1994-09-29 1995-09-05 画像読み取り装置 Expired - Fee Related JP3384208B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25467395A JP3384208B2 (ja) 1994-09-29 1995-09-05 画像読み取り装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP26206694 1994-09-29
JP6-262066 1994-09-29
JP25467395A JP3384208B2 (ja) 1994-09-29 1995-09-05 画像読み取り装置

Publications (2)

Publication Number Publication Date
JPH08154166A true JPH08154166A (ja) 1996-06-11
JP3384208B2 JP3384208B2 (ja) 2003-03-10

Family

ID=26541784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25467395A Expired - Fee Related JP3384208B2 (ja) 1994-09-29 1995-09-05 画像読み取り装置

Country Status (1)

Country Link
JP (1) JP3384208B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100944002B1 (ko) * 2006-07-14 2010-02-24 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 방법
US8085451B2 (en) 2006-12-11 2011-12-27 Brother Kogyo Kabushiki Kaisha Image reading apparatus
JP5160547B2 (ja) * 2007-08-15 2013-03-13 株式会社リバック 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置
JP2014154160A (ja) * 2013-02-06 2014-08-25 Fujitsu Ltd 画像処理装置及び方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100944002B1 (ko) * 2006-07-14 2010-02-24 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 방법
US7848590B2 (en) 2006-07-14 2010-12-07 Samsung Electronics Co., Ltd. Image processing apparatus and method of removing regions or dividing portions of an input image to reduce computation
US8238659B2 (en) 2006-07-14 2012-08-07 Samsung Electronics Co., Ltd. Image processing apparatus and method of determining a region of an input image and adjusting pixel values of the region
US8085451B2 (en) 2006-12-11 2011-12-27 Brother Kogyo Kabushiki Kaisha Image reading apparatus
JP5160547B2 (ja) * 2007-08-15 2013-03-13 株式会社リバック 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置
JP2014154160A (ja) * 2013-02-06 2014-08-25 Fujitsu Ltd 画像処理装置及び方法

Also Published As

Publication number Publication date
JP3384208B2 (ja) 2003-03-10

Similar Documents

Publication Publication Date Title
US5677776A (en) Image reader for processing an image of a document
JP4037512B2 (ja) 画像読取装置
JPH08154154A (ja) 画像読み取り装置
JPH09238248A (ja) 読取り画像の修正方法及び画像読取り装置
US5969795A (en) Image reading apparatus
JPH1013669A (ja) 画像読取り装置におけるデータ処理方法
JPH08307688A (ja) 画像読み取り装置
JPH11103380A (ja) 画像読み取り装置
JP3384208B2 (ja) 画像読み取り装置
JPH09149256A (ja) 画像読取装置
JPH08237485A (ja) 画像読み取り装置
JP3430776B2 (ja) 画像読み取り装置
JPH10327301A (ja) 画像読取装置
JP3852247B2 (ja) 画像形成装置及び転写画像歪み補正方法
JPH10200724A (ja) 画像読み取り装置
JP2001069332A (ja) 画像読み取り装置
JPH09102854A (ja) 画像読取装置
JPH06205194A (ja) 原稿読み取り装置
JPH09266528A (ja) 画像読取装置
JP3125522B2 (ja) 画像読取装置
JPH1196338A (ja) 画像読み取り装置
JP3707204B2 (ja) 読取り画像の修正方法及び画像読取り装置
JPH1198339A (ja) 画像読み取り装置
JP3312787B2 (ja) 画像処理システム
JPH09224132A (ja) 画像読み取り装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20021126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071227

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081227

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081227

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091227

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101227

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101227

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111227

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees