JP3526216B2 - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JP3526216B2
JP3526216B2 JP17724498A JP17724498A JP3526216B2 JP 3526216 B2 JP3526216 B2 JP 3526216B2 JP 17724498 A JP17724498 A JP 17724498A JP 17724498 A JP17724498 A JP 17724498A JP 3526216 B2 JP3526216 B2 JP 3526216B2
Authority
JP
Japan
Prior art keywords
image
line
divided
joint
divided image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17724498A
Other languages
English (en)
Other versions
JP2000011154A (ja
Inventor
至 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Dainippon Screen Manufacturing Co Ltd
Original Assignee
Screen Holdings Co Ltd
Dainippon Screen Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd, Dainippon Screen Manufacturing Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP17724498A priority Critical patent/JP3526216B2/ja
Publication of JP2000011154A publication Critical patent/JP2000011154A/ja
Application granted granted Critical
Publication of JP3526216B2 publication Critical patent/JP3526216B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、原画像が分割さ
れた複数の分割画像に対するつなぎ処理を施す際のつな
ぎ位置を決定する画像処理装置に関する。
【0002】
【従来の技術】入力スキャナ等のような画像を読み取る
装置において、読み取る画像が大きいときには、1回の
読み取りで全画像を読み取ることができないため、画像
を分割入力し、後の画像処理において分割入力した複数
の画像に対してつなぎ処理が施され、全体の1つの原画
像を復元(再現)することが行われている。
【0003】例えば、図11に示すように主走査方向で
あるX方向に複数の画素が配列されたCCDラインセン
サ8が、原画像2を読み取る際には、副走査方向である
Y方向に走査することによって第1の分割画像を読み取
り、次にCCDラインセンサ8をX方向に移動させた位
置(図11に示す一点鎖線で示す位置)から再びY方向
に走査することによって第2の分割画像を読み取る。こ
れにより、原画像2の全体を読み取ることができる。こ
のようにして得られた複数の分割画像に対してつなぎ処
理を施して原画像2全体についての画像データを生成す
る。つなぎ処理を行うために、図11に示すように第1
と第2の分割画像とで重複領域GRが読み取られる。
【0004】このような処理を行う従来の画像処理装置
の概略構成を図12に示す。入力スキャナ等の画像読み
取りヘッド部分に相当する画像入力部210は、1つの
原画像2を分割した画像をそれぞれ順次に画像処理部2
20に送るように構成されている。例えば、図11に示
したように原画像2を2分割した状態で読み取って入力
する場合には、先に入力する分割画像をAとし、後に入
力する分割画像をBとする。画像入力部210は、画像
処理部220に対して分割画像A,Bを順次に送出す
る。なお、画像入力部210は、分割画像A,Bのそれ
ぞれを出力する際、上記のようなCCDラインセンサ8
の1ラインごとの読み取りが行われるごとに出力する。
【0005】画像処理部220は、分割画像A,Bのそ
れぞれを後段のつなぎ処理部240に出力する。また、
画像処理部220は、内部に画像抽出部221と比較部
222とつなぎ位置決定部225とを備えている。
【0006】画像抽出部221は、画像入力部210か
ら先に入力する分割画像Aのうちから重複領域GRに相
当する画像部分Gaのみを1ラインごとに抽出し、この
画像部分Gaを比較部222に出力する。ここでの抽出
は、例えば、分割画像Aの+X側の端部から−X方向に
所定の数(k個)の画素を抽出することにより行われ
る。
【0007】比較部222は、分割画像Aについての画
像部分Gaを内部に設けられた図示しないメモリ等に一
時的に格納しておく。
【0008】そして、後に画像入力部210から分割画
像Bが入力された際に、画像抽出部221は、分割画像
Bのうちから重複領域GRに相当する画像部分Gbのみ
を抽出する。ここでの抽出は、例えば、分割画像Bの−
X側の端部から+X方向に所定の数(j個(但し、j>
k))の画素を抽出することにより行われる。そして、
分割画像Bについての画像部分Gbは比較部222に送
られる。
【0009】そして、比較部222は、メモリ等から先
に入力した分割画像Aについての画像部分Gaを読み出
し、双方の画像部分GaとGbとを比較する。ここでの
比較は、分割画像Bについての画像部分Gbの比較対象
とする部分を+X方向に向かって画素単位で段階的に移
動させ、それぞれの画素位置において比較対象とされる
部分の画像部分Gbとメモリ等から読み出された画像部
分Gaとを比較することにより行われる。
【0010】具体的には、画像部分Gbについての移動
量をZ画素分(但し、Zは任意の整数)とすると、
【0011】
【数1】
【0012】に示すように移動量Zについての特性デー
タSh(Z)を得ることができる。数1において、kは上
記の画像部分Gaに含まれている画素数を示しており、
iはk個の画素のうちのi番目の画素を示している。す
なわち、数1は、分割画像AとBとのうちの一方を画素
単位でずらしながら、画素ごとの差分値を積算するもの
である。この差分の積算値は、両画像の相関度を示して
いる。このような特性データSh(Z)を移動量Zの値ご
とに(すなわち、1画素移動させる度に)導き、比較結
果とする。
【0013】そして、比較部222における比較結果
は、つなぎ位置決定部225に送られる。
【0014】つなぎ位置決定部225では、比較部22
2から送られてくる比較結果に基づいて、画像部分Ga
とGbとの相関度が最も高くなる画素位置をつなぎ位置
として決定する。例えば、上記数1による特性データS
h(Z)が得られると、この特性データSh(Z)を最小に
する移動量Zのときに、画像部分GaとGbとの相関度
が最も高くなることとなる。こうすることにより、主走
査方向に分割画像Bがズレていた場合であっても適切な
つなぎ位置を決定することができる。そして、つなぎ位
置決定部225で決定されたつなぎ位置(移動量Zp)
は、つなぎ位置情報としてつなぎ処理部240に送られ
る。
【0015】なお、画像処理部220におけるつなぎ位
置の決定の処理は、第2の分割画像の入力に伴って1ラ
インごとに行われる。
【0016】そして、つなぎ処理部240は、画像処理
部220から与えられる先に入力した分割画像Aを内部
に設けられた磁気ディスク等の記憶部に格納しておき、
分割画像Bの1ラインごとの入力とともに、画像処理部
220内のつなぎ位置決定部225から入力するつなぎ
位置情報に基づいて分割画像A,Bのつなぎ処理を施し
て原画像2についての1つの画像データを生成すること
ができる。そして、得られた原画像2についての1つの
画像データは、記憶部内に再び格納したり、後段の装置
に画像出力することができるように構成されている。
【0017】なお、3分割以上の分割画像を入力する場
合についても上記のような処理が繰り返されることとな
る。
【0018】
【発明が解決しようとする課題】ところで、分割画像
A,B間のズレは、一方向(主走査方向)だけでなく、
それとは直角の方向(副走査方向)にも発生している。
例えば、CCDラインセンサ8が、副走査方向(Y方
向)に移動する際に微妙に発生する送りムラなどによ
り、副走査方向についてのズレが発生する。
【0019】このように、副走査方向にズレが生じた場
合は、上記のようなつなぎ処理では正確なつなぎ処理を
行うことができないという問題がある。
【0020】図13は、右下がり斜線を読み取った際の
つなぎ処理を示す図である。図13(a)は、分割画像
Aについての各ラインごとに得られる画像部分Ga1,
Ga2,…,Ga7を示している。図13(a)に示す
ように、分割画像Aについては副走査方向に送りムラな
どが生じることなく各ラインごとに正常に読み取られて
いる。図13(b)は、分割画像Bについての各ライン
ごとに得られる画像部分Gb1,Gb2,…,Gb5を
示している。図13(b)に示すように、分割画像Bに
ついては、画像部分Gb3を読み取った後に送りムラが
生じ、次の画像部分Gb4を読み取る際には、2ライン
分だけ進んだラインを読み取っている。
【0021】図13(a)に示す分割画像Aと図13
(b)に示す分割画像Bとを1ラインごとにつなぎ処理
を行っていくと、分割画像Aについての画像部分Ga1
〜Ga3と分割画像Bについての画像Gb1〜Gb3に
ついては正常につなぎ処理を行うことができる。ところ
が、4ライン目の画像部分Ga4と画像部分Gb4との
つなぎ処理を行う際には、図13(c)に示すように、
分割画像Bについての画像部分Gb4では送りムラのた
めに副走査方向に生じたズレが主走査方向のズレとなっ
て現れているため、画像部分Gb4をd個の画素分だけ
−X方向に移動させた位置において画像部分Ga4と最
も相関度が高くなる。従って、分割画像Bは分割画像A
に対して−X方向に移動させてつなぎ処理が行われるこ
ととなる。そして、次の画像部分Ga5と画像部分Gb
5とのつなぎ位置検出についても同様となり、分割画像
Gb5を−X方向に移動させてつなぎ処理が行われる。
【0022】図13(b)に示す各画像部分Gb1〜G
b5においては、副走査方向(Y方向)にズレは生じて
いるものの、主走査方向(X方向)については原画像で
ある右下がり斜線を正確な位置で読み取っている。しか
し、図13に示すように分割画像Bを読み取る際に生じ
た副走査方向のズレのために副走査方向のズレは主走査
方向のズレとして現れる。換言すれば、分割画像Bにつ
いての画像部分Gb4のように原画像を忠実に読み取っ
たにもかかわらず、分割画像Aについての画像部分Ga
4の位置と異なる位置に原画像が検出され、主走査方向
に位置ズレが生じたかのように検出される。
【0023】このような状態で、ラインごとのつなぎ処
理を行うと、実際に主走査方向のズレは生じていないに
もかかわらず、画像部分Gb4のつなぎ処理を行う際
に、突然に主走査方向へのつなぎ位置の修正が大きく行
われるため、適切なつなぎ処理とはならない。そして、
画像部分Gbのさらに右側に文字などの線画が存在して
いる場合には、画像部分Gb4以降のつなぎ位置の修正
により、そのような線画に歪みを生じさせることとな
る。
【0024】このような現象は、上記のような右下がり
斜線よりも、主走査方向に平行に近い線を読み取った際
に顕著に現れる。すなわち、図14に示すように、分割
画像Bを読み取る際に、副走査方向への送りムラなどに
より、Δyだけ位置ズレを生じたとする。この場合、上
記のようなつなぎ位置の決定を行うと、+X方向にΔx
だけ分割画像Bを移動させることとなる。図14の斜線
が主走査方向に平行に近くなるに伴って、Δxの移動量
は大きくなる。すなわち、副走査方向のズレ量Δyが数
画素程度(数ライン分程度)であって視覚的に目立たな
いものであっても、主走査方向に平行に近い線となるに
伴って、主走査方向のズレ量Δxとして増幅されること
となり、視覚的にも画質の劣化として目立ち易くなる。
【0025】この発明は、上記課題に鑑みてなされたも
のであって、副走査方向に位置ズレが生じた場合であっ
ても、主走査方向についてのつなぎ処理を適正に行うこ
とができる画像処理装置を提供することを目的とする。
【0026】
【課題を解決するための手段】上記目的を達成するため
に、請求項1に記載の発明は、原画像が分割された第1
の分割画像と第2の分割画像とに重複して含まれる重複
領域において、第1の分割画像と第2の分割画像とのつ
なぎ処理を行うためのつなぎ位置を第1の走査方向につ
いての1ラインごとに決定する画像処理装置であって、
(a)つなぎ処理の対象となる第1の分割画像と第2の分
割画像とを順次に入力する画像入力手段と、(b)画像入
力手段における入力に伴って、第1の分割画像のうちか
ら所定部分の画像を抽出することにより第1の分割画像
についての重複領域の第1の画像部分を1ラインごとに
抽出するとともに、第2の分割画像のうちから所定部分
の画像を抽出することにより第2の分割画像についての
重複領域の第2の画像部分を1ラインごとに抽出する画
像抽出手段と、(c)1ラインごとに第2の画像部分が抽
出される度に、当該ラインの第2の画像部分と、当該ラ
インおよび当該ラインの前後方向に位置する複数のライ
ンのそれぞれに対応する複数の第1の画像部分とを比較
することにより、当該ラインの第2の画像部分と複数の
第1の画像部分のそれぞれとの相関度を示す複数の特性
データを生成する比較手段と、(d)複数の特性データの
それぞれから、第2の画像部分の当該ラインについての
複数のつなぎ候補位置を検出するつなぎ候補位置検出手
段と、(e)複数のつなぎ候補位置に基づいて、第1の分
割画像と第2の分割画像との当該ラインについてのつな
ぎ位置を決定するつなぎ位置評価手段とを備えている。
【0027】請求項2に記載の発明は、請求項1に記載
の画像処理装置において、つなぎ位置評価手段は、当該
ラインについて検出された複数のつなぎ候補位置の間の
位置に、前回のラインについての決定されたつなぎ位置
が存在する場合には、前回のラインについてのつなぎ位
置を当該ラインについてのつなぎ位置として決定するこ
とを特徴としている。
【0028】請求項3に記載の発明は、請求項1又は2
に記載の画像処理装置において、つなぎ位置評価手段
は、当該ラインについて検出された複数のつなぎ候補位
置の間の位置に、前回のラインについての決定されたつ
なぎ位置が存在しない場合には、複数のつなぎ候補位置
のうち、前回のラインについてのつなぎ位置に最も近い
位置を示すつなぎ候補位置を当該ラインについてのつな
ぎ位置として決定することを特徴としている。
【0029】
【発明の実施の形態】<1.画像処理装置の構成>この
発明の実施の形態における画像処理装置では、分割画像
Bについての重複領域の画像部分Gbを1ラインごとに
入力する度に、前回のラインについて決定されたつなぎ
位置から急激につなぎ位置が変化しないように、当該ラ
インについてのつなぎ位置が決定されるように構成され
ている。すなわち、この実施の形態の画像処理装置で
は、前回のラインについてのつなぎ位置から当該ライン
についてのつなぎ位置が大きく離れた位置とならないよ
うにすることにより、副走査方向に生じたズレが主走査
方向のズレとして現れた場合であってもつなぎ位置を大
きく変化させないことが可能となり、その結果、つなぎ
処理による画質劣化を抑制させることができるものであ
る。以下、この画像処理装置の詳細について説明する。
【0030】図1は、この発明の実施の形態の画像処理
装置100の構成を示すブロック図である。図1に示す
ように、この画像処理装置100は、画像入力部10と
画像処理部20とつなぎ処理部40とを備えている。
【0031】画像入力部10は、入力スキャナの画像読
み取りヘッド部分等のように原画像を読み取って複数の
分割画像を生成する装置である。以下においては、画像
入力部10からは原画像について2つの分割画像A,B
が得られる場合について説明する。なお、ここでは画像
入力部10は、図11に示すように主走査方向であるX
方向に複数の画素が配列されたCCDラインセンサ8が
1ライン分の画像を読み取り、さらに、副走査方向であ
るY方向に走査することによって2次元的な画像を得る
ことができる。そして、CCDラインセンサ8が主走査
方向に異なる位置で副走査方向に2回走査することによ
り、原画像2の全体を読み取ることができ、それぞれの
副走査方向への走査のときに、それぞれの分割画像A,
Bが生成される。
【0032】図2は、分割画像A,Bを説明する図であ
る。図2(a)は、原画像2を示しており、図2(b)
は、分割画像Aを示しており、図2(c)は、分割画像
Bを示している。図2(a)に示すような原画像2を分
割入力すると、図2(b),(c)に示すような分割画
像A,Bが得られる。図2(b),(c)に示す斜線領
域は、分割画像A,Bについて重複して得られる重複領
域の画像部分Ga,Gbである。2つの分割画像A,B
は、この重複領域内において1ラインごとにつなぎ処理
が施される。
【0033】ところで、2つの分割画像A,Bのそれぞ
れにおいては、図2(b),(c)の一点鎖線で示すよ
うに、画像入力部10の機械的構成や、原画像2以外の
部分に設けられた基準線を読み取った画素の位置等から
予めつなぎ基準位置を予測することができる。しかし、
つなぎ基準位置には、実際の原画像2の読み取りの際に
生じる走査ムラ,原稿の撓み等は反映されていないた
め、分割画像AとBとをそれぞれのつなぎ基準位置でつ
なぎ処理を行うと主走査方向に発生する位置ズレが解消
できず画像の歪み等の画質劣化を招くこととなる。
【0034】そこで、この実施の形態では、つなぎ対象
となるラインについて、先に入力する分割画像Aの重複
領域をつなぎ基準位置で固定させておき、後に入力する
分割画像Bの重複領域を分割画像Aの重複領域に対して
主走査方向に移動させて適切なつなぎ位置でのつなぎ処
理を行うものである。そして、つなぎ位置を決定する際
には、画像処理部20では、後述するように副走査方向
に送りムラ等によって生ずる位置ズレの影響を受けない
ようにするための処理が行われる。
【0035】図1に戻り、画像入力部10から得られる
分割画像A,Bは、画像処理部20に送られる。この画
像入力部10からは、まず、分割画像A(第1の分割画
像)が主走査方向(X方向)の1ラインごとに順次に出
力され、分割画像Aの全体が出力された後に続いて分割
画像B(第2の分割画像)が主走査方向の1ラインごと
に出力される。
【0036】画像処理部20には、画像抽出部21と比
較部22とつなぎ候補位置検出部23とつなぎ位置評価
部24とが設けられている。
【0037】画像抽出部21は、画像入力部10から得
られる分割画像A,Bのうちから重複領域の画像部分G
a,Gbを抽出する。画像抽出部21は、まず、分割画
像Aについての1ラインごとの入力がある度に、分割画
像Aについての重複領域の画像部分Gaを抽出して比較
部22に送出する。
【0038】図3は、画像抽出部21において分割画像
Aからの重複領域の画像部分Gaの抽出を説明する図で
ある。画像抽出部21は、主走査方向の1ラインごとに
入力する分割画像Aのうちから比較対象とするk個の画
素を抽出し、重複領域の画像部分Ga(画素数k個)を
得る。この抽出は、例えば、分割画像Aについてのつな
ぎ基準位置(図3の一点鎖線で示す位置)を中心にk個
の画素を抽出することによって1ラインごとに行われ
る。
【0039】図4は、比較部22の内部構成を示す図で
ある。比較部22の内部には、特性データ生成部31と
画像メモリ32とが設けられている。そして、比較部2
2では、図5(a)に示すように、画像抽出部21にお
いて分割画像Aの各ラインごとに抽出された重複領域の
画像部分Gaを入力すると、画像メモリ32に順次に格
納していく。そして、分割画像Aの全てのラインについ
ての重複領域の画像部分Gaが画像メモリ32に格納さ
れることとなる。
【0040】一方、画像入力部10から入力する分割画
像Aの主走査方向全体の画像データは、ラインごとに後
段のつなぎ処理部40にも導かれ、つなぎ処理部40に
おいて内部に設けられた磁気ディスク等の記憶部に主走
査ラインごとに順次格納していく。従って、つなぎ処理
部40の記憶部には、分割画像Aの全体の画像データが
格納されることとなる。
【0041】画像入力部10は、分割画像Aの全体の画
像データを画像処理部20に対して送出すると、次に、
分割画像Bを画像処理部20に対して主走査方向1ライ
ンごとに送出する。
【0042】画像抽出部21は、画像入力部10から分
割画像Bが1ラインごとに入力される度に、分割画像B
のうちから重複領域GRに相当する画像部分Gbのみを
抽出する。ここでの抽出は、例えば、分割画像Bについ
てのつなぎ基準位置を中心に、又は、画像入力部10か
ら入力したラインの前回のラインについて決定されたつ
なぎ位置を中心に所定の数(j個(但し、j>k))の
画素を抽出することにより行われる。図6は、画像抽出
部21において分割画像Bからの重複領域の画像部分G
bの抽出を説明する図である。図6に示す一点鎖線は、
つなぎ基準位置又は前回のラインについて決定されたつ
なぎ位置である。例えば、最初の1ライン分の分割画像
Bについては、つなぎ基準位置を中心に所定の数の画素
を抽出し、2ライン目以降の分割画像Bについては、前
回のラインについて決定されたつなぎ位置(前回のライ
ンについて相関度が最も高かった位置)を中心に所定の
数の画素を抽出することが考えられる。このようにし
て、画像抽出部21は、主走査方向の1ラインごとに入
力する分割画像Bのうちから比較対象とするj個の画素
を抽出し、重複領域の画像部分Gb(画素数j個)を得
る。
【0043】そして、画像抽出部21において抽出され
た分割画像Bについての1ラインごとの画像部分Gbは
比較部22に送られる。すなわち、画像抽出部21は、
画像入力部10から1ライン分の分割画像Bを入力する
と当該ラインについての1ライン分の画像部分Gbを抽
出し、比較部22に出力する。
【0044】そして、比較部22は、分割画像Bについ
ての画像部分Gbの1ラインごとの入力がある度に、先
に入力した分割画像Aについての当該ラインに相当する
ラインと、当該ラインに相当するラインの−Y方向に位
置するラインと、当該ラインに相当するラインの+Y方
向に位置するラインとの3ライン分の画像部分Gaを画
像メモリ32から読み出し、分割画像Aについての3ラ
イン分の画像部分Gaと分割画像Bについての当該ライ
ンの画像部分Gbとの比較を行う。
【0045】図5(b)に示すように、比較部22の内
部の特性データ生成部31に対して任意の1ライン(例
えば、y番目のラインとする)の画像部分Gb(y)が入
力すると、特性データ生成部31は、画像メモリ32か
ら分割画像Aについてのy番目のラインの画像部分Ga
(y)と、(y−n)番目のラインの画像部分Ga(y−n)
と、(y+n)番目のラインの画像部分Ga(y+n)とを
読み出す。ここで、nは、任意の整数である。例えば、
「n=3」とすると、画像部分Ga,Gbがそれぞれ図
13(a),(b)に示すように得られる場合、比較部
22に分割画像Bの4ライン目の画像部分Gb4が入力
した際には、特性データ生成部31は画像メモリ32か
ら図13(a)に示す画像部分Ga1,Ga4,Ga7
を読み出すこととなる。
【0046】そして、特性データ生成部31では、分割
画像Bについての画像部分Gb(y)と分割画像Aについ
ての画像部分Ga(y−n)とを比較して第1の特性デー
タSh1を生成し、画像部分Gb(y)と画像部分Ga
(y)とを比較して第2の特性データSh2を生成し、画
像部分Gb(y)と画像部分Ga(y+n)とを比較して第
3の特性データSh3を生成する。上記の図13の例の
場合であると、画像部分Gb4と画像部分Ga1とを比
較して第1の特性データSh1を生成し、画像部分Gb
4と画像部分Ga4とを比較して第2の特性データSh
2を生成し、画像部分Gb4と画像部分Ga7とを比較
して第3の特性データSh3を生成することとなる。
【0047】ここでの比較は、画像メモリ32から読み
出したそれぞれの画像部分Ga(y−n),Ga(y),G
a(y+n)に対して、分割画像Bについての画像部分G
bの比較対象とする部分を前回のラインのつなぎ位置を
中心に±X方向について画素単位で段階的に移動させ、
各画素位置において比較対象とされる部分の画像部分G
bと各画像部分Ga(y−n),Ga(y),Ga(y+n)
とを比較することにより行われる。
【0048】具体的には、画像部分Gbについての移動
量をZ画素分(但し、−m≦Z≦+m:mは任意の整
数)とすると、図7に示すように、Z=−m,−m+
1,−m+2,…,+mというように分割画像Bについ
ての画像部分Gbについての比較対象とする部分(図7
に示す斜線部分)を画素単位で移動させ、その比較対象
とする部分と分割画像Aについての画像部分Gaとを比
較する。移動量Zにおける画像部分GaとGbとの比較
は、上記の数1と同様の方法によって行われる。そし
て、このような画像部分Gb(y)の比較を各画像部分G
a(y−n),Ga(y),Ga(y+n)に対してそれぞれ
行うことにより、画像部分Gb(y)と各画像部分Ga
(y−n),Ga(y),Ga(y+n)とについての特性デ
ータSh1(Z)〜Sh3(Z)を得ることができる。数1
は、分割画像AとBとのうちの一方を画素単位でずらし
ながら、画素ごとの差分値を積算するものである。この
差分の積算値は、両画像の相関度を示している。
【0049】図8は、「n=3」とした場合の図13
(b)の分割画像Bの4ライン目の画像部分Gb4の比
較を示す図である。図8(a)に示すように、画像部分
Ga1と画像部分Gb4とを比較した場合、画像部分G
b4を−X方向にZ1個の画素分だけ移動させると画像
部分Ga1と画像部分Gb4との相関度が最も高くなる
ことが判る。また、図8(b)に示すように、画像部分
Ga4と画像部分Gb4とを比較した場合、画像部分G
b4を−X方向にZ2個の画素分だけ移動させると画像
部分Ga4と画像部分Gb4との相関度が最も高くなる
ことが判る。さらに、図8(c)に示すように、画像部
分Ga7と画像部分Gb4とを比較した場合、画像部分
Gb4を+X方向にZ3個の画素分だけ移動させると画
像部分Ga7と画像部分Gb4との相関度が最も高くな
ることが判る。
【0050】このような場合、各画像部分Ga1,Ga
4,Ga7と比較して得られる各特性データSh1〜S
h3は、図9に示すようになる。なお、図9において、
「Z=0」となる位置は、前回のラインについて決定さ
れたつなぎ位置となっている。
【0051】なお、上記のような比較部22における処
理内容を換言すると、1ラインごとに画像部分Gbが抽
出される度に、当該ラインの画像部分Gb(y)と、当該
ラインおよび当該ラインの前後方向に位置する複数のラ
インのそれぞれに対応する分割画像Aについての複数の
画像部分Ga(y−n),Ga(y),Ga(y+n)とを比
較することにより、当該ラインの画像部分Gbと画像部
分Ga(y−n),Ga(y),Ga(y+n)のそれぞれと
の相関度を示す複数の特性データSh1,Sh2,Sh
3を生成する処理である。
【0052】このようにして得られた特性データSh1
〜Sh3は、つなぎ候補位置検出部23に送られる。
【0053】つなぎ候補位置検出部23は、比較部22
から得られる特性データSh1,Sh2,Sh3に基づ
いてyライン目の画像部分Gbのつなぎ候補位置を求め
る。つなぎ候補位置検出部23には、図9に示したよう
な複数の特性データSh1,Sh2,Sh3が入力す
る。そして、つなぎ候補位置検出部23は、複数の特性
データSh1,Sh2,Sh3のそれぞれについて最小
値となる移動量Zの位置を求める。各特性データは上述
のように差分積算値であるため、最小値となる位置にお
いて、比較された画像部分どうしの相関度が最も高くな
る。図9に示したような特性データSh1,Sh2,S
h3については、つなぎ候補位置Z1,Z2,Z3が検
出される。
【0054】このようにして得られたつなぎ候補位置Z
1,Z2,Z3は、つなぎ位置評価部24に送られる。
【0055】つなぎ位置評価部24は、つなぎ候補位置
検出部23から得られる複数のつなぎ候補位置Z1,Z
2,Z3に基づいて評価を行い、yライン目の分割画像
Bについてつなぎ処理を行う際に適切なつなぎ位置Zp
を決定し、出力する。
【0056】ここでの評価は、以下のように行われる。
【0057】まず、複数のつなぎ候補位置Z1,Z2,
Z3のうちで、前回のつなぎ位置を中心として正方向の
位置に分布するつなぎ候補位置と負方向の位置に分布す
るつなぎ候補位置との双方が存在する場合は、突然に主
走査方向へのつなぎ位置の修正が大きくなることを避け
るため、前回のラインについてのつなぎ位置を採用す
る。
【0058】すなわち、図9に示したように、つなぎ候
補位置検出部23から得られるつなぎ候補位置Z1,Z
2,Z3の間の位置に前回のラインについての決定され
たつなぎ位置(Z=0)が存在する場合は、前回のライ
ンについてのつなぎ位置(Z=0)を当該ラインについ
てのつなぎ位置Zpとして決定する。なお、つなぎ候補
位置Z1,Z2,Z3のうちのどれが正方向又は負方向
の位置に分布しても良い。
【0059】つぎに、複数のつなぎ候補位置Z1,Z
2,Z3の全てが、前回のつなぎ位置に対して正方向の
位置に集中して分布する場合、又は、前回のつなぎ位置
に対して負方向の位置に集中して分布する場合は、前回
のラインについてのつなぎ位置に最も近い位置に存在す
るつなぎ候補位置を採用する。すなわち、複数のつなぎ
候補位置Z1,Z2,Z3の間の位置に、前回のライン
についての決定されたつなぎ位置が存在しない場合は、
前回のラインについてのつなぎ位置に最も近い位置に存
在するつなぎ候補位置が当該ラインについてのつなぎ位
置として決定される。
【0060】例えば、図10(a)に示すように、つな
ぎ候補位置検出部23から得られるつなぎ候補位置Z
1,Z2,Z3が、前回のラインについての決定された
つなぎ位置(Z=0)に対して−Z側に集中して存在す
る場合は、前回のラインについてのつなぎ位置(Z=
0)に最も近い位置に存在するつなぎ候補位置Z3が当
該ラインについてのつなぎ位置Zpとして決定される。
また、図10(b)に示すように、つなぎ候補位置検出
部23から得られるつなぎ候補位置Z1,Z2,Z3
が、前回のラインについての決定されたつなぎ位置(Z
=0)に対して+Z側に集中して存在する場合は、前回
のラインについてのつなぎ位置(Z=0)に最も近い位
置に存在するつなぎ候補位置Z1が当該ラインについて
のつなぎ位置Zpとして決定される。
【0061】このようにつなぎ位置評価部24におい
て、複数のつなぎ候補位置の評価を行い、複数のつなぎ
候補位置の間の位置に前回のつなぎ位置が存在する場合
には、前回のラインについてのつなぎ位置を採用するた
め、画像読み取りの際に副走査方向への位置ズレが生じ
ていたとしても、前回のラインについてのつなぎ位置で
つなぎ処理を行うことができる。また、複数のつなぎ候
補位置の間の位置に前回のつなぎ位置が存在しない場合
であっても、前回のラインについてのつなぎ位置に最も
近い位置に存在するつなぎ候補位置を当該ラインのつな
ぎ位置とするので、画像読み取りの際に副走査方向への
位置ズレが生じていたとしても、前回のラインについて
のつなぎ位置から大きく離れた位置につなぎ位置が決定
されることのなく、前回のラインについてのつなぎ位置
に最も近い位置にあるつなぎ候補位置をつなぎ位置とす
ることができる。
【0062】一般的に、送りムラなどにより副走査方向
に位置ズレが生じたとしても、今回のラインについての
適切なつなぎ位置が、前回のラインの適切なつなぎ位置
に比べて突然遠く離れた画素位置になることはない。逆
に言えば、今回のラインのつなぎ位置が、前回のライン
のつなぎ位置に比べて突然遠く離れた画素位置になる場
合は、適切なつなぎ位置となっていないと考えられる。
【0063】従って、この実施の形態では、分割画像B
についての当該ラインの画像部分Gbを、分割画像Aに
ついての複数のライン分の画像部分Gaと比較すること
によって、複数のつなぎ候補位置を検出し、これら複数
のつなぎ候補位置のうちから前回のラインのつなぎ位置
に比べて突然遠く離れた位置にならないように当該ライ
ンについてのつなぎ位置を求めることにより、送りムラ
などにより副走査方向に位置ズレが生じた場合であって
も適切なつなぎ位置を決定することができるように実現
されている。
【0064】つなぎ位置評価部24において、適切なつ
なぎ位置Zpが決定されると、そのつなぎ位置Zpはつ
なぎ位置情報としてつなぎ処理部40に出力される。
【0065】以上で、画像処理部20が入力した分割画
像Bについての1ライン分についての処理が終了したこ
ととなり、それ以後に入力するラインについても同様の
処理が施される。そして、分割画像Bについてのライン
ごとの入力がある度に、画像処理部20は当該ラインに
ついてのつなぎ位置Zpをつなぎ位置情報としてつなぎ
処理部40に順次に送出することとなる。
【0066】また、画像処理部20が画像入力部10か
ら入力した分割画像Bの1ライン分全体の画像データ
は、後段のつなぎ処理部40に導かれる。
【0067】つなぎ処理部40においては、内部に設け
られた記憶部から分割画像Aについての画像データを読
み出し、画像処理部20から入力する分割画像Bについ
ての1ラインごとの画像データを前回のラインのつなぎ
位置からつなぎ位置Zpの分だけ主走査方向に移動させ
て、分割画像Aと分割画像Bとのつなぎ処理を行う。
【0068】すなわち、つなぎ処理部40は、画像処理
部20から与えられる先に入力した分割画像Aを内部に
設けられた磁気ディスク等の記憶部に格納しておき、分
割画像Bの1ラインごとの入力とともに、画像処理部2
0内のつなぎ位置評価部24から入力するつなぎ位置Z
pに基づいて分割画像A,Bのつなぎ処理を施して原画
像2についての1つの画像データを生成することができ
る。そして、得られた原画像2についての1つの画像デ
ータは、記憶部内に再び格納したり、後段の装置に画像
出力することができるように構成されている。
【0069】また、3分割以上の分割画像を入力する場
合についても上記のような処理が繰り返されることとな
る。
【0070】このように、この実施の形態の画像処理装
置100では、1ラインごとに分割画像Bが入力する度
に、分割画像Bについての当該ラインの画像部分Gb
と、当該ラインおよび当該ラインの前後方向に位置する
複数のラインのそれぞれに対応する分割画像Aについて
の複数のライン分の画像部分Gaとを比較・評価するこ
とによって複数のつなぎ候補位置を求め、複数のつなぎ
候補位置に基づいて当該ラインについての適切なつなぎ
位置を決定するように構成されているため、主走査方向
についてのつなぎ位置が前回のラインのつなぎ位置から
大きく変化することを抑制することができる。このた
め、副走査方向に位置ズレが生じた場合であっても、主
走査方向についてのつなぎ処理を適正に行うことが可能
となる。
【0071】換言すれば、前回のラインについてのつな
ぎ位置から当該ラインについてのつなぎ位置が大きく離
れた位置とならないようにすることにより、副走査方向
に生じたズレが主走査方向のズレとして現れた場合であ
ってもつなぎ位置を大きく変化させないことが可能とな
る。その結果、副走査方向に位置ズレが生じた場合であ
っても、分割画像Bのつなぎ位置よりもさらに右側部分
(+Z方向側)の文字などの線画を歪ませることがな
く、視覚的にも好ましいつなぎ処理が実現でき、つなぎ
処理による画質劣化を抑制することができる。
【0072】<2.変形例>上記の実施の形態では、複
数の分割画像が横方向に存在する場合のつなぎ処理を一
例として説明したが、これに限定するものではない。す
なわち、縦方向に複数の分割画像が存在する場合であっ
ても縦方向の1ラインごとに上記と同様の処理を行えば
適切なつなぎ位置を導くことができることは明らかであ
る。
【0073】また、上記の実施の形態で示した構成のう
ち、つなぎ処理部40を別体として構成しても良い。す
なわち、各実施の形態に示す画像入力部10と画像処理
部20とを入力スキャナ等に組み込んだ状態で構成し、
つなぎ処理部40を別体としてコンピュータ等に担当さ
せることもできる。この場合も、つなぎ処理部としての
コンピュータは、分割画像Aを一旦磁気ディスク等に格
納しておき、その後、1ラインごとの分割画像Bととも
に入力するつなぎ位置Zpに基づいて、当該ラインの分
割画像Bを分割画像Aに対して連結するつなぎ処理を行
うように構成すれば良い。
【0074】また、上記説明においては、画像入力部1
0は、入力スキャナ等のように原画像を読み取ることに
よって分割画像A,Bを生成している場合について説明
したが、これに限定するものでもない。例えば、画像入
力部10が、予め生成された複数の分割画像を単に格納
しておくものであり、後段の画像処理部20に対して複
数の分割画像を主走査方向の1ラインごとに順次に送出
することができるものであっても良い。このような場合
であっても後段の画像処理部20では適切に画像抽出、
比較、つなぎ候補位置検出、つなぎ位置評価等の処理を
行うことができることは言うまでもない。
【0075】さらに、この実施の形態に示した分割画像
のつなぎ処理は、画像処理部20が画像入力部10から
3分割以上の分割画像を入力する場合についても同様に
適用可能である。この場合は、各分割画像の入力に伴っ
て、先に入力した分割画像と比較する重複領域を抽出す
るとともに、後に入力する分割画像と比較する重複領域
をも抽出しておくことが必要である。そして、この場
合、画像入力部10から現在入力中である分割画像が第
2の分割画像となり、比較部22が内部のメモリ等から
読み出す対象となるのが第1の分割画像となる。
【0076】
【発明の効果】以上説明したように、請求項1に記載の
発明によれば、1ラインごとに第2の画像部分が抽出さ
れる度に、当該ラインの第2の画像部分と、当該ライン
および当該ラインの前後方向に位置する複数のラインの
それぞれに対応する複数の第1の画像部分とを比較する
ことにより、当該ラインの第2の画像部分と複数の第1
の画像部分のそれぞれとの相関度を示す複数の特性デー
タを生成し、複数の特性データのそれぞれから第2の画
像部分の当該ラインについての複数のつなぎ候補位置を
検出し、複数のつなぎ候補位置に基づいて、第1の分割
画像と第2の分割画像との当該ラインについてのつなぎ
位置を決定するため、主走査方向についてのつなぎ位置
が前回のラインのつなぎ位置から大きく変化することを
抑制することができる。このため、副走査方向に位置ズ
レが生じた場合であっても、主走査方向についてのつな
ぎ処理を適正に行うことが可能となる。
【0077】請求項2に記載の発明によれば、つなぎ位
置評価手段は、当該ラインについて検出された複数のつ
なぎ候補位置の間の位置に、前回のラインについての決
定されたつなぎ位置が存在する場合には、前回のライン
についてのつなぎ位置を当該ラインについてのつなぎ位
置として決定するため、主走査方向についてのつなぎ位
置を前回のラインのつなぎ位置と同じ位置にすることが
できる。このため、副走査方向に位置ズレが生じた場合
であっても、主走査方向についてのつなぎ位置は変化し
ない。そして、つなぎ処理による画質劣化を抑制するこ
とができ、視覚的にも好ましい適切なつなぎ処理を行う
ことができる。
【0078】請求項3に記載の発明によれば、つなぎ位
置評価手段は、当該ラインについて検出された複数のつ
なぎ候補位置の間の位置に、前回のラインについての決
定されたつなぎ位置が存在しない場合には、複数のつな
ぎ候補位置のうち、前回のラインについてのつなぎ位置
に最も近い位置を示すつなぎ候補位置を当該ラインにつ
いてのつなぎ位置として決定するため、副走査方向に位
置ズレが生じた場合であっても、主走査方向についての
つなぎ位置は大きく変化しない。そして、つなぎ処理に
よる画質劣化を抑制することができ、視覚的にも好まし
い適切なつなぎ処理を行うことができる。
【図面の簡単な説明】
【図1】この発明の実施の形態の画像処理装置の構成を
示すブロック図である。
【図2】分割画像A,Bを説明する図である。
【図3】画像抽出部において分割画像Aからの重複領域
の画像部分Gaの抽出を説明する図である。
【図4】この発明の実施の形態における比較部の構成を
示す図である。
【図5】各分割画像の画像部分をラインごとに入力した
際の比較部の動作を示す説明図である。
【図6】画像抽出部において分割画像Bからの重複領域
の画像部分Gbの抽出を説明する図である。
【図7】分割画像Aの画像部分Gaと分割画像Bの画像
部分Gbとの比較を説明する図である。
【図8】分割画像Bの4ライン目の画像部分Gbと、複
数のラインについての画像部分Gaとのそれぞれの比較
を示す図である。
【図9】比較部における比較によって得られる複数の特
性データを示す図である。
【図10】図9とは異なる特性の複数の特性データを示
す図である。
【図11】原画像を2分割した状態で読み取る場合につ
いての説明図である。
【図12】従来の画像処理装置の概略構成を示すブロッ
ク図である。
【図13】右下がり斜線を読み取った際のつなぎ処理を
示す図である。
【図14】画像読み取りの際に生じる副走査方向の位置
ズレが主走査方向に増幅されることを説明する図であ
る。
【符号の説明】
10 画像入力部 20 画像処理部 21 画像抽出部 22 比較部 23 つなぎ候補位置検出部 24 つなぎ位置評価部 40 つなぎ処理部 A 分割画像(第1の分割画像) B 分割画像(第2の分割画像) Ga 画像部分(第1の分割画像) Gb 画像部分(第2の分割画像) Sh1,Sh2,Sh3 特性データ Z1,Z2,Z3 つなぎ候補位置
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 3/00 400 H04N 1/387

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 原画像が分割された第1の分割画像と第
    2の分割画像とに重複して含まれる重複領域において、
    前記第1の分割画像と前記第2の分割画像とのつなぎ処
    理を行うためのつなぎ位置を第1の走査方向についての
    1ラインごとに決定する画像処理装置であって、 (a) 前記つなぎ処理の対象となる前記第1の分割画像と
    前記第2の分割画像とを順次に入力する画像入力手段
    と、 (b) 前記画像入力手段における入力に伴って、前記第1
    の分割画像のうちから所定部分の画像を抽出することに
    より前記第1の分割画像についての前記重複領域の第1
    の画像部分を1ラインごとに抽出するとともに、前記第
    2の分割画像のうちから所定部分の画像を抽出すること
    により前記第2の分割画像についての前記重複領域の第
    2の画像部分を1ラインごとに抽出する画像抽出手段
    と、 (c) 1ラインごとに前記第2の画像部分が抽出される度
    に、当該ラインの前記第2の画像部分と、当該ラインお
    よび当該ラインの前後方向に位置する複数のラインのそ
    れぞれに対応する複数の前記第1の画像部分とを比較す
    ることにより、当該ラインの前記第2の画像部分と前記
    複数の第1の画像部分のそれぞれとの相関度を示す複数
    の特性データを生成する比較手段と、 (d) 前記複数の特性データのそれぞれから、前記第2の
    画像部分の当該ラインについての複数のつなぎ候補位置
    を検出するつなぎ候補位置検出手段と、 (e) 前記複数のつなぎ候補位置に基づいて、前記第1の
    分割画像と前記第2の分割画像との当該ラインについて
    のつなぎ位置を決定するつなぎ位置評価手段と、を備え
    ることを特徴とする画像処理装置。
  2. 【請求項2】 請求項1に記載の画像処理装置におい
    て、 前記つなぎ位置評価手段は、当該ラインについて検出さ
    れた前記複数のつなぎ候補位置の間の位置に、前回のラ
    インについての決定されたつなぎ位置が存在する場合に
    は、前回のラインについてのつなぎ位置を当該ラインに
    ついてのつなぎ位置として決定することを特徴とする画
    像処理装置。
  3. 【請求項3】 請求項1又は2に記載の画像処理装置に
    おいて、 前記つなぎ位置評価手段は、当該ラインについて検出さ
    れた前記複数のつなぎ候補位置の間の位置に、前回のラ
    インについての決定されたつなぎ位置が存在しない場合
    には、前記複数のつなぎ候補位置のうち、前回のライン
    についてのつなぎ位置に最も近い位置を示すつなぎ候補
    位置を当該ラインについてのつなぎ位置として決定する
    ことを特徴とする画像処理装置。
JP17724498A 1998-06-24 1998-06-24 画像処理装置 Expired - Fee Related JP3526216B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17724498A JP3526216B2 (ja) 1998-06-24 1998-06-24 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17724498A JP3526216B2 (ja) 1998-06-24 1998-06-24 画像処理装置

Publications (2)

Publication Number Publication Date
JP2000011154A JP2000011154A (ja) 2000-01-14
JP3526216B2 true JP3526216B2 (ja) 2004-05-10

Family

ID=16027682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17724498A Expired - Fee Related JP3526216B2 (ja) 1998-06-24 1998-06-24 画像処理装置

Country Status (1)

Country Link
JP (1) JP3526216B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4454335B2 (ja) 2004-02-12 2010-04-21 Necインフロンティア株式会社 指紋入力装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63103563A (ja) * 1986-10-20 1988-05-09 Sharp Corp イメ−ジ入力デ−タの接続処理方法
JP2651633B2 (ja) * 1991-04-08 1997-09-10 大日本スクリーン製造株式会社 画像読取方法

Also Published As

Publication number Publication date
JP2000011154A (ja) 2000-01-14

Similar Documents

Publication Publication Date Title
JP3249605B2 (ja) 書類辺縁検出装置
US20060039627A1 (en) Real-time processing of grayscale image data
JP3709344B2 (ja) 指紋画像の入力方法、指紋画像の入力装置、プログラム、携帯型情報機器
JPH1065877A (ja) 画像処理装置
US8203766B2 (en) Vibratory scanning
US5532845A (en) High speed high resolution platen scanning system using a plurality of scanning units
US6728425B1 (en) Image processing device
JPH0879529A (ja) 画像処理装置
US20130057926A1 (en) Image compensation in regions of low image contrast
JP2009171563A (ja) 画像処理装置及び画像処理方法並びに画像処理方法を実行するプログラム及び記憶媒体
JP3526216B2 (ja) 画像処理装置
US6650362B1 (en) Movement detecting apparatus with feature point extractor based on luminance gradient in current frame
JPS63169871A (ja) 副走査方向読取り位置ずれ補正方法
JP3384115B2 (ja) 画像処理装置
US20090168128A1 (en) Image processing apparatus, image processing method, and program to execute the image processing method
JP3697828B2 (ja) 原稿角度補正方法及び原稿角度補正装置
US4864413A (en) Image processing system having a selective magnification function
JP3527412B2 (ja) 画像処理装置
JP2000011153A (ja) 画像処理装置
JP3519607B2 (ja) 画像処理装置
JPH0897980A (ja) 画像読み取り装置の調整方法および調整装置
JPH11331556A (ja) 画像処理装置
JP3451490B2 (ja) 画情報の処理方法
JPS62291851A (ja) 走査型電子顕微鏡画像の走査振動除去方式
JP2578461B2 (ja) 画像入力装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040212

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090227

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100227

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100227

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100227

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110227

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110227

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees