JP4305980B2 - 画像処理システム - Google Patents

画像処理システム Download PDF

Info

Publication number
JP4305980B2
JP4305980B2 JP31583098A JP31583098A JP4305980B2 JP 4305980 B2 JP4305980 B2 JP 4305980B2 JP 31583098 A JP31583098 A JP 31583098A JP 31583098 A JP31583098 A JP 31583098A JP 4305980 B2 JP4305980 B2 JP 4305980B2
Authority
JP
Japan
Prior art keywords
image data
unit
reading
unit image
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31583098A
Other languages
English (en)
Other versions
JP2000148971A (ja
Inventor
和宏 石黒
順二 西垣
満 小原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP31583098A priority Critical patent/JP4305980B2/ja
Priority to US09/434,293 priority patent/US6891644B1/en
Publication of JP2000148971A publication Critical patent/JP2000148971A/ja
Application granted granted Critical
Publication of JP4305980B2 publication Critical patent/JP4305980B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H04N1/1013Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with sub-scanning by translatory movement of at least a part of the main-scanning components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/191Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
    • H04N1/192Simultaneously or substantially simultaneously scanning picture elements on one main scanning line
    • H04N1/193Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/0402Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0466Selectively scanning in one or the other of two opposite directions, e.g. in the forward or the reverse direction
    • H04N2201/0468Scanning in both of the two directions, e.g. during the forward and return movements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は画像処理システムに関し、特に原稿画像を読取った後に処理する画像処理システムに関する。
【0002】
【従来の技術】
従来より原稿をラインセンサでスキャンすることで原稿画像を読取り、圧縮などの画像処理を行なう画像処理システムが知られている。
【0003】
【発明が解決しようとする課題】
たとえば細かい市松模様の画像データに対してランレングス圧縮を行なう場合、処理に要する時間が長くなる。したがって、このような処理時間の長い画像データを処理するためには、スキャンの速度を遅くするまたは処理速度の速い高価な画像処理装置を用いる必要がある。しかしながら、画像処理システムが常に細かい市松模様のような画像データを扱う場合は考えにくい。したがって、処理時間の長い画像データのためにスキャンの速度を遅くすることは画像処理の効率を悪くさせる。また、高価な画像処理装置を用いることは徒に画像処理システムをコストアップさせることにつながる。
【0004】
そこでこの発明は、画像処理の効率がよく、かつ安価な画像処理システムを提供することを目的としている。
【0005】
【課題を解決するための手段】
上記目的を達成するためこの発明のある局面に従うと、画像処理システムは、全画像データを複数の単位画像データに分割し、複数の単位画像データを順次処理する第1の処理手段と、複数の単位画像データのうち、第1の処理手段によっては処理できなかった単位画像データを検出する検出手段と、検出された単位画像データを処理する第2の処理手段とを備える。
【0006】
好ましくは検出手段は、第1の処理手段による処理のオーバフローを検出する。
【0007】
さらに好ましくは第1の処理手段は、原稿を第1の方向にスキャンしながら処理を行ない、第2の処理手段は原稿を第2の方向にスキャンしながら処理を行なう。
【0008】
この発明に従うと、第1の処理手段によっては処理ができなかった単位画像データが存在する場合に第2の処理手段により処理が行なわれるため、画像処理の効率がよい画像処理システムを提供することが可能となる。また、第1の処理手段により処理ができなかった単位画像データがある場合でも、第2の処理手段による処理が可能であるため、第1の処理手段の処理速度を速める必要がない。これにより、安価な画像処理システムを提供することが可能である。
【0009】
【発明の実施の形態】
図1は、本発明の実施の形態の1つにおける画像読取装置(画像処理システムの一種)の構成を示す側面図である。図を参照して、画像読取装置は原稿を載置するプラテンガラス100と、プラテンガラス100に載置された原稿に対しての照明を行ない、反射光を得るための露光ランプ200と、原稿からの反射光を導いて撮像素子に結像させる光学系301〜304と、原稿画像の信号を1ライン単位で読取る撮像素子(CCDセンサ)400と、露光ランプ200および光学系の一部(スキャナ)を読取ラインの位置に応じて移動させるための駆動モータ500とから構成される。
【0010】
図2は、図1に示される画像読取装置の信号処理部の構成を示すブロック図である。図を参照して信号処理部は、撮像素子(CCDセンサ)400で得られた電気信号をMPUで処理できる数値データに変換するA/D変換部410と、各種の信号処理を実行するMPU600と、1ライン単位の処理を実行する際のバッファメモリとなるワークバッファ610と、処理した結果のデータを蓄積しておくメモリ620と、メモリ620の内容を外部の装置に対して送出する際に使用されるインターフェイス部630とから構成される。
【0011】
駆動モータ500および露光ランプ200はMPU600に接続される。
図3は、本実施の形態における画像読取装置の動作を説明するための図である。まず、図1(A)に示されるように、露光ランプ200の往方向のスキャンにより原稿画像データの読取が行なわれると同時に、画像データの圧縮が行なわれる。画像データの圧縮に必要とされる時間は画像データの内容により異なる。したがって、スキャンの速度との関係から画像データの圧縮処理を行なうことができた領域(ハッチングで示される領域A)と、圧縮処理を行なうことができなかった領域(ハッチングが付されていない領域)とが発生している。
【0012】
このとき、圧縮処理を行なうことができなかった領域の位置Pos1〜5と、その領域の幅BND1〜5とをメモリ620に記憶しておく。
【0013】
そして、図3(B)に示されるように、露光ランプの復方向のスキャンを行ない、Pos1〜5およびBND1〜5の値から、往方向のスキャンにより圧縮処理を行なうことができなかった領域の画像データの読取と圧縮とを行なう。
【0014】
通常の原稿に対しては往方向のスキャンのみによりすべての画像データの圧縮処理が可能となるように、スキャン速度とMPU600の処理速度との関係を調整しておく。
【0015】
そして、原稿に細かい市松模様などの処理時間が長い画像が含まれている場合に、その画像は復方向のスキャンで処理する。これにより、通常の原稿に対しては高速な処理を行なうことができ、かつ処理時間の長い画像を含む原稿に対しては復方向のスキャンで確実な読取をすることができる。
【0016】
また、本実施の形態によるとスキャンを行なう機械的部分の構成はそのままで、MPUなどの処理回路を別のものに変えることができる。これにより、簡単に画像読取装置の機能を向上させることができる。
【0017】
図4は、本実施の形態における画像読取装置の処理を示すフローチャートである。図を参照して、ステップS1で初期設定が行なわれる。ステップS3で往方向のスキャン処理が行なわれる。そして、ステップS5でPosiの情報があるかが判定され、YESであればステップS7で復スキャン処理を行なう。
【0018】
一方、ステップS5でNOであれば、復スキャンは行なわずそのまま画像の読取を終了する。
【0019】
図5は、図4の往スキャン処理(S3)の内容を示すフローチャートである。図を参照して、ステップS101で往方向のスキャンが開始される。ステップS103でラインカウンタLの値に「0」が代入される。
【0020】
ステップS105でタイマ1がスタートされる。このタイマ1は原稿の1ライン分のスキャンが終了するまでの時刻をカウントするタイマである。
【0021】
ステップS107で原稿の1ライン分の画像データ(単位画像データ)の読取が行なわれる。ステップS109で読取られた画像データに対し圧縮処理が行なわれる。ステップS111で圧縮された画像データにヘッダとしてライン位置情報Lを付加してメモリへストアする。図6にメモリへストアされるデータの具体例を示す。図6を参照してデータはライン位置情報Lをヘッダ部とし、圧縮画像データとエンドマークEOLとを持つ。
【0022】
ステップS113でタイマ1のカウントが既に終了しているかが判定される。YESであれば、1ライン分のスキャンが終了する間に圧縮処理ができなかった場合(処理のオーバーフロー)を示すため、ステップS115へ進み、タイマ1のカウントアップ回数nを読取る。そして、ステップS117でラインカウンタLの値にnを加算し、ステップS119でPosiの値にLを代入し、BNDiの値にnを代入する。その後、ステップS105へ戻る。
【0023】
ステップS113でNOであれば、1ライン分のスキャンの間に圧縮処理が終了したことを示すため、ステップS121へ進み、ラインカウンタLの値を1インクリメントし、ステップS123で最終ラインに到達したかを判定する。YESであれば、往スキャン処理を終了し、NOであればステップS105へ戻る。
【0024】
図7は、往スキャンが終了した時点におけるメモリ620に格納されている画像データの具体例である。図7を参照して、図6に示される1ライン分の画像データが処理された順にメモリ620に格納されている。ここでは、第0〜第999ラインまでの圧縮処理がリアルタイムで行なわれ、第1000〜第1499ラインまでの圧縮は往スキャンでは処理できなかった場合を示している。その後、第1500〜第1999ラインまでのデータは再びリアルタイムで圧縮が行なわれている。
【0025】
このとき、読取ができなかった画像データの位置の情報として、Pos=1499,BND=500がメモリ620に併せて記録される。
【0026】
図5に示される処理により、原稿のスキャン時に処理がオーバフローした場合には、オーバフローした最終値Posiとオーバフローしたライン数BNDiとがメモリ620に記憶される。往スキャンにおいては、上述のBNDiの領域については、処理を行なわない。
【0027】
図8は、図4の復スキャン処理(S7)の内容を示すフローチャートである。復スキャンでは、往スキャンで処理できなった領域についての処理が行なわれる。具体的には、スキャナが往スキャン時に処理できなかった領域まで移動し、各ラインの処理を実行する。このとき、復スキャンは往スキャンとは逆方向のスキャンとなるため、鏡像処理が画像データに対して行なわれる。処理が終了した結果は図7に示されるメモリ620の空き領域に格納される。
【0028】
図8を参照して、ステップS201で最後に記録されたPosiおよびBNDiの値が読取られる。これは、具体的には図3(A)の例においてはPos5の値とBND5の値とを読取るものである。
【0029】
次にステップS203でラインカウンタLの値に最終ラインのカウント値(図7の例では1999)を代入する。ステップS205で復スキャンを開始する。
【0030】
ステップS207でスキャナがPosiが示す位置まで到達したかが判定される。NOであれば、ステップS223でラインカウンタLの値を1デクリメントし、ステップS225でスキャナを1ライン分移動させ、ステップS207へ戻る。
【0031】
ステップS207でYESであれば、ステップS209で1ライン分のデータの鏡像読取を行ない、ステップS211で圧縮処理を行なう。ステップS213で圧縮された画像データのヘッダにライン位置情報Lを付加してメモリへストアする。
【0032】
ステップS215でBNDiの値を1デクリメントし、ステップS217でBNDi=0となったかを判定する。
【0033】
ステップS217でNOであれば、ステップS227でラインカウンタLの値を1デクリメントし、ステップS229でスキャナを1ライン分移動させた後、ステップS209へ進む。
【0034】
ステップS217でYESであれば、ステップS219で次のPosiデータがあるかが判定され、YESであればステップS221でPosiの目標値を更新してスキャナを移動させ、ステップS207へ戻る。
【0035】
ステップS219でNOであれば、本ルーチンを終了する。
図9は、復スキャンにおけるスキャナの速度の変化を説明するための図である。復スキャンにおいて再度読取が必要な位置(PosiからBNDiライン分の位置)は、他の部分と比較してスキャナの速度を遅くする。これにより、復動作における画像の読取と圧縮を確実に行なうことができる。
【0036】
往スキャンおよび復スキャンで生成された圧縮データは、図6に示されるヘッダ部のライン位置情報に従って順に読出され、外部インターフェイス630(図2参照)を介して外部装置へ送信される。
【0037】
なお、上述の実施の形態においてはスキャナを用いた読取装置を例にとり本発明を説明したが、たとえばメモリに記憶されたデータを順次スキャンしてそのデータを処理する装置においても、処理のオーバフローが生じた場合に後で再びその部分のスキャンを行なうようにすることで本発明を実施することができる。
【0038】
また、上記実施例においては、単一の装置内において処理を実行する例を示したが、複数の装置で処理を分担するようにしてもよい。例えば、プリンターと、イメージスキャナとをネットワークを介して接続し、両者装置内にあるプロセッサで分担処理するようにし、上記処理を実行してもよい。
【0039】
さらに、本例において、上記処理を実行させるプログラムをメモリした記録媒体を用意し、プログラムをMPU600へロードさせ、MPU600で実行する構成としてもよい。
【0040】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図1】本発明の実施の形態の1つにおける画像読取装置の構成を示す側面図である。
【図2】図1の画像読取装置の信号処理部の構成を示すブロック図である。
【図3】本発明の実施の形態における画像読取装置の動作を説明するための図である。
【図4】画像読取装置の動作を説明するためのフローチャートである。
【図5】図4の往スキャン処理(S3)の内容を示すフローチャートである。
【図6】メモリへストアされる画像データを説明するための図である。
【図7】メモリ620の内容を説明するための図である。
【図8】図4の復スキャン処理(S7)の内容を示すフローチャートである。
【図9】復スキャン時におけるスキャナの速度を説明するための図である。
【符号の説明】
200 露光ランプ
400 撮像素子(CCDセンサ)
500 駆動モータ
600 MPU
620 メモリ

Claims (5)

  1. 全画像データを複数の単位画像データに分割し、スキャナで、前記複数の単位画像データを前記スキャナの移動方向における第1の方向で単位画像データごとに読取る第1の読取手段と、
    前記複数の単位画像データのうち、前記第1の読取手段によって予め規定された時間内に読取られなかった単位画像データを、前記第1の読取手段による読取処理のオーバフローとして検出する検出手段と、
    前記検出された単位画像データを、前記スキャナで、前記スキャナの移動方向における、前記第1の方向の逆の方向である第2の方向で読取る第2の読取手段と
    前記第2の読取手段の動作を制御する制御手段とを備え
    前記制御手段は、前記検出手段において前記読取られなかった単位画像データが検出された場合に、前記第1の読取手段での読取りの後に、前記第2の読取手段において、前記検出された単位画像データを読取らせ、かつ前記読取られなかった単位画像データを読取る際の前記スキャナの前記第2の方向の移動速度を、前記全画像データの前記読取られなかった単位画像データ以外の箇所における前記スキャナの移動速度よりも遅くなるよう制御する、画像処理システム。
  2. 前記検出手段で検出された単位画像データの、前記全画像データにおける位置を特定する情報を記憶する第1の記憶手段をさらに備える、請求項1に記載の画像処理システム。
  3. 前記第1の記憶手段は、前記検出手段で検出された単位画像データの前記全画像データにおける位置を特定する情報として、前記検出された単位画像データのうち、前記全画像データにおいて、前記第1の読取手段で読取った最終位置から前記第2の方向に先頭に位置する単位画像データの位置と、前記先頭に位置する単位画像データからの連続数とを記憶する、請求項に記載の画像処理システム。
  4. 前記第1の読取手段および前記第2の読取手段で読取られた単位画像データを記憶する第2の記憶手段と、
    前記第1の読取手段および前記第2の読取手段で読取られた単位画像データを前記第2の記憶手段に記憶させるための処理を行なう処理手段とをさらに備え、
    前記処理手段は、前記第1の読取手段で読取られた単位画像データを前記第2の記憶手段に記憶させ、前記第2の読取手段で読取られた単位画像データに対して鏡像処理を行なって、前記第2の記憶手段のうちの前記第1の読取手段で読取られた単位画像データが記憶された領域の他の領域に記憶する、請求項1〜のいずれかに記載の画像処理システム。
  5. 前記制御手段は、前記スキャナを前記全画像データのうちの前記検出された単位画像データの位置まで前記第2の方向で移動させてから、前記第2の読取手段によって前記検出された単位画像データを読取らせる、請求項1〜のいずれかに記載の画像処理システム。
JP31583098A 1998-11-06 1998-11-06 画像処理システム Expired - Fee Related JP4305980B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP31583098A JP4305980B2 (ja) 1998-11-06 1998-11-06 画像処理システム
US09/434,293 US6891644B1 (en) 1998-11-06 1999-11-05 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31583098A JP4305980B2 (ja) 1998-11-06 1998-11-06 画像処理システム

Publications (2)

Publication Number Publication Date
JP2000148971A JP2000148971A (ja) 2000-05-30
JP4305980B2 true JP4305980B2 (ja) 2009-07-29

Family

ID=18070090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31583098A Expired - Fee Related JP4305980B2 (ja) 1998-11-06 1998-11-06 画像処理システム

Country Status (2)

Country Link
US (1) US6891644B1 (ja)
JP (1) JP4305980B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0125774D0 (en) * 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
DE102010048921A1 (de) * 2010-10-07 2012-04-12 Jdm Innovation Gmbh Verfahren und Einrichtung zum Erfassen und Bedrucken von Dokumenten
JP5799748B2 (ja) * 2011-10-24 2015-10-28 ブラザー工業株式会社 情報処理装置及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4562485A (en) * 1979-08-10 1985-12-31 Canon Kabushiki Kaisha Copying apparatus
JP3181981B2 (ja) * 1992-05-20 2001-07-03 株式会社リコー 往復読取・書込装置
JPH07245682A (ja) * 1994-03-02 1995-09-19 Minolta Co Ltd 画像読取装置及びそれを組み込んだ複写機
JPH09172525A (ja) * 1995-12-19 1997-06-30 Canon Inc 画像読取装置
JP3581516B2 (ja) * 1997-02-19 2004-10-27 キヤノン株式会社 画像処理装置及び読み取り制御方法

Also Published As

Publication number Publication date
JP2000148971A (ja) 2000-05-30
US6891644B1 (en) 2005-05-10

Similar Documents

Publication Publication Date Title
JPH09197566A (ja) 画像読取装置
EP0453245B1 (en) Image inputting apparatus
JP4305980B2 (ja) 画像処理システム
US6028966A (en) Image reading apparatus and method including pre-scanning
JP3080159B2 (ja) 画像読み取り装置
US20110002016A1 (en) Image reading apparatus and control method of the same
JP3569059B2 (ja) 画像読取装置
JP3512257B2 (ja) 画像読取り装置
JP3754173B2 (ja) 画像読取装置
JPH01300760A (ja) 画像読取装置
JP3563975B2 (ja) 画像読取装置及び画像読取方法及び記憶媒体
JPH11252320A (ja) 画像読み取り装置
JP3640191B2 (ja) 画像処理装置
JP2004135214A (ja) スキャナ装置
JP2001352432A (ja) 画像読取装置及び読取走査速度制御方法
JPH08163359A (ja) 画像読取装置
JPH078005B2 (ja) 画像処理装置
JP2002232645A (ja) 画像読み取り装置
JP2004191421A (ja) 画像読取装置
JPH08234512A (ja) 画像形成装置
JP2003207854A (ja) 画像読取装置
JP2002190912A (ja) 画像読み取り装置およびその制御方法
JPH0636553B2 (ja) 画像処理装置
JP2010103874A (ja) 画像処理装置、プログラム及び記憶媒体
JPH011369A (ja) 画像編集装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050920

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20051014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090427

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140515

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees