JP3543657B2 - 電子ズーム回路 - Google Patents

電子ズーム回路 Download PDF

Info

Publication number
JP3543657B2
JP3543657B2 JP01153999A JP1153999A JP3543657B2 JP 3543657 B2 JP3543657 B2 JP 3543657B2 JP 01153999 A JP01153999 A JP 01153999A JP 1153999 A JP1153999 A JP 1153999A JP 3543657 B2 JP3543657 B2 JP 3543657B2
Authority
JP
Japan
Prior art keywords
line
interpolation
image signal
vertical
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP01153999A
Other languages
English (en)
Other versions
JP2000209480A (ja
Inventor
賢司 松岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP01153999A priority Critical patent/JP3543657B2/ja
Publication of JP2000209480A publication Critical patent/JP2000209480A/ja
Application granted granted Critical
Publication of JP3543657B2 publication Critical patent/JP3543657B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、カメラ一体型ビデオテープレコーダ等で使用するのに好適な電子ズーム回路に関する。
【0002】
【従来の技術】
図6は、従来の電子ズーム回路を説明するための図であり、信号処理回路31にて所定の信号処理が施された画像信号がフレームメモリ32に書き込まれる。そして、電子ズームの倍率に応じた読み出しアドレスが図示しないCPU等により決定され、この読み出しアドレスに基づき1ライン分ずつ画像信号が読み出される。
【0003】
フレームメモリ32から読み出された画像信号は、1ライン分ずつ第1のラインメモリ33を介して垂直補間回路34に入力される一方、フレームメモリ32から直接、垂直補間回路34にも入力される。ここで、第1のラインメモリ33は、入力される1ライン分の画像信号を所定時間だけ遅延させて出力しているため、垂直補間回路34には垂直方向に隣接する2ライン分の画像信号が同時に入力される。そして、垂直補間回路34では、電子ズームの倍率に応じた垂直方向の画素補間を行い、前記隣接する2ラインの間を補間するラインの画像信号を出力する。なお、垂直補間回路34は、画面の上端部や下端部のように垂直方向に隣接する2ライン分の画像信号が同時に入力されない場合は垂直方向の画素補間を行わない。
【0004】
図7は、画面水平方向及び垂直方向に2倍のズーム処理を行った際に、画面中央の画像が拡大されるようすを示す図であり、▲1▼及び▲2▼に示す如く、垂直ズーム処理により垂直方向a/2ライン分の画像信号から垂直方向aライン分の画像信号が補間生成される。即ち、フレームメモリ32から垂直方向のズーム処理に必要となるラインの画像信号を繰り返し読み出し、この読み出した画像信号に垂直補間処理を施すよう図示しないCPU等が制御することで、垂直方向a/2ライン分の画像信号から垂直方向aライン分の画像信号が補間生成される。
【0005】
また、このような垂直ズーム処理が施された画像信号は、次に1ライン分ずつ第2のラインメモリ35に書き込まれ、第2のラインメモリ35は、この画像信号を1画素ずつフリップフロップ36(FF)を介して水平補間回路37に出力する一方、直接、水平補間回路37にも出力する。
【0006】
ここで、フリップフロップ36は、入力される1画素分の画像信号を所定時間だけ遅延させて出力しているため、水平補間回路37には水平方向に隣接する2画素分の画像信号が同時に入力される。そして、水平補間回路37では、電子ズームの倍率に応じた水平方向の画素補間が施され、1ラインを構成する画素数分の画像信号が出力される。なお、水平補間回路37は、画面の左端部や右端部のように水平方向に隣接する2画素分の画像信号が同時に入力されない場合は水平方向の画素補間を行わない。そして、この水平方向の画素補間を1フレームを構成するライン数分行う。
【0007】
なお、図7における▲2▼及び▲3▼に示す如く、水平方向の補間処理の際には、垂直方向b/2画素分の画像信号から垂直方向b画素分の画像信号が補間生成されている。即ち、第2のラインメモリ35から水平方向のズーム処理に必要となる画素の画像信号を繰り返し読み出し、この読み出した画像信号に水平補間処理を施すよう図示しないCPU等が制御することにより、垂直方向b/2画素分の画像信号から垂直方向b画素分の画像信号が補間生成される。
【0008】
【発明が解決しようとする課題】
ところが、以上のような従来の電子ズーム回路では、画像の拡大に対しては1.5倍、3倍、4.5倍等の整数単位ではない連続可変倍率でズーム処理を行うことができるが、画像の縮小に関しては、1/2倍、1/3倍等、整数分の1の倍でしかズーム処理を行うことができなかった。
【0009】
ここで、垂直補間回路34に同時に入力される垂直方向に隣接する2ライン分の画像信号について詳述する。
まず、画像の拡大処理について説明すると、垂直補間回路34に第mライン目の画像信号と第m+1ライン目の画像信号とが入力され、補間後の第1ライン目の画像信号を得た場合、補間後の第1ライン目の画像信号に続く第2ライン目の画像信号を得るためには、垂直補間回路34に第mライン目の画像信号と第m+1ライン目の画像信号(2ライン分とも同一の画像信号)を入力するか、あるいは第m+1ライン目の画像信号と第m+2ライン目の画像信号(1ラインが同一でもう一方のラインがこれと隣接する新たなラインの画像信号)を入力すれば良い。
【0010】
即ち、図6で示したフレームメモリ32からの読み出しアドレスの制御及び第1のラインメモリ33の書き込み禁止制御を行うことにより、拡大処理に必要となる以上のような垂直方向に隣接する2ライン分の画像信号を得ることができる。
【0011】
ところが、画像の縮小処理を行う際には、例えば、垂直補間回路34に第mライン目の画像信号と第m+1ライン目の画像信号とが入力され、補間後の第1ライン目の画像信号を得た場合、補間後の第1ライン目の画像信号に続く第2ライン目の画像信号を得るために、垂直補間回路34に第m+4ライン目の画像信号と第m+5ライン目の画像信号等、補間後の第1ライン目を得るために使用したラインとは全く異なる新たな2ライン分の画像信号が必要となる場合がある。
【0012】
即ち、図6で示したような従来の電子ズーム回路では、フレームメモリ32から1ライン分ずつの画像信号しか出力されないため、垂直方向に隣接するこのような新たな2ライン分の画像信号を垂直補間回路34に入力することができず、不必要なラインの情報を間引いて出力する整数分の1倍の縮小処理を除き、対応することができない。
【0013】
また、水平方向の縮小処理に関しても全く同一であり、水平方向に隣接する新たな2画素分の画像信号を水平補間回路37に入力することができず、不必要なラインの情報を間引いて出力する整数分の1倍の縮小処理を除き、対応することができない。
【0014】
【課題を解決するための手段】
以上の課題を解決するために、本発明に係る電子ズーム回路は、
入来する1フレーム分の画像信号がライン毎に振り分けて書き込まれる第1乃至第M(Mは2以上の整数)の垂直補間メモリ領域と、
前記第1乃至第Mの垂直補間メモリ領域から同時に読み出される、1フレーム内で隣接するMライン分の画像信号を、ライン番号の順に並び替えて同時に出力するライン並べ替え手段と、
前記ライン並べ替え手段から同時に出力される前記Mライン分の画像信号に基づき垂直方向のライン補間を行う垂直補間手段と、
入来する1ライン分の画像信号が画素毎に振り分けて書き込まれる第1乃至第N(Nは2以上の整数)の水平補間メモリ領域と、
前記第1乃至第Nの水平補間メモリ領域から同時に読み出される、1ライン内で隣接するN画素分の画像信号を、画素番号の順に並び替えて同時に出力する画素並べ替え手段と、
前記画素並べ替え手段から同時に出力される前記N画素分の画像信号に基づき水平方向の画素補間を行う水平補間手段とを備える電子ズーム回路であり、
前記第1乃至第Mの垂直補間メモリ領域は、夫々、1/Mフレーム分のメモリ容量を有し、1フレーム内で隣接するMラインが全て異なる垂直補間メモリ領域に書き込まれ、
前記第1乃至第Nの水平補間メモリ領域は、夫々、1/Nライン分のメモリ容量を有し、1ライン内で隣接するN画素が全て異なる水平補間メモリ領域に書き込まれるようにしたことを特徴とするものであり、
更に、前記M及びNの値を共に2としたことを特徴とするものであり、
また、前記M及びNの値を共に4としたことを特徴とするものである。
【0015】
【発明の実施の形態】
図1は、本発明に係る電子ズーム回路を説明するための図であり、図6で示した従来の電子ズーム回路と同一の構成に関しては同一符号を付している。
即ち、図1で示す本発明に係る電子ズーム回路は、従来の電子ズーム回路におけるフレームメモリ32及び第1のラインメモリ33の構成を、1/2フレームメモリ1a及び1b、そして第1の信号セレクタ2に置き換え、第2のラインメモリ35及びフリップフロップ36の構成を、1/2ラインメモリ3a及び3b、そして第2の信号セレクタ4に置き換えたものである。
【0016】
CCDから出力されるか、あるいは磁気テープから再生された信号に信号処理回路31で所定の信号処理が施された画像信号は、1ライン毎に画像信号が出力され、偶数番目のラインの画像信号は1/2フレーム分のメモリ容量を有する1/2フレームメモリ1aに書き込まれる一方、奇数番目のラインの画像信号は1/2フレーム分のメモリ容量を有する1/2フレームメモリ1bに書き込まれる。
【0017】
そして、電子ズームの倍率に応じた読み出しアドレスが図示しないCPU等により決定され、この読み出しアドレスに基づき1/2フレームメモリ1a及び1bから1ライン分ずつの画像信号が同時に読み出される。
【0018】
図2は、1/2フレームメモリ1a及び1bから読み出される画像信号と、第1の信号セレクタ2によるラインの切り替えとの関係を示す図である。
ここで、垂直補間回路34に出力すべきラインの画像信号が、例えば第0ライン目の画像信号と第1ライン目の画像信号のように、偶数ラインが小さなライン番号となっている場合には、1/2フレームメモリ1a及び1bには0の如く同一の読み出しアドレスが与えられ、この時第1の信号セレクタ2内の第1及び第2のスイッチ(SW1及びSW2)は端子イ側に切り替えられる。
【0019】
また、垂直補間回路34に出力すべきラインの画像信号が、例えば第1ライン目の画像信号と第2ライン目の画像信号のように、奇数ラインが小さなライン番号となっている場合には、1/2フレームメモリ1aには1、1/2フレームメモリ1bには0の如く、1つずれた読み出しアドレスが与えられ、この時第1の信号セレクタ2内の第1及び第2のスイッチ(SW1及びSW2)は端子ロ側に切り替えられる。
【0020】
このようにして、読み出しアドレスの制御及びラインの並び替えが行われた垂直方向に隣接する2ライン分の画像信号は、垂直補間回路34に同時に入力されて、電子ズームの倍率に応じた垂直方向の画素補間が行われ、前記垂直方向に隣接する2ラインの間を補間するラインの画像信号が出力される。
【0021】
垂直補間回路34における垂直方向の補間が完了した1ライン分の画像信号は、その先頭画素から順番に出力され、偶数番目の画素である画像信号は1/2ライン分のメモリ容量を有する1/2ラインメモリ3aに書き込まれる一方、奇数番目の画素である画像信号は1/2ライン分のメモリ容量を有する1/2ラインメモリ3bに書き込まれる。
【0022】
そして、電子ズームの倍率に応じた読み出しアドレスが図示しないCPU等により決定され、この読み出しアドレスに基づき1/2ラインメモリ3a及び3bから1画素分ずつの画像信号が同時に読み出される。
【0023】
ここで、第2の信号セレクタ4の構成は、図2で示した第1の信号セレクタ2の構成と同一であり、水平補間回路37に出力すべき画像信号が、例えば第0番目の画素の画像信号と第1番目の画素の画像信号のように、偶数番目の画素が小さな画素番号となっている場合には、1/2ラインメモリ3a及び3bは図2を用いて説明したように同一の読み出しアドレスが与えられ、この時第2の信号セレクタ4内の第1及び第2のスイッチ(SW1及びSW2)は端子イ側に切り替えられる。
【0024】
また、水平補間回路34に出力すべき画像信号が、例えば第1番目の画素の画像信号と第2番目の画素の画像信号のように、奇数番目の画素が小さな画素番号となっている場合には、1/2ラインメモリ3a及び3bは図2を用いて説明したように1つずれた読み出しアドレスが与えられ、この時第2の信号セレクタ4内の第1及び第2のスイッチ(SW1及びSW2)は端子ロ側に切り替えられる。
【0025】
このようにして、読み出しアドレスの制御及び画素の並び替えが行われた水平方向に隣接する2画素分の画像信号は、水平補間回路37に同時に入力されて、電子ズームの倍率に応じた水平方向の画素補間が行われ、前記垂直方向に隣接する2画素の間を補間する画素の画像信号が出力される。
【0026】
なお、以上の実施例では、垂直補間回路34で2ライン分の画像信号に基づく垂直補間を行い、水平補間回路37で2画素分の画像信号に基づく水平補間を行った例を示したが、垂直補間回路及び水平補間回路で更に多くのライン及び画素の画像信号に基づき垂直補間及び水平補間を行うよう構成しても良い。
【0027】
即ち、本発明に係る電子ズーム回路は、1/Mフレーム分のメモリ容量を有するメモリをM個用いてMライン分の画像信号に基づく垂直補間を行い、1/Nライン分のメモリ容量を有するメモリをN個用いてN画素分の画像信号に基づく水平補間を行うものである(但し、M、Nは2以上の整数)。
【0028】
図3は、4ライン分の画像信号に基づき垂直補間を行う垂直補間回路38及び4画素分の画像信号に基づき水平補間を行う水平補間回路39を用いた時の構成を示すものである。このように、垂直方向に隣接する4ライン分の画像信号を同時に垂直補間回路38に入力する必要がある場合には、1/4フレーム分のメモリ容量を有する1/4フレームメモリ5a乃至5dを使用し、また、水平方向に隣接する4画素分の画像信号を同時に水平補間回路39に入力する必要がある場合には、1/4ライン分のメモリ容量を有する1/4ラインメモリ7a乃至7dを使用する。
【0029】
そして、1/4フレームメモリ5a乃至5dにおける読み出しアドレスの制御及び第3の信号セレクタ6におけるラインの並び替えは、図4及び図5に示される如くである。
【0030】
即ち、垂直補間回路38に出力すべきラインの画像信号が、例えば第0乃至第3ライン目の画像信号のように、4kライン(但し、kは0以上の整数)が最も小さなライン番号となっている場合には、1/4フレームメモリ5a乃至5dに、例えば0,0,0,0の如く同一の読み出しアドレスが与えられ、第3の信号セレクタ5内の第1乃至第3のスイッチ(SW1乃至4)は端子イ側に切り替えられる。
【0031】
そして、例えば第1乃至第4ライン目の画像信号のように、4k+1ラインが最も小さなライン番号となっている場合には、1/4フレームメモリ5a乃至5dに、例えば1,0,0,0の如く異なる読み出しアドレスが与えられ、第3の信号セレクタ5内の第1乃至第4のスイッチ(SW1乃至4)は端子ロ側に切り替えられる。
【0032】
また、例えば第2乃至第5ライン目の画像信号のように、4k+2ラインが最も小さなライン番号となっている場合には、1/4フレームメモリ5a乃至5dに、例えば1,1,0,0の如く異なる読み出しアドレスが与えられ、第3の信号セレクタ5内の第1乃至第4のスイッチ(SW1乃至4)は端子ハ側に切り替えられ、例えば第3乃至第6ライン目の画像信号のように、4k+3ラインが最も小さなライン番号となっている場合には、1/4フレームメモリ5a乃至5dに、例えば1,1,1,0の如く異なる読み出しアドレスが与えられ、第3の信号セレクタ5内の第1乃至第4のスイッチ(SW1乃至4)は端子ニ側に切り替えられる。
【0033】
このようにして、読み出しアドレスの制御及びラインの並び替えが行われた垂直方向に隣接する4ライン分の画像信号は、垂直補間回路37に同時に入力されて、電子ズームの倍率に応じた垂直方向の画素補間が行われ、前記垂直方向に隣接する4ラインの画像信号に基づき垂直補間されたラインの画像信号が出力される。
【0034】
また、第4の信号セレクタ8の構成もまた、図4で示す第3の信号セレクタ5の構成と同一であり、第3の信号セレクタ5と同一の手法にて、水平方向に隣接する4画素分の画像信号を同時に水平補間回路37に出力することが可能となる。
【0035】
以上に示す実施例では、従来の電子ズーム回路におけるフレームメモリ32及び第1のラインメモリ33に代わり、2つの1/2フレームメモリ1a及び1b、あるいは4つの1/4フレームメモリ5a乃至5dを使用し、また、第2のラインメモリ35及びフリップフロップ36に代わり、2つの1/2ラインメモリ3a及び3b、あるいは4つの1/4ラインメモリ7a乃至7dを使用したため、ラインメモリ33のような垂直補間用のラインメモリを搭載する必要がなくなった。
【0036】
そして、本発明に係る電子ズーム回路は、以上のような構成に限定されず、1つのフレームメモリのバンクを4つに分割し、分割して得た4つのバンクを夫々1/4フレームメモリ5a乃至5dとして使用しても構わず、同様に1つのラインメモリのバンクを4つに分割し、分割して得た4つのバンクを夫々1/4ラインメモリ7a乃至7dとして使用しても構わない。
【0037】
【発明の効果】
本発明に係る電子ズーム回路では、第1乃至第Mの垂直補間メモリ領域から垂直方向に隣接するMライン分の画像信号を同時に得ることができ、また、第1乃至第Nの水平補間メモリ領域から水平方向に隣接するN画素分の画像信号を同時に得ることができるため、画像の縮小処理を行う際に、1/2倍、1/3倍等ののライン情報を間引くことによる縮小処理でなく、ライン補間及び画素補間による縮小処理が可能となり、高画質な縮小画像を得ることができるという効果を奏する。
【0038】
【図面の簡単な説明】
【図1】本発明に係る電子ズーム回路の構成を説明するための図である。
【図2】1/2ラインメモリからの画像信号の読み出しを説明するための図である。
【図3】本発明に係る電子ズーム回路の他の構成を説明するための図である。
【図4】1/4ラインメモリからの画像信号の読み出しを説明するための図である。
【図5】1/4ラインメモリの読み出しアドレスと信号セレクタにおけるラインの切り替えの関係を示す図である。
【図6】従来の電子ズーム回路の構成を説明するための図である。
【図7】水平・垂直に2倍のズーム処理を行った際に画像が拡大されるようすを示す図である。
【符号の説明】
1a、1b…1/2フレームメモリ
2、4、6、8…信号セレクタ
3a、3b…1/2ラインメモリ
5a、5b、5c、5d…1/4フレームメモリ
7a、7b、7c、7d…1/4ラインメモリ
31…信号処理回路
32…フレームメモリ
33、35…ラインメモリ
34、38…垂直補間回路
36…フリップフロップ
37、39…水平補間回路

Claims (3)

  1. 入来する1フレーム分の画像信号がライン毎に振り分けて書き込まれる第1乃至第M(Mは2以上の整数)の垂直補間メモリ領域と、
    前記第1乃至第Mの垂直補間メモリ領域から同時に読み出される、1フレーム内で隣接するMライン分の画像信号を、ライン番号の順に並び替えて同時に出力するライン並べ替え手段と、
    前記ライン並べ替え手段から同時に出力される前記Mライン分の画像信号に基づき垂直方向のライン補間を行う垂直補間手段と、
    入来する1ライン分の画像信号が画素毎に振り分けて書き込まれる第1乃至第N(Nは2以上の整数)の水平補間メモリ領域と、
    前記第1乃至第Nの水平補間メモリ領域から同時に読み出される、1ライン内で隣接するN画素分の画像信号を、画素番号の順に並び替えて同時に出力する画素並べ替え手段と、
    前記画素並べ替え手段から同時に出力される前記N画素分の画像信号に基づき水平方向の画素補間を行う水平補間手段とを備える電子ズーム回路であり、
    前記第1乃至第Mの垂直補間メモリ領域は、夫々、1/Mフレーム分のメモリ容量を有し、1フレーム内で隣接するMラインが全て異なる垂直補間メモリ領域に書き込まれ、
    前記第1乃至第Nの水平補間メモリ領域は、夫々、1/Nライン分のメモリ容量を有し、1ライン内で隣接するN画素が全て異なる水平補間メモリ領域に書き込まれるようにしたことを特徴とする電子ズーム回路。
  2. 前記M及びNの値を共に2としたことを特徴とする請求項1記載の電子ズーム回路。
  3. 前記M及びNの値を共に4としたことを特徴とする請求項1記載の電子ズーム回路。
JP01153999A 1999-01-20 1999-01-20 電子ズーム回路 Expired - Lifetime JP3543657B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP01153999A JP3543657B2 (ja) 1999-01-20 1999-01-20 電子ズーム回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01153999A JP3543657B2 (ja) 1999-01-20 1999-01-20 電子ズーム回路

Publications (2)

Publication Number Publication Date
JP2000209480A JP2000209480A (ja) 2000-07-28
JP3543657B2 true JP3543657B2 (ja) 2004-07-14

Family

ID=11780781

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01153999A Expired - Lifetime JP3543657B2 (ja) 1999-01-20 1999-01-20 電子ズーム回路

Country Status (1)

Country Link
JP (1) JP3543657B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1323307B1 (en) * 2000-10-03 2006-08-30 Thomson Licensing Method and system for buffering pixel data

Also Published As

Publication number Publication date
JP2000209480A (ja) 2000-07-28

Similar Documents

Publication Publication Date Title
JPS63109670A (ja) 画像変換メモリ装置
JPH0681304B2 (ja) 方式変換装置
US5083208A (en) Electronic zoom apparatus
US6557086B1 (en) Memory write and read control
JP3543657B2 (ja) 電子ズーム回路
WO2002104018A1 (en) Method for outputting video images in video monitoring system
JP2000324337A (ja) 画像拡大縮小装置
JP3912305B2 (ja) 画素密度変換装置
JP2000209512A (ja) 電子ズ―ム回路
JP2000242549A (ja) ラインメモリ構成方法およびラインメモリ
JP4401884B2 (ja) 映像信号処理装置及び方法
JP2005506808A (ja) サブブロックスキャニング付き動き補償
JP2001103374A (ja) 映像拡大/縮小装置
JP3577766B2 (ja) サンプリング周波数変換回路
JP4424097B2 (ja) 電子ズーム装置
JP3392624B2 (ja) 垂直ズーム回路
JP2601138B2 (ja) ビデオ表示装置
JP4042106B2 (ja) 画像信号変換方法
JP2718306B2 (ja) テレビジョン受像機
JP4513313B2 (ja) 映像信号処理装置及び方法
JP2002199265A (ja) 電子ズーム装置及びビデオカメラ
JP2005079848A (ja) 順次走査線変換装置および映像信号処理システム
JPH1028238A (ja) 画像処理装置
JP2599045B2 (ja) 垂直方向拡大回路
JP3784599B2 (ja) 画像縮小/拡大装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040329

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090416

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090416

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100416

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110416

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120416

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120416

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120416

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140416

Year of fee payment: 10

EXPY Cancellation because of completion of term