JPH06268898A - 固体撮像素子を用いた撮像装置 - Google Patents

固体撮像素子を用いた撮像装置

Info

Publication number
JPH06268898A
JPH06268898A JP5076345A JP7634593A JPH06268898A JP H06268898 A JPH06268898 A JP H06268898A JP 5076345 A JP5076345 A JP 5076345A JP 7634593 A JP7634593 A JP 7634593A JP H06268898 A JPH06268898 A JP H06268898A
Authority
JP
Japan
Prior art keywords
motion
image pickup
state
speed
solid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5076345A
Other languages
English (en)
Other versions
JP3288465B2 (ja
Inventor
Shigeru Nishimura
茂 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fuji Photo Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Optical Co Ltd filed Critical Fuji Photo Optical Co Ltd
Priority to JP07634593A priority Critical patent/JP3288465B2/ja
Publication of JPH06268898A publication Critical patent/JPH06268898A/ja
Application granted granted Critical
Publication of JP3288465B2 publication Critical patent/JP3288465B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Endoscopes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

(57)【要約】 【目的】 動きがある場合には、その動きの程度に応じ
た木目細かな制御を行うことにより、解像度の低下を良
好に防止し、高画質の画像を得るようにする。 【構成】 動きのある状態を、異なる検出パルスを用い
て高速、中速、低速というように段階的に検出する動き
検出回路31を設け、電子シャッタ駆動回路30は上記
動きの程度に応じてCCD20の電荷蓄積時間が短くな
るように制御する。これにより、動きがある場合の解像
度を向上させる。この際には、動きの程度に応じて、光
源電源部13の電圧を増減するようにし、光量(電荷)
不足によるS/N比の劣化を改善する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は固体撮像素子を用いた撮
像装置、特に電子内視鏡、各種カメラ等に適用される撮
像装置の電子シャッタ制御の内容に関する。
【0002】
【従来の技術】従来から、イメージセンサとしての固体
撮像素子、即ちCCD(Charge Coupled Device )を用
いた電子内視鏡や狭所観察用テレビカメラ等の各種カメ
ラが周知であり、これらの撮像装置では、CCDで得ら
れたカラー画像信号を処理してモニタ等に画像表示する
ことが行われる。この撮像処理方法としては、同時式、
点順次式、面順次式があり、同時式の場合は、例えばビ
ームスプリッタ等を用いてR(赤),G(緑),B
(青)の各光を分離し、3個のCCDによってRGBの
画像信号を同時に得るものであり、点順次式の場合は、
例えば所定色がモザイク状に配列された色フィルタがC
CDに形成され、このCCDで所定色の画像信号を同時
に得るものである。また、面順次式の場合は、順次照射
されるRGB光に基づいて、1つのCCDでRGBの画
像信号を順に得るものであり、この面順次式は1個のC
CDでコンパクトに収納できることから、挿入先端部の
細径化が必要な電子内視鏡装置等に適している。
【0003】
【発明が解決しようとする課題】ところで、上記従来の
CCDを用いた撮像装置では、被写体に動きがあったと
きは、残像効果によって解像度が低下するという問題が
あった。即ち、CCDでは画素毎に光電変換された電荷
を所定期間だけ蓄積し、この蓄積電荷を画像信号として
取り出すようになっており、被写体に動きがあるときに
は、蓄積期間中に画像信号が変化することがあり、この
場合には解像度が劣化する。特に、上記面順次式の撮像
装置においては、RGB画像信号を順次形成することと
なるから、他の撮像方式に比べて動きによる影響が大き
くなる。
【0004】上記の場合、この解像度の劣化は被写体の
動きが速ければ速い程、大きくなるので、被写体の動き
の大きさに応じて木目細かな制御をすれば、解像度の劣
化を更に良好に解消することが可能となる。
【0005】本発明は上記問題点に鑑みてなされたもの
であり、その目的は、動きがある場合には、その動きの
程度に応じた木目細かな制御を行うことにより、解像度
の低下を良好に防止し、高画質の画像を得ることができ
る固体撮像素子を用いた撮像装置を提供することにあ
る。
【0006】
【課題を解決するための手段】上記目的を達成するため
に、第1請求項記載の発明は、固体撮像素子に蓄積され
る電荷量を制御する電子シャッタ機能が設けられた固体
撮像素子を用いた撮像装置において、上記固体撮像素子
で得られる画像信号に基づいて被写体の動き状態を検出
すると同時に、複数の検出信号により動きの程度を検出
する動き検出回路と、この動き検出回路により動き状態
が検出されたときはその動きの程度に応じて固体撮像素
子の電荷蓄積時間を変えるように駆動する電子シャッタ
駆動回路と、を設けたことを特徴とする。また、第2請
求項記載の発明は、光源装置を有する電子内視鏡装置に
おいては、上記光源装置により、上記動き検出回路の出
力に基づき、動きの程度に応じて光源の出力光量を変化
させるように制御することを特徴とする。
【0007】
【作用】上記の構成によれば、動き検出回路では例えば
3つの検出部にRGB信号中のG信号が供給される。こ
の各検出部では、高速、中速、低速の動きを検出する検
出パルスによって所定フィールド間のG信号が抽出さ
れ、このG信号同士を比較することによって、動き状態
及びその程度が検出される。そして、高速、中速、低速
の動き状態が検出されると、この動き状態の検出信号は
電子シャッタ駆動回路へ供給される。この電子シャッタ
駆動回路では、動きの程度に応じて例えば掃出しパルス
のタイミングが変えられることになり、CCDでは動き
が高速になる程、電荷の蓄積時間が短くなるように制御
される。即ち、動きがある場合は、動きの程度に応じて
電子シャッタ速度が切り換えられることになり、この結
果動きの影響が低減される。
【0008】また、上記動き状態を検出した際には、動
きの程度に応じて光源装置では光源ランプの発光量を高
くしたり、絞りを広げたりすることにより、光源出力光
量を変化させることが好ましい。即ち、上記電荷蓄積時
間の短縮によって、画像信号のS/N比が低下すること
になるが、このS/N比の低下は光源出力を高めること
によって改善される。
【0009】
【実施例】図1には、実施例に係る固体撮像素子を用い
た撮像装置の構成が示されており、この実施例は面順次
式の電子内視鏡装置である。図1において、電子内視鏡
装置では光源装置10が設けられ、またスコープである
電子内視鏡11の先端部までライトガイド12が配設さ
れている。この光源装置10内には、光源電源部13、
ランプ14、絞り15、絞り駆動回路(ALC回路を構
成する)16が設けられ、更にR(赤),G(緑),B
(青)のカラーディスク17が設けられており、面順次
式の装置ではこのカラーディスク17を所定速度で回転
させることにより、RGBの各色光を被観察体内へ順次
供給することができる。
【0010】一方、電子内視鏡11の先端部に配置され
たレンズ系19の後方にCCD20が配置され、このC
CD20には、増幅器21を介してプロセッサ装置22
内の信号処理回路23が接続されており、この信号処理
回路23によりホワイトバランス、ガンマ補正等の画像
処理が行われる。このプロセッサ装置22内には、A/
D変換器24を介してG用メモリ25A,R用メモリ2
5B,B用メモリ25Cが設けられ、このメモリ25
A,25B,25CにD/A変換器26A〜26Cが接
続されており、このD/A変換器26A〜26Cの出力
がモニタ28側へ供給される。
【0011】そして、上記CCD20に対し電子シャッ
タ駆動回路30が設けられると共に、上記A/D変換器
24からの出力を入力するように、動き検出回路31が
接続されており、この動き検出回路31の検出信号が電
子シャッタ駆動装置30へ供給される。この動き検出回
路31は、実施例では3つの検出パルスにて速い動き
(高速)状態、中程度の動き(中速)状態、遅い動き
(低速)状態を検出する3つの検出部を有している。そ
して、この動き検出は、所定のフィールド間のG信号の
レベル(平均値等)を比較することによって行われ、動
き状態である場合にそのことを示す信号が電子シャッタ
駆動回路30へ供給される。なお、プロセッサ装置22
内には、同期回路32が設けられ、この同期信号は動き
検出回路31へ入力されると共に、図示していないが各
回路にも供給されている。
【0012】図2には、上記動き検出回路31及び電子
シャッタ駆動回路30が具体的に示されており、図示さ
れるように、動き検出回路31では高速の動きを検出す
る検出部31A、中速の動きを検出する検出部31B、
低速の動きを検出する検出部31Cが設けられる。図3
には、動き検出動作で用いられる検出パルスの一例が示
されており、図3(B)〜(E)の検出パルス(サンプ
リングパルス)F1 〜F4 等を用いることができるが、
例えば検出パルスF1 を高速検出部31Aに、検出パル
スF2 を中速検出部31Bに、検出パルスF3 を低速検
出部31Cに使用することができる。
【0013】また、電子シャッタ駆動回路30内には、
シャッタ速度を変換するための制御パルスである掃出し
パルス、読出しパルスを形成するシャッタ速度変換回路
34及び切換え器35が設けられている。このシャッタ
速度変換回路34は、上記高速検出部31Aにて高速の
動きが検出された場合は、シャッタ速度が1/1000
秒となる制御パルスを出力し、中速検出部31Bにて中
速の動きが検出された場合はシャッタ速度が1/250
秒となる制御パルスを出力し、低速検出部31Cにて低
速の動きが検出された場合はシャッタ速度が1/60秒
となる制御パルスを出力する。そして、切換え器35は
動き検出回路31からの検出信号により上記シャッタ速
度を切換えることになるが、複数の検出部31A〜31
Cで動き状態が検出されることがあるので、高速→中速
→低速の優先順位を設けており、高い速度の方が優先的
に選択される。
【0014】更に、上記動き検出回路31の検出信号は
上記光源装置10内の光源電源部13へ供給されてお
り、この光源電源部13では動き状態に応じて光源出力
を変えるようにしている。即ち、動き状態のときは電荷
蓄積時間の短縮によりS/N比が多少悪くなるので、高
速、中速、低速の動き検出信号を光源電源部13へ供給
し、電子シャッタ制御による画像信号のレベル変化分を
補償するようにランプ14の電源電圧を変化させて高く
している。なお、上記絞り駆動回路16は、アンプ21
からの出力により光量(明るさ)制御(ALC)を行っ
ている。
【0015】実施例は以上の構成からなり、その作用を
図3及び図4を参照しながら説明する。図1の光源装置
10では、絞り15によって制御されたランプ14から
の光に基づき、カラーディスク17の回転によりR
(赤),G(緑),B(青)光がライトガイド12を介
して被観察体内へ照射される。一方、この被観察体内の
像光はレンズ系19を介してCCD20へ供給され、こ
のCCD20では電子シャッタ駆動回路30の駆動制御
により、同期回路32から出力された例えば1/60秒
の周期の垂直同期(VD)パルス毎に1フィールドの画
像情報が得られる。そして、この画像信号は増幅器2
1、信号処理回路23で所定の処理が行われた後に、A
/D変換器24へ供給されると共に、動き検出回路31
へ入力される。
【0016】この動き検出回路31では、図3(A)の
G信号が選択され、このG信号が各検出部31A〜31
Cへ供給されて動き状態が検出される。即ち、検出部3
1Aでは図3(B)の検出パルスF1 、検出部31Bで
は図3(C)の検出パルスF2 、検出部31Cでは図3
(D)の検出パルスF3 によって、上記図3(A)のG
信号から所定周期毎のG信号が抽出され、このG信号間
でレベル(平均値等)が互に比較される。そして、比較
したG信号に所定の変化があれば、動き状態と判断さ
れ、この動き状態の信号が電子シャッタ駆動回路30内
へ供給される。この場合、複数の速さの動き状態が検出
された場合は、速い方の動き状態が選択されることにな
る。上記電子シャッタ駆動回路30内では、図2に示さ
れるように、例えば高速の動き状態が検出されると、切
換え器35はシャッタ速度が1/1000秒となる掃出
しパルス及び読出しパルスを選択することになり、この
掃出しパルス及び読出しパルスがCCD20へ供給され
る。
【0017】図4には、CCD20の制御動作が示され
ており、動きがない状態では図4(A)の垂直同期(V
D)パルス毎に、図4(B)に示される掃出しパルスP
a1、読出しパルスPb がCCD20へ供給される。従っ
て、図4(C)に示されるように、掃出しパルスPa1に
て一旦蓄積された電荷は掃き出され、その後蓄積された
蓄積電荷C1 ,C2 ,C3 …が読出しパルスPb にて画
素信号として読み出される。一方、低速の動き状態と判
定されたときは、図4(D)に示される掃出しパルスP
a2、読出しパルスPb が出力されることになり、これに
よれば、図4(E)に示されるように、掃出しパルスP
a2で掃き出された後に、蓄積された電荷C11,C12,C
13…が読み出される。
【0018】また、中速の動き状態と判定されたとき
は、図4(F)に示される掃出しパルスPa3、読出しパ
ルスPb が出力され、図4(G)に示されるように、蓄
積された電荷C21,C22,C23…が読み出される。高速
の動き状態と判定されたときは、図4(H)に示される
掃出しパルスPa4、読出しパルスPb が出力され、図4
(I)に示されるように、蓄積された電荷C31,C32,
C33…が読み出されることになる。従って、動きのない
ときと比較すると、動きの程度に応じた短い時間で画素
信号電荷が読み出されることになり、動きの影響を程度
に応じて低減することが可能となる。
【0019】また、上記の動作中においては、動き検出
回路31から高速、中速、低速の動き状態が光源電源部
13へ供給されており、この光源電源部13によって動
きが速くなればなる程、ランプ14の光量が増加するよ
うに制御される。従って、電子シャッタ制御による画像
信号のレベル変化分が補償され、S/N比の劣化を改善
することが可能となる。
【0020】そうして、上記増幅器21の出力は画像信
号処理回路23で所定の処理が実行され、処理が終了し
た画像信号は一旦各メモリ25A,25B,25Cへ格
納される。従って、メモリ25内の画像信号が所定の速
度で読み出されると、被写体の画像(映像)がモニタ2
8に表示される。この際には、上述のように動きの程度
に相応して、蓄積時間を短くするようにしたので、高画
質の画像が得られることになる。
【0021】上記実施例では、面順次式の撮像装置につ
いて説明したが、3つのCCDを用いた同時式の装置、
一つのCCDを用いた点順次式の装置にも、同様にして
適用することができる。また、上記実施例では、動き検
出回路31がG(緑)信号に基づいて動きの程度を検出
をする例を示したが、これは他の信号でもよく、色差信
号と輝度信号を形成する場合は、輝度信号に基づいて検
出することができる。
【0022】更に、動き検出回路31では、3段階の速
度について検出するようにしたが、多くの段階の速度に
ついて検出するようにしてもよく、これは段階に応じた
検出パルス(図3)を用いることによって達成できる。
また、実施例の光源装置では、動きの状態に応じて光源
電源を変化さたが、絞り駆動回路16により絞り15を
変化させるようにしてもよい。
【0023】
【発明の効果】以上説明したように、本発明によれば、
動きのある状態を高速、中速、低速というように段階的
に検出し、この動きの程度に応じて電子シャッタ駆動回
路により固体撮像素子の電荷蓄積時間が短くなるように
したので、解像度の低下をその動きの程度に応じて木目
細に防止することができ、高画質の画像を得ることが可
能となる。
【0024】また、動きの程度に応じて、光源出力を増
加させるように制御したので、光量(電荷)不足による
S/N比の劣化が改善され、高画質の映像(画像)を映
し出すことが可能となる。
【図面の簡単な説明】
【図1】本発明の実施例に係る固体撮像素子を用いた撮
像装置の構成を示すブロック図である。
【図2】実施例の動き検出回路及び電子シャッタ駆動回
路の具体的な回路を示すブロック図である。
【図3】実施例の動き検出回路で用いられる検出パルス
を示す波形図である。
【図4】実施例の電子シャッタ動作を示す波形図であ
る。
【符号の説明】
13 … 光源電源部、 20 … CCD、 23 … 信号処理回路、 30 … 電子シャッタ駆動回路、 31(A,B,C) … 動き検出回路、 34 … シャッタ速度変換回路、 35 … 切換え器。

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 固体撮像素子に蓄積される電荷量を制御
    する電子シャッタ機能が設けられた固体撮像素子を用い
    た撮像装置において、上記固体撮像素子で得られる画像
    信号に基づいて被写体の動き状態を検出すると同時に、
    複数の検出信号により動きの程度を検出する動き検出回
    路と、この動き検出回路により動き状態が検出されたと
    きはその動きの程度に応じて固体撮像素子の電荷蓄積時
    間を変えるように駆動する電子シャッタ駆動回路と、を
    設けたことを特徴とする固体撮像素子を用いた撮像装
    置。
  2. 【請求項2】 光源装置を有する電子内視鏡装置におい
    ては、上記動き検出回路の出力に基づき、動きの程度に
    応じて光源の出力光量を変化させるように制御すること
    を特徴とする上記第1請求項記載の固体撮像素子を用い
    た撮像装置。
JP07634593A 1993-03-10 1993-03-10 電子内視鏡装置 Expired - Lifetime JP3288465B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07634593A JP3288465B2 (ja) 1993-03-10 1993-03-10 電子内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07634593A JP3288465B2 (ja) 1993-03-10 1993-03-10 電子内視鏡装置

Publications (2)

Publication Number Publication Date
JPH06268898A true JPH06268898A (ja) 1994-09-22
JP3288465B2 JP3288465B2 (ja) 2002-06-04

Family

ID=13602775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07634593A Expired - Lifetime JP3288465B2 (ja) 1993-03-10 1993-03-10 電子内視鏡装置

Country Status (1)

Country Link
JP (1) JP3288465B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211448A (ja) * 2000-01-27 2001-08-03 Olympus Optical Co Ltd 内視鏡装置
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
US7012635B2 (en) 1997-01-31 2006-03-14 Kabushiki Kaisha Toshiba Solid state image sensor and video system using the same
JP2009195271A (ja) * 2008-02-19 2009-09-03 Fujifilm Corp カプセル内視鏡システム
JP2012035090A (ja) * 2011-09-20 2012-02-23 Toshiba Corp 電子内視鏡装置
JP2012065690A (ja) * 2010-09-21 2012-04-05 Olympus Corp 内視鏡装置及び内視鏡装置の制御方法
JP2013226467A (ja) * 2013-08-15 2013-11-07 Toshiba Corp 電子内視鏡装置
JP2013226468A (ja) * 2013-08-15 2013-11-07 Toshiba Corp 電子内視鏡装置
JP2014012190A (ja) * 2013-08-15 2014-01-23 Toshiba Corp 電子内視鏡装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7012635B2 (en) 1997-01-31 2006-03-14 Kabushiki Kaisha Toshiba Solid state image sensor and video system using the same
JP2001211448A (ja) * 2000-01-27 2001-08-03 Olympus Optical Co Ltd 内視鏡装置
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2009195271A (ja) * 2008-02-19 2009-09-03 Fujifilm Corp カプセル内視鏡システム
JP2012065690A (ja) * 2010-09-21 2012-04-05 Olympus Corp 内視鏡装置及び内視鏡装置の制御方法
JP2012035090A (ja) * 2011-09-20 2012-02-23 Toshiba Corp 電子内視鏡装置
JP2013226467A (ja) * 2013-08-15 2013-11-07 Toshiba Corp 電子内視鏡装置
JP2013226468A (ja) * 2013-08-15 2013-11-07 Toshiba Corp 電子内視鏡装置
JP2014012190A (ja) * 2013-08-15 2014-01-23 Toshiba Corp 電子内視鏡装置

Also Published As

Publication number Publication date
JP3288465B2 (ja) 2002-06-04

Similar Documents

Publication Publication Date Title
US6219097B1 (en) Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined
JP3980782B2 (ja) 撮像制御装置および撮像制御方法
JP3110797B2 (ja) 撮像方法及び撮像画面合成装置
US5585942A (en) Image pickup apparatus
US20100321516A1 (en) Digital camera apparatus and recording medium for recording computer program for such apparatus
JP4616429B2 (ja) 画像処理装置
JPH0797841B2 (ja) 撮像装置
JPH06268898A (ja) 固体撮像素子を用いた撮像装置
JP2002209838A (ja) 内視鏡撮像装置
JP4199381B2 (ja) 固体撮像装置および固体撮像素子駆動方法
JPH05329101A (ja) 電子内視鏡装置
JP4309618B2 (ja) 固体撮像装置の駆動方法
JPH06261326A (ja) 固体撮像素子を用いた撮像装置
JPH11244229A (ja) 電子内視鏡装置
JPS6171790A (ja) 内視鏡撮像装置
JPH06276529A (ja) 固体撮像素子を用いた撮像装置
JPH06261256A (ja) 固体撮像素子を用いた撮像装置
JP3514557B2 (ja) 電子内視鏡用色ずれ低減装置
JP3298699B2 (ja) 電子シャッタ駆動装置
JPH0522669A (ja) ビデオカメラ
JPH09172575A (ja) ビデオカメラ及び調整方法
KR100818027B1 (ko) 촬상장치 및 촬상방법
JP3368121B2 (ja) カラーテレビジョンカメラ
JPH0530460A (ja) 画像フリーズ処理装置
JPH08331574A (ja) 固体撮像装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080315

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090315

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090315

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100315

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100315

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100315

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100315

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110315

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110315

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120315

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120315

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130315

Year of fee payment: 11

EXPY Cancellation because of completion of term