JP3962564B2 - 光学的変倍機構を備えた電子内視鏡装置 - Google Patents

光学的変倍機構を備えた電子内視鏡装置 Download PDF

Info

Publication number
JP3962564B2
JP3962564B2 JP2001299227A JP2001299227A JP3962564B2 JP 3962564 B2 JP3962564 B2 JP 3962564B2 JP 2001299227 A JP2001299227 A JP 2001299227A JP 2001299227 A JP2001299227 A JP 2001299227A JP 3962564 B2 JP3962564 B2 JP 3962564B2
Authority
JP
Japan
Prior art keywords
coefficient
signal
electronic endoscope
endoscope apparatus
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001299227A
Other languages
English (en)
Other versions
JP2003102675A (ja
Inventor
一則 阿部
充 樋口
大輔 綾目
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fujinon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujinon Corp filed Critical Fujinon Corp
Priority to JP2001299227A priority Critical patent/JP3962564B2/ja
Priority to US10/259,282 priority patent/US7123288B2/en
Publication of JP2003102675A publication Critical patent/JP2003102675A/ja
Application granted granted Critical
Publication of JP3962564B2 publication Critical patent/JP3962564B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は光学的変倍機構を備えた電子内視鏡装置、特に可動レンズを駆動しながらスコープ先端部を被観察体に近接させ、拡大像の撮影を行う電子内視鏡の画像処理に関する。
【0002】
【従来の技術】
電子内視鏡装置は、照明光を照射して対物光学系を介して捉えられた被観察体像を、CCD(Charge Coupled Device)等の撮像素子で撮像し、この被観察体像をモニタ等に表示するものであるが、近年、この種の電子内視鏡装置では、上記対物光学系に可動レンズ(バリフォーカル系)を組み込み、この可動レンズを変倍機構により前後移動させ、被観察体像を光学的に拡大することが行われる。そして、この拡大像は画像処理されてモニタ等に表示されており、この拡大画像によって注目部位の細部を良好に観察することが可能となる。
【0003】
【発明が解決しようとする課題】
しかしながら、光学的変倍機構を有する電子内視鏡装置では、拡大像を得るための近接撮影において、変化する配光分布によって均一な明るさの画像が得られないという問題があった。即ち、図6には、スコープ先端部を被観察体に近接させたときの状態が示されており、図6(A)に示されるように、被観察体1を撮像するスコープ先端部2には、ライトガイド3で導かれた光を照射する照明窓(レンズ)4a,4b、対物光学系5の観察窓(レンズ)6が配置される。
【0004】
そして、上記の変倍機能を用いない距離では、照明窓4a,4bからの光S1,S2が重なる状態で被観察体1に照射されるが、図6(A)に示される近接距離Daに先端部2がセットされた状態においては、照明窓4a,4bからの光S1,S2が重ならず、図6(B)に示されるように、被観察体1では光が直接照射されない場所z(点線で示す領域)が生じる。
【0005】
また、上記光S1,S2の照明領域では、光スポットの中心から周辺へ向けて光強度が小さくなり、上記場所zにおいても、照明位置から遠ざかるにつれて光量が少なくなり、被観察体への配光の分布が生じる。しかも、変倍機能を用いた場合、倍率に応じてピントの合う合焦距離が変化することから、被観察体1での照明光の強度が変わり、同時に配光分布も変化する。通常の撮影と異なり、変倍機構を用いて近接撮影を行う場合は、上記の配光分布の存在が大きく影響し、均一な明るさの画像を得難い場合があるという問題があった。
【0006】
更に、可動レンズを例えば拡大端(Near端)へ駆動し、図6(A)のようにスコープ先端部2を被観察体1に極めて近づけたとき、図6(B)の被観察体1の光が直接照射されない場所zでは、両側の光S1,S2が被観察体1の内部(例えば粘膜層内)で拡散することになり、生体内を被観察体とする電子内視鏡の撮像では、赤っぽい画像が形成されるという問題がある。
【0007】
本発明は上記問題点に鑑みてなされたものであり、その目的は、拡大像の撮影において、配光分布の影響をなくして均一な明るさの画像を得ることができ、また直接照明されない領域の赤っぽい画像を改善することができる光学的変倍機構を備えた電子内視鏡装置を提供することにある。
【0008】
【課題を解決するための手段】
上記目的を達成するために、請求項1の発明に係る光学的変倍機構を備えた電子内視鏡装置は、被観察体を照明するための2つの照明窓と、対物光学系に可動レンズを組み込み、この可動レンズの駆動により光学的に像拡大を行うための変倍機構と、上記対物光学系を介して撮像素子から出力された信号に基づき、輝度信号と色信号を形成する信号形成回路と、この信号形成回路から出力された水平ラインにおける所定数画素のブロック毎に輝度信号の平均値を求め、この画素ブロック毎の平均値が一定となる各画素ブロックの係数を算出する係数算出回路と、この係数算出回路からの係数を上記信号形成回路から出力された色信号に乗算する乗算器と、を含み、上記2つの照明窓からの照明光の配光分布による画像の明るさの不均一を解消することを特徴とする。
請求項2記載の発明は、上記係数算出回路は、各画素ブロックの係数として水平ラインにおける各画素ブロック毎の平均値の平均値又は最大値に一致する係数を算出することを特徴とする
請求項3記載の発明は、上記画素ブロックを、水平ライン方向に3個以上設定することを特徴とする。
請求項記載の発明は、被観察体を照明する照明光の供給ラインに配置され、この照明光の赤帯域の長波長側をカットする赤成分カットフィルタを設けたことを特徴とする。
【0009】
上記の構成によれば、水平ラインの所定数画素単位の平均値が求められる共に、これらの平均値を水平ラインにおいて一定(均一)にするための係数が上記所定数画素単位で算出される。そして、この係数は、各色信号、即ちR,G,B信号(或いは輝度信号、色差信号)に対し乗算され、これによって、拡大率で異なる配光分布となることに起因する照明光の不均一が解消される。
【0010】
また、請求項の構成によれば、赤成分カットフィルタにより赤の長波長側がカットされるので、生体である被観察体の赤っぽい画像(赤みを帯びた状態)が改善されると共に、粘膜と血管、その他の組織とを良好に区別して表示することができる。そして、このフィルタを用いた場合、光量不足が生じ、配光分布も変わることになり、この光量不足(及び配光特性)が係数乗算処理によって解消され、明るさの不均一と画像の赤っぽさが同時に改善されるという利点がある。
【0011】
【発明の実施の形態】
図1には、実施形態例に係る電子内視鏡装置の構成が示されており、この電子内視鏡装置は同時式とされ、スコープ10、プロセッサ装置11、光源装置12及びモニタ14等を有している。この図1の装置では、スコープ10の先端面に、照明窓4a,4b、観察窓6が配置されており、この照明窓4a,4bには光源装置12から導かれるライトガイド3が光学的に連結される。
【0012】
また、上記観察窓6は対物光学系を構成するが、この対物光学系の一部として可動レンズ16を備えており、この可動レンズ16は移動機構18に保持、接続される。この移動機構18には、回転する線状伝達部材20を介してモータ駆動部22が接続され、このモータ駆動部22はマイコン24で制御される。即ち、スコープ10の操作部等に配置された変倍スイッチの操作に基づき、モータ駆動部22のモータを回転させ、その回転を線状伝達部材20を介して移動機構18に伝達し、この移動機構18では回転運動を直線運動に変換して可動レンズ16を前後移動させる。この可動レンズ16は、Far端からNear端までの各位置(例えば256の制御位置)に駆動制御され、これによって光学的変倍が実行される。
【0013】
上記可動レンズ16を含む対物光学系の後側には、撮像素子であるCCD26が設けられ、このCCD26では画素単位の色フィルタ[例えばMg(マゼンタ),G(グリーン),Cy(シアン),Ye(イエロー)]を介して被観察体像が捉えられる。即ち、上記光源装置12からの光がライトガイド3を介してスコープ10の先端から被観察体に照射されることにより、この被観察体がCCD26で撮像される。
【0014】
上記CCD26の後段には、CDS(Correlated Double Sampling−相関二重サンプリング)/AGC(Automatic Gain Control−自動利得制御回路)28が配置されており、このCDS/AGC28はCCD26の出力信号に対し相関二重サンプリングを施すと共に、所定の増幅処理をする。このCDS/AGC28には、A/D(アナログ/デジタル)変換器29を介して、DSP(Digital Signal Processor−デジタル信号プロセッサ)30が設けられる。
【0015】
このDSP30の中には、ホワイトバランス、ガンマ補正等の各種の処理を施す信号処理回路32が設けられており、この信号処理回路32では、CCD26のMg,G,Cy,Yeの各色フィルタを介して得られた信号から色変換演算によって、Y(輝度)信号とR(赤)−Y及びB(青)−Yの色差(C)信号が形成される。また、この信号処理回路32から出力されたY信号を水平ライン毎に記憶するラインメモリ33、このラインメモリ33から読み出された水平ライン信号の例えば32画素(その他の画素数でもよい)毎の平均値を順次求める平均化回路34、この平均化回路34で算出された平均値を順に記憶するラインメモリ35、このラインメモリ35の平均値データを比較し、これらの平均値のレベルを所定レベルに一致させるための係数を算出する係数算出部36が設けられる。
【0016】
図2には、CCD26での平均化画素が示されており、図2の撮像面領域26Sでは、例えば768画素、494ラインの画面領域が設定されるが、この768画素の水平ラインにおいて、32画素単位でY信号の平均値が上記平均化回路34で演算される。その結果、24ブロックの平均値が得られることになり、この24個の平均値が一定(均一)となる係数が上記係数算出部36で求められる。
【0017】
図3(A)には、図2の水平ラインの32画素単位の平均値が示されており、例えば図2の中央の水平ラインLcでは図示のように中央へ行くほど低い値を示す分布となり、この平均値分布は配光分布に対応するものとなる。上記係数算出部36では、これら平均値の最大値eに合わせるための係数が求められ、図3(B)に示されるような係数が32画素単位で得られる。なお、この係数算出では、上記最大値eではなく、平均値eに一致させるための係数を求めるようにしてもよい。
【0018】
一方、上記信号処理回路32から出力された色差信号をR(赤),G(緑),B(青)の信号に変換するRGBマトリクス回路38、このRGBマトリクス回路38から出力されたR,G,B信号に対し上記係数算出部36から出力された係数を乗算する乗算器39、この乗算器39から出力されるR,G,B信号をR−Y,B−Yの色差信号に戻す色変換回路40が設けられる。即ち、上記乗算器39にて、R,G,B信号毎に水平ラインの32画素単位で、Y信号から得られた係数が乗算され、これにより配光分布の影響をなくすことができる。
【0019】
また、プロセッサ装置11には、上記DSP30から出力されたY信号と色差C信号を入力する信号処理回路42及びD/A変換器43が設けられており、この信号処理回路42ではモニタ14へ出力するための各種の信号処理を施す。
【0020】
更に、光源装置12では、ランプ45、赤成分カットフィルタ46、光量絞り47、集光レンズ48が設けられ、この集光レンズ48から出力された光が上記ライトガイド3へ供給される。図4には、上記赤成分カットフィルタ46の分光透過率特性が示されており、このフィルタ46は、例えば分光透過率が630nm(±10nm)で半値、670nmで0となる特性を有する。この赤成分カットフィルタ46によれば、図4に示されるように、ランプ45からの出力光の中の630nm以上の波長成分について半分以上がカットされる。
【0021】
実施形態例は以上の構成からなり、以下にその作用を説明する。まず、上述した光学的変倍機構によれば、スコープ10の操作部等に設けられた変倍スイッチを操作することにより、可動レンズ16が前後移動し、光学的に拡大した像を得ることができる。ここで、この可動レンズ16をFar端からNear位置へ向けて移動させるに伴ってピントの合う合焦位置は近接側へシフトし、スコープの先端部が被観察体へ近接する。そして、この被観察体には光源装置12から出力された光がライトガイド3を介して照射されるが、この被観察体の照明光は上記可動レンズ16の位置、即ち合焦距離で配光分布が相違することになる。
【0022】
一方、光照明された被観察体はCCD26で撮像され、このCCD26からの出力信号は、CDS/AGC28でサンプリングされると共に増幅され、A/D変換器29を介してDSP30へ供給される。このDSP30では、信号処理回路32によりビデオ信号の各種の画像処理が施され、Y(輝度)信号とR−Y及びB−YのC(色差)信号が形成される。
【0023】
次に、上記Y信号は水平ライン毎にラインメモリ33へ格納され、後段の平均化回路34では、図2で説明したように、水平ラインのY信号データが32画素単位で平均化される。その後、24ブロック分(768画素分)の24個の平均値がラインメモリ35へ記憶され、これらの平均値は後段の係数算出部36で比較され、例えば図3(A)の最大値eに一致させるための係数が算出される。この係数算出では、各ブロックでの平均値の差がある程度(しきい値)以上のときに行われ、例えば図3(B)に示すような係数が算出される。そして、これらの係数は乗算器39へ与えられる。
【0024】
一方、信号処理回路32から出力されたC信号はRGBマトリクス38にてR,G,B信号へ変換された後、乗算器39へ供給されており、この乗算器39で上記の係数がR,G,B信号のそれぞれに対し乗算される。即ち、図2は、近接撮影時において照明光S,Sが重ならず、その中間部分には直接光が当たっていない状態を示しており、図2の中央のラインLcでは、図3(A)に示す配光分布となる。この配光分布において、各平均値を最大値eに合わせるための係数が図示のように、32画素単位で、1.00、1.00、1.10、1.10、1.15、1.20、1.25…となり、これら係数がR,G,B信号に乗算される。これによって、図3(A)の配光分布による照明光のばらつきの影響が解消される。
【0025】
上記乗算器39から出力されたR,G,B信号は、色変換回路40でC信号へ戻され、信号処理回路42へ供給される。この信号処理回路42では、その他の処理及び出力処理が施されることにより、D/A変換器43を介してモニタ14に被観察体の画像が表示される。この結果、変倍機構によって拡大された画像において、合焦距離(倍率)で変化する配光分布により生じる光照明の不均一が解消される。
【0026】
また、上記マイコン24では、上記係数の算出及び乗算の処理を、変倍機構において可動レンズ16がFar端にあるときには実行せず、このFar端からNear端へ向けて駆動されたときのレンズ位置、或いは所定のレンズ位置(例えば中間レンズ位置)から開始するように制御する。即ち、当該例では、変倍動作時の近接撮影において照明光の配光分布が画面の明るさに与える影響を解消している。
【0027】
図5には、光源装置12に赤成分カットフィルタ46を配置した場合の粘膜と血液の分光反射率が示されており、当該例では、赤成分カットフィルタ46によって赤っぽい画像が良好に解消される。図5において、正常胃粘膜の分光反射率曲線はC(実線)、血液の分光反射率曲線はC(点線)で表され、この血液の分光反射率曲線Cは、波長600nm以上で非常に大きくなる。ここで、波長400nmから600nm手前の曲線CとCで囲まれた領域Sは、粘膜と血液やその他の組織のコントラストに寄与する成分であり、波長600nm手前からそれ以上の曲線CとCで囲まれた領域Sは、粘膜下層での光散乱を招き、むしろ粘膜と血液等とのコントラストの低下をもたらす成分となる。
【0028】
当該例では、赤成分カットフィルタ46を設けることにより、波長670nm手前からそれ以上の波長帯域が除去され、上記の領域Sを領域Sまで小さくすることができる。これによって、画像中の赤成分を減らすだけでなく、粘膜と血液等のコントラスト低下を招く波長成分を除去し、これらを良好なコントラストで表示できるという利点がある。また、この赤成分カットフィルタ46を用いた場合には、光量不足が生じ、配光特性も変わることになるが、この光量不足(及び配光特性)が上記係数乗算によって解消され、明るさの不均一と画像の赤っぽさが同時に改善される。
【0029】
なお、上記実施形態例では、RGBマトリクス回路38で形成したR,G,Bの信号に係数を乗算したが、信号処理回路32から出力された色差信号(R−Y及びB−Y)に対して係数を乗算することによっても、同様に配光分布の影響を改善することができる。
【0030】
【発明の効果】
以上説明したように、請求項1の発明によれば、水平ラインにおける所定数画素のブロック毎に輝度信号の平均値を求め、この画素ブロック毎の平均値が一定となる各ブロックの係数を算出し、この係数を色信号に乗算するようにしたので、2つの照明窓を備える電子内視鏡装置で、拡大撮影時に変化する配光分布の影響をなくし、均一な明るさの画像を得ることができる。
【0031】
また、請求項の発明のように、照明光の赤帯域の長波長側をカットする赤成分カットフィルタを設けた場合は、この赤成分カットフィルタによる光量不足(及びそのときの配光特性)も解消されると共に、直接照明されない領域の赤っぽい画像を良好に改善することが可能となる。しかも、粘膜と血液等のコントラスト低下を招く波長成分が除去され、これらを良好なコントラストで表示し、観察しやすい拡大画像を得ることができる。
【図面の簡単な説明】
【図1】本発明の実施形態例に係る電子内視鏡装置の主要構成を示すブロック図である。
【図2】実施形態例の撮像素子撮像面での光照射状態と係数算出の単位となる画素数を示す図である。
【図3】図2の中央ラインLcの32画素単位の平均値[図(A)]及び32画素単位の係数[図(B)]を示す図である。
【図4】実施形態例で用いた赤成分カットフィルタの分光透過率を示す特性図である。
【図5】実施形態例で赤成分カットフィルタを用いたときの正常胃粘膜と血液の分光反射率特性を示す図である。
【図6】スコープ先端部を被観察体に近接させたときの光照射状態[図(A)]及び図(A)の被観察体の表示状態[図(B)]を示す図である。
【符号の説明】
4a,4b…照明窓、 6…観察窓、
16…可動レンズ、 18…移動機構、
24…マイコン、 26…CCD、
30…DSP、
33,35…ラインメモリ、 34…平均化回路、
36…係数算出部、
38…RGBマトリクス、 39…乗算器、
40…色変換回路、
46…赤成分カットフィルタ。

Claims (4)

  1. 被観察体を照明するための2つの照明窓と、
    対物光学系に可動レンズを組み込み、この可動レンズの駆動により光学的に像拡大を行うための変倍機構と、
    上記対物光学系を介して撮像素子から出力された信号に基づき、輝度信号と色信号を形成する信号形成回路と、
    この信号形成回路から出力された水平ラインにおける所定数画素のブロック毎に輝度信号の平均値を求め、この画素ブロック毎の平均値が一定となる各画素ブロックの係数を算出する係数算出回路と、
    この係数算出回路からの係数を上記信号形成回路から出力された色信号に乗算する乗算器と、を含み、
    上記2つの照明窓からの照明光の配光分布による画像の明るさの不均一を解消する光学的変倍機構を備えた電子内視鏡装置。
  2. 上記係数算出回路は、各画素ブロックの係数として水平ラインにおける各画素ブロック毎の平均値の平均値又は最大値に一致する係数を算出することを特徴とする請求項1記載の光学的変倍機構を備えた電子内視鏡装置。
  3. 上記画素ブロックは、水平ライン方向に3個以上設定することを特徴とする請求項1又は2記載の光学的変倍機構を備えた電子内視鏡装置。
  4. 被観察体を照明する照明光の供給ラインに配置され、この照明光の赤帯域の長波長側をカットする赤成分カットフィルタを設けたことを特徴とする請求項1乃至3のいずれかに記載の光学的変倍機構を備えた電子内視鏡装置。
JP2001299227A 2001-09-28 2001-09-28 光学的変倍機構を備えた電子内視鏡装置 Expired - Fee Related JP3962564B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001299227A JP3962564B2 (ja) 2001-09-28 2001-09-28 光学的変倍機構を備えた電子内視鏡装置
US10/259,282 US7123288B2 (en) 2001-09-28 2002-09-27 Electronic endoscope eliminating influence of light distribution in optical zooming

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001299227A JP3962564B2 (ja) 2001-09-28 2001-09-28 光学的変倍機構を備えた電子内視鏡装置

Publications (2)

Publication Number Publication Date
JP2003102675A JP2003102675A (ja) 2003-04-08
JP3962564B2 true JP3962564B2 (ja) 2007-08-22

Family

ID=19120014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001299227A Expired - Fee Related JP3962564B2 (ja) 2001-09-28 2001-09-28 光学的変倍機構を備えた電子内視鏡装置

Country Status (1)

Country Link
JP (1) JP3962564B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019201887A (ja) 2018-05-23 2019-11-28 オリンパス株式会社 内視鏡画像処理装置及び内視鏡システム
CN112640443B (zh) * 2018-09-20 2023-05-19 奥林巴斯株式会社 图像处理装置、图像处理方法以及内窥镜系统

Also Published As

Publication number Publication date
JP2003102675A (ja) 2003-04-08

Similar Documents

Publication Publication Date Title
US7123288B2 (en) Electronic endoscope eliminating influence of light distribution in optical zooming
EP2926718B1 (en) Endoscope system
US8237783B2 (en) Image processing device for endoscope and endoscope apparatus
JP5271062B2 (ja) 内視鏡装置およびその作動方法
KR101050882B1 (ko) 생체 관측 시스템
JP2012071007A (ja) 内視鏡装置
JP3752272B2 (ja) 電子内視鏡装置
JP5467971B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置及び電子内視鏡システムの作動方法
US6932762B2 (en) Endoscope having red component cut filter
EP2258251A1 (en) Image obtainment method and endoscopic apparatus
JP2005033282A (ja) 撮像装置
JP3962564B2 (ja) 光学的変倍機構を備えた電子内視鏡装置
JP2001154085A (ja) 内視鏡装置
JP4012384B2 (ja) 光学的変倍機構を備えた電子内視鏡装置
JP3958761B2 (ja) 内視鏡用調光信号生成装置
JP2000356749A (ja) 内視鏡装置
JP5856943B2 (ja) 撮像システム
JP5467972B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置及び電子内視鏡システムの作動方法
JP3894761B2 (ja) 内視鏡装置
JP3940016B2 (ja) 静止画像を記録可能な電子内視鏡装置
JP2715383B2 (ja) 内視鏡装置
JP2006223481A (ja) 内視鏡用画像処理装置、及び内視鏡装置
JPH05228108A (ja) 内視鏡装置
JPH088904B2 (ja) ビデオ内視鏡装置
JP4169957B2 (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070501

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070521

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100525

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100525

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110525

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110525

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120525

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130525

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140525

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees