JP4538147B2 - ワイヤレス電子内視鏡装置とスコープと画像信号処理ユニット - Google Patents

ワイヤレス電子内視鏡装置とスコープと画像信号処理ユニット Download PDF

Info

Publication number
JP4538147B2
JP4538147B2 JP2000364715A JP2000364715A JP4538147B2 JP 4538147 B2 JP4538147 B2 JP 4538147B2 JP 2000364715 A JP2000364715 A JP 2000364715A JP 2000364715 A JP2000364715 A JP 2000364715A JP 4538147 B2 JP4538147 B2 JP 4538147B2
Authority
JP
Japan
Prior art keywords
light
image signal
signal
electronic endoscope
scope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000364715A
Other languages
English (en)
Other versions
JP2002165756A (ja
Inventor
実 松下
浩平 池谷
浩 佐野
春彦 日比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2000364715A priority Critical patent/JP4538147B2/ja
Publication of JP2002165756A publication Critical patent/JP2002165756A/ja
Application granted granted Critical
Publication of JP4538147B2 publication Critical patent/JP4538147B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Optical Communication System (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、撮像部と画像信号処理部をケーブルで接続することなく画像信号の伝送が行なわれるワイヤレス電子内視鏡装置に関する。
【0002】
【従来の技術】
従来、電子内視鏡装置は、CCD等の固体撮像素子を先端部に有し、体腔内に挿入される電子スコープと、被観察体に照明光を供給するための光源部を有し、固体撮像素子により光電変換された画像信号に所定の処理を施す画像信号処理ユニットとを備える。画像信号処理ユニットで処理される画像信号は、画像信号処理ユニットに接続されるTVモニタ等に再現される。電子スコープは可撓性導管を有し、固体撮像素子から画像信号処理ユニットへ画像信号を伝送するための電気ケーブルや、画像信号処理ユニットの光源部から供給される照明光を先端部へ導くためのライトガイドが配設されている。即ち、被観察体を観察する際、電子スコープは画像信号処理ユニットに常時接続された状態で操作される。その結果、電子スコープの操作範囲が限定され、手技における操作性を低下させる要因となっていた。
【0003】
このような電子スコープの操作性の悪さを解決するものとして、例えば特開平06−335450号公報には、スコープとプロセッサを直接接続せずに画像信号の伝送等を行う、ワイヤレス方式の電子内視鏡装置が開示されている。この電子内視鏡装置においては、スコープからプロセッサへの画像信号を赤外線通信で送信している。
【0004】
【発明が解決しようとする課題】
ところが、同公報の電子内視鏡装置においては、スコープ側に画像信号を赤外線送信に適した周波数に変調するIR変調回路や送信専用赤外発光素子を含むIR送信部を設け、プロセッサ側にIR受信部やIR復調回路を設け、さらに光源を特別に設けなければならない。その結果、部品点数が増加し電子内視鏡装置、とりわけスコープの製造コストを高騰させるという問題がある。
【0005】
【課題を解決するための手段】
本発明は、以上の問題を解決するものであり、被観察体を照射するための半導体発光素子を具備する光源と、撮像のための固体撮像素子と、固体撮像素子から出力される画像信号を変調する変調手段と、変調手段により変調された信号に基づいて被観察体を照射中の光源を駆動し、その出射光を光信号として外部に送信する送信手段とを有するスコープと、光信号を受信する受信手段と、光信号を画像信号に復調する復調手段を有する画像信号処理ユニットとを備えることを特徴とする。
【0006】
好ましくは、変調手段は、画像信号を周波数変調し、さらに好ましくは、変調手段による周波数変調の周波数が固体撮像素子の駆動周波数より高い。
【0007】
半導体発光素子は白色光を出射し、送信手段は半導体発光素子の出射光を赤色光および赤外光のすくなくとも一方のみを透過させる光学フィルタを介して外部に送信する。
【0008】
光源は選択的に、例えばスコープの先端部に配設され、また、スコープの操作部に配設される。
【0009】
また、本発明に係るワイヤレス電子内視鏡装置は、半導体発光素子と、撮像のための固体撮像素子と、固体撮像素子から出力される画像信号を変調する変調手段と、変調手段により変調された信号に基づいて半導体発光素子を駆動する光源駆動手段と、光源駆動手段により駆動された半導体発光素子の出射光を被観察体に照射する照射手段と、出射光を光信号として外部に送信する送信手段とを有するスコープと、光信号を受信する受信手段と、光信号を画像信号に復調する復調手段を有する画像信号処理ユニットとを備えることを特徴とする。
【0010】
また、本発明に係るワイヤレス電子内視鏡装置のスコープは、撮像のための固体撮像素子と、被観察体を照射するための半導体発光素子からなる光源と、固体撮像素子の出力信号を変調する変調手段と、変調手段により変調された信号に基づいて被観察体を照射中の光源を駆動し、光源の出力光を外部へ送信する送信手段とを備えることを特徴とする。
【0011】
また、本発明に係るワイヤレス電子内視鏡装置の画像信号処理ユニットは、被観察体を照射するための光源と撮像のための固体撮像手段とを備えたスコープから送信される、固体撮像素子の出力信号に基づいて被観察体を照射中の光源を変調した光信号を受信する受信手段と、光信号を復調する復調手段とを備えることを特徴とする。
【0012】
以上のように、本発明によれば、スコープの固体撮像素子より得られた画像信号を伝送するために、ケーブルによりスコープを画像信号処理ユニットと接続させる必要がない。従って、手技におけるスコープの操作範囲が制限されることがなく、操作性が向上する。
【0013】
被写体に照射する照明光を、画像信号を画像信号処理ユニットへ送信する光信号に兼用している。従って、送信のための専用の照明手段を設ける必要がなく、経済的である。
【0014】
画像信号を周波数変調するにあたって、その周波数帯域を固体撮像素子の駆動周波数よりも高く設定している。従って、照明光を変調させてもちらつき等の視覚上の不具合は生じない。
【0015】
また、光源ユニットをスコープの操作部に配設することにより、多数の半導体発光素子を配置することが可能となり、照明光の光量増加が図られる。従って、TVモニタにおいて、より良好な再現画像が得られる。
【0016】
半導体発光素子の出射光を赤外光のみを透過させるフィルタを介して外部に送信することにより、画像信号処理ユニットの受信手段との間で、外光の影響を受けることなく良好な通信状態が確保できる。
【0017】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。図1は、本発明に係る第1実施形態が適用される電子内視鏡装置のブロック図である。スコープ10の先端部11には撮像センサ100が配設される。撮像センサ100は、対物光学系101と、カラーチップフィルタを有するCCDイメージセンサ102を備える。対物光学系101を介してCCDイメージセンサ102の撮像領域に被観察体の光学像が結像される。また、先端部11において撮像センサ100の近傍には光源ユニット110が配設される。光源ユニット110は、白色光を出射する複数の白色LED(Light Emitting Diode)111からなる光源と、各白色LED111の出射光を被観察体に導く配光光学系112が設けられる。尚、図1において3つの白色LED111が図示されているがこれに限るものではなく、先端部11のスペースが許す限りの数の白色LED111が配設される。
【0018】
先端部11は可撓管12を介して操作部13に連結されている。操作部13の電源ボタン(図示せず)を押すことにより電源が投入されると、後述する各回路に電流が供給される。操作部13のタイミングパルス発生回路130から出力されるCCD読み出しパルスに基づいて、CCD駆動回路131によりCCDイメージセンサ102から画像信号が読み出される。CCDイメージ102から読み出された画像信号は、可撓管12に配設された電気ケーブルを介して操作部13のバッファアンプ132に入力される。画像信号はバッファアンプ132で増幅処理が施された後、遅延回路133に入力され、上述のCCD駆動回路131のパルス駆動に伴う遅延処理が行なわれ、サンプルホールド(S/H)回路134に入力される。
【0019】
S/H回路134で所定のレベルにホールドされた画像信号は輝度調整回路135と変調回路136に入力される。輝度調整回路135では、画像信号から輝度情報が抽出され、所定の参照輝度値との差分が算出される。さらに、その差分が解消されるよう光源ユニット110の光量を調節すべく、白色LED111の駆動電流値が演算され出力される。一方、変調回路136では入力された画像信号が周波数変調(FM変調)され、発光時間制御回路137に入力される。尚、変調回路136において画像信号がFM変調される周波数帯域は約20MHz(メガヘルツ)〜50MHzであり、通常のCCD駆動回路131の駆動周波数よりも高く設定されている。発光時間制御回路137では、FM変調信号に基づいて白色LED111の駆動時間と停止時間、即ち点滅の間隔を表す信号成分が生成される。
【0020】
輝度調整回路135の出力信号と発光時間制御回路137の出力信号は合成され、LED駆動回路138に入力される。駆動信号はLED駆動回路138で所定の電力増幅が施され、白色LED111に出力される。
【0021】
以上のように、白色LED111の駆動信号において、光量を決定する電流成分はCCDイメージセンサ102の撮像領域に結像される光学的被観察体像の輝度が所定の参照輝度値に一致するよう調節され、点滅の間隔を決定する時間成分は、CCDイメージセンサ102により光学的被観察体像から光電変換される画像信号のFM変調信号に基づいて決定される。従って、被観察体に照射される照明光は、光量調節がされると同時に、上述のFM変調信号に基づく周波数成分を含んでいる。
【0022】
複数の白色LED111の出射光の一部は、可撓管12に配設されたライトガイド120により、操作部13に設けられた光通信用の通信窓139に導かれる。通信窓139には赤色光ないし赤外線のみを透過させる光学フィルタ140が設けられる。従って、白色LED111の出射光に含まれる赤色光成分ないし赤外線成分のみが通信窓139より外部へ放射される。白色LED111から出射される照明光には上述のFM変調信号に基づく周波数成分を含まれている。換言すれば、通信窓139から放射される光信号は被観察体像の画像信号が重畳された搬送波信号である。
【0023】
電子内視鏡プロセッサ(画像信号処理ユニット)20の側面の一部に光通信用の通信窓(図示せず)が設けられる。通信窓の近傍にはフォトダイオード21が配設され、スコープ10の送信窓から放射される光信号が受信される。フォトダイオード21により受信された光信号は受信回路22でFM変調信号に変換され、次いで復調回路23で画像信号に復調される。
【0024】
復調された画像信号は、タイミングパルス分離回路24に出力され、タイミングパルス分離回路24において水平同期信号、垂直同期信号等が分離され、同期発生回路26に入力される。
【0025】
また、復調された画像信号は、サンプリング、クランプ、ブランキング、増幅等の処理が施され、輝度信号(Y)と色差信号(R−Y、B−Y)が作成され、それぞれガンマ補正等の所定の画像処理が施された後、アナログ/デジタル(A/D)変換器25に入力される。輝度信号及び色差信号は、A/D変換器25でデジタル信号に変換され、画像信号処理回路27を介してそれぞれ画像メモリ28に格納される。
【0026】
デジタル化された輝度信号、色差信号は、画像メモリ28から読み出され、画像信号処理回路27で、拡大、縮小、ノイズリダクション等の処理が施された後、デジタル/アナログ(D/A)変換器29によりアナログ信号に変換される。また、電子内視鏡プロセッサ20に接続されたキーボード(図示せず)から入力される文字情報やカードリーダ(図示せず)から読み取られる文字情報が文字コード制御回路30で所定の処理が施され、文字信号として出力される。輝度信号、色差信号のアナログ信号は、文字コード制御回路30から出力される文字信号と合成された後、エンコーダ31により輝度信号(Y)、色信号(C)にエンコードされてSビデオ信号(Y/C)が生成される。Sビデオ信号は水平同期信号及び垂直同期信号が付加され、画像信号処理ユニット20に接続された外部のTVモニタ40に送られる。TVモニタ40では伝送されたSビデオ信号に基づいて、画面上に画像が表示される。
【0027】
尚、A/D変換器25、D/A変換器29における変換のタイミング、水平同期信号、垂直同期信号の付加は、同期発生回路26により制御される。
【0028】
図2は、本発明に係る第2実施形態が適用されるワイヤレス内視鏡装置の電子スコープのブロック図である。図2において、図1と同一の要素には同一の番号が付されている。電子スコープ200の光源ユニット201は、操作部230の通信窓231の近傍に配設される。光源ユニット201は第1実施形態と同様の複数の白色LED111と集光レンズ202を有する。白色LED111の出射光は、例えばハーフミラー(図示せず)により一部は集光レンズ202に導かれ、一部は通信窓231に導かれる。
【0029】
集光レンズ202に導かれた出射光は可撓管220に配設されたライトガイド221の入射端に集光される。ライトガイド221は可撓管220の先端部210まで伸びており、その出射端には配光光学系203が配設されている。即ち、白色LED111の出射光はライトガイド221によりスコープ10の先端まで導かれ、配光光学系203を介して前方の被観察体に照射される。一方、通信窓231に導かれた出射光は、赤外線フィルタ140を介して外部に放射される。その他の構成は第1実施形態と同様である。また、電子スコープ200から送信される画像情報は、第1実施形態と同様の画像信号処理ユニットにより受信され、上述の画像信号処理が行なわれる。
【0030】
第1及び第2実施形態においては、CCDイメージセンサ102から得られた画像信号の変調方式としてFM変調を用いているがこれに限るものではない。電子スコープの操作部にA/D変換器を設け、CCDイメージセンサ102から得られた画像信号をデジタル化し、そのデジタル信号をパルス符号変調(PCM)してもよい。
【0031】
また、第1及び第2実施形態では、光源として白色LED111を用いているがこれに限るものではない。赤色(R)光を出射するLED、緑色(G)光を出射するLED、青色(B)光を出射するLEDを適宜配置し、各LEDを同時に発光することによりRGB各色の出射光が混色され白色光が被観察体に照射する構成としてもよい。この場合、送信光の波長帯域を制限する前述の光学フィルタを設けることなく、R光を出射するLEDの光を直接通信窓から出射させることもできる。さらにこの時、R光を出射するLEDのみを画像信号に基づいて変調駆動するようにしてもよい。
【0032】
また、カラーチップフィルタを備えるCCDイメージセンサ102に代えてモノクロのCCDイメージセンサを用いた面順次方式によるスコープにおいても、R光を出射するLED、G光を出射するLED、B光を出射するLEDを先端部または操作部に設けてRGBを順次発光させつつ光信号を出射し、画像信号処理ユニットにおいて受信した光信号に対して面順次方式により画像処理を行なうことが可能である。この時、RGB各色の3フィールド期間の照明光下にて順次生成されたRGBの各画像信号は後のRのフィールドの照明期間にまとめて送信するようにしてもよい。
【0033】
【発明の効果】
以上のように、本発明によれば、電子スコープと画像信号処理ユニットとをケーブルで連結する必要がないため、体腔内に電子スコープを挿入して手技を行なう際の電子スコープの操作範囲が広がり、操作性が向上する。さらに、本発明によれば、光通信用の光源である発光素子を照明用光源と兼用にしたので、光通信専用の特別な光源として発光素子を必要とせず、部品点数が増加することがない。したがって、製造コストを抑えることができる。
【図面の簡単な説明】
【図1】本発明に係る第1実施形態が適用されるワイヤレス内視鏡装置のブロック図である。
【図2】本発明に係る第2実施形態が適用されるワイヤレス内視鏡装置の電子スコープのブロック図である。
【符号の説明】
10、200 電子スコープ
11、210 先端部
12、220 可撓管
13、230 操作部
20 画像信号処理ユニット
40 TVモニタ
21 フォトダイオード
101 対物光学系
102 CCDイメージセンサ
111 白色LED
112、203 配光光学系

Claims (6)

  1. 被観察体を照射するための半導体発光素子を具備する光源と、撮像のための固体撮像素子と、前記固体撮像素子から出力される画像信号を変調する変調手段と、前記変調手段により変調された信号に基づいて被観察体を照射中の前記光源を駆動し、その出射光を光信号として外部に送信する送信手段とを有するスコープと、
    前記光信号を受信する受信手段と、前記光信号を画像信号に復調する復調手段を有する画像信号処理ユニットとを備えることを特徴とするワイヤレス電子内視鏡装置。
  2. 前記変調手段は、前記画像信号を周波数変調することを特徴とする請求項1に記載のワイヤレス電子内視鏡装置。
  3. 前記変調手段による周波数変調の周波数が前記固体撮像素子の駆動周波数より高いことを特徴とする請求項2に記載のワイヤレス電子内視鏡装置。
  4. 前記半導体発光素子は白色光を出射し、前記送信手段は前記半導体発光素子の出射光を赤色光および赤外光の少なくとも一方のみを透過させる光学フィルタを介して外部に送信することを特徴とする請求項1に記載のワイヤレス電子内視鏡装置。
  5. 前記光源は、前記スコープの先端部に配設されることを特徴とする請求項1に記載のワイヤレス電子内視鏡装置。
  6. 前記光源は、前記スコープの操作部に配設されることを特徴とする請求項1に記載のワイヤレス電子内視鏡装置。
JP2000364715A 2000-11-30 2000-11-30 ワイヤレス電子内視鏡装置とスコープと画像信号処理ユニット Expired - Fee Related JP4538147B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000364715A JP4538147B2 (ja) 2000-11-30 2000-11-30 ワイヤレス電子内視鏡装置とスコープと画像信号処理ユニット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000364715A JP4538147B2 (ja) 2000-11-30 2000-11-30 ワイヤレス電子内視鏡装置とスコープと画像信号処理ユニット

Publications (2)

Publication Number Publication Date
JP2002165756A JP2002165756A (ja) 2002-06-11
JP4538147B2 true JP4538147B2 (ja) 2010-09-08

Family

ID=18835604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000364715A Expired - Fee Related JP4538147B2 (ja) 2000-11-30 2000-11-30 ワイヤレス電子内視鏡装置とスコープと画像信号処理ユニット

Country Status (1)

Country Link
JP (1) JP4538147B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229549B2 (en) * 2004-07-09 2012-07-24 Tyco Healthcare Group Lp Surgical imaging device
JP2006158962A (ja) * 2004-11-11 2006-06-22 Tohoku Univ カラー撮像・カラー表示装置
JP2007061296A (ja) * 2005-08-30 2007-03-15 Pentax Corp 電子内視鏡用受信モジュール及び画像処理装置
JP2009034224A (ja) * 2007-07-31 2009-02-19 Olympus Medical Systems Corp 医療装置
AU2009251546B2 (en) 2008-04-14 2014-06-05 Carnegie Mellon University Articulated device with visualization system
JP6254506B2 (ja) * 2014-09-30 2017-12-27 富士フイルム株式会社 内視鏡システム及びその作動方法
JP6633751B2 (ja) * 2016-06-16 2020-01-22 富士フイルム株式会社 ナビゲーション装置及びナビゲーション方法、並びに内視鏡システム
JP7014522B2 (ja) * 2017-03-29 2022-02-01 池上通信機株式会社 医療診断システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11225996A (ja) * 1998-02-19 1999-08-24 Olympus Optical Co Ltd カプセル型生体内情報検出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58141135A (ja) * 1981-10-20 1983-08-22 富士写真フイルム株式会社 固体イメ−ジセンサを用いた内視鏡の画像伝送方式
JPS5969057A (ja) * 1982-10-15 1984-04-19 オリンパス光学工業株式会社 内視鏡用撮像装置
JPH06335450A (ja) * 1993-05-31 1994-12-06 Olympus Optical Co Ltd 電子内視鏡装置
JPH07336501A (ja) * 1994-06-08 1995-12-22 Minolta Co Ltd 光源を含んだ撮像システム
JPH09285443A (ja) * 1996-04-25 1997-11-04 Fuji Photo Optical Co Ltd 電子内視鏡装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11225996A (ja) * 1998-02-19 1999-08-24 Olympus Optical Co Ltd カプセル型生体内情報検出装置

Also Published As

Publication number Publication date
JP2002165756A (ja) 2002-06-11

Similar Documents

Publication Publication Date Title
US4853772A (en) Electronic endoscope apparatus having isolated patient and secondary circuitry
CN106388756B (zh) 图像处理装置及其工作方法以及内窥镜系统
US4633304A (en) Endoscope assembly
US6796938B2 (en) Image obtaining method and apparatus of an endoscope apparatus
US8866893B2 (en) Imaging apparatus
US20090149706A1 (en) Endoscope apparatus and signal processing method thereof
US9844312B2 (en) Endoscope system for suppressing decrease of frame rate without changing clock rate of reading
US10321801B2 (en) High frame rate endoscopic device and methods thereof
US10349027B2 (en) Imaging device and processing device
US11882995B2 (en) Endoscope system
US20150173595A1 (en) Imaging apparatus
JP4538147B2 (ja) ワイヤレス電子内視鏡装置とスコープと画像信号処理ユニット
JP2012143319A (ja) 内視鏡システム及びその駆動方法
US9734592B2 (en) Medical image processing device and method for operating the same
JP2006006922A (ja) カラーフィルタ、及び、電子内視鏡システム
JP2016032494A (ja) 内視鏡システム、内視鏡システムの作動方法、光源装置、光源装置の作動方法
JP2009095554A (ja) 内視鏡装置
JP6190906B2 (ja) 撮像モジュール、及び内視鏡装置
CA2383696A1 (en) Weak light color imaging device
CN112137564A (zh) 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法
JP3315809B2 (ja) 電子内視鏡装置
JP5734060B2 (ja) 内視鏡システム及びその駆動方法
US11483489B2 (en) Medical control device and medical observation system using a different wavelength band than that of fluorescence of an observation target to control autofocus
JP2007061296A (ja) 電子内視鏡用受信モジュール及び画像処理装置
JP3179166B2 (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071016

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100420

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100621

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4538147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140625

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees