JP4794928B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4794928B2
JP4794928B2 JP2005204754A JP2005204754A JP4794928B2 JP 4794928 B2 JP4794928 B2 JP 4794928B2 JP 2005204754 A JP2005204754 A JP 2005204754A JP 2005204754 A JP2005204754 A JP 2005204754A JP 4794928 B2 JP4794928 B2 JP 4794928B2
Authority
JP
Japan
Prior art keywords
observation
image
light
normal
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005204754A
Other languages
English (en)
Other versions
JP2007020728A (ja
Inventor
克一 今泉
啓 高杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2005204754A priority Critical patent/JP4794928B2/ja
Publication of JP2007020728A publication Critical patent/JP2007020728A/ja
Application granted granted Critical
Publication of JP4794928B2 publication Critical patent/JP4794928B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、複数種類の観察光で観察することを可能とする画像処理装置に関する。
現在、体腔内にスコープを挿入することにより、食道、胃、小腸、大腸などの消化管や肺等の気管を観察し、必要に応じて処置具チャンネル内に挿通した処置具を用いて各種の治療処理のできる電子内視鏡が広く利用されている。
特に、光源装置から光学フィルタを通す等して赤、緑、青等の光を順次被写体に照射してモノクロの撮像素子で受光し、プロセッサ内で信号処理を行ってカラー画像として表示装置に出力する面順次式の内視鏡装置は国内で広く普及している。
プロセッサ内の信号処理としては、病変の発見を容易にするために行われる色強調がある。色強調では、生体粘膜に含まれるヘモグロビンの量を基準にして色を強調する等して、正常粘膜と病変粘膜を色の差により明確に区別しやすくする。
また、内視鏡による診断では、肉眼で見えるのと同様のカラー画像をモニタに表示する通常観察の他に、生体組織の自家蛍光を利用した自家蛍光観察も行われ始めている。自家蛍光観察では、紫外〜青色の励起光を生体組織に当てた時に生体組織から出てくる自家蛍光のスペクトルが正常粘膜と腫瘍で異なることを利用して診断を行う。
この自家蛍光の画像は、生体組織により反射されて戻ってくる反射光画像と共に、それぞれ異なる色を割り当ててモニタに表示されることにより、病変部を正常部との色の違いとして明確に認識できるようになる。蛍光は微弱なため、蛍光画像にはノイズが多く含まれ、蛍光観察用のプロセッサにはノイズ除去回路が搭載されることが多い。
また、例えば特開2002−95635号公報に開示されているように、通常の観察光よりも狭い帯域の光を照射して観察を行う、狭帯域光観察(NBI:NarrowBandImaging)というものも行われている。狭帯域光観察では、粘膜表層の血管をよりコントラスト良く観察することが可能になる。
この狭帯域光観察は狭帯域の光で観察を行うため、通常の内視鏡画像とは異なった色調の画像が表示される。そこで、プロセッサ内に色変換回路を設けることにより色の調整を行い、より病変の判別に適した色調に変換してからモニタに出力して表示している。
これらの、通常観察、蛍光観察、狭帯域光観察は、照明光の切替が可能な照明装置を用いることにより、1つのシステムにまとめることが可能である。
特開2002−95635号公報
、観察状態に応じて、通常観察、蛍光観察、狭帯域光観察等が適切に選択される必要がある。
蛍光観察は、主に病変部を発見するための観察法であるので、広い範囲を見渡すために遠景から観察することが有効である。逆に、狭帯域光観察は、細かい構造の観察が可能なので、見つかった病変をより詳しく観察するために用いられ、被写体に近づいて拡大して見たときに力を発揮する。
つまり、遠景からの観察には通常観察及び蛍光観察が適しているが、狭帯域光観察は不向きな観察である。逆に近接拡大観察時においては、通常観察及び狭帯域光観察が適しているが、蛍光観察は不向きな観察である。
しかしながら、複数の観察を可能とした従来の電子内視鏡装置やプロセッサでは、観察状態に応じて通常観察、蛍光観察、狭帯域光観察を適切に切り替えることができないといった問題がある。
本発明は、上記事情に鑑みてなされたものであり、観察用光学系(例えばズームレンズ)を調整した観察状態に応じて複数種類の観察光に基づく複数の観察モードを適切に切り替えることができる画像処理装置を提供することを目的としている。
本発明の画像処理装置は、
複数種類の観察光に基づく複数の観察モードでの被検体の観察画像を生成する複数の観察モード画像処理手段と、
前記複数の観察モードにおいて観察用光学系を調整した観察状態を設定する観察状態設定手段と、
前記観察状態を検知し、検知した観察状態に基づいて前記複数の観察モード画像処理手段を制御するもので、前記観察画像として表示される動画像から静止画像へのフリーズ動作に関する制御または前記複数の観察モードに関する切り替え制御する処理制御手段と
を備えて構成される。
本発明によれば、観察用光学系を調整した観察状態に応じて複数種類の観察光に基づく複数の観察モードを適切に切り替えることができるという効果がある。
以下、図面を参照しながら本発明の実施例について述べる。
図1ないし図8は本発明の実施例1に係わり、図1は内視鏡装置の構成を示す構成図、図2は図1の回転フィルタの構成を示す図、図3は図1のフリーズメモリ部の構成を示すブロック図、図4は図1の内視鏡装置の作用を説明する第1の図、図5は図1の内視鏡装置の作用を説明する第2の図、図6は図1の内視鏡装置の作用を説明する第3の図、図7は図1の内視鏡装置の作用を説明する第4の図、図8は図1の電子内視鏡の変形例の構成を示す図である。
図1に示すように、本実施例の内視鏡装置1は、複数の観察光で体腔内の被検体が観察可能な電子内視鏡2と、前記電子内視鏡2に複数の観察光を供給する光源装置3と、前記電子内視鏡2により複数の観察光で撮像された被検体の画像を信号処理しモニタ4に表示させるビデオプロセッサ5とを備えて構成される。
前記光源装置3は、白色光を発光する例えばキセノン光源であるランプ31と、前記白色光を複数の観察光に変換して前記電子内視鏡2の可撓性を有する挿入部20内を挿通するライトガイドファイバ21に供給する回転フィルタ32とを備えている。
図2に示すように、回転フィルタ32は、白色光を通常観察光であるRGB光に変換するR(赤)フィルタ32a、G(緑)フィルタ32b及びB(青)フィルタ32cと、白色光を紫外〜青色の励起光に変換する励起光フィルタ32dと、白色光を狭帯域光である前記G(緑)フィルタの透過帯域より狭いG光に変換する狭帯域Gフィルタ32e及び前記B(青)フィルタの透過帯域より狭いB光に変換する狭帯域Bフィルタ32fとより構成され、この回転フィルタ32を回転させることで、白色光を複数の面順次観察光に変更するようになっている。
図1に戻り、電子内視鏡2は、ライトガイドファイバ21を伝送した複数の観察光により照明された被検体の光学像を入射するズームレンズ22と、このズームレンズ22より入射した被検体の光学像を2方向に分離するビームスプリッタ23と、ビームスプリッタ23により分離された一方の通常観察光あるいは狭帯域光の被検体の光学像を撮像する通常観察光/狭帯域光用CCD24と、ビームスプリッタ23により分離された他方の励起光により励起された自家蛍光の被検体の光学像を励起光カットフィルタ25を介して撮像する蛍光用CCD26と、前記ズームレンズ22の焦点位置を調整する挿入部20の基端側の操作部に設けられた観察状態設定手段としてのズームスイッチ27とを備えている。観察状態とは、観察用光学系の調整状態を表し、具体的にはズームレンズ22又はズームスイッチ27の拡大率の調整状態をいう。
ビデオプロセッサ5は、通常観察光/狭帯域光用CCD24が撮像したうちの通常観察光による撮像信号を信号処理し通常観察光画像を生成する通常画像用ビデオ回路51と、通常観察光/狭帯域光用CCD24が撮像したうちの狭帯域光による撮像信号を信号処理し狭帯域光画像を生成する狭帯域画像用ビデオ回路52と、蛍光用CCD26が撮像した自家蛍光による撮像信号を信号処理し蛍光画像を生成する蛍光画像用ビデオ回路53と、通常画像用ビデオ回路51、狭帯域画像用ビデオ回路52及び蛍光画像用ビデオ回路53が生成した画像をフリーズメモリ部54、55、56を介して合成しモニタ4に出力する画像合成回路57と、電子内視鏡のズームスイッチ27の調整状態に応じてフリーズメモリ部54、55、56及び画像合成回路57を制御する処理制御手段としてのCPU58と、CPU58への制御状態を指示する指示操作部59とを備えている。
ここで、通常画像用ビデオ回路51、狭帯域画像用ビデオ回路52及び蛍光画像用ビデオ回路53が複数の観察モード画像処理手段として構成されている。
フリーズメモリ部54、55、56は同じ構成であって、例えばフリーズメモリ部54は、図3に示すように、通常画像用ビデオ回路51が生成した画像を1画面分フリーズして格納するフリーズメモリ61と、通常画像用ビデオ回路51が生成した画像とフリーズメモリ61に格納した静止画とを選択的に画像合成回路57に出力するセレクタ62とを備えて構成され、フリーズメモリ61及びセレクタ62はCPU58により制御されるようになっている。
このように構成された本実施例の作用について説明する。電子内視鏡の挿入部20を体内に挿入し、光源装置3より複数の観察光(通常観察光、狭帯域光、励起光)を順次供給し、被検体に照射する。
電子内視鏡2では、通常観察光及び狭帯域光による被検体の光学像を通常観察光/狭帯域光用CCD24により撮像し、また、励起光による自家蛍光の被検体の光学像を蛍光用CCD26にて撮像する。
そして、ビデオプロセッサ5において、通常画像用ビデオ回路51が通常観察光による通常観察光/狭帯域光用CCD24の撮像信号を信号処理し通常光画像を生成し、狭帯域画像用ビデオ回路52が狭帯域光による通常観察光/狭帯域光用CCD24の撮像信号を信号処理し狭帯域光画像を生成し、さらに蛍光画像用ビデオ回路53が自家蛍光による蛍光用CCD26の撮像信号を信号処理し蛍光画像を生成する。
CPU58は、指示操作部59により制御状態が指示され、この指示に基づきフリーズメモリ部54、55、56及び画像合成回路57を制御する。
例えば指示操作部59により第1の制御状態にCPU58がある場合、ズームスイッチ27の調整状態がデフォルトの拡大率が小の状態の場合をCPU58が検出している際には、図4に示すように、フリーズメモリ部54、55、56を介した画像合成回路57によりモニタ4には、通常光画像及び蛍光画像が動画として表示される。そして、ズームスイッチ27が操作され、調整状態が所定の拡大率となり、CPU58がその状態(例えば拡大率:大)を検出すると、通常光画像及び狭帯域光画像が動画としてモニタ4に表示される。
また、例えば指示操作部59により第2の制御状態にCPU58がある場合、ズームスイッチ27の調整状態がデフォルトの拡大率が小の状態の場合をCPU58が検出している際には、図5に示すように、フリーズメモリ部54、55、56を介した画像合成回路57によりモニタ4には、蛍光画像及び狭帯域光画像が動画として表示される。そして、ズームスイッチ27が操作され、調整状態が所定の拡大率となり、CPU58がその状態(例えば拡大率:大)を検出すると、フリーズメモリ部56に格納されている蛍光画像が静止画として、また狭帯域光画像が動画としてモニタ4に表示される。
また、例えば指示操作部59により第3の制御状態にCPU58がある場合、ズームスイッチ27の調整状態がデフォルトの拡大率が小の状態の場合をCPU58が検出している際には、図6に示すように、フリーズメモリ部54、55、56を介した画像合成回路57によりモニタ4には、蛍光画像及び狭帯域光画像が動画として表示される。そして、ズームスイッチ27が操作され、調整状態が所定の拡大率となり、CPU58がその状態(例えば拡大率:大)を検出すると、狭帯域光画像のみが動画としてモニタ4に表示される。
さらに、例えば指示操作部59により第4の制御状態にCPU58がある場合、ズームスイッチ27の調整状態がデフォルトの拡大率が小の状態の場合をCPU58が検出している際には、図7に示すように、フリーズメモリ部54、55、56を介した画像合成回路57によりモニタ4には、通常光画像が動画として表示される。そして、ズームスイッチ27が操作され、調整状態が所定の拡大率となり、CPU58がその状態(例えば拡大率:大)を検出すると、狭帯域光画像が動画としてモニタ4に表示される。
このように本実施例では、ズームスイッチ27による調整状態に応じて、CPU58の制御により複数の観察モードを適切に切り替えることができる。
なお、指示操作部59による制御状態によりCPU58がフリーズメモリ部54、55、56及び画像合成回路57を制御し、モニタに表示する表示形態は上記形態(図4、図5、図6及び図7)に限らないことはいうまでもない。
また、本実施例では、ビームスプリッタ23により光路を分離し、通常観察光/狭帯域光用CCD24及び蛍光用CCD26により撮像するとしたが、これに限らず、図8に示すように、通常観察光/狭帯域光用CCD24及び蛍光用CCD26の対物光学系を2系統設けるようにしてもよい。
図9及び図10は本発明の実施例2に係わり、図9は内視鏡装置の構成を示す構成図、図10は図9の内視鏡装置の作用を説明する図である。
実施例2は、実施例1とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
本実施例では、図9に示すように、電子内視鏡に接触用対物レンズ81及び接触観察用CCD82による接触観察用光学系を設けている。該接触観察用光学系は、例えば特開2004−166913号公報(同公報図4)等に開示され、公知であるので説明は省略する。
また、ビデオプロセッサ5には、接触観察用CCD82からの撮像信号を信号処理し接触観察画像を生成しフリーズメモリ部84を介して画像合成回路57に出力する接触観察用ビデオ回路83を備えている。
なお、フリーズメモリ部84は、フリーズメモリ部54、55、56と同じ構成である(図3参照)。その他の構成は実施例1と同じである。
本実施例では、例えば指示操作部59により所定の制御状態にCPU58がある場合、ズームスイッチ27の調整状態がデフォルトの拡大率が小の状態の場合をCPU58が検出している際には、図10に示すように、フリーズメモリ部54、55、56を介した画像合成回路57によりモニタ4には、通常光画像及び蛍光画像が動画として表示される。そして、ズームスイッチ27が操作され、調整状態が所定の第1の拡大率となり、CPU58がその状態(例えば拡大率:中)を検出すると、通常光画像及び狭帯域光画像が動画としてモニタ4に表示される。さらに、ズームスイッチ27が操作され、調整状態が所定の第2の拡大率となり、CPU58がその状態(例えば拡大率:大)を検出すると、通常光画像及び接触観察画像が動画としてモニタ4に表示される。
なお、上記各実施例において、ズームは手動のものに限らず、電子内視鏡先端にアクチュエータを備えた電動ズームでもよい。
また、観察モードは、上記のモード(例えば、通常光観察、狭帯域光観察、蛍光観察等)に限らず、赤外光観察モード、紫外光観察モードであってもよい。
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本発明の実施例1に係る内視鏡装置の構成を示す構成図 図1の回転フィルタの構成を示す図 図1のフリーズメモリ部の構成を示すブロック図 図1の内視鏡装置の作用を説明する第1の図 図1の内視鏡装置の作用を説明する第2の図 図1の内視鏡装置の作用を説明する第3の図 図1の内視鏡装置の作用を説明する第4の図 図1の電子内視鏡の変形例の構成を示す図 本発明の実施例2に係る内視鏡装置の構成を示す構成図 図9の内視鏡装置の作用を説明する図
符号の説明
1…内視鏡装置
2…電子内視鏡
3…光源装置
4…モニタ
5…ビデオプロセッサ
20…挿入部
21…ライトガイドファイバ
22…ズームレンズ
23…ビームスプリッタ
24…通常観察光/狭帯域光用CCD
25…励起光カットフィルタ
26…蛍光用CCD
27…ズームスイッチ
31…ランプ
32…回転フィルタ
51…通常画像用ビデオ回路
52…狭帯域画像用ビデオ回路
53…蛍光画像用ビデオ回路
54、55、56…フリーズメモリ部
57…画像合成回路
58…CPU
59…指示操作部

Claims (3)

  1. 複数種類の観察光に基づく複数の観察モードでの被検体の観察画像を生成する複数の観察モード画像処理手段と、
    前記複数の観察モードにおいて観察用光学系を調整した観察状態を設定する観察状態設定手段と、
    前記観察状態を検知し、検知した観察状態に基づいて前記複数の観察モード画像処理手段を制御するもので、前記観察画像として表示される動画像から静止画像へのフリーズ動作に関する制御または前記複数の観察モードに関する切り替え制御する処理制御手段と
    を備えたことを特徴とする画像処理装置。
  2. 前記観察状態は、前記観察モードにおける前記観察用光学系の拡大倍率であることを特徴とする請求項1に記載の画像処理装置。
  3. 前記複数の観察モードは、通常可視光帯域の観察光による通常観察モード、前記通常可視光帯域内の狭帯域の観察光による狭帯域観察モード及び蛍光の観察光による蛍光観察モードを含む
    ことを特徴とする請求項1または2に記載の画像処理装置。
JP2005204754A 2005-07-13 2005-07-13 画像処理装置 Expired - Fee Related JP4794928B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005204754A JP4794928B2 (ja) 2005-07-13 2005-07-13 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005204754A JP4794928B2 (ja) 2005-07-13 2005-07-13 画像処理装置

Publications (2)

Publication Number Publication Date
JP2007020728A JP2007020728A (ja) 2007-02-01
JP4794928B2 true JP4794928B2 (ja) 2011-10-19

Family

ID=37782281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005204754A Expired - Fee Related JP4794928B2 (ja) 2005-07-13 2005-07-13 画像処理装置

Country Status (1)

Country Link
JP (1) JP4794928B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8553075B2 (en) 2008-10-22 2013-10-08 Fujifilm Corporation Endoscope apparatus and control method therefor
JP5422180B2 (ja) 2008-11-21 2014-02-19 富士フイルム株式会社 内視鏡装置およびその作動方法
JP5271062B2 (ja) * 2008-12-09 2013-08-21 富士フイルム株式会社 内視鏡装置およびその作動方法
JP2010142547A (ja) * 2008-12-22 2010-07-01 Fujifilm Corp 内視鏡画像処理装置および方法ならびにプログラム。
JP2010279526A (ja) 2009-06-04 2010-12-16 Fujifilm Corp 内視鏡画像処理装置および方法ならびにプログラム
EP2417897A4 (en) * 2009-04-09 2012-11-07 Olympus Medical Systems Corp ENDOSCOPIC DEVICE
JP5606120B2 (ja) 2010-03-29 2014-10-15 富士フイルム株式会社 内視鏡装置
JP5763893B2 (ja) * 2010-06-08 2015-08-12 富士フイルム株式会社 画像処理システム及びプログラム並びに内視鏡システムの作動方法
JP5371946B2 (ja) * 2010-12-24 2013-12-18 富士フイルム株式会社 内視鏡診断装置
EP2649929B1 (en) 2011-05-17 2015-07-01 Olympus Medical Systems Corp. Medical apparatus, method for controlling marker display in a medical image, and medical processor
JP6357377B2 (ja) * 2014-07-24 2018-07-11 オリンパス株式会社 観察装置
JP5897663B2 (ja) * 2014-08-25 2016-03-30 富士フイルム株式会社 内視鏡装置
WO2016056332A1 (ja) * 2014-10-06 2016-04-14 オリンパス株式会社 撮像システム
WO2019093356A1 (ja) * 2017-11-13 2019-05-16 富士フイルム株式会社 内視鏡システム及びその作動方法
JP7196330B2 (ja) * 2019-09-27 2022-12-26 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
EP4082419A4 (en) * 2019-12-26 2023-06-07 FUJIFILM Corporation ENDOSCOPIC SYSTEM AND METHODS OF OPERATION THEREOF

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3946985B2 (ja) * 2000-12-04 2007-07-18 富士フイルム株式会社 蛍光画像撮像装置
JP2003126017A (ja) * 2001-10-25 2003-05-07 Olympus Optical Co Ltd 手術用顕微鏡システム
JP2003334160A (ja) * 2002-05-21 2003-11-25 Olympus Optical Co Ltd 立体視内視鏡システム
JP2004024656A (ja) * 2002-06-27 2004-01-29 Fuji Photo Film Co Ltd 蛍光内視鏡装置

Also Published As

Publication number Publication date
JP2007020728A (ja) 2007-02-01

Similar Documents

Publication Publication Date Title
JP4794928B2 (ja) 画像処理装置
JP5127639B2 (ja) 内視鏡システム、およびその作動方法
JP5203861B2 (ja) 内視鏡システム、およびその作動方法
JP4891990B2 (ja) 内視鏡装置
JP6184571B2 (ja) 蛍光観察内視鏡システム
JP5191090B2 (ja) 内視鏡装置
JP4643481B2 (ja) 画像処理装置
JP5308815B2 (ja) 生体観測システム
JP4709606B2 (ja) 生体観測装置
JP5496075B2 (ja) 内視鏡診断装置
JP4989036B2 (ja) 電子内視鏡用信号処理装置及び電子内視鏡装置
EP1743568B1 (en) Image processing device
WO2003075752A1 (fr) Appareil de traitement d'image d'endoscope
JP5148054B2 (ja) 撮像システム
JP2005169009A (ja) 内視鏡システム、及び内視鏡
WO2017115442A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4744279B2 (ja) 電子内視鏡装置
WO2020178962A1 (ja) 内視鏡システムおよび画像処理装置
JP2006340855A (ja) 画像処理装置
JP2011098089A (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び信号分離方法
JP5764472B2 (ja) 内視鏡診断装置
JP2005021580A (ja) 蛍光観察内視鏡システム及び蛍光観察内視鏡用光源装置
JP2013102898A (ja) 内視鏡診断装置
JP2007160123A (ja) 内視鏡及び内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110719

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110727

R151 Written notification of patent or utility model registration

Ref document number: 4794928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees