JP4868976B2 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP4868976B2
JP4868976B2 JP2006223576A JP2006223576A JP4868976B2 JP 4868976 B2 JP4868976 B2 JP 4868976B2 JP 2006223576 A JP2006223576 A JP 2006223576A JP 2006223576 A JP2006223576 A JP 2006223576A JP 4868976 B2 JP4868976 B2 JP 4868976B2
Authority
JP
Japan
Prior art keywords
signal
image
biological image
circuit
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006223576A
Other languages
English (en)
Other versions
JP2008043604A (ja
Inventor
健二 山▲崎▼
和弘 後野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2006223576A priority Critical patent/JP4868976B2/ja
Priority to EP07742106.3A priority patent/EP2052673B1/en
Priority to PCT/JP2007/058671 priority patent/WO2008020499A1/ja
Priority to CN2007800306481A priority patent/CN101505649B/zh
Priority to KR1020097003248A priority patent/KR101184841B1/ko
Publication of JP2008043604A publication Critical patent/JP2008043604A/ja
Priority to US12/372,202 priority patent/US20090149706A1/en
Application granted granted Critical
Publication of JP4868976B2 publication Critical patent/JP4868976B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/007Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light
    • G02B26/008Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light in the form of devices for effecting sequential colour changes, e.g. colour wheels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、生体組織の像を撮像し信号処理する内視鏡装置に関する。
従来より、照明光を照射し体腔内の内視鏡画像を得る内視鏡装置が広く用いられている。この種の内視鏡装置では、光源装置からの照明光を体腔内にライトガイド等を用い導光しその戻り光により被写体を撮像する撮像手段を有する電子内視鏡が用いられ、ビデオプロセッサにより撮像手段からの撮像信号を信号処理することにより観察モニタに内視鏡画像を表示し患部等の観察部位を観察するようになっている。
内視鏡装置において通常の生体組織観察を行う場合は、光源装置で可視光領域の白色光を発光し、例えばRGB等の回転フィルタを介することで面順次光を被写体に照射し、この面順次光による戻り光をビデオプロセッサで同時化し画像処理することでカラー画像を得たり、内視鏡の撮像手段の撮像面の前面にカラーチップを配し白色光による戻り光をカラーチップにて各色成分毎に分離することで撮像しビデオプロセッサで画像処理することでカラー画像を得ている。
一方、生体組織では、照射される光の波長により光の吸収特性及び散乱特性が異なるため、例えば特開2002−95635号公報では、可視光領域の照明光を離散的な分光特性の狭帯域なRGB面順次光を生体組織に照射し、生体組織の所望の深部の組織情報を得る狭帯域光内視鏡装置が提案されている。
特開2002−95635号公報
しかしながら、従来の内視鏡装置において、通常光観察と狭帯域光観察を行うためには、通常光と狭帯域光とをそれぞれ別のタイミングで生体組織に照射しなければならず、光源や光学フィルタの構成が複雑になるといった問題がある。
また、通常光と狭帯域光とをそれぞれ別のタイミングで生体組織に照射しているために、同一の生体組織をリアルタイムで通常光観察と狭帯域光観察とによる同時観察ができないといった問題もある。
本発明は、上述した点に鑑みてなされたもので、簡単な構成で、同一の生体組織をリアルタイムで通常光観察と狭帯域光観察とにより同時観察することのできる内視鏡装置を提供することを目的としている。
本発明の内視鏡装置は、被検体に照明光を照射する照明手段と、前記照明手段からの照明光で照明された前記被検体の被検体像を受光し、前記被検体の生体画像情報を取得する生体画像情報取得手段と、前記照明手段と前記生体画像情報取得手段に至る光路上に配置され、前記被検体に対する光の深達度に応じて配分された複数の波長帯域のうち少なくとも1つの波長帯域を所定帯域幅に制限する帯域制限手段と、前記生体画像情報取得手段が取得した前記生体画像情報に基づき、前記所定帯域幅に制限されていない広帯域な信号に対してバンドパスフィルタを介して当該被検体における深部の組織情報のコントラストを増強させた第1の生体画像信号情報と、前記所定帯域幅に制限された情報に対してローパスフィルタを介して広帯域な分光特性を有する照明光の照射によって得られる画像と同等のコントラストを有する第2の生体画像信号情報と、を生成する生体画像情報変換手段と、前記生体画像情報変換手段により変換された前記第1の生体画像信号情報及び前記第2の生体画像信号情報に基づき、表示手段に表示する表示画像を生成する表示画像生成手段と、を備えたことを特徴とする。
本発明によれば、簡単な構成で、同一の生体組織をリアルタイムで通常光観察と狭帯域光観察とにより同時観察することができるという効果がある。
以下、図面を参照しながら本発明の実施例について述べる。
図1ないし図9は本発明の実施例1に係わり、図1は内視鏡装置の構成を示す構成図、図2は図1の回転フィルタの構成を示す構成図、図3は図2の回転フィルタのフィルタ組の分光特性を示す図、図4は図1の帯域別信号変換部の構成を示す構成図、図5は図4のBPFの振幅特性を示す図、図6は図1の観察モニタの表示例を示す第1の図、図7は図1の観察モニタの表示例を示す第2の図、図8は図1の観察モニタの表示例を示す第3の図、図9は図1のγ補正回路のγ補正特性を示す図である。
図1に示すように、本実施例の内視鏡装置1は、体腔内に挿入し体腔内組織を撮像する生体画像情報取得手段としてCCD2を有する電子内視鏡3と、電子内視鏡3に照明光を供給する光源装置4と、電子内視鏡3のCCD2からの撮像信号を信号処理して内視鏡画像を観察モニタ5に表示するビデオプロセッサ7とから構成される。
光源装置4は、照明手段としての照明光(白色光)を発光するキセノンランプ11と、白色光の熱線を遮断する熱線カットフィルタ12と、熱線カットフィルタ12を介した白色光の光量を制御する絞り装置13と、照明光を面順次光にする帯域制限手段としての回転フィルタ14と、電子内視鏡3内に配設されたライトガイド15の入射面に回転フィルタ14を介した面順次光を集光させる集光レンズ16と、回転フィルタ14の回転を制御する制御回路17とを備えて構成される。
回転フィルタ14は、図2に示すように、円盤状に構成され中心を回転軸とした構造となっており、径部分には図3に示すような分光特性の面順次光を出力するためのフィルタ組を構成するRフィルタ部14r,Gフィルタ部14g,Bフィルタ部14bが配置されている。Rフィルタ部14r,Gフィルタ部14gは、オーバーラップした分光特性であるが、Bフィルタ部14bの分光特性は、例えば波長域がλ11〜λ12は405〜425nmの狭帯域となっている。なお、Bフィルタ部14bの波長域λ11〜λ12を400〜440nmにしてもよい。
そして、回転フィルタ14は、図1に示すように、制御回路17により回転フィルタモータ18の駆動制御がなされ回転される。
なお、キセノンランプ11、絞り装置13及び回転フィルタモータ18には電源部10より電力が供給される。
ビデオプロセッサ7は、CCD駆動回路20、アンプ22、プロセス回路23、A/D変換器24、ホワイトバランス回路(W.B)25、セレクタ100、生体画像情報変換手段としての帯域別信号変換部101、セレクタ102、γ補正回路26、拡大回路27、強調回路28、セレクタ29、同時化メモリ30、31,32、画像処理回路33、D/A回路34,35,36、タイミングジェネレータ(T.G)37、制御回路200、表示画像生成手段としての合成回路201とを備えて構成される。
CCD駆動回路20は、電子内視鏡3に設けらた前記CCD2を駆動し、回転フィルタ14の回転に同期した面順次の撮像信号を出力するものである。また、アンプ22は電子内視鏡3の先端に設けられている対物光学系21を介してCCD2により体腔内組織を撮像した面順次の撮像信号を増幅するものである。
プロセス回路23は、前記アンプ22を介した面順次の撮像信号に対して相関2重サンプリング及びノイズ除去等を行う。A/D変換器24は、前記プロセス回路23を経た面順次の撮像信号をデジタル信号の面順次の画像信号に変換する。
W.B25は、前記A/D変換器24によりデジタル化された面順次の画像信号に対して、例えば画像信号のG信号を基準に画像信号のR信号と画像信号のB信号の明るさが同等となるようにゲイン調整を行いホワイトバランス処理を実行する(つまり、W.B25は、例えばホワイトキャップを電子内視鏡3の先端に装着した状態のように、被写体を白色面としたときに得られるR信号,G信号,B信号それぞれの信号を求めて、G信号に対する明るさの比に基づいて算出したゲイン係数を、R信号、B信号に乗算することで、G信号と明るさが同等となるR信号、B信号を生成する処理であるホワイトバランス処理を実行する)。
セレクタ100は、前記W.B25からの面順次の画像信号を帯域別信号変換部101の各部に振り分けて出力する。帯域別信号変換部101は、前記セレクタ100からの画像信号を通常光観察用画像信号と狭帯域光観察用画像信号に変換する。セレクタ102は、前記帯域別信号変換部101からの通常光観察用画像信号と狭帯域光観察用画像信号の面順次の画像信号をγ補正回路26及び合成回路201に順次出力する。
γ補正回路26は、前記セレクタ102あるいは前記合成回路201からの面順次の画像信号に対してγ補正処理を施す。拡大回路27は、前記γ補正回路26にてγ補正処理された面順次の画像信号を拡大処理する。強調回路28は、前記拡大回路27にて拡大処理された面順次の画像信号に輪郭強調処理を施す。セレクタ29及び同時化メモリ30、31,32は、強調回路28からの面順次の画像信号を同時化するためのものである。
画像処理回路33は、前記同時化メモリ30、31,32に格納された面順次の各画像信号を読み出し、動画色ずれ補正処理等を行う。D/A回路34,35,36は、前記画像処理回路33からの画像信号をアナログの映像信号に変換し観察モニタ5に出力する。T.G37は、前記光源装置4の制御回路17から、回転フィルタ14の回転に同期した同期信号を入力し、各種タイミング信号を上記ビデオプロセッサ7内の各回路に出力する。
また、電子内視鏡2には、モード切替スイッチ41が設けられており、このモード切替スイッチ41の出力がビデオプロセッサ7内のモード切替回路42に出力されるようになっている。ビデオプロセッサ7のモード切替回路42は、制御信号を調光制御パラメータ切替回路44及び制御回路200に出力するようになっている。調光回路43は調光制御パラメータ切替回路44からの調光制御パラメータ及びプロセス回路23を経た撮像信号に基づき光源装置4の絞り装置13を制御し適正な明るさ制御を行うようになっている。
つぎに、帯域別信号変換部101を図4を用いて説明する。セレクタ100は、W.B25からの面順次の画像信号(各色信号)をT.G37からのタイミング信号に基づき、順次、帯域別信号変換部101に出力する。
帯域別信号変換部101では、図4に示すように、セレクタ100からの色信号であるR信号は通常観察に適した広帯域のR画像信号であり、R信号をスルーでセレクタ102に通常光観察用R信号(以下、WLI−Rと記す)として出力すると共に、R信号を同時化メモリ110に出力する。
また、帯域別信号変換部101では、セレクタ100からの色信号であるG信号は通常観察に適した広帯域のG画像信号であり、G信号をスルーでセレクタ102に通常光観察用G信号(以下、WLI−Gと記す)として出力すると共に、G信号をバンドパスフィルタ(BPF)111を介して同時化メモリ110に出力する。図5に示すような振幅特性を有するBPF111を介することで、広帯域なG画像信号に再現される深部の組織情報のコントラストを増強し、Gフィルタ部14gを透過した照明光よりも狭帯域な分光特性を有する照明光の照明によって得られる画像に相当する高ハイコントラスト画像信号を生成する。
さらに、帯域別信号変換部101では、セレクタ100からの色信号であるB信号を同時化メモリ110に出力すると共に、ローパスフィルタ(LPF)112を介して明るさ調整回路113で所定の明るさ調整を行い、セレクタ102に通常光観察用B信号(以下、WLI−Bと記す)として出力する。セレクタ100からの色信号であるB信号は、狭帯域光観察に適した狭帯域のB画像信号である。該B信号をLPF112を介することで、Bフィルタ部14bを透過した照明光よりも、広帯域な分光特性を有する照明光の照射によって得られる画像と同等な低コントラスト画像を生成する。そして、B画像信号は、青色短波長側における狭帯域光の照射によって得られる画像信号であるため、血液等による光の吸収が高く暗いことから、明るさ調整回路113をLPF112の後段に設けて、所望の明るさにて調整し、WLI−Bとしてセレクタ102に出力する。
同時化メモリ101に入力された各色信号は、色変換回路114にて、式(1)に示すような、所定の色変換処理がなされ、面順次回路115により面順次の狭帯域光観察用R信号(以下、NBI−Rと記す)、狭帯域光観察用G信号(以下、NBI−Gと記す)、狭帯域光観察用B信号(以下、NBI−Bと記す)としてセレクタ102に出力される。
Figure 0004868976
ここで、m1、m2、m3は色変換係数(実数)であり、r、g、bは色変換回路114に入力されるR、G、Bの色信号を示す。
そして、セレクタ102は、制御回路200からの制御信号に基づき、通常光観察画像を構成するWLI−R、WLI−G、WLI−Bの面順次色信号と、狭帯域光画像を構成するNBI−R、NBI−G、NBI−Bの面順次色信号とをγ補正回路26あるいは合成回路201へ出力する。
また、画像処理回路33は、同時化メモリ30、31、32から入力される色信号に対して、動画色ずれ補正処理を施して、D/A回路34、35、36に出力する画像信号を生成する。つまり、WLI−R、WLI−G、WLI−Bの面順次色信号が入力される場合には通常光観察画像を生成すると共に、NBI−R、NBI−G、NBI−Bの面順次色信号が入力される場合では狭帯域光画像を生成し、さらには、後述の合成画像信号の面順次色信号が入力される場合には、動画色ずれ補正処理を施した合成画像信号を生成する。
そして、図6及び図7に示すように、モード切替スイッチ41の操作に基づいて、通常光観察画像及び狭帯域光画像をトグル的にリアルタイムで切り換えて観察モニタ5に表示する。また、モード切替スイッチ41の操作に基づいて、図8に示すように観察モニタ5に、同一画面上に通常光観察画像及び狭帯域光画像をリアルタイムに表示することもできる。
すなわち、本実施例では、セレクタ102は、制御回路200からの制御信号に基づき、表示モードが通常光観察画像および狭帯域光観察画像を同時に観察モニタ5に表示する場合には、セレクタ102に備わるメモリ(図示せず)から、同じ色信号の2つの画像信号(R信号ならば、WLI−RとNBI−R)が合成回路に入力されるように切替えられる。
合成回路201は、入力された2つの画像信号を夫々縮小したのち合成することで合成画像信号を生成してγ補正回路26へ出力する(GおよびB信号も同様。なお、合成回路201へは、WLI−RとNBI−R、WLI−GとNBI−G、WLI−BとNBI−Bが順次入力されるように、後述する制御回路200からの制御信号に基づき制御される。また合成画像信号は、合成回路201から面順次でγ補正回路26へ出力される)。
通常光観察画像あるいは狭帯域光観察画像の何れか一方のみを表示するモードの場合、セレクタ102は、制御回路200からの制御信号に基づき、合成回路201へ画像信号が出力されるようには切替えられず、通常光観察画像あるいは狭帯域光観察画像のR信号、G信号、B信号が面順次でγ補正回路26へ出力されるように切替えられる。
制御回路200は、モード切替回路42からのモード切替信号に基づき、上記のモードを判定してセレクタ102の切替えを行なう。そして、制御回路200は、T.G37からのタイミング信号に基づき、セレクタ102におけるR,G,B信号を、合成回路201あるいはγ補正回路26へ順次出力させるように制御する(合成回路201への出力の場合、WLI−RとNBI−Rが同時に出力され、次のタイミングで、WLI−GとNBI−G、さらに次のタイミングでWLI−BとNBI−Bが出力され、これらが繰り返えされる。γ補正回路26への出力の場合は、例えば通常光観察画像を表示するモードでは、WLI−R→WLI−G→WLI−Bの繰り返し)。
なお、セレクタ102にはメモリ(図示せず)が備わり、該メモリは、通常光観察画像及び狭帯域光画像を同時に表示するモードの場合にのみ、制御回路200からの制御信号に基づき、帯域別信号変換101から入力されるWLI−R、WLI−G、WLI−B、NBI−R、NBI−G、NBI−Bを記憶する。
なお、上記の合成回路201では、2つの画像信号を夫々縮小して左右に配置されるように合成処理する内容を説明したが、画像信号における被写体画像信号(被写体像に基づく画像信号部分。図6ならば余白を除いた通常光観察画像に相当する画像信号)のみを検出し、2つの画像信号として上記被写体画像信号のみを左右に配置することにより合成処理を行なうようにしてもよい。
ここで、本実施例では、γ補正回路26は、図9に示すように、セレクタ102から出力される面順次信号に対して、WLI−R、WLI−G、WLI−Bと、NBI−R、NBI−G、NBI−Bとでは異なるγ補正特性を適用する。つまり、通常光観察画像であるWLI−R、WLI−G、WLI−Bの面順次色信号に対しては、図9のgamma-1特性を適用し、狭帯域光画像であるNBI−R、NBI−G、NBI−Bに対しては、ハイコントラストとなるように図9のgamma-2特性を適用する。
すなわち、通常光観察画像あるいは狭帯域光観察画像のみが表示されるモードの場合、γ補正回路26には、制御回路200からの(通常光観察画像あるいは狭帯域光観察画像のみを表示する表示モードを判定した)制御信号が入力される。
γ補正回路26は、図9に示すように、上記制御信号に基づき、通常光観察画像を表示するモードの場合には、gamma-1の特性によるγ補正処理を行い、狭帯域光観察画像を表示するモードの場合には、gamma-2の特性によるγ補正処理を行う(この場合、γ補正回路26は後述の上記制御信号に基づく画像信号の判別は行なわない)。
一方、通常光観察画像及び狭帯域光観察画像を同時に表示するモードの場合、合成回路201から出力される合成信号がγ補正回路26に入力され、また、γ補正回路26には制御回路200からの(同時表示モードを判定した)制御信号が入力される。
γ補正回路26は、図9に示すように、上記制御信号に基づき、WLIの画像信号とNBIの画像信号を判別し、WLI画像信号に対してはgamma-1の特性を適用し、NBI画像信号に対してはgamma-2の特性を適用する。上記の画像信号の判別には、画像領域情報を用いる。例えば、図8に示すような表示の場合では、画面の左半分に相当する画像信号はWLI画像信号と判別して、gamma-1の特性を適用し、右半分の画像信号はNBI画像信号と判別してgamma-2の特性を適用する。
このように本実施例では、帯域別信号変換部101は回転フィルタ14による1組の面順次光の照射で得られたRGB画像信号より通常光観察画像を生成するためのWLI−R、WLI−G、WLI−B及び狭帯域光画像を生成するためのNBI−R、NBI−G、NBI−Bを生成する。すなわち、1組のRフィルタ部14r,Gフィルタ部14g,Bフィルタ部14bからなる回転フィルタ14による面順次光照射で、通常光観察画像及び狭帯域光画像をリアルタイムに生成することができる。したがって、装置構成が簡略化でき、通常光観察画像及び狭帯域光画像を同タイミングの画像として観察が可能となる。
また、合成回路201は、通常光観察画像及び狭帯域光画像を合成する。このため、通常光観察画像と狭帯域光画像とを同時観察することが可能となる。
図10ないし図13は本発明の実施例2に係わり、図10は内視鏡装置の構成を示す構成図、図11は図10の原色カラーフィルタの構成を示す構成図、図12は図11の原色カラーフィルタの透過特性を示す図、図13は図10の帯域別信号変換部の構成を示す構成図である。
実施例2は、実施例1とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
実施例1では、回転フィルタ14による面順次撮像観察により通常光観察画像及び狭帯域光画像の生成を実現する実施例であったが、本実施例では、図10に示すように、白色光を体腔内組織に照射し、原色カラーフィルタ71により色分離してCCD2にて撮像する同時式撮像観察により通常光観察画像及び狭帯域光画像の生成を実現する実施例である。図11に原色カラーフィルタ71の構成を示し、各色フィルタの透過特性を図12に示す。
本実施例のビデオプロセッサ7では、図10に示すように、A/D変換器24からの単板(1色/画素)画像信号であるRGB画像信号を、3板化回路72aにてR信号、G信号及びB信号に3板化(RGBの3色/画素)する。そして、3板化回路72aにて3板化したR信号、G信号及びB信号は、実施例1と同様に、W.B25によりホワイトバランス処理が実行される。その後、ホワイトバランス処理されたR信号、G信号及びB信号は、一旦メモリ73に格納され、メモリ73からR信号、G信号及びB信号を読み出して帯域別信号変換部101に出力する。
帯域別信号変換部101の構成は実施例1とほぼ同じであるが、図13に示すように、本実施例の帯域別信号変換部101では、原色カラーフィルタ71を介して撮像されたR信号は、通常観察に適した広帯域のR画像信号であり(図12参照)、R信号をスルーでセレクタ102にWLI−Rとして出力すると共に、色変換回路114に出力する。また、原色カラーフィルタ71を介して撮像されたG信号は、通常観察に適した広帯域のG画像信号であり(図12参照)、G信号をスルーでセレクタ102にWLI−Gとして出力すると共に、G信号をBPF111を介して色変換回路114に出力する。さらに、原色カラーフィルタ71を介して撮像されたB信号は、狭帯域光観察に適した狭帯域のB画像信号であり(図12参照)、B信号を色変換回路114に出力すると共に、LPF112を介して明るさ調整回路113で明るさ調整を行い、セレクタ102にWLI−Bとして出力する。
色変換回路114は、入力された画像信号に対して所定の色変換処理を施し、セレクタ102にNBI−R、NBI−G、NBI−Bとして出力する。
そして、セレクタ102は、制御回路200からの制御信号に基づき、WLI−R、WLI−G、WLI−Bと、NBI−R、NBI−G、NBI−Bとをγ補正回路26あるいは合成回路201に出力する。合成回路201は、入力された画像信号を合成する。
すなわち、本実施例では、セレクタ102は、制御回路200からの制御信号に基づき、表示モードが通常光観察画像および狭帯威光観察画像を同時に観察モニタ5に表示する場合には、セレクタ102に備わるメモリ(図示せず)から、6つの画像信号(WLI−R、WLI−G、WLI−B、NBI−R、NBI−G、NBI−B)が合成回路201に入力されるように切替えられる。
合成回路201は、同じ色信号の2つの画像信号(WLI−RとNBI−R、WLI−GとNBI−G、WLI−BとNBI−B)を夫々縮小したのち合成することで合成画像信号(R、G、Bの画像信号)を生成してγ補正回路26へ出力する。
通常光観察画像あるいは狭帯域光観察画像の何れか一方のみを表示するモードの場合、セレクタ102は、制御回路200からの制御信号に基づき、合成回路201へ画像信号が出力されるようには切替えられず、通常光観察画像あるいは狭帯域光観察画像のR信号、G信号、B信号がγ補正回路26へ出力されるように切替えられる。
制御回路200は、モード切替回路42からのモード切替信号に基づき、上記のモードを判定してセレクタ102の切替えを行なう。そして、制御回路200は、T.G37からのタイミング信号に基づき、セレクタ102におけるR,G,B信号が、合成回路201あるいはγ補正回路26へ出力されるように制御する(合成回路201への出力の場合、WLI−R、WLI−G、WLI−B、NBI−R、NBI−G、NBI−Bが同時に、またγ補正回路26への出力の場合、例えば通常光観察画像を表示するモードでは、WLI−R、WLI−G、WLI−Bが同時に、セレクタ102から出力されるように制御)。
なお、上記の合成回路201では、同じ色信号の2つの画像信号を夫々縮小して左右に配置されるように合成処理する内容を説明したが、画像信号における被写体画像信号(被写体像に基づく画像信号部分。図8ならば余白を除いた通常光観察画像に相当する画像信号)のみを検出し、2つの画像信号として上記被写体画像信号のみを左右に配置することにより合成処理を行なうようにしてもよい。
γ補正回路26は、実施例1と同等に、制御信号に基づき、WLIの画像信号とNBIの画像信号を判別し、WLI画像信号に対してはgamma-1の特性を適用し、NBI画像信号に対してはgamma-2の特性を適用する。上記の画像信号の判別には、画像領域情報を用いる。例えば、図8に示すような表示の場合では、画面の左半分に相当する画像信号はWLI画像信号と判別して、gamma-1の特性を適用し、右半分の画像信号はNBI画像信号と判別してgamma-2の特性を適用する。
通常光観察画像あるいは狭帯域光観察画像のみが表示されるモードの場合には、制御信号からの制御信号に基づき、通常光観察画像の場合には、gamma-1の特性によるγ補正処理を行い、狭帯域光観察画像の場合には、gamma・2の特性によるγ補正処理を行う(この場合、γ補正回路26は、上記制御信号に基づき、画像信号の判別は行なわない)。
本実施例のビデオプロセッサ7は、実施例1と同様に、セレクタ102を介した画像信号にγ補正処理を施すγ補正回路26と、γ補正処理された画像信号を拡大処理する拡大回路27と、拡大処理された画像信号に輪郭強調処理を施す強調回路28とを備え、D/A回路34,35,36によって強調回路28からの画像信号をアナログの映像信号に変換し観察モニタ5に出力する。
なお、本実施例では、図10に示すように、制御回路200を有している。この制御回路200は、CCDドライバ20からのCCD駆動に関する信号を入力している。前記制御回路200は、CCDドライバ20からのCCD駆動に関する信号に基づき、1フレーム分の撮像を検知し、セレクタ102を制御して、セレクタ102よりWLI−R、WLI−G、WLI−Bと、NBI−R、NBI−G、NBI−Bとをγ補正回路26あるいは合成回路20に出力するようになっている、
このように本実施例においても、実施例1と同様な効果を得ることができる。
図14ないし図19は本発明の実施例3に係わり、図14は内視鏡装置の構成を示す構成図、図15は図14の熱線カットフィルタの透過特性を示す図、図16は図14の補色フィルタの構成を示す構成図、図17は図14の帯域別信号変換部の構成を示す構成図、図18は図14の熱線カットフィルタの透過特性の変形例を示す図、図19は図14の帯域別信号変換部の変形例の構成を示す構成図である。
実施例3は、実施例2とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
本実施例では、図14に示すように、光源装置4は実施例2とほとんど同じであるが、熱線カットフィルタ12に図15に示すような透過特性を持たせている。また、CCD2の撮像面には、原色カラーフィルタ71の代りに、図16に示すような構成の補色フィルタ81を設けている。
本実施例のビデオプロセッサ7では、図14に示すように、A/D変換器24からの画像信号をY/C分離回路82にてY/C分離(輝度/色差信号分離)し、Y/C分離された輝度信号Y及び色差信号Cr,Cbをメモリ83に一旦格納し、メモリ83から輝度信号Y及び色差信号Cr,Cbを読み出してRGBマトリックス回路84にてRGB信号に変換する。そして、RGBマトリックス回路84からのR信号、G信号及びB信号は、実施例1と同様に、W.B25によりホワイトバランス処理が実行される。その後、ホワイトバランス処理されたR信号、G信号及びB信号は、帯域別信号変換部101に出力する。帯域別信号変換部101以降の構成は実施例2と同じである。
帯域制限手段としての熱線カットフィルタ12の透過特性が、図15に示したように狭帯域特性となっているため、本実施例の帯域別信号変換部101は、図17に示すように、R信号、G信号、B信号を色変換回路114にて所定の色変換処理した後、NBI−R、NBI−G、NBI−Bとしてセレクタ102に出力する。また、R信号、G信号、B信号それぞれをLPF112を介して明るさ調整回路113で明るさ調整を行い、セレクタ102にWLI−R、WLI−G、WLI−Bとして出力する。
このように本実施例においても、実施例2と同様な効果を得ることができる。
なお、熱線カットフィルタ12の透過特性は図15に限らず、図18に示すような透過特性としてもよい。この場合、本実施例の帯域別信号変換部101は、図19に示すように、R信号及びG信号をスルーでWLI−R、WLI−Gとしてセレクタ102に出力する。また、B信号はLPF112を介して明るさ調整回路113で明るさ調整を行い、セレクタ102にWLI−Bとして出力する。そして、R信号及びG信号それぞれを、BPF111を介して色変換回路114に出力し、B信号と共に、色変換回路114にて所定の色変換処理した後、NBI−R、NBI−G、NBI−Bとしてセレクタ102に出力する。
付記:
付記項1)
請求項1において、前記生体画像変換手段は、前記第1の生体画像情報と前記第2の生体画像情報とでは異なる画像信号変換処理を施す画像信号変換手段を有する。
付記項2)
付記項1において、前記画像信号変換手段は、画像信号のコントラストを変換するコントラスト変換手段(例えば、γ補正回路26)及び、または画像信号の色調を変換する色調変換手段(例えば、色変換回路114)とから構成される。
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本発明の実施例1に係る内視鏡装置の構成を示す構成図 図1の回転フィルタの構成を示す構成図 回転フィルタのフィルタ組の分光特性を示す図 図1の帯域別信号変換部の構成を示す構成図 図4のBPFの振幅特性を示す図 図1の観察モニタの表示例を示す第1の図 図1の観察モニタの表示例を示す第2の図 図1の観察モニタの表示例を示す第3の図 図1のγ補正回路のγ補正特性を示す図 本発明の実施例2に係る内視鏡装置の構成を示す構成図 図10の原色カラーフィルタの構成を示す構成図 図11の原色カラーフィルタの透過特性を示す図 図10の帯域別信号変換部の構成を示す構成図 本発明の実施例3に係る内視鏡装置の構成を示す構成図 図14の熱線カットフィルタの透過特性を示す図 図14の補色フィルタの構成を示す構成図 図14の帯域別信号変換部の構成を示す構成図 図14の熱線カットフィルタの透過特性の変形例を示す図 図14の帯域別信号変換部の変形例の構成を示す構成図
符号の説明
1…内視鏡装置
2…CCD
3…電子内視鏡
4…光源装置
5…観察モニタ
7…ビデオプロセッサ
11…キセノンランプ
14…回転フィルタ
101…帯域別信号変換部
110…同時化メモリ
111…バンドパスフィルタ(BPF)
112…ローパスフィルタ(LPF)
113…明るさ調整回路

Claims (7)

  1. 被検体に照明光を照射する照明手段と、
    前記照明手段からの照明光で照明された前記被検体の被検体像を受光し、前記被検体の生体画像情報を取得する生体画像情報取得手段と、
    前記照明手段と前記生体画像情報取得手段に至る光路上に配置され、前記被検体に対する光の深達度に応じて配分された複数の波長帯域のうち少なくとも1つの波長帯域を所定帯域幅に制限する帯域制限手段と、
    前記生体画像情報取得手段が取得した前記生体画像情報に基づき、前記所定帯域幅に制限されていない広帯域な信号に対してバンドパスフィルタを介して当該被検体における深部の組織情報のコントラストを増強させた第1の生体画像信号情報と、前記所定帯域幅に制限された情報に対してローパスフィルタを介して広帯域な分光特性を有する照明光の照射によって得られる画像と同等のコントラストを有する第2の生体画像信号情報と、を生成する生体画像情報変換手段と、
    前記生体画像情報変換手段により変換された前記第1の生体画像信号情報及び前記第2の生体画像信号情報に基づき、表示手段に表示する表示画像を生成する表示画像生成手段と、
    を備えたことを特徴とする内視鏡装置。
  2. 前記帯域制限手段は、前記照明手段における照明光の前記波長帯域を所定帯域幅に制限することを特徴とする請求項1に記載の内視鏡装置。
  3. 前記帯域制限手段は、前記生体画像情報取得手段にて前記生体画像情報を取得する前に前記被検体像の前記波長帯域を前記所定帯域幅に制限する
    ことを特徴とする請求項1に記載の内視鏡装置。
  4. 前記照明光はRGB面順次光である
    ことを特徴とする請求項1または2に記載の内視鏡装置。
  5. 前記照明光は白色光であって、
    前記生体画像情報取得手段はCCDであり、
    前記帯域制限手段は、前記CCDの撮像面に配置された原色カラーフィルタである
    ことを特徴とする請求項1または3に記載の内視鏡装置。
  6. 前記生体画像情報取得手段は、補色フィルタが撮像面に配置されたCCDである
    ことを特徴とする請求項2に記載の内視鏡装置。
  7. 前記生体画像情報変換手段は、前記第2の生体画像信号情報に対して所定の明るさ調整を行うことを特徴とする請求項1に記載の内視鏡装置。
JP2006223576A 2006-08-18 2006-08-18 内視鏡装置 Expired - Fee Related JP4868976B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006223576A JP4868976B2 (ja) 2006-08-18 2006-08-18 内視鏡装置
EP07742106.3A EP2052673B1 (en) 2006-08-18 2007-04-20 Endoscopic device and its processing method
PCT/JP2007/058671 WO2008020499A1 (fr) 2006-08-18 2007-04-20 dispositif endoscope et son procédé de traitement
CN2007800306481A CN101505649B (zh) 2006-08-18 2007-04-20 内窥镜装置及其信号处理方法
KR1020097003248A KR101184841B1 (ko) 2006-08-18 2007-04-20 내시경 장치 및 그 신호 처리 방법
US12/372,202 US20090149706A1 (en) 2006-08-18 2009-02-17 Endoscope apparatus and signal processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006223576A JP4868976B2 (ja) 2006-08-18 2006-08-18 内視鏡装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011228072A Division JP5331863B2 (ja) 2011-10-17 2011-10-17 内視鏡装置

Publications (2)

Publication Number Publication Date
JP2008043604A JP2008043604A (ja) 2008-02-28
JP4868976B2 true JP4868976B2 (ja) 2012-02-01

Family

ID=39082029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006223576A Expired - Fee Related JP4868976B2 (ja) 2006-08-18 2006-08-18 内視鏡装置

Country Status (6)

Country Link
US (1) US20090149706A1 (ja)
EP (1) EP2052673B1 (ja)
JP (1) JP4868976B2 (ja)
KR (1) KR101184841B1 (ja)
CN (1) CN101505649B (ja)
WO (1) WO2008020499A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5098030B2 (ja) * 2008-04-02 2012-12-12 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
JP5483522B2 (ja) * 2008-08-12 2014-05-07 富士フイルム株式会社 画像取得装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP5460506B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP5460507B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
KR101064613B1 (ko) * 2010-04-22 2011-09-15 주식회사 인트로메딕 소화 기관의 촬영 영상의 프로세싱 방법
CN106037624B (zh) 2010-09-08 2018-09-07 Kpr美国有限责任公司 具有成像组件的导管
JP5604248B2 (ja) * 2010-09-28 2014-10-08 富士フイルム株式会社 内視鏡画像表示装置
JP5371921B2 (ja) * 2010-09-29 2013-12-18 富士フイルム株式会社 内視鏡装置
JP5637834B2 (ja) * 2010-12-15 2014-12-10 富士フイルム株式会社 内視鏡装置
JP5501210B2 (ja) * 2010-12-16 2014-05-21 富士フイルム株式会社 画像処理装置
JP5334952B2 (ja) 2010-12-16 2013-11-06 富士フイルム株式会社 画像処理装置
JP5554253B2 (ja) * 2011-01-27 2014-07-23 富士フイルム株式会社 電子内視鏡システム
KR20120097828A (ko) 2011-02-25 2012-09-05 삼성전자주식회사 협대역 영상을 제공할 수 있는 내시경 장치 및 상기 내시경 장치의 영상 처리 방법
US9795285B2 (en) 2011-07-07 2017-10-24 Boston Scientific Scimed, Inc. Imaging system for endoscope
JP5355827B1 (ja) * 2012-03-30 2013-11-27 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP6089436B2 (ja) * 2012-04-18 2017-03-08 ソニー株式会社 画像処理装置と画像処理装置の作動方法および撮像装置
USD717340S1 (en) 2012-09-07 2014-11-11 Covidien Lp Display screen with enteral feeding icon
JP5715602B2 (ja) * 2012-09-07 2015-05-07 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
US9517184B2 (en) 2012-09-07 2016-12-13 Covidien Lp Feeding tube with insufflation device and related methods therefor
US9198835B2 (en) 2012-09-07 2015-12-01 Covidien Lp Catheter with imaging assembly with placement aid and related methods therefor
USD735343S1 (en) 2012-09-07 2015-07-28 Covidien Lp Console
USD716841S1 (en) 2012-09-07 2014-11-04 Covidien Lp Display screen with annotate file icon
EP2868256A4 (en) * 2013-03-06 2016-08-10 Olympus Corp ENDOSCOPY SYSTEM AND OPERATING PROCESS FOR THE ENDOSCOPE SYSTEM
CN105407789B (zh) * 2013-08-01 2017-07-14 奥林巴斯株式会社 内窥镜系统、内窥镜系统的工作方法
US9270919B2 (en) 2013-09-24 2016-02-23 Karl Storz Imaging, Inc. Simultaneous display of two or more different sequentially processed images
JP5930474B2 (ja) * 2013-09-27 2016-06-08 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2016017695A1 (ja) 2014-07-30 2016-02-04 オリンパス株式会社 画像処理装置
JP6049945B2 (ja) * 2014-09-09 2016-12-21 オリンパス株式会社 撮像装置および処理装置
JP6454359B2 (ja) * 2015-01-08 2019-01-16 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
WO2016117112A1 (ja) * 2015-01-23 2016-07-28 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6330704B2 (ja) * 2015-03-23 2018-05-30 株式会社Jvcケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
WO2016187124A1 (en) 2015-05-17 2016-11-24 Endochoice, Inc. Endoscopic image enhancement using contrast limited adaptive histogram equalization (clahe) implemented in a processor
WO2018117451A1 (ko) * 2016-12-20 2018-06-28 한국전기연구원 결합 광원을 구비하는 광학 영상 장치
CN111568359A (zh) * 2020-05-15 2020-08-25 北京大学第三医院(北京大学第三临床医学院) 喉镜装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3583731B2 (ja) * 2000-07-21 2004-11-04 オリンパス株式会社 内視鏡装置および光源装置
EP1302152B1 (en) * 2000-07-21 2013-03-20 Olympus Corporation Endoscope apparatus
US6498863B1 (en) * 2000-09-20 2002-12-24 Media Cybernetics Inc. Method, system, and product for analyzing a digitized image of an array to create an image of a grid overlay
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
US7206460B2 (en) * 2001-11-01 2007-04-17 General Electric Company Method for contrast matching of multiple images of the same object or scene to a common reference image
JP4147033B2 (ja) * 2002-01-18 2008-09-10 オリンパス株式会社 内視鏡装置
JP4054222B2 (ja) * 2002-06-05 2008-02-27 オリンパス株式会社 内視鏡装置用光源装置
JP4388318B2 (ja) * 2003-06-27 2009-12-24 オリンパス株式会社 画像処理装置
JP3958761B2 (ja) * 2004-08-30 2007-08-15 オリンパス株式会社 内視鏡用調光信号生成装置
JP2006223576A (ja) 2005-02-17 2006-08-31 Aruze Corp 遊技機
JP4741264B2 (ja) * 2005-03-18 2011-08-03 富士フイルム株式会社 内視鏡分光画像システム装置
JP4847250B2 (ja) * 2006-08-03 2011-12-28 オリンパスメディカルシステムズ株式会社 内視鏡装置

Also Published As

Publication number Publication date
US20090149706A1 (en) 2009-06-11
CN101505649B (zh) 2013-10-02
WO2008020499A1 (fr) 2008-02-21
KR20090030346A (ko) 2009-03-24
EP2052673A1 (en) 2009-04-29
JP2008043604A (ja) 2008-02-28
EP2052673A4 (en) 2009-12-09
KR101184841B1 (ko) 2012-09-20
EP2052673B1 (en) 2017-11-15
CN101505649A (zh) 2009-08-12

Similar Documents

Publication Publication Date Title
JP4868976B2 (ja) 内視鏡装置
JP4554944B2 (ja) 内視鏡装置
KR101009559B1 (ko) 생체 관찰 장치
JP5355846B2 (ja) 内視鏡用画像処理装置
JP5501210B2 (ja) 画像処理装置
JP4009626B2 (ja) 内視鏡用映像信号処理装置
JP4384626B2 (ja) 内視鏡装置
JP5637834B2 (ja) 内視鏡装置
JP5308815B2 (ja) 生体観測システム
WO2006025334A1 (ja) 内視鏡装置
WO2013031701A1 (ja) 内視鏡装置
JP2007020880A (ja) 内視鏡
JP5041936B2 (ja) 生体観測装置
JP5334952B2 (ja) 画像処理装置
JP6389377B2 (ja) 内視鏡用プロセッサ
JP5331863B2 (ja) 内視鏡装置
JP5856943B2 (ja) 撮像システム
JP2011177532A (ja) 内視鏡装置
JP2005323758A (ja) 電子内視鏡装置
JP2019076656A (ja) 電子内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111115

R151 Written notification of patent or utility model registration

Ref document number: 4868976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees