JP5160343B2 - 撮像システム及び内視鏡システム - Google Patents

撮像システム及び内視鏡システム Download PDF

Info

Publication number
JP5160343B2
JP5160343B2 JP2008214162A JP2008214162A JP5160343B2 JP 5160343 B2 JP5160343 B2 JP 5160343B2 JP 2008214162 A JP2008214162 A JP 2008214162A JP 2008214162 A JP2008214162 A JP 2008214162A JP 5160343 B2 JP5160343 B2 JP 5160343B2
Authority
JP
Japan
Prior art keywords
light
differential value
image
unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008214162A
Other languages
English (en)
Other versions
JP2010046346A (ja
Inventor
俊二 武井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2008214162A priority Critical patent/JP5160343B2/ja
Priority to PCT/JP2009/052771 priority patent/WO2010021160A1/ja
Priority to EP09808096.3A priority patent/EP2314198B1/en
Priority to CN2009801327751A priority patent/CN102131449B/zh
Publication of JP2010046346A publication Critical patent/JP2010046346A/ja
Priority to US13/031,946 priority patent/US9211057B2/en
Application granted granted Critical
Publication of JP5160343B2 publication Critical patent/JP5160343B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、撮像システム及び内視鏡システムに関し、特に、被写体における所定の領域と該所定の領域以外の領域とを判別可能な撮像システム及び内視鏡システムに関するものである。
被検体内部における被写体の像を取得するとともに、該被写体の像に応じた画像を生成可能な内視鏡装置は、医療分野等において従来広く用いられている。特に、医療分野における内視鏡装置は、術者が生体内の検査及び観察等の処置を行うという用途において主に用いられている。
医療分野における内視鏡装置を用いた観察として一般的に知られているものとしては、例えば、白色光を生体内の被写体に照射し、肉眼による観察と略同様の被写体の像としての白色光画像を取得する白色光観察の他に、特定の波長帯域を有する励起光及び参照光を生体内の被写体に照射し、該励起光に応じて被写体から発せられる自家蛍光の像としての蛍光画像と、該参照光が被写体において反射した反射光の像としての参照光画像とを取得する自家蛍光観察がある。このような自家蛍光観察を行うことが可能な装置としては、例えば、特許文献1に記載の内視鏡画像取得装置がある。
一方、白色光画像による視認性の乏しい病変を発見しやすくする目的において、蛍光画像及び参照光画像から得られる生体情報を白色光画像に重畳した重畳画像を出力可能な内視鏡装置も近年提案されている。
さらに、このような重畳画像を用いた観察においては、例えば、蛍光画像の階調値に対する参照光画像の階調値の比を算出し、算出結果に対して閾値処理を施すことにより病変が存在する領域の情報を取得した後、該情報を白色光画像に重畳する、という手法が提案されている。
特開2001−224549号公報
一般的に、蛍光画像を生成する際の基となる自家蛍光の受光量は、病変の存在の有無に加え、例えば、粘膜の伸展の度合い等の観察条件によっても変動する。
特に、粘膜下層から発せられる自家蛍光の強度を捉えることを主眼としている自家蛍光観察においては、他の条件が同一であっても、粘膜の伸展が大きくなるにつれて粘膜上皮及び粘膜固有層の厚みが減少するため、蛍光画像を生成する際の基となる自家蛍光の受光量が相対的に増加する一方、粘膜の伸展が小さくなるにつれて粘膜上皮及び粘膜固有層の厚みが増加するため、蛍光画像を生成する際の基となる自家蛍光の受光量が相対的に減少する、という現象が生じ得る。
これに対し、前述した手法によれば、蛍光画像を生成する際の基となる自家蛍光の受光量が粘膜の伸展度合い等の観察条件に応じて変動し得る、という点を考慮していないため、正常な領域を病変領域であるとする、または、病変領域を正常な領域であるとするような誤った判定に基づく情報が重畳されてしまう、という問題点が生じている。
そして、特許文献1においても、蛍光画像を生成する際の基となる自家蛍光の受光量が粘膜の伸展度合い等の観察条件に応じて変動し得る、という点について何ら言及されていないため、モニタ等に表示される蛍光画像を見た際に、正常な領域が病変領域であるように見える、または、病変領域が正常な領域であるように見えるというような誤認識を生じさせてしまう、という課題が生じている。
本発明は、前述した事情に鑑みてなされたものであり、自家蛍光を用いた観察において、観察条件に関わらず、病変が存在する領域を明示することが可能な撮像システム及び内視鏡システムを提供することを目的としている。
本発明における撮像システムは、第1の照明光及び第2の照明光を被写体に対して出射する光出射部と、前記第1の照明光に応じた前記被写体からの第1の戻り光、及び、前記第2の照明光に応じた前記被写体からの第2の戻り光を撮像し、夫々撮像信号として出力する撮像部と、前記撮像信号に基づき、前記第1の戻り光に応じた第1の画像、及び、前記第2の戻り光に応じた第2の画像を夫々生成する画像生成部と、前記第1の画像に応じた第1の微分値、及び、前記第2の画像に応じた第2の微分値を夫々算出する微分値算出部と、前記第1の微分値と前記第2の微分値とを用いて演算処理を行う演算部と、前記演算部の演算結果に対して閾値処理を施すことにより、前記被写体における所定の領域と該所定の領域以外の領域とを判別する領域判別部と、を有することを特徴とする。
本発明における内視鏡システムは、励起光及び参照光を生体組織に対して出射する光源装置と、前記励起光に応じて前記生体組織から発せられる蛍光、及び、前記参照光が前記生体組織において反射した反射光を撮像し、夫々撮像信号として出力する撮像素子を具備した内視鏡と、前記撮像信号に基づき、前記蛍光に応じた蛍光画像、及び、前記反射光に応じた参照光画像を夫々生成する画像生成部と、前記蛍光画像に応じた微分値としての蛍光微分値、及び、前記参照光画像に応じた微分値としての参照光微分値を夫々算出する微分値算出部と、前記蛍光微分値と前記参照光微分値とを用いて演算処理を行う演算部と、前記演算部の演算結果に対して閾値処理を施すことにより、前記生体組織における異常領域と正常領域とを判別する領域判別部と、を有することを特徴とする。
本発明における撮像システム及び内視鏡システムによると、自家蛍光を用いた観察において、観察条件に関わらず、病変が存在する領域を明示することが可能である。
以下、図面を参照して本発明の実施形態を説明する。
図1から図9は、本発明の第1の実施形態に係るものである。図1は、本実施形態に係る内視鏡システムの要部の構成の一例を示す図である。図2は、図1の光源装置に設けられた回転フィルタの構成の一例を示す図である。図3は、図2の回転フィルタに設けられた、白色光フィルタ及び励起光フィルタの分光特性の一例を示す図である。図4は、図2の回転フィルタに設けられた、参照光フィルタの分光特性の一例を示す図である。図5は、図1のプロセッサにより生成される蛍光微分値の一例を示す図である。図6は、図1のプロセッサにより生成される参照光微分値の一例を示す図である。図7は、図5の蛍光微分値及び図6の参照光微分値を用いて生成される判定対象画像の一例を示す図である。図8は、図1のプロセッサにより生成される2次元散布データの一例を示す図である。図9は、図8の2次元散布データに基づく判別結果の一例を示す図である。
本実施形態の撮像システムとしての内視鏡システム1は、図1に示すように、生体内に挿入可能であり、該生体内に存在する生体組織等の被写体の像を撮像するとともに、該生体組織の像を撮像信号として出力する内視鏡2と、内視鏡2に挿通されたライトガイド6を介し、被写体を照明するための照明光を内視鏡2に供給する光源装置3と、内視鏡2から出力される撮像信号に応じた信号処理を行い、該信号処理を行った後の撮像信号を映像信号として出力するプロセッサ4と、プロセッサ4から出力される映像信号に基づき、内視鏡2が撮像した被写体の像を画像表示するモニタ5とを要部として有して構成されている。
内視鏡2は、光源装置3から供給され、ライトガイド6により伝送された照明光を出射する照明光学系21と、照明光学系21から出射される照明光により照明された被写体の像を結像する対物光学系22と、対物光学系22の結像位置に配置されたCCD(電荷結合素子)23と、CCD23の前段に配置された励起光カットフィルタ23aと、内視鏡システム1における観察モードの切り替えを行うモード切替指示スイッチ24と、を有して構成されている。
撮像部としてのCCD23は、自身の撮像面に原色モザイクフィルタまたは補色モザイクフィルタを具備して構成されている。
励起光カットフィルタ23aは、後述の励起光の波長帯域の透過率が略0になるように設定された光学素子として構成されている。
モード切替指示スイッチ24は、術者等の走査に応じ、内視鏡システム1における観察モードを白色光観察モードまたは蛍光観察モードのいずれかに切り替えるための指示信号を出力する。なお、白色光観察モード及び蛍光観察モードの詳細については、後述するものとする。
光出射部としての光源装置3は、ランプ31と、ランプ31が発した白色光の熱線を遮断する熱線カットフィルタ32と、絞り装置33と、絞り装置33を通過した白色光を内視鏡システム1の観察モードに応じた照明光とする回転フィルタ34と、回転フィルタ34を通過した照明光を集光してライトガイド6へ出射する集光光学系35と、回転フィルタ34を回転駆動させる回転フィルタモータ36と、回転フィルタ制御回路37と、を有している。
ランプ31は、白色光を発することが可能な光源である、例えばキセノンランプ等により構成されている。
絞り装置33は、プロセッサ4から出力される絞り制御信号に基づき、熱線カットフィルタ32を通過した照明光の光量を調整する。
回転フィルタ34は、図2に示すように、中心を回転軸とした円板状に構成されている。また、回転フィルタ34は、図2に示すように、各々が外周側の周方向に沿って設けられた、白色光フィルタ34Aと、励起光フィルタ34Bと、参照光フィルタ34Cと、を有して構成されている。
白色光フィルタ34Aは、赤色、緑色及び青色の波長帯域の光を透過させるように形成されている。具体的には、白色光フィルタ34Aは、例えば図3に示すように、400nm以上かつ700nm以下の波長帯域の光を透過させるように形成されている。すなわち、ランプ31から発せられた光は、白色光フィルタ34Aを通過することにより、400nm以上かつ700nm以下の波長帯域を具備する白色光となる。
励起光フィルタ34Bは、生体への照射により蛍光を発生させることが可能な励起波長を具備し、かつ、白色光フィルタ34Aの透過帯域と重複しない波長帯域の光を透過させるように形成されている。具体的には、励起光フィルタ34Bは、例えば図3に示すように、360nm以上かつ400nm未満の波長帯域の光を透過させるように形成されている。すなわち、ランプ31から発せられた光は、励起光フィルタ34Bを通過することにより、360nm以上かつ400nm未満の波長帯域を具備する励起光となる。
参照光フィルタ34Cは、生体から発せられる蛍光と略同一の波長帯域の光を透過させるように形成されている。具体的には、参照光フィルタ34Cは、例えば図4に示すように、410nm以上かつ650nm以下の波長帯域の光を透過させるように形成されている。すなわち、ランプ31から発せられた光は、参照光フィルタ34Cを通過することにより、410nm以上かつ650nm以下の波長帯域を具備する参照光となる。
回転フィルタ制御回路37は、プロセッサ4から出力される観察モード切替信号に基づいて回転フィルタモータ36の回転駆動を制御するとともに、回転フィルタ34の回転に同期した同期信号をプロセッサ4に対して出力する。
そして、光源装置3の各部が前述したような構成を有することにより、白色光フィルタ34Aを経た白色光、励起光フィルタ34Bを経た励起光、及び、参照光フィルタ34Cを経た参照光は、面順次な照明光として、集光光学系35により各々集光された後、ライトガイド6へ出射される。
プロセッサ4は、図1に示すように、CCD23を駆動するCCDドライバ41と、CCD23から出力される撮像信号を増幅するアンプ42と、アンプ42から出力される撮像信号に対して相関2重サンプリング等の処理を施すプロセス回路43と、プロセス回路43から出力される撮像信号をデジタルの画像信号に変換するA/Dコンバータ44と、を有している。なお、CCDドライバ41、アンプ42、プロセス回路43及びA/Dコンバータ44は、タイミングジェネレータ53からのタイミング信号に応じて動作するものとする。また、本実施形態における画像生成部は、アンプ42、プロセス回路43及びA/Dコンバータ44を具備してなるものとする。
また、プロセッサ4は、図1に示すように、セレクタ45と、微分値算出部としての微分回路46と、メモリ47a及び47bと、演算部としての演算回路48と、領域判別部としての領域判定回路49と、を有している。
さらに、プロセッサ4は、図1に示すように、ホワイトバランス回路50と、画像処理部としての画像処理回路51と、D/Aコンバータ52と、動作タイミングを示すタイミング信号を生成及び出力するタイミングジェネレータ53と、観察モードが切り替えられたことを示す観察モード切替信号を生成及び出力するモード切替回路54と、調光制御パラメータ切替回路55と、調光回路56と、を有している。
セレクタ45は、タイミング信号の入力タイミングに基づき、被写体へ白色光が出射されたタイミングに応じて自身に入力される画像信号としての、白色光画像信号をホワイトバランス回路50へ出力する。また、セレクタ45は、タイミング信号の入力タイミングに基づき、被写体へ励起光が出射されたタイミングに応じて自身に入力される画像信号としての、蛍光画像信号を微分回路46へ出力する。さらに、セレクタ45は、タイミング信号の入力タイミングに基づき、被写体へ参照光が出射されたタイミングに応じて自身に入力される画像信号としての、参照光画像信号を微分回路46へ出力する。
微分回路46は、セレクタ45からの蛍光画像信号に基づき、隣接する画素間の微分値の絶対値としての、蛍光微分値を算出する。そして、微分回路46は、算出した蛍光微分値により、メモリ47aの記憶内容を更新する。
一方、微分回路46は、セレクタ45からの参照光画像信号に基づき、隣接する画素間の微分値の絶対値としての、参照光微分値を算出する。そして、微分回路46は、算出した参照光微分値により、メモリ47bの記憶内容を更新する。
演算回路48は、メモリ47a及び47bの両メモリの記憶内容が更新されたタイミングにおいて、メモリ47aに記憶されている蛍光微分値と、メモリ47bに記憶されている参照光微分値とを同時に読み出す。そして、演算回路48は、蛍光微分値から参照光微分値を除することにより得られる除算値、または、蛍光微分値から参照光微分値を減ずることにより得られる減算値としての、判定対象画像を生成して領域判定回路49へ出力する。
領域判定回路49は、入力される判定対象画像の各画素に対して閾値処理を施すことにより、該判定対象画像における正常領域と異常領域とを判別する。そして、領域判定回路49は、前記判定対象画像のうち、異常領域と判定された画素に係る画素情報を画像処理回路51へ出力する。
ホワイトバランス回路50は、タイミング信号の入力タイミングに応じ、セレクタ45からの白色光画像信号に対してホワイトバランス処理を施し、該ホワイトバランス処理後の白色光画像を画像処理回路51へ出力する。
画像処理回路51は、タイミング信号の入力タイミングに応じ、ホワイトバランス回路50から出力される白色光画像の各画素のうち、領域判定回路49から出力される画素情報に相当する画素を視認可能とするための画像処理として、該画素の色調を所定の色に変換する色変換処理を行う。そして、画像処理回路51は、前記色変換処理後の白色光画像をD/Aコンバータ52へ出力する。なお、画像処理回路51は、領域判定回路49から画素情報が出力されない場合においては、前記色変換処理を行わないものとする。
D/Aコンバータ52は、タイミング信号の入力タイミングに応じ、画像処理回路51から出力される白色光画像をアナログの映像信号に変換して出力する。
タイミングジェネレータ53は、光源装置3からの同期信号に基づいてタイミング信号を生成した後、該タイミング信号を、CCDドライバ41、アンプ42、プロセス回路43、A/Dコンバータ44、セレクタ45、ホワイトバランス回路50、画像処理回路51、及び、D/Aコンバータ52へ夫々出力する。
モード切替回路54は、モード切替指示スイッチ24からの指示信号に基づいて観察モード切替信号を生成した後、該観察モード切替信号を、回転フィルタ制御回路37及び調光制御パラメータ切替回路へ出力する。
調光制御パラメータ切替回路55は、モード切替回路54から出力される観察モード切替信号に基づいて内視鏡システム1の観察モードを検知し、該検知結果に基づいた調光制御パラメータを調光回路56に対して出力する。
調光回路56は、プロセス回路43から出力された画像信号と、調光制御パラメータ切替回路55から出力された調光制御パラメータとに基づき、内視鏡2により撮像される被写体の像がモニタ5に画像として表示される際の、該画像の明るさを増幅及び調整するための制御等を絞り装置33に対して行う。
次に、本実施形態の内視鏡システム1の作用について説明を行う。
まず、術者等は、図1に示すような状態として、内視鏡2を光源装置3及びプロセッサ4に接続するとともに、各部の電源を投入することにより、内視鏡システム1を初期状態とする。なお、前述した初期状態において、内視鏡システム1は、白色光観察モードとして設定されているものであるとする。
モード切替回路54は、白色光観察モードである旨を通知するための観察モード切替信号を回転フィルタ制御回路37に対して出力する。
回転フィルタ制御回路37は、入力される観察モード切替信号に基づき、白色光観察モードであることを検知すると、ランプ31から出射される光が白色光フィルタ34Aのみを通過するように、回転フィルタモータ36に対して制御を行う。また、回転フィルタ制御回路37は、白色光観察モードにおいて、回転フィルタ34が停止していることを示すための同期信号をタイミングジェネレータ53へ出力する。
回転フィルタモータ36は、回転フィルタ制御回路37の制御に基づき、白色光フィルタ34Aのみがランプ31の光路上に介挿されるように、回転フィルタ34の位置を合わせる。
これにより、光源装置3は、白色光観察モードにおける照明光としての白色光をライトガイド6へ供給する。
ライトガイド6へ供給された白色光は、照明光学系21を経た後、生体組織等の被写体を照明する。
前記白色光の反射光は、対物光学系22及び励起光カットフィルタ23aを経て結像され、CCD23により撮像された後、撮像信号としてプロセッサ4へ出力される。
CCD23から出力された撮像信号は、アンプ42により増幅され、プロセス回路43により相関2重サンプリング及びノイズ除去等が施され、A/Dコンバータ44によりデジタルの画像信号に変換された後、セレクタ45へ出力される。
一方、タイミングジェネレータ53は、回転フィルタ制御回路37から出力される同期信号に基づき、白色光観察モードにおいては、所定の信号レベルのタイミング信号を出力し続ける。これにより、前記所定の信号レベルのタイミング信号がセレクタ45に入力され続ける。
セレクタ45は、前記所定の信号レベルのタイミング信号に基づき、A/Dコンバータ44から出力される画像信号を順次ホワイトバランス回路50へ出力する。
セレクタ45から出力された画像信号は、ホワイトバランス回路50によりホワイトバランス処理が施され、画像処理回路51をスルーした後、D/Aコンバータ52により映像信号に変換されつつモニタ5へ出力される。
白色光観察モードにおいて以上に述べた動作が行われることにより、モニタ5には、白色光観察における被写体の像として、肉眼による観察と略同等の色調を呈する被写体の像が画像表示される。
その後、モード切替指示スイッチ24が操作されることにより、内視鏡システム1の観察モードを白色光観察モードから蛍光観察モードへと切り替えるための指示信号が出力されると、
モード切替回路54は、回転フィルタ制御回路37と、調光制御パラメータ切替回路55とに対し、観察モードが白色光観察モードから蛍光観察モードに切り替わった旨を通知するための、観察モード切替信号を出力する。
回転フィルタ制御回路37は、入力される観察モード切替信号に基づき、蛍光観察モードであることを検知すると、ランプ31から出射される光が回転フィルタ34の各フィルタを順次通過するように、回転フィルタモータ36に対して制御を行う。また、回転フィルタ制御回路37は、蛍光観察モードにおいて、回転フィルタ34の回転に同期した同期信号をタイミングジェネレータ53へ出力する。
回転フィルタモータ36は、回転フィルタ制御回路37の制御に基づき、白色光フィルタ34A、励起光フィルタ34B及び参照光フィルタ34Cがランプ31の光路上に順次介挿されるように、所定の回転数により回転フィルタ34を回転させる。
これにより、光源装置3は、蛍光観察モードにおける照明光として、白色光、励起光及び参照光からなる面順次光をライトガイド6へ供給する。
ライトガイド6へ供給された面順次光は、照明光学系21を経た後、生体組織等の被写体を照明する。
前記面順次光における白色光及び参照光の反射光は、対物光学系22及び励起光カットフィルタ23aを経て結像され、CCD23により撮像された後、撮像信号としてプロセッサ4へ夫々出力される。
一方、前記面順次光における励起光により被写体が励起され、該被写体から蛍光が発せられる。そして、被写体から発せられた蛍光は、対物光学系22及び励起光カットフィルタ23aを経て結像され、CCD23により撮像された後、撮像信号としてプロセッサ4へ出力される。
CCD23から出力された各撮像信号は、アンプ42により増幅され、プロセス回路43により相関2重サンプリング及びノイズ除去等が施され、A/Dコンバータ44によりデジタルの画像信号に変換された後、セレクタ45へ出力される。
一方、タイミングジェネレータ53は、回転フィルタ制御回路37から出力される同期信号に基づき、蛍光観察モードにおいては、動作タイミングを示すタイミング信号を出力する。
セレクタ45は、タイミング信号の入力タイミングに基づき、A/Dコンバータ44から出力される画像信号のうち、被写体へ白色光が出射されたタイミングに応じて自身に入力される画像信号としての、白色光画像信号をホワイトバランス回路50へ出力する。また、セレクタ45は、タイミング信号の入力タイミングに基づき、被写体へ励起光が出射されたタイミングに応じて自身に入力される画像信号としての、蛍光画像信号を微分回路46へ出力する。さらに、セレクタ45は、タイミング信号の入力タイミングに基づき、被写体へ参照光が出射されたタイミングに応じて自身に入力される画像信号としての、参照光画像信号を微分回路46へ出力する。
ホワイトバランス回路50は、タイミング信号の入力タイミングに応じ、セレクタ45からの白色光画像信号に対してホワイトバランス処理を施し、該ホワイトバランス処理後の白色光画像を画像処理回路51へ出力する。
微分回路46は、入力される蛍光画像信号に応じた蛍光画像において、隣接する画素間の微分値の絶対値を算出することにより、例えば図5に示すような蛍光微分値を算出する。そして、微分回路46は、算出した蛍光微分値をメモリ47aに格納する。また、微分回路46は、入力される参照光画像信号に応じた参照光画像において、隣接する画素間の微分値の絶対値を算出することにより、例えば図6に示すような参照光微分値を算出する。そして、微分回路46は、算出した参照光微分値をメモリ47bに格納する。
演算回路48は、メモリ47a及び47bの両メモリの記憶内容が更新されたタイミングにおいて、メモリ47aに記憶されている蛍光微分値と、メモリ47bに記憶されている参照光微分値とを同時に読み出す。そして、演算回路48は、蛍光微分値から参照光微分値を除することにより得られる除算値、または、蛍光微分値から参照光微分値を減ずることにより得られる減算値としての、例えば図7に示すような、判定対象画像を生成して領域判定回路49へ出力する。
ところで、前述の蛍光微分値及び参照光微分値は、階調値の変化がある境界部でのみ有限の値を具備するため、粘膜の伸展による階調値の総量の変化に対する影響が少ない。そして、本実施形態によれば、蛍光微分値と参照光微分値との間において除算または減算を行うことにより、内視鏡2の先端面までの距離、及び、生体組織と内視鏡2の先端面とがなす角度により生じ得る影響を補正することができる。
そのため、演算回路48において生成された、例えば図7として示す判定対象画像によれば、異常領域の境界部が抽出されることとなる。
領域判定回路49は、入力される判定対象画像の各画素に対して閾値処理を施すことにより、該判定対象画像における正常領域と異常領域とを判別する。そして、領域判定回路49は、前記判定対象画像のうち、異常領域と判定された画素に係る画素情報を画像処理回路51へ出力する。
画像処理回路51は、タイミング信号の入力タイミングに応じ、ホワイトバランス回路50から出力される白色光画像の各画素のうち、領域判定回路49から出力される画素情報に相当する画素の色調を所定の色に変換する色変換処理を行う。そして、画像処理回路51は、前記色変換処理後の白色光画像をD/Aコンバータ52へ出力する。
D/Aコンバータ52は、タイミング信号の入力タイミングに応じ、画像処理回路51から出力される白色光画像をアナログの映像信号に変換して出力する。
蛍光観察モードにおいて以上に述べた動作が行われることにより、モニタ5には、蛍光観察における被写体の像として、正常な領域が肉眼による観察と略同等の色調を呈し、かつ、病変が存在する領域の境界部が所定の色を呈する被写体の像が画像表示される。
以上に述べたように、本実施形態の内視鏡システム1によれば、自家蛍光を用いた観察において、観察条件に関わらず、病変が存在する領域を明示することができる。
なお、本実施形態のプロセッサ4によれば、蛍光観察において、領域判定回路49から出力された画素情報をホワイトバランス回路50から出力された白色光画像に重畳しつつモニタ5に出力する構成を具備するものに限らず、例えば、演算回路48により生成された判定対象画像と、ホワイトバランス回路50から出力された白色光画像とを並べてモニタ5に出力する構成を具備するものであっても良い。
また、本実施形態の演算回路48は、判定対象画像を生成する際の処理として、前述した処理を行うものに限らず、暗部において発生するランダムノイズに相当する成分を事前に除去するための前処理をさらに行うものであっても良い。
具体的には、演算回路48は、前述の前処理として、メモリ47aに記憶されている蛍光微分値と、メモリ47bに記憶されている参照光微分値とを読み出した後、夫々の画像に対して閾値処理を行うものであっても良い。
そして、演算回路48は、このような前処理を行った後の蛍光微分値及び参照光微分値を用いた演算を行うことにより、暗部において発生するランダムノイズに相当する成分が異常領域の境界部として抽出されないような判定対象画像を生成することができる。すなわち、演算回路48において前述した閾値処理を行わせることにより、異常領域の抽出精度を向上させることができる。
また、本実施形態によれば、正常領域と異常領域との判別の際に、蛍光微分値から参照光微分値を除することにより得られる除算値、または、蛍光微分値から参照光微分値を減ずることにより得られる減算値を判定対象画像を用いるものに限らず、蛍光微分値及び参照光微分値の各画素における画素値をベクトルの成分として定義した情報を用いるものであっても良い。
この場合、演算回路48は、蛍光微分値における一の画素位置の画素値と、参照光微分値における該一の画素位置の画素値とをベクトルの成分として定義する。その後、演算回路48は、蛍光微分値における画素値|ΔT|の値を縦軸とし、かつ、参照光微分値における画素値|ΔTRef|の値を横軸とした平面上に、前記一の画素のベクトルの値をプロットする。
そして、演算回路48は、蛍光微分値及び参照光微分値の各画素位置において、前述のベクトルの値を順次取得しつつ前記平面上にプロットしてゆくことにより、例えば図8に示すような2次元散布データを取得する。その後、演算回路48は、前記2次元散布データを領域判定回路49へ出力する。
一方、領域判定回路49は、下記数式(1)及び(2)を用いつつ、演算回路48から出力される2次元散布データに含まれる各ベクトルの値の大きさT及び位相Dを算出する。

T=(|ΔT+|ΔTRef1/2 ・・・(1)
D=arctan(|ΔT|/|ΔTRef|) ・・・(2)

領域判定回路49は、2次元散布データに含まれる各ベクトルの値のうち、大きさの閾値Tに満たないベクトルを、ノイズ成分の寄与が大きいものとみなしつつ、判別対象から除外する。また、領域判定回路49は、判別対象から除外されていないベクトルの値のうち、位相の閾値Dに満たないベクトルを、正常領域、または、照明配光により生じた境界部に相当する画素であると判別する。さらに、領域判定回路49は、判別対象から除外されていないベクトルの値のうち、位相の閾値D以上となるベクトルを、異常領域に相当する画素であると判定する。そして、領域判定回路49は、ここまでの一連の処理による判別結果として得られた、例えば図9に示すような情報を画素情報として画像処理回路51へ出力する。なお、以降の処理については、既に述べたものと同様であるため、説明を省略する。
ここで、前述の大きさの閾値T及び位相の閾値Dは、生体組織を対象として予め取得されたデータを統計的に解析することにより、病変領域とアーティファクトとの識別確率が最も高くなるように設定されることが望ましい。
また、前述したベクトルは、1種類の参照光微分値の画素値を用いた2次元のベクトルとして定義されているが、これに限らず、被写体に出射される参照光の数に対応した、各々異なる複数種類の参照光微分値の画素値を用いた3次元以上のベクトルとして定義されるものであっても良い。
以上に述べたように、正常領域と異常領域との判別の際に、蛍光微分値及び参照光微分値の各画素における画素値をベクトルの成分として定義した情報を用いることにより、該ベクトルの大きさからノイズ成分による寄与を除去しつつ、該ベクトルの位相から異常領域とそれ以外の領域とを分けることができるため、その結果、異常領域の抽出精度を向上させることができる。
なお、本実施形態は、以上に述べたような構成の撮像システムに対してのみ適用されるものに限らず、例えば、モノクロCCDを有する内視鏡と、R(赤)光、G(緑)光及びB(青)光からなる面順次光と、白色光、参照光及び励起光からなる面順次光とを出射可能な光源装置と、を具備する構成の撮像システムに対して適用されるものであっても良い。また、本実施形態は、例えば、カラーCCDを有する内視鏡と、R光、G光及びB光からなる面順次光と、R光、参照光及び励起光からなる面順次光とを出射可能な光源装置と、を具備する構成の撮像システムに対して適用されるものであっても良い。
本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
本実施形態に係る内視鏡システムの要部の構成の一例を示す図。 図1の光源装置に設けられた回転フィルタの構成の一例を示す図。 図2の回転フィルタに設けられた、白色光フィルタ及び励起光フィルタの分光特性の一例を示す図。 図2の回転フィルタに設けられた、参照光フィルタの分光特性の一例を示す図。 図1のプロセッサにより生成される蛍光微分値の一例を示す図。 図1のプロセッサにより生成される参照光微分値の一例を示す図。 図5の蛍光微分値及び図6の参照光微分値を用いて生成される判定対象画像の一例を示す図。 図1のプロセッサにより生成される2次元散布データの一例を示す図。 図8の2次元散布データに基づく判別結果の一例を示す図。
符号の説明
1 内視鏡システム
2 内視鏡
3 光源装置
4 プロセッサ
5 モニタ
34 回転フィルタ
34A 白色光フィルタ
34B 励起光フィルタ
34C 参照光フィルタ
45 セレクタ
46 微分回路
47a,47b メモリ
48 演算回路
49 領域判定回路

Claims (9)

  1. 第1の照明光及び第2の照明光を被写体に対して出射する光出射部と、
    前記第1の照明光に応じた前記被写体からの第1の戻り光、及び、前記第2の照明光に応じた前記被写体からの第2の戻り光を撮像し、夫々撮像信号として出力する撮像部と、
    前記撮像信号に基づき、前記第1の戻り光に応じた第1の画像、及び、前記第2の戻り光に応じた第2の画像を夫々生成する画像生成部と、
    前記第1の画像に応じた第1の微分値、及び、前記第2の画像に応じた第2の微分値を夫々算出する微分値算出部と、
    前記第1の微分値と前記第2の微分値とを用いて演算処理を行う演算部と、
    前記演算部の演算結果に対して閾値処理を施すことにより、前記被写体における所定の領域と該所定の領域以外の領域とを判別する領域判別部と、
    を有することを特徴とする撮像システム。
  2. 前記領域判別部の判別結果に基づき、前記被写体における前記所定の領域を視認可能とするための画像処理を行う画像処理部をさらに有することを特徴とする請求項1に記載の撮像システム。
  3. 前記演算部は、前記第1の微分値と前記第2の微分値との間において除算または減算のいずれかを行うことを特徴とする請求項1または請求項2に記載の撮像システム。
  4. 前記演算部は、前記第1の微分値における一の画素位置の画素値と、前記第2の微分値における該一の画素位置の画素値とをベクトルの成分として取得し、
    前記領域判別部は、前記ベクトルの大きさ及び位相の夫々に対して閾値処理を施すことにより、前記被写体における前記所定の領域と前記所定の領域以外の領域とを判別することを特徴とする請求項1または請求項2に記載の撮像システム。
  5. 励起光及び参照光を生体組織に対して出射する光源装置と、
    前記励起光に応じて前記生体組織から発せられる蛍光、及び、前記参照光が前記生体組織において反射した反射光を撮像し、夫々撮像信号として出力する撮像素子を具備した内視鏡と、
    前記撮像信号に基づき、前記蛍光に応じた蛍光画像、及び、前記反射光に応じた参照光画像を夫々生成する画像生成部と、
    前記蛍光画像に応じた微分値としての蛍光微分値、及び、前記参照光画像に応じた微分値としての参照光微分値を夫々算出する微分値算出部と、
    前記蛍光微分値と前記参照光微分値とを用いて演算処理を行う演算部と、
    前記演算部の演算結果に対して閾値処理を施すことにより、前記生体組織における異常領域と正常領域とを判別する領域判別部と、
    を有することを特徴とする内視鏡システム。
  6. 前記領域判別部の判別結果に基づき、前記生体組織における前記異常領域を視認可能とするための画像処理を行う画像処理部をさらに有することを特徴とする請求項5に記載の内視鏡システム。
  7. 前記演算部は、前記蛍光微分値と前記参照光微分値との間において除算または減算のいずれかを行うことを特徴とする請求項5または請求項6に記載の内視鏡システム。
  8. 前記演算部は、前記蛍光微分値における一の画素位置の画素値と、前記参照光微分値における該一の画素位置の画素値とをベクトルの成分として取得し、
    前記領域判別部は、前記ベクトルの大きさ及び位相の夫々に対して閾値処理を施すことにより、前記生体組織における前記異常領域と前記正常領域とを判別することを特徴とする請求項5または請求項6に記載の内視鏡システム。
  9. 前記領域判別部は、前記ベクトルの大きさが所定の第1の閾値以上であり、かつ、前記ベクトルの位相が所定の第2の閾値以上であることを検出した場合、前記一の画素位置に前記異常領域が存在すると判定することを特徴とする請求項8に記載の内視鏡システム。
JP2008214162A 2008-08-22 2008-08-22 撮像システム及び内視鏡システム Expired - Fee Related JP5160343B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008214162A JP5160343B2 (ja) 2008-08-22 2008-08-22 撮像システム及び内視鏡システム
PCT/JP2009/052771 WO2010021160A1 (ja) 2008-08-22 2009-02-18 撮像システム及び内視鏡システム
EP09808096.3A EP2314198B1 (en) 2008-08-22 2009-02-18 Image pickup system
CN2009801327751A CN102131449B (zh) 2008-08-22 2009-02-18 摄像系统以及内窥镜系统
US13/031,946 US9211057B2 (en) 2008-08-22 2011-02-22 Image pickup system and endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008214162A JP5160343B2 (ja) 2008-08-22 2008-08-22 撮像システム及び内視鏡システム

Publications (2)

Publication Number Publication Date
JP2010046346A JP2010046346A (ja) 2010-03-04
JP5160343B2 true JP5160343B2 (ja) 2013-03-13

Family

ID=41707043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008214162A Expired - Fee Related JP5160343B2 (ja) 2008-08-22 2008-08-22 撮像システム及び内視鏡システム

Country Status (5)

Country Link
US (1) US9211057B2 (ja)
EP (1) EP2314198B1 (ja)
JP (1) JP5160343B2 (ja)
CN (1) CN102131449B (ja)
WO (1) WO2010021160A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009165553A (ja) * 2008-01-11 2009-07-30 Olympus Medical Systems Corp 医療用画像処理装置及び医療用撮像システム
JP5816486B2 (ja) 2011-08-18 2015-11-18 オリンパス株式会社 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法
JP5844230B2 (ja) * 2011-10-12 2016-01-13 富士フイルム株式会社 内視鏡システム及びその作動方法
CN104736036B (zh) * 2012-11-30 2017-05-24 奥林巴斯株式会社 观察装置
EP2932882A4 (en) * 2012-12-13 2017-01-11 Olympus Corporation Fluorescent observation device
JP5698878B2 (ja) * 2013-02-12 2015-04-08 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2016170821A1 (ja) * 2015-04-20 2016-10-27 オリンパス株式会社 走査型内視鏡装置
JP6721939B2 (ja) * 2016-03-25 2020-07-15 株式会社松風 蛍光画像解析装置
EP3544482A4 (en) 2016-11-28 2020-07-22 Adaptivendo LLC SEPARABLE DISPOSABLE SHAFT ENDOSCOPE
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
CN114209284B (zh) * 2021-12-30 2023-07-28 山东大学 烧伤创面表层组织活性检测系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6364829B1 (en) * 1999-01-26 2002-04-02 Newton Laboratories, Inc. Autofluorescence imaging system for endoscopy
JP2001224549A (ja) 2000-02-18 2001-08-21 Fuji Photo Film Co Ltd 内視鏡画像取得方法および装置
US20020138008A1 (en) * 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
JP4298151B2 (ja) * 2000-01-13 2009-07-15 富士フイルム株式会社 蛍光画像表示方法および装置
JP2002051969A (ja) * 2000-08-08 2002-02-19 Asahi Optical Co Ltd 電子内視鏡装置
JP2002078669A (ja) * 2000-09-07 2002-03-19 Fuji Photo Film Co Ltd 蛍光内視鏡装置
US20100020163A1 (en) * 2006-12-11 2010-01-28 Olympus Corporation Fluorescence endoscope
JP2008214162A (ja) 2007-03-07 2008-09-18 Jfe Steel Kk 高炉水砕スラグの固結防止処理方法

Also Published As

Publication number Publication date
US20110152614A1 (en) 2011-06-23
CN102131449A (zh) 2011-07-20
JP2010046346A (ja) 2010-03-04
EP2314198B1 (en) 2013-12-04
EP2314198A4 (en) 2012-12-05
CN102131449B (zh) 2013-05-08
WO2010021160A1 (ja) 2010-02-25
EP2314198A1 (en) 2011-04-27
US9211057B2 (en) 2015-12-15

Similar Documents

Publication Publication Date Title
JP5160343B2 (ja) 撮像システム及び内視鏡システム
CN110325100B (zh) 内窥镜系统及其操作方法
JP4689767B2 (ja) 蛍光画像装置および蛍光画像装置の作動方法
JP4895750B2 (ja) 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
US20140046131A1 (en) Endoscope system and method for operating endoscope system
WO2012147820A1 (ja) 蛍光観察装置とその画像表示方法
JP5011453B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP4298151B2 (ja) 蛍光画像表示方法および装置
JP6259747B2 (ja) プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
JP5295587B2 (ja) 蛍光内視鏡装置及び蛍光内視鏡装置の作動方法
JPWO2012011303A1 (ja) 画像処理装置及び画像処理装置の制御方法
JP5948203B2 (ja) 内視鏡システム及びその作動方法
JP4394402B2 (ja) 内視鏡システム
JP2011005002A (ja) 内視鏡装置
JP4245787B2 (ja) 蛍光画像取得方法および装置
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JPWO2011161993A1 (ja) 画像処理装置及び画像処理装置の制御方法
JP5191327B2 (ja) 画像取得装置および画像取得装置の作動方法
JP2010142546A (ja) 内視鏡装置およびその制御方法
JP2011024726A (ja) 画像処理装置
JP2005319116A (ja) 蛍光観察内視鏡装置
JP6243311B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP2001224549A (ja) 内視鏡画像取得方法および装置
WO2021205777A1 (ja) プロセッサ装置及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121212

R151 Written notification of patent or utility model registration

Ref document number: 5160343

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees