JP5372356B2 - 内視鏡装置及び内視鏡装置の作動方法 - Google Patents

内視鏡装置及び内視鏡装置の作動方法 Download PDF

Info

Publication number
JP5372356B2
JP5372356B2 JP2007271665A JP2007271665A JP5372356B2 JP 5372356 B2 JP5372356 B2 JP 5372356B2 JP 2007271665 A JP2007271665 A JP 2007271665A JP 2007271665 A JP2007271665 A JP 2007271665A JP 5372356 B2 JP5372356 B2 JP 5372356B2
Authority
JP
Japan
Prior art keywords
light
imaging
signal
image
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007271665A
Other languages
English (en)
Other versions
JP2009095566A (ja
Inventor
俊二 武井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2007271665A priority Critical patent/JP5372356B2/ja
Priority to CN200880023878.XA priority patent/CN101686798B/zh
Priority to EP08840628.5A priority patent/EP2201888B1/en
Priority to PCT/JP2008/066672 priority patent/WO2009050972A1/ja
Publication of JP2009095566A publication Critical patent/JP2009095566A/ja
Priority to US12/754,890 priority patent/US20100204544A1/en
Application granted granted Critical
Publication of JP5372356B2 publication Critical patent/JP5372356B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters

Description

本発明は、反射光画像と蛍光画像を得る内視鏡装置及び内視鏡装置の作動方法に関するものである。
近年、内視鏡は医療用分野及び工業用分野で広く用いられるようになった。特に医療用分野においては、通常の白色光による通常画像を得る内視鏡装置の他に、正常組織と病変組織とを識別し易いような画像が得られるような技術の提案も行われている。
例えば、特開2001−137174号公報では、主として蛍光の相対強度を色に、輝度に参照光の強度を反映させて表示信号を生成する装置を開示している。また、特開2000−270265号公報では、蛍光画像と背景画像とを重ね合わせる装置を開示している。
しかし、これらの技術においては、正常組織から発せられる蛍光の強度は患者毎に異なるため、患者毎に正常組織の色調が異なって、病変組織と正常組織との識別が困難になる可能性があり、また反射光が広帯域のため、十分に正常組織と病変組織とを識別し易いような画像を得る機能が低下するといった問題があった。
そこで、例えば特開2003−126014号公報には、正常組織と病変組織とを識別し易いような画像を得ることのできる内視鏡装置が提案されている。
特開2001−137174号公報 特開2000−270265号公報 特開2003−126014号公報
しかしながら、例えば特開2003−126014号公報に開示されているような、通常光観察と蛍光観察を同時に観察が可能な内視鏡装置においては、例えば通常光画像の明るさが適正になるように光量調整を行うと、蛍光画像の明るさが適正にならず(明るすぎる、あるいは暗すぎて)、所望の画像を得ることができないといった問題がある。
また、通常光画像と蛍光画像の両方の画像を適正な明るさに調整するには、それぞれの観察モードに対して別々の光源を設ける必要があり、この場合は、装置が大型化するといった課題がある。
本発明は、上記事情に鑑みてなされたものであり、簡単かつ安価な構成により、通常光画像と蛍光画像を適正な明るさに調整することのできる内視鏡装置及び内視鏡装置の作動方法を提供することを目的としている。
本発明の一態様の内視鏡装置は、被検体に照射される通常観察用の通常観察光および蛍光観察用の励起光を順次に生成する光源手段と、前記光源手段が生成した光の光路上に設けられ、前記光路を通過する光の光量を制御する光量制御手段と、前記光量制御手段において光量が制御された前記通常観察光が照射された前記被検体からの像を撮像して得られる第1の撮像信号と、前記蛍光観察用の励起光が照射された前記被検体からの像を撮像して得られる第2の撮像信号とを出力する撮像手段と、前記第1の撮像信号に基づき前記被検体に照射される光の光量を調整するために前記光量制御手段を制御する第1の調光信号を出力する調光信号生成手段と、を備え、前記撮像手段は、前記通常観察光が前記蛍光観察用の励起光に替わったときに、前記第1の調光信号により制御された前記光量制御手段により光量を制御された前記蛍光観察用の励起光が照射された前記被検体からの光による像を撮像した撮像信号を前記第2の撮像信号として出力し、前記調光信号生成手段は、さらに当該第2の撮像信号に基づき当該第2の撮像信号の明るさを調整するための第2の調光信号を出力し、さらに、前記第2の調光信号に基づき前記撮像手段によって撮像された当該第2の撮像信号の信号強度を増幅する信号増幅手段または前記第2の調光信号に基づき前記撮像手段における電荷の蓄積及び電荷の排出を行なう電子シャッタを制御する電子シャッタ制御手段、を備える。
また、本発明の他の態様の内視鏡装置の作動方法は、撮像される撮像信号の明るさの調整を行なう内視鏡装置の作動方法であって、光源手段が、通常観察用の通常観察光および蛍光観察用の励起光のうち一方である前記通常観察光を被検体に対して照明する第1の照明ステップと、撮像手段が、前記第1の照明ステップにおいて前記通常観察光によって照明された前記被検体からの光による像を撮像して第1の撮像信号を出力する第1の撮像ステップと、前記第1の撮像ステップにおいて出力された前記第1の撮像信号に基づき前記被検体を照明する光量を調整するための調光信号を出力する調光信号生成ステップと、前記光源手段から前記被検体にいたる光路上に配置され、前記被検体を照明する光の光量を制御する光量制御手段を前記調光信号に基づき制御する光量制御ステップと、前記光源手段が、前記通常観察光から前記蛍光観察用の励起光に替わったときに、前記光量制御ステップにより制御された前記光量制御手段を介して前記被検体を照明する前記通常観察光及び前記蛍光観察用の励起光のうち他方である前記蛍光観察用の励起光を前記被検体に対して照明する第2の照明ステップと、前記撮像手段が、前記第2の照明ステップにおいて生成された、前記光量制御手段を介した前記蛍光観察用の励起光によって照明された前記被検体からの光による像を撮像して第2の撮像信号を出力する第2の撮像ステップと、前記第2の撮像ステップにより出力された前記第2の撮像信号に基づき前記第2の撮像信号の明るさを調整するための第2の調光信号を出力する第2の調光信号生成ステップと、前記第2の調光信号に基づき前記第2の撮像ステップによって撮像された当該第2の撮像信号の信号強度を増幅する信号増幅ステップ又は前記第2の調光信号に基づき前記第2の撮像ステップにおける電荷の蓄積及び電荷の排出を行なう電子シャッタを制御する電子シャッタ制御ステップと、を有する。
本発明によれば、簡単かつ安価な構成により、通常光画像と蛍光画像を適正な明るさに調整することができるという効果がある。
以下、図面を参照しながら本発明の実施例について述べる。
図1ないし図6は本発明の実施例1に係わり、図1は内視鏡装置の構成を示す構成図、図2は図1の切替フィルタの構成を示す図、図3は図1の内視鏡装置にて得られる蛍光画像、通常画像を説明するタイミング図、図4は図1のプロセッサの処理を説明するフローチャート、図5は図3の処理の変形例を説明するフローチャート、図6は図1の電子内視鏡の第1の変形例であるカプセル型内視鏡を示す図、図7は図1の電子内視鏡の第2の変形例を示す図である。
(構成)
図1に示すように、本実施例の通常観察モードと蛍光観察モードとを備えた内視鏡装置1は、体腔内に挿入して観察するための電子内視鏡2と、白色光である通常光及び自家蛍光(以下、単に蛍光と記す)を励起させるための励起光とを発する光源装置3と、通常光による画像である通常観察画像(以下、単に、通常画像と記す)と蛍光による画像である蛍光画像を構築するための信号処理を行うプロセッサ4と、通常画像と蛍光画像を表示するモニタ5とにより構成される。
電子内視鏡2は、体腔内に挿入される細長の挿入部7を有し、この挿入部7の先端部8に照明手段と撮像手段を内蔵している。
挿入部7内には通常光及び励起光を伝送(導光)するライトガイドファイバ9が挿通され、このライトガイドファイバ9の手元側の入射端に設けた光源用コネクタ10は光源装置3に着脱自在に接続される。
光源装置3は、ランプ駆動回路11により発光するように駆動され、赤外波長帯域から可視光帯域を含む光を放射するランプ12と、このランプ12による照明光路上に設けられ、ランプ12からの光量を制限する光源絞り13と、照明光路上に設けられた切替フィルタ部14と、この切替フィルタ部14を通った光を集光するコンデンサレンズ15とを備えている。
この切替フィルタ部14は、回転用モータ16により回転される切替フィルタ17を備えて構成される。切替フィルタ17は、図2に示すように、通常観察用の白色光を透過する白色光透過フィルタ171と、蛍光観察用の励起光を透過する励起光透過フィルタ172とを有している。この白色光透過フィルタ171及び励起光透過フィルタ172は、回転モータ16で回転駆動されることによりそれぞれが光路中に順次、略連続的に介挿される。
図1に戻り、光源装置3からの照明光はライトガイドファイバ9により、電子内視鏡2の挿入部7の先端側に伝送(導光)される。このライトガイドファイバ9は励起光と通常光を少ない伝送ロスで伝送する。このライトガイドファイバ9としては、例えば多成分系ガラスファイバ、石英ファイバ等で構成される。
ライトガイドファイバ9の先端面に伝送された光は、その先端面に対向する照明窓(図示せず)に取り付けた照明レンズ24を経て、拡開して体腔内の観察対象部位(図示せず)側に照射される。
電子内視鏡2は、例えば撮像素子である電荷結合素子(CCDと略記)からなる蛍光観察用CCD(蛍光用CCDと略記)28aと通常観察用CCD(通常用CCDと略記)28bとを挿入部7の先端部8に設けている。先端部8にはこの照明窓(図示せず)に隣接して観察窓(図示せず)が設けてあり、先端部8の観察窓(図示せず)には第2の撮像ユニットとしての蛍光観察用撮像部100a及び第1の撮像ユニットとしての通常観察用撮像部100bとが配置されている。
なお、蛍光画像および通常画像を撮像する撮像素子としては、CCD28a、28bの代わりにCMD (Charged Modulation Device) 撮像素子、C−MOS撮像素子、AMI(Amplified MOS Imager)、BCCD(Back Illuminated CCD)でも良い。
蛍光観察用撮像部100aは、光学像を結ぶための対物レンズ系25aと、遠点から近点までフォーカスを合わせるため空間的に光量を制限する第1絞り26aと、励起光をカットする励起光カットフィルタ27と、蛍光像を撮像する撮像素子としての蛍光用CCD28aとから構成される。
また、通常観察用撮像部100bは、光学像を結ぶための対物レンズ系25bと、第2絞り26bと、通常画像を撮像する撮像素子としての通常用CCD28bとから構成される。ここで、通常用CCD28bは、撮像面にカラーフィルタ(図示せず)を備えており、光学像をRGBに分光した分光学像として出力する。
なお、第1絞り26aのfNo.は第2絞り26bのfNo.より小さい値となる。つまり、蛍光用CCD28aにより多くの光量が入るようになっている。
また、励起光カットフィルタ27は蛍光観察時に、蛍光を発生させるために励起される励起光を遮光するフィルタであり、例えば470−700nmの波長帯域を透過する、つまり、青色帯域の一部の波長(400−470nm)を除いた可視光を透過する特性を有する。
図3に示すように、生体組織は、光源装置3から供給される、白色光と励起光の略連続的な照明光により照射される。そして、蛍光画像モードでは蛍光用CCD28aによって、白色光の照射時の励起光カットフィルタ27を介した生体組織での反射光である参照光の像(参照光像)と、励起光の照射時の生体組織より励起された(自家)蛍光の像(蛍光像)が略連続的に撮像される。また、通常画像モードでは通常用CCD28bによって、白色光の照射時の生体組織での通常光像が撮像される。
図1に戻り、電子内視鏡2には蛍光画像モードと通常画像モードとを選択する指示操作や、フリーズ、レリーズの指示操作を行うためのスコープスイッチ29が設けてあり、その操作信号は、光源制御手段としての制御回路37に入力され、制御回路37はその操作信号に対応した制御動作を行う。
2つのCCD28a、28bは、素子判別/切替部64を介してCCD駆動回路31、プリアンプ32及び電子シャッタ制御部101と、に接続されている。この素子判別/切替部64は制御回路37により切り替えが制御される。つまり、スコープスイッチ29により蛍光画像モードが選択されると、蛍光用CCD28aが選択使用され、通常画像モードが選択されると、通常用CCD28bが選択使用される。
通常画像モードにおいては、通常用CCD28bはプロセッサ4内に設けたCCD駆動回路31からのCCD駆動信号により駆動され、通常用CCD28bに結像された光学像を光電変換して画像信号を出力する。
また、蛍光画像モードにおいては、蛍光用CCD28aはプロセッサ4内に設けたCCD駆動回路31からのCCD駆動信号により駆動され、蛍光用CCD28aに結像された光学像を光電変換して画像信号を出力する。
この画像信号はプロセッサ4内に設けたプリアンプ32で増幅され、さらに信号増幅手段としてのオートゲインコントロール(AGC)回路33で所定レベルまで増幅された後、A/D変換回路34によりアナログ信号からデジタル信号(画像データ)に変換され、各画像データは、入出力の切換を行うマルチプレクサ35を経て、第1フレームメモリ36a、第2フレームメモリ36b及び第3フレームメモリ36cに一時格納(記憶)される。
制御回路37は、マルチプレクサ35の切換を制御し、通常画像モードにおいては、通常用CCD28bのカラーフィルタ(図示せず)によりRGBに分光した分光学像の各画像データをそれぞれ第1フレームメモリ36a、第2フレームメモリ36b、第3フレームメモリ36cに順次記憶させるように制御する。
また、制御回路37は、マルチプレクサ35の切換を制御し、蛍光画像モードにおいては、通常光照射時の励起光カットフィルタ27による狭帯域の生体組織での反射光である参照光の画像データと励起光により生体組織より発生した蛍光の画像データを、例えば、それぞれ第1フレームメモリ36a、第2フレームメモリ36bに順次記憶させるように制御する。
フレームメモリ36a〜36cに格納された画像データは映像処理回路65に入力され、例えば入力信号に対してマトリックス変換して正常組織部分と病変組織部分とを識別し易い色相の出力信号に変換する映像処理が施された後、アナログのRGB信号に変換されてモニタ5に出力される。
プロセッサ4にはプリアンプ32を通した信号に基づいて光源装置3内の光源絞り13の開口面積を制御するための調光信号を生成する調光信号生成手段としての調光回路40が設けてある。また、光源絞り13の開口面積は、制御回路37により制御される。
また、この制御回路37は、ランプ駆動回路11のランプ12を発光駆動するランプ電流を制御する。また、この制御回路37はスコープスイッチ29の操作に応じた制御動作を行う。
プロセッサ4は、調光回路40の出力(調光信号)を所定の基準値と比較する比較手段としての比較部103と、比較部103の比較結果に基づきAGC33のゲイン、電子シャッタ制御部101でのシャッタ制御パラメータ(電荷蓄積時間)及び光源装置3内の光源絞り13の開口面積を設定する設定手段としての設定部102と、設定部102の制御によりCCD駆動回路31の電子シャッタ機能を制御する電子シャッタ制御手段としての電子シャッタ制御部101とを備えている。これら比較部103、設定部102及び電子シャッタ制御部101の詳細は後述する。なお比較部103の比較結果は制御回路37にも入力される。
電子内視鏡2はその電子内視鏡2の少なくともその機種を含む固有のID情報を発生するスコープID発生部41を有し、電子内視鏡2をプロセッサ4に接続すると、プロセッサ4側に設けた機種検知回路42により、接続された電子内視鏡2の機種情報を検知し、その機種情報を制御回路37に送る。
制御回路37は接続された電子内視鏡2の機種の特性に応じて、映像処理回路65のマトリックス処理のパラメータを適切なものに設定する制御信号を送る。
(作用)
次に、このように構成された本実施例の作用について説明する。図4に示すように、プロセッサ4において、比較部103はステップS1にて白色光の照射タイミングの通常観察用CCD28bにおける通常光像(図3参照)の調光回路40からの調光信号P1と所定の基準値T1とを比較し、比較結果を設定部102に出力する。
そして、P1=T1ならば、設定部102は、ステップS2にて制御回路37に対して光源装置3内の光源絞り13の開口面積Sを保持させるように設定し(S←S)、ステップS5に進む。
P1>T1ならば、設定部102は、ステップS3にて制御回路37に対して光源装置3内の光源絞り13の開口面積Sを所定量ΔS縮小させるように設定し(S←S−ΔS)、ステップS5に進む。
P1<T1ならば、設定部102は、ステップS4にて制御回路37に対して光源装置3内の光源絞り13の開口面積Sを所定量ΔS増大させるように設定し(S←S+ΔS)、ステップS5に進む。
ステップS5では、設定部102は、AGC33の増幅率(ゲイン)を一定値α1に設定する。さらに、設定部102は、ステップS6にてCCD駆動回路31の電子シャッタ機能の電荷蓄積を制御するための電荷蓄積時間を一定値β1とする設定を、電子シャッタ制御部101に対して行う。続いて、設定部102は、ステップS7にて光源装置3内の光源絞り13を、ステップS2ないしステップS4において設定された開口面積Sに開口する。
次に、比較部103は、ステップS8にて励起光の照射タイミングの蛍光用CCD28aにおける蛍光像(図3参照)の調光回路40からの調光信号P2と所定の基準値T2とを比較し、比較結果を設定部102に出力する。
そして、P2=T2ならば、設定部102は、ステップS9にて蛍光画像及び参照光画像でのAGC33の増幅率(ゲイン)を現在値に設定・保持し、ステップS10にて蛍光画像及び参照光画像での電荷蓄積時間を現在値に設定・保持する設定を、電子シャッタ制御部101に対して行い、処理を終了する。
P2>T2ならば、設定部102は、ステップS11にて、蛍光画像の、CCD駆動回路31の電子シャッタ機能の電荷蓄積を制御するための電荷蓄積時間を短縮して一定値β2(<現在電荷蓄積時間)とする設定を、電子シャッタ制御部101に対して行い、さらにステップS12にて参照光画像の、CCD駆動回路31の電子シャッタ機能の電荷蓄積を制御するための電荷蓄積時間をβ2×k(k:一定係数)とする設定を、電子シャッタ制御部101に対して行い、処理を終了する。
なお、このステップS11及びステップS12の処理では、蛍光画像及び参照光画像での、AGC33の増幅率(ゲイン)は現在値に設定・保持される。
P2<T2ならば、設定部102は、ステップS13にて、蛍光画像の、AGC33の増幅率(ゲイン)を増大して一定値α2(>現在増幅率)に設定し、さらにステップS14にて参照光画像の、AGC33の増幅率(ゲイン)も一定値α2(>現在増幅率)に設定して、処理を終了する。
ここで、例えば、本実施例においては、これらの一連のステップ(ステップS1〜ステップS13)は、通常観察及び蛍光観察の同時観察中において、常に繰り返される。
なお、このステップS13及びステップS14の処理では、蛍光画像及び参照光画像での、CCD駆動回路31の電子シャッタ機能の電荷蓄積を制御するための電荷蓄積時間は現在値に設定・保持される。
なお、所定の基準値T1、T2は、予め決められた値であるが、例えばユーザにより設定変更が可能であり、また光源装置の種類に応じた値に変更する等してもよい。
(効果)
このように本実施例においては、
(1) 通常観察モードでは調光回路40からの調光信号を第1の基準値T1と比較し、比較結果に基づき、AGC33の増幅率(ゲイン)、電子シャッタ機能の電荷蓄積時間及び光源絞り13の開口面積を設定し、
(2) さらに蛍光観察モードでは通常観察モードでの光源絞り13の開口面積の設定状態を維持して、調光回路40からの調光信号を第2の基準値T2と比較し、比較結果に基づき、AGC33の増幅率(ゲイン)及び電子シャッタ機能の電荷蓄積時間を設定する
ので、比較部103及び設定部102といった簡単な構成により、観察モードに応じて、AGC33の増幅率(ゲイン)及び電子シャッタ機能の電荷蓄積時間を設定することができ、簡単かつ安価に、通常光画像と蛍光画像を適正な明るさに調整することができる。
特に本実施例では、1つの光源装置と、2つの撮像素子を用いて通常画像と蛍光画像を同時に取得する場合においても、両方の画像において適正な明るさが得られるという効果がある。
(変形例1)
上記の実施例1では、上述したように、まず絞り開口量、増幅率及び電荷蓄積時間の設定/制御により通常観察モードでの明るさ調整を行い、次に増幅率及び電荷蓄積時間の設定/制御により蛍光観察モードでの明るさ調整を行うとしたが、これに限らず、まず蛍光観察モードでの明るさ調整を行い、次に通常観察モードでの明るさ調整を行うようにしてもよい。
実施例1では、光源絞り13の開口面積の設定/制御は、通常観察モードでの明るさ調整により実行されるが、蛍光観察モードでの明るさ調整時には光源絞り13の開口面積は固定されている。この場合、蛍光観察モードでの明るさ調整は、増幅率及び電荷蓄積時間の設定/制御により実行される。
この変形例1では、光源絞り13の開口面積の設定/制御は、蛍光観察モードでの明るさ調整により実行され、通常観察モードでの明るさ調整時には光源絞り13の開口面積は固定される。この場合、通常観察モードでの明るさ調整は、増幅率及び電荷蓄積時間の設定/制御により実行される。
具体的には、図5に示すように、比較部103は、ステップS8にて励起光の照射タイミングの蛍光用CCD28aにおける蛍光像(図3参照)の調光回路40からの調光信号P2と所定の基準値T2とを比較し、比較結果を設定部102に出力する。
そして、P2=T2ならば、設定部102は、ステップS2にて制御回路37に対して光源装置3内の光源絞り13の開口面積Sを保持させるように設定し(S←S)、ステップS9に進む。
設定部102は、ステップS9にて蛍光画像及び参照光画像でのAGC33の増幅率(ゲイン)を現在値に設定・保持し、ステップS10にて蛍光画像及び参照光画像での電荷蓄積時間を現在値に設定・保持する設定を、電子シャッタ制御部101に対して行い、ステップS7に進む。
P2>T2ならば、設定部102は、ステップS3にて制御回路37に対して光源装置3内の光源絞り13の開口面積Sを所定量ΔS縮小させるように設定し(S←S−ΔS)、ステップS11に進む。
設定部102は、ステップS11にて、蛍光画像の、CCD駆動回路31の電子シャッタ機能の電荷蓄積を制御するための電荷蓄積時間を短縮して一定値β2(<現在電荷蓄積時間)とする設定を、電子シャッタ制御部101に対して行い、さらにステップS12にて参照光画像の、CCD駆動回路31の電子シャッタ機能の電荷蓄積を制御するための電荷蓄積時間をβ2×k(k:一定係数)とする設定を、電子シャッタ制御部101に対して行い、ステップS7に進む。
P2<T2ならば、設定部102は、ステップS4にて制御回路37に対して光源装置3内の光源絞り13の開口面積Sを所定量ΔS増大させるように設定し(S←S+ΔS)、ステップS21に進む。
設定部102は、ステップS21にて、開口面積Sが最大開口面積Smaxに達したかどうか判断し、開口面積Sが最大開口面積Smaxに達したと判断するとステップS13に進み、開口面積Sが最大開口面積Smax未満ならばステップS7に進む。
設定部102は、ステップS13にて、蛍光画像の、AGC33の増幅率(ゲイン)を増大して一定値α2(>現在増幅率)に設定し、さらにステップS14にて参照光画像の、AGC33の増幅率(ゲイン)も一定値α2(>現在増幅率)に設定して、ステップS7に進む。
そして、ステップS7及びステップS1の処理を経て、P1=T1ならば、ステップS22にて、設定部102は、通常画像のAGC33の増幅率(ゲイン)を現在値に保持・設定し、さらに通常画像の、CCD駆動回路31の電子シャッタ機能の電荷蓄積を制御するための電荷蓄積時間を現在値に保持する設定を、電子シャッタ制御部101に対して行い、処理を終了する。
また、ステップS7及びステップS1の処理を経て、P1>T1ならば、ステップS23にて、設定部102は、通常画像の、CCD駆動回路31の電子シャッタ機能の電荷蓄積を制御するための通常画像の電荷蓄積時間を短縮する設定を、電子シャッタ制御部101に対して行い、処理を終了する。
さらに、ステップS7及びステップS1の処理を経て、P1<T1ならば、ステップS24にて、設定部102は、通常画像の、AGC33の増幅率(ゲイン)を増大する設定を行い、処理を終了する。
実施例1では、光源絞り13の開口面積の設定/制御は、通常観察モードでの明るさ調整により実行され、蛍光観察モードでの明るさ調整時には光源絞り13の開口面積は固定されている。この場合、蛍光観察モードでの明るさ調整は、増幅率及び電荷蓄積時間の設定/制御のみにより実行される。
一方、変形例1では、光源絞り13の開口面積の設定/制御は、蛍光観察モードでの明るさ調整により実行され、通常観察モードでの明るさ調整時には光源絞り13の開口面積は固定されている。この場合、通常観察モードでの明るさ調整は、増幅率及び電荷蓄積時間の設定/制御のみにより実行される。
このように、まず蛍光観察モードでの明るさ調整を行い、次に通常観察モードでの明るさ調整を行う変形例1においても、比較部103及び設定部102といった簡単な構成により、観察モードに応じて、AGC33の増幅率(ゲイン)及び電子シャッタ機能の電荷蓄積時間を設定することができ、簡単かつ安価に、通常光画像と蛍光画像を適正な明るさに調整することができる。
本変形例でも、1つの光源装置と、2つの撮像素子を用いて通常画像と蛍光画像を同時に取得する場合において、両方の画像において適正な明るさが得られるという効果がある。
(変形例2)
実施例1においては、光源装置3及びプロセッサ4に接続された電子内視鏡2を例に説明したが、これに限らず、図6に示すようなカプセル型内視鏡200にも適用可能である。
このカプセル型内視鏡200は、図6に示すように、生体に照明光を照射するための発光素子としての、例えば白色LED207a、207bと、白色LED207a、207bを駆動する発光素子駆動手段としての光源部204と、蛍光用CCD28aと、通常用CCD28bと、励起光カットフィルタ27と、蛍光用CCD28a及び通常用CCD28bを駆動するCCD駆動部31と、蛍光用CCD28a及び通常用CCD28bからの撮像信号を信号処理する信号処理部205と、信号処理部205及び光源部204で処理される信号を外部と無線にて通信するための無線部203とを備えて構成される。
AGC33、調光回路40、比較部103、設定部102は信号処理部205の内部に、電子シャッタ制御部101はCCD駆動部31の内部に、実施例1における光源絞り13の開口面積の制御部分(制御回路37)に相当する光源制御部37Aは光源部204の内部に、それぞれ設けられている。
また、白色LED207a、207bからパルス発光される光は、前面に具備された分光ユニット208a、208bにより所定の波長帯域の光のみが透過され生体に照射される。前記分光ユニット208a、208bは、光源部204内部の分光ユニット制御部204aにより、透過する波長帯域が選択的に制御され、白色LED207a、207bのパルス発光に同期して波長帯域を切り替えることで、白色光と蛍光を励起するための励起光を時系列的に照射する。
白色LED207a、207bの駆動電流を光源制御部37Aが制御することにより、生体への照射光量が制御される。
このように構成されたカプセル型内視鏡においても、図3あるいは図4にて説明した処理を行うことで、上記実施例1あるいは変形例1と同様な効果を得ることができる。なお、この変形例2では、図3あるいは図4において、設定部102及び光源制御部37Aにて制御されるパラメータは「光源絞り13の開口面積」ではなく「LEDの駆動電流」となり、「開口面積を増大(縮小)させる」は「駆動電流を増大(減少)させる」と読み替える。
(変形例3)
実施例1においては、蛍光観察像は蛍光観察用撮像部100aにより撮像し、また通常光観察像は通常観察用撮像部100bにより撮像するとしたが、これに限らず、例えば、図7に示すように、内視鏡装置1を通常観察用撮像部100bのみの1つの撮像部により蛍光観察像及び通常光観察像を撮像するように構成しても良い。
ここで、この変形例3の通常観察用撮像部100bでは、切替フィルタ17の白色光透過フィルタ171を介した照射のタイミングの撮像信号を通常観察モードの撮像信号とし、また励起光透過フィルタ172を介した照射のタイミングの撮像信号を蛍光観察モードの撮像信号とし、各通常観察モード及び蛍光観察モードにおいて、絞り開口量、増幅率及び電荷蓄積時間等の制御を、上記実施例1と同様に行うことで、同様な作用/効果を得ることができる。
(その他の変形例)
本実施例では、以下の「その他の変形例」を含む。
その他の変形例
(変形1)変形例2において、発光素子は白色LEDに限らず、例えば波長可変の発光素子であってもよい。照明光の波長は、光源部204によって選択的に制御され、このとき波長可変の発光素子の前面には分光ユニットを備えない。
(変形2)光源装置3から電子内視鏡2に供給される照明光、あるいは発光素子(例えばLED)から発光される光は、白色光に限らず、赤、緑、青の時系列的な光であってもよい。
(変形3)白色光と励起光は、時系列的な照明光ではなく連続光として同時に照明する構成であってよい。このとき、励起光は、白色光よりも波長の長い赤外域の光であって、蛍光用CCD28aによる蛍光画像及び参照画像と、通常用CCD28bによる通常画像と、を同時に画像取得する。
(変形4)蛍光は、励起光により生体組織より励起された自家蛍光を例に説明したが、これに限らず、例えば生体に投与した蛍光薬剤からの蛍光による蛍光画像についても、実施例1、その変形例1、2が適用できることはいうまでもない。なお、この蛍光薬剤の場合、励起光は、例えば近赤外域の光となる。
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本発明の実施例1に係る内視鏡装置の構成を示す構成図 図1の切替フィルタの構成を示す図 図1の内視鏡装置にて得られる蛍光画像、通常画像を説明するタイミング図 図1のプロセッサの処理を説明するフローチャート 図3の処理の変形例を説明するフローチャート 図1の電子内視鏡の第1の変形例であるカプセル型内視鏡を示す図 図1の電子内視鏡の第2の変形例を示す図
符号の説明
…内視鏡装置
…電子内視鏡
…光源装置
…プロセッサ
5…モニタ
7…挿入部
8…先端部
9…ライトガイドファイバ
10…コネクタ
11…ランプ駆動回路
12…ランプ
13…光源絞り
14…切替フィルタ部
16…回転用モータ
17…切替フィルタ
25a,25b…対物レンズ系
26a…第1絞り
26b…第2絞り
27…励起光カットフィルタ
28a…蛍光用CCD
28b…通常用CCD
29…スコープスイッチ
31…CCD駆動回路
34…A/D変換回路
36a〜36c…フレームメモリ
37…制御回路
64…素子判別/切替部
65…映像処理回路
100a…蛍光観察用撮像部
100b…通常観察用撮像部
101…電子シャッタ制御部
102…設定部
103…比較部

Claims (5)

  1. 被検体に照射される通常観察用の通常観察光および蛍光観察用の励起光を順次に生成する光源手段と、
    前記光源手段が生成した光の光路上に設けられ、前記光路を通過する光の光量を制御する光量制御手段と、
    前記光量制御手段において光量が制御された前記通常観察光が照射された前記被検体からの像を撮像して得られる第1の撮像信号と、前記蛍光観察用の励起光が照射された前記被検体からの像を撮像して得られる第2の撮像信号とを出力する撮像手段と、
    前記第1の撮像信号に基づき前記被検体に照射される光の光量を調整するために前記光量制御手段を制御する第1の調光信号を出力する調光信号生成手段と、
    を備え、
    前記撮像手段は、前記通常観察光が前記蛍光観察用の励起光に替わったときに、前記第1の調光信号により制御された前記光量制御手段により光量を制御された前記蛍光観察用の励起光が照射された前記被検体からの光による像を撮像した撮像信号を前記第2の撮像信号として出力し、
    前記調光信号生成手段は、さらに当該第2の撮像信号に基づき当該第2の撮像信号の明るさを調整するための第2の調光信号を出力し、
    さらに、前記第2の調光信号に基づき前記撮像手段によって撮像された当該第2の撮像信号の信号強度を増幅する信号増幅手段または前記第2の調光信号に基づき前記撮像手段における電荷の蓄積及び電荷の排出を行なう電子シャッタを制御する電子シャッタ制御手段、を備えたことを特徴とする内視鏡装置。
  2. 前記光量制御手段は、絞りである
    ことを特徴とする請求項1に記載の内視鏡装置。
  3. 前記撮像手段は、
    前記通常観察光が照射された前記被検体からの像を撮像して前記第1の撮像信号を出力する第1の撮像ユニットと、
    前記蛍光観察用の励起光が照射された前記被検体からの像を撮像して前記第2の撮像信号を出力する第2の撮像ユニットと、
    を有することを特徴とする請求項1に記載の内視鏡装置。
  4. 撮像される撮像信号の明るさの調整を行なう内視鏡装置の作動方法であって、
    光源手段が、通常観察用の通常観察光および蛍光観察用の励起光のうち一方である前記通常観察光を被検体に対して照明する第1の照明ステップと、
    撮像手段が、前記第1の照明ステップにおいて前記通常観察光によって照明された前記被検体からの光による像を撮像して第1の撮像信号を出力する第1の撮像ステップと、
    前記第1の撮像ステップにおいて出力された前記第1の撮像信号に基づき前記被検体を照明する光量を調整するための調光信号を出力する調光信号生成ステップと、
    前記光源手段から前記被検体にいたる光路上に配置され、前記被検体を照明する光の光量を制御する光量制御手段を前記調光信号に基づき制御する光量制御ステップと、
    前記光源手段が、前記通常観察光から前記蛍光観察用の励起光に替わったときに、前記光量制御ステップにより制御された前記光量制御手段を介して前記被検体を照明する前記通常観察光及び前記蛍光観察用の励起光のうち他方である前記蛍光観察用の励起光を前記被検体に対して照明する第2の照明ステップと、
    前記撮像手段が、前記第2の照明ステップにおいて生成された、前記光量制御手段を介した前記蛍光観察用の励起光によって照明された前記被検体からの光による像を撮像して第2の撮像信号を出力する第2の撮像ステップと、
    前記第2の撮像ステップにより出力された前記第2の撮像信号に基づき前記第2の撮像信号の明るさを調整するための第2の調光信号を出力する第2の調光信号生成ステップと、
    前記第2の調光信号に基づき前記第2の撮像ステップによって撮像された当該第2の撮像信号の信号強度を増幅する信号増幅ステップ又は前記第2の調光信号に基づき前記第2の撮像ステップにおける電荷の蓄積及び電荷の排出を行なう電子シャッタを制御する電子シャッタ制御ステップと、
    を有することを特徴とする内視鏡装置の作動方法。
  5. 前記光量制御手段は絞りである
    ことを特徴とする請求項4に記載の内視鏡装置の作動方法。
JP2007271665A 2007-10-18 2007-10-18 内視鏡装置及び内視鏡装置の作動方法 Active JP5372356B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007271665A JP5372356B2 (ja) 2007-10-18 2007-10-18 内視鏡装置及び内視鏡装置の作動方法
CN200880023878.XA CN101686798B (zh) 2007-10-18 2008-09-16 内窥镜装置及其设定方法
EP08840628.5A EP2201888B1 (en) 2007-10-18 2008-09-16 Endoscopic apparatus and setting method thereof
PCT/JP2008/066672 WO2009050972A1 (ja) 2007-10-18 2008-09-16 内視鏡装置及びその設定方法
US12/754,890 US20100204544A1 (en) 2007-10-18 2010-04-06 Endoscope apparatus and method of setting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007271665A JP5372356B2 (ja) 2007-10-18 2007-10-18 内視鏡装置及び内視鏡装置の作動方法

Publications (2)

Publication Number Publication Date
JP2009095566A JP2009095566A (ja) 2009-05-07
JP5372356B2 true JP5372356B2 (ja) 2013-12-18

Family

ID=40567248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007271665A Active JP5372356B2 (ja) 2007-10-18 2007-10-18 内視鏡装置及び内視鏡装置の作動方法

Country Status (5)

Country Link
US (1) US20100204544A1 (ja)
EP (1) EP2201888B1 (ja)
JP (1) JP5372356B2 (ja)
CN (1) CN101686798B (ja)
WO (1) WO2009050972A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102458215B (zh) * 2009-06-10 2014-05-28 奥林巴斯医疗株式会社 胶囊型内窥镜装置
JP2011194040A (ja) * 2010-03-19 2011-10-06 Olympus Medical Systems Corp 医療機器
JP5498282B2 (ja) * 2010-07-06 2014-05-21 オリンパス株式会社 蛍光観察装置
JP5431294B2 (ja) * 2010-11-16 2014-03-05 富士フイルム株式会社 内視鏡装置
JP5584601B2 (ja) * 2010-11-30 2014-09-03 富士フイルム株式会社 内視鏡装置
JP5547118B2 (ja) * 2011-03-03 2014-07-09 富士フイルム株式会社 画像取得装置および画像取得装置の作動方法
JP6042808B2 (ja) * 2011-06-03 2016-12-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP2013048694A (ja) * 2011-08-30 2013-03-14 Olympus Corp 内視鏡装置
US9014789B2 (en) 2011-09-22 2015-04-21 The George Washington University Systems and methods for visualizing ablated tissue
WO2013044182A1 (en) 2011-09-22 2013-03-28 The George Washington University Systems and methods for visualizing ablated tissue
DE102011084920B4 (de) * 2011-10-20 2014-03-20 Digital Endoscopy OEM GmbH Endoskopiesystem, steuersystem und verwendung eines steuersystems bei einem endoskopiesystem
JP5863439B2 (ja) * 2011-12-21 2016-02-16 Hoya株式会社 内視鏡装置
WO2013180147A1 (ja) * 2012-05-31 2013-12-05 オリンパス株式会社 内視鏡装置
JP2014083375A (ja) * 2012-10-26 2014-05-12 Hoya Corp 電子内視鏡用光源装置および電子内視鏡システム
CN104619236B (zh) * 2013-08-01 2016-11-23 奥林巴斯株式会社 摄像装置
WO2015077474A1 (en) 2013-11-20 2015-05-28 The George Washington University Systems and methods for hyperspectral analysis of cardiac tissue
CN113208723A (zh) 2014-11-03 2021-08-06 460医学股份有限公司 用于接触质量的评估的系统和方法
WO2016073476A1 (en) 2014-11-03 2016-05-12 The George Washington University Systems and methods for lesion assessment
US10779904B2 (en) 2015-07-19 2020-09-22 460Medical, Inc. Systems and methods for lesion formation and assessment
CN105338234A (zh) * 2015-12-16 2016-02-17 北京博视中自科技有限公司 一种内窥式智能相机
CN107468209B (zh) * 2016-06-07 2021-10-08 松下知识产权经营株式会社 摄像装置
WO2021162072A1 (ja) 2020-02-14 2021-08-19 株式会社日本触媒 吸収体、吸水剤および吸水剤の製造方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3309276B2 (ja) 1999-03-17 2002-07-29 エーカポット・パンナチェート 蛍光電子内視鏡システム
JP2001029313A (ja) * 1999-05-18 2001-02-06 Olympus Optical Co Ltd 内視鏡装置
WO2000069324A1 (fr) * 1999-05-18 2000-11-23 Olympus Optical Co., Ltd. Endoscope
JP3983947B2 (ja) 1999-11-16 2007-09-26 富士フイルム株式会社 蛍光画像表示方法および装置
JP3884265B2 (ja) 2001-10-22 2007-02-21 オリンパス株式会社 内視鏡装置
JP4772235B2 (ja) * 2001-09-13 2011-09-14 オリンパス株式会社 内視鏡装置
US20060241496A1 (en) * 2002-01-15 2006-10-26 Xillix Technologies Corp. Filter for use with imaging endoscopes
JP4343594B2 (ja) * 2003-06-23 2009-10-14 オリンパス株式会社 内視鏡装置
JP2005087450A (ja) * 2003-09-17 2005-04-07 Pentax Corp 蛍光観察内視鏡システム及び蛍光観察内視鏡用光源装置
JP4598182B2 (ja) * 2005-01-05 2010-12-15 Hoya株式会社 電子内視鏡システム
CN101188965B (zh) * 2005-06-08 2012-08-08 奥林巴斯医疗株式会社 内窥镜装置
JP4745790B2 (ja) * 2005-10-21 2011-08-10 Hoya株式会社 電子内視鏡装置
JP5300177B2 (ja) 2006-03-30 2013-09-25 三洋電機株式会社 液晶プロジェクタ装置

Also Published As

Publication number Publication date
JP2009095566A (ja) 2009-05-07
EP2201888A1 (en) 2010-06-30
CN101686798B (zh) 2012-04-04
WO2009050972A1 (ja) 2009-04-23
EP2201888A4 (en) 2012-11-14
EP2201888B1 (en) 2016-12-14
CN101686798A (zh) 2010-03-31
US20100204544A1 (en) 2010-08-12

Similar Documents

Publication Publication Date Title
JP5372356B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP4343594B2 (ja) 内視鏡装置
JP4855586B2 (ja) 内視鏡装置
JP4554944B2 (ja) 内視鏡装置
JP4818753B2 (ja) 内視鏡システム
JP4643481B2 (ja) 画像処理装置
US8231526B2 (en) Medical apparatus
JP5534997B2 (ja) 電子内視鏡システム
JP6005303B2 (ja) 蛍光観察内視鏡システム
JP5226403B2 (ja) 光源装置及びこの光源装置を用いた内視鏡装置
JP4772235B2 (ja) 内視鏡装置
US20060155166A1 (en) Endoscope device
JP2005006856A (ja) 内視鏡装置
JP4488319B2 (ja) 内視鏡装置
JP4716673B2 (ja) 蛍光内視鏡装置
JP4315748B2 (ja) 内視鏡装置
JP5331394B2 (ja) 内視鏡装置
JP4679013B2 (ja) 内視鏡用画像処理装置
JP4242578B2 (ja) 内視鏡装置
JP4526322B2 (ja) 内視鏡装置
WO2016059906A1 (ja) 内視鏡装置
JP4504040B2 (ja) 内視鏡装置
JP2013094489A (ja) 内視鏡装置
JP4643253B2 (ja) 蛍光観察システム
JP5152795B2 (ja) 蛍光画像取得装置および蛍光画像取得装置の作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130918

R151 Written notification of patent or utility model registration

Ref document number: 5372356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250