JP5419930B2 - 電子内視鏡システム、光源装置、及び電子内視鏡システムの作動方法 - Google Patents

電子内視鏡システム、光源装置、及び電子内視鏡システムの作動方法 Download PDF

Info

Publication number
JP5419930B2
JP5419930B2 JP2011148357A JP2011148357A JP5419930B2 JP 5419930 B2 JP5419930 B2 JP 5419930B2 JP 2011148357 A JP2011148357 A JP 2011148357A JP 2011148357 A JP2011148357 A JP 2011148357A JP 5419930 B2 JP5419930 B2 JP 5419930B2
Authority
JP
Japan
Prior art keywords
light
electronic endoscope
blood vessel
light source
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011148357A
Other languages
English (en)
Other versions
JP2013013559A (ja
Inventor
孝明 齋藤
博司 山口
孝之 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2011148357A priority Critical patent/JP5419930B2/ja
Priority to CN201210227987.1A priority patent/CN102860812B/zh
Publication of JP2013013559A publication Critical patent/JP2013013559A/ja
Application granted granted Critical
Publication of JP5419930B2 publication Critical patent/JP5419930B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、電子内視鏡を用いて血管に関する情報を取得する電子内視鏡システム、それに用いられる光源装置、及びその作動方法に関する。
医療分野において、電子内視鏡を用いた診断が普及している。電子内視鏡は、被検体内に挿入される細長の挿入部を備えており、この挿入部の先端には、被検体内の観察部位に照明光を照射する照明窓と観察部位で反射した像光が入射する観察窓が設けられており、観察窓の奥には像光を撮像して観察画像を得るためのCCDイメージセンサやCMOSイメージセンサなどの撮像素子が内蔵されている。電子内視鏡は光源装置に接続されており、光源装置から照明光が供給され、ライトガイドを通じて照明窓に導光される。
近年の内視鏡診断においては、白色光のもとで生体組織の表面の全体的な性状を観察する通常観察に加えて、特定の波長に制限された特殊光を用いた特殊光観察も行われるようになっている。特殊光観察には各種のものがあるが、例えば、特許文献1には、粘膜表面からの光の深達度に波長依存性があることを利用して、波長域が異なる、B(青)色、G(緑)色、R(赤)色の3種類の狭帯域光を用いて、表層、中層、深層の各層の血管を強調表示する技術が開示されている。
また、特許文献2には、酸素飽和度によって血管の吸光度が変化する近赤外領域の狭帯域光を用いて、血中の酸素飽和度を測定する技術が開示されている。また、本出願人による特許文献3においては、青色領域の狭帯域光を利用して、酸素飽和度の情報と、粘膜表面からの深さを示す血管深さの情報とを同時に取得する技術が開示されている。
特許3559755号公報 特許2648494号公報 特開2011−092690号公報
特許文献1〜3に記載されている血管に関する観察技術は、内視鏡診断において有用である。特に、特許文献3で開示されている、酸素飽和度情報と血管深さ情報を同時に取得する技術は、血管の深さの影響を排除した精度の高い酸素飽和度の測定を可能にする技術であり、腫瘍の良悪鑑別など病変部の性状を正確に見極める上で極めて有用であることが明らかになってきている。また、特許文献3においては、青色領域の狭帯域光を用いることで、表層血管について良好な観察を可能にしている。腫瘍の良悪鑑別に際しては、中深層よりも表層血管の性状の把握が重要である場合も多く、特許文献3の技術は、表層血管の性状を詳細に把握できる有用な技術として期待されている。
こうした電子内視鏡システムをユーザがより利用しやすいものとするためには、開発コストや製造コストの低減が求められるため、キセノンランプ、ハロゲンランプ、メタルハライドランプなど、既存の光源装置に搭載されている白色光源をできるだけ有効利用する方策が要望されていた。
特許文献3に記載されているように、酸素飽和度情報と血管深さ情報を同時に取得するためには、観察部位に対して波長域が異なる3つの光を照射して、それらの反射光の輝度を表す3つの信号が必要である。特許文献3には、3つの信号を取得する方式の1つとして、3つの光をそれぞれ発する専用の3つの半導体光源を設ける構成や、白色光源を利用して、3つの光をすべてフイルタによって白色光を色分離して生成する構成が記載されている。専用の3つの半導体光源を設ける構成は、既存の光源装置の構成を有効利用するという観点で改良の余地が残されていた。
また、3つの光をすべてフイルタによって色分離して生成する方式は、光量が不足する懸念があった。というのは、酸素飽和度を精度よく測定するためには、波長域が狭い狭帯域光が必要になるが、白色光を色分離して狭帯域光を生成すると、波長域が狭いため、十分な光量が得られない場合があるためである。光量不足も測定精度低下の原因になる。この対策としては、色分離により白色光から狭帯域光を生成して必要な光量が得られる程度に発光量が大きな白色光源を用いることが考えられるが、こうした大光量の白色光源は、通常観察においてはオーバースペックになるため無駄が多いばかりでなく、特殊なものになるため、既存の光源装置構成を利用する観点からも問題が残る。
特許文献1〜3のいずれにおいても、既存の光源装置を有効利用してコストを低減するという課題については明示も示唆もされていない。
本発明は、上記課題を鑑みてなされたものであり、その目的は、血管深さ情報と酸素飽和度情報の両方を観察可能な電子内視鏡システムにおいて、主として表層血管に関する良好な測定精度を確保しつつ、既存の光源装置の構成を利用しやすい形態とすることにある。
本発明の電子内視鏡システムは、被検体内に挿入される挿入部を有し、前記被検体内の観察部位を撮像する撮像素子を有する電子内視鏡と、前記電子内視鏡に撮像用の光を供給する光源装置であり、前記観察部位の通常観察画像を得るための照明光に利用される白色光を発する白色光源と、前記観察部位に存在する血管の血中ヘモグロビンの酸素飽和度を表す酸素飽和度情報と、前記観察部位の表面からの前記血管の深さを表す血管深さ情報とを含む血管情報を取得するために前記観察部位に照射される光であり、ともに青色領域の一部の狭い波長域で、かつ、それぞれが異なる波長域を有する第1及び第2の青色狭帯域光を発する第1及び第2の半導体光源とを有し、前記第1及び第2の青色狭帯域光を前記電子内視鏡に供給し、かつ、前記第1及び第2の青色狭帯域光の反射光を受光して前記撮像素子が出力する第1及び第2の撮像信号の比較に利用される参照信号を得るための参照光として、前記白色光源が発する前記白色光に含まれる少なくとも一部の波長域の光を前記電子内視鏡に供給する光源装置と、前記第1及び第2の撮像信号と前記参照信号の3つの信号に基づいて、前記血管情報を求めるプロセッサ装置とを備えていることを特徴とする。
前記光源装置は、前記白色光源が発する白色光を前記電子内視鏡に入射させるために前記白色光を集光する集光レンズと、前記白色光源から前記集光レンズに向かう前記白色光の光路上に配置され、前記第1及び第2の半導体光源が発する第1及び第2の青色狭帯域光を前記白色光の光路に合流させる光合流部とを有していることが好ましい。
前記光合流部は、前記白色光を透過する透過部と、前記第1及び第2の青色狭帯域光を前記集光レンズに向けて反射する反射部とを有していることが好ましい。
前記光源装置は、前記白色光の光路に挿入されて前記白色光を遮光する挿入位置と前記光路から退避する退避位置との間で移動可能なシャッタとを有しており、前記血管情報を取得する際に、前記シャッタを前記挿入位置に移動して前記白色光を遮光した状態で、前記第1及び第2の青色狭帯域光を前記電子内視鏡に供給し、前記シャッタを前記退避位置に移動して、前記参照光を前記電子内視鏡に供給することが好ましい。
前記撮像素子は、例えば、単色の撮像信号を出力するモノクロ撮像素子であり、前記光源装置は、例えば、青色、緑色、赤色の三色、またはイエロー、マゼンタ、シアンの三色の透過領域を有し、三色の各透過領域を前記白色光の光路に選択的に挿入して、前記白色光を三色の光に色分離するフイルタを有しており、前記通常観察画像を撮像する際に、前記三色の光を順次前記電子内視鏡に供給する面順次式である。前記フイルタには、前記三色の透過領域に加えて、前記シャッタを構成する遮光部が設けられていることが好ましい。
前記撮像素子は、例えば、青色、緑色、赤色の三色、またはイエロー、マゼンタ、シアンの三色の画素を有し、各色の画素に対応した三色の画像信号を出力するカラー撮像素子であり、前記光源装置は、例えば、前記通常観察画像を撮像する際に、前記白色光を色分離せずに前記電子内視鏡に供給する同時式である。
前記第1及び第2の青色狭帯域光の2つの波長は、還元ヘモグロビンと酸化ヘモグロビンのそれぞれの吸光スペクトルにおいて、それぞれの吸光度に差が生じる波長である。前記2つの波長は、還元ヘモグロビンと酸化ヘモグロビンのそれぞれの吸光度の大小関係が逆転していることが好ましい。
前記第1青色狭帯域光の波長は440±10nmであり、前記第2青色狭帯域光の波長は470±10nmであることが好ましい。
前記プロセッサ装置は、前記第1撮像信号と前記参照信号の比である第1輝度比と、第2撮像信号と前記参照信号の比である第2輝度比とに基づいて、前記血管情報を求めることが好ましい。
前記第1及び第2輝度比と、前記血管の深さ及び前記酸素飽和度との相関関係を予め記憶する記憶手段を備えており、前記プロセッサ装置は、前記相関関係に基づいて前記血管情報を求めることが好ましい。
前記相関関係は、2つの座標軸にそれぞれ前記第1及び第2輝度比を割り当てた輝度座標系と、2つの座標軸にそれぞれ血管の深さ及び酸素飽和度を割り当てた血管情報座標系との対応関係を表しており、前記プロセッサ装置は、前記輝度座標系において、前記第1及び第2輝度比に対応する第1座標を特定し、前記血管情報座標系において、前記第1座標を、前記酸素飽和度の座標軸と前記血管の深さの座標軸にそれぞれ射影することにより第2座標を特定して、前記酸素飽和度情報と前記血管深さ情報とを求めることが好ましい。
前記プロセッサ装置は、前記酸素飽和度情報及び前記血管深さ情報のうち少なくとも1つを表す画像を生成する画像生成手段と、生成された画像を表示手段に出力する表示制御手段とを備えていることが好ましい。
本発明の光源装置は、被検体内に挿入される挿入部を有し、前記被検体内の観察部位を撮像する撮像素子を有する電子内視鏡を有する電子内視鏡システムに用いられ、前記電子内視鏡に撮像用の光を供給する光源装置において、前記観察部位の通常観察画像を得るための照明光に利用される白色光を発する白色光源と、前記観察部位に存在する血管の血中ヘモグロビンの酸素飽和度を表す酸素飽和度情報と、前記血管に関する、前記観察部位の表面からの深さを表す血管深さ情報とを含む血管情報を取得するために前記観察部位に照射され、ともに青色領域の一部の狭帯域で、かつ、それぞれが異なる波長域を有する第1及び第2の青色狭帯域光を発する第1及び第2の半導体光源とを有し、前記第1及び第2の青色狭帯域光を前記電子内視鏡に供給し、かつ、前記第1及び第2の青色狭帯域光の反射光を受光して前記撮像素子が出力する第1及び第2の撮像信号の比較に利用される参照信号を得るための参照光として、前記白色光源が発する前記白色光に含まれる少なくとも一部の波長域の光を前記電子内視鏡に供給することを特徴とする。
本発明の電子内視鏡システムの作動方法は、被検体内に挿入される挿入部を有し、前記被検体内の観察部位を撮像する撮像素子を有する電子内視鏡と前記電子内視鏡に撮像用の光を供給する光源装置とを有する電子内視鏡システムであって、前記観察部位に存在する血管の血中ヘモグロビンの酸素飽和度を表す酸素飽和度情報と、前記血管に関する、前記観察部位の表面からの深さを表す血管深さ情報とを含む血管情報を取得するための電子内視鏡システムの作動方法において、前記光源装置が有する第1及び第2の半導体光源が発する第1及び第2の青色狭帯域光であり、ともに青色領域の一部の狭帯域で、かつ、それぞれが異なる波長域を有する第1及び第2の青色狭帯域光が前記観察部位に照射されるように前記光源装置を制御する第1照射制御ステップと、前記第1及び第2の青色狭帯域光の反射光を受光した前記撮像素子が出力する第1及び第2の撮像信号を取得する第1信号取得ステップと、前記光源装置が有する白色光源が発光する白色光に含まれる少なくとも一部の波長域の光が、第1及び第2の撮像信号の比較に利用される参照信号を得るための参照光として前記観察部位に照射されるように前記光源装置を制御する第2照射制御ステップと、前記参照光の反射光を受光した前記撮像素子が出力する参照信号を取得する第2信号取得ステップと、前記第1及び第2の撮像信号と前記参照信号の3つの信号に基づいて、前記血管情報を求めるステップとを含むことを特徴とする。
本発明によれば、半導体光源が発する第1及び第2の青色狭帯域光と、白色光源が発する白色光とを利用して、酸素飽和度情報と血管深さ情報からなる血管情報を取得するので、主として表層血管に関する血管情報について良好な測定精度を確保でき、かつ、既存の光源装置の構成を利用しやすい形態で電子内視鏡システムを提供することができる。
本発明の第1実施形態の電子内視鏡システムの外観図である。 第1実施形態の電子内視鏡システムの電気的構成を示すブロック図である。 ロータリフイルタの説明図である。 光合流部の説明図である。 シャッタ板の説明図である。 通常観察モードにおける光源装置の動作の説明図である。 血管情報取得モードにおける光源装置の動作の説明図である。 原色系カラーフイルタの分光透過率と、白色光BB及び第1及び第2狭帯域光N1、N2の光強度分布を示すグラフである。 (A)は通常観察モード時におけるCCDの撮像動作を、(B)は血管情報取得モード時におけるCCDの撮像動作を説明する説明図である。 ヘモグロビンの吸収係数を示すグラフである。 第1及び2輝度比S1/S3,S2/S3と血管深さ及び酸素飽和度との相関関係を示すグラフである。 (A)は第1及び第2輝度比S1/S3,S2/S3から輝度座標系における座標(X,Y)を求める方法を、(B)は座標(X,Y)に対応する血管情報座標系の座標(U,V)を求める方法を説明する説明図である。 血管深さ画像又は酸素飽和度画像のいずれか一方が表示される表示形態の説明図である。 血管深さ画像又は酸素飽和度画像の両方が同時表示される表示形態の説明図である。 血管に関する血管深さ情報及び酸素飽和度情報が文字情報として同時表示される表示形態の説明図である。 電子内視鏡システムの動作手順を示すフローチャートである。 第2実施形態のシャッタ機能を有するロータリフイルタの説明図である。 図17とは別のシャッタ機能を有するロータリフイルタの説明図である。 第3実施形態のカラーCCDの説明図である。 第3実施形態の光源装置の説明図である。 第3実施形態におけるCCDの撮像動作を説明する説明図である。 補色系のカラーフイルタの分光透過率と、白色光BB、及び第1及び第2狭帯域光N1、N2の光強度分布を示すグラフである。
[第1実施形態]
図1に示すように、本発明の第1実施形態の電子内視鏡システム10は、被検体内の観察部位を撮像する電子内視鏡11と、撮像により得られた信号に基づいて観察部位の観察画像を生成するプロセッサ装置12と、観察部位を照射する光を供給する光源装置13と、観察画像を表示するモニタ14とを備えている。
電子内視鏡システム10は、白色光のもとで観察部位を観察する通常観察モードと、特殊光を利用して、観察部位に存在する血管に関する酸素飽和度情報及び血管深さ情報を含む血管情報を取得する血管情報取得モードの2つの動作モードを備えている。
電子内視鏡11は、被検体内に挿入される可撓性の挿入部16と、挿入部16の基端部分に設けられた操作部17と、操作部17とプロセッサ装置12及び光源装置13との間を連結するユニバーサルコード18とを備えている。
挿入部16は、先端から順に連設された、先端部16a、湾曲部19、可撓管部からなる。先端部16aの先端面には、観察部位に照明光を照射する照明窓49(図2参照)、観察部位で反射した像光が入射する観察窓50(図2参照)、鉗子や電気メスといった処置具を突出させる鉗子出口などが設けられている。観察窓50の奥には、撮像素子であるCCD44(図2参照)や結像用の光学系が内蔵されている。
湾曲部19は、連結された複数の湾曲駒からなり、操作部のアングルノブ21を操作することにより、上下左右方向に湾曲動作する。湾曲部19が湾曲することにより、先端部16aの向きが所望の方向に向けられる。可撓管部は、食道や腸など曲がりくねった管道に挿入できるように可撓性を有している。挿入部16には、CCD44を駆動する駆動信号やCCD44が出力する撮像信号を通信する通信ケーブルや、光源装置13から供給される照明光を照明窓49に導光するライトガイド43(図2参照)が挿通されている。
また、操作部17には、アンブルノブ26の他、処置具を挿入するための鉗子口22、送気・送水操作を行う送気・送水ボタン、静止画像を撮影するためのレリーズボタンなどが設けられている。
ユニバーサルコード18には、挿入部16から延設される通信ケーブルやライトガイド43が挿通されており、一端には、プロセッサ装置12および光源装置13側にコネクタ24が取り付けられている。コネクタ24は、通信用コネクタと光源用コネクタからなる複合タイプのコネクタであり、通信用コネクタには通信ケーブルの一端が、光源用コネクタにはライトガイド43の一端がそれぞれ配設される。電子内視鏡11は、このコネクタ24を介して、プロセッサ装置12および光源装置13に着脱自在に接続される。
図2に示すように、光源装置13は、白色光源30と、半導体光源ユニット31と、これらを駆動制御する光源制御部32とを備えている。光源制御部32は、光源装置13の各部の駆動開始、終了、駆動タイミング、同期タイミングなどの制御を行う。
白色光源30は、キセノンランプ、ハロゲンランプ、メタルハライドランプなど、赤色領域から青色領域(約400〜700nm)にわたる広い波長域において発光スペクトルが連続する広帯域光(白色光)BBを発生する。白色光源30は、既存の光源装置の多くに搭載されているものと同様であり、既存の光源装置からの部品の流用が可能である。
白色光源30は、白色光BBを放射するランプ30aと、ランプ30aが放射する白色光BBを出射方向に向けて反射するリフレクタ30bとからなる。キセノンランプやハロゲンランプなどの白色光源は、点灯開始から光量が安定するまでに時間が掛かるため、白色光源30は、光源装置13の電源が投入されると点灯を開始し、電子内視鏡11の使用中、常時点灯する。また、白色光源30の光路上には、絞り33が配置されており、白色光源30の光量制御は絞り33の開度を調節することによって行われる。
白色光源30が発光する白色光BBの光路には、ロータリフイルタ34が配置されている。図3に示すように、ロータリフイルタ34は、円板形状をしており、円周方向に3分割されて中心角が120°の扇形の領域に、それぞれB、G、Rの光を透過するBフイルタ部34a、Gフイルタ部34b、Rフイルタ部34cの三色のカラーフイルタが設けられている。
ロータリフイルタ34は、Bフイルタ部34a、Gフイルタ部34b、Rフイルタ部34cが選択的に白色光BBの光路に挿入されるように回転自在に設けられている。モータ34dは、ロータリフイルタ34を回転させるための駆動源である。ロータリフイルタ34が回転すると、各色のフイルタ部34a、Gフイルタ部34b、Rフイルタ部34cが順次白色光BBの光路に挿入される。光源装置13は、白色光の下で観察部位を観察する通常観察モードにおいて、白色光源30の光をロータリフイルタ34でB、G、Rの三色の光に色分離して生成し、生成した三色の光を電子内視鏡11に対して順次供給する、いわゆる面順次方式である。
電子内視鏡11のCCD44(図2参照)は、撮像面にマイクロカラーフイルタが設けられていないモノクロの撮像素子であり、光源装置13から順次供給される三色の光に対応する三色の撮像信号を順次出力する。ロータリフイルタ34の回転速度や各フイルタ部34a、34b、34cの大きさは、CCD44の1画面分の撮像信号を出力する間隔を規定するフレームレートに応じて決められる。
白色光BBの光路において、ロータリフイルタ34の下流側には、絞り33、集光レンズ36、ロッドインテグレータ37が配置されている。絞り33は、光を遮光する遮光板と遮光板を変位させるアクチュエータ(図示せず)からなり、遮光板で白色光BBの光路の一部を遮光することにより光量を制御する。光源制御部32は、CCD44が出力する撮像信号をプロセッサ装置12から受け取り、撮像信号からCCD44の撮像面における露光量を求めて、絞り33の絞り量を決定する。絞り33は、決定した絞り量に応じて絞り径や光路への挿入量を調節して光量を制御する。
集光レンズ36は、絞り33を通過した光を集光して、ロッドインテグレータ37に入射させる。ロッドインテグレータ37は、入射した光を内部で多重反射させることにより面内光量分布を均一化して、光源装置13に接続された電子内視鏡11のライトガイド43の入射端面に光を入射させる。
半導体光源ユニット31は、血管情報を取得するため血管情報取得モードにおいて、特殊光を発する特殊光光源であり、それぞれレーザダイオードからなる第1及び第2のレーザ光源31a、31b、光ファイバ31c、カプラー31d、コリメータレンズ31eを有する。第1及び第2のレーザ光源31a、31bは、ともに青色領域の一部の狭い波長域の青色狭帯域光を発光する。
第1のレーザ光源31aは、波長域が440±10nmに、好ましくは445nmに制限された狭帯域の光(以下「第1狭帯域光N1」とする)を、第2のレーザ光源31bは、波長域が470±10nmに、好ましくは473nmに制限された狭帯域の光(以下「第2狭帯域光N2」とする)を発光する。第1及び第2のレーザ光源31a、32aに用いるレーザダイオードとしては、ブロードエリア型のInGaN系、InGaNAs系、GaNAs系のレーザダイオードを用いることができる。
半導体光源ユニット31は、光源制御部32の制御により、第1のレーザ光源31aと第2のレーザ光源31bの点灯及び消灯を行って、第1狭帯域光N1と第2狭帯域光N2を選択的に発生させる。
光ファイバ31cは、各レーザ光源31a、31bが発する狭帯域光を導光して、カプラー31dに入射させる。カプラー31dは、各光ファイバ31cから入射する第1及び第2の狭帯域光N1、N2の光軸を一致させるためのもので、カプラー31dを出射した各狭帯域光N1、N2は、コリメータレンズ31eに入射する。コリメータレンズ31eは、第1及び第2の狭帯域光N1、N2を平行光束にすると共に、光束のサイズ及び形状を整形する。
白色光BBの光路において、ロータリフイルタ34と絞り33の間には、半導体光源ユニット31が発生する第1狭帯域光N1、N2を白色光BBの光路に合流させる光合流部39が配置されている。半導体光源ユニット31から出射直後の第1狭帯域光N1、N2の出射光軸NAは、白色光BBの光軸BAと直交しており、光合流部39は、出射光軸NAを90°屈曲させて、第1狭帯域光N1、N2の光路を白色光BBの光路に合流させる。
図4に示すように、光合流部39は、白色光BBに対する透過性を有する平板部材をベースに、その片面の中央部に第1及び第2の狭帯域光N1、N2を反射する反射部材を設けたものであり、平板部材のうち反射部材が設けられていない部分が透過部39aを構成し、反射部材が設けられた部分が反射部39bを構成する。反射部39bは、第1及び第2の狭帯域光N1、N2のみを反射し、その他の白色光BBは透過するダイクロイックミラーで形成される。
光合流部39は、反射部39bの中心と白色光BBの光軸BAを一致させて、かつ、白色光BBの進行方向に向けて45°傾斜して配置されている。この傾斜により光合流部39は、白色光BBの光束を斜めに横切るように配置されることになるため、その平面形状は、光束を斜めに切断したときの切断面の形状に合わせて楕円形状をしている。
第1及び第2狭帯域光N1、N2の光束は、コリメータレンズ31eによって反射部39bのサイズ及び形状に整形される。光合流部39は、第1及び第2狭帯域光N1、N2の出射光軸NAに対しても45°傾斜して配置されるので、その傾斜に合わせて反射部39bの形状も楕円形状となっている。
反射部39bは、白色光BBのうち第1及び第2狭帯域光N1、N2に対応する波長成分を透過させないため、ロータリフイルタ34のBフイルタ34b部を透過して光合流部39を透過するB色光の光量分布は不均一なものとなる。しかし、ロッドインテグレータ37の内部において光量分布が均一化されるため、電子内視鏡11に供給されるB色光の光量ムラは低減される。
図2において、白色光源30とロータリフイルタ34の間には、シャッタ板40が配置されている。シャッタ板40は、第1狭帯域光N1及び第2狭帯域光N2を電子内視鏡11に供給するときに、白色光BBを遮光するものである。
図5に示すように、シャッタ板40は、白色光BBに対する遮光性を有する部材からなり、平面形状は、円形の一部を切り欠いた形状をしている。具体的には、シャッタ板40は、240°の中心角を持つ遮光部40aを有しており、残りの120°の部分が切り欠かれて白色光BBを透過する透過部40bとなっている。シャッタ板40は、回転自在に設けられており、回転により、遮光部40aと透過部40bが交互に選択的に白色光BBの光路に挿入されるようになっている。モータ40c(図2参照)は、シャッタ板40の駆動源であり、光源制御部32によって制御される。
シャッタ板40は、ロータリフイルタ34とほぼ同じ半径を有しており、回転軸が一致している。シャッタ板40の透過部40bの中心角は、ロータリフイルタ34のB、G、Rの各フイルタ部34a、34b、34cの中心角とほぼ一致している。なお、本例においては、透過部40bを切り欠きで形成しているが、白色光BBを透過する透明板で透過部40bを構成してもよい。
図6に示すように、通常観察モードにおいては、シャッタ板40は、遮光部40aが白色光BBの光路から退避し、透過部40bが光路に挿入された状態で停止している。白色光源30は常時点灯しているため、透過部40bが白色光BBの光路に進入したときに、白色光BBが透過部40bを透過する。通常観察モードにおいては、白色光BBが透過部40bを常に透過して、ロータリフイルタ34に入射する。そして、白色光BBの光路に挿入されている、B、G、Rの各フイルタ部34a、34b、34cの種類に応じて、B色、G色、R色の三色の光が順次生成される。
図7に示すように、血管情報取得モードにおいては、シャッタ板40は、透過部40bとGフイルタ部34bの回転位相が一致するように、ロータリフイルタ34と同じ速度で回転する。これにより、透過部40bが白色光BBの光路に挿入されて、遮光部40aが光路から退避している間、白色光BBはGフイルタ部34bを透過してG色光が生成される。G色光は、集光レンズ36及びロッドインテグレータ37を通過して電子内視鏡11に供給される。また、遮光部40aが白色光BBの光路に挿入されて、透過部40bが光路から退避している間、白色光BBが遮光される。白色光BBが遮光されている間に、第1及び第2のレーザ光源31a、31bが順次点灯して、第1及び第2狭帯域光N1、N2が電子内視鏡11に供給される。CCD44はモノクロの撮像素子であるため、シャッタ板40を設けることにより、第1及び第2狭帯域光N1、N2と白色光BBの混色が防止される。
このように血管情報取得モードにおいては、第1及び第2狭帯域光N1、N2と、白色光BBから色分離されたG色光の3種類の光が順次電子内視鏡11に供給される。電子内視鏡11は、3種類の光に対応する撮像信号をCCD44から出力する。G色光は、通常観察モードに加えて、血管情報取得モードにおいても利用される。具体的には、後述するように、第1及び第2狭帯域光N1、N2に対応する2つの信号を比較するための参照信号を得るための参照光として利用される。
図2において、電子内視鏡11は、ライトガイド43、CCD44、アナログ処理回路45(AFE:Analog Front End)、撮像制御部46を備えている。ライトガイド43は大口径光ファイバ、バンドルファイバなどであり、ライトガイド43の入射端が配置されたコネクタ24(図1参照)が光源装置13に接続されたときに、入射端が光源装置13のロッドインテグレータ37の出射端と対向する。
電子内視鏡11の先端部16aに設けられた照明窓49の奥には、照明光の配光角を調整する照射レンズ48が配置されている。光源装置13から供給された光はライトガイド43により照射レンズ48に導光されて照明窓49から観察部位に向けて照射される。先端部16aには観察窓50が設けられており、観察窓50の奥には、対物光学系51とCCD44が配置されている。観察部位で反射した像光は、観察窓50を通して対物光学系51に入射し、対物光学系51によってCCD44の撮像面44aに結像される。
CCD44は、周知の通り、フォトダイオードなどの画素を構成する複数の光電変換素子がマトリックスに配列された撮像面44aを有しており、撮像面44aで受光した光を光電変換して、各画素においてそれぞれの受光量に応じた信号電荷を蓄積する。信号電荷は、垂直転送路及び水平転送路によって転送された後、電圧信号として読み出される。電圧信号は撮像信号としてCCD44から出力される。撮像信号は、AFE45に送られる。上述のとおり、CCD44は、撮像面44aにマイクロカラーフイルタが設けられていないモノクロ撮像素子である。
図8に示すように、通常観察モードにおいては、白色光BBは、ロータリフイルタ34によって、そのB、G、Rの各色のフイルタ部34a、34b、34cの分光透過率に応じた、波長域及び光量の三色の光が順次生成される。CCD44は、順次入射するB、G、Rの各色に対応する撮像信号B、G、Rを出力する。そして、血管情報取得モードにおいては、第1狭帯域光N1、N2と、Gフイルタ部34bによって色分離されたG色光がCCD44に順次入射して、CCD44は、各色に対応する撮像信号N1、N2、Gを順次出力する。
図9(A)に示すように、CCD44は、1フレームの取得期間内で、信号電荷を蓄積する蓄積動作と、蓄積した信号電荷を読み出す読み出し動作が行なわれる。通常観察モードにおいては、B、G、Rの三色の像光を順次撮像して、撮像信号B、G、Rを順次出力する。こうした動作は、通常観察モードに設定されている間、繰り返される。
血管情報取得モードにおいては、図9(B)に示すように、第1狭帯域光N1、第2狭帯域光N2、G色光の3つの光の像光を順次撮像して、撮像信号N1、N2、Gを順次出力する。こうした動作が血管情報取得モードに設定されている間、繰り返される。
図2において、AFE45は、相関二重サンプリング回路(CDS)、自動ゲイン制御回路(AGC)、及びアナログ/デジタル変換器(A/D)(いずれも図示省略)から構成されている。CDSは、CCD44からの撮像信号に対して相関二重サンプリング処理を施し、信号電荷のリセットに起因するノイズを除去する。AGCは、CDSによりノイズが除去された撮像信号を増幅する。A/Dは、AGCで増幅された撮像信号を、所定のビット数に応じた階調値を持つデジタルな撮像信号に変換してプロセッサ装置12に入力する。
撮像制御部46は、プロセッサ装置12内のコントローラ59に接続されており、コントローラ59から入力されるベースクロック信号に同期して、CCD44に対して駆動信号を入力する。CCD44は、撮像制御部46からの駆動信号に基づいて、所定のフレームレートで撮像信号をAFE45に出力する。
プロセッサ装置12は、デジタル信号処理部55(DSP(Digital Signal Processor))と、フレームメモリ56と、血管画像生成部57と、表示制御回路58を備えており、コントローラ59が各部を制御している。DSP55は、電子内視鏡11から出力された撮像信号に対して、ガンマ補正などの画像補正を施して画像データを作成する。フレームメモリ56は、DSP55で作成された画像データを記憶する。
また、DSP55は、通常観察モードにおいては、順次入力される撮像信号B、G、Rに対応する三色の画像データに基づいて、通常観察画像を生成する。通常観察画像は、フレームレートに従って撮像信号B、G、Rが更新される毎に生成される。表示制御回路58は、通常観察画像をコンポジット信号やコンポーネント信号などのビデオ信号に変換してモニタ14に出力する。
血管情報取得モードにおいては、血管画像生成部57が、撮像信号N1、N2、Gに対応する3つの画像データに基づいて、以下の画像処理を施すことにより、酸素飽和度情報を画像化した酸素飽和度画像と、血管深さ情報を画像化した血管深さ画像を生成する。
血管画像生成部57は、輝度比算出部60と、相関関係記憶部61と、血管深さ−酸素飽和度算出部62と、血管深さ画像生成部63と、酸素飽和度画像生成部64とを備えている。輝度比算出部60は、フレームメモリ56に記憶した、撮像信号N1、N2、Gに対応する画像データN1、N2、Gを照合して、血管領域の同じ位置の画素について、画像データN1と画像データGの第1輝度比S1/S3を求めるとともに、画像データN2と画像データGと間の第2輝度比S2/S3を求める。
ここで、S1は画像データN1の画素の輝度値を、S2は画像データN2の画素の輝度値を、S3は画像データGの画素の輝度値を表している。輝度値S3は、観察部位の明るさのレベルを表すものであり、輝度値S1、S2を比較するために、輝度値S1、S2の値を規格化するための参照信号である。
血管領域の特定方法としては、例えば、血管部分の輝度値とそれ以外の輝度値の差から血管領域を求める方法がある。なお、本例においては、第1輝度比S1/S3と第2輝度比S2/S3を、血管領域のみについて求めているが、血管領域以外の画素を含む画像全体について求めてもよい。
相関関係記憶部61は、第1及び第2輝度比S1/S3、S2/S3と、血管中の酸素飽和度及び血管深さとの相関関係を記憶している。この相関関係は、図10に示す、血中のヘモグロビンの吸光スペクトルを前提とする相関関係であり、これまでの診断等で蓄積された多数の画像データN1、N2を分析することにより得られたものである。図10に示すように、ヘモグロビンは、照射する光の波長によって吸光係数μaが変化する吸光特性を持っている。吸光係数μaは、ヘモグロビンの光の吸収の大きさである吸光度を表すもので、ヘモグロビンに照射された光の減衰状況を表すIexp(−μa×x)の式の係数である。ここで、Iは光源装置から観察部位の表層粘膜など生体組織に照射される光の強度であり、x(cm)は生体組織内の血管までの深さである。
また、酸素と結合していない還元ヘモグロビン70と、酸素と結合した酸化ヘモグロビン71は、異なる吸光特性を持っており、同じ吸光度(吸光係数μa)を示す等吸収点(図10における各ヘモグロビン70、71の交点)を除いて、吸光度に差が生じる。吸光度に差があると、同じ血管に対して、同じ強度かつ同じ波長の光を照射しても、輝度値が変化する。また、同じ強度の光を照射しても、波長が異なれば吸光係数μaが変わるので、輝度値が変化する。
また、図10において、波長が550nm付近の各ヘモグロビン70,71の吸光度の差と、波長が445nm付近の吸光度の差を比較すれば明らかなように、各ヘモグロビン70、71の吸光度の差の大きさも、波長によって変化する。
以上のようなヘモグロビンの吸光特性を鑑みると、酸素飽和度が同じでも、波長が異なれば吸光度も異なり、粘膜中の深達度も異なる。したがって、第1狭帯域光N1、N2のように、ともに各ヘモグロビン70、71の吸光度に差があり、かつ、その差の大きさが異なる2つの波長域の光を利用して、両者の輝度値を比較することで、酸素飽和度と血管深さの2つの情報を同時に得ることができる。
特許文献2に記載されているように、ヘモグロビン70、71の各吸光度に差が生じる1つの波長域の光を用いて、その輝度値から酸素飽和度を測定する方法は従来から行われているが、1つの光の輝度値から求めた酸素飽和度の測定値は、血管深さによる影響を受けるため、精度の高いものではなかった。上記2つの波長域の光を利用する方法によれば、酸素飽和度情報に加えて、血管深さ情報も取得できるため、血管深さによる影響が除去された酸素飽和度の測定値が得られる。
相関関係記憶部61は、図11に示すように、第1及び第2輝度比S1/S3,S2/S3を表す輝度座標系66と、酸素飽和度及び血管深さを表す血管情報座標系67との対応関係を表す相関関係を記憶している。輝度座標系66は、XYの2軸を持つXY座標系であり、X軸に第1輝度比S1/S3が割り当てられ、Y軸には第2輝度比S2/S3が割り当てられている。
血管情報座標系67は、輝度座標系66上に設けられたUVの2軸を持つUV座標系であり、U軸は血管深さに、V軸は酸素飽和度に割り当てられている。U軸は、血管深さが輝度座標系66に対して正の相関関係があることから、正の傾きを有している。このU軸に関して、右斜め上に行くほど血管は浅いことを、左斜め下に行くほど血管が深いことを示している。一方、V軸は、酸素飽和度が輝度座標系66に対して負の相関関係を有することから、負の傾きを有している。このV軸に関して、左斜め上に行くほど酸素飽和度が低いことを、右斜め下に行くほど酸素飽和度が高いことを示している。
また、血管情報座標系67においては、U軸とV軸とは交点Pで直交している。これは、ヘモグロビンの吸光スペクトルにおいて、第1狭帯域光N1の波長域における吸光度と、第2狭帯域光N2の波長域における吸光度の大小関係が逆転しているためである。即ち、図10に示すように、第1狭帯域光N1の波長域である440±10nmにおいては、還元ヘモグロビン70の吸光係数は、酸化ヘモグロビン71の吸光係数よりも大きくなるのに対して、第2狭帯域光N2の波長域である470±10nmにおいては、酸化ヘモグロビン71の吸光係数のほうが還元ヘモグロビン70の吸光係数よりも大きくなっている。
血管深さ−酸素飽和度算出部62は、相関関係記憶部61の相関関係に基づき、輝度比算出部60で算出された第1及び第2輝度比S1/S3,S2/S3に対応する酸素飽和度と血管深さを特定する。ここで、輝度比算出部60で算出された第1及び第2輝度比S1/S3,S2/S3のうち、血管領域内の画素についての第1輝度比をS1/S3とし、第2輝度比をS2/S3とする。
血管深さ−酸素飽和度算出部62は、図12(A)に示すように、輝度座標系66において、第1及び第2輝度比S1/S3,S2/S3に対応する座標(X,Y)を特定する。座標(X,Y)が特定されたら、図12(B)に示すように、血管情報座標系67において、特定した座標(X,Y)を、酸素飽和度の座標軸であるV軸と、血管深さの座標軸であるU軸にそれぞれ射影して、座標(U,V)を特定する。これにより、血管領域内の画素について、血管深さ情報U及び酸素飽和度情報Vが求まる。
なお、本例においては、第1及び第2狭帯域光N1、N2の波長域として、吸光度の大小関係が逆転している2つの波長域(440±10nmと470±10nm)を使用しているが、吸光度の大小関係が逆転している2つの波長域を用いなくてもよい。ただし、吸光度の大小関係が逆転しない2つの波長域を使用した場合には、二次元空間においてはU軸とV軸とは直交しなくなる。この場合には、例えば、三次元の立体空間を用いてU軸とV軸の関係を規定すれば、輝度座標系66において特定された座標(X,Y)から、血管情報座標系67における座標(U,V)を特定することが可能である。もちろん、U軸とV軸が直交していた方が、相関関係を規定するテーブルデータなど演算に必要なデータを作成しやすいため、第1及び第2狭帯域光N1、N2の波長域としては、吸光度の大小関係が逆転している2つの波長域を使用することが好ましい。
血管深さ画像生成部63は、血管深さの程度に応じてカラー情報が割り当てられたカラーマップ63a(CM(Color Map))を備えている。カラーマップ63aには、例えば、血管の深さが表層のときは青、中層のときは緑、深層のときは赤というように、血管深さの程度に応じて、明瞭に区別することができる色が割り当てられている。ここでいう血管深さは、第1狭帯域光N1、N2の深達度の範囲内における深さである。第1狭帯域光N1、N2は、青色領域であるため、観察部位の表面からの深達度は、より波長が長い赤色領域の光に比べて短いため、第1狭帯域光N1、N2によって、主として表層領域内の深さの程度を判別することができる。血管深さ画像生成部63は、カラーマップ63aから、血管深さ−酸素飽和度算出部62で算出された血管深さ情報Uに対応するカラー情報を特定する。
血管深さ画像生成部63は、血管領域内の全ての画素についてカラー情報が特定されると、カラー情報を、通常観察画像に合成することで、通常観察画像に反映させる。通常観察画像としては、例えば、血管情報取得モードに切り替わる直前にフレームメモリ56に記憶しておいた画像データが使用される。これにより、通常観察画像に対して血管深さの情報が反映された血管深さ画像データが生成される。生成された血管深さ画像データは再度フレームメモリ56に記憶される。なお、カラー情報は、通常観察画像にではなく、血管情報取得モードにおいて得られる、画像データN1、N2、Gのいずれか、あるいはこれらを合成した合成画像に対して反映させてもよい。
酸素飽和度画像生成部64は、酸素飽和度の程度に応じてカラー情報が割り当てられたカラーマップ64a(CM(Color Map))を備えている。カラーマップ64aには、例えば、低酸素飽和度であるときにはシアン、中酸素飽和度であるときにはマゼンダ、高酸素飽和度であるときにはイエローというように、酸素飽和度の程度に応じて、明瞭に区別することができる色が割り当てられている。酸素飽和度画像生成部64は、血管深さ画像生成部と同様に、カラーマップ64aから血管深さ−酸素飽和度算出部で算出された酸素飽和度情報Vに対応するカラー情報を特定する。そして、このカラー情報を通常観察画像データに反映させることにより、酸素飽和度画像データを生成する。生成された酸素飽和度画像データは、血管深さ画像データと同様、フレームメモリ56に記憶される。なお、血管深さ画像と同様に、酸素飽和度画像は、通常観察画像の代わりに、画像データN1、N2、Gやこれらの合成画像をベースにカラー情報を反映させたものでもよい。
表示制御回路58は、通常観察画像と同様に、フレームメモリ56から血管深さ画像や酸素飽和度画像を読み出して、これをビデオ信号に変換してモニタ14に出力する。血管情報取得モードにおける画像の表示形態としては様々なパターンが考えられる。
例えば、図13に示すように、モニタ14の一方の側に通常観察画像72を表示させ、他方の側に、画像切替SW68(図2参照)により選択された血管深さ画像73または酸素飽和度画像74のいずれかを表示させるようにしてもよい。図13の血管深さ画像73では、血管画像75は表層血管を示す青色で、血管画像76は中層血管を示す緑色で、血管画像77は深層血管を示す赤色で表されている。また、酸素飽和度画像74では、血管画像80は低酸素飽和度を示すシアンで、血管画像81は中酸素飽和度を示すマゼンダで、血管画像82は高酸素飽和度を示すイエローで表されている。
また、図14に示すように、血管深さ画像73及び酸素飽和度画像74の両方を同時に表示するようにしてもよい。さらに、図15に示すように、血管深さ画像73及び酸素飽和度画像74を表示せず、通常観察画像72のうち所定の血管画像85を指定し、その指定した血管画像85について血管深さ(D(Depth))及び酸素飽和度(StO(Saturated Oxygen))を文字情報として表示するようにしてもよい。
次に、上記構成による作用を図16に示すフローチャートを用いて説明する。まず、電子内視鏡システム10は通常観察モードで起動されて、白色光源30が点灯を開始するとともに、ロータリフイルタ34が回転を開始する。通常観察モードにおいては、図6に示すように、シャッタ板40は回転せずに、透過部40bが白色光BBの光路に挿入された状態で停止する。これにより、白色光BBは、ロータリフイルタ34の各フイルタ部34a〜34cに順次に入射して、白色光BBが色分離されて、B、G、Rの三色の光が順次生成される。
三色の光は、光源装置13から電子内視鏡11に供給されて、照明窓49から観察部位に照射される。観察部位で反射した三色の像光は、観察窓50を通じてCCD44で撮像され、CCD44は、撮像信号B、G、Rを順次出力する。DSP55は、撮像信号B、G、Rに対応する画像データB、G、Rに基づいて通常観察画像を生成する。生成された通常観察画像は、フレームメモリ56に記憶される。表示制御回路58は、通常観察画像をビデオ信号に変換してモニタ14に出力する。これによりモニタ14に通常観察画像が表示される。通常観察モードにおいては、こうした処理が繰り返されて、モニタ14に表示される通常観察画像が更新される。
コンソール23の操作により、通常観察モードから血管情報取得モードへの切り替え指示が入力されると、血管情報取得モードに切り替えられる。血管情報取得モードに切り替えられると、シャッタ板40が、透過部40bを、ロータリフイルタ34のGフイルタ部34bと回転位相を一致させた状態で、ロータリフイルタ34と同じ速度で回転を開始する。
光源制御部32は、シャッタ板40の遮光部40aが白色光BBの光路に挿入されている間に、CCD44のフレームレートに同期させて、第1及び第2のレーザ光源31a、31bを順次点灯させる。第1及び第2のレーザ光源31a、31bが発する第1及び第2狭帯域光N1、N2は、電子内視鏡11に供給されて、照明窓49から観察部位に順次照射される。第1及び第2狭帯域光N1、N2の像光は、観察窓50を通じてCCD44に入射して、CCD44は、第1及び第2狭帯域光N1、N2に対応する撮像信号N1、N2を出力する。
そして、光源制御部32は、シャッタ板40の透過部40bが白色光BBの光路に挿入されている間は、第1及び第2のレーザ光源31a、31bの両方を消灯させる。透過部40bが光路に挿入されている間、白色光BBがロータリフイルタ34のGフイルタ部34bに入射してG色光が生成される。G色光は、電子内視鏡11に供給されて、観察部位に照射される。G色光の像光が観察窓50を通じてCCD44に入射して、CCD44は、G色光に対応する撮像信号Gを出力する。
血管画像生成部57は、撮像信号N1、N2、Gに対応する画像データN1、N2、Gに基づいて、図12で説明した手順で、酸素飽和度情報及び血管深さ情報を取得する。血管画像生成部57は、これらの情報を、カラーマップ63a、64aを用いて通常観察画像に反映させて、酸素飽和度画像及び血管深さ画像を生成する。生成された画像は、図13〜図15に示したいずれかの表示態様で、モニタ14に表示される。通常観察モードへの切り替え指示があるまで、上記処理が繰り返される。通常観察モードへの切り替え指示が入力された場合には、通常観察モードに復帰する。観察を終了する指示があった場合には、白色光源30、第1及び第2レーザ光源31a、31b、ロータリフイルタ34、シャッタ板40が停止される。
なお、本例においては、血管情報取得モードにおいては、通常観察画像の生成を行わない例で説明したが、血管情報取得モードの実行中に、通常観察画像を得るためのB、G、Rの照射と、血管画像を得るための第1及び第2狭帯域光N1、N2、Gの照射を交互に行って、血管画像の生成と通常観察画像の生成を両方行ってもよい。こうすれば、血管情報取得モードにおいても、通常観察画像を更新することができる。
以上説明したように、本発明においては、青色領域の2つの狭帯域光N1、N2と、白色光BBから色分離されたG色光の3つの光によって、酸素飽和度情報と血管深さ情報を取得している。既存の光源装置の構成である白色光源30の光を参照光として利用しているので、特許文献3に記載の3つの狭帯域光を半導体光源で構成する従来技術と比較して、部品点数、設置スペースの低減が可能となる。これにより、既存の光源装置の構成が利用しやすく、部品点数も低減できるため、コストダウンが可能となる。
また、青色領域の狭帯域光を発する2つのレーザ光源31a、31bを使用しているため、良好な測定精度を確保できる。まず、本発明において、第1狭帯域光N1、N2として、青色領域の光が選択される理由は、腫瘍の良悪鑑別などの病変部の診断においては、中深層よりも表層血管の性状の把握が重要である場合も多く、表層血管の性状を詳細に把握できる観察方法が望まれているためである。こうした要請に応えるため、本発明においては、深達度が浅く、表層血管の情報を良好に取得できる青色領域の光が採用される。
そして、狭帯域光が使用される理由は、次のとおりである。図10に示すヘモグロビンの吸光スペクトルで明らかなように、青色領域においては、緑色領域や赤色領域と比較して、吸光度の変化が急峻であり、波長が少しずれると、吸光度が大きく変化する。また、各ヘモグロビン70、71の吸光度の大小関係に逆転が生じる等吸収点の間隔も狭い。波長域が広いと、大小関係が逆転する2つの領域の信号が混合して、輝度値が平均化されてしまうため、精度の高い情報が得られない。そのため、青色領域の光を利用して表層血管の血管情報を得るためには、2つの等吸収点の間隔に近い幅の波長域、好ましくは、2つの等吸収点の間隔に収まる波長域を持つ狭い狭帯域光を用いる必要がある。
さらに、表層血管は、中深層血管と比較して細いため、照射される光量が不足しがちであり、表層血管を観察する場合には、光量が大きな光源が必要になる。
このように、表層血管に関する血管情報の測定精度を高めるには、青色領域の狭帯域光で、かつ高い光量の光を発する光源が適しており、こうした理由から、本発明においては、第1及び第2狭帯域光N1、N2を発光可能な第1及び第2のレーザ光源31a、31bを採用している。第1及び第2のレーザ光源31a、31bを用いることで、白色光BBをフイルタで色分離する場合と比較して、大光量の狭帯域光N1、N2が得られる。
参照光は、第1及び第2狭帯域光N1、N2に対応する輝度値S1、S2を規格化するための参照信号(輝度値S3)として利用されるものであるので、観察部位の明るさのレベルが分かればよいので、白色光BBから色分離したG色光を用いても実用上問題はない。なお、上記実施形態において、G色光を参照光として利用している例で説明しているが、参照光は明るさのレベルが分かればよいので、G色光の代わりに、Bフイルタ部34a、Rフイルタ34bで白色光BBを色分離した、B色光やR色光を利用してもよいし、白色光BBを色分離せずに、白色光BBそのものを使用してもよい。
なお、本例においては、第1狭帯域光N1として、波長域が440±10nm、好ましくは445nm、第2狭帯域光N2として、波長域が470±10nm、好ましくは473nmの狭帯域光を使用しているが、上述したとおり、ともに各ヘモグロビン70、71の吸光度に差があり、かつ、その差の大きさが異なる2つの波長域の光であれば、他の波長域でもよい。
また、上記実施形態においては、半導体光源ユニット31の狭帯域光N1、N2を、光合流部39によって、白色光源30から集光レンズ36へ向かう白色光BBの光路に合流させている。白色光源30、ロータリフイルタ34、集光レンズ36を設ける構成は、既存の光源装置では標準的な構成である。上記実施形態のような構成であれば、白色光BBの光路に大幅な変更を加えずに、光合流部39とシャッタ板40を追加するだけで済むため、既存の光源装置に組み込みやすい。
また、光合流部39は、白色光を透過する透過部39aと、第1及び第2狭帯域光N1、N2を反射させる反射部39bとを有するため、構成の複雑化を防止できる。というのは、光合流部39を反射部39bのみで構成した場合には、通常観察モードにおいては光合流部39を光路から退避させ、血管情報取得モードにおいては光路に挿入させるというように、光合流部39を移動させるための移動機構が必要になる。光合流部39に透過部39aを設ければ、移動機構を設けずに済むため、既存の光源装置に追加する構成を簡素にできるので、既存の光源装置を利用しやすい。
なお、反射部39bは、白色光BBに含まれる、第1及び第2狭帯域光N1、N2の波長域の光を透過させないため、反射部39bのサイズが大きい場合には、その波長域について無視できない程度の光量の低下を招く懸念もある。その場合には、通常観察モードにおいて、B色光を照射するときに第1及び第2のレーザ光源31a、31bを点灯させて、反射部39bでカットされる光量を補ってもよい。
また、シャッタ板40を回転板で構成して、回転動作により遮光部40aの光路への挿入と退避を行っているが、例えば、シャッタ板40を直線的に移動させて挿入と退避を行ってもよい。しかし、本例のようにシャッタ板40を回転動作させる構成によれば、直線移動させる場合と比較して、直線移動させるためのリンク機構が不要な分、構成を簡素化できる。
[第2実施形態]
上記実施形態では、ロータリフイルタ34とシャッタ板40を別々に設けた例で説明したが、図17に示すように、シャッタ板の機能を設けたロータリフイルタ91を使用してもよい。ロータリフイルタ91は、内周領域と外周領域の2つの領域からなる二重円で構成されている。内周領域には、B、G、Rのフイルタ部が設けられており、外周領域には遮光部とGフイルタ部が設けられている。内周領域は、上記実施形態のロータリフイルタ34として機能し、外周領域は、上記実施形態のシャッタ板40として機能する。移動機構92は、ロータリフイルタ91の回転軸を移動させることにより、内周領域と外周領域を白色光BBの光路に選択的に挿入する。こうしたロータリフイルタ91を用いれば、ロータリフイルタ34とシャッタ板40を別々に設けずに済むので、部品点数や配置スペースを低減できる。
また、図18に示すロータリフイルタ93のように、内周領域と外周領域に分けずに、全周を6分割して、通常観察用のB,G1,Rの各フイルタ部の間に、血管情報取得用の2つの遮光部と、G2フイルタ部の3つの領域を設けてもよい。2つの遮光部は、第1及び第2の狭帯域光N1、N2用にそれぞれ割り当てられる。G1とG2は、同じ分光透過率でもよいし、異なっていてもよい。こうした構成であれば、移動機構92は不要である。
[第3実施形態]
上記実施形態では、電子内視鏡11のCCD44としてモノクロ撮像素子を用い、光源装置13に、白色光BBをB、G、Rの三色の光に色分離するロータリフイルタを設けた面順次式の例で説明したが、電子内視鏡11のCCDとして、図19に示すような、カラーCCD100を用いた同時式のシステムに本発明を適用してもよい。カラーCCD100は、撮像面を構成する各画素に、B、G、Rのいずれかのマイクロカラーフイルタが設けられており、撮像面内にB、G、Rの三色の画素が構成される。三色の画素は、例えばベイヤー形式で配列される。
図20に示すように、同時式の場合には、光源装置13にはロータリフイルタ34が不要となる。その他の構成は、図6及び7に示す面順次式と同様であるので、同一部材については同じ符号を付して説明を省略する。
図21(A)に示すように、通常観察モードにおいて、同時式の光源装置13は、電子内視鏡11に対して白色光BBを供給する。白色光BBは、照明窓49から観察部位に照射されて、その反射光をカラーCCD100で撮像する。カラーCCD100に入射する白色光BBは、マイクロカラーフイルタによって色分離されて、カラーCCD100は、B、G、Rの各色の画素に対応する三色の色信号を含んだ撮像信号を出力する。B、G、Rの各マイクロカラーフイルタの分光透過率は、図8に示すロータリフイルタ34の場合と同様である。
図21(B)に示すように、血管情報取得モードの場合には、シャッタ板40を回転させて、シャッタ板40の遮光部40aで白色光BBを遮光している間に、第1及び第2レーザ光源31a、31bを順次点灯させて、第1及び第2狭帯域光N1、N2を順次照射する。図8に示すように、第1狭帯域光N1は、B画素が感応する光であるので、B画素に対応する撮像信号を撮像信号N1として抽出する。第2狭帯域光N2は、B画素及びG画素が感応する光であるので、B画素及びG画素に対応する撮像信号を撮像信号N2として抽出する。これにより、第1及び第2狭帯域光N1、N2に対応する撮像信号N1、N2が得られる。
そして、シャッタ板40の遮光部40aが白色光BBの光路から退避している間に、白色光BBが照射される。血管画像生成部57は、カラーCCD100が出力する撮像信号からG画素に対応する撮像信号Gを抽出する。そして、図12で説明した手順に従って、撮像信号N1、N2、Gに基づいて血管情報を取得して、血管画像を生成して表示する。本例において、参照光として、G色光を利用しているが、第1実施形態と同様に、B色光やR色光、白色光を利用してもよい。
また、上記各実施形態では、ロータリフイルタの各フイルタ部や、カラーCCDのマイクロカラーフイルタを、B、G、Rの原色系のフイルタを使用する例で説明したが、図22に示す分光透過率を有する、Y(イエロー)、M(マゼンダ)、C(シアン)の補色系のフイルタを使用してもよい。
上記実施形態では、酸素飽和度を画像化しているが、本発明の酸素飽和度画像には、上記実施形態で示した形態に代えて、又はそれに加えて、「血液量(酸化ヘモグロビンと還元ヘモグロビンの和)×酸素飽和度(%)」から求まる酸化ヘモグロビンインデックスを画像化したのや、「血液量×(100−酸素飽和度)(%)」から求まる還元ヘモグロビンインデックスを画像化したものも含まれる。
上記実施形態では、半導体光源としてレーザダイオードからなるレーザ光源を例示したが、レーザダイオードの代わりにLEDを使用したLED光源でもよい。撮像素子としては、上記実施形態のCCDに限らずCMOSイメージセンサを用いてもよい。また、上記実施形態では、光源装置とプロセッサ装置が別体で構成される例で説明したが、2つの装置を一体で構成してもよい。
なお、本発明は、撮像素子と超音波トランスデューサが先端部に内蔵された超音波内視鏡等、他の形態の内視鏡にも適用することができる。
10 電子内視鏡システム
14 モニタ
30 白色光源
31 半導体光源ユニット
31a、31b 第1及び第2レーザ光源
32 光源制御部
34 ロータリフイルタ
36 集光レンズ
37 ロッドインテグレータ
39 光合流部
39a 透過部
39b 反射部
40 シャッタ板
40a 遮光部
40b 透過部
44 CCD
55 DSP
57 血管画像生成部
100 カラーCCD

Claims (16)

  1. 被検体内に挿入される挿入部を有し、前記被検体内の観察部位を撮像する撮像素子を有する電子内視鏡と、
    前記電子内視鏡に撮像用の光を供給する光源装置であり、
    前記観察部位の通常観察画像を得るための照明光に利用される白色光を発する白色光源と、
    前記観察部位に存在する血管の血中ヘモグロビンの酸素飽和度を表す酸素飽和度情報と、前記観察部位の表面からの前記血管の深さを表す血管深さ情報とを含む血管情報を取得するために前記観察部位に照射される光であり、ともに青色領域の一部の狭い波長域で、かつ、それぞれが異なる波長域を有する第1及び第2の青色狭帯域光を発する第1及び第2の半導体光源とを有し、
    前記第1及び第2の青色狭帯域光を前記電子内視鏡に供給し、かつ、前記第1及び第2の青色狭帯域光の反射光を受光して前記撮像素子が出力する第1及び第2の撮像信号の規格化に利用される参照信号を得るための参照光として、前記白色光源が発する前記白色光に含まれる少なくとも一部の波長域の光を前記電子内視鏡に供給する光源装置と、
    前記第1及び第2の撮像信号と前記参照信号の3つの信号に基づいて、前記血管情報を求めるプロセッサ装置とを備えていることを特徴とする電子内視鏡システム。
  2. 前記光源装置は、前記白色光源が発する白色光を前記電子内視鏡に入射させるために前記白色光を集光する集光レンズと、前記白色光源から前記集光レンズに向かう前記白色光の光路上に配置され、前記第1及び第2の半導体光源が発する第1及び第2の青色狭帯域光を前記白色光の光路に合流させる光合流部とを有していることを特徴とする請求項1に記載の電子内視鏡システム。
  3. 前記光合流部は、前記白色光を透過する透過部と、前記第1及び第2の青色狭帯域光を前記集光レンズに向けて反射する反射部とを有していることを特徴とする請求項2に記載の電子内視鏡システム。
  4. 前記光源装置は、前記白色光の光路に挿入されて前記白色光を遮光する挿入位置と前記光路から退避する退避位置との間で移動可能なシャッタとを有しており、
    前記血管情報を取得する際に、前記シャッタを前記挿入位置に移動して前記白色光を遮光した状態で、前記第1及び第2の青色狭帯域光を前記電子内視鏡に供給し、前記シャッタを前記退避位置に移動して、前記参照光を前記電子内視鏡に供給することを特徴とする請求項1〜3のいずれか1項に記載の電子内視鏡システム。
  5. 前記撮像素子は単色の撮像信号を出力するモノクロ撮像素子であり、
    前記光源装置は、青色、緑色、赤色の三色、またはイエロー、マゼンタ、シアンの三色の透過領域を有し、三色の各透過領域を前記白色光の光路に選択的に挿入して、前記白色光を三色の光に色分離するフイルタを有しており、
    前記通常観察画像を撮像する際に、前記三色の光を順次前記電子内視鏡に供給する面順次式であることを特徴とする請求項1〜4のいずれか1項に記載の電子内視鏡システム。
  6. 請求項4を引用する請求項5に記載の電子内視鏡システムにおいて、
    前記フイルタには、前記三色の透過領域に加えて、前記シャッタを構成する遮光部が設けられていることを特徴とする電子内視鏡システム。
  7. 前記撮像素子は、青色、緑色、赤色の三色、またはイエロー、マゼンタ、シアンの三色の画素を有し、各色の画素に対応した三色の画像信号を出力するカラー撮像素子であり、
    前記光源装置は、前記通常観察画像を撮像する際に、前記白色光を色分離せずに前記電子内視鏡に供給する同時式であることを特徴とする請求項1〜4のいずれか1項に記載の電子内視鏡システム。
  8. 前記第1及び第2の青色狭帯域光の2つの波長は、還元ヘモグロビンと酸化ヘモグロビンのそれぞれの吸光スペクトルにおいて、それぞれの吸光度に差が生じる波長であることを特徴とする請求項1〜7のいずれか1項に記載の電子内視鏡システム。
  9. 前記2つの波長は、還元ヘモグロビンと酸化ヘモグロビンのそれぞれの吸光度の大小関係が逆転していることを特徴とする請求項8に記載の電子内視鏡システム。
  10. 前記第1青色狭帯域光の波長は440±10nmであり、前記第2青色狭帯域光の波長は470±10nmであることを特徴とする請求項9に記載の電子内視鏡システム。
  11. 前記プロセッサ装置は、前記第1撮像信号と前記参照信号の比である第1輝度比と、第2撮像信号と前記参照信号の比である第2輝度比とに基づいて、前記血管情報を求めることを特徴とする請求項1〜10のいずれか1項に記載の電子内視鏡システム。
  12. 前記第1及び第2輝度比と、前記血管の深さ及び前記酸素飽和度との相関関係を予め記憶する記憶手段を備えており、
    前記プロセッサ装置は、前記相関関係に基づいて前記血管情報を求めることを特徴とする請求項11記載の電子内視鏡システム。
  13. 前記相関関係は、2つの座標軸にそれぞれ前記第1及び第2輝度比を割り当てた輝度座標系と、2つの座標軸にそれぞれ血管の深さ及び酸素飽和度を割り当てた血管情報座標系との対応関係を表しており、
    前記プロセッサ装置は、
    前記輝度座標系において、前記第1及び第2輝度比に対応する第1座標を特定し、
    前記血管情報座標系において、前記第1座標を、前記酸素飽和度の座標軸と前記血管の深さの座標軸にそれぞれ射影することにより第2座標を特定して、前記酸素飽和度情報と前記血管深さ情報とを求めることを特徴とする請求項12記載の電子内視鏡システム。
  14. 前記プロセッサ装置は、前記酸素飽和度情報及び前記血管深さ情報のうち少なくとも1つを表す画像を生成する画像生成手段と、
    生成された画像を表示手段に出力する表示制御手段とを備えていることを特徴とする請求項1〜13のいずれか1項に記載の内視鏡システム。
  15. 被検体内に挿入される挿入部を有し、前記被検体内の観察部位を撮像する撮像素子を有する電子内視鏡を有する電子内視鏡システムに用いられ、前記電子内視鏡に撮像用の光を供給する光源装置において、
    前記観察部位の通常観察画像を得るための照明光に利用される白色光を発する白色光源と、
    前記観察部位に存在する血管の血中ヘモグロビンの酸素飽和度を表す酸素飽和度情報と、前記血管に関する、前記観察部位の表面からの深さを表す血管深さ情報とを含む血管情報を取得するために前記観察部位に照射され、ともに青色領域の一部の狭帯域で、かつ、それぞれが異なる波長域を有する第1及び第2の青色狭帯域光を発する第1及び第2の半導体光源とを有し、
    前記第1及び第2の青色狭帯域光を前記電子内視鏡に供給し、かつ、前記第1及び第2の青色狭帯域光の反射光を受光して前記撮像素子が出力する第1及び第2の撮像信号の規格化に利用される参照信号を得るための参照光として、前記白色光源が発する前記白色光に含まれる少なくとも一部の波長域の光を前記電子内視鏡に供給することを特徴とする光源装置。
  16. 被検体内に挿入される挿入部を有し、前記被検体内の観察部位を撮像する撮像素子を有する電子内視鏡と前記電子内視鏡に撮像用の光を供給する光源装置とを有する電子内視鏡システムであって、前記観察部位に存在する血管の血中ヘモグロビンの酸素飽和度を表す酸素飽和度情報と、前記血管に関する、前記観察部位の表面からの深さを表す血管深さ情報とを含む血管情報を取得するための電子内視鏡システムの作動方法において、
    前記光源装置が有する第1及び第2の半導体光源が発する第1及び第2の青色狭帯域光であり、ともに青色領域の一部の狭帯域で、かつ、それぞれが異なる波長域を有する第1及び第2の青色狭帯域光が前記観察部位に照射されるように前記光源装置を制御する第1照射制御ステップと、
    前記第1及び第2の青色狭帯域光の反射光を受光した前記撮像素子が出力する第1及び第2の撮像信号を取得する第1信号取得ステップと、
    前記光源装置が有する白色光源が発光する白色光に含まれる少なくとも一部の波長域の光が、第1及び第2の撮像信号の規格化に利用される参照信号を得るための参照光として前記観察部位に照射されるように前記光源装置を制御する第2照射制御ステップと、
    前記参照光の反射光を受光した前記撮像素子が出力する参照信号を取得する第2信号取得ステップと、
    前記第1及び第2の撮像信号と前記参照信号の3つの信号に基づいて、前記血管情報を求めるステップとを含むことを特徴とする電子内視鏡システムの作動方法
JP2011148357A 2011-07-04 2011-07-04 電子内視鏡システム、光源装置、及び電子内視鏡システムの作動方法 Active JP5419930B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011148357A JP5419930B2 (ja) 2011-07-04 2011-07-04 電子内視鏡システム、光源装置、及び電子内視鏡システムの作動方法
CN201210227987.1A CN102860812B (zh) 2011-07-04 2012-07-02 电子内窥镜系统、光源装置、及电子内窥镜系统的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011148357A JP5419930B2 (ja) 2011-07-04 2011-07-04 電子内視鏡システム、光源装置、及び電子内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JP2013013559A JP2013013559A (ja) 2013-01-24
JP5419930B2 true JP5419930B2 (ja) 2014-02-19

Family

ID=47440146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011148357A Active JP5419930B2 (ja) 2011-07-04 2011-07-04 電子内視鏡システム、光源装置、及び電子内視鏡システムの作動方法

Country Status (2)

Country Link
JP (1) JP5419930B2 (ja)
CN (1) CN102860812B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132742A1 (ja) * 2013-02-27 2014-09-04 富士フイルム株式会社 内視鏡システム及びその作動方法並びにプロセッサ装置
CN105324064B (zh) * 2013-05-30 2017-10-27 Hoya株式会社 生成示出生物组织中生物物质浓度分布图像的方法和装置
CN104083141B (zh) * 2013-11-21 2016-06-29 北京华科创智健康科技股份有限公司 一种多光谱组合输出光源装置及内窥镜装置
WO2017057573A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017057572A1 (ja) 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
JP2017104354A (ja) * 2015-12-10 2017-06-15 Hoya株式会社 照射システム
EP3586718B1 (en) * 2017-02-24 2023-08-30 FUJIFILM Corporation Endoscope system and processor device
CN107174189B (zh) * 2017-05-28 2019-03-12 南京晨伟医疗设备有限公司 一种医疗电子内窥镜系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63311937A (ja) * 1987-06-16 1988-12-20 Toshiba Corp 内視鏡装置
US4914512A (en) * 1988-01-19 1990-04-03 Kabushiki Kaisha Toshiba Electronic endoscope apparatus capable of displaying hemoglobin concentration on color image
JPH01250216A (ja) * 1988-03-31 1989-10-05 Toshiba Corp 電子内視鏡装置
JP2648494B2 (ja) * 1988-05-02 1997-08-27 オリンパス光学工業株式会社 内視鏡装置
JP3217343B2 (ja) * 1989-03-23 2001-10-09 オリンパス光学工業株式会社 画像処理装置
US6519485B2 (en) * 2000-12-13 2003-02-11 The General Hospital Corporation Minimally invasive system for assessment of organ function
JP5767775B2 (ja) * 2009-07-06 2015-08-19 富士フイルム株式会社 内視鏡装置
JP5468845B2 (ja) * 2009-08-24 2014-04-09 オリンパスメディカルシステムズ株式会社 医療機器
JP5431252B2 (ja) * 2009-09-30 2014-03-05 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5389612B2 (ja) * 2009-11-06 2014-01-15 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法

Also Published As

Publication number Publication date
JP2013013559A (ja) 2013-01-24
CN102860812B (zh) 2016-02-03
CN102860812A (zh) 2013-01-09

Similar Documents

Publication Publication Date Title
JP5419931B2 (ja) 内視鏡システム、光源装置、及び内視鏡システムの作動方法
JP5419930B2 (ja) 電子内視鏡システム、光源装置、及び電子内視鏡システムの作動方法
JP5457247B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5616304B2 (ja) 電子内視鏡システム及び電子内視鏡システムの作動方法
JP5303012B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5331860B2 (ja) 内視鏡システム及び光源装置
JP5452300B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
JP5587932B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5496852B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5654511B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5887350B2 (ja) 内視鏡システム及びその作動方法
JP5623469B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP6505792B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP5222934B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5757891B2 (ja) 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム
JP2012016545A (ja) 内視鏡装置
JP5579672B2 (ja) 内視鏡システム、及び光源装置
WO2013035694A1 (ja) 内視鏡システム及びプロセッサ装置並びに画像表示方法
JP2011092690A (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び血管情報取得方法
JP2014014439A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP6085649B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP6085648B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP6017670B2 (ja) 内視鏡システム及びその作動方法並びにプロセッサ装置
JP6214503B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP2019030406A (ja) 内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131119

R150 Certificate of patent or registration of utility model

Ref document number: 5419930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250