JP6454755B2 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP6454755B2
JP6454755B2 JP2017097334A JP2017097334A JP6454755B2 JP 6454755 B2 JP6454755 B2 JP 6454755B2 JP 2017097334 A JP2017097334 A JP 2017097334A JP 2017097334 A JP2017097334 A JP 2017097334A JP 6454755 B2 JP6454755 B2 JP 6454755B2
Authority
JP
Japan
Prior art keywords
light
endoscope
blood vessel
observation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017097334A
Other languages
English (en)
Other versions
JP2017170165A (ja
Inventor
美範 森本
美範 森本
敏之 井上
敏之 井上
永治 大橋
永治 大橋
牧 斎藤
斎藤  牧
飯田 孝之
孝之 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2017097334A priority Critical patent/JP6454755B2/ja
Publication of JP2017170165A publication Critical patent/JP2017170165A/ja
Application granted granted Critical
Publication of JP6454755B2 publication Critical patent/JP6454755B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Description

本発明は、内視鏡で撮影した画像を処理する内視鏡システムに関するものである。
医療分野において、内視鏡システムを用いた内視鏡診断が普及している。内視鏡システムは、生体内に挿入され先端に撮像素子や照明窓を配した挿入部を有する内視鏡と、内視鏡に光を供給する光源装置と、撮像素子が出力する画像信号を処理するプロセッサ装置(画像処理装置)とを備えている。内視鏡には、複数本の光ファイバからなるライトガイドが内蔵されており、光源装置から供給された光はライトガイドによって照明窓に導光されて観察部位に照射される。
近年の内視鏡診断においては、白色光である通常光のもとで生体組織の表面の全体的な性状を観察する通常観察に加えて、特定の波長に制限された特殊光を用いた特殊光観察も行われるようになっている。特殊光観察には各種のものがあるが、例えば、波長によって粘膜表層からの深達度が異なるという生体組織の光学特性を利用して、粘膜表層近くに存在する表層血管と、表層血管よりも深層にある中深層血管をそれぞれ強調して表示する血管強調観察が知られている(例えば特許文献1及び特許文献2参照)。生体組織に発生する癌などの異常組織においては血管の状態が正常組織と異なるため、血管強調観察は、早期癌の発見などに有用性が認められている。
血中ヘモグロビンの吸光係数は、波長依存性を有しており、波長が約450nm以下の領域において急激に上昇し、青色領域の405nm付近においてピークを有している。また、波長が450nm以下と比較すると低い値ではあるが、緑色領域の波長が約530nm〜560nmにおいてもピークを有している。吸光係数が大きな波長の光を観察部位に照射すると、血管では吸収が大きいので、血管とそれ以外の部分とのコントラストが高い像が得られる。そのため、特許文献1の内視鏡システムでは、波長が約390〜445nmの波長領域の青色光を表層血管強調用に、波長が約530〜550nmの波長領域の緑色光を中深層血管強調用に利用して、表層血管と中深層血管のそれぞれの血管を強調する血管強調画像を取得している。
特許文献1に記載の内視鏡システムでは、キセノンランプなどの白色光源と、青色と緑色の波長域に対して光透過性を有する回転フイルタとを組み合わせて青色光と緑色光を生成している。また、特許文献1には、内視鏡で色基準物体を撮影して、得られた色毎に画像信号のゲインを調節することにより色調のキャリブレーションを行う技術が開示されている(段落0035、0036)。これによれば、内視鏡の機種に応じて光学系の透過特性に差がある場合においても、機種に関わらず適正な色調の画像を得ることができる。
特許文献2に記載の内視鏡システムでは、青色光や緑色光を発する光源として、レーザダイオード(LD)やLEDなどの半導体光源を用いている。青色光や緑色光の光量が大きいほど血管のコントラストを高めることができる。半導体光源を利用すれば、特許文献1のキセノンランプと比較して高い出力が得られるため、高コントラストの画像を得やすい。
特開2005−131130号公報 特開2011−041758号公報
ところが、既存の内視鏡のライトガイドの光透過特性を調べたところ、図17に示すように、長波長領域と比較して短波長領域の光透過率が低く、特に、波長が約430nm以下の青色領域において光透過率の落ち込みが激しいことが分かった。ライトガイドの光透過率が低いと、ライトガイドで導光されて観察部位に出射される出射光量も落ちるため、半導体光源の性能を活かしにくい。そのため、青色領域の光透過率を改善したライトガイドを有する改良型の内視鏡の開発が検討されている。
改良型の内視鏡を開発する場合でも、既存の内視鏡を保有するユーザ(内視鏡検査を行う術者)の便宜を考えれば、改良型の内視鏡と既存の内視鏡のどちらも使用できるように、光源装置においては両者の互換性を確保することが望ましい。
しかし、ライトガイドの光透過特性が異なると、内視鏡の機種によって出射光量が異なってしまう。通常観察であれば、青色〜赤色に至る広い波長域の一部の明るさが低下するだけなので影響は少ないが、血管強調観察の場合は、青色光や緑色光といった単色光を利用するため、青色光の光透過率の低下は、主要な観察対象である表層血管のコントラストの低下を招くため影響が大きい。
特許文献1、2には、こうした課題やその解決策について明示も示唆もない。特許文献1には、内視鏡から画像信号を取得した画像処理装置において、色毎に画像信号のゲインを調節することにより色調のキャリブレーションを行う技術が開示されているが、ゲイン調節は、例えば青色の画像信号に対して1画面の中の明るい部分も暗い部分も含めて画面全体の明るさを上げる処理であるため、上記問題を解決することはできない。
本発明は、上記課題に鑑みてなされたもので、その目的は、ライトガイドの光学特性が異なる複数機種の内視鏡を使用して血管強調観察を行う場合でも、それぞれで撮影した観察画像において、同様の血管のコントラストが得られるようにすることにある。
本発明の内視鏡システムは、生体内の観察部位を照明する照明光を導光するための第1及び第2ライトガイドであり、血管情報観察用の光に対する光透過率に差がある第1及び第2ライトガイドがそれぞれ内蔵された第1及び第2の内視鏡を交換可能に接続する接続部と、接続部に接続された内視鏡の種類が第1及び第2の内視鏡のどちらであるかを識別する内視鏡識別部と、第1及び第2の内視鏡のそれぞれが出力する画像信号に対して画像処理を施す画像処理部とを備えており、血管強調観察モードにおいて、接続部に接続された内視鏡が第1の内視鏡か第2の内視鏡かに応じて、画像処理について異なる処理を施す画像処理部とを備え、画像処理部は、第1及び第2の内視鏡のうち血管情報観察用の光に対する光透過率が低い内視鏡が接続部に接続されている場合には、血管情報観察用の光に対応する画像信号に対して、血管のコントラストを向上させるための処理を行う。
血管情報観察用の光は、第1及び第2光の少なくとも2種類あり、2種類のうち、光透過率に差があるのは少なくとも一方であることが好ましい。
第1及び第2光のうち光透過率に相対的に大きな差があるのは第2光であり、第2光は、波長が30nm以下の青色光であることが好ましい。
青色光は、波長が10±10nmであることが好ましい。
第1光は、波長が30nm〜560nmの波長域の緑色光を含むことが好ましい。

血管情報観察用の光は、半導体光源によって出力される光であることが好ましい。
第1及び第2ライトガイドは、光ファイバをバンドル化したファイババンドルであることが好ましい。
本発明によれば、ライトガイドの光学特性が異なる複数機種の内視鏡を使用して血管強調観察を行う場合でも、それぞれで撮影した観察画像において、同様の血管のコントラストを得ることができる。
本発明の内視鏡システムの外観図である。 内視鏡の先端部の正面図である。 内視鏡システムの電気的構成を示すブロック図である。 照明光の分光スペクトルを示すグラフである。 ヘモグロビンの吸収スペクトルを示すグラフである。 生体組織の散乱係数を示すグラフである。 撮像素子のカラーマイクロフイルタの分光特性を示すグラフである。 照明光の照射タイミング及び撮像タイミングを示す説明図である。 内視鏡の機種を識別する構成の説明図である。 ライトガイドの光透過特性を示すグラフである。 駆動電流値と出射光量の関係を示すグラフである。 通常観察モードにおける画像処理手順を示す説明図である。 血管強調観察モードにおける画像処理手順を示す説明図である。 コントラスト調整処理の説明図である。 血管強調観察モードにおける画像処理手順を示すフローチャートである。 血管強調用の光の別態様を示す説明図である。 従来のライトガイドの光透過特性を示すグラフである。
図1に示すように、本発明の第1実施形態の内視鏡システム10は、生体内の観察部位を撮像する内視鏡11と、撮像により得られた信号に基づいて観察部位の観察画像を生成するプロセッサ装置12と、観察部位を照射する光を内視鏡11に供給する光源装置13と、観察画像を表示するモニタ14とを備えている。プロセッサ装置12には、キーボードやマウスなどの操作入力部であるコンソール15が設けられている。
内視鏡システム10は、白色光のもとで観察部位を観察するための通常観察モードと、特殊光を利用して観察部位に存在する血管を強調表示する血管強調観察モードを備えている。血管強調観察モードは、血管のパターンなどの性状を把握して、腫瘍の良悪鑑別などの診断を行うための特殊光観察モードであり、特殊光として、血中ヘモグロビンに対する吸光度が高い波長域の狭帯域光が利用される。
内視鏡11は、被検者の消化管内に挿入される挿入部16と、挿入部16の基端部分に設けられた操作部17と、操作部17とプロセッサ装置12及び光源装置13との間を連結するユニバーサルコード18とを備えている。
挿入部16は、先端から順に連設された、先端部19、湾曲部20、可撓管部21からなる。図2に示すように、先端部19の先端面には、観察部位に照明光を照射する照明窓22、観察部位で反射した像光が入射する観察窓23、観察窓23を洗浄するために送気・送水を行うための送気・送水ノズル24、鉗子や電気メスといった処置具を突出させる鉗子出口25などが設けられている。観察窓23の奥には、撮像素子44(図3参照)や結像用の光学系が内蔵されている。
湾曲部20は、連結された複数の湾曲駒からなり、操作部17のアングルノブ26を操作することにより、上下左右方向に湾曲動作する。湾曲部20が湾曲することにより、先端部19の向きが所望の方向に向けられる。可撓管部21は、食道や腸など曲がりくねった管道に挿入できるように可撓性を有している。挿入部16には、撮像素子44を駆動する駆動信号や撮像素子44が出力する画像信号を通信する通信ケーブルや、光源装置13から供給される照明光を照明窓22に導光するライトガイド43(図3参照)が挿通されている。
操作部17には、アングルノブ26の他、処置具を挿入するための鉗子口27、送気・送水操作を行う送気・送水ボタン、静止画像を撮影するためのレリーズボタンなどが設けられている。
ユニバーサルコード18には、挿入部16から延設される通信ケーブルやライトガイド43が挿通されており、一端には、プロセッサ装置12および光源装置13側にコネクタ28が取り付けられている。コネクタ28は、通信用コネクタ28aと光源用コネクタ28bからなる複合タイプのコネクタである。通信用コネクタ28aには通信ケーブルの一端が配設されており、通信用コネクタ28aはプロセッサ装置12のレセプタクルコネクタ42a(図3参照)に着脱自在に接続される。光源用コネクタ28bにはライトガイド43の入射端が配設されており、光源用コネクタ28bは光源装置13のレセプタクルコネクタ42b(図3参照)に着脱自在に接続される。
図3に示すように、光源装置13は、それぞれ発光波長が異なる2種類の第1及び第2の光源モジュール31、32と、これらを駆動制御する光源制御部34とを備えている。光源制御部34は、光源装置13の各部の駆動タイミングや同期タイミングなどの制御を行う。
第1及び第2光源モジュール31、32は、特定の波長域の狭帯域光をそれぞれ発光するレーザダイオードLD1、LD2を有している。図4に示すように、レーザダイオードLD1は、青色領域において、例えば波長域が440±10nmに制限され、中心波長が445nmの狭帯域光N1を発光する。レーザダイオードLD2は、青色領域において、例えば波長域が410±10nmに制限され、中心波長が405nmの狭帯域光である狭帯域光N2を発光する。レーザダイオードLD1、LD2としては、InGaN系、InGaNAs系、GaNAs系のものを用いることができる。また、レーザダイオードLD1、LD2としては、高出力化が可能なストライプ幅(導波路の幅)が広いブロードエリア型のレーザダイオードが好ましい。
第1光源モジュール31は、通常観察用の白色光を発する光源である。第1光源モジュール31は、レーザダイオードLD1に加えて、蛍光体36を有している。図4に示すように、蛍光体36は、レーザダイオードLD1が発する445nmの青色領域の狭帯域光N1によって励起されて、緑色領域から赤色領域に渡る波長域の蛍光FLを発光する。蛍光体36は、狭帯域光N1の一部を吸収して蛍光FLを発光するとともに、残りの狭帯域光N1を透過させる。蛍光体36を透過する狭帯域光N1は、蛍光体36によって拡散される。透過する狭帯域光N1と励起される蛍光FLによって白色光が生成される。蛍光体36としては、例えば、YAG系、BAM(BgMgAl1017)系等の蛍光体が使用される。第1光源モジュール31は、白色光の光量が多くなるように2個設けられている。
第2光源モジュール32は、表層血管強調用の光源である。血中ヘモグロビンの吸光スペクトルを表す図5において、血液のヘモグロビンの吸光係数μaは、波長依存性を有しており、波長が450nm以下の領域において急激に上昇し、405nm付近においてピークを有している。また、波長が450nm以下と比較すると低い値ではあるが、波長が530nm〜560nmにおいてもピークを有している。吸光係数μaが大きな波長の光を観察部位に照射すると、血管においては吸収が大きいので、血管とそれ以外の部分とのコントラストが大きな像が得られる。図5において、吸光スペクトルHbは酸素と結合していない還元ヘモグロビンの吸光スペクトルを示し、吸光スペクトルHbO2は、酸素と結合した酸化ヘモグロビンの吸光スペクトルを示す。
また、図6に示すように、生体組織の光の散乱特性にも波長依存性があり、短波長になるほど散乱係数μSは大きくなる。散乱は生体組織内への光の深達度に影響する。すなわち、散乱が大きいほど、生体組織の粘膜表層付近で反射される光が多く、中深層に到達する光が少ない。そのため、短波長であるほど深達度は低く、長波長になるほど深達度は高い。こうしたヘモグロビンの吸光特性と生体組織の光の散乱特性を鑑みて、血管強調用の光の波長が選択される。
第2光源モジュール32が発する405nmの狭帯域光N2は、深達度が低いので、表層血管による吸収が大きいため、表層血管強調用の光として用いられる。狭帯域光N2を用いることにより、観察画像において表層血管を高コントラストで描出することができる。また、中深層血管強調用の光としては、第1光源モジュール31が発する白色光の緑色成分が用いられる。図5に示す吸光スペクトルにおいて、450nm以下の青色領域と比較して、530nm〜560nmの緑色領域においては、吸光係数は緩やかに変化するため、中深層血管強調用の光は、青色領域ほど狭帯域であることは要求されない。そのため、後述するように、撮像素子44のG色のマイクロカラーフイルタによって白色光から色分離した緑色成分が用いられる。
光源制御部34は、ドライバ37を介してレーザダイオードLD1、LD2の点灯、消灯、光量の制御を行う。具体的には、光源制御部34は、レーザダイオードLD1、LD2に対して駆動パルスを与えることにより、点灯させる。そして、駆動パルスのデューティ比を制御するPWM制御を行うことにより、駆動電流値を変化させて出力(発光量)を制御する。駆動電流値の制御は、駆動パルスの振幅を変えるPAM制御などでもよい。
第1及び第2光源モジュール31、32の光路の下流側には、分岐型ライトガイド41が設けられている。分岐型ライトガイド41は、第1及び第2光源モジュール31、32の光路を1つの光路に統合する光路統合部である。内視鏡11のライトガイド43の入射端は1つであるため、分岐型ライトガイド41によって、第1及び第2光源モジュール31、32の光を内視鏡11に供給する前段において、各モジュール31、32の光の光路が統合される。分岐型ライトガイド41は、入射端が複数に分岐した分岐部41a〜41cを有し、各分岐部41a〜41cから入射した光を、1つの出射端41eから出射する。
2つの第1光源モジュール31はそれぞれ、分岐型ライトガイド41の分岐部41a、41bの入射面と対向するように配置され、第2光源モジュール32は、分岐部41cの入射面と対向するように配置される。
分岐型ライトガイド41の出射端41eは、内視鏡11のコネクタ28bが接続されるレセプタクルコネクタ42bの近くに配置されている。出射端41eには、光束の断面内の光量分布を均一化するホモジナイザ50が設けられており、分岐型ライトガイド41に入射した第1及び第2の光源モジュール31、32の光は、ホモジナイザ50を経由して、コネクタ28bに配された内視鏡11のライトガイド43に供給される。
内視鏡11は、ライトガイド43、撮像素子44、アナログ処理回路45(AFE:Analog Front End)、撮像制御部46を備えている。ライトガイド43は複数本の光ファイバをバンドル化したファイババンドルであり、コネクタ28が光源装置13に接続されたときに、ライトガイド43の入射端が光源装置13のホモジナイザ50の出射端と対向する。ライトガイド43の出射端は、2つの照明窓22に光が導光されるように、照明窓22の前段で2本に分岐している。
照明窓22の奥には、照射レンズ48が配置されている。光源装置13から供給された光はライトガイド43により照射レンズ48に導光されて照明窓22から観察部位に向けて照射される。照射レンズ48は凹レンズからなり、ライトガイド43から出射する光の発散角を広げる。これにより、観察部位の広い範囲に照明光が照射される。
観察窓23の奥には、対物光学系51と撮像素子44が配置されている。観察部位で反射した像光は、観察窓23を通して対物光学系51に入射し、対物光学系51によって撮像素子44の撮像面44aに結像される。
撮像素子44は、CCDイメージセンサやCMOSイメージセンサなどからなり、フォトダイオードなどの画素を構成する複数の光電変換素子がマトリックスに配列された撮像面44aを有している。撮像素子44は、撮像面44aで受光した光を光電変換して、各画素においてそれぞれの受光量に応じた信号電荷を蓄積する。信号電荷はアンプによって電圧信号に変換されて読み出される。電圧信号は画像信号として撮像素子44から出力されて、画像信号はAFE45に送られる。
撮像素子44は、カラー撮像素子であり、撮像面44aには、図7に示すような分光特性を有するB、G、Rの3色のマイクロカラーフイルタが各画素に割り当てられている。マイクロカラーフイルタによって、第1光源モジュール31が発光する白色光がB、G、Rの3色に分光される。マイクロカラーフイルタの配列は例えばベイヤー配列である。
図8に示すように、通常観察モードにおいては、撮像素子44は、1フレームの取得期間内で、信号電荷を蓄積する蓄積動作と、蓄積した信号電荷を読み出す読み出し動作が行なわれる。図8(A)に示すように、通常観察モードにおいては、蓄積タイミングに合わせてレーザダイオードLD1が点灯し、照明光として狭帯域光N1と蛍光FLとからなる白色光が観察部位に照射され、その反射光が撮像素子44に入射する。撮像素子44において、白色光はマイクロカラーフイルタで色分離されて、狭帯域光N1に対応する反射光をB画素が受光し、蛍光FLの中のG成分をG画素が、蛍光FLの中のR成分に対応する反射光をR画素が受光する。撮像素子44は、読み出しタイミングに合わせて、B、G、Rの各画素の画素値が混在した1フレーム分の画像信号B、G、Rをフレームレートに従って順次出力する。こうした撮像動作は、通常観察モードに設定されている間、繰り返される。
血管強調観察モードにおいては、図8(B)に示すように、蓄積タイミングに合わせて第1光源モジュール31に加えて、第2光源モジュール32が点灯する。第1光源モジュール31が点灯すると、通常観察モードと同様に、照明光として狭帯域光N1と蛍光FLとからなる白色光(N1+FL)が観察部位に照射される。第2光源モジュール32が点灯すると、白色光(N1+FL)に、狭帯域光N2が追加されて、これらが照明光として観察部位に照射される。
通常観察モードと同様に、白色光に狭帯域光N2が追加された照明光は、撮像素子44のB,G,Rのマイクロカラーフイルタで分光される。撮像素子44において、B画素は、狭帯域光N1に加えて、狭帯域光N2を受光する。G画素は、蛍光FLのG成分を受光する。R画素は、蛍光FLのR成分を受光する。血管強調観察モードにおいても、撮像素子44は、読み出しタイミングに合わせて、画像信号B、G、Rをフレームレートに従って順次出力する。こうした撮像動作は、血管強調観察モードに設定されている間、繰り返される。
図3において、AFE45は、相関二重サンプリング回路(CDS)、自動ゲイン制御回路(AGC)、及びアナログ/デジタル変換器(A/D)(いずれも図示省略)から構成されている。CDSは、撮像素子44からのアナログの画像信号に対して相関二重サンプリング処理を施し、信号電荷のリセットに起因するノイズを除去する。AGCは、CDSによりノイズが除去された画像信号を増幅する。A/Dは、AGCで増幅された画像信号を、所定のビット数に応じた階調値を持つデジタルな画像信号に変換してプロセッサ装置12に入力する。
撮像制御部46は、プロセッサ装置12内のコントローラ56に接続されており、コントローラ56から入力されるベースクロック信号に同期して、撮像素子44に対して駆動信号を入力する。撮像素子44は、撮像制御部46からの駆動信号に基づいて、所定のフレームレートで画像信号をAFE45に出力する。
IDメモリ47は、内視鏡11の機種及び個体を識別するための識別情報である内視鏡IDが記憶された記憶部であり、例えばEEPROMやフラッシュメモリなどの不揮発性メモリからなる。内視鏡IDは、コネクタ28aを通じてプロセッサ装置12に出力される。もちろん、IDメモリ47としては、無線で情報送信が可能なRFIDタグなどを利用してもよい。
図9に示すように、内視鏡システム10は、複数種類の内視鏡11A、11Bを使用することが可能である。内視鏡11Bは、ライトガイド43Bを有する既存の内視鏡であり、内視鏡11Aは、ライトガイド43Bに対して光透過特性が改善されたライトガイド43Aを有する改良型の内視鏡である。
図10に示すように、ライトガイド43Bの光透過特性Bは、波長が430nm以下の青色領域、特に約410nm付近において光透過率が落ち込んでいる。これに対して、ライトガイド43Aの光透過特性Aは、ライトガイド43Bと比較して、主として青色領域における光透過率が向上している。
光透過特性A、Bを比較すると、青色領域におけるそれぞれの光透過率TA2、TB2の差d2は大きく、青色領域に対して波長が長い緑色領域の光透過率TA1、TB1の差d1は小さい。そのため、内視鏡11A、11Bに対して光源装置13から供給する光の出力と、各内視鏡11A、11Bのライトガイド43A、43Bで導光されてそれぞれの照明窓22から観察部位に出射される出射光量との関係は、図11に示すようになる。
図11において、駆動電流値は、レーザダイオードLD1、LD2を駆動するための電流値であり、第1光源モジュール31、32のそれぞれの光の出力と対応する。グラフGA、GBは、内視鏡11A、11Bを使用する場合における、第1光源モジュール31が発する白色光のG成分の出力と、出射光量との関係であり、グラフN2A、N2Bは、第2光源モジュール32の出力と、出射光量との関係である。
グラフGA、GBに示すように、第1光源モジュール31が発する白色光のG成分については、それに対応する、ライトガイド43A、43Bの光透過率TA1、TB1の差Δ1が小さいため、第1光源モジュール31の出力が同じ場合には、出射光量の差も小さい。これに対して、グラフN2A、N2Bに示すように、第2光源モジュール32が発する狭帯域光N2については、ライトガイド43A、43Bの光透過率TA2、TB2の差Δ1が大きいため、第2光源モジュール32の出力が同じ場合には、出射光量の差も大きい。ライトガイド43Bの光透過率TB2は、ライトガイド43Aの光透過率TA2の約半分程度であるため、出射光量も半分程度に落ち込む。
図3及び図9において、プロセッサ装置12は、コントローラ56の他、DSP(Digital Signal Processor)57、画像処理部58と、フレームメモリ59と、表示制御回路60を備えている。コントローラ56は、CPU、制御プログラムや制御に必要な設定データを記憶するROM、プログラムをロードして作業メモリとして機能するRAMなどからなり、CPUが制御プログラムを実行することにより、プロセッサ装置12の各部を制御する。
コントローラ56内のROMには、内視鏡IDと内視鏡11A、11Bのいずれかを表す機種情報との対応関係を記憶した機種テーブル(TBL)56aが格納されている。コントローラ56は、機種テーブル56aを参照して識別した機種情報を画像処理部58に送信する。内視鏡11A、11Bは、それぞれのライトガイド43A、43Bの光透過特性が異なるため、後述するように画像処理部58は、機種情報に応じて画像処理の内容を変更する。
DSP57は、撮像素子44が出力する画像信号を取得する。DSP57は、B、G、Rの各画素に対応する信号が混在した画像信号を、B、G、Rの画像信号に分離し、各色の画像信号に対して画素補間処理を行う。この他、DSP57は、ガンマ補正や、B、G、Rの各画像信号に対してホワイトバランス補正などの信号処理を施す。
また、DSP57は、画像信号B、G、Rに基づいて露出値を算出して、画像全体の光量が不足している場合(露出アンダー)には照明光の光量を上げるように、光量が高すぎる場合(露出オーバー)には照明光の光量を下げるように、コントローラ56を介して光源装置13に対して露出制御信号を送信する。
フレームメモリ59は、DSP57が出力する画像データや、画像処理部58が処理した処理済みのデータを記憶する。表示制御回路60は、フレームメモリ59から画像処理済みの画像データを読み出して、コンポジット信号やコンポーネント信号などのビデオ信号に変換してモニタ14に出力する。
図12に示すように、通常観察モードにおいては、画像処理部58は、DSP57によってB、G、Rの各色に色分離された画像信号B、G、Rに基づいて、通常観察用の表示画像(観察画像P)を生成する。生成された観察画像Pはモニタ14に出力される。画像処理部58は、フレームメモリ59内の画像信号B、G、Rが更新される毎に、表示画像を更新する。観察画像Pでは、粘膜、表層血管61及び中深層血管62などの観察部位の全体的な性状がフルカラーで表示される。
通常観察モードにおいては、第1光源モジュール31が出力する白色光(N1+FL)が観察部位に照射されて撮影が行われる。白色光に関してはライトガイド43A、43Bの光透過特性に大きな違いはないため、画像処理部58は、内視鏡11A、11Bから出力される画像信号のどちらに対しても同じ内容の画像処理を行う。
図13に示すように、血管強調観察モードにおいては、画像処理部58は、画像信号B、G、Rに基づいて、血管強調観察用の表示画像を生成する。血管強調観察モードにおける画像信号Bには、白色光のB成分(狭帯域光N1と蛍光FLの一部を含む)に加えて、狭帯域光N2の情報が含まれているため、表層血管が高コントラストで描出される。癌などの病変においては、正常組織と比較して、表層血管の密集度が高くなる傾向があるなど血管のパターンに特徴があるため、腫瘍の良悪鑑別を目的とする血管強調観察においては、表層血管が鮮明に描出されることが好ましい。また、画像信号Gには、中深層血管の情報が多く含まれているため、画像信号Gに対しては輪郭強調処理などが施されて中深層血管が強調される。
血管強調観察用の表示画像は、通常観察用と同様に、三色の画像信号B、G、Rに基づいて生成されるため観察部位をフルカラーで表示することが可能となるが、血管強調観察モードにおける画像信号Bは、通常観察モードにおける画像信号Bと比較すると、青色の濃度が高い。そのため、血管強調観察用の表示画像を生成する場合には、通常観察用の表示画像と同様の色味になるように色補正が行われる。画像処理部58は、フレームメモリ59内の画像信号B、G、Rが更新される毎に、血管強調観察用の表示画像(観察画像PE)を生成する。観察画像PEでは、観察画像Pと同様に観察部位がフルカラーで表示されるが、観察画像Pと比較して、表層血管61と中深層血管62が高コントラストで描出されて強調表示される。
血管強調観察モードにおいては、白色光に加えて、第2光源モジュール32が出力する狭帯域光N2が観察部位に照射されて撮影が行われる。狭帯域光N2に関してはライトガイド43A、43Bの光透過特性に大きな違いがあるため(図12参照)、画像処理部58は、画像信号の出力元が、内視鏡11Aであるか内視鏡11Bであるかに応じて画像処理の内容を変更する。
図13(A)に示すように、狭帯域光N2に対する光透過率が高い内視鏡11Aから出力された画像信号に対しては、上述の画像処理が行われる。これに対して、図12(B)に示すように、狭帯域光N2に対する光透過率が低い内視鏡11Bから出力された画像信号に対しては、画像処理部58は、内視鏡11Aに対する画像処理に加えてコントラスト強調処理を施す。狭帯域光N2に対応する画像信号は、青色の画像信号Bであるため、コントラスト強調処理は、画像信号Bに対して実行される。
図14に示すように、画像処理部58は、コントラスト調整処理を行う際に、画像信号Bについて、濃度ヒストグラムを求める。周知のように、濃度ヒストグラムは、横軸に画素値(輝度値)を、縦軸に頻度を取ったグラフである。画像信号Bに対応する画像PBには、表層血管61と中深層血管62が描出されている。
狭帯域光N2は、ヘモグロビンの吸光係数が高い405nmの波長域を持つため、表層血管61、中深層血管62の領域では、反射光量が小さく、画素値も低い。一方、血管が存在しない領域はヘモグロビンによる吸収が無いため、反射光量が大きく、画素値が高い。そのため、画像PBにおいて、表層血管61、中深層血管62は、その周辺の血管が存在しない領域と比較して、濃度が高い。
また、狭帯域光N2は青色領域の波長域を持つため、散乱が強く深達度が低いため、中深層血管62まで到達する光量は少なく、表層血管61における吸収が多い。画像PBにおいては、中深層血管62と比べて、表層血管61の濃度が高く描出される。画像PBの濃度ヒストグラムは、濃度が高い順(画素値が低い順)に、表層血管61のピークa、中深層血管62のピークb、血管が存在しない粘膜のピークcの3つのピークを持つ。
内視鏡11Bが出力する画像信号Bは、内視鏡11Aと比較すると、狭帯域光N2の光量が少ない。これは、濃度ヒストグラムにおいては、画素値の最大値(max)と最小値(min)の幅であるダイナミックレンジDRの違いとして現れる。内視鏡11Bで得られた画像PBのダイナミックレンジDRは、内視鏡11Aで得られた画像PBのダイナミックレンジDRよりも狭い。
画像処理部58は、ROMなどの内部メモリを有しており、内部メモリには、階調補正テーブル58aが記憶されている。階調補正テーブル58aは、横軸が入力値を、縦軸が出力値を表し、入力値と出力値の対応関係を示す階調補正カーブを有している。コントラストを上げるためには、処理前の原画像において濃度が低い部分は、濃度がより低く、濃度が高い部分はより高くなるようにすればよいので、画像処理部58は、コントラスト強調処理として、図14に示す略S字形状の階調補正カーブに基づいて階調補正を行って、画像PBのダイナミックレンジDRを広げる。これにより、血管領域と血管が存在しない領域の濃度差が広がって、血管のコントラストが向上する。画像PBには、表層血管61の情報が多く含まれているので、特に表層血管61のコントラストが向上する。
こうしたコントラスト強調処理を施すことで、内視鏡11Bが出力する画像信号Bにおいて、表層血管のコントラストが向上する。これにより、内視鏡11Bにおける狭帯域光N2の不足分が補償される。
なお、本例においては、血管強調観察用の表示画像を生成する方式として、三色の画像信号B、G、Rを用いてフルカラー画像を生成しているが、この方式以外でもよく、例えば、画像信号Rを使わずに、画像信号B、Gの二色のみで生成して、画像信号Bをモニタ14のBチャンネル及びGチャンネルに、画像信号Gに対応する信号をモニタ14のRチャンネルに割り当てる方式など、観察部位を疑似カラーで表示する方式を採用してもよい。
以下、上記構成による作用について、図15のフローチャートを参照しながら説明する。内視鏡診断を行う場合には、内視鏡11をプロセッサ装置12と光源装置13にコネクタ28を接続し、プロセッサ装置12と光源装置13の電源を入れて、電子内視鏡システム10を起動する。
内視鏡11の挿入部16を被検者の消化管内に挿入して、消化管内の観察が開始される。通常観察モードでは、図8(A)に示すように、第1光源モジュール31が点灯する。レーザダイオードLD1が発する狭帯域光N1と、蛍光体36が発する蛍光FLとが混合された白色光が内視鏡11に供給される。供給された光はライトガイド43を通じて照明窓22に導光されて観察部位に照射される。
図8(A)及び図12に示すように、白色光(N1+FL)を照射中に撮像素子44によって観察部位が撮像されて、DSP57によってB、G、Rの画像信号が生成される。通常観察モードにおいては、画像処理部58は、B、G、Rの画像信号に基づいて、通常観察用の表示画像を生成する。表示制御回路60は、生成された表示画像をビデオ信号に変換して観察画像Pをモニタ14に表示する。通常観察モードにおいては、こうした処理が繰り返される。
通常観察モードでは、第1光源モジュール31が発光する白色光のみが照明光として使用される。白色光の光透過率については、内視鏡11Aのライトガイド43Aと内視鏡11Bのライトガイド43Bのどちらにおいても差が小さいので、画像処理部58は、画像信号の出力元を区別せずに、どちらに対しても同じ画像処理を施す。内視鏡11A又は内視鏡11Bのどちらが使用されている場合でも、同じような観察画像が得られるので、術者は、内視鏡11A、内視鏡11Bのどちらでも問題なく利用することができる。
血管強調観察を行う場合には、コンソール15によってモード切り換え操作が行われて、プロセッサ装置12が血管強調観察モードに設定される。図15に示すように、血管強調観察モードでは、まず、光源制御部34は、プロセッサ装置12を経由して、内視鏡11のIDメモリ47から内視鏡IDを取得する(S101)。コントローラ56は、取得した内視鏡IDに基づいて、接続された内視鏡11が内視鏡11Aか内視鏡11Bのいずれかであるかを識別して(S102)、機種情報を画像処理部58に送信する。
画像処理部58は、機種情報に応じて画像処理の内容を変更する(S103)。機種情報が内視鏡11Aの場合には、図13(A)に示すように、画像信号B、G、Rに基づいて画像処理を施して表示画像を生成する。機種情報が内視鏡11Bの場合には、図13(B)に示すように、画像信号Bに対してコントラスト調整処理を施す(S104)。そして、処理済みの画像信号Bと、画像信号G、Rに基づいて表示画像を生成する。これにより、内視鏡11A、11Bのどちらを使用した場合でも、同様の観察画像PEが得られる。こうした処理が、血管強調観察モードが終了するまでの間繰り返される(S105)。
上記実施形態では、血管強調観察モードの光源として、波長が405nmの狭帯域光N2を発する光源(第2光源モジュール32)と、白色光原(第1光源モジュール31)を用い、表層血管強調用に狭帯域光N2を、中深層血管強調用に白色光のG成分を利用する例で説明したが、図16に示すように、白色光源の代わりに又はそれに加えて、中深層血管強調用の狭帯域光N3(波長が約530〜560nmの緑色狭帯域光)を発する光源を用いてもよい。
また、白色光源として、青色の励起光を発する発光素子と黄色の蛍光を発する蛍光体とからなる光源を例に説明したが、白色光源としては、青色の励起光を発する発光素子と赤色の発光素子の2つの発光素子と、緑色の蛍光を発する蛍光体とから構成してもよいし、蛍光体を使用せずに、青色、緑色、赤色の3色の発光素子から構成してもよい。
上記実施形態では、血管情報観察として血管強調観察を例に説明したが、血管情報観察には、血管強調観察の他にも、血液の酸素飽和度を算出してこれを画像化して観察する酸素飽和度観察などがある。本発明は、酸素飽和度観察に適用することもできる。
酸素飽和度観察における照明光としては、例えば、波長が445nmや473nmの光のように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差がある光と、波長が405nmの光のように酸化ヘモグロビンと還元ヘモグロビンの吸光係数が同じ等吸収点の光が利用される。そして、各波長で取得された複数の画像間で演算を行って酸素飽和度が算出される。画像間演算においては、各波長の光の出射光量の比率が所定の比率に保たれることを前提として、演算に使用する係数などが設定される。そのため、内視鏡の機種によって出射光量の比率が変化することは好ましくない。そこで、内視鏡11Bにおける狭帯域光N2(405nm)の光量低下分を補償するコントラスト強調処理を施すことにより、画像間演算の精度を向上させることができる。
また、酸素飽和度観察では、1例として波長が異なる3種類以上の光を利用するが、血管強調観察においても、青色光と緑色光に加えて、より深層の血管を強調するためにより波長が長い赤色光を使用するというように3種類以上の光を利用する場合もある。3種類以上の光を利用する場合に本発明を適用してもよい。
上記実施形態では、複数機種の内視鏡として、既存の内視鏡と青色領域のライトガイドの光透過特性が改善された改良型内視鏡を例に説明したが、既存の内視鏡と改良型内視鏡は1例である。これに限らず、本発明において、複数機種の内視鏡は、血管情報観察用の2種類の光のうち少なくとも一方に対する光透過率が異なるライトガイドが内蔵された複数の内視鏡であればよい。
上記実施形態では、半導体光源としてレーザダイオードを例に説明したが、LEDなど他の半導体光源でもよい。また、本発明は、キセノンランプやハロゲンランプなど、青色〜赤色までの広い波長域を有する白色光を発する白色光源と、狭帯域光N2など特定の波長域に透過性を有する回転フイルタとを組み合わせて、血管情報観察用の光を生成する内視鏡システムに適用することもできる。
ただし、キセノンランプやハロゲンランプなどが発する白色光の分光スペクトルにおいては、狭帯域光N2(波長が約405nm)のように紫外領域に近い波長域の光強度は相対的に低い場合が多い。そのため、狭帯域光N2を使用した血管情報観察を行う場合には、半導体光源を使用することが好ましく、本発明は、このような半導体光源を用いた場合に特に有効である。
また、上記実施形態では、青色領域の狭帯域光N2に対応する画像信号Bに対してコントラスト強調処理を行う例で説明したが、緑色領域など、ライトガイドの光透過率が青色領域以外の波長域で低下する場合には、その波長域に対する画像信号に対してコントラスト強調処理を実行してもよい。また、ライトガイドの光透過率に関して、青色領域及び緑色領域などの複数の波長域で光透過率に大きな差がある場合には、それぞれの波長域に対応する画像信号に対してコントラスト強調処理を実行してもよい。
ただし、本発明は、上記実施形態で示したように、血管情報観察用の光として、青色領域の狭帯域光を使用する場合において特に必要性が高い。理由は以下のとおりである。図5に示したとおり、ヘモグロビンの吸収スペクトルにおいては、緑色領域と比較して青色領域においては吸光係数の変化が急峻である。そのため、表層血管強調用の青色領域の光については、中深層血管強調用の緑色領域の光と比較して波長域が狭い狭帯域光であることが好ましい。波長域が狭いとそれだけ光量が低下する。加えて、ライトガイドの青色領域において光透過率が低いと光量はさらに低下することになる。光量の不足分が多いほど、本発明のようなコントラスト強調処理でコントラストの低下を補償する必要性が高い。したがって、本発明は、青色領域の光透過率が低いライトガイドを有する内視鏡で、青色領域の狭帯域光を利用して血管情報観察を行う場合に特に有効である。
また、コントラスト強調処理としては、階調補正処理に代えて又はそれに加えて、画像内の血管のエッジを検出して強調するエッジ強調処理でもよい。
また、上記実施形態では、内視鏡の機種情報のみに基づいて画像処理の内容を変更しているが、機種情報に加えて以下の条件を満たした場合に画像処理の内容を変更するようにしてもよい。内視鏡11Bが接続された場合でも、内視鏡11Aが接続された場合よりも狭帯域光N2を発する第2光源モジュール32の出力を上げることができれば、ライトガイド43Bによる狭帯域光N2の出射光量の低下分を補償することができる。そのため、内視鏡11Bが接続された場合には、まず、光源装置13において、内視鏡11Aが接続された場合の出射光量と同じになるように、第2光源モジュール32の出力を上げる。そして、第2光源モジュール32の出力が上限値に達してそれ以上出力を上げることができない場合に、画像処理の内容を変更する。
上記実施形態では、B、G、Rのマイクロカラーフイルタが設けられたカラー撮像素子を用いて、白色光をマイクロカラーフイルタで色分離して複数色の画像を同時に取得する同時方式を例に説明したが、カラーフイルタが設けられていないモノクロ撮像素子を用いて、各色の画像を順次取得する面順次方式に適用してもよい。
上記実施形態では、光源装置と画像処理を行うプロセッサ装置が別体で構成される例で説明したが、2つの装置を一体で構成してもよい。また、本発明は、撮像素子と超音波トランスデューサが先端部に内蔵された超音波内視鏡と画像処理を行うプロセッサ装置からなるシステム等、他の形態の内視鏡システムにも適用することができる。
10 内視鏡システム
11、11A、11B 内視鏡
12 プロセッサ装置(画像処理装置)
13 光源装置
28 コネクタ
31 第1光源モジュール
32 第2光源モジュール
34 光源制御部
42a、42b レセプタクルコネクタ(接続部)
43、43A、43B ライトガイド
47、47A、47B IDメモリ
56 コントローラ(内視鏡識別部)
58 画像処理部
58a 階調補正テーブル
LD1、LD2 レーザダイオード

Claims (7)

  1. 生体内の観察部位を照明する照明光を導光するための第1及び第2ライトガイドであり、血管情報観察用の光に対する光透過率に差がある第1及び第2ライトガイドがそれぞれ内蔵された第1及び第2の内視鏡を交換可能に接続する接続部と、
    前記接続部に接続された内視鏡の種類が前記第1及び第2の内視鏡のどちらであるかを識別する内視鏡識別部と、
    前記第1及び第2の内視鏡のそれぞれが出力する画像信号に対して画像処理を施す画像処理部とを備えており、血管強調観察モードにおいて、前記接続部に接続された内視鏡が前記第1の内視鏡か前記第2の内視鏡かに応じて、前記画像処理について異なる処理を施す画像処理部とを備え、
    前記画像処理部は、前記第1及び第2の内視鏡のうち前記血管情報観察用の光に対する光透過率が低い内視鏡が前記接続部に接続されている場合には、前記血管情報観察用の光に対応する画像信号に対して、血管のコントラストを向上させるための処理を行うことを特徴とする内視鏡システム。
  2. 前記血管情報観察用の光は、第1及び第2光の少なくとも2種類あり、2種類のうち、前記光透過率に差があるのは少なくとも一方であることを特徴とする請求項1記載の内視鏡システム。
  3. 前記第1及び第2光のうち前記光透過率に相対的に大きな差があるのは前記第2光であり、
    前記第2光は、波長が30nm以下の青色光であることを特徴とする請求項2記載の内視鏡システム。
  4. 前記青色光は、波長が10±10nmであることを特徴とする請求項3記載の内視鏡システム。
  5. 前記第1光は、波長が30nm〜560nmの波長域の緑色光を含むことを特徴とする請求項3又は4記載の内視鏡システム。
  6. 前記血管情報観察用の光は、半導体光源によって出力される光であることを特徴とする請求項1〜5のいずれか1項に記載の内視鏡システム。
  7. 前記第1及び第2ライトガイドは、光ファイバをバンドル化したファイババンドルであることを特徴とする請求項1〜6のいずれか1項に記載の内視鏡システム。
JP2017097334A 2017-05-16 2017-05-16 内視鏡システム Active JP6454755B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017097334A JP6454755B2 (ja) 2017-05-16 2017-05-16 内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017097334A JP6454755B2 (ja) 2017-05-16 2017-05-16 内視鏡システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016128828A Division JP2016174976A (ja) 2016-06-29 2016-06-29 内視鏡システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018235081A Division JP6694046B2 (ja) 2018-12-17 2018-12-17 内視鏡システム

Publications (2)

Publication Number Publication Date
JP2017170165A JP2017170165A (ja) 2017-09-28
JP6454755B2 true JP6454755B2 (ja) 2019-01-16

Family

ID=59969844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017097334A Active JP6454755B2 (ja) 2017-05-16 2017-05-16 内視鏡システム

Country Status (1)

Country Link
JP (1) JP6454755B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6694046B2 (ja) * 2018-12-17 2020-05-13 富士フイルム株式会社 内視鏡システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63234938A (ja) * 1987-03-23 1988-09-30 オリンパス光学工業株式会社 電子式内視鏡を用いる撮像装置
JP2005237698A (ja) * 2004-02-26 2005-09-08 Pentax Corp 軟性内視鏡及びライトガイド
JP2006204341A (ja) * 2005-01-25 2006-08-10 Pentax Corp 光源装置
JP2007111338A (ja) * 2005-10-21 2007-05-10 Pentax Corp 光量制御可能な内視鏡装置
WO2010044432A1 (ja) * 2008-10-17 2010-04-22 オリンパスメディカルシステムズ株式会社 内視鏡システムおよび内視鏡画像処理装置
JP5401205B2 (ja) * 2009-08-10 2014-01-29 富士フイルム株式会社 内視鏡装置
JP5508959B2 (ja) * 2010-06-30 2014-06-04 富士フイルム株式会社 内視鏡装置

Also Published As

Publication number Publication date
JP2017170165A (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
JP5762344B2 (ja) 画像処理装置及び内視鏡システム
JP6417014B2 (ja) 内視鏡用光源装置、およびこれを用いた内視鏡システム
US9526408B2 (en) Electronic endoscope system and method for controlling the same
JP5452300B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
JP5496852B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5309120B2 (ja) 内視鏡装置
JP5306447B2 (ja) 透過率調整装置、観察装置、及び観察システム
US9629527B2 (en) Endoscope system, processor device of endoscope system, and image processing method
CN108366717B (zh) 内窥镜装置
JP5757891B2 (ja) 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム
JP2016174976A (ja) 内視鏡システム
JP2012152414A (ja) 電子内視鏡システム
JP6100674B2 (ja) 内視鏡用光源装置及び内視鏡システム
CN111295124B (zh) 内窥镜系统、内窥镜图像的生成方法和处理器
JP5539841B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5780653B2 (ja) 光源装置及び内視鏡システム
JP5677555B2 (ja) 内視鏡装置
JP6454755B2 (ja) 内視鏡システム
JP6141220B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP6325707B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP5965028B2 (ja) 内視鏡システム
JP7163487B2 (ja) 内視鏡用光源装置、及び、内視鏡システム
JP7235832B2 (ja) 内視鏡システム
JP6970777B2 (ja) 内視鏡システム
JP6694046B2 (ja) 内視鏡システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181217

R150 Certificate of patent or registration of utility model

Ref document number: 6454755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250