JP6210923B2 - 生体観察システム - Google Patents

生体観察システム Download PDF

Info

Publication number
JP6210923B2
JP6210923B2 JP2014078870A JP2014078870A JP6210923B2 JP 6210923 B2 JP6210923 B2 JP 6210923B2 JP 2014078870 A JP2014078870 A JP 2014078870A JP 2014078870 A JP2014078870 A JP 2014078870A JP 6210923 B2 JP6210923 B2 JP 6210923B2
Authority
JP
Japan
Prior art keywords
light
image
oxygen saturation
subject
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014078870A
Other languages
English (en)
Other versions
JP2015198735A (ja
Inventor
五十嵐 誠
誠 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014078870A priority Critical patent/JP6210923B2/ja
Publication of JP2015198735A publication Critical patent/JP2015198735A/ja
Application granted granted Critical
Publication of JP6210923B2 publication Critical patent/JP6210923B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、生体観察システムに関し、特に、生体組織の観察に用いられる生体観察システムに関するものである。
医療分野の内視鏡観察においては、例えば、所定の波長帯域を具備するように狭帯域化された光である狭帯域光を生体粘膜等の被写体に照射して得られた狭帯域光観察画像に基づき、当該被写体に含まれる病変の種類及び悪性度等を特定するような診断手法が従来知られている。そして、例えば、特許文献1には、前述のような診断手法に適用可能な構成を具備する内視鏡システムが開示されている。
具体的には、特許文献1には、内視鏡システムにおいて、410±10nmの波長帯域に設定された狭帯域光N1と、440±10nmの波長帯域に設定された狭帯域光N2と、470±10nmの波長帯域に設定された狭帯域光N3と、540±10nmの波長帯域に設定された狭帯域光N4と、を順次被写体に照射し、当該被写体に照射された狭帯域光N1及びN4の戻り光に基づいて血管強調画像を生成し、当該被写体に照射された狭帯域光N2〜N4の戻り光に基づいて酸素飽和度画像を生成し、当該生成した血管強調画像及び酸素飽和度画像をモニタに並列表示させるための構成が開示されている。
ここで、特許文献1に開示された構成によれば、例えば、特殊観察モードにおいて、白色光を生体粘膜等の被写体に照射して得られる白色光観察画像とは大幅に異なる色調を具備する血管強調画像及び酸素飽和度画像が常にモニタに並列表示される。そのため、特許文献1に開示された構成によれば、特殊観察モードにおいてモニタに表示される画像を確認しながら病変の診断を行う際に、術者に過度な負担を強いてしまう、という課題が生じている。
本発明は、前述した事情に鑑みてなされたものであり、病変の診断の際の術者の負担を軽減可能な生体観察システムを提供することを目的としている。
本発明の一態様の生体観察システムは、被写体を照明するための照明光として、青色光である第1の光と、前記第1の光よりも長波長側の青色光である第2の光と、前記第1の光及び前記第2の光よりも短波長側の青色光である第3の光と、赤色光である第4の光と、緑色光である第5の光と、を発生する照明光発生部と、前記被写体からの光を受光し、前記被写体の撮像信号を生成する撮像部と、前記撮像信号に基づき、前記被写体の観察画像を生成して表示装置へ出力する観察画像生成部と、前記被写体の酸素飽和度情報を取得するための処理として、前記第1の光により照明された前記被写体を撮像して得られた第1の画像と、前記第2の光により照明された前記被写体を撮像して得られた第2の画像と、前記第3の光により照明された前記被写体を撮像して得られた第3の画像と、に基づき、前記第1の画像の輝度値から前記第3の画像の輝度値を除して得られる第1の除算値と、前記第2の画像の輝度値から前記第3の画像の輝度値を除して得られる第2の除算値と、の組み合わせに対応する酸素飽和度値を、前記被写体を撮像して得られた画像内の各画素毎に取得する処理を行う酸素飽和度情報取得部と、前記酸素飽和度情報に基づき、前記被写体を撮像して得られた画像内に、酸素飽和度の大きさが所定の閾値未満の領域である低酸素領域が存在するか否かを判定する判定部と、前記判定部により前記低酸素領域が存在するとの判定結果が得られた際に、前記観察画像生成部から前記表示装置への前記観察画像の出力に併せて低酸素状態である旨を報知し、前記低酸素領域が存在するとの判定結果が得られない際に、前記低酸素状態である旨を報知せず前記観察画像を前記表示装置に出力する報知処理部と、を有し、前記第1の光及び前記第2の光は、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化するような波長帯域を具備し、前記第3の光は、血中ヘモグロビンの酸素飽和度の変化量に対する吸収係数の変化量が前記第1の光及び前記第2の光に比べて低くなるような波長帯域を具備し、前記報知処理部は、前記低酸素領域が存在するとの判定結果が前記判定部により得られた際に、前記第4の光により照明された前記被写体を撮像して得られた第4の画像に前記第1の除算値または前記第2の除算値を乗じる処理を行い、前記観察画像生成部は、前記低酸素領域が存在するとの判定結果が前記判定部により得られた際に、前記第1の除算値または前記第2の除算値が乗じられた前記第4の画像の輝度値を前記表示装置の赤色チャンネルに割り当て、前記第5の光により照明された前記被写体を撮像して得られた第5の画像の輝度値を前記表示装置の緑色チャンネルに割り当て、前記第1の画像、前記第2の画像及び前記第3の画像を加算して得られる輝度値を前記表示装置の青色チャンネルに割り当てることにより前記観察画像を生成する。
本発明の一態様の生体観察システムは、被写体を照明するための照明光として、青色光である第1の光と、前記第1の光よりも長波長側の青色光である第2の光と、前記第1の光及び前記第2の光よりも短波長側の青色光である第3の光と、緑色光である第4の光と、を発生する照明光発生部と、前記被写体からの光を受光し、前記被写体の撮像信号を生成する撮像部と、前記撮像信号に基づき、前記被写体の観察画像を生成して表示装置へ出力する観察画像生成部と、前記被写体の酸素飽和度情報を取得するための処理として、前記第1の光により照明された前記被写体を撮像して得られた第1の画像と、前記第2の光により照明された前記被写体を撮像して得られた第2の画像と、前記第3の光により照明された前記被写体を撮像して得られた第3の画像と、に基づき、前記第1の画像の輝度値から前記第3の画像の輝度値を除して得られる第1の除算値と、前記第2の画像の輝度値から前記第3の画像の輝度値を除して得られる第2の除算値と、の組み合わせに対応する酸素飽和度値を、前記被写体を撮像して得られた画像内の各画素毎に取得する処理を行う酸素飽和度情報取得部と、前記酸素飽和度情報に基づき、前記被写体を撮像して得られた画像内に、酸素飽和度の大きさが所定の閾値未満の領域である低酸素領域が存在するか否かを判定する判定部と、前記判定部により前記低酸素領域が存在するとの判定結果が得られた際に、前記観察画像生成部から前記表示装置への前記観察画像の出力に併せて低酸素状態である旨を報知し、前記低酸素領域が存在するとの判定結果が得られない際に、前記低酸素状態である旨を報知せず前記観察画像を前記表示装置に出力する報知処理部と、を有し、前記第1の光及び前記第2の光は、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化するような波長帯域を具備し、前記第3の光は、血中ヘモグロビンの酸素飽和度の変化量に対する吸収係数の変化量が前記第1の光及び前記第2の光に比べて低くなるような波長帯域を具備し、前記報知処理部は、前記低酸素領域が存在するとの判定結果が前記判定部により得られた際に、前記第4の光により照明された前記被写体を撮像して得られた第4の画像に前記第1の除算値または前記第2の除算値を乗じる処理を行い、前記観察画像生成部は、前記低酸素領域が存在するとの判定結果が前記判定部により得られた際に、前記第1の除算値または前記第2の除算値が乗じられた前記第4の画像の輝度値を前記表示装置の赤色チャンネルに割り当て、前記第1の画像及び前記第3の画像を加算して得られる輝度値を前記表示装置の緑色チャンネルに割り当て、前記第1の画像及び前記第3の画像を加算して得られる輝度値を前記表示装置の青色チャンネルに割り当てることにより前記観察画像を生成する。
本発明における生体観察システムによれば、病変の診断の際の術者の負担を軽減することができる。
実施例に係る生体観察システムの要部の構成を示す図。 原色カラーフィルタの分光特性の一例を示す図。 光源装置から発せられる光の波長の一例を説明するための図。 実施例に係る生体観察システムにおける画像信号処理部の構成の一例を示す図。 酸素飽和度値の取得に係る処理に用いられるルックアップテーブルの一例を示す図。 図5のルックアップテーブルを用いて酸素飽和度を取得する際に行われる処理を説明するための図。 低酸素領域の存在を報知する際の表示態様の一例を示す図。 酸素飽和度マスク画像の一例を示す図。 酸素飽和度マスク画像の、図8とは異なる例を示す図。 低酸素領域が存在する場合における白色光観察画像の表示態様の一例を示す図。 低酸素領域が存在する場合における白色光観察画像の表示態様の、図10とは異なる例を示す図。 低酸素領域が存在する場合における狭帯域光観察画像の表示態様の一例を示す図。 低酸素領域が存在する場合における狭帯域光観察画像の表示態様の、図12とは異なる例を示す図。
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
(第1の実施例)
図1から図7は、本発明の第1の実施例に係るものである。図1は、実施例に係る生体観察システムの要部の構成を示す図である。
生体観察システム101は、図1に示すように、生体である被検体内に挿入可能な細長形状の挿入部を具備するとともに、当該被検体内の生体組織等の被写体を撮像して撮像信号を出力する内視鏡1と、内視鏡1の内部に挿通配置されたライトガイド6を介して当該被写体の観察に用いられる照明光を供給する光源装置2と、内視鏡1から出力される撮像信号に応じた観察画像等を生成して出力するプロセッサ3と、プロセッサ3から出力される観察画像等を表示する表示装置4と、ユーザの入力操作に応じた指示等をプロセッサ3に対して行うことが可能なスイッチ及び/またはボタン等を備えた入力装置5と、を有して構成されている。
内視鏡1は、ライトガイド6により伝送された光を被写体へ照射する照明光学系11と、照明光学系11から照射された光に応じて当該被写体から発せられる反射光(戻り光)を撮像して得られた撮像信号を出力する撮像部12と、を挿入部の先端部に設けて構成されている。また、内視鏡1は、ユーザの操作に応じた種々の指示をプロセッサ3に対して行うことが可能なスコープスイッチ13を有して構成されている。
撮像部12は、光源装置2から発せられる照明光により照明された被写体からの反射光(戻り光)を撮像して撮像信号を出力するように構成されている。具体的には、撮像部12は、被写体から発せられる反射光(戻り光)を結像する対物光学系12aと、原色カラーフィルタ121を備えた撮像面が対物光学系12aの結像位置に合わせて配置された撮像素子12bと、を有して構成されている。
撮像素子12bは、例えば、CCD等を具備し、プロセッサ3から出力される撮像素子駆動信号に応じて駆動するとともに、撮像面に結像された被写体からの反射光(戻り光)を撮像して得られた撮像信号を出力するように構成されている。
原色カラーフィルタ121は、赤色域、緑色域及び青色域の各波長帯域において、図2に例示するような分光感度を具備している。図2は、原色カラーフィルタの分光特性の一例を示す図である。
すなわち、本実施例の撮像部12は、R光(後述)により照明された被写体を赤色域に感度を有する画素群で撮像し、G光(後述)により照明された被写体を緑色域に感度を有する画素群で撮像し、NB1光(後述)により照明された被写体、NB2光(後述)により照明された被写体、及び、NB3光(後述)により照明された被写体を青色域に感度を有する画素群で撮像するように構成されている。
スコープスイッチ13には、例えば、ユーザの操作に応じ、生体観察システム101の観察モードを白色光観察モードまたは狭帯域光観察モードのいずれかに設定する(切り替える)ための指示をプロセッサ3に対して行うことが可能な観察モード切替スイッチ(不図示)が設けられている。
光源装置2は、光源駆動部21と、発光ユニット22と、を有して構成されている。
光源駆動部21は、例えば、駆動回路等を具備して構成されている。また、光源駆動部21は、プロセッサ3から出力される照明制御信号に基づき、発光ユニット22の各光源を所定の順番で発光させるための光源駆動信号を生成し、当該生成した光源駆動信号を発光ユニット22へ出力するように構成されている。
発光ユニット22は、狭帯域光源22a、22b及び22cと、緑色光源22dと、赤色光源22eと、を有して構成されている。
狭帯域光源22aは、例えば、青色LED(発光ダイオード)または青色LD(レーザーダイオード)等を具備し、狭帯域な青色光であるNB1光を発生するように構成されている。図3は、光源装置から発せられる光の波長の一例を説明するための図である。
NB1光は、例えば、図3に示すように、血中ヘモグロビンの酸素飽和度の変化量に対する吸収係数の変化量が後述のNB2光及びNB3光に比べて低くなるようなピーク波長及び波長帯域を具備している。
NB1光のピーク波長λP1は、酸化ヘモグロビンの吸収係数から還元ヘモグロビンの吸収係数を減じて得られる差分値ΔA1が後述の差分値ΔA2及びΔA3に比べて小さくなるような波長として設定されている。なお、本実施例においては、好適には、ピーク波長λP1が400nm付近の波長となるように設定される。
NB1光の波長帯域は、例えば、図3に示すように、青色域において、NB2光及びNB3光の波長帯域よりも短波長側に設定されている。また、NB1光の波長帯域は、例えば、図3に示すように、青色域において、NB2光及びNB3光の波長帯域とそれぞれ重複しないような波長帯域として設定されている。なお、本実施例においては、好適には、NB1光の波長帯域が415nmの波長を含むような波長帯域として設定される。
狭帯域光源22bは、例えば、青色LEDまたは青色LD等を具備し、狭帯域な青色光であるNB2光を発生するように構成されている。
NB2光は、例えば、図3に示すように、血中ヘモグロビンの酸素飽和度の変化量に対する吸収係数の変化量がNB1光に比べて高くなるようなピーク波長及び波長帯域を具備している。
NB2光のピーク波長λP2は、還元ヘモグロビンの吸収係数から酸化ヘモグロビンの吸収係数を減じて得られる差分値ΔA2が前述の差分値ΔA1に比べて大きくなるような波長として設定されている。なお、本実施例においては、好適には、ピーク波長λP2が440nm付近の波長となるように設定される。
NB2光の波長帯域は、例えば、図3に示すように、青色域において、NB1光の波長帯域よりも長波長側かつNB3光の波長帯域よりも短波長側に設定されている。また、NB2光の波長帯域は、例えば、図3に示すように、青色域において、NB1光及びNB3光の波長帯域とそれぞれ重複しないような波長帯域として設定されている。
すなわち、NB2光の波長帯域は、可視域(青色域)内において、血中ヘモグロビンの酸素飽和度に応じて吸収係数が変化するような波長帯域として設定されている。
狭帯域光源22cは、例えば、青色LEDまたは青色LD等を具備し、狭帯域な青色光であるNB3光を発生するように構成されている。
NB3光は、例えば、図3に示すように、血中ヘモグロビンの酸素飽和度の変化量に対する吸収係数の変化量がNB1光に比べて高くなるようなピーク波長及び波長帯域を具備している。
NB3光のピーク波長λP3は、酸化ヘモグロビンの吸収係数から還元ヘモグロビンの吸収係数を減じて得られる差分値ΔA3が前述の差分値ΔA1に比べて大きくなる波長として設定されている。なお、本実施例においては、好適には、ピーク波長λP3が470nm付近の波長となるように設定される。
NB3光の波長帯域は、例えば、図3に示すように、青色域において、NB2光及びNB3光の波長帯域よりも長波長側に設定されている。また、NB3光の波長帯域は、例えば、図3に示すように、青色域において、NB1光及びNB2光の波長帯域とそれぞれ重複しないような波長帯域として設定されている。
すなわち、NB3光の波長帯域は、可視域(青色域)内において、血中ヘモグロビンの酸素飽和度に応じて吸収係数が変化するような波長帯域として設定されている。
緑色光源22dは、例えば、緑色LED等を具備して構成されている。また、緑色光源22dは、図3に例示するような、NB1光、NB2光及びNB3光よりも広い波長帯域を具備する緑色光であるG光を発生するように構成されている。なお、G光の波長帯域は、NB3光の波長帯域と重複しないように設定されているものとする。また、本実施例においては、好適には、G光の波長帯域が540nmの波長を含むような波長帯域として設定される。
赤色光源22eは、例えば、赤色LED等を具備して構成されている。また、赤色光源22eは、図3に例示するような、NB1光、NB2光及びNB3光よりも広い波長帯域を具備する赤色光であるR光を発生するように構成されている。
プロセッサ3は、前処理部31と、画像信号処理部32と、表示画像生成部33と、制御部34と、を有して構成されている。
前処理部31は、例えば、ノイズ低減回路及びA/D変換回路等を具備し、内視鏡1から出力される撮像信号に対してノイズ除去及びA/D変換等の処理を施すことによりデジタルな画像信号を生成し、当該生成した画像信号を画像信号処理部32へ出力するように構成されている。
画像信号処理部32は、制御部34から出力されるシステム制御信号に基づいて動作するように構成されている。また、画像信号処理部32は、例えば、図4に示すように、色成分分離部32Aと、メモリ32Bと、酸素飽和度情報取得部32Cと、判定部32Dと、を有して構成されている。図4は、実施例に係る生体観察システムにおける画像信号処理部の構成の一例を示す図である。
色成分分離部32Aは、前処理部31から出力される画像信号を、NB1光の反射光(戻り光)を撮像して得られるNB1成分、NB2光の反射光(戻り光)を撮像して得られるNB2成分、NB3光の反射光(戻り光)を撮像して得られるNB3成分、G光の反射光(戻り光)を撮像して得られるG成分、及び、R光の反射光(戻り光)を撮像して得られるR成分の色成分毎に分離するための色分離処理を行うように構成されている。また、色成分分離部32Aは、制御部34から出力されるシステム制御信号に基づき、前述の色分離処理により得られた各色成分を1フレーム分ずつ酸素飽和度情報取得部32C及び表示画像生成部33へそれぞれ出力するように構成されている。
メモリ32Bには、酸素飽和度情報取得部32Cの処理に用いられるルックアップテーブル(後述)が格納されている。
酸素飽和度情報取得部32Cは、色成分分離部32Aから1フレーム分ずつ出力される各色成分と、メモリ32Bに格納されたルックアップテーブルと、に基づき、1フレーム分の画像に含まれる各画素毎に酸素飽和度値を取得するための処理(後述)を行うように構成されている。また、酸素飽和度情報取得部32Cは、前述の処理により取得した酸素飽和度値に基づき、光源装置2から発せられる照明光により照明された被写体の酸素飽和度の大きさを示す酸素飽和度情報を取得し、当該取得した酸素飽和度情報を判定部32Dへ出力するための処理を行うように構成されている。また、酸素飽和度情報取得部32Cは、制御部34から出力されるシステム制御信号に基づき、酸素飽和度情報の取得及び判定部32Dへの出力に係る処理を各フレーム毎に行うように構成されている。
判定部32Dは、酸素飽和度情報取得部32Cから出力される酸素飽和度情報に基づき、酸素飽和度の大きさが所定の閾値TH未満の領域である低酸素領域が画像内に存在するか否かを判定するための判定処理を行うように構成されている。また、判定部32Dは、制御部34から出力されるシステム制御信号に基づき、前述の判定処理を各フレーム毎に行うとともに、前述の判定処理により得られた判定結果を表示画像生成部33へ出力するように構成されている。
表示画像生成部33は、観察画像生成部としての機能を具備し、制御部34から出力されるシステム制御信号と、画像信号処理部32から出力される各色成分(色成分分離部32Aから出力される各色成分に対応する画像)と、に基づいて観察画像を生成し、当該生成した観察画像を表示装置4へ出力するように構成されている。
表示画像生成部33は、制御部34から出力されるシステム制御信号に基づき、例えば、生体観察システム101の観察モードが白色光観察モードに設定されたことを検出した場合には、画像信号処理部32から出力されるR成分の輝度値を表示装置4の赤色に対応するRチャンネルに割り当て、画像信号処理部32から出力されるG成分の輝度値を表示装置4の緑色に対応するGチャンネルに割り当て、画像信号処理部32から出力されるNB1成分、NB2成分及びNB3成分を加算して得られる輝度値を表示装置4の青色に対応するBチャンネルに割り当てることにより白色光観察画像を生成するように構成されている。
表示画像生成部33は、制御部34から出力されるシステム制御信号に基づき、例えば、生体観察システム101の観察モードが狭帯域光観察モードに設定されたことを検出した場合には、画像信号処理部32から出力されるG成分の輝度値をRチャンネルに割り当て、画像信号処理部32から出力されるNB1成分及びNB2成分を加算して得られる輝度値をGチャンネルに割り当て、画像信号処理部32から出力されるNB1成分及びNB2成分を加算して得られる輝度値をBチャンネルに割り当てることにより狭帯域光観察画像を生成するように構成されている。
表示画像生成部33は、判定部32Dから出力される判定結果に基づき、例えば、画像内に低酸素領域が存在しないことを検出した場合には、観察画像(白色光観察画像または狭帯域光観察画像)をそのまま表示装置4へ出力するように構成されている。
表示画像生成部33は、判定部32Dから出力される判定結果に基づき、例えば、画像内に低酸素領域が存在することを検出した場合には、当該画像内における低酸素領域の存在を報知するための所定の記号または所定の文字列を含む視覚情報を生成し、当該生成した視覚情報を観察画像(白色光観察画像または狭帯域光観察画像)と併せて表示装置4へ出力するための処理を行うように構成されている。
すなわち、本実施例の表示画像生成部33は、報知処理部としての機能を具備し、画像内に低酸素領域が存在するとの判定結果が判定部32Dにより得られた際に、当該低酸素領域の存在を報知するための処理を、表示装置4への観察画像(白色光観察画像または狭帯域光観察画像)の出力に併せて行うように構成されている。
制御部34は、撮像素子12bを駆動するための撮像素子駆動信号を生成して出力するように構成されている。
制御部34は、NB1光、NB2光、NB3光、G光、及び、R光を所定の順番で発生させるための照明制御信号を生成して光源駆動部21へ出力するように構成されている。
制御部34は、例えば、CPUまたは制御回路等を具備し、スコープスイッチ13の観察モード切替スイッチにおいて設定された観察モードに対応する動作を行わせるためのシステム制御信号を生成して画像信号処理部32及び表示画像生成部33へ出力するように構成されている。
続いて、本実施例に係る生体観察システム101の作用について説明する。なお、以降においては、簡単のため、色成分分離部32Aの色分離処理により、前述の各色成分に対応するNB1画像、NB2画像、NB3画像、G画像、及び、R画像が得られるものとして説明を進める。
制御部34は、プロセッサ3の電源投入に伴い、例えば、第1のタイミングtaでNB1光及びG光を同時に発生させ、当該第1のタイミングtaの後の第2のタイミングtbでNB2光及びR光を同時に発生させ、当該第2のタイミングtbの後の第3のタイミングtcでNB3光を発生させるような動作を順次繰り返し行わせるための照明制御信号を生成して光源駆動部21へ出力する。
光源駆動部21は、制御部34から出力される照明制御信号に基づき、例えば、第1のタイミングtaで狭帯域光源22a及び緑色光源22dのみを発光させ、第2のタイミングtbで狭帯域光源22b及び赤色光源22eのみを発光させ、第3のタイミングtcで狭帯域光源22cのみを発光させるような光源駆動信号を生成して発光ユニット22へ出力する。そして、このような光源駆動部21の動作に応じ、NB1光及びG光と、NB2光及びR光と、NB3光と、が照明光学系11を経て順次照射され、当該被写体からの反射光(戻り光)を撮像して得られた撮像信号が撮像素子12bから出力され、撮像素子12bからの撮像信号に基づいて生成された画像信号が前処理部31から出力される。
色成分分離部32Aは、前処理部31から出力される画像信号を、NB1画像、NB2画像、NB3画像、G画像、及び、R画像に分離するための色分離処理を行い、当該色分離処理により得られた各画像を1フレーム分ずつ酸素飽和度情報取得部32C及び表示画像生成部33へそれぞれ出力する。
酸素飽和度情報取得部32Cは、色成分分離部32Aから出力されるNB1画像及びNB2画像に基づき、NB2画像における注目画素Piの輝度値からNB1画像における当該注目画素Piの輝度値を除することにより除算値DAを算出する処理を行う。また、酸素飽和度情報取得部32Cは、色成分分離部32Aから出力されるNB1画像及びNB3画像に基づき、NB3画像における注目画素Piの輝度値からNB1画像における当該注目画素Piの輝度値を除することにより除算値DBを算出するための処理を行う。
ここで、メモリ32Bに格納されているルックアップテーブルは、例えば、図5のような、除算値DAをX座標値として規定したX軸と、除算値DBをY座標値として規定したY軸と、を具備する直交座標系(以降、XY座標系と略記する)に対し、0%〜100%の値として示される酸素飽和度値をV座標値として規定したV軸を加えたものとして表される。また、図5のV軸は、XY座標系において負の傾きを具備する線分として表される。そのため、図5に例示したルックアップテーブルによれば、例えば、除算値DAが除算値DBに比べて大きい場合には相対的に大きな酸素飽和度値が取得される一方で、除算値DAが除算値DBに比べて小さい場合には相対的に小さな酸素飽和度値が取得される。図5は、酸素飽和度値の取得に係る処理に用いられるルックアップテーブルの一例を示す図である。
酸素飽和度情報取得部32Cは、除算値DA及びDBと、図5のようなXY座標系及びV軸を含むルックアップテーブルと、に基づき、除算値DA及びDBに対応する座標(Xd,Yd)をXY座標系内において特定し、さらに、当該特定した座標(Xd,Yd)からV軸へ向かう垂線とV軸との交点のV座標値を注目画素Piの酸素飽和度値Vdiとして取得するような処理を行う(図6参照)。図6は、図5のルックアップテーブルを用いて酸素飽和度を取得する際に行われる処理を説明するための図である。
酸素飽和度情報取得部32Cは、以上に述べたような処理を、注目画素Piを変更しながら繰り返し行うことにより、1フレーム分の画像に含まれる各画素毎に酸素飽和度値Vdを取得する。
そして、酸素飽和度情報取得部32Cは、1フレーム分の画像に含まれる各画素毎の酸素飽和度値Vdを酸素飽和度情報として判定部32Dへ出力する。または、酸素飽和度情報取得部32Cは、1フレーム分の画像に含まれる各画素毎の酸素飽和度値Vdの平均値である平均酸素飽和度値AVdを算出し、当該算出した平均酸素飽和度値AVdを酸素飽和度情報として判定部32Dへ出力する。あるいは、酸素飽和度情報取得部32Cは、1フレーム分の画像内に設定された所定の関心領域に含まれる各画素毎の酸素飽和度値Vdの平均値である平均酸素飽和度値RVdを算出し、当該算出した平均酸素飽和度値RVdを酸素飽和度情報として判定部32Dへ出力する。なお、本実施例においては、好適には、前記所定の関心領域が画像の中央部を含むような領域として設定される。
判定部32Dは、酸素飽和度情報取得部32Cから出力される酸素飽和度情報に基づき、画像内に低酸素領域が存在するか否かを判定するための判定処理を行う。
具体的には、判定部32Dは、酸素飽和度情報取得部32Cから出力される酸素飽和度情報に基づき、例えば、当該酸素飽和度情報における各酸素飽和度値Vdの中に閾値TH未満を満たすものが1つ以上含まれていることを検出した場合には、画像内に低酸素領域が存在するものと判定するとともに、当該酸素飽和度情報における各酸素飽和度値Vdの中に閾値TH未満のものが存在しないことを検出した場合には、画像内に低酸素領域が存在しないものと判定する。
または、判定部32Dは、酸素飽和度情報取得部32Cから出力される酸素飽和度情報に基づき、例えば、当該酸素飽和度情報に含まれる平均酸素飽和度値AVdあるいは平均酸素飽和度値RVdの一方の値が閾値TH未満である場合には、画像内に低酸素領域が存在するものと判定するとともに、当該酸素飽和度情報に含まれる当該一方の値が閾値TH以上である場合には、画像内に低酸素領域が存在しないものと判定する。
そして、判定部32Dは、以上に述べたような判定処理を行うことにより得られた判定結果を表示画像生成部33へ出力する。
なお、本実施例においては、例えば、判定部32Dの判定処理に用いられる閾値THを30%に設定することにより、20〜30%程度の酸素飽和度を示す癌等の病変の有無を好適に検出することができる。
表示画像生成部33は、判定部32Dから出力される判定結果に基づき、画像内に低酸素領域が存在しないことを検出した場合には、観察画像(白色光観察画像または狭帯域光観察画像)をそのまま表示装置4へ出力する。
また、表示画像生成部33は、判定部32Dから出力される判定結果に基づき、画像内に低酸素領域が存在することを検出した場合には、当該画像内における低酸素領域の存在を報知するための所定の記号または所定の文字列を含む視覚情報を生成し、当該生成した視覚情報を観察画像(白色光観察画像または狭帯域光観察画像)と併せて表示装置4へ出力するための処理を行う。そして、このような表示画像生成部33の処理によれば、例えば、図7に示すように、観察画像(白色光観察画像または狭帯域光観察画像)と、当該観察画像の外部の所定の位置において点灯または点滅するアイコン71と、が表示装置4の画面内に併せて表示される。図7は、低酸素領域の存在を報知する際の表示態様の一例を示す図である。
なお、本実施例の表示画像生成部33は、画像内に低酸素領域が存在することを検出した際に、当該画像内の低酸素領域の存在を報知するための視覚情報を生成し、当該生成した視覚情報を観察画像と併せて表示装置4へ出力するための処理を行うものに限らず、例えば、当該画像内の低酸素領域の存在を報知するための音声情報を生成し、当該生成した音声情報をスピーカ等の音声出力装置へ出力しつつ、観察画像を表示装置4へ出力するための処理を行うようにしてもよい。
以上に述べたように、本実施例によれば、白色光観察画像及び狭帯域光観察画像における画像全域の色調を変更することなく、動脈血及び静脈血に比べて低い酸素飽和度を示す病変の存在の有無を術者に報知することができる。また、本実施例によれば、白色光観察モード時における病変の見逃しを極力防ぐことができる。そのため、本実施例によれば、病変の診断の際の術者の負担を軽減することができる。
(第2の実施例)
図8から図13は、本発明の第2の実施例に係るものである。
なお、本実施例においては、表示画像生成部33の処理が第1の実施例とは異なる一方で、表示画像生成部33の処理以外については第1の実施例の構成等を援用することができる。そのため、本実施例においては、第1の実施例の構成等を援用可能な部分に関する詳細な説明を省略しつつ、表示画像生成部33の処理に関する説明を主に行うものとする。
表示画像生成部33は、判定部32Dから出力される判定結果に基づき、画像内に低酸素領域が存在することを検出した場合において、NB2画像の輝度値をNB1画像の輝度値で除することにより、1フレーム分の画像に含まれる各画素毎の除算値DAの算出結果に相当する酸素飽和度マスク画像MB1を生成する。または、表示画像生成部33は、判定部32Dから出力される判定結果に基づき、画像内に低酸素領域が存在することを検出した場合において、NB3画像の輝度値をNB1画像の輝度値で除することにより、1フレーム分の画像に含まれる各画素毎の除算値DBの算出結果に相当する酸素飽和度マスク画像MB2を生成する。図8は、酸素飽和度マスク画像の一例を示す図である。図9は、酸素飽和度マスク画像の、図8とは異なる例を示す図である。
酸素飽和度マスク画像MB1は、図8に示すように、相対的に小さな除算値DAを具備する低酸素領域が暗い領域として示されるとともに、相対的に大きな除算値DAを具備する非低酸素領域が明るい領域として示されるような画像として生成される。また、酸素飽和度マスク画像MB1の各除算値DAは、1未満の値として算出される。
酸素飽和度マスク画像MB2は、図9に示すように、相対的に大きな除算値DBを具備する低酸素領域が明るい領域として示されるとともに、相対的に小さな除算値DBを具備する非低酸素領域が暗い領域として示されるような画像として生成される。また、酸素飽和度マスク画像MB2の各除算値DBは、1以上の値として算出される。
表示画像生成部33は、生体観察システム101の観察モードが白色光観察モードに設定され、かつ、画像内に低酸素領域が存在することを検出した場合において、酸素飽和度マスク画像MB1またはMB2を画像信号処理部32から出力されるR画像に乗じて得られた輝度値をRチャンネルに割り当て、画像信号処理部32から出力されるG画像の輝度値を表示装置4の緑色に対応するGチャンネルに割り当て、画像信号処理部32から出力されるNB1画像、NB2画像及びNB3画像を加算して得られる輝度値を表示装置4の青色に対応するBチャンネルに割り当てることにより白色光観察画像を生成する。
前述の表示画像生成部33の処理により、例えば、酸素飽和度マスク画像MB1がR画像に乗じられた場合には、図10に示すような白色光観察画像が表示装置4に表示される。図10は、低酸素領域が存在する場合における白色光観察画像の表示態様の一例を示す図である。
図10の白色光観察画像における低酸素領域は、酸素飽和度の低さに応じて強度が増加するようなシアン色で表示される。また、図10の白色光観察画像における非低酸素領域は、画像内に低酸素領域が存在しない場合と略同様の色調で表示される。
前述の表示画像生成部33の処理により、例えば、酸素飽和度マスク画像MB2がR画像に乗じられた場合には、図11に示すような白色光観察画像が表示装置4に表示される。図11は、低酸素領域が存在する場合における白色光観察画像の表示態様の、図10とは異なる例を示す図である。
図11の白色光観察画像における低酸素領域は、酸素飽和度の低さに応じて強度が増加するような赤色で表示される。また、図11の白色光観察画像における非低酸素領域は、画像内に低酸素領域が存在しない場合と略同様の色調で表示される。
一方、表示画像生成部33は、生体観察システム101の観察モードが狭帯域光観察モードに設定され、かつ、画像内に低酸素領域が存在することを検出した場合において、酸素飽和度マスク画像MB1またはMB2を画像信号処理部32から出力されるG画像に乗じて得られた輝度値をRチャンネルに割り当て、画像信号処理部32から出力されるNB1成分及びNB2成分を加算して得られる輝度値をGチャンネルに割り当て、画像信号処理部32から出力されるNB1成分及びNB2成分を加算して得られる輝度値をBチャンネルに割り当てることにより狭帯域光観察画像を生成する。
前述の表示画像生成部33の処理により、例えば、酸素飽和度マスク画像MB1がG画像に乗じられた場合には、図12に示すような狭帯域光観察画像が表示装置4に表示される。図12は、低酸素領域が存在する場合における狭帯域光観察画像の表示態様の一例を示す図である。
図12の狭帯域光観察画像における低酸素領域は、酸素飽和度の低さに応じて強度が増加するようなシアン色で表示される。また、図12の狭帯域光観察画像における非低酸素領域は、画像内に低酸素領域が存在しない場合と略同様の色調で表示される。
前述の表示画像生成部33の処理により、例えば、酸素飽和度マスク画像MB2がG画像に乗じられた場合には、図13に示すような狭帯域光観察画像が表示装置4に表示される。図13は、低酸素領域が存在する場合における狭帯域光観察画像の表示態様の、図12とは異なる例を示す図である。
図13の狭帯域光観察画像における低酸素領域は、酸素飽和度の低さに応じて強度が増加するような赤色で表示される。また、図13の狭帯域光観察画像における非低酸素領域は、画像内に低酸素領域が存在しない場合と略同様の色調で表示される。
すなわち、本実施例の表示画像生成部33は、報知処理部としての機能を具備し、画像内に低酸素領域が存在するとの判定結果が判定部32Dにより得られた際に、当該低酸素領域の存在を報知するための処理を、観察画像(白色光観察画像または狭帯域光観察画像)の生成に併せて行うように構成されている。また、本実施例の表示画像生成部33は、画像内に低酸素領域が存在するとの判定結果が判定部32Dにより得られた際に、観察画像に含まれる低酸素領域の色調を、除算値DAまたは除算値DBに基づいて変更するための処理を行うように構成されている。
以上に述べたように、本実施例によれば、白色光観察画像及び狭帯域光観察画像において、動脈血及び静脈血に比べて低い酸素飽和度を示す病変が存在する位置を容易に特定可能な情報を術者に提示することができる。また、本実施例によれば、白色光観察モード時における病変の見逃しを極力防ぐことができる。さらに、本実施例によれば、狭帯域光モード時において、術者個人の読影の習熟度に極力依存することなく、病変の種類及び悪性度等を特定可能な狭帯域光観察画像を表示させることができる。そのため、本実施例によれば、病変の診断の際の術者の負担を軽減することができる。
なお、本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
1 内視鏡
2 光源装置
3 プロセッサ
4 表示装置
5 入力装置
6 ライトガイド
11 照明光学系
12 撮像部
13 スコープスイッチ
21 光源駆動部
22 発光ユニット
22a,22b,22c 狭帯域光源
22d 緑色光源
22e 赤色光源
31 前処理部
32 画像信号処理部
32A 色成分分離部
32B メモリ
32C 酸素飽和度情報取得部
32D 判定部
33 表示画像生成部
34 制御部
101 生体観察システム
日本国特開2013−13656号公報

Claims (6)

  1. 被写体を照明するための照明光として、青色光である第1の光と、前記第1の光よりも長波長側の青色光である第2の光と、前記第1の光及び前記第2の光よりも短波長側の青色光である第3の光と、赤色光である第4の光と、緑色光である第5の光と、を発生する照明光発生部と、
    前記被写体からの光を受光し、前記被写体の撮像信号を生成する撮像部と、
    前記撮像信号に基づき、前記被写体の観察画像を生成して表示装置へ出力する観察画像生成部と、
    前記被写体の酸素飽和度情報を取得するための処理として、前記第1の光により照明された前記被写体を撮像して得られた第1の画像と、前記第2の光により照明された前記被写体を撮像して得られた第2の画像と、前記第3の光により照明された前記被写体を撮像して得られた第3の画像と、に基づき、前記第1の画像の輝度値から前記第3の画像の輝度値を除して得られる第1の除算値と、前記第2の画像の輝度値から前記第3の画像の輝度値を除して得られる第2の除算値と、の組み合わせに対応する酸素飽和度値を、前記被写体を撮像して得られた画像内の各画素毎に取得する処理を行う酸素飽和度情報取得部と、
    前記酸素飽和度情報に基づき、前記被写体を撮像して得られた画像内に、酸素飽和度の大きさが所定の閾値未満の領域である低酸素領域が存在するか否かを判定する判定部と、
    前記判定部により前記低酸素領域が存在するとの判定結果が得られた際に、前記観察画像生成部から前記表示装置への前記観察画像の出力に併せて低酸素状態である旨を報知し、前記低酸素領域が存在するとの判定結果が得られない際に、前記低酸素状態である旨を報知せず前記観察画像を前記表示装置に出力する報知処理部と、を有し、
    前記第1の光及び前記第2の光は、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化するような波長帯域を具備し、
    前記第3の光は、血中ヘモグロビンの酸素飽和度の変化量に対する吸収係数の変化量が前記第1の光及び前記第2の光に比べて低くなるような波長帯域を具備し、
    前記報知処理部は、前記低酸素領域が存在するとの判定結果が前記判定部により得られた際に、前記第4の光により照明された前記被写体を撮像して得られた第4の画像に前記第1の除算値または前記第2の除算値を乗じる処理を行い、
    前記観察画像生成部は、前記低酸素領域が存在するとの判定結果が前記判定部により得られた際に、前記第1の除算値または前記第2の除算値が乗じられた前記第4の画像の輝度値を前記表示装置の赤色チャンネルに割り当て、前記第5の光により照明された前記被写体を撮像して得られた第5の画像の輝度値を前記表示装置の緑色チャンネルに割り当て、前記第1の画像、前記第2の画像及び前記第3の画像を加算して得られる輝度値を前記表示装置の青色チャンネルに割り当てることにより前記観察画像を生成する
    ことを特徴とする生体観察システム。
  2. 被写体を照明するための照明光として、青色光である第1の光と、前記第1の光よりも長波長側の青色光である第2の光と、前記第1の光及び前記第2の光よりも短波長側の青色光である第3の光と、緑色光である第4の光と、を発生する照明光発生部と、
    前記被写体からの光を受光し、前記被写体の撮像信号を生成する撮像部と、
    前記撮像信号に基づき、前記被写体の観察画像を生成して表示装置へ出力する観察画像生成部と、
    前記被写体の酸素飽和度情報を取得するための処理として、前記第1の光により照明された前記被写体を撮像して得られた第1の画像と、前記第2の光により照明された前記被写体を撮像して得られた第2の画像と、前記第3の光により照明された前記被写体を撮像して得られた第3の画像と、に基づき、前記第1の画像の輝度値から前記第3の画像の輝度値を除して得られる第1の除算値と、前記第2の画像の輝度値から前記第3の画像の輝度値を除して得られる第2の除算値と、の組み合わせに対応する酸素飽和度値を、前記被写体を撮像して得られた画像内の各画素毎に取得する処理を行う酸素飽和度情報取得部と、
    前記酸素飽和度情報に基づき、前記被写体を撮像して得られた画像内に、酸素飽和度の大きさが所定の閾値未満の領域である低酸素領域が存在するか否かを判定する判定部と、
    前記判定部により前記低酸素領域が存在するとの判定結果が得られた際に、前記観察画像生成部から前記表示装置への前記観察画像の出力に併せて低酸素状態である旨を報知し、前記低酸素領域が存在するとの判定結果が得られない際に、前記低酸素状態である旨を報知せず前記観察画像を前記表示装置に出力する報知処理部と、を有し、
    前記第1の光及び前記第2の光は、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化するような波長帯域を具備し、
    前記第3の光は、血中ヘモグロビンの酸素飽和度の変化量に対する吸収係数の変化量が前記第1の光及び前記第2の光に比べて低くなるような波長帯域を具備し、
    前記報知処理部は、前記低酸素領域が存在するとの判定結果が前記判定部により得られた際に、前記第4の光により照明された前記被写体を撮像して得られた第4の画像に前記第1の除算値または前記第2の除算値を乗じる処理を行い、
    前記観察画像生成部は、前記低酸素領域が存在するとの判定結果が前記判定部により得られた際に、前記第1の除算値または前記第2の除算値が乗じられた前記第4の画像の輝度値を前記表示装置の赤色チャンネルに割り当て、前記第1の画像及び前記第3の画像を加算して得られる輝度値を前記表示装置の緑色チャンネルに割り当て、前記第1の画像及び前記第3の画像を加算して得られる輝度値を前記表示装置の青色チャンネルに割り当てることにより前記観察画像を生成する
    ことを特徴とする生体観察システム。
  3. 前記判定部は、前記酸素飽和度情報取得部により算出された各酸素飽和度値の中に、前記所定の閾値未満のものが1つ以上含まれていることを検出した場合に、前記被写体を撮像して得られた画像内に前記低酸素領域が存在するものと判定する
    ことを特徴とする請求項1または2に記載の生体観察システム。
  4. 前記酸素飽和度情報取得部は、前記酸素飽和度情報を取得するための処理として、さらに、前記被写体を撮像して得られた画像内の各画素毎の酸素飽和度値の平均値を算出する処理、または、前記被写体を撮像して得られた画像内に設定された所定の関心領域に含まれる各画素毎の酸素飽和度値の平均値を算出する処理を行う
    ことを特徴とする請求項1または2に記載の生体観察システム。
  5. 前記判定部は、前記酸素飽和度情報取得部により算出された前記平均値が前記所定の閾値未満であることを検出した場合に、前記被写体を撮像して得られた画像内に前記低酸素領域が存在するものと判定する
    ことを特徴とする請求項4に記載の生体観察システム。
  6. 前記報知処理部は、前記低酸素領域が存在するとの判定結果が前記判定部により得られた際に、前記低酸素領域の存在を報知するための処理として、前記低酸素領域の存在を報知するための視覚情報を生成し、当該生成した視覚情報を前記観察画像と併せて前記表示装置へ出力する処理を行う
    ことを特徴とする請求項1または2に記載の生体観察システム。
JP2014078870A 2014-04-07 2014-04-07 生体観察システム Active JP6210923B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014078870A JP6210923B2 (ja) 2014-04-07 2014-04-07 生体観察システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014078870A JP6210923B2 (ja) 2014-04-07 2014-04-07 生体観察システム

Publications (2)

Publication Number Publication Date
JP2015198735A JP2015198735A (ja) 2015-11-12
JP6210923B2 true JP6210923B2 (ja) 2017-10-11

Family

ID=54550645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014078870A Active JP6210923B2 (ja) 2014-04-07 2014-04-07 生体観察システム

Country Status (1)

Country Link
JP (1) JP6210923B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043727A1 (ja) * 2016-09-02 2018-03-08 Hoya株式会社 内視鏡システム
JP6690003B2 (ja) * 2016-10-03 2020-04-28 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2018131631A1 (ja) * 2017-01-16 2018-07-19 Hoya株式会社 内視鏡システム、及び画像表示装置
EP3586718B1 (en) 2017-02-24 2023-08-30 FUJIFILM Corporation Endoscope system and processor device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5611891B2 (ja) * 2011-05-24 2014-10-22 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法

Also Published As

Publication number Publication date
JP2015198735A (ja) 2015-11-12

Similar Documents

Publication Publication Date Title
JP6785941B2 (ja) 内視鏡システム及びその作動方法
JP6001219B1 (ja) 内視鏡システム
US12082769B2 (en) Endoscope system
JP7190597B2 (ja) 内視鏡システム
JPWO2019078237A1 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP6203088B2 (ja) 生体観察システム
JP6210923B2 (ja) 生体観察システム
JP2017158627A (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017077772A1 (ja) プロセッサ装置、内視鏡システム、及び画像処理方法
WO2022054400A1 (ja) 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム
JP2021045337A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
JP2020065685A (ja) 内視鏡システム
JP6203092B2 (ja) 生体観察システム
WO2018230130A1 (ja) 内視鏡装置及び表示画像生成方法
WO2018159082A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP5997643B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
JP7389257B2 (ja) 内視鏡システム及びその作動方法
JPWO2019082993A1 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
JP6043025B2 (ja) 撮像システム及び画像処理装置
WO2021044910A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
EP4223203A1 (en) Image processing device, endoscope system, method for operating image processing device, and program for image processing device
JPWO2021059889A1 (ja) 内視鏡システム
JP6120758B2 (ja) 医用システム
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170912

R151 Written notification of patent or utility model registration

Ref document number: 6210923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250