JP5460506B2 - 内視鏡装置の作動方法及び内視鏡装置 - Google Patents

内視鏡装置の作動方法及び内視鏡装置 Download PDF

Info

Publication number
JP5460506B2
JP5460506B2 JP2010163442A JP2010163442A JP5460506B2 JP 5460506 B2 JP5460506 B2 JP 5460506B2 JP 2010163442 A JP2010163442 A JP 2010163442A JP 2010163442 A JP2010163442 A JP 2010163442A JP 5460506 B2 JP5460506 B2 JP 5460506B2
Authority
JP
Japan
Prior art keywords
light
image
endoscope apparatus
captured image
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010163442A
Other languages
English (en)
Other versions
JP2012005807A (ja
Inventor
聡 小澤
安土 遠藤
昭彦 江利川
孝之 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010163442A priority Critical patent/JP5460506B2/ja
Priority to EP10178411.4A priority patent/EP2301415B1/en
Priority to US12/890,136 priority patent/US8834359B2/en
Publication of JP2012005807A publication Critical patent/JP2012005807A/ja
Application granted granted Critical
Publication of JP5460506B2 publication Critical patent/JP5460506B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope

Description

本発明は、内視鏡装置の制御方法及び内視鏡装置に関する。
近年、特定の狭い波長帯の狭帯域光を生体の粘膜組織に照射し、生体組織の所望の深さの組織情報を得る、所謂、特殊光観察を行える内視鏡装置が活用されている(特許文献1参照)。この種の内視鏡装置は、例えば粘膜層或いは粘膜下層に発生する新生血管の微細構造、病変部の強調等、通常の観察像では得られない生体情報を簡単に可視化できる。例えば、観察対象が癌病変部である場合、青色の狭帯域光を粘膜組織に照射すると組織表層の微細血管や微細構造の状態がより詳細に観察できるため、病変部をより正確に診断することができる。
しかし、特殊光観察では、狭帯域光を生体組織に照射したときの撮像画像により観察するため、近景での観察時に狭帯域光の照度を適正に調整しても、画角の広い遠景の観察時には表層血管を観察するに十分な照度が得られない。そのため、観察対象や観察位置等の観察条件を変更する度、撮像部や表示部のゲイン調整を行って適正な輝度レベルにして観察するようにしている。また、上記特許文献1の内視鏡装置においては、白色光源からの光をカラーフィルタによって時分割で切り替え、異なる波長帯の光(R光,G光,B光)を面順次に発光させて撮像している。このため、フルカラーの観察画像をリアルタイムで得るためには、複数フレーム(Rフレーム,Gフレーム,Bフレーム)の撮像画像を合成する必要があり、観察画像のフレームレートを上げにくい構成になっている。
特開2002−34893号公報
本発明は、内視鏡により特殊光観察を行う際に、観察対象や観察位置等の観察条件を変化させても、常に適正な輝度レベルの狭帯域光による観察画像を生成し、狭帯域光により得られる生体情報を明瞭に観察することができる内視鏡装置の制御方法及び内視鏡装置を提供することを目的とする。
本発明は下記構成からなる。
(1) 白色照明光を出射する第1の光源部と、
前記白色照明光より狭い波長帯域の狭帯域光を出射する第2の光源部と、
複数色の検出画素を有する撮像素子により被観察領域を撮像する撮像部と、
制御手段と、
を具備する内視鏡装置の作動方法であって、
前記制御手段が、
前記被観察領域からの前記白色照明光による戻り光成分と前記狭帯域光による戻り光成分とを共に含む撮像画像信号を前記撮像部から出力させ、
前記撮像画像信号に基づいて、複数の基準色毎の撮像画像を生成し、
前記生成した複数の撮像画像のうち、前記第2の光源部からの狭帯域光による戻り光成分を最も多く含む第1の撮像画像と、該第1の撮像画像とは異なる基準色の第2の撮像画像とを、それぞれに共通する複数の画像エリアに分割し、
前記第1の撮像画像と前記第2の撮像画像の前記各画像エリアに対して、各画像エリア内における輝度値を積算した輝度積算値をそれぞれ求め、
互いに同じ画像位置の関係にある前記画像エリア同士で、前記第1の撮像画像の輝度積算値と、前記第2の撮像画像の輝度積算値との比率を求め、該比率が予め定めた閾値以上となる画像エリアを特徴画像エリアとして抽出し、
前記抽出した第1の撮像画像の特徴画像エリアの輝度レベルを、他の画像エリアに対して選択的に、且つ他の基準色の撮像画像の輝度レベルとは独立して増減制御する
各動作を行う内視鏡装置の作動方法。
(2) 白色照明光を出射する第1の光源部と、
前記白色照明光より狭い波長帯域の狭帯域光を出射する第2の光源部と、
複数色の検出画素を有する撮像素子により被観察領域を撮像する撮像部と、
制御手段と、
を具備する内視鏡装置の作動方法であって、
前記制御手段が、
前記被観察領域からの前記白色照明光による戻り光成分と前記狭帯域光による戻り光成分とを共に含む撮像画像信号を前記撮像部から出力させ、
前記撮像画像信号に基づいて、複数の基準色毎の撮像画像を生成し、
前記複数の撮像画像のうち、前記第2の光源部からの狭帯域光による戻り光成分を最も多く含む第1の撮像画像と、該第1の撮像画像とは異なる基準色の第2の撮像画像とを、それぞれに共通する複数の画像エリアに分割し、
互いに同じ画像位置の関係にある画素同士で、前記第1の撮像画像の輝度値と、前記第2の撮像画像の輝度値との比率を求め、該比率が予め定めた比率以上となる画素を特徴画素として抽出し、
前記抽出した特徴画素の数を前記画像エリア毎にそれぞれ求め、
前記特徴画素の数が予め定めた閾値以上となる画像エリアを特徴画像エリアとして抽出し、
前記抽出した第1の撮像画像の特徴画像エリアの輝度レベルを、他の画像エリアに対して選択的に、且つ他の基準色の撮像画像の輝度レベルとは独立して増減制御する、
各動作を行う内視鏡装置の作動方法。
) 白色照明光を出射する第1の光源部と、
前記白色照明光より狭い波長帯域の狭帯域光を出射する第2の光源部と、
複数色の検出画素を有する撮像素子を有して撮像画像信号を出力する撮像部と、
を具備する内視鏡装置であって、
前記制御手段が、(1)又は(2)記載の内視鏡装置の作動方法における前記制御手段を備えた内視鏡装置。
本発明に係る内視鏡装置の制御方法によれば、内視鏡により特殊光観察を行う際に、観察対象や観察位置等の観察条件を変化させても、常に適正な輝度レベルの狭帯域光による観察画像を生成し、狭帯域光により得られる生体情報を明瞭に観察することができる内視鏡装置の制御方法及び内視鏡装置を提供することを目的とする。
本発明の実施形態を説明するための図で、内視鏡装置の概念的なブロック構成図である。 図1に示す内視鏡装置の一例としての外観図である。 紫色レーザ光源からの紫色レーザ光と、青色レーザ光源からの青色レーザ光及び青色レーザ光が蛍光体により波長変換された発光スペクトルとを示すグラフである。 マトリクス演算部の補正処理前と処理後の撮像画像信号を示す説明図である。 生体組織の粘膜表層の血管を模式的に表した説明図である。 内視鏡装置による観察画像の概略的な表示例で、白色光観察画像と狭帯域光観察画像を示す説明図である。 白色照明用光源と特殊光光源により照明して撮像したときの画像信号の輝度レベルを制御する手順を示すフローチャートである。 図8(A)は撮像した画像データの例を示す説明図、図8(B)は画像エリアに分割した様子を示す説明図、図8(C)は画面位置に応じた重み付け処理の説明図、図8(D)は重み付け処理した補正画像データを示す説明図である。 図9(A)は画像データから抽出した特徴画像エリアを示す説明図、図9(B)は強調画像データを示す説明図、図9(C)は輝度レベルを調整した後の撮像画像を示す説明図、図9(D)は輝度目標値に調整された画像を示す説明図である。 輝度目標値に近づけて変更される画像データを示す説明図である。 図7のS6とS7の代替え手順を示すフローチャートである。 白色光源を変更した他の内視鏡装置の概略的な構成図である。 白色光源とレーザ光源を用いた他の内視鏡装置の概略的な構成図である。 CMOSイメージセンサの構成図である。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
図1は本発明の実施形態を説明するための図で、内視鏡装置の概念的なブロック構成図、図2は図1に示す内視鏡装置の一例としての外観図である。
図1、図2に示すように、内視鏡装置100は、内視鏡11と、この内視鏡11が接続される制御装置13と、制御装置13に接続され画像情報等を表示する表示部15と、入力操作を受け付ける入力部17とを有する。内視鏡11は、被検体内に挿入される内視鏡挿入部19の先端から照明光を出射する照明光学系と、複数色の検出画素を有して被観察領域を撮像する撮像素子21(図1参照)を含む撮像光学系とを有する、電子内視鏡である。
内視鏡11は、内視鏡挿入部19と、内視鏡挿入部19の先端の湾曲操作や観察のための操作を行う操作部23(図2参照)と、内視鏡11を制御装置13に着脱自在に接続するコネクタ部25A,25Bを備える。なお、図示はしないが、操作部23及び内視鏡挿入部19の内部には、組織採取用処置具等を挿入する鉗子チャンネルや、送気・送水用のチャンネル等、各種のチャンネルが設けられる。
内視鏡挿入部19は、可撓性を持つ軟性部31と、湾曲部33と、先端部(以降、内視鏡先端部とも呼称する)35から構成される。内視鏡先端部35には、図1に示すように、被観察領域へ光を照射する照射口37A,37Bと、被観察領域の画像情報を取得するCCD(Charge Coupled Device)型イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)型イメージセンサ等の撮像素子21が配置されている。また、撮像素子21の受光面には対物レンズユニット39が配置される。CCD型イメージセンサを用いる場合には、グローバルシャッタ方式であるために、画像歪みの少ない低ノイズの撮像画像が得られる。
湾曲部33は、軟性部31と先端部35との間に設けられ、図2に示す操作部23に配置されたアングルノブ22の回動操作により湾曲自在にされている。この湾曲部33は、内視鏡11が使用される被検体の部位等に応じて、任意の方向、任意の角度に湾曲でき、内視鏡先端部35の照射口37A,37B及び撮像素子21の観察方向を、所望の観察部位に向けることができる。また、図示は省略するが、内視鏡挿入部19の照射口37A,37Bには、カバーガラスやレンズが配置される。
制御装置13は、内視鏡先端部35の照射口37A,37Bに供給する照明光を発生する光源装置41と、撮像素子21からの撮像画像信号を画像処理するプロセッサ43とを備え、コネクタ部25A,25Bを介して内視鏡11に接続される。また、プロセッサ43には、前述の表示部15と入力部17が接続されている。プロセッサ43は、内視鏡11の操作部23や入力部17からの指示に基づいて、内視鏡11から伝送されてくる撮像画像信号を画像処理し、表示用画像を生成して表示部15へ供給する。
光源装置41は、中心波長445nmの青色レーザ光源(白色照明用光源)45と、中心波長405nmの紫色レーザ光源(特殊光光源)47とを発光源として備えている。これら各光源45,47の半導体発光素子からの発光は、光源制御部49により個別に制御されており、青色レーザ光源45の出射光と、紫色レーザ光源47の出射光の光量比は変更自在になっている。
青色レーザ光源45及び紫色レーザ光源47は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
これら各光源45,47から出射されるレーザ光は、集光レンズ(図示略)によりそれぞれ光ファイバに入力され、合波器であるコンバイナ51と、分波器であるカプラ53を介してコネクタ部25Aに伝送される。なお、これに限らず、コンバイナ51とカプラ53を用いずに各光源45,47からのレーザ光を直接コネクタ部25Aに送出する構成であってもよい。
中心波長445nmの青色レーザ光、及び中心波長405nmの紫色レーザ光が合波され、コネクタ部25Aまで伝送されたレーザ光は、光ファイバ55A,55Bによって、それぞれ内視鏡11の内視鏡先端部35まで伝搬される。そして、青色レーザ光は、内視鏡先端部35の光ファイバ55A,55Bの光出射端に配置された波長変換部材である蛍光体57を励起して蛍光を発光させる。また、一部の青色レーザ光は、そのまま蛍光体57を透過する。紫色レーザ光は、蛍光体57を励起させることなく透過して、狭帯域波長の照明光となる。
光ファイバ55A,55Bは、マルチモードファイバであり、一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用できる。
蛍光体57は、青色レーザ光の一部を吸収して緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)等の蛍光体)を含んで構成される。これにより、青色レーザ光を励起光とする緑色〜黄色の励起光と、蛍光体57により吸収されず透過した青色レーザ光とが合わされて、白色(疑似白色)の照明光となる。本構成例のように、半導体発光素子を励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
上記の蛍光体57は、レーザ光の可干渉性により生じるスペックルに起因して、撮像の障害となるノイズの重畳や、動画像表示を行う際のちらつきの発生を防止できる。また、蛍光体57は、蛍光体を構成する蛍光物質と、充填剤となる固定・固化用樹脂との屈折率差を考慮して、蛍光物質そのものと充填剤に対する粒径を、赤外域の光に対して吸収が小さく、かつ散乱が大きい材料で構成することが好ましい。これにより、赤色や赤外域の光に対して光強度を落とすことなく散乱効果が高められ、光学的損失が小さくなる。
図3は、紫色レーザ光源47からの紫色レーザ光と、青色レーザ光源45からの青色レーザ光及び青色レーザ光が蛍光体57により波長変換された発光スペクトルとを示すグラフである。紫色レーザ光は、中心波長405nmの輝線(プロファイルA)で表される。また、青色レーザ光は、中心波長445nmの輝線で表され、青色レーザ光による蛍光体57からの励起発光光は、概ね450nm〜700nmの波長帯域で発光強度が増大する分光強度分布となる。この励起発光光と青色レーザ光によるプロファイルBによって、前述した白色光が形成される。
ここで、本明細書でいう白色光とは、厳密に可視光の全ての波長成分を含むものに限らず、例えば、基準色であるR(赤),G(緑),B(青)等、特定の波長帯の光を含むものであればよく、例えば、緑色から赤色にかけての波長成分を含む光や、青色から緑色にかけての波長成分を含む光等も広義に含むものとする。
この内視鏡装置100では、プロファイルAとプロファイルBとの発光強度を光源制御部49により相対的に増減制御して、任意の輝度バランスの照明光を生成することもできる。
再び図1に戻り説明する。上記のように青色レーザ光と蛍光体57からの励起発光光による白色光、及び紫色レーザ光による狭帯域光からなる照明光は、内視鏡11の先端部35から被検体の被観察領域に向けて照射される。そして、照明光が照射された被観察領域の様子を対物レンズユニット39により撮像素子21の受光面上に結像させて撮像する。
撮像後に撮像素子21から出力される撮像画像信号は、スコープケーブル63を通じてA/D変換器65に伝送されてデジタル信号に変換され、コネクタ部25Bを介してプロセッサ43の前段信号処理部67に入力される。前段信号処理部67では、A/D変換器65にてデジタル信号に変換された撮像素子21からの撮像画像信号に対して、ホワイトバランス補正、輪郭強調等の処理が行われる。前段信号処理部67にて前段処理のなされた撮像画像信号は、信号分離部69に送られ、R信号,G信号,B信号の各撮像画像の信号に分離されてマトリクス演算部71に送られる。
図4は、マトリクス演算部の補正処理前と処理後の撮像画像信号を示す。
マトリクス演算部71は、信号分離部69から供給されたR信号,G信号,B信号からなる各撮像画像の信号に対し、制御部73からの指令に基づいて、R信号,G信号,B信号の各輝度レベルを個別に増減制御する。マトリクス演算部71は各撮像画像の輝度値を各色それぞれ個別に補正する補正マトリクスを記憶している。この補正マトリクスを用いて各撮像画像の輝度値に対してマトリクス演算することで、各撮像画像の輝度レベルを色毎にきめ細かに補正できる。補正マトリクス(Cr,Cg、Cb)は、入力信号の輝度レベルをR,G,B、補正後の撮像画像の輝度レベルをr,g,bとすれば、(1)式で表すことができる。
Figure 0005460506
・・・(1)
マトリクス演算部71にて各輝度レベルが制御された各撮像画像の信号は、後段信号処理部74に送られる。後段信号処理部74では、マトリクス演算部71から送られた各撮像画像の信号を、ビデオコンポジット信号、Y/C分離信号等の映像信号に変換し、D/A変換して表示用の画像データとした後に表示部15に随時出力する。
上記のように、前段信号処理部67、信号分離部69、マトリクス演算部71、及び後段信号処理部74は、入力されたデジタルの撮像画像信号を画像データに変換して、所望の出力用画像情報を制御部73に出力する。
制御部73に入力された出力用画像情報は、内視鏡観察画像として表示部15に表示され、必要に応じて、メモリやストレージ装置からなる記憶部75に記憶される。また、内視鏡11には詳細を後述するモード変更ボタン77が配置され、モード変更ボタン77からの切り替え信号が制御部73に入力されるようになっている。
図5に生体組織の粘膜表層の血管を模式的に表した説明図を示した。生体組織の粘膜表層は、粘膜深層の血管B1から樹脂状血管網等の毛細血管B2が粘膜表層までの間に形成され、生体組織の病変はその毛細血管B2等の微細構造に現れることが報告されている。そこで、内視鏡診察においては、青色乃至紫色の可視短波長の狭帯域光を用いて、粘膜表層の毛細血管を画像強調して観察し、微小病変の早期発見や、病変範囲の診断が試みられている。
生体組織に照明光が入射されると、入射光は生体組織内を拡散的に伝播するが、生体組織の吸収・散乱特性は波長依存性を有しており、短波長ほど散乱特性が強くなる傾向がある。つまり、照明光の波長によって光の深達度が変化して、照明光が400nm付近の波長域λaでは粘膜表層の毛細血管からの血管情報が得られ、波長500nm付近の波長域λbでは、更に深層の血管を含む血管情報が得られるようになる。そのため、生体組織の血管観察には、中心波長360〜800nm、好ましくは365〜515nmの光源が用いられ、特に表層血管の観察には、中心波長360〜470nm、好ましくは360〜450nmの光源が用いられる。
図6に内視鏡装置による観察画像の概略的な表示例を示した。照明光を白色光とした場合の白色光観察画像では、比較的粘膜深層の血管像が得られるとともに画像全体の輝度を高めやすい。一方、可視短波長成分を多く含む狭帯域光を照明光とした場合の狭帯域光観察画像では、粘膜表層の微細な毛細血管が鮮明に見えるようになる。
これらの白色光による観察画像と狭帯域光による観察画像とを画像合成すると、画像全体で十分な輝度を確保でき、しかも、生体組織の粘膜表層の微細血管が強調された患部の診断がしやすい観察画像が得られる。そこで、本構成の内視鏡装置100においては、内視鏡先端部35から、図3に示すプロファイルAの狭帯域光とプロファイルBの白色光とを被観察領域に照射し、これらの照射光による反射光を撮像素子21により撮像して1フレーム内に共に取り込んだ撮像画像信号を取得する。そして、この撮像画像信号のR信号、G信号、B信号をそれぞれ個別に信号強度の制御を行って観察画像を生成している。これにより得られる観察画像は、擬似的にプロファイルAの狭帯域光と、プロファイルBの白色光との光量比を変更した照明状態での撮像画像となる。
つまり、中心波長405nmの狭帯域光による観察画像は、主に撮像素子21からのB信号の撮像画像に主な撮像情報が含まれ、中心波長445nmの青色レーザ光と蛍光体の発光により得られる白色光による観察画像は、撮像素子21のR信号、G信号、B信号のそれぞれの撮像画像に撮像情報が含まれる。そこで、撮像画像信号のうちB信号の撮像画像の輝度レベルを、他のR,G信号の撮像画像の輝度レベルに対して相対的に変化させることで、狭帯域光による撮像情報のみを観察画像中で強調、又はぼかすことができる。
このように、1フレームの撮像画像に双方の照明光による光成分が含まれるときに、撮像素子21から出力されるR信号、G信号、B信号の撮像画像の輝度値を、それぞれ独立して連続変化可能な構成にすることで、狭帯域光による観察画像が白色光による観察画像によって隠されることなく、双方の観察画像が適切に合成された観察画像を生成できる。これにより、白色照明で観察部位の周囲全体を明るく照明しつつ、狭帯域光により表層血管を強調して、微細血管構造の観察を容易に行える、内視鏡診断に適した観察画像を取得できる。
次に、上記のように狭帯域光に白色光を加えた照明光で撮像する場合に、撮像画像全体の平均輝度、及び狭帯域光による像と白色光による像との混合バランスを適正に保つため、白色照明用光源である青色レーザ光源45と特殊光光源である紫色レーザ光源47による照明下で撮像したときの画像信号の輝度レベルを制御する手順を図7のフローチャートに基づいて説明する。
まず、図1に示す青色レーザ光源45と紫色レーザ光源47を共に点灯させ、被観察領域に狭帯域光と白色光を照射した状態で、撮像素子21により被観察領域を撮像する。これにより得られる撮像画像信号を前段信号処理部67に入力して、図8(A)に示すような所定の階調表現幅の各撮像画像(R,G,B)を取得する(S1)。これらの各撮像画像(R,G,B)は、同じ撮像タイミングで得た画像情報となる。
撮像素子21が原色系の撮像素子である場合には、検出色であるR,G,Bの検出レベルを基準色(R,G,B)の輝度値として扱うが、補色系の撮像素子である場合には、検出色となるC:シアン、M:マゼンタ、Y:イエロの3色、又はC,M,Y,Gの4色の検出レベルを演算処理して、R,G,Bの基準色の輝度値に変換する。
なお、CMY又はCMYGからRGBへの変換は、前段信号処理部67により、所定の演算式、或いはテーブルに基づいて行われる。即ち、A/D変換後の撮像画像(C,M,Y)又は(C,M,Y,G)を、各基準色の撮像画像(R,G,B)の信号に変換する。これら各基準色の撮像画像(R,G,B)のうち、最短波長の青色においては、中心波長405nmの狭帯域光により得られる表層血管B2の情報(図5参照)が画面中央に映出されている。
信号分離部69は、各基準色の撮像画像(R,G,B)を色毎にマトリクス演算部71へ出力し、マトリクス演算部71は、図8(B)に示すように、撮像画像(R,G,B)を任意の数の画像エリアMijに分割する(S2)。図示例では各撮像画像(R,G,B)に共通する4×4の合計16の画像エリア(Mij:i=0〜3、j=0〜3)としている。なお、このときの画像エリアの分割数は任意であってよい。
次に、制御部73は撮像画像(R,G,B)に対して、画像エリアMij毎に重み付け処理して補正画像データ(Rc,Gc,Bc)を求める(S3)。重み付け処理とは、図8(C)に示すように撮像画像(R,G,B)の各画面中央の画像エリアPAを各画面周囲の画像エリアPBより強調する処理で、特に注視される画面中央に映出された観察対象を強調する処理である。各撮像画像の輝度値は、補正マトリクスによるマトリクス演算によって補正される。撮像画像(R,G,B)の画面中央を重み付け処理した補正画像データ(Rc,Gc,Bc)は、図8(D)に示すように、主要な観察対象とした組織表層の毛細血管B2の情報が強調される。
次に、補正画像データ(Rc,Gc,Bc)の画像全体に対する明るさを表す輝度基準値Aを算出する(S4)。輝度基準値Aは、例えば(2)式のように、補正画像データ(Rc,Gc,Bc)の各画素の輝度値を全画素(N画素)に対して平均することで得られる指標である。
Figure 0005460506
・・・(2)
そして、制御部73は、補正画像データ(Rc,Gc,Bc)から求めた輝度基準値Aが予め定めた輝度目標値TL1に近づくように、撮像画像(R,G,B)の輝度レベルを変更する(S5)。即ち、制御部73は、求めた輝度基準値Aと、予め記憶部75に記憶されている輝度目標値TLとを比較して、輝度基準値Aが輝度目標値TLに近づくように、マトリクス演算部71に記憶される補正マトリクスを再設定する。つまり、制御部73は、各照明光下の各撮像画像(R,G,B)の輝度レベルを増減制御する制御信号を生成して、これをマトリクス演算部71に出力する。
マトリクス演算部71は、制御部73から送られた制御信号により、記憶されている補正マトリクスを調整し、調整後の補正マトリクスにより撮像画像(R,G,B)を補正処理することで、撮像画像(R,G,B)の輝度レベルを増減制御する。これにより、各撮像画像(R,G,B)の輝度値は、輝度基準値Aが輝度目標値Iより小さい場合には増加制御され、輝度基準値Aが輝度目標値Iを超える場合には減少制御される。
この撮像画像の輝度レベルの制御は、前述のマトリクス演算部71における撮像画像(R,G,B)それぞれに対する補正マトリクス(Cr,Cg,Cb)を変更し、この変更された補正マトリクスによるマトリクス演算により行う。この制御は、各撮像画像(R,G,B)の輝度値に対する増幅ゲインを再設定することと同義である。以降の撮像においては、再設定されたゲイン、つまり、再設定された補正マトリクスを用いて撮像画像信号を補正し、この補正後の各撮像画像(R,G,B)をマトリクス演算部71から出力させる。なお、ここで設定した補正マトリクスは、更に次に示す処理により再度設定されることになる。
次に、制御部73は、前述のS1で取得した撮像画像(R,G,B)のうち、撮像画像(G,B)に対して、分割した各画像エリアMij内の各画素の輝度積算値GSij,BSijを求める(S6)。つまり、撮像画像(G,B)に対する合計16個の画像エリアMijのそれぞれに対して、輝度積算値GSij,BSijを求める。
そして、互いに同じ画像位置の関係にある画像エリアMij同士で、輝度積算値GSij,BSijの比である輝度比αを(3)式により求め、輝度比αが予め定めた閾値である基準輝度比αcより大きい画像エリアを特徴画像エリアMC(k)として抽出する(S7)。
Figure 0005460506
・・・(3)
図9(A)に撮像画像(B,G)から抽出した特徴画像エリアMC(k)を示した(例示的に3つのエリア:k=1,2,3)。
次に、特に中心波長405nmの狭帯域光により強調された組織表層の毛細血管B2の情報を多く含む撮像画像(B)に対して、抽出した特徴画像エリアMC(k)の各画素を重み付け処理により強調して、図9(B)に示すように青色の強調画像データ(Be)を求める(S8)。強調画像データ(Be)は、特徴画像エリアMC(k)のみ強調された画像であり、図示例では、特に毛細血管B2が映出された部分の画像が他の画像エリアよりも輝度が高くなるように強調される。
そして、強調画像データ(Be)の画面全体に対する輝度積算値BeSを(4)式により求める(S9)。
Figure 0005460506
・・・(4)
ここで、制御部73は、得られた輝度積算値BeSが、予め定めた特徴画像輝度目標値TLcに近づくように、中心波長405nmの狭帯域光による撮像情報が含まれる撮像画像(B)の輝度レベルを増減制御する制御信号を生成し、マトリクス演算部71に出力する。すると、マトリクス演算部71は、輝度積算値BeSが特徴画像輝度目標値TLcより低い場合に、撮像画像(B)の輝度レベルを増加制御し、輝度積算値BeSが特徴画像輝度目標値TLcを超える場合に、撮像画像(B)の輝度レベルを減少制御する。この輝度レベルの増減制御は、各撮像画像に対する補正マトリクス(ゲイン値)を再設定することにより行われる(S10)。
上記の撮像画像(B)が所望の輝度レベルになるように補正マトリクスを調整した後、再度、撮像素子21により撮像画像信号を取得して各撮像画像(Ra,Ga,Ba)を生成する(S11)。そして、撮像画像(Ra,Ga,Ba)の輝度基準値Aを前述の画像エリア毎の重み付け処理と(2)式により求める。このときの撮像画像(Ra,Ga,Ba)の例を図9(C)に示した。図9(C)においては、撮像画像(Ba)の輝度レベルが増加制御されて、撮像画像の輝度レベルが最大階調表現幅を超えた場合を示している。
上記のように輝度レベルの調整制御の結果、撮像画像の輝度レベルが最大階調表現幅を超える等、輝度基準値Aが輝度目標値TLを超える場合には、これを補正する必要がある。この場合、撮像画像(R,G,B)それぞれの輝度レベルを各色同じ比率で下げる。
図10は輝度目標値TLに近づけて変更された撮像画像を示す説明図である。同図に示すように、R,G,Bそれぞれの撮像画像の輝度レベルを輝度目標値TLになるように各色同じ比率で調整する(S12)。この調整も前述のマトリクス演算部71の有する補正マトリクスを再設定し、この再設定された補正マトリクスにより、撮像画像を再度マトリクス演算することで行う。
これにより、図9(D)に示すように、画面全体にわたり、白色光による画像情報と、所望の輝度レベルに制御された狭帯域光による画像情報とを、共に適正な輝度レベルとした観察画像が得られる。
以上のように、狭帯域光と白色光とを同時に出射させて撮像することで、観察対象の動きに対する追従性を高め、白色光により観察画像の輝度を確保しながら、狭帯域光による表層血管等の強調表示が可能となる。つまり、通常観察用の白色照明用光源と、特殊光観察用の特殊光光源とを共に光出射させて撮像し、得られる観察画像を、狭帯域光で観察したい対象(表層血管・腺管等)を最適な輝度レベルとしながら、観察画像の全体にわたって輝度値が飽和しない、即ち、最大階調表現幅を超えない画像にできる。これにより、観察対象を常に適正な輝度レベルで映出でき、特に狭帯域光により強調される観察部位も白色光によって隠れることなく、明瞭に映出することができる。よって、病巣部の早期発見に寄与できる内視鏡観察画像を、術者の調整操作を伴うことなく、簡単に得ることができる。
そして、この観察画像によれば、白色照明光で観察部位全体の構造を見ながら、狭帯域光により強調される組織表層の詳細な構造をリアルタイムで同時に観察できる。そのため、例えば、微細血管の密度が正常部と比較して増えている癌病変部に対して、表層の微細血管や微細構造の状態を、病変部位周囲と対比しながら的確に判断できる。
なお、青色レーザ光源45と紫色レーザ光源47は、それぞれ同時点灯させて撮像する以外にも、撮像素子の1フレーム内の受光期間内で交互に点灯させることであってもよい。その場合、省電力化や発熱の抑制に寄与できる。
また、上記の撮像画像信号の輝度レベル制御は、モード変更ボタン77(図1参照)の押下によりON/OFFでき、ONの場合は特殊光観察モードとなって、前述の白色光照明と狭帯域光との良好な同時観察が可能となり、OFFの場合は通常観察モードとなり、紫色レーザ光源47による撮像画像信号の輝度レベルを、青色レーザ光源45による撮像画像信号の輝度レベルと同じ比率で変更する制御モードにできる。このように、特殊光観察モードと、通常観察モードとを選択的に切り替え自在にすることで、内視鏡の使い勝手を向上できる。
更に、狭帯域光による観察対象は、生体組織表層の毛細血管や粘膜微細模様の他、生体組織からの自家蛍光、薬剤蛍光であってもよく、被観察領域からの戻り光の強度を診断に適した状態に適宜変更することができる。
前述の特徴画像エリアMC(k)の抽出方法としては、次のようにして行うこともできる。
即ち、上記の特徴画像エリアMC(k)は、撮像画像(B,G)の分割した画像エリア単位でB,Gの輝度値を比較して抽出していたが、各撮像画像の画素単位でB,Gの輝度値を比較すると、より高精度に狭帯域光による強調対象を抽出できる。
具体的には、図7のS6とS7の代替え手順を図11のフローチャートに示すように、中心波長405nmの狭帯域光による反射光の情報を多く含む撮像画像(B)と、撮像画像(G)に対し、同一画素位置における輝度値同士の比率を求めて、該比率が所定比率以上となる特徴画素を抽出する(S6A)。
前述の図8(B)に示すように、撮像画像(B)と撮像画像(G)とを、それぞれ共通する複数の画像エリアMijに分割し、抽出された特徴画素の数を画像エリアMij毎にそれぞれ求める。そして、特徴画素の数が予め定めた閾値以上となる画像エリアを特徴画像エリアMC(k)として抽出する(S7A)。
このように、同一画素位置の画素単位でB,Gの輝度値を比較することで、狭帯域光により得られる生体情報をより確実に抽出することができる。
次に、内視鏡装置の他の構成例について説明する。
図12は白色光源を変更した他の内視鏡装置の概略的な構成図である。同図に示す構成例においては、白色光源81としてハロゲンランプ、キセノンランプ、或いは白色発光ダイオード等のブロードな波長帯の光を出射する光源を用い、光ファイバ束であるライトガイド83を通じて内視鏡11の先端部から白色照明光を照射する。特殊光光源47からの出射光は、前述同様に、コネクタ部25Aを介して、光ファイバ55Bにより内視鏡11の先端部まで伝送される。そして、光ファイバ55Bの光出射端に配置された光偏向・拡散部材85から狭帯域光として供される。なお、光偏向・拡散部材85は、内視鏡11の先端部に配置される光照射窓で代用してもよい。
上記構成によれば、ブロードな分光特性を有する演色性の高い白色照明光を簡単な構成で導入でき、しかも、内視鏡先端部の発熱を抑えた構成にできる。また、白色照明光と狭帯域光とを完全に切り分けて照射できるため、狭帯域光を蛍光体を介さずに被観察領域に出射できる。従って、蛍光体からの不要な発光をなくすことができ、光量制御を容易に行える。
図13は特殊光光源の構成を変更した他の内視鏡装置の概略的な構成図である。同図においては、白色照明光の光学系を省略して示しており、図1、又は図12に示すいずれの構成を用いることができる。本構成例の特殊光光源は、狭帯域光を出射する紫色レーザ光源47の代わりに、ハロゲンランプ、キセノンランプ、或いは白色発光ダイオード等のブロードな波長帯の光を出射する白色光源47Aと、光学フィルタ111とから狭帯域光を生成する。そして、光学フィルタ111からの透過光は、ライトガイド112の光入射端に集光部材113により導入され、ライトガイド112によって内視鏡11の先端部まで導光される。
光学フィルタ111は、入射された白色光から所定の狭帯域波長成分のみ透過させる狭帯域透過フィルタであり、回転フィルタ板115の一部に形成されている。回転フィルタ板115は、モータMによる回転駆動により、白色光の光路途中に配置される光学フィルタ111を変更できる。つまり、複数種の光学フィルタ111,117,119(図示例の3種に限らず任意数であってよい)を切り替えて光路途中に配置することで、異なる種類の狭帯域光を出射させることができる。
上記構成によれば、白色光源から任意の狭帯域光を簡単に生成することができる。
ところで、撮像画像信号の輝度レベルの制御は、撮像素子から出力された撮像画像信号に対して増減制御する他にも、撮像素子の内部で増減制御することもできる。
図14はCMOSイメージセンサの構成図である。上述の内視鏡装置で用いる撮像素子をCMOSイメージセンサ91とすることで、CMOSイメージセンサ91が有する各画素のアンプ93により撮像画像信号の増減制御が可能となる。CMOSイメージセンサ91においては、アンプ93のスイッチ95は行回路97を介して垂直走査回路99に接続される。アンプ93は列回路101を介してCDS103に接続され、CDS103はスイッチ105を介して水平走査回路107に接続されている。
上記構成によれば、撮像画像信号の輝度レベルの増減制御を後処理で行う必要がなくなり、制御時間を短縮できる。また、各画素で独立に信号レベルの強度を制御できるため、画像内の特定領域だけを所望の増幅率に設定する等の制御が高速で行え、応答性の高い制御が行え、内視鏡装置の撮像画像を高いフレームレートで高品位に表示することができる。
本発明は上記の実施形態に限定されるものではなく、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。
以上の通り、本明細書には次の事項が開示されている。
(1) 白色照明光を出射する第1の光源部と、
前記白色照明光より狭い波長帯域の狭帯域光を出射する第2の光源部と、
複数色の検出画素を有する撮像素子により被観察領域を撮像する撮像部と、
を具備する内視鏡装置の制御方法であって、
前記被観察領域からの前記白色照明光による戻り光成分と前記狭帯域光による戻り光成分とを共に含む撮像画像信号を前記撮像部から出力させ、
前記撮像画像信号に基づいて、複数の基準色毎の撮像画像を生成し、
前記複数の撮像画像のうち、前記第2の光源部からの狭帯域光による戻り光成分を最も多く含む第1の撮像画像に対して、該第1の撮像画像の輝度レベルを他の基準色の撮像画像の輝度レベルとは独立して増減制御する内視鏡装置の制御方法。
この内視鏡装置の制御方法によれば、第1の光源部による白色照明光と、第2の光源部による狭帯域光とを照明光として観察する際に、観察対象や観察位置等の観察条件を変化させても、常に適正な輝度レベルの狭帯域光による観察画像を生成でき、狭帯域光により得られる情報を、白色照明光によって隠されることなく明瞭に観察することができる。
(2) (1)の内視鏡装置の制御方法であって、
前記第2の光源部から出射される狭帯域光の中心波長が、360〜470nmの範囲に含まれる内視鏡装置の制御方法。
この内視鏡装置の制御方法によれば、第2の光源の中心波長が360〜470nmの範囲であることで、特に生体組織表層の血管や微細構造の状態を表す画像情報が明瞭に検出できる。
(3) (1)又は(2)記載の内視鏡装置の制御方法であって、
前記生成した複数の撮像画像のうち、前記第2の光源部からの狭帯域光による戻り光成分を最も多く含む第1の撮像画像と、該第1の撮像画像とは異なる基準色の第2の撮像画像とを、それぞれに共通する複数の画像エリアに分割し、
前記第1の撮像画像と前記第2の撮像画像の前記各画像エリアに対して、各画像エリア内における輝度値を積算した輝度積算値をそれぞれ求め、
互いに同じ画像位置の関係にある前記画像エリア同士で、前記第1の撮像画像の輝度積算値と、前記第2の撮像画像の輝度積算値との比率を求め、該比率が予め定めた閾値以上となる画像エリアを特徴画像エリアとして抽出し、
前記抽出した第1撮像画像の特徴画像エリアに対する輝度レベルを選択的に増減制御する内視鏡装置の制御方法。
この内視鏡装置の制御方法によれば、撮像画像を分割した複数の画像エリアのうち、互いに異なる基準色同士の輝度積算値の比率が予め定めた閾値以上となる特徴画像エリアに対して、狭帯域光の戻り光成分が所望の輝度レベルになるよう、撮像画像信号の輝度レベルを選択的に変更できる。これにより、狭帯域光により得られる生体情報が多く含まれる画像エリアに対し、この生体情報を特に強調して観察することができる。
(4) (1)又は(2)の内視鏡装置の制御方法であって、
前記第1の撮像画像と該第1の撮像画像とは異なる基準色の第2の撮像画像とを、それぞれに共通する複数の画像エリアに分割し、
互いに同じ画像位置の関係にある画素同士で、前記第1の撮像画像の輝度積算値と、前記第2の撮像画像の輝度積算値との比率を求め、該比率が予め定めた比率以上となる画素を特徴画素として抽出し、
前記抽出した特徴画素の数を前記画像エリア毎にそれぞれ求め、
前記特徴画素の数が予め定めた閾値以上となる画像エリアを特徴画像エリアとして抽出し、
前記抽出した第1撮像画像の特徴画像エリアに対する輝度レベルを選択的に増減制御する内視鏡装置の制御方法。
この内視鏡装置の制御方法によれば、同じ画素位置において互いに異なる基準色の輝度値同士の比率が予め定めた比率以上となる特徴画素を抽出し、撮像画像を分割した複数の画像エリアのうち、特徴画素の数が予め定めた閾値以上となる特徴画像エリアに対して、狭帯域光の戻り光成分が所望の輝度レベルになるよう、撮像画像信号の輝度レベルを選択的に変更できる。これにより、狭帯域光により得られる生体情報が多く含まれる画像エリアに対し、この生体情報を特に強調して観察することができる。
(5) (3)又は(4)の内視鏡装置の制御方法であって、
前記輝度レベルの増減制御は、前記撮像画像信号をマトリクス演算により各画素の輝度値を補正する補正マトリクスを変更するものであり、
前記変更した補正マトリクスを用いて前記撮像部から新たに得られる撮像画像信号を補正する内視鏡装置の制御方法。
この内視鏡装置の制御方法によれば、補正マトリクスを用いて撮像画像信号を補正することで、輝度レベルの増減制御をきめ細かに行うことができる。
(6) (3)又は(4)の内視鏡装置の制御方法であって、
前記新たに得られる撮像画像信号を前記補正マトリクスを用いて補正した画像の輝度レベルが、予め定めた輝度目標値を超える場合に、前記補正した画像の輝度レベルを減少させるように前記補正マトリクスを再設定する内視鏡装置の制御方法。
この内視鏡装置の制御方法によれば、白色照明光及び狭帯域光により得られる生体情報が適正な輝度レベルで、明瞭な観察画像として得られる。
(7) (3)〜(6)のいずれか1つの内視鏡装置の制御方法であって、
前記撮像素子が検出する各検出色の光成分は、青色、緑色、赤色を含む原色系の光成分であり、
前記第1の撮像画像の基準色を青色、前記第2の撮像画像の基準色を緑色とする内視鏡装置の制御方法。
この内視鏡装置の制御方法によれば、原色系の基準色光の検出結果から、青色波長の狭帯域光を照射して得られる生体情報をより明瞭に観察することができる。
(8) (3)〜(6)のいずれか1つの内視鏡装置の制御方法であって、
前記撮像素子が検出する各検出色の光成分は、マゼンタ、シアン、イエロを含む補色系の光成分であり、
前記各検出色の光成分を前記青色、緑色、赤色の原色系の光成分に変換し、
前記第1の撮像画像の基準色を前記変換された青色、前記第2の撮像画像の基準色を前記変換された緑色とする内視鏡装置の制御方法。
この内視鏡装置の制御方法によれば、補色系の基準色光の検出結果から、青色波長の狭帯域光を照射して得られる生体情報をより明瞭に観察することができる。
(9) (1)〜(8)のいずれか1つの内視鏡装置の制御方法であって、
前記撮像素子としてCCD型イメージセンサを用いる内視鏡装置の制御方法。
この内視鏡装置の制御方法によれば、CCD型イメージセンサによる画像歪みの少ない低ノイズの撮像画像が得られる。
(10) (1)〜(8)のいずれか1つの内視鏡装置の制御方法であって、
前記撮像素子としてCMOS型イメージセンサを用い、前記撮像素子の各画素のアンプの増幅率を変更して前記第1撮像画像の輝度レベルを増減制御する内視鏡装置の制御方法。
この内視鏡装置の制御方法によれば、撮像画像信号の輝度レベルの増減制御を各画素のアンプで行うことで、信号の後処理で行う必要がなくなり、制御時間を短縮できる。
(11) (1)〜(10)のいずれか1つの内視鏡装置の制御方法を実施する特殊光観察モードと、
前記複数の撮像画像に対して、それぞれ同じ比率で輝度レベルを増減制御する通常観察モードと、
を切り替え自在にされた内視鏡装置の制御方法。
この内視鏡装置の制御方法によれば、特殊光観察モードと、通常観察モードとが選択的に切り替え自在になることで、内視鏡の使い勝手を向上できる。
(12) 白色照明光を出射する第1の光源部と、
前記白色照明光より狭い波長帯域の狭帯域光を出射する第2の光源部と、
複数色の検出画素を有する撮像素子により被観察領域を撮像する撮像部と、
を具備する内視鏡装置であって、
(1)〜(11)のいずれか1項記載の内視鏡装置の制御方法に基づいて、前記第1の撮像画像の輝度レベルを他の基準色の撮像画像の輝度レベルとは独立して増減制御する制御手段を備えた内視鏡装置。
この内視鏡装置によれば、狭帯域光に白色光を加えた照明光を用いて観察する際に、観察対象や観察位置等の観察条件を変化させても、常に適正な輝度レベルの狭帯域光による観察画像が得られ、狭帯域光により得られる生体情報を明瞭に観察することができる。
(13) (12)の内視鏡装置であって、
前記第1の光源部が、蛍光体と、該蛍光体の励起光を出射する半導体発光素子と、を備えた内視鏡装置。
この内視鏡装置によれば、白色照明光を半導体発光素子からの発光と、該発光による蛍光体からの励起発光光により形成することで、高い発光効率で高強度の白色光が得られ、しかも白色光の強度を容易に調整できる。また、半導体発光素子を用いることで、白色光の色温度、色度の変化を小さく抑えることができる。
(14) (12)の内視鏡装置であって、
前記第1の光源部が、キセノン光源又はハロゲン光源からの光を出射するものである内視鏡装置。
この内視鏡装置によれば、キセノン光源やハロゲン光源からブロードなスペクトルの白色光が得られ、演色性を向上できる。
(15) (12)〜(14)のいずれか1つの内視鏡装置であって、
前記第2の光源部が、半導体発光素子からなる内視鏡装置。
この内視鏡装置によれば、半導体発光素子を用いることで、高効率、高強度の狭帯域光を出射させることができる。
(16) (12)〜(14)のいずれか1つの内視鏡装置であって、
前記第2の光源部が、キセノン光源又はハロゲン光源からの光を、所定の狭帯域波長成分のみ透過させる狭帯域透過フィルタを通して前記狭帯域光を生成し、該生成された狭帯域光を出射する内視鏡装置。
この内視鏡装置によれば、狭帯域透過フィルタにより任意の狭帯域光を簡単に生成することができる。
11 内視鏡
13 制御装置
19 内視鏡挿入部
21 撮像素子
35 先端部
41 光源装置
43 プロセッサ
45 白色照明用光源(第1の光源部)
47 特殊光光源(第2の光源部)
49 光源制御部
57 蛍光体
65 A/D変換器
67 前段信号処理部(制御手段)
73 制御部(制御手段)
75 記憶部(制御手段)
77 モード変更ボタン
81 白色光源
91 CMOS型イメージセンサ
93 アンプ
100 内視鏡装置
111,117,119 光学フィルタ(狭帯域透過フィルタ)

Claims (15)

  1. 白色照明光を出射する第1の光源部と、
    前記白色照明光より狭い波長帯域の狭帯域光を出射する第2の光源部と、
    複数色の検出画素を有する撮像素子により被観察領域を撮像する撮像部と、
    制御手段と、
    を具備する内視鏡装置の作動方法であって、
    前記制御手段が、
    前記被観察領域からの前記白色照明光による戻り光成分と前記狭帯域光による戻り光成分とを共に含む撮像画像信号を前記撮像部から出力させ、
    前記撮像画像信号に基づいて、複数の基準色毎の撮像画像を生成し、
    前記生成した複数の撮像画像のうち、前記第2の光源部からの狭帯域光による戻り光成分を最も多く含む第1の撮像画像と、該第1の撮像画像とは異なる基準色の第2の撮像画像とを、それぞれに共通する複数の画像エリアに分割し、
    前記第1の撮像画像と前記第2の撮像画像の前記各画像エリアに対して、各画像エリア内における輝度値を積算した輝度積算値をそれぞれ求め、
    互いに同じ画像位置の関係にある前記画像エリア同士で、前記第1の撮像画像の輝度積算値と、前記第2の撮像画像の輝度積算値との比率を求め、該比率が予め定めた閾値以上となる画像エリアを特徴画像エリアとして抽出し、
    前記抽出した第1の撮像画像の特徴画像エリアの輝度レベルを、他の画像エリアに対して選択的に、且つ他の基準色の撮像画像の輝度レベルとは独立して増減制御する
    各動作を行う内視鏡装置の作動方法。
  2. 白色照明光を出射する第1の光源部と、
    前記白色照明光より狭い波長帯域の狭帯域光を出射する第2の光源部と、
    複数色の検出画素を有する撮像素子により被観察領域を撮像する撮像部と、
    制御手段と、
    を具備する内視鏡装置の作動方法であって、
    前記制御手段が、
    前記被観察領域からの前記白色照明光による戻り光成分と前記狭帯域光による戻り光成分とを共に含む撮像画像信号を前記撮像部から出力させ、
    前記撮像画像信号に基づいて、複数の基準色毎の撮像画像を生成し、
    前記複数の撮像画像のうち、前記第2の光源部からの狭帯域光による戻り光成分を最も多く含む第1の撮像画像と、該第1の撮像画像とは異なる基準色の第2の撮像画像とを、それぞれに共通する複数の画像エリアに分割し、
    互いに同じ画像位置の関係にある画素同士で、前記第1の撮像画像の輝度値と、前記第2の撮像画像の輝度値との比率を求め、該比率が予め定めた比率以上となる画素を特徴画素として抽出し、
    前記抽出した特徴画素の数を前記画像エリア毎にそれぞれ求め、
    前記特徴画素の数が予め定めた閾値以上となる画像エリアを特徴画像エリアとして抽出し、
    前記抽出した第1の撮像画像の特徴画像エリアの輝度レベルを、他の画像エリアに対して選択的に、且つ他の基準色の撮像画像の輝度レベルとは独立して増減制御する、
    各動作を行う内視鏡装置の作動方法。
  3. 請求項1又は請求項2記載の内視鏡装置の作動方法であって、
    前記第2の光源部から出射される狭帯域光の中心波長が、360〜470nmの範囲に含まれる内視鏡装置の作動方法。
  4. 請求項1〜請求項3のいずれか1項記載の内視鏡装置の作動方法であって、
    前記輝度レベルの増減制御は、前記撮像画像信号をマトリクス演算により各画素の輝度値を補正する補正マトリクスを変更するものであり、
    前記制御手段が、前記変更した補正マトリクスを用いて前記撮像部から新たに得られる撮像画像信号を補正する内視鏡装置の作動方法。
  5. 請求項4記載の内視鏡装置の作動方法であって、
    前記新たに得られる撮像画像信号を前記補正マトリクスを用いて補正した画像の輝度レベルが、予め定めた輝度目標値を超える場合に、前記制御手段が、前記補正した画像の輝度レベルを減少させるように前記補正マトリクスを再設定する内視鏡装置の作動方法。
  6. 請求項1〜請求項5のいずれか1項記載の内視鏡装置の作動方法であって、
    前記撮像素子が検出する各検出色の光成分は、青色、緑色、赤色を含む原色系の光成分であり、
    前記第1の撮像画像の基準色が青色、前記第2の撮像画像の基準色が緑色である内視鏡装置の作動方法。
  7. 請求項1〜請求項5のいずれか1項記載の内視鏡装置の作動方法であって、
    前記撮像素子が検出する各検出色の光成分は、マゼンタ、シアン、イエロを含む補色系の光成分であり、
    前記制御手段が、前記各検出色の光成分を青色、緑色、赤色の原色系の光成分に変換し、
    前記第1の撮像画像の基準色が前記変換された青色、前記第2の撮像画像の基準色が前記変換された緑色である内視鏡装置の作動方法。
  8. 請求項1〜請求項7のいずれか1項記載の内視鏡装置の作動方法であって、
    前記撮像素子がCCD型イメージセンサである内視鏡装置の作動方法。
  9. 請求項1〜請求項7のいずれか1項記載の内視鏡装置の作動方法であって、
    前記撮像素子がCMOS型イメージセンサであり、
    前記制御手段が、前記撮像素子の各画素のアンプの増幅率を変更して前記第1の撮像画像の特徴画像エリアの輝度レベルを増減制御する内視鏡装置の作動方法。
  10. 前記制御手段が、請求項1〜請求項9のいずれか1項記載の内視鏡装置の作動方法における前記制御手段による前記各動作を行う特殊光観察モードと、
    前記制御手段が、前記複数の撮像画像に対して、それぞれ同じ比率で前記輝度レベルを増減制御する通常観察モードと、
    を、観察モードを切り替えるモード切り替え部からの切り替え信号に応じて前記制御手段が切り替える内視鏡装置の作動方法。
  11. 白色照明光を出射する第1の光源部と、
    前記白色照明光より狭い波長帯域の狭帯域光を出射する第2の光源部と、
    複数色の検出画素を有する撮像素子により被観察領域を撮像する撮像部と、
    を具備する内視鏡装置であって、
    請求項1〜請求項10のいずれか1項記載の内視鏡装置の作動方法における前記制御手段を備えた内視鏡装置。
  12. 請求項11記載の内視鏡装置であって、
    前記第1の光源部が、蛍光体と、該蛍光体の励起光を出射する半導体発光素子と、を備えた内視鏡装置。
  13. 請求項11記載の内視鏡装置であって、
    前記第1の光源部が、キセノン光源又はハロゲン光源からの光を出射するものである内視鏡装置。
  14. 請求項11〜請求項13のいずれか1項記載の内視鏡装置であって、
    前記第2の光源部が、半導体発光素子からなる内視鏡装置。
  15. 請求項11〜請求項13のいずれか1項記載の内視鏡装置であって、
    前記第2の光源部が、白色光源からの光を、所定の狭帯域波長成分のみ透過させる狭帯域透過フィルタを通して前記狭帯域光を生成し、該生成された狭帯域光を出射する内視鏡装置。
JP2010163442A 2009-09-24 2010-07-20 内視鏡装置の作動方法及び内視鏡装置 Active JP5460506B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010163442A JP5460506B2 (ja) 2009-09-24 2010-07-20 内視鏡装置の作動方法及び内視鏡装置
EP10178411.4A EP2301415B1 (en) 2009-09-24 2010-09-22 Endoscope for simultaneous white light and narrow band observation
US12/890,136 US8834359B2 (en) 2009-09-24 2010-09-24 Method of controlling endoscope and endoscope

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009219242 2009-09-24
JP2009219242 2009-09-24
JP2010119748 2010-05-25
JP2010119748 2010-05-25
JP2010163442A JP5460506B2 (ja) 2009-09-24 2010-07-20 内視鏡装置の作動方法及び内視鏡装置

Publications (2)

Publication Number Publication Date
JP2012005807A JP2012005807A (ja) 2012-01-12
JP5460506B2 true JP5460506B2 (ja) 2014-04-02

Family

ID=43037056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010163442A Active JP5460506B2 (ja) 2009-09-24 2010-07-20 内視鏡装置の作動方法及び内視鏡装置

Country Status (3)

Country Link
US (1) US8834359B2 (ja)
EP (1) EP2301415B1 (ja)
JP (1) JP5460506B2 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5389612B2 (ja) * 2009-11-06 2014-01-15 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5485215B2 (ja) * 2011-04-01 2014-05-07 富士フイルム株式会社 内視鏡装置
JP5865606B2 (ja) * 2011-05-27 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
CN103429136B (zh) * 2011-08-26 2015-09-30 奥林巴斯医疗株式会社 内窥镜装置
JP5844230B2 (ja) * 2011-10-12 2016-01-13 富士フイルム株式会社 内視鏡システム及びその作動方法
JP5948203B2 (ja) * 2011-10-12 2016-07-06 富士フイルム株式会社 内視鏡システム及びその作動方法
US9668643B2 (en) 2011-12-29 2017-06-06 Cook Medical Technologies Llc Space-optimized visualization catheter with oblong shape
EP3150106B1 (en) 2011-12-29 2024-03-27 Cook Medical Technologies LLC Space-optimized visualization catheter having a camera train holder in a catheter with off-centered lumens
EP2797491B1 (en) 2011-12-29 2018-05-30 Cook Medical Technologies LLC Space-optimized visualization catheter with camera train holder
CN104080392B (zh) * 2012-02-17 2017-03-01 奥林巴斯株式会社 内窥镜装置
JP2013252185A (ja) * 2012-06-05 2013-12-19 Canon Inc 内視鏡及び内視鏡装置
US9892714B2 (en) * 2012-06-28 2018-02-13 Lenovo (Singapore) Pte. Ltd. Brightness control method, apparatus and program product
JP5677378B2 (ja) * 2012-07-25 2015-02-25 富士フイルム株式会社 内視鏡システム
JP6034668B2 (ja) 2012-11-08 2016-11-30 富士フイルム株式会社 内視鏡システム
JP5927348B2 (ja) * 2013-10-30 2016-06-01 オリンパス株式会社 内視鏡装置
JP5992936B2 (ja) * 2014-02-27 2016-09-14 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP6412709B2 (ja) * 2014-04-02 2018-10-24 オリンパス株式会社 観察画像取得システム
JP6196593B2 (ja) * 2014-09-11 2017-09-13 富士フイルム株式会社 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法
JP2018022932A (ja) 2014-12-08 2018-02-08 株式会社ジャパンディスプレイ 表示システム及び表示装置
JP5965028B2 (ja) * 2015-06-08 2016-08-03 富士フイルム株式会社 内視鏡システム
KR101784063B1 (ko) * 2015-08-03 2017-10-11 국립암센터 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템
WO2017221335A1 (ja) * 2016-06-21 2017-12-28 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JP2016174976A (ja) * 2016-06-29 2016-10-06 富士フイルム株式会社 内視鏡システム
CN109788891A (zh) 2016-10-21 2019-05-21 奥林巴斯株式会社 内窥镜镜体、内窥镜处理器和内窥镜用适配器
WO2018216276A1 (ja) * 2017-05-22 2018-11-29 ソニー株式会社 観察システム、および光源制御装置
JP6995866B2 (ja) * 2017-09-11 2022-01-17 オリンパス株式会社 内視鏡システム
JP6827557B2 (ja) * 2017-10-26 2021-02-10 富士フイルム株式会社 医療画像処理装置
CN108670203A (zh) * 2018-06-01 2018-10-19 深圳开立生物医疗科技股份有限公司 一种成像设备
WO2020012564A1 (ja) * 2018-07-10 2020-01-16 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP7195948B2 (ja) * 2019-01-24 2022-12-26 富士フイルム株式会社 内視鏡システム
JP7281308B2 (ja) * 2019-03-07 2023-05-25 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
US20220151460A1 (en) * 2019-03-19 2022-05-19 Sony Olympus Medical Solutions Inc. Medical control device and medical observation
EP3945993A4 (en) * 2019-04-04 2023-04-19 NSV, Inc. MEDICAL INSTRUMENTATION USING NARROWBAND IMAGING
WO2021108450A1 (en) * 2019-11-25 2021-06-03 Activ Surgical, Inc. Systems and methods for medical imaging
CN114451850A (zh) * 2021-12-20 2022-05-10 上海安翰医疗技术有限公司 成像装置及方法、胶囊内窥镜
CN116506995B (zh) * 2023-04-24 2024-04-02 深圳市计量质量检测研究院(国家高新技术计量站、国家数字电子产品质量监督检验中心) 电子内窥镜测试图像的采集方法、装置及智能终端

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5209220A (en) 1989-10-05 1993-05-11 Olympus Optical Co., Ltd. Endoscope image data compressing apparatus
US5512940A (en) * 1993-03-19 1996-04-30 Olympus Optical Co., Ltd. Image processing apparatus, endoscope image sensing and processing apparatus, and image processing method for performing different displays depending upon subject quantity
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
US6293911B1 (en) * 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
US7179222B2 (en) * 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
US5986693A (en) * 1997-10-06 1999-11-16 Adair; Edwin L. Reduced area imaging devices incorporated within surgical instruments
US6537211B1 (en) * 1998-01-26 2003-03-25 Massachusetts Institute Of Technology Flourescence imaging endoscope
EP1759631B1 (en) * 2000-06-06 2011-03-09 FUJIFILM Corporation Fluorescent-light image display method and apparatus therefor
US7892169B2 (en) 2000-07-21 2011-02-22 Olympus Corporation Endoscope apparatus
JP3559755B2 (ja) 2000-07-27 2004-09-02 オリンパス株式会社 内視鏡装置
JP2002345733A (ja) * 2001-05-29 2002-12-03 Fuji Photo Film Co Ltd 撮像装置
JP3862582B2 (ja) * 2001-06-29 2006-12-27 富士フイルムホールディングス株式会社 蛍光画像取得方法および装置並びにプログラム
EP1485011B1 (en) * 2002-03-12 2013-02-13 Beth Israel Deaconess Medical Center Medical imaging systems
US8620410B2 (en) * 2002-03-12 2013-12-31 Beth Israel Deaconess Medical Center Multi-channel medical imaging system
US20050027166A1 (en) * 2003-06-17 2005-02-03 Shinya Matsumoto Endoscope system for fluorescent observation
JP4535697B2 (ja) * 2003-07-23 2010-09-01 オリンパス株式会社 生体組織の光散乱観測内視鏡装置
US8473035B2 (en) * 2003-09-15 2013-06-25 Beth Israel Deaconess Medical Center Medical imaging systems
JP2005131129A (ja) * 2003-10-30 2005-05-26 Olympus Corp 撮像装置及び内視鏡装置
JP4554944B2 (ja) 2004-01-15 2010-09-29 Hoya株式会社 内視鏡装置
JP3813961B2 (ja) * 2004-02-04 2006-08-23 オリンパス株式会社 内視鏡用信号処理装置
JP4611674B2 (ja) * 2004-06-29 2011-01-12 Hoya株式会社 電子内視鏡システム
JP4575720B2 (ja) * 2004-07-23 2010-11-04 Hoya株式会社 電子内視鏡システム
JP3958761B2 (ja) * 2004-08-30 2007-08-15 オリンパス株式会社 内視鏡用調光信号生成装置
JP4384626B2 (ja) * 2004-09-02 2009-12-16 オリンパス株式会社 内視鏡装置
DE602005026825D1 (de) * 2004-08-30 2011-04-21 Olympus Co Endoskop
DE202005022114U1 (de) * 2004-10-01 2014-02-10 Nichia Corp. Lichtemittierende Vorrichtung
JP4732769B2 (ja) * 2005-03-04 2011-07-27 富士フイルム株式会社 内視鏡装置
WO2006117932A1 (ja) 2005-04-27 2006-11-09 Olympus Medical Systems Corp. 画像処理装置、画像処理方法、及び画像処理プログラム
CA2608294C (en) 2005-05-11 2012-10-23 Olympus Medical Systems Corp. Signal processing device for biological observation apparatus
KR100953788B1 (ko) * 2005-05-12 2010-04-21 올림푸스 메디칼 시스템즈 가부시키가이샤 생체 관측 장치
RU2378977C2 (ru) * 2005-05-13 2010-01-20 Олимпус Медикал Системз Корп. Устройство для биологических наблюдений
JP4723281B2 (ja) * 2005-05-16 2011-07-13 Hoya株式会社 電子内視鏡システム
EP1728464B1 (en) 2005-06-03 2016-03-30 Olympus Corporation Endoscope image pickup system
JP4716801B2 (ja) * 2005-06-16 2011-07-06 オリンパスメディカルシステムズ株式会社 内視鏡撮像システム
JP4875319B2 (ja) * 2005-06-20 2012-02-15 オリンパスメディカルシステムズ株式会社 内視鏡
JP5191090B2 (ja) * 2005-07-15 2013-04-24 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP4709606B2 (ja) 2005-07-28 2011-06-22 オリンパスメディカルシステムズ株式会社 生体観測装置
JP2007111357A (ja) * 2005-10-21 2007-05-10 Olympus Medical Systems Corp 生体撮像装置及び生体観測システム
JP5057675B2 (ja) * 2006-03-03 2012-10-24 オリンパスメディカルシステムズ株式会社 生体観察装置
JP5214853B2 (ja) * 2006-03-03 2013-06-19 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP4951256B2 (ja) 2006-03-16 2012-06-13 オリンパスメディカルシステムズ株式会社 生体観測装置
CN101420899B (zh) * 2006-04-12 2011-05-18 奥林巴斯医疗株式会社 内窥镜装置
EP2008573B1 (en) 2006-04-20 2017-05-31 Olympus Corporation Biological observation system
JP5355846B2 (ja) * 2006-05-08 2013-11-27 オリンパスメディカルシステムズ株式会社 内視鏡用画像処理装置
JP4868976B2 (ja) * 2006-08-18 2012-02-01 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5325396B2 (ja) 2007-06-15 2013-10-23 オリンパスメディカルシステムズ株式会社 撮像システム
JP5184016B2 (ja) * 2007-09-12 2013-04-17 オンセミコンダクター・トレーディング・リミテッド 撮像装置
JP2009142415A (ja) * 2007-12-13 2009-07-02 Fujinon Corp 内視鏡システム
JP2009153712A (ja) * 2007-12-26 2009-07-16 Olympus Corp 光源装置およびそれを備えた内視鏡装置
US20090190371A1 (en) * 2008-01-24 2009-07-30 Optim, Inc. Monolithic illumination device
EP2130484B1 (en) * 2008-06-04 2011-04-20 FUJIFILM Corporation Illumination device for use in endoscope
JP5216429B2 (ja) * 2008-06-13 2013-06-19 富士フイルム株式会社 光源装置および内視鏡装置
JP2011200367A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp 画像撮像方法および装置

Also Published As

Publication number Publication date
EP2301415B1 (en) 2020-12-23
JP2012005807A (ja) 2012-01-12
EP2301415A1 (en) 2011-03-30
US20110071352A1 (en) 2011-03-24
US8834359B2 (en) 2014-09-16

Similar Documents

Publication Publication Date Title
JP5460506B2 (ja) 内視鏡装置の作動方法及び内視鏡装置
JP5460507B2 (ja) 内視鏡装置の作動方法及び内視鏡装置
JP5303012B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5371946B2 (ja) 内視鏡診断装置
JP5501210B2 (ja) 画像処理装置
US9044163B2 (en) Endoscope apparatus
JP5331904B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP5496075B2 (ja) 内視鏡診断装置
CN109068945B (zh) 图像处理装置、图像处理装置的工作方法及记录介质
JP5371920B2 (ja) 内視鏡装置
JP5670264B2 (ja) 内視鏡システム、及び内視鏡システムの作動方法
US9072453B2 (en) Endoscope apparatus
JP2012050641A (ja) 内視鏡システム
JP5677555B2 (ja) 内視鏡装置
JP5334952B2 (ja) 画像処理装置
JP2012070839A (ja) 光源装置および内視鏡診断装置
JP6581952B2 (ja) 内視鏡システム及びその作動方法
JP5921984B2 (ja) 電子内視鏡装置及び照明装置
JP2012050650A (ja) 内視鏡システム及びそのキャリブレーション方法
JP6669539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5965028B2 (ja) 内視鏡システム
JP7235832B2 (ja) 内視鏡システム
JP2020142090A (ja) 内視鏡システム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111216

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20121005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140114

R150 Certificate of patent or registration of utility model

Ref document number: 5460506

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250