JP4679013B2 - Endoscope image processing device - Google Patents
Endoscope image processing device Download PDFInfo
- Publication number
- JP4679013B2 JP4679013B2 JP2001302788A JP2001302788A JP4679013B2 JP 4679013 B2 JP4679013 B2 JP 4679013B2 JP 2001302788 A JP2001302788 A JP 2001302788A JP 2001302788 A JP2001302788 A JP 2001302788A JP 4679013 B2 JP4679013 B2 JP 4679013B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- image
- filter
- image processing
- endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Studio Devices (AREA)
- Optical Filters (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、1つの撮像素子で通常画像モードと、蛍光画像モードとの2つのモードの画像を撮像する内視鏡を用い、通常画像モードと、蛍光画像モードとを切り換えて観察画像を得る内視鏡用画像処理装置に関する。
【0002】
【従来の技術】
近年、内視鏡装置は、医療用分野及び工業用分野で広く用いられる。上記内視鏡装置は、挿入部先端側に撮像手段を備えた電子内視鏡を用いたものがある。上記内視鏡装置は、上記電子内視鏡で得た撮像信号を信号処理してモニタ等の表示手段に内視鏡画像を表示させる内視鏡用画像処理装置を備えている。
また、内視鏡装置は、医療用分野において、通常の白色光による通常画像を得る内視鏡装置の他に、蛍光画像を得る内視鏡装置も実現されている。
【0003】
上記蛍光画像を得る内視鏡装置は、例えば、特開平8−140928号公報や特開平8−140929号公報に記載されているように通常画像と蛍光画像とを切り換え、又は同時に表示手段に表示させるものが提案されている。
上記特開平8−140928号公報や特開平8−140929号公報に記載の内視鏡装置は、挿入部先端側に通常画像用撮像素子及び蛍光画像用撮像素子の2つの撮像素子が配置される内視鏡を用いている。
【0004】
上記蛍光画像用撮像素子の前面には、青色を遮光するカットフィルタが配置されている。そして、上記内視鏡装置は、光源からR(赤色),G(緑色),B(青色)の照明光が順次供給される。そして、上記内視鏡装置は、B(青色)の照明光が供給されたとき、蛍光画像用の観察像を撮像するようになっている。
しかしながら、上記特開8−140928号公報や特開平8−140929号公報に記載の内視鏡装置は、通常画像と蛍光画像との両方を観察可能にするため、内視鏡の挿入部先端側に2つの撮像素子を配置すると、挿入部先端側が太くなる問題や、コストが高くなる問題等が有る。
【0005】
これを解消にするために、内視鏡装置は、挿入部先端側に1つの撮像素子を設けた内視鏡を用いるものが考えられる。
この場合、上記内視鏡は、上記撮像素子の前面に青色を遮光するカットフィルタを配置して、通常画像モードと蛍光画像モードとの両方の観察画像を得られるように構成される。
【0006】
【発明が解決しようとする課題】
しかしながら、上記1つの撮像素子を設けた内視鏡を用いる内視鏡装置は、上記撮像素子の前面に青色を遮光するカットフィルタを配置しているので、通常画像モード時に、上記撮像素子で撮像される通常画像用の観察像に青色が欠けてしまう。この場合、上記内視鏡装置に用いられる従来の内視鏡用画像処理装置は、青色が欠けた通常画像用の観察像を撮像した撮像信号を画像処理することになるので、正しい色再現を行うことが困難となる。
【0007】
本発明は、これらの事情に鑑みてなされたものであり、1つの撮像素子で通常画像モードと、蛍光画像モードとの2つのモードの画像を撮像する内視鏡を用い、通常画像モード時に際しても良好な観察画像を得られる内視鏡用画像処理装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するため、本発明の内視鏡用画像処理装置は、青色の少なくとも一部の波長帯域を遮光する帯域フィルタが撮像素子の前面に配置された内視鏡の前記撮像素子から出力される信号を画像処理して白色光による通常画像モードと、蛍光情報を含む蛍光画像モードとを切り換えてカラー画像信号を発生する内視鏡用画像処理装置において、前記通常画像モード時において、赤色の色信号と、青色または緑色の色信号とを用いて所定の色素量を算出する色素量算出手段と、前記通常画像モード時に、前記色素量算出手段により算出された所定の色素量に基づいて、前記カラー画像信号のうち、所定の色信号のゲインを調整する調整手段と、を具備したことを特徴とする。
【0009】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
図1ないし図10は本発明の第1の実施の形態に係り、図1は第1の実施の形態を備えた内視鏡装置の全体構成図、図2は通常観察用フィルタと蛍光観察用フィルタが設けられた切替フィルタの構成を示す説明図、図3はフィルタの波長に対する透過特性を示す特性図であり、図3(A)は通常観察用フィルタの透過特性図、図3(B)は蛍光観察用フィルタの透過特性図、図3(C)は励起光カットフィルタの透過特性図、図4は通常画像モードで白い被写体を観察した場合のCCDで受光した光強度の波長に対する特性を示す特性図、図5は生体組織に含まれるヘモグロビンの吸光度の波長に対する特性を示す特性図、図6は図1の画像処理回路の構成を示す回路ブロック図、図7はヘモグロビン濃度に対するゲイン調整量の関係を示すグラフ、図8は図6の画像処理回路の変形例を示す回路ブロック図、図9は500−700nmの波長帯域を透過する励起光カットフィルタの透過特性を示す特性図、図10は図9の励起光カットフィルタにおける通常画像モード時のCCDで受光した光強度の波長に対する特性を示す特性図である。
【0010】
図1に示す本発明の第1の実施の形態の通常画像モード及び蛍光画像モードとを備えた内視鏡装置1Aは、体腔内に挿入して観察するための電子内視鏡2Aと、通常観察用の光及び励起用の光を発する光源装置3Aと、通常観察画像と蛍光画像を構築する画像処理を行う内視鏡用画像処理装置としての(以下、画像処理装置)4Aと、通常光による画像と蛍光による画像を表示するモニタ5とにより構成される。
【0011】
電子内視鏡2Aは、体腔内に挿入される細長の挿入部7を有している。この挿入部7の先端部8は、照明手段及び撮像手段を内蔵している。
挿入部7は、通常観察のための照明光及び励起光を伝送するライトガイドファイバ9が挿通され、このライトガイドファイバ9の手元側の入射端に設けた光源用コネクタ10は光源装置3Aに着脱自在に接続される。
【0012】
光源装置3Aは、ランプ駆動回路11により発光するように駆動され、赤外波長帯域から可視光帯域を含む光を放射するランプ12と、このランプ12による照明光路上に設けられ、ランプ12からの光量を制限する光源絞り13と、照明光路上に設けられた切替フィルタ部14と、この切替フィルタ部14を通った光を集光するコンデンサレンズ15とを備えている。
【0013】
この切替フィルタ部14は回転用モータ16により回転されると共に、移動用モータ20により光路上に配置されるフィルタが切り替えられる切替フィルタ17と、回転用モータ16に取り付けたラック18に螺合するピニオン19を回転駆動することにより、回転用モータ16と共に切替フィルタ17を光軸に垂直な方向に移動する移動用モータ20とを備えている。
【0014】
切替フィルタ17は、図2に示すように内周側と外周側とに同心状に通常観察用のRGBフィルタ21と蛍光観察用フィルタ22とが設けている。切替フィルタ17は、前記移動用モータ20を駆動することにより光路上に通常照明用フィルタ21を設定して通常画像モードでの動作状態に設定したり、通常照明用フィルタ21から蛍光照明用フィルタ22に切り換えて蛍光画像モード(蛍光モードともいう)に設定した動作状態に切り替えができるようにしている。
【0015】
上記RGBフィルタ21は、周方向にR(赤)、G(緑)、B(青)の各波長帯域の光をそれぞれ透過するRフィルタ21a、Gフィルタ21b、Bフィルタ21cが3等分するように設けてあり、回転モータ16で回転駆動されることによりそれぞれが光路中に順次、略連続的に介挿される。
【0016】
また、Rフィルタ21a、Gフィルタ21b、Bフィルタ21cの透過特性は図3(A)に示すように、600−700nm、500−600nm、400−500nmの各波長帯の光をそれぞれ透過するフィルタ特性を有する。図3等では符号21a、21b、21cの代わりに、そのフィルタ透過特性に対応する符号R、G、Bを用いて示している(後述する蛍光観察用フィルタ22においても、同様である)。
【0017】
また、蛍光観察用フィルタ22は、周方向に狭帯域の赤(R1)、狭帯域の緑(G1)、狭帯域の励起光をそれぞれ透過するR1フィルタ22a、G1フィルタ22b、E1フィルタ22cが3等分するように設けてあり、回転用モータ16で回転駆動されることによりそれぞれが光路中に順次介挿される。
また、R1フィルタ22a、G1フィルタ22b、E1フィルタ22cの透過特性は図3(B)に示すように600−620nm、540−560nm、390−445nmを各波長帯域の光をそれぞれ透過するフィルタ特性を有する。
【0018】
光源装置3Aからの照明光はライトガイドファイバ9により、電子内視鏡2Aの挿入部7の先端側に伝送(導光)される。このライトガイドファイバ9は蛍光観察のための光と通常観察のための光を少ない伝送ロスで伝送する。このライトガイドファイバ9としては、例えば多成分系ガラスファイバ、石英ファイバ等で構成される。
【0019】
ライトガイドファイバ9の先端面に伝送された光は、その先端面に対向する照明窓に取り付けた照明レンズ24を経て、拡開して体腔内の観察対象部位を照明するようになっている。
【0020】
先端部8は、この照明窓に隣接して観察窓が設けている。この観察窓の後端側は、光学像を結ぶための対物レンズ系25と、励起光をカットする励起光カットフィルタ27と、蛍光及び反射光の各画像を撮像する撮像素子として例えばモノクロ撮像(或いは白黒撮像)を行う電荷結合素子(CCDと略記)28とが配置されている。
蛍光及び反射画像を撮像する撮像素子としては、CCD28の代わりにCMD (Charged Modulation Device) 撮像素子、CMOS( Complementary Metal-Oxide Semiconductor )撮像素子、AMI(Amplified MOS Imager)、BCCD(Back Illuminated CCD)でも良い。
【0021】
励起光カットフィルタ27は蛍光観察時に、蛍光を発生させるために励起される励起光を遮光するフィルタである。この励起光カットフィルタ27の特性を図3(C)に示す。この図3(C)に示すように470−700nmの波長帯域を透過する、つまり、青色帯域の一部の波長(400−470nm)を除いた可視光を透過する特性を有する。
【0022】
尚、この電子内視鏡2Aは、蛍光画像モードと通常画像モードとを選択する指示操作や、フリーズ、レリーズの指示操作を行うためのスコープスイッチ29が設けてあり、その操作信号は制御回路37に入力され、制御回路37はその操作信号に対応した制御動作を行う。
【0023】
例えばスコープスイッチ29におけるモード切換スイッチの通常モードスイッチを操作すると、光源装置3Aはライトガイドファイバ9に通常画像モードの照明光、つまりR、G、Bの光を順次供給する状態となり、また画像処理装置4Aも通常画像モードに対応した信号処理を行う状態になる。
【0024】
また、モード切換スイッチの蛍光モードスイッチを操作すると、光源装置3Aはライトガイドファイバ9に蛍光モードの照明光、つまりR1、G1、E1の光を順次供給する状態となり、また画像処理装置4Aも蛍光モードに対応した信号処理を行う状態になる。
【0025】
CCD28は画像処理装置4A内に設けたCCD駆動回路31からのCCD駆動信号により駆動されるようになっている。このCCD28は、結像された光学像を光電変換して画像信号を出力するようになっている。
【0026】
この画像信号は、画像処理装置4A内に設けたプリアンプ32で増幅され、更にオートゲインコントロール(AGC)回路33で所定レベルまで増幅された後、A/D変換回路34によりアナログ信号からデジタル信号(画像データ)に変換され、各画像データは切換を行うマルチプレクサ35を経て、第1フレームメモリ36a、第2フレームメモリ36b及び第3フレームメモリ36cに一時格納(記憶)されるようになっている。
尚、CCD駆動回路31は、制御回路37により制御される。具体的には、制御回路37は、蛍光モードにおいて、E1フィルタ22cにより励起光を照射して蛍光画像を得る期間におけるCCD28で受光される光量がR1フィルタ22a、G1フィルタ22bで照明を行った場合の反射光の場合よりもはるかに低下するので、CCD駆動回路31を制御してCCD28の電子シャッタ機能を動作させる。
【0027】
また、制御回路37は選択されたモードに応じて移動用モータ20を制御するようになっている。また、回転用モータ16は制御回路37により制御されると共に、この回転用モータ16の回転軸等に取り付けた図示しないエンコーダの出力は制御回路37に入力され、制御回路37はこのエンコーダの出力に同期してCCD駆動回路31やマルチプレクサ35の切換等を制御する。
【0028】
また、制御回路37は、マルチプレクサ35の切換を制御し、通常画像モードではRフィルタ21a、Gフィルタ21b、Bフィルタ21cの照明のもとで撮像した各画像データをそれぞれ第1フレームメモリ36a、第2フレームメモリ36b、第3フレームメモリ36cに順次記憶させるように制御する。
【0029】
また、蛍光モードにおいても、制御回路37は、マルチプレクサ35の切換を制御し、R1フィルタ22a、G1フィルタ22b、E1フィルタ22cの照明のもとで撮像した各信号をそれぞれ第1フレームメモリ36a、第2フレームメモリ36b、第3フレームメモリ36cに順次記憶させるように制御する。
上記フレームメモリ36a〜36cに格納された画像データは画像処理回路38に入力され、マトリクス演算などが施された後、D/A変換回路39によりアナログのRGB信号に変換されてモニタ5に出力される。
【0030】
また、この画像処理装置4Aは、プリアンプ32を通した信号に基づいて光源装置3A内の光源絞り13の開口量を自動的に制御する調光回路40が設けてある。また、この調光回路40は、制御回路37により制御される。
また、この制御回路37は、ランプ駆動回路11のランプ12を発光駆動するランプ電流を制御する。また、この制御回路37はスコープスイッチ29の操作に応じた制御動作を行う。
【0031】
また、この画像処理装置4Aは、例えば電子内視鏡2Aの他に図示しない2つの撮像素子を内蔵した機種等が異なる電子内視鏡でも使用できるように、接続されたスコープの識別情報を識別するための機種検知回路48が設けてある。
【0032】
一方、スコープ2Aは、種類(機種)を含む固有の識別情報を発生するスコープID回路47aを有する。尚、スコープID回路47aは、スコープ2Aの機種を含む情報が書き込まれたメモリ素子で構成されるが、これに限定されるものでなく、例えば複数のスイッチからなるディップスイッチ等で構成することもできる。
【0033】
機種検知回路48は、検知された機種情報を制御回路37に送信し、制御回路37は検出された機種に応じてその機種のスコープに適した蛍光モード及び通常画像モードで観察できるように光源装置3Aを制御するようになっている。
尚、スコープ2Aは、その機種を含む固有のID(識別情報)を発生するスコープID回路47aを備えた構成であるが、単に機種情報を画像処理装置4Aにそれぞれ入力しても良い。
【0034】
また、この画像処理装置4Aは、スコープID回路47aを設けていないスコープにも対応可能である。この場合、スコープID回路47aを設けていないスコープが画像処理装置4Aに接続されたとき、スコープIDを発生しないので、機種検知回路48の出力により制御回路37はスコープID回路47aを設けていない機種であると判断して、対応する制御動作を行うこともできる。
【0035】
このような構成の内視鏡装置1Aでは、光源装置3Aの切替フィルタ17のRGBフィルタ21、蛍光観察用フィルタ22及び、電子内視鏡2Aの撮像光路中に設けた励起光カットフィルタ27のフィルタ特性を図3(A)〜図3(C)に示すように設定したことが特徴の1つになっている。
【0036】
この特徴を図4等を参照して以下に説明する。図4は通常画像モードにより、白い紙等の白い被写体を撮像した場合におけるCCD28の受光面(撮像面)での光強度を示す。
この場合、図3(A)に示す特性のRフィルタ21a、Gフィルタ21b、Bフィルタ21cによりR,G,B光の照明が行われ、一方CCD28の前に配置された励起光カットフィルタ27のフィルタ特性は図3(C)に示すようにG、Rの光は全て透過するが、Bの光に対してはその長波長側の一部を透過する特性である。このため、CCD28の受光面(撮像面)での光強度は、図4で2点鎖線で示すBの短波長側がカットされたものとなる。つまり、CCD28は、Bの光に対して実線で示すようにその長波長側の一部のみが受光面(撮像面)で受光されることになる。
【0037】
従って、Bフィルタ21cによるB光での照明期間において、CCD28は、受光面(撮像面)で受光される光量が他のRフィルタ21a、Gフィルタ21bによるR光、G光での照明期間の場合よりも低下することになる。
このため、通常画像モードにおいて、Bフィルタ21cによる照明期間における撮像時、Rフィルタ21a、Gフィルタ21bによる照明期間における撮像の場合に比べて、その照明光量を増大したり、信号処理系側で増幅率を増大させてホワイトバランスのとれた通常画像が得られるようにしている。
【0038】
ここで、通常画像モード時に白色反射板等を撮像してモニタ上に反射板を白く表示させる際に、B光の強度が低下するので、RGBの各信号出力が均一になるように調整すると、B信号の信号出力は一部の光が制限されなかった場合に対して、B信号のゲインが高く設定されるようになる。
【0039】
また、図5に示すようにヘモグロビンの吸光度は、短波長になるに従い大きくなる。特に、ヘモグロビンの吸光度は、B光の遮断される波長帯域(400〜470nm)に大きなピーク(solet帯)を持つ。
【0040】
従って、通常画像モード時に生体体腔内を観察すると、図5に示すようにB光がヘモグロビンの吸収により大きく減衰される。しかしながら、470〜500nmに制限されたB光では、ヘモグロビンの吸収が小さく、CCD28に到達するB光の強度が高くなる。このため、通常画像モード時に470〜500nmに制限されたB光と、R光、G光で生体体腔内を観察すると、色調が変化することになる。
【0041】
そこで、本実施の形態では、通常画像モード時に470〜500nmに制限されたB光からの信号のゲインを一定値減衰させるように構成する。
図6に示すように画像処理回路38は、RGBの各信号の出力強度が一定値になるようにゲイン調整を行うホワイトバランス部50と、このホワイトバランス部50でのRGBのゲイン調整値をメモリすると共に、Bチャンネルのゲインを一定値減衰させるホワイトバランス設定部51と、前記ホワイトバランス部50でゲイン調整されたRGBの信号に対し、所定のマトリクス演算を施して蛍光画像信号又は通常画像信号を生成するマトリクス回路52と、前記制御回路37からモード信号を得て、マトリクス回路52に蛍光画像用のパラメータを出力するか、又は、通常観察用のパラメータを出力するか判断し、モードに適したパラメータを出力するパラメータ設定部53と、前記マトリクス回路52で生成された画像信号をモニタに表示するためのゲイン調整を行うγ補正回路54とから構成される。
以上の構成にすることで、通常画像モードでの良好な通常観察画像、蛍光モードでの明るい蛍光画像を実現できるようにしている。
【0042】
このような構成による本実施の形態の作用を以下に説明する。
図1に示すように電子内視鏡2Aの光源用コネクタ10を光源装置3Aに接続し、また、電子内視鏡2Aの図示しない信号用コネクタを画像処理装置4Aに接続する。そして、図1に示すような接続状態に設定して、各装置の電源を投入し、動作状態に設定する。すると、制御回路37は初期設定の動作を行い、この初期設定の状態では例えば通常画像モードで動作するように設定する制御を行う。
【0043】
この通常画像モードでは、制御回路37は光源装置3Aの移動用モータ20を制御して、切替フィルタ17をその内周側のRGBフィルタ21が照明光路中に位置するように設定する。
【0044】
そして、回転モータ16を回転させる。ランプ12の白色光は切替フィルタ17のRフィルタ21a、Gフィルタ21b、Bフィルタ21cが順次照明光路中に配置されるようになり、観察対象側へR、G、Bの照明光が出射される。
通常画像モードでは切替フィルタによる(観察対象側への)照明光は上記のようにRフィルタ21a、Gフィルタ21b、Bフィルタ21cが順次照明光路中に配置される。
【0045】
R、G、Bの光で照明され、CCD28で撮像された信号は、増幅、A/D変換された後、マルチプレクサ35が制御回路37で順次切り換えられることにより、第1フレームメモリ36a、第2フレームメモリ36b、第3フレームメモリ36cに順次格納される。
【0046】
これらフレームメモリ36a〜36cに格納されたR、G、Bの色成分の画像データは所定のフレーム期間(例えば33ms、つまり1/30秒)で同時に読み出され、画像処理回路38でマトリクス演算等がされ、D/A変換回路39を経てアナログの標準的な映像信号、ここではRGB信号にされてモニタ5に出力され、モニタ5の表示面には(白色光を照射した場合に、直接被写体を観察した場合のカラー色調を反映した)通常観察画像がカラー表示される。
【0047】
上述したように、Bフィルタ21cを通して照明を行った場合における被写体側での反射光量は励起光カットフィルタ27によりその短波長側がカットされてCCD28で受光される。このため、そのB光の色成分画像の受光量が他のR、G光の色成分画像の受光量より少なくなる(低下する)ので、RGBの各信号出力が均一になるように調整すると、B信号の信号出力は一部の光が制限されなかった場合に対して、B信号のゲインが高く設定される。
【0048】
この状態で、通常画像モード時に生体体腔内を観察すると、B光がヘモグロビンの吸収により大きく減衰されるが、励起光カットフィルタ27により470〜500nmに制限されたB光では、ヘモグロビンの吸収が小さく、CCD28に到達するB光の強度が高くなってしまう。すると、モニタに表示される通常画像モード時の生体体腔内の観察画像は、赤みがかったものとなる。
【0049】
これを防止するために、画像処理回路38は、ホワイトバランス部50でRGBの各信号の出力強度が一定値になるようにゲイン調整を行う。このとき、ホワイトバランス設定部51は、ホワイトバランス部50でのRGBのゲイン調整値をメモリすると共に、Bチャンネルのゲインを一定値減衰させる。
【0050】
このBチャンネルのゲイン調整量は、図7に示すように生体体腔内のヘモグロビン濃度に依存する。このヘモグロビン濃度は、部位、臓器、組織の状態により変化する。
本実施の形態では、ヘモグロビン濃度1%〜4%に対してBチャンネルのゲイン調整量を15%〜30%の範囲として一定の値を設定している。
【0051】
そして、このようにゲインを調整されたB光と、R及びG光とは、マトリクス回路52に入力される。マトリクス回路52は、制御回路37からモード信号を得たパラメータ設定部53により、モードに適したパラメータを出力され、ゲイン調整されたRGBの信号に対し、所定のマトリクス演算を施して通常画像信号を生成し、出力する。
【0052】
マトリクス回路52で生成された通常画像信号は、γ補正回路54でゲイン調整され、D/A変換回路39でD/A変換されてモニタに出力され、通常画像としてモニタに表示される。
【0053】
このようにして通常画像モードで被写体を観察でき、例えば注目する患部部位等の被写体に対して蛍光観察を行いたい場合には、スコープスイッチ29のモード切換スイッチの蛍光モードスイッチを操作する。すると、この操作信号を受けて、制御回路37は光源装置3Aは移動用モータ20を駆動して、切替フィルタ17を移動させ、蛍光観察用フィルタ22が照明光路上に配置される状態に設定し、蛍光モードに切り換える。
【0054】
蛍光モードに設定されると、電子内視鏡2Aのライトガイドファイバ9には蛍光モードの照明光、つまりR1、G1、E1の光が順次供給される状態となる。
そして、被写体にはR1、G1、E1の光が順次照射される。R1、G1の照明の場合には、通常画像モードでのR、Gの光が順次照射された場合と同様の動作となる。つまり、この場合にはR1、G1の被写体での反射光をCCD28で受光する。この場合、励起光カットフィルタ27による影響を受けないで、CCD28は撮像することになる。
【0055】
これに対し、励起光E1を照射した場合には、その励起光E1の反射光は励起光カットフィルタ27で殆ど完全に遮光され、かつこの励起光カットフィルタ27の透過帯域内の被写体側からの蛍光を受光する。この蛍光の強度は、R1、G1の被写体での反射光の強度に比べてはるかに小さいので、通常画像モードでのR、Gの照明、Bの照明及びそれらの場合の信号処理と類似した動作を行い、モニタに蛍光画像が表示される。このように蛍光モードにおいても、良好な蛍光画像が得られる。
【0056】
この結果、本実施の形態の画像処理装置は、1つの撮像素子で通常画像モードと、蛍光画像モードとの2つのモードの画像を撮像する内視鏡を用い、通常画像モード時に際しても良好な観察画像を得られる。
【0057】
また、上述した図6の画像処理回路38は、ホワイトバランス部50でRGBの各信号の出力強度が一定値になるように通常画像モード時のゲイン調整を行うように構成されているが、図8に示すようにホワイトバランス部50でホワイトバランスを行った後、マトリクス回路52で通常画像モード時のゲイン調整を行うように構成しても良い。図8は、本発明の第1の実施の形態の変形例を示す回路ブロック図である。
【0058】
図8に示すように画像処理回路38Bは、通常画像モード時のゲイン調整を所定のマトリクス演算により行うマトリクス回路52bと、このマトリクス回路52bに対して、モードに適したパラメータを出力するパラメータ設定部53bと、前記γ補正回路とから構成される。尚、ホワイトバランス部50bは、ホワイトバランス設定部51bで設定された値に基づき、通常のホワイトバランスを行うようになっている。
【0059】
前記マトリクス回路52bは、ホワイトバランス部50bで通常のホワイトバランスが行われた後、上記マトリクス演算を行うようになっている。
このマトリクス演算は、例えば、以下に示すような3行3列の行列式で演算が行われる。
【0060】
【式1】
また、B光のゲインを落とさずにR光及びG光のゲインをアップさせるようにしても良い。この場合、このマトリクス演算は、例えば、以下に示すような行列式で演算が行われる。
【0061】
【式2】
これら行列式に基づきマトリクス回路52bは、RGBの信号に対してマトリクス演算を行うことで、通常画像モード時のゲイン調整が可能となり、モニタに表示される通常画像モード時の生体体腔内の観察画像が良好なものとなる。
この結果、本変形例の画像処理部38Bは、上記第1の実施の形態と同様な効果を得る。
【0062】
また、電子内視鏡2Aは、図9に示すように500−700nmの波長帯域を透過するフィルタ特性の励起光カットフィルタ27bを用いても良い。この場合、励起光カットフィルタ27bは、青色帯域の波長(400−500nm)を除いた可視光を透過する特性を有している。
このため、CCD28の受光面(撮像面)での光強度は、図10に示すように2点鎖線で示すB光全体がカットされたものとなる。
【0063】
この場合、画像処理装置4Aに出力される信号は、R光と、G光の信号のみなので、図4、図8で画像処理部38,38Bは、B’光の信号をG光の信号に割り当て、R,G,Gとして上述した信号処理を施すように構成しても良い。更に、具体的に説明すると、例えば、画像処理部38は、R光,G光,G光の信号がホワイトバランス部50に入力され、このホワイトバランス部50でB’光の信号の代わりに割り当てたG光のゲインを調整する。この場合、ホワイトバランス設定部51で設定される減衰量は、40%となる。それ以外の構成は、上記第1の実施の形態と同様である。
【0064】
(第2の実施の形態)
図11は本発明の第2の実施の形態の画像処理回路の構成を示す回路ブロック図である。
本第2の実施の形態は、上記第1の実施の形態の構成に加え、ヘモグロビン濃度1%〜4%に応じて青色信号を生成してBチャンネルのゲイン調整量を修正するように構成する。それ以外の構成は上記第1の実施の形態と同様なので説明を省略し、同じ構成には同じ符号を付して説明する。
【0065】
即ち、図11に示すように本第2の実施の形態の画像処理回路38Cは、470〜500nmに制限されたB’光とR光を用いて(又はR光とG光を用いて)、ヘモグロビン量を算出する色素算出部61と、この色素算出部61で算出されるヘモグロビン量に基づき、モードに適したパラメータを設定するパラメータ設定部53cと、このパラメータ設定部53cで設定されたパラメータに基づき、Bチャンネルのゲイン調整量を修正するマトリクス回路52cと、前記γ補正回路54とから構成される。
【0066】
前記パラメータ設定部53cは、通常画像モード時、前記色素算出部61から出力されるヘモグロビン量に基づき、B信号のゲインを減衰されるようにパラメータを設定し、これを前記マトリクス回路52cに出力するようになっている。
【0067】
前記色素算出部61での演算は、以下の色信号を用い、励起光カットフィルタ27で制限を受けないB光から形成される信号のゲインを以下の式に基づいて予測するようになっている。
【0068】
生体から反射した光の強度は、以下の式で定義される。
IB=I0exp(−cdεB) ・・・(1)
IB'=I0exp(−cdεB') ・・・(2)
IR=k・I0exp(−cdεR) ・・・(3)
I0:ホワイトバランス後の出力信号
IB:励起光カットフィルタ27で光が遮断されなかったときのBの反射光強度
IB':励起光カットフィルタ27で一部の光が遮断されたときのBの反射光強度
IR:R光の反射光強度
εB:B光帯域のヘモグロビンの吸光度
εB':B’光帯域のヘモグロビンの吸光度
εR:R光帯域のヘモグロビンの吸光度
c:ヘモグロビン濃度
d:光路長
尚、kは、ホワイトバランス取得時の係数である。本演算では、ホワイトバランス後であるので、k=1が成り立つ。従って、kは、演算式中より、削除される。
【0069】
ここで、IRとIB'との値からIBの値を算出する。
(2)、(3)式からcdを求める。
【0070】
cd=(logIR−logIB')/(εB'−εR)
cdを(1),(2)より求められる下式に代入する。
よって、IR/IBとIR/IB'との関係式は以下の式で求まる。
IR/IB=(IR/IB'){(εB−εR)/(εB’−εR)} ・・・(4)
上記関係式により、B光帯域で遮断されなかったときのB光の反射光強度が求まる。
【0071】
尚、上記関係式は、R光とB’光との関係により、B光の強度を予測したが、R光とG光との関係により、B光の強度を予測しても良い。
次に、R光とG光とで色素量を求める場合は、上記(1)〜(3)の関係式でB’がGに変更となる。
IB=I0exp(−cdεB) ・・・(1)
IG=I0exp(−cdεG) ・・・(2’)
IR=k・I0exp(−cdεR) ・・・(3)
IG:G光の反射光強度
εG:G光帯域のヘモグロビンの吸光度
ここで、IRとIGとの値からIBの値を算出する。
(2’)、(3)式からcdを求める。
cd=(logIR−logIG)/(εG−εR)
cdを(1),(2’)より求められる下式に代入する。
よって、IR/IBとIR/IGとの関係式は以下の式で求まる。
IR/IB=(IR/IG){(εB−εR)/(εG−εR)} ・・・(5’)
上記関係式により、B光帯域で遮断されなかったときのB光の反射光強度が求まる。
【0072】
色素算出部61は、上述した関係式(5)、(5’)で算出されたB光の反射光強度に基づいてヘモグロビン量を算出し、この算出値をパラメータ設定部53cに出力する。
パラメータ設定部53cは、色素算出部61で算出されたヘモグロビン量に基づき、モードに適したパラメータを設定してマトリクス回路52cに出力する。
【0073】
マトリクス回路52cは、パラメータ設定部53cで設定されたパラメータに基づき、青色信号を生成してBチャンネルのゲイン調整量を修正するようマトリクス演算を行うようになっている。
このマトリクス演算は、例えば、以下に示すような3行3列の行列式で演算が行われる。
【0074】
【式3】
尚、式3中のCは、色素演算部61で算出されたヘモグロビン量に基づき、決められるゲイン調整量である。
【0075】
そして、マトリクス回路52cで生成された通常画像信号は、γ補正回路54でゲイン調整され、D/A変換回路39でD/A変換されてモニタに出力され、通常画像としてモニタに表示される。
【0076】
この結果、本第2の実施の形態の画像処理装置は、上記第1の実施の形態の画像処理装置の効果に加え、通常画像モード時にヘモグロビン量に応じて良好な観察画像を得られる。
【0077】
尚、本発明は、以上述べた実施形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【0078】
[付記]
(付記項1) 青色の少なくとも一部の波長帯域を遮光する帯域フィルタが撮像素子の前面に配置された内視鏡の前記撮像素子から出力される信号を画像処理して白色光による通常画像モードと、蛍光情報を含む蛍光画像モードとを切り換えてカラー画像信号を発生する内視鏡用画像処理装置において、
前記通常画像モード時に、前記カラー画像信号のうち、所定の色信号のゲインを調整する調整手段を設けたことを特徴とする内視鏡用画像処理装置。
【0079】
(付記項2) 前記通常画像モード時に、前記カラー画像信号のうち、所定の色信号を用いて青色信号を生成する生成手段を設けたことを特徴とする付記項1に記載の内視鏡用画像処理装置。
【0080】
(付記項3) 前記調整手段は、青色のゲインを減衰させることを特徴とする付記項1に記載の内視鏡用画像処理装置。
【0081】
(付記項4) 前記調整手段は、赤色及び緑色のゲインを増幅させることを特徴とする付記項1に記載の内視鏡用画像処理装置。
【0082】
(付記項5) 前記調整手段は、赤色と青色又は緑色の色信号を用いて色素量を算出し、ゲインの調整量を設定することを特徴とする付記項1に記載の内視鏡用画像処理装置。
【0083】
(付記項6) 前記生成手段は、所定の色信号のゲインを調整して青色信号とすることを特徴とする付記項2に記載の内視鏡用画像処理装置。
【0084】
(付記項7) 接続される前記内視鏡の種類に関する情報を入力され、この情報に基づき、前記調整手段又は前記生成手段を制御する制御手段を有することを特徴とする付記項1又は2に記載の内視鏡用画像処理装置。
【0085】
(付記項8) 前記ゲインの減衰量は、15%〜30%の範囲であることを特徴とする付記項3に記載の内視鏡用画像処理装置。
【0086】
(付記項9) 前記ゲインの増幅量は、18%〜42%の範囲であることを特徴とする付記項4に記載の内視鏡用画像処理装置。
【0087】
(付記項10) 前記生成手段でゲインを調整される所定の色信号は、緑色であることを特徴とする付記項6に記載の内視鏡用画像処理装置。
【0088】
(付記項11) 前記ゲインの調整量は、40%に減衰することを特徴とする付記項10に記載の内視鏡用画像処理装置。
【0089】
【発明の効果】
以上説明したように本発明によれば、1つの撮像素子で通常画像モードと、蛍光画像モードとの2つのモードの画像を撮像する内視鏡を用い、通常画像モード時に際しても良好な観察画像を得られる内視鏡用画像処理装置を実現できる。
【図面の簡単な説明】
【図1】第1の実施の形態を備えた内視鏡装置の全体構成図
【図2】通常観察用フィルタと蛍光観察用フィルタが設けられた切替フィルタの構成を示す説明図
【図3】フィルタの波長に対する透過特性を示す特性図
【図4】通常画像モードで白い被写体を観察した場合のCCDで受光した光強度の波長に対する特性を示す特性図
【図5】生体組織に含まれるヘモグロビンの吸光度の波長に対する特性を示す特性図
【図6】図1の画像処理回路の構成を示す回路ブロック図
【図7】ヘモグロビン濃度に対するゲイン調整量の関係を示すグラフ
【図8】図6の画像処理回路の変形例を示す回路ブロック図
【図9】500−700nmの波長帯域を透過する励起光カットフィルタの透過特性を示す特性図
【図10】図9の励起光カットフィルタにおける通常画像モード時のCCDで受光した光強度の波長に対する特性を示す特性図
【図11】本発明の第2の実施の形態の画像処理回路の構成を示す回路ブロック図
【符号の説明】
1A…内視鏡装置
2A…電子内視鏡
3A…光源装置
4A…画像処理装置
5…モニタ
7…挿入部
8…先端部
14…切替フィルタ部
16…回転用モータ
17…切替フィルタ
21…RGBフィルタ
22…蛍光観察用フィルタ
27…励起光カットフィルタ
28…CCD
37…制御回路
50…ホワイトバランス部
51…ホワイトバランス設定部
52…マトリクス回路
53…パラメータ設定部
54…γ補正回路[0001]
BACKGROUND OF THE INVENTION
The present invention uses an endoscope that captures images of two modes, a normal image mode and a fluorescence image mode, with one image sensor, and switches between the normal image mode and the fluorescence image mode to obtain an observation image. The present invention relates to an endoscope image processing apparatus.
[0002]
[Prior art]
In recent years, endoscope apparatuses are widely used in the medical field and the industrial field. Some of the above-described endoscope apparatuses use an electronic endoscope having an imaging unit on the distal end side of the insertion portion. The endoscope apparatus includes an endoscope image processing apparatus that performs signal processing on an imaging signal obtained by the electronic endoscope and displays an endoscope image on a display unit such as a monitor.
In addition, in the medical field, an endoscope apparatus that obtains a fluorescent image is realized in addition to an endoscope apparatus that obtains a normal image using normal white light.
[0003]
The endoscope apparatus for obtaining the fluorescent image is, for example, switched between a normal image and a fluorescent image as described in JP-A-8-140929 and JP-A-8-140929, or simultaneously displayed on the display means. Something has been proposed.
In the endoscope apparatus described in the above Japanese Patent Laid-Open Nos. 8-140929 and 8-140929, two image pickup devices, a normal image pickup device and a fluorescent image pickup device, are arranged on the distal end side of the insertion portion. An endoscope is used.
[0004]
A cut filter that blocks blue light is disposed in front of the fluorescent image pickup device. The endoscope apparatus is sequentially supplied with R (red), G (green), and B (blue) illumination light from a light source. The endoscope apparatus captures an observation image for a fluorescent image when B (blue) illumination light is supplied.
However, the endoscope apparatus described in the above-mentioned Japanese Patent Application Laid-Open No. 8-140929 and Japanese Patent Application Laid-Open No. 8-140929 makes it possible to observe both a normal image and a fluorescent image. If two image pickup devices are arranged in this manner, there are a problem that the distal end side of the insertion portion becomes thick, a problem that costs increase, and the like.
[0005]
In order to solve this problem, an endoscope apparatus that uses an endoscope in which one image sensor is provided on the distal end side of the insertion portion can be considered.
In this case, the endoscope is configured such that a cut filter that blocks blue light is arranged on the front surface of the imaging element so that observation images in both the normal image mode and the fluorescence image mode can be obtained.
[0006]
[Problems to be solved by the invention]
However, in the endoscope apparatus using the endoscope provided with the one image pickup device, the cut filter for blocking blue light is arranged on the front surface of the image pickup device, so that an image is picked up by the image pickup device in the normal image mode. The observed image for the normal image lacks blue color. In this case, the conventional endoscopic image processing apparatus used for the endoscopic apparatus performs image processing on an imaging signal obtained by capturing an observation image for a normal image lacking blue, so that correct color reproduction is performed. It becomes difficult to do.
[0007]
The present invention has been made in view of these circumstances, and uses an endoscope that captures images in two modes, a normal image mode and a fluorescence image mode, with one image sensor, and at the time of the normal image mode. Another object of the present invention is to provide an endoscopic image processing apparatus capable of obtaining a good observation image.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the present inventionEndoscope image processing deviceA bandpass filter that blocks at least a part of the wavelength band of blue is subjected to image processing on the signal output from the imaging element of the endoscope arranged in front of the imaging element, and the normal image mode using white light and fluorescence information In an endoscope image processing apparatus that generates a color image signal by switching between including a fluorescent image mode,In the normal image mode, a dye amount calculating means for calculating a predetermined dye amount using a red color signal and a blue or green color signal;During the normal image mode,Based on the predetermined dye amount calculated by the dye amount calculating means,Adjustment means for adjusting the gain of a predetermined color signal among the color image signalsIt was characterized by comprising.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIGS. 1 to 10 relate to a first embodiment of the present invention, FIG. 1 is an overall configuration diagram of an endoscope apparatus including the first embodiment, and FIG. 2 is a normal observation filter and a fluorescence observation filter. FIG. 3 is a characteristic diagram showing a transmission characteristic with respect to the wavelength of the filter, FIG. 3 (A) is a transmission characteristic diagram of a normal observation filter, and FIG. 3 (B). Is the transmission characteristic diagram of the filter for fluorescence observation, FIG. 3C is the transmission characteristic diagram of the excitation light cut filter, and FIG. 4 is a characteristic of the light intensity received by the CCD with respect to the wavelength when a white object is observed in the normal image mode. FIG. 5 is a characteristic diagram showing the characteristic of the absorbance of hemoglobin contained in the living tissue with respect to the wavelength, FIG. 6 is a circuit block diagram showing the configuration of the image processing circuit of FIG. 1, and FIG. 7 is a gain adjustment amount with respect to the hemoglobin concentration Show the relationship FIG. 8 is a circuit block diagram showing a modification of the image processing circuit of FIG. 6, FIG. 9 is a characteristic diagram showing the transmission characteristics of an excitation light cut filter that transmits a wavelength band of 500 to 700 nm, and FIG. It is a characteristic view showing the characteristic of the light intensity received by the CCD in the normal image mode in the excitation light cut filter with respect to the wavelength.
[0010]
An endoscope apparatus 1A having the normal image mode and the fluorescence image mode of the first embodiment of the present invention shown in FIG. 1 includes an
[0011]
The
The
[0012]
The
[0013]
The
[0014]
As shown in FIG. 2, the
[0015]
In the
[0016]
Further, the transmission characteristics of the R filter 21a, the
[0017]
The
Further, the transmission characteristics of the R1 filter 22a, the G1 filter 22b, and the
[0018]
Illumination light from the
[0019]
The light transmitted to the distal end surface of the
[0020]
The
As an imaging device for capturing fluorescent and reflected images, a CMD (Charged Modulation Device) imaging device, a CMOS (Complementary Metal-Oxide Semiconductor) imaging device, an AMI (Amplified MOS Imager), and a BCCD (Back Illuminated CCD) may be used instead of the
[0021]
The excitation light cut
[0022]
The
[0023]
For example, when the normal mode switch of the mode switch in the
[0024]
When the fluorescence mode switch of the mode switch is operated, the
[0025]
The
[0026]
This image signal is amplified by a
The
[0027]
The
[0028]
The
[0029]
Also in the fluorescence mode, the
The image data stored in the frame memories 36a to 36c is input to the
[0030]
In addition, the
The
[0031]
Further, the
[0032]
On the other hand, the
[0033]
The
The
[0034]
The
[0035]
In the endoscope apparatus 1A having such a configuration, the
[0036]
This feature will be described below with reference to FIG. FIG. 4 shows the light intensity on the light receiving surface (imaging surface) of the
In this case, the R, G, and B lights are illuminated by the R filter 21a,
[0037]
Accordingly, in the illumination period with the B light by the
For this reason, in the normal image mode, the amount of illumination light is increased or amplified on the signal processing system side, compared with the case of imaging during the illumination period using the R filter 21a and
[0038]
Here, when the white reflection plate or the like is imaged in the normal image mode and the reflection plate is displayed on the monitor in white, the intensity of the B light decreases. As for the signal output of the B signal, the gain of the B signal is set higher than when a part of the light is not limited.
[0039]
Further, as shown in FIG. 5, the absorbance of hemoglobin increases as the wavelength becomes shorter. In particular, the absorbance of hemoglobin has a large peak (solet band) in the wavelength band (400 to 470 nm) where B light is blocked.
[0040]
Therefore, when the inside of the living body cavity is observed in the normal image mode, the B light is greatly attenuated by the absorption of hemoglobin as shown in FIG. However, in the B light limited to 470 to 500 nm, the absorption of hemoglobin is small and the intensity of the B light reaching the
[0041]
Therefore, in this embodiment, the gain of the signal from the B light limited to 470 to 500 nm in the normal image mode is attenuated by a certain value.
As shown in FIG. 6, the
With the above configuration, a good normal observation image in the normal image mode and a bright fluorescent image in the fluorescence mode can be realized.
[0042]
The effect | action of this Embodiment by such a structure is demonstrated below.
As shown in FIG. 1, the
[0043]
In this normal image mode, the
[0044]
Then, the
In the normal image mode, the illumination light from the switching filter (to the observation target side) is sequentially arranged in the illumination optical path with the R filter 21a, the
[0045]
A signal illuminated with R, G, B light and picked up by the
[0046]
The R, G, and B color component image data stored in the frame memories 36a to 36c are simultaneously read out in a predetermined frame period (for example, 33 ms, that is, 1/30 second), and the
[0047]
As described above, when the illumination is performed through the
[0048]
In this state, when the inside of the body cavity is observed in the normal image mode, the B light is greatly attenuated by the absorption of hemoglobin, but the B light limited to 470 to 500 nm by the excitation light cut
[0049]
In order to prevent this, the
[0050]
The gain adjustment amount of the B channel depends on the hemoglobin concentration in the living body cavity as shown in FIG. This hemoglobin concentration varies depending on the state of the site, organ, and tissue.
In the present embodiment, a constant value is set with the gain adjustment amount of the B channel in the range of 15% to 30% with respect to the hemoglobin concentration of 1% to 4%.
[0051]
The B light, the R light, and the G light whose gains are adjusted in this way are input to the
[0052]
The normal image signal generated by the
[0053]
In this way, the subject can be observed in the normal image mode. For example, when it is desired to perform fluorescence observation on the subject such as the affected part of interest, the fluorescence mode switch of the mode switch of the
[0054]
When the fluorescent mode is set, the
The subject is sequentially irradiated with light of R1, G1, and E1. In the case of R1 and G1 illumination, the operation is the same as when the R and G lights are sequentially irradiated in the normal image mode. That is, in this case, the
[0055]
On the other hand, when the excitation light E1 is irradiated, the reflected light of the excitation light E1 is almost completely shielded by the excitation light cut
[0056]
As a result, the image processing apparatus according to the present embodiment uses an endoscope that captures images in two modes, that is, the normal image mode and the fluorescence image mode with one image sensor, and is good even in the normal image mode. An observation image can be obtained.
[0057]
Further, the
[0058]
As shown in FIG. 8, the
[0059]
The
This matrix calculation is performed using, for example, a determinant of 3 rows and 3 columns as shown below.
[0060]
[Formula 1]
Further, the gains of the R light and the G light may be increased without reducing the gain of the B light. In this case, this matrix calculation is performed by a determinant as shown below, for example.
[0061]
[Formula 2]
Based on these determinants, the
As a result, the
[0062]
Further, the
Therefore, the light intensity on the light receiving surface (imaging surface) of the
[0063]
In this case, since the signals output to the
[0064]
(Second Embodiment)
FIG. 11 is a circuit block diagram showing a configuration of an image processing circuit according to the second embodiment of the present invention.
In the second embodiment, in addition to the configuration of the first embodiment, a blue signal is generated according to the hemoglobin concentration of 1% to 4% to correct the gain adjustment amount of the B channel. . Since other configurations are the same as those of the first embodiment, description thereof will be omitted, and the same components will be described with the same reference numerals.
[0065]
That is, as shown in FIG. 11, the
[0066]
The
[0067]
The calculation in the
[0068]
The intensity of light reflected from the living body is defined by the following equation.
IB = I0exp (-cd.epsilon.B) (1)
IB '= I0exp (-cd.epsilon.B') (2)
IR = k.I0exp (-cd.epsilon.R) (3)
I0: Output signal after white balance
IB: Reflected light intensity of B when the light is not blocked by the excitation light cut
IB ′: Reflected light intensity of B when a part of the light is blocked by the excitation light cut
IR: Reflected light intensity of R light
εB: Absorbance of hemoglobin in the B light band
εB ′: Absorbance of hemoglobin in the B ′ optical band
εR: Absorbance of hemoglobin in the R light band
c: Hemoglobin concentration
d: Optical path length
Note that k is a coefficient at the time of white balance acquisition. In this calculation, after white balance, k = 1 holds. Therefore, k is deleted from the arithmetic expression.
[0069]
Here, the value of IB is calculated from the values of IR and IB '.
Cd is obtained from equations (2) and (3).
[0070]
cd = (logIR−logIB ′) / (εB′−εR)
Substitute cd into the following equation obtained from (1) and (2).
Therefore, the relational expression between IR / IB and IR / IB ′ is obtained by the following expression.
IR / IB = (IR / IB '){(ΕB−εR) / (εB′−εR)} ... (4)
From the above relational expression, the reflected light intensity of the B light when not blocked in the B light band is obtained.
[0071]
In the above relational expression, the intensity of the B light is predicted based on the relationship between the R light and the B ′ light. However, the intensity of the B light may be predicted based on the relationship between the R light and the G light.
Next, when the amount of dye is determined by R light and G light, B ′ is changed to G in the relational expressions (1) to (3) above.
IB = I0exp (-cd.epsilon.B) (1)
IG = I0exp (-cd.epsilon.G) (2 ')
IR = k.I0exp (-cd.epsilon.R) (3)
IG: Reflected light intensity of G light
εG: Absorbance of hemoglobin in the G light band
Here, the value of IB is calculated from the values of IR and IG.
Cd is obtained from the equations (2 ') and (3).
cd = (logIR−logIG) / (εG−εR)
Substitute cd into the following equation obtained from (1) and (2 ').
Therefore, the relational expression between IR / IB and IR / IG is obtained by the following expression.
IR / IB = (IR / IG){(ΕB-εR) / (εG-εR)} ... (5 ')
From the above relational expression, the reflected light intensity of the B light when not blocked in the B light band is obtained.
[0072]
The
The
[0073]
Based on the parameters set by the
This matrix calculation is performed using, for example, a determinant of 3 rows and 3 columns as shown below.
[0074]
[Formula 3]
Note that C in
[0075]
The normal image signal generated by the
[0076]
As a result, the image processing apparatus according to the second embodiment can obtain a good observation image according to the amount of hemoglobin in the normal image mode in addition to the effects of the image processing apparatus according to the first embodiment.
[0077]
The present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the invention.
[0078]
[Appendix]
(Additional Item 1) Normal image mode using white light by performing image processing on a signal output from the imaging element of the endoscope in which a bandpass filter that blocks at least a part of the wavelength band of blue is disposed in front of the imaging element And an endoscope image processing device that generates a color image signal by switching between a fluorescence image mode including fluorescence information,
An endoscopic image processing apparatus, comprising: an adjustment unit configured to adjust a gain of a predetermined color signal among the color image signals in the normal image mode.
[0079]
(Additional Item 2) The endoscope according to Additional Item 1, further comprising a generation unit configured to generate a blue signal using a predetermined color signal among the color image signals in the normal image mode. Image processing device.
[0080]
(Additional Item 3) The endoscope image processing apparatus according to Additional Item 1, wherein the adjustment unit attenuates a blue gain.
[0081]
(Additional Item 4) The endoscope image processing apparatus according to Additional Item 1, wherein the adjustment unit amplifies red and green gains.
[0082]
(Additional Item 5) The endoscopic image according to Additional Item 1, wherein the adjustment unit calculates a dye amount by using red and blue or green color signals and sets an adjustment amount of gain. Processing equipment.
[0083]
(Additional Item 6) The endoscope image processing device according to Additional Item 2, wherein the generation unit adjusts a gain of a predetermined color signal to generate a blue signal.
[0084]
(Additional Item 7) According to Additional Item 1 or 2, wherein information regarding the type of the endoscope to be connected is input, and control means for controlling the adjustment means or the generation means is provided based on the information. The endoscope image processing apparatus described.
[0085]
(Additional Item 8) The endoscope image processing device according to
[0086]
(Additional Item 9) The endoscope image processing device according to Additional Item 4, wherein an amplification amount of the gain is in a range of 18% to 42%.
[0087]
(Additional Item 10) The endoscope image processing device according to Additional Item 6, wherein the predetermined color signal whose gain is adjusted by the generation unit is green.
[0088]
(Additional Item 11) The endoscope image processing apparatus according to
[0089]
【The invention's effect】
As described above, according to the present invention, a good image can be observed even in the normal image mode by using an endoscope that captures an image in two modes, the normal image mode and the fluorescence image mode, with one image sensor. An endoscopic image processing apparatus can be realized.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of an endoscope apparatus including a first embodiment.
FIG. 2 is an explanatory diagram showing a configuration of a switching filter provided with a normal observation filter and a fluorescence observation filter.
FIG. 3 is a characteristic diagram showing transmission characteristics with respect to wavelength of a filter.
FIG. 4 is a characteristic diagram showing characteristics of light intensity received by a CCD with respect to wavelength when a white object is observed in a normal image mode.
FIG. 5 is a characteristic diagram showing the characteristics of hemoglobin with respect to wavelength of hemoglobin contained in a living tissue.
6 is a circuit block diagram showing the configuration of the image processing circuit of FIG. 1;
FIG. 7 is a graph showing the relationship between the amount of gain adjustment and the hemoglobin concentration.
8 is a circuit block diagram showing a modification of the image processing circuit in FIG. 6;
FIG. 9 is a characteristic diagram illustrating transmission characteristics of an excitation light cut filter that transmits a wavelength band of 500 to 700 nm.
10 is a characteristic diagram showing characteristics of light intensity received by a CCD in the normal image mode with respect to wavelength in the excitation light cut filter of FIG.
FIG. 11 is a circuit block diagram showing a configuration of an image processing circuit according to a second embodiment of the present invention.
[Explanation of symbols]
1A ... Endoscopic device
2A ... Electronic endoscope
3A ... Light source device
4A ... Image processing apparatus
5 ... Monitor
7 ... Insertion section
8 ... Tip
14 ... Switching filter section
16: Motor for rotation
17 ... Switching filter
21 ... RGB filter
22 ... Filter for fluorescence observation
27 ... Excitation light cut filter
28 ... CCD
37 ... Control circuit
50 ... White balance section
51 ... White balance setting section
52. Matrix circuit
53 ... Parameter setting section
54 ... γ correction circuit
Claims (2)
前記通常画像モード時において、赤色の色信号と、青色または緑色の色信号とを用いて所定の色素量を算出する色素量算出手段と、
前記通常画像モード時に、前記色素量算出手段により算出された所定の色素量に基づいて、前記カラー画像信号のうち、所定の色信号のゲインを調整する調整手段と、
を具備したことを特徴とする内視鏡用画像処理装置。A bandpass filter that blocks at least a part of the wavelength band of blue is subjected to image processing on the signal output from the imaging element of the endoscope arranged in front of the imaging element, and the normal image mode using white light and fluorescence information In an endoscope image processing apparatus that generates a color image signal by switching between including a fluorescent image mode,
In the normal image mode, a dye amount calculating means for calculating a predetermined dye amount using a red color signal and a blue or green color signal;
An adjusting means for adjusting a gain of a predetermined color signal among the color image signals based on the predetermined dye amount calculated by the dye amount calculating means in the normal image mode ;
An image processing apparatus for an endoscope , comprising:
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001302788A JP4679013B2 (en) | 2001-09-28 | 2001-09-28 | Endoscope image processing device |
US10/145,966 US6960165B2 (en) | 2001-05-16 | 2002-05-14 | Endoscope with a single image pick-up element for fluorescent and normal-light images |
DE60228165T DE60228165D1 (en) | 2001-05-16 | 2002-05-14 | Endoscope with image processing device |
EP02010182A EP1258220B1 (en) | 2001-05-16 | 2002-05-14 | Endoscope with image processing device |
US10/647,405 US7204803B2 (en) | 2001-05-16 | 2003-08-25 | Endoscope device, endoscope and image processing device for endoscope |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001302788A JP4679013B2 (en) | 2001-09-28 | 2001-09-28 | Endoscope image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003102680A JP2003102680A (en) | 2003-04-08 |
JP4679013B2 true JP4679013B2 (en) | 2011-04-27 |
Family
ID=19122974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001302788A Expired - Lifetime JP4679013B2 (en) | 2001-05-16 | 2001-09-28 | Endoscope image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4679013B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4610970B2 (en) * | 2004-09-07 | 2011-01-12 | オリンパス株式会社 | Detachable filter device and endoscope device |
JP4786910B2 (en) * | 2005-02-07 | 2011-10-05 | Hoya株式会社 | Electronic endoscope |
JP4709606B2 (en) * | 2005-07-28 | 2011-06-22 | オリンパスメディカルシステムズ株式会社 | Biological observation device |
JP2007143624A (en) * | 2005-11-24 | 2007-06-14 | Hamamatsu Photonics Kk | Fluorescence observation apparatus |
JP2009201540A (en) * | 2008-02-26 | 2009-09-10 | Fujinon Corp | Imaging system and endoscope system |
JP5579001B2 (en) * | 2010-09-17 | 2014-08-27 | 株式会社キーエンス | Optical information reader |
JP5581157B2 (en) * | 2010-09-17 | 2014-08-27 | 株式会社キーエンス | Illumination setting support device for optical information reader |
GB2487940B (en) | 2011-02-09 | 2014-12-17 | Tel Hashomer Medical Res Infrastructure & Services Ltd | Methods and devices suitable for imaging blood-containing tissue |
JP6349202B2 (en) * | 2014-08-29 | 2018-06-27 | シスメックス株式会社 | Fluorescence detection device, test substance detection device, and fluorescence detection method |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63155984A (en) * | 1986-12-19 | 1988-06-29 | Olympus Optical Co Ltd | White balance circuit for electronic endoscope |
JPH02181591A (en) * | 1989-01-06 | 1990-07-16 | Fuji Photo Optical Co Ltd | Color balance correction system for color picture |
JPH0469615A (en) * | 1990-07-10 | 1992-03-04 | Olympus Optical Co Ltd | White balance adjuster for endoscope |
JPH07275191A (en) * | 1994-04-11 | 1995-10-24 | Olympus Optical Co Ltd | Image pickup device with built-in light source |
JPH10151104A (en) * | 1996-11-25 | 1998-06-09 | Olympus Optical Co Ltd | Fluorescent endoscope device |
JPH10309282A (en) * | 1997-05-13 | 1998-11-24 | Olympus Optical Co Ltd | Fluorescent observation device |
JP2000270265A (en) * | 1999-03-17 | 2000-09-29 | Ekapot Bhunachet | Methods for merging fluorescence video and video of background by charge coupled device(ccd) and for watching them on the same screen |
JP2001104237A (en) * | 1999-10-05 | 2001-04-17 | Fuji Photo Film Co Ltd | Method and device for judging fluorescence |
JP2001137174A (en) * | 1999-11-16 | 2001-05-22 | Fuji Photo Film Co Ltd | Method for displaying fluorescence image and equipment |
-
2001
- 2001-09-28 JP JP2001302788A patent/JP4679013B2/en not_active Expired - Lifetime
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63155984A (en) * | 1986-12-19 | 1988-06-29 | Olympus Optical Co Ltd | White balance circuit for electronic endoscope |
JPH02181591A (en) * | 1989-01-06 | 1990-07-16 | Fuji Photo Optical Co Ltd | Color balance correction system for color picture |
JPH0469615A (en) * | 1990-07-10 | 1992-03-04 | Olympus Optical Co Ltd | White balance adjuster for endoscope |
JPH07275191A (en) * | 1994-04-11 | 1995-10-24 | Olympus Optical Co Ltd | Image pickup device with built-in light source |
JPH10151104A (en) * | 1996-11-25 | 1998-06-09 | Olympus Optical Co Ltd | Fluorescent endoscope device |
JPH10309282A (en) * | 1997-05-13 | 1998-11-24 | Olympus Optical Co Ltd | Fluorescent observation device |
JP2000270265A (en) * | 1999-03-17 | 2000-09-29 | Ekapot Bhunachet | Methods for merging fluorescence video and video of background by charge coupled device(ccd) and for watching them on the same screen |
JP2001104237A (en) * | 1999-10-05 | 2001-04-17 | Fuji Photo Film Co Ltd | Method and device for judging fluorescence |
JP2001137174A (en) * | 1999-11-16 | 2001-05-22 | Fuji Photo Film Co Ltd | Method for displaying fluorescence image and equipment |
Also Published As
Publication number | Publication date |
---|---|
JP2003102680A (en) | 2003-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1258220B1 (en) | Endoscope with image processing device | |
JP4855586B2 (en) | Endoscope device | |
JP5372356B2 (en) | Endoscope apparatus and method for operating endoscope apparatus | |
JP5534997B2 (en) | Electronic endoscope system | |
JP4891990B2 (en) | Endoscope device | |
JP3869324B2 (en) | Image processing device for fluorescence observation | |
JP5226403B2 (en) | Light source device and endoscope apparatus using the light source device | |
US8866893B2 (en) | Imaging apparatus | |
US20060155166A1 (en) | Endoscope device | |
JP2009034224A (en) | Medical treatment apparatus | |
JP5308815B2 (en) | Biological observation system | |
JP2005013279A (en) | Endoscope apparatus | |
JP2005131129A (en) | Imaging device and endoscope apparatus | |
US8878921B2 (en) | Imaging system | |
JP5467971B2 (en) | Electronic endoscope system, processor device for electronic endoscope system, and method for operating electronic endoscope system | |
JP4679013B2 (en) | Endoscope image processing device | |
JP4315748B2 (en) | Endoscope device | |
JP3884265B2 (en) | Endoscope device | |
JP4716801B2 (en) | Endoscopic imaging system | |
JP5331394B2 (en) | Endoscope device | |
JP4242578B2 (en) | Endoscope device | |
JP5467970B2 (en) | Electronic endoscope system | |
JP2004305382A (en) | Special light observation system | |
JP4526322B2 (en) | Endoscope device | |
JP5467972B2 (en) | Electronic endoscope system, processor device for electronic endoscope system, and method for operating electronic endoscope system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100506 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110201 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4679013 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |