図1は、本発明の第1の実施形態の電子内視鏡100を備えている電子内視鏡装置500の構成を示したブロック図である。この電子内視鏡装置500は、患者の体腔内の画像情報を出力する電子内視鏡100と、電子内視鏡100に出力された画像情報に所定の処理を施し映像信号に変換する画像処理装置に加えて観察像を得るための光束を電子内視鏡100に供給する光源装置を備えたプロセッサ200と、プロセッサ200から出力された映像信号を表示するモニタ300から構成されている。以下に、この図1を用いて、この電子内視鏡装置500の構成と作用を説明する。
プロセッサ200は、本実施形態での観察対象である生体組織400を照明する照明光を射出する光源部210を備えている。この光源部210が射出する照明光は可視光の波長帯域の光と紫外線の波長帯域の光とを含んだものである。本実施形態の電子内視鏡装置500では電子内視鏡100先端部の細径化を達成するために面順次方式の撮像システムを採用している。そのため、この照明光の光路中にはRGBUV回転フィルタ220が配置されている。
図2は、本実施形態に用いられるRGBUV回転フィルタ220の構成を示した正面図である。また、図3は、RGBUV回転フィルタ220が有している各フィルタの特性と、固体撮像素子150の各受光部のフィルタ特性を示したグラフである。このグラフの縦軸は透過率を示しており横軸は波長を示している。以下に、この図2及び図3を用いて、RGBUV回転フィルタ220について説明する。
このRGBUV回転フィルタ220は、中心軸220aを中心として周方向に開口部と遮光部とを有している。さらに説明を加えるとこのRGBUV回転フィルタ220は、開口部を5つ、遮光部を1つ有しており、これら5つの開口部に異なった透過特性を有したフィルタを具備している。ここでいうそれぞれ異なった透過特性を有したフィルタとは、図3に示すR特性を有したフィルタ、G特性を有したフィルタ、B特性を有したフィルタ、及びD特性を有したフィルタである。
本実施形態において、R特性を有したフィルタとは、光源部210から射出される光束のうち、可視光であるR光(レッド)を含む帯域の光と、波長λeを有する励起光を含む紫外線波長帯域の光とを透過する光学フィルタ220Rを示す。また、G特性を有したフィルタとは、可視光であるG光(グリーン)を含む帯域の光と、波長λeを有する励起光を含む紫外線波長帯域の光とを透過する光学フィルタ220Gを示す。また、B特性を有したフィルタとは、可視光であるB光(ブルー)を含む帯域の光と、波長λeを有する励起光を含む紫外線波長帯域の光とを透過する光学フィルタ220Bを示す。また、D特性を有したフィルタとは、波長λeを有する励起光を含む紫外線波長帯域の光を透過する光学フィルタ220D1および220D2を示す。なお、説明を分かり易くするために、各フィルタは、図3で比較的高い透過率を有した波長帯域のみの光をそれぞれ透過するものとする。
このRGBUV回転フィルタ220は、その周方向に、順に、光学フィルタ220R、光学フィルタ220D1、光学フィルタ220G、光学フィルタ220D2、光学フィルタ220B、遮光部220Mを有している。なお、それぞれの光学フィルタを具備した開口部は、周方向にそれぞれ同一の角度を有した扇状の開口からなる。また、遮光部220Mは、後述する受光部152aの蓄積電荷の転送期間を確保するために、光学フィルタ220D1及び220D2より周方向に大きく形成されている。以下に、このRGBUV回転フィルタ220を用いた面順次方式によるカラー画像の生成のプロセスを説明する。
まず、タイミングジェネレータ230(図1)は、図示しないモータドライバに駆動信号を送信する。このモータドライバはこの受信した駆動信号に基づいてモータ222を駆動させる。このモータ222の回転軸は、RGBUV回転フィルタ220を中心軸220aで回転自在に支持している。従って、モータ222(図1)の駆動に伴いRGBUV回転フィルタ220は、中心軸220aを中心に回転する。RGBUV回転フィルタ220が回転することにより光源部210から射出された照明光は、光学フィルタ220R、光学フィルタ220D1、光学フィルタ220G、光学フィルタ220D2、光学フィルタ220Bの各フィルタの順番で連続して透過する。また、光学フィルタ220Bと220Rの間は、遮光部220Mにより遮られる。
プロセッサ200はコネクタ280を介して電子内視鏡100と接続されている。RGBUV回転フィルタ220の各フィルタを透過した照明光の各々は、この光路中に配置されている集光レンズ224を介して電子内視鏡100が備えるライトガイド110に入射する。そしてこの照明光は、ライトガイド110により電子内視鏡100の先端部に導光される。このライトガイド110により導光された照明光は、電子内視鏡100の先端部の前面に備えられた照明窓120を介して生体組織400を照明する。
生体組織400を照明した照明光のうちR光、G光、及びB光はこの生体組織400により反射され、観察光として対物光学系130に入射する。この対物光学系130に入射した観察光は、光路偏向部140により対物光学系130の光軸と直交する方向、言い換えると電子内視鏡100の長手方向と直交する方向に折り曲げられる。
なお、生体組織400により反射された照明光のうちR光、G光及びB光は、略波長を変化させることなく対物光学系130に入射する。
また、上記可視光とともに射出された紫外線波長帯域の波長λeを有する励起光、及びカラーフィルタ220D1および220D2を透過した照明光に含まれる励起光が生体組織400に照射されたとき、生体組織400が正常な状態であれば、励起光はこの生体組織400に吸収される。そしてこの生体組織400は、基底状態から励起状態に変化、すなわちエネルギー準位を上げる。エネルギー準位が上がった生体組織400は元の基底状態に戻る際に、波長λeの励起光より長い波長λ1を有した蛍光を発する。すなわち、生体組織400が正常な状態であれば、この生体組織400に照射された波長λeの励起光は、波長λ1の蛍光となって発散し、対物光学系130に入射する。また、生体組織400が癌細胞などの病変部である場合、励起光はこの生体組織400のエネルギー準位を上げることなく反射する。すなわち、生体組織400が病変部である場合、励起光が照射されたこの生体組織400は蛍光をほとんど発しない。なお、生体組織400で反射された励起光は、対物光学系130の前面に設けられた励起光カットフィルタ(不図示)により阻止され、対物光学系130には入射しない。
本実施形態の電子内視鏡100では、生体組織400からの観察光を受光して光電変換を行い画像信号を生成する機能を有する固体撮像素子150は、電子内視鏡100の長手方向にその受光面が位置するよう配置されている。この固体撮像素子150は例えばCCDである。
対物光学系130に入射し、上述した光路偏向部140により折り曲げられた観察光(R光、G光、B光及び蛍光)は、この固体撮像素子150の受光面で結像して、この受光面が有しているマトリクス状に配置された複数の受光素子の各々に受光される。なお、生体組織400は上述したようにRGBUV回転フィルタ220の各フィルタを順に透過した照明光により照明されているため、固体撮像素子150の受光面は、各フィルタに応じた観察光を順次受光する。
プロセッサ200が備えているドライバ240は、タイミングジェネレータ230から送信されてくる駆動制御信号により固体撮像素子150を駆動している。さらに詳しく説明すると、このドライバ240はタイミングジェネレータ230から送信されてくる駆動制御信号に基づいて、固体撮像素子150が蛍光と、R光、G光、B光のいずれかの観察光とを受光している期間はその観察光を各受光素子にて光電変換して電荷として蓄積するよう固体撮像素子150を駆動し、RGBUV回転フィルタ220の光学フィルタ220D1、220D2、及び遮光部220Mにより固体撮像素子150が観察光のうちのR光、G光、B光のいずれも受光しない期間は各受光素子に蓄積されている電荷を転送して画像信号として出力させるよう固体撮像素子150を駆動することができる。
固体撮像素子150から出力された画像信号は、プロセッサ200に送信されて、後述する画像処理を施される。このプロセッサ200に画像処理を施された信号は、外部機器に表示可能な種々のビデオ信号に変換されてモニタ300に出力され、このモニタ300上でカラーの観察画像として表示される。以下に、プロセッサ200で行われる画像処理のプロセスを説明する。
固体撮像素子150によって得られた体腔内の生体組織400の画像信号は、プロセッサ200に備えられている初段画像信号処理部250に送信される。この初段画像信号処理部250は、送信された画像信号を増幅させ、サンプリング、ホールド等の処理を行う。そして、この画像信号をデジタル信号に変換させる。変換されたデジタル信号は、さらに、初段画像信号処理部250が有している図示しないマルチプレクサによって固体撮像素子150の駆動と同期して切り替えられ、R、G、Bの各色の画像信号、さらには蛍光の画像信号であるF信号に分離されて、RGBFメモリ260が有している各メモリに出力される。
RGBFメモリ260はR、G、Bの各色に対応した3つのフレームメモリである図示しないRメモリ、Gメモリ、Bメモリに加えてさらに、F信号用のフレームメモリである図示しないFメモリを備えている。初段画像信号処理部250に分離された各色の画像信号及びF信号は、それぞれ対応するフレームメモリに格納される。
タイミングジェネレータ230は、RGBFメモリ260の各フレームメモリに格納されている画像信号を同時に読み出すためのタイミング信号を送信する。このタイミング信号は、例えば、1秒当たり30フレームから構成される動画がモニタ上において表示できるタイミングで送信される。すなわち、このタイミングジェネレータ230は、RGBFメモリ260の各フレームメモリに格納されている画像信号を1秒当たり30フレーム、同時に読み出すタイミング信号を送信する。このタイミング信号に基づき、各色の画像信号は同時に読み出されて、後段信号処理部270に出力される。
後段信号処理部270は、この信号をアナログ信号に変換させ、さらにこのアナログ信号をモニタ300に表示させるためのコンポジットビデオ信号や、Y/C信号、RGBビデオ信号に変換する。そして、これらのビデオ信号がモニタ300に出力されると、モニタ300上に生体組織400の観察画像がカラー画像で表示される。
図4は、後段信号処理部270における画像処理の一態様を模式的に示した図である。図4中のRはRGBFメモリ260においてRメモリに格納されていたR光の画像信号を示し、FはRGBFメモリ260においてFメモリに格納されていたF信号を示している。また、R−Fは後段信号処理部270内の加算回路で演算されたR光の信号とF信号との演算結果を示している。また横軸は時間軸を示している。
図4によると、後段信号処理部270はR光の信号とF信号とを加算回路により演算する。例えば期間Taは生体組織400を撮像した期間であるため、後段信号処理部270は生体組織400のR光の信号を得る。また、この期間Taで撮像した生体組織400は正常部位であり、後段信号処理部270は生体組織400で発した蛍光により生成されたF信号を得る。このとき、後段信号処理部270の加算回路によりR光の信号とF信号とを演算すると、その演算結果は0となる。
また、期間Tbは生体組織400を撮像した期間であるため、後段信号処理部270は生体組織400のR光の信号を得る。また、この期間Tbで撮像した生体組織400は異常部位であるため正常部位と比べて強度の低い蛍光しか得られず、後段信号処理部270は期間Taの場合と異なったF信号を得る。このとき、後段信号処理部270の加算回路によりR光の信号とF信号とを演算すると、その演算後に信号が出力される。
また、期間Tcは生体組織400を撮像していない期間、例えば電子内視鏡100と生体組織400との距離が遠いとき、または電子内視鏡100が穴部の奥を観察しているときなどであり、後段信号処理部270は期間Taや期間Tbの場合と異なった生体組織400のR光の信号を得る。また、この期間Tcでは生体組織400を撮像していないため、蛍光を得ることができない。従って、この期間TcではF信号を得ることはできない。このとき、後段信号処理部270の加算回路によりR光の信号とF信号とを演算すると、その演算結果は0となる。
以上のように、本実施形態の電子内視鏡装置500を用いて生体組織の自家蛍光観察を行うと、観察中の生体組織が正常部位であるとき及び生体組織が正確に観察できていないとき、後段信号処理部270は上記演算により同様の演算結果を算出する。また、観察中の生体組織が異常部位であるとき、後段信号処理部270は、上記演算により、生体組織が正常部位であるときと異なった演算結果を算出する。すなわち後段信号処理部270は観察中の生体組織が異常部位であるときのみ他の状態と異なった演算結果を算出することができるため、異常部位を確実に識別させることが可能となる。
図5は、後段信号処理部270における画像処理の一態様を、回路図を用いて模式的に示した図である。図5によると、後段信号処理部270は、図4と同様にR光の信号とF信号とを演算し、さらに、その演算結果をB光の信号に加算して出力することができる。
図1に示したように、プロセッサ200は自家蛍光画像観察ボタン290を具備している。この自家蛍光画像観察ボタン290がオンしているとき、自家蛍光画像観察ボタン290からスイッチSW1を制御するスイッチ制御信号Cが後段信号処理部270に送信されているため、スイッチSW1はオンした状態となっている。また、この自家蛍光画像観察ボタン290をオフしているとき、自家蛍光画像観察ボタン290からスイッチ制御信号Cが後段信号処理部270に送信されていないため、スイッチSW1はオフした状態となっている。
スイッチSW1がオンしているとき、R光の信号とF信号とを演算した信号は、B光の信号と加算されて後段信号処理部270から出力される。このようにR光の信号とF信号とを演算した信号にB光の信号を加算して得られた信号をモニタ300に出力して表示した場合、モニタ300では、観察中の生体組織のうち蛍光強度が低下した部位、すなわち異常部位のみが、青みかかった画像として表示される。従って、術者は観察中の生体組織に異常部位が含まれているかどうかを容易に判断することができる。
図6は、本発明の実施形態の電子内視鏡100の先端部の内部構造を模式的に示した側断面図である。この図6では電子内視鏡100の先端部の内部構造を図1より詳細に示したものである。以下に、この図6を用いて、この電子内視鏡100の先端部の構成と作用をより詳細に説明する。
上述したように、対物光学系130に入射した生体組織400の観察光は、光路偏向部140により電子内視鏡100の長手方向と直交する方向に折り曲げられる。この光路偏向部140は、第1のプリズム142と第2のプリズム144とを貼り合わせることにより形成されている。また、これらのプリズムは、電子内視鏡100の長手方向に、対物光学系130側から第1のプリズム142、第2のプリズム144の順に並んで配置されている。
第1のプリズム142は、生体組織400から得られた観察光の光路中に、光を分割する機能を有するビームスプリッタ142aを有している。このビームスプリッタ142aは、対物光学系130の光軸と一致する生体組織400の観察光の光路に対して45度傾いた状態で配置している。別の言い方をすると、このビームスプリッタ142aは、電子内視鏡100の長手方向に対して45度傾いた状態で配置している。そのため、このビームスプリッタ142aに入射した生体組織400の観察光は、その一部が90度折り曲げられて電子内視鏡100の長手方向と直交する方向、すなわち固体撮像素子150に向かって進行し、その他の一部が透過して第2のプリズム144内を電子内視鏡100の長手方向に沿って進行していく。
さらに説明すると、このビームスプリッタ142aは、折り曲げられる光と透過する光との強度比が1:1、若しくは折り曲げられる光の強度が透過する光に比べて高くなるように、生体組織400の観察光を分割する機能を有している。
第2のプリズム144は、ビームスプリッタ142aを透過した観察光の光路中に、光を全反射する機能を有する全反射ミラー144aを有している。この全反射ミラー144aは、対物光学系130の光軸と一致するビームスプリッタ142aを透過した観察光の光路に対して45度傾いた状態で配置している。別の言い方をすると、この全反射ミラー144aは、電子内視鏡100の長手方向に対して45度傾いた状態で配置している。従って、ビームスプリッタ142aを透過した観察光は、この全反射ミラー144aにより90度折り曲げられて、電子内視鏡100の長手方向と直交する方向、すなわち固体撮像素子150に向かって進行する。
図7は、本発明の実施形態の電子内視鏡100の先端部内に備えられている固体撮像素子150の構成を模式的に示した上面図である。この固体撮像素子150は、半導体基板上に、複数の受光素子がマトリクス状に配置されている撮像エリア152を備えたものである。以下に、この図7を用いて、この固体撮像素子150の構成と作用を説明する。なお、この固体撮像素子150の基台である半導体基板の撮像エリア152を備えている面すなわち受光面は、図7に示す矢印Y方向の辺が矢印X方向の辺より長い長方形の形状を有している。
固体撮像素子150は、受光部152と、水平転送部154と、アンプ156とを備えている。上述したようにこの電子内視鏡装置500は面順次方式によりカラー画像を生成しているため、この固体撮像素子150はモノクロCCDである。また、電子内視鏡100の細径化を達成するため、この固体撮像素子150は蓄積部を備えないフルフレーム型CCDである。
受光部152は、受光部152aと受光部152bの2つのイメージエリアを有している。この受光部152aは、ビームスプリッタ142aで折り曲げられた観察光を受光するイメージエリアであって、この観察光の結像面と一致するよう配置されている。また、受光部152bは、全反射ミラー144aで折り曲げられた観察光を受光するイメージエリアであって、この観察光の結像面と一致するよう配置されている。すなわち、受光部152aと受光部152は電子内視鏡100の長手方向に沿って並んで配置されている。
受光部152aと受光部152bは、矢印Y方向と矢印X方向のそれぞれに等しい長さの辺を有しており、また、同一形状及び同一面積を有している。
受光部152aと受光部152bの前面にはそれぞれ異なったフィルタが配置されている。受光部152aの前面に配置されているフィルタは、図3において一点鎖線で示された自家蛍光のみを透過する特性(以降、これをF特性という)を有したものである。このF特性は、カラーフィルタ220Bを透過する帯域の波長より短い波長の帯域を透過し、かつ波長λeを含んだ紫外線帯域の波長より長い波長であるλ1を含んだ波長帯域を透過する特性を有している。また、受光部152bの前面に配置されているフィルタは、図3において点線で示されたRGB特性を有したものである。このRGB特性は、光学フィルタ220B、光学フィルタ220G、及び光学フィルタ220Rを透過する帯域を全て透過し、光学フィルタ220Bを透過する波長帯域より短い波長帯域は透過しないものである。従って、受光部152aは波長λ1である蛍光を含んだ波長帯域の光を受光することができる。また、受光部152bは可視光を含んだ波長帯域の光を受光することができる。
また上述したように、この固体撮像素子150はフルフレーム型CCDであるため、この受光部152は複数の受光素子各々に蓄積された電荷を、図7の矢印X方向に転送する垂直転送部の機能を兼ね備えている。なお、固体撮像素子150は微少サイズのチップであるため、受光部152aと受光部152bとは光学的に略等価に配置されている。従って、これら2つの受光部には実質的に同一の観察像が結像する。
水平転送部154は、受光部152が備えている複数の受光素子の各々に蓄積された電荷が転送されてくる部位であって、半導体基板の長手方向に一列に整列した電荷結合素子から構成されている。この水平転送部154は、受光部152aが有している受光素子に蓄積された電荷が転送されてくる水平転送部154aと、受光部152bが有している受光素子に蓄積された電荷が転送されてくる水平転送部154bを含んでいる。
水平転送部154を構成している電荷結合素子の各々は、矢印Y方向に関して、受光部152の受光素子と同ピッチで配置されている。水平転送部154に含まれている水平転送部154aは、受光部152aの受光素子各々と矢印Y方向に一致して配置している電荷結合素子から構成されている。また、水平転送部154に含まれている水平転送部154bは、受光部152bの受光素子各々と矢印Y方向に一致して配置している電荷結合素子から構成されている。なお、この水平転送部154を構成している電荷結合素子の各々は、受光部152の受光素子各々に蓄積された電荷が受光素子複数個相当蓄積されても飽和しないようその許容量を多くするため、矢印X方向に関して受光部152の受光素子より大きく形成されている。
水平転送部154aには、受光部152aが有している受光素子の各々に蓄積された電荷が、矢印X方向に直交する矢印Y方向の受光素子1ライン毎に順次転送されてくる。また、水平転送部154bには、受光部152bが有している受光素子の各々に蓄積された電荷が、矢印X方向に直交する矢印Y方向の受光素子1ライン毎に順次転送されてくる。そしてこの水平転送部154は、受光部152aと受光部152bから転送されたそれぞれ1ラインずつの電荷をアンプ156に出力する。アンプ156は、この出力された電荷を増幅してプロセッサ200が備えている初段画像信号処理部250に出力する。
図8は、固体撮像素子150の撮像及び転送の周期と、固体撮像素子150に入射してくる観察光の周期とを示したタイミングチャートである。図8(a)は、固体撮像素子150の撮像及び転送を行うためのタイミングチャートであって、電荷を蓄積する蓄積期間と、蓄積した各色の観察光に対応した電荷を転送する転送期間と、電化の蓄積も転送も行わない休止期間とを繰り返したものとなっている。また、図8(b)は、固体撮像素子150に入射してくる観察光の周期を示したタイミングチャートであって、蛍光及び各色の観察光が入射してくる期間と、蛍光のみが入射してくる期間と、観察光が遮光されている期間とを繰り返したものとなっている。以下に、この図8に示したタイミングチャートの詳細を説明する。
図4に示すように、光学フィルタ220Rを介して照明された生体組織400の観察光が受光部152a及び152bに入射している期間、固体撮像素子150は、受光部152a及び152bの受光素子の各々に、この観察光による電荷を蓄積している。さらに説明すると、受光部152aは生体組織400から発した蛍光を光電変換して電荷として蓄積し、受光部152bは生体組織400から反射した可視光(R光)を光電変換して電荷として蓄積する。
受光部152a及び152bに一定期間蛍光とR光の観察光が入射するとRGBUV回転フィルタ220の光学フィルタ220D1により照明光が一定期間励起光のみとなり、受光部152bへの観察光による電荷蓄積は一定期間途絶える。一方、受光部152aには、生体組織400から発した蛍光が光電変換されて電荷として蓄積され続ける。この期間、固体撮像素子150は、受光部152bの受光素子の各々に蓄積されたR光の観察光による電荷の各々を、水平転送部154bに順次転送する。水平転送部154bに転送された受光部152bの電荷は、生体組織400のR光の画像情報としてアンプ156から順次出力され、初段画像信号処理部250に送信される。またこのとき、固体撮像素子150は、受光部152aの受光素子の各々に蓄積された蛍光の観察光による電荷の各々を、水平転送部154aに転送しない。従って、R画面転送期間に得られた蛍光の観察光による電荷は、受光部152aの受光素子の各々に既に蓄積されていた電荷と加算して蓄積される。
固体撮像素子150は、同じ要領で光学フィルタ220Gを介して照明された生体組織400のG光の観察光による電荷を受光部152bに蓄積し、受光部152bに蓄積したG光の観察光による電荷のみを水平転送部154bに転送する。水平転送部154bに転送されたこの電荷は、G光の画像情報としてアンプ156から順次出力され、初段画像信号処理部250に送信される。同時に、固体撮像素子150は、この時(G光が照射されている期間及び光学フィルタ220D2により励起光のみが照射されている期間)得られた蛍光の観察光による電荷を、受光部152aの受光素子の各々に既に蓄積されていた電荷と加算して蓄積し、そのままの電荷蓄積状態が保たれる。
また、固体撮像素子150は、同じ要領で光学フィルタ220Bを介して照明された生体組織400のB光の観察光による電荷を蓄積する。同時に、固体撮像素子150は、この時得られた蛍光の観察光による電荷を、受光部152aの受光素子の各々に既に蓄積されていた電荷と加算して蓄積する。このとき固体撮像素子150は、受光部152bに蓄積したB光の観察光による電荷を水平転送部154bに順次転送する。また、この時同時に受光部152aに蓄積した蛍光の観察光による電荷を水平転送部154aに順次転送することができる。受光部152aに蓄積した蛍光の観察光による電荷を水平転送部154aに順次転送するかどうかは、タイミングジェネレータ230によって制御される。タイミングジェネレータ230による制御については後述する。水平転送部154a及び水平転送部154bに転送されたこれら電荷は、蛍光の画像情報及びB光の画像情報としてアンプ156から順次出力され、初段画像信号処理部250に送信される。上述したように、この転送期間に該当するRGBUV回転フィルタ220の遮光部220Mは、光学フィルタ220D1及び220D2より周方向に大きく形成されている。従って、この転送期間を他の転送期間よりも長くとることができるため、固体撮像素子150は、B光の画像情報に加えて蛍光の画像情報も水平転送部154において水平転送することができ、B光の画像情報及び蛍光の画像情報としてアンプ156から出力することができる。B光の画像情報のみがアンプ156から出力される場合は、B光の画像情報の出力終了から次の蓄積の開始までの期間が休止期間となる。なお、このときアンプ156から出力される蛍光の画像情報は、R光の照射開始からB光の照射終了までの蓄積期間の整数倍の期間で蓄積されたものであるため、S/N比が高い信号となっている。
このように、アンプ156から出力されたR光、G光、B光の画像情報、またはR光、G光、B光に加えて蛍光の画像情報をプロセッサ200で処理することにより1画面のカラー画像が形成される。また、この作業を繰り返すことによりモニタ300上に生体組織400の画像が動画として表示される。
図9は、図8の期間Tdにおける転送動作を詳細に示したタイミングチャートである。この期間Tdは、受光部152aに蓄積した蛍光の観察光による電荷が水平転送部154aに転送されないようタイミングジェネレータ230によって制御されているときの、B光の観察光により蓄積した受光部152bの電荷のみを水平転送部154bに順次転送してB光の画像情報としてアンプ156から出力する期間を示している。以下に、この図9に示したタイミングチャートで電荷の転送動作を説明する。
図9(a)は、受光部152aの受光素子各々に蓄積された電荷を、矢印Y方向1ラインの受光素子毎に水平転送部154aに向けて矢印X方向に順次転送させるV1信号のパルスを示したタイミングチャートである。また、図9(b)は、受光部152bの受光素子各々に蓄積された電荷を、矢印Y方向1ラインの受光素子毎に水平転送部154bに向けて矢印X方向に順次転送させるV2信号のパルスを示したタイミングチャートである。また、図9(c)は、水平転送部154に転送された電荷を、水平転送部154の水平方向、すなわち矢印Y方向に転送するH信号のパルスを示したタイミングチャートである。
期間TdはB光の画像情報のみを転送する期間であって、上述したように受光部152aに蓄積された電荷は転送されないため、V1信号は入力されずV2信号のみが入力される。V2信号の1パルスが受光部152bに入力すると、受光部152bの受光素子各々に蓄積されている全ての電荷は、矢印X方向に一段シフトする。その結果、水平転送部154bの最も近くに配置している1ラインの受光素子に蓄積されている電荷の各々は、矢印X方向にシフトして水平転送部154bの矢印Y方向に一致する電荷結合素子の各々に転送される。
V2信号の1パルスにより受光部152bから水平転送部154bに電荷が転送されると、次に、H信号が水平転送部154に入力し、水平転送部154bに転送された上記電荷を矢印Y方向に順次転送する。すなわち、水平転送部154bに転送された上記電荷は、アンプ156に順次掃き出されて増幅し初段画像信号処理部250に送信される。
上述した期間Tdにおける一連の動作は、受光部152bに蓄積されている全ラインの受光素子の電荷を初段画像信号処理部250に送信するまで繰り返される。全ラインの電荷がアンプ156から出力されると期間Tdの転送動作は終了する。
図10は、図8の期間Teにおける転送動作を詳細に示したタイミングチャートである。この期間Teは、受光部152aに蓄積した蛍光の観察光による電荷が水平転送部154aに転送されるようタイミングジェネレータ230によって制御されているときの、蛍光の観察光により蓄積した受光部152aの電荷、及びB光の観察光により蓄積した受光部152bの電荷を水平転送部154に転送して蛍光の画像情報及びB光の画像情報としてアンプ156から出力する期間を示している。以下に、この図10に示したタイミングチャートで電荷の転送動作を説明する。
図10(a)は、図9(a)と同様に、受光部152aの受光素子各々に蓄積された電荷を、矢印Y方向1ラインの受光素子毎に水平転送部154aに向けて矢印X方向に順次転送させるV1信号のパルスを示したタイミングチャートである。また、図10(b)は、図9(b)と同様に、受光部152bの受光素子各々に蓄積された電荷を、矢印Y方向1ラインの受光素子毎に水平転送部154bに向けて矢印X方向に順次転送させるV2信号のパルスを示したタイミングチャートである。また、図10(c)は、図9(c)と同様に、水平転送部154に転送された電荷を、水平転送部154の水平方向、すなわち矢印Y方向に転送するH信号のパルスを示したタイミングチャートである。
期間Teは蛍光の画像情報及びB光の画像情報を転送する期間であるため、V1信号、V2信号は、それぞれ受光部152a、受光部152bに入力される。そのため、受光部152aの受光素子各々に蓄積されている全ての電荷は、V1信号の1パルスにつき矢印X方向に一段シフトし、水平転送部154aの最も近くに配置している1ラインの受光素子に蓄積されている電荷の各々は、水平転送部154aに転送される。また、受光部152bの受光素子各々に蓄積されている全ての電荷も、V2信号の1パルスにつき矢印X方向に一段シフトし、水平転送部154bの最も近くに配置している1ラインの受光素子に蓄積されている電荷の各々は、水平転送部154bに転送される。
V1信号、V2信号のそれぞれの1パルスにより受光部152a、受光部152bから水平転送部154a、水平転送部154bに電荷が転送されると、次に、H信号が水平転送部154に入力し、水平転送部154に転送された上記各電荷を矢印Y方向に順次転送する。すなわち、水平転送部154a及び水平転送部154bに転送された上記各電荷は、アンプ156に順次掃き出されて増幅し初段画像信号処理部250に送信される。このとき水平転送部154aに蓄積された電荷は、水平転送部154bを介してアンプ156に出力される。すなわち、水平転送部154aに蓄積された電荷は、水平転送部154bに蓄積された電荷より水平転送に長い時間を要する。従って、図10(c)に示したH信号の入力パルス時間は、図9(c)に示したH信号の入力パルス時間よりも長くなっている。
なお、上述したように、本実施形態の固体撮像素子150は、2つのイメージエリアである受光部152aと受光部152bとが電子内視鏡100の先端部の長手方向に沿って並んで配置されている。また、本実施形態の固体撮像素子150では、受光部152aと受光部152bの電荷の転送路が1ラインの電荷結合素子である水平転送部154で形成されている。さらに、この水平転送部154は、電子内視鏡100の先端部の長手方向に沿って配列されている。従って、本実施形態の固体撮像素子150を備えることにより、電子内視鏡の径を太くすることなく、可視光による画像情報と蛍光による画像情報とを得ることができる。
なお、光路偏向部140、固体撮像素子150の受光部152aと受光部152bと水平転送部154とを上記配置構成としたことにより、固体撮像素子150から得られる可視光による画像情報と蛍光による画像情報は、そのままでは正像にはならないが、RGBFメモリ260に展開したときに正像となるよう書き込み処理を行うか、或いは、RGBFメモリ260に可視光による画像情報と蛍光による画像情報をそのまま展開し、読み出すときに正像となるよう読み出しアドレスを生成する等の処理を行えば、モニタ300上に正像の画像を表示することができる。
受光部152aに蓄積した蛍光の観察光による電荷を水平転送部154aに順次転送するかどうかを、タイミングジェネレータ230が制御する手順につき以下説明する。図1に示されるように、プロセッサ200には蛍光信号レベル検出部232と比較部234が備えられている。
タイミングジェネレータ230は、初段画像信号処理回路250がメモリ260に蛍光画像の画像情報を出力するタイミングを蛍光信号レベル検出部232に報知する。蛍光信号レベル検出部232は、報知されたタイミングを用いて、1フレーム分の蛍光画像の画像情報を取得する。さらに、蛍光信号レベル検出部232は蛍光画像の受光素子1画素分の平均出力レベル(すなわち、1フレーム分の蛍光画像の全画素の輝度値を加算し、これを蛍光画像の画素数で割った値)を演算する。平均出力レベルは比較部234に入力される。
比較部234は、入力された平均出力レベルと所定の出力レベルとの比較を行う。例えば、各画素の輝度値が65536階調で表現される場合、入力された平均出力レベルが所定の出力レベル20000に満たなかった場合は、「蛍光画像の出力が不足している」ことを報知する信号をタイミングジェネレータ230に入力する。
タイミングジェネレータ230は、「蛍光画像の出力が不足している」ことを報知する信号を比較部234から受信すると、蛍光画像1枚あたりの受光部152a(図7)の電荷蓄積時間が長くなるように、V1信号、V2信号のパルス入力を制御する。例えば、期間Te(図8)が回転フィルタ220の2回転ごとに発生するようにV1信号、V2信号のパルス入力が制御されている場合に、「蛍光画像の出力が不足している」ことを報知する信号を比較部234から受信すると、タイミングジェネレータ230は、期間Te(図8)が回転フィルタ220の3回転ごとに発生するようにV1信号、V2信号のパルス入力を制御する。この結果、蛍光画像1枚あたりの受光部152a(図7)の電荷蓄積時間は1.5倍になる。
以上のように、本実施形態によれば、回転フィルタ220の遮光部220Mが照明光光束を通過している以外の時間は生体が励起されている。したがって、本実施形態においては、カラーの通常観察画像と蛍光観察画像の両方を同時に撮影可能であると共に、単位時間あたりの励起時間を長く取ることが可能であるので、S/N比の高い蛍光観察画像が得られる。
本発明の第2の実施の形態による内視鏡装置の構成に付き以下説明する。本実施形態の内視鏡装置は、第1の実施形態よりも更に単位時間あたりの励起時間を長く取ることが可能なものである。また、本実施形態によれば、蛍光画像一枚あたりの励起時間を、より細かく制御可能である。本実施形態の内視鏡装置は、撮像素子150、回転フィルタ220、及び撮像素子の制御方法のみが、第1の実施形態と異なるものである。それ故に、第1の実施形態と共通する部分については、説明を省略する。なお、以下の説明及び参照図面において、第1の実施形態と同一の機能を有する部位または部材には、同一の符号が付与されている。
図11は、本実施形態の固体撮像素子150を示したものである。本実施形態の固体撮像素子150は、受光部152aが液晶シャッタ157に覆われている、という点において第1の実施形態のもの(図7)と異なっている。この液晶シャッタ157の開閉は、プロセッサ200のドライバ240からの制御信号によって制御される。
図12は、本実施形態の回転フィルタ220を示したものである。本実施形態の回転フィルタ220には、第1の実施形態の遮光部220M(図2)の代わりに、波長λeを有する励起光を含む紫外線波長帯域の光を透過する光学フィルタ220D3が配設されている。また、光学フィルタ220D1、220D2、220D3は等間隔に配置されている。
図13は、固体撮像素子150の撮像及び転送の周期と、固体撮像素子150に入射してくる観察光の周期と、蛍光観察指示のタイミングと、シャッタ157の開閉タイミングと、を示したタイミングチャートである。図13(a)は、固体撮像素子150の撮像及び転送を行うためのタイミングチャートであって、電荷を蓄積する蓄積期間と、蓄積した各色に対応した電荷を転送する転送期間とを繰り返したものとなっている。また、図13(b)は、固体撮像素子150に入射してくる観察光の周期を示したタイミングチャートであって、蛍光及び各色の観察光が入射してくる期間と、蛍光のみが入射してくる期間とを繰り返したものとなっている。
また、図13(c)は、シャッタ157の開閉タイミングを示すタイミングチャートである。図のように、蛍光のみが入射してくる期間のみ、シャッタ157が閉じて受光部152aが遮光されるようになっている。シャッタ157が閉じるタイミングはタイミングジェネレータ230によって制御されている。
以下に、この図13に示したタイミングチャートの詳細を説明する。
図12に示すように、光学フィルタ220Rを介して照明された生体組織400の観察光が受光部152a及び152bに入射している期間、固体撮像素子150は、受光部152a及び152bの受光素子の各々に、この観察光による電荷を蓄積している。さらに説明すると、受光部152aは生体組織400から発した蛍光を光電変換して電荷として蓄積し、受光部152bは生体組織400から反射した可視光(R光)を光電変換して電荷として蓄積する。
受光部152a及び152bに一定期間蛍光とR光の観察光が入射するとRGBUV回転フィルタ220の光学フィルタ220D1により照明光が一定期間励起光のみとなり、受光部152bへの観察光による電荷蓄積は一定期間途絶える。一方、受光部152aには、生体組織400から発した蛍光が光電変換されて電荷として蓄積され続ける。この期間、固体撮像素子150は、受光部152bの受光素子の各々に蓄積されたR光の観察光による電荷の各々を、水平転送部154bに順次転送する。水平転送部154bに転送された受光部152bの電荷は、生体組織400のR光の画像情報としてアンプ156から順次出力され、初段画像信号処理部250に送信される。またこのとき、固体撮像素子150は、受光部152aの受光素子の各々に蓄積された蛍光の観察光による電荷の各々を、水平転送部154aに転送しない。従って、R画面転送期間に得られた蛍光の観察光による電荷は、受光部152aの受光素子の各々に既に蓄積されていた電荷と加算して蓄積される。
固体撮像素子150は、同じ要領で光学フィルタ220Gを介して照明された生体組織400のG光の観察光による電荷を受光部152bに蓄積し、受光部152bに蓄積したG光の観察光による電荷のみを水平転送部154bに転送する。水平転送部154bに転送されたこの電荷は、G光の画像情報としてアンプ156から順次出力され、初段画像信号処理部250に送信される。同時に、固体撮像素子150は、この時(G光が照射されている期間及び光学フィルタ220D2により励起光のみが照射されている期間)得られた蛍光の観察光による電荷を、受光部152aの受光素子の各々に既に蓄積されていた電荷と加算して蓄積し、そのままの電荷蓄積状態が保たれる。
また、固体撮像素子150は、同じ要領で光学フィルタ220Bを介して照明された生体組織400のB光の観察光による電荷を蓄積する。同時に、固体撮像素子150は、この時得られた蛍光の観察光による電荷を、受光部152aの受光素子の各々に既に蓄積されていた電荷と加算して蓄積する。このとき固体撮像素子150は、受光部152bに蓄積したB光の観察光による電荷を水平転送部154bに順次転送する。水平転送部154bに転送されたこの電荷は、B光の画像情報としてアンプ156から順次出力され、初段画像信号処理部250に送信される。同時に、固体撮像素子150は、この時(B光が照射されている期間及び光学フィルタ220D3により励起光のみが照射されている期間)得られた蛍光の観察光による電荷を、受光部152aの受光素子の各々に既に蓄積されていた電荷と加算して蓄積し、そのままの電荷蓄積状態が保たれる。
受光部152aに蓄積した蛍光の観察光による電荷を水平転送部154aに順次転送するかどうかは、タイミングジェネレータ230によって制御される。すなわち、シャッタ157が閉じているときに、受光部152aに蓄積した蛍光の観察光による電荷を水平転送部154aに順次転送するようになっている。この時は、受光部152bに蓄積したRGB光の観察光による電荷もまた、水平転送部154bに順次転送されている。タイミングジェネレータ230による制御については後述する。水平転送部154a及び水平転送部154bに転送されたこれら電荷は、蛍光の画像情報及びRGB光のいずれか(図13中ではG光)の画像情報としてアンプ156から順次出力され、初段画像信号処理部250に送信される。なお、この転送期間に該当するRGBUV回転フィルタ220のカラーフィルタ220D1、220D2及び220D3の大きさは、RGB光の画像情報と蛍光の画像情報を十分に水平転送可能な期間、光源からの光束を覆えるだけの大きさとなっている。従って、RGB光の画像情報及び蛍光の画像情報としてアンプ156から出力することができる。なお、このときアンプ156から出力される蛍光の画像情報は、前回シャッタ157が開いた時から今回シャッタ157が閉じるまでの期間で蓄積されたものであるため、シャッタ157の開閉間隔を長く取ることによって、S/N比が高い信号を得ることができる。
このように、アンプ156から出力されたR光、G光、B光の画像情報、またはR光、G光、B光に加えて蛍光の画像情報をプロセッサ200で処理することにより1画面のカラー画像が形成される。また、この作業を繰り返すことによりモニタ300上に生体組織400の画像が動画として表示される。
図14は、図13の期間Te’における転送動作を詳細に示したタイミングチャートである。この期間Te’は、受光部152aに蓄積した蛍光の観察光による電荷が水平転送部154aに転送されるようタイミングジェネレータ230によって制御されているときの、蛍光の観察光により蓄積した受光部152aの電荷、及びRGB光の観察光により蓄積した受光部152bの電荷を水平転送部154に転送して蛍光の画像情報及びRGB光の画像情報としてアンプ156から出力する期間を示している。以下に、この図14に示したタイミングチャートで電荷の転送動作を説明する。
図14(a)は、図9(a)と同様に、受光部152aの受光素子各々に蓄積された電荷を、矢印Y方向1ラインの受光素子毎に水平転送部154aに向けて矢印X方向に順次転送させるV1信号のパルスを示したタイミングチャートである。また、図14(b)は、図9(b)と同様に、受光部152bの受光素子各々に蓄積された電荷を、矢印Y方向1ラインの受光素子毎に水平転送部154bに向けて矢印X方向に順次転送させるV2信号のパルスを示したタイミングチャートである。また、図14(c)は、図9(c)と同様に、水平転送部154に転送された電荷を、水平転送部154の水平方向、すなわち矢印Y方向に転送するH信号のパルスを示したタイミングチャートである。
期間Teは蛍光の画像情報及びRGB光の画像情報を転送する期間であるため、V1信号、V2信号は、それぞれ受光部152a、受光部152bに入力される。そのため、受光部152aの受光素子各々に蓄積されている全ての電荷は、V1信号の1パルスにつき矢印X方向に一段シフトし、水平転送部154aの最も近くに配置している1ラインの受光素子に蓄積されている電荷の各々は、水平転送部154aに転送される。また、受光部152bの受光素子各々に蓄積されている全ての電荷も、V2信号の1パルスにつき矢印X方向に一段シフトし、水平転送部154bの最も近くに配置している1ラインの受光素子に蓄積されている電荷の各々は、水平転送部154bに転送される。
V1信号、V2信号のそれぞれの1パルスにより受光部152a、受光部152bから水平転送部154a、水平転送部154bに電荷が転送されると、次に、H信号が水平転送部154に入力し、水平転送部154に転送された上記各電荷を矢印Y方向に順次転送する。すなわち、水平転送部154a及び水平転送部154bに転送された上記各電荷は、アンプ156に順次掃き出されて増幅し初段画像信号処理部250に送信される。このとき水平転送部154aに蓄積された電荷は、水平転送部154bを介してアンプ156に出力される。すなわち、水平転送部154aに蓄積された電荷は、水平転送部154bに蓄積された電荷より水平転送に長い時間を要する。従って、図14(c)に示したH信号の入力パルス時間は、図9(c)に示したH信号の入力パルス時間よりも長くなっている。
また、第1の実施形態と同様に、タイミングジェネレータ230が「蛍光画像の出力が不足している」ことを報知する信号を比較部234から受信すると、蛍光画像1枚あたりの受光部152a(図7)の電荷蓄積時間が長くなるように、V1信号、V2信号のパルス入力を制御する。例えば、期間Te’(図13)が「蛍光のみが撮像素子150に入射する期間」が6回起こるごとに発生するようにV1信号、V2信号のパルス入力が制御されている場合に、「蛍光画像の出力が不足している」ことを報知する信号を比較部234から受信すると、タイミングジェネレータ230は、期間Te’(図13)が、「蛍光のみが撮像素子150に入射する期間」が7回起こるごとに発生するようにV1信号、V2信号のパルス入力を制御する。この結果、蛍光画像1枚あたりの受光部152a(図7)の電荷蓄積時間は7/6倍になる。「蛍光のみが撮像素子150に入射する期間」は、回転フィルタ220の一回転につき3回発生するので、本実施形態によれば、蛍光画像1枚あたりの受光部152a(図7)の電荷蓄積時間を、第1の実施形態よりもより細かく制御可能である。
以上が本発明の実施形態である。本発明はこれらの実施形態に限定されるものではなく様々な範囲で変形が可能である。
なお、本実施形態において、受光部152aと受光部152bのそれぞれの前面にフィルタを配置しているが、光路偏向部140における蛍光及び可視光のそれぞれの光路中に上記フィルタを配置してもよい。
また、本発明の実施形態において、固体撮像素子150はモノクロCCDであるが、受光素子毎にカラーフィルタが備えられているカラーCCDであってもよい。この場合、面順次方式でないため、RGBUV回転フィルタ220は不要となり、本実施形態と異なった電荷蓄積・転送のタイミングで固体撮像素子は駆動される。