図1において、内視鏡システム2は、内視鏡10、プロセッサ装置11、および光源装置12からなる。内視鏡10は、例えば膵管、胆管、乳管、気管支末端といった細管部を観察する際に用いられる。内視鏡10は、患者の体内に挿入される可撓性の挿入部13と、挿入部13の基端部分に連設された操作部14と、プロセッサ装置11および光源装置12にそれぞれ接続されるプロセッサ用コネクタ15および光源用コネクタ16と、操作部14、各コネクタ15、16間を繋ぐユニバーサルコード17とを有する。
挿入部13は、例えば厚み50μm、外径0.9mmのテフロン(登録商標)等の可撓性材料からなる。操作部14には、体内画像を静止画記録するためのレリーズボタン18といった操作部材が設けられている。また、操作部14の先端側には、電気メス等の処置具が挿通される鉗子口19が設けられている。鉗子口19は、挿入部13内の鉗子チャンネル46(図3参照)を通して、挿入部13の先端部20に設けられた鉗子出口26(図2参照)に連通している。
プロセッサ装置11は、光源装置12と電気的に接続され、内視鏡システム2の動作を統括的に制御する。プロセッサ装置11は、ユニバーサルコード17や挿入部13内に挿通された配線ケーブル45(図3参照)を介して内視鏡10に給電を行い、シフト機構32(図3参照)の駆動を制御する。また、プロセッサ装置11は、イメージガイド31(図3参照)で伝達された被観察部位の像を、内蔵のCCD58R、58G、58B(図6参照、以下、まとめてCCD58という)で受像し、これにより得られた撮像信号に各種処理を施して画像を生成する。プロセッサ装置11で生成された画像は、プロセッサ装置11にケーブル接続されたモニタ21に体内画像として表示される。
先端部20は、例えば厚み25μm、外径0.8mmのステンレス製パイプを基体とする。図2において、先端部20の先端面20aには、上方中央に観察窓25が、その直下に鉗子出口26が設けられている。また、観察窓25、鉗子出口26以外の隙間を埋めるように、複数のライトガイド27の先端がランダムに配置されている。
鉗子出口26は、例えば外径0.34mm、内径0.3mmであり、ポリイミド等からなる鉗子チャンネル46(図3参照)に連通している。ライトガイド27は、例えば外径50μmの光ファイバからなる。ライトガイド27は、挿入部13、ユニバーサルコード17に亘って挿通され、その入射端が光源用コネクタ16内に位置している。ライトガイド27は、入射端に入射した光源装置12からの照明光を導光して、先端面20aから露呈した先端(出射端)から照明光を被観察部位に照射する。
ライトガイド27は、複数本の光ファイバをバラで挿入部13内に挿通させ、その後先端部20に接着剤を流し込むことで先端部20に固着される。必要に応じて、固着後にライトガイド27の出射端を表面研磨したり、各ライトガイド27の出射端前方に、ライトガイド27の出射端が配された部分を覆う照明窓を設けてもよい。さらには、照明窓に蛍光物質を塗り込む等して照明光を拡散させてもよい。
図3に示すように、観察窓25の奥には、対物光学系30、イメージガイド31、およびイメージガイド31をシフトさせるシフト機構32が配されている。対物光学系30は、鏡筒33に保持され、被観察部位の像をイメージガイド31の入射端に結像させる。対物光学系30、鏡筒33の外径はそれぞれ、例えば0.35mm、0.4mmである。また、鏡筒33の軸方向長さは、例えば3.2mmである。
イメージガイド31は、例えば外径0.2mmの光ファイバ束からなる(図5参照)。イメージガイド31は、挿入部13、ユニバーサルコード17内を挿通され、その出射端がプロセッサ用コネクタ15内に位置している。イメージガイド31は、対物光学系30に面した入射端から取り込んだ被観察部位の像を出射端に伝達する。
図4にも示すように、シフト機構32は、保持筒34、圧電素子35、および電極36で構成される。保持筒34は、例えば外径0.26mm、内径0.2mmのステンレス製パイプからなり、イメージガイド31が内挿固定される。圧電素子35は、例えば厚み15μmであり、保持筒34の外周面を覆う円筒状に成膜されている。電極36は、例えば厚み5μmであり、圧電素子35の外周面に成膜されている。
シフト機構32は、先端部20の基体内に収容されている。シフト機構32の外周面と先端部20の基体の内周面との間には、例えば0.1mm程度の空洞37が形成されている。
シフト機構32は、イメージガイド31の入射端とともに揺動する、先端面20a側の揺動部38と、イメージガイド31とともに固定される、挿入部13側の固定部39とに分れる。揺動部38では、シフト機構32は先端部20の基体に固着されておらず、イメージガイド31は、固定部39を支点として空洞37内を揺動可能である。固定部39では、シフト機構32は接着剤40で先端部20の基体の内周面に固着されている。接着剤40は、イメージガイド31が剥き出しになるシフト機構32の終端手前から、挿入部13の先端途中に掛けて充填されている。揺動部38、固定部39の軸方向長さはそれぞれ、例えば4mm、1.9mmであり、固定部39と挿入部13の先端途中を含む接着剤40の充填範囲の軸方向長さは、例えば3.2mmである。
電極36は、周方向に90°間隔(図2の上下左右方向に対して45°傾いた位置)に設けられ、軸方向に平行に形成された四本の溝41によって、上下、左右の二対、計四個に分割されている。揺動部38では、各電極36の間隔が溝41の幅分しか空いておらず、各電極36が幅広となっている。対して、固定部39では溝41が周方向に対称に拡がった形の切欠き42が形成されて、幅狭部43となっている。幅狭部43は、圧電素子35の後端付近まで延在している。溝41および切欠き42は、圧電素子35の外周面全体に電極材料を成膜した後、エッチングによって形成される。
幅狭部43の終端にはパッド44が形成され、パッド44には配線ケーブル45が接続されている。パッド44は、保持筒34の終端にも形成されており、これにも配線ケーブル45が接続されている。すなわち、保持筒34は、圧電素子35の共通電極としても機能する。
配線ケーブル45は、例えば導線径15μm、被覆外径20μmである。配線ケーブル45は、イメージガイド31の周囲を這うように挿入部13、ユニバーサルコード17内を挿通され、プロセッサ用コネクタ15を介してプロセッサ装置11に接続される。
上下、左右で対になった電極36には、共通電極である保持筒34に掛かる電圧を基準として、逆の極性の電圧が供給される。例えば保持筒34の電位が0Vであった場合、上側の電極36には+5V、下側には−5Vといった具合である。こうすることで電極36下の圧電素子35が軸方向に伸縮し、この圧電素子35の伸縮に連れて、固定部39から先の揺動部38が、イメージガイド31の入射端とともに空洞37内を揺動する。電圧を供給する電極36の組み合わせや印加電圧の値を種々変更することで、揺動部38を所定角度で所定量移動させることができる。
図5において、イメージガイド31は、周知の如く、コア50とクラッド51からなる複数本(例えば6000本)の光ファイバ52を、六角最密状に束ねてバンドル化した構成である。本例では、コア50、クラッド51の径はそれぞれ、3μm、6μmであり、光ファイバ52の配列ピッチPは6μmである。
図6において、プロセッサ装置11は、拡大光学系55および三板式CCD56を有する。拡大光学系55は、プロセッサ用コネクタ15から露呈したイメージガイド31の出射端に面する箇所に配置されている。拡大光学系55は、イメージガイド31で伝達された被観察部位の像を、適当な倍率で拡大して三板式CCD56に入射させる。
三板式CCD56は、拡大光学系55の背後に配置されている。三板式CCD56は、周知の如く、色分解プリズム57と、三台のCCD58とから構成される。色分解プリズム57は、三個のプリズムブロックと、プリズムブロックの接合面に配された二枚のダイクロイックミラーとからなる。色分解プリズム57は、拡大光学系55からの被観察部位の像を赤、青、緑色の波長帯域を有する光に分け、それぞれの光をCCD58に向けて出射する。CCD58は、色分解プリズム57からの各色光の入射光量に応じた撮像信号を出力する。なお、CCDの代わりにCMOSイメージセンサを用いてもよい。
イメージガイド31のコア50で伝達する像80を、画素81が配列されたCCD58の撮像面に投影した図7において、像80の中心は、画素81の九個分の枡目の中心と略一致する。イメージガイド31の出射端と色分解プリズム57、CCD58は、像80と画素81が図示する位置関係となるように位置決めされている。
図6に戻って、CCD58からの撮像信号は、アナログフロントエンド(以下、AFEと略す)59に入力される。AFE59は、相関二重サンプリング回路(以下、CDSと略す)、自動ゲイン制御回路(以下、AGCと略す)、およびアナログ/デジタル変換器(以下、A/Dと略す)から構成されている。CDSは、CCD58から出力される撮像信号に対して相関二重サンプリング処理を施し、CCD58で生じるリセット雑音およびアンプ雑音の除去を行う。AGCは、CDSによりノイズ除去が行われた撮像信号を所定のゲイン(増幅率)で増幅する。A/Dは、AGCにより増幅された撮像信号を、所定のビット数のデジタル信号に変換する。A/Dでデジタル化された撮像信号は、デジタル信号処理回路(以下、DSPと略す)65のフレームメモリ(図示せず)に一旦格納される。
CCD駆動回路60は、CCD58の駆動パルス(垂直/水平走査パルス、電子シャッタパルス、読み出しパルス、リセットパルス等)とAFE59用の同期パルスとを発生する。CCD58は、CCD駆動回路60からの駆動パルスに応じて撮像動作を行い、撮像信号を出力する。AFE59の各部は、CCD駆動回路60からの同期パルスに基づいて動作する。なお、図では便宜上、CCD駆動回路60とAFE59はCCD58Gのみに繋がれているが、これらは実際にはCCD58R、58Bにも繋がれている。
圧電素子駆動回路61は、配線ケーブル45を介して電極36および保持筒34に繋がれている。圧電素子駆動回路61は、CPU62の制御の下、圧電素子35に電圧を供給する。
CPU62は、プロセッサ装置11全体の動作を統括的に制御する。CPU62は、図示しないデータバスやアドレスバス、制御線を介して各部と接続している。ROM63には、プロセッサ装置11の動作を制御するための各種プログラム(OS、アプリケーションプログラム等)やデータ(グラフィックデータ等)が記憶されている。CPU62は、ROM63から必要なプログラムやデータを読み出して、作業用メモリであるRAM64に展開し、読み出したプログラムを逐次処理する。また、CPU62は、検査日時、患者や術者の情報等の文字情報といった検査毎に変わる情報を、後述する操作部68やLAN(Local Area Network)等のネットワークより得て、RAM64に記憶する。
DSP65は、AFE59からの撮像信号をフレームメモリから読み出す。DSP65は、読み出した撮像信号に対して、色分離、色補間、ゲイン補正、ホワイトバランス調整、ガンマ補正等の各種信号処理を施し、一フレーム分の画像を生成する。またDSP65は、後述するシフト撮影モードが選択されたときに、シフトの一周期で得られた複数の画像を合成して一つの高解像度な画像(以下、合成画像という)を出力する画像合成部65a(図10参照)を有する。このためDSP65には、複数のフレームメモリが設けられている。DSP65で生成された画像(合成画像も含む)は、デジタル画像処理回路(以下、DIPと略す)66のフレームメモリ(図示せず)に入力される。
DIP66は、CPU62の制御に従って各種画像処理を実行する。DIP66は、DSP65で処理された画像をフレームメモリから読み出す。DIP66は、読み出した画像に対して、電子変倍、あるいは色強調、エッジ強調等の各種画像処理を施す。DIP66で各種画像処理を施された画像は、表示制御回路67に入力される。
表示制御回路67は、DIP66からの処理済みの画像を格納するVRAMを有する。表示制御回路67は、CPU62からROM63およびRAM64のグラフィックデータを受け取る。グラフィックデータには、体内画像の無効画素領域を隠して有効画素領域のみを表示させる表示用マスク、検査日時、あるいは患者や術者の情報等の文字情報、グラフィカルユーザインターフェース(GUI;Graphical User Interface)といったものがある。表示制御回路67は、DIP66からの画像に対して、表示用マスク、文字情報、GUIの重畳処理、モニタ21の表示画面への描画処理といった各種表示制御処理を施す。
表示制御回路67は、VRAMから画像を読み出し、読み出した画像をモニタ21の表示形式に応じたビデオ信号(コンポーネント信号、コンポジット信号等)に変換する。これにより、モニタ21に体内画像が表示される。
操作部68は、プロセッサ装置11の筐体に設けられる操作パネル、内視鏡10の操作部14にあるボタン、あるいは、マウスやキーボード等の周知の入力デバイスである。CPU62は、操作部68からの操作信号に応じて、各部を動作させる。
プロセッサ装置11には、上記の他にも、画像に所定の圧縮形式(例えばJPEG形式)で画像圧縮を施す圧縮処理回路や、レリーズボタン18の操作に連動して、圧縮された画像をCFカード、光磁気ディスク(MO)、CD−R等のリムーバブルメディアに記録するメディアI/F、LAN等のネットワークとの間で各種データの伝送制御を行うネットワークI/F等が設けられている。これらはデータバス等を介してCPU62と接続されている。
光源装置12は、光源70を有する。光源70は、赤から青までのブロードな波長の光(例えば、480nm以上750nm以下の波長帯の光)を発生するキセノンランプや白色LED(発光ダイオード)等である。光源70は、光源ドライバ71によって駆動される。絞り機構72は、光源70の光射出側に配置され、集光レンズ73に入射される光量を増減させる。集光レンズ73は、絞り機構72を通過した光を集光して、ライトガイド27の入射端に導光する。CPU74は、プロセッサ装置11のCPU62と通信し、光源ドライバ71および絞り機構72の動作制御を行う。
内視鏡システム2には、シフト機構32を動作させないで撮影する検査準備モードおよび通常撮影モードと、シフト機構32を使用するシフト撮影モードとが用意されている。シフト撮影モードでは、シフト回数を四回、九回の二種類設定することが可能である。各モードの切り替えおよびシフト回数の設定は、操作部68を操作することにより行われる。
シフト撮影モードが選択されてシフト回数が四回に設定(以下、単に四回シフトという)された場合、圧電素子駆動回路61は、シフト機構32の揺動部38を駆動して、イメージガイド31の入射端を図8に示すようにシフト動作させる。まず、揺動部38は、(a)の初期位置から30°左斜め下方向に、光ファイバ52の配列ピッチPの半分、つまり1/2P分イメージガイド31の入射端を揺動させ、(b)に示す一回シフトの位置に移動させる。そして、順次右斜め下方向、右斜め上方向、左斜め上方向に、最初と同じ角度、同じ移動量でシフトさせて、(c)の二回シフト、(d)の三回シフトの位置に移動させ、再び(a)の初期位置(四回シフトの位置)に戻す。揺動部38は、圧電素子駆動回路61によって、各シフト位置でその都度止められる。なお、実線はイメージガイド31の入射端における実際のコア50の位置、破線は一つ前の位置を表す。
イメージガイド31の入射端におけるコア50は、(a)〜(d)、そして再び(a)に戻る一周期のシフト動作を繰り返すことで、(a)の初期位置だけでは画像化されないクラッド51の部分を埋めるような、図9(a)に示す菱形状の移動軌跡を辿る。
因みにシフト回数が九回に設定(以下、単に九回シフトという)された場合の移動軌跡は、例えば図9(b)に示す如くである。四回シフトの場合と比べて、各方向へのシフト動作が一回多くなる。但し、七回シフトから八回シフトの位置に移るときは、六回シフトから七回シフトの位置に移ったときの左斜め上方向から、左斜め下方向に方向が変えられる。また、八回シフトから初期位置(九回シフトの位置)に移るときは、角度が90°に変えられて上方向に移動される。九回シフトの場合も四回シフトの場合と同様に、初期位置だけでは画像化されないクラッド51の部分を埋めるような移動軌跡となる。そのうえ、隣接する三つのコア50の初期位置と同じ位置(二回、四回、六回シフトの位置)に移動される。
図10において、シフト撮影モードが選択されると、プロセッサ装置11のCPU62には、同期制御部62a、圧電素子制御部62bが構築され、また、DSP65の画像合成部65aが動作する。画像合成部65aおよび各制御部62a、62bは、シフト情報85に基づいて互いに協働しながら各種処理を行う。
シフト情報85は、シフト機構32の揺動部38のシフト動作に関する情報である。シフト情報85は、シフト回数、シフト方向とそのピッチ(シフト量)、コア50の径、コア50で伝達する像80とCCD58の画素81の位置関係等を含む。シフト回数の情報は操作部68から与えられる。シフト方向、シフト量、コア50の径といった基本的な情報は例えばROM63に記憶されており、ROM63から画像合成部65aおよび各制御部62a、62bに読み出される。なお、コア50の径としては、後述する二値化画像Gwbで像80として認識可能な領域の径を用いてもよい。
検査準備モードは、イメージガイド31のコア50で伝達する像80とCCD58の画素81の位置関係を取得するためのモードである。検査準備モードは、内視鏡検査の前にその都度実行される。検査準備モードでは、DSP65の二値化処理部65b、および中心座標検出部65cが動作する。なお、内視鏡システムの出荷時に一度検査準備モードを実施し、その後は適宜の期間をおいて実施してもよい。検査準備モードの実施を促すメッセージをモニタ21に表示させてもよい。
検査準備モードでは、まず、例えば白板等の無地の白色被写体を内視鏡10で撮影する。こうして得られた画像(以下、白色画像という)Gwは、図11(A)に示すように、コア50と対面する画素81で得られた、複数の白丸の像80が斑点状に配列されたものとなる。斜線で示す白丸の像80以外の部分は、像80が伝達されないクラッド51に対応する部分であり、これが網目模様として映る。
図11(B)に示すように、DSP65の二値化処理部65bは、白色画像Gwに対して二値化処理を施し、白黒の二値化画像(マスク画像)Gwbを生成する。二値化処理部65bは、ある閾値を基準として、各画素81で出力された撮像信号を白か黒に二分する。このため、図示するように、中心部分と比較して伝達効率が悪くなりがちな像80の辺縁部に対応する画素81が二値化処理によって黒と認識され、像80が円形でなくなる場合もある。
DSP65の中心座標検出部65cは、二値化処理後の各像80の中心Oを、形状認識等の周知の画像処理技術によって求め、さらに中心Oに位置する各画素81の座標(以下、中心座標という)を求める。座標は、CCD58の水平方向をX軸、垂直方向をY軸、例えば左隅を原点として、(X、Y)で表す(図14参照)。中心座標は、二値化処理の説明でも述べたように、二値化処理後に像80の形状が円形でなくなることがあるため、図7に示す像80の中心と一致しないこともある。
中心座標検出部65cは、求めた中心座標(X1、Y1)、(X2、Y2)、・・・と個々の光ファイバ52を識別するファイバNo.F1、F2、・・・とを、像80と画素81の位置関係の情報としてDSP65の内部メモリ65dに格納する(図14参照)。ファイバNo.は、座標の原点に近いほうから(左から右、上から下の)順に付される。
同期制御部62aは、CCD駆動回路60からCCD58の駆動パルスの情報を受けて、圧電素子制御部62bに圧電素子制御信号Saを、画像合成部65aに画像合成信号Sbをそれぞれ送信する。圧電素子制御部62bは、圧電素子制御信号Saに同期してシフト動作が行われるよう、圧電素子駆動回路61の動作を制御する。同様に、画像合成部65aは、画像合成信号Sbに同期して画像合成処理を実行し、各回のシフト位置で得られた画像G0、G1、G2、G3(四回シフトの場合を例示)の画素を、各シフト位置に対応させてマッピングすることにより、一つの合成画像Gcを生成する。
より詳しくは、四回シフトの場合を例示した図12において、同期制御部62aは、CCD58の電荷蓄積が終了した直後、すなわちCCD58の画素81から垂直転送路に一フレーム分の信号電荷が読み出されたとき(CCD駆動回路60からCCD58に読み出しパルスが出力されたとき)に、圧電素子制御信号Saを発する。また、同期制御部62aは、三回シフトの位置で得られた画像G3に該当するCCD58の電荷読出出力が終了したときに、画像合成信号Sbを発する。電荷読出出力とは、読み出しパルスに応じてCCD58の画素81から垂直転送路に信号電荷が読み出され、垂直転送、水平転送を経て、一フレーム分の撮像信号が出力されるまでの一連のCCD動作をいう。
圧電素子駆動回路61は、圧電素子制御信号Saを受けて圧電素子35に相応の電圧を供給し、揺動部38を前回のシフト位置から次回のシフト位置に移動させる。同期制御部62aから圧電素子駆動回路61に圧電素子制御信号Saが発せられてから、揺動部38が次回のシフト位置に移動するまでの時間は、CCD58が前回の電荷蓄積を終えてから次回の電荷蓄積を開始するまでの時間よりも短い。従って、揺動部38が圧電素子駆動回路61により次回のシフト位置に移動されて制止された状態で、常に次回の電荷蓄積が開始される。
画像合成部65aは、画像合成信号Sbを受けて、各回のシフト位置で得られた画像G0〜G3をフレームメモリから読み出す。画像合成部65aは、検査準備モードで白色画像Gwを元に検出したコア50に対応する像80の中心座標を使用して、各画像G0〜G3の画素を、各シフト位置に対応させてマッピングし、合成画像Gcを出力する。
具体的には、画像合成部65aは、中心座標に基づいて、図13(A)に示す結像領域86を特定する。結像領域86は、中心座標を中心とし、直径がコア50(二値化処理前の像80)の径と同じ円である。結像領域86は、コア50によって伝達される像80の、CCD58の撮像面上における投影領域を意味する。
次に、画像合成部65aは、各結像領域86内の画素81で得られた撮像信号の代表値Dを、画像G0〜G3毎に求める(図14参照)。代表値Dは、結像領域86内の画素81で得られた撮像信号の平均値、または最大値である。画像合成部65aは、シフト情報85のうちの中心座標およびコア50の径を、内部メモリ65dおよびROM63からそれぞれ読み出し(あるいは、二値化画像Gwbで像80として認識可能な領域の径をコア50の径として用い)、これらに基づいて代表値Dの算出を実行する。
なお、代表値Dの二つの添字は、左がファイバNo.と対応しており、右が画像G0〜G3の添字と対応している。例えばD10は、ファイバNo.1で中心座標(X1、Y1)の、画像G0の結像領域86における代表値を表す。また、図11および図13では、像80が実線、画素81が点線で囲われた枡目でそれぞれ表されている。
合成画像Gcは、画像化されないクラッド51の部分が画像化され、しかもその部分の画素値が一フレーム内の隣接画素の補間で得た擬似値ではなく、被観察部位の像を反映したものとなる。言い換えれば、通常撮影モードや各回のシフト位置で得られた画像よりも画素数が増え、よりきめ細かい画像となる。この画像の鮮明さは、四回シフトよりもサンプリング数が多い九回シフトのほうが当然より顕著になる。
なお、ここで注意すべきは、各画像G0〜G3の実態は、シフト動作で各シフト位置にずらされたそれぞれ異なる像80であるが、イメージガイド31の出射端を固定して入射端における像80のみをシフトさせており、CCD58の撮像面とイメージガイド31の出射端の相対的な位置関係は変わらないので、データ上は各シフト位置とも同じ画素81から出力されていて区別がつかないという点である。例えば、画像G0内のある位置の像80と画像G1内の同じ位置の像80とは、それぞれシフト位置が異なる像80であるが、CCD58の同じ画素81で撮像される。他の画像も同様である。このため、画像合成部65aは、シフト量の情報を元に、各画像の画素値が本来どの画素81に該当するかをマッピングで割り出す。
図14において、画像合成部65aは、各画像G0〜G3の中心座標にシフト量ΔXs、ΔYsを加算し、シフト量を加算した中心座標に対応する画素81に代表値Dをあてがうマッピング処理を施す。シフト量は、初期位置を0(基準)として、各回シフト位置に応じた値が記憶されている。本例では、30°の方向に1/2Pのピッチでシフトさせるので、例えば一回シフトのシフト量ΔXs1は−√3/4P、ΔYs1は1/4Pであり、二回シフトのシフト量ΔXs2は0、ΔYs2は1/2Pである。三回シフトのシフト量ΔXs3は√3/4P、ΔYs3は1/4Pである。
なお、各シフト位置で得られた画像にシフト量を加算しているが、白色画像Gwにシフト量を加算してもよい。この場合、白色画像Gwにシフト量を加算した後に二値化画像Gwbを得て、その中心座標を検出する。さらに、各シフト位置で得られた画像にシフト量を加算し、上記実施形態と同様に各結像領域86内の画素81の代表値Dを求める。
図13(B)に示すように、マッピング処理で得られる画像(以下、マッピング画像という)Gmpは、シフト量を加算した中心座標(図中黒丸点で表す)に対応する画素81の画素値を、代表値Dとするものである。図中一点鎖線の菱形で囲う領域内の中心座標に対応する画素81の画素値が、コア50一本で得られるデータである(四回シフトの場合を例示)。このように、白色画像Gwの二値化画像Gwbを解析して各コア50による像80の中心座標を求め、求めた中心座標にシフト量を加算して、各シフト位置に対応する画素81に代表値Dをあてがうことで、マッピング画像Gmpは、各シフト位置で得られた像80を、CCD58の撮像面上のあるべき位置に配したものとなる。
画像合成部65aは、マッピング画像Gmpの中心座標に対応する各画素81の代表値Dを用いて画素補間を実行する。画像合成部65aは、中心座標に対応する画素81のうち、図13(B)で太線の三角形で結ぶ、隣接する三つの画素81の代表値Dから、三角形の内部に位置する画素81の画素値を生成する。
画素補間に際しては、三角形で結ぶ三つの画素81との距離に応じた重み付けを行う。例えば、三角形の真ん中に位置する画素81の画素値は、三角形の頂点に位置する画素81の画素値、つまり代表値Dの単純平均とする。三角形の真ん中から頂点側に寄っている画素81の画素値は、最も距離が近い頂点の画素81の代表値Dを例えば二倍したものと、離れている頂点の画素81を例えば1/2倍したものとの平均とする。画像合成部65aは、こうして画素補間を施した画像を、最終的に合成画像Gcとして表示制御回路67に出力する。
次に、上記のように構成された内視鏡システム2の作用について説明する。内視鏡10で患者の体内を観察する際、術者は、内視鏡10と各装置11、12とを繋げ、各装置11、12の電源をオンする。そして、操作部68を操作して、患者に関する情報等を入力し、検査開始を指示する。
検査開始を指示した後、術者は、挿入部13を体内に挿入し、光源装置12からの照明光で体内を照明しながら、CCD58による体内画像をモニタ21で観察する。
CCD58から出力された撮像信号は、AFE59の各部で各種処理を施された後、DSP65に入力される。DSP65では、入力された撮像信号に対して各種信号処理が施されて画像が生成される。DSP65で生成された画像は、DIP66に出力される。
DIP66では、CPU62の制御の下、DSP65からの画像に各種画像処理が施される。DIP66で処理された画像は、表示制御回路67に入力される。表示制御回路67では、CPU62からのグラフィックデータに応じて、各種表示制御処理が実行される。これにより、画像がモニタ21に体内画像として表示される。
図15において、検査を実施するに際して、検査準備モードが実施される(S10)。検査準備モードでは、内視鏡10によって白色被写体が撮影される(S11)。そして、これにより得られた白色画像Gwが二値化処理部65bで二値化画像Gwbとされる(S12)。二値化画像Gwbは、中心座標検出部65cに送られ、中心座標検出部65cによって二値化処理後の像80の中心座標が検出される(S13)。検出された中心座標は、内部メモリ65dに格納される。
シフト撮影モードが選択された場合(S14でYES)、プロセッサ装置11のCPU62に同期制御部62a、圧電素子制御部62bが構築される。そして、シフト情報85、およびCCD駆動回路60からのCCD58の駆動パルスの情報に基づいて、同期制御部62aから圧電素子制御部62bに圧電素子制御信号Saが、画像合成部65aに画像合成信号Sbがそれぞれ送信される。
圧電素子制御信号Saを受けた圧電素子制御部62bによって、圧電素子駆動回路61の動作が制御され、圧電素子駆動回路61から圧電素子35に相応の電圧が供給される。これにより、設定されたシフト回数に応じて、揺動部38が所定角度、所定ピッチ分順次シフトされる(S15)。そして、揺動部38が各シフト位置に止まっているときに、CCD58による電荷蓄積が行われ、イメージガイド31で伝達された被観察部位の像80が各画素81で撮像される(S16)。揺動部38が初期位置からシフトされて再び初期位置に戻り、一周期のシフト動作が終了するまで、S15、S16の処理が繰り返される(S17でno)。
一周期のシフト動作が終了すると(S17でyes)、画像合成信号Sbを受けた画像合成部65aによって画像合成処理が実行され、各回のシフト位置で得られた画像から、一つの合成画像が生成される(S18)。
このとき、図16に示すように、内部メモリ65dから中心座標の情報が、ROM63からコア50の径の情報がそれぞれ画像合成部65aに読み出される。そして、各結像領域86内の画素81で得られた撮像信号の代表値Dが、各回のシフト位置で得られた画像毎に求められる(S181)。
次いで、各回のシフト位置で得られた画像の中心座標に各回のシフト量を加算し、シフト量を加算した中心座標に対応する画素81に代表値Dをあてがうマッピング処理が施される(S182)。最後に、マッピング処理によって代表値Dがあてがわれた画素81を用いて、代表値Dがあてがわれていない画素81の画素値を生成する画素補間が行われる(S183)。
図15に戻って、こうして生成された合成画像は、前述のようにDIP66、表示制御回路67を経由して、モニタ21に表示される(S19)。一方、通常撮影モードが選択された場合(S14でNO)は、S16の撮影は行われるが、S15、S18の処理は実行されない。これら一連の処理は、検査終了が指示される(S20でYES)まで繰り返される。
図17において、校正装置90は、例えば内視鏡10の定期メンテナンスでサービスマンが使用し、圧電素子35によるイメージガイド31の入射端のシフト量を校正する。校正装置90は、校正用光源91と、校正用治具92と、パーソナルコンピュータ(以下、PCと略す)93とを備える。
校正用光源91には、内視鏡10のプロセッサ用コネクタ15が接続される。校正用光源91は、光源装置12の光源70と同様の白色光を、プロセッサ用コネクタ15に位置するイメージガイド31の全てまたは一部の出射端に入射させる。校正用光源91から発せられた白色光は、イメージガイド31で導光されてイメージガイド31の入射端に至る。つまり、校正の際には、イメージガイド31は校正用光源91のライトガイドとして利用される。入射端に至った白色光は、校正用治具92に内蔵された拡大光学系97で拡大され、先端面20aから略円形のスポット光Lspとして出射される。
校正用光源91は、プロセッサ装置11の圧電素子駆動回路61と同じ駆動回路をもつ。該駆動回路は、PC93の制御の下、圧電素子35に電圧を印加する。
校正用治具92は、ホルダ94と台座95とからなる。ホルダ94は、台座95から垂直に立設された側壁と、側壁上に設けられた台座95に平行な天板とを有し、側壁で囲まれた空洞が中に形成されている。ホルダ94の中心には、垂直な穴96が穿たれている。穴96の入口には誘い込み用のテーパ96aが形成されており、ここから内視鏡10の先端部20が挿入される。また、空洞に通ずる穴96の出口には、先端部20のテーパ面が突き当たる突き当て部96bが形成され、さらに拡大光学系97が取り付けられている。
穴96には、挿入された先端部20を抜去自在に位置決め固定する固定機構(図示せず)が設けられている。固定機構は、先端部20の軸方向の移動と軸回りの回転を規制するもので、例えば先端部20の外周に形成した係合穴と、これに係合する穴96内に設けた係合爪を用いることができる。あるいは、挿入部19を所定位置でクランプしてその先の先端部20を吊り下げるものでもよい。固定機構は、先端部20の先端面20aと台座95(校正用CCD98)との距離が一定、且つ先端面20aと台座95の上面(校正用CCD98の撮像面)が平行に対面するよう先端部20を固定する。穴96に先端部20が挿入固定されると、空洞内が遮光される。
先端部20の周面には、シルク印刷による目印や若干の凹凸が設けられており、台座95の天板や穴96にもこれらに対応する目印や凹凸が設けられている。先端部20を穴96に挿入する際には、これらの目印や凹凸を合せた後、先端部20のテーパ面が突き当て部96bに突き当たるまで先端部20を挿入していき、最後に固定機構を作動させる。
台座95は、例えば水平面に載置される。台座95の上面と下面は平行である。穴96に挿入された先端部20の先端面20aが対向する台座95の上面には、校正用CCD98が設けられている。校正用CCD98は、CCD58と同様の性能をもつ。校正用CCD98は、拡大光学系97で拡大されたスポット光Lspを撮像するため、CCD58よりも撮像面が大きい。校正用CCD98の撮像面は、台座95の上面と平行であり、穴96に挿入された先端部20の先端面20aと平行に対面する。校正用CCD98は、スポット光Lspを撮像して撮像信号をPC93に送信する。
イメージガイド31の径とその入射端のシフト量はμm単位であるので、拡大光学系97で校正用光源91からの白色光を拡大し、且つ先端面20aと校正用CCD98の撮像面の距離を離すことで、校正用CCD98の撮像面に映るスポット光Lspを、精度良くシフト量の検出ができる程度の大きさとしている。
PC93は、校正用光源91を点灯し、先端面20aからスポット光Lspを出射させる。PC93は、規定の条件、すなわち内視鏡10を実際に使用するときと同じ条件で圧電素子35を駆動させてイメージガイド31の入射端をシフト動作させる。そして、各シフト位置でその都度スポット光Lspを校正用CCD98で撮像させる。
PC93は、プロセッサ装置11のDSP65と同様の画像処理を校正用CCD98からの撮像信号に施して校正用画像Gpを生成する。図18に示すように、校正用画像Gpは、スポット光Lspがあてられた円形部分は白(ハッチングなし)、それ以外の部分は黒(ハッチング部分)といういわゆる日の丸状の画像である。実線の円形がシフト前、点線がシフト後を表す。各シフト位置の各校正用画像Gpは、白い円形部分がシフト量分ずれている。PC93は、この各校正用画像Gpの白い円形部分のずれ量を検出し、検出したずれ量と規定量とを比較することで、シフト量を校正する。
具体的には、PC93は、上述の検査準備モードにおける二値化および中心座標検出を各校正用画像Gpの白い円形部分に対して行う。そして、シフト前後の中心座標から白い円形部分のずれ量(図18で図示するΔ)を検出する。先端面20aと校正用CCD98とが離れており、拡大光学系97でスポット光Lspが拡大されているため、検出したずれ量はイメージガイド31の入射端の実際のシフト量を定数倍したものである。
PC93は、検出したずれ量と、正規のシフト量を定数倍した規定量とを比較する。ずれ量と規定量が等しい場合は、シフト量を校正する必要はない。ずれ量と規定量が異なる場合は、規定のシフト量でイメージガイド31の入射端がシフトされていないので、PC93は、シフト量が校正されるように圧電素子35の駆動条件を決定する。例えば、ずれ量が規定量より小さい場合は圧電素子35の駆動電圧を上げ、逆の場合は下げる。PC93は、圧電素子35の駆動条件をどう調整すればシフト量を校正できるかを示す情報をもっており、この情報に基づいて駆動条件を決定する。
ずれ量と規定量が異なる場合、PC93は、決定した駆動条件で圧電素子35を駆動させて再度上記の検証を行う。そして、ずれ量と規定量が全シフト位置で等しくなったことを確認した後、PC93は、内視鏡10のROM47(図6参照、EEPROM等の書き込み可能なROM)に決定した駆動条件を記憶させる。ROM47には当初、デフォルトの駆動条件が書き込まれており、校正部62dによって駆動条件がデフォルトから変更されたときに書き換えられる。この駆動条件は、製品として使用する際にROM47からプロセッサ装置11のCPU62に読み出され、圧電素子駆動回路61に与えられる。
校正装置90の処理手順について、図19を参照して説明する。まず、内視鏡10の先端部20をホルダ94の穴96に挿入固定する(S20)。次いで、PC93により校正用光源91を点灯して先端面20aからスポット光Lspを出射させるとともに、圧電素子35を駆動してイメージガイド31の入射端をシフト動作させる。また、校正用CCD98により各シフト位置のスポット光Lspを撮像させる(S21〜S23)。
続いて、PC93にて校正用画像Gpを生成し、各シフト位置の各校正用画像Gpの白い円形部分のずれ量を検出し(S24)、検出したずれ量と規定量を比較する(S25)。ずれ量と規定量が等しい場合(S26でYES、S27でNO)は、校正を終了する。一方、ずれ量と規定量が異なる場合(S26でNO)は、シフト量が校正されるように圧電素子35の駆動条件を決定する(S28)。そして、決定した駆動条件で再度検証を繰り返し、ずれ量と規定量が等しくなったら(S26、S27でYES)、内視鏡10のROM47に決定した駆動条件を書き込んで(S29)、校正を終了する。
以上説明したように、イメージガイド31の入射端をシフト動作させつつ、イメージガイド31から発せられたスポット光Lspを撮像し、得られた校正用画像Gpを元にシフト量を校正するので、シンプルな構成および方法でシフト量を校正することができる。シフト量が校正されるため、合成画像Gcにアーチファクトが発生しない。
検査準備モードで白色画像Gwの二値化画像Gwbを用いて中心座標を検出するので、コア50の配列誤差や伝達効率のバラツキを吸収することができる。イメージガイド31の出射端の光ファイバ52の配列とCCD58の画素位置を校正することができ、これと校正装置90によるシフト量の校正を併せて実施すれば、さらに確実に合成画像Gcのアーチファクトの発生を防止することができる。
決定した駆動条件を内視鏡のROMに書き込み、使用時にこれをプロセッサ装置に読み込んで圧電素子の駆動制御をするので、複数の内視鏡を一台のプロセッサ装置で稼動させることができる。なお、決定した駆動条件を内視鏡毎に区別して、プロセッサ装置のROM63等に記憶させても、同様の効果が得られる。
上記実施形態では、校正装置を内視鏡システムとは別に構築し、定期メンテナンスでサービスマンが校正を実施する例を説明したが、校正装置の全部または一部を内視鏡システムに組み込み、検査準備モードと同様、術者が検査毎に実施可能としてもよい。
図20に示す内視鏡システム100は、校正用光源101を内蔵したプロセッサ装置102を備える。内視鏡103のイメージガイド104は、プロセッサ用コネクタ15で一部分岐し、プロセッサ装置102側のライトガイド105の出射端と接続されている。ライトガイド105の入射端は、校正用光源101からの光を集光する集光レンズ106に対面している。ライトガイド105は、校正用光源101からの光を導光し、分岐したイメージガイド104に入射させる。分岐したイメージガイド104に入射した光は、上記実施形態と同様、先端面20aからスポット光Lspとして照射され、先端面20aと平行に対面する校正用CCD98(校正用治具は図示せず)で撮像される。校正の仕方は上記実施形態と同様である。
内視鏡103の使用時には、スポット光Lspをポインタとして活用することも可能である。照明光とスポット光Lspを区別するため、校正用光源101からの光は白色光以外(例えば青色)であることが好ましい。また、内視鏡103の使用時、分岐したイメージガイド104は撮像に寄与しないので、イメージガイド104の中心にある光ファイバを避けて分岐させたほうがよい。
校正用治具に類する系を、例えばプロセッサ装置や内視鏡システムのカートに設け、スポット光Lspを撮像するCCDの出力をプロセッサ装置に入力させて、上記実施形態のPCと同様の処理をプロセッサ装置で行う構成としてもよい。この場合、プロセッサ装置には元々圧電素子駆動回路があるので、プロセッサ装置に追加する機能としては、シフト前後の校正用画像からずれ量を求めて、ずれ量と規定量の比較結果からシフト量を校正する機能だけとなる。該機能はソフトウェア的に追加してCPU62に担わせてもよいし、専用のハードウェアを追加してもよい。定期メンテナンスの際だけでなく、使用時にシフト量の校正を行うことができる。
また、図20の内視鏡システム100の変形例として、分岐したイメージガイドをライトガイド27と一緒に光源装置12に挿入し、照明光用の光源70を校正用光源として流用してもよい。但し、この場合、校正中はライトガイド27に光源70からの光が入射しないように遮光する。
なお、CCDに結像するスポット光Lspの大きさと、CCDの画素サイズおよび画素数によって、スポット光Lspのずれ量の検出の正確性が違ってくる。例えばスポット光Lspをどれだけ大きくしても、そのずれ量と同程度の画素サイズのCCDでは、ずれ量が実質0になってしまう。このため、上記実施形態では、先端面とCCDの撮像面を一定距離離し、拡大光学系でスポット光Lspを拡大して、CCDに結像するスポット光Lspを大きくしている。スポット光Lspを大きくするため、さらに高倍率の拡大光学系を設けてもよい。
シフト機構の揺動部周辺にシフト量を実測するシフト量検出センサを設け、その出力に応じて圧電素子の駆動条件を決定してもよい。シフト量検出センサとしては、例えば歪みゲージやフイルムコンデンサが挙げられ、例えば圧電素子の電極を分割する溝の幅を広げてできたスペースに取り付ける。使用時にリアルタイムでシフト量の校正を行うことができる。
使用時にシフト量の校正を行う場合、シフト量を校正すべく圧電素子の駆動条件を決定しても、圧電素子の故障あるいは配線の接続不良等でシフト量が校正不能になる(駆動条件に見合うシフト量が得られない)ことも想定される。この場合は合成画像Gcの信憑性が著しく損なわれるので、故障である旨をモニタに表示し、修理を促す。あるいは、応急的な措置として、シフト量が校正不能なシフト位置の画像を残りの画像の画素で予測補間することで生成してもよい。
なお、本発明の校正方法および装置に関わること以外についても、以下のように種々の変形が可能である。例えば、コア50で伝達する像80とCCD58の画素81の位置関係として、中心座標を求めているが、この代わりに、CCD58の中心からの距離とCCD58の水平方向に対する角度とで上記位置関係を表してもよい。シフト量の情報についても同様である。また、位置関係を取得するために二値化画像Gwbを生成する等の各種処理をしているが、コア50の配列誤差や伝達効率のバラツキがないものとし、図7に示す像80とCCD58の画素81の位置関係を理論値として用いてもよい。あるいは、位置関係の情報として、理論値からのずれを数値化したものを用いてもよい。
いずれにしても、位置関係の情報は、像80を撮像するCCD58の画素81を特定するために必要であり、シフト量の情報は、各シフト位置の撮影で得られた画素値(上記実施形態では代表値D)をマッピングする際に必要である。このため、これらの情報は、本発明を実施するために必須の要件である。
なお、コア50一本分の像80を撮像する画素81の個数は、中心座標とこれに対応する画素81とのズレが大きくならず、且つ代表値Dの算出や画素補間に時間が掛からない程度であることが好ましく、例えば三個〜三十個程度である。
また、静止画記録した画像の画素補間した部分に、万が一病変らしきものが見られた場合、それが画素補間によるものなのか、本当の病変であるのかを判断するために、画素補間前のマッピング画像Gmpを合成画像Gcと併せて記録することが好ましい。
シフト機構の構成は、円柱状に限らない。例えば四角柱状でもよい。この場合はイメージガイドを四角筒状の保持筒に内挿固定し、保持筒の四辺にそれぞれ電極を形成する。そして、上下左右に保持筒毎イメージガイドをシフト動作させる。例えば、初期位置から90°左方向に√3/4P分シフトさせ、一回シフトの位置に移動させる。そして、初期位置に戻してから90°下方向に1/4P分シフトさせ、二回シフトの位置に移動させる。二回シフトの位置から再度初期位置に戻した後、順次右方向、上方向にシフトさせ、再び初期位置に戻す。こうすることで、コア50は十字状の移動軌跡を辿る。
圧電素子にはヒステリシス特性があり、無秩序に駆動させるとシフト位置がずれるため、移動軌跡は毎回同じとし、常に同じ移動経路でシフト機構をシフトさせる。つまり、シフト機構をシフトさせる際の圧電素子の駆動順序を毎回同じにする。また、上下、左右で対になった電極に電圧を供給する順序も同じにする。シフト量の校正をする場合も同様である。
イメージガイドは揺動部が根元から撓ることでシフトをするので、各シフト位置にすぐには停止せず、しばらく振動してから止まる可能性がある。このため、シフト機構の停止後、シフト方向とは逆方向に瞬間的に揺動部が振れるように、圧電素子駆動回路で圧電素子を駆動する等の制振対策を講じることが好ましい。具体的には、反力をシミュレーションや実測で求めて、これを打ち消すための圧電素子の駆動電圧をROMに記憶させておき、圧電素子制御部がその駆動電圧の情報をROMから読み出して圧電素子駆動回路に与える。あるいは、空洞に絶縁性の粘性流体を封入してダンピング効果を利用し、制振対策を講じてもよい。
なお、揺動部が次回のシフト位置に移動するまでの時間が、CCDが前回の電荷蓄積を終えてから次回の電荷蓄積を開始するまでの時間よりも短いと説明しているが、揺動部の長さ、材質、あるいはシフト量、さらには圧電素子自体の性能等が要因で、前者の時間が後者の時間よりも長くなることもあり得る。前述のようにイメージガイドの慣性質量が比較的重いことから、前者の時間が後者の時間よりも長くなる可能性が高い。
こうした場合には、揺動部がシフト位置に移動している間は、プロセッサ装置のCPUの制御の下、CCD駆動回路からCCDに電子シャッタパルスを供給して電荷蓄積を開始する時間を遅らせ、揺動部がシフト位置に停止してから電荷蓄積を開始する。あるいは、揺動部がシフト位置に移動している間は光源を消灯し、揺動部がシフト位置に停止したら光源を点灯する。
揺動部が次回のシフト位置に移動するまでの時間を基準にしてCCDを駆動しようとすると、前者の時間が後者の時間よりも長くなる場合はフレームレートを落とさなければならないが、電子シャッタパルスで電荷を掃き出すか、光源を点消灯させる上記いずれかの方法を採用すれば、フレームレートは現行を維持しつつブレのない画像を得ることができる。
なお、シフト撮影モードが選択されたときのみ画像合成部で画像合成処理をしているが、通常撮影モード時にも画像合成処理をしてもよい。クラッドの位置に対応する被観察部位の像を反映した画像は得られないが、クラッドの影は埋めることができる。
また、シフトの一周期毎に画像合成部で画像合成処理を行い、一つの合成画像を出力しているが、この方法であると通常撮影モードに比べてフレームレートが落ちる。このフレームレート低下の対策としては、四回シフトの場合は通常撮影モードの四倍といったように、シフト撮影モードが選択されたときにフレームレートを上げることが考えられる。
具体的には、CPU62のシステムクロックのクロック信号の周期を変化させることで、CCD駆動回路60の駆動信号の周期を変化させる。あるいは、システムクロックのクロック信号は変化させずに、CCD駆動回路60に分周器を設け、この分周器でシステムクロックのクロック信号を分周することで変化させてもよい。
あるいは、例えば四回シフトの場合に、同じシフト周期の画像G0〜G3で合成画像Gcを生成した後、その画像G1〜G3と次のシフト周期の画像G0から合成画像Gcを生成するというように、画像の組み合わせを一画像ずつずらして、G0〜G3の画像のうちの一番古い画像を新しく得られた画像に順次置き換えながら合成画像Gcを生成してもよい。こうすれば、クロック信号の周期を変化させたりする制御の面倒が省け、しかもフレームレートの低下を防ぐことができる。
三板式CCD、モード切り替えとシフト回数の設定をする操作部、および画像合成部と同期制御部と圧電素子制御部の機能を実現するハードウェアを、プロセッサ装置とは別の筐体に搭載してもよいし、内視鏡に搭載してもよい。
また、照明用の光源として中心波長445nmの青色レーザ光源を用い、青色レーザ光源からのレーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体を有する波長変換部材125をライトガイド27の光出射側に配置して、レーザ光と励起光を合成した高輝度な白色光を照明光として照射してもよい。上記実施形態と比べて高輝度な白色光を供給するので、僅かな本数(一、二本)のライトガイドで十分な照明光を得ることができる。従って、極細径化をさらに促進することができる。
なお、イメージセンサとしては、単板式を用いてもよい。また、上記実施形態では、イメージガイドと配線ケーブルのプロセッサ装置への接続を同じコネクタで果たしているが、イメージガイドと配線ケーブルを別のコネクタに実装してもよい。